WO2019164057A1 - 상호 연관성 규칙 마이닝을 적용한 증강현실 기술에서 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스 - Google Patents

상호 연관성 규칙 마이닝을 적용한 증강현실 기술에서 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스 Download PDF

Info

Publication number
WO2019164057A1
WO2019164057A1 PCT/KR2018/004483 KR2018004483W WO2019164057A1 WO 2019164057 A1 WO2019164057 A1 WO 2019164057A1 KR 2018004483 W KR2018004483 W KR 2018004483W WO 2019164057 A1 WO2019164057 A1 WO 2019164057A1
Authority
WO
WIPO (PCT)
Prior art keywords
maintenance
image
military equipment
target object
wearable device
Prior art date
Application number
PCT/KR2018/004483
Other languages
English (en)
French (fr)
Inventor
강진석
Original Assignee
(주)프론티스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180021899A external-priority patent/KR101874461B1/ko
Priority claimed from KR1020180035213A external-priority patent/KR101906560B1/ko
Application filed by (주)프론티스 filed Critical (주)프론티스
Priority to CN201880002249.2A priority Critical patent/CN110546677A/zh
Priority to US16/212,686 priority patent/US10847048B2/en
Publication of WO2019164057A1 publication Critical patent/WO2019164057A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks

Definitions

  • the present invention relates to servers, methods and wearable devices that support maintenance of military equipment based on correlation data between objects in augmented reality.
  • a head mounted display is a head mounted display.
  • HMD head mounted display
  • the user may view a next-generation display device directly in front of the eyes through the HMD.
  • HMD mainly displays virtual images or virtual UIs in the real world.
  • Korean Patent Laid-Open Publication No. 2009-0105485 which is a prior art, discloses a multimedia providing system using HMD and a method of providing the same.
  • HMD is used to provide service to support the maintenance of military equipment.
  • the distance between the maintenance object of the HMD and the military equipment there is a disadvantage that takes a long time to recognize the maintenance object.
  • the present invention provides a server, a method, and a wearable device for supporting the maintenance of military equipment that minimizes the time required for the recognition of the maintenance object and the component object when the maintenance of the military equipment is performed using the wearable device.
  • a server that supports the maintenance of military equipment that enables the operation of maintenance support and maintenance education system in a virtual environment by extracting the object to be repaired by recognizing parts objects for maintenance of military equipment based on Augmented Reality (AR).
  • AR Augmented Reality
  • the receiver for receiving an image of the military equipment from the wearable device worn on the body of the mechanic, based on a filter using the Euclidean distance between the pixels in the image
  • An object recognition unit recognizing a plurality of maintenance objects and at least one component object from the image, and a first maintenance target currently being maintained based on predetermined correlation data between the recognized at least one component object and each maintenance object.
  • a server including a maintenance target object extracting unit for predicting a second maintenance target object to be maintained after maintenance of the object may be provided.
  • an image of military equipment is received from a wearable device worn on a body of a mechanic, and a plurality of maintenance objects and at least one from the image are based on a filter using a Euclidean distance between pixels in the image. Recognizing the at least one part object and the second maintenance object to be maintained after the completion of the maintenance of the first maintenance object currently being maintained based on the predetermined correlation data between the at least one part object and each maintenance object recognized. It can provide a maintenance support method comprising the step of predicting.
  • the photographing unit for photographing the military equipment through the camera provided in the wearable device a transmission unit for transmitting the image photographing the military equipment to the maintenance support server, the military equipment from the maintenance support server And a display unit for displaying a maintenance progress notification for the maintenance target object of the maintenance target object and a display unit for displaying the maintenance progress notification for the received maintenance target object, wherein the maintenance target object is at least one recognized by the maintenance support server.
  • a second maintenance object to be maintained after finishing the maintenance of the currently maintained first maintenance object is predicted, and the at least one component object and each The maintenance object determines the Euclidean distance between pixels by the maintenance support server. It is possible to provide a wearable device that is recognized based on a filter to use.
  • the server for supporting the maintenance of the military equipment to minimize the time required to recognize the maintenance object and the component object in the maintenance of the military equipment using the wearable device A method and wearable device can be provided.
  • Data mining techniques can be used to analyze the correlation rules for maintenance support of military equipment, and provide servers, methods, and wearable devices that support the maintenance of military equipment to enable maintenance based on the analyzed results. have.
  • a server In order to provide convenience to the mechanic in the maintenance of the military equipment, it is possible to provide a server, a method and a wearable device for supporting the maintenance of the military equipment that provides the maintenance progress notification through the screen of the wearable device.
  • a server that supports the maintenance of military equipment that enables the operation of maintenance support and maintenance education system in a virtual environment by extracting the object to be repaired by recognizing parts objects for maintenance of military equipment based on Augmented Reality (AR).
  • a method and a wearable device can be provided.
  • FIG. 1 is an exemplary diagram illustrating a maintenance support system for military equipment according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a wearable device according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram for describing a process of displaying maintenance information on a maintenance target object on a display in a wearable device according to an embodiment of the present invention.
  • FIG. 4 is a flow chart of a method for receiving maintenance support of military equipment in a wearable device according to an embodiment of the present invention.
  • FIG. 5 is a configuration diagram of a server according to an embodiment of the present invention.
  • 6A and 6B are exemplary diagrams for describing a process of recognizing a component object of military equipment and extracting a pixel of the component object according to an embodiment of the present invention.
  • 7A to 7C are exemplary diagrams for describing a process of recognizing a maintenance object and a component object from an image based on a filter using a Euclidean distance between pixels in an image according to an embodiment of the present invention.
  • 8A and 8B are exemplary diagrams for describing correlation data according to an embodiment of the present invention.
  • FIG. 9 is a flowchart of a method for supporting maintenance of military equipment in a server according to an embodiment of the present invention.
  • the term 'unit' includes a unit realized by hardware, a unit realized by software, and a unit realized by both.
  • one unit may be realized using two or more pieces of hardware, and two or more units may be realized by one piece of hardware.
  • Some of the operations or functions described as being performed by a terminal or a device in the present specification may instead be performed in a server connected to the terminal or device. Similarly, some of the operations or functions described as being performed by the server may be performed by a terminal or a device connected to the server.
  • the maintenance support system 1 for military equipment may include a wearable device 110 and a maintenance support server 120.
  • the wearable device 110 and the maintenance support server 120 exemplarily illustrate components that can be controlled by the maintenance support system 1 for military equipment.
  • Each component of the maintenance support system 1 for military equipment of FIG. 1 is generally connected via a network.
  • the wearable device 110 may be connected to the maintenance support server 120 at the same time or at a time interval.
  • a network refers to a connection structure capable of exchanging information between nodes such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN), and the Internet (WWW: World). Wide Web), wired / wireless data communication network, telephone network, wired / wireless television communication network, and the like.
  • wireless data networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communication, Infrared communication, Ultrasound Communication, visible light communication (VLC), liFi (LiFi), and the like, but are not limited thereto.
  • the wearable device 110 may photograph the military equipment 100 through a camera provided in the wearable device 110.
  • the wearable device 110 may transmit an image photographing the military equipment 100 to the maintenance support server 120.
  • the wearable device 110 may receive a maintenance progress notification for the maintenance target object of the military equipment 100 from the maintenance support server 120, and display the maintenance progress notification for the received maintenance target object on the display.
  • the wearable device 110 may display the maintenance progress notification in the form of augmented reality, virtual reality, or mixed reality on the display.
  • the maintenance progress notification may include, for example, a notification of a maintenance target object to be currently undergoing maintenance and a notification of a maintenance target object to be next maintained.
  • the wearable device 110 may receive maintenance information on the maintenance target object of the military equipment 100 from the maintenance support server 120, and display maintenance information on the received maintenance target object on the display.
  • the wearable device 110 may receive maintenance information from the maintenance support server 120 in the form of augmented reality, virtual reality, or mixed reality.
  • the maintenance information may include, for example, maintenance details of the maintenance target object and maintenance guide information about the maintenance target object.
  • An example of such a wearable device 110 may include a holo lens, a smart glass, a head mounted display (HMD), or a head up display (HUD) that may be worn on a body of a mechanic.
  • HMD head mounted display
  • HUD head up display
  • the maintenance support server 120 may receive an image of the military equipment 100 from the wearable device 110 worn on the body of the mechanic.
  • the maintenance support server 120 may recognize a plurality of maintenance objects and at least one component object from an image based on a filter using a Euclidean distance between pixels. To this end, the maintenance support server 120 divides the frame of the image into a plurality of cells, and applies the extracted position of the at least one component object to the cell of the frame of the image to form a boundary line of the at least one component object. Can be detected.
  • the maintenance support server 120 may apply a particle filter based on color and texture components to an image to extract a particle region corresponding to each maintenance object.
  • the filter using the Euclidean distance between the pixels is an adaptive Kalman filter, and the maintenance support server 120 applies the adaptive Kalman filter to the particle region to remove at least one component object moved by the mechanic from the image. Can be traced
  • the adaptive Kalman filter will be described later.
  • the maintenance support server 120 may extract pixels from the recognized at least one component object. At this time, the maintenance support server 120 may cluster the extracted at least one or more pixels into similar pixel groups. For example, the maintenance support server 120 extracts the grouped similar pixel groups into a plurality of candidate maintenance regions, and uses the distance between at least one component object and each maintenance target object among the extracted plurality of candidate maintenance regions. The maintenance area including the first maintenance object may be extracted.
  • the maintenance support server 120 may extract the first maintenance target object from the plurality of maintenance objects based on the recognized distance between the at least one component object and each maintenance object.
  • the maintenance support server 120 may determine an access state of each of the at least one component object moving by the mechanic from the image to each maintenance object. For example, the maintenance support server 120 extracts a maintenance object that is approached by at least one component object as a first maintenance object, recognizes at least one component object included in the first maintenance object, and recognizes the object. The location of the part object can be extracted.
  • the maintenance support server 120 may further receive at least one of the gaze information of the mechanic and the head movement information of the mechanic from the wearable device 110.
  • the maintenance support server 120 may correct the focus of the mechanic's gaze based on the gaze information of the mechanic and the head movement information of the mechanic.
  • the maintenance support server 120 may predict the second maintenance object to be maintained after finishing the maintenance of the first maintenance object currently being maintained based on the predetermined correlation data between the at least one part object and each maintenance object that is recognized.
  • the first maintenance target object may mean an initial maintenance target object
  • the second maintenance target object may mean a maintenance target object to be maintained next to the first maintenance target object.
  • the correlation data may include a plurality of rule information corresponding to each maintenance object and reliability information for each of the plurality of rule information.
  • each of the plurality of rule information may include, for example, a maintenance object set to be maintained together in one maintenance, a maintenance sequence of the maintenance objects included in each maintenance object set, and the like.
  • the set of maintenance objects may include rule information between the first maintenance object and the second maintenance object.
  • the reliability information on the rule information between the first maintenance object and the second maintenance object may include the number of maintenance history in which the first maintenance object is maintained and the number of maintenance history in which the first maintenance object and the second maintenance object are maintained together. Can be derived on the basis of
  • the maintenance support server 120 may transmit the maintenance progress notification of the extracted maintenance target object to the wearable device 110.
  • the maintenance progress notification may include a notification about the maintenance target object to be currently maintained and a notification about the maintenance target object to be next maintained.
  • the notification may include, for example, a maintenance notification or a non-maintenance notification for a current maintenance target object, a maintenance notification for a next maintenance object to be maintained, a notification for a part object associated with the maintenance target object, and the like. can do.
  • the maintenance support server 120 may transmit maintenance information about the maintenance target object to the wearable device 110 in the form of augmented reality, virtual reality, or mixed reality.
  • the maintenance information may include maintenance details of the first or second maintenance object, maintenance guide information about the first or second maintenance object, and the like.
  • the wearable device 110 may include a photographing unit 210, a transmitter 220, a receiver 230, and a display 240.
  • the photographing unit 210 may photograph the military equipment 100 through a camera provided in the wearable device 110.
  • the transmitter 220 may transmit an image of the military equipment 100 to the maintenance support server 120.
  • the transmitter 220 may transmit the holographic image of the military equipment 100 to the maintenance support server 120.
  • the receiver 230 may receive a maintenance progress notification for the maintenance target object of the military equipment 100 from the maintenance support server 120.
  • the maintenance progress notification may include, for example, a notification of a maintenance target object to be currently undergoing maintenance and a notification of a maintenance target object to be next maintained.
  • the maintenance progress notification may include a maintenance possibility notification and a non-maintenance notification for a maintenance target object to be currently undergoing maintenance, and may include a maintenance notification for a maintenance target object to be next maintained.
  • the receiver 230 may receive maintenance information about the first or second maintenance target object of the military equipment 100 from the maintenance support server 120.
  • the receiver 230 may receive maintenance information in the form of augmented reality, virtual reality, or mixed reality from the maintenance support server 120.
  • the maintenance information may include, for example, maintenance details of the first or second maintenance target object and maintenance guide information on the first or second maintenance target object.
  • the display unit 240 may display a maintenance progress notification regarding the received maintenance target object on the display.
  • the display unit 240 may display the maintenance progress notification in one of augmented reality, virtual reality, or mixed reality through the display of the wearable device 110.
  • the display unit 240 may display the maintenance information on the received first or second maintenance target object on the display.
  • FIG. 3 is an exemplary diagram for describing a process of displaying maintenance information on a maintenance target object on a display in a wearable device according to an embodiment of the present invention.
  • the wearable device 110 may display maintenance information about a maintenance target object on the display 300.
  • the wearable device 110 may display the maintenance guide information on the maintenance target object in the form of a virtual reality (VR) on the first area 310 of the display 300.
  • the wearable device 110 maintains a maintenance guide image, audio / video / text for a first or second maintenance object in a virtual reality form for a mechanic through the first area 310 of the display 300. Etc. can be displayed.
  • the wearable device 110 may display the maintenance history of the first or second maintenance target object in the form of Augmented Reality (AR) on the second area 320 of the display 300. .
  • the wearable device 110 displays a non-marker by depicting a nearest-neighbor distance through a case-based inference about the maintenance situation for the maintenance support through the second area 320 of the display 300. Access to the first or second serviced objects and parts in the base maintenance history can be easily represented to support maintenance.
  • AR Augmented Reality
  • the wearable device 110 may display component object information of the maintenance tool box on the third area 330 of the display 300.
  • the wearable device 110 may display a list of parts and maintenance tools required by the operator's selection through the third area 330 of the display 300 to provide an interaction matrix related to maintenance support.
  • FIG. 4 is a flow chart of a method for receiving maintenance support of military equipment in a wearable device according to an embodiment of the present invention.
  • the method of receiving maintenance support of the military equipment 100 in the wearable device 110 shown in FIG. 4 is time-series by the maintenance support system 1 for military equipment according to the embodiment shown in FIGS. 1 to 3. It includes the steps to be processed. Therefore, although omitted below, the present invention also applies to a method for receiving maintenance support of the military equipment 100 in the wearable device 110 according to the embodiment shown in FIGS. 1 to 3.
  • the wearable device 110 may photograph military equipment through a camera provided in the wearable device 110.
  • the wearable device 110 may transmit an image photographing the military equipment 100 to the maintenance support server 120.
  • the wearable device 110 may receive a maintenance progress notification for the maintenance target object of the military equipment 100 from the maintenance support server 120.
  • the wearable device 110 may display a maintenance progress notification regarding the received maintenance target object on the display.
  • the wearable device 110 displays the maintenance information on the maintenance target object of the military equipment 100 from the maintenance support server 120 and displays the maintenance information on the received maintenance target object. It may further comprise the step of displaying.
  • steps S410 to S440 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention.
  • some steps may be omitted as necessary, and the order between the steps may be switched.
  • the receiver 510 may include an image divider 520, an object recognizer 530, a pixel extractor 540, a maintenance object extractor 550, and a transmitter 560. have.
  • the receiver 510 may receive an image of the military equipment 100 from the wearable device 110 worn on the body of the mechanic.
  • the receiver 510 may receive the lens image by holographing the military equipment 100 from the wearable device 110 worn on the body of the mechanic.
  • the receiver 510 may further receive at least one of the gaze information of the mechanic and the head movement information of the mechanic from the wearable device 110.
  • the image divider 520 may divide a frame of an image into a plurality of cells.
  • the reason for dividing the frame of the image into a plurality of cells is to detect objects and boundaries (lines, curves, etc.) in the image, thereby simplifying or transforming the representation of the image into a more meaningful and easy to interpret.
  • a process of finding a category of a general object such as an object, an object in a digital image (2D), a video and an actual image, and dividing it into a set in a plurality of frames through a classification process need.
  • the result of dividing the frame of the image into a plurality of cells may be a set of regions including the entire image collectively or a set of contours extracted from the image.
  • Each pixel in an area is similar in terms of certain features or calculated properties, such as color, brightness, and material, and adjacent areas may differ significantly in terms of the same feature.
  • the object recognizing unit 530 may detect a plurality of maintenance objects from an image and recognize at least one or more component objects corresponding to at least one of the detected plurality of maintenance objects.
  • the object recognizing unit 530 may recognize at least one or more part objects included in the maintenance object, and extract the location of the recognized part object.
  • the object recognizer 530 may detect the boundary of the at least one component object by applying the extracted position of the at least one component object to a cell of the frame of the image.
  • the pixel extractor 540 may extract pixels from the recognized at least one component object.
  • the pixel extractor 540 may cluster the extracted at least one pixel into a similar pixel group.
  • the pixel extractor 540 may extract pixels from the recognized component object using a k-means technique and group the pixels into similar pixel groups.
  • the reason for clustering is that features and states are required for each position of a recognized part object, and a difference in the number of features and states and a precise rule of prediction may occur depending on the size of the position unit. Therefore, it is possible to perform partial clustering by determining the number of clusters in anticipation of being divided into predetermined clusters in advance by a method of grouping in a planar manner without considering the hierarchy of clusters.
  • 6A and 6B are exemplary diagrams for describing a process of recognizing a component object of military equipment and extracting a pixel of the component object according to an embodiment of the present invention.
  • the maintenance support server 120 recognizes a component object included in the maintenance object, extracts a position of the recognized component object, and extracts the component extracted through the frame 600 of the 2D image divided into a plurality of cells.
  • the boundary of the part object may be detected by applying the position of the object to the cell of the frame of the image.
  • the frame 600 of the 2D image may be configured to be equally divided into cells of the smallest unit, and the boundary line of the component object may be detected by applying the position of the component object to the reference cell 610 of the frame of the image.
  • the direct cell 620 and the indirect cell 630 may be derived from the reference cell 610 to determine the access state of the component object to the maintenance object.
  • the access state of the frame can be applied to the size and direction of the part object by applying the k-means technique.
  • the server 120 uses the component objects 640 such as T1, T2, T3, ..., Tn to display the functions of the component objects included in the maintenance object of each object or the functions of neighboring objects. It can be used to determine the access status to the maintenance target object.
  • the maintenance support server 120 may record that the access state for detecting the access area of the frame of the image is changed.
  • FIG. 6B is an exemplary diagram for explaining a process of extracting pixels of a component object and grouping them into similar pixel groups according to an embodiment of the present invention.
  • the maintenance support server 120 may extract the pixels 650 of the recognized component object and cluster the extracted pixels 650 into the similar pixel group 660.
  • the server 120 may cluster the similar pixel group 660 using the k-means technique.
  • the k-means can be decomposed into k (maintenance object) clusters of n (part object) objects in predicting the following behavior for a sequence of events in the holo-lens image.
  • the similarity of clusters is derived by measuring the average value of the objects that are the center of gravity of the clusters in the cluster, and the similarity of the clusters is suitable for the application of the holo lens environment or HMD (Head Mounted Display) device.
  • HMD Head Mounted Display
  • the conditional probability of the next outcome of k-means is Determine the number of clusters k in the first stage, assign one initial or cluster center to each cluster, assign all data to the nearest cluster center using Euclidean distance in the second stage, and in the third stage
  • the new cluster center is calculated so that the distance between the data assigned to each cluster and the new cluster center is minimum, and the second and third steps are repeated until the cluster center has no change in the fourth step.
  • the object recognizer 530 may recognize a plurality of maintenance objects and at least one component object from the image based on a filter using a Euclidean distance between pixels in the image.
  • the filter using the Euclidean distance between pixels may be an adaptive Kalman filter.
  • the object recognizer 530 may include a particle region extractor 535.
  • the particle region extractor 535 may apply a particle filter based on color and texture components to an image to extract particle regions corresponding to each maintenance object.
  • the particle region extracting unit 535 generates particles from an image, and brightness of a three-dimensional environment model image projected by each particle (pose), an image of a brightness SSD (Sum of Squared Difference) ) And gradient SSDs, and update the probability model of each particle to extract the particle region containing the maintenance object.
  • the particle is applied to the particle filter based on the color and texture components, thereby generating and tracking the particle area corresponding to the plurality of maintenance objects in real time.
  • the maintenance object to be created in the initial image it may be determined as a target particle and modeled as an initial state for tracking from the target particle.
  • the object recognizer 530 may apply at least one adaptive Kalman filter to the particle region to track at least one component object moved by the mechanic from the image.
  • 7A to 7C are exemplary diagrams for describing a process of recognizing a maintenance object and a component object from an image based on a filter using a Euclidean distance between pixels in an image according to an embodiment of the present invention.
  • the image 700 photographing military equipment may include a plurality of maintenance objects 710.
  • the object recognizer 530 may black and white convert the particle region 720, and binarize 530, 0, or 1 each pixel included in the black and white converted particle region.
  • the object recognizer 530 may recognize the object by connecting pixels having a value of '1' among the binarized pixels.
  • the object recognition unit 530 may use the Euclidean distance to recognize the object.
  • FIG. 7C is an exemplary diagram comparing the Euclidean distance and the Manhattan distance. Referring to FIG. 7C, when the pixels p and q are connected using the Manhattan distance 740, the edge distances of the pixels p and q may be 8 pixels.
  • the edge distance of the pixels p and q is _, which is much shorter than the case using the Manhattan distance 740.
  • the object recognition unit 530 may recognize the maintenance object and the component object more accurately and effectively by using an evolved Kalman filter, that is, the Euclidean distance between pixels.
  • the object recognizing unit 530 may recognize at least one or more part objects included in the maintenance target object, and extract the location of the recognized part object.
  • the object recognizing unit 530 may correct the focus of the operator's gaze based on sensing data acquired through a global positioning system (GPS) and an inertial measurement unit (IMU) sensor included in the wearable device 110.
  • the sensing data may include acceleration in a traveling direction, a transverse direction, and a height direction, rolling, pitch, and yaw angular velocity.
  • the maintenance target object extractor 550 may extract a first maintenance target object from among a plurality of maintenance target objects based on a distance between the at least one component object and each maintenance object recognized by the object recognition unit 530. For example, the maintenance target object extractor 550 may extract a maintenance object that is approached by at least one component object as the first maintenance object.
  • the maintenance object object extractor 550 may determine an access state of each of the at least one component object moving by the mechanic from the image to the maintenance object.
  • the access state means the distance between the maintenance target object of the military equipment 100, and the degree of change according to the time, the maintenance target object extractor 550 is a relative access to each maintenance object of the component object
  • the state can be derived.
  • the maintenance target object extractor 550 may determine the access state of each component object to one of the neutral, inward, and outward methods.
  • Neutral means that the maintenance object is not detected in the image.
  • Inward method means that the component object is detected in the image and is approaching the maintenance object.
  • Outward method means that the component object in the image moves away from the maintenance object.
  • the three state values can be used to reduce the resources required for the operation and storage of the access state.
  • the part object is maintained within the scope area from the military equipment 100. It can indicate a relative access state that is further away from the object and more and more closer to the maintenance object over time.
  • the distance unit when determining the access state may vary according to an object recognition method and a measuring device.
  • a specific length-based distance such as m or cm, may be used, or may be used based on the distance between component objects in the maintenance object.
  • the maintenance target object extractor 550 may derive a relative access state between the maintenance object and the component object for all the maintenance items.
  • the reason for determining the access state may be fixed in the case of the maintenance object and the component object, but may have mobility, due to the characteristics of the military equipment 100, and the relative of the maintenance object and the component object by moving the wearable device 110. This is to apply when the access status changes.
  • the maintenance target object extracting unit 550 maintains the second maintenance target object to be maintained after finishing the maintenance of the currently maintained first maintenance object based on the predetermined correlation data between the at least one component object and each maintenance object that is recognized. Can be predicted.
  • the first maintenance target object may mean an initial maintenance target object
  • the second maintenance target object may mean a maintenance target object to be maintained next to the first maintenance target object.
  • the correlation information may include a plurality of rule information and reliability information for each of the plurality of rule information.
  • each of the plurality of rule information may include, for example, a maintenance object set to be maintained together in one maintenance, a maintenance sequence of a maintenance object included in the maintenance object set, and the like.
  • the plurality of rule information includes rule information between the first maintenance object and the second maintenance object, and the reliability information includes the number of maintenance history in which the first maintenance object is maintained and the first maintenance object and the second maintenance object are together. It can be derived based on the number of details maintained.
  • the transmitter 560 may transmit maintenance information about the first or second maintenance target object to the wearable device 110 in the form of augmented reality, virtual reality, or mixed reality.
  • the maintenance information may include maintenance details of the first or second maintenance target object and maintenance guide information on the first or second maintenance target object.
  • the transmitter 560 may transmit the maintenance progress notification of the extracted maintenance target object to the wearable device 110.
  • the notification may include, for example, a maintenance notification or a non-maintenance notification for a current maintenance target object, a maintenance notification for a next maintenance object to be maintained, a notification for a part object associated with the maintenance target object, and the like. can do.
  • the transmitter 560 may transmit a notification for the A maintenance target object to be highlighted to the wearable device 110 so that the mechanic may perform maintenance on the A maintenance target object.
  • the transmission unit 560 may perform the maintenance on the B maintenance target object after completing the maintenance of the A maintenance target object, and then the wearable device 110. ), You can send a notification to highlight the B serviced object.
  • the B maintenance object may be a maintenance object derived from the maintenance rule having the highest reliability in the correlation data in the maintenance object object extractor 530.
  • 8A and 8B are exemplary diagrams for describing correlation data according to an embodiment of the present invention.
  • Maintenance support server 120 may use the Markov matrix to generate correlation data. For example, assuming that all state spaces in the maintenance space to service military equipment 100 are finite sets, the time homogeneous Markov chain can be represented by a finite graph with real numbers between 0 and 1 on each side. . In other words, the discrete time Markov chain defined on the state space S is a matrix called a transition matrix, and the Markov matrix generalizes the properties of the matrix. By deriving the eigenvalues and eigenvectors of this matrix, the extreme distribution of the Markov chain can be derived.
  • the server 120 uses a formula of "(previous position Xn-1, current position Xn) and (next position Xn + 1)" to each object to state transition. diagram). To this end, it is possible to mathematically calculate the transition probability between mobility states by providing conditional probability.
  • the transition probability refers to a conditional probability that a transition between states can occur.
  • the maintenance support server 120 may grasp the tendency included in one component object by using the above formula and use the same to discover correlation rules. For example, the maintenance support server 120 may match a previous position, a current position, and a next position of the part object.
  • the maintenance support server 120 may infer an association between at least one maintenance object and at least one component object based on the generated correlation data.
  • the entire maintenance history list 800 may include a set of maintenance parts that are maintained together in one maintenance.
  • a maintenance object, B maintenance object and C maintenance object was performed at the maintenance corresponding to the first ID, and A maintenance object, B maintenance object and D maintenance object at the maintenance corresponding to the second ID. It can be seen that maintenance of the was performed.
  • the correlation data 800 may include a plurality of rule information 811, a maintenance ID 812 corresponding to each rule information 811, and reliability information 813.
  • the plurality of rule information 811 may be selected as rule information when the first maintenance object and the second maintenance object are maintained together.
  • the plurality of rule information is selected based on the support information indicating the ratio of the number of times the first maintenance object and the second maintenance object are maintained together with respect to the total number of maintenance details.
  • the plurality of rule information may be selected when the support information when the first maintenance object and the second maintenance object are maintained together is greater than or equal to a preset ratio (eg, 50% or more).
  • the support information for maintenance A and maintenance B serviced together is based on the number of maintenance (A) and maintenance B (3) out of the total number of maintenance (6).
  • 6 50%, the case where A maintenance object and B maintenance object are maintained together can be used as one rule information.
  • the reliability information 813 may be derived based on the maintenance history number in which the first maintenance object is maintained and the maintenance history number in which the first maintenance object and the second maintenance object are maintained together among the corresponding maintenance details 800.
  • the first maintenance object is A maintenance object and the second maintenance object is B maintenance object.
  • the A maintenance object is included in the first maintenance ID, the second maintenance ID, the third maintenance ID, and the fourth maintenance ID in the overall maintenance history 800
  • the B maintenance object is the first maintenance ID in the overall maintenance history 800, It is included in 2nd maintenance ID, 4th maintenance ID, 5th maintenance ID.
  • the maintenance ID in which the A maintenance object and the B maintenance object are maintained together includes the first maintenance ID, the second maintenance ID, and the fifth maintenance ID.
  • the reliability information 713 is based on the number of details of the A maintenance object and the B maintenance object maintained together with respect to the number of maintenance details in which the A maintenance object is maintained.
  • the details of the maintenance service A being maintained together with the maintenance service B among the maintenance objects of the corresponding first ID, second ID, third ID, and fifth ID may be the first ID, It may be a second ID and a fifth ID. This means that three out of four maintenances are maintained together, so that the reliability may be 75%.
  • the server 120 may determine the maintenance target object in the order of the largest support information among the rules with high reliability information.
  • FIG. 9 is a flowchart of a method for supporting maintenance of military equipment in a maintenance support server according to an embodiment of the present invention.
  • the method of supporting the maintenance of the military equipment 100 in the server 120 shown in FIG. 9 is a watch by the maintenance support system 1 for the military equipment 100 according to the embodiment shown in FIGS. Thermally treated steps. Therefore, even if omitted below, it applies to the method of supporting the maintenance of the military equipment 100 in the server 120 according to the embodiment shown in Figures 1 to 8b.
  • the maintenance support server 120 may receive an image of the military equipment 100 from the wearable device 110 worn on the body of the mechanic.
  • the maintenance support server 120 may recognize a plurality of maintenance objects and at least one component object from the image based on a filter using a Euclidean distance between pixels in the image.
  • the maintenance support server 120 performs the second maintenance target to be maintained after finishing the maintenance of the first maintenance target object currently being repaired based on the predetermined correlation data between the recognized at least one part object and each maintenance object. Predict objects.
  • steps S910 to S930 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention.
  • some steps may be omitted as necessary, and the order between the steps may be switched.
  • the method of receiving maintenance support of military equipment in the wearable device described with reference to FIGS. 1 to 9 and the method of providing maintenance support of military equipment in a server may be executed by a computer program or a computer stored in a medium executed by the computer. It may also be implemented in the form of a recording medium containing instructions.
  • the method of providing maintenance support of military equipment in the wearable device described with reference to FIGS. 1 to 9 and the method of providing maintenance support of military equipment in a server may also be provided in the form of a computer program stored in a medium executed by a computer. Can be implemented.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • the computer readable medium may include a computer storage medium.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

군용 장비의 정비를 지원하는 서버는 정비자의 신체에 착용된 웨어러블 디바이스로부터 군용 장비에 대한 영상을 수신하는 수신부, 상기 영상에서 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 상기 영상으로부터 복수의 정비 객체 및 적어도 하나 이상의 부품 객체를 인식하는 객체 인식부 및 상기 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비할 제 2 정비 대상 객체를 예측하는 정비 대상 객체 추출부를 포함한다.

Description

상호 연관성 규칙 마이닝을 적용한 증강현실 기술에서 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
본 발명은 증강 현실에서 객체 간의 상호 연관성 데이터에 기초하여 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스에 관한 것이다.
군용 장비의 정비를 지원하는데 있어 대화식전자기술교범(Interactive Electronic Technical Manual, IETM)을 활용하여 군 장비, 무기체계의 정비와 부품 정보 데이터의 표현 범위가 다양해지면서 방대한 데이터를 분석하기 위해 다양한 방법론이 등장하고 있다. 종래의 텍스트 형태의 데이터 범위에서 영상(2D), 동영상(3D) 및 가상/증강/혼합현실 기반의 비정형 데이터에 대한 유용한 상관관계를 발견하여 미래에 실행 가능한 정보를 추출해 내고 의사결정에 이용하는 과정으로 일반 물체 인식(General Object Recognition) 기술을 활용하고 있다. 이는 사물이 가진 다양한 특징을 이용하여 영상 속 사물이 무엇인지를 파악하는 기술을 의미한다. 종래의 물체 인식 기술은 일반적으로 물체의 색상, 특징점, 패턴 등을 이용하여 물체를 추정하는 방식을 이용하고 있었다.
하지만, 군용 장비의 경우, 군용 장비의 외부가 동일한 색상, 패턴 등으로 형성되어 있으므로, 종래의 물체 인식 기술을 군용 장비에 적용하기 어렵다는 문제점이 있었다.
한편, HMD(Head Mounted Display)란 머리 부분 탑재형 디스플레이로서, 사용자가 머리 부분에 HMD를 장착하면, 사용자는 HMD를 통해 눈 앞에서 직접 영상을 시청할 수 있도록 하는 차세대 디스플레이 장치를 말한다. HMD는 주로 현실 세계에 가상 영상이나 가상 UI를 겹쳐서 표시하고 있다.
이러한 HMD와 관련하여, 선행기술인 한국공개특허 제 2009-0105485호에서는 HMD를 이용한 멀티미디어 제공 시스템 및 그 제공 방법을 개시하고 있다.
최근에는 HMD를 이용하여 군용 장비의 정비를 지원하는 서비스를 제공하고 있다. 그러나 HMD를 이용하여 군용 장비를 정비하는 경우, HMD와 군용 장비의 정비 객체 간의 거리가 존재함으로써, 정비 객체를 인식하기 위한 시간이 많이 소요된다는 단점을 갖는다.
웨어러블 디바이스를 이용하여 군용 장비의 정비를 진행하는데 정비 객체 및 부품 객체의 인식에 소요되는 시간을 최소화하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공하고자 한다.
데이터 마이닝의 기법을 활용하여 군용 장비의 정비 지원에 대한 상호 연관성 규칙을 분석하고, 분석된 결과에 기초하여 정비를 할 수 있도록 하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공하고자 한다.
군용 장비의 정비를 진행하는데 정비자에게 편의성을 제공하기 위해 웨어러블 디바이스의 스크린을 통해 정비 진행 알림을 제공하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공하고자 한다.
증강현실(AR, Augmented Reality) 기반의 군용 장비의 정비를 위한 부품 객체를 인식하여 정비 대상 객체를 추출함으로써 가상환경 상의 정비지원 및 정비교육시스템의 운영을 가능하게 하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공하고자 한다.
기존의 대화식 전자기술교범(IETM, Interactive Electronic Technical Manual)의 경우 텍스쳐 형식 또는 문서기반으로 데이터를 효율적으로 관리 및 분류하기 어려웠으나, 이를 가상현실(VR, Virtual Reality), 증강현실(AR, Augmented Reality), 혼합현실(MR, Mixed Reality) 등과 같은 멀티미디어 데이터를 통해 효과적으로 관리할 수 있도록 하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공하고자 한다.
군용 장비의 정비 내역 및 부품 정보에 대한 센서 데이터와 위치 기반 기술과의 연동을 통한 혼합현실 기술적용으로, 군용 장비의 정비 지원 및 정비 교육의 통합 운영을 위한 기반을 마련할 수 있도록 하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 정비자의 신체에 착용된 웨어러블 디바이스로부터 군용 장비에 대한 영상을 수신하는 수신부, 상기 영상에서 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 상기 영상으로부터 복수의 정비 객체 및 적어도 하나 이상의 부품 객체를 인식하는 객체 인식부 및 상기 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비할 제 2 정비 대상 객체를 예측하는 정비 대상 객체 추출부를 포함하는 서버를 제공할 수 있다.
본 발명의 다른 실시예는, 정비자의 신체에 착용된 웨어러블 디바이스로부터 군용 장비에 대한 영상을 수신하는 단계, 상기 영상에서 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 상기 영상으로부터 복수의 정비 객체 및 적어도 하나 이상의 부품 객체를 인식하는 단계 및 상기 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비할 제 2 정비 대상 객체를 예측하는 단계를 포함하는 정비 지원 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는, 웨어러블 디바이스에 구비된 카메라를 통해 군용 장비를 촬영하는 촬영부, 상기 군용 장비를 촬영한 영상을 정비 지원 서버로 전송하는 전송부, 상기 정비 지원 서버로부터 상기 군용 장비의 정비 대상 객체에 대한 정비 진행 알림을 수신하는 수신부 및 상기 수신한 정비 대상 객체에 대한 정비 진행 알림을 디스플레이에 표시하는 표시부를 포함하되, 상기 정비 대상 객체는 상기 정비 지원 서버에 의해 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비될 제 2 정비 대상 객체가 예측되고, 상기 적어도 하나 이상의 부품 객체와 각각의 정비 객체는 상기 정비 지원 서버에 의해 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 인식되는 것인 웨어러블 디바이스를 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 웨어러블 디바이스를 이용하여 군용 장비의 정비를 진행하는데 있어서 정비 객체 및 부품 객체의 인식에 소요되는 시간을 최소화하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공할 수 있다.
데이터 마이닝의 기법을 활용하여 군용 장비의 정비 지원에 대한 상호 연관성 규칙을 분석하고, 분석된 결과에 기초하여 정비를 할 수 있도록 하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공할 수 있다.
군용 장비의 정비를 진행하는데 정비자에게 편의성을 제공하기 위해 웨어러블 디바이스의 스크린을 통해 정비 진행 알림을 제공하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공할 수 있다.
증강현실(AR, Augmented Reality) 기반의 군용 장비의 정비를 위한 부품 객체를 인식하여 정비 대상 객체를 추출함으로써 가상환경 상의 정비지원 및 정비교육시스템의 운영을 가능하게 하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공할 수 있다.
기존의 대화식 전자기술교범(IETM)의 경우 텍스쳐 형식 또는 문서기반으로 데이터를 효율적으로 관리 및 분류하기 어려웠으나, 이를 가상현실(VR, Virtual Reality), 증강현실(AR, Augmented Reality), 혼합현실(Mixed Reality) 등과 같은 멀티미디어 데이터를 통해 효과적으로 관리할 수 있도록 하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공할 수 있다.
군용 장비의 정비 내역 및 부품 정보에 대한 센서 데이터와 위치 기반 기술과의 연동을 통한 혼합현실 기술적용으로, 군용 장비의 정비 지원 및 정비 교육의 통합 운영을 위한 기반을 마련할 수 있도록 하는 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 군용 장비에 대한 정비 지원 시스템을 도시한 예시적인 도면이다.
도 2는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 정비 대상 객체에 대한 정비 정보를 디스플레이에 표시하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 군용 장비의 정비 지원을 제공받는 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 서버의 구성도이다.
도 6a 내지 도 6b는 본 발명의 일 실시예에 따른 군용 장비의 부품 객체를 인식하고 부품 객체의 픽셀을 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 영상에서 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 영상으로부터 정비 객체 및 부품 객체를 인식하는 과정을 설명하기 위한 예시적인 도면이다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 상호 연관성 데이터를 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 일 실시예에 따른 서버에서 군용 장비의 정비를 지원하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 군용 장비에 대한 정비 지원 시스템을 도시한 예시적인 도면이다. 도 1을 참조하면, 군용 장비에 대한 정비 지원 시스템(1) 은 웨어러블 디바이스(110) 및 정비 지원 서버(120)를 포함할 수 있다. 웨어러블 디바이스(110) 및 정비 지원 서버(120)는 군용 장비에 대한 정비 지원 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 군용 장비에 대한 정비 지원 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 웨어러블 디바이스(110)는 정비 지원 서버(120)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
웨어러블 디바이스(110)는 웨어러블 디바이스(110)에 구비된 카메라를 통해 군용 장비(100)를 촬영할 수 있다.
웨어러블 디바이스(110)는 군용 장비(100)를 촬영한 영상을 정비 지원 서버(120)로 전송할 수 있다.
웨어러블 디바이스(110)는 정비 지원 서버(120)로부터 군용 장비(100)의 정비 대상 객체에 대한 정비 진행 알림을 수신하고, 수신한 정비 대상 객체에 대한 정비 진행 알림을 디스플레이에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(110)는 정비 진행 알림을 디스플레이에 증강 현실, 가상 현실 또는 혼합 현실 등의 형태로 표시할 수 있다. 정비 진행 알림은 예를 들어, 현재 정비를 진행할 정비 대상 객체에 대한 알림 및 다음으로 정비가 진행될 정비 대상 객체에 대한 알림을 포함할 수 있다.
웨어러블 디바이스(110)는 정비 지원 서버(120)로부터 군용 장비(100)의 정비 대상 객체에 대한 정비 정보를 수신하고, 수신한 정비 대상 객체에 대한 정비 정보를 디스플레이에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(110)는 정비 지원 서버(120)로부터 증강 현실, 가상 현실 또는 혼합 현실의 형태로 정비 정보를 수신할 수 있다. 정비 정보는 예를 들어, 정비 대상 객체의 정비 내역, 정비 대상 객체에 대한 정비 가이드 정보를 포함할 수 있다.
이러한 웨어러블 디바이스(110)의 일 예는 정비자의 신체에 착용이 가능한 홀로렌즈(HoloLens), 스마트 글래스(Smart Glass), HMD(Head Mounted Display), 또는 HUD(Head Up Display)를 포함할 수 있다.
정비 지원 서버(120)는 정비자의 신체에 착용된 웨어러블 디바이스(110)로부터 군용 장비(100)에 대한 영상을 수신할 수 있다.
정비 지원 서버(120)는 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 영상으로부터 복수의 정비 객체 및 적어도 하나 이상의 부품 객체를 인식할 수 있다. 이를 위해, 정비 지원 서버(120)는 영상의 프레임을 복수의 셀(cell)로 분할하고, 추출된 적어도 하나 이상의 부품 객체의 위치를 영상의 프레임의 셀에 적용하여 적어도 하나 이상의 부품 객체의 경계선을 검출할 수 있다.
예를 들어, 정비 지원 서버(120)는 영상에 색상 및 질감 성분을 기반으로 하는 파티클 필터를 적용하여 각각의 정비 객체에 대응하는 파티클 영역을 추출할 수 있다. 여기서, 픽셀 간의 유클리드 거리를 이용하는 필터는 적응 칼만 필터(Adaptive Kalman Filter)이고, 정비 지원 서버(120)는 파티클 영역에 적응 칼만 필터를 적용하여 영상으로부터 정비자에 의해 이동되는 적어도 하나 이상의 부품 객체를 추적할 수 있다. 적응 칼만 필터에 대해서는 후술하기로 한다.
정비 지원 서버(120)는 인식된 적어도 하나 이상의 부품 객체로부터 픽셀을 추출할 수 있다. 이 때, 정비 지원 서버(120)는 추출된 적어도 하나 이상의 픽셀을 유사 픽셀군으로 군집화할 수 있다. 예를 들어, 정비 지원 서버(120)는 군집화된 유사 픽셀군을 복수의 후보 정비 영역으로 추출하고, 추출된 복수의 후보 정비 영역 중 적어도 하나 이상의 부품 객체와 각각의 정비 대상 객체 간의 거리를 이용하여 제 1 정비 대상 객체를 포함하는 정비 영역을 추출할 수 있다.
정비 지원 서버(120)는 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 거리에 기초하여 복수의 정비 객체 중 제 1 정비 대상 객체를 추출할 수 있다.
정비 지원 서버(120)는 영상으로부터 정비자에 의해 이동하는 적어도 하나 이상의 부품 객체의 각각의 정비 객체로의 접근 상태를 판단할 수 있다. 예를 들어, 정비 지원 서버(120)는 적어도 하나 이상의 부품 객체가 접근하고 있는 정비 객체를 제 1 정비 대상 객체로 추출하고, 제 1 정비 대상 객체에 포함된 적어도 하나 이상의 부품 객체를 인식하고, 인식된 부품 객체의 위치를 추출할 수 있다.
정비 지원 서버(120)는 웨어러블 디바이스(110)로부터 정비자의 시선 정보 및 정비자의 머리 움직임 정보 중 적어도 하나를 더 수신할 수 있다.
정비 지원 서버(120)는 정비자의 시선 정보 및 정비자의 머리 움직임 정보 등에 기초하여 정비자의 시선의 초점을 보정할 수 있다.
정비 지원 서버(120)는 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비할 제 2 정비 대상 객체를 예측할 수 있다. 여기서, 제 1 정비 대상 객체는 초기의 정비 대상 객체를 의미하고, 제 2 정비 대상 객체는 제 1 정비 대상 객체의 다음으로 정비할 정비 대상 객체를 의미할 수 있다.
상호 연관성 데이터는 각 정비 객체에 대응되는 복수의 규칙 정보 및 복수의 규칙 정보 각각에 대한 신뢰도 정보를 포함할 수 있다.
여기서, 복수의 규칙 정보 각각은 예를 들어, 1회의 정비 시에 함께 정비될 정비 객체 세트, 각 정비 객체 세트에 포함된 정비 객체의 정비 순서 등을 포함할 수 있다.
예를 들어, 정비 객체 세트로서 제 1 정비 객체와 제 2 정비 객체 간의 규칙 정보가 포함될 수 있다. 여기서, 제 1 정비 객체와 제 2 정비 객체 간의 규칙 정보에 대한 신뢰도 정보는 전체 정비 내역 중 제 1 정비 객체가 정비된 정비 내역 수 및 제 1 정비 객체와 제 2 정비 객체가 함께 정비된 정비 내역 수에 기초하여 도출될 수 있다.
정비 지원 서버(120)는 추출된 정비 대상 객체에 대한 정비 진행 알림을 웨어러블 디바이스(110)로 전송할 수 있다. 여기서, 정비 진행 알림은 현재 정비를 진행할 정비 대상 객체에 대한 알림 및 다음으로 정비가 진행될 정비 대상 객체에 대한 알림을 포함할 수 있다. 여기서, 알림은 예를 들어, 현재 정비를 진행할 정비 대상 객체에 대한 정비 가능 알림 또는 정비 불가능 알림, 다음으로 정비를 진행할 정비 객체에 대한 정비 알림, 정비 대상 객체와 연관된 부품 객체에 대한 알림 등을 포함할 수 있다.
정비 지원 서버(120)는 증강 현실, 가상 현실 또는 혼합 현실의 형태로 정비 대상 객체에 대한 정비 정보를 웨어러블 디바이스(110)로 전송할 수 있다. 여기서, 정비 정보는 제 1 또는 제 2 정비 대상 객체의 정비 내역, 제 1 또는 제 2 정비 대상 객체에 대한 정비 가이드 정보 등을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구성도이다. 도 1 및 도 2를 참조하면, 웨어러블 디바이스(110)는 촬영부(210), 전송부(220), 수신부(230) 및 표시부(240)를 포함할 수 있다.
촬영부(210)는 웨어러블 디바이스(110)에 구비된 카메라를 통해 군용 장비(100)를 촬영할 수 있다.
전송부(220)는 군용 장비(100)를 촬영한 영상을 정비 지원 서버(120)로 전송할 수 있다. 예를 들어, 전송부(220)는 군용 장비(100)를 촬영한 홀로렌즈 영상을 정비 지원 서버(120)로 전송할 수 있다.
수신부(230)는 정비 지원 서버(120)로부터 군용 장비(100)의 정비 대상 객체에 대한 정비 진행 알림을 수신할 수 있다. 정비 진행 알림은 예를 들어, 현재 정비를 진행할 정비 대상 객체에 대한 알림 및 다음으로 정비가 진행될 정비 대상 객체에 대한 알림을 포함할 수 있다. 예를 들어, 정비 진행 알림은 현재 정비를 진행할 정비 대상 객체에 대한 정비 가능 알림 및 정비 불가능 알림을 포함하고, 다음으로 정비가 진행될 정비 대상 객체에 대한 정비 알림을 포함할 수 있다.
수신부(230)는 정비 지원 서버(120)로부터 군용 장비(100)의 제 1 또는 제 2 정비 대상 객체에 대한 정비 정보를 수신할 수 있다. 예를 들어, 수신부(230)는 정비 지원 서버(120)로부터 증강 현실, 가상 현실 또는 혼합 현실의 형태로 정비 정보를 수신할 수 있다. 정비 정보는 예를 들어, 제 1 또는 제 2 정비 대상 객체의 정비 내역, 제 1 또는 제 2 정비 대상 객체에 대한 정비 가이드 정보를 포함할 수 있다.
표시부(240)는 수신한 정비 대상 객체에 대한 정비 진행 알림을 디스플레이에 표시할 수 있다. 예를 들어, 표시부(240)는 웨어러블 디바이스(110)의 디스플레이를 통해 증강 현실, 가상 현실 또는 혼합 현실 중 어느 하나의 형태로 정비 진행 알림을 표시할 수 있다.
표시부(240)는 수신한 제 1 또는 제 2 정비 대상 객체에 대한 정비 정보를 디스플레이에 표시할 수 있다.
도 3은 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 정비 대상 객체에 대한 정비 정보를 디스플레이에 표시하는 과정을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 웨어러블 디바이스(110)는 정비 대상 객체에 대한 정비 정보를 디스플레이(300)에 표시할 수 있다.
예를 들어, 웨어러블 디바이스(110)는 디스플레이(300)의 제 1 영역(310)에 정비 대상 객체에 대한 정비 가이드 정보를 가상 현실(VR, Virtual Reality)의 형태로 표시할 수 있다. 웨어러블 디바이스(110)는 디스플레이(300)의 제 1 영역(310)을 통해 정비자를 위한 가상 현실 형태의 제 1 또는 제 2 정비 대상 객체에 대한 정비 가이드 영상, 음성/영상/텍스트를 지원하는 정비 매뉴얼 등을 표시할 수 있다.
다른 예를 들어, 웨어러블 디바이스(110)는 디스플레이(300)의 제 2 영역(320)에 제 1 또는 제 2 정비 대상 객체의 정비 내역을 증강 현실(AR, Augmented Reality)의 형태로 표시할 수 있다. 웨어러블 디바이스(110)는 디스플레이(300)의 제 2 영역(320)을 통해 정비 지원을 위한 정비 상황에 대한 사례기반의 추론을 통해 최근린 거리(nearest-Neighbor Distance) 묘사 기법으로 표시하여, 비마커 기반의 정비 내역 내 제 1 또는 제 2 정비 대상 객체 및 부품 접근을 용이하게 표현하여 정비를 지원할 수 있다.
또 다른 예를 들어, 웨어러블 디바이스(110)는 디스플레이(300)의 제 3 영역(330)에 정비 도구함의 부품 객체 정보를 표시할 수 있다. 웨어러블 디바이스(110)는 디스플레이(300)의 제 3 영역(330)을 통해 정비자의 선택에 의해 필요한 부품 및 정비 공구 리스트를 표시하여, 정비 지원과 관련된 인터렉션 매트릭스(interaction matrix)를 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 군용 장비의 정비 지원을 제공받는 방법의 순서도이다. 도 4에 도시된 웨어러블 디바이스(110)에서 군용 장비(100)의 정비 지원을 제공받는 방법은 도 1 내지 도 3에 도시된 실시예에 따른 군용 장비에 대한 정비 지원 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 3에 도시된 실시예에 따른 웨어러블 디바이스(110)에서 군용 장비(100)의 정비 지원을 제공받는 방법에도 적용된다.
단계 S410에서 웨어러블 디바이스(110)는 웨어러블 디바이스(110)에 구비된 카메라를 통해 군용 장비를 촬영할 수 있다.
단계 S420에서 웨어러블 디바이스(110)는 군용 장비(100)를 촬영한 영상을 정비 지원 서버(120)로 전송할 수 있다.
단계 S430에서 웨어러블 디바이스(110)는 정비 지원 서버(120)로부터 군용 장비(100)의 정비 대상 객체에 대한 정비 진행 알림을 수신할 수 있다.
단계 S440에서 웨어러블 디바이스(110)는 수신한 정비 대상 객체에 대한 정비 진행 알림을 디스플레이에 표시할 수 있다.
도 4에서 도시되지는 않았으나, 웨어러블 디바이스(110)는 정비 지원 서버(120)로부터 군용 장비(100)의 정비 대상 객체에 대한 정비 정보를 수신하는 단계 및 수신한 정비 대상 객체에 대한 정비 정보를 디스플레이에 표시하는 단계를 더 포함할 수 있다.
상술한 설명에서, 단계 S410 내지 S440은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 정비 지원 서버의 구성도이다. 도 5를 참조하면, 수신부(510), 영상 분할부(520), 객체 인식부(530), 픽셀 추출부(540), 정비 대상 객체 추출부(550) 및 전송부(560)를 포함할 수 있다.
수신부(510)는 정비자의 신체에 착용된 웨어러블 디바이스(110)로부터 군용 장비(100)에 대한 영상을 수신할 수 있다. 예를 들어, 수신부(510)는 정비자의 신체에 착용된 웨어러블 디바이스(110)로부터 군용 장비(100)를 촬영한 홀로 렌즈 영상을 수신할 수 있다.
수신부(510)는 웨어러블 디바이스(110)로부터 정비자의 시선 정보 및 정비자의 머리 움직임 정보 중 적어도 하나를 더 수신할 수 있다.
영상 분할부(520)는 영상의 프레임을 복수의 셀(cell)로 분할할 수 있다. 영상의 프레임을 복수의 셀로 분할하는 이유는 영상에서 객체와 경계선(선, 곡선 등)을 검출하기 위함이며, 이를 통해 영상의 표현을 좀 더 의미있고 해석하기 쉬운 것으로 단순화하거나 변환하기 위한 것이다. 웨어러블 디바이스(110)의 시각에서 객체를 인식하기 위해서는 디지털 영상(2D), 동영상 및 실제 영상 내의 사물, 대상물체 등과 같은 일반적인 물체의 카테고리를 찾아내어 분류 처리를 통해 여러 개의 프레임 내의 집합으로 나누는 과정이 필요하다. 영상의 프레임을 복수의 셀로 분할한 결과는 전체 영상을 집합적으로 포함하는 지역의 집합 또는 영상으로부터 추출된 윤곽의 집합일 수 있다. 지역에서 각각의 픽셀은 색, 밝기, 재질과 같은 어떤 특징이나 계산된 속성의 관점에서 유사하며, 인접한 지역은 동일한 특징의 관점에서 현저하게 다를 수 있다.
객체 인식부(530)는 영상으로부터 복수의 정비 객체를 탐지하고, 탐지된 복수의 정비 객체 중 적어도 하나에 대응하는 적어도 하나 이상의 부품 객체를 인식할수 있다. 객체 인식부(530)는 정비 객체에 포함된 적어도 하나 이상의 부품 객체를 인식하고, 인식된 부품 객체의 위치를 추출할 수 있다. 예를 들어, 객체 인식부(530)는 추출된 적어도 하나 이상의 부품 객체의 위치를 영상의 프레임의 셀에 적용하여 적어도 하나 이상의 부품 객체의 경계선을 검출할 수 있다.
픽셀 추출부(540)는 인식된 적어도 하나 이상의 부품 객체로부터 픽셀을 추출할 수 있다. 이 때, 픽셀 추출부(540)는 추출된 적어도 하나 이상의 픽셀을 유사 픽셀군으로 군집화할 수 있다. 예를 들어, 픽셀 추출부(540)는 k-means 기법을 이용하여 인식된 부품 객체로부터 픽셀을 추출하여 유사 픽셀군으로 군집화를 할 수 있다. 군집화를 하는 이유는 인식된 부품 객체의 위치별로 특징과 상태가 필요하고, 위치 단위의 크기에 따라 특징과 상태의 개수와 예측의 정밀 규칙에 대한 차이가 발생할 수 있다. 따라서, 군집의 계층을 고려하지 않고 평면적으로 군집화하는 방법으로 사전에 소정의 군집으로 나누어질 것이라고 예상하여 군집의 개수를 정하여 부분 군집화를 할 수 있다.
도 6a 내지 도 6b는 본 발명의 일 실시예에 따른 군용 장비의 부품 객체를 인식하고 부품 객체의 픽셀을 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 6a는 본 발명의 일 실시예에 따른 부품 객체를 인식하는 과정을 설명하기 위한 예시적인 도면이다. 도 6a를 참조하면, 정비 지원 서버(120)는 정비 객체에 포함된 부품 객체를 인식하여 인식된 부품 객체의 위치를 추출하고, 복수의 셀로 분할된 2D 영상의 프레임(600)을 통해 추출된 부품 객체의 위치를 영상의 프레임의 셀에 적용하여 부품 객체의 경계선을 검출할 수 있다. 2D 영상의 프레임(600)은 가장 작은 단위의 셀로 동일하게 분할되도록 구성될 수 있으며, 부품 객체의 위치를 영상의 프레임의 기준 셀(610)에 적용하여 부품 객체의 경계선을 검출할 수 있다. 또한, 기준 셀(610)로부터 직접적인 셀(620) 및 간접적인 셀(630)을 도출하여 부품 객체의 정비 객체로의 접근 상태를 판단하도록 할 수 있다. 해당 프레임의 접근 상태는 k-means 기법을 적용하여 부품 객체의 크기 및 방향 등이 포함되도록 할 수 있다.
예를 들어, 서버(120)는 T1, T2, T3, ..., Tn 등의 부품 객체(640)를 통해 각 객체가 지니는 정비 객체에 포함된 부품 객체의 기능 또는 이웃 객체들이 지니고 있는 기능을 활용하여 정비 대상 객체로의 접근 상태를 판단할 수 있다. 정비 지원 서버(120)는 영상의 프레임의 접근 영역을 탐지하는 접근 상태가 변화되는 것을 기록할 수 있다.
도 6b는 본 발명의 일 실시예에 따른 부품 객체의 픽셀을 추출하여 유사 픽셀군으로 군집화하는 과정을 설명하기 위한 예시적인 도면이다. 도 6b를 참조하면, 정비 지원 서버(120)는 인식된 부품 객체의 픽셀(650)을 추출하고, 추출된 픽셀(650)을 유사 픽셀군(660)으로 군집화할 수 있다. 이 때, 서버(120)는 k-means 기법을 이용하여 유사 픽셀군(660)으로 군집화할 수 있다.
k-means는 홀로렌즈 영상에서 연속적인 사건 등에 대해 다음의 행위를 예측하는데 있어서 n(부품 객체)개의 객체들의 k(정비 대상 객체)개의 군집으로 분해할 수 있다. 군집의 유사성은 군집에서 군집의 무게 중심이 되는 객체들의 평균값을 측정함으로써 도출되며, 군집의 유사성을 통해 홀로렌즈 환경 또는 HMD(Head Mounted Display) 기기의 적용에 적합해 진다.
k-means의 다음 결과 발생에 대한 조건부 확률은 다음과 같다. 제 1 단계에서 군집 수 k를 결정하고, 각 군집에 초기치 또는 군집 중심을 1개씩 할당하고, 제 2 단계에서 모든 데이터를 유클리디안 거리를 이용하여 가장 가까운 군집 중심에 배속시키고, 제 3 단계에서 각 군집에 배속된 데이터와 새로운 군집 중심 사이의 거리가 최소가 되도록 새로운 군집 중심을 계산하고, 제 4 단계에서 군집 중심이 변화가 거이 없을 때까지 제 2 단계와 제 3 단계를 반복한다.
다시 도 5로 돌아와서, 객체 인식부(530)는 영상에서 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 영상으로부터 복수의 정비 객체 및 적어도 하나 이상의 부품 객체를 인식할 수 있다. 여기서, 픽셀 간의 유클리드 거리를 이용하는 필터는 적응 칼만 필터(Adaptive Kalman Filter)일 수 있다. 객체 인식부(530)는 파티클 영역 추출부(535)를 포함할 수 있다.
파티클 영역 추출부(535)는 영상에 색상 및 질감 성분을 기반으로 하는 파티클 필터를 적용하여 각각의 정비 객체에 대응하는 파티클 영역을 추출할 수 있다.
예를 들어, 파티클 영역 추출부(535)는 영상으로부터 파티클(particle)을 생성하고, 각 파티클(포즈)에 의해 투영된 3차원 환경 모델 영상, 홀로렌즈의 영상 사이의 밝기 SSD(Sum of Squared Difference) 및 그래디언트 SSD를 계산하고, 각 파티클의 확률 모델을 갱신하여 정비 객체가 포함된 파티클 영역을 추출할 수 있다.
여기서, 파티클은 색상 및 질감 성분을 기반으로 하는 파티클 필터가 적용됨으로써, 실시간으로 복수의 정비 객체에 대응하는 파티클 영역을 생성 및 추적할 수 있다. 이를 통해, 초기 영상에서 생성하고자 하는 정비 객체를 선택하면, 이를 타깃 파티클(target particle)로 결정하고, 타깃 파티클로부터 추적을 위한 초기 상태로 모델링이 될 수 있다.
객체 인식부(530)는 파티클 영역에 적응 칼만 필터를 적용하여 영상으로부터 정비자에 의해 이동되는 적어도 하나 이상의 부품 객체를 추적할 수 있다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 영상에서 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 영상으로부터 정비 객체 및 부품 객체를 인식하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a를 참조하면, 군용 장비를 촬영한 영상(700)은 복수의 정비 객체(710)를 포함할 수 있다.
도 7b를 참조하면, 객체 인식부(530)는 파티클 영역을 흑백 전환(720)하고, 흑백 전환된 파티클 영역에 포함된 각 픽셀을 이진화(530, 0 또는 1)할 수 있다. 객체 인식부(530)는 이진화된 각 픽셀 중 값이 '1'인 픽셀을 연결하여 객체를 인식할 수 있다. 이 때, 객체 인식부(530)는 객체를 인식하기 위해 유클리드 거리를 이용할 수 있다.
도 7c는 유클리드 거리와 맨해튼 거리를 비교한 예시적인 도면이다. 도 7c를 참조하면, 맨해튼 거리(740)를 이용하여 픽셀 p, q를 연결하면, 픽셀 p, q의 간선 거리는 8픽셀인 것을 확인할 수 있다.
반면, 유클리드 거리(750)를 이용하여 픽셀 p, q를 연결하면, 픽셀 p, q의 간선 거리는 _이고, 이는 맨해튼 거리(740)를 이용한 경우보다 매우 짧은 것을 알 수 있다.
이와 같이, 객체 인식부(530)가 진화된 칼만 필터, 즉, 픽셀 간의 유클리드 거리를 이용함으로써, 정비 객체 및 부품 객체를 더 정확하고 효과적으로 인식할 수 있다.
다시 도 5로 돌아와서, 객체 인식부(530)는 정비 대상 객체에 포함된 적어도 하나 이상의 부품 객체를 인식하고, 인식된 부품 객체의 위치를 추출할 수 있다.
객체 인식부(530)는 웨어러블 디바이스(110)에 구비된 GPS(Global Positioning System) 및 IMU(Inertial Measurement Unit) 센서를 통해 획득된 센싱 데이터에 기초하여 정비자의 시선의 초점을 보정할 수 있다. 여기서, 센싱 데이터는 진행방향, 횡방향, 높이방향의 가속도, 롤링(roll), 피칭(pitch), 요(yaw) 각속도를 포함할 수 있다.
센싱 데이터에 기초하여 정비자의 시선의 초점을 보정함으로써, 모션 블러(motion blur), 가려짐(occlusion) 등이 발생하더라도 정비자의 초점 추적이 가능하다.
정비 대상 객체 추출부(550)는 객체 인식부(530)에서 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 거리에 기초하여 복수의 정비 대상 객체 중 제 1 정비 대상 객체를 추출할 수 있다. 예를 들어, 정비 대상 객체 추출부(550)는 적어도 하나 이상의 부품 객체가 접근하고 있는 정비 객체를 제 1 정비 대상 객체로 추출할 수 있다.
정비 대상 객체 추출부(550)는 영상으로부터 정비자에 의해 이동하는 적어도 하나 이상의 부품 객체 각각의 정비 객체로의 접근 상태를 판단할 수 있다. 여기서, 접근 상태는 군용 장비(100)의 정비 대상 객체 간의 거리 및 거리와 시간에 따른 변화 정도를 의미하는 것으로, 정비 대상 객체 추출부(550)는 는 부품 객체의 각각의 정비 객체로의 상대적인 접근 상태를 도출할 수 있다.
예를 들어, 정비 대상 객체 추출부(550)는 부품 객체의 각각의 정비 객체로의 접근 상태를 Neutral 방식, Inward 방식 및 Outward 방식 중 어느 하나로 판단할 수 있다. Neutral 방식은 영상 내에 정비 객체가 탐지되지 않는 상태를 의미하고, Inward 방식은 영상 내에 부품 객체가 탐지되어 정비 객체로 접근하고 있는 상태를 의미하고, Outward 방식은 영상 내에 부품 객체가 정비 객체로부터 멀어지고 있는 상태를 의미하는 것일 수 있으며, 이러한 3가지의 상태값을 이용하여 접근 상태의 연산 및 저장에 필요한 리소스를 줄일 수 있다.
예를 들어, 이전의 간접 요소 이동 특성과 현재의 간접 요소 이동 특성 상태를 의미하는 [Newtral, Inward] 상태 또는 [Outward, Inward] 상태의 경우, 군용 장비(100)로부터 범위 영역 내에 부품 객체가 정비 객체로부터 멀어지다가 시간이 흐름에 따라 점점 정비 객체로 더 접근하고 있는 상대적 접근 상태를 나타낼 수 있다.
여기서, 접근 상태를 판단할 때의 거리 단위는 객체 인식 방식 및 측정 기기 등에 따라 달라질 수 있다. 예를 들어, 홀로렌즈 디스플레이에서 영상의 객체 인식을 위해 측정 가능한 범위인 경우 m 또는 cm단위 등의 특정 길이 기반의 거리를 사용할 수 있으며, 정비 객체 내 부품 객체 간의 거리를 기준으로 사용할 수도 있다. 이 때, 정비 대상 객체 추출부(550)는 모든 정비 품목을 대상으로 하여 정비 객체 및 부품 객체 간의 상대적 접근 상태를 도출할 수 있다.
접근 상태를 판단하는 이유는 군용 장비(100)의 특성 상, 정비 객체와 부품 객체의 경우 고정성을 가질 수도 있으나 이동성을 지닐 수도 있으며, 웨어러블 디바이스(110)가 이동함으로써 정비 객체 및 부품 객체의 상대적 접근 상태가 변화하는 경우에 적용하기 위함이다.
정비 대상 객체 추출부(550)는 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비할 제 2 정비 대상 객체를 예측할 수 있다. 여기서, 제 1 정비 대상 객체는 초기의 정비 대상 객체를 의미하고, 제 2 정비 대상 객체는 제 1 정비 대상 객체의 다음으로 정비할 정비 대상 객체를 의미할 수 있다.
상호 연관성 데이터는 복수의 규칙 정보 및 복수의 규칙 정보 각각에 대한 신뢰도 정보를 포함할 수 있다. 여기서, 복수의 규칙 정보 각각은 예를 들어, 1회 정비 시에 함께 정비될 정비 객체 세트, 정비 객체 세트에 포함된 정비 객체의 정비 순서 등을 포함할 수 있다. 예를 들어, 복수의 규칙 정보는 제 1 정비 객체와 제 2 정비 객체 간의 규칙 정보를 포함하고, 신뢰도 정보는 제 1 정비 객체가 정비된 정비 내역 수 및 제 1 정비 객체와 제 2 정비 객체가 함께 정비된 내역 수에 기초하여 도출될 수 있다.
전송부(560)는 증강 현실, 가상 현실 또는 혼합 현실의 형태로 제 1 또는 제 2 정비 대상 객체에 대한 정비 정보를 웨어러블 디바이스(110)로 전송할 수 있다. 여기서, 정비 정보는 제 1 또는 제 2 정비 대상 객체의 정비 내역, 제 1 또는 제 2 정비 대상 객체에 대한 정비 가이드 정보를 포함할 수 있다.
전송부(560)는 추출된 정비 대상 객체에 대한 정비 진행 알림을 웨어러블 디바이스(110)로 전송할 수 있다. 여기서, 알림은 예를 들어, 현재 정비를 진행할 정비 대상 객체에 대한 정비 가능 알림 또는 정비 불가능 알림, 다음으로 정비를 진행할 정비 객체에 대한 정비 알림, 정비 대상 객체와 연관된 부품 객체에 대한 알림 등을 포함할 수 있다. 예를 들어, 전송부(560)는 정비자가 A 정비 대상 객체에 대해 정비를 진행하도록, 웨어러블 디바이스(110)에 A 정비 대상 객체가 강조 표시되도록 하는 알림을 전송할 수 있다.
또한, 정비자가 현재 A 정비 대상 객체를 정비 중인 경우, 전송부(560)는 정비자가 A 정비 대상 객체의 정비를 종료한 후 다음으로 B 정비 대상 객체에 대한 정비를 진행할 수 있도록, 웨어러블 디바이스(110)에 B 정비 대상 객체가 강조 표시되도록 하는 알림을 전송할 수 있다. 이 때, B 정비 대상 객체는 정비 대상 객체 추출부(530)에서 상호 연관성 데이터에서 신뢰성이 가장 높은 정비 규칙으로부터 도출된 정비 객체일 수 있다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 상호 연관성 데이터를 설명하기 위한 예시적인 도면이다.
정비 지원 서버(120)는 상호 연관성 데이터를 생성하기 위해 마르코프 행렬을 이용할 수 있다. 예를 들어, 군용 장비(100)를 정비할 정비 공간 내의 모든 상태 공간이 유한 집합이라고 가정할 경우, 시간 동질 마르코프 연쇄는 각 변에 0과 1 사이의 실수가 붙어있는 유한 그래프로 표현될 수 있다. 즉, 상태 공간 S 상에서 정의된 이산 시간 마르코프 연쇄는 추이행렬이라고 하는 행렬이 이용되며, 이 행렬이 가지는 성질을 일반화한 것이 마르코프 행렬이다. 이 행렬의 고유값과 고유벡터를 도출함으로써 마르코프 연쇄의 극한 분포 등을 도출할 수 있다.
서버(120)는 이러한 기법을 적용하기 위해서 각 객체에 "(이전 위치 Xn-1, 현재 위치 Xn)이고, (다음에 적용할 위치 Xn+1)"의 공식을 이용하여 상태 전이도(state transition diagram)를 부여할 수 있다. 이를 위해, 조건부 확률(conditional probability)을 두어 수학적으로 이동성 상태 간의 천이 확률을 계산할 수 있다. 천이 확률은 각 상태 간의 천이가 발생할 수 있는 조건부 확률을 의미한다.
정비 지원 서버(120)는 상기 공식을 이용하여 하나의 부품 객체에 포함되어 있는 경향을 파악하여 상호 연관성 규칙의 발견에 활용할 수 있다. 예를 들어, 정비 지원 서버(120)는 부품 객체의 이전 위치와 현재 위치, 그리고 다음 위치를 매칭시킬 수 있다.
정비 지원 서버(120)는 생성된 상호 연관성 데이터를 통해 적어도 하나의 정비 객체와 적어도 하나의 부품 객체와의 연관성을 추론할 수 있다.
도 8a를 참조하면, 전체 정비 내역 리스트(800)는 1회의 정비 시에 함께 정비가 이루어진 정비 부품 객체 세트를 포함할 수 있다.
예를 들어, 제 1 ID에 대응하는 정비 시에 A 정비 객체, B 정비 객체 및 C 정비 객체의 정비가 수행되었고, 제 2 ID에 대응하는 정비 시에 A 정비 객체, B 정비 객체 및 D 정비 객체의 정비가 수행된 것을 확인할 수 있다.
도 8b를 참조하면, 상호 연관성 데이터(800)는 복수의 규칙 정보(811), 각 규칙 정보(811)에 대응하는 정비 ID(812) 및 신뢰도 정보(813)를 포함할 수 있다.
복수의 규칙 정보(811)는 제 1 정비 객체 및 제 2 정비 객체가 함께 정비된 경우가 규칙 정보로서 선정된 것일 수 있다. 복수의 규칙 정보는 전체 정비 내역의 횟수에 대한 제 1 정비 객체 및 제 2 정비 객체가 함께 정비된 횟수의 비율을 나타내는 지지도 정보에 기초하여 선정된다. 이 때, 복수의 규칙 정보는 제 1 정비 객체 및 제 2 정비 객체가 함께 정비된 경우의 지지도 정보가 기설정된 비율(예를 들어, 50% 이상) 이상일 때 선정될 수 있다.
예를 들어, A 정비 객체와 B 정비 객체가 함께 정비된 경우의 지지도 정보는 전체 정비 내역의 횟수(6회) 중 A 정비 객체와 B 정비 객체가 함께 정비된 횟수(3회)를 통해 3/6=50%가 도출됨으로써, A 정비 객체와 B 정비 객체가 함께 정비된 경우가 하나의 규칙 정보로 이용될 수 있게 된다.
다른 예를 들어, B 정비 객체와 D 정비 객체가 함께 정비된 경우의 지지도 정보는 전체 정비 내역의 횟수(6회) 중 B 정비 객체와 D 정비 객체가 함께 정비된 횟수(2회)를 통해 2/6=약33%가 도출됨으로써, B 정비 객체와 D 정비 객체의 지지도 정보가 기설정된 비율에 미치지 못하므로 하나의 규칙 정보로 이용될 수 없게 된다. 이러한 지지도 정보를 통해 상호 연관성 데이터를 좀더 강건하게 할 수 있다.
신뢰도 정보(813)는 해당하는 전체 정비 내역(800) 중 제 1 정비 객체가 정비된 정비 내역 수 및 제 1 정비 객체와 제 2 정비 객체가 함께 정비된 정비 내역 수에 기초하여 도출될 수 있다.
예를 들어, 제 1 정비 객체를 A 정비 객체로, 제 2 정비 객체를 B 정비 객체로 가정하자. A 정비 객체는 전체 정비 내역(800) 중 제 1 정비 ID, 제 2 정비 ID, 제 3 정비 ID, 제 4 정비 ID에 포함되고, B 정비 객체는 전체 정비 내역(800) 중 제 1 정비 ID, 제 2 정비 ID, 제 4 정비 ID, 제 5 정비 ID에 포함된다.
또한, A 정비 객체와 B 정비 객체가 함께 정비된 정비 ID는 제 1 정비 ID, 제 2 정비 ID, 제 5 정비 ID가 포함된다는 것을 알 수 있다.
이때, A 정비 객체와 B 정비 객체가 함께 정비된 규칙 정보의 경우, 신뢰도 정보(713)는 A 정비 객체가 정비된 정비 내역 수에 대한 A 정비 객체 및 B 정비 객체가 함께 정비된 내역 수에 기초하여 도출되므로, (제 1 정비 ID, 제 2 정비 ID, 제 5 정비 ID)/(제 1 정비 ID, 제 2 정비 ID, 제 3 정비 ID, 제 4 정비 ID)=3/4=75%로 도출된다.
신뢰도 정보(813)의 경우, 예를 들어, A 정비 객체가 해당하는 제 1 ID, 제 2 ID, 제 3 ID 및 제 5 ID의 정비 객체 중 B 정비 객체와 함께 정비된 내역은 제 1 ID, 제 2 ID 및 제 5 ID일 수 있다. 이는, 4번의 정비 중 3번이 함께 정비된 것을 의미함으로써 신뢰도가 75%를 나타낼 수 있다. 서버(120)는 신뢰도 정보가 높은 규칙들 중 지지도 정보가 큰 순서로 정비 대상 객체를 결정할 수 있다.
도 9는 본 발명의 일 실시예에 따른 정비 지원 서버에서 군용 장비의 정비를 지원하는 방법의 순서도이다. 도 9에 도시된 서버(120)에서 군용 장비(100)의 정비를 지원하는 방법은 도 1 내지 도 8b에 도시된 실시예에 따른 군용 장비(100)에 대한 정비 지원 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 8b에 도시된 실시예에 따른 서버(120)에서 군용 장비(100)의 정비를 지원하는 방법에도 적용된다.
단계 S910에서 정비 지원 서버(120)는 정비자의 신체에 착용된 웨어러블 디바이스(110)로부터 군용 장비(100)에 대한 영상을 수신할 수 있다.
단계 S920에서 정비 지원 서버(120)는 영상에서 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 영상으로부터 복수의 정비 객체 및 적어도 하나 이상의 부품 객체를 인식할 수 있다.
단계 S930에서 정비 지원 서버(120)는 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비할 제 2 정비 대상 객체를 예측할 수 있다.
상술한 설명에서, 단계 S910 내지 S930은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 9를 통해 설명된 웨어러블 디바이스에서 군용 장비의 정비 지원을 제공받는 방법 및 서버에서 군용 장비의 정비 지원을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 9를 통해 설명된 웨어러블 디바이스에서 군용 장비의 정비 지원을 제공받는 방법 및 서버에서 군용 장비의 정비 지원을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (17)

  1. 군용 장비의 정비를 지원하는 서버에 있어서,
    정비자의 신체에 착용된 웨어러블 디바이스로부터 군용 장비에 대한 영상을 수신하는 수신부;
    상기 영상에서 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 상기 영상으로부터 복수의 정비 객체 및 적어도 하나 이상의 부품 객체를 인식하는 객체 인식부; 및
    상기 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비할 제 2 정비 대상 객체를 예측하는 정비 대상 객체 추출부
    를 포함하는 것인, 서버.
  2. 제 1 항에 있어서,
    상기 정비 대상 객체 추출부는 상기 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 거리에 기초하여 상기 복수의 정비 객체 중 상기 제 1 정비 대상 객체를 추출하는 것인, 서버.
  3. 제 2 항에 있어서,
    상기 객체 인식부는 상기 영상으로부터 상기 정비자에 의해 이동하는 상기 적어도 하나 이상의 부품 객체의 상기 각각의 정비 객체로의 접근 상태를 판단하는 것인, 서버.
  4. 제 3 항에 있어서,
    상기 정비 대상 객체 추출부는 상기 적어도 하나 이상의 부품 객체가 접근하고 있는 정비 객체를 상기 제 1 정비 대상 객체로 추출하고,
    상기 객체 인식부는 상기 추출된 제 1 정비 대상 객체에 포함된 적어도 하나 이상의 부품 객체를 인식하고, 상기 인식된 부품 객체의 위치를 추출하는 것인, 서버.
  5. 제 4 항에 있어서,
    상기 영상의 프레임을 복수의 셀(cell)로 분할하는 영상 분할부를 더 포함하되,
    상기 객체 인식부는 상기 추출된 적어도 하나 이상의 부품 객체의 위치를 상기 영상의 프레임의 셀에 적용하여 상기 적어도 하나 이상의 부품 객체의 경계선을 검출하는 것인, 서버.
  6. 제 1 항에 있어서,
    상기 인식된 적어도 하나 이상의 부품 객체로부터 픽셀을 추출하는 픽셀 추출부를 더 포함하되,
    상기 픽셀 추출부는 상기 추출된 적어도 하나 이상의 픽셀을 유사 픽셀군으로 군집화하는 것인, 서버.
  7. 제 6 항에 있어서,
    상기 정비 대상 객체 추출부는 상기 군집화된 유사 픽셀군을 복수의 후보 정비 영역으로 추출하고, 상기 추출된 복수의 후보 정비 영역 중 상기 적어도 하나 이상의 부품 객체와 상기 각각의 정비 대상 객체 간의 거리를 이용하여 상기 제 1 정비 대상 객체를 포함하는 정비 영역을 추출하는 것인, 서버.
  8. 제 1 항에 있어서,
    상기 객체 인식부는 상기 영상에 색상 및 질감 성분을 기반으로 하는 파티클 필터를 적용하여 상기 각각의 정비 객체에 대응하는 파티클 영역을 추출하는 파티클 영역 추출부를 포함하는, 서버.
  9. 제 8 항에 있어서,
    상기 픽셀 간의 유클리드 거리를 이용하는 필터는 적응 칼만 필터(Adaptive Kalman Filter)이고,
    상기 객체 인식부는 상기 파티클 영역에 상기 적응 칼만 필터를 적용하여 상기 영상으로부터 상기 정비자에 의해 이동되는 적어도 하나 이상의 부품 객체를 추적하는 것인, 서버.
  10. 제 1 항에 있어서,
    상기 수신부는 상기 웨어러블 디바이스로부터 상기 정비자의 시선 정보 및 상기 정비자의 머리 움직임 정보 중 적어도 하나를 더 수신하는 것인, 서버.
  11. 제 10 항에 있어서,
    상기 객체 인식부는 상기 정비자의 시선 정보 및 상기 정비자의 머리 움직임 정보 중 적어도 하나에 기초하여 상기 정비자의 시선의 초점을 보정하는 것인, 서버.
  12. 제 1 항에 있어서,
    상기 상호 연관성 규칙 데이터는 복수의 규칙 정보 및 상기 복수의 규칙 정보 각각에 대한 신뢰도 정보를 포함하는 것인, 서버.
  13. 제 12 항에 있어서,
    상기 복수의 규칙 정보는 제 1 정비 객체와 제 2 정비 객체 간의 규칙 정보를 포함하고,
    상기 신뢰도 정보는 상기 제 1 정비 객체가 정비된 정비 내역 수 및 상기 제 1 정비 객체와 상기 제 2 정비 객체가 함께 정비된 내역 수에 기초하여 도출되는 것인, 서버.
  14. 제 1 항에 있어서,
    상기 추출된 정비 대상 객체에 대한 정비 진행 알림을 상기 웨어러블 디바이스로 전송하는 전송부를 포함하되,
    상기 정비 진행 알림은 현재 정비를 진행할 정비 대상 객체에 대한 알림 및 다음으로 정비가 진행될 정비 대상 객체에 대한 알림을 포함하는 것인, 서버.
  15. 제 14 항에 있어서,
    상기 전송부는 증강 현실, 가상 현실 또는 혼합 현실의 형태로 상기 정비 대상 객체에 대한 정비 정보를 상기 웨어러블 디바이스로 전송하되,
    상기 정비 정보는 상기 제 1 또는 제 2 정비 대상 객체의 정비 내역, 상기 제 1 또는 제 2 정비 대상 객체에 대한 정비 가이드 정보를 포함하는 것인, 서버.
  16. 서버에서 군용 장비의 정비를 지원하는 방법에 있어서,
    정비자의 신체에 착용된 웨어러블 디바이스로부터 군용 장비에 대한 영상을 수신하는 단계;
    상기 영상에서 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 상기 영상으로부터 복수의 정비 객체 및 적어도 하나 이상의 부품 객체를 인식하는 단계; 및
    상기 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비할 제 2 정비 대상 객체를 예측하는 단계
    를 포함하는 것인, 정비 지원 방법.
  17. 군용 장비의 정비 지원을 제공받는 웨어러블 디바이스에 있어서,
    웨어러블 디바이스에 구비된 카메라를 통해 군용 장비를 촬영하는 촬영부;
    상기 군용 장비를 촬영한 영상을 정비 지원 서버로 전송하는 전송부;
    상기 정비 지원 서버로부터 상기 군용 장비의 정비 대상 객체에 대한 정비 진행 알림을 수신하는 수신부; 및
    상기 수신한 정비 대상 객체에 대한 정비 진행 알림을 디스플레이에 표시하는 표시부를 포함하되,
    상기 정비 대상 객체는 상기 정비 지원 서버에 의해 인식된 적어도 하나 이상의 부품 객체와 각각의 정비 객체 간의 기결정된 상호 연관성 데이터에 기초하여 현재 정비 중인 제 1 정비 대상 객체의 정비를 마친 후에 정비될 제 2 정비 대상 객체가 예측되고,
    상기 적어도 하나 이상의 부품 객체와 각각의 정비 객체는 상기 정비 지원 서버에 의해 픽셀 간의 유클리드 거리를 이용하는 필터에 기초하여 인식되는 것인, 웨어러블 디바이스.
PCT/KR2018/004483 2018-02-23 2018-04-18 상호 연관성 규칙 마이닝을 적용한 증강현실 기술에서 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스 WO2019164057A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880002249.2A CN110546677A (zh) 2018-02-23 2018-04-18 在应用相互关联规则挖掘的增强现实技术中支持军用装备维修的服务器、方法及可穿戴设备
US16/212,686 US10847048B2 (en) 2018-02-23 2018-12-07 Server, method and wearable device for supporting maintenance of military apparatus based on augmented reality using correlation rule mining

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0021899 2018-02-23
KR1020180021899A KR101874461B1 (ko) 2018-02-23 2018-02-23 증강 현실, 가상 현실 또는 혼합 현실 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
KR10-2018-0035213 2018-03-27
KR1020180035213A KR101906560B1 (ko) 2018-03-27 2018-03-27 증강 현실에서 객체 간의 상호 연관성 데이터에 기초하여 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/212,686 Continuation US10847048B2 (en) 2018-02-23 2018-12-07 Server, method and wearable device for supporting maintenance of military apparatus based on augmented reality using correlation rule mining

Publications (1)

Publication Number Publication Date
WO2019164057A1 true WO2019164057A1 (ko) 2019-08-29

Family

ID=67688178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/004483 WO2019164057A1 (ko) 2018-02-23 2018-04-18 상호 연관성 규칙 마이닝을 적용한 증강현실 기술에서 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스

Country Status (2)

Country Link
CN (1) CN110546677A (ko)
WO (1) WO2019164057A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361024A (zh) * 2021-04-25 2021-09-07 武汉市海之灵科技有限责任公司 用于武器装备维修训练的虚拟装备分系统的构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100972849B1 (ko) * 2009-10-16 2010-07-28 주식회사 쓰리디누리 객체 인식 방법
KR20140031466A (ko) * 2012-08-31 2014-03-13 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
KR101384627B1 (ko) * 2012-10-26 2014-04-11 전남대학교산학협력단 영상 내 객체 영역 자동분할 방법
KR20150074429A (ko) * 2013-12-24 2015-07-02 전자부품연구원 가상자원의 위치정보 매핑 방법 및 장치
KR20170126843A (ko) * 2017-11-13 2017-11-20 현대자동차주식회사 웨어러블 기기 및 이를 포함하는 차량 진단 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215128A1 (en) * 2001-09-12 2003-11-20 Pinotage Llc System and method for obtaining and utilizing maintenance information
KR101357598B1 (ko) * 2013-01-29 2014-02-06 자동차부품연구원 증강현실을 이용한 차량 탑승자 구조 정보 제공 방법
CN104484523B (zh) * 2014-12-12 2017-12-08 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
JP6528409B2 (ja) * 2015-01-13 2019-06-12 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
US9858727B2 (en) * 2016-01-22 2018-01-02 Locus Energy, Inc. Augmented reality tools for PV solar and/or storage system site survey, installation, commissioning, and operation and maintenance supported by on-site data collection
CN106339094B (zh) * 2016-09-05 2019-02-26 山东万腾电子科技有限公司 基于增强现实技术的交互式远程专家协作检修系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100972849B1 (ko) * 2009-10-16 2010-07-28 주식회사 쓰리디누리 객체 인식 방법
KR20140031466A (ko) * 2012-08-31 2014-03-13 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
KR101384627B1 (ko) * 2012-10-26 2014-04-11 전남대학교산학협력단 영상 내 객체 영역 자동분할 방법
KR20150074429A (ko) * 2013-12-24 2015-07-02 전자부품연구원 가상자원의 위치정보 매핑 방법 및 장치
KR20170126843A (ko) * 2017-11-13 2017-11-20 현대자동차주식회사 웨어러블 기기 및 이를 포함하는 차량 진단 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361024A (zh) * 2021-04-25 2021-09-07 武汉市海之灵科技有限责任公司 用于武器装备维修训练的虚拟装备分系统的构建方法
CN113361024B (zh) * 2021-04-25 2023-12-12 武汉市海之灵科技有限责任公司 用于武器装备维修训练的虚拟装备分系统的构建方法

Also Published As

Publication number Publication date
CN110546677A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
WO2018174535A1 (en) System and method for depth map
EP2923487B1 (en) Method and system for metadata extraction from master-slave cameras tracking system
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2014077466A1 (ko) 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
WO2013125768A1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
KR101874461B1 (ko) 증강 현실, 가상 현실 또는 혼합 현실 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
WO2017142311A1 (ko) 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법
WO2021241804A1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
WO2018225932A1 (en) Systems and methods for stereo content detection
KR20190041704A (ko) Cctv 분할 운영시스템 및 그 운영방법
WO2013129729A1 (ko) 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
WO2020251099A1 (ko) 사용자의 현재 위치로 차량을 호출하는 방법
WO2014010820A1 (en) Method and apparatus for estimating image motion using disparity information of a multi-view image
KR101906560B1 (ko) 증강 현실에서 객체 간의 상호 연관성 데이터에 기초하여 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
WO2019164057A1 (ko) 상호 연관성 규칙 마이닝을 적용한 증강현실 기술에서 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
KR101509593B1 (ko) 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치
WO2015056893A1 (en) Image processing apparatus and control method thereof
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
KR102096784B1 (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
JPWO2020039897A1 (ja) 駅監視システム及び駅監視方法
WO2019164056A1 (ko) 증강 현실, 가상 현실 또는 혼합 현실 기반 일반물체인식에서 이진 탐색 트리에 기초하여 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
KR101891992B1 (ko) 증강현실에서 사례의 추론, 분류, 결정 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
WO2019194561A1 (ko) 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템
KR20180075506A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906725

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18906725

Country of ref document: EP

Kind code of ref document: A1