KR20220065943A - System for supporting work of aircraft mechanic, and method therefor - Google Patents

System for supporting work of aircraft mechanic, and method therefor Download PDF

Info

Publication number
KR20220065943A
KR20220065943A KR1020200151922A KR20200151922A KR20220065943A KR 20220065943 A KR20220065943 A KR 20220065943A KR 1020200151922 A KR1020200151922 A KR 1020200151922A KR 20200151922 A KR20200151922 A KR 20200151922A KR 20220065943 A KR20220065943 A KR 20220065943A
Authority
KR
South Korea
Prior art keywords
mechanic
aircraft
maintenance work
operation control
control server
Prior art date
Application number
KR1020200151922A
Other languages
Korean (ko)
Other versions
KR102527522B1 (en
Inventor
최철순
이원찬
우승순
Original Assignee
(주)에이트원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이트원 filed Critical (주)에이트원
Priority to KR1020200151922A priority Critical patent/KR102527522B1/en
Publication of KR20220065943A publication Critical patent/KR20220065943A/en
Application granted granted Critical
Publication of KR102527522B1 publication Critical patent/KR102527522B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

Proposed is a system capable of supporting maintenance work of an aircraft mechanic, which increases efficiency of aircraft maintenance work. According to the present invention, the system may comprise: an augmented reality (AR) device worn on the head of an aircraft mechanic in the form of glasses to capture an image in the direction of the aircraft mechanic's field of view and output a graphic image received from the outside through glasses provided for AR; a maintenance, repair, operation (MRO) server scheduling a maintenance work schedule of an aircraft according to an input flight schedule and managing lifespan of engines, parts, and consumables forming the aircraft; and an operation control server identifying an aircraft to be maintained according to the maintenance work schedule of the MRO server, allocating a maintenance work list of the identified aircraft for each aircraft mechanic, and generating the graphic image on the basis of the maintenance work list to transmit the graphic image to the AR device.

Description

항공정비사 작업 지원 시스템 및 그 방법{System for supporting work of aircraft mechanic, and method therefor}System for supporting work of aircraft mechanic, and method therefor

본 발명은 증강 현실(Augmented Reality, AR)에 관한 것이다. 보다 상세하게는, 증강 현실(AR)을 이용하여 항공정비사의 작업을 지원할 수 있는 시스템 및 그 방법에 관한 것이다.The present invention relates to augmented reality (AR). More particularly, it relates to a system and method capable of supporting the work of an aviation mechanic using augmented reality (AR).

증강 현실(AR)은 실제 현실 영상의 일부에 가상 이미지를 오버레이(overlay)하여 하나의 영상으로 보여주는 기술이다. 가상 현실(Virtual Reality, VR)은 착용자의 신체, 배경(background) 및 전경(foreground)가 모두 가상의 영상인 것과 비교하여, 증강 현실(AR)은 착용자의 신체, 배경 및 전경의 일부가 실제 현실 영상이라는 점에서 차이가 있다.Augmented reality (AR) is a technology that overlays a virtual image on a part of a real reality image and displays it as one image. Compared to virtual reality (VR), in which the wearer's body, background, and foreground are all virtual images, augmented reality (AR) is a real reality in which parts of the wearer's body, background, and foreground are real. The difference is that it is a video.

항공 정비(aircraft maintenance)는 항공기가 안전하게 운항하기 위하여 주기적으로 항공기를 검사, 분해 및 수리하는 작업을 일컫는다. 이와 같은, 항공 정비는 정비가 수행되는 장소에 따라 운항 정비, 공장 정비, 창 정비로 구분되며, 수행되는 정비 작업에 따라 기관 정비, 기체 정비, 전자·전기 정비, 객실 정비로 구분된다.Aircraft maintenance refers to the operation of periodically inspecting, disassembling and repairing an aircraft in order to operate it safely. Such aviation maintenance is divided into flight maintenance, factory maintenance, and window maintenance depending on the place where the maintenance is performed, and is divided into engine maintenance, aircraft maintenance, electronic/electrical maintenance, and cabin maintenance according to the maintenance work performed.

일반적으로, 항공 정비는 다음과 같이 진행될 수 있다. 우선, MRO(Maintenance, Repair, Operation) 시스템이 항공기의 운항 스케줄에 따라 항공기의 정비 대상을 결정한다. 그 다음, 관리자가 정비하고자 하는 항공기의 기관, 부품, 전기 계통 등이 기재된 작업 카드를 출력하여 항공정비사에게 분배한다. 그 다음, 각각의 항공정비사가 자신에게 분배된 작업 카드를 작업장에 구비된 바코드에 스캔한 후 정비 작업을 수행한다. 이 때, 항공정비사는 정비 작업을 수행하는 과정에서 작업장에 구비된 컴퓨팅 장치를 통해 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)을 확인하기 위하여, 컴퓨팅 장치와 항공기 사이를 왔다 갔다 하게 된다. 마지막으로, 모든 항공정비사가 MRO 시스템에 정비 작업을 완료한 것으로 입력하면 항공 정비가 완료된다.In general, aviation maintenance can proceed as follows. First, the MRO (Maintenance, Repair, Operation) system determines the maintenance target of the aircraft according to the flight schedule of the aircraft. Then, the manager prints out a work card containing the engine, parts, electrical system, etc. of the aircraft the manager wants to maintain and distributes it to the flight mechanic. Then, each flight mechanic scans the work card distributed to him on the barcode provided at the work site, and then performs maintenance work. At this time, the aviation mechanic goes back and forth between the computing device and the aircraft in order to check the Interactive Electronic Technical Manual (IETM) through the computing device provided in the workshop in the process of performing maintenance work. Finally, when all air mechanics enter the MRO system as having completed the maintenance work, the aviation maintenance is complete.

그러나, 상술한 바와 같은 종래의 항공 정비 작업은 종이로 출력되는 작업 카드를 이용하거나, 항공정비사가 정비 작업을 시작하기에 앞서 작업 카드를 바코드에 스캔하거나, 항공정시바가 정비 작업을 수행하는 과정에서 전자식 기술 교범(IETM)을 확인하기 위하여 컴퓨팅 장치와 항공기 사이를 왔다 갔다 하는 등의 비효율적인 측면이 많이 있었다.However, in the conventional aviation maintenance work as described above, in the process of using a work card printed on paper, or scanning the work card to a barcode before an aviation mechanic starts maintenance work, or an aviation maintenance bar performing maintenance work There were many aspects of inefficiency, such as moving back and forth between the computing device and the aircraft to check the Electronic Technical Manual (IETM).

대한민국 공개특허공보 제10-2015-0097885호, ‘항공기 정비공정 관리시스템 및 관리방법’, (2015.08.27 공개)Republic of Korea Patent Publication No. 10-2015-0097885, ‘Aircraft maintenance process management system and management method’, (published on August 27, 2015)

본 발명의 일 목적은 증강 현실(AR)을 이용하여 항공정비사의 작업을 지원할 수 있는 시스템을 제공하는 것이다.One object of the present invention is to provide a system that can support the work of an aviation mechanic using augmented reality (AR).

본 발명의 다른 목적은 증강 현실(AR)을 이용하여 항공정비사의 작업을 지원할 수 있는 방법을 제공하는 것이다.Another object of the present invention is to provide a method capable of supporting the work of an aviation mechanic using augmented reality (AR).

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명은 상술한 바와 같은 기술적 과제를 달성하기 위하여, 항공정비사의 정비 작업을 지원할 수 있는 시스템을 제안한다. 상기 시스템은 상기 항공정비사의 신체에 안경 형태로 착용되어, 상기 항공정비사의 시야 방향의 영상을 촬영하고, 증강 현실(Augmented Reality, AR)을 위해 구비된 글래스를 통해 외부로부터 수신된 그래픽 영상을 출력하는 AR 장치; 사전에 입력된 항공기의 운항 일정에 따라 항공기의 정비 작업 일정을 스케줄링하고, 상기 항공기를 구성하는 기관, 부품 및 소모품의 수명을 관리하는 MRO 서버; 및 상기 MRO 서버의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기를 식별하고, 식별된 항공기의 정비 작업 목록을 항공정비사별로 할당하고, 상기 AR 장치에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상으로 생성하여 상기 AR 장치에 전송하는 운용 통제 서버를 포함하여 구성될 수 있다.The present invention proposes a system capable of supporting the maintenance work of an aviation mechanic in order to achieve the technical task as described above. The system is worn on the body of the flight mechanic in the form of glasses, takes an image of the flight mechanic's viewing direction, and outputs a graphic image received from the outside through glasses provided for augmented reality (AR). AR device; MRO server for scheduling maintenance work schedule of the aircraft according to the flight schedule of the aircraft input in advance, and managing the lifespan of organs, parts and consumables constituting the aircraft; And, according to the maintenance work schedule of the MRO server to identify the target aircraft, the maintenance work list of the identified aircraft is assigned to each flight mechanic, and the image taken by the AR device and assigned to each flight mechanic It may be configured to include an operation control server that generates a graphic image based on the maintenance work list and transmits it to the AR device.

구체적으로, 상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상 내에서 객체를 식별하고, 상기 항공정비사에게 할당된 상기 정비 작업 목록 내에서 상기 식별된 객체에 대응되는 정비 작업을 검색하고, 상기 검색된 정비 작업에 대응되게 설정된 컨텐츠를 포함시켜 상기 그래픽 영상을 생성할 수 있다. 이와 같은, 컨텐츠에는 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)과 관련된 컨텐츠의 일부가 포함될 수 있다.Specifically, the operation control server identifies an object in the image captured by the AR device, searches for a maintenance operation corresponding to the identified object in the maintenance operation list assigned to the flight mechanic, and the searched The graphic image may be generated by including the content set to correspond to the maintenance work. As such, the content may include a part of content related to an interactive electronic technical manual (IETM).

상기 AR 장치에 의해 촬영된 영상 내에서 객체를 식별함에 있어, 상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상 내에 존재하는 엣지(edge)를 추출하고, 상기 추출된 엣지에 의해 폐쇄된 영역(enclosure)을 하나 이상 추출하고, 추출된 하나 이상의 폐쇄된 영역의 형상과 사전에 설정된 정비 대상 객체의 형상을 대비하여, 상기 객체를 식별할 수 있다.In identifying an object in the image photographed by the AR device, the operation control server extracts an edge existing in the image photographed by the AR device, and an area closed by the extracted edge ( enclosure), and by contrasting the shape of the extracted one or more closed areas with the shape of the object to be maintained in advance, it is possible to identify the object.

한편, 상기 AR 장치는 셋 이상의 무선 액세스 포인트로부터 수신된 신호의 세기를 기초로 삼각측량(triangulation)을 수행하여 위치 정보를 생성한 후, 생성된 위치 정보를 상기 운용 통제 서버에 전송할 수 있다. 이 경우, 상기 운용 통제 서버는 상기 촬영된 영상 내에서 식별된 객체가 올바르게 식별되었는지 상기 위치 정보를 이용하여 검증할 수 있다.Meanwhile, the AR device may generate location information by performing triangulation based on the strength of signals received from three or more wireless access points, and then transmit the generated location information to the operation control server. In this case, the operation control server may verify whether the object identified in the captured image is correctly identified using the location information.

상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상 내에서 상기 항공정비사의 신체를 식별하고, 상기 식별된 신체의 형상에 따른 제스처를 인식하고, 상기 인식된 제스처에 대응하여 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다.The operation control server identifies the body of the flight mechanic in the image captured by the AR device, recognizes a gesture according to the identified body shape, and responds to the recognized gesture in response to the electronic technical manual (IETM) ) can change the composition order, method, or type of content related to it.

일 예로, 상기 운용 통제 서버는 상기 인식된 제스처에 대응하여 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠를 상기 항공정비사가 다음에 수행할 정비 작업과 관련된 컨텐츠로 변경하거나 또는 상기 항공정비사가 이전에 수행한 정비 작업과 관련된 컨텐츠로 변경할 수 있다. 다른 예로, 상기 운용 통제 서버는 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠가 항공기의 기관, 부품 또는 전기 계통과 관련된 이미지(image)에 해당하는 경우, 상기 인식된 제스처에 대응하여 상기 이미지를 3차원 회전시킬 수도 있다.For example, the operation control server may change the contents related to the electronic technical manual (IETM) to contents related to the maintenance work to be performed next by the flight mechanic in response to the recognized gesture, or the aviation mechanic has previously performed It can be changed to content related to one maintenance operation. As another example, when the content related to the electronic technical manual (IETM) corresponds to an image related to an engine, part, or electrical system of an aircraft, the operation control server may display the image in three dimensions in response to the recognized gesture It can also be rotated.

또한, 상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상 내에서 상기 식별된 객체의 표면에 기록된 일련번호를 식별하고, 상기 식별된 일련번호를 기초로 상기 MRO 서버로부터 상기 식별된 객체의 교환시기를 조회하고, 상기 조회된 교환시기에 따라 사전에 설정된 컨텐츠를 상기 그래픽 영상에 포함시킬 수도 있다.In addition, the operation control server identifies a serial number recorded on the surface of the identified object in the image captured by the AR device, and exchanges the identified object from the MRO server based on the identified serial number The time may be inquired, and content set in advance according to the inquired exchange time may be included in the graphic image.

한편, 상기 운용 통제 서버는 상기 AR 장치에 의해 촬영된 영상과 상기 식별된 객체에 관한 정보를 사전에 설정된 원격 지원 장치에 전송한 후, 상기 원격 지원 장치와 상기 AR 장치 사이의 통화를 중개할 수도 있다.Meanwhile, the operation control server may mediate a call between the remote support device and the AR device after transmitting the image captured by the AR device and information on the identified object to a preset remote support device. there is.

본 발명은 상술한 바와 같은 기술적 과제를 달성하기 위하여, 항공정비사의 정비 작업을 지원할 수 있는 방법을 제안한다. 상기 방법은 운용 통제 서버가, MRO 서버에 의해 스케줄링된 항공기의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기를 식별하는 단계; 상기 운용 통제 서버가, 상기 식별된 항공기의 정비 작업 목록을 사전에 항공정비사별로 할당하는 단계; 상기 항공정비사의 신체에 안경 형태로 착용되는 AR 장치가, 상기 항공정비사의 시야 방향의 영상을 촬영하는 단계; 상기 운용 통제 서버가, 상기 AR 장치에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상을 생성하여 상기 AR 장치에 전송하는 단계; 및 상기 AR 장치가, 증강 현실(Augmented Reality)을 위해 구비된 글래스를 통해 상기 수신된 그래픽 영상을 출력하는 단계를 포함할 수 있다.The present invention proposes a method capable of supporting the maintenance work of an aviation mechanic in order to achieve the technical problem as described above. The method includes the steps of: identifying, by the operation control server, an aircraft subject to maintenance work according to a maintenance work schedule of the aircraft scheduled by the MRO server; Allocating, by the operation control server, a list of maintenance tasks of the identified aircraft to each aviation mechanic in advance; The AR device worn on the body of the flight mechanic in the form of glasses, capturing an image in the direction of the flight mechanic's field of vision; generating, by the operation control server, a graphic image based on the image captured by the AR device and a maintenance work list assigned to each flight mechanic, and transmitting it to the AR device; and outputting, by the AR device, the received graphic image through glasses provided for augmented reality.

기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and drawings.

본 발명의 실시 예들에 따르면, 항공정비사가 정비 작업을 수행함에 있어 정비 작업의 착수를 기록하기 위해 작업 카드를 바코드로 스캔하거나, 전자식 기술 교범(IETM)을 확인하기 위하여 원거리에 위치하는 컴퓨팅 장치와 항공기 사이를 왔다 갔다 하는 등의 불필요한 행위를 수행하지 않게 되어, 항공정비 작업의 효율성이 향상될 수 있다.According to embodiments of the present invention, when an aviation mechanic performs maintenance work, a computing device located remotely to scan a work card as a barcode or to check an electronic technical manual (IETM) to record the start of maintenance work; Since unnecessary actions such as moving back and forth between aircraft are not performed, the efficiency of aviation maintenance work can be improved.

특히, 항공정비사는 안경처럼 착용한 증강 현실(AR) 장치를 이용하여 세부적인 작업 절차를 시각적으로 확인할 수 있게 되어 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있으며, 외부의 전문가로부터 원격 지원을 받을 수도 있게 된다.In particular, aviation mechanics can visually check detailed work procedures using augmented reality (AR) devices worn like glasses, so they can intuitively recognize the maintenance work they need to perform, and receive remote support from external experts. may be able to receive

본 발명의 효과들은 이상에서 언급한 효과로 제한되지 아니하며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 본 발명이 속한 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일 실시예에 따라 항공 정비 작업을 수행하는 모습을 도시한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 운용 통제 서버의 논리적 구성도이다.
도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성도이다.
도 5는 본 발명의 일 실시예에 따라 항공기의 정비 작업을 지원하는 증강 현실(AR)의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 정비 작업 지원 방법을 설명하기 위한 도면이다.1 is an exemplary diagram illustrating a state in which aviation maintenance work is performed according to an embodiment of the present invention.
3 is a logical configuration diagram of an operation control server according to an embodiment of the present invention.
4 is a hardware configuration diagram of an operation control server according to an embodiment of the present invention.
5 is an exemplary diagram of an augmented reality (AR) supporting maintenance work of an aircraft according to an embodiment of the present invention.
6 is a view for explaining a maintenance work support method according to an embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. In addition, the technical terms used in this specification should be interpreted as meanings generally understood by those of ordinary skill in the art to which the present invention belongs, unless otherwise specifically defined in this specification, and excessively inclusive It should not be construed in the meaning of a human being or in an excessively reduced meaning. In addition, when the technical terms used in the present specification are incorrect technical terms that do not accurately express the spirit of the present invention, they should be understood by being replaced with technical terms that can be correctly understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted according to the definition in the dictionary or according to the context before and after, and should not be interpreted in an excessively reduced meaning.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, as used herein, the singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "consisting of" or "having" should not be construed as necessarily including all of the various components or various steps described in the specification, and some of the components or some steps are included. It should be construed that it may not, or may further include additional components or steps.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. Also, terms including ordinal numbers such as first, second, etc. used herein may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but another component may exist in between. On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다. Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted. In addition, in the description of the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easy understanding of the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings. The spirit of the present invention should be interpreted as extending to all changes, equivalents or substitutes other than the accompanying drawings.

상술한 바와 같은 종래의 항공 정비 작업은 종이로 출력되는 작업 카드를 이용하거나, 항공정비사가 정비 작업을 시작하기에 앞서 작업 카드를 바코드에 스캔하거나, 항공정시바가 정비 작업을 수행하는 과정에서 전자식 기술 교범(IETM)을 확인하기 위하여 컴퓨팅 장치와 항공기 사이를 왔다 갔다 하는 등의 비효율적인 측면이 많이 있었다.As described above, the conventional aviation maintenance work uses a paper-printed work card, scans the work card to a barcode before the air mechanic starts maintenance work, or electronic technology in the process of the flight attendant performing the maintenance work There were many aspects of inefficiency, such as moving back and forth between the computing device and the aircraft to check the manual (IETM).

따라서, 본 명세서는 증강 현실(AR)을 이용하여 항공정비사의 작업을 지원할 수 있는 시스템을 제안하고자 한다.Accordingly, the present specification intends to propose a system capable of supporting the work of an aviation mechanic using augmented reality (AR).

도 1은 본 발명의 일 실시예에 따라 항공 정비 작업을 수행하는 모습을 도시한 예시도이다.1 is an exemplary diagram illustrating a state in which aviation maintenance work is performed according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따르면 항공정비사(10)가 항공기(20)의 정비 작업을 수행함에 있어, 안경처럼 착용 가능한 증강 현실(AR)을 구현할 수 있는 장치(100; 이하, AR 장치라 지칭한다)를 통해 지원을 받을 수 있다.As shown in FIG. 1, according to the present invention, when the aviation mechanic 10 performs maintenance of the aircraft 20, a device 100 capable of implementing augmented reality (AR) wearable like glasses (hereinafter, AR) device) can receive support.

구체적으로 본 발명에 따르면, 항공기(20)의 정비 작업에 착수하는 과정에서 항공정비사(10)는 AR 장치(100)를 통해 자신에게 분배된 작업 카드를 확인할 수 있다. 항공기(20)의 실제 정비 작업을 수행하는 과정에서 항공정비사(10)는 AR 장치(100)를 통해 세부적인 작업 절차를 시각적으로 확인할 수 있으며, AR 장치(100)를 통해 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)을 확인할 수 있다. 또한, 항공정비사(10)는 항공기(20)의 정비 작업에 외부의 지원이 필요한 경우, AR 장치(100)를 통해 외부의 전문가로부터 원격 지원을 받을 수 있다.Specifically, according to the present invention, in the process of starting the maintenance work of the aircraft 20 , the aviation mechanic 10 may check the work card distributed to him/her through the AR device 100 . In the process of performing the actual maintenance of the aircraft 20 , the aviation mechanic 10 can visually check the detailed work procedure through the AR device 100 , and through the AR device 100 , the electronic technical manual (Interactive Electronic) Technical Manual, IETM) can be checked. In addition, when external support is required for maintenance of the aircraft 20 , the aviation mechanic 10 may receive remote support from an external expert through the AR device 100 .

따라서, 본 발명에 따른 작업 지원 시스템을 이용할 경우, 항공정비사(10)가 정비 작업의 착수를 기록하기 위해 작업 카드를 바코드로 스캔하거나, 전자식 기술 교범(IETM)을 확인하기 위하여 원거리에 위치하는 컴퓨팅 장치와 항공기(20) 사이를 왔다 갔다 하는 등의 불필요한 행위를 수행하지 않게 되어 항공 정비 작업의 효율성이 향상될 수 있다.Accordingly, when using the work support system according to the present invention, the aviation mechanic 10 scans the work card with a barcode to record the initiation of the maintenance work, or computing located remotely to check the Electronic Technical Manual (IETM). Since unnecessary actions such as moving back and forth between the device and the aircraft 20 are not performed, the efficiency of aviation maintenance work can be improved.

특히, 본 발명에 따른 작업 지원 시스템을 이용할 경우, 항공정비사(10)는 AR 장치(100)를 이용하여 세부적인 작업 절차를 시각적으로 확인할 수 있게 되어 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있으며, 외부의 전문가로부터 원격 지원을 받을 수도 있게 된다.In particular, when using the work support system according to the present invention, the aviation mechanic 10 can visually check the detailed work procedure using the AR device 100, so he can intuitively recognize the maintenance work to be performed. In addition, it will be possible to receive remote support from external experts.

이하, 상술한 바와 같은 특징을 가지는 본 발명의 일 실시예에 따른 작업 지원 시스템의 구성 요소들에 대하여 구체적으로 설명하기로 한다.Hereinafter, the components of the job support system according to an embodiment of the present invention having the above-described characteristics will be described in detail.

도 2는 본 발명의 일 실시예에 따른 작업 지원 시스템의 구성도이다.2 is a block diagram of a job support system according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 작업 지원 시스템은 하나 이상의 AR 장치(100), MRO 서버(200), 운용 통제 서버(300) 및 원격 지원 장치(400)를 포함하여 구성될 수 있다. 또한, 본 발명의 다른 실시예에 따른 작업 지원 시스템은 셋 이상의 무선 액세스 포인트(500)를 추가적으로 포함하여 구성될 수도 있다.As shown in FIG. 2 , the job support system according to an embodiment of the present invention includes one or more AR devices 100 , MRO server 200 , operation control server 300 , and remote support device 400 . can be configured. In addition, the job support system according to another embodiment of the present invention may be configured to additionally include three or more wireless access points (500).

이와 같은, 작업 지원 시스템의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수도 있다.Since the components of the job support system are merely functionally distinct elements, one or more components may be integrated with each other in an actual physical environment.

각각의 구성 요소에 대하여 설명하면, AR 장치(100)는 증강 현실(AR)을 이용하여 항공정비사(10)의 정비 작업을 지원하기 위한 장치이다.When describing each component, the AR device 100 is a device for supporting the maintenance work of the aviation mechanic 10 using augmented reality (AR).

구체적으로, AR 장치(100)는 안경(glasses) 형태로 항공정비사(10)의 신체에 착용될 수 있다. 이와 같은, AR 장치(100)는 항공정비사(10)의 시야 방향의 영상을 촬영할 수 있다. 이를 위하여, AR 장치(100)는 영상을 촬영할 수 있는 카메라를 포함하여 구성될 수 있다. 그리고, AR 장치(100)는 촬영된 영상을 클라이언트 장치(300)에 전송할 수 있다.Specifically, the AR device 100 may be worn on the body of the aviation mechanic 10 in the form of glasses. As such, the AR device 100 may capture an image in the viewing direction of the flight mechanic 10 . To this end, the AR device 100 may be configured to include a camera capable of capturing an image. Then, the AR device 100 may transmit the captured image to the client device 300 .

또한, AR 장치(100)는 위치 정보를 생성할 수 있다. 이를 위하여, AR 장치(100)는 셋 이상의 무선 액세스 포인트(500)로부터 신호를 수신하고, 셋 이상의 무선 액세스 포인트(500)로부터 수신된 신호의 세기를 기초로 삼각측량(triangulation)을 수행하여 위치 정보를 생성할 수 있다. 여기서, 신호의 세기는 RSSI(Receiver Signal Strength Indicator), RSRP(Reference Signals Received Power) 또는 RSRQ(Reference Signal Received Quality) 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다. 그리고, AR 장치(100)는 생성된 위치 정보를 운용 통제 서버(300)에 전송할 수 있다.Also, the AR device 100 may generate location information. To this end, the AR device 100 receives signals from three or more wireless access points 500 , and performs triangulation based on the strength of signals received from the three or more wireless access points 500 to provide location information can create Here, the signal strength may be any one of Receiver Signal Strength Indicator (RSSI), Reference Signals Received Power (RSRP), and Reference Signal Received Quality (RSRQ), but is not limited thereto. Then, the AR device 100 may transmit the generated location information to the operation control server 300 .

본 발명의 다른 실시예에 따른 AR 장치(100)는 관성 측정 장치(Inertial Measurement Unit, IMU)를 추가적으로 포함하여 구성될 수 있다. 이와 같은, 관성 측정 장치(IMU)는 가속도계(accelerometer) 및 각속도계(gyroscope) 등을 포함할 수 있으며, 이에 한정되지 않는다. 보다 구체적으로, 관성 측정 장치(IMU)에 포함된 가속도계는 항공정비사(10)의 움직임에 따라 변화되는 3축 방향의 가속도를 측정할 수 있다. 그리고, 관성 측정 장치(IMU)에 포함된 각속도계는 항공정비사(10)의 움직임에 따라 변화되는 롤링(roll), 피칭(pitch), 요(yaw)의 각속도를 측정할 수 있다. AR 장치(100)는 측정된 3축 방향의 가속도 및, 롤링, 피칭, 요의 각속도를 적분하여 트래킹 정보를 생성할 수 있다. 그리고, AR 장치(100)는 생성된 트래킹 정보를 운용 통제 서버(300)에 전송할 수 있다.The AR device 100 according to another embodiment of the present invention may be configured to additionally include an inertial measurement unit (IMU). Such an inertial measurement unit (IMU) may include, but is not limited to, an accelerometer and a gyroscope. More specifically, the accelerometer included in the inertial measurement unit (IMU) may measure the acceleration in the three-axis direction that is changed according to the movement of the flight mechanic 10 . In addition, the angular velocity meter included in the inertial measurement unit (IMU) may measure the angular velocity of roll, pitch, and yaw that change according to the movement of the flight mechanic 10 . The AR device 100 may generate tracking information by integrating the measured acceleration in three directions and angular velocities of rolling, pitching, and yaw. Then, the AR device 100 may transmit the generated tracking information to the operation control server 300 .

AR 장치(100)는 운용 통제 서버(300)로부터 그래픽 영상을 수신할 수 있다. 그리고, AR 장치(100)는 수신된 그래픽 영상을 증강 현실(AR)을 위해 구비된 글래스를 통해 출력하여, 증강 현실(AR)을 구현할 수 있다.The AR device 100 may receive a graphic image from the operation control server 300 . In addition, the AR device 100 may implement augmented reality (AR) by outputting the received graphic image through glasses provided for augmented reality (AR).

한편, 본 발명의 일 실시예에 따른 작업 지원 시스템은 항공기(20)의 정비 작업을 수행하는 항공정비사(10)의 수만큼 상술한 바와 같은 AR 장치(100)를 포함하여 구성될 수 있다.On the other hand, the operation support system according to an embodiment of the present invention may be configured to include the AR device 100 as described above as many as the number of aviation mechanics 10 performing maintenance of the aircraft 20 .

다음 구성으로, MRO(Maintenance, Repair, Operation) 서버(200)는 항공기(20)가 상시 운항 가능한 상태를 유지하기 위한 작업들을 관리하는 장치이다.In the following configuration, the MRO (Maintenance, Repair, Operation) server 200 is a device that manages tasks for maintaining the state in which the aircraft 20 is always operable.

구체적으로, MRO 서버(200)는 사전에 입력된 항공기(20)의 운항 일정에 따라, 항공기(20)의 정비 작업 일정을 스케줄링(scheduling)할 수 있다. MRO 서버(200)는 항공기(20)를 구성하는 기관, 부품 및 소모품의 수명을 관리할 수 있다. 또한, MRO 서버(200)는 항공정비사(10)가 수행 중인 항공기(20)의 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 관리할 수 있다.Specifically, the MRO server 200 may schedule the maintenance work schedule of the aircraft 20 according to the operation schedule of the aircraft 20 input in advance. The MRO server 200 may manage the lifespan of organs, parts, and consumables constituting the aircraft 20 . In addition, the MRO server 200 may manage the required time, progress, and handover status of the maintenance work of the aircraft 20 being performed by the aviation mechanic 10 .

다음 구성으로, 운용 통제 서버(300)는 증강 현실(AR)을 이용한 항공정비사(10)의 정비 작업 지원의 전반적인 과정을 중앙에서 통제하기 위한 장치이다.In the following configuration, the operation control server 300 is a device for centrally controlling the overall process of maintenance work support of the aviation mechanic 10 using augmented reality (AR).

구체적으로, 운용 통제 서버(300)는 MRO 서버(200)의 스케줄링에 따라 정비 작업의 대상이 되는 항공기(20)를 식별할 수 있다. 운용 통제 서버(300)는 식별된 항공기(20)의 정비 작업 목록을 항공정비사(10)별로 할당하기 위한, 작업 카드를 생성할 수 있다. 운용 통제 서버(300)는 AR 장치(100)에 의해 촬영된 영상과 항공정비사(10)별로 할당된 정비 작업 목록을 기초로 그래픽 영상을 생성할 수 있다. 그리고, 운용 통제 서버(300)는 증강 현실(AR)이 구현되도록 그래픽 영상을 AR 장치(100)에 전송할 수 있다.Specifically, the operation control server 300 may identify the aircraft 20 that is the target of maintenance work according to the scheduling of the MRO server 200 . The operation control server 300 may generate a work card for allocating the maintenance work list of the identified aircraft 20 for each aviation mechanic 10 . The operation control server 300 may generate a graphic image based on the image captured by the AR device 100 and the maintenance work list assigned to each aviation mechanic 10 . In addition, the operation control server 300 may transmit a graphic image to the AR device 100 so that augmented reality (AR) is implemented.

특히, 본 발명의 일 실시예에 따른 운용 통제 서버(300)는 AR 장치(100)를 통해 항공정비사(10)에게 전자식 기술 교범(IETM) 및 원격 지원을 제공할 수도 있다.In particular, the operation control server 300 according to an embodiment of the present invention may provide an electronic technical manual (IETM) and remote assistance to the aviation mechanic 10 through the AR device 100 .

이와 같은, 운용 통제 서버(300)의 구체적인 구성 및 동작에 대해서는 추후 도 3 내지 도 6을 참조하여 보다 구체적으로 후술하기로 한다.Such a detailed configuration and operation of the operation control server 300 will be described later in more detail with reference to FIGS. 3 to 6 .

상술한 바와 같은, MRO 서버(200) 및 운용 통제 서버(300)는 서버(server)라는 용어에 한정되지 아니하고, 서로 데이터를 송수신하고 송수신된 데이터를 이용하여 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다. 예를 들어, MRO 서버(200) 또는 운용 통제 서버(300)는 데스크탑(desktop), 워크스테이션(workstation) 또는 서버 등과 같은 고정식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다.As described above, the MRO server 200 and the operation control server 300 are not limited to the term server, and any device can transmit and receive data to and from each other and perform calculations using the transmitted and received data. may also be permitted. For example, the MRO server 200 or the operation control server 300 may be any one of a fixed computing device such as a desktop, a workstation, or a server, but is not limited thereto.

다음 구성으로, 원격 지원 장치(400)는 외부 전문가의 원격 지원 서비스를 운용 통제 서버(300)에 제공하기 위한 장치이다.In the following configuration, the remote support device 400 is a device for providing the remote support service of an external expert to the operation control server 300 .

구체적으로, 원격 지원 장치(400)는 AR 장치(100)에 의해 촬영된 영상 및 증강 현실(AR)의 구현을 위해 식별된 객체에 관한 정보를 운용 통제 서버(300)로부터 수신할 수 있다. 원격 지원 장치(400)는 수신된 영상 및 객체에 관한 정보를 디스플레이를 통해 출력할 수 있다. Specifically, the remote support device 400 may receive, from the operation control server 300 , an image captured by the AR device 100 and information about an object identified for the implementation of augmented reality (AR). The remote support device 400 may output the received image and information about the object through the display.

원격 지원 장치(400)는 운용 통제 서버(300)의 중개에 따라, AR 장치(100)와 음성 통화 또는 화상 통화를 진행할 수 있다. 그리고, 원격 지원 장치(400)는 사용자로부터 입력된 텍스트 정보 또는 영상을 운용 통제 서버(300)로 전송할 수 있다.The remote support device 400 may conduct a voice call or a video call with the AR device 100 according to the mediation of the operation control server 300 . In addition, the remote support device 400 may transmit text information or an image input by the user to the operation control server 300 .

이와 같은, 원격 지원 장치(400)는 AR 장치(100) 및 운용 통제 서버(300)와 데이터를 송수신하고 송수신된 데이터를 이용하여 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다. 예를 들어, 원격 지원 장치(400)는 고정식 컴퓨팅 장치 또는 이동식 컴퓨팅 장치 중 어느 하나가 될 수 있다. 예를 들어, 원격 지원 장치(400)는 스마트폰(smart phone), 랩탑(laptap), 태블릿(tablet), 패블릿(phablet), 휴대용 멀티미디어 재생장치(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 또는 전자책 단말기(E-book reader) 등과 같은 이동식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다.As such, the remote support device 400 may be any device as long as it is a device capable of transmitting and receiving data to and from the AR device 100 and the operation control server 300 and performing an operation using the transmitted/received data. For example, remote assistance device 400 may be either a stationary computing device or a mobile computing device. For example, the remote support device 400 includes a smart phone, a laptop, a tablet, a phablet, a portable multimedia player (PMP), a personal portable terminal ( It may be any one of a mobile computing device such as Personal Digital Assistants (PDA) or an E-book reader, but is not limited thereto.

다음 구성으로, 액세스 포인트(500)는 AR 장치(100)가 네트워크에 접속할 수 있도록 신호를 중계하는 무선 허브(radio hub) 장치이다. 이와 같은, 액세스 포인트(500)는 접근점 또는 서비스 포인트라 지칭될 수도 있다.In the following configuration, the access point 500 is a wireless hub device that relays a signal so that the AR device 100 can access a network. As such, the access point 500 may be referred to as an access point or a service point.

상술한 바와 같은, 운용 통제 서버(300), 원격 지원 장치(400) 및 액세스 포인트(500)가 서로 데이터를 송수신하기 위한 네트워크는 근거리 무선 통신망, 이동 통신망, 공용 유선 통신망 중 하나 이상의 조합으로 구성될 수 있다.As described above, the network for the operation control server 300 , the remote support device 400 , and the access point 500 to transmit and receive data to each other is a combination of one or more of a local area wireless network, a mobile communication network, and a public wired communication network. can

네트워크를 구성하기 위한 근거리 무선 통신망은 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 지그비(Zigbee), NFC(Near Field Communication), 와이파이(Wi-Fi), 와이맥스(Wimax), 와이브로(Wibro) 중 하나 이상이 포함될 수 있다. 네트워크를 구성하기 위한 이동 통신망은 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 와이드 밴드 코드 분할 다중 접속(Wideband CDMA, WCDMA), 고속 패킷 접속(High Speed Packet Access, HSPA), 롱텀 에볼루션(Long Term Evolution, LTE), 5세대 이동통신(5th generation mobile telecommunication) 중 하나 이상이 포함될 수 있다. 그리고, 네트워크를 구성하기 위한 공용 유선 통신망은 이더넷(ethernet), 디지털가입자선(x Digital Subscriber Line, xDSL), 광동축 혼합망(Hybrid Fiber Coax, HFC), 광가입자망(Fiber To The Home, FTTH) 중 하나 이상이 포함될 수 있다.The short-range wireless communication network for configuring the network is one of Bluetooth, BLE (Bluetooth Low Energy), Zigbee, NFC (Near Field Communication), Wi-Fi, Wimax, and Wibro. One or more may be included. Mobile communication networks for forming networks include Code Division Multiple Access (CDMA), Wideband CDMA, WCDMA, High Speed Packet Access (HSPA), and Long Term Evolution (Long Term Evolution). One or more of Term Evolution (LTE) and 5th generation mobile telecommunication may be included. In addition, the common wired communication network for configuring the network includes Ethernet, x Digital Subscriber Line (xDSL), Hybrid Fiber Coax (HFC), and Fiber To The Home (FTTH). ) may be included.

이하, 상술한 바와 같은 운용 통제 서버(300)의 논리적 구성에 대하여 보다 구체적으로 설명하기로 한다.Hereinafter, the logical configuration of the operation control server 300 as described above will be described in more detail.

도 3은 본 발명의 일 실시예에 따른 운용 통제 서버의 논리적 구성도이다.3 is a logical configuration diagram of an operation control server according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운용 통제 서버(300)는 통신부(305), 입출력부(310), MRO 연동부(315), 작업 카드 분배부(320), 증강 현실 스트리밍부(325) 및 원격 지원 중개부(330)를 포함하여 구성될 수 있다.3, the operation control server 300 according to an embodiment of the present invention is a communication unit 305, an input/output unit 310, an MRO interworking unit 315, a work card distribution unit 320, and augmentation. It may be configured to include a reality streaming unit 325 and a remote assistance intermediary unit 330 .

이와 같은, 운용 통제 서버(300)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 실제 물리적 환경에서는 하나 이상의 구성 요소가 서로 통합되어 구현되거나, 또는 하나 이상의 구성 요소가 서로 다른 하드웨어 내에서 구현될 수 있다.As such, the components of the operation control server 300 merely represent functionally distinct elements, so in an actual physical environment, one or more components are integrated with each other, or one or more components are implemented in different hardware. can be implemented.

각각의 구성 요소에 대하여 설명하면, 통신부(305)는 AR 장치(100), MRO 서버(200) 및 원격 지원 장치(400) 중 하나 이상과 데이터를 송수신할 수 있다.When each component is described, the communication unit 305 may transmit/receive data to and from one or more of the AR device 100 , the MRO server 200 , and the remote support device 400 .

구체적으로, 통신부(305)는 AR 장치(100)에 의해 촬영된 영상을 AR 장치(100)로부터 수신할 수 있다. 통신부(305)는 증강 현실(AR) 구현하기 위한 그래픽 영상을 AR 장치(100)에 전송할 수 있다.Specifically, the communication unit 305 may receive an image captured by the AR device 100 from the AR device 100 . The communication unit 305 may transmit a graphic image for implementing augmented reality (AR) to the AR device 100 .

통신부(305)는 MRO 서버(200)로부터 항공기(20)의 정비 작업 일정을 수신할 수 있다. 통신부(305)는 MRO 서버(200)로부터 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 수신할 수 있다. 통신부(305)는 MRO 서버(200)에 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 보고할 수 있다.The communication unit 305 may receive the maintenance work schedule of the aircraft 20 from the MRO server 200 . The communication unit 305 may receive the engine constituting the aircraft 20 from the MRO server 200, the replacement timing of parts and consumables. The communication unit 305 may report to the MRO server 200 the required time, progress, and handover status of the maintenance work.

통신부(305)는 증강 현실(AR) 구현의 기초가 되는 영상을 AR 장치(100)로부터 수신할 수 있다. 그리고, 통신부(305)는 AR 장치(100)와 원격 지원 장치(400) 사이의 음성 통화 또는 화상 통화를 위한 데이터를 송수신할 수 있다. The communication unit 305 may receive an image, which is a basis for implementing augmented reality (AR), from the AR device 100 . In addition, the communication unit 305 may transmit/receive data for a voice call or a video call between the AR device 100 and the remote support device 400 .

다음 구성으로, 입출력부(310)는 사용자 인터페이스를 수행하여, 운용 통제 서버(400)의 동작에 필요한 데이터를 입출력할 수 있다.With the following configuration, the input/output unit 310 may input/output data necessary for the operation of the operation control server 400 by performing a user interface.

구체적으로, 입출력부(310)는 사용자로부터 전자식 기술 교범(IETM)에 관한 데이터를 입력 받을 수 있다. 입출력부(3109)는 사용자로부터 정비 작업에 대응되는 컨텐츠(contents)를 입력 받을 수 있다. 그리고, 입출력부(310)는 항공정비사(10)에 의해 수행되고 있는 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등에 관한 정보를 출력할 수 있다.Specifically, the input/output unit 310 may receive data regarding an electronic technical manual (IETM) from a user. The input/output unit 3109 may receive contents corresponding to maintenance work from the user. In addition, the input/output unit 310 may output information about the required time, progress, and handover status of the maintenance work being performed by the aviation mechanic 10 .

다음 구성으로, MRO 연동부(315)는 MRO 서버(200)와 항공기(20)의 정비 작업과 관련된 정보의 연동을 수행할 수 있다.With the following configuration, the MRO interworking unit 315 may perform interworking of information related to the maintenance work of the MRO server 200 and the aircraft 20 .

구체적으로, MRO 연동부(315)는 통신부(305)를 통해 MRO 서버(200)로부터 항공기(20)의 정비 작업 일정을 수신할 수 있다. MRO 연동부(315)는 수신된 항공기(20)의 정비 작업 일정에 따라, 정비 작업의 대상이 되는 항공기(20)를 식별할 수 있다. Specifically, the MRO linkage unit 315 may receive the maintenance work schedule of the aircraft 20 from the MRO server 200 through the communication unit 305 . The MRO linkage unit 315 may identify the aircraft 20 that is the target of the maintenance work according to the received maintenance work schedule of the aircraft 20 .

MRO 연동부(315)는 식별된 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 MRO 서버(200)에 조회할 수 있다. 그리고, MRO 연동부(315)는 항공정비사(10)가 수행중인 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 MRO 서버(200)에 보고할 수 있다.The MRO linkage unit 315 may inquire the MRO server 200 at the time of replacement of the engine, parts, and consumables constituting the identified aircraft 20 . In addition, the MRO linkage unit 315 may report the required time, progress, and handover status of the maintenance work being performed by the aviation mechanic 10 to the MRO server 200 .

다음 구성으로, 작업 카드 분배부(320)는 항공정비사(10)별로 정비 작업 목록을 할당할 수 있다.With the following configuration, the work card distribution unit 320 may allocate a maintenance work list for each aviation mechanic 10 .

구체적으로, 작업 카드 분배부(320)는 MRO 연동부(315)에 의해 식별된 정비 작업의 대상이 되는 항공기(20)과 관련하여 필요한 정비 작업을 식별할 수 있다. 작업 카드 분배부(320)는 항공기(20)의 정비 작업에 투입 가능한 항공정비사(10)의 수와 특징을 식별할 수 있다. Specifically, the work card dispensing unit 320 may identify the maintenance work required in relation to the aircraft 20 that is the target of the maintenance work identified by the MRO linkage 315 . The work card distribution unit 320 may identify the number and characteristics of the aviation mechanic 10 that can be put into the maintenance work of the aircraft 20 .

작업 카드 분배부(320)는 식별된 항공정비사(10)별로 정비 작업 목록을 작성할 수 있다. 그리고, 작업 카드 분배부(320)는 작성된 정비 작업 목록을 항공정비사(10)별로 할당할 수 있다. 이와 같이, 항공정비사(10)별로 할당된 정비 작업 목록은 가상의 작업 카드와 같은 역할을 수행할 수 있다. The work card distribution unit 320 may create a maintenance work list for each identified aviation mechanic (10). In addition, the work card distribution unit 320 may allocate the created maintenance work list for each aviation mechanic 10 . In this way, the maintenance work list assigned to each aviation mechanic 10 may serve as a virtual work card.

다음 구성으로, 증강 현실 스트리밍부(325)는 AR 장치(100)가 증강 현실(AR)을 구현하기 위한 그래픽 영상을 생성하여 제공할 수 있다.With the following configuration, the augmented reality streaming unit 325 may generate and provide a graphic image for the AR device 100 to implement augmented reality (AR).

우선, 증강 현실 스트리밍부(325)는 통신부(305)를 통해 AR 장치(100)에 의해 촬영된 영상을 수신할 수 있다. 증강 현실 스트리밍부(325)는 작업 카드 분배부(320)에 의해 할당된 정비 작업 목록과, AR 장치(100)에 의해 촬영된 영상을 기초로, 증강 현실(AR)을 구현하기 위한 그래픽 영상을 생성할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 생성된 그래픽 영상을 AR 장치(100)에 전송하여, 증강 현실(AR)을 구현하도록 제어할 수 있다.First, the augmented reality streaming unit 325 may receive an image captured by the AR device 100 through the communication unit 305 . Augmented reality streaming unit 325 based on the maintenance work list assigned by the work card distribution unit 320 and the image taken by the AR device 100, a graphic image for implementing augmented reality (AR) can create In addition, the augmented reality streaming unit 325 may transmit the generated graphic image to the AR device 100 and control to implement augmented reality (AR).

구체적으로, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 영상 내에서 객체(object)를 식별할 수 있다. Specifically, the augmented reality streaming unit 325 may identify an object in the image captured by the AR device 100 .

이를 위하여, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 영상 내에 존재하는 엣지(edge)를 추출할 수 있다. 증가 현실 스트리밍부(325)는 영상으로부터 엣지를 추출(edge detection)하기 위하여, LoG(Laplacian of Gaussian) 알고리즘 또는 DoG(Difference of Gaussian) 알고리즘 중 어느 하나를 사용할 수 있다. To this end, the augmented reality streaming unit 325 may extract an edge present in the image captured by the AR device 100 . The augmented reality streaming unit 325 may use either a Laplacian of Gaussian (LoG) algorithm or a Difference of Gaussian (DoG) algorithm to extract an edge from the image.

예를 들어 LoG 알고리즘을 이용할 경우, 증강 현실 스트리밍부(325)는 가우시안 필터(Gaussian filter)를 이용하여 영상 내에 존재하는 잡음을 제거할 수 있다. 증강 현실 스트리밍부(325)는 잡음이 제거된 영상에 라플라시안 필터(Laplacian)를 적용할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 라플라시안 필터가 적용된 영상에 영교차(zerocrossing)을 검출하여 엣지를 추출할 수 있다.For example, when using the LoG algorithm, the augmented reality streaming unit 325 may use a Gaussian filter to remove noise existing in the image. The augmented reality streaming unit 325 may apply a Laplacian filter to the noise-removed image. In addition, the augmented reality streaming unit 325 may extract an edge by detecting a zero crossing in the image to which the Laplacian filter is applied.

다른 예를 들어 DoG 알고리즘을 이용할 경우, 증강 현실 스트리밍부(325)는 영상으로부터 분산이 서로 다른 가우시안 마스크(Gaussian mask)를 두 개 생성한다. 증강 현실 스트리밍부(325)는 생성된 하나의 마스크에서 다른 하나의 마스크를 뺀다. 그리고, 증강 현실 스트리밍부(325)는 뺀 마스크를 영상에 적용하여 엣지를 추출할 수 있다.For another example, when using the DoG algorithm, the augmented reality streaming unit 325 generates two Gaussian masks having different variances from the image. The augmented reality streaming unit 325 subtracts another mask from the generated one mask. Then, the augmented reality streaming unit 325 may extract the edge by applying the subtracted mask to the image.

증강 현실 스트리밍부(325)는 추출된 엣지에 의한 폐쇄 영역(enclosure)을 하나 이상 추출할 수 있다. 이 경우, 증강 현실 스트리밍부(325)는 엣지 영역이 폐쇄되었는지 명확히 하기 위하여, 영상에 이진화(binarization)를 먼저 처리할 수 있다. The augmented reality streaming unit 325 may extract one or more enclosures by the extracted edge. In this case, the augmented reality streaming unit 325 may first process an image with binarization in order to clarify whether the edge region is closed.

증강 현실 스트리밍부(325)는 추출된 하나 이상의 폐쇄된 영역의 형상과 사전에 설정된 정비 대상이 되는 객체의 형상을 대비하여, 영상으로부터 객체를 식별할 수 있다.The augmented reality streaming unit 325 may identify the object from the image by comparing the extracted shape of the one or more closed areas with the shape of the object to be maintained in advance.

한편, 증강 현실 스트리밍부(325)는 통신부(305)를 통해 AR 장치(100)로부터 위치 정보를 더 수신할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 영상으로부터 식별된 객체가 올바르게 식별되었는지 위치 정보를 이용하여 검증을 수행할 수 있다.Meanwhile, the augmented reality streaming unit 325 may further receive location information from the AR device 100 through the communication unit 305 . In addition, the augmented reality streaming unit 325 may verify whether the object identified from the image is correctly identified using location information.

예를 들어, 영상으로부터 식별된 객체가 항공기(10)의 중간익(mid-wing)를 고정하기 위한 스트럿(strut)이나, AR 장치(100)로부터 수신된 위치 정보가 항공기(10)의 미익부(tail wing)인 경우, 증강 현실 스트리밍부(325)는 영상으로부터 식별된 객체가 올바르지 않다고 판단하고, 객체의 식별과정을 재수행할 수 있을 것이다.For example, the object identified from the image is a strut for fixing the mid-wing of the aircraft 10 , or the position information received from the AR device 100 is the tail of the aircraft 10 . (tail wing), the augmented reality streaming unit 325 may determine that the object identified from the image is not correct, and may re-perform the object identification process.

증강 현실 스트리밍부(325)는 항공정비사(10)에게 할당된 정비 작업 목록 내에서 영상으로부터 식별된 객체에 대응되는 정비 작업을 검색할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 검색된 정비 작업에 대응되게 설정된 컨텐츠(contents)를 포함시켜, 증강 현실(AR)을 구현하기 위한 그래픽 영상을 생성할 수 있다. 이와 같이, 증강 현실(AR)을 구현하기 위한 그래픽 영상에 포함되는 컨텐츠에는 전자식 기술 교범(IETM)과 관련된 컨텐츠의 일부가 포함될 수 있다. The augmented reality streaming unit 325 may search for a maintenance job corresponding to the object identified from the image within the maintenance job list assigned to the aviation mechanic 10 . In addition, the augmented reality streaming unit 325 may generate a graphic image for implementing augmented reality (AR) by including contents set to correspond to the found maintenance work. As such, the content included in the graphic image for implementing augmented reality (AR) may include a part of content related to the electronic technology manual (IETM).

한편, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 영상 내에서 항공정비사(10)의 제스처(gesture)를 인식하여 증강 현실(AR)을 구현하기 위한 그래픽 영상을 제어할 수 있다.On the other hand, the augmented reality streaming unit 325 may control the graphic image for realizing augmented reality (AR) by recognizing the gesture of the flight mechanic 10 within the image captured by the AR device 100 . there is.

구체적으로, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 영상 내에서 항공정비사(10)의 신체를 식별할 수 있다. 증강 현실 스트리밍부(325)는 식별된 항공정비사(10) 신체의 형상에 따라 제스처를 인식할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여 그래픽 영상을 구성하는 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다. Specifically, the augmented reality streaming unit 325 may identify the body of the aviation mechanic 10 within the image captured by the AR device 100 . The augmented reality streaming unit 325 may recognize a gesture according to the identified body shape of the flight mechanic 10 . In addition, the augmented reality streaming unit 325 may change the configuration order, method, or type of content constituting the graphic image in response to the recognized gesture.

특히, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여, 전자식 기술 교범(IETM)과 관련된 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다. In particular, the augmented reality streaming unit 325 may change the configuration order, method, or type of content related to the Electronic Technical Manual (IETM) in response to the recognized gesture.

예를 들어, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여, 전자식 기술 교범(IETM)과 관련된 컨텐츠를 항공정비사(10)가 다음에 수행할 정비 작업과 관련된 컨텐츠로 변경하거나, 또는 항공정비사(10)가 이전에 수행한 정비 작업과 관련된 컨텐츠로 변경할 수 있다. For example, in response to the recognized gesture, the augmented reality streaming unit 325 changes content related to an electronic technical manual (IETM) to content related to a maintenance operation to be performed next by the aviation mechanic 10, or It may be changed to content related to the maintenance work previously performed by the mechanic 10 .

이와 다르게, 증강 현실 스트리밍부(325)는 전자식 기술 교범(IETM)과 관련된 컨텐츠가 항공기(20)의 기관, 부품 또는 전기 계통과 관련된 이미지(image)에 해당하는 경우, 인식된 제스처에 대응하여 전자식 기술 교범(ITEM)과 관련된 컨텐츠의 이미지를 3차원 회전시킬 수도 있다.Alternatively, when the augmented reality streaming unit 325 corresponds to an image related to an organ, a part, or an electrical system of the aircraft 20, the augmented reality streaming unit 325 electronically responds to the recognized gesture. It is also possible to 3D rotate the image of the content related to the technical manual (ITEM).

한편, 증강 현실 스트리밍부(325)는 AR 장치(100)를 통해 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 안내할 수 있다.On the other hand, the augmented reality streaming unit 325 may guide the replacement time of the organs, parts, and consumables constituting the aircraft 20 through the AR device 100 .

구체적으로, 증강 현실 스트리밍부(325)는 정비 대상의 대상이 되는 객체(즉, 기관, 부품 또는 소모품)의 표면에 일련번호(serial)가 기록되어 있는 경우, AR 장치(100)에 의해 촬영된 영상 내에서 식별된 객체의 표면에 기록된 일련번호를 식별할 수 있다. 증강 현실 스트리밍부(325)는 통신부(305)를 통해 MRO 서버(200)로부터 식별된 객체의 교환시기를 조회할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 조회된 교환시기에 따라 사전에 설정된 컨텐츠를 증강 현실(AR)을 구현하기 위한 그래픽 영상에 포함시킬 수 있다.Specifically, the augmented reality streaming unit 325 is captured by the AR device 100 when a serial number (serial) is recorded on the surface of the object to be maintained (ie, organ, part, or consumable). It is possible to identify the serial number written on the surface of the identified object in the image. The augmented reality streaming unit 325 may inquire the exchange time of the identified object from the MRO server 200 through the communication unit 305 . In addition, the augmented reality streaming unit 325 may include content set in advance according to the inquired exchange time in the graphic image for implementing augmented reality (AR).

다음 구성으로, 원격 지원 중개부(330)는 항공기(20)의 정비 작업 과정에서 AR 장치(100)를 통해 외부 전문가의 원격 지원 서비스를 제공할 수 있다. With the following configuration, the remote support intermediary 330 may provide a remote support service of an external expert through the AR device 100 in the maintenance work process of the aircraft 20 .

구체적으로, 원격 지원 중개부(330)는 AR 장치(100)에 의해 촬영된 영상과, 영상 내에서 식별된 객체에 관한 정보를 통신부(305)를 통해 원격 지원 장치(400)에 전송할 수 있다. Specifically, the remote assistance intermediary unit 330 may transmit an image captured by the AR device 100 and information on an object identified in the image to the remote assistance device 400 through the communication unit 305 .

그 후, 원격 지원 중개부(330)는 원격 지원 장치(400)와 AR 장치(100) 사이의 음성 통화 또는 화상 통화를 중개할 수 있다. 그리고, 원격 지원 중개부(330)는 원격 지원 장치(400)로부터 텍스트 정보 또는 영상 정보가 수신되면, 이를 증강 현실(AR)을 구현하기 위한 그래픽 영상에 포함시킬 수 있다.Thereafter, the remote assistance intermediary unit 330 may mediate a voice call or a video call between the remote assistance device 400 and the AR device 100 . In addition, when text information or image information is received from the remote support device 400 , the remote support intermediary unit 330 may include it in a graphic image for implementing augmented reality (AR).

이하, 상술한 바와 같은 운용 통제 서버(300)의 논리적 구성요소를 구현하기 위한, 하드웨어에 대하여 보다 구체적으로 설명한다.Hereinafter, hardware for implementing the logical components of the operation control server 300 as described above will be described in more detail.

도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성도이다.4 is a hardware configuration diagram of an operation control server according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 운용 통제 서버(300)는 프로세서(Processor, 350), 메모리(Memory, 355), 송수신기(Transceiver, 360), 입출력장치(Input/output device, 365) 및 데이터 버스(Bus, 370) 및 스토리지(Storage, 375)를 포함하여 구성될 수 있다. 4, the operation control server 300 is a processor (Processor, 350), a memory (Memory, 355), a transceiver (Transceiver, 360), an input/output device (Input/output device, 365) and a data bus ( Bus, 370 may be configured to include and storage (Storage, 375).

프로세서(350)는 메모리(355)에 상주된 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)에 따른 명령어를 기초로, 운용 통제 서버(300)의 동작 및 기능을 구현할 수 있다. 메모리(355)에는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)가 상주(loading)될 수 있다. 송수신기(360)는 AR 장치(100), MRO 서버(200) 및 원격 지원 장치(400)와 데이터를 송수신할 수 있다. 입출력장치(365)는 운용 통제 서버(300)의 동작에 필요한 데이터를 입출력할 수 있다. 데이터 버스(370)는 프로세서(350), 메모리(355), 송수신기(360), 입출력장치(365) 및 스토리지(375)와 연결되어, 각각의 구성 요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.The processor 350 implements the operations and functions of the operation control server 300 based on the instructions according to the software 380a in which the method of supporting the maintenance work of the aviation mechanic 10 residing in the memory 355 is implemented. can The memory 355 may be loaded with software 380a in which a method of supporting the maintenance work of the aviation mechanic 10 is implemented. The transceiver 360 may transmit/receive data to and from the AR device 100 , the MRO server 200 , and the remote support device 400 . The input/output device 365 may input/output data necessary for the operation of the operation control server 300 . The data bus 370 is connected to the processor 350 , the memory 355 , the transceiver 360 , the input/output device 365 , and the storage 375 , and is a movement path for transferring data between each component. can play a role.

스토리지(375)는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 스토리지(375)는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380b)를 저장할 수 있다. 또한, 스토리지(375)는 데이터베이스(385)를 포함하여 저장할 수 있다. 여기서, 데이터베이스(385)에는 정비 작업에 대응되게 설정된 컨텐츠 자료 및 전자식 기술 교범(IETM)이 저장될 수 있으나, 이에 한정되는 것은 아니다.The storage 375 is an application programming interface (API), a library file, and a resource required for the execution of the software 380a in which the method of supporting the maintenance work of the flight mechanic 10 is implemented. You can save files, etc. The storage 375 may store the software 380b in which the method of supporting the maintenance work of the aviation mechanic 10 is implemented. Also, the storage 375 may include and store the database 385 . Here, the database 385 may store content data and an electronic technical manual (IETM) set to correspond to the maintenance work, but is not limited thereto.

메모리(355)에 상주되거나 또는 스토리지(375)에 저장된 항공정비사(10)의 정비 작업을 지원하는 방법을 구현하기 위한 소프트웨어(380a, 380b)는 MRO 서버(200)에 의해 스케줄링된 항공기(20)의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기(20)를 식별하는 단계, 상기 식별된 항공기(20)의 정비 작업 목록을 사전에 항공정비사별(10)로 할당하는 단계, AR 장치(100)에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상을 생성하여 상기 AR 장치(100)에 전송하는 단계를 실행시키기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다. Software 380a , 380b for implementing a method to support maintenance tasks of an air mechanic 10 , resident in memory 355 or stored in storage 375 , is an aircraft 20 scheduled by an MRO server 200 . Identifying the aircraft 20 that is the target of the maintenance work according to the maintenance work schedule of the step of allocating the maintenance work list of the identified aircraft 20 to each flight mechanic 10 in advance, the AR device 100 ) may be a computer program recorded on a recording medium in order to execute the step of generating a graphic image based on the image taken by and the maintenance work list assigned to each flight mechanic and transmitting it to the AR device 100 . .

보다 구체적으로, 프로세서(350)는 ASIC(Application-Specific Integrated Circuit), 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리(355)는 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 송수신기(360)는 유무선 신호를 처리하기 위한 베이스밴드 회로를 포함할 수 있다. 입출력장치(365)는 키보드(keyboard), 마우스(mouse), 및/또는 조이스틱(joystick) 등과 같은 입력 장치 및 액정표시장치(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic LED, OLED) 및/또는 능동형 유기 발광 다이오드(Active Matrix OLED, AMOLED) 등과 같은 영상 출력 장치 프린터(printer), 플로터(plotter) 등과 같은 인쇄 장치를 포함할 수 있다.More specifically, the processor 350 may include an application-specific integrated circuit (ASIC), another chipset, a logic circuit, and/or a data processing device. The memory 355 may include read-only memory (ROM), random access memory (RAM), flash memory, memory cards, storage media, and/or other storage devices. The transceiver 360 may include a baseband circuit for processing wired and wireless signals. The input/output device 365 includes an input device such as a keyboard, a mouse, and/or a joystick, and a liquid crystal display (LCD), an organic light emitting diode (OLED), and/or an input device such as a joystick. Alternatively, an image output device such as an active matrix OLED (AMOLED) may include a printing device such as a printer or a plotter.

본 명세서에 포함된 실시 예가 소프트웨어로 구현될 경우, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리(355)에 상주되고, 프로세서(350)에 의해 실행될 수 있다. 메모리(355)는 프로세서(350)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(350)와 연결될 수 있다.When the embodiment included in this specification is implemented in software, the above-described method may be implemented as a module (process, function, etc.) that performs the above-described function. The module resides in the memory 355 and may be executed by the processor 350 . The memory 355 may be internal or external to the processor 350 , and may be coupled to the processor 350 by various well-known means.

도 4에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.Each component shown in FIG. 4 may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In the case of implementation by hardware, an embodiment of the present invention provides one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), FPGAs ( Field Programmable Gate Arrays), a processor, a controller, a microcontroller, a microprocessor, etc. may be implemented.

또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, in the case of implementation by firmware or software, an embodiment of the present invention is implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above, and is stored in a recording medium readable through various computer means. can be recorded. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. For example, the recording medium includes a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a compact disk read only memory (CD-ROM), a digital video disk (DVD), and a floppy disk. Magneto-Optical Media, such as a disk, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those generated by a compiler. Such hardware devices may be configured to operate as one or more software to perform the operations of the present invention, and vice versa.

이하, 상술한 바와 같은 본 발명의 일 실시예에 따른 작업 지원 시스템의 특징에 대하여 보다 구체적으로 설명하기로 한다.Hereinafter, the characteristics of the job support system according to an embodiment of the present invention as described above will be described in more detail.

도 5는 본 발명의 일 실시예에 따라 항공기의 정비 작업을 지원하는 증강 현실(AR)의 예시도이다.5 is an exemplary diagram of an augmented reality (AR) supporting maintenance work of an aircraft according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 작업 지원 시스템은 증강 현실(AR)을 이용하여 항공기(10)의 정비 작업을 수행하고 있는 항공정비사(10)를 지원할 수 있다.As shown in FIG. 5 , the task support system according to an embodiment of the present invention may support the aviation mechanic 10 performing maintenance work of the aircraft 10 using augmented reality (AR).

구체적으로, 작업 지원 시스템은 AR 장치(100)를 통해 항공정비사(10)가 수행해야 할 정비 작업 목록과 관련된 그래픽 영상(30)을 출력할 수 있다. 이와 같이, AR 장치(100)를 통해 출력되는 그래픽 영상(30)에는 전자식 기술 교범(IETM)이 포함될 수 있다. 그리고, AR 장치(100)를 통해 출력되는 정비 작업 목록과 관련된 그래픽 영상(30)은 항공정비사(10)의 제스처에 따라 용이하게 조정 또는 변경될 수 있다. Specifically, the work support system may output the graphic image 30 related to the list of maintenance work to be performed by the aviation mechanic 10 through the AR device 100 . As such, the graphic image 30 output through the AR device 100 may include an electronic technical manual (IETM). In addition, the graphic image 30 related to the maintenance work list output through the AR device 100 may be easily adjusted or changed according to the gesture of the aviation mechanic 10 .

따라서, 본 발명에 따르면 항공정비사(10)가 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있게 되며, 결과적으로 항공 정비 작업의 효율성을 크게 향상시킬 수 있게 된다.Therefore, according to the present invention, the aviation mechanic 10 can intuitively recognize the maintenance work to be performed, and as a result, it is possible to significantly improve the efficiency of the aviation maintenance work.

이하, 상술한 바와 같은 본 발명의 일 실시예에 따른 작업 지원 시스템의 동작에 대하여 보다 구체적으로 설명하기로 한다.Hereinafter, the operation of the job support system according to an embodiment of the present invention as described above will be described in more detail.

도 6은 본 발명의 일 실시예에 따른 작업 지원 방법을 설명하기 위한 도면이다.6 is a view for explaining a job support method according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 작업 지원 시스템의 운용 통제 서버(300)는 MRO 서버(200)에 의해 스케줄링된 항공기(20)의 정비 작업 일정에 따라, 정비 대상이 되는 항공기(20)를 식별할 수 있다(S100). Referring to FIG. 7 , the operation control server 300 of the work support system according to an embodiment of the present invention is an aircraft to be maintained according to the maintenance work schedule of the aircraft 20 scheduled by the MRO server 200 . (20) can be identified (S100).

운용 통제 서버(300)는 식별된 항공기(20)와 관련하여 필요한 정비 작업 목록을 항공정비사(10)별로 할당할 수 있다(S200). 이와 같이, 항공정비사(10)별로 할당된 정비 작업 목록은 가상의 작업 카드와 같은 역할을 수행할 수 있다. The operation control server 300 may allocate a list of maintenance work required in relation to the identified aircraft 20 for each aviation mechanic 10 (S200). In this way, the maintenance work list assigned to each aviation mechanic 10 may serve as a virtual work card.

항공정비사(10)의 신체에 안경 형태로 착용된 AR 장치(100)는 항공정비사(10)의 시야 방향의 영상을 촬영하여, 운용 통제 서버(300)에 전송할 수 있다(S300).The AR device 100 worn on the body of the flight mechanic 10 in the form of glasses may capture an image in the field of view of the flight mechanic 10 and transmit it to the operation control server 300 (S300).

운용 통제 서버(300)는 AR 장치(100)에 의해 촬영된 영상과, 항공정비사(10)별로 할당된 정비 작업 목록을 기초로, 증강 현실(AR)을 구현하기 위한 그래픽 영상을 생성할 수 있다(S400). 이와 같이, 생성된 그래픽 영상에는 전자식 기술 교범(IETM)이 포함될 수 있다. 또한, 운용 통제 서버(300)는 AR 장치(100)에 의해 촬영된 영상 속의 항공정비사(10)의 제스처를 인식하여 그래픽 영상을 조정 또는 변경할 수도 있다.The operation control server 300 may generate a graphic image for implementing augmented reality (AR) based on the image captured by the AR device 100 and the maintenance work list assigned to each aviation mechanic 10 . (S400). As such, the generated graphic image may include an electronic technical manual (IETM). In addition, the operation control server 300 may adjust or change the graphic image by recognizing the gesture of the flight mechanic 10 in the image captured by the AR device 100 .

그리고, 운용 통제 서버(300)는 생성된 그래픽 영상을 AR 장치(100)에 전송하여, 증강 현실(AR)을 구현하도록 제어할 수 있다(S500).In addition, the operation control server 300 may transmit the generated graphic image to the AR device 100 and control to implement augmented reality (AR) ( S500 ).

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 선정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.As described above, in the present specification and drawings, preferred embodiments of the present invention have been disclosed, but it is in the technical field to which the present invention pertains that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein. It is obvious to those with ordinary knowledge. In addition, although specific terms have been used in the present specification and drawings, these are only used in a general sense to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. Accordingly, the above detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.

아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.In addition, the device or terminal according to the present invention may be driven by a command to cause one or more processors to perform the functions and processes described above. For example, such instructions may include interpreted instructions, such as script instructions, such as JavaScript or ECMAScript instructions, or executable code or other instructions stored on a computer-readable medium. Furthermore, the device according to the present invention may be implemented in a distributed manner across a network, such as a server farm, or may be implemented in a single computer device.

또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.Further, a computer program (also known as a program, software, software application, script or code) mounted on the device according to the invention and executing the method according to the invention includes compiled or interpreted language or a priori or procedural language. It can be written in any form of programming language, and can be deployed in any form, including stand-alone programs, modules, components, subroutines, or other units suitable for use in a computer environment. A computer program does not necessarily correspond to a file in a file system. A program may be in a single file provided to the requested program, or in multiple interacting files (eg, files that store one or more modules, subprograms, or portions of code), or portions of files that hold other programs or data. (eg, one or more scripts stored within a markup language document). The computer program may be deployed to be executed on a single computer or multiple computers located at one site or distributed over a plurality of sites and interconnected by a communication network.

아울러, 본 발명에 따른 실시예를 설명하는데 있어서, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.In addition, in describing the embodiments according to the present invention, although the operations are depicted in the drawings in a specific order, this means that such operations must be performed in the specific order or sequential order shown in order to obtain a desirable result, or that all illustrated operations are performed. are not to be construed as having to be performed. In certain cases, multitasking and parallel processing may be advantageous. Further, the separation of various system components of the above-described embodiments should not be construed as requiring such separation in all embodiments, and the program components and systems described may generally be integrated together into a single software product or packaged into multiple software products. You have to understand that you can.

AR 장치: 100 MRO 서버: 200
운용 통제 서버: 300 원격 지원 장치: 400
무선 액세스 포인트: 500
통신부: 305 입출력부: 310
MRO 연동부: 315 작업 카드 분배부: 320
증강 현실 스트리밍부: 325 원격 지원 중개부: 330AR devices: 100 MRO servers: 200
Operations Control Server: 300 Remote Support Device: 400
Wireless access point: 500
Communication unit: 305 Input/output unit: 310
MRO linkage: 315 Work card dispenser: 320
Augmented Reality Streaming Unit: 325 Remote Assistance Intermediary Unit: 330

Claims (10)

항공정비사의 정비 작업을 지원할 수 있는 시스템으로서,
상기 항공정비사의 신체에 안경 형태로 착용되어, 상기 항공정비사의 시야 방향의 영상을 촬영하고, 증강 현실(Augmented Reality, AR)을 위해 구비된 글래스를 통해 외부로부터 수신된 그래픽 영상을 출력하는 AR 장치;
사전에 입력된 항공기의 운항 일정에 따라 항공기의 정비 작업 일정을 스케줄링하고, 상기 항공기를 구성하는 기관, 부품 및 소모품의 수명을 관리하는 MRO 서버; 및
상기 MRO 서버의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기를 식별하고, 식별된 항공기의 정비 작업 목록을 항공정비사별로 할당하고, 상기 AR 장치에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상으로 생성하여 상기 AR 장치에 전송하는 운용 통제 서버를 포함하는, 항공정비사 작업 지원 시스템.As a system that can support the maintenance work of an aviation mechanic,
AR device that is worn on the body of the flight mechanic in the form of glasses, takes an image in the field of view of the flight mechanic, and outputs a graphic image received from the outside through glasses provided for augmented reality (AR) ;
MRO server for scheduling maintenance work schedule of the aircraft according to the operation schedule of the aircraft input in advance, and managing the lifespan of organs, parts and consumables constituting the aircraft; and
Identifies an aircraft to be subjected to maintenance work according to the maintenance work schedule of the MRO server, allocates a maintenance work list of the identified aircraft to each aviation mechanic, and the image captured by the AR device and maintenance assigned to each aviation mechanic Including an operation control server that generates a graphic image based on the work list and transmits it to the AR device, the aviation mechanic work support system. 제1 항에 있어서, 상기 운용 통제 서버는
상기 AR 장치에 의해 촬영된 영상 내에서 객체를 식별하고, 상기 항공정비사에게 할당된 상기 정비 작업 목록 내에서 상기 식별된 객체에 대응되는 정비 작업을 검색하고, 상기 검색된 정비 작업에 대응되게 설정된 컨텐츠를 포함시켜 상기 그래픽 영상을 생성하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.According to claim 1, wherein the operation control server
Identifies an object in the image taken by the AR device, searches for a maintenance job corresponding to the identified object in the maintenance job list assigned to the aviation mechanic, and retrieves content set to correspond to the found maintenance job Characterized in generating the graphic image by including, the aviation mechanic work support system. 제2 항에 있어서, 상기 AR 장치는
셋 이상의 무선 액세스 포인트로부터 수신된 신호의 세기를 기초로 삼각측량(triangulation)을 수행하여 위치 정보를 생성한 후, 생성된 위치 정보를 상기 운용 통제 서버에 전송하고,
상기 운용 통제 서버는
상기 촬영된 영상 내에서 식별된 객체가 올바르게 식별되었는지 상기 위치 정보를 이용하여 검증하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.The method of claim 2, wherein the AR device is
After generating location information by performing triangulation based on the strength of signals received from three or more wireless access points, the generated location information is transmitted to the operation control server,
The operation control server is
It characterized in that the verification by using the location information whether the identified object in the captured image is correctly identified, the flight mechanic work support system. 제3 항에 있어서, 상기 운용 통제 서버는
상기 AR 장치에 의해 촬영된 영상 내에 존재하는 엣지(edge)를 추출하고, 상기 추출된 엣지에 의해 폐쇄된 영역(enclosure)을 하나 이상 추출하고, 추출된 하나 이상의 폐쇄된 영역의 형상과 사전에 설정된 정비 대상 객체의 형상을 대비하여, 상기 객체를 식별하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.The method of claim 3, wherein the operation control server
Extracts an edge existing in the image captured by the AR device, extracts one or more enclosures closed by the extracted edge, and sets the shape and preset of one or more extracted closed areas In contrast to the shape of the maintenance target object, characterized in that for identifying the object, air mechanic work support system. 제2 항에 있어서, 상기 컨텐츠에는
전자식 기술 교범(Interactive Electronic Technical Manual, IETM)과 관련된 컨텐츠의 일부가 포함되며,
상기 운용 통제 서버는
상기 AR 장치에 의해 촬영된 영상 내에서 상기 항공정비사의 신체를 식별하고, 상기 식별된 신체의 형상에 따른 제스처를 인식하고, 상기 인식된 제스처에 대응하여 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.The method of claim 2, wherein the content includes
Contains some of the content related to the Interactive Electronic Technical Manual (IETM);
The operation control server
Identifies the body of the flight mechanic in the image captured by the AR device, recognizes a gesture according to the identified body shape, and responds to the recognized gesture of the electronic technical manual (IETM) related content Air mechanic work support system, characterized in that by changing the composition order, method or type of content. 제5 항에 있어서, 상기 운용 통제 서버는
상기 인식된 제스처에 대응하여 상기 전자식 기술 교범(IETM)과 관련된 컨텐츠를 상기 항공정비사가 다음에 수행할 정비 작업과 관련된 컨텐츠로 변경하거나 또는 상기 항공정비사가 이전에 수행한 정비 작업과 관련된 컨텐츠로 변경하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.The method of claim 5, wherein the operation control server
In response to the recognized gesture, the contents related to the electronic technical manual (IETM) are changed to contents related to the maintenance work to be performed next by the flight mechanic, or to contents related to the maintenance work previously performed by the airplane mechanic Characterized in that, the aviation mechanic work support system. 제5 항에 있어서, 상기 운용 통제 서버는
상기 전자식 기술 교범(IETM)과 관련된 컨텐츠가 항공기의 기관, 부품 또는 전기 계통과 관련된 이미지(image)에 해당하는 경우, 상기 인식된 제스처에 대응하여 상기 이미지를 3차원 회전시키는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.The method of claim 5, wherein the operation control server
When the content related to the Electronic Technical Manual (IETM) corresponds to an image related to an engine, part, or electrical system of an aircraft, the image is rotated three-dimensionally in response to the recognized gesture, Mechanic work support system. 제2 항에 있어서, 상기 운용 통제 서버는
상기 AR 장치에 의해 촬영된 영상과 상기 식별된 객체에 관한 정보를 사전에 설정된 원격 지원 장치에 전송한 후, 상기 원격 지원 장치와 상기 AR 장치 사이의 통화를 중개하는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.The method of claim 2, wherein the operation control server
After transmitting the image captured by the AR device and the information on the identified object to a preset remote support device, it characterized in that the call between the remote support device and the AR device is brokered. support system. 제2 항에 있어서, 상기 운용 통제 서버는
상기 AR 장치에 의해 촬영된 영상 내에서 상기 식별된 객체의 표면에 기록된 일련번호를 식별하고, 상기 식별된 일련번호를 기초로 상기 MRO 서버로부터 상기 식별된 객체의 교환시기를 조회하고, 상기 조회된 교환시기에 따라 사전에 설정된 컨텐츠를 상기 그래픽 영상에 포함시키는 것을 특징으로 하는, 항공정비사 작업 지원 시스템.The method of claim 2, wherein the operation control server
Identify the serial number recorded on the surface of the identified object in the image captured by the AR device, query the exchange time of the identified object from the MRO server based on the identified serial number, and the inquiry Air mechanic work support system, characterized in that the graphic image includes content set in advance according to the exchange period. 항공정비사의 정비 작업을 지원할 수 있는 방법으로서,
운용 통제 서버가, MRO 서버에 의해 스케줄링된 항공기의 정비 작업 일정에 따라 정비 작업의 대상이 되는 항공기를 식별하는 단계;
상기 운용 통제 서버가, 상기 식별된 항공기의 정비 작업 목록을 사전에 항공정비사별로 할당하는 단계;
상기 항공정비사의 신체에 안경 형태로 착용되는 AR 장치가, 상기 항공정비사의 시야 방향의 영상을 촬영하는 단계;
상기 운용 통제 서버가, 상기 AR 장치에 의해 촬영된 영상과 상기 항공정비사별로 할당된 정비 작업 목록을 기초로 그래픽 영상을 생성하여 상기 AR 장치에 전송하는 단계; 및
상기 AR 장치가, 증강 현실(Augmented Reality)을 위해 구비된 글래스를 통해 상기 그래픽 영상을 출력하는 단계를 포함하는, 항공정비사 정비 작업 지원 방법.A method for supporting the maintenance work of an aviation mechanic, the method comprising:
identifying, by the operation control server, an aircraft subject to maintenance work according to a maintenance work schedule of the aircraft scheduled by the MRO server;
Allocating, by the operation control server, a maintenance work list of the identified aircraft to each aviation mechanic in advance;
The AR device worn on the body of the flight mechanic in the form of glasses, capturing an image in the direction of the flight mechanic's field of vision;
generating, by the operation control server, a graphic image based on the image captured by the AR device and a maintenance work list assigned to each flight mechanic, and transmitting it to the AR device; and
The AR device, comprising the step of outputting the graphic image through a glass provided for augmented reality (Augmented Reality), an aviation mechanic maintenance work support method.
KR1020200151922A 2020-11-13 2020-11-13 System for supporting work of aircraft mechanic, and method therefor KR102527522B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200151922A KR102527522B1 (en) 2020-11-13 2020-11-13 System for supporting work of aircraft mechanic, and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200151922A KR102527522B1 (en) 2020-11-13 2020-11-13 System for supporting work of aircraft mechanic, and method therefor

Publications (2)

Publication Number Publication Date
KR20220065943A true KR20220065943A (en) 2022-05-23
KR102527522B1 KR102527522B1 (en) 2023-05-04

Family

ID=81803828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200151922A KR102527522B1 (en) 2020-11-13 2020-11-13 System for supporting work of aircraft mechanic, and method therefor

Country Status (1)

Country Link
KR (1) KR102527522B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116644967A (en) * 2023-07-25 2023-08-25 江西航空有限公司 Aircraft maintenance process risk management and control method and device based on photo watermarking technology
KR102576677B1 (en) * 2022-12-12 2023-09-08 (주)투비시스템 Method for augmented reality based task verification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130112536A (en) * 2012-04-04 2013-10-14 모본주식회사 Method and system for lane departure warning based on image recognition
KR20150097885A (en) 2014-02-18 2015-08-27 새동엔지니어링 주식회사 Airplane maintenance process control system and method thereof
JP2019106178A (en) * 2017-12-13 2019-06-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ Support for aircraft maintenance
KR102088012B1 (en) * 2019-03-14 2020-03-11 이병호 System and method for maintaining based on augmented reality using wearable oscilloscope
KR20200030816A (en) * 2018-09-13 2020-03-23 현대자동차주식회사 Smart glass device and work instruction method using the same
KR20200109271A (en) * 2019-03-12 2020-09-22 삼성디엠에스 주식회사 System for supporting parts maintenace based on mixed reality and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130112536A (en) * 2012-04-04 2013-10-14 모본주식회사 Method and system for lane departure warning based on image recognition
KR20150097885A (en) 2014-02-18 2015-08-27 새동엔지니어링 주식회사 Airplane maintenance process control system and method thereof
JP2019106178A (en) * 2017-12-13 2019-06-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ Support for aircraft maintenance
KR20200030816A (en) * 2018-09-13 2020-03-23 현대자동차주식회사 Smart glass device and work instruction method using the same
KR20200109271A (en) * 2019-03-12 2020-09-22 삼성디엠에스 주식회사 System for supporting parts maintenace based on mixed reality and method thereof
KR102088012B1 (en) * 2019-03-14 2020-03-11 이병호 System and method for maintaining based on augmented reality using wearable oscilloscope

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102576677B1 (en) * 2022-12-12 2023-09-08 (주)투비시스템 Method for augmented reality based task verification
CN116644967A (en) * 2023-07-25 2023-08-25 江西航空有限公司 Aircraft maintenance process risk management and control method and device based on photo watermarking technology
CN116644967B (en) * 2023-07-25 2023-10-20 江西航空有限公司 Aircraft maintenance process risk management and control method and device based on photo watermarking technology

Also Published As

Publication number Publication date
KR102527522B1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
KR102382865B1 (en) Camera Module, Electronic Device including Camera Module
US20210279894A1 (en) Depth and motion estimations in machine learning environments
US10650340B2 (en) Tracking and/or analyzing facility-related activities
US10282623B1 (en) Depth perception sensor data processing
US20180293664A1 (en) Image-based vehicle damage determining method and apparatus, and electronic device
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
WO2017039858A1 (en) Facilitating intelligent calibration and efficient performance of three-dimensional printers
US10776943B2 (en) System and method for 3D association of detected objects
CN108430713A (en) Estimating pose of an object in an environment using sensor-based observations of agents in the environment and estimating uncertainty metrics of the pose
KR20220065943A (en) System for supporting work of aircraft mechanic, and method therefor
US11363192B2 (en) Method, and apparatus for clock synchronization, device, storage medium and vehicle
US8892254B2 (en) Robot controller and robot system
US20180276997A1 (en) Flight tag obtaining method, terminal, and server
US11037225B2 (en) Generating augmented reality vehicle information for a vehicle captured by cameras in a vehicle lot
CN113537374B (en) Method for generating countermeasure sample
US11887046B1 (en) Updating machine learning systems using previous output data
US10606266B2 (en) Tracking a target moving between states in an environment
US10554958B2 (en) Systems and methods for interleaving multiple active camera frames
CN110825111A (en) Unmanned aerial vehicle control method suitable for overhead warehouse goods inventory, goods inventory method, device, server and storage medium
US20220100763A1 (en) Optimizing job runtimes via prediction-based token allocation
US20210156697A1 (en) Method and device for image processing and mobile apparatus
US20210132965A1 (en) System and method for displaying customized user guides in a virtual client application
CN111612851A (en) Method, apparatus, device and storage medium for calibrating camera
Schelle et al. Gestural transmission of tasking information to an airborne UAV
US20180081375A1 (en) Systems, Devices, and Methods for Providing Drone Assistance

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right