KR20230073443A

KR20230073443A - Method for supporting aircraft maintenance based on augmented reality

Info

Publication number: KR20230073443A
Application number: KR1020210159822A
Authority: KR
Inventors: 최철순; 이원찬
Original assignee: (주)에이트원
Priority date: 2021-11-18
Filing date: 2021-11-18
Publication date: 2023-05-26
Also published as: KR102635741B1

Abstract

본 발명은 증강현실 기반의 항공 정비 지원 방법에 관한 것으로, 운용 통제 서버가, 정비 대상 부품을 인식하는 단계와; 상기 운용 통제 서버에 의해 인식된 상기 정비 대상 부품에 대한 마커 위치 정보가 AR 장치로 전송되는 단계와; 상기 마커 위치 정보에 기초하여 실제 부착된 복수의 마커와 함께 상기 정비 대상 부품이 상기 AR 장치에 의해 실시간으로 촬영되어 상기 운용 통제 서버로 전송되는 단계와; 상기 운용 통제 서버가, 상기 AR 장비에 의해 촬영된 촬영 영상으로부터 복수의 상기 마커를 인식하는 단계와; 상기 운용 통제 서버가, 상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여 정비 지원 그래픽 영상을 생성하고, 상기 정비 지원 그래픽 영상을 상기 AR 장치로 전송하는 단계와; 상기 AR 장치가, 증강 현실을 위해 구비된 디스플레이 글래스를 통해 상기 정비 지원 그래픽 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.The present invention relates to an augmented reality-based aviation maintenance support method, comprising: recognizing, by an operation control server, a maintenance target part; transmitting marker location information for the maintenance target part recognized by the operation control server to an AR device; photographing the part to be maintained together with the plurality of actually attached markers based on the marker position information in real time by the AR device and transmitting the captured image to the operation control server; Recognizing, by the operation control server, a plurality of markers from a captured image captured by the AR device; generating, by the operation control server, a maintenance support graphic image based on the position of the marker recognized from the captured image, and transmitting the maintenance support graphic image to the AR device; The AR device may include outputting the maintenance support graphic image through display glasses provided for augmented reality.

Description

Aviation maintenance support method based on augmented reality {METHOD FOR SUPPORTING AIRCRAFT MAINTENANCE BASED ON AUGMENTED REALITY}

본 발명은 증강현실 기반의 항공 정비 지원 방법에 관한 것으로서, 보다 상세하게는 항공 정비 작업에 있어 증강현실 기반의 정비 지원 그래픽 영상을 제공하는 증강현실 기반의 항공 정비 지원 방법에 관한 것이다.The present invention relates to an augmented reality-based air maintenance support method, and more particularly, to an augmented reality-based air maintenance support method for providing an augmented reality-based maintenance support graphic image in air maintenance work.

증강 현실(AR, Augmented reality)은 실제 현실 영상의 일부에 가상 이미지를 오버레이(overlay)하거나 오버랩(overlap)하여 하나의 영상으로 보여주는 기술이다. 가상 현실(Virtual Reality,VR)은 착용자의 신체, 배경(background) 및 전경(foreground)이 모두 가상의 영상인 것과 비교하여, 증강 현실(AR)은 착용자의 신체, 배경 및 전경의 일부가 실제 현실 영상이라는 점에서 차이가 있다.Augmented reality (AR) is a technology that overlays or overlaps a virtual image on a part of an actual reality image and shows it as a single image. In Virtual Reality (VR), the wearer's body, background, and foreground are all virtual images, whereas in Augmented Reality (AR), parts of the wearer's body, background, and foreground are real. The difference is that it is a video.

항공 정비(aircraft maintenance)는 항공기가 안전하게 운항하기 위하여 주기적으로 항공기를 검사, 분해 및 수리하는 작업을 일컫는다. 이와 같은, 항공 정비는 정비가 수행되는 장소에 따라 운항 정비, 공장 정비, 창 정비로 구분되며, 수행되는 정비 작업에 따라 기관 정비, 기체 정비, 전자ㅇ전기 정비, 객실 정비로 구분된다.Aircraft maintenance refers to the work of periodically inspecting, disassembling, and repairing aircraft in order to safely operate the aircraft. Such aviation maintenance is divided into flight maintenance, factory maintenance, and depot maintenance according to the place where maintenance is performed, and is divided into engine maintenance, aircraft maintenance, electronic and electrical maintenance, and cabin maintenance according to the maintenance work performed.

일반적으로, 항공 정비는 다음과 같이 진행될 수 있다. 우선, MRO(Maintenance, Repair, Operation) 시스템이 항공기의 운항 스케줄에 따라 항공기의 정비 대상을 결정한다. 그 다음, 관리자가 정비하고자 하는 항공기의 기관, 부품, 전기 계통 등이 기재된 작업 카드를 출력하여 항공정비사에게 분배한다. 그다음, 각각의 항공정비사가 자신에게 분배된 작업 카드를 작업장에 구비된 바코드 에 스캔한 후 정비 작업을 수행한다.Generally, aviation maintenance can proceed as follows. First of all, the MRO (Maintenance, Repair, Operation) system determines the maintenance target of the aircraft according to the flight schedule of the aircraft. Next, the manager prints out a work card with the engine, parts, electrical system, etc. of the aircraft to be maintained and distributes it to the aircraft maintenance technician. Next, each aircraft maintenance technician performs maintenance work after scanning the work card distributed to him/herself to the barcode provided in the workplace.

일반적으로 정비 과정에서 정비사들은 기술 교범(Technical Manual)을 활용하여 정비를 수행하는데, 일반 장비에 비해 항공기의 기술 교범은 그 양이 방대하여, 이를 대화형 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)으로 생성하여 사용하고 있다.In general, during the maintenance process, technicians perform maintenance using technical manuals. Compared to general equipment, the technical manuals for aircraft are vast in volume, so they are called Interactive Electronic Technical Manuals (IETMs). created and used.

그리고, 근래에 대화형 전자식 기술 교범과 증강현실 기술을 활용하여, 보다 효율적인 항공 정비가 수행될 수 있게 하는 다양한 기술이 제안되고 있다. 일 예로 한국등록특허 제10-0593399호에 개시된 '증강현실을 이용한 부품 정비시스템 및 방법'에서는 카메라가 구비된 시스루(See-through)형태의 HMD(Head Mounted Display)와 무선통신장치가 내장되어 있는 휴대단말기를 이용하여 복잡한 형태의 정밀기계나 항공기와 같이 다수의 부품들로 구성된 기계의 정비시 부품 정비서버를 통해 부품의 종류를 쉽게 확인함으로써 부품의 관리가 편리하고, 동시에 부품 정비관련 정보를 얻을 수 있어 정비에 정확성을 증대시킬 수 있는 기술을 개시하고 있다.In recent years, various technologies have been proposed that enable more efficient air maintenance by utilizing interactive electronic technology manuals and augmented reality technology. For example, in the 'part maintenance system and method using augmented reality' disclosed in Korean Patent Registration No. 10-0593399, a see-through type HMD (Head Mounted Display) equipped with a camera and a wireless communication device are built-in When servicing a machine composed of multiple parts, such as a complex type of precision machine or an aircraft, using a mobile terminal, it is easy to manage parts by easily checking the type of parts through the part maintenance server, and at the same time obtain information related to parts maintenance. A technology capable of increasing accuracy in maintenance is disclosed.

한편, 증강현실의 경우, 사용자의 위치와 시선에 따라 증강현실 영상을 표시하는 것이 일반적이다. 항공 정비 분야에 증강현실 기술을 적용하기 위해서도 사용자의 위치와 시선의 방향을 검출하는 기술이 선행되어야 한다.On the other hand, in the case of augmented reality, it is common to display an augmented reality image according to the user's position and gaze. In order to apply augmented reality technology to the aviation maintenance field, the technology for detecting the user's location and gaze direction must be preceded.

특히, 항공 정비의 경우, 증강현실 영상이 정비사의 시선을 가지는 위치에 표시되어서는 안 될 뿐만 아니라, 실제 부품 위에 증강현실 영상을 오버랩시켜야하는 경우 부품의 위치에 영상이 정확하게 오버랩되는 것이 바람직하다.In particular, in the case of air maintenance, not only should the augmented reality image not be displayed at a location with a mechanic's gaze, but also if the augmented reality image needs to be overlapped on an actual part, it is preferable that the image accurately overlaps the position of the part.

그러나, GPS 신호를 이용한 위치 인식은 그 정확성에 한계가 있어 적용하기 어렵고, 관성 센서 등을 이용한 시선의 움직임을 감지하는 기술은 기준이 되는 위치의 등록이 복잡한 문제점이 있다.However, location recognition using a GPS signal is difficult to apply due to its limited accuracy, and technology for detecting eye movement using an inertial sensor has a problem in that registration of a reference location is complicated.

이에, 증강현실 기술의 적용에 있어, 3점 마커를 이용하는 기술이 제안된 바 있으나, 항공기의 정비 대상이 되는 모든 부품에 3점 마커를 부착해두는 것 또한 현실적으로 어려울 적용하기 어려운 문제점이 있다.Therefore, in the application of augmented reality technology, a technique using a three-point marker has been proposed, but it is difficult to apply it in practice to attach the three-point marker to all parts subject to maintenance of the aircraft.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 증강현실을 이용하여 항공 정비를 지원하는데 있어, 항공 정비 작업에 있어 증강현실 기반의 정비 지원 그래픽 영상을 제공하는데 있어, 정비사의 위치와 시선을 보다 정확하게 파악하면서도 실제 현장에 용이하게 적용이 가능한 증강현실 기반의 항공 정비 지원 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems, in supporting aviation maintenance using augmented reality, in providing augmented reality-based maintenance support graphic images in aviation maintenance work, the position and gaze of the mechanic The purpose is to provide an augmented reality-based aviation maintenance support method that can be easily applied to the actual field while more accurately grasping the

상기 목적은 본 발명에 따라, 증강현실 기반의 항공 정비 지원 방법에 있어서, 운용 통제 서버가, 정비 대상 부품을 인식하는 단계와; 상기 운용 통제 서버에 의해 인식된 상기 정비 대상 부품에 대한 마커 위치 정보가 AR 장치로 전송되는 단계와; 상기 마커 위치 정보에 기초하여 실제 부착된 복수의 마커와 함께 상기 정비 대상 부품이 상기 AR 장치에 의해 실시간으로 촬영되어 상기 운용 통제 서버로 전송되는 단계와; 상기 운용 통제 서버가, 상기 AR 장비에 의해 촬영된 촬영 영상으로부터 복수의 상기 마커를 인식하는 단계와; 상기 운용 통제 서버가, 상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여 정비 지원 그래픽 영상을 생성하고, 상기 정비 지원 그래픽 영상을 상기 AR 장치로 전송하는 단계와; 상기 AR 장치가, 증강 현실을 위해 구비된 디스플레이 글래스를 통해 상기 정비 지원 그래픽 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 항공 정비 지원 방법에 의해서 달성된다.According to the present invention, an augmented reality-based aviation maintenance support method includes the steps of, by an operation control server, recognizing a maintenance target part; transmitting marker location information for the maintenance target part recognized by the operation control server to an AR device; photographing the part to be maintained together with the plurality of actually attached markers based on the marker position information in real time by the AR device and transmitting the captured image to the operation control server; Recognizing, by the operation control server, a plurality of markers from a captured image captured by the AR device; generating, by the operation control server, a maintenance support graphic image based on the position of the marker recognized from the captured image, and transmitting the maintenance support graphic image to the AR device; This is achieved by an augmented reality-based aviation maintenance support method comprising the step of outputting, by the AR device, the maintenance support graphic image through a display glass provided for augmented reality.

여기서, 상기 마커 위치 정보는 적어도 3 이상의 마커에 대한 위치 정보를 포함할 수 있다.Here, the marker location information may include location information on at least three markers.

또한, 상기 마커 위치 정보는 상기 정비 대상 부품에 대응하는 대상 부품 이미지와, 상기 대상 부품 이미지 내부 또는 주변에 표시된 적어도 3 이상의 마커 이미지를 포함할 수 있다.Also, the marker location information may include a target part image corresponding to the maintenance target part and at least three marker images displayed inside or around the target part image.

그리고, 상기 마커 위치 정보에는 상기 정비 대상 부품의 주변의 위치하는 주변 부품에 대한 주변 부품 이미지가 상기 정비 대상 부품과 상기 주변 부품의 배치에 대응하여 상기 대상 부품 이미지의 주변에 표시되며; 적어도 3 이상의 상기 마커 이미지 중 적어도 하나는 상기 주변 부품 이미지에 표시될 수 있다.And, in the marker location information, peripheral part images of peripheral parts located around the maintenance target part are displayed around the target part image in correspondence with the arrangement of the maintenance target part and the peripheral parts; At least one of the three or more marker images may be displayed on the peripheral part image.

그리고, 상기 운용 통제 서버가, 상기 정비 지원 그래픽 영상을 생성하는 단계는, 상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여, 작업자의 시야를 방해하지 않는 비방해 영역을 추출하는 단계와; 상기 비방해 영역에 정비 지원 정보가 표시되는 상기 정비 지원 그래픽 영상을 생성하는 단계를 포함할 수 있다.The generating of the maintenance support graphic image by the operation control server may include extracting a non-obstructive area that does not obstruct a worker's field of view based on the position of the marker recognized from the photographed image; The method may include generating the maintenance support graphic image in which maintenance support information is displayed in the non-interference area.

그리고, 상기 운용 통제 서버가, 상기 정비 지원 그래픽 영상을 생성하는 단계는, 상기 정비 대상 부품에 오버랩되어 표시될 오버랩 이미지가 결정되는 단계와; 상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여 상기 오버랩 이미지가 표시될 표시 위치를 결정하는 단계와; 상기 표시 위치에 상기 오버랩 이미지가 배치된 상기 정비 지원 그래픽 영상을 생성하는 단계를 포함할 수 있다.The generating of the maintenance support graphic image by the operation control server may include determining an overlap image to be displayed overlapped with the maintenance target part; determining a display position where the overlap image is to be displayed based on the position of the marker recognized from the photographed image; The method may include generating the maintenance support graphic image in which the overlap image is disposed at the display position.

상기와 같은 구성에 따라, 본 발명에 따르면, 증강현실을 이용하여 항공 정비를 지원하는데 있어, 항공 정비 작업에 있어 증강현실 기반의 정비 지원 그래픽 영상을 제공하는데 있어, 정비사의 위치와 시선을 보다 정확하게 파악하면서도 실제 현장에 용이하게 적용이 가능한 증강현실 기반의 항공 정비 지원 방법이 제공된다.According to the configuration described above, according to the present invention, in supporting air maintenance using augmented reality, in providing augmented reality-based maintenance support graphic images in air maintenance work, the position and line of sight of a mechanic can be more accurately An augmented reality-based aviation maintenance support method that can be easily applied to the actual field while understanding is provided.

또한, 다점 마커를 기반으로 하여 항공정비사의 위치 및 시점이 정확히 파악되어, 항공정비사의 시야를 방해하지 않고 정보의 제공이 가능하고, 오버랩되는 이미지의 스케일, 방향 및 위치를 정확하게 표시할 수 있게 된다.In addition, based on the multi-point marker, the location and viewpoint of the aircraft maintenance technician are accurately identified, so that information can be provided without interfering with the aircraft maintenance technician's field of view, and the scale, direction, and location of overlapping images can be accurately displayed. .

도 1은 본 발명의 일 실시예에 따라 항공 정비 작업을 수행하는 모습을 도시한 예시도이고,
도 2는 본 발명의 일 실시예에 따른 증강현실 기반의 항공 정비 지원 시스템의 구성을 나타낸 도면이고,
도 3은 본 발명의 일 실시예에 따른 운용 통제 서버의 구성의 예를 나타낸 도면이고,
도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성의 예를 나타낸 도면이고,
도 5는 본 발명의 일 실시예에 따라 항공기의 정비 작업을 지원하는 증강 현실의 예를 나타낸 도면이고,
도 6은 본 발명의 일 실시예에 따른 증강현실 기반의 항공 정비 지원 방법의 제어 흐름도이고,
도 7 내지 도 9는 본 발명에 따른 증강현실 기반의 항공 정비 지원 방법의 원리를 설명하기 위한 도면이다.1 is an exemplary diagram showing a state in which air maintenance work is performed according to an embodiment of the present invention;
2 is a diagram showing the configuration of an augmented reality-based air maintenance support system according to an embodiment of the present invention;
3 is a diagram showing an example of the configuration of an operation control server according to an embodiment of the present invention;
4 is a diagram showing an example of a hardware configuration of an operation control server according to an embodiment of the present invention;
5 is a diagram showing an example of augmented reality supporting maintenance work of an aircraft according to an embodiment of the present invention;
6 is a control flowchart of an augmented reality-based air maintenance support method according to an embodiment of the present invention;
7 to 9 are diagrams for explaining the principle of an augmented reality-based aviation maintenance support method according to the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this application, they should not be interpreted in an ideal or excessively formal meaning. don't

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따라 항공 정비 작업을 수행하는 모습을 도시한 예시도이다. 도 1을 참조하여 설명하면, 작업자인 항공정비사(10)가 항공기(20)의 정비 작업을 수행함에 있어, 안경처럼 착용 가능한 증강 현실(AR)을 구현할 수 있는 장치(100; 이하, 'AR 장치'라 정의한다)를 통해 지원을 받을 수 있다.1 is an exemplary diagram illustrating a state in which air maintenance work is performed according to an embodiment of the present invention. Referring to FIG. 1, when an aircraft mechanic 10 as a worker performs maintenance work of an aircraft 20, a device 100 that can implement augmented reality (AR) wearable like glasses (hereinafter referred to as 'AR device') ') to receive support.

보다 구체적으로 설명하면, 항공기(20)의 정비 작업에 착수하는 과정에서 항공정비사(10)는 AR 장치(100)를 통해 자신에게 분배된 작업 카드를 확인할 수 있다. 항공기(20)의 실제 정비 작업을 수행하는 과정에서 항공정비사(10)는 AR 장치(100)를 통해 세부적인 작업 절차를 시각적으로 확인할 수 있으며, AR 장치(100)를 통해 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)을 확인할 수 있다. 또한, 항공정비사(10)는 항공기(20)의 정비 작업에 외부의 지원이 필요한 경우, AR 장치(100)를 통해 외부의 전문가로부터 원격 지원을 받을 수 있다.More specifically, in the course of starting the maintenance work of the aircraft 20, the aircraft maintenance technician 10 may check the work card distributed to him or her through the AR device 100. In the course of performing the actual maintenance work of the aircraft 20, the aircraft maintenance technician 10 can visually check detailed work procedures through the AR device 100, and the interactive electronic technology manual through the AR device 100. Technical Manual, IETM). In addition, when the maintenance work of the aircraft 20 requires external support, the aircraft maintenance technician 10 may receive remote support from an external expert through the AR device 100 .

따라서, 본 발명의 실시예에 따른 항공 정비 지원 시스템을 이용할 경우, 항공정비사(10)가 정비 작업의 착수를 기록하기 위해 작업 카드를 바코드로 스캔하거나, 전자식 기술 교범(IETM)을 확인하기 위하여 원거리에 위치하는 컴퓨팅 장치와 항공기(20) 사이를 왔다 갔다 하는 등의 불필요한 행위를 수행하지 않게 되어 항공 정비 작업의 효율성이 향상될 수 있다.Therefore, when using the aircraft maintenance support system according to an embodiment of the present invention, the aircraft maintenance technician 10 scans a work card with a barcode to record the initiation of maintenance work or remotely scans an electronic technical manual (IETM) to check Since unnecessary actions such as going back and forth between the computing device and the aircraft 20 are not performed, the efficiency of aircraft maintenance work can be improved.

특히, 본 발명의 실시예에 따른 항공 정비 지원 시스템을 이용할 경우, 항공정비사(10)는 AR 장치(100)를 이용하여 세부적인 작업 절차를 시각적으로 확인할 수 있게 되어 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있으며, 외부 전문가로부터 원격 지원을 받을 수도 있게 된다.In particular, when using the aircraft maintenance support system according to the embodiment of the present invention, the aircraft maintenance technician 10 can visually check detailed work procedures using the AR device 100, so that the maintenance work to be performed intuitively. and receive remote support from external experts.

여기서, 본 발명의 실시예에 따른 항공 정비 지원 시스템은 전자식 기술 교범(IETM) 등이 포함된 정비 지원 그래픽 영상을 AR 장치(100)를 통해 증강현실 기반으로 항공정비사(10)에게 제공하게 되는데, 항공정비사(10)의 정확한 위치와 시건을 기반으로 정비 지원 그래픽 영상이 생성되어 제공된다. 이와 관련된 상세한 설명은 후술한다.Here, the aircraft maintenance support system according to an embodiment of the present invention provides the maintenance support graphic image including the electronic technical manual (IETM) to the aircraft maintenance technician 10 based on augmented reality through the AR device 100, A maintenance support graphic image is generated and provided based on the exact location and lock of the aircraft maintenance technician 10 . A detailed description related to this will be described later.

이하에서는 상술한 바와 같은 특징을 가지는 본 발명의 일 실시예에 따른 항공 정비 지원 시스템의 구성의 예에 대해 상세히 설명한다.Hereinafter, an example of the configuration of an aircraft maintenance support system according to an embodiment of the present invention having the above-described characteristics will be described in detail.

도 2는 본 발명의 일 실시예에 따른 증강현실 기반의 항공 정비 지원 시스템의 구성을 나타낸 도면이다.2 is a diagram showing the configuration of an augmented reality-based air maintenance support system according to an embodiment of the present invention.

도 2를 참조하여 설명하면, 본 발명의 일 실시예에 따른 증강현실 기반의 항공 정비 지원 시스템은 하나 이상의 AR 장치(100), MRO 서버(200), 운용 통제 서버(300) 및 원격 지원 장치(400)를 포함하여 구성될 수 있다. 그리고, 본 발명의 실시예에 따른 항공 정비 지원 시스템은 네트워크(Network)를 통해 상호간에 데이터를 교환하는데, AR 장치(100)는 무선 AP(Access Point, 500)를 통해 네트워크에 접속하는 것이 바람직하나, 5G와 같은 이동통신망을 통해 네트워크에 접속될 수 있음은 물론이다.Referring to FIG. 2, the augmented reality-based aviation maintenance support system according to an embodiment of the present invention includes one or more AR devices 100, an MRO server 200, an operation control server 300, and a remote support device ( 400) may be configured. In addition, the air maintenance support system according to an embodiment of the present invention exchanges data with each other through a network, and the AR device 100 preferably accesses the network through a wireless AP (Access Point, 500). Of course, it can be connected to the network through a mobile communication network such as 5G.

이와 같은, 항공 정비 지원 시스템의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수도 있다.Since the components of the air maintenance support system are merely functionally distinct elements, one or more components may be integrated and implemented in an actual physical environment.

한편, AR 장치(100)는 증강 현실을 이용하여 항공정비사(10)의 정비 작업을 지원한다. 보다 구체적으로 설명하면, AR 장치(100)는 안경(Glasses) 형태로 항공정비사(10)의 신체에 착용될 수 있다. 또한, AR 장치(100)는 항공정비사(10)의 시야 방향의 영상을 촬영하기 위한, 카메라를 포함하여 구성될 수 있다. 그리고, AR 장치(100)는 촬영된 영상을 운용 통제 서버(300)에 전송할 수 있다.Meanwhile, the AR device 100 supports the maintenance work of the aircraft maintenance technician 10 by using augmented reality. More specifically, the AR device 100 may be worn on the body of the aircraft mechanic 10 in the form of glasses. In addition, the AR device 100 may be configured to include a camera for capturing an image in the field of view of the aircraft maintenance technician 10 . And, the AR device 100 may transmit the captured image to the operation control server 300 .

본 발명의 실시예에서는 AR 장치(100)는 운용 통제 서버(300)로부터 정비 지원 그래픽 영상을 수신할 수 있다. 그리고, AR 장치(100)는 수신된 정비 지원 그래픽 영상을 증강 현실을 위해 구비된 디스플레이 글래스를 통해 출력하여, 증강 현실을 구현할 수 있다.In an embodiment of the present invention, the AR device 100 may receive a maintenance support graphic image from the operation control server 300 . Also, the AR device 100 may implement augmented reality by outputting the received maintenance support graphic image through display glasses provided for augmented reality.

한편, MRO(Maintenance, Repair, Operation) 서버(200)는 항공기(20)가 상시 운항 가능한 상태를 유지하기 위한 작업들을 관리할 수 있다.Meanwhile, the MRO (Maintenance, Repair, Operation) server 200 may manage tasks for maintaining the aircraft 20 in a state capable of operating at all times.

보다 구체적으로 설명하면, MRO 서버(200)는 사전에 입력된 항공기(20)의 운항 일정에 따라, 항공기(20)의 정비 작업 일정을 스케줄링(scheduling)할 수 있다. MRO 서버(200)는 항공기(20)를 구성하는 기관, 부품 및 소모품의 수명을 관리할 수 있다. 또한, MRO 서버(200)는 항공정비사(10)가 수행 중인 항공기(20)의 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 관리할 수 있다.More specifically, the MRO server 200 may schedule a maintenance work schedule of the aircraft 20 according to the flight schedule of the aircraft 20 input in advance. The MRO server 200 may manage the lifespan of organs, parts, and consumables constituting the aircraft 20 . In addition, the MRO server 200 may manage the required time, progress status, handover status, etc. of maintenance work of the aircraft 20 being performed by the aircraft maintenance technician 10 .

본 발명의 실시예에 따른 운용 통제 서버(300)는 증강 현실을 이용한 항공정비사(10)의 정비 작업 지원의 전반적인 과정을 중앙에서 통제할 수 있다.The operation control server 300 according to an embodiment of the present invention may centrally control the overall process of supporting maintenance work of the aircraft maintenance technician 10 using augmented reality.

보다 구체적으로 설명하면, 운용 통제 서버(300)는 MRO 서버(200)의 스케줄링에 따라 정비 작업의 대상이 되는 항공기(20)를 식별할 수 있다. 그리고, 운용 통제 서버(300)는 식별된 항공기(20)의 정비 작업 목록을 항공정비사(10)별로 할당하기 위한, 작업 카드를 생성할 수 있다. 운용 통제 서버(300)는 AR 장치(100)에 의해 촬영된 촬영 영상과 항공정비사(10)별로 할당된 정비 작업 목록을 기초로 정비 지원 그래픽 영상을 생성할 수 있는데, 이에 대한 상세한 설명은 후술한다. 운용 통제 서버(300)는 증강 현실(AR)이 구현되도록 그래픽 영상을 AR 장치(100)에 전송할 수 있다. 여기서, 정비 지원 그래픽 영상은 전자식 기술 교범(IETM)의 내용이 포함될 수 있다.More specifically, the operation control server 300 may identify the aircraft 20 to be subject to maintenance work according to the scheduling of the MRO server 200 . In addition, the operation control server 300 may generate a work card for allocating the maintenance work list of the identified aircraft 20 to each aircraft maintenance technician 10 . The operation control server 300 may generate a maintenance support graphic image based on a photographed image captured by the AR device 100 and a maintenance work list assigned to each aircraft mechanic 10, which will be described in detail later. . The operation control server 300 may transmit a graphic image to the AR device 100 so that augmented reality (AR) is implemented. Here, the maintenance support graphic image may include the contents of the electronic technology manual (IETM).

상술한 바와 같은, MRO 서버(200) 및 운용 통제 서버(300)는 서버(server)라는 용어에 한정되지 아니하고, 서로 데이터를 송수신하고 송수신된 데이터를 이용하여 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다.As described above, the MRO server 200 and the operation control server 300 are not limited to the term server, but any device capable of transmitting and receiving data to each other and performing calculations using the transmitted and received data. may also be allowed.

예를 들어, MRO 서버(200) 또는 운용 통제 서버(300)는 데스크탑(desktop), 워크스테이션(workstation) 또는 서버 등과 같은 고정식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다.For example, the MRO server 200 or the operation control server 300 may be any one of a fixed computing device such as a desktop, workstation, or server, but is not limited thereto.

한편, 원격 지원 장치(400)는 외부 전문가의 원격 지원 서비스를 운용 통제 서버(300)에 제공한다. 구체적으로, 원격 지원 장치(400)는 AR 장치(100)에 의해 촬영된 촬영 영상 및 증강 현실의 구현을 위해 식별된 객체에 관한 정보를 운용 통제 서버(300)로부터 수신할 수 있다. 원격 지원 장치(400)는 수신된 영상 및 객체, 예를 들어 부품에 관한 정보를 디스플레이를 통해 출력할 수 있다.Meanwhile, the remote support device 400 provides a remote support service of an external expert to the operation control server 300 . Specifically, the remote support device 400 may receive a photographed image taken by the AR device 100 and information about an object identified for implementation of augmented reality from the operation control server 300 . The remote support device 400 may output the received image and information about an object, eg, a part, through a display.

본 발명의 실시예에 따른 원격 지원 장치(400)는 운용 통제 서버(300)의 중개에 따라, AR 장치(100)와 음성 통화 또는 화상 통화를 진행할 수 있다. 그리고, 원격 지원 장치(400)는 사용자로부터 입력된 텍스트 정보 또는 영상을 운용 통제 서버(300)로 전송할 수 있다.The remote support device 400 according to an embodiment of the present invention may conduct a voice call or video call with the AR device 100 according to the mediation of the operation control server 300 . Also, the remote support device 400 may transmit text information or video input from the user to the operation control server 300 .

이와 같은, 원격 지원 장치(400)는 AR 장치(100) 및 운용 통제 서버(300)와 데이터를 송수신하고 송수신된 데이터를 이용하여 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다. 예를 들어, 원격 지원 장치(400)는 고정식 컴퓨팅 장치 또는 이동식 컴퓨팅 장치 중 어느 하나가 될 수 있다. 예를들어, 원격 지원 장치(400)는 스마트폰(smart phone), 랩탑(laptap), 태블릿(tablet), 패블릿(phablet), 휴대용 멀티미디어 재생장치(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 또는 전자책 단말기(E-book reader) 등과 같은 이동식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다.The remote support device 400 may be any device capable of transmitting/receiving data with the AR device 100 and the operation control server 300 and performing calculations using the transmitted/received data. For example, the remote support device 400 may be either a stationary computing device or a mobile computing device. For example, the remote support device 400 may be a smart phone, a laptop, a tablet, a phablet, a portable multimedia player (PMP), a personal portable terminal ( It may be any one of portable computing devices such as Personal Digital Assistants (PDAs) or E-book readers, but is not limited thereto.

이하에서는, 상술한 바와 같은 운용 통제 서버(300)의 논리적 구성에 대하여 보다 구체적으로 설명하기로 한다.Hereinafter, the logical configuration of the operation control server 300 as described above will be described in more detail.

도 3은 본 발명의 일 실시예에 따른 운용 통제 서버(300)의 구성의 예를 나타낸 도면이다. 도 3을 참조하여 설명하면, 본 발명의 실시예에 따른 운용 통제 서버(300)는 통신부(305), 입출력부(310), MRO 연동부(315), 작업 카드 분배부(320), 증강 현실 스트리밍부(325) 및 원격 지원 중개부(330)를 포함하여 구성될 수 있다.Figure 3 is a diagram showing an example of the configuration of the operation control server 300 according to an embodiment of the present invention. Referring to FIG. 3, the operation control server 300 according to an embodiment of the present invention includes a communication unit 305, an input/output unit 310, an MRO linkage unit 315, a work card distribution unit 320, and an augmented reality It may be configured to include a streaming unit 325 and a remote support intermediary unit 330 .

이와 같은, 운용 통제 서버(300)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 실제 물리적 환경에서는 하나 이상의 구성 요소가 서로 통합되어 구현되거나, 또는 하나 이상의 구성 요소가 서로 다른 하드웨어 내에서 구현될 수 있다.Since the components of the operation control server 300 are merely functionally distinct elements, in an actual physical environment, one or more components are integrated and implemented, or one or more components are implemented in different hardware. can be implemented

본 발명의 실시예에 따른 통신부(305)는 AR 장치(100), MRO 서버(200) 및 원격 지원 장치(400) 중 하나 이상과 데이터를 송수신할 수 있다. 예를 들어, 통신부(305)는 AR 장치(100)에 의해 촬영된 촬영 영상을 AR 장치(100)로부터 수신할 수 있다. 통신부(305)는 증강 현실 구현하기 위한 정비 지원 그래픽 영상을 AR 장치(100)에 전송할 수 있다.The communication unit 305 according to an embodiment of the present invention may transmit and receive data with one or more of the AR device 100, the MRO server 200, and the remote support device 400. For example, the communication unit 305 may receive a captured image taken by the AR device 100 from the AR device 100 . The communication unit 305 may transmit a maintenance support graphic image for implementing augmented reality to the AR device 100 .

또한, 통신부(305)는 MRO 서버(200)로부터 항공기(20)의 정비 작업 일정을 수신할 수 있다. 통신부(305)는 MRO 서버(200)로부터 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 수신할 수 있다. 통신부(305)는 MRO 서버(200)에 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 보고할 수 있다.Also, the communication unit 305 may receive a maintenance work schedule of the aircraft 20 from the MRO server 200 . The communication unit 305 may receive replacement timing of engines, parts, and consumables constituting the aircraft 20 from the MRO server 200 . The communication unit 305 may report to the MRO server 200 the required time of the maintenance work, progress status, handover status, and the like.

본 발명의 실시예에 따른 입출력부(310)는 사용자 인터페이스를 수행하여, 운용 통제 서버(400)의 동작에 필요한 데이터를 입출력할 수 있다.The input/output unit 310 according to an embodiment of the present invention may input/output data required for operation of the operation control server 400 by performing a user interface.

예를 들어, 입출력부(310)는 사용자로부터 전자식 기술 교범(IETM)에 관한 데이터를 입력 받을 수 있다. 입출력부(3109)는 사용자로부터 정비 작업에 대응되는 컨텐츠(contents)를 입력 받을 수 있다. 그리고, 입출력부(310)는 항공정비사(10)에 의해 수행되고 있는 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등에 관한 정보를 출력할 수 있다.For example, the input/output unit 310 may receive data related to electronic technology manual (IETM) from a user. The input/output unit 3109 may receive input of contents corresponding to maintenance work from a user. In addition, the input/output unit 310 may output information about required time, progress status, handover status, etc. of the maintenance work being performed by the aircraft maintenance technician 10 .

본 발명의 실시예에 따른 MRO 연동부(315)는 MRO 서버(200)와 항공기(20)의 정비 작업과 관련된 정보의 연동을 수행할 수 있다. 예컨대, MRO 연동부(315)는 통신부(305)를 통해 MRO 서버(200)로부터 항공기(20)의 정비 작업 일정을 수신할 수 있다. MRO 연동부(315)는 수신된 항공기(20)의 정비 작업 일정에 따라, 정비 작업의 대상이 되는 항공기(20)를 식별할 수 있다.The MRO linking unit 315 according to an embodiment of the present invention may perform linking of the MRO server 200 and information related to the maintenance work of the aircraft 20 . For example, the MRO linkage unit 315 may receive a maintenance work schedule for the aircraft 20 from the MRO server 200 through the communication unit 305 . The MRO interlocking unit 315 may identify the aircraft 20 to be subject to maintenance work according to the received maintenance work schedule of the aircraft 20 .

또한, MRO 연동부(315)는 식별된 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 MRO 서버(200)에 조회할 수 있다. 그리고, MRO 연동부(315)는 항공정비사(10)가 수행중인 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 MRO 서버(200)에 보고할 수 있다.In addition, the MRO interlocking unit 315 may query the MRO server 200 for an exchange time of engines, parts, and consumables constituting the identified aircraft 20 . In addition, the MRO interlocking unit 315 may report to the MRO server 200 the required time, progress status, handover status, etc. of the maintenance work being performed by the aircraft maintenance technician 10 .

본 발명의 실시예에 따른 작업 카드 분배부(320)는 항공정비사(10)별로 정비 작업 목록을 할당할 수 있다. 일 예로, 작업 카드 분배부(320)는 MRO 연동부(315)에 의해 식별된 정비 작업의 대상이 되는 항공기(20)과 관련하여 필요한 정비 작업을 식별할 수 있다. 작업 카드 분배부(320)는 항공기(20)의 정비 작업에 투입 가능한 항공정비사(10)의 수와 특징을 식별할 수 있다.The work card distribution unit 320 according to an embodiment of the present invention may allocate a maintenance work list for each aircraft maintenance technician 10 . For example, the work card distribution unit 320 may identify necessary maintenance work in relation to the aircraft 20 that is the target of the maintenance work identified by the MRO interlocking unit 315 . The work card distribution unit 320 may identify the number and characteristics of aircraft maintenance technicians 10 capable of being put into maintenance work of the aircraft 20 .

또한, 작업 카드 분배부(320)는 식별된 항공정비사(10)별로 정비 작업 목록을 작성할 수 있다. 그리고, 작업 카드 분배부(320)는 작성된 정비 작업 목록을 항공정비사(10)별로 할당할 수 있다. 이와 같이, 항공정비사(10)별로 할당된 정비 작업 목록은 가상의 작업 카드와 같은 역할을 수행할 수 있다.Also, the work card distribution unit 320 may create a maintenance work list for each identified aircraft maintenance technician 10 . Also, the work card distribution unit 320 may allocate the created maintenance work list to each aircraft maintenance technician 10 . In this way, the maintenance work list assigned to each aircraft maintenance technician 10 may serve as a virtual work card.

본 발명의 실시예에 따른 증강 현실 스트리밍부(325)는 AR 장치(100)가 증강 현실(AR)을 구현하기 위한 정비 지원 그래픽 영상을 생성하여 제공할 수 있다.The augmented reality streaming unit 325 according to an embodiment of the present invention may generate and provide a maintenance support graphic image for the AR device 100 to implement augmented reality (AR).

먼저, 증강 현실 스트리밍부(325)는 통신부(305)를 통해 AR 장치(100)에 의해 촬영된 촬영 영상을 수신할 수 있다. 증강 현실 스트리밍부(325)는 작업 카드 분배부(320)에 의해 할당된 정비 작업 목록과, AR 장치(100)에 의해 촬영된 촬영 영상을 기초로, 증강 현실을 구현하기 위한 정비 지원 그래픽 영상을 생성할 수 있다.First, the augmented reality streaming unit 325 may receive a photographed image captured by the AR device 100 through the communication unit 305 . The augmented reality streaming unit 325 provides a maintenance support graphic image for realizing augmented reality based on the maintenance task list allocated by the work card distribution unit 320 and the captured image taken by the AR device 100. can create

여기서, AR 장치(100)에 의해 촬영된 촬영 영상에는 후술할 마커(RM1,RM2,RM3)가 포함되는데, 증강 현실 스트리밍부(325)는 촬영 영상 내의 마커(RM1,RM2,RM3)의 위치에 기초하여 정비 지원 그래픽 영상을 생성하는 바, 이에 대한 상세한 설명은 후술한다.Here, the captured image captured by the AR device 100 includes markers RM1, RM2, and RM3 to be described later, and the augmented reality streaming unit 325 places the markers RM1, RM2, and RM3 in the captured image. Based on this, a maintenance support graphic image is generated, and a detailed description thereof will be described later.

한편, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 촬영 영상 내에서 항공정비사(10)의 제스처(gesture)를 인식하여 증강 현실(AR)을 구현하기 위한 정비 지원 그래픽 영상을 제어할 수 있다.On the other hand, the augmented reality streaming unit 325 recognizes the gesture of the air mechanic 10 in the photographed image taken by the AR device 100 and provides a maintenance support graphic image for implementing augmented reality (AR). You can control it.

예컨대, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 촬영 영상 내에서 항공정비사(10)의 신체를 식별할 수 있다. 증강 현실 스트리밍부(325)는 식별된 항공정비사(10) 신체의 형상에 따라 제스처를 인식할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여 그래픽 영상을 구성하는 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다.For example, the augmented reality streaming unit 325 may identify the body of the air mechanic 10 in a photographed image captured by the AR device 100 . The augmented reality streaming unit 325 may recognize a gesture according to the body shape of the identified air mechanic 10 . Also, the augmented reality streaming unit 325 may change the order, method, or type of contents constituting the graphic image in response to the recognized gesture.

특히, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여, 전자식 기술 교범(IETM)과 관련된 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다.In particular, the augmented reality streaming unit 325 may change the configuration order, method, or type of content related to the electronic technology manual (IETM) in response to the recognized gesture.

본 발명의 실시예에 따른 증강 현실 스트리밍부(325)는 AR 장치(100)를 통해 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 안내할 수 있다. 예컨대, 증강 현실 스트리밍부(325)는 정비 대상의 대상이 되는 부품의 표면에 일련번호(serial)가 기록되어 있는 경우, AR 장치(100)에 의해 촬영된 영상 내에서 식별된 객체의 표면에 기록된 일련번호를 식별할 수 있다. 증강 현실 스트리밍부(325)는 통신부(305)를 통해 MRO 서버(200)로부터 식별된 객체의 교환시기를 조회할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 조회된 교환시기에 따라 사전에 설정된 컨텐츠를 증강 현실(AR)을 구현하기 위한 정비 지원 그래픽 영상에 포함시킬 수 있다.The augmented reality streaming unit 325 according to an embodiment of the present invention may guide replacement timing of organs, parts, and consumables constituting the aircraft 20 through the AR device 100 . For example, when a serial number is recorded on the surface of a part subject to maintenance, the augmented reality streaming unit 325 records it on the surface of an object identified in an image captured by the AR device 100. serial number can be identified. The augmented reality streaming unit 325 may inquire the exchange timing of the object identified from the MRO server 200 through the communication unit 305 . Also, the augmented reality streaming unit 325 may include content set in advance according to the inquired exchange period in a maintenance support graphic image for realizing augmented reality (AR).

한편, 원격 지원 중개부(330)는 항공기(20)의 정비 작업 과정에서 AR 장치(100)를 통해 외부 전문가의 원격 지원 서비스를 제공할 수 있다.Meanwhile, the remote support intermediary unit 330 may provide a remote support service of an external expert through the AR device 100 during maintenance work of the aircraft 20 .

예를 들어, 원격 지원 중개부(330)는 AR 장치(100)에 의해 촬영된 촬영 영상과, 영상 내에서 식별된 부품에 관한 정보를 통신부(305)를 통해 원격 지원 장치(400)에 전송할 수 있다.For example, the remote support intermediary unit 330 may transmit a captured image captured by the AR device 100 and information about parts identified in the image to the remote support device 400 through the communication unit 305. there is.

그런 다음, 원격 지원 중개부(330)는 원격 지원 장치(400)와 AR 장치(100) 사이의 음성 통화 또는 화상 통화를 중개할 수 있다. 그리고, 원격 지원 중개부(330)는 원격 지원 장치(400)로부터 텍스트 정보 또는 영상 정보가 수신되면, 이를 증강 현실(AR)을 구현하기 위한 그래픽 영상에 포함시킬 수 있다.Then, the remote support intermediary unit 330 may mediate a voice call or a video call between the remote support device 400 and the AR device 100 . Also, when text information or image information is received from the remote support device 400, the remote support intermediary unit 330 may include it in a graphic image for realizing augmented reality (AR).

이하, 상술한 바와 같은 운용 통제 서버(300)의 논리적 구성요소를 구현하기 위한, 하드웨어에 대하여 보다 구체적으로 설명한다.Hereinafter, hardware for implementing the logical components of the operation control server 300 as described above will be described in more detail.

도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성의 예를 나타낸 도면이다.4 is a diagram showing an example of a hardware configuration of an operation control server according to an embodiment of the present invention.

도 4를 참조하여 설명하면, 운용 통제 서버(300)는 프로세서(Processor, 350), 메모리(Memory, 355), 송수신기(Transceiver, 360), 입출력장치(Input/output device, 365) 및 데이터 버스(Bus, 370) 및 스토리지(Storage, 375)를 포함하여 구성될 수 있다.Referring to FIG. 4, the operation control server 300 includes a processor (Processor, 350), a memory (Memory, 355), a transceiver (Transceiver, 360), an input/output device (365), and a data bus ( Bus, 370) and storage (Storage, 375) can be configured.

본 발명의 실시예에 따른 프로세서(350)는 메모리(355)에 상주된 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)에 따른 명령어를 기초로, 운용 통제 서버(300)의 동작 및 기능을 구현할 수 있다. 메모리(355)에는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)가 상주(loading)될 수 있다. 송수신기(360)는 AR 장치(100), MRO 서버(200) 및 원격 지원 장치(400)와 데이터를 송수신할 수 있다. 입출력장치(365)는 운용 통제 서버(300)의 동작에 필요한 데이터를 입출력할 수 있다. 데이터 버스(370)는 프로세서(350), 메모리(355), 송수신기(360), 입출력장치(365) 및 스토리지(375)와 연결되어, 각각의 구성 요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.The processor 350 according to an embodiment of the present invention is configured to operate the operation control server 300 based on instructions according to the software 380a in which a method for supporting maintenance work of the aircraft maintenance technician 10 residing in the memory 355 is implemented. ) can implement the operation and function. The memory 355 may be loaded with software 380a in which a method of supporting maintenance work of the aircraft maintenance technician 10 is implemented. The transceiver 360 may transmit/receive data with the AR device 100, the MRO server 200, and the remote support device 400. The input/output device 365 may input/output data necessary for the operation of the operation control server 300 . The data bus 370 is connected to the processor 350, the memory 355, the transceiver 360, the input/output device 365, and the storage 375, and is a moving path for transferring data between each component. role can be fulfilled.

스토리지(375)는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 스토리지(375)는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380b)를 저장할 수 있다. 또한, 스토리지(375)는 데이터베이스(385)를 포함하여 저장할 수 있다. 여기서, 데이터베이스(385)에는 정비 작업에 대응되게 설정된 컨텐츠 자료 및 전자식 기술 교범(IETM)이 저장될 수 있으나, 이에 한정되는 것은 아니다.The storage 375 stores an application programming interface (API), library files, and resources required for the execution of the software 380a in which a method for supporting the maintenance work of the aircraft mechanic 10 is implemented. You can save files, etc. The storage 375 may store software 380b in which a method of supporting maintenance work of the aircraft maintenance technician 10 is implemented. Also, the storage 375 may include and store the database 385 . Here, the database 385 may store content data and electronic technology manuals (IETM) set to correspond to maintenance work, but is not limited thereto.

여기서, 스토리지(375)에는 정비 대상 부품별로 마커 위치 정보가 저장될 수 있는데, 이에 대한 상세한 설명은 후술한다.Here, marker location information may be stored in the storage 375 for each part subject to maintenance, which will be described in detail later.

메모리(355)에 상주되거나 또는 스토리지(375)에 저장된 소프트웨어(380a, 380b)는 본 발명의 실시예에 따른 증강현실 기반의 항공 정비 지원 방법을 구현하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.The software (380a, 380b) residing in the memory 355 or stored in the storage 375 may be a computer program recorded on a recording medium to implement the augmented reality-based aviation maintenance support method according to an embodiment of the present invention. can

도 4에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.Each component shown in FIG. 4 may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In the case of hardware implementation, one embodiment of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), FPGAs ( Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, etc.

또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, in the case of implementation by firmware or software, an embodiment of the present invention is implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above, and is stored on a recording medium readable through various computer means. can be recorded. Here, the recording medium may include program commands, data files, data structures, etc. alone or in combination. Program instructions recorded on the recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in computer software. For example, recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs (Compact Disk Read Only Memory) and DVDs (Digital Video Disks), floptical It includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, such as a floptical disk, and ROM, RAM, flash memory, and the like. Examples of program instructions may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes generated by a compiler. These hardware devices may be configured to operate as one or more pieces of software to perform the operations of the present invention, and vice versa.

도 5는 본 발명의 일 실시예에 따라 항공기의 정비 작업을 지원하는 증강 현실의 예를 나타낸 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 항공 정비 지원 시스템은 증강 현실을 이용하여 항공기(10)의 정비 작업을 수행하고 있는 항공정비사(10)를 지원할 수 있다.5 is a diagram illustrating an example of augmented reality supporting maintenance work of an aircraft according to an embodiment of the present invention. As shown in FIG. 5 , the air maintenance support system according to an embodiment of the present invention may support the air maintenance technician 10 performing the maintenance work of the aircraft 10 using augmented reality.

구체적으로, 항공 정비 지원 시스템은 AR 장치(100)를 통해 항공정비사(10)가 수행해야 할 정비 작업 목록과 관련된 정비 지원 그래픽 영상(30)을 출력할 수 있다. 이와 같이, AR 장치(100)를 통해 출력되는 정비 지원 그래픽 영상(30)에는 전자식 기술 교범(IETM)이 포함될 수 있다. 그리고, AR 장치(100)를 통해 출력되는 정비 작업 목록과 관련된 정비 지원 그래픽 영상(30)은 항공정비사(10)의 제스처에 따라 용이하게 조정 또는 변경될 수 있다.Specifically, the aircraft maintenance support system may output a maintenance support graphic image 30 related to a list of maintenance tasks to be performed by the aircraft maintenance technician 10 through the AR device 100 . As such, the maintenance support graphic image 30 output through the AR device 100 may include an electronic technology manual (IETM). In addition, the maintenance support graphic image 30 related to the maintenance work list output through the AR device 100 may be easily adjusted or changed according to the gesture of the aircraft maintenance technician 10 .

따라서, 본 발명에 따르면 항공정비사(10)가 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있게 되며, 결과적으로 항공 정비 작업의 효율성을 크게 향상시킬 수 있게 된다.Therefore, according to the present invention, the aircraft maintenance technician 10 can intuitively recognize the maintenance work to be performed, and as a result, the efficiency of the aircraft maintenance work can be greatly improved.

이하에서는, 도 6 내지 9를 참조하여 본 발명의 실시예에 따른 증강현실 기반의 항공 정비 지원 방법에 대해 상세히 설명한다.Hereinafter, an augmented reality-based aviation maintenance support method according to an embodiment of the present invention will be described in detail with reference to FIGS. 6 to 9 .

먼저, 정비 작업의 시작에 앞서 사전 작업 분배 과정(S100)을 거치게 되는데, 앞서 설명한 바와 같이, 작업 대상 항공기가 식별되는 과정(S110)과, 식별된 항공기에 대해 작업 카드가 분배되는 과정(S120)을 거치게 된다.First, prior to the start of the maintenance work, a pre-work distribution process (S100) is performed. As described above, the process of identifying the aircraft to be operated (S110) and the process of distributing work cards to the identified aircraft (S120) will go through

상기 과정을 거쳐, 항공정비사(10)가 정비 대상 부품(RP)의 위치로 이동한 후, 운용 통제 서버(300)가 정비 대상 부품(RP)을 인식하는 과정이 진행된다(S200). 앞서 설명한 바와 같이, 운용 통제 서버(300)가 AR 장치(100)에 의해 촬영된 촬영 영상을 전송받아 촬영 영상 내의 객체 인식을 통해 작업 대상 부품을 인식할 수 있으며, 촬영 영상 내에 포함된 작업 대상 부품에 대한 일련번호(serial)를 통해 작업 대상 부품을 인식할 수 있다. 다른 예로, 항공정비사(10)가 직접 작업 대상 부품의 일련번호를 입력하고 이를 전송받아 작업 대상 부품을 인식할 수 있다.Through the above process, after the aircraft maintenance technician 10 moves to the location of the maintenance component RP, the operation control server 300 recognizes the maintenance component RP (S200). As described above, the operation control server 300 may receive the captured image captured by the AR device 100 and recognize the work target part through object recognition in the captured image, and the work target part included in the captured image. The part to be worked on can be recognized through the serial number for . As another example, the aircraft maintenance technician 10 may directly input the serial number of the work target part and receive it to recognize the work target part.

운용 통제 서버(300)가 작업 대상 부품을 인식하면, 운용 통제 서버(300)는 작업 대상 부품에 대한 마커 위치 정보를 전송하고, AR 장치(100)는 마커 위치 정보를 수신하게 된다(S300).When the operation control server 300 recognizes the work target part, the operation control server 300 transmits marker position information for the work target part, and the AR device 100 receives the marker position information (S300).

본 발명의 실시예에서는 마커 위치 정보가 적어도 3 이상의 마커에 대한 위치 정보를 포함하는 것을 예로 하는데, 이하에서는 3개의 마커에 대한 위치 정보, 즉 3점 마커 위치 정보가 마커 위치 정보로 적용되는 것을 예로 한다.In the embodiment of the present invention, it is exemplified that marker position information includes position information for at least three markers. Hereinafter, as an example, position information for three markers, that is, three-point marker position information is applied as marker position information. do.

본 발명의 실시예에서는 마커 위치 정보가 정비 대상 부품(RP)에 대응하는 대상 부품 이미지(PI)와, 대상 부품 이미지(PI) 내부 또는 주변에 표시된 적어도 3 이상의 마커 이미지(MI1, MI2, MI3)를 포함하는 것을 예로 한다.In an embodiment of the present invention, the marker location information includes a target part image (PI) corresponding to the maintenance target part (RP) and at least three marker images (MI1, MI2, MI3) displayed inside or around the target part image (PI). It is an example to include.

또한, 본 발명의 실시예에 따른 마커 위치 정보에는 정비 대상 부품(RP)의 주변에 위치하는 주변 부품(RSP1,RSP2)에 대한 주변 부품 이미지(SP1, SP2)가 정비 대상 부품(RP)과 주변 부품(RSP1,RSP2)의 배치에 대응하여 대상 부품 이미지(PI)의 주변에 표시되는 것을 예로 한다. 이 때 적어도 3 이상의 마커 이미지(MI1, MI2, MI3) 중 적어도 하나는 주변 부품 이미지(SP1, SP2)에 표시될 수 있다.In addition, in the marker location information according to the embodiment of the present invention, the peripheral part images SP1 and SP2 of the peripheral parts RSP1 and RSP2 located around the maintenance target part RP are displayed in the maintenance target part RP and the surrounding parts. For example, displaying around the target part image PI corresponding to the arrangement of the parts RSP1 and RSP2 is assumed. At this time, at least one of the three or more marker images MI1 , MI2 , and MI3 may be displayed on the peripheral part images SP1 and SP2 .

도 7을 참조하여 설명하면, 도 7의 (a)는 항공정비사(10)가 디스플레이 글라스(G)를 통해 실제의 작업 대상 부품을 바라볼 때의 예를 나타낸 도면이다. 도 7의 (a)에 도시된 바와 같이, 작업 대상 부품과 그 주변에 주변 부품(RSP1,RSP2)들이 배치되어 있다.Referring to FIG. 7, (a) of FIG. 7 is a view showing an example of when the aircraft maintenance technician 10 looks at an actual work target part through the display glass (G). As shown in (a) of FIG. 7 , peripheral parts (RSP1 and RSP2) are disposed around the work target part.

이 때, 운용 통제 서버(300)가 작업 대상 부품을 인식하게 되면, 해당 작업 대상 부품에 대한 마커 위치 정보, 예를 들어, 도 7의 (b)에 도시된 바와 같은 이미지를 데이터베이스(385)로부터 검색 및 추출하여, AR 장치(100)로 전송하게 된다.At this time, when the operation control server 300 recognizes the work target part, marker position information for the work target part, for example, an image as shown in (b) of FIG. 7 from the database 385 After searching and extracting, it is transmitted to the AR device 100.

그런 다음, AR 장치(100)는 디스플레이 글라스(G)에 마커 위치 정보에 해당하는 이미지를 표시하게 되고, 항공정비사(10)는 디스플레이 글라스(G)에 표시된 이미지를 참조하여 실제 마커(RM1, RM2, RM3)를 이미지에 표시된 위치에 부착하게 된다.Then, the AR device 100 displays an image corresponding to the marker location information on the display glass (G), and the aircraft mechanic 10 refers to the image displayed on the display glass (G) to display the actual markers (RM1, RM2). , RM3) is attached to the location indicated in the image.

이와 같이, 실제 마커(RM1, RM2, RM3)가 마커 위치 정보에 대응하는 위치에 부착되고, AR 장치(100)가 실제 마커(RM1, RM2, RM3)가 부착된 촬영 영상을 운용 통제 서버(300)로 전송하게 되면(S400), 운용 통제 서버(300)는 촬영 영상 내의 마커를 인식하여(S500), 항공정비사(10)의 위치, 예를 들어, 항공정비사(10)와 정비 대상 부품(RP) 간의 거리, 그리고 항공정비사(10)의 시선 방향을 정확하게 인식할 수 있게 된다.In this way, the actual markers RM1, RM2, and RM3 are attached to positions corresponding to the marker location information, and the AR device 100 transmits the captured images to which the actual markers RM1, RM2, and RM3 are attached to the operation control server 300. ) (S400), the operation control server 300 recognizes the marker in the photographed image (S500), and the location of the aircraft mechanic 10, for example, the aircraft mechanic 10 and the maintenance target part (RP) ), and the eye direction of the aircraft mechanic 10 can be accurately recognized.

도 8을 참조하여 보다 구체적으로 설명하면, 3개의 실제 마커(RM1, RM2, RM3)의 형상과 간격, 즉 크기는 항공정비사(10)의 시선(V1, V2)의 방향과, 실제 마커(RM1, RM2, RM3)와의 거리에 따라 달라지게 되며, 이는 AR 장치(100)에 의해 촬영된 촬영 영상에 그대로 반영된다.In more detail with reference to FIG. 8, the shape and spacing, that is, the size, of the three actual markers RM1, RM2, and RM3 depend on the direction of the line of sight V1 and V2 of the aircraft mechanic 10 and the actual marker RM1. , RM2, RM3), which is reflected in the captured image taken by the AR device 100 as it is.

따라서, 운용 통제 서버(300)는 촬영 영상 내에서 실제 마커(RM1, RM2, RM3)의 위치를 영상 처리 기법을 통해 인식하고, 인식된 마커 간의 간격 등의 수치해석을 통해, 시선 방향과 거리의 측정이 가능하게 된다.Therefore, the operation control server 300 recognizes the position of the actual markers RM1, RM2, and RM3 in the captured image through an image processing technique, and through numerical analysis of the distance between the recognized markers, the gaze direction and distance measurement becomes possible.

이후, 항공정비사(10)의 정비 작업 과정에서, 운용 통제 서버(300)는 앞서 설명한 바와 같이, 정비 지원 그래픽 영상을 생성하여(S600) AR 장치(100)로 전송하게 되는데, 이 때 생성되는 정비 지원 그래픽 영상은 촬영 영상으로부터 인식된 마커의 위치에 기반한 그래픽 영상을 포함하게 된다.Then, in the maintenance work process of the aircraft mechanic 10, as described above, the operation control server 300 generates a maintenance support graphic image (S600) and transmits it to the AR device 100, which is generated at this time. The supporting graphic image includes a graphic image based on the position of the marker recognized from the photographed image.

도 9를 참조하여 보다 구체적으로 설명하면, 운용 통제 서버(300)는 촬영 영상으로부터 인식된 마커의 위치에 기반하여, 항공정비사(10)의 시야를 방해하지 않는 비방해 영역을 추출할 수 있다. 도 9의 (a)에서는 항공정비사(100)의 시선이 정비 대상 부품(RP)의 우측에 치우쳐 있는 경우, 항공정비사(10)의 시야 우측이 비방해 영역이 될 수 있다.In more detail with reference to FIG. 9 , the operation control server 300 may extract a non-obstruction area that does not obstruct the field of view of the aircraft maintenance technician 10 based on the position of the marker recognized from the captured image. In (a) of FIG. 9 , when the gaze of the aircraft maintenance technician 100 is biased toward the right side of the maintenance target component RP, the right side of the field of view of the aircraft maintenance technician 10 may be a non-obstruction area.

이와 같은 비방해 영역은 실제 마커(RM1, RM2, RM3)와 정비 대상 부품(RP) 간의 위치 관계를 촬영 영상 내에서 인식된 마커를 통해 추출할 수 있으며, 이 때 운용 통제 서버는 도 9의 (b)에 도시된 바와 같이, 대화형 전자식 기술 교범의 내용과 같은 정비 지원 정보(30)가 비방해 영역은 우측에 표시된 정비 지원 그래픽 영상을 생성하여 전송함으로써, 항공정비사(100)의 시선 방향을 최소화할 수 있다.In this non-interference area, the positional relationship between the actual markers (RM1, RM2, and RM3) and the parts to be repaired (RP) can be extracted through the markers recognized in the photographed image. As shown in b), the maintenance support information 30, such as the content of the interactive electronic technical manual, generates and transmits a maintenance support graphic image displayed on the right side of the non-interference area, thereby changing the direction of the aircraft mechanic 100's gaze. can be minimized.

도 9의 (b)는 도 9의 (a)의 반대 상황으로, 항공정비사(100)의 시선이 정비 대상 부품(RP)의 우측으로 치우쳐 정비 지원 정보(30)가 좌측에 표시된 예를 나타내고 있다.FIG. 9(b) is the opposite situation of FIG. 9(a), showing an example in which the gaze of the aircraft mechanic 100 is shifted to the right side of the maintenance target part RP and the maintenance support information 30 is displayed on the left side. .

도 9의 (c)는 정비 대상 부품(RP)에 오버랩되는 오버랩 이미지(VRP)가 정비 지원 그래픽 영상에 포함되는 예를 나타낸 도면이다.9(c) is a diagram illustrating an example in which an overlap image VRP overlapping a maintenance target component RP is included in a maintenance support graphic image.

여기서, 운용 통제 서버(300)는 정비 대상 부품(RP)에 오버랩될 오버랩 이미지(VRP)의 사이즈, 회전 방향, 그리고 화면 상의 위치를 촬영 영상으로부터 인식된 마커의 위치에 기반하여 산출하게 되면, 도 9의 (c)에 도시된 바와 같이, 정비 대상 부품(RP)에 해당 오버랩 이미지(VRP)가 정확하게 오버랩되어 표시 가능하게 된다.Here, when the operation control server 300 calculates the size, rotation direction, and position of the overlap image VRP to be overlapped with the maintenance target part RP, and the position on the screen based on the position of the marker recognized from the captured image, As shown in (c) of FIG. 9, the corresponding overlap image VRP accurately overlaps the maintenance target component RP so that it can be displayed.

상기와 같은 과정을 통해, AR 장치(100)에서 증강현실의 구현이 가능하게 된ㄷ(S700).Through the above process, it is possible to implement augmented reality in the AR device 100 (S700).

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although several embodiments of the present invention have been shown and described, those skilled in the art will recognize that modifications may be made to the embodiments without departing from the spirit or spirit of the present invention. . The scope of the invention will be defined by the appended claims and their equivalents.

AR 장치: 100 MRO 서버: 200
운용 통제 서버: 300 원격 지원 장치: 400
무선 액세스 포인트: 500 통신부: 305
입출력부: 310 MRO 연동부: 315
작업 카드 분배부: 320 증강 현실 스트리밍부: 325
원격 지원 중개부: 330AR devices: 100 MRO servers: 200
Operations Control Servers: 300 Remote Support Devices: 400
Wireless Access Point: 500 Communication Unit: 305
Input/Output Unit: 310 MRO Interlocking Unit: 315
Work card distribution unit: 320 Augmented reality streaming unit: 325
Remote Assistance Broker: 330

Claims

In the augmented reality-based aviation maintenance support method,
recognizing, by the operation control server, parts to be repaired;
transmitting marker location information for the maintenance target part recognized by the operation control server to an AR device;
photographing the part to be maintained together with the plurality of actually attached markers based on the marker position information in real time by the AR device and transmitting the captured image to the operation control server;
Recognizing, by the operation control server, a plurality of markers from a captured image captured by the AR device;
generating, by the operation control server, a maintenance support graphic image based on the position of the marker recognized from the captured image, and transmitting the maintenance support graphic image to the AR device;
and outputting, by the AR device, the maintenance support graphic image through a display glass provided for augmented reality.

According to claim 1,
Wherein the marker location information includes location information on at least three markers.

According to claim 2,
Wherein the marker location information includes a target part image corresponding to the maintenance target part and at least three marker images displayed inside or around the target part image.

According to claim 3,
In the marker position information, peripheral part images of peripheral parts located around the maintenance target part are displayed around the target part image in correspondence with the arrangement of the maintenance target part and the peripheral parts;
Augmented reality-based air maintenance support method, characterized in that at least one of the three or more marker images is displayed on the peripheral parts image.

According to claim 2,
The operation control server generating the maintenance support graphic image,
extracting a non-obstruction area that does not obstruct an operator's field of view based on the position of the marker recognized from the photographed image;
and generating the maintenance support graphic image in which maintenance support information is displayed in the non-interference area.

According to claim 2,
The operation control server generating the maintenance support graphic image,
determining an overlap image to be displayed overlapped with the maintenance target part;
determining a display position where the overlap image is to be displayed based on the position of the marker recognized from the photographed image;
and generating the maintenance support graphic image in which the overlap image is disposed at the display position.