KR102635741B1 - 증강현실 기반의 항공 정비 지원 방법 - Google Patents

증강현실 기반의 항공 정비 지원 방법 Download PDF

Info

Publication number
KR102635741B1
KR102635741B1 KR1020210159822A KR20210159822A KR102635741B1 KR 102635741 B1 KR102635741 B1 KR 102635741B1 KR 1020210159822 A KR1020210159822 A KR 1020210159822A KR 20210159822 A KR20210159822 A KR 20210159822A KR 102635741 B1 KR102635741 B1 KR 102635741B1
Authority
KR
South Korea
Prior art keywords
maintenance
image
augmented reality
operation control
control server
Prior art date
Application number
KR1020210159822A
Other languages
English (en)
Other versions
KR20230073443A (ko
Inventor
이진엽
Original Assignee
주식회사 비유테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비유테크놀러지 filed Critical 주식회사 비유테크놀러지
Priority to KR1020210159822A priority Critical patent/KR102635741B1/ko
Publication of KR20230073443A publication Critical patent/KR20230073443A/ko
Application granted granted Critical
Publication of KR102635741B1 publication Critical patent/KR102635741B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/40—Maintaining or repairing aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Transportation (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 증강현실 기반의 항공 정비 지원 방법에 관한 것으로, 운용 통제 서버가, 정비 대상 부품을 인식하는 단계와; 상기 운용 통제 서버에 의해 인식된 상기 정비 대상 부품에 대한 마커 위치 정보가 AR 장치로 전송되는 단계와; 상기 마커 위치 정보에 기초하여 실제 부착된 복수의 마커와 함께 상기 정비 대상 부품이 상기 AR 장치에 의해 실시간으로 촬영되어 상기 운용 통제 서버로 전송되는 단계와; 상기 운용 통제 서버가, 상기 AR 장비에 의해 촬영된 촬영 영상으로부터 복수의 상기 마커를 인식하는 단계와; 상기 운용 통제 서버가, 상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여 정비 지원 그래픽 영상을 생성하고, 상기 정비 지원 그래픽 영상을 상기 AR 장치로 전송하는 단계와; 상기 AR 장치가, 증강 현실을 위해 구비된 디스플레이 글래스를 통해 상기 정비 지원 그래픽 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.

Description

증강현실 기반의 항공 정비 지원 방법{METHOD FOR SUPPORTING AIRCRAFT MAINTENANCE BASED ON AUGMENTED REALITY}
본 발명은 증강현실 기반의 항공 정비 지원 방법에 관한 것으로서, 보다 상세하게는 항공 정비 작업에 있어 증강현실 기반의 정비 지원 그래픽 영상을 제공하는 증강현실 기반의 항공 정비 지원 방법에 관한 것이다.
증강 현실(AR, Augmented reality)은 실제 현실 영상의 일부에 가상 이미지를 오버레이(overlay)하거나 오버랩(overlap)하여 하나의 영상으로 보여주는 기술이다. 가상 현실(Virtual Reality,VR)은 착용자의 신체, 배경(background) 및 전경(foreground)이 모두 가상의 영상인 것과 비교하여, 증강 현실(AR)은 착용자의 신체, 배경 및 전경의 일부가 실제 현실 영상이라는 점에서 차이가 있다.
항공 정비(aircraft maintenance)는 항공기가 안전하게 운항하기 위하여 주기적으로 항공기를 검사, 분해 및 수리하는 작업을 일컫는다. 이와 같은, 항공 정비는 정비가 수행되는 장소에 따라 운항 정비, 공장 정비, 창 정비로 구분되며, 수행되는 정비 작업에 따라 기관 정비, 기체 정비, 전자ㅇ전기 정비, 객실 정비로 구분된다.
일반적으로, 항공 정비는 다음과 같이 진행될 수 있다. 우선, MRO(Maintenance, Repair, Operation) 시스템이 항공기의 운항 스케줄에 따라 항공기의 정비 대상을 결정한다. 그 다음, 관리자가 정비하고자 하는 항공기의 기관, 부품, 전기 계통 등이 기재된 작업 카드를 출력하여 항공정비사에게 분배한다. 그다음, 각각의 항공정비사가 자신에게 분배된 작업 카드를 작업장에 구비된 바코드 에 스캔한 후 정비 작업을 수행한다.
일반적으로 정비 과정에서 정비사들은 기술 교범(Technical Manual)을 활용하여 정비를 수행하는데, 일반 장비에 비해 항공기의 기술 교범은 그 양이 방대하여, 이를 대화형 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)으로 생성하여 사용하고 있다.
그리고, 근래에 대화형 전자식 기술 교범과 증강현실 기술을 활용하여, 보다 효율적인 항공 정비가 수행될 수 있게 하는 다양한 기술이 제안되고 있다. 일 예로 한국등록특허 제10-0593399호에 개시된 '증강현실을 이용한 부품 정비시스템 및 방법'에서는 카메라가 구비된 시스루(See-through)형태의 HMD(Head Mounted Display)와 무선통신장치가 내장되어 있는 휴대단말기를 이용하여 복잡한 형태의 정밀기계나 항공기와 같이 다수의 부품들로 구성된 기계의 정비시 부품 정비서버를 통해 부품의 종류를 쉽게 확인함으로써 부품의 관리가 편리하고, 동시에 부품 정비관련 정보를 얻을 수 있어 정비에 정확성을 증대시킬 수 있는 기술을 개시하고 있다.
한편, 증강현실의 경우, 사용자의 위치와 시선에 따라 증강현실 영상을 표시하는 것이 일반적이다. 항공 정비 분야에 증강현실 기술을 적용하기 위해서도 사용자의 위치와 시선의 방향을 검출하는 기술이 선행되어야 한다.
특히, 항공 정비의 경우, 증강현실 영상이 정비사의 시선을 가지는 위치에 표시되어서는 안 될 뿐만 아니라, 실제 부품 위에 증강현실 영상을 오버랩시켜야하는 경우 부품의 위치에 영상이 정확하게 오버랩되는 것이 바람직하다.
그러나, GPS 신호를 이용한 위치 인식은 그 정확성에 한계가 있어 적용하기 어렵고, 관성 센서 등을 이용한 시선의 움직임을 감지하는 기술은 기준이 되는 위치의 등록이 복잡한 문제점이 있다.
이에, 증강현실 기술의 적용에 있어, 3점 마커를 이용하는 기술이 제안된 바 있으나, 항공기의 정비 대상이 되는 모든 부품에 3점 마커를 부착해두는 것 또한 현실적으로 어려울 적용하기 어려운 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 증강현실을 이용하여 항공 정비를 지원하는데 있어, 항공 정비 작업에 있어 증강현실 기반의 정비 지원 그래픽 영상을 제공하는데 있어, 정비사의 위치와 시선을 보다 정확하게 파악하면서도 실제 현장에 용이하게 적용이 가능한 증강현실 기반의 항공 정비 지원 방법을 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 증강현실 기반의 항공 정비 지원 방법에 있어서, 운용 통제 서버가, 정비 대상 부품을 인식하는 단계와; 상기 운용 통제 서버에 의해 인식된 상기 정비 대상 부품에 대한 마커 위치 정보가 AR 장치로 전송되는 단계와; 상기 마커 위치 정보에 기초하여 실제 부착된 복수의 마커와 함께 상기 정비 대상 부품이 상기 AR 장치에 의해 실시간으로 촬영되어 상기 운용 통제 서버로 전송되는 단계와; 상기 운용 통제 서버가, 상기 AR 장비에 의해 촬영된 촬영 영상으로부터 복수의 상기 마커를 인식하는 단계와; 상기 운용 통제 서버가, 상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여 정비 지원 그래픽 영상을 생성하고, 상기 정비 지원 그래픽 영상을 상기 AR 장치로 전송하는 단계와; 상기 AR 장치가, 증강 현실을 위해 구비된 디스플레이 글래스를 통해 상기 정비 지원 그래픽 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 항공 정비 지원 방법에 의해서 달성된다.
여기서, 상기 마커 위치 정보는 적어도 3 이상의 마커에 대한 위치 정보를 포함할 수 있다.
또한, 상기 마커 위치 정보는 상기 정비 대상 부품에 대응하는 대상 부품 이미지와, 상기 대상 부품 이미지 내부 또는 주변에 표시된 적어도 3 이상의 마커 이미지를 포함할 수 있다.
그리고, 상기 마커 위치 정보에는 상기 정비 대상 부품의 주변의 위치하는 주변 부품에 대한 주변 부품 이미지가 상기 정비 대상 부품과 상기 주변 부품의 배치에 대응하여 상기 대상 부품 이미지의 주변에 표시되며; 적어도 3 이상의 상기 마커 이미지 중 적어도 하나는 상기 주변 부품 이미지에 표시될 수 있다.
그리고, 상기 운용 통제 서버가, 상기 정비 지원 그래픽 영상을 생성하는 단계는, 상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여, 작업자의 시야를 방해하지 않는 비방해 영역을 추출하는 단계와; 상기 비방해 영역에 정비 지원 정보가 표시되는 상기 정비 지원 그래픽 영상을 생성하는 단계를 포함할 수 있다.
그리고, 상기 운용 통제 서버가, 상기 정비 지원 그래픽 영상을 생성하는 단계는, 상기 정비 대상 부품에 오버랩되어 표시될 오버랩 이미지가 결정되는 단계와; 상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여 상기 오버랩 이미지가 표시될 표시 위치를 결정하는 단계와; 상기 표시 위치에 상기 오버랩 이미지가 배치된 상기 정비 지원 그래픽 영상을 생성하는 단계를 포함할 수 있다.
상기와 같은 구성에 따라, 본 발명에 따르면, 증강현실을 이용하여 항공 정비를 지원하는데 있어, 항공 정비 작업에 있어 증강현실 기반의 정비 지원 그래픽 영상을 제공하는데 있어, 정비사의 위치와 시선을 보다 정확하게 파악하면서도 실제 현장에 용이하게 적용이 가능한 증강현실 기반의 항공 정비 지원 방법이 제공된다.
또한, 다점 마커를 기반으로 하여 항공정비사의 위치 및 시점이 정확히 파악되어, 항공정비사의 시야를 방해하지 않고 정보의 제공이 가능하고, 오버랩되는 이미지의 스케일, 방향 및 위치를 정확하게 표시할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 항공 정비 작업을 수행하는 모습을 도시한 예시도이고,
도 2는 본 발명의 일 실시예에 따른 증강현실 기반의 항공 정비 지원 시스템의 구성을 나타낸 도면이고,
도 3은 본 발명의 일 실시예에 따른 운용 통제 서버의 구성의 예를 나타낸 도면이고,
도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성의 예를 나타낸 도면이고,
도 5는 본 발명의 일 실시예에 따라 항공기의 정비 작업을 지원하는 증강 현실의 예를 나타낸 도면이고,
도 6은 본 발명의 일 실시예에 따른 증강현실 기반의 항공 정비 지원 방법의 제어 흐름도이고,
도 7 내지 도 9는 본 발명에 따른 증강현실 기반의 항공 정비 지원 방법의 원리를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따라 항공 정비 작업을 수행하는 모습을 도시한 예시도이다. 도 1을 참조하여 설명하면, 작업자인 항공정비사(10)가 항공기(20)의 정비 작업을 수행함에 있어, 안경처럼 착용 가능한 증강 현실(AR)을 구현할 수 있는 장치(100; 이하, 'AR 장치'라 정의한다)를 통해 지원을 받을 수 있다.
보다 구체적으로 설명하면, 항공기(20)의 정비 작업에 착수하는 과정에서 항공정비사(10)는 AR 장치(100)를 통해 자신에게 분배된 작업 카드를 확인할 수 있다. 항공기(20)의 실제 정비 작업을 수행하는 과정에서 항공정비사(10)는 AR 장치(100)를 통해 세부적인 작업 절차를 시각적으로 확인할 수 있으며, AR 장치(100)를 통해 전자식 기술 교범(Interactive Electronic Technical Manual, IETM)을 확인할 수 있다. 또한, 항공정비사(10)는 항공기(20)의 정비 작업에 외부의 지원이 필요한 경우, AR 장치(100)를 통해 외부의 전문가로부터 원격 지원을 받을 수 있다.
따라서, 본 발명의 실시예에 따른 항공 정비 지원 시스템을 이용할 경우, 항공정비사(10)가 정비 작업의 착수를 기록하기 위해 작업 카드를 바코드로 스캔하거나, 전자식 기술 교범(IETM)을 확인하기 위하여 원거리에 위치하는 컴퓨팅 장치와 항공기(20) 사이를 왔다 갔다 하는 등의 불필요한 행위를 수행하지 않게 되어 항공 정비 작업의 효율성이 향상될 수 있다.
특히, 본 발명의 실시예에 따른 항공 정비 지원 시스템을 이용할 경우, 항공정비사(10)는 AR 장치(100)를 이용하여 세부적인 작업 절차를 시각적으로 확인할 수 있게 되어 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있으며, 외부 전문가로부터 원격 지원을 받을 수도 있게 된다.
여기서, 본 발명의 실시예에 따른 항공 정비 지원 시스템은 전자식 기술 교범(IETM) 등이 포함된 정비 지원 그래픽 영상을 AR 장치(100)를 통해 증강현실 기반으로 항공정비사(10)에게 제공하게 되는데, 항공정비사(10)의 정확한 위치와 시건을 기반으로 정비 지원 그래픽 영상이 생성되어 제공된다. 이와 관련된 상세한 설명은 후술한다.
이하에서는 상술한 바와 같은 특징을 가지는 본 발명의 일 실시예에 따른 항공 정비 지원 시스템의 구성의 예에 대해 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 증강현실 기반의 항공 정비 지원 시스템의 구성을 나타낸 도면이다.
도 2를 참조하여 설명하면, 본 발명의 일 실시예에 따른 증강현실 기반의 항공 정비 지원 시스템은 하나 이상의 AR 장치(100), MRO 서버(200), 운용 통제 서버(300) 및 원격 지원 장치(400)를 포함하여 구성될 수 있다. 그리고, 본 발명의 실시예에 따른 항공 정비 지원 시스템은 네트워크(Network)를 통해 상호간에 데이터를 교환하는데, AR 장치(100)는 무선 AP(Access Point, 500)를 통해 네트워크에 접속하는 것이 바람직하나, 5G와 같은 이동통신망을 통해 네트워크에 접속될 수 있음은 물론이다.
이와 같은, 항공 정비 지원 시스템의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수도 있다.
한편, AR 장치(100)는 증강 현실을 이용하여 항공정비사(10)의 정비 작업을 지원한다. 보다 구체적으로 설명하면, AR 장치(100)는 안경(Glasses) 형태로 항공정비사(10)의 신체에 착용될 수 있다. 또한, AR 장치(100)는 항공정비사(10)의 시야 방향의 영상을 촬영하기 위한, 카메라를 포함하여 구성될 수 있다. 그리고, AR 장치(100)는 촬영된 영상을 운용 통제 서버(300)에 전송할 수 있다.
본 발명의 실시예에서는 AR 장치(100)는 운용 통제 서버(300)로부터 정비 지원 그래픽 영상을 수신할 수 있다. 그리고, AR 장치(100)는 수신된 정비 지원 그래픽 영상을 증강 현실을 위해 구비된 디스플레이 글래스를 통해 출력하여, 증강 현실을 구현할 수 있다.
한편, MRO(Maintenance, Repair, Operation) 서버(200)는 항공기(20)가 상시 운항 가능한 상태를 유지하기 위한 작업들을 관리할 수 있다.
보다 구체적으로 설명하면, MRO 서버(200)는 사전에 입력된 항공기(20)의 운항 일정에 따라, 항공기(20)의 정비 작업 일정을 스케줄링(scheduling)할 수 있다. MRO 서버(200)는 항공기(20)를 구성하는 기관, 부품 및 소모품의 수명을 관리할 수 있다. 또한, MRO 서버(200)는 항공정비사(10)가 수행 중인 항공기(20)의 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 관리할 수 있다.
본 발명의 실시예에 따른 운용 통제 서버(300)는 증강 현실을 이용한 항공정비사(10)의 정비 작업 지원의 전반적인 과정을 중앙에서 통제할 수 있다.
보다 구체적으로 설명하면, 운용 통제 서버(300)는 MRO 서버(200)의 스케줄링에 따라 정비 작업의 대상이 되는 항공기(20)를 식별할 수 있다. 그리고, 운용 통제 서버(300)는 식별된 항공기(20)의 정비 작업 목록을 항공정비사(10)별로 할당하기 위한, 작업 카드를 생성할 수 있다. 운용 통제 서버(300)는 AR 장치(100)에 의해 촬영된 촬영 영상과 항공정비사(10)별로 할당된 정비 작업 목록을 기초로 정비 지원 그래픽 영상을 생성할 수 있는데, 이에 대한 상세한 설명은 후술한다. 운용 통제 서버(300)는 증강 현실(AR)이 구현되도록 그래픽 영상을 AR 장치(100)에 전송할 수 있다. 여기서, 정비 지원 그래픽 영상은 전자식 기술 교범(IETM)의 내용이 포함될 수 있다.
상술한 바와 같은, MRO 서버(200) 및 운용 통제 서버(300)는 서버(server)라는 용어에 한정되지 아니하고, 서로 데이터를 송수신하고 송수신된 데이터를 이용하여 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다.
예를 들어, MRO 서버(200) 또는 운용 통제 서버(300)는 데스크탑(desktop), 워크스테이션(workstation) 또는 서버 등과 같은 고정식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다.
한편, 원격 지원 장치(400)는 외부 전문가의 원격 지원 서비스를 운용 통제 서버(300)에 제공한다. 구체적으로, 원격 지원 장치(400)는 AR 장치(100)에 의해 촬영된 촬영 영상 및 증강 현실의 구현을 위해 식별된 객체에 관한 정보를 운용 통제 서버(300)로부터 수신할 수 있다. 원격 지원 장치(400)는 수신된 영상 및 객체, 예를 들어 부품에 관한 정보를 디스플레이를 통해 출력할 수 있다.
본 발명의 실시예에 따른 원격 지원 장치(400)는 운용 통제 서버(300)의 중개에 따라, AR 장치(100)와 음성 통화 또는 화상 통화를 진행할 수 있다. 그리고, 원격 지원 장치(400)는 사용자로부터 입력된 텍스트 정보 또는 영상을 운용 통제 서버(300)로 전송할 수 있다.
이와 같은, 원격 지원 장치(400)는 AR 장치(100) 및 운용 통제 서버(300)와 데이터를 송수신하고 송수신된 데이터를 이용하여 연산을 수행할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다. 예를 들어, 원격 지원 장치(400)는 고정식 컴퓨팅 장치 또는 이동식 컴퓨팅 장치 중 어느 하나가 될 수 있다. 예를들어, 원격 지원 장치(400)는 스마트폰(smart phone), 랩탑(laptap), 태블릿(tablet), 패블릿(phablet), 휴대용 멀티미디어 재생장치(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 또는 전자책 단말기(E-book reader) 등과 같은 이동식 컴퓨팅 장치 중 어느 하나가 될 수 있으나, 이에 한정되는 것은 아니다.
이하에서는, 상술한 바와 같은 운용 통제 서버(300)의 논리적 구성에 대하여 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 운용 통제 서버(300)의 구성의 예를 나타낸 도면이다. 도 3을 참조하여 설명하면, 본 발명의 실시예에 따른 운용 통제 서버(300)는 통신부(305), 입출력부(310), MRO 연동부(315), 작업 카드 분배부(320), 증강 현실 스트리밍부(325) 및 원격 지원 중개부(330)를 포함하여 구성될 수 있다.
이와 같은, 운용 통제 서버(300)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 실제 물리적 환경에서는 하나 이상의 구성 요소가 서로 통합되어 구현되거나, 또는 하나 이상의 구성 요소가 서로 다른 하드웨어 내에서 구현될 수 있다.
본 발명의 실시예에 따른 통신부(305)는 AR 장치(100), MRO 서버(200) 및 원격 지원 장치(400) 중 하나 이상과 데이터를 송수신할 수 있다. 예를 들어, 통신부(305)는 AR 장치(100)에 의해 촬영된 촬영 영상을 AR 장치(100)로부터 수신할 수 있다. 통신부(305)는 증강 현실 구현하기 위한 정비 지원 그래픽 영상을 AR 장치(100)에 전송할 수 있다.
또한, 통신부(305)는 MRO 서버(200)로부터 항공기(20)의 정비 작업 일정을 수신할 수 있다. 통신부(305)는 MRO 서버(200)로부터 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 수신할 수 있다. 통신부(305)는 MRO 서버(200)에 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 보고할 수 있다.
본 발명의 실시예에 따른 입출력부(310)는 사용자 인터페이스를 수행하여, 운용 통제 서버(400)의 동작에 필요한 데이터를 입출력할 수 있다.
예를 들어, 입출력부(310)는 사용자로부터 전자식 기술 교범(IETM)에 관한 데이터를 입력 받을 수 있다. 입출력부(3109)는 사용자로부터 정비 작업에 대응되는 컨텐츠(contents)를 입력 받을 수 있다. 그리고, 입출력부(310)는 항공정비사(10)에 의해 수행되고 있는 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등에 관한 정보를 출력할 수 있다.
본 발명의 실시예에 따른 MRO 연동부(315)는 MRO 서버(200)와 항공기(20)의 정비 작업과 관련된 정보의 연동을 수행할 수 있다. 예컨대, MRO 연동부(315)는 통신부(305)를 통해 MRO 서버(200)로부터 항공기(20)의 정비 작업 일정을 수신할 수 있다. MRO 연동부(315)는 수신된 항공기(20)의 정비 작업 일정에 따라, 정비 작업의 대상이 되는 항공기(20)를 식별할 수 있다.
또한, MRO 연동부(315)는 식별된 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 MRO 서버(200)에 조회할 수 있다. 그리고, MRO 연동부(315)는 항공정비사(10)가 수행중인 정비 작업의 소요 시간, 진척 상황 및 인수인계 상황 등을 MRO 서버(200)에 보고할 수 있다.
본 발명의 실시예에 따른 작업 카드 분배부(320)는 항공정비사(10)별로 정비 작업 목록을 할당할 수 있다. 일 예로, 작업 카드 분배부(320)는 MRO 연동부(315)에 의해 식별된 정비 작업의 대상이 되는 항공기(20)과 관련하여 필요한 정비 작업을 식별할 수 있다. 작업 카드 분배부(320)는 항공기(20)의 정비 작업에 투입 가능한 항공정비사(10)의 수와 특징을 식별할 수 있다.
또한, 작업 카드 분배부(320)는 식별된 항공정비사(10)별로 정비 작업 목록을 작성할 수 있다. 그리고, 작업 카드 분배부(320)는 작성된 정비 작업 목록을 항공정비사(10)별로 할당할 수 있다. 이와 같이, 항공정비사(10)별로 할당된 정비 작업 목록은 가상의 작업 카드와 같은 역할을 수행할 수 있다.
본 발명의 실시예에 따른 증강 현실 스트리밍부(325)는 AR 장치(100)가 증강 현실(AR)을 구현하기 위한 정비 지원 그래픽 영상을 생성하여 제공할 수 있다.
먼저, 증강 현실 스트리밍부(325)는 통신부(305)를 통해 AR 장치(100)에 의해 촬영된 촬영 영상을 수신할 수 있다. 증강 현실 스트리밍부(325)는 작업 카드 분배부(320)에 의해 할당된 정비 작업 목록과, AR 장치(100)에 의해 촬영된 촬영 영상을 기초로, 증강 현실을 구현하기 위한 정비 지원 그래픽 영상을 생성할 수 있다.
여기서, AR 장치(100)에 의해 촬영된 촬영 영상에는 후술할 마커(RM1,RM2,RM3)가 포함되는데, 증강 현실 스트리밍부(325)는 촬영 영상 내의 마커(RM1,RM2,RM3)의 위치에 기초하여 정비 지원 그래픽 영상을 생성하는 바, 이에 대한 상세한 설명은 후술한다.
한편, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 촬영 영상 내에서 항공정비사(10)의 제스처(gesture)를 인식하여 증강 현실(AR)을 구현하기 위한 정비 지원 그래픽 영상을 제어할 수 있다.
예컨대, 증강 현실 스트리밍부(325)는 AR 장치(100)에 의해 촬영된 촬영 영상 내에서 항공정비사(10)의 신체를 식별할 수 있다. 증강 현실 스트리밍부(325)는 식별된 항공정비사(10) 신체의 형상에 따라 제스처를 인식할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여 그래픽 영상을 구성하는 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다.
특히, 증강 현실 스트리밍부(325)는 인식된 제스처에 대응하여, 전자식 기술 교범(IETM)과 관련된 컨텐츠의 구성 순서, 방식 또는 컨텐츠의 유형을 변경할 수 있다.
본 발명의 실시예에 따른 증강 현실 스트리밍부(325)는 AR 장치(100)를 통해 항공기(20)를 구성하는 기관, 부품 및 소모품의 교환시기를 안내할 수 있다. 예컨대, 증강 현실 스트리밍부(325)는 정비 대상의 대상이 되는 부품의 표면에 일련번호(serial)가 기록되어 있는 경우, AR 장치(100)에 의해 촬영된 영상 내에서 식별된 객체의 표면에 기록된 일련번호를 식별할 수 있다. 증강 현실 스트리밍부(325)는 통신부(305)를 통해 MRO 서버(200)로부터 식별된 객체의 교환시기를 조회할 수 있다. 그리고, 증강 현실 스트리밍부(325)는 조회된 교환시기에 따라 사전에 설정된 컨텐츠를 증강 현실(AR)을 구현하기 위한 정비 지원 그래픽 영상에 포함시킬 수 있다.
한편, 원격 지원 중개부(330)는 항공기(20)의 정비 작업 과정에서 AR 장치(100)를 통해 외부 전문가의 원격 지원 서비스를 제공할 수 있다.
예를 들어, 원격 지원 중개부(330)는 AR 장치(100)에 의해 촬영된 촬영 영상과, 영상 내에서 식별된 부품에 관한 정보를 통신부(305)를 통해 원격 지원 장치(400)에 전송할 수 있다.
그런 다음, 원격 지원 중개부(330)는 원격 지원 장치(400)와 AR 장치(100) 사이의 음성 통화 또는 화상 통화를 중개할 수 있다. 그리고, 원격 지원 중개부(330)는 원격 지원 장치(400)로부터 텍스트 정보 또는 영상 정보가 수신되면, 이를 증강 현실(AR)을 구현하기 위한 그래픽 영상에 포함시킬 수 있다.
이하, 상술한 바와 같은 운용 통제 서버(300)의 논리적 구성요소를 구현하기 위한, 하드웨어에 대하여 보다 구체적으로 설명한다.
도 4는 본 발명의 일 실시예에 따른 운용 통제 서버의 하드웨어 구성의 예를 나타낸 도면이다.
도 4를 참조하여 설명하면, 운용 통제 서버(300)는 프로세서(Processor, 350), 메모리(Memory, 355), 송수신기(Transceiver, 360), 입출력장치(Input/output device, 365) 및 데이터 버스(Bus, 370) 및 스토리지(Storage, 375)를 포함하여 구성될 수 있다.
본 발명의 실시예에 따른 프로세서(350)는 메모리(355)에 상주된 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)에 따른 명령어를 기초로, 운용 통제 서버(300)의 동작 및 기능을 구현할 수 있다. 메모리(355)에는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)가 상주(loading)될 수 있다. 송수신기(360)는 AR 장치(100), MRO 서버(200) 및 원격 지원 장치(400)와 데이터를 송수신할 수 있다. 입출력장치(365)는 운용 통제 서버(300)의 동작에 필요한 데이터를 입출력할 수 있다. 데이터 버스(370)는 프로세서(350), 메모리(355), 송수신기(360), 입출력장치(365) 및 스토리지(375)와 연결되어, 각각의 구성 요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.
스토리지(375)는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 스토리지(375)는 항공정비사(10)의 정비 작업을 지원하는 방법이 구현된 소프트웨어(380b)를 저장할 수 있다. 또한, 스토리지(375)는 데이터베이스(385)를 포함하여 저장할 수 있다. 여기서, 데이터베이스(385)에는 정비 작업에 대응되게 설정된 컨텐츠 자료 및 전자식 기술 교범(IETM)이 저장될 수 있으나, 이에 한정되는 것은 아니다.
여기서, 스토리지(375)에는 정비 대상 부품별로 마커 위치 정보가 저장될 수 있는데, 이에 대한 상세한 설명은 후술한다.
메모리(355)에 상주되거나 또는 스토리지(375)에 저장된 소프트웨어(380a, 380b)는 본 발명의 실시예에 따른 증강현실 기반의 항공 정비 지원 방법을 구현하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.
도 4에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
도 5는 본 발명의 일 실시예에 따라 항공기의 정비 작업을 지원하는 증강 현실의 예를 나타낸 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 항공 정비 지원 시스템은 증강 현실을 이용하여 항공기(10)의 정비 작업을 수행하고 있는 항공정비사(10)를 지원할 수 있다.
구체적으로, 항공 정비 지원 시스템은 AR 장치(100)를 통해 항공정비사(10)가 수행해야 할 정비 작업 목록과 관련된 정비 지원 그래픽 영상(30)을 출력할 수 있다. 이와 같이, AR 장치(100)를 통해 출력되는 정비 지원 그래픽 영상(30)에는 전자식 기술 교범(IETM)이 포함될 수 있다. 그리고, AR 장치(100)를 통해 출력되는 정비 작업 목록과 관련된 정비 지원 그래픽 영상(30)은 항공정비사(10)의 제스처에 따라 용이하게 조정 또는 변경될 수 있다.
따라서, 본 발명에 따르면 항공정비사(10)가 자신이 수행해야할 정비 작업을 직관적으로 인지할 수 있게 되며, 결과적으로 항공 정비 작업의 효율성을 크게 향상시킬 수 있게 된다.
이하에서는, 도 6 내지 9를 참조하여 본 발명의 실시예에 따른 증강현실 기반의 항공 정비 지원 방법에 대해 상세히 설명한다.
먼저, 정비 작업의 시작에 앞서 사전 작업 분배 과정(S100)을 거치게 되는데, 앞서 설명한 바와 같이, 작업 대상 항공기가 식별되는 과정(S110)과, 식별된 항공기에 대해 작업 카드가 분배되는 과정(S120)을 거치게 된다.
상기 과정을 거쳐, 항공정비사(10)가 정비 대상 부품(RP)의 위치로 이동한 후, 운용 통제 서버(300)가 정비 대상 부품(RP)을 인식하는 과정이 진행된다(S200). 앞서 설명한 바와 같이, 운용 통제 서버(300)가 AR 장치(100)에 의해 촬영된 촬영 영상을 전송받아 촬영 영상 내의 객체 인식을 통해 작업 대상 부품을 인식할 수 있으며, 촬영 영상 내에 포함된 작업 대상 부품에 대한 일련번호(serial)를 통해 작업 대상 부품을 인식할 수 있다. 다른 예로, 항공정비사(10)가 직접 작업 대상 부품의 일련번호를 입력하고 이를 전송받아 작업 대상 부품을 인식할 수 있다.
운용 통제 서버(300)가 작업 대상 부품을 인식하면, 운용 통제 서버(300)는 작업 대상 부품에 대한 마커 위치 정보를 전송하고, AR 장치(100)는 마커 위치 정보를 수신하게 된다(S300).
본 발명의 실시예에서는 마커 위치 정보가 적어도 3 이상의 마커에 대한 위치 정보를 포함하는 것을 예로 하는데, 이하에서는 3개의 마커에 대한 위치 정보, 즉 3점 마커 위치 정보가 마커 위치 정보로 적용되는 것을 예로 한다.
본 발명의 실시예에서는 마커 위치 정보가 정비 대상 부품(RP)에 대응하는 대상 부품 이미지(PI)와, 대상 부품 이미지(PI) 내부 또는 주변에 표시된 적어도 3 이상의 마커 이미지(MI1, MI2, MI3)를 포함하는 것을 예로 한다.
또한, 본 발명의 실시예에 따른 마커 위치 정보에는 정비 대상 부품(RP)의 주변에 위치하는 주변 부품(RSP1,RSP2)에 대한 주변 부품 이미지(SP1, SP2)가 정비 대상 부품(RP)과 주변 부품(RSP1,RSP2)의 배치에 대응하여 대상 부품 이미지(PI)의 주변에 표시되는 것을 예로 한다. 이 때 적어도 3 이상의 마커 이미지(MI1, MI2, MI3) 중 적어도 하나는 주변 부품 이미지(SP1, SP2)에 표시될 수 있다.
도 7을 참조하여 설명하면, 도 7의 (a)는 항공정비사(10)가 디스플레이 글라스(G)를 통해 실제의 작업 대상 부품을 바라볼 때의 예를 나타낸 도면이다. 도 7의 (a)에 도시된 바와 같이, 작업 대상 부품과 그 주변에 주변 부품(RSP1,RSP2)들이 배치되어 있다.
이 때, 운용 통제 서버(300)가 작업 대상 부품을 인식하게 되면, 해당 작업 대상 부품에 대한 마커 위치 정보, 예를 들어, 도 7의 (b)에 도시된 바와 같은 이미지를 데이터베이스(385)로부터 검색 및 추출하여, AR 장치(100)로 전송하게 된다.
그런 다음, AR 장치(100)는 디스플레이 글라스(G)에 마커 위치 정보에 해당하는 이미지를 표시하게 되고, 항공정비사(10)는 디스플레이 글라스(G)에 표시된 이미지를 참조하여 실제 마커(RM1, RM2, RM3)를 이미지에 표시된 위치에 부착하게 된다.
이와 같이, 실제 마커(RM1, RM2, RM3)가 마커 위치 정보에 대응하는 위치에 부착되고, AR 장치(100)가 실제 마커(RM1, RM2, RM3)가 부착된 촬영 영상을 운용 통제 서버(300)로 전송하게 되면(S400), 운용 통제 서버(300)는 촬영 영상 내의 마커를 인식하여(S500), 항공정비사(10)의 위치, 예를 들어, 항공정비사(10)와 정비 대상 부품(RP) 간의 거리, 그리고 항공정비사(10)의 시선 방향을 정확하게 인식할 수 있게 된다.
도 8을 참조하여 보다 구체적으로 설명하면, 3개의 실제 마커(RM1, RM2, RM3)의 형상과 간격, 즉 크기는 항공정비사(10)의 시선(V1, V2)의 방향과, 실제 마커(RM1, RM2, RM3)와의 거리에 따라 달라지게 되며, 이는 AR 장치(100)에 의해 촬영된 촬영 영상에 그대로 반영된다.
따라서, 운용 통제 서버(300)는 촬영 영상 내에서 실제 마커(RM1, RM2, RM3)의 위치를 영상 처리 기법을 통해 인식하고, 인식된 마커 간의 간격 등의 수치해석을 통해, 시선 방향과 거리의 측정이 가능하게 된다.
이후, 항공정비사(10)의 정비 작업 과정에서, 운용 통제 서버(300)는 앞서 설명한 바와 같이, 정비 지원 그래픽 영상을 생성하여(S600) AR 장치(100)로 전송하게 되는데, 이 때 생성되는 정비 지원 그래픽 영상은 촬영 영상으로부터 인식된 마커의 위치에 기반한 그래픽 영상을 포함하게 된다.
도 9를 참조하여 보다 구체적으로 설명하면, 운용 통제 서버(300)는 촬영 영상으로부터 인식된 마커의 위치에 기반하여, 항공정비사(10)의 시야를 방해하지 않는 비방해 영역을 추출할 수 있다. 도 9의 (a)에서는 항공정비사(100)의 시선이 정비 대상 부품(RP)의 우측에 치우쳐 있는 경우, 항공정비사(10)의 시야 우측이 비방해 영역이 될 수 있다.
이와 같은 비방해 영역은 실제 마커(RM1, RM2, RM3)와 정비 대상 부품(RP) 간의 위치 관계를 촬영 영상 내에서 인식된 마커를 통해 추출할 수 있으며, 이 때 운용 통제 서버는 도 9의 (b)에 도시된 바와 같이, 대화형 전자식 기술 교범의 내용과 같은 정비 지원 정보(30)가 비방해 영역은 우측에 표시된 정비 지원 그래픽 영상을 생성하여 전송함으로써, 항공정비사(100)의 시선 방향을 최소화할 수 있다.
도 9의 (b)는 도 9의 (a)의 반대 상황으로, 항공정비사(100)의 시선이 정비 대상 부품(RP)의 우측으로 치우쳐 정비 지원 정보(30)가 좌측에 표시된 예를 나타내고 있다.
도 9의 (c)는 정비 대상 부품(RP)에 오버랩되는 오버랩 이미지(VRP)가 정비 지원 그래픽 영상에 포함되는 예를 나타낸 도면이다.
여기서, 운용 통제 서버(300)는 정비 대상 부품(RP)에 오버랩될 오버랩 이미지(VRP)의 사이즈, 회전 방향, 그리고 화면 상의 위치를 촬영 영상으로부터 인식된 마커의 위치에 기반하여 산출하게 되면, 도 9의 (c)에 도시된 바와 같이, 정비 대상 부품(RP)에 해당 오버랩 이미지(VRP)가 정확하게 오버랩되어 표시 가능하게 된다.
상기와 같은 과정을 통해, AR 장치(100)에서 증강현실의 구현이 가능하게 된ㄷ(S700).
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
AR 장치: 100 MRO 서버: 200
운용 통제 서버: 300 원격 지원 장치: 400
무선 액세스 포인트: 500 통신부: 305
입출력부: 310 MRO 연동부: 315
작업 카드 분배부: 320 증강 현실 스트리밍부: 325
원격 지원 중개부: 330

Claims (6)

  1. 증강현실 기반의 항공 정비 지원 방법에 있어서,
    운용 통제 서버가, 정비 대상 부품을 인식하는 단계와;
    상기 운용 통제 서버에 의해 인식된 상기 정비 대상 부품에 대한 마커 위치 정보가 AR 장치로 전송되는 단계와;
    상기 마커 위치 정보에 기초하여 실제 부착된 복수의 마커와 함께 상기 정비 대상 부품이 상기 AR 장치에 의해 실시간으로 촬영되어 상기 운용 통제 서버로 전송되는 단계와;
    상기 운용 통제 서버가, 상기 AR 장치에 의해 촬영된 촬영 영상으로부터 복수의 상기 마커를 인식하는 단계와;
    상기 운용 통제 서버가, 상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여 정비 지원 그래픽 영상을 생성하고, 상기 정비 지원 그래픽 영상을 상기 AR 장치로 전송하는 단계와;
    상기 AR 장치가, 증강 현실을 위해 구비된 디스플레이 글래스를 통해 상기 정비 지원 그래픽 영상을 출력하는 단계를 포함하고,
    상기 마커 위치 정보는 적어도 3 이상의 마커에 대한 위치 정보를 포함하며,
    상기 운용 통제 서버가, 상기 정비 지원 그래픽 영상을 생성하는 단계는,
    상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여, 작업자의 시야를 방해하지 않는 비방해 영역을 추출하는 단계와;
    상기 비방해 영역에 정비 지원 정보가 표시되는 상기 정비 지원 그래픽 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 항공 정비 지원 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 마커 위치 정보는 상기 정비 대상 부품에 대응하는 대상 부품 이미지와, 상기 대상 부품 이미지 내부 또는 주변에 표시된 적어도 3 이상의 마커 이미지를 포함하는 것을 특징으로 하는 증강현실 기반의 항공 정비 지원 방법.
  4. 제3항에 있어서,
    상기 마커 위치 정보에는 상기 정비 대상 부품의 주변의 위치하는 주변 부품에 대한 주변 부품 이미지가 상기 정비 대상 부품과 상기 주변 부품의 배치에 대응하여 상기 대상 부품 이미지의 주변에 표시되며;
    적어도 3 이상의 상기 마커 이미지 중 적어도 하나는 상기 주변 부품 이미지에 표시되는 것을 특징으로 하는 증강현실 기반의 항공 정비 지원 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 운용 통제 서버가, 상기 정비 지원 그래픽 영상을 생성하는 단계는,
    상기 정비 대상 부품에 오버랩되어 표시될 오버랩 이미지가 결정되는 단계와;
    상기 촬영 영상으로부터 인식된 상기 마커의 위치에 기반하여 상기 오버랩 이미지가 표시될 표시 위치를 결정하는 단계와;
    상기 표시 위치에 상기 오버랩 이미지가 배치된 상기 정비 지원 그래픽 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 기반의 항공 정비 지원 방법.
KR1020210159822A 2021-11-18 2021-11-18 증강현실 기반의 항공 정비 지원 방법 KR102635741B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210159822A KR102635741B1 (ko) 2021-11-18 2021-11-18 증강현실 기반의 항공 정비 지원 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210159822A KR102635741B1 (ko) 2021-11-18 2021-11-18 증강현실 기반의 항공 정비 지원 방법

Publications (2)

Publication Number Publication Date
KR20230073443A KR20230073443A (ko) 2023-05-26
KR102635741B1 true KR102635741B1 (ko) 2024-02-13

Family

ID=86537045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210159822A KR102635741B1 (ko) 2021-11-18 2021-11-18 증강현실 기반의 항공 정비 지원 방법

Country Status (1)

Country Link
KR (1) KR102635741B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106178A (ja) * 2017-12-13 2019-06-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 航空機整備の支援

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR102063268B1 (ko) * 2017-12-21 2020-01-07 김일식 증강 현실 컨텐츠를 제작하는 방법, 이를 이용하는 방법 및 이를 이용한 장치
KR20200109271A (ko) * 2019-03-12 2020-09-22 삼성디엠에스 주식회사 혼합 현실 기반 부품 정비를 지원하기 위한 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106178A (ja) * 2017-12-13 2019-06-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 航空機整備の支援

Also Published As

Publication number Publication date
KR20230073443A (ko) 2023-05-26

Similar Documents

Publication Publication Date Title
US10984356B2 (en) Real-time logistics situational awareness and command in an augmented reality environment
EP3005028B1 (en) Ubiquitous natural user system for human-machine interaction
US10043311B2 (en) Immersive design management system
US9182815B2 (en) Making static printed content dynamic with virtual data
US9583032B2 (en) Navigating content using a physical object
US7558403B2 (en) Information processing apparatus and information processing method
EP2728454A2 (en) Mobile terminal and method for controlling the same
US9852237B2 (en) Immersive object testing system
US20230237744A1 (en) Extended reality service providing method and system for operation of industrial installation
CN104871214A (zh) 用于具扩增实境能力的装置的用户接口
US20200342521A1 (en) Utilizing machine learning to generate augmented reality vehicle information for a vehicle captured by cameras in a vehicle lot
CN111832648A (zh) 关键点标注方法、装置、电子设备及存储介质
KR102527522B1 (ko) 항공정비사 작업 지원 시스템 및 그 방법
KR102635741B1 (ko) 증강현실 기반의 항공 정비 지원 방법
TWI750822B (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
US20170108924A1 (en) Zoom effect in gaze tracking interface
KR20210085929A (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
KR102733653B1 (ko) 프로필 사진을 추천하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
KR102548208B1 (ko) 증강현실 글라스 장치의 실시간 손동작 인터페이스 구현을 위한 경량화된 손 관절 예측 방법 및 장치
Yu et al. Geometry-aware interactive AR authoring using a smartphone in a wearable AR environment
JP2023168877A (ja) 組立支援装置及び組立支援方法
CN114201034A (zh) 显示装置、记录介质、信息处理装置、系统及方法
US20240185534A1 (en) Mixed reality workflow generation
WO2022023616A1 (en) Elevator maintenance
CN111898489A (zh) 用于标注手掌位姿的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211118

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230310

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20230901

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20230310

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20230901

Comment text: Decision to Refuse Application

PX0701 Decision of registration after re-examination

Patent event date: 20231127

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20231010

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20230901

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240206

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240206

End annual number: 3

Start annual number: 1

PG1601 Publication of registration