KR102427587B1

KR102427587B1 - Ar 기반 비행 훈련 시뮬레이터 제공 방법, 장치 및 시스템

Info

Publication number: KR102427587B1
Application number: KR1020210165983A
Authority: KR
Inventors: 김한관; 양세훈; 조영민
Original assignee: 라이트하우스(주)
Priority date: 2021-11-26
Filing date: 2021-11-26
Publication date: 2022-08-01

Abstract

일실시예에 따르면, 장치에 의해 수행되는, AR을 기반으로 비행 훈련 시뮬레이터를 제공하는 방법에 있어서, 제1 사용자가 조종실(Cockpit) 훈련장의 조종석에 착석한 상태에서 AR 기기를 착용한 것으로 확인되면, 상기 AR 기기를 착용한 상기 제1 사용자의 시선을 추적하는 단계; 상기 제1 사용자의 시선을 추적한 결과, 상기 제1 사용자의 시선이 상기 조종실 훈련장의 제1 구역을 응시하고 있는 것으로 확인되면, 상기 제1 구역에 대한 실시간 영상이 상기 AR 기기의 화면에 표시되도록 제어하는 단계; 상기 제1 구역에 제1 버튼이 포함되어 있는 경우, 상기 제1 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계; 및 상기 제1 구역에 조작부가 포함되어 있지 않은 경우, 상기 조작부가 위치한 제2 구역의 방향을 지시하기 위한 가이드 표식이 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계를 포함하는, AR 기반 비행 훈련 시뮬레이터 제공 방법이 제공된다.

Description

AR 기반 비행 훈련 시뮬레이터 제공 방법, 장치 및 시스템 {METHOD, DEVICE AND SYSTEM FOR PROVIDING FLIGHT TRAINING SIMULATOR BASED ON AUGMENTED REALITY}

아래 실시예들은 AR(Augmented Reality)을 기반으로 비행 훈련 시뮬레이터를 제공하는 기술에 관한 것이다.

일반적으로 시뮬레이션 장치는 모의실험을 의미하며, 주로 항공기, 선박, 철도차량 또는 각종 건설장비의 조종 훈련용으로 이용되며, 동일한 조건과 상황이 주어지고 기구적인 장치를 이용하여 현실감을 느끼면서 실제 상황 에서의 조작 기술을 연습하기 위한 것이다.

시뮬레이션 장치는 1930년대에 미국에서 최초로 기계적 시뮬레이터 형태로 고안되어 실용화되기 시작하다가 1950년대에 접어들면서 컴퓨터와 접목되어 플라이트 구동부(Flight Simulator)로 진보되고, 이후 1980년대에 들어 컴퓨터 그래픽이 고성능화됨에 따라, 주변의 화상도 동일시간에 생성할 수 있게 되어 급속히 발전하였다.

최근에 개발된 비행 시뮬레이터 장치는 조종 훈련생이 교관이 설정한 환경에서 외부 영상을 보면서 조종실 (Cockpit)의 계기에 시현되는 항공기 상태를 파악하여 훈련을 실행하게 된다. 그리고 상기와 같은 비행 시뮬레이터는 통상 조종석 시스템, 영상시스템, 교관석 시스템, 주컴퓨터 시스템 등 여러 서브시스템으로 구성된다.

이와 같은 일반적인 비행 시뮬레이터 장치들에서는 주컴퓨터 시스템에서 생성해 내는 가상의 항적의 비행 영상을 모니터링하는 것이기 때문에 조종사의 임무 수행 능력을 향상 시키는데 있어 한계가 따른다.

이에 따라, 증강 현실을 기반으로 비행 훈련 시뮬레이터를 제공하여, 현실감을 높여 비행 훈련에 대한 몰입감을 극대화하고자 하는 요구가 증대되고 있어, 이와 관련된 기술에 대한 연구가 요구된다.

한국등록특허 제10-2188313호 한국등록특허 제10-2186862호 한국등록특허 제10-1501489호 한국공개특허 제10-2021-0064567호

일실시예에 따르면, 제1 사용자가 조종실(Cockpit) 훈련장의 조종석에 착석한 상태에서 AR 기기를 착용한 것으로 확인되면, AR 기기를 착용한 제1 사용자의 시선을 추적하고, 제1 사용자의 시선을 추적한 결과, 제1 사용자의 시선이 조종실 훈련장의 제1 구역을 응시하고 있는 것으로 확인되면, 제1 구역에 대한 실시간 영상이 AR 기기의 화면에 표시되도록 제어하고, 제1 구역에 제1 버튼이 포함되어 있는 경우, 제1 버튼의 상세 정보가 제1 구역의 영상과 중첩되어, AR 기기의 화면에 표시되도록 제어하고, 제1 구역에 조작부가 포함되어 있지 않은 경우, 조작부가 위치한 제2 구역의 방향을 지시하기 위한 가이드 표식이 제1 구역의 영상과 중첩되어, AR 기기의 화면에 표시되도록 제어하는, AR 기반 비행 훈련 시뮬레이터 제공 방법, 장치 및 시스템을 제공하기 위한 것을 그 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

상기 AR 기반 비행 훈련 시뮬레이터 제공 방법은, 상기 제1 사용자의 시선을 추적한 결과, 상기 제1 사용자의 시선이 좌측 후면 방향을 응시하고 있는 것으로 확인되면, 상기 조종석이 위치하고 있는 비행기의 좌측 날개 끝에 대한 3D 영상이 상기 AR 기기의 화면에 표시되도록 제어하는 단계; 및 상기 제1 사용자의 시선을 추적한 결과, 상기 제1 사용자의 시선이 우측 후면 방향을 응시하고 있는 것으로 확인되면, 상기 비행기의 우측 날개 끝에 대한 3D 영상이 상기 AR 기기의 화면에 표시되도록 제어하는 단계를 더 포함할 수 있다.

상기 AR 기반 비행 훈련 시뮬레이터 제공 방법은, 상기 제1 사용자의 손이 상기 조종실 훈련장에 설치된 조종대를 잡고 있는 것으로 확인되면, 상기 조종실 훈련장에 경고 메시지가 출력되도록 제어하는 단계; 및 상기 경고 메시지가 출력된 시점부터 미리 설정된 기준 시간 이내에 상기 제1 사용자의 손이 상기 조종대를 놓은 것으로 확인되면, 비상 상황 대처 훈련에 대한 테스트를 통과한 것으로 판단하는 단계를 더 포함할 수 있다.

상기 제1 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계는, 상기 제1 구역에 상기 제1 버튼, 제2 버튼 및 제3 버튼이 포함되어 있는 것을 확인하는 단계; 상기 제1 사용자의 훈련 레벨이 1레벨로 설정되어 있는 경우, 상기 제1 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계; 상기 제1 사용자의 훈련 레벨이 2레벨로 설정되어 있는 경우, 상기 제1 버튼의 상세 정보 및 상기 제2 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계; 및 상기 제1 사용자의 훈련 레벨이 3레벨로 설정되어 있는 경우, 상기 제1 버튼의 상세 정보, 상기 제2 버튼의 상세 정보 및 상기 제3 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계를 포함할 수 있다.

일실시예에 따르면, 제1 사용자가 조종실(Cockpit) 훈련장의 조종석에 착석한 상태에서 AR 기기를 착용한 것으로 확인되면, AR 기기를 착용한 제1 사용자의 시선을 추적하고, 제1 사용자의 시선을 추적한 결과, 제1 사용자의 시선이 조종실 훈련장의 제1 구역을 응시하고 있는 것으로 확인되면, 제1 구역에 대한 실시간 영상이 AR 기기의 화면에 표시되도록 제어하고, 제1 구역에 제1 버튼이 포함되어 있는 경우, 제1 버튼의 상세 정보가 제1 구역의 영상과 중첩되어, AR 기기의 화면에 표시되도록 제어하고, 제1 구역에 조작부가 포함되어 있지 않은 경우, 조작부가 위치한 제2 구역의 방향을 지시하기 위한 가이드 표식이 제1 구역의 영상과 중첩되어, AR 기기의 화면에 표시되도록 제어함으로써, 증강 현실을 기반으로 비행 훈련 시뮬레이터를 제공하여, 현실감을 높여 비행 훈련에 대한 몰입감을 극대화할 수 있는 효과가 있다.

한편, 실시예들에 따른 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 일실시예에 따른 비행 훈련 준비 과정을 설명하기 위한 순서도이다.
도 3은 일실시예에 따른 실제 현실을 AR 기기의 화면에 표시하는 과정을 설명하기 위한 순서도이다.
도 4는 일실시예에 따른 조종실 훈련장의 일부가 표시된 AR 기기의 화면을 도시한 도면이다.
도 5는 일실시예에 따른 증강 현실을 통해 버튼의 상세 정보를 AR 기기의 화면에 표시하는 과정을 설명하기 위한 순서도이다.
도 6은 일실시예에 따른 버튼 조작에 대한 설명이 증강 현실로 표시된 AR 기기의 화면을 도시한 도면이다.
도 7은 일실시예에 따른 증강 현실을 통해 가이드 표식을 AR 기기의 화면에 표시하는 과정을 설명하기 위한 순서도이다.
도 8은 일실시예에 따른 가이드 표식이 증강 현실로 표시된 AR 기기의 화면을 도시한 도면이다.
도 9는 일실시예에 따른 날개 끝에 대한 3D 영상을 AR 기기의 화면에 표시하는 과정을 설명하기 위한 순서도이다.
도 10은 조종실이 위치하고 있는 가상의 비행기를 도시한 도면이다.
도 11은 날개 끝에 대한 3D 영상을 도시한 도면이다.
도 12는 일실시예에 따른 오작동 방지 훈련을 진행하는 과정을 설명하기 위한 순서도이다.
도 13은 일실시예에 따른 훈련 레벨에 따라 버튼의 상세 정보를 표시하는 과정을 설명하기 위한 순서도이다.
도 14는 일실시예에 따른 LED 전광판에서 제1 영역의 디스플레이를 담당하고 있는 제1 LED 모듈에 문제가 있는지 여부를 분석하는 과정을 설명하기 위한 순서도이다.
도 15는 일실시예에 따른 제1 영역 및 제1 LED 모듈을 설명하기 위한 도면이다.
도 16은 일실시예에 따른 LED 모듈에 고장이 있는지 여부를 분석하는 과정을 설명하기 위한 순서도이다.
도 17은 일실시예에 따른 장치의 구성의 예시도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 일실시예에 따른 시스템은 AR 기기(100) 및 장치(200)를 포함할 수 있다.

먼저, AR 기기(100)는 스마트 안경, HMD(Head mounted Display) 등으로 구현될 수 있으며, 증강 현실을 통해 화면에 정보를 표시할 수 있다.

예를 들어, AR 기기(100)는 홀로렌즈(HoloLens)로, 머리에 쓰는 디스플레이 장치(Head Mounted Display, HMD)로 구현될 수 있으며, 반투명한 디스플레이를 통해 사용자의 주변 환경을 볼 수 있도록, 화면을 구비할 수 있다.

AR 기기(100)는 반투명 디스플레이로 구현된 화면 상에 증강 현실 영상을 표시할 수 있으며, 이때, 사용자 환경과 상호작용을 통해 화면에 영상이 재생될 수 있다.

AR 기기(100)는 고글(Goggle)형 프레임, 디스플레이 화면, 광각 렌즈, 모션 센서(적외선, 자이로, 지자기, 가속도 등)을 포함하여 구성될 수 있다.

또한, AR 기기(100)는 AR 기기(100)를 착용한 사용자의 머리 움직임을 통해 사용자의 시선을 추적할 수 있으며, 헤드 트렉킹을 통해 사용자의 시선 이동에 따라 영상이 변경되어 표시되도록 처리할 수 있다. 즉, AR 기기(100)는 사용자 머리의 회전 각도와 속도 등을 수치화하여, 사용자 머리의 움직임과 동일한 방향으로 영상이 변경되도록 처리할 수 있다. 예를 들어, 사용자의 머리가 오른쪽으로 회전하면 증강 현실의 영상에서도 오른쪽으로 움직이고, 사용자의 머리가 왼쪽으로 회전하면 증강 현실의 영상에서도 왼쪽으로 움직이도록 처리할 수 있다.

AR 기기(100)는 AR 기기(100)를 착용한 사용자의 손짓을 인식하여, 증강 현실 영상을 조작할 수 있도록, 처리할 수 있다.

AR 기기(100)는 증강 현실 뿐만 아니라 가상 현실을 통해 정보를 표시할 수 있다. 예를 들어, AR 기기(100)는 증강 현실이 필요할 때 반투명한 화면에 증강 현실의 정보를 표시하고, 가상 화면이 필요할 때 불투명한 화면에 가상 현실의 정보를 표시할 수 있다. 즉, AR 기기(100)를 통해, 증강 현실과 가상 현실을 혼합하여 확장된 현실을 창조하는 확장 현실(XR : eXtended Reality)의 제공이 가능하다.

AR 기기(100)는 조종실(Cockpit) 훈련장의 조종석과 연결된 장소에 설치될 수 있으며, 사용자가 AR 기기(100)를 착용하면, AR 기기(100)의 화면에 조종실 훈련장과 비행 훈련에 필요한 정보가 증강 현실을 통해 표시될 수 있다.

장치(200)는 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 장치(200)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다.

장치(200)는 AR 기기(100)와 유무선으로 통신하도록 구성될 수 있으며, AR 기기(100)의 전체적인 동작을 제어할 수 있다.

도 2는 일실시예에 따른 비행 훈련 준비 과정을 설명하기 위한 순서도이다.

도 2를 참조하면, 먼저, S201 단계에서, 장치(200)는 조종실(Cockpit) 훈련장의 상태를 대기 상태로 설정하여, 조종실 훈련장에 사용자가 입장하기 전까지, 대기 상태를 유지할 수 있다.

S202 단계에서, 장치(200)는 제1 사용자가 조종실 훈련장에 입장하였는지 여부를 확인할 수 있다. 이때, 장치(200)는 조종실 훈련장 입구에 설치된 출입문이 개방된 경우, 제1 사용자가 조종실 훈련장에 입장한 것으로 확인할 수 있으며, 조종실 훈련장 내부를 촬영하는 영상 정보를 분석하여, 제1 사용자가 조종실 훈련장에 입장한 것을 확인할 수도 있다.

S202 단계에서 제1 사용자가 조종실 훈련장에 입장하지 않은 것으로 확인되면, S201 단계로 되돌아가, 장치(200)는 조종실 훈련장의 대기 상태를 유지할 수 있다.

S202 단계에서 제1 사용자가 조종실 훈련장에 입장한 것으로 확인되면, S203 단계에서, 장치(200)는 조종석 착석 안내 메시지를 출력할 수 있다. 이때, 장치(200)는 조종실 훈련장에 설치된 스피커를 통해, 조종석 착석을 안내하는 메시지가 출력되도록, 스피커의 동작을 제어할 수 있다.

S204 단계에서, 장치(200)는 제1 사용자가 조종석에 착석하였는지 여부를 확인할 수 있다. 이때, 장치(200)는 조종석에 부착된 센서로부터 감지 신호를 획득하면, 제1 사용자가 조종석에 착석한 것으로 확인할 수 있다.

S204 단계에서 미리 설정된 시간이 지난 이후에 제1 사용자가 조종석에 착석한 것으로 확인되지 않으면, S203 단계로 되돌아가, 장치(200)는 조종석 착석 안내 메시지를 다시 출력할 수 있다.

S204 단계에서 제1 사용자가 조종석에 착석한 것으로 확인되면, S205 단계에서, 장치(200)는 AR 기기 착용 안내 메시지를 출력할 수 있다. 이때, 장치(200)는 조종실 훈련장에 설치된 스피커를 통해, AR 기기(100)의 착용을 안내하는 메시지가 출력되도록, 스피커의 동작을 제어할 수 있다.

S206 단계에서, 장치(200)는 제1 사용자가 AR 기기(100)를 착용하였는지 여부를 확인할 수 있다. 이때, 장치(200)는 AR 기기(100)에 부착된 센서로부터 감지 신호를 획득하면, 제1 사용자가 AR 기기(100)를 착용한 것으로 확인할 수 있다.

S206 단계에서 미리 설정된 시간이 지난 이후에 제1 사용자가 AR 기기(100)를 착용하지 않은 것으로 확인되면, S205 단계로 되돌아가, 장치(200)는 AR 기기 착용 안내 메시지를 다시 출력할 수 있다.

S206 단계에서 제1 사용자가 AR 기기(100)를 착용한 것으로 확인되면, S207 단계에서, 장치(200)는 AR 기기(100)를 착용한 제1 사용자의 시선을 추적할 수 있다. 이때, 장치(200)는 AR 기기(100)를 착용한 사용자의 머리 움직임을 기초로, 제1 사용자의 시선을 유추하여 제1 사용자의 시선을 추적할 수 있으며, AR 기기(100)를 착용한 제1 사용자의 눈을 카메라로 촬영하여, 제1 사용자의 눈 움직임을 통해 제1 사용자의 시선을 추적할 수도 있다.

일실시예에 따르면, AR 기기(100)는 자체적으로 제1 사용자의 시선을 추적할 수 있으며, 제1 사용자의 시선에 대한 추적 결과를 실시간으로 장치(200)로 전송할 수 있고, 장치(200)는 AR 기기(100)의 동작을 제어할 수 있다.

도 3은 일실시예에 따른 실제 현실을 AR 기기의 화면에 표시하는 과정을 설명하기 위한 순서도이다.

도 3을 참조하면, 먼저, S301 단계에서, 장치(200)는 제1 사용자가 AR 기기(100)를 착용한 것으로 확인되면, AR 기기(100)를 착용한 제1 사용자의 시선을 추적할 수 있다.

일실시예에 따르면, 장치(200)는 제1 사용자가 AR 기기(100)를 착용한 것으로 확인되면, AR 기기(100)의 화면에 스플레시 화면이 표시되도록 제어할 수 있다. 여기서, 스플레시 화면은 로딩을 위한 시간을 확보하기 위해 제공될 수 있다.

예를 들어, 제1 사용자가 AR 기기(100)를 착용한 상태에서 제1 사용자의 손짓으로 애플리케이션의 실행이 선택되면, AR 기기(100)의 화면에는 서비스를 제공하는 기업이나 브랜드의 이미지가 점점 보여지는 효과를 통해 표시될 수 있다. 이후, 이미지가 표시된 상태를 일정 기간 유지하다, 점점 사라지는 효과를 통해 이미지가 화면에서 사라질 수 있다.

장치(200)는 스플레시 화면의 표시 이후, AR 기기(100)의 화면에 홈 화면이 표시되도록 제어할 수 있다. 여기서, 홈 화면은 “대기자”, “시동 절차 체험”, “날개 끝 보기” 등에 대한 초기 메뉴를 포함할 수 있다.

예를 들어, , 제1 사용자가 AR 기기(100)를 착용한 상태에서 제1 사용자의 손짓으로 “시동 절차 체험”이 선택되면, 장치(200)는 AR을 기반으로 비행 훈련 시뮬레이터를 제공할 수 있다.

S302 단계에서, 장치(200)는 제1 사용자의 시선을 추적한 결과, 제1 사용자의 시선이 조종실 훈련장의 제1 구역을 응시하고 있는 것으로 확인할 수 있다. 이때, 장치(200)는 AR 기기(100)의 방향과 위치, AR 기기(100)를 착용하고 있는 사용자 머리의 방향과 위치 등을 분석하여, 제1 사용자의 시선이 제1 구역을 응시하고 있는 것으로 확인할 수 있다.

S303 단계에서, 장치(200)는 제1 구역에 대한 실시간 영상이 AR 기기(100)의 화면에 표시되도록 제어할 수 있다. 이때, 장치(200)는 AR 기기(100)의 반투명 디스플레이 화면에 제1 구역이 그대로 투과되어 표시되도록 제어할 수 있으며, AR 기기(100)에 장착된 카메라로 제1 구역을 촬영한 후, 제1 구역을 촬영한 영상이 AR 기기(100)의 화면에 표시되도록 제어할 수도 있다

도 4는 일실시예에 따른 조종실 훈련장의 일부가 표시된 AR 기기의 화면을 도시한 도면이다.

일실시예에 따르면, 제1 사용자는 조종실 훈련장의 조종석에 착석한 후 AR 기기(100)를 착용할 수 있으며, 제1 사용자의 시선이 전방을 향하고 있는 것으로 확인되면, 도 3에 도시된 바와 같이, AR 기기(100)의 화면에는 조종실 훈련장에 구비된 계기반이 제1 사용자의 시선에 따라 영상으로 표시될 수 있다.

즉, 제1 사용자의 시선이 제1 구역을 응시하고 있는 것으로 확인되면, AR 기기(100)의 화면에는 제1 구역에 대한 영상이 표시될 수 있으며, 제1 사용자의 시선이 제1 구역에서 제2 구역으로 이동하면, AR 기기(100)의 화면에 표시되는 영상도 변경되어, AR 기기(100)의 화면에는 제2 구역에 대한 영상이 표시될 수 있다.

도 5는 일실시예에 따른 증강 현실을 통해 버튼의 상세 정보를 AR 기기의 화면에 표시하는 과정을 설명하기 위한 순서도이다.

도 5를 참조하면, 먼저, S501 단계에서, 장치(200)는 제1 사용자의 시선을 추적한 결과, 제1 사용자의 시선이 조종실 훈련장의 제1 구역을 응시하고 있는 것으로 확인할 수 있다.

S502 단계에서, 장치(200)는 제1 구역에 버튼이 포함되어 있는지 여부를 확인할 수 있다. 즉, 장치(200)는 제1 사용자의 시야에 버튼이 있는지 여부를 확인할 수 있다.

S502 단계에서 제1 구역에 버튼이 포함되어 있는 것으로 확인되면, S503 단계에서, 장치(200)는 제1 구역의 영상에 제1 버튼의 상세 정보가 중첩되어, AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

즉, 장치(200)는 제1 사용자의 시야에 제1 버튼이 있는 경우, 제1 버튼의 상세 정보와 실제 현실의 영상을 결합하여, 증강 현실을 통해 제1 버튼의 상세 정보가 AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

S502 단계에서 제1 구역에 버튼이 포함되어 있지 않은 것으로 확인되면, S504 단계에서, 장치(200)는 제1 구역의 영상이 AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

즉, 장치(200)는 제1 사용자의 시야에 버튼이 하나도 없는 경우, 실제 현실의 영상만 AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

도 6은 일실시예에 따른 버튼 조작에 대한 설명이 증강 현실로 표시된 AR 기기의 화면을 도시한 도면이다.

일실시예에 따르면, AR 기기(100)를 착용한 제1 사용자의 시선이 제1 구역을 향하고 있는데, 제1 구역에 제1 버튼이 포함되어 있는 것으로 확인되면, 도 6에 도시된 바와 같이, AR 기기(100)의 화면에는 제1 버튼의 상세 정보가 증강 현실을 통해 표시될 수 있다.

또한, 제1 구역에 계기판이 포함되어 있는 것으로 확인되면, AR 기기(100)의 화면에는 수치 변화에 대한 정보가 증강 현실을 통해 표시될 수 있으며, 제1 구역에 확인이 필요한 부분이 포함되어 있는 것으로 확인되면, AR 기기(100)의 화면에는 정상 작동 또는 정상 출력이 되었는지 확인하는 것에 대한 알림 메시지가 증강 현실을 통해 표시될 수 있다.

도 7은 일실시예에 따른 증강 현실을 통해 가이드 표식을 AR 기기의 화면에 표시하는 과정을 설명하기 위한 순서도이다.

도 7을 참조하면, 먼저, S701 단계에서, 장치(200)는 제1 사용자의 시선을 추적한 결과, 제1 사용자의 시선이 조종실 훈련장의 제1 구역을 응시하고 있는 것으로 확인할 수 있다.

S702 단계에서, 장치(200)는 제1 구역에 조작부가 포함되어 있는지 여부를 확인할 수 있다. 여기서, 조작부는 조종실 훈련장에 설치된 조종대가 있는 위치를 의미할 수 있다.

S702 단계에서 제1 구역에 조작부가 포함되어 있는 것으로 확인되면, S703 단계에서, 장치(200)는 제1 구역의 영상에 조종대의 상세 정보가 중첩되어, AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

즉, 장치(200)는 제1 사용자의 시야에 조종대가 있는 경우, 조종대의 상세 정보와 실제 현실의 영상을 결합하여, 증강 현실을 통해 조종대의 상세 정보가 AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

S702 단계에서 제1 구역에 조작부가 포함되어 있지 않은 것으로 확인되면, S704 단계에서, 장치(200)는 제1 구역의 영상에 가이드 표식이 중첩되어, AR 기기(100)의 화면에 표시되도록 제어할 수 있다. 여기서, 가이드 표식은 조작부가 위치한 제2 구역의 방향을 지시하는 표식이다.

도 8은 일실시예에 따른 가이드 표식이 증강 현실로 표시된 AR 기기의 화면을 도시한 도면이다.

일실시예에 따르면, AR 기기(100)를 착용한 제1 사용자의 시선이 정면인 제1 구역을 향하고 있는데, 제1 구역의 좌측에 조작부가 위치하고 있는 경우, 도 8에 도시된 바와 같이, AR 기기(100)의 화면에는 좌측 방향을 지시하는 가이드 표식이 증강 현실을 통해 표시될 수 있다.

도 9는 일실시예에 따른 날개 끝에 대한 3D 영상을 AR 기기의 화면에 표시하는 과정을 설명하기 위한 순서도이다.

도 9를 참조하면, 먼저, S901 단계에서, 장치(200)는 AR 기기(100)를 착용한 제1 사용자의 시선을 추적할 수 있다.

S902 단계에서, 장치(200)는 제1 사용자의 시선을 추적한 결과, 제1 사용자의 시선이 정면 방향을 응시하고 있는지 여부를 확인할 수 있다.

S902 단계에서 제1 사용자의 시선이 정면 방향을 응시하고 있는 것으로 확인되면, S903 단계에서, 장치(200)는 조종실 내부의 영상이 AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

S902 단계에서 제1 사용자의 시선이 정면 방향을 응시하고 있지 않은 것으로 확인되면, S904 단계에서, 장치(200)는 제1 사용자의 시선이 좌측 후면 방향을 응시하고 있는지 여부를 확인할 수 있다.

S904 단계에서 제1 사용자의 시선이 좌측 후면 방향을 응시하고 있는 것으로 확인되면, S905 단계에서, 장치(200)는 조종석이 위치하고 있는 비행기의 좌측 날개 끝에 대한 3D 영상이 AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

S904 단계에서 제1 사용자의 시선이 좌측 후면 방향을 응시하고 있지 않은 것으로 확인되면, 제1 사용자의 시선이 우측 후면 방향을 응시하고 있는 것으로 확인될 수 있으며, 제1 사용자의 시선이 우측 후면 방향을 응시하고 있는 것으로 확인되면, S906 단계에서, 장치(200)는 조종석이 위치하고 있는 비행기의 우측 날개 끝에 대한 3D 영상이 AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

도 10은 조종실이 위치하고 있는 가상의 비행기를 도시한 도면이고, 도 11은 날개 끝에 대한 3D 영상을 도시한 도면이다.

도 10을 참조하면, 제1 사용자는 조종실(1010)에 위치한 상태에서, 제1 사용자의 시야에 조종실이 있는 경우, AR 기기(100)의 화면에는 조종실 내부의 영상이 표시될 수 있다.

제1 사용자의 시야가 조종실을 벗어나, 제1 사용자의 시선이 좌측 날개(1020)를 향하는 경우, 도 11에 도시된 바와 같이, AR 기기(100)의 화면에는 좌측 날개 끝에 대한 3D 영상이 표시될 수 있다.

제1 사용자의 시야가 조종실을 벗어나, 제1 사용자의 시선이 우측 날개(1030)를 향하는 경우, AR 기기(100)의 화면에는 우측 날개 끝에 대한 3D 영상이 표시될 수 있다.

즉, 실제로는 조종실(1010)만 구현되어 있고, 좌측 날개(1020) 및 우측 날개(1030)는 가상의 영상으로 제공될 수 있다. 이때, 장치(200)는 조종실(1010)에 가상으로 비행기의 몸체를 달아 실제 있을 것으로 추정되는 날개의 위치에 날개 끝을 모델링한 영상을 표시할 수 있다. 이를 통해, AR 기기(100)를 착용한 제1 사용자가 조종석에 앉아 좌우를 돌아보게 되면, 날개 끝에 대한 3D 영상이 AR 기기(100)의 화면에 표시될 수 있다.

상술한 바와 같이, 날개 끝에 대한 3D 영상을 AR 기기(100)의 화면에 표시함으로써, 사용자가 날개 끝을 보고 훈련하도록 서비스를 제공할 수 있다. 이때, 날개 끝을 보고 훈련하는 이유, 날개 끝이 필요한 이유는 다음과 같다.

실제 비행시에는 지평선과 날개 끝을 보며 기동하는데, 예를 들어, Loop 기동, 뒤에서 따라오는 적기 회피 훈련 등을 수행하는데 있어, 좌우 날개 끝을 보고 훈련하는 과정이 필요하다.

이를 위해, 좌우 날개 끝에 대한 시뮬레이터가 필요하고, 좌우 날개 끝을 시뮬레이터에서 구현하기 위해서는 최소한 수평 180도~210도 이상의 수평화면을 구현해야 하는데, 이때, 구축 비용이 최소 몇 억에서 많으면 10억 이상으로 소요되는 문제가 있다.

이에 따라, 일실시예에 따르면, 날개 끝에 대한 3D 영상을 AR 기기(100)의 화면에 표시함으로써, 시뮬레이터를 별도로 구축하지 않아도, AR 기기(100)를 통해 날개 끝을 보고 훈련하는 서비스를 제공할 수 있으므로, 비용을 절감할 수 있는 효과가 있다.

일실시예에 따르면, AR 기기(100)를 착용한 제1 사용자의 시선이 좌 또는 우로 180도 가량 이동한 경우, AR 기기(100)의 화면에는 날개 끝과 시뮬레이터의 지평선이 동시에 표시되어, 안개가 낀 특수한 상황을 제외하고 제1 사용자에게 날개 끝과 지평선이 함께 보여야 한다. 이때, 날개 끝만 시현되는 상황이면, 지평선을 시뮬레이터 화면(돔스크린, LCD/LED 화면 등)에 표시하기 위해 추가적인 디스플레이에 대한 확장이 필요하며, Horizontal Field of View 확장을 위한 추가 예산으로 5~10억 정도 소요될 수 있다.

도 12는 일실시예에 따른 오작동 방지 훈련을 진행하는 과정을 설명하기 위한 순서도이다.

도 12를 참조하면, 먼저, S1201 단계에서, 장치(200)는 제1 사용자의 손 위치를 추적할 수 있다.

일실시예에 따르면, AR 기기(100)는 자체적으로 제1 사용자의 손짓을 인식하여 제1 사용자의 손 위치를 추적할 수 있으며, 제1 사용자의 손 위치에 대한 추적 결과를 실시간으로 장치(200)로 전송할 수 있고, 장치(200)는 AR 기기(100)의 동작을 제어할 수 있다.

S1202 단계에서, 장치(200)는 제1 사용자의 손 위치를 추적한 결과, 제1 사용자의 손이 조종실 훈련장에 설치된 조종대를 잡고 있는지 여부를 확인할 수 있다. 이때, 장치(200)는 제1 사용자의 손이 조종대가 있는 영역에 위치하면, 제1 사용자의 손이 조종대를 잡고 있는 것으로 확인할 수 있으며, 조종대에 부착된 센서로부터 감지 신호를 획득하면, 제1 사용자의 손이 조종대를 잡은 것으로 확인할 수도 있다.

S1202 단계에서 제1 사용자의 손이 조종대를 잡고 있지 않은 것으로 확인되면, S1201 단계로 되돌아가, 장치(200)는 제1 사용자의 손 위치를 계속 추적할 수 있다.

S1202 단계에서 제1 사용자의 손이 조종대를 잡고 있는 것으로 확인되면, S1203 단계에서, 장치(200)는 제1 사용자의 손이 조종대를 잡은 시점부터, 조종대를 잡고 있는 시간을 제1 시간으로 측정할 수 있다.

S1204 단계에서, 장치(200)는 제1 시간이 제1 기준 시간 보다 긴지 여부를 확인할 수 있다. 여기서, 제1 기준 시간은 비행 훈련 과정에 따라 상이하게 설정될 수 있다.

S1204 단계에서 제1 시간이 제1 기준 시간 보다 짧은 것으로 확인되고, 제1 사용자의 손이 조종대를 놓은 것으로 확인되면, S1201 단계로 되돌아가, 장치(200)는 제1 사용자의 손 위치를 다시 추적할 수 있다.

S1204 단계에서 제1 시간이 제1 기준 시간 보다 긴 것으로 확인되면, S1205 단계에서, 장치(200)는 조종실 훈련장에 경고 메시지가 출력되도록 제어할 수 있다. 이때, 장치(200)는 조종실 훈련장에 설치된 스피커를 통해, 오작동 방지 훈련을 위한 경고 메시지가 출력되도록, 스피커의 동작을 제어할 수 있다. 여기서, 경고 메시지는 비상 상황으로 인해 조종대를 즉시 놓으라는 것을 알려주는 경고 메시지이다.

S1206 단계에서, 장치(200)는 제1 사용자의 손이 조종대를 놓았는지 여부를 확인할 수 있다. 이때, 장치(200)는 제1 사용자의 손이 조종대가 있는 영역에서 다른 영역으로 이동하면, 제1 사용자의 손이 조종대를 놓은 것으로 확인할 수 있으며, 조종대에 부착된 센서로부터 감지 신호가 더 이상 획득되지 않으면, 제1 사용자의 손이 조종대를 놓은 것으로 확인할 수도 있다.

S1206 단계에서 미리 설정된 시간이 지난 이후에 제1 사용자의 손이 조종대를 놓지 않은 것으로 확인되면, S1205 단계로 되돌아가, 장치(200)는 조종실 훈련장에 경고 메시지가 다시 출력되도록 제어할 수 있다.

S1206 단계에서 제1 사용자의 손이 조종대를 놓은 것으로 확인되면, S1207 단계에서, 장치(200)는 경고 메시지가 출력된 시점부터 조종대를 놓은 시점까지의 시간을 제2 시간으로 측정할 수 있다.

S1208 단계에서, 장치(200)는 제2 시간이 제2 기준 시간 보다 짧은지 여부를 확인할 수 있다. 여기서, 제2 기준 시간은 사용자의 훈련 레벨에 따라 상이하게 설정될 수 있다.

S1208 단계에서 제2 시간이 제2 기준 시간 보다 짧은 것으로 확인되면, S1209 단계에서, 장치(200)는 비상 상황 대처 훈련에 대한 테스트를 통과한 것으로 판단할 수 있다.

즉, 장치(200)는 경고 메시지가 출력되자마자, 조종대를 놓은 것으로 확인되면, 비상 상황 대처 훈련에 대한 테스트를 통과한 것으로 판단할 수 있다.

S1208 단계에서 제2 시간이 제2 기준 시간 보다 긴 것으로 확인되면, S1210 단계에서, 장치(200)는 비상 상황 대처 훈련에 대한 테스트를 통과하지 못한 것으로 판단할 수 있다.

즉, 장치(200)는 경고 메시지가 출력되고 일정 시간이 지난 이후, 조종대를 놓은 것으로 확인되면, 비상 상황 대처 훈련에 대한 테스트를 통과하지 못한 것으로 판단할 수 있다.

도 13은 일실시예에 따른 훈련 레벨에 따라 버튼의 상세 정보를 표시하는 과정을 설명하기 위한 순서도이다.

도 13을 참조하면, 먼저, S1301 단계에서, 장치(200)는 제1 사용자의 시선이 조종실 훈련장의 제1 구역을 응시하고 있는 것으로 확인할 수 있다.

S1302 단계에서, 장치(200)는 제1 구역에 제1 버튼, 제2 버튼 및 제3 버튼이 포함되어 있는 것을 확인할 수 있다. 즉, 장치(200)는 제1 사용자의 시야에 제1 버튼, 제2 버튼 및 제3 버튼이 있는 것을 확인할 수 있다.

S1303 단계에서, 장치(200)는 제1 사용자의 훈련 레벨이 1레벨로 설정되어 있는지 여부를 확인할 수 있다. 여기서, 제1 사용자의 훈련 레벨은 제1 사용자가 AR 기기(100)를 착용한 상태에서, 비행 훈련을 시작하기 전에 설정될 수 있으며, 훈련 레벨 중 1레벨은 가장 낮은 레벨로 초급 정보가 제공될 수 있고, 2레벨은 1레벨 보다 높은 레벨로 중급 정보가 제공될 수 있고, 3레벨은 2레벨 보다 높은 레벨로 고급 정보가 제공될 수 있다.

S1303 단계에서 제1 사용자의 훈련 레벨이 1레벨로 설정되어 있는 것으로 확인되면, S1304 단계에서, 장치(200)는 제1 구역의 영상에 제1 버튼의 상세 정보가 중첩되어, AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

즉, 제1 사용자의 훈련 레벨이 1레벨인 경우, 제1 사용자의 시야에 제1 버튼, 제2 버튼 및 제3 버튼이 있더라도, 제1 버튼의 상세 정보만 증강 현실을 통해 AR 기기(100)의 화면에 표시될 수 있다.

S1303 단계에서 제1 사용자의 훈련 레벨이 1레벨로 설정되어 있지 않은 것으로 확인되면, S1305 단계에서, 장치(200)는 제1 사용자의 훈련 레벨이 2레벨로 설정되어 있는지 여부를 확인할 수 있다.

S1305 단계에서 제1 사용자의 훈련 레벨이 2레벨로 설정되어 있는 것으로 확인되면, S1306 단계에서, 장치(200)는 제1 구역의 영상에 제1 버튼의 상세 정보 및 제2 버튼의 상세 정보가 중첩되어, AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

즉, 제1 사용자의 훈련 레벨이 2레벨인 경우, 제1 사용자의 시야에 제1 버튼, 제2 버튼 및 제3 버튼이 있으면, 제1 버튼의 상세 정보 및 제2 버튼의 상세 정보가 증강 현실을 통해 AR 기기(100)의 화면에 표시될 수 있다.

S1305 단계에서 제1 사용자의 훈련 레벨이 2레벨로 설정되어 있지 않은 것으로 확인되면, 제1 사용자의 훈련 레벨이 3레벨로 확인될 수 있으며, 제1 사용자의 훈련 레벨이 3레벨로 설정되어 있는 것으로 확인되면, S1307 단계에서, 장치(200)는 제1 구역의 영상에 제1 버튼의 상세 정보, 제2 버튼의 상세 정보 및 제3 버튼의 상세 정보가 중첩되어, AR 기기(100)의 화면에 표시되도록 제어할 수 있다.

즉, 제1 사용자의 훈련 레벨이 3레벨인 경우, 제1 사용자의 시야에 제1 버튼, 제2 버튼 및 제3 버튼이 있으면, 제1 사용자의 시야에 있는 모든 버튼의 상세 정보가 증강 현실을 통해 AR 기기(100)의 화면에 표시될 수 있다.

도 14는 일실시예에 따른 LED 전광판에서 제1 영역의 디스플레이를 담당하고 있는 제1 LED 모듈에 문제가 있는지 여부를 분석하는 과정을 설명하기 위한 순서도이고, 도 15는 일실시예에 따른 제1 영역 및 제1 LED 모듈을 설명하기 위한 도면이다.

도 14를 참조하면, 먼저, S1401 단계에서, 장치(200)는 제1 시점에 LED 전광판에 대한 촬영으로 생성된 제1-1 이미지를 획득할 수 있다. 여기서, LED 전광판은 LED 전광판, LCD 모니터 혹은 구형스크린(Spherical Screen)에 투사된 가상환경 이미지로 대체될 수 있다.

구체적으로, 조종실 훈련장에는 LED 전광판이 설치되어 있으며, LED 전광판에 영상 정보가 디스플레이 되고 있는 상태에서, 촬영 기기는 LED 전광판의 상태를 모니터링하기 위해, 미리 설정된 기간마다 LED 전광판에 대한 촬영을 수행할 수 있다. 예를 들어, 촬영 기기는 제1 시점에 LED 전광판에 대한 촬영을 수행하여, 제1-1 이미지를 생성할 수 있다. 여기서, 제1-1 이미지는 제1 시점에 LED 전광판의 촬영으로 생성된 이미지이다.

S1402 단계에서, 장치(200)는 제1 시점에 LED 전광판에 표시되는 영상의 이미지를 제2-1 이미지로 획득할 수 있다. 즉, 장치(200)는 LED 전광판에 표시되는 영상에서 제1 시점에 표시되는 것으로 설정되어 있는 영상의 이미지를 제2-1 이미지로 획득할 수 있다.

구체적으로, 장치(200)는 데이터베이스에 저장된 영상 정보를 기초로, LED 전광판에 영상 정보가 디스플레이 되도록 제어할 수 있고, 제1 시점에 영상의 어느 부분이 LED 전광판에 표시되었는지 확인하여, 제1 시점에 LED 전광판에 표시되는 영상의 이미지를 확인할 수 있으며, 제1 시점에 표시된 것으로 확인된 영상의 이미지를 제2-1 이미지로 획득할 수 있다.

S1403 단계에서, 장치(200)는 제1-1 이미지 및 제2-1 이미지를 비교할 수 있다.

구체적으로, 제1-1 이미지는 제1 시점에 LED 전광판에 실제로 표시된 영상의 이미지이고, 제2-1 이미지는 제1 시점에 LED 전광판에 표시되기로 설정된 영상의 이미지인데, 장치(200)는 제1-1 이미지 및 제2-1 이미지를 영역별로 비교하여, 서로 동일한지 여부를 확인할 수 있다.

S1404 단계에서, 장치(200)는 제1-1 이미지 및 제2-1 이미지를 비교한 결과, 제1 시점의 영상에서 차이가 있는 영역이 있는지 여부를 확인할 수 있다.

S1404 단계에서 차이가 있는 영역이 있는 것으로 확인되면, S1405 단계에서, 장치(200)는 제1 시점의 영상에서 차이가 있는 영역으로 제1 영역을 확인할 수 있다. 즉, 도 15의 (a)에 도시된 바와 같이, 장치(200)는 제1-1 이미지 및 제2-1 이미지를 비교한 결과, 제1 영역(1510)을 차이가 있는 영역으로 검출할 수 있다.

S1406 단계에서, 장치(200)는 LED 전광판에서 제1 영역(1510)의 디스플레이를 담당하고 있는 제1 LED 모듈을 확인할 수 있다. 즉, 도 15의 (b)에 도시된 바와 같이, 장치(200)는 LED 전광판(1520)에서 제1 영역(1510)의 디스플레이를 담당하고 있는 LED 모듈을 제1 LED 모듈(1530)로 확인할 수 있다.

S1407 단계에서, 장치(200)는 제1 LED 모듈(1530)에 문제가 있는 것으로 판단할 수 있다. 이때, 장치(200)는 제1 LED 모듈(1530)에 문제가 발생한 것만 파악할 수 있으며, 추후, 제1 LED 모듈(1530)에 발생한 문제가 일시적인 오류로 발생한 문제인지 또는 고장으로 발생한 문제인지 확인될 수 있다. 이와 관련된 자세한 설명은 도 10을 참조하여 후술하기로 한다.

한편, S1404 단계에서 차이가 있는 영역이 없는 것으로 확인되면, S1408 단계에서, 장치(200)는 LED 전광판에 문제가 없는 것으로 판단할 수 있다. 즉, 장치(200)는 제1-1 이미지 및 제2-1 이미지를 비교한 결과, 동일한 것으로 확인되면, LED 전광판에 문제가 없는 것으로 판단할 수 있다.

도 16은 일실시예에 따른 LED 모듈에 고장이 있는지 여부를 분석하는 과정을 설명하기 위한 순서도이다.

도 16을 참조하면, 먼저, S1601 단계에서, 장치(200)는 제1-1 이미지 및 제2-1 이미지를 비교한 결과, 제1 시점의 영상에서 제1 영역(1510)이 차이가 있는 영역으로 확인되어, 제1 영역(1510)의 디스플레이를 담당하고 있는 제1 LED 모듈(1530)에 문제가 있는 것으로 판단할 수 있다.

S1602 단계에서, 장치(200)는 제2 시점에 LED 전광판에 대한 촬영으로 생성된 제1-2 이미지를 획득할 수 있다. 여기서, 제2 시점은 제1 시점으로부터 미리 설정된 기간이 지난 후를 의미할 수 있다.

예를 들어, LED 전광판에 영상 정보가 디스플레이 된 시작부터 5초 후의 시점이 제1 시점이고, 제1 시점으로부터 10초 후의 시점이 제2 시점인 경우, 촬영 기기는 LED 전광판에 영상 정보가 디스플레이 된 시작부터 5초 후에 LED 전광판에 대한 촬영을 수행하여 제1-1 이미지를 생성하고, 제1 시점으로부터 10초 후에 LED 전광판에 대한 촬영을 수행하여 제1-2 이미지를 생성할 수 있다. 이때, 장치(200)는 제1 시점에 LED 전광판에 대한 촬영으로 생성된 제1-1 이미지를 촬영 기기로부터 수신하고, 제2 시점에 LED 전광판에 대한 촬영으로 생성된 제1-2 이미지를 촬영 기기로부터 수신할 수 있다.

S1603 단계에서, 장치(200)는 제2 시점에 LED 전광판에 표시되는 영상의 이미지를 제2-2 이미지로 획득할 수 있다. 즉, 장치(200)는 LED 전광판에 표시되는 영상에서 제2 시점에 표시되는 것으로 설정되어 있는 영상의 이미지를 제2-2 이미지로 획득할 수 있다.

S1604 단계에서, 장치(200)는 제1-2 이미지 및 제2-2 이미지를 비교할 수 있다.

구체적으로, 제1-2 이미지는 제2 시점에 LED 전광판에 실제로 표시된 영상의 이미지이고, 제2-2 이미지는 제2 시점에 LED 전광판에 표시되기로 설정된 영상의 이미지인데, 장치(200)는 제1-2 이미지 및 제2-2 이미지를 영역별로 비교하여, 서로 동일한지 여부를 확인할 수 있다.

S1605 단계에서, 장치(200)는 제1-2 이미지 및 제2-2 이미지를 비교한 결과, 제2 시점의 영상에서 차이가 있는 영역이 있는지 여부를 확인할 수 있으며, 제2 시점의 영상에서 차이가 있는 영역으로 제1 영역(1510)이 있는지 여부를 확인할 수 있다.

S1605 단계에서 제2 시점의 영상에서 차이가 있는 영역으로 제1 영역(1510)이 확인되면, S1606 단계에서, 장치(200)는 제1 LED 모듈(1530)에 고장이 발생한 것으로 판단할 수 있다.

즉, 장치(200)는 제1 시점의 영상에서 차이가 있는 영역으로 제1 영역(1510)이 확인되고, 제2 시점의 영상에서도 차이가 있는 영역으로 제1 영역(1510)이 확인되면, 제1 LED 모듈(1530)의 문제 상태가 제1 기간 동안 유지된 것으로 분석하여, 제1 LED 모듈(1530)에 고장이 발생한 것으로 판단할 수 있다. 여기서, 제1 기간은 제1 시점부터 제2 시점까지의 기간을 의미할 수 있다.

S1607 단계에서, 장치(200)는 제1 LED 모듈(1530)에 고장이 발생하여, 제1 LED 모듈(1530)에 대한 유지 보수가 필요하다는 것을 알려주는 알림 메시지를 관리자 단말로 전송할 수 있다.

한편, S1605 단계에서 제2 시점의 영상에서 차이가 있는 영역으로 제1 영역(1510)이 확인되지 않으면, S1608 단계에서, 장치(200)는 제1 LED 모듈(1530)에 일시적인 문제가 발생한 것으로 판단하여, 제1 LED 모듈(1530)에 고장이 발생하지 않은 것으로 판단할 수 있다.

일실시예에 따르면, 장치(200)는 복수의 사용자 단말과 유무선으로 통신하도록 구성될 수 있으며, 복수의 사용자 단말 각각의 동작을 제어하고, 복수의 사용자 단말 각각의 화면에 어느 정보를 표시할 것인지에 대해 제어할 수 있다.

장치(200)는 노출 화면의 특성을 자동으로 파악하고, 알고리즘 별 효율을 재산정하여, 콘텐츠가 노출되는 영역을 설정할 수 있다. 여기서, 콘텐츠는 비행 훈련 콘텐츠로, 비행 훈련하는데 필요한 글자, 이미지, 동영상 등에 대한 정보를 포함할 수 있다.

장치(200)는 노출 화면 별로 특징을 자동으로 분석하여 찾아내고, 알고리즘 효율 계산 이전에 가중치 또는 감쇠치를 적용함으로써, 노출 화면의 특성을 기반으로 콘텐츠 노출 영역을 설정할 수 있다.

장치(200)는 복수의 사용자 단말 중 어느 하나인 제1 사용자 단말로부터 웹 사이트에 대한 접속 요청을 수신할 수 있다. 여기서, 웹 사이트는 비행 훈련 콘텐츠에 대한 정보를 제공하는 사이트를 의미할 수 있다.

예를 들어, 제1 사용자 단말에서 웹 사이트의 주소가 입력되거나, 웹 사이트의 바로가기가 선택되면, 장치(200)는 제1 사용자 단말로부터 웹 사이트에 대한 접속 요청을 수신할 수 있다.

장치(200)는 제1 사용자 단말의 식별 정보를 기초로, 제1 사용자 단말의 화면 크기를 확인할 수 있다. 여기서, 제1 사용자 단말의 식별 정보는 제1 사용자 단말을 식별하는데 필요한 정보로, 스마트폰, 태블릿, PC 등 단말의 종류와 기종을 식별하는 정보를 포함할 수 있다.

구체적으로, 장치(200)는 제1 사용자 단말로부터 웹 사이트에 대한 접속 요청이 수신되면, 제1 사용자 단말로부터 제1 사용자 단말의 식별 정보를 획득할 수 있으며, 제1 사용자 단말의 식별 정보를 기초로, 제1 사용자 단말의 종류를 파악하여, 제1 사용자 단말의 화면 크기를 확인할 수 있다.

장치(200)는 제1 사용자 단말의 화면 크기가 기준값 보다 작은지 여부를 확인할 수 있다. 여기서, 기준값은 실시예에 따라 상이하게 설정될 수 있다.

제1 사용자 단말의 화면 크기가 기준값 보다 작은 것으로 확인되면, 장치(200)는 제1 영역으로 구성된 제1 웹 페이지를 제1 사용자 단말로 제공할 수 있다. 여기서, 제1 영역은 제1 콘텐츠의 요약 정보가 표시되는 영역이다.

즉, 제1 사용자 단말의 화면 크기가 기준값 보다 작은 것으로 확인되면, 제1 사용자 단말은 제1 영역으로 구성된 제1 웹 페이지를 화면에 표시할 수 있다.

제1 사용자 단말의 화면 크기가 기준값 보다 큰 것으로 확인되면, 장치(200)는 제1 영역 및 제2 영역으로 구성된 제2 웹 페이지를 제1 사용자 단말로 제공할 수 있다. 여기서, 제1 영역은 제1 콘텐츠의 요약 정보가 표시되는 영역이고, 제2 영역은 제2 콘텐츠의 요약 정보가 표시되는 영역이다. 이때, 제1 콘텐츠 및 제2 콘텐츠는 복수의 콘텐츠 중 실시간 조회 수에 따라 설정될 수 있으며, 예를 들어, 장치(200)는 실시간 조회 수가 가장 많은 콘텐츠를 제1 콘텐츠로 설정하고, 제1 콘텐츠 다음으로 조회수가 많은 콘텐츠를 제2 콘텐츠로 설정할 수 있다.

즉, 제1 사용자 단말의 화면 크기가 기준값 보다 큰 것으로 확인되면, 제1 사용자 단말은 제1 영역 및 제2 영역으로 구성된 제2 웹 페이지를 화면에 표시할 수 있다.

일실시예에 따르면, 장치(200)는 제1 사용자 단말로부터 웹 사이트에 대한 접속 요청을 수신하기 전에, 복수의 사용자 단말로부터 제1 콘텐츠에 대한 조회 요청이 수신된 횟수를 확인하여, 제1 콘텐츠의 조회 수를 산정하고, 복수의 사용자 단말로부터 제2 콘텐츠에 대한 조회 요청이 수신된 횟수를 확인하여, 제2 콘텐츠의 조회 수를 산정할 수 있다. 여기서, 제1 콘텐츠는 비행 훈련 콘텐츠 중 어느 하나이고, 제2 콘텐츠는 비행 훈련 콘텐츠 중 다른 하나이다.

구체적으로, 장치(200)는 복수의 사용자 단말로부터 웹 사이트 접속 요청이 수신되면, 복수의 사용자 단말이 웹 사이트에 접속되도록 처리하고, 복수의 사용자 단말이 웹 사이트에 접속하면, 웹 사이트의 홈 페이지를 복수의 사용자 단말로 제공하여, 홈 페이지가 복수의 사용자 단말 각각의 화면에 표시되도록 제어할 수 있다.

이후, 장치(200)는 복수의 사용자 단말 각각의 화면에 표시된 홈 페이지 상에서 제1 콘텐츠의 대표 이미지가 선택되면, 복수의 사용자 단말로부터 제1 콘텐츠에 대한 조회 요청을 수신할 수 있다.

장치(200)는 복수의 사용자 단말로부터 제1 콘텐츠에 대한 조회 요청이 수신되면, 제1 콘텐츠에 대한 조회 요청에 따라, 제1 콘텐츠의 조회 정보를 갱신할 수 있다. 여기서, 제1 콘텐츠의 조회 정보는 제1 콘텐츠를 조회한 횟수인 제1 콘텐츠의 조회 수에 대한 정보를 포함할 수 있다. 장치(200)는 콘텐츠 별로 조회 정보를 데이터베이스에 저장하여 관리할 수 있다.

장치(200)는 제1 콘텐츠의 조회 정보를 갱신하는데 있어, 복수의 사용자 단말로부터 제1 콘텐츠에 대한 조회 요청이 수신된 횟수를 확인하여, 제1 콘텐츠의 조회 수를 산정할 수 있다.

예를 들어, 장치(200)는 제1 콘텐츠의 조회 수가 0인 상태에서, 미리 설정된 기간 이내에 제1 사용자 단말 및 제2 사용자 단말로부터 제1 콘텐츠에 대한 조회 요청이 각각 수신되면, 제1 콘텐츠에 대한 조회 요청이 수신된 횟수를 2회로 확인하여, 제1 콘텐츠의 조회 수를 0에서 2로 변경하여 산정할 수 있다.

또한, 장치(200)는 제1 콘텐츠의 조회 수가 0인 상태에서, 제1 사용자 단말로부터 제1 콘텐츠에 대한 조회 요청이 수신되면, 제1 콘텐츠의 조회 수를 0에서 1로 변경하여 산정할 수 있으며, 제1 콘텐츠의 조회 수가 1인 상태에서, 제2 사용자 단말로부터 제1 콘텐츠에 대한 조회 요청이 수신되면, 제1 콘텐츠의 조회 수를 1에서 2로 변경하여 산정할 수 있다.

장치(200)는 제1 콘텐츠의 조회 수를 산정하는 방식과 동일하게, 복수의 콘텐츠 각각의 조회 수를 산정할 수 있으며, 제2 콘텐츠의 조회 수, 제3 콘텐츠의 조회 수 등을 각각 산정할 수 있다.

한편, 제1 사용자 단말의 화면 크기가 기준값 보다 작은 것으로 확인되면, 장치(200)는 제1 콘텐츠의 조회 수가 제2 콘텐츠의 조회 수 보다 많은지 여부를 확인할 수 있다.

제1 콘텐츠의 조회 수가 제2 콘텐츠의 조회 수 보다 많은 것으로 확인되면, 장치(200)는 하나의 영역으로 구성된 제1 웹 페이지를 제1 사용자 단말로 제공할 때, 제1 사용자 단말의 화면에서 제1 영역이 먼저 표시된 후, 제2 영역이 이어서 표시되도록 제어할 수 있다.

장치(200)는 제1 사용자 단말의 화면에서 제1 영역이 먼저 표시된 후, 사용자 조작으로 화면 이동이 요청되면, 제2 영역이 이어서 표시되도록 제어할 수 있으며, 제1 사용자 단말의 화면에서 제1 영역이 먼저 표시된 후, 미리 설정된 시간이 지나면, 제2 영역이 이어서 표시되도록 제어할 수도 있다.

제2 콘텐츠의 조회 수가 제1 콘텐츠의 조회 수 보다 많은 것으로 확인되면, 장치(200)는 하나의 영역으로 구성된 제1 웹 페이지를 제1 사용자 단말로 제공할 때, 제1 사용자 단말의 화면에서 제2 영역이 먼저 표시된 후, 제1 영역이 이어서 표시되도록 제어할 수 있다.

장치(200)는 제1 사용자 단말의 화면에서 제2 영역이 먼저 표시된 후, 사용자 조작으로 화면 이동이 요청되면, 제1 영역이 이어서 표시되도록 제어할 수 있으며, 제1 사용자 단말의 화면에서 제2 영역이 먼저 표시된 후, 미리 설정된 시간이 지나면, 제1 영역이 이어서 표시되도록 제어할 수도 있다.

도 17은 일실시예에 따른 장치의 구성의 예시도이다.

일실시예에 따른 장치(200)는 프로세서(210) 및 메모리(220)를 포함한다. 프로세서(210)는 도 1 내지 도 16을 참조하여 전술된 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 16을 참조하여 전술된 적어도 하나의 방법을 수행할 수 있다. 장치(200)를 이용하는 자 또는 단체는 도 1 내지 도 16을 참조하여 전술된 방법들 일부 또는 전부와 관련된 서비스를 제공할 수 있다.

메모리(220)는 전술된 방법들과 관련된 정보를 저장하거나 전술된 방법들을 구현하는 프로그램을 저장할 수 있다. 메모리(220)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(210)는 프로그램을 실행하고, 장치(200)를 제어할 수 있다. 프로세서(210)에 의하여 실행되는 프로그램의 코드는 메모리(220)에 저장될 수 있다. 장치(200)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims

장치에 의해 수행되는, AR을 기반으로 비행 훈련 시뮬레이터를 제공하는 방법에 있어서,
제1 사용자가 조종실(Cockpit) 훈련장의 조종석에 착석한 상태에서 AR 기기를 착용한 것으로 확인되면, 상기 AR 기기를 착용한 상기 제1 사용자의 시선을 추적하는 단계;
상기 제1 사용자의 시선을 추적한 결과, 상기 제1 사용자의 시선이 상기 조종실 훈련장의 제1 구역을 응시하고 있는 것으로 확인되면, 상기 제1 구역에 대한 실시간 영상이 상기 AR 기기의 화면에 표시되도록 제어하는 단계;
상기 제1 구역에 제1 버튼이 포함되어 있는 경우, 상기 제1 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계; 및
상기 제1 구역에 조작부가 포함되어 있지 않은 경우, 상기 조작부가 위치한 제2 구역의 방향을 지시하기 위한 가이드 표식이 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계를 포함하며,
상기 제1 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계는,
상기 제1 구역에 상기 제1 버튼, 제2 버튼 및 제3 버튼이 포함되어 있는 것을 확인하는 단계;
상기 제1 사용자의 훈련 레벨이 1레벨로 설정되어 있는 경우, 상기 제1 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계;
상기 제1 사용자의 훈련 레벨이 2레벨로 설정되어 있는 경우, 상기 제1 버튼의 상세 정보 및 상기 제2 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계; 및
상기 제1 사용자의 훈련 레벨이 3레벨로 설정되어 있는 경우, 상기 제1 버튼의 상세 정보, 상기 제2 버튼의 상세 정보 및 상기 제3 버튼의 상세 정보가 상기 제1 구역의 영상과 중첩되어, 상기 AR 기기의 화면에 표시되도록 제어하는 단계를 포함하는,
AR 기반 비행 훈련 시뮬레이터 제공 방법.
제1항에 있어서,
상기 제1 사용자의 시선을 추적한 결과, 상기 제1 사용자의 시선이 좌측 후면 방향을 응시하고 있는 것으로 확인되면, 상기 조종석이 위치하고 있는 비행기의 좌측 날개 끝에 대한 3D 영상이 상기 AR 기기의 화면에 표시되도록 제어하는 단계; 및
상기 제1 사용자의 시선을 추적한 결과, 상기 제1 사용자의 시선이 우측 후면 방향을 응시하고 있는 것으로 확인되면, 상기 비행기의 우측 날개 끝에 대한 3D 영상이 상기 AR 기기의 화면에 표시되도록 제어하는 단계를 더 포함하는,
AR 기반 비행 훈련 시뮬레이터 제공 방법.
제1항에 있어서,
상기 제1 사용자의 손이 상기 조종실 훈련장에 설치된 조종대를 잡고 있는 것으로 확인되면, 상기 조종실 훈련장에 경고 메시지가 출력되도록 제어하는 단계; 및
상기 경고 메시지가 출력된 시점부터 미리 설정된 기준 시간 이내에 상기 제1 사용자의 손이 상기 조종대를 놓은 것으로 확인되면, 비상 상황 대처 훈련에 대한 테스트를 통과한 것으로 판단하는 단계를 더 포함하는
AR 기반 비행 훈련 시뮬레이터 제공 방법.