KR20200014668A

KR20200014668A - 3차원 증강현실을 이용한 합동 지휘통제 훈련 시스템 및 제공방법

Info

Publication number: KR20200014668A
Application number: KR1020180105626A
Authority: KR
Inventors: 신규용; 이원우; 김동욱; 박상준; 정성일; 김태효
Original assignee: 주식회사 포멀웍스
Priority date: 2018-08-01
Filing date: 2018-09-04
Publication date: 2020-02-11
Also published as: KR102073010B1; KR102169024B1

Abstract

다수의 참여자가 3차원 증강현실을 통해 제공되는 가상의 3차원 지형도 상에서 합동 지휘통제 훈련을 수행할 수 있도록 하는 시스템 및 방법이 개시된다. 본 발명의 일 측면에 따르면, 합동 지휘통제훈련 시스템이, 복수의 훈련 장비 유닛 각각에 대하여, 페어링 과정을 수행하는 단계-여기서, 각각의 상기 훈련 장비는, 증강현실 디스플레이 장치와 모바일 단말을 포함함, 마스터 단말로부터 신규 지휘통제훈련의 생성을 요청받는 경우, 훈련 공유 매니저 인스턴스를 생성하는 단계, 상기 훈련 장치 유닛 포함된 모바일 단말로부터 상기 신규 지휘통제훈련에 대한 참여 요청을 받는 경우 상기 훈련 장비 유닛을 상기 훈련 공유 매니저 인스턴스에 등록하는 단계, 및 상기 훈련 공유 매니저 인스턴스에 등록된 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 단계를 포함하는 합동 지휘통제 훈련 제공방법이 제공된다.

Description

3차원 증강현실을 이용한 합동 지휘통제 훈련 시스템 및 제공방법{System and providing method for joint training of command and control using 3D augmented reality}

본 발명은 3차원 증강현실을 이용한 합동 지휘통제 훈련 시스템 및 제공방법 에 관한 것이다. 보다 상세하게는 다수의 참여자가 3차원 증강현실을 통해 제공되는 가상의 3차원 지형도 상에서 합동 지휘통제 훈련을 수행할 수 있도록 하는 시스템 및 방법에 관한 것이다.

증강현실(augmented reality, AR)은 가상현실의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 디지털 미디어에서 빈번하게 사용된다.

증강현실은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(mixed reality, MR)이라고도 한다. 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)으로 1990년대 후반부터 미국ㅇ일본을 중심으로 연구ㅇ개발이 진행되고 있다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.

가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 예를 들어 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기된다.

증강 현실은 원격의료진단ㅇ방송ㅇ건축설계ㅇ제조공정관리 등에 활용된다. 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계ㅇ교육 분야 등에서도 다양한 제품을 개발하고 있다. 증강현실을 실외에서 실현하는 것이 착용식 컴퓨터(wearable computer)이다. 특히 머리에 쓰는 형태의 컴퓨터 화면장치는 사용자가 보는 실제환경에 컴퓨터 그래픽ㅇ문자 등을 겹쳐 실시간으로 보여줌으로써 증강현실을 가능하게 한다.

아울러 이러한 증강현실을 지휘통제훈련과 같은 군사훈련에 응용함으로써, 저비용/고효율의 군사훈련을 실현하고자 하는 요구가 나타나고 있다.

본 발명이 이루고자 하는 기술적인 과제는 다수의 참여자가 3차원 증강현실을 통해 제공되는 가상의 3차원 지형도 상에서 합동 지휘통제 훈련을 수행할 수 있도록 하는 시스템 및 방법을 제공하는 것이다.

또한 본 발명이 이루고자 하는 기술적 과제는 모바일 단말과 증강현실 디스플레이 장치의 페어링 방법 및 시스템을 제공하는 것이다.

또한 본 발명이 이루고자 하는 기술적 과제는 다수의 증강현실 디스플레이 장치의 좌표계를 동기화하는 방법 및 시스템을 제공하는 것이다.

본 발명의 일 측면에 따르면, 합동 지휘통제훈련 시스템이, 복수의 훈련 장비 유닛 각각에 대하여, 상기 훈련 장비 유닛에 대한 페어링 과정을 수행하는 단계-여기서, 각각의 상기 훈련 장비는, 증강현실 디스플레이 장치와 모바일 단말을 포함하며, 상기 훈련 장비 유닛에 대한 페어링 과정은 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치와 모바일 단말을 페어링하는 과정임-, 상기 합동 지휘통제훈련 시스템이, 상기 복수의 훈련 장비 유닛 중 어느 하나인 마스터 유닛에 포함된 모바일 단말인 마스터 단말로부터 신규 지휘통제훈련의 생성을 요청받는 경우, 상기 신규 지휘통제훈련의 생성 요청에 응답하여 상기 신규 지휘통제훈련에 상응하는 훈련 공유 매니저 인스턴스를 생성하는 단계, 상기 합동 지휘통제훈련 시스템이, 상기 마스터 단말에 의해 지정된 지역을 상기 신규 지휘통제훈련에 상응하는 훈련 구역으로 설정하는 단계, 상기 합동 지휘통제훈련 시스템이, 상기 복수의 훈련 장치 유닛에 대하여, 상기 훈련 장치 유닛 포함된 모바일 단말로부터 상기 신규 지휘통제훈련에 대한 참여 요청을 받는 경우 상기 훈련 장비 유닛을 상기 신규 훈련에 상응하는 훈련 공유 매니저 인스턴스에 등록하는 단계, 상기 합동 지휘통제훈련 시스템이, 상기 마스터 단말로부터 상기 신규 훈련의 시작을 요청받는 경우, 상기 신규 훈련의 시작 요청에 응답하여 상기 훈련에 상응하는 훈련 서버 인스턴스를 생성하는 단계 및 상기 합동 지휘통제훈련 시스템이, 상기 복수의 훈련 장치 유닛이 상기 훈련에 상응하는 지휘통제훈련 서버 인스턴스에 접속하면, 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 단계를 포함하는 합동 지휘통제 훈련 제공방법이 제공된다.

일 실시예에서, 상기 훈련 장비 유닛에 대한 페어링 과정을 수행하는 단계는, 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로부터 페어링 요청을 수신하는 경우, 상기 페어링 요청에 상응하는 고유 패스코드를 생성하는 단계, 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치에서 상기 고유 패스코드를 디스플레이하도록 상기 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로 상기 고유 패스코드를 전송하는 단계, 상기 훈련 장비 유닛에 포함된 모바일 단말을 통해 사용자가 입력한 패스코드를 상기 훈련 장비 유닛에 포함된 모바일 단말로부터 수신하고, 상기 사용자가 입력한 패스코드가 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로 전송한 상기 고유 패스코드와 일치하는지 여부를 판단하는 단계 및 판단 결과 일치하는 경우, 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치와 상기 훈련 장비 유닛에 포함된 모바일 단말을 페어링하는 단계를 포함할 수 있다.

일 실시예에서, 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 단계는, 상기 훈련 구역에 상응하는 2차원 지형도가 상기 복수의 훈련 장비 유닛 각각에 포함된 모바일 단말에 디스플레이되도록 제어하는 단계 및 상기 훈련 구역에 상응하는 3차원 지형도가 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치에 디스플레이되도록 제어하는 단계를 포함할 수 있다.

일 실시예에서, 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 단계는, 상기 마스터 단말로부터 소정의 지휘통제 이벤트를 수신하는 경우, 상기 지휘 이벤트에 상응하는 3차원 그래픽 오브젝트가 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치에 디스플레이되도록 제어하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 합동 지휘통제훈련 제공방법은, 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치의 좌표계를 동기화하는 단계를 더 포함하되, 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치는, 동기화된 좌표계를 기준으로 상기 훈련 구역에 상응하는 3차원 지형도를 디스플레이하는 것을 특징으로 할 수 있다.

일 실시예에서, 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치의 좌표계를 동기화하는 단계는, 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치가 특정한 물리적 지점에 위치한 마커를 인식하면, 인식된 마커의 위치를 앵커로 설정하는 단계 및 설정된 앵커를 기준으로 좌표계를 동기화하는 단계를 포함할 수 있다.

본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.

본 발명의 다른 일 측면에 따르면, 복수의 훈련 장비 유닛 각각에 대하여, 상기 훈련 장비 유닛에 대한 페어링 과정을 수행하는 페어링 모듈-여기서, 각각의 상기 훈련 장비는, 증강현실 디스플레이 장치와 모바일 단말을 포함하며, 상기 훈련 장비 유닛에 대한 페어링 과정은 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치와 모바일 단말을 페어링하는 과정임-, 상기 복수의 훈련 장비 유닛 중 어느 하나인 마스터 훈련 장비 유닛에 포함된 모바일 단말인 마스터 단말로부터 신규 지휘통제훈련의 생성을 요청받는 경우, 상기 신규 지휘통제훈련의 생성 요청에 응답하여 상기 신규 지휘통제훈련에 상응하는 훈련 공유 매니저 인스턴스를 생성하는 매니저 인스턴스 생성모듈, 상기 마스터 단말에 의해 지정된 지역을 상기 신규 지휘통제훈련의 훈련 구역으로 설정하고, 상기 복수의 훈련 장치 유닛 각각에 대하여, 상기 훈련 장치 유닛 포함된 모바일 단말로부터 상기 신규 지휘통제훈련에 대한 참여 요청을 받는 경우 상기 훈련 장비 유닛을 상기 신규 훈련에 상응하는 훈련 공유 매니저 인스턴스에 등록하는 훈련 매니저 인스턴스 관리모듈, 상기 마스터 단말로부터 상기 신규 훈련의 시작을 요청받는 경우, 상기 신규 훈련의 시작 요청에 응답하여 상기 훈련에 상응하는 훈련 서버 인스턴스를 생성하는 훈련 서버 인스턴스 생성모듈 및 상기 복수의 훈련 장치 유닛이 상기 훈련에 상응하는 지휘통제훈련 서버 인스턴스에 접속하면, 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 훈련수행모듈을 포함하는 합동 지휘통제훈련 시스템이 제공된다.

일 실시예에서, 상기 페어링 모듈은, 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로부터 페어링 요청을 수신하는 경우, 상기 페어링 요청에 상응하는 고유 패스코드를 생성하고, 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치에서 상기 고유 패스코드를 디스플레이하도록 상기 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로 상기 고유 패스코드를 전송하고, 상기 훈련 장비 유닛에 포함된 모바일 단말을 통해 사용자가 입력한 패스코드를 상기 훈련 장비 유닛에 포함된 모바일 단말로부터 수신하고, 상기 사용자가 입력한 패스코드가 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로 전송한 상기 고유 패스코드와 일치하는지 여부를 판단하고, 판단 결과 일치하는 경우, 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치와 상기 훈련 장비 유닛에 포함된 모바일 단말을 페어링할 수 있다.

일 실시예에서, 상기 훈련 수행모듈은, 상기 훈련 구역에 상응하는 2차원 지형도가 상기 복수의 훈련 장비 유닛 각각에 포함된 모바일 단말에 디스플레이되도록 제어하고, 상기 훈련 구역에 상응하는 3차원 지형도가 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치에 디스플레이되도록 제어할 수 있다.

일 실시예에서, 상기 훈련 수행모듈은, 상기 마스터 단말로부터 소정의 지휘통제 이벤트를 수신하는 경우, 상기 지휘 이벤트에 상응하는 3차원 그래픽 오브젝트가 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치에 디스플레이되도록 제어할 수 있다.

일 실시예에서, 상기 지휘통제훈련 관리 시스템은, 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치의 좌표계를 동기화하는 좌표계 동기화모듈을 더 포함하되, 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치는, 동기화된 좌표계를 기준으로 상기 훈련 구역에 상응하는 3차원 지형도를 디스플레하는 것을 특징으로 할 수 있다.

일 실시예에서, 상기 좌표계 동기화 모듈은, 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치가 특정한 물리적 지점에 위치한 마커를 인식하면, 인식된 마커의 위치를 앵커로 설정하고, 설정된 앵커를 기준으로 좌표계를 동기화할 수 있다.

본 발명의 일 실시예에 의하면, 3차원 증강현실을 통해 제공되는 가상의 3차원 지형도 상에서 합동 지휘통제 훈련을 수행할 수 있게 되므로 직접 작전 장소에 나가지 않고도 현실감 있게 지휘통제 훈련을 할 수 있게 되는 효과가 있다.

또한 본 발명의 일 실시예에 따르면, 모바일 단말과 증강현실 디스플레이 장치를 페어링할 수 있는 기술적 사상을 제공할 수 있다.

또한 본 발명의 일 실시예에 따르면, 다수의 증강현실 디스플레이 장치의 좌표계를 동기화할 수 있는 기술적 사상을 제공할 수 있다.

또한 본 발명의 일 실시예에 의하면, 다수의 참여자가 합동으로 지휘통제 훈련을 할 수 있게 되는 효과가 있다.

또한 본 발명의 일 실시예에 의하면, 지휘통제 훈련 시에 증강현실 장비와 페어를 이루는 모바일 단말을 통해 제공되는 인터페이스를 이용함으로써 지휘통제 훈련을 매우 원활하게 진행할 수 있게 되는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 3차원 증강현실을 이용한 합동 지휘통제 훈련 제공방법의 구동 환경을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 합동 지휘통제 훈련 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 3은 페어링 과정의 일 예를 보다 상세하게 도시한 도면이다.
도 4는 모바일 단말에 디스플레이되는 신규 훈련 생성 또는 합동 훈련 참여를 위한 UI의 일 예를 도시한 도면이다.
도 5a 및 도 5b는 신규 훈련의 훈련 장소를 지정하기 위한 UI의 일 예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 훈련 공유 매니저 인스턴스에 참여한 모바일 단말에 표시되는 UI의 일 예를 도시한 도면이다.
도 7a 및 도 7b는 각각 증강현실 디스플레이 장치에 디스플레이되는 3차원 지형도의 일 예를 도시한 도면이다.
도 8은 증강현실로 나타나는 3차원 지형도를 조작하기 위한 모바일 단말의 UI의 일 예를 나타낸다.
도 9a 및 도 9b는 지형을 확대/축소하거나 그리드/등고선의 표시를 온/오프하기 위한 모바일 단말의 UI의 일 예를 나타낸다.
도 10a 내지 도 10b는 지휘통제 훈련의 훈련 장소에 아군/적군 병사를 배치하거나 배치된 병사를 이동, 제거하기 위한 모바일 단말의 UI의 일 예를 나타내며, 도 10c는 배치된 병사에 관한 정보를 표시하는 모바일 단말의 UI의 일 예를 나타낸다.
도 11a 및 도 11b는 모바일 단말의 UI 상에서 훈련 장소에 배치된 병사를 이동하는 예를 도시한 도면이다.
도 11c 및 도 11d는 증강현실 디스플레이 장치가 디스플레이하고 있는 3차원 지형도 상에서 병사가 이동하는 것을 도시한 도면이다.
도 12a는 지형도 상에 그릴 수 있는 화살표나 선을 특정하기 위한 모바일 단말의 UI의 일 예를 나타내며, 도 12b는 모바일 단말의 지형도 상에 화살표나 선을 그려진 형태를 나타낸 도면이다.
도 12c는 증강현실 디스플레이 장치의 3차원 지형도 상에 화살표나 선을 그려진 형태를 나타낸 도면이다.
도 13은 서로 다른 두 개의 증강현실 디스플레이 장치의 좌표계를 동기화하는 방식의 일 예를 설명하기 위한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 3차원 증강현실을 이용한 합동 지휘통제 훈련 제공방법(이하, '합동 지휘통제 훈련 제공방법'이라고 함)의 구동 환경을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 합동 지휘통제 훈련 제공방법은 합동 지휘통제 훈련 시스템(100)에 의해 제공될 수 있다.

합동 지휘통제 훈련 시스템(100)은 복수의 훈련 참여자들이 함께 지휘통제 훈련을 수행할 수 있도록 하기 위한 각종 기능을 수행할 수 있으며, 복수의 훈련 참여자는 각각 그에 상응하는 훈련 장비 유닛(예를 들면, 10, 10-1, 10-2)을 이용하여 3차원 증강현실을 이용한 합동 지휘훈련을 수행할 수 있다. 실시예에 따라 상기 합동 지휘통제 훈련 시스템(100)은 지휘통제 훈련의 과정에 대한 로그를 소정의 훈련 기록 DB(200)에 저장할 수 있다.

상기 훈련 장비 유닛(예를 들어, 10)은 증강현실 디스플레이 장치(11)와 모바일 단말(12)을 포함할 수 있다. 하나의 훈련 장비 유닛(예를 들어, 10)에 포함되는 증강현실 디스플레이 장치(11)와 모바일 단말(12)은 서로 페어링될 수 있다.

증강현실 디스플레이 장치(예를 들면, 11)는 가상현실 또는 증강현실의 구현을 위한 디스플레이 장치로서, 예를 들어 마이크로소프트 사의 홀로렌즈와 같은 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 장치일 수 있다. 상기 증강현실 디스플레이 장치(예를 들면, 11)는 3차원으로 표현되는 가상의 지형과 훈련 관련 정보를 실제하는 물리적 환경(예를 들면, 테이블 등)에 합성하여 디스플레이할 수 있다.

한편, 모바일 단말(예를 들면, 12)은 랩탑, 스마트폰, 태블릿 PC와 같은 휴대 가능한 컴퓨팅 장치일 수 있다. 훈련 참여자는 모바일 단말(12)을 이용하여 훈련에 필요한 각종 지령을 내리거나 지형의 위치를 이동하는 명령 등을 내릴 수 있으며, 이를 위한 UI(User Interface)가 표시될 수 있다.

상기 훈련 장비 유닛(10)과 상기 합동 지휘통제 훈련 시스템(100)은 유무선 통신망을 통해 서로 연결되어 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보, 데이터 및/또는 신호를 송수신할 수 있다.

한편, 실시예에 따라 합동 지휘통제 훈련 제공방법이 제공되기 위하여 별도의 지형 관리 시스템(300)이 필요할 수도 있다. 상기 지형 관리 시스템(300)에는 각종 훈련 장소의 지형정보를 저장하는 디지털 지형도 DB(400)로부터 특정 훈련 장소에 대한 지형 정보를 획득하고 이를 훈련 장비 유닛(예를 들어, 10)에 제공함으로써 훈련 장비 유닛(예를 들어, 10)에 포함된 증강현실 디스플레이 장치(11) 및/또는 모바일 단말(12)이 훈련 장소에 대한 가상의 지형도를 모델링하도록 할 수 있다. 또는 상기 지형 관리 시스템(300) 자체가 특정 훈련 장소에 대한 지형 정보에 기초하여 2차원 혹은 3차원의 지형도를 모델링하고 모델링된 결과를 훈련 장비 유닛(예를 들어, 10)에 제공할 수도 있다. 물론 도 1에 도시된 바와 달리 상기 지형 관리 시스템(300)은 상기 합동 지휘통제 훈련 시스템(100)과 통합된 형태로 구현될 수도 있다.

상기 합동 지휘통제 훈련 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 합동 지휘통제 훈련 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 합동 지휘통제 훈련 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다.

상기 합동 지휘통제 훈련 시스템(100)은 다수의 모듈의 형태로 구현될 수 있다. 상기 컴퓨팅 시스템(100)에 포함된 각종 모듈은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 경우에 따라서는 상기 컴퓨팅 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 각종 데이터를 저장하는 DB(예를 들면, 200, 400)을 더 포함할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 합동 지휘통제 훈련 시스템(100)의 구성을 개략적으로 나타낸 블록도이다.

도 2를 참조하면, 상기 합동 지휘통제 훈련 시스템(100)은 페어링 모듈(110), 좌표계 동기화모듈(120), 매니저 인스턴스 생성모듈(130), 매니저 인스턴스 관리모듈(140), 훈련 서버 인스턴스 생성모듈(150), 훈련 수행모듈(160)을 포함할 수 있다. 실시예에 따라서, 상기 합동 지휘통제 훈련 시스템(100)은 이보다 많은 구성을 포함할 수도 있다. 예를 들면, 합동 지휘통제 훈련 시스템(100)은 네트워크를 통해 외부 시스템(예를 들면, 300) 및/또는 훈련 장비 유닛(예를 들면, 10)과 통신할 수 있는 적어도 하나의 통신모듈이나 상기 합동 지휘통제 훈련 시스템 (100)에 포함된 다른 구성요소의 기능 및/또는 리소스를 제어하고 할 수 있는 제어모듈, 각종 정보를 저장할 수 있는 저장모듈, 사용자와 인터페이싱할 수 있는 입출력모듈 등을 더 포함할 수 있다.

본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.

상기 페어링 모듈(110)은 복수의 훈련 장비 유닛 각각에 대한 페어링 과정을 수행할 수 있다. 훈련 장비 유닛에 대한 페어링 과정은 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치와 모바일 단말을 페어링하는 과정을 의미한다.

일 실시예에서, 상기 페어링 모듈(110)은 상기 훈련 장비 유닛(예를 들어 10)에 포함된 증강현실 디스플레이 장치(11)로부터 페어링 요청을 수신하는 경우, 상기 페어링 요청에 상응하는 고유 패스코드를 생성하고, 상기 훈련 장비 유닛(10)에 포함된 증강현실 디스플레이 장치(11)에서 상기 고유 패스코드를 디스플레이하도록 상기 상기 훈련 장비 유닛(10)에 포함된 증강현실 디스플레이 장치(11)로 상기 고유 패스코드를 전송하고, 상기 훈련 장비 유닛(10)에 포함된 모바일 단말(12)을 통해 사용자가 입력한 패스코드를 상기 훈련 장비 유닛(10)에 포함된 모바일 단말(12)로부터 수신하고, 상기 사용자가 입력한 패스코드가 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치(11)로 전송한 상기 고유 패스코드와 일치하는지 여부를 판단하고, 판단 결과 일치하는 경우 상기 훈련 장비 유닛(10)에 포함된 증강현실 디스플레이 장치(11)와 모바일 단말(12)을 페어링할 수 있다.

도 3은 페어링 과정의 일 예를 보다 상세하게 도시한 도면이다.

도 3을 참조하면 특정 훈련 장비 유닛(예를 들면, 10)에 포함된 증강현실 디스플레이 장치(11)와 모바일 단말(12)이 상기 합동 지휘통제 훈련 시스템(100)에 연결될 수 있다(S100, S101). 이후 상기 증강현실 디스플레이 장치(11)는 페어링 요청을 할 수 있으며(S110), 상기 합동 지휘통제 훈련 시스템(100)은 상기 페어링 요청에 상응하는 고유 패스코드를 생성하고(S120), 이를 상기 증강현실 디스플레이 장치(11)로 전송할 수 있다(S130). 그러면, 상기 증강현실 디스플레이 장치(11)는 수신한 상기 고유 패스코드를 디스플레이할 수 있다(S140).

한편, 사용자가 상기 증강현실 디스플레이 장치(11)를 통해 고유 패스코드를 확인한 후 이를 모바일 단말(12)에 입력하면(S150), 상기 모바일 단말(12)은 사용자가 입력한 패스코드를 상기 합동 지휘통제 훈련 시스템(100)으로 전송할 수 있다(S160).

상기 합동 지휘통제 훈련 시스템(100)은 사용자가 모바일 단말(12)에 입력한 패스코드가 상기 증강현실 디스플레이 장치(11)로 전송한 고유 패스코드와 일치하는지 여부를 판단하고 판단 결과 일치하는 경우, 상기 증강현실 디스플레이 장치(11)와 상기 모바일 단말(12)을 페어링할 수 있다. 일 실시예에서, 상기 합동 지휘통제 훈련 시스템(100)은 페어링을 위하여 고유 장치 식별자를 생성하고, 상기 증강현실 디스플레이 장치(11)와 상기 모바일 단말(12)에 이를 할당할 수 있다.

한편, 상기 합동 지휘통제 훈련 시스템(100)은 상기 증강현실 디스플레이 장치(11)와 상기 모바일 단말(12)로 페어링된 상대방 장치에 대한 정보를 전송할 수 있다(S180, S181). 실시예에 따라 상기 합동 지휘통제 훈련 시스템(100)은 앞서 생성한 고유 장치 식별자 정보를 상기 증강현실 디스플레이 장치(11)와 상기 모바일 단말(12)로 더 전송할 수도 있다.

상술한 페어링 방법은 3차원 지형도를 통한 합동 지휘통제 훈련 이외의 다른 응용 분야에도 적용될 수 있다. 즉, 상술한 페어링 방법은 증강현실 디스플레이 장치(11) 을 통해 3차원 증강현실을 디스플레이하고 모바일 단말(12)을 통해 3차원 증강현실에 대한 제어동작을 수행하는 다른 응용 분야에 적용될 수 있다. 한편, 상술한 페어링 방법을 수행하는 시스템(예를 들어 상기 합동 지휘통제 훈련 시스템(100))은 페어링 시스템으로 불릴 수 있다.

다시 도 2를 참조하면, 매니저 인스턴스 생성모듈은(120)은 신규 지휘통제훈련에 상응하는 훈련 공유 매니저 인스턴스를 생성할 수 있다. 훈련 공유 매니저 인스턴스는 여러 참여자가 공통된 지휘통제 훈련에 참여할 수 있도록 하는 일종의 로비 역할을 하는 공간일 수 있다. 훈련 공유 매니저 인스턴스는 그에 상응하는 지휘통제 훈련에 관한 설정 정보, 훈련 참여자 정보, 훈련 지역에 관한 정보를 저장, 관리하기 위한 인스턴스일 수 있다.

상기 복수의 훈련 장비 유닛(예를 들면, 10, 10-1, 10-2) 중 어느 하나(예를 들면 10)는 마스터 유닛일 수 있으며, 상기 마스터 유닛(10)에 포함된 모바일 단말(11)인 마스터 단말은 상기 합동 지휘통제 훈련 시스템(100)으로 신규 지휘통제훈련의 생성을 요청할 수 있다. 그러면, 상기 매니저 인스턴스 생성모듈(120)은 상기 신규 지휘통제훈련의 생성 요청에 응답하여 상기 신규 지휘통제훈련에 상응하는 훈련 공유 매니저 인스턴스를 생성할 수 있다.

한편, 상기 복수의 훈련 장비 유닛(예를 들면, 10, 10-1, 10-2) 중 마스터 유닛(10)을 제외한 나머지 훈련 장비 유닛(즉, 10-1, 10-2)은 상기 마스터 유닛(10)의 요청에 의해 생성된 훈련 공유 매니저 인스턴스에 참여할 수 있다.

도 4는 모바일 단말(예를 들면, 10)에 디스플레이되는 신규 훈련 생성 또는 합동 훈련 참여를 위한 UI의 일 예를 도시한 도면이다. 모바일 단말(10)은 신규 훈련 생성을 위한 UI 오브젝트(1) 또는 기존 훈련에 참여하기 위한 UI 오브젝트(2) 중 어느 하나를 선택할 수 있다.

만약 마스터 단말(예를 들면, 10)이 신규 훈련 생성을 선택하여 그에 상응하는 훈련 공유 매니저 인스턴스가 생성되면, 상기 마스터 단말(10)은 특정 지역을 선택하여 상기 신규 지휘통제훈련의 훈련 구역으로 지정할 수 있다.

예를 들어, 마스터 단말(예를 들면, 10)은 도 5a에 도시된 바와 같은 UI를 통해, 위도와 경도를 지정하여 훈련 가능 지역을 추가할 수 있으며, 도 5b에 도시된 바와 같은 UI를 통해 훈련 가능 지역 중 어느 하나를 선택하여 신규 지휘통제훈련의 훈련 구역으로 지정할 수 있다. 그러면 상기 훈련 매니저 인스턴스 관리모듈(140)은 상기 마스터 단말에 의해 지정된 지역을 상기 신규 지휘통제훈련의 훈련 구역으로 설정할 수 있다. 한편 사용자가 해당 훈련 지역을 명확히 파악할 수 있도록, 도 5b에 도시된 바와 같이, 사용자가 선택한 장소의 2차원 지형도가 UI상에 함께 표시될 수도 있다.

한편, 상기 매니저 인스턴스 관리모듈(140)은 상기 복수의 훈련 장치 유닛(예를 들면, 10, 10-1, 10-2) 각각에 대하여, 상기 훈련 장치 유닛 포함된 모바일 단말로부터 상기 신규 지휘통제훈련에 대한 참여 요청을 받는 경우 상기 훈련 장비 유닛을 상기 신규 훈련에 상응하는 훈련 공유 매니저 인스턴스에 등록할 수 있다.

또한 상기 매니저 인스턴스 관리모듈(140)은 훈련 공유 매니저 인스턴스에 등록된 훈련 장비 유닛의 모바일 단말로 신규 훈련에 관한 정보 및 훈련 참여자에 대한 정보를 전송할 수 있다. 그러면, 신규 훈련에 참여한 참여자의 모바일 단말은 도 6과 같은 UI 화면을 디스플레이할 수 있다.

도 6에 도시된 바와 같이 신규 훈련에 참여한 참여자의 모바일 단말(예를 들면, 11)에 표시되는 UI에는 훈련 명과 같은 훈련정보(3), 훈련 참여자의 리스트(4), 및 훈련 지역에 관한 정보(예를 들면, 훈련지역의 2차원 평면도; 5)가 표시될 수 있다. 한편, 마스터 단말(예를 들면, 11)의 경우 훈련 시작을 위한 UI(6)가 더 표시될 수도 있다.

다시 도 2를 참조하면, 상기 훈련 서버 인스턴스 생성모듈(150)은 상기 마스터 단말(11)로부터 신규 훈련의 시작을 요청받는 경우, 상기 신규 훈련의 시작 요청에 응답하여 상기 훈련에 상응하는 훈련 서버 인스턴스를 생성할 수 있다. 상기 훈련 서버 인스턴스는 지휘통제훈련이 실시되기 위해 필요한 각종 정보나 훈련을 진행하면서 생성되는 각종 정보(예를 들면, 훈련 로그)를 저장/관리하고, 훈련 참여자의 훈련 지휘 명령을 처리하기 위한 인스턴스일 수 있다.

일 실시예에서, 상기 훈련 서버 인스턴스 생성모듈(150)은 상기 신규 훈련에 상응하는 훈련 공유 매니저 인스턴스에 등록된 훈련 장비 유닛(예를 들면, 10, 10-1, 10-2)으로 훈련 서버 인스턴스에 대한 접속 경로를 포함하는 훈련 시작 알림을 전송할 수 있으며, 훈련 전송 알림을 받은 훈련 장비 유닛(예를 들면, 10, 10-1, 10-2)은 훈련 서버 인스턴스에 접속할 수 있다.

한편, 상기 훈련수행모듈(160)은 상기 복수의 훈련 장치 유닛(예를 들면, 10, 10-1, 10-2)이 훈련 서버 인스턴스에 접속하면, 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어할 수 있다.

일 실시예에서, 상기 훈련 수행모듈(160)은 훈련 구역에 상응하는 3차원 지형도가 상기 훈련 서버 인스턴스에 접속한 증강현실 디스플레이 장치(예를 들면, 11, 11-1, 11-2)에 디스플레이되도록 제어할 수 있다.

도 7a 및 도 7b는 각각 증강현실 디스플레이 장치(예를 들면, 11)에 디스플레이되는 3차원 지형도의 일 예를 도시한 도면이다.

도 7a를 참조하면, 착용자의 위치 및 시선 방향이 P1과 같은 경우 증강현실 디스플레이 장치(11)에는 소정의 훈련 구역에 상응하는 3차원 지형도가 도 7a에 도시된 바와 같이 디스플레이될 수 있다. 만약 상기 증강현실 디스플레이 장치(11)의 착용자가 위치나 시선방향을 이동하는 경우 상기 증강현실 디스플레이 장치(11)에는 착용자가 이동한 위치나 시선방향에 맞추어 3차원 지형도를 디스플레이할 수 있다. 도 7b를 참조하면 상기 증강현실 디스플레이 장치(11)의 착용자가 위치 및 시선방향을 종전 P1에서 P2로 이동한 경우 상기 증강현실 디스플레이 장치(11)에는 도 7b에 도시된 바와 같은 3차원 지형도가 디스플레이될 수 있다.

또한 상기 훈련 수행모듈(160)은 상기 훈련 구역에 상응하는 2차원 지형도가 훈련 서버 인스턴스에 접속한 모바일 단말(예를 들면, 12, 12-1, 12-2)에 디스플레이되도록 제어할 수 있다.

훈련 참여자는 모바일 단말(예를 들면, 12)에 표시되는 지휘통제 훈련 진행 UI를 통해 지휘통제 훈련에 필요한 명령을 내릴 수 있다. 훈련 참여자가 상술한 지휘통제 훈련 진행 UI를 통해 지휘통제 훈련을 위한 각종 명령을 입력하는 경우 그에 상응하는 지휘통제 이벤트가 상기 합동 지휘통제 훈련 시스템(100)을 전송될 수 있으며, 상기 훈련 수행모듈(160)은 상기 지휘통제 이벤트가 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치를 통해 반영되도록 제어할 수 있다. 예를 들어, 지형도 또는 지형의 확대나 축소 이벤트가 발생하는 경우, 상기 훈련 수행모듈(160)은 지형도나 지형이 확대/축소된 3차원 지형이 증강현실 디스플레이 장치를 통해 디스플레이되도록 제어할 수 있다. 또한 그리드/등고선을 표시하는 이벤트 혹은 화살표/선을 그리는 이벤트가 발생하는 경우 해당하는 이벤트에 상응하는 3차원 그래픽 오브젝트가 증강현실 디스플레이 장치에 디스플레이되도록 제어할 수 있다.

일 실시예에서, 상기 훈련 수행모듈(160)은 지휘통제 이벤트가 3차원 지형도에 반영되도록 하기 위한 소정의 신호를 상기 지형 관리 시스템(300)으로 전송할 수 있다. 그러면, 상기 지형 관리 시스템(300)은 지휘통제 이벤트를 반영한 3차원 지형도 모델을 재생성하고, 재생성된 3차원 지형도 모델을 증강현실 디스플레이 장치들로 전송할 수 있다. 또는 다른 일 실시예에서 상기 훈련 수행모듈(160)은 지휘통제 이벤트가 3차원 지형도에 반영되도록 하기 위한 소정의 신호를 증강현실 디스플레이 장치들로 전송할 수 있으며, 신호를 받은 증강현실 디스플레이 장치들이 직접 지휘통제 이벤트를 3차원 지형도에 반영할 수 있다.

도 8은 증강현실로 나타나는 3차원 지형도(예를 들어, 훈련 지역에 대한 3차원 모델)를 조작하기 위한 모바일 단말(예를 들어 12, 12-1, 12-2)의 UI의 일 예를 나타낸다. 도 8에 도시된 바와 같은 UI를 통해, 훈련 참여자는 3차원 지형도를 확대/축소하거나 좌/우로 회전하는 명령을 내릴 수 있다.

도 9a 및 도 9b는 지형을 확대/축소하거나 그리드/등고선의 표시를 온/오프하기 위한 모바일 단말(예를 들어 12, 12-1, 12-2)의 UI의 일 예를 나타낸다. 도 9a에 도시된 바와 같은 상태에서 조작자가 지형 확대 버튼(7)을 선택하는 경우 도 9b에 도시된 바와 같이 지형이 확대될 수 있다. 도 9b에 도시된 바와 같은 상태에서 조작자가 지형 축소 버튼(8)을 선택하는 경우 다시 도 9a에 도시된 바와 같이 지형이 축소될 수 있다. 지형의 확대 축소 명령에 따른 결과는 증강현실 디스플레이 장치(예를 들어 11)에도 반영될 수 있다. 도 9c는 지형이 축소된 경우 증강현실 디스플레이 장치(예를 들어 11)에 디스플레이되는 3차원 지형도를 도시하고 있으며, 도 9d는 지형이 확대된 경우 증강현실 디스플레이 장치(예를 들어 11)에 디스플레이되는 3차원 지형도를 도시하고 있다.

도 10a 내지 도 10b는 지휘통제 훈련의 훈련 장소에 아군/적군 병사를 배치하거나 배치된 병사를 이동, 제거하기 위한 모바일 단말(예를 들어 12, 12-1, 12-2)의 UI의 일 예를 나타내며, 도 10c는 배치된 병사에 관한 정보를 표시하는 모바일 단말(예를 들어 12, 12-1, 12-2)의 UI의 일 예를 나타낸다.

도 11a 및 도 11b는 모바일 단말(예를 들어 12, 12-1, 12-2)의 UI 상에서 훈련 장소에 배치된 병사를 이동하는 예를 도시한 도면이다. 도 11a에 도시된 바와 같이 훈련 장소에 병사(8)가 배치된 상황에서 조작자는 병사(8)의 위치를 도 11b에 도시된 바와 같이 이동시킬 수 있다.

모바일 단말(예를 들어 12, 12-1, 12-2)의 UI 상에서 병사를 이동시키는 경우, 이동에 대한 결과가 증강현실 디스플레이 장치(예를 들어 11, 11-1, 11-2)에도 반영될 수 있음은 물론이다. 도 11c 및 도 11d는 증강현실 디스플레이 장치(예를 들어 11, 11-1, 11-2)가 디스플레이하고 있는 3차원 지형도 상에서 병사(8-1)가 이동하는 것을 도시한 도면이다. 모바일 단말(예를 들어 12, 12-1, 12-2)의 UI 상에서 병사(8)가 도 11a와 같이 배치되어 있는 경우 증강현실 디스플레이 장치(예를 들어 11, 11-1, 11-2)의 3차원 지형도 상에서 병사(8-1)는 도 11c에 도시된 바와 같이 배치되어 있을 수 있다. 만약 모바일 단말(예를 들어 12, 12-1, 12-2)의 UI 상에서 병사(8)의 위치가 도 11b와 같이 이동하는 경우 증강현실 디스플레이 장치(예를 들어 11, 11-1, 11-2) 상의 3차원 지형도 상에서 병사(8-1)는 도 11d에 도시된 바와 이동할 수 있다.

도 12a는 지형도 상에 그릴 수 있는 화살표나 선을 특정하기 위한 모바일 단말(예를 들어, 12, 12-1, 12-2)의 UI의 일 예를 나타내며, 도 12b는 모바일 단말(예를 들어, 12, 12-1, 12-2)의 지형도 상에 화살표나 선을 그려진 형태를 나타낸 도면이다. 도 12c는 증강현실 디스플레이 장치(예를 들어 11, 11-1, 11-2) 상의 3차원 지형도 상에 화살표나 선을 그려진 형태를 나타낸 도면이다. 만약 모바일 단말(예를 들어, 12, 12-1, 12-2)의 UI 상에서 도 12b와 같이 화살표(9)가 그려진 경우 증강현실 디스플레이 장치(예를 들어 11, 11-1, 11-2) 상의 3차원 지형도 상에도 도 12c에 도시된 바와 같은 화살표(9-1)가 표시될 수 있다.

다시 도 2를 참조하면, 상기 좌표계 동기화 모듈(120)은 상기 복수의 훈련 장비 유닛(예를 들면, 10, 10-1, 10-2) 각각에 포함된 증강현실 디스플레이 장치(11, 11-1, 11-2)의 좌표계를 동기화할 수 있으며, 상기 증강현실 디스플레이 장치(11, 11-1, 11-2)는 동기화된 좌표계를 기준으로 상기 훈련 구역에 상응하는 3차원 지형도를 디스플레할 수 있다.

도 13은 서로 다른 두 개의 증강현실 디스플레이 장치의 좌표계를 동기화하는 방식의 일 예를 설명하기 위한 도면이다.

도 13을 참조하면, 특정한 물리적 지점(예를 들면, 3차원 지형도가 표시될 테이블 위)에 마커(M)가 미리 표시되어 있을 수 있으며, 좌표계가 동기화될 복수의 증강현실 디스플레이 장치(11, 11-1)가 마커(M)를 인식할 수 있다. 그러면, 인식된 마커의 위치가 앵커로 설정될 수 있다. 설정된 앵커를 기준으로 각 증강현실 디스플레이 장치(11, 11-1)의 로컬 좌표계가 동기화되어 3차원 지형도의 중심 위치가 앵커를 기준으로 유지될 수 있다.

좌표계가 동기화된 복수의 증강현실 디스플레이 장치(예를 들어 11, 11-1)는 동기화된 좌표계 상에서 3차원 지형도를 디스플레이할 수 있다. 예를 들어, 좌표계가 동기화된 두 증강현실 디스플레이 장치(예를 들어 11, 11-1)는 각각 착용자의 위치 및 시선방향에 따라 도 7a 및 도 7b에 도시된 바와 같이 3차원 지형도를 디스플레이할 수 있다.

상술한 죄표계 동기화 방법은 3차원 지형도를 통한 합동 지휘통제 훈련 이외의 다른 응용 분야에도 적용될 수 있다. 즉, 상술한 좌표계 동기화 방법은 다수의 증강현실 디스플레이 장치(예를 들어, 11, 11-1, 11-2)을 통해 3차원 증강현실이 디스플레이될 수 있는 다른 응용 분야에 적용될 수 있다. 한편, 상술한 죄표계 동기화 방법을 수행하는 시스템(예를 들어 상기 합동 지휘통제 훈련 시스템(100))은 좌표계 동기화 시스템으로 불릴 수 있다.

한편, 구현 예에 따라서, 상기 합동 지휘통제 훈련 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.

한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

합동 지휘통제훈련 시스템이, 복수의 훈련 장비 유닛 각각에 대하여, 상기 훈련 장비 유닛에 대한 페어링 과정을 수행하는 단계-여기서, 각각의 상기 훈련 장비유닛은, 증강현실 디스플레이 장치와 모바일 단말을 포함하며, 상기 훈련 장비 유닛에 대한 페어링 과정은 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치와 모바일 단말을 페어링하는 과정임;
상기 합동 지휘통제훈련 시스템이, 상기 복수의 훈련 장비 유닛 중 어느 하나인 마스터 유닛에 포함된 모바일 단말인 마스터 단말로부터 신규 지휘통제훈련의 생성을 요청받는 경우, 상기 신규 지휘통제훈련의 생성 요청에 응답하여 상기 신규 지휘통제훈련에 상응하는 훈련 공유 매니저 인스턴스를 생성하는 단계;
상기 합동 지휘통제훈련 시스템이, 상기 복수의 훈련 장치 유닛에 대하여, 상기 훈련 장치 유닛 포함된 모바일 단말로부터 상기 신규 지휘통제훈련에 대한 참여 요청을 받는 경우 상기 훈련 장비 유닛을 상기 신규 훈련에 상응하는 훈련 공유 매니저 인스턴스에 등록하는 단계; 및
상기 합동 지휘통제훈련 시스템이, 상기 훈련 공유 매니저 인스턴스에 등록된 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 단계를 포함하는 합동 지휘통제 훈련 제공방법.
제1항에 있어서, 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 단계는,
상기 합동 지휘통제훈련 시스템이, 상기 마스터 단말로부터 상기 신규 훈련의 시작을 요청받는 경우, 상기 신규 훈련의 시작 요청에 응답하여 상기 훈련에 상응하는 훈련 서버 인스턴스를 생성하는 단계; 및
상기 합동 지휘통제훈련 시스템이, 상기 복수의 훈련 장치 유닛이 상기 훈련에 상응하는 지휘통제훈련 서버 인스턴스에 접속하면, 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 단계를 포함하는 합동 지휘통제 훈련 제공방법.
제1항에 있어서,
상기 훈련 장비 유닛에 대한 페어링 과정을 수행하는 단계는,
상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로부터 페어링 요청을 수신하는 경우, 상기 페어링 요청에 상응하는 고유 패스코드를 생성하는 단계;
상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치에서 상기 고유 패스코드를 디스플레이하도록 상기 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로 상기 고유 패스코드를 전송하는 단계;
상기 훈련 장비 유닛에 포함된 모바일 단말을 통해 사용자가 입력한 패스코드를 상기 훈련 장비 유닛에 포함된 모바일 단말로부터 수신하고, 상기 사용자가 입력한 패스코드가 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로 전송한 상기 고유 패스코드와 일치하는지 여부를 판단하는 단계; 및
판단 결과 일치하는 경우, 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치와 상기 훈련 장비 유닛에 포함된 모바일 단말을 페어링하는 단계를 포함하는 합동 지휘통제훈련 제공방법.
제1항에 있어서,
상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 단계는,
훈련 구역에 상응하는 2차원 지형도가 상기 복수의 훈련 장비 유닛 각각에 포함된 모바일 단말에 디스플레이되도록 제어하는 단계; 및
상기 훈련 구역에 상응하는 3차원 지형도가 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치에 디스플레이되도록 제어하는 단계를 포함하는 합동 지휘통제훈련 제공방법.
제4항에 있어서,
상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 단계는,
상기 마스터 단말로부터 소정의 지휘통제 이벤트를 수신하는 경우, 상기 지휘 이벤트에 상응하는 3차원 그래픽 오브젝트가 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치에 디스플레이되도록 제어하는 단계를 더 포함하는 지휘통제훈련 제공방법.
제4항에 있어서, 상기 합동 지휘통제훈련 제공방법은,
상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치의 좌표계를 동기화하는 단계를 더 포함하되,
상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치는,
동기화된 좌표계를 기준으로 상기 훈련 구역에 상응하는 3차원 지형도를 디스플레하는 것을 특징으로 하는 지휘통제훈련 제공방법.
제6항에 있어서,
상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치의 좌표계를 동기화하는 단계는,
상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치가 특정한 물리적 지점에 위치한 마커를 인식하면, 인식된 마커의 위치를 앵커로 설정하는 단계; 및
설정된 앵커를 기준으로 좌표계를 동기화하는 단계를 포함하는 지휘통제훈련 시뮬레이션 제공방법.
데이터 처리장치에 설치되며 제1항 내지 제7항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
복수의 훈련 장비 유닛 각각에 대하여, 상기 훈련 장비 유닛에 대한 페어링 과정을 수행하는 페어링 모듈-여기서, 각각의 상기 훈련 장비 유닛은, 증강현실 디스플레이 장치와 모바일 단말을 포함하며, 상기 훈련 장비 유닛에 대한 페어링 과정은 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치와 모바일 단말을 페어링하는 과정임;
상기 복수의 훈련 장비 유닛 중 어느 하나인 마스터 유닛에 포함된 모바일 단말인 마스터 단말로부터 신규 지휘통제훈련의 생성을 요청받는 경우, 상기 신규 지휘통제훈련의 생성 요청에 응답하여 상기 신규 지휘통제훈련에 상응하는 훈련 공유 매니저 인스턴스를 생성하는 매니저 인스턴스 생성모듈;
상기 복수의 훈련 장치 유닛 각각에 대하여, 상기 훈련 장치 유닛 포함된 모바일 단말로부터 상기 신규 지휘통제훈련에 대한 참여 요청을 받는 경우 상기 훈련 장비 유닛을 상기 신규 훈련에 상응하는 훈련 공유 매니저 인스턴스에 등록하는 훈련 매니저 인스턴스 관리모듈; 및
상기 훈련 공유 매니저 인스턴스에 등록된 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 훈련수행모듈을 포함하는 합동 지휘통제훈련 시스템.
제9항에 있어서, 상기 합동 지휘통제훈련 시스템은,
상기 마스터 단말로부터 상기 신규 훈련의 시작을 요청받는 경우, 상기 신규 훈련의 시작 요청에 응답하여 상기 훈련에 상응하는 훈련 서버 인스턴스를 생성하는 훈련 서버 인스턴스 생성모듈을 더 포함하되,
상기 훈련수행모듈은,
상기 복수의 훈련 장치 유닛이 상기 훈련에 상응하는 지휘통제훈련 서버 인스턴스에 접속하면, 상기 복수의 훈련 장치 유닛을 통해 증강현실 기반의 3차원 지휘통제훈련이 실시되도록 제어하는 합동 지휘통제훈련 시스템.
제9항에 있어서,
상기 페어링 모듈은,
상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로부터 페어링 요청을 수신하는 경우, 상기 페어링 요청에 상응하는 고유 패스코드를 생성하고,
상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치에서 상기 고유 패스코드를 디스플레이하도록 상기 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로 상기 고유 패스코드를 전송하고,
상기 훈련 장비 유닛에 포함된 모바일 단말을 통해 사용자가 입력한 패스코드를 상기 훈련 장비 유닛에 포함된 모바일 단말로부터 수신하고, 상기 사용자가 입력한 패스코드가 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치로 전송한 상기 고유 패스코드와 일치하는지 여부를 판단하고,
판단 결과 일치하는 경우, 상기 훈련 장비 유닛에 포함된 증강현실 디스플레이 장치와 상기 훈련 장비 유닛에 포함된 모바일 단말을 페어링하는 합동 지휘통제훈련 시스템.
제9항에 있어서,
상기 훈련 수행모듈은,
상기 훈련 구역에 상응하는 2차원 지형도가 상기 복수의 훈련 장비 유닛 각각에 포함된 모바일 단말에 디스플레이되도록 제어하고, 상기 훈련 구역에 상응하는 3차원 지형도가 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치에 디스플레이되도록 제어하는 합동 지휘통제훈련 시스템.
제12항에 있어서,
상기 훈련 수행모듈은,
상기 마스터 단말로부터 소정의 지휘통제 이벤트를 수신하는 경우, 상기 지휘 이벤트에 상응하는 3차원 그래픽 오브젝트가 상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치에 디스플레이되도록 제어하는 합동 지휘통제훈련 시스템.
제12항에 있어서, 상기 지휘통제훈련 관리 시스템은,
상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치의 좌표계를 동기화하는 좌표계 동기화모듈을 더 포함하되,
상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치는,
동기화된 좌표계를 기준으로 상기 훈련 구역에 상응하는 3차원 지형도를 디스플레하는 것을 특징으로 하는 합동 지휘통제훈련 시스템.
제14항에 있어서,
상기 좌표계 동기화 모듈은,
상기 복수의 훈련 장비 유닛 각각에 포함된 증강현실 디스플레이 장치가 특정한 물리적 지점에 위치한 마커를 인식하면, 인식된 마커의 위치를 앵커로 설정하고, 설정된 앵커를 기준으로 좌표계를 동기화하는 합동 지휘통제훈련 시스템.