KR20240109828A

KR20240109828A - 국경 관리 ar 시스템 및 서비스 방법

Info

Publication number: KR20240109828A
Application number: KR1020230001857A
Authority: KR
Inventors: 최수미; 아볼가셈
Original assignee: 세종대학교산학협력단
Filing date: 2023-01-05
Publication date: 2024-07-12

Abstract

증강현실 기반의 국경 관리 시스템이 개시된다. 국경 관리 AR(augmented reality) 시스템은, 서로 다른 조직의 기관으로부터 국경(border)과 관련된 데이터 소스를 수집하고, 상기 데이터 소스를 이용하여 클라이언트의 카메라에 국경 정보를 렌더링하는 AR 서비스를 제공할 수 있다.

Description

증강현실 기반의 국경 관리 시스템{AUGMENTED REALITY-BASED BORDER MANAGEMENT SYSTEM}

아래의 설명은 증강현실(AR) 서비스를 이용한 국경 관리 기술에 관한 것이다.

국경은 이웃 국가와 합의에 따라 결정되고 국가 내 및 국가 간 활동의 공간적 범위를 결정하는 두 국가 간의 공식 경계선이다. 육지에는 경계가 자연적으로 존재하지 않기 때문에 적절한 관리가 이루어지지 않으면 주변 국가들 사이에 많은 다툼이 발생한다. 해외 사례로 이란의 경우 15개국과의 국경을 접하고 있다. 이와 관련하여 국경 관문, 국경선, 원격탐사 영상 등의 위치를 포함하는 공간 데이터와 사회 경제적 인구조사와 같은 속성 데이터가 매우 중요하다.

유능한 국경 관리는 일반적으로 정보 구조화를 지원하고 분산 소스에서 교환하는 기능과 관련이 있다. 하지만, 다양한 활동을 수행할 수 있는 적시 및 적절한 장소에서 정보에 대한 적절한 액세스 인터페이스가 부족하다. 증강현실(Augmented Reality, AR)은 현실 세계에서의 활동의 효율성과 효과를 향상시키기 위한 인터페이스로 사용되고 있다. 또한, 국경 관리 영역에서 AR의 효과와 유용성을 평가한 연구는 제한적이다.

AR 기술의 잠재적 효과와 유용성을 국경 활동과 평가하기 위한 국경 관리 AR 시스템을 제공한다.

국경 관리 AR 시스템은 서로 다른 조직 소스의 통합되고 상호 운용 가능한 국경 데이터 관리를 제공할 뿐만 아니라 적절한 데이터에 액세스하고 실제 세계와 가상 세계를 결합하여 효율적인 모니터링, 성능 개선 및 활동 유지를 제공한다.

국경 관리 AR 시스템은 포인팅 서비스, 위치 찾기 서비스, 국경선 서비스의 세 가지 AR 서비스를 제공하고, 이러한 서비스는 GIS 웹 서비스를 통해 내무부, 지리 기관 및 국경 수비대 데이터 소스에서 공간 데이터 및 속성 데이터를 검색 및 통합하고 사용자의 위치 및 방향에 따라 이를 증강할 수 있다.

컴퓨터 시스템으로 구현되는 국경 관리 AR(augmented reality) 시스템에 있어서, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 서로 다른 조직의 기관으로부터 국경(border)과 관련된 데이터 소스를 수집하는 과정; 및 상기 데이터 소스를 이용하여 클라이언트의 카메라에 국경 정보를 렌더링하는 AR 서비스를 제공하는 과정을 처리하는 국경 관리 AR 시스템을 제공한다.

일 측면에 따르면, 상기 적어도 하나의 프로세서는, GIS(geographic information system) 웹 서비스를 통해 내무부(Ministry of Interior), 지리 기관(Geographic Organization), 및 국경 수비대(Border Guard Command)의 데이터 소스를 통합하여 국경과 관련된 공간 데이터(spatial data)와 속성 데이터(attribute data)를 획득할 수 있다.

다른 측면에 따르면, 상기 적어도 하나의 프로세서는, 상기 국경 정보로서 국경 막대(border rod), 국경 전초기지(border outpost), 및 국경선(border line) 중 적어도 하나의 가상 3D 모델을 렌더링할 수 있다.

또 다른 측면에 따르면, 상기 적어도 하나의 프로세서는, UGIS(ubiquitous geographic information system)를 기반으로 상황인식 공간정보(context-aware spatial information)로서 상기 국경 정보에 대한 모델링을 제공할 수 있다.

또 다른 측면에 따르면, 상기 적어도 하나의 프로세서는, 국경 객체에 대한 포인팅 서비스(pointing service), 국경 객체에 대한 찾기 서비스(locating service), 및 국경선에 대한 표시 서비스(showing service)를 포함하는 AR 서비스를 제공할 수 있다.

또 다른 측면에 따르면, 상기 적어도 하나의 프로세서는, 상기 카메라의 위치를 계산한 후 상기 계산된 위치를 이용하여 각 기관의 데이터베이스에서 상기 데이터 소스를 검색하고, 상기 검색된 데이터 소스를 이용하여 상기 국경 정보를 AR 영상의 프레임에 생성할 수 있다.

또 다른 측면에 따르면, 상기 적어도 하나의 프로세서는, 국경 객체에 대한 포인팅 서비스로서 상기 카메라의 위치를 기초로 상기 위치에 대응되는 국경 막대(border rod) 또는 국경 전초기지(border outpost)의 가상 3D 모델을 증강할 수 있다.

또 다른 측면에 따르면, 상기 적어도 하나의 프로세서는, 상기 국경 객체의 프로토콜 맵(protocol map)을 상기 국경 객체 상에 증강할 수 있다.

또 다른 측면에 따르면, 상기 적어도 하나의 프로세서는, 국경 객체에 대한 찾기 서비스로서 상기 카메라의 위치가 사용자에 의해 삽입된 위치에 해당되는 경우 해당 위치의 국경 객체를 검색하여 상기 삽입된 위치에 상기 검색된 국경 객체의 가상 3D 모델을 증강할 수 있다.

또 다른 측면에 따르면, 상기 적어도 하나의 프로세서는, 국경선에 대한 표시 서비스로서 국경선의 점 위치 추출이 가능한 형식의 GIS 데이터를 이용하여 상기 국경선을 렌더링할 수 있다.

컴퓨터 시스템에서 수행되는 국경 관리 AR 서비스 방법에 있어서, 상기 컴퓨터 시스템은 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 국경 관리 AR 서비스 방법은, 상기 적어도 하나의 프로세서의 의해, 서로 다른 조직의 기관으로부터 국경(border)과 관련된 데이터 소스를 수집하는 단계; 및 상기 적어도 하나의 프로세서의 의해, 상기 데이터 소스를 이용하여 클라이언트의 카메라에 국경 정보를 렌더링하는 AR 서비스를 제공하는 단계를 포함하는 국경 관리 AR 서비스 방법을 제공한다.

본 발명의 실시예에 따르면, 국경 객체 지정, 국경선 표시 및 국경 객체 찾기를 포함하는 세 가지 AR 서비스를 포함한 국경 관리 AR 시스템을 제공함으로써 국경 관리 및 AR 시스템 통합의 효과를 평가하여 정보 검색 프로세스를 개선하여 활동의 효율성을 높일 수 있다.

본 발명의 실시예에 따르면, GIS 웹 서비스를 사용하여 상호 운용 가능한 방식으로 서로 다른 리소스의 정보를 통합하고 그 결과 국경 활동에 AR을 사용함에 따라 운영 비용을 절감하고 국경 현장에서 다양한 활동을 수행하는 데 필요한 정보에 효과적으로 액세스할 수 있다.

도 1은 본 발명의 일실시예에 따른 국경 관리 AR 시스템의 개발 및 연구 프로세스를 도시한 것이다.
도 2는 본 발명의 일실시예에 따른 국경 관리 AR 시스템의 사용 사례를 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 국경 관리 AR 시스템을 개념화한 도면이다.
도 4는 이란과 터키 사이의 접경 지역인 바자르간(Bazargan) 지역을 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 국경 관리 AR 시스템의 아키텍처를 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 국경 관리 AR 시스템의 시퀀스 다이어그램을 도시한 것이다.
도 7은 본 발명의 일실시예에 따른 국경 관리 AR 시스템에서 국경 객체의 정보를 시각화하는 알고리즘 예시를 도시한 것이다.
도 8은 본 발명의 일실시예에 따른 국경 관리 AR 시스템에서 국경막대(border rod)와 전초기지 위치를 도시한 화면 예시를 도시한 것이다.
도 9는 본 발명의 일실시예에 따른 국경 관리 AR 시스템에서 가상 국경막대를 찾는 서비스의 화면 예시를 도시한 것이다.
도 10은 본 발명의 일실시예에 따른 국경 관리 AR 시스템에서 국경선 서비스의 화면 예시를 도시한 것이다.
도 11은 본 발명의 일실시예에 따른 국경 관리 AR 시스템에서 국경막대 포인팅 예시를 도시한 것이다.
도 12는 본 발명의 일실시예에 따른 국경 관리 AR 시스템에서 사용되는 설문지 예시를 도시한 것이다.
도 13은 본 발명의 일실시예에 따른 국경 관리 AR 시스템에서 사용되는 설문지에 대한 참가자 응답 박스 플롯을 도시한 것이다.
도 14는 본 발명의 일실시예에 따른 국경 관리 AR 시스템을 구현하기 위한 컴퓨터 시스템의 예를 도시한 블록도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명의 실시예들은 증강현실 기반의 국경 관리를 수행하는 기술에 관한 것이다.

본 명세서에서 구체적으로 개시되는 것들을 포함하는 실시예들은 국경 객체 지정, 국경선 표시 및 국경 객체 찾기를 포함하는 세 가지 AR 서비스를 포함한 국경 관리 AR 시스템을 제공함으로써 국경 관리 및 AR 시스템 통합의 효과를 평가하고 정보 검색 프로세스를 개선하여 활동의 효율성을 높일 수 있다.

본 발명의 실시예들에 따른 국경 관리 AR 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 국경 관리 AR 서비스 방법은 국경 관리 AR 시스템에 포함되는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 이때, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 국경 관리 AR 서비스 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 국경 관리 AR 서비스 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.

도 1은 본 발명의 일실시예에 따른 국경 관리 AR 시스템의 개발 및 연구 프로세스를 도시한 것이다.

도 1은 문제 정의, 요구 사항 분석, 개념 설계, 개발, 및 평가를 포함하는 국경 관리 AR 시스템 설계 및 개발의 주요 5단계를 보여준다. 연구 지식을 습득하고 문제 영역을 이해하기 위한 개발 단계를 사용하여 국경 관리 AR 시스템의 주요 항목을 설계 및 적용하여 추가 개발할 수 있다.

첫 번째 단계(문제 정의)는 포괄적인 국경 관리 문제의 정의이다. 여기서는 국경 관리 시스템의 목표로 국경 필드에서 서로 다른 리소스의 국경에 액세스하고 통합하기 위한 문제들을 정의한다.

두 번째 단계(요구 사항 분석)는 현재 국경 관리 문제를 해결하기 위해 이전 단계에서 약술한 목표를 달성하기 위해 수행되는 요구 사항 분석이다. 문제 정의에 따르면, 각 조직의 데이터 소유권을 유지하여 조직의 데이터 소스를 통합해야 한다. 예를 들어, 낚싯대 번호, 다음 낚싯대, 이전 낚싯대 거리는 지리 조직과 지역 이름으로 저장된다. 국경 막대(국경 봉)(border rod)의 프로토콜 맵은 국경 막대를 모니터링하기 위해 통합되어야 하는 국경 경비 명령에 의해 저장된다. 국경 관리 AR 시스템의 설계 및 개발을 위해 다음 세 가지 중요한 시나리오가 고려된다.

1. 국경을 모니터링하기 위해서는 막대(rod)와 전초기지(outpost)를 포함하는 국경 피처의 공간 데이터 및 속성 데이터에 대한 액세스 권한이 필요하다.

2. 국경 피처가 손상되거나 파괴될 수 있으므로 이를 재구성해야 한다. 때로는 새로운 막대나 새로운 전초기지를 건설해야 할 수도 있다. 이러한 경우 객체와 객체의 실제 좌표를 찾아야 한다.

3. 두 나라 사이의 국경을 정의하는 국경선은 매우 중요하다. 왜냐하면 두 나라가 투쟁하는 이유 중 일부는 지상에서 이 국경선의 정확한 위치를 결정하기 때문이다. 따라서, 각 국가 활동의 지리적 국경을 결정하여 이웃 국가를 침범하지 않도록 국경선의 정확한 위치를 아는 것이 항상 필요하다.

세 번째(개념 설계)는 컨셉 디자인이다. 요구 사항에 따라 국경 관리 AR 시스템의 설계는 다음과 같다. 각 시나리오에 대해 3개의 AR 서비스가 국경 관리 AR 시스템에서 설계되며, 여기에는 국경 객체 가리키기, 국경 객체 찾기, 및 국경선 표시가 포함된다(도 2 참조). 이러한 서비스를 위해 GIS 웹 서비스 기술을 사용하여 상호 운용 가능한 방식으로 내무부, 지리 기관 및 국경 수비대 데이터 소스를 통합하여 공간 데이터 및 속성 데이터를 얻을 수 있다. 내무부는 국경 보안을 강화하기 위해 작업 국경 그룹을 조직하고 결정을 내릴 뿐만 아니라 국가의 공식 출입국, 국경 주민의 무역 교류를 포함한다. 지리 조직은 국경선, 막대, 관문, 전초기지 등 접경요소의 측량, 분계 및 공간정보를 관리한다. 국경경비 사령부(국경 수비대)는 육지와 바다의 국경을 물리적으로 통제하고 국경막대와 전초기지를 유지하며 국경주민들의 사무를 조직한다. 이러한 데이터 소스는 프로토타입 시스템에 대해 고려된다. 도 2는 사용 사례 다이어그램과 국경 관리 AR 시스템의 주요 구성요소를 보여준다.

본 발명에 따른 국경 관리 AR 시스템은 종이지도, 수치지도, 웹 GIS, 모바일 GIS 등 기존 GIS 시스템을 뛰어넘는 유비쿼터스 GIS(UGIS)를 기반으로 설계되어 사용 편의성과 상황인식 공간정보를 제공한다. 이전 세대의 국경 객체의 GIS 정보는 가상 공간(컴퓨터)에서 모델링하지만, 국경 객체의 컴퓨터 모델링 데이터가 UGIS에서 현실 세계와 결합되도록 국경 객체의 모델링이 변경된다. 이전 세대의 GIS 사용자는 가상 공간에서 국경 객체의 정보에만 액세스하고 관찰하므로 정보를 실제 세계와 일치시키기 위해 다른 도전을 시도한다. 따라서, UGIS는 GIS 기능을 적시 적소에 사용할 수 있게 하여 공간 데이터와 서비스에 부가 가치를 제공한다. AR은 문제 정의 단계에 포함된 국경관리 문제를 해결하기 위한 UGIS 시스템을 설계 및 개발하기 위해 본 실시예에서 적용한 UGIS 기술이다. 국경 관리 AR 시스템은 국경 영역의 올바른 위치에서 국경 객체의 올바른 정보에 액세스할 수 있도록 상황 인식 서비스를 제공할 수 있다. 도 3은 본 발명의 일실시예에 따른 국경 관리 AR 시스템을 개념화한 도면이다.

네 번째 단계(개발)에서는 선택된 소프트웨어, 하드웨어 및 프로그래밍 언어를 사용하여 국경 관리 AR 시스템을 구현할 수 있다. 이를 통해 기존의 AR 개발 키트/도구는 AR 시스템과 국경 관리를 통합하는 것으로 간주된다. 기존 AR 개발 키트/도구를 활용하고 적용함으로써 국경 관리에서 AR을 사용할 수 있도록 소프트웨어/하드웨어의 핵심 기능을 개발할 필요가 없다. 이를 통해 실무자가 국경 관리에서 직면하는 문제를 해결하기 위해 국경 관리 AR 시스템의 평가에 더 집중할 수 있다.

AR 어플리케이션 중 하나인 Wikitude의 NFT 방식은 최대 20m 떨어진 객체를 추적할 수 있으며 보안 문제로 인해 국경 객체 추적에 유리하다. 무료 및 상용 SDK로 제공되는 Wikitude는 HTML, JavaScript 및 CSS를 포함하여 이를 사용하는 웹 기술로 인해 여러 장치 및 운영 체제에 대한 교차 플랫폼 AR을 제공한다. Wikitude는 ARLab, iPhone ARToolkit, DroidAR, Layar, Metaio 및 PanicAR을 포함하는 다른 AR SDK에 비해 가장 광범위한 플랫폼을 지원한다. Android 및 iOS, Google Glasses, Blackberry 및 Windows Mobile 플랫폼을 지원한다. Wikitude의 모든 개발 기능은 소스 코드를 완전히 사용자 지정할 수 있는 AR 개발용 오픈 소스 소프트웨어 개발 키트(SDK)를 통해 사용할 수 있다. 이를 통해 개발자는 장면 인식 및 지리적 추적을 통해 가상 콘텐츠로 전체 실제 시나리오를 인식하고 증강할 수 있다. 국경 막대와 전초기지의 가상 3D 모델은 Agisoft 소프트웨어를 사용하여 .obj 형식으로 생성될 수 있다. Wikitude SDK에서 모델을 사용하기 위해 Wikitude 3D 인코더를 사용하여 .obj 모델을 WT3 형식으로 변환한다. 모바일 플랫폼은 본 발명에서 국경 관리 AR 시스템을 구현하고 평가하는 데 사용될 수 있다. Wikitude 및 웹 서비스를 사용하여 크로스 플랫폼에서 사용할 수 있으므로 Windows, Android 및 iOS 모바일 장치에서 시스템을 사용할 수 있다. 예를 들어, 프로토타입 시스템은 이란과 터키의 접경지역인 바자르간 지역을 평가하기 위해 개발된 것이다. 도 4는 바자르간 지역의 지도를 보여준다. 이를 달성하기 위해 국경 막대, 전초기지, 산 및 관문을 포함하는 지역 일부의 복제본이 만들어 사용한다. GIS 레이어를 포함하는 막대, 전초기지 및 선의 공간 데이터 및 속성 데이터는 여러 기관에서 수집될 수 있다. 국경 관리 AR 시스템을 구현하기 위해 예를 들어, PostGIS 데이터베이스, 지오 서버(Geo Server) 및 Android 스마트폰을 사용한다.

도 5는 본 발명의 일실시예에 따른 국경 관리 AR 시스템의 아키텍처를 도시한 것이다. 도 5는 국경 관리 AR 시스템의 전체 구조와 아키텍처를 나타내고 있다.

도 5를 참조하면, 국경 관리 AR 시스템(500)에서 필요한 국경 공간 데이터와 속성 데이터는 세 조직(내무부, 지리 조직, 국경경비 사령부)(50)에서 제공한다. 각 조직(50)에는 데이터가 저장되는 데이터베이스가 있다. 이 계층에서는 데이터 검색 및 업데이트를 포함하는 일부 데이터 관리 작업이 수행된다. 이 데이터 소스 레이어 위에는 표준 GIS 웹 서비스를 통해 데이터 소스에 대한 액세스를 제공하는 웹 서비스 레이어가 있다. 맵 서버는 애플리케이션 계층으로 작동하며 GIS 웹 서비스에서 요청한 클라이언트에 따라 필요한 정보를 가져온다. 그런 다음 이를 통합하여 클라이언트에 보낸다. 클라이언트 계층인 모바일 애플리케이션 계층은 사용자에게 AR 서비스를 제공하기 위해 모바일 AR 애플리케이션으로 구성된다. 이 레이어는 장치 데이터베이스에서 가져온 통합 정보 또는 가상 3D 모델이 사용자의 카메라에 렌더링되는 AR 인터페이스로 구성된다. NFT 추적을 구현하기 위해 대상 지역의 이미지를 수집하고 여기에는 국경 전초기지, 막대, 게이트 및 산과 같은 실제 기능 이미지가 포함된다. 이미지와 해당 설명자는 Wikitude에 저장된다. 사용자가 국경 관리 AR 시스템(500)의 AR 부분을 실행하면 AR 비디오의 각 프레임을 분석하여 카메라 위치를 얻을 수 있다. 이 위치는 데이터베이스에서 올바른 정보를 검색하는 데 사용된다. 정보 검색을 위해 해당 위치 주변의 공간 정보의 WFS 서비스에 액세스하기 위해 각 조직(50)의 서버에 요청을 보낸다. 각 기관의 지오 서버에서 GML 형식으로 다시 전송받은 공간 데이터를 통합하여 국경 객체의 올바른 정보를 AR 비디오의 프레임에 생성한다.

도 6은 본 발명의 일실시예에 따른 국경 관리 AR 시스템(500)의 시퀀스 다이어그램을 도시한 것이고, 도 7은 본 발명의 일실시예에 따른 국경 관리 AR 시스템(500)에서 국경 객체의 정보를 시각화하는 알고리즘 예시를 도시한 것이다.

도 6 및 도 7은 국경 관리 AR 시스템(500)이 국경 객체의 가상 정보를 시각화하는 방법을 나타내고 있다.

3가지 시나리오를 시뮬레이션하여 국경 필드에서 수행 활동을 용이하게 하기 위해 국경 관리 AR 시스템을 평가하기 위해 실험 연구를 설계한다. 국경 관리에서의 문제 정의에 따라 본 발명에서는 접경 현장에서 필요한 포괄적인 정보를 적소에 제공함으로써 AR 시스템과 국경 관리 시스템을 통합하는 국경 관리 AR 시스템(500)을 제안한다. 국경 관리 AR 시스템(500)은 국경선의 위치를 포함한 국경활동의 수행능력을 높이고, 필요한 정보에 접근할 수 있는 보다 간단하고 효율적인 도구를 제공함으로써 국경활동 수행능력을 높일 수 있다. 국경 지역에 익숙하지 않고 공간 지식이 없는 사용자를 포함하여 모든 사용자가 국경 객체에 대한 정보를 제공하고 서로 다른 데이터 소스를 통합하여 국경 객체에 대한 필수 정보에 대한 액세스를 향상시킬 수 있다. 실험 연구에서는 국경 관리 AR 시스템(500)이 다루는 세 가지 주요 사용 사례는 다음과 같다.

∴ 국경 객체의 정보는 무엇입니까? 참여자들은 막대 번호, 막대 프로토콜 맵, 국경 막대 객체의 막대 재질은 물론 전초기지 이름, 전초기지 시설, 국경표지판 개수 등을 찾도록 요청받는다. 이 시나리오는 국경 관리 AR 시스템을 통해 국경 막대를 가리켜 여러 소스에서 통합된 정보에 액세스하는 것을 평가할 수 있다.

∴ 국경 막대는 어디에 있습니까? 참가자들에게 땅에서 파괴된 국경 막대를 찾아 그 위치를 표시하도록 요청한다. 이 시나리오는 참가자가 미리 정의된 위치 근처에 있을 때 3D 가상 막대를 시각화하여 국경 객체의 서비스 찾기를 평가할 수 있다.

∴ 국경 막대가 우리 지역에 있습니까? 참가자들에게 국경막대가 있는 나라가 이란인지 터키인지 찾아보라고 요구한다. 이 시나리오는 국경선 서비스가 국경선을 용이하게 하고, 접경지역에서 활동하며, 결과적으로 두 나라 사이의 국경선을 지상에서 가시화함으로써 국가간 분쟁을 해결하는지를 평가하기 위해 고안된 것이다.

세 가지 작업을 수행하기 위해 참가자는 다음 단계를 수행해야 한다. 먼저, 계정을 만들어야 한다. 그런 다음, 사용자 프로필 구성을 구성하고 사용 가능한 국경 관리 서비스 목록이 표시된 화면에서 원하는 서비스를 선택한다. 실험 연구를 수행하기 위해 인구 그룹에는 교통 유지 관리 및 교통 조직, 에너지부, 내무부, 지리 조직, 국경 수비대 사령부 및 학술 대학을 포함하는 조직의 전문가가 포함된다.

이러한 실험 평가는 (i) 국경 관리 AR 시스템의 기능을 소개하고 연구 영역의 사례를 모든 참가자에게 보여주는 프레젠테이션, (ii) 각 참가자가 시스템을 검사하는 4단계로 진행된다. 국경 관리 AR 시스템에서 다루는 사용 사례를 수행하기 위해, (iii) 참가자는 시스템 성능의 여러 측면을 평가하여 피드백을 반영하기 위해 설문지를 작성하도록 요청하며, 마지막으로 (iv) 참가자와의 인터뷰를 수행한다.

PSSUQ(Post-Study System Usability Questionnaire)는 국경 관리 AR 애플리케이션에 대한 참가자 피드백을 측정하는 데 사용된다. 설문지를 완성하기 위해 참가자들은 국경 관리 AR 시스템의 피드백에 대한 각 질문을 1에서 7까지의 척도로 평가하도록 요청받는다.

모델링된 바자르간의 세 가지 서비스에 대한 서비스 화면 예시는 도 8 내지 도 11과 같다.

도 8은 국경막대와 전초기지가 가리키는 이미지를 보여준다. 사용자가 국경선과 전초기지를 가리키면 카메라의 위치 계산 후 WFS 서비스를 사용하여 세 기관에서 GML 데이터를 검색하고 통합한다. 세 조직(내무부, 지리 조직, 국경경비 사령부)에는 사용자가 첫 번째 사용 사례를 수행하는 데 필요한 모든 국경막대 및 전초기지 정보가 있다.

도 9는 가상 국경 막대를 찾는 서비스의 캡처 이미지를 보여준다. 사용자는 두 번째 사용 사례를 수행하기 위해 가상 국경 막대 찾기 서비스가 필요하다. 가상 국경 막대 찾기 서비스를 실행하기 위해 사용자는 파괴된 국경 막대의 위치를 삽입한다. 그 후 사용자가 해당 위치 근처에 위치하면 모바일 데이터베이스에서 국경 막대의 3D 모델을 검색한다. 그러면, 사용자가 삽입한 위치에 검색된 국경 막대의 3D 모델이 증강된다.

도 10는 국경선 서비스의 캡처 이미지를 보여준다. 국경선 서비스는 세 번째 사용 사례를 수행하는 데 필요하다. 국경선 서비스에서는 WFS 서비스를 사용하여 지리 조직(Geographic Organization)에서 검색한 선 GIS 데이터를 기반으로 이란과 터키의 국경선을 렌더링할 수 있다. 데이터는 국경선의 점 위치 추출이 가능한 GML 형식을 포함한다. 국경선이 확장된 후 사용자는 이란 또는 터키 중 국경 막대가 어디에 있는지 인식할 수 있다.

도 11 (a)는 국경 관리 AR 시스템의 잠재력을 테스트하기 위해 실외 환경에서 국경 막대를 가리키고 찾는 모습을 보여준다. 국경 막대 포인팅 시 프로토콜 맵이 국경 객체 상에 증강될 수 있다. 도 11 (b)는 AR 기반 국경 찾기 서비스를 사용하여 실제 세계에서 사전 정의된 위치에 가상 국경이 위치했음을 보여준다.

도 12는 본 발명의 일실시예에 따른 국경 관리 AR 시스템에서 사용되는 설문지 예시를 도시한 것이고, 도 13은 본 발명의 일실시예에 따른 국경 관리 AR 시스템에서 사용되는 설문지에 대한 참가자 응답 박스 플롯을 도시한 것이다.

질문 번호 10~25에 대한 참가자의 응답은 박스 플롯은 도 13에 도시되어 있다. 결과에 따르면 대다수의 참가자가 시스템이 쉽고 간단하며 사용하기 편하다고 생각한다(Q.10, Q.11, Q.13). 배우기 쉬운 시스템(Q.14), 생산적(Q.15), 효과적이고 명확한 정보 제공(Q.18, Q.19, Q.20), 명확하고 쾌적한 인터페이스 제공(Q. 21, Q.22, Q.23), 양의 왜도(positive skew)와 중간값 약 2로 국경 관리(Q.12) 업무를 신속하게 완료할 수 있는 기능을 담았다. 참가자의 AR 및 국경 활동 수행 경험은 시스템의 배우기 쉬운 기능(Q.14)과 중간 정도의 양의 상관 관계를 보인다. 이러한 결과는 본 발명에 따른 국경 관리 AR 시스템이 국경 관리에 유용함을 나타냄을 알 수 있다.

도 14는 본 발명의 일실시예에 따른 국경 관리 AR 시스템을 구현하기 위한 컴퓨터 시스템의 예를 도시한 블록도이다.

도 14는 본 발명의 일실시예에 따른 컴퓨터 시스템의 예를 도시한 블록도이다. 본 발명에 따른 국경 관리 AR 시스템은 도 14와 같이 구성된 컴퓨터 시스템(1400)에 의해 구현될 수 있다.

도 14에 도시된 바와 같이 컴퓨터 시스템(1400)은 본 발명의 실시예들에 따른 국경 관리 AR 서비스 방법을 실행하기 위한 구성요소로서, 메모리(1410), 프로세서(1420), 통신 인터페이스(1430) 그리고 입출력 인터페이스(1440)를 포함할 수 있다.

메모리(1410)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(1410)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 시스템(1400)에 포함될 수도 있다. 또한, 메모리(1410)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(1410)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(1410)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(1430)를 통해 메모리(1410)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(1470)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 시스템(1400)의 메모리(1410)에 로딩될 수 있다.

프로세서(1420)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(1410) 또는 통신 인터페이스(1430)에 의해 프로세서(1420)로 제공될 수 있다. 예를 들어 프로세서(1420)는 메모리(1410)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

통신 인터페이스(1430)는 네트워크(1470)를 통해 컴퓨터 시스템(1400)이 다른 장치와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 시스템(1400)의 프로세서(1420)가 메모리(1410)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(1430)의 제어에 따라 네트워크(1470)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(1470)를 거쳐 컴퓨터 시스템(1400)의 통신 인터페이스(1430)를 통해 컴퓨터 시스템(1400)으로 수신될 수 있다. 통신 인터페이스(1430)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(1420)나 메모리(1410)로 전달될 수 있고, 파일 등은 컴퓨터 시스템(1400)이 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.

통신 방식은 제한되지 않으며, 네트워크(1470)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들 간의 근거리 유선/무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(1470)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(1470)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.

입출력 인터페이스(1440)는 입출력 장치(1450)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드, 카메라 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(1440)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(1450)는 컴퓨터 시스템(1400)과 하나의 장치로 구성될 수도 있다.

또한, 다른 실시예들에서 컴퓨터 시스템(1400)은 도 14의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 시스템(1400)은 상술한 입출력 장치(1450) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 각종 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.

이처럼 본 발명의 실시예들에 따르면, 국경 객체 지정, 국경선 표시 및 국경 객체 찾기를 포함하는 세 가지 AR 서비스를 포함한 국경 관리 AR 시스템을 제공함으로써 국경 관리 및 AR 시스템 통합의 효과를 평가하여 정보 검색 프로세스를 개선하여 활동의 효율성을 높일 수 있다. 또한, 본 발명의 실시예에 따르면, GIS 웹 서비스를 사용하여 상호 운용 가능한 방식으로 서로 다른 리소스의 정보를 통합하고 그 결과 국경 활동에 AR을 사용함에 따라 운영 비용을 절감하고 국경 현장에서 다양한 활동을 수행하는 데 필요한 정보에 효과적으로 액세스할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

컴퓨터 시스템으로 구현되는 국경 관리 AR(augmented reality) 시스템에 있어서,
메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서는,
서로 다른 조직의 기관으로부터 국경(border)과 관련된 데이터 소스를 수집하는 과정; 및
상기 데이터 소스를 이용하여 클라이언트의 카메라에 국경 정보를 렌더링하는 AR 서비스를 제공하는 과정
을 처리하는 국경 관리 AR 시스템.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
GIS(geographic information system) 웹 서비스를 통해 내무부(Ministry of Interior), 지리 기관(Geographic Organization), 및 국경 수비대(Border Guard Command)의 데이터 소스를 통합하여 국경과 관련된 공간 데이터(spatial data)와 속성 데이터(attribute data)를 획득하는 것
을 특징으로 하는 국경 관리 AR 시스템.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 국경 정보로서 국경 막대(border rod), 국경 전초기지(border outpost), 및 국경선(border line) 중 적어도 하나의 가상 3D 모델을 렌더링하는 것
을 특징으로 하는 국경 관리 AR 시스템.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
UGIS(ubiquitous geographic information system)를 기반으로 상황인식 공간정보(context-aware spatial information)로서 상기 국경 정보에 대한 모델링을 제공하는 것
을 특징으로 하는 국경 관리 AR 시스템.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
국경 객체에 대한 포인팅 서비스(pointing service), 국경 객체에 대한 찾기 서비스(locating service), 및 국경선에 대한 표시 서비스(showing service)를 포함하는 AR 서비스를 제공하는 것
을 특징으로 하는 국경 관리 AR 시스템.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
상기 카메라의 위치를 계산한 후 상기 계산된 위치를 이용하여 각 기관의 데이터베이스에서 상기 데이터 소스를 검색하고,
상기 검색된 데이터 소스를 이용하여 상기 국경 정보를 AR 영상의 프레임에 생성하는 것
을 특징으로 하는 국경 관리 AR 시스템.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
국경 객체에 대한 포인팅 서비스로서 상기 카메라의 위치를 기초로 상기 위치에 대응되는 국경 막대(border rod) 또는 국경 전초기지(border outpost)의 가상 3D 모델을 증강하는 것
을 특징으로 하는 국경 관리 AR 시스템.
제7항에 있어서,
상기 적어도 하나의 프로세서는,
상기 국경 객체의 프로토콜 맵(protocol map)을 상기 국경 객체 상에 증강하는 것
을 특징으로 하는 국경 관리 AR 시스템.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
국경 객체에 대한 찾기 서비스로서 상기 카메라의 위치가 사용자에 의해 삽입된 위치에 해당되는 경우 해당 위치의 국경 객체를 검색하여 상기 삽입된 위치에 상기 검색된 국경 객체의 가상 3D 모델을 증강하는 것
을 특징으로 하는 국경 관리 AR 시스템.
제1항에 있어서,
상기 적어도 하나의 프로세서는,
국경선에 대한 표시 서비스로서 국경선의 점 위치 추출이 가능한 형식의 GIS 데이터를 이용하여 상기 국경선을 렌더링하는 것
을 특징으로 하는 국경 관리 AR 시스템.
컴퓨터 시스템에서 수행되는 국경 관리 AR 서비스 방법에 있어서,
상기 컴퓨터 시스템은 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
상기 국경 관리 AR 서비스 방법은,
상기 적어도 하나의 프로세서의 의해, 서로 다른 조직의 기관으로부터 국경(border)과 관련된 데이터 소스를 수집하는 단계; 및
상기 적어도 하나의 프로세서의 의해, 상기 데이터 소스를 이용하여 클라이언트의 카메라에 국경 정보를 렌더링하는 AR 서비스를 제공하는 단계
를 포함하는 국경 관리 AR 서비스 방법.
제11항에 있어서,
상기 수집하는 단계는,
GIS(geographic information system) 웹 서비스를 통해 내무부(Ministry of Interior), 지리 기관(Geographic Organization), 및 국경 수비대(Border Guard Command)의 데이터 소스를 통합하여 국경과 관련된 공간 데이터(spatial data)와 속성 데이터(attribute data)를 획득하는 단계
를 포함하는 국경 관리 AR 서비스 방법.
제11항에 있어서,
상기 제공하는 단계는,
상기 국경 정보로서 국경 막대(border rod), 국경 전초기지(border outpost), 및 국경선(border line) 중 적어도 하나의 가상 3D 모델을 렌더링하는 단계
를 포함하는 국경 관리 AR 서비스 방법.
제11항에 있어서,
상기 제공하는 단계는,
국경 객체에 대한 포인팅 서비스(pointing service), 국경 객체에 대한 찾기 서비스(locating service), 및 국경선에 대한 표시 서비스(showing service)를 포함하는 AR 서비스를 제공하는 단계
를 포함하는 국경 관리 AR 서비스 방법.
제11항에 있어서,
상기 제공하는 단계는,
상기 카메라의 위치를 계산한 후 상기 계산된 위치를 이용하여 각 기관의 데이터베이스에서 상기 데이터 소스를 검색하는 단계; 및
상기 검색된 데이터 소스를 이용하여 상기 국경 정보를 AR 영상의 프레임에 생성하는 단계
를 포함하는 국경 관리 AR 서비스 방법.