KR20210025769A - 증강현실 기반 관람 가이드 서비스 방법 - Google Patents

Abstract

본 발명은 콘텐츠 관리 서버와, 무선 통신에 의해 데이터를 송수신하며 증강현실 디스플레이를 포함하는 사용자 착용형 디바이스로 구성되어, 전시장을 방문한 이용객에게 관람 가이드 서비스를 제공하는 방법으로서, 상기 서버에 작품 관련 콘텐츠를 등록하고 상기 전시장에 관련된 위치 정보와 함께 저장하는 단계, 상기 서버로부터 작품 관련 콘텐츠 정보 및 상기 전시장 관련 위치 정보를 수신하여 상기 디바이스에 저장하는 단계, 이용객이 상기 디바이스를 착용한 상태에서 사용자 정보를 입력하고 메뉴를 선택하는 단계, 이용객의 위치 이동이나 디바이스에서 사용자 선택에 따라 위치 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계, 이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 관람 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계, 작품 관련 정보의 안내가 완료되거나 이용객의 전시장 내 위치 이동 또는 디바이스에서 사용자 선택에 따라 디바이스의 카메라로 스캔하는 단계가 진행되거나 위치 정보 안내 모드로 전환하는 단계를 포함하는 증강현실 기반 관람 가이드 서비스 방법을 제공한다.

Description

증강현실 기반 관람 가이드 서비스 방법 {AR based guide service for exhibition}

본 발명은 박물관이나 전시장의 관람 가이드 서비스에 관한 것으로서, 상세하게는 사용자 착용형 디바이스를 통해 증강현실 디스플레이로 관람 정보를 안내하는 새로운 방법을 제안한다.

박물관이나 미술관, 박람회 등의 전시장에서는 전시된 작품의 이해를 돕기 위하여 간단한 설명을 부가하여 전시하거나 전문 해설사, 가이드, 큐레이터의 안내를 통해 방문객들이 전시 작품을 쉽게 이해하고 해당 전시장을 즐길 수 있도록 배려하고 있다.

전시장에서 작품이나 전시품 등에 대한 설명서 내지 카탈로그를 통해 정보를 습득하는 것은 이용객의 연령이나 수준에 따라 차이가 있고, 전시장에서 인적 가이드가 직접 안내하는 서비스를 제공받기 위해서는 가이드 진행 시간에 맞추어 전시장을 방문해야 하고 가이드의 안내에 따라 동선과 시간이 제약되는 불편함이 있다.

전시장에서 작품을 직접 관람하면서 작품과 관련된 정보를 이용자 입장에서 실시간으로 편하게 전달받기 위해서는 별도의 서비스 수단이 요구된다. 기존의 미술관 등에서는 오디오 기기를 이용하여 작품 내용에 대한 음성 서비스를 제공하였다. 예를 들어, 공개특허 10-2010-0131156호에 따르면, 각종 전시물에 대한 설명정보를 관람자단말기를 통해 출력하는 관람자 단말기 및 전시물 정보 안내 방법을 제안하였으며, 구체적으로 외부에서 전시물 설명정보를 블루투스 통신방식으로 제공받아 음성 출력하는 관람자단말기, 및 전시물 주변에 인접하여 설치되어 상기 관람자단말기가 통신이 가능한 범위 내에 근접하면 해당 전시물에 대한 설명정보를 외부에 요청하여 수신하고, 수신된 설명정보를 블루투스 통신방식을 통해 관람자단말기로 송출하는 전시물정보송출기를 포함하고 있다. 이러한 전시물 정보 안내 방법은 음성정보 출력에만 국한되고, 관람자단말기에 콘텐츠 데이터가 저장되지 않아 통합적인 가이드 서비스 시스템을 구축하기에 한계가 있다.

한편, 공개특허 10-2016-0150446호에 따르면, 관광, 전시, 박물관 또는 박람회장 등에서 사용자의 각각의 위치에 매칭되는 서로 다른 안내정보가 출력되도록 하여 효과적으로 관광, 전시, 박물관 또는 박람회장의 이용을 위한 것으로서, 핸드폰 등의 사용자 단말기에 다운 로드된 미리 정한 앱(Application)과 비콘(beacon)을 포함하는 무선장치 간의 동작에 의거, 관광, 전시, 박물관 또는 박람회장에서 사용자와 함께 이동되는 상기 단말기의 현재 위치를 확인하고, 확인된 위치에 대응되는 적절한 안내정보를 출력하기 위한 장치 및 방법을 제안하고 있다. 이 기술은 사용자의 위치에 따라 안내 정보를 다르게 출력한다는 점에서 사용자 편의성이 향상되었지만, 위치 확인을 위한 비콘 설치, 해당 위치의 작품 정보 등을 안내받기 위해 개별적인 앱 데이터를 사용자가 직접 단말기에 다운로드받아야 하는 불편이 있으며, 사용자로부터 동일하거나 유사한 위치에 복수의 작품이 전시되어 있는 경우 해당 정보의 선택적인 출력이 어렵다는 단점이 있다.

종래의 기술들은 전시장 입장에서 정보 서비스를 음성적인 방법으로 또는 단말기를 통해 제공되는 안내 정보로 국한되며, 전시장 방문객의 방문 시간이나 전시장 내의 이동 동선 등을 고려하여 보다 사용자 친화적인 가이드 서비스를 제공하기에 한계가 있다. 특히, 이용객의 시선을 감안하여 실시간으로 전시 작품에 대한 가이드 서비스를 제공하는 것이 불가능하다.

전시를 통한 예술 작품이나 산업 개발품의 이해를 돕고 전시 서비스의 수준을 향상시키기 위해서는 이용객 입장에서 작품 안내가 진행되는 한편, 이용객의 작품 감상을 방해하지 않으면서 실시간으로 가이드 서비스가 제공될 필요가 있다.

본 발명은 전술한 기술적 배경하에서 창안된 것으로, 본 발명의 목적은 인적 가이드 없이도 이용객의 입장에서 전시장의 작품 정보에 대한 가이드 서비스를 제공하는 것이다.

본 발명의 다른 목적은 이용객의 관람 행위를 방해하지 않으면서, 복수의 이용객들에 대해서도 각 이용객들의 동선이나 시선을 고려하여 개별적인 가이드 서비스를 제공하는 것이다.

본 발명의 또 다른 목적은 복수의 전시장에 대한 전시 작품 관련 콘텐츠 정보의 관리가 가능하고, 이용객을 위한 착용형 무선통신 단말기를 통해 이용자 관람 기호 관련 데이터의 교환이 용이한 관람 가이드 서비스 방법을 제공하는 것이다.

기타, 본 발명의 또 다른 목적 및 기술적 특징은 이하의 상세한 설명에서 보다 구체적으로 제시될 것이다.

상기 목적을 달성하기 위하여, 본 발명은 미술관, 박물관, 박람회, 전시회 등의 전시장에 전시된 작품과 관련된 콘텐츠 정보를 관리하는 콘텐츠 관리 서버와, 이 서버와 무선 통신에 의해 데이터를 송수신하며 증강현실 디스플레이를 포함하는 사용자 착용형 디바이스로 구성되어, 전시장을 방문한 이용객에게 관람 가이드 서비스를 제공하는 방법으로서, 상기 콘텐츠 관리 서버에 작품 관련 콘텐츠를 등록하고 상기 전시장에 관련된 위치 정보와 함께 데이터베이스1 에 저장하는 단계, 상기 서버로부터 작품 관련 콘텐츠 정보 및 상기 전시장 관련 위치 정보를 수신하여 상기 디바이스의 데이터베이스2 에 저장하는 단계, 전시장에 방문한 이용객이 상기 디바이스를 착용한 상태에서 사용자 정보를 입력하고 메뉴를 선택하는 단계, 이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 위치 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계, 이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 관람 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계로서, a) 전시장 내 전시된 작품을 상기 디바이스의 카메라로 스캔하는 단계, b) 카메라를 통해 실시간으로 입력되는 이미지를 분석하여 기등록된 작품 데이터가 포함되어 있는지 여부를 확인하며, 해당 작품이 존재하면 스캔을 중지하는 단계, 및 c) 상기 디바이스의 디스플레이에 스캔 된 작품과 관련한 정보를 증강현실적으로 출력하는 단계, 작품 관련 정보의 안내가 완료되거나 이용객의 전시장 내 위치 이동 또는 디바이스에서 사용자 선택에 따라 디바이스의 카메라로 스캔하는 단계가 진행되거나 위치 정보 안내 모드로 전환하는 단계를 포함하며, 상기 작품 정보 안내 모드에서 디바이스의 카메라를 통해 인식되는 스캔 정보는 미리 등록된 정보에 한정되며, 디바이스의 디스플레이에 증강현실적으로 출력되는 작품 관련 정보는 스캔된 작품을 설명하는 텍스트, 이미지, 또는 음성 자료를 포함하는 것을 특징으로 하는 증강현실 기반 관람 가이드 서비스 방법을 제공한다.

본 발명에 있어서, 상기 콘텐츠 관리 서버는 작품 관련 콘텐츠에 대해 등록 및 수정하는 과정을 통해 콘텐츠 데이터베이스 버전을 생성하고, 콘텐츠 버전을 기준으로 상기 디바이스 내 데이터베이스2 와 비교하여 최신 콘텐츠 정보가 업데이트되도록 상기 디바이스의 데이터베이스2 를 상기 서버의 데이터베이스1 과 주기적으로 동기화시키는 것이 바람직하다.

또한, 본 발명에 있어서, 상기 위치 정보 안내 모드에서 디바이스는 센서를 통해 이용객의 위치를 파악하고, 데이터로 기등록된 위치 정보들을 디바이스의 디스플레이에 증강현실적으로 출력하고, 이용객과 해당 위치와의 거리 및 바라보는 방향에 따른 각도를 계산하여 거리 및 방향에 따라 서로 다른 그래픽으로 디스플레이에 시각화할 수 있다.

상기 사용자 착용형 디바이스는 통신부, 메모리, 카메라, 증강현실 디스플레이, GPS와 나침반 또는 자이로를 포함하는 센서부를 포함한다.

또한, 상기 콘텐트 관리 서버는 사용자 기호 정보 분석부를 더 포함하고, 상기 디바이스는 사용자 기호 정보 관리부를 더 포함하며, 디바이스의 관람 정보 안내 모드를 통해 이루어진 이용객의 개인 정보 및 관람 이용 정보를 사용자 기호 정보 관리부에서 수집하고 사용자 기호 정보 분석부로 전송하여 이용객의 관람 관련 정보를 분석할 수 있다.

본 발명에 따르면, 증강 현실을 통해 실제 관람 대상 콘텐츠와 병행하여 가이드 서비스를 실시간으로 제공할 수 있고, 스마트 글래스 등 디스플레이와 사운드 기능이 포함된 사용자 착용형 디바이스를 이용함으로써 인적 가이드가 직접 관람객과 동행하지 않더라도 이용자 맞춤형 관람 가이드 서비스를 구현할 수 있다.

이와 같은 가상의 가이드 서비스는 미술관이나 각종 박물관은 물론, 역사 전시장, 신제품 박람회 등 다양한 전시 행사에 효과적으로 활용될 수 있다.

본 발명의 관람 가이드 서비스를 통해, 박물관 등 전시장 이용객들은 단일 가이드의 설명에 좇아 수동적으로 이동하며 관람을 진행할 필요가 없으며, 이용객들의 개인 선호도에 따라 자유롭게 편하게 관람을 즐길 수 있게 된다. 또한, 박물관 등 각종 전시장에서는 가이드 없이도 이용객들의 만족도를 증가시킬 수 있으며, 전시장 운영을 자유롭게 관리하는데 도움을 받을 수 있다.

도 1은 본 발명의 가이드 서비스를 위한 장치 구성을 보인 모식도
도 2는 본 발명의 가이드 서비스 단계를 보인 순서도
도 3은 콘텐츠 관리 서버의 구성도
도 4a 및 4b는 디바이스의 일례를 보인 모식도 및 디바이스 구성도
도 5는 디바이스에서 메인 인터페이스 화면를 보인 사진
도 6은 디바이스에서 위치 정보 안내 모드 화면을 보인 사진
도 7은 디바이스에서 관람 정보 안내 모드의 스캔 과정을 보인 사진
도 8은 등록된 콘텐츠와 일치 여부 확인 과정을 보인 사진
도 9는 관람 정보 가이드 화면을 보인 사진
도 10은 구체적인 관람 정보를 서비스하는 화면을 보인 사진

본 발명은 증강현실(AR) 디스플레이가 가능한 사용자 착용형 디바이스를 이용한 증강현실 기반 실내 또는 실외 관람 가이드 서비스 방법에 관한 것이다.

구체적으로, 정해진 공간 내 미리 등록된 작품들에 대한 정보와 주변 위치 정보를 증강현실 화면으로 제공하는 무인 관람 가이드로서, 주변 위치 정보와 실내외 작품 정보에 관련된 관람 정보를 주변 위치 정보 안내 모드와 관람 정보 안내 모드로 구현할 수 있는 새로운 관람 가이드 서비스 시스템과 방법을 제안한다.

도 1은 본 발명의 가이드 서비스를 위한 장치 구성을 보인 것으로, 미술관, 박물관, 박람회, 전시회 등의 전시장에 전시된 작품과 관련된 콘텐츠 정보를 관리하는 콘텐츠 관리 서버(100)와, 이 서버와 무선 통신에 의해 데이터를 송수신하며 증강현실 디스플레이를 포함하는 사용자 착용형 디바이스(200)로 구성되며, 디바이스는 이용객의 수에 따라 복수의 장치가 개별적으로 서버와 통신할 수 있다.

전시장을 방문한 이용객에게 관람 가이드 서비스를 제공하는 방법에 관하여 도 2를 참조하면, 다수의 관람형 사물이 존재하는 정해진 공간, 예를 들어 미술관, 박물관 등에서 이용 가능한 서비스로서, 콘텐츠 관리 서버에 의해 가이드 서비스에 필요한 콘텐츠 및 관련 정보들을 미리 등록한다(단계 S110). 정보 등록 프로세스에는 전시된 작품 관련 정보 이외에도 전시장의 시설물이나 전시장 주변의 위치 정보를 등록하는 것이 포함된다.

스마트 글래스 등을 포함하는 가이드용 사용자 착용형 디바이스는 일정 주기마다 서버를 통해 데이터를 최신으로 동기화하게 되며(단계 S120), 통신환경이 좋지 않은 경우를 방지하기 위해 가이드 서비스가 이루어질 때는 서버의 데이터를 사용하지 않고 디바이스 내 저장된 데이터를 이용하는 것이 바람직하다. 전시장을 방문한 이용객이 착용하게 되는 디바이스는 이용객에 대한 관람 가이드 서비스를 진행할 때 사용자 정보를 입력하는 단계와 가이드 메뉴를 선택하는 단계가 포함될 수 있다(단계 S130). 디바이스를 통해 증강현실적으로 안내되는 가이드로는 전시장 주변 위치 정보 안내 모드와 전시장 내 작품 관련된 관람 정보 안내 모드가 제공되며, 최신 업데이트된 데이터를 기반으로 각 안내 모드에서의 정보를 출력하게 된다.

위치 정보 안내 모드에서 디바이스의 gps센서 및 중력 가속도, 나침반, 자이로 센서를 이용하여 현재 사용자 위치를 파악하고, 데이터로 기 등록된 주변 정보들을 디바이스에 출력하여 제공할 수 있다(단계 S140). 이 과정에서 이용객과 해당 위치의 시설물과의 거리와 바라보는 방향에 따른 각도를 계산하여 수치화된 그래픽으로 디스플레이 화면에 출력할 수 있으며, 예를 들어 거리에 따라 크기가 다르게 시각화할 수 있다. 주변 위치 정보로는 서비스 대상의 주요 시설이 되거나 주변 대표 관광지 등이 될 수 있는데, 실제 위치(경도, 위도로 확인 가능한 위치)가 존재하는 모든 대상을 등록하여 위치 정보 안내 모드에 이용할 수 있다.

전시된 작품 관련 관람 정보 안내 모드에서는 디바이스의 카메라를 사용하여 사물을 스캔하여 인식하며(단계 S150), 이때 스캔 정보는 미리 관리 서버에 의해 등록된 정보들에 한정한다. 작품 스캔 데이터는 인식할 대상을 정면으로 바라보거나 관람 하기 편한 위치(거리)와 각도에서 촬영한 디지털 이미지에 해당하며, 관리 서버에 의해 등록된 작품 관련 정보에는 스캔 대상 작품 관련 데이터 뿐만 아니라, 해당 작품과 관련하여 가이드 서비스에 이용될 다양한 형태의 자료(텍스트, 음성, 이미지 등)를 포함할 수 있다. 디바이스의 카메라는 ‘작품 정보 안내 모드’가 활성화되어 있는 동안 실시간으로 장면을 분석하여 관리자가 등록한 스캔 데이터가 포함되어 있는지 여부를 계속 확인하게 되며, 해당 작품 정보가 존재할 경우 대상의 ID값을 전송하여 스캔을 중지한다. 스캔이 중지된 후, 작품 정보를 포함한 안내 모드가 활성화되어 가이드 정보가 디스플레이되는데(단계 S160), 출력 화면의 구성으로는 예를 들어 대상 작품(스캔 데이터)을 중심으로 가상의 3D 인터페이스를 생성하며, 텍스트와 음성, 이미지 등의 형태로 작품과 관련된 부가 정보를 디스플레이에 증강현실적으로 출력할 수 있다.

작품 안내가 종료되거나 사용자의 조작에 의해 취소되면, 서비스는 다음 작품을 안내하기 위해 카메라에 의해 작품 정보를 계속 스캔하게 된다.

이하에서는 콘텐츠 관리서버와 디바이스의 기술적 구성 요소에 대해 보다 구체적으로 설명한다.

콘텐츠 관리 서버(100)는 콘텐츠 관련 정보 등록 및 업데이트, 디바이스와 데이터베이스 송수신 및 주기적 동기화를 위한 장치로서 디바이스와는 원격으로 설치되어 무선 통신 등에 의해 데이터를 주고받게 된다.

도 3을 참조하면, 콘텐츠 관리 서버(100)의 주요 구성으로는 콘텐츠 관리부(110), 통신부(120), 사용자 정보 기호 분석부(130)를 포함한다. 콘텐츠 관리부는 관람 가이드 서비스의 콘텐츠를 관리하는 기본 시스템으로서 데이터베이스(데이터베이스1)(114)가 포함된 웹서버에 구축될 수 있고, 관리자 페이지(112)를 통해 서비스 관리자가 박물관 등의 작품과 관련된 콘텐츠의 등록 및 수정 등 유지보수를 수행할 수 있다.

콘텐츠 관리부는 후술하는 디바이스의 메인 인터페이스와 무선 통신으로 연결되어 데이터를 주고받을 수 있으며, 콘텐츠 관리 서버의 최신 콘텐츠 데이터를 디바이스 내 데이터베이스(데이터베이스2)로 다운로드하여 정기적으로 업데이트 하게 된다. 또한, 콘텐츠 관리부는 박물관 등 실제 현장에서 사용자가 착용한 디바이스를 통해 가이드 서비스가 진행되는 과정에서 디바이스 내 데이터베이스에 누적된 사용자 이용 관련 데이터를 서버의 콘텐츠 관리부로 업로드하여 사용자 기호 정보 분석부에 사용될 수 있도록 데이터베이스에 저장한다. 웹 페이지 기반의 관리자 페이지를 통해 위치 정보 안내 모드 및 관람 정보 안내 모드에 필요한 콘텐츠를 등록하거나 수정 또는 삭제하는 등 콘텐츠 전반적인 관리를 할 수 있다.

콘텐츠 관리부에 박물관 등의 작품 정보와 관련된 콘텐츠들의 '데이터베이스 버전'이 생성된 후에는 해당 데이터베이스 버전의 넘버링을 기준으로 디바이스 내 데이터베이스와 버전을 비교하여 최신 콘텐츠 데이터가 업데이트 되도록 한다. 관리자 웹페이지는 디바이스의의 콘텐츠 관리뿐만 아니라 서비스에 필요한 전반적인 이용 관리를 포함하는 기능들로 구성되며 서비스되는 대상(미술관 및 박물관 등)마다 별도로 독립된 형태로 구축될 수 있다.

상기 사용자 기호 정보 분석부에서 사용자 정보/기호는 후술하는 디바이스의 관람 정보 안내 모드를 통해 이루어진 사용자의 이용 정보를 데이터화한 것으로, 구체적인 사용자 이용 정보로는 관람 가이드 서비스 이용자의 성별, 나이, 지역, 관람 스캔 대상, 반복 스캔 횟수, 단일 관람 지속 시간, 전체 서비스 이용 시간, 관람 순서, 사용자 조작 정보, 관람 이용 정보의 형태 등이 포함될 수 있다. 사용자 기호 정보 분석을 통해 일별, 주별, 월별, 분기별 등 다양한 주기별로 이용자 패턴 정보를 학습하고, 이를 바탕으로 전시 작품(콘텐츠)에 따른 이용객의 기호 정보 및 콘텐츠 유형별 데이터를 통해 선호하는 콘텐츠 소비에 대한 예측이 가능하게 된다.

관람 가이드 서비스용 디바이스(200)는 스마트 글래스 등 사용자 착용형 무선통신기기로서 박물관이나 전시장의 실제 현장을 육안으로 확인할 수 있는 투명창을 포함하며, 이 투명창에는 가상의 이미지가 출력되는 증강현실 디스플레이가 포함된다. 관람 가이드 서비스용 디바이스로는 무선통신 및 디스플레이 제어용 본체와 디스플레이용 투명 안경을 포함하는 스마트 글래스 이외에도, 본체와 투명창이 일체화된 고글형 디바이스나 헤드셋형 디바이스가 이용될 수도 있다.

도 4a는 가이드 서비스를 위한 사용자 착용형 디바이스로서 스마트 글래스의 일례를 보인 것으로, 사용자의 머리에 안경식으로 착용하는 헤드셋(200a)과 컨트롤러 본체(200b)를 포함하고 있다. 헤드셋과 본체는 전기적으로 상호 연결되어 있으며, 본체는 외부 기기와 무선통신이 가능하고 헤드셋의 디스플레이를 제어할 수 있다.

상기 디바이스는 콘텐츠 관리 서버와 무선 통신을 통해 데이터 송수신이 가능하며, 이를 통해 위치 정보, 작품 데이터, 사용자 정보/기호도 데이터 등을 상호 전달할 수 있다. 사용자 착용형 디바이스의 구성요소로는 기본적으로 통신부, 메모리, 카메라, 증강현실 인터페이스의 출력이 가능한 투명 디스플레이, GPS, 중력가속도, 나침반, 자이로 등을 포함하는 센서부를 포함하며, 필요에 따라 스피커 또는 이어폰을 통해 음성 정보를 출력할 수 있는 사운드부를 포함할 수 있다. 디바이스의 전원은 내장 배터리를 이용할 수 있으며, 또한, 디바이스의 본체에 전체 동작을 제어하는 통합 콘트롤러가 애플리케이션의 형태로 내장될 수 있다.

도 4b를 참조하면 디바이스의 구성을 보인 것으로, 디바이스 동작에 관여하는 콘트롤러는 구체적으로 메인 인터페이스(210), 위치 정보 안내부(220), 관람 정보 안내부(230), 사용자 정보 기호 관리부(240)로 구성될 수 있다.

메인 인터페이스(210)는 서비스 이용자가 디바이스를 착용 후 '애플리케이션'의 구동 등의 방법으로 메인 인터페이스가 동작되어 가장 먼저 접하게 되는 화면에 해당하며, 메인 인터페이스 동작 시 가이드 서비스에 필요한 각종 데이터를 업데이트 및 업로드하여 이용 가능한 상태로 최적화한다. 데이터 및 인터페이스 로드를 통해 각종 오류, 디바이스 오류, 데이터 오류, 배터리 부족 등을 점검하고 이상이 있을 경우 안내를 통해 원활한 서비스를 위한 오류 확인 및 제거하는 단계를 포함할 수 있다.

메인 인터페이스에서, 디바이스 착용자는 사용자 정보 입력 화면을 통해 사용자의 서비스 이용 동의 및 사용자 기호 정보 분석에 필요한 데이터를 제공할 수 있으며, 디바이스의 컨트롤러 등 사용자 조작에 의해 구체적인 정보를 입력할 수 있다. 사용자 조작은 예를 들어 디바이스의 본체(200b)에서 터치식 트랙패드(201a)를 이용하여 투명창에 디스플레이되는 가상의 '커서'를 (컴퓨터 화면의 마우스 커서와 유사하게) 움직여 조작하거나, 엔터키 또는 방향키(201b) 등을 누르는 조작 등이 포함될 수 있다.

위치 정보 안내부(220)는 디바이스의 GPS센서 등 각종 센서부를 통해 수신된 값으로 사용자의 위치를 파악하며, 이를 중심으로 기등록된 위치 정보들을 디바이스의 디스플레이에 표시하여 안내해주는 시스템에 해당한다. 위치 정보로는 위도와 경도 그리고 해당 위치명과 상세설명 및 표시될 아이콘과 대표 이미지 정보 등이 포함될 수 있다.

위치 안내 동작 중 언제든지 '사용자 조작'에 의해 또 다른 시스템인 관람 정보 안내 시스템으로 전환되거나, 위치 정보 안내 시스템 활성화에 따라 수신되는 GPS값을 통해 실내의 관람 정보 안내가 필요한 상황일 경우에도 관람 정보 안내 시스템으로 자동 전환된다.

관람 정보 안내부(230)는 관람실, 전시실 등 실내 관람 시 해당 콘텐츠에 대한 부가적인 정보를 표시 및 안내해주는 시스템으로서, 별도의 추가적인 장치를 박물관 등에 설치하지 않고도 구축할 수 있으며, 디바이스 내 카메라를 통해 콘텐츠 대상을 인식하고 해당 콘텐츠에 관련된 정보를 표시 및 안내해주는 핵심 기능을 수행한다. 관람 정보 안내를 위하여, 세부 구성으로 화면제어부와 센서제어부 및 사용자제어부를 포함할 수 있다.

화면제어부(232)는 관람 정보 안내 모드가 활성화되었을 때 디바이스의 데이타베이스에 보유한 콘텐츠 ID값과 시스템 상태들을 체크하고, 가이드 서비스가 작동 중이 아닐 때 카메라를 점검한 뒤 센서 제어부를 활성화 시킨다.

센서제어부(234)가 활성화되면 콘텐츠(박물관의 작품이나 전시장의 전시품 등)에 대해 스캔을 시작하는데, 디바이스의 카메라를 통해 실시간 입력되는 이미지 프레임과 디바이스의 데이터베이스에 등록된 콘텐츠 데이터가 일치하는지 여부를 확인하는 시스템 구성요소로서, 카메라를 통해 입력된 이미지 프레임 정보 내 콘텐츠 데이터의 스캔 정보와 일치하는 이미지 데이터가 포함되어 있으면 해당 콘텐츠 데이터의 ID값을 화면제어부로 전송하여 스캔을 중지한다.

센서제어부로부터 콘텐츠 데이터의 ID값을 받게 되면, 화면제어부는 관람 가이드 시작을 위한 인터페이스를 구성하고, 안내를 시작하는데 필요한 데이터의 ID를 데이터베이스(데이터베이스2, 212)에서 확인하여 불러온다. 화면제어부에 의해 디바이스의 디스플레이에 증강현실적으로 출력되는 인터페이스는 오브젝트 및 애니메이션 구성에 따라 차이가 있지만, 기본적으로 해당 관람 대상의 명칭과 부가적인 정보가 표시되며 그에 맞추어 등록된 음성 정보가 출력될 수 있고, 타임라인에 등록된 키워드가 시간 흐름에 맞춰 표시되면서 안내에 따른 연출이 함께 출력될 수 있다. 화면제어부를 통해 구성된 인터페이스에는 '관람 세부정보'를 포함할 수 있는데, 이는 사용자 조작에 의해 팝업 형태로 표시되며 짤막한 사전 형식으로 분류에 맞춰 제공될 수 있다.

사용자제어부(236)는 디바이스의 디스플레이에 출력되는 사용자의 '입력 시스템'으로서, 실제 조작은 디바이스 본체의 버튼이나 터치 패드 등을 이용할 수 있으며 입력 및 컨트롤 화면은 디바이스의 투명창에 출력되는 증강현실 디스플레이를 통해 확인할 수 있다. 사용자 조작에 의해 관람 대상의 세부 정보를 선택적으로 표시하거나, 관람 안내 서비스를 강제로 중단시킬 수 있다. 안내를 중단하는 경우, 화면제어부는 안내 서비스를 중단하고, 구성된 인터페이스를 콘텐츠 데이터의 ID값과 함께 삭제하고, 센서제어부를 다시 활성화 시켜 다른 관람 대상을 인식할 수 있도록 스캔 시스템을 작동시킨다. 위치 정보 안내 모드와 동일하게, 사용자 조작에 의해 관람 정보 안내 모드를 중단하고 위치 정보 안내 모드로 전환하는 것도 가능하다.

사용자 정보 기호 관리부(240)는 사용자가 관람 정보 안내 서비스를 이용하면서 발생되는 정보들을 (콘텐츠 관리 서버로 전송하여 분석하기 위해) 객관적인 데이터로 변환 및 기록과 관리를 하는 시스템에 해당한다. 콘텐츠 관리 서버에서 언급한 사용자 이용 정보들을 실시간으로 데이터화하여 데이터베이스2에 누적하고, 사용자의 서비스 이용이 끝나면 (관리자에 의해 애플리케이션이 초기화될 때) 서버에 전송이 용이한 형태로 데이터를 패키징하고, 네트워크 연결이 유효할 때 저장된 정보를 콘텐츠 관리 서버로 전송하여 사용자 정보 기호 분석에 활용할 수 있다.

다음으로, 본 발명에 따른 증강현실 기반 관람 가이드 서비스 방법을 박물관 관람을 예로 들어 설명한다.

박물관에 방문한 이용자는 매표 후 박물관에 입장하면서 예를 들어 박물관 입구 등에 위치한 장소에서 관람 가이드 서비스용 디바이스를 전달받는다.

이용자는 디바이스의 헤드셋을 착용한 후 본체의 콘트롤러를 조작하여 헤드셋의 디스플레이를 통해 메인 인터페이스를 출력할 수 있다. 메인 인터페이스에서 사용자는 개인 정보를 입력할 수 있으며, 사용자 정보 입력이 완료되면 메뉴 인터페이스로 이어져 위치 정보 안내와 관람 정보 안내를 선택하는 화면이 제공될 수 있다. 사용자 조작에 의해 원하는 안내 모드를 선택하거나, 별도의 조작이 없는 경우 위치 정보 안내 시스템이 먼저, 활성화된다. 선택된 안내 모드가 활성화된 이후에 상단의 상태 아이콘을 통해 어떤 안내가 활성화 중인지 표시가 되며, 사용자의 조작을 통해 위치 정보 안내와 관람 정보 안내를 전환할 수 있다.

도 5는 메인 인터페이스 화면의 일례를 보인 것으로, 안내모드 선택 화면 등이 제공될 수 있으며, 사용자의 조작으로 원하는 모드를 선택할 수도 있고, 박물관에서의 사용자 위치에 따라 안내모드가 자동으로 전환될 수도 있다, 예를 들어 최초 박물관 입구에 들어선 후 박물관 내부로 진입하기 전까지는 위치 정보가 안내되도록 설정할 수 있다.

박물관 내의 특정 장소 및 박물관 주변의 건물 정보 등 위치 안내 모드가 선택되면, 콘텐츠 관리 서버에서 디바이스에 미리 제공된 위치 정보 관련 데이터를 토대로 위치 정보가 디스플레이에 증강현실적으로 출력된다. 디바이스의 센서를 통해 사용자의 위치(GPS 센서 이용 : 위도, 경도 감지)를 파악하고, 사용자의 시선 내지 방향(나침반, 자이로스코프 센서 이용)을 감지하여 디바이스에 등록되어 있는 시설 관련 데이터나 주변 관광지 데이터 등의 위치 정보를 출력한다.

등록된 콘텐츠 데이터를 통해 표시되는 위치 정보는 도 6에 도시한 바와 같이 디바이스 투명창에 예를 들어 아이콘 형태의 인터페이스로 디스플레이될 수 있으며, 사용자가 바라보는 방향과 위치 정보와의 방위각을 계산하여 직교 좌표계로 변환한 후 적합한 화면 가장자리 등의 위치에 증강현실적으로 표시된다.

사용자의 조작을 통해 해당 아이콘을 선택하면 세부 정보가 표시되며 길 안내 버튼을 통해 실시간으로 해당 위치로 이동하는 경로도 안내받을 수 있다. 이때 해당 위치 정보 아이콘은 사용자의 현위치로부터 해당 위치까지의 거리를 계산하여 거리 정보와 함께 디스플레이될 수 있으며, 특히 거리가 가까울수록 해당 위치 정보 아이콘을 크게 (또는 선명하게 혹은 밝게) 표시하여 거리 정보를 시각적으로 부각시킬 수 있다.

위치 정보 안내 모드는 사용자의 선택이나 사용자의 위치 변화 등에 따라 종료되거나, 관람 정보 안내 모드로 전환될 수 있다.

관람 정보 안내 모드에서 디바이스는 콘텐츠 관리 서버로부터 미리 제공받은 콘텐츠 데이터를 저장한 상태에서 박물관 내에 전시중인 각종 콘텐츠(작품)에 대한 스캔 동작을 진행한다. 작품 스캔은 일종의 사물 인식 과정으로서 디바이스의 헤드셋에 장착되어 있는 카메라를 통해 이루어진다. 도 7은 디바이스에서 관람 정보 안내 모드의 스캔 과정을 보인 사진으로서, 디바이스를 착용한 사용자의 시선에 따라 작품을 바라보게 되면 디바이스의 카메라가 해당 작품을 촬영하면서 미리 저장되어 있는 콘텐츠 데이터와 비교하는 과정을 거치게 된다. 도 8은 등록된 콘텐츠와 일치 여부 확인 과정을 보인 사진으로서, 스캔을 통해 촬영된 영상 이미지가 등록된 콘텐츠와 일치하는 것을 확인하게 되면, 디바이스 본체의 관람 정보 안내부의 센서제어부에서 해당 콘텐츠의 ID값을 화면제어부로 전송하는 한편, 카메라의 스캔 동작을 중지하고, 디스플레이를 통해 해당 콘텐츠 관련 정보를 증강현실적으로 출력하도록 준비한다.

디바이스 헤드셋의 투명창에는 사용자가 실제 작품을 시각적으로 확인하면서 동시에 증강현실 디스플레이를 제공받는다. 증강현실적으로 제공되는 가상의 인터페이스가 투명창에 생성되며, 텍스트, 음성, 이미지 등의 형식으로 콘텐츠 관련 관람 정보가 디스플레이된다. 도 9는 관람 정보 가이드 화면을 보인 사진으로서, 사용자가 육안으로 확인하는 실제 작품에 투명창의 디스플레이를 통해 정보를 대표하는 키워드가 제시되고 있는 모습을 보이고 있다. 도 10은 구체적인 관람 정보를 서비스하는 화면을 보인 사진으로서, 사용자 선택에 의해 콘텐츠의 상세한 관람 정보가 안내되고 있는 모습을 모식적으로 보이고 있다.

사용자는 박물관 내부를 이동하면서 여러 작품에 대해 디바이스의 스캔 동작 및 콘텐츠 일치 여부 확인 동작을 거쳐 해당 콘텐츠에 대한 관람 정보를 가이드받을 수 있으며, 이러한 과정을 통해 실제 가이드 인력이 없이도 사용자가 원하는 콘텐트 정보를 제공받으며 편하게 박물관의 작품들을 관람할 수 있게 된다. 해당 콘텐츠에 대한 작품 안내가 완료되거나 사용자 조작에 의해 가이드 서비스가 취소되면 관람 정보 안내 모드에서 콘텐츠 관련 디스플레이 제공이 중단되고, 디바이스의 카메라에 의해 작품 스캔이 재개된다.

이러한 관람 가이드 서비스는 사용자의 이동 동선이나 작품 선택에 따라 다르게 적용될 수 있으며, 여러 사용자들에 대해 동시에 가이드 서비스가 개별적으로 제공될 수 있다.

이상에서 바람직한 실시예를 통하여 본 발명을 예시적으로 설명하였으나, 본 발명은 이와 같은 특정 실시예에만 한정되는 것은 아니며 본 발명에서 제시한 기술적 사상, 구체적으로는 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있을 것이다.

100:콘텐츠 관리 서버 110:콘텐츠 관리부
112:관리자 페이지 114:데이터베이스1
120:통신부 130:사용자 정보 기호 분석부
200:디바이스 210:메인 인터페이스
212:데이터베이스2 220:위치 정보 안내부
230:관람 정보 안내부 232:화면제어부
234:센서제어부 236:사용자제어부
240:사용자 정보 기호 관리부

Claims (5)

1. 미술관, 박물관, 박람회, 전시회 등의 전시장에 전시된 작품과 관련된 콘텐츠 정보를 관리하는 콘텐츠 관리 서버와, 이 서버와 무선 통신에 의해 데이터를 송수신하며 증강현실 디스플레이를 포함하는 사용자 착용형 디바이스로 구성되어, 전시장을 방문한 이용객에게 관람 가이드 서비스를 제공하는 방법으로서,
   상기 콘텐츠 관리 서버에 작품 관련 콘텐츠를 등록하고 상기 전시장에 관련된 위치 정보와 함께 데이터베이스1 에 저장하는 단계,
   상기 서버로부터 작품 관련 콘텐츠 정보 및 상기 전시장 관련 위치 정보를 수신하여 상기 디바이스의 데이터베이스2 에 저장하는 단계,
   전시장에 방문한 이용객이 상기 디바이스를 착용한 상태에서 사용자 정보를 입력하고 메뉴를 선택하는 단계,
   이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 위치 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계,
   이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 관람 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계로서,
   a) 전시장 내 전시된 작품을 상기 디바이스의 카메라로 스캔하는 단계,
   b) 카메라를 통해 실시간으로 입력되는 이미지를 분석하여 기등록된 작품 데이터가 포함되어 있는지 여부를 확인하며, 해당 작품이 존재하면 스캔을 중지하는 단계, 및
   c) 상기 디바이스의 디스플레이에 스캔 된 작품과 관련한 정보를 증강현실적으로 출력하는 단계,
   작품 관련 정보의 안내가 완료되거나 이용객의 전시장 내 위치 이동 또는 디바이스에서 사용자 선택에 따라 디바이스의 카메라로 스캔하는 단계가 진행되거나 위치 정보 안내 모드로 전환하는 단계를 포함하며,
   상기 작품 정보 안내 모드에서 디바이스의 카메라를 통해 인식되는 스캔 정보는 미리 등록된 정보에 한정되며, 디바이스의 디스플레이에 증강현실적으로 출력되는 작품 관련 정보는 스캔된 작품을 설명하는 텍스트, 이미지, 또는 음성 자료를 포함하는 것을 특징으로 하는
   증강현실 기반 관람 가이드 서비스 방법.
   
2. 제1항에 있어서,
   상기 콘텐츠 관리 서버는 작품 관련 콘텐츠에 대해 등록 및 수정하는 과정을 통해 콘텐츠 데이터베이스 버전을 생성하고, 콘텐츠 버전을 기준으로 상기 디바이스 내 데이터베이스2 와 비교하여 최신 콘텐츠 정보가 업데이트되도록 상기 디바이스의 데이터베이스2 를 상기 서버의 데이터베이스1 과 주기적으로 동기화시키는 것을 특징으로 하는 증강현실 기반 관람 가이드 서비스 방법.
   
3. 제1항에 있어서,
   상기 위치 정보 안내 모드에서 디바이스는 센서를 통해 이용객의 위치를 파악하고, 데이터로 기등록된 위치 정보들을 디바이스의 디스플레이에 증강현실적으로 출력하고, 이용객과 해당 위치와의 거리 및 바라보는 방향에 따른 각도를 계산하여 거리 및 방향에 따라 서로 다른 그래픽으로 디스플레이에 시각화하는 것을 특징으로 하는 증강현실 기반 관람 가이드 서비스 방법.
   
4. 제1항에 있어서,
   상기 사용자 착용형 디바이스는 통신부, 메모리, 카메라, 증강현실 디스플레이, GPS와 나침반 또는 자이로를 포함하는 센서부를 포함하는 것을 특징으로 하는 증강현실 기반 관람 가이드 서비스 방법.
   
5. 제1항에 있어서,
   상기 콘텐트 관리 서버는 사용자 기호 정보 분석부를 더 포함하고, 상기 디바이스는 사용자 기호 정보 관리부를 더 포함하며, 디바이스의 관람 정보 안내 모드를 통해 이루어진 이용객의 개인 정보 및 관람 이용 정보를 사용자 기호 정보 관리부에서 수집하고 사용자 기호 정보 분석부로 전송하여 이용객의 관람 관련 정보를 분석하는 것을 특징으로 하는 증강현실 기반 관람 가이드 서비스 방법.
   

Images