KR102243576B1 - AR based guide service for exhibition - Google Patents

AR based guide service for exhibition Download PDF

Info

Publication number
KR102243576B1
KR102243576B1 KR1020190105503A KR20190105503A KR102243576B1 KR 102243576 B1 KR102243576 B1 KR 102243576B1 KR 1020190105503 A KR1020190105503 A KR 1020190105503A KR 20190105503 A KR20190105503 A KR 20190105503A KR 102243576 B1 KR102243576 B1 KR 102243576B1
Authority
KR
South Korea
Prior art keywords
information
user
viewing
location
augmented reality
Prior art date
Application number
KR1020190105503A
Other languages
Korean (ko)
Other versions
KR20210025769A (en
Inventor
김제석
Original Assignee
(주)네오인터넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)네오인터넷 filed Critical (주)네오인터넷
Priority to KR1020190105503A priority Critical patent/KR102243576B1/en
Publication of KR20210025769A publication Critical patent/KR20210025769A/en
Application granted granted Critical
Publication of KR102243576B1 publication Critical patent/KR102243576B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 콘텐츠 관리 서버와, 무선 통신에 의해 데이터를 송수신하며 증강현실 디스플레이를 포함하는 사용자 착용형 디바이스로 구성되어, 전시장을 방문한 이용객에게 관람 가이드 서비스를 제공하는 방법으로서, 상기 서버에 작품 관련 콘텐츠를 등록하고 상기 전시장에 관련된 위치 정보와 함께 저장하는 단계, 상기 서버로부터 작품 관련 콘텐츠 정보 및 상기 전시장 관련 위치 정보를 수신하여 상기 디바이스에 저장하는 단계, 이용객이 상기 디바이스를 착용한 상태에서 사용자 정보를 입력하고 메뉴를 선택하는 단계, 이용객의 위치 이동이나 디바이스에서 사용자 선택에 따라 위치 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계, 이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 관람 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계, 작품 관련 정보의 안내가 완료되거나 이용객의 전시장 내 위치 이동 또는 디바이스에서 사용자 선택에 따라 디바이스의 카메라로 스캔하는 단계가 진행되거나 위치 정보 안내 모드로 전환하는 단계를 포함하는 증강현실 기반 관람 가이드 서비스 방법을 제공한다.The present invention is a method of providing a viewing guide service to a user who visits an exhibition hall, comprising a content management server and a user wearable device that transmits and receives data through wireless communication and includes an augmented reality display. Registering and storing it together with the location information related to the exhibition hall, receiving work related content information and the exhibition hall related location information from the server and storing it in the device, and storing user information while the user is wearing the device. Inputting and selecting a menu, outputting a location information guidance mode on the display of the device in augmented reality according to the user's location movement or user selection on the device, viewing information according to the user's movement in the exhibition hall or user selection on the device Augmented reality output of the guide mode on the display of the device, information related to the work is completed, the location of the user in the exhibition hall is moved, or the device scans with the camera of the device according to the user's selection, or in the location information guide mode. It provides an augmented reality-based viewing guide service method including the step of switching.

Description

증강현실 기반 관람 가이드 서비스 방법 {AR based guide service for exhibition}AR based guide service for exhibition}

본 발명은 박물관이나 전시장의 관람 가이드 서비스에 관한 것으로서, 상세하게는 사용자 착용형 디바이스를 통해 증강현실 디스플레이로 관람 정보를 안내하는 새로운 방법을 제안한다.The present invention relates to a guide service for a museum or an exhibition hall, and in detail, proposes a new method of guiding viewing information to an augmented reality display through a user wearable device.

박물관이나 미술관, 박람회 등의 전시장에서는 전시된 작품의 이해를 돕기 위하여 간단한 설명을 부가하여 전시하거나 전문 해설사, 가이드, 큐레이터의 안내를 통해 방문객들이 전시 작품을 쉽게 이해하고 해당 전시장을 즐길 수 있도록 배려하고 있다. In exhibition halls such as museums, art galleries, and expositions, a brief explanation is added to help understand the exhibited works, or through guidance from professional commentators, guides, and curators, visitors can easily understand the works and enjoy the exhibition halls. have.

전시장에서 작품이나 전시품 등에 대한 설명서 내지 카탈로그를 통해 정보를 습득하는 것은 이용객의 연령이나 수준에 따라 차이가 있고, 전시장에서 인적 가이드가 직접 안내하는 서비스를 제공받기 위해서는 가이드 진행 시간에 맞추어 전시장을 방문해야 하고 가이드의 안내에 따라 동선과 시간이 제약되는 불편함이 있다. Acquisition of information through manuals or catalogs on works or exhibits at the exhibition hall differs according to the age and level of users, and in order to receive a service provided by a personal guide directly at the exhibition hall, you must visit the exhibition hall according to the guide time. And, according to the guide's guidance, there is an inconvenience of limiting the movement and time.

전시장에서 작품을 직접 관람하면서 작품과 관련된 정보를 이용자 입장에서 실시간으로 편하게 전달받기 위해서는 별도의 서비스 수단이 요구된다. 기존의 미술관 등에서는 오디오 기기를 이용하여 작품 내용에 대한 음성 서비스를 제공하였다. 예를 들어, 공개특허 10-2010-0131156호에 따르면, 각종 전시물에 대한 설명정보를 관람자단말기를 통해 출력하는 관람자 단말기 및 전시물 정보 안내 방법을 제안하였으며, 구체적으로 외부에서 전시물 설명정보를 블루투스 통신방식으로 제공받아 음성 출력하는 관람자단말기, 및 전시물 주변에 인접하여 설치되어 상기 관람자단말기가 통신이 가능한 범위 내에 근접하면 해당 전시물에 대한 설명정보를 외부에 요청하여 수신하고, 수신된 설명정보를 블루투스 통신방식을 통해 관람자단말기로 송출하는 전시물정보송출기를 포함하고 있다. 이러한 전시물 정보 안내 방법은 음성정보 출력에만 국한되고, 관람자단말기에 콘텐츠 데이터가 저장되지 않아 통합적인 가이드 서비스 시스템을 구축하기에 한계가 있다. A separate service means is required in order to receive information related to the work in real time from the user's point of view while directly viewing the work in the exhibition hall. Existing art museums and the like have provided audio services for the contents of works using audio devices. For example, according to Korean Patent Publication No. 10-2010-0131156, a spectator terminal and a method for guiding exhibition object information that outputs description information on various exhibits through a viewer terminal, and specifically, the exhibition object description information from the outside, is a Bluetooth communication method. When the spectator terminal is provided and outputs audio, and the spectator terminal is installed adjacent to the exhibition object and is close to the communication range, the external request for explanation information on the exhibition object is received, and the received explanation information is received in a Bluetooth communication method. It includes an exhibit information transmitter that is transmitted to the viewer's terminal through the device. This method of guiding information on exhibits is limited to outputting audio information, and content data is not stored in the viewer terminal, so there is a limit to constructing an integrated guide service system.

한편, 공개특허 10-2016-0150446호에 따르면, 관광, 전시, 박물관 또는 박람회장 등에서 사용자의 각각의 위치에 매칭되는 서로 다른 안내정보가 출력되도록 하여 효과적으로 관광, 전시, 박물관 또는 박람회장의 이용을 위한 것으로서, 핸드폰 등의 사용자 단말기에 다운 로드된 미리 정한 앱(Application)과 비콘(beacon)을 포함하는 무선장치 간의 동작에 의거, 관광, 전시, 박물관 또는 박람회장에서 사용자와 함께 이동되는 상기 단말기의 현재 위치를 확인하고, 확인된 위치에 대응되는 적절한 안내정보를 출력하기 위한 장치 및 방법을 제안하고 있다. 이 기술은 사용자의 위치에 따라 안내 정보를 다르게 출력한다는 점에서 사용자 편의성이 향상되었지만, 위치 확인을 위한 비콘 설치, 해당 위치의 작품 정보 등을 안내받기 위해 개별적인 앱 데이터를 사용자가 직접 단말기에 다운로드받아야 하는 불편이 있으며, 사용자로부터 동일하거나 유사한 위치에 복수의 작품이 전시되어 있는 경우 해당 정보의 선택적인 출력이 어렵다는 단점이 있다. On the other hand, according to Korean Patent Publication No. 10-2016-0150446, different guide information matching each user's location is output in tourism, exhibition, museum or exhibition hall, etc., so that it is for the use of tourism, exhibition, museum or exhibition hall effectively. , Based on the operation between a wireless device including a beacon and a pre-determined application downloaded to a user terminal such as a mobile phone, the current location of the terminal that is moved with the user in a tourism, exhibition, museum or exhibition hall An apparatus and method for checking and outputting appropriate guide information corresponding to the identified location is proposed. This technology has improved user convenience in that it outputs guide information differently depending on the user's location, but users must download individual app data directly to the terminal in order to receive information such as installation of beacons for location confirmation and work information at the location. There is a disadvantage in that it is difficult to selectively output corresponding information when a plurality of works are displayed in the same or similar location from the user.

종래의 기술들은 전시장 입장에서 정보 서비스를 음성적인 방법으로 또는 단말기를 통해 제공되는 안내 정보로 국한되며, 전시장 방문객의 방문 시간이나 전시장 내의 이동 동선 등을 고려하여 보다 사용자 친화적인 가이드 서비스를 제공하기에 한계가 있다. 특히, 이용객의 시선을 감안하여 실시간으로 전시 작품에 대한 가이드 서비스를 제공하는 것이 불가능하다. Conventional technologies are limited to information services provided through a voice method or a terminal from the standpoint of the exhibition hall, and provide a more user-friendly guide service in consideration of the visit time of visitors to the exhibition hall and the movement of the exhibition hall. There is a limit. In particular, it is impossible to provide a guide service for the exhibited works in real time in consideration of the user's gaze.

전시를 통한 예술 작품이나 산업 개발품의 이해를 돕고 전시 서비스의 수준을 향상시키기 위해서는 이용객 입장에서 작품 안내가 진행되는 한편, 이용객의 작품 감상을 방해하지 않으면서 실시간으로 가이드 서비스가 제공될 필요가 있다. In order to help the understanding of art works or industrial developments through exhibitions and to improve the level of exhibition services, it is necessary to provide guide services in real time without disturbing users' appreciation of works while providing guidance on works from the perspective of users.

본 발명은 전술한 기술적 배경하에서 창안된 것으로, 본 발명의 목적은 인적 가이드 없이도 이용객의 입장에서 전시장의 작품 정보에 대한 가이드 서비스를 제공하는 것이다.The present invention was invented under the above-described technical background, and an object of the present invention is to provide a guide service for information on works of an exhibition hall from the user's point of view without a human guide.

본 발명의 다른 목적은 이용객의 관람 행위를 방해하지 않으면서, 복수의 이용객들에 대해서도 각 이용객들의 동선이나 시선을 고려하여 개별적인 가이드 서비스를 제공하는 것이다. Another object of the present invention is to provide an individual guide service for a plurality of users, taking into account the movements or gazes of each user, without interfering with the user's viewing behavior.

본 발명의 또 다른 목적은 복수의 전시장에 대한 전시 작품 관련 콘텐츠 정보의 관리가 가능하고, 이용객을 위한 착용형 무선통신 단말기를 통해 이용자 관람 기호 관련 데이터의 교환이 용이한 관람 가이드 서비스 방법을 제공하는 것이다.Another object of the present invention is to provide a viewing guide service method that enables management of content information related to exhibition works for a plurality of exhibition halls, and facilitates exchange of data related to user viewing preferences through a wearable wireless communication terminal for users. will be.

기타, 본 발명의 또 다른 목적 및 기술적 특징은 이하의 상세한 설명에서 보다 구체적으로 제시될 것이다.In addition, other objects and technical features of the present invention will be presented in more detail in the detailed description below.

상기 목적을 달성하기 위하여, 본 발명은 미술관, 박물관, 박람회, 전시회 등의 전시장에 전시된 작품과 관련된 콘텐츠 정보를 관리하는 콘텐츠 관리 서버와, 이 서버와 무선 통신에 의해 데이터를 송수신하며 증강현실 디스플레이를 포함하는 사용자 착용형 디바이스로 구성되어, 전시장을 방문한 이용객에게 관람 가이드 서비스를 제공하는 방법으로서, 상기 콘텐츠 관리 서버에 작품 관련 콘텐츠를 등록하고 상기 전시장에 관련된 위치 정보와 함께 데이터베이스1 에 저장하는 단계, 상기 서버로부터 작품 관련 콘텐츠 정보 및 상기 전시장 관련 위치 정보를 수신하여 상기 디바이스의 데이터베이스2 에 저장하는 단계, 전시장에 방문한 이용객이 상기 디바이스를 착용한 상태에서 사용자 정보를 입력하고 메뉴를 선택하는 단계, 이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 위치 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계, 이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 관람 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계로서, a) 전시장 내 전시된 작품을 상기 디바이스의 카메라로 스캔하는 단계, b) 카메라를 통해 실시간으로 입력되는 이미지를 분석하여 기등록된 작품 데이터가 포함되어 있는지 여부를 확인하며, 해당 작품이 존재하면 스캔을 중지하는 단계, 및 c) 상기 디바이스의 디스플레이에 스캔 된 작품과 관련한 정보를 증강현실적으로 출력하는 단계, 작품 관련 정보의 안내가 완료되거나 이용객의 전시장 내 위치 이동 또는 디바이스에서 사용자 선택에 따라 디바이스의 카메라로 스캔하는 단계가 진행되거나 위치 정보 안내 모드로 전환하는 단계를 포함하며, 상기 관람 정보 안내 모드에서 디바이스의 카메라를 통해 인식되는 스캔 정보는 미리 등록된 정보에 한정되며, 디바이스의 디스플레이에 증강현실적으로 출력되는 작품 관련 정보는 스캔된 작품을 설명하는 텍스트, 이미지, 또는 음성 자료를 포함하는 것을 특징으로 하는 증강현실 기반 관람 가이드 서비스 방법을 제공한다.In order to achieve the above object, the present invention provides a content management server for managing content information related to works exhibited in exhibition halls such as art galleries, museums, fairs, and exhibitions, and an augmented reality display by transmitting and receiving data through wireless communication with the server. A method of providing a viewing guide service to a user who visits an exhibition hall, comprising a user wearable device comprising: registering content related to a work in the content management server and storing it in a database 1 along with location information related to the exhibition hall. , Receiving work-related content information and the exhibition hall-related location information from the server and storing it in the database 2 of the device, inputting user information and selecting a menu while a user visiting the exhibition hall is wearing the device, Augmented reality output of the location information guide mode on the display of the device according to the user's movement of the location in the exhibition hall or the user's selection from the device, and the viewing information guide mode of the device according to the location movement of the user or the user's selection on the device. A step of outputting augmented reality to the display, a) scanning the works displayed in the exhibition hall with the camera of the device, b) analyzing images input through the camera in real time to determine whether pre-registered work data is included. Checking and stopping the scan if the work exists, and c) outputting information related to the scanned work in an augmented reality on the display of the device, information related to the work is completed, or the user's location in the exhibition hall is moved or Including the step of scanning with the device's camera in the device according to the user's selection or switching to a location information guidance mode, and the scan information recognized by the device's camera in the viewing information guidance mode is limited to pre-registered information. The work-related information outputted in augmented reality on the display of the device is characterized in that it includes text, images, or audio data describing the scanned work. Provides augmented reality-based viewing guide service method.

본 발명에 있어서, 상기 콘텐츠 관리 서버는 작품 관련 콘텐츠에 대해 등록 및 수정하는 과정을 통해 콘텐츠 데이터베이스 버전을 생성하고, 콘텐츠 버전을 기준으로 상기 디바이스 내 데이터베이스2 와 비교하여 최신 콘텐츠 정보가 업데이트되도록 상기 디바이스의 데이터베이스2 를 상기 서버의 데이터베이스1 과 주기적으로 동기화시키는 것이 바람직하다.In the present invention, the content management server generates a content database version through the process of registering and modifying work-related content, and comparing the content version with the database 2 in the device to update the latest content information. It is preferable to periodically synchronize database 2 of the server with database 1 of the server.

또한, 본 발명에 있어서, 상기 위치 정보 안내 모드에서 디바이스는 센서를 통해 이용객의 위치를 파악하고, 데이터로 기등록된 위치 정보들을 디바이스의 디스플레이에 증강현실적으로 출력하고, 이용객과 해당 위치와의 거리 및 바라보는 방향에 따른 각도를 계산하여 거리 및 방향에 따라 서로 다른 그래픽으로 디스플레이에 시각화할 수 있다. In addition, in the present invention, in the location information guidance mode, the device recognizes the location of the user through a sensor, outputs previously registered location information as data in augmented reality on the display of the device, and the distance between the user and the location and The angle according to the viewing direction can be calculated and visualized on the display in different graphics depending on the distance and direction.

상기 사용자 착용형 디바이스는 통신부, 메모리, 카메라, 증강현실 디스플레이, GPS와 나침반 또는 자이로를 포함하는 센서부를 포함한다. The user wearable device includes a communication unit, a memory, a camera, an augmented reality display, a GPS and a sensor unit including a compass or a gyro.

또한, 상기 콘텐트 관리 서버는 사용자 기호 정보 분석부를 더 포함하고, 상기 디바이스는 사용자 기호 정보 관리부를 더 포함하며, 디바이스의 관람 정보 안내 모드를 통해 이루어진 이용객의 개인 정보 및 관람 이용 정보를 사용자 기호 정보 관리부에서 수집하고 사용자 기호 정보 분석부로 전송하여 이용객의 관람 관련 정보를 분석할 수 있다.In addition, the content management server further includes a user preference information analysis unit, the device further includes a user preference information management unit, the user preference information management unit for personal information and viewing use information of users made through the viewing information guide mode of the device. It can be collected and transmitted to the user preference information analysis unit to analyze the viewing-related information of the user.

본 발명에 따르면, 증강 현실을 통해 실제 관람 대상 콘텐츠와 병행하여 가이드 서비스를 실시간으로 제공할 수 있고, 스마트 글래스 등 디스플레이와 사운드 기능이 포함된 사용자 착용형 디바이스를 이용함으로써 인적 가이드가 직접 관람객과 동행하지 않더라도 이용자 맞춤형 관람 가이드 서비스를 구현할 수 있다. According to the present invention, a guide service can be provided in real time in parallel with the content to be viewed through augmented reality, and a human guide directly accompanies the visitor by using a user wearable device including a display and sound function such as smart glasses. Even if you do not, you can implement a customized viewing guide service.

이와 같은 가상의 가이드 서비스는 미술관이나 각종 박물관은 물론, 역사 전시장, 신제품 박람회 등 다양한 전시 행사에 효과적으로 활용될 수 있다. Such a virtual guide service can be effectively used for various exhibition events such as museums and various museums, as well as historical exhibition halls and new product fairs.

본 발명의 관람 가이드 서비스를 통해, 박물관 등 전시장 이용객들은 단일 가이드의 설명에 좇아 수동적으로 이동하며 관람을 진행할 필요가 없으며, 이용객들의 개인 선호도에 따라 자유롭게 편하게 관람을 즐길 수 있게 된다. 또한, 박물관 등 각종 전시장에서는 가이드 없이도 이용객들의 만족도를 증가시킬 수 있으며, 전시장 운영을 자유롭게 관리하는데 도움을 받을 수 있다. Through the viewing guide service of the present invention, visitors of exhibition halls such as museums do not need to passively move and proceed according to the description of a single guide, and can freely and comfortably enjoy viewing according to the individual preferences of the users. In addition, in various exhibition halls such as museums, the satisfaction of users can be increased without a guide, and help can be provided to freely manage the operation of the exhibition hall.

도 1은 본 발명의 가이드 서비스를 위한 장치 구성을 보인 모식도
도 2는 본 발명의 가이드 서비스 단계를 보인 순서도
도 3은 콘텐츠 관리 서버의 구성도
도 4a 및 4b는 디바이스의 일례를 보인 모식도 및 디바이스 구성도
도 5는 디바이스에서 메인 인터페이스 화면를 보인 사진
도 6은 디바이스에서 위치 정보 안내 모드 화면을 보인 사진
도 7은 디바이스에서 관람 정보 안내 모드의 스캔 과정을 보인 사진
도 8은 등록된 콘텐츠와 일치 여부 확인 과정을 보인 사진
도 9는 관람 정보 가이드 화면을 보인 사진
도 10은 구체적인 관람 정보를 서비스하는 화면을 보인 사진
1 is a schematic diagram showing a device configuration for a guide service of the present invention
Figure 2 is a flow chart showing a guide service step of the present invention
3 is a configuration diagram of a content management server
4A and 4B are schematic diagrams and device configuration diagrams showing an example of a device
5 is a picture showing the main interface screen on the device
6 is a photo showing a location information guide mode screen on a device
7 is a photo showing a scanning process in a viewing information guide mode in a device
8 is a photo showing a process of checking whether the content matches registered content
9 is a photo showing a viewing information guide screen
10 is a picture showing a screen for serving specific viewing information

본 발명은 증강현실(AR) 디스플레이가 가능한 사용자 착용형 디바이스를 이용한 증강현실 기반 실내 또는 실외 관람 가이드 서비스 방법에 관한 것이다. The present invention relates to an augmented reality-based indoor or outdoor viewing guide service method using a user wearable device capable of an augmented reality (AR) display.

구체적으로, 정해진 공간 내 미리 등록된 작품들에 대한 정보와 주변 위치 정보를 증강현실 화면으로 제공하는 무인 관람 가이드로서, 주변 위치 정보와 실내외 작품 정보에 관련된 관람 정보를 주변 위치 정보 안내 모드와 관람 정보 안내 모드로 구현할 수 있는 새로운 관람 가이드 서비스 시스템과 방법을 제안한다. Specifically, as an unmanned viewing guide that provides information on pre-registered works in a designated space and location information on the surrounding area through an augmented reality screen, viewing information related to surrounding location information and indoor/outdoor work information is provided in the surrounding location information guide mode and viewing information. We propose a new viewing guide service system and method that can be implemented in a guide mode.

도 1은 본 발명의 가이드 서비스를 위한 장치 구성을 보인 것으로, 미술관, 박물관, 박람회, 전시회 등의 전시장에 전시된 작품과 관련된 콘텐츠 정보를 관리하는 콘텐츠 관리 서버(100)와, 이 서버와 무선 통신에 의해 데이터를 송수신하며 증강현실 디스플레이를 포함하는 사용자 착용형 디바이스(200)로 구성되며, 디바이스는 이용객의 수에 따라 복수의 장치가 개별적으로 서버와 통신할 수 있다. 1 shows a device configuration for a guide service of the present invention, a content management server 100 that manages content information related to works exhibited in exhibition halls such as art galleries, museums, fairs, and exhibitions, and wireless communication with the server It is composed of a user wearable device 200 that transmits and receives data by and includes an augmented reality display, and a plurality of devices may individually communicate with the server according to the number of users.

전시장을 방문한 이용객에게 관람 가이드 서비스를 제공하는 방법에 관하여 도 2를 참조하면, 다수의 관람형 사물이 존재하는 정해진 공간, 예를 들어 미술관, 박물관 등에서 이용 가능한 서비스로서, 콘텐츠 관리 서버에 의해 가이드 서비스에 필요한 콘텐츠 및 관련 정보들을 미리 등록한다(단계 S110). 정보 등록 프로세스에는 전시된 작품 관련 정보 이외에도 전시장의 시설물이나 전시장 주변의 위치 정보를 등록하는 것이 포함된다. Referring to FIG. 2 for a method of providing a viewing guide service to users who have visited the exhibition hall, as a service that can be used in a designated space where a number of viewing-type objects exist, for example, art galleries and museums, a guide service by a content management server Contents and related information required for are registered in advance (step S110). In addition to the information related to the exhibited works, the information registration process includes registering information on the facilities of the exhibition hall or location information around the exhibition hall.

스마트 글래스 등을 포함하는 가이드용 사용자 착용형 디바이스는 일정 주기마다 서버를 통해 데이터를 최신으로 동기화하게 되며(단계 S120), 통신환경이 좋지 않은 경우를 방지하기 위해 가이드 서비스가 이루어질 때는 서버의 데이터를 사용하지 않고 디바이스 내 저장된 데이터를 이용하는 것이 바람직하다. 전시장을 방문한 이용객이 착용하게 되는 디바이스는 이용객에 대한 관람 가이드 서비스를 진행할 때 사용자 정보를 입력하는 단계와 가이드 메뉴를 선택하는 단계가 포함될 수 있다(단계 S130). 디바이스를 통해 증강현실적으로 안내되는 가이드로는 전시장 주변 위치 정보 안내 모드와 전시장 내 작품 관련된 관람 정보 안내 모드가 제공되며, 최신 업데이트된 데이터를 기반으로 각 안내 모드에서의 정보를 출력하게 된다. User wearable devices for guides including smart glasses, etc., synchronize data to the latest through the server at regular intervals (step S120), and when the guide service is performed to prevent a case in which the communication environment is not good, the data from the server is It is desirable to use the data stored in the device without using it. The device worn by a user visiting the exhibition hall may include inputting user information and selecting a guide menu when performing a viewing guide service for the user (step S130). As a guide that is guided in augmented reality through the device, a guide mode for location information around the exhibition hall and a guide mode for viewing information related to works in the exhibition hall are provided, and information in each guide mode is output based on the latest updated data.

위치 정보 안내 모드에서 디바이스의 gps센서 및 중력 가속도, 나침반, 자이로 센서를 이용하여 현재 사용자 위치를 파악하고, 데이터로 기 등록된 주변 정보들을 디바이스에 출력하여 제공할 수 있다(단계 S140). 이 과정에서 이용객과 해당 위치의 시설물과의 거리와 바라보는 방향에 따른 각도를 계산하여 수치화된 그래픽으로 디스플레이 화면에 출력할 수 있으며, 예를 들어 거리에 따라 크기가 다르게 시각화할 수 있다. 주변 위치 정보로는 서비스 대상의 주요 시설이 되거나 주변 대표 관광지 등이 될 수 있는데, 실제 위치(경도, 위도로 확인 가능한 위치)가 존재하는 모든 대상을 등록하여 위치 정보 안내 모드에 이용할 수 있다.In the location information guidance mode, a current user location may be identified using a gps sensor, a gravitational acceleration, a compass, and a gyro sensor of the device, and surrounding information previously registered as data may be output and provided to the device (step S140). In this process, the distance between the user and the facility at the corresponding location and the angle according to the viewing direction may be calculated and displayed as a numerical graphic on the display screen. For example, the size may be visualized differently depending on the distance. The surrounding location information may be a major facility for a service or a representative tourist attraction around the area. All targets with an actual location (location that can be checked by longitude and latitude) can be registered and used in the location information guidance mode.

전시된 작품 관련 관람 정보 안내 모드에서는 디바이스의 카메라를 사용하여 사물을 스캔하여 인식하며(단계 S150), 이때 스캔 정보는 미리 관리 서버에 의해 등록된 정보들에 한정한다. 작품 스캔 데이터는 인식할 대상을 정면으로 바라보거나 관람 하기 편한 위치(거리)와 각도에서 촬영한 디지털 이미지에 해당하며, 관리 서버에 의해 등록된 작품 관련 정보에는 스캔 대상 작품 관련 데이터 뿐만 아니라, 해당 작품과 관련하여 가이드 서비스에 이용될 다양한 형태의 자료(텍스트, 음성, 이미지 등)를 포함할 수 있다. 디바이스의 카메라는 ‘관람 정보 안내 모드’가 활성화되어 있는 동안 실시간으로 장면을 분석하여 관리자가 등록한 스캔 데이터가 포함되어 있는지 여부를 계속 확인하게 되며, 해당 작품 정보가 존재할 경우 대상의 ID값을 전송하여 스캔을 중지한다. 스캔이 중지된 후, 작품 정보를 포함한 안내 모드가 활성화되어 가이드 정보가 디스플레이되는데(단계 S160), 출력 화면의 구성으로는 예를 들어 대상 작품(스캔 데이터)을 중심으로 가상의 3D 인터페이스를 생성하며, 텍스트와 음성, 이미지 등의 형태로 작품과 관련된 부가 정보를 디스플레이에 증강현실적으로 출력할 수 있다.In the viewing information guide mode related to the exhibited work, an object is scanned and recognized using the device's camera (step S150), and the scan information is limited to information previously registered by the management server. The work scan data corresponds to a digital image taken from a location (distance) and angle that is convenient for viewing or viewing the object to be recognized, and the work-related information registered by the management server includes not only data related to the work to be scanned, but also the corresponding work. In connection with this, various types of materials (text, voice, image, etc.) to be used for the guide service may be included. The camera of the device analyzes the scene in real time while the'view information guide mode' is active, and continuously checks whether the scan data registered by the administrator is included, and if the relevant work information exists, it transmits the target's ID value. Stop scanning. After the scan is stopped, the guide mode including the work information is activated and the guide information is displayed (step S160). As a configuration of the output screen, for example, a virtual 3D interface is created around the target work (scan data). , Additional information related to the work in the form of text, voice, and image can be output in augmented reality on the display.

작품 안내가 종료되거나 사용자의 조작에 의해 취소되면, 서비스는 다음 작품을 안내하기 위해 카메라에 의해 작품 정보를 계속 스캔하게 된다.When the work guide is terminated or canceled by the user's manipulation, the service continues to scan the work information by the camera to guide the next work.

이하에서는 콘텐츠 관리서버와 디바이스의 기술적 구성 요소에 대해 보다 구체적으로 설명한다.In the following, the content management server and the device The technical components will be described in more detail.

콘텐츠 관리 서버(100)는 콘텐츠 관련 정보 등록 및 업데이트, 디바이스와 데이터베이스 송수신 및 주기적 동기화를 위한 장치로서 디바이스와는 원격으로 설치되어 무선 통신 등에 의해 데이터를 주고받게 된다. The content management server 100 is a device for registering and updating content-related information, transmitting/receiving and periodically synchronizing a database with a device, and is installed remotely from a device to exchange data through wireless communication or the like.

도 3을 참조하면, 콘텐츠 관리 서버(100)의 주요 구성으로는 콘텐츠 관리부(110), 통신부(120), 사용자 정보 기호 분석부(130)를 포함한다. 콘텐츠 관리부는 관람 가이드 서비스의 콘텐츠를 관리하는 기본 시스템으로서 데이터베이스(데이터베이스1)(114)가 포함된 웹서버에 구축될 수 있고, 관리자 페이지(112)를 통해 서비스 관리자가 박물관 등의 작품과 관련된 콘텐츠의 등록 및 수정 등 유지보수를 수행할 수 있다.Referring to FIG. 3, main components of the content management server 100 include a content management unit 110, a communication unit 120, and a user information preference analysis unit 130. The content management unit is a basic system that manages the contents of the viewing guide service, and can be built on the web server including the database (database 1) 114, and through the administrator page 112, the service manager provides contents related to works such as museums. Maintenance, such as registration and modification of, can be performed.

콘텐츠 관리부는 후술하는 디바이스의 메인 인터페이스와 무선 통신으로 연결되어 데이터를 주고받을 수 있으며, 콘텐츠 관리 서버의 최신 콘텐츠 데이터를 디바이스 내 데이터베이스(데이터베이스2)로 다운로드하여 정기적으로 업데이트 하게 된다. 또한, 콘텐츠 관리부는 박물관 등 실제 현장에서 사용자가 착용한 디바이스를 통해 가이드 서비스가 진행되는 과정에서 디바이스 내 데이터베이스에 누적된 사용자 이용 관련 데이터를 서버의 콘텐츠 관리부로 업로드하여 사용자 기호 정보 분석부에 사용될 수 있도록 데이터베이스에 저장한다. 웹 페이지 기반의 관리자 페이지를 통해 위치 정보 안내 모드 및 관람 정보 안내 모드에 필요한 콘텐츠를 등록하거나 수정 또는 삭제하는 등 콘텐츠 전반적인 관리를 할 수 있다.The content management unit is connected to the main interface of the device to be described later through wireless communication to exchange data, and downloads the latest content data from the content management server to a database (database 2) in the device and updates it on a regular basis. In addition, the content management unit uploads the user usage-related data accumulated in the device database to the server's content management unit during the guide service through the device worn by the user at the actual site, such as a museum, and can be used in the user preference information analysis unit. To be stored in the database. Through the web page-based manager page, it is possible to manage overall content, such as registering, modifying, or deleting contents necessary for the location information guidance mode and the viewing information guidance mode.

콘텐츠 관리부에 박물관 등의 작품 정보와 관련된 콘텐츠들의 '데이터베이스 버전'이 생성된 후에는 해당 데이터베이스 버전의 넘버링을 기준으로 디바이스 내 데이터베이스와 버전을 비교하여 최신 콘텐츠 데이터가 업데이트 되도록 한다. 관리자 웹페이지는 디바이스의의 콘텐츠 관리뿐만 아니라 서비스에 필요한 전반적인 이용 관리를 포함하는 기능들로 구성되며 서비스되는 대상(미술관 및 박물관 등)마다 별도로 독립된 형태로 구축될 수 있다.After the'database version' of contents related to work information such as a museum is created in the content management unit, the latest content data is updated by comparing the version with the database in the device based on the numbering of the database version. The manager web page is composed of functions including not only the content management of the device, but also the overall use management necessary for the service, and can be built in a separate form for each service target (arts and museums, etc.).

상기 사용자 기호 정보 분석부에서 사용자 정보/기호는 후술하는 디바이스의 관람 정보 안내 모드를 통해 이루어진 사용자의 이용 정보를 데이터화한 것으로, 구체적인 사용자 이용 정보로는 관람 가이드 서비스 이용자의 성별, 나이, 지역, 관람 스캔 대상, 반복 스캔 횟수, 단일 관람 지속 시간, 전체 서비스 이용 시간, 관람 순서, 사용자 조작 정보, 관람 이용 정보의 형태 등이 포함될 수 있다. 사용자 기호 정보 분석을 통해 일별, 주별, 월별, 분기별 등 다양한 주기별로 이용자 패턴 정보를 학습하고, 이를 바탕으로 전시 작품(콘텐츠)에 따른 이용객의 기호 정보 및 콘텐츠 유형별 데이터를 통해 선호하는 콘텐츠 소비에 대한 예측이 가능하게 된다.In the user preference information analysis unit The user information/symbol is a data format of the user's usage information made through the viewing information guide mode of the device to be described later, and the specific user usage information includes the gender, age, region, target of viewing scan, number of repetitive scans of the viewing guide service user, A single viewing duration, total service usage time, viewing order, user manipulation information, and viewing usage information may be included. Through the analysis of user preference information, user pattern information is learned at various cycles such as daily, weekly, monthly, and quarterly, and based on this, the preference information of users according to the exhibited works (contents) and data by content type are used to improve the consumption of preferred contents. Can be predicted.

관람 가이드 서비스용 디바이스(200)는 스마트 글래스 등 사용자 착용형 무선통신기기로서 박물관이나 전시장의 실제 현장을 육안으로 확인할 수 있는 투명창을 포함하며, 이 투명창에는 가상의 이미지가 출력되는 증강현실 디스플레이가 포함된다. 관람 가이드 서비스용 디바이스로는 무선통신 및 디스플레이 제어용 본체와 디스플레이용 투명 안경을 포함하는 스마트 글래스 이외에도, 본체와 투명창이 일체화된 고글형 디바이스나 헤드셋형 디바이스가 이용될 수도 있다. The viewing guide service device 200 is a user wearable wireless communication device such as smart glasses, and includes a transparent window for visually checking the actual site of a museum or exhibition hall, and an augmented reality display in which a virtual image is output in the transparent window. Is included. In addition to smart glasses including a body for wireless communication and display control and transparent glasses for a display, as a device for viewing guide service, a goggle-type device or a headset-type device in which the body and the transparent window are integrated may be used.

도 4a는 가이드 서비스를 위한 사용자 착용형 디바이스로서 스마트 글래스의 일례를 보인 것으로, 사용자의 머리에 안경식으로 착용하는 헤드셋(200a)과 컨트롤러 본체(200b)를 포함하고 있다. 헤드셋과 본체는 전기적으로 상호 연결되어 있으며, 본체는 외부 기기와 무선통신이 가능하고 헤드셋의 디스플레이를 제어할 수 있다.4A shows an example of smart glasses as a user wearable device for a guide service, and includes a headset 200a and a controller body 200b that are worn on the user's head in a spectacle style. The headset and the body are electrically interconnected, and the body can wirelessly communicate with external devices and control the display of the headset.

상기 디바이스는 콘텐츠 관리 서버와 무선 통신을 통해 데이터 송수신이 가능하며, 이를 통해 위치 정보, 작품 데이터, 사용자 정보/기호도 데이터 등을 상호 전달할 수 있다. 사용자 착용형 디바이스의 구성요소로는 기본적으로 통신부, 메모리, 카메라, 증강현실 인터페이스의 출력이 가능한 투명 디스플레이, GPS, 중력가속도, 나침반, 자이로 등을 포함하는 센서부를 포함하며, 필요에 따라 스피커 또는 이어폰을 통해 음성 정보를 출력할 수 있는 사운드부를 포함할 수 있다. 디바이스의 전원은 내장 배터리를 이용할 수 있으며, 또한, 디바이스의 본체에 전체 동작을 제어하는 통합 콘트롤러가 애플리케이션의 형태로 내장될 수 있다.The device can transmit and receive data through wireless communication with the content management server, and transmit location information, work data, user information/preference data, and the like to each other through this. The components of the user's wearable device basically include a communication unit, a memory, a camera, a transparent display capable of outputting an augmented reality interface, a sensor unit including GPS, gravitational acceleration, a compass, and a gyro, and if necessary, a speaker or earphone It may include a sound unit capable of outputting voice information through. The power of the device may use a built-in battery, and an integrated controller that controls the entire operation may be built into the main body of the device in the form of an application.

도 4b를 참조하면 디바이스의 구성을 보인 것으로, 디바이스 동작에 관여하는 콘트롤러는 구체적으로 메인 인터페이스(210), 위치 정보 안내부(220), 관람 정보 안내부(230), 사용자 정보 기호 관리부(240)로 구성될 수 있다.Referring to FIG. 4B, the configuration of the device is shown, and the controller involved in the operation of the device is specifically a main interface 210, a location information guide 220, a viewing information guide 230, and a user information preference management unit 240. It can be composed of.

메인 인터페이스(210)는 서비스 이용자가 디바이스를 착용 후 '애플리케이션'의 구동 등의 방법으로 메인 인터페이스가 동작되어 가장 먼저 접하게 되는 화면에 해당하며, 메인 인터페이스 동작 시 가이드 서비스에 필요한 각종 데이터를 업데이트 및 업로드하여 이용 가능한 상태로 최적화한다. 데이터 및 인터페이스 로드를 통해 각종 오류, 디바이스 오류, 데이터 오류, 배터리 부족 등을 점검하고 이상이 있을 경우 안내를 통해 원활한 서비스를 위한 오류 확인 및 제거하는 단계를 포함할 수 있다.The main interface 210 corresponds to the screen that the service user first encounters by operating the main interface by operating the'application' after wearing the device, and updating and uploading various data required for the guide service when the main interface is operated. And optimize it to an available state. It may include checking various errors, device errors, data errors, low battery, etc. through data and interface loading, and checking and removing errors for smooth service through guidance if there is an abnormality.

메인 인터페이스에서, 디바이스 착용자는 사용자 정보 입력 화면을 통해 사용자의 서비스 이용 동의 및 사용자 기호 정보 분석에 필요한 데이터를 제공할 수 있으며, 디바이스의 컨트롤러 등 사용자 조작에 의해 구체적인 정보를 입력할 수 있다. 사용자 조작은 예를 들어 디바이스의 본체(200b)에서 터치식 트랙패드(201a)를 이용하여 투명창에 디스플레이되는 가상의 '커서'를 (컴퓨터 화면의 마우스 커서와 유사하게) 움직여 조작하거나, 엔터키 또는 방향키(201b) 등을 누르는 조작 등이 포함될 수 있다.In the main interface, the device wearer can provide data necessary for the user's consent to service use and analysis of user preference information through the user information input screen, and can input specific information by user manipulation, such as a controller of the device. User manipulation is performed by moving a virtual'cursor' displayed on a transparent window (similar to a mouse cursor on a computer screen) using, for example, a touch-type trackpad 201a on the main body 200b of the device, or pressing the enter key. Alternatively, an operation of pressing the direction key 201b or the like may be included.

위치 정보 안내부(220)는 디바이스의 GPS센서 등 각종 센서부를 통해 수신된 값으로 사용자의 위치를 파악하며, 이를 중심으로 기등록된 위치 정보들을 디바이스의 디스플레이에 표시하여 안내해주는 시스템에 해당한다. 위치 정보로는 위도와 경도 그리고 해당 위치명과 상세설명 및 표시될 아이콘과 대표 이미지 정보 등이 포함될 수 있다.The location information guide unit 220 corresponds to a system that identifies a user's location using values received through various sensor units such as a GPS sensor of the device, and displays previously registered location information on the display of the device to guide it. The location information may include latitude and longitude, a corresponding location name and detailed description, an icon to be displayed, and information on a representative image.

위치 안내 동작 중 언제든지 '사용자 조작'에 의해 또 다른 시스템인 관람 정보 안내 시스템으로 전환되거나, 위치 정보 안내 시스템 활성화에 따라 수신되는 GPS값을 통해 실내의 관람 정보 안내가 필요한 상황일 경우에도 관람 정보 안내 시스템으로 자동 전환된다.At any time during the location guidance operation, the viewing information guidance system is switched to another system by'user manipulation', or when guidance on indoor viewing information is required through the GPS value received by activation of the location information guidance system. It automatically switches to the system.

관람 정보 안내부(230)는 관람실, 전시실 등 실내 관람 시 해당 콘텐츠에 대한 부가적인 정보를 표시 및 안내해주는 시스템으로서, 별도의 추가적인 장치를 박물관 등에 설치하지 않고도 구축할 수 있으며, 디바이스 내 카메라를 통해 콘텐츠 대상을 인식하고 해당 콘텐츠에 관련된 정보를 표시 및 안내해주는 핵심 기능을 수행한다. 관람 정보 안내를 위하여, 세부 구성으로 화면제어부와 센서제어부 및 사용자제어부를 포함할 수 있다.The viewing information guide 230 is a system that displays and guides additional information on the relevant content when viewing indoors, such as a viewing room and an exhibition room, and can be built without installing additional additional devices in a museum, etc., and through a camera in the device. It recognizes the target of the content and performs a core function of displaying and guiding information related to the content. In order to guide viewing information, detailed configurations may include a screen control unit, a sensor control unit, and a user control unit.

화면제어부(232)는 관람 정보 안내 모드가 활성화되었을 때 디바이스의 데이타베이스에 보유한 콘텐츠 ID값과 시스템 상태들을 체크하고, 가이드 서비스가 작동 중이 아닐 때 카메라를 점검한 뒤 센서 제어부를 활성화 시킨다.The screen control unit 232 checks the content ID value and system status held in the database of the device when the viewing information guide mode is activated, and activates the sensor control unit after checking the camera when the guide service is not in operation.

센서제어부(234)가 활성화되면 콘텐츠(박물관의 작품이나 전시장의 전시품 등)에 대해 스캔을 시작하는데, 디바이스의 카메라를 통해 실시간 입력되는 이미지 프레임과 디바이스의 데이터베이스에 등록된 콘텐츠 데이터가 일치하는지 여부를 확인하는 시스템 구성요소로서, 카메라를 통해 입력된 이미지 프레임 정보 내 콘텐츠 데이터의 스캔 정보와 일치하는 이미지 데이터가 포함되어 있으면 해당 콘텐츠 데이터의 ID값을 화면제어부로 전송하여 스캔을 중지한다.When the sensor control unit 234 is activated, it starts scanning the content (work in the museum or exhibits in the exhibition hall), and checks whether the image frame input in real time through the device's camera matches the content data registered in the device's database. As a system component to check, if image data that matches the scan information of the content data in the image frame information input through the camera is included, the ID value of the content data is transmitted to the screen control unit to stop scanning.

센서제어부로부터 콘텐츠 데이터의 ID값을 받게 되면, 화면제어부는 관람 가이드 시작을 위한 인터페이스를 구성하고, 안내를 시작하는데 필요한 데이터의 ID를 데이터베이스(데이터베이스2, 212)에서 확인하여 불러온다. 화면제어부에 의해 디바이스의 디스플레이에 증강현실적으로 출력되는 인터페이스는 오브젝트 및 애니메이션 구성에 따라 차이가 있지만, 기본적으로 해당 관람 대상의 명칭과 부가적인 정보가 표시되며 그에 맞추어 등록된 음성 정보가 출력될 수 있고, 타임라인에 등록된 키워드가 시간 흐름에 맞춰 표시되면서 안내에 따른 연출이 함께 출력될 수 있다. 화면제어부를 통해 구성된 인터페이스에는 '관람 세부정보'를 포함할 수 있는데, 이는 사용자 조작에 의해 팝업 형태로 표시되며 짤막한 사전 형식으로 분류에 맞춰 제공될 수 있다.When receiving the ID value of the content data from the sensor control unit, the screen control unit configures an interface for starting the viewing guide, and checks and loads the ID of the data required to start the guide from the databases (databases 2 and 212). The interface that is output in augmented reality to the display of the device by the screen control unit differs depending on the object and animation configuration, but basically the name of the target to be viewed and additional information are displayed, and the registered voice information can be output accordingly. Keywords registered in the timeline may be displayed according to the passage of time, and a direction according to the guidance may be output together. The interface configured through the screen control unit may include'viewing details', which are displayed in a pop-up form by user manipulation, and may be provided according to classification in a short dictionary format.

사용자제어부(236)는 디바이스의 디스플레이에 출력되는 사용자의 '입력 시스템'으로서, 실제 조작은 디바이스 본체의 버튼이나 터치 패드 등을 이용할 수 있으며 입력 및 컨트롤 화면은 디바이스의 투명창에 출력되는 증강현실 디스플레이를 통해 확인할 수 있다. 사용자 조작에 의해 관람 대상의 세부 정보를 선택적으로 표시하거나, 관람 안내 서비스를 강제로 중단시킬 수 있다. 안내를 중단하는 경우, 화면제어부는 안내 서비스를 중단하고, 구성된 인터페이스를 콘텐츠 데이터의 ID값과 함께 삭제하고, 센서제어부를 다시 활성화 시켜 다른 관람 대상을 인식할 수 있도록 스캔 시스템을 작동시킨다. 위치 정보 안내 모드와 동일하게, 사용자 조작에 의해 관람 정보 안내 모드를 중단하고 위치 정보 안내 모드로 전환하는 것도 가능하다.The user control unit 236 is a user's'input system' that is output on the display of the device, and the actual operation can be performed using a button or a touch pad of the device body, and the input and control screen is an augmented reality display that is output on the transparent window of the device. You can check it through. Detailed information of the viewing target may be selectively displayed by user manipulation, or the viewing guide service may be forcibly stopped. When stopping the guidance, the screen control unit stops the guidance service, deletes the configured interface along with the ID value of the content data, and activates the sensor control unit again to operate the scanning system so that other viewing targets can be recognized. Like the location information guide mode, it is also possible to stop the viewing information guide mode by user manipulation and switch to the location information guide mode.

사용자 정보 기호 관리부(240)는 사용자가 관람 정보 안내 서비스를 이용하면서 발생되는 정보들을 (콘텐츠 관리 서버로 전송하여 분석하기 위해) 객관적인 데이터로 변환 및 기록과 관리를 하는 시스템에 해당한다. 콘텐츠 관리 서버에서 언급한 사용자 이용 정보들을 실시간으로 데이터화하여 데이터베이스2에 누적하고, 사용자의 서비스 이용이 끝나면 (관리자에 의해 애플리케이션이 초기화될 때) 서버에 전송이 용이한 형태로 데이터를 패키징하고, 네트워크 연결이 유효할 때 저장된 정보를 콘텐츠 관리 서버로 전송하여 사용자 정보 기호 분석에 활용할 수 있다.The user information preference management unit 240 corresponds to a system that converts, records, and manages information generated while a user uses the viewing information guide service (to transmit and analyze the content management server). The user use information mentioned in the content management server is converted into data in real time and accumulated in database 2, and after the user's service use is finished (when the application is initialized by the administrator), the data is packaged in a form that is easy to transmit to the server, and the network When the connection is valid, the stored information can be transmitted to the content management server and used for user information preference analysis.

다음으로, 본 발명에 따른 증강현실 기반 관람 가이드 서비스 방법을 박물관 관람을 예로 들어 설명한다. Next, an augmented reality-based viewing guide service method according to the present invention will be described by taking a museum visit as an example.

박물관에 방문한 이용자는 매표 후 박물관에 입장하면서 예를 들어 박물관 입구 등에 위치한 장소에서 관람 가이드 서비스용 디바이스를 전달받는다. A user who visits the museum receives a device for viewing guide service at, for example, a place located at the entrance of the museum while entering the museum after ticketing.

이용자는 디바이스의 헤드셋을 착용한 후 본체의 콘트롤러를 조작하여 헤드셋의 디스플레이를 통해 메인 인터페이스를 출력할 수 있다. 메인 인터페이스에서 사용자는 개인 정보를 입력할 수 있으며, 사용자 정보 입력이 완료되면 메뉴 인터페이스로 이어져 위치 정보 안내와 관람 정보 안내를 선택하는 화면이 제공될 수 있다. 사용자 조작에 의해 원하는 안내 모드를 선택하거나, 별도의 조작이 없는 경우 위치 정보 안내 시스템이 먼저, 활성화된다. 선택된 안내 모드가 활성화된 이후에 상단의 상태 아이콘을 통해 어떤 안내가 활성화 중인지 표시가 되며, 사용자의 조작을 통해 위치 정보 안내와 관람 정보 안내를 전환할 수 있다.After wearing the headset of the device, the user can manipulate the controller of the main body to output the main interface through the display of the headset. In the main interface, the user may input personal information, and when the user information input is completed, a screen for selecting a location information guide and a viewing information guide may be provided through a menu interface. When a desired guide mode is selected by user manipulation or there is no separate manipulation, the location information guide system is first activated. After the selected guide mode is activated, which guide is being activated is displayed through the status icon at the top, and the location information guide and the viewing information guide can be switched through the user's manipulation.

도 5는 메인 인터페이스 화면의 일례를 보인 것으로, 안내모드 선택 화면 등이 제공될 수 있으며, 사용자의 조작으로 원하는 모드를 선택할 수도 있고, 박물관에서의 사용자 위치에 따라 안내모드가 자동으로 전환될 수도 있다, 예를 들어 최초 박물관 입구에 들어선 후 박물관 내부로 진입하기 전까지는 위치 정보가 안내되도록 설정할 수 있다.5 shows an example of a main interface screen, a guide mode selection screen, etc. may be provided, a desired mode may be selected by a user's operation, or the guide mode may be automatically switched according to a user's location in a museum. , For example, after entering the first entrance to the museum, the location information can be set to be guided until entering the interior of the museum.

박물관 내의 특정 장소 및 박물관 주변의 건물 정보 등 위치 안내 모드가 선택되면, 콘텐츠 관리 서버에서 디바이스에 미리 제공된 위치 정보 관련 데이터를 토대로 위치 정보가 디스플레이에 증강현실적으로 출력된다. 디바이스의 센서를 통해 사용자의 위치(GPS 센서 이용 : 위도, 경도 감지)를 파악하고, 사용자의 시선 내지 방향(나침반, 자이로스코프 센서 이용)을 감지하여 디바이스에 등록되어 있는 시설 관련 데이터나 주변 관광지 데이터 등의 위치 정보를 출력한다.When a location guidance mode, such as information on a specific place in the museum and buildings around the museum, is selected, location information is output on the display in augmented reality based on location information-related data previously provided to the device from the content management server. The device's sensor detects the user's location (using GPS sensors: latitude and longitude detection), detects the user's gaze or direction (using a compass, gyroscope sensor), and registers facility-related data or nearby tourist destination data on the device. Outputs location information such as.

등록된 콘텐츠 데이터를 통해 표시되는 위치 정보는 도 6에 도시한 바와 같이 디바이스 투명창에 예를 들어 아이콘 형태의 인터페이스로 디스플레이될 수 있으며, 사용자가 바라보는 방향과 위치 정보와의 방위각을 계산하여 직교 좌표계로 변환한 후 적합한 화면 가장자리 등의 위치에 증강현실적으로 표시된다. The location information displayed through the registered content data can be displayed on the device transparent window as an interface in the form of an icon, as shown in FIG. 6, and is orthogonal by calculating the azimuth angle between the user's viewing direction and location information. After converting to a coordinate system, it is displayed in augmented reality at a suitable location such as the edge of the screen.

사용자의 조작을 통해 해당 아이콘을 선택하면 세부 정보가 표시되며 길 안내 버튼을 통해 실시간으로 해당 위치로 이동하는 경로도 안내받을 수 있다. 이때 해당 위치 정보 아이콘은 사용자의 현위치로부터 해당 위치까지의 거리를 계산하여 거리 정보와 함께 디스플레이될 수 있으며, 특히 거리가 가까울수록 해당 위치 정보 아이콘을 크게 (또는 선명하게 혹은 밝게) 표시하여 거리 정보를 시각적으로 부각시킬 수 있다.Detailed information is displayed when the corresponding icon is selected through the user's manipulation, and a route to the corresponding location in real time can be received through the directions button. At this time, the location information icon may be displayed along with the distance information by calculating the distance from the user's current location to the location. In particular, the closer the distance, the larger (or brighter or brighter) the location information icon to display the distance information. Can be visually emphasized.

위치 정보 안내 모드는 사용자의 선택이나 사용자의 위치 변화 등에 따라 종료되거나, 관람 정보 안내 모드로 전환될 수 있다.The location information guide mode may be terminated according to a user's selection or a change in the user's location, or may be switched to a viewing information guide mode.

관람 정보 안내 모드에서 디바이스는 콘텐츠 관리 서버로부터 미리 제공받은 콘텐츠 데이터를 저장한 상태에서 박물관 내에 전시중인 각종 콘텐츠(작품)에 대한 스캔 동작을 진행한다. 작품 스캔은 일종의 사물 인식 과정으로서 디바이스의 헤드셋에 장착되어 있는 카메라를 통해 이루어진다. 도 7은 디바이스에서 관람 정보 안내 모드의 스캔 과정을 보인 사진으로서, 디바이스를 착용한 사용자의 시선에 따라 작품을 바라보게 되면 디바이스의 카메라가 해당 작품을 촬영하면서 미리 저장되어 있는 콘텐츠 데이터와 비교하는 과정을 거치게 된다. 도 8은 등록된 콘텐츠와 일치 여부 확인 과정을 보인 사진으로서, 스캔을 통해 촬영된 영상 이미지가 등록된 콘텐츠와 일치하는 것을 확인하게 되면, 디바이스 본체의 관람 정보 안내부의 센서제어부에서 해당 콘텐츠의 ID값을 화면제어부로 전송하는 한편, 카메라의 스캔 동작을 중지하고, 디스플레이를 통해 해당 콘텐츠 관련 정보를 증강현실적으로 출력하도록 준비한다.In the viewing information guide mode, the device performs a scan operation for various contents (artwork) being exhibited in the museum while storing contents data previously provided from the contents management server. Scanning works is a process of recognizing objects and is performed through a camera mounted on the device's headset. 7 is a picture showing the scanning process of the viewing information guide mode on the device. When viewing a work according to the gaze of a user wearing the device, the device's camera photographs the work and compares it with content data stored in advance. Will go through. FIG. 8 is a photograph showing a process of checking whether the registered content matches the registered content. When it is confirmed that the video image captured through the scan matches the registered content, the ID value of the corresponding content in the sensor control unit of the viewing information guide unit of the device main body. While transmitting to the screen control unit, the scanning operation of the camera is stopped, and the corresponding content-related information is prepared to be output in augmented reality through the display.

디바이스 헤드셋의 투명창에는 사용자가 실제 작품을 시각적으로 확인하면서 동시에 증강현실 디스플레이를 제공받는다. 증강현실적으로 제공되는 가상의 인터페이스가 투명창에 생성되며, 텍스트, 음성, 이미지 등의 형식으로 콘텐츠 관련 관람 정보가 디스플레이된다. 도 9는 관람 정보 가이드 화면을 보인 사진으로서, 사용자가 육안으로 확인하는 실제 작품에 투명창의 디스플레이를 통해 정보를 대표하는 키워드가 제시되고 있는 모습을 보이고 있다. 도 10은 구체적인 관람 정보를 서비스하는 화면을 보인 사진으로서, 사용자 선택에 의해 콘텐츠의 상세한 관람 정보가 안내되고 있는 모습을 모식적으로 보이고 있다. In the transparent window of the device headset, the user visually checks the actual work and at the same time is provided with an augmented reality display. A virtual interface provided in augmented reality is created on a transparent window, and content-related viewing information is displayed in the form of text, voice, and image. 9 is a photograph showing a viewing information guide screen, and shows a state in which a keyword representing information is presented through a display of a transparent window in an actual work that a user checks with the naked eye. FIG. 10 is a picture showing a screen for providing specific viewing information, and schematically shows a state in which detailed viewing information of content is guided by a user selection.

사용자는 박물관 내부를 이동하면서 여러 작품에 대해 디바이스의 스캔 동작 및 콘텐츠 일치 여부 확인 동작을 거쳐 해당 콘텐츠에 대한 관람 정보를 가이드받을 수 있으며, 이러한 과정을 통해 실제 가이드 인력이 없이도 사용자가 원하는 콘텐트 정보를 제공받으며 편하게 박물관의 작품들을 관람할 수 있게 된다. 해당 콘텐츠에 대한 작품 안내가 완료되거나 사용자 조작에 의해 가이드 서비스가 취소되면 관람 정보 안내 모드에서 콘텐츠 관련 디스플레이 제공이 중단되고, 디바이스의 카메라에 의해 작품 스캔이 재개된다. As the user moves inside the museum, the user can receive a guide for viewing information on the relevant content through the scanning operation of the device and the operation to check whether the contents match, and through this process, the user can receive the desired content information without the need for actual guide personnel. You will be able to enjoy the museum's works with ease. When the guide service for the relevant content is completed or the guide service is canceled due to user manipulation, the display of the content related to the viewing information guide mode is stopped, and the scan of the work is resumed by the camera of the device.

이러한 관람 가이드 서비스는 사용자의 이동 동선이나 작품 선택에 따라 다르게 적용될 수 있으며, 여러 사용자들에 대해 동시에 가이드 서비스가 개별적으로 제공될 수 있다. Such a viewing guide service may be applied differently according to a user's moving path or selection of works, and a guide service may be individually provided to multiple users at the same time.

이상에서 바람직한 실시예를 통하여 본 발명을 예시적으로 설명하였으나, 본 발명은 이와 같은 특정 실시예에만 한정되는 것은 아니며 본 발명에서 제시한 기술적 사상, 구체적으로는 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있을 것이다.Although the present invention has been exemplarily described above through preferred embodiments, the present invention is not limited to such specific embodiments, and the technical idea presented in the present invention, specifically, various forms within the scope described in the claims. It may be modified, changed, or improved.

100:콘텐츠 관리 서버 110:콘텐츠 관리부
112:관리자 페이지 114:데이터베이스1
120:통신부 130:사용자 정보 기호 분석부
200:디바이스 210:메인 인터페이스
212:데이터베이스2 220:위치 정보 안내부
230:관람 정보 안내부 232:화면제어부
234:센서제어부 236:사용자제어부
240:사용자 정보 기호 관리부
100: content management server 110: content management unit
112: Administrator Page 114: Database 1
120: communication unit 130: user information preference analysis unit
200: device 210: main interface
212: database 2 220: location information guide
230: viewing information information unit 232: screen control unit
234: sensor control unit 236: user control unit
240: User information symbol management unit

Claims (5)

미술관, 박물관, 박람회, 전시회 등의 전시장에 전시된 작품과 관련된 콘텐츠 정보를 관리하는 콘텐츠 관리 서버와, 이 서버와 무선 통신에 의해 데이터를 송수신하며 증강현실 디스플레이를 포함하는 사용자 착용형 디바이스로 구성되어, 전시장을 방문한 이용객에게 관람 가이드 서비스를 제공하는 방법으로서,
상기 콘텐츠 관리 서버에 작품 관련 콘텐츠를 등록하고 상기 전시장에 관련된 위치 정보와 함께 데이터베이스1 에 저장하는 단계,
상기 서버로부터 작품 관련 콘텐츠 정보 및 상기 전시장 관련 위치 정보를 수신하여 상기 디바이스의 데이터베이스2 에 저장하는 단계,
전시장에 방문한 이용객이 상기 디바이스를 착용한 상태에서 사용자 정보를 입력하고 메뉴를 선택하는 단계,
이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 위치 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계,
이용객의 전시장 내 위치 이동이나 디바이스에서 사용자 선택에 따라 관람 정보 안내 모드를 상기 디바이스의 디스플레이에 증강현실적으로 출력하는 단계로서,
a) 전시장 내 전시된 작품을 상기 디바이스의 카메라로 스캔하는 단계,
b) 카메라를 통해 실시간으로 입력되는 이미지를 분석하여 기등록된 작품 데이터가 포함되어 있는지 여부를 확인하며, 해당 작품이 존재하면 스캔을 중지하는 단계, 및
c) 상기 디바이스의 디스플레이에 스캔 된 작품과 관련한 정보를 증강현실적으로 출력하는 단계,
작품 관련 정보의 안내가 완료되거나 이용객의 전시장 내 위치 이동 또는 디바이스에서 사용자 선택에 따라 디바이스의 카메라로 스캔하는 단계가 진행되거나 위치 정보 안내 모드로 전환하는 단계를 포함하며,
상기 관람 정보 안내 모드에서 디바이스의 카메라를 통해 인식되는 스캔 정보는 미리 등록된 정보에 한정되며, 디바이스의 디스플레이에 증강현실적으로 출력되는 작품 관련 정보는 스캔된 작품을 설명하는 텍스트, 이미지, 또는 음성 자료를 포함하고,
상기 위치 정보 안내 모드에서 디바이스는 센서를 통해 이용객의 위치를 파악하고, 데이터로 기등록된 위치 정보들을 디바이스의 디스플레이에 증강현실적으로 출력하고, 이용객과 해당 위치와의 거리 및 바라보는 방향에 따른 각도를 계산하여 거리 및 방향에 따라 서로 다른 그래픽으로 디스플레이에 시각화하는 것을 특징으로 하는
증강현실 기반 관람 가이드 서비스 방법.
It consists of a content management server that manages content information related to works exhibited in exhibition halls such as art galleries, museums, fairs, and exhibitions, and a user wearable device that transmits and receives data through wireless communication with this server and includes an augmented reality display. , As a method of providing a viewing guide service to users who visited the exhibition hall,
Registering content related to a work in the content management server and storing it in a database 1 together with location information related to the exhibition hall,
Receiving work-related content information and the exhibition hall-related location information from the server and storing it in a database 2 of the device,
Entering user information and selecting a menu while a user visiting the exhibition hall is wearing the device,
Outputting a location information guidance mode on the display of the device in augmented reality according to the user's movement of the location in the exhibition hall or the user's selection on the device,
A step of outputting a viewing information guide mode on a display of the device in an augmented reality according to a user's movement of a location in the exhibition hall or a user selection on the device,
a) scanning the works displayed in the exhibition hall with the camera of the device,
b) Analyzing the image input through the camera in real time to check whether the previously registered work data is included, and stopping the scan if the work exists, and
c) outputting information related to the scanned work on the display of the device in augmented reality,
Including the step of completing the guide of information related to the work, performing a step of scanning with the camera of the device according to the movement of the location of the user in the exhibition hall or the user's selection from the device, or switching to the location information guidance mode,
In the viewing information guide mode, the scan information recognized by the device's camera is limited to pre-registered information, and the work-related information output in augmented reality on the device display includes text, images, or audio data describing the scanned work. Including,
In the location information guidance mode, the device detects the location of the user through a sensor, outputs previously registered location information as data on the display of the device in augmented reality, and determines the distance between the user and the location and the angle according to the viewing direction. Characterized in that it is calculated and visualized on the display in different graphics according to the distance and direction
Augmented reality-based viewing guide service method.
제1항에 있어서,
상기 콘텐츠 관리 서버는 작품 관련 콘텐츠에 대해 등록 및 수정하는 과정을 통해 콘텐츠 데이터베이스 버전을 생성하고, 콘텐츠 버전을 기준으로 상기 디바이스 내 데이터베이스2 와 비교하여 최신 콘텐츠 정보가 업데이트되도록 상기 디바이스의 데이터베이스2 를 상기 서버의 데이터베이스1 과 주기적으로 동기화시키는 것을 특징으로 하는 증강현실 기반 관람 가이드 서비스 방법.
The method of claim 1,
The content management server creates a content database version through the process of registering and modifying work-related content, and compares the content version with the database 2 in the device to update the device database 2 so that the latest content information is updated. Augmented reality-based viewing guide service method, characterized in that the periodic synchronization with the database 1 of the server.
삭제delete 제1항에 있어서,
상기 사용자 착용형 디바이스는 통신부, 메모리, 카메라, 증강현실 디스플레이, GPS와 나침반 또는 자이로를 포함하는 센서부를 포함하는 것을 특징으로 하는 증강현실 기반 관람 가이드 서비스 방법.
The method of claim 1,
The user wearable device includes a communication unit, a memory, a camera, an augmented reality display, and a sensor unit including a GPS and a compass or a gyro.
제1항에 있어서,
상기 콘텐츠 관리 서버는 사용자 기호 정보 분석부를 더 포함하고, 상기 디바이스는 사용자 기호 정보 관리부를 더 포함하며, 디바이스의 관람 정보 안내 모드를 통해 이루어진 이용객의 개인 정보 및 관람 이용 정보를 사용자 기호 정보 관리부에서 수집하고 사용자 기호 정보 분석부로 전송하여 이용객의 관람 관련 정보를 분석하는 것을 특징으로 하는 증강현실 기반 관람 가이드 서비스 방법.
The method of claim 1,
The content management server further includes a user preference information analysis unit, and the device further includes a user preference information management unit, and the user preference information management unit collects personal information and viewing use information of users made through the viewing information guide mode of the device. And analyzing information related to the visitor by transmitting to the user preference information analysis unit.
KR1020190105503A 2019-08-27 2019-08-27 AR based guide service for exhibition KR102243576B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190105503A KR102243576B1 (en) 2019-08-27 2019-08-27 AR based guide service for exhibition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190105503A KR102243576B1 (en) 2019-08-27 2019-08-27 AR based guide service for exhibition

Publications (2)

Publication Number Publication Date
KR20210025769A KR20210025769A (en) 2021-03-10
KR102243576B1 true KR102243576B1 (en) 2021-04-23

Family

ID=75148116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190105503A KR102243576B1 (en) 2019-08-27 2019-08-27 AR based guide service for exhibition

Country Status (1)

Country Link
KR (1) KR102243576B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102658353B1 (en) * 2021-08-03 2024-04-16 이승훈 A exposition guide platform based on augmneted reality and a exposition guide method using the same
KR102603801B1 (en) * 2022-08-19 2023-11-17 주식회사 아울즈 Gps location based user-customized augmented reality zoo viewing system and method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879586B1 (en) * 2016-12-16 2018-07-18 경희대학교 산학협력단 Method and system for managing implementation of augmented reality
KR102071113B1 (en) * 2017-10-23 2020-03-02 주식회사 에이알미디어웍스 Exhibit space and exhibition guide system using smart glass based on augmented reality

Also Published As

Publication number Publication date
KR20210025769A (en) 2021-03-10

Similar Documents

Publication Publication Date Title
EP3540571A1 (en) Method and device for editing virtual scene, and non-transitory computer-readable storage medium
KR101260576B1 (en) User Equipment and Method for providing AR service
US8884742B2 (en) Identifying locations within a building using a mobile device
Chalmers et al. Seamful design: Showing the seams in wearable computing
CN109814952A (en) A kind of application interface quickly starting control processing method, device and mobile terminal
US20160202067A1 (en) Interactive glasses and navigation system
CN113168279A (en) Image display device and method
KR102243576B1 (en) AR based guide service for exhibition
JPWO2019069575A1 (en) Information processing equipment, information processing methods and programs
CN108917766A (en) A kind of air navigation aid and mobile terminal
KR20210100171A (en) Session creation method and terminal device
JP4710217B2 (en) Information presenting apparatus, information presenting method, information presenting system, and computer program
US10317215B2 (en) Interactive glasses and navigation system
JP7400091B2 (en) Memo information display method, memo information transmission method, and electronic equipment
KR102339553B1 (en) Apparatus for enlarging screen and relaying screen in real time and operating method therof
KR102169609B1 (en) Method and system for displaying an object, and method and system for providing the object
WO2013183817A1 (en) System for providing exhibition assistance service
JP2019075126A (en) Information processing device and program
CN109343782A (en) A kind of display methods and terminal
KR20190053489A (en) Method for controlling mobile terminal supplying virtual travel survey service using pictorial map based on virtual reality
KR101706371B1 (en) A mobile terminal for performing a lifelog service and a server therefor
CN111033606A (en) Information processing apparatus, information processing method, and program
CN117010965A (en) Interaction method, device, equipment and medium based on information stream advertisement
WO2021140631A1 (en) Spatial recognition system, spatial recognition method, and information terminal
CN109582200B (en) Navigation information display method and mobile terminal

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right