KR20240091613A - 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법 및 이를 위한 시스템 - Google Patents

미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법 및 이를 위한 시스템 Download PDF

Info

Publication number
KR20240091613A
KR20240091613A KR1020220174712A KR20220174712A KR20240091613A KR 20240091613 A KR20240091613 A KR 20240091613A KR 1020220174712 A KR1020220174712 A KR 1020220174712A KR 20220174712 A KR20220174712 A KR 20220174712A KR 20240091613 A KR20240091613 A KR 20240091613A
Authority
KR
South Korea
Prior art keywords
miniature
diorama
virtual object
user terminal
user
Prior art date
Application number
KR1020220174712A
Other languages
English (en)
Inventor
이수원
Original Assignee
경상국립대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경상국립대학교산학협력단 filed Critical 경상국립대학교산학협력단
Priority to KR1020220174712A priority Critical patent/KR20240091613A/ko
Priority to PCT/KR2023/020606 priority patent/WO2024128819A1/ko
Publication of KR20240091613A publication Critical patent/KR20240091613A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 미니어처 디오라마를 이용한 증강현실 투어 시스템에 관한 것이다. 보다 자세하게는 사용자(예. 관람객)가 사용자 단말을 통하여 미니어처 디오라마를 촬영하면, 사용자 단말 화면 상에 촬영된 미니어처 디오라마와 관련된 가상 객체가 증강되고, 증강된 가상 객체가 사용자에게 해당 미니어처 디오라마의 설명이 포함된 음성데이터를 출력하거나, 가상 객체가 사용자의 터치 입력에 의하여 인터랙션(예. 가상 객체가 움직임)되도록 하여, 사용자가 보다 능동적으로 관광지를 관람할 수 있도록 하며, 해당 미니어처 디오라마에 대한 흥미를 극대화시킬 수 있도록 하는 미니어처 디오라마를 이용한 증강현실 투어 시스템에 관한 것이다.

Description

미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법 및 이를 위한 시스템{METHOD AND SYSTEM FOR PROVIDING AUGMENTED REALITY TOUR SERVICE USING MINIATURE}
본 발명은 미니어처 디오라마를 이용한 증강현실 투어 시스템에 관한 것이다. 보다 자세하게는 사용자(예. 관람객)가 사용자 단말을 통하여 미니어처 디오라마를 촬영하면, 사용자 단말 화면 상에 촬영된 미니어처 디오라마와 관련된 가상 객체가 증강되거나, 해당 미니어처 디오라마에 관한 설명이 포함된 음성데이터가 출력되고, 가상 객체가 사용자의 터치 입력에 의하여 인터랙션(예. 가상 객체가 움직임)되도록 하여, 사용자가 보다 능동적으로 관광지를 관람할 수 있도록 하며, 해당 미니어처 디오라마에 대한 흥미를 극대화 시킬 수 있도록 하는 미니어처 디오라마를 이용한 증강현실 투어 시스템에 관한 것이다.
관광지, 관광 명소, 또는 유적지 등을 축소한 모형을 전시하는 전시관 또는 박물관이 다수 존재하는데, 이렇게 축소한 모형을 미니어처 디오라마(Miniature) 또는 디오라마(Diorama)라고 한다.
이러한 미니어처 디오라마를 활용한 전시물은 단순히 전시 대상을 그대로 모방하여 축소한 것을 넘어서 구성 하나하나가 실제와 같은 듯 정교하게 제작되어 있는데, 이러한 미니어처 디오라마 또는 디오라마는 관객들로 하여금 흥미 및 현장감을 느낄 수 있게 해 주는 매개체로 활용되고 있다.
미니어처 디오라마 전시물은 관람객이 관광지를 시각적으로 한눈에 파악할 수 있어 즉각적인 메시지를 전달할 수 있음은 물론 높은 접근성을 가져 교육용 전시분야에서 가장 많이 활용된다.
하지만, 미니어처 디오라마 전시물이 이러한 장점들을 보유한 것과는 별개로 미니어처 디오라마 전시물에 대한 문제점도 적지 않다.
대표적으로, 미니어처 디오라마 전시물은 전시물 전체를 설명하기에는 부족한 면이 있다. 미니어처 디오라마 전시물은 비교적 큰 전시 대상물을 일정한 축척의 비율로 축소한 모형이기에 좁은 공간에 많은 구성들이 전시되는 효과를 발생시킬 수 있지만, 이러한 구성들 각각에 대한 설명을 모두 담아내기 어려워, 관람객이 전시물에 주요한 설명이 될 수 있는 부분을 쉽게 지나쳐 넘어갈 수 있다.
또한, 미니어처 디오라마 전시물은 관람객이 소극적이고 수동적으로 전시물을 관람하도록 유도한다. 미니어처 디오라마 전시물은 관람객의 시각적인 감각에만 의존하여 전시물을 설명하기에 능동적이고 참여적인 전시물과는 거리가 멀고, 관람객이 다소 소극적이고 수동적으로 전시물을 관람할 수밖에 없다.
본 발명은 이와 같은 문제점에 착안하여 도출된 것으로, 이상에서 살핀 기술적 문제점을 해소시킬 수 있음은 물론, 본 기술분야에서 통상의 지식을 가진 자가 용이하게 고안할 수 없는 추가적인 기술요소들을 제공하기 위해 발명되었다.
본 발명은 사용자가 사용자 단말을 통하여 미니어처 디오라마 또는 미니어처 디오라마의 특정 위치를 촬영하면, 증강현실 투어 서버가 해당 미니어처 디오라마 또는 해당 미니어처 디오라마의 특정위치와 관련된 가상 객체가 증강되도록 하는 증강 현실 투어 서비스를 제공하는 것을 목적한다.
또한, 본 발명은 사용자가 사용자 단말을 통하여 미니어처 디오라마 또는 미니어처 디오라마의 특정 위치를 촬영하면, 증강현실 투어 서버가 미니어처 디오라마 또는 해당 미니어처 디오라마의 특정위치와 관련된 설명이 포함된 음성 데이터가 출력되도록 하는 증강 현실 투어 서비스를 제공하는 것을 목적한다.
또한, 본 발명은 증강현실 투어 서버가 사용자 단말 화면 상에 증강된 가상 객체가 사용자의 선택 입력(예. 터치 입력)과 인터랙션(예. 가상 객체가 움직임)하도록 서비스를 제공하는 것을 또 다른 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
위와 같은 문제점을 해결하기 위하여, 본 발명에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법은 (a) 사용자 단말에 의해 미니어처 디오라마가 촬영되면, 식별 알고리즘을 이용하여 상기 미니어처 디오라마를 식별하는 단계, (b) 상기 사용자 단말 화면 상에 상기 미니어처 디오라마와 매칭되는 제1 가상 객체가 증강되도록 하는 단계, (c) 상기 사용자 단말에 의해 상기 미니어처 디오라마 내의 특정 위치가 촬영되면, 상기 식별 알고리즘을 이용하여 상기 특정 위치를 식별하는 단계 및 (d) 상기 사용자 단말 화면 상에 상기 특정 위치에 매칭되는 제2 가상 객체가 증강되도록 하는 단계를 포함하고, 상기 제1 가상 객체는, 상기 미니어처 디오라마와 관련된 설명텍스트, 인물, 사물, 또는 동물 중 적어도 하나 이상이 포함된 객체이며, 상기 제2 가상 객체는, 상기 특정 위치와 관련된 설명텍스트, 인물, 사물, 또는 동물 중 적어도 하나 이상이 포함된 객체인 것을 특징으로 할 수 있다.
또한, 상기 식별 알고리즘은 상기 미니어처 디오라마의 형상, 구조, 특징점, 외곽선, 상기 사용자 단말의 GPS 위치, 상기 사용자 단말이 촬영하는 방향 중 적어도 하나 이상을 기초로, 상기 미니어처 디오라마 또는 상기 미니어처 디오라마 내의 특정 위치를 식별하는 알고리즘인 것을 특징으로 할 수 있다.
또한, 상기 (b) 단계는 (b-1)상기 사용자 단말 화면 상에 상기 식별된 미니어처 디오라마와 매칭되는 가상 가이드 객체가 증강되도록 하는 단계 및 (b-2)상기 사용자 단말이 상기 미니어처 디오라마 내의 특정 위치를 촬영한 경우, 상기 가상 가이드 객체가 상기 특정 위치와 관련된 음성 데이터를 출력하게 하는 단계를 포함할 수 있다.
또한, 상기 (b-2) 단계에서 출력되는 음성 데이터는 상기 사용자 단말이 기 설정한 언어 정보를 토대로 출력되는 것을 특징으로 할 수 있다.
또한, 상기 (c)단계 이후에, (c-1)사용자가 상기 사용자 단말 화면 상에 특정 위치를 터치 입력하면, 상기 특정 위치와 매칭되는 제2 가상 객체가 증강되는 단계를 포함하고, 상기 (c-1) 단계에서의 상기 제2 가상 객체는 사용자의 터치 입력에 의하여 인터랙션되는 것을 특징으로 할 수 있다.
상기와 같은 본 발명에 따르면, 사용자가 사용자 단말을 통하여 미니어처 디오라마 또는 미니어처 디오라마의 특정 위치를 촬영하면, 서버가 해당 미니어처 디오라마 또는 해당 미니어처 디오라마의 특정위치와 관련된 가상 객체가 증강되도록 함으로써, 미니어처 디오라마를 관람하는 사용자에게 색다른 경험을 느끼도록 해주는 효과가 있다.
또한, 사용자가 사용자 단말을 통하여 미니어처 디오라마 또는 미니어처 디오라마의 특정 위치를 촬영하면, 증강현실 투어 서버가 미니어처 디오라마 또는 해당 미니어처 디오라마의 특정위치와 관련된 설명이 포함된 음성 데이터가 출력되도록 함으로써, 시각적인 감각으로만 미니어처 디오라마를 관람하였던 사용자에게 청각적인 감각으로도 미니어처 디오라마를 관람할 수 있도록 하여 보다 생동감 있는 관람을 할 수 있도록 하는 효과가 있다.
또한, 증강현실 투어 서버가 사용자 단말 화면 상에 증강된 가상 객체가 사용자의 선택 입력(예. 터치 입력)과 인터랙션(예. 가상 객체가 움직임)하도록 서비스를 제공함으로써, 관람객의 능동적인 관람 참여를 유도하여 미니어처 디오라마 관람에 대한 흥미를 향상시키는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도1은 본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 시스템의 전체적인 구성을 모식도로 나타낸 도면이다.
도2는 본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 시스템의 활용 예를 나타낸 도면이다.
도3 a 및 도 3b는 본 발명의 제1 실시 예에 따른 서버가 식별 알고리즘을 통하여 미니어처 디오라마를 식별하는 모습을 나타낸 도면이다.
도4a는 본 발명의 제1 실시 예에 따른 사용자 단말 화면 상에 제1 가상 객체가 증강된 모습을 나타낸 도면이다.
도4b는 본 발명의 제1 실시 예에 따른 사용자 단말 화면 상에 제2 가상 객체가 증강된 모습을 나타낸 도면이다.
도4c는 본 발명의 제1 실시 예에 따른 사용자 단말 화면 상에 증강된 가이드 가상 객체가 음성 데이터를 출력하는 모습을 나타낸 도면이다.
도5는 본 발명의 제1 실시 예에 따른 서버가 사용자에게 가상 객체와의 인터랙션을 제공하는 모습을 나타낸 도면이다.
도6은 본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강 현실 투어 서비스 제공방법을 구체적으로 나타낸 도면이다.
도7은 본 발명의 제2 실시 예에 따른 시스템의 전체적인 구성을 모식도로 나타낸 도면이다.
도8은 본 발명의 제2 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스의 활용 예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 사용되는 "포함한다 (Comprises)" 및/또는 "포함하는 (Comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한 본 명세서에서 사용되는 "촬영"한다는 표현은 카메라가 구동 중인 상태에서 사람, 사물, 풍경 따위가 비추어지는 상태, 사용자가 카메라가 들고 있는 채로 대상물을 향해 응시하고 있는 상태 등을 의미할 수 있으며, 사진 또는 동영상을 찍는 기능으로만 한정 해석되어서는 안될 것이다.
<제1 실시 예>
본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법은 사용자(예. 관람객)가 사용자 단말(200)을 통하여 미니어처 디오라마(300)를 촬영하면, 사용자 단말(200) 화면 상에 촬영된 미니어처 디오라마(300)와 관련된 가상 객체가 증강되도록 하고, 해당 미니어처 디오라마(300)의 설명이 포함된 음성데이터를 출력되도록 하고, 가상 객체가 사용자의 터치 입력에 의하여 인터랙션(예. 가상 객체가 움직임)되도록 하여, 사용자가 보다 능동적으로 관광지를 관람할 수 있도록 하며, 해당 미니어처 디오라마(300)에 대한 흥미를 극대화시킬 수 있도록 하는 서비스 제공방법이다.
본 상세한 설명에서 언급되는 미니어처 디오라마(300)는 관광지, 관광 명소, 관광지의 풍경, 박물관 전시물, 동상 등을 축소한 모형이며, 풍경이나 그림을 배경으로 두고 축소 모형을 설치해 역사적 사건이나 자연 풍경, 도시 경관 등 특정한 장면을 만들거나 배치한 것인 '디오라마(Diorama)'라고 이해하면 본 발명의 설명을 이해하기 쉬울 것이다.
[증강현실 투어 시스템(10)]
도1은 본 발명의 제1 실시 예에 따른 시스템(10)의 전체적인 구성을 모식도로 나타낸 것이다.
도1을 참고하면, 본 발명의 제1 실시 예에 따른 시스템(10)은 증강현실 투어 서비스 서버(이하, 서버(100)라 약칭함), 및 사용자 단말(200)을 포함할 수 있으며, 미니어처 디오라마(300)는 사용자 단말(200)의 촬영대상이 될 것이다.
[서버(100)]
서버(100)는 사용자에게 증강현실 투어 서비스를 제공하는 서버이며, 통신부(110), 알고리즘 실행부(120), 가상 객체 생성부(130) 및 음성 출력(140)를 포함한다.
[통신부(110)]
통신부(110)는 서버(100)가 네트워크로 연결되어 있는 사용자 단말기들, 또는 타 서버(미도시)들과 데이터를 송수신 하기 위해 필요한 구성이다. 통신부(110)는 유선 통신을 지원하기 위한 통신 모듈과, 무선 통신을 지원하기 위한 이동통신 모듈을 포함할 수 있다. 이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EVDO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국 및 외부의 사용자 단말기, 또는 참여자 단말과 무선 신호를 송수신하며, 이를 통해 사용자 간의 양방향 통신이 가능해지는 것이다.
[알고리즘 실행부(120)]
알고리즘 실행부(120)는 사용자가 복수의 미니어처 디오라마(300) 중 어떠한 미니어처 디오라마(300)를 촬영하고 있는지 식별할 수 있도록 '식별 알고리즘'을 실행하는 구성요소이다. 여기서, 식별 알고리즘은 각각의 미니어처 디오라마(300)의 특징점, 특징선(외곽선), 특징점들 간의 배치 구조 및 간격을 인식하여 미니어처 디오라마(300)를 식별하거나, 사용자 단말(200)의 위치와 서버(100) 내에 기 저장된 미니어처 디오라마(300)의 GPS 위치를 비교하여 사용자가 어떠한 미니어처 디오라마(300)를 촬영하고 있는지 식별하는 알고리즘이다. 또한, 식별 알고리즘은 사용자가 해당 미니어처 디오라마(300) 내에서의 특정 위치(P: 도3 참고)를 촬영하였다면, 이 특정 위치(P)를 식별할 수 있다. 이러한 식별 알고리즘에 대한 설명은 본 발명에서 자주 사용되는 용어를 설명할 때에 다시 한번 설명하도록 한다.
[가상 객체 생성부(130)]
가상 객체 생성부(130)는 기본적으로 사용자 단말(200) 화면 상에 가상 객체가 증강되도록 하는 것을 주된 기능으로 하는 구성요소이다.
가상 객체 생성부(130)는 알고리즘 실행부(120)가 미니어처 디오라마(300)를 식별하면, 즉시 사용자 단말(200) 화면 상에 해당 미니어처 디오라마(300)와 관련된 가상 객체가 증강되도록 할 수 있다.
가상 객체 생성부(130)는 알고리즘 실행부(120)가 해당 미니어처 디오라마(300)의 특정 위치(P)를 식별한 경우, 해당 특정 위치(P)와 관련된 가상 객체가 증강되도록 할 수 있다.
또한, 가상 객체 생성부(130)는 사용자가 사용자 단말(200) 화면 상의 어느 한 영역에 터치 입력하면, 터치 된 영역에 가상 객체가 증강되도록 하거나, 증강된 가상 객체를 다시 한번 터치하면, 가상 객체가 인터랙션(예. 움직임)되도록 할 수 있다.
[음성 출력부(140)]
음성 출력부(140)는 사용자 단말(200) 화면 상에 증강된 가상 객체가 해당 미니어처 디오라마(300) 또는 특정 위치(P)를 설명하도록 음성데이터(예. 내레이션)를 출력할 수 있다.
음성 출력부(140)는 TTS(Text to Speech: 음성합성)기술이 활용되는 구성요소이며, 사용자가 미니어처 디오라마(300)를 촬영하거나, 해당 미니어처 디오라마(300)의 특정 위치(P)를 촬영하면, 해당 미니어처 디오라마(300) 또는 특정 위치(P)와 매칭된 텍스트 데이터를 음성 데이터로 변환하여 출력할 수 있다.
음성 출력부(140)는 음성 데이터를 출력할 때에 사용자 단말(200)이 기 설정한 언어 정보를 토대로 출력할 수 있다. 구체적으로, 해당 미니어처 디오라마(300) 또는 특정 위치(P) 각각에는 텍스트 데이터가 다국어로 구성된 채로 매칭되어 있으며, 음성 출력부(140)는 음성이 출력되어야 할 때에 다국어로 구성된 텍스트 데이터(예. 한국어, 영어, 불어, 일본어 등) 중 사용자가 사용자 단말(200)을 통하여 기 설정한 언어 정보(예. 한국어)에 해당하는 텍스트 데이터를 추출하여, 추출된 텍스트 데이터를 음성 데이터로 변환하여 출력한다.
한편, 음성 출력부(140)는 미니어처 디오라마(300) 또는 특정 위치(P)에 매칭되어 있는 음성 데이터를 그대로 출력할 수 있다. 다시 말해, 이 때의 음성 출력부(140)는 텍스트 데이터를 음성 데이터로 변환하지 않고. 미니어처 디오라마(300) 또는 특정 위치(P)에 매칭되어 있는, 사용자(예. 성우)에 의하여 기 녹음된 음성데이터를 그대로 출력할 수 있다.
[사용자 단말(200)]
본 발명의 제1 실시 예에 따른 사용자 단말(200)은 관광지, 명소, 박물관 전시물을 관람하는 관람객의 단말일 수 있다. 사용자 단말기(300)는 본 발명의 기술 분야에 속하는 데스크탑, 노트북, 스마트폰, 태블릿PC, 스마트 워치 등과 같이 네트워크 기능을 보유한 단말이라면 어떠한 단말이라도 본 발명의 고객 단말기(200)가 될 수 있으나, 서버(100)에서 제공하는 서비스를 제공받기 위해서는 휴대성 또는 이동성이 필요하고, 미니어처 디오라마(300)를 촬영해야 할 카메라(220)가 포함되어 있어야 하므로, 본 발명의 사용자 단말기(200)는 스마트폰, 태블릿 PC와 같이 단말 내에 카메라(220)가 포함되어 있으면서, 휴대하기 용이한 단말인 것이 바람직할 것이다.
사용자 단말(200)은 서버(100)로부터 증강현실 투어 서비스를 제공받기 위하여 통신부(210) 및 카메라(220)를 포함할 수 있다.
[통신부(210)]
통신부(210)는 서버(100)와 데이터를 송수신 하기 위해 필요한 구성이다. 이러한 통신부(210)는 서버(100)의 통신부와 마찬가지로 유선 통신을 지원하기 위한 통신 모듈과, 무선 통신을 지원하기 위한 이동통신 모듈을 포함할 수 있으며, 이동통신 모듈에 대한 설명과 이동통신을 위한 기술표준들 또는 통신방식은 앞서 서버(100)의 통신부에서 한번 설명하였으므로, 중복 설명을 방지하고자 생략하도록 한다.
[카메라(220)]
카메라(220)는 기본적으로 피사체를 촬영하는 것을 주된 기능으로 하는 구성요소이며, 사용자가 미니어처 디오라마(300)를 촬영함으로써 증강현실 투어 서비스를 제공받을 때에 사용자의 또 다른 '눈'이 되어줄 수 있다. 또한, 카메라(220)는 사용자 단말(200)의 화면과 더불어 사용자가 증강현실 투어 서비스를 제공받을 수 있게 하는 매개체 역할을 수행한다.
도2는 본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 시스템(10)의 활용 예를 나타낸 도면이다.
도2를 참고하면, 사용자는 증강현실 투어 서비스를 제공받기 위하여, 사용자 단말(200)의 카메라(220)를 통하여 미니어처 디오라마(300) 또는 해당 미니어처 디오라마(300)의 특정 위치(P)를 촬영할 수 있다.
[미니어처 디오라마(300)]
본 발명에서 말하는 미니어처 디오라마(300)는 앞서 한번 설명하였듯이 풍경이나 그림을 배경으로 두고 축소 모형을 설치해 역사적 사건이나 자연 풍경, 도시 경관 등 특정한 장면을 만들거나 배치한 '디오라마(Diorama)'가 될 수 있다. 예를 들어, 도2에 도시된 바와 같이 독도의 지형과 주변 풍경(예. 바다)이 사용자가 한 눈에 확인할 수 있도록 축소된 모형이 본 발명의 미니어처 디오라마(300)가 될 수 있다.
한편, 미니어처 디오라마(300)는 고정된 모형이 아닌 움직이는 모형으로도 구현될 수 있다. 구체적인 예로, 기차 레일을 타고 움직이는 증기기관 모형이 있다고 가정하면, 이 증기기관 모형도 본 발명의 미니어처 디오라마(300)가 될 수 있으며, 사용자가 사용자 단말(200)의 카메라(220)를 통하여 기차 레일을 타고 움직이는 증기기관을 따라 촬영하면, 사용자 단말(200) 상에 증기기관과 관련된 가상 객체가 증강될 수 있다.
[특정 위치(P)]
본 발명에서 말하는 특정 위치(P)는 미니어처 디오라마(300) 내에서의 어느 한 부분의 특정한 위치를 말한다. 예를 들어, 도시된 도2에는 독도의 주변 경관이 축소된 모형인 미니어처 디오라마(300)가 있다고 가정하였을 때, 독도 주변 경관을 한눈에 바라볼 수 있는 전체 미니어처 디오라마(300)의 구조 내에서 '돛단배'의 위치가 본 발명의 특정 위치(P)가 될 수 있다.
이러한 특정 위치(P)는 전시관 또는 박물관을 관리하는 관리자가 서버(100)를 통하여 기 설정한 위치이며, 관리자는 서버(100)를 통하여 특정 위치(P)에 특정 위치(P)와 관련된 가상 객체, 텍스트 데이터, 음성 데이터를 매칭시키도록 설정할 수 있다.
이러한 특정 위치(P)는 후술할 식별 알고리즘에 의하여 식별되며, 이 때 식별 알고리즘은 특정 위치(P)의 실제 GPS 좌표, 미니어처 디오라마(300)의 특징점의 분포, 각 특징점들 간의 위치 관계 등을 통하여 특정 위치(P)를 식별할 수 있다.
이상 본 발명의 시스템(10)의 전체적인 구성에 대하여 간략히 살펴보았다.
다음으로, 본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법에서 자주 사용되는 용어를 설명할 때에 보다 자세히 설명하도록 한다.
[식별 알고리즘]
식별 알고리즘은 사용자가 복수의 미니어처 디오라마(300) 중 어떠한 미니어처 디오라마(300)를 촬영하고 있는지 식별하고, 사용자가 해당 미니어처 디오라마(300)를 촬영할 때에 해당 미니어처 디오라마(300)의 어떠한 특정 위치(P)를 촬영하고 있는 지를 식별하는 알고리즘이다.
식별 알고리즘은 사용자 단말(200)의 GPS위치와 미니어처 디오라마(300)의 GPS위치 또는 그 밖의 실내위치정보를 비교하여 미니어처 디오라마(300)를 식별한다. 구체적인 예로, 어느 한 박물관에 두 개의 미니어처 디오라마(300)가 'A공간', 'B공간' 각각에 배치되고, 사용자가 'A 공간'에 인접하여 위치하고 있다고 가정하였을 때, 서버(100)는 식별 알고리즘을 통하여 사용자 단말(200)의 GPS 위치 또는 그 밖의 실내위치정보가 'A공간'에 인접하다는 것을 감지하여 사용자가 'A공간'에 배치된 미니어처 디오라마(300)를 촬영하고 있다고 식별한다.
식별 알고리즘은 미니어처 디오라마(300)의 외곽선을 추출하고, 추출된 외곽선들의 위치, 배치 간격, 등을 비교 분석하여 미니어처 디오라마(300)를 식별할 수 있다. 다시 말해, 각각의 미니어처 디오라마(300)들의 외곽선들을 추출하면, 추출된 외곽선들이 미니어처 디오라마(300)에 따라 형상, 위치, 배치 간격 등이 상이하다는 특징을 활용하여 이를 기반으로 미니어처 디오라마(300)를 식별한다. 이렇게 미니어처 디오라마(300)의 외곽선을 추출하여 식별하는 방법은 추출된 외곽선의 데이터 양이 적고, 데이터 형식이 비교적 단순해지므로, 각 데이터들을 비교 분석하는 속도를 향상시킬 수 있다. 특히, 하나의 미니어처 디오라마(300) 전체 구조에서 어느 한 지점의 위치와 또 다른 지점의 외곽선의 형상, 주변 외곽선들 간의 배치 간격이 상이하므로, 외곽선을 추출하여 식별하는 방법을 활용하여 미니어처 디오라마(300)에서의 특정 위치(P)를 식별할 때에도 용이하게 활용될 수 있다.
식별 알고리즘은 학습된 AI 인공지능 기술을 활용하여 미니어처 디오라마(300)를 식별할 수도 있다. 구체적으로, 식별 알고리즘은 복수의 기 학습된 미니어처 디오라마(300)의 이미지 데이터 중에서 현재 사용자가 촬영 중인 미니어처 디오라마(300)의 이미지 데이터와 가장 유사도가 높은 이미지 데이터를 현재 사용자가 촬영 중인 미니어처 디오라마(300)로 식별할 수 있다.
도 3a 및 도3b는 본 발명의 제1 실시 예에 따른 서버(100)가 식별 알고리즘을 통하여 미니어처 디오라마(300)를 식별하는 모습을 나타낸 도면이다.
식별 알고리즘은 미니어처 디오라마(300)의 제1 특징점(Q1) 및 제2 특징점(Q2)을 토대로 미니어처 디오라마(300)를 식별할 수 있다.
도3a를 참고하면, 식별 알고리즘은 제1 특징점(Q1)을 토대로 미니어처 디오라마(300)를 식별할 수 있다. 여기서, 제1 특징점(Q1)이란 미니어처 디오라마(300)의 구조와 형상을 세밀하게 분석하였을 때에 돌출되어 튀어나온 점, 오목한 점과 같이 미니어처 디오라마(300)가 그 자체의 형상을 나타낼 때에 특징이 될 만한 점을 말할 수 있다. 이러한 특징점들은, 바람직하게는 영상 내에서 배경과 구별되는 영역, 즉, 미니어처 디오라마(300)의 색깔과 배경의 색깔이 달리 식별될 수 있을 때에 미니어처 디오라마(300) 상의 영역 내에서 탐색될 수 있으며, 미니어처 디오라마(300) 상의 영역 내에서도 돌출된 지점, 오목하게 파인 지점, 특정 물체가 배치되어 있는 지점 등 주변과 구조 또는 색깔, 그 밖의 특징으로 구별될 수 있는 지점이 특징점으로 정의될 수 있다. 또한, 상기 특징점은 추출된 외곽선의 선상에서 정의될 수도 있다.
식별 알고리즘은 미니어처 디오라마(300)의 제1 특징점(Q1)들 간의 배치 간격, 배치 형상, 분포를 분석하여 미니어처 디오라마(300)를 식별할 수 있다.
도3b를 참고하면, 식별 알고리즘은 제2 특징점(Q2)을 토대로 미니어처 디오라마(300)를 식별할 수 있다. 여기서, 제2 특징점(Q2)이란 하나의 미니어처 디오라마(300)를 구성하는 객체들의 위치를 나타내는 점이다. 구체적인 예로, 도시된 도3b에는 독도를 나타내는 객체를 중심으로, 4개의 부속 섬과 돛단배를 나타내는 객체들이 배치되어 있다. 이 때 각각의 객체의 위치를 나타내는 점이 제2 특징점(Q2)이다. 도면에서는 제2 특징점(Q2)들이 하나의 점으로 도시되어 있지는 않으나, 각각의 부속 섬, 돛단배 등 객체들의 위치는 임의의 일점들로 정의될 수 있으며, 이들 일점들의 배치 간격, 배치 형상, 분포 형상 등은 미니어처 디오라마(300)를 식별하기 위한 참고자료가 될 수 있다. 가령, 180cm의 사용자가 특정 방향에서 미니어처 디오라마(300)를 촬영하였다고 가정할 때, 사용자 단말 상에서의 화면에는 복수 개의 객체들이 표시될 수 있고, 각 객체들의 위치들이 임의의 일점들로 정의됨으로 인해 제2 특징점들의 패턴(일점들의 배치 간격, 배치 형상, 또는 분포 형상)이 획득되면, 이를 토대로 해당 미니어처 디오라마(300)가 어떤 것인지를 식별할 수 있을 것이다.
[가상 객체]
가상 객체는 사용자가 사용자 단말(200)로 하여금 미니어처 디오라마(300) 또는 해당 미니어처 디오라마(300)의 특정 위치(P)를 촬영하였을 때, 서버(100)의 가상 객체 생성부(130)가 사용자 단말(200) 화면 상에 증강시키는, 다시 말해 화면 상에 생성시키는 객체이다.
가상 객체는 텍스트 데이터, 이미지 데이터, 또는 움직이는 영상 데이터 형태일 수 있으며, 앞서 나열된 데이터의 형태들이 혼용될 수도 있다.
구체적인 예로, 독도 주변 경관을 축소한 미니어처 디오라마(300)를 통하여 사용자에게 증강현실 투어 서비스를 제공한다고 가정하였을 때, 이 때의 가상 객체는 미니어처 디오라마(300)에는 표현되지 못하였던 객체들, 예를 들어 하늘을 날아 다니는 괭이 갈매기, 해수면을 따라 움직이는 배, 섬을 지키는 경비대원, 가동 중인 등대 등이 가상 객체가 될 수 있다.
한편, 가상 객체에는 적어도 제1 가상 객체(20a), 제2 가상 객체(20b) 및 가이드 가상 객체(20c)가 포함될 수 있다. 이러한 제1 가상 객체(20a), 제2 가상 객체(20b) 및 가이드 가상 객체(20c)는 각각 도 4a, 도 4b 및 도4c를 참고하여 설명하도록 한다.
도 4a는 본 발명의 제1 실시 예에 따른 사용자 단말(200) 화면 상에 제1 가상 객체(20a)가 증강된 모습을 나타낸 도면이다.
[제1 가상 객체(20a)]
도 4a를 참고하면, 제1 가상 객체(20a)는 사용자가 사용자 단말(200)에 구비된 카메라(220)를 통하여 미니어처 디오라마(300)를 촬영하였을 때에 즉시 또는 사용자 터치 입력(가상 객체 증강 on/off)에 의하여 증강되는 가상 객체(20a)이다. 이러한 제1 가상 객체(20a)는 사용자가 특정 위치(P)를 촬영하지 않아도 증강되는 미니어처 디오라마(300)와 관련된 제1 가상 객체(20a)이다. 다시 말해, 사용자가 미니어처 디오라마(300)의 전체 또는 일부만 촬영하였을 때 해당 미니어처 디오라마(300)가 정상적으로 식별되면 이에 대한 제1 가상 객체(20a)가 자동적으로, 또는 사용자의 터치 입력에 따라 표시되도록 구현될 수 있다.
제1 가상 객체(20a)는 해당 미니어처 디오라마(300)의 이름, 해당 미니어처 디오라마(300)와 관련된 설명, 미니어처 디오라마(300)를 구성하는 객체에 대한 설명 또는 해당 미니어처 디오라마(300)와 관련된 인물, 사물, 동물 등의 객체가 될 수 있다.
구체적인 예로, 사용자가 사용자 단말(200)을 통하여 독도의 주변 경관이 축소된 미니어처 디오라마(300)를 촬영하면, 미니어처 디오라마(300)를 구성하는 객체를 표시하는 '독도', '바다'의 텍스트 데이터가 사용자 단말(200) 화면 상에 증강되거나, 해당 미니어처 디오라마(300)의 메인 주제(예. 독도 투어) 또는 독도에 대한 설명이 포함된 텍스트 데이터가 제1 가상 객체(20a)로서 증강될 수 있다.
도 4b는 본 발명의 제1 실시 예에 따른 사용자 단말(200) 화면 상에 제2 가상 객체(20b)가 증강된 모습을 나타낸 도면이다.
[제2 가상 객체(20b)]
제2 가상 객체(20b)는 사용자가 특정 위치(P)를 촬영해야지만 서버(100)의 가상 객체 생성부(130)에 의하여 증강되는 가상 객체이다.
제2 가상 객체(20b)는 특정 위치(P)와 관련된 인물, 동물, 사물 등의 가상 객체이다. 구체적인 예로, 도 4b를 참고하면, 사용자가 사용자 단말(200)을 통하여 독도의 주변 경관이 축소된 미니어처 디오라마(300)를 촬영할 때에, 어느 한 해수면의 특정 위치(P)를 촬영하게 되면, 해당 특정 위치(P) 또는 해당 특정 위치(P)에 근접한 위치에'돛단배' 형상의 제2 가상 객체(20b)가 증강된다.
도 4c는 본 발명의 제1 실시 예에 따른 사용자 단말(200) 화면 상에 증강된 가이드 가상 객체(20c)가 음성 데이터를 출력하는 모습을 나타낸 도면이다.
[가이드 가상 객체(20c)]
가이드 가상 객체(20c)는 사용자가 미니어처 디오라마(300)를 촬영하여 증강현실 투어 서비스를 제공받을 때에 사용자 단말(20) 화면 상에 증강되어 미니어처 디오라마(300)의 일부 또는 전체를 설명해주는 가상 객체이다. 참고로, 가이드 가상 객체(20c)는 도4c에 도시된 바와 같이 사람의 형상을 가지고 있지만, 이에 국한되지 않으며, 해당 미니어처 디오라마(300)와 관련된 동물, 또는 해당 미니어처 디오라마(300)를 상징하는 사물이 될 수도 있다. 또한, 경우에 따라 가이드 가상 객체(20c)는 별도의 보여지는 실체 없이 음성 데이터만 출력하게 구현될 수도 있다.
여기서의 음성 데이터는 미니어처 디오라마(300) 각각에 매칭된 데이터이거나, 해당 미니어처 디오라마(300)의 특정 위치(P) 각각에 매칭된 데이터이다.
참고로, 가이드 가상 객체(20c)는 제1 가상 객체(20a)의 속성을 가질 수도 있고, 제2 가상 객체(20b)의 속성을 가질 수도 있다. 다시 말해, 가이드 가상 객체(20c)는 사용자가 미니어처 디오라마(300)의 전체 또는 일부를 촬영할 때 해당 미니어처 디오라마(300)가 식별되었다면 디폴트(default)로 사용자 단말(200) 화면 상에 증강되어 미니어처 디오라마(300)를 설명하게 구현될 수 있으며, 사용자가 미니어처 디오라마(300)의 특정 위치(P)를 촬영할 때 해당 위치(P)가 촬영 중인 사실이 식별되어 사용자 단말(200) 화면 상에 증강되도록 구현될 수도 있다.
가이드 가상 객체(20c)의 구체적인 예를 살펴보기 위하여, 도 4c에 도시된 미니어처 디오라마(300)의 특정 위치(P)가 미니어처 디오라마(300) 전체 구조 중 괭이 갈매기 모형의 위치이며, 이 특정 위치(P)에 괭이 갈매기에 대한 음성 데이터 또는 텍스트 데이터가 매칭되어 있다고 가정할 때, 사용자가 미니어처 디오라마(300)의 특정 위치(P)인 괭이 갈매기를 촬영하면, 서버(100)의 음성 출력부(140)가 특정 위치(P)에 매칭되어 있던 기 녹음된 음성 데이터를 사용자 단말을 통해 출력하게 하거나, 특정 위치(P)에 매칭되어 있던 텍스트 데이터를 음성 데이터로 변환하여 출력하게 함으로써, 사용자가 가이드 가상 객체(20c)로부터 괭이 갈매기에 대한 설명을 들을 수 있도록 한다.
[제3 가상 객체(미도시)]
제3 가상 객체는 미니어처 디오라마(300) 내에 특정 위치(P)와 사용자 단말(200) 화면 내에 증강된 제1 및 제2 가상객체(20a, 20b) 간의 인터랙션이 가능하도록 구현된 가상 객체(20)이다.
제3 가상 객체는 사용자가 사용자 단말(200) 화면 상에 어느 한 영역을 터치 입력하면, 상기 터치 입력한 영역에 일정한 반경 범위 내에 생성되는 영역 그 자체를 말할 수 있으며, 바람직하게는 제3 가상 객체의 형상은 구 형상(sphere)일 수 있다.
사용자의 터치 입력에 의하여 생성된 영역인 제3 가상 객체는 상기 영역에 접하는 가상 객체(20)들과 특정 위치(P)가 인터랙션할 수 있도록 한다. 구체적인 예로, 본 발명의 서버(100)가 독도 주변 경관을 축소한 미니어처 디오라마(300)를 통하여 사용자에게 증강현실 투어 서비스를 제공하였고 사용자가 특정 위치(P)인 '선착장'과 제1 가상 객체(20a)인 '돛단배'사이의 영역을 터치 입력 하였다고 가정하였을 때에, 상기 터치 입력된 영역에 제3 가상 객체가 생성되고, 제3 가상 객체에 '선착장'과 '돛단배'가 접하게 됨으로써, 제3 가상 객체와 접하는 '돛단배'가 '선착장'에 정박하는 인터랙션이 실시될 수 있다.
참고로 제3 가상 객체는 사용자가 시각적으로 식별할 수 없는 투명한 색을 가져 사용자의 몰입감을 저하시키지 않도록 구현될 수 있다.
도5는 본 발명의 제1 실시 예에 따른 서버(100)가 사용자에게 가상 객체와의 인터랙션을 제공하는 모습을 나타낸 도면이다.
[인터랙션]
본 발명의 가상 객체 생성부(130)는 사용자 단말(200) 상에 가상 객체가 증강되도록 할 뿐만 아니라, 사용자가 사용자 단말(200) 화면 상의 어느 한 영역에 터치 입력하면, 터치가 된 영역에 가상 객체가 증강되도록 하여 사용자가 선택적으로 가상 객체를 생성할 수 있게 하는 등의 인터랙션을 제공할 수 있으며, 또한 증강된 가상 객체를 다시 한번 터치하면 가상 객체가 또 다른 반응을 보이도록 할 수 있다. 구체적인 예로, 도 5를 참고하면, 사용자가 사용자 단말(200) 화면 상에 증강된 가상 객체인 괭이 갈매기를 터치하면, 괭이 갈매기가 놀라서 날아가는 인터랙션을 사용자에게 제공할 수 있다.
이상 본 발명의 제1 실시 예에 따른 시스템(10)의 구성과 본 발명에서 자주 사용되는 용어들을 간략히 살펴보았다.
다음으로, 본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법에 대하여 자세히 살펴보도록 한다.
도 6은 본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강 현실 투어 서비스 제공방법을 구체적으로 나타낸 도면이다.
도6을 참고하면, 본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강 현실 투어 서비스 제공방법은 사용자 단말(200)이 미니어처 디오라마(300)를 촬영하면, 서버(100)가 식별 알고리즘을 실행하여 복수의 미니어처 디오라마(300) 중 사용자 단말(200)이 촬영한 미니어처 디오라마(300)가 어떤 미니어처 디오라마(300)인지 식별하는 단계(S101)에서 시작된다. 여기서의 식별 알고리즘은 사용자 단말(200)의 GPS정보와 미니어처 디오라마(300)의 위치를 비교하여 미니어처 디오라마(300)를 식별하거나, 미니어처 디오라마(300)의 외곽선을 추출하고, 추출된 외곽선들의 위치, 배치 간격, 등을 비교 분석하여 미니어처 디오라마(300)를 식별하거나, 학습된 AI 인공지능 기술을 활용하여 미니어처 디오라마(300)를 식별하거나, 미니어처 디오라마(300)의 제1 특징점(Q1) 및 제2 특징점(Q2)을 토대로 미니어처 디오라마(300)를 식별할 수 있는 알고리즘을 의미할 수 있다.
이후에, 서버(100)는 식별된 미니어처 디오라마(300)에 매칭되는 제1 가상 객체(20a)를 사용자 단말(200) 화면 상에 증강시킬 수 있다 (S102). 여기서의 제1 가상 객체(20a)는 식별된'미니어처 디오라마(300)'와 관련된 가상 객체일 것이며, 예를 들어 식별된 미니어처 디오라마(300)가 독도의 주변 경관이라면, 이 때의 제1 가상 객체(20a)는 독도에 서식하는 동물, 독도에 근무하는 경비대와 같은 이미지 또는 영상 객체이거나 미니어처 디오라마(300)를 설명하는 텍스트, 독도 내의 지명을 설명하는 텍스트 객체일 것이다.
한편, S102 단계에는 S102-1단계 및 S102-2 단계가 포함될 수 있다.
S102-1 단계는, 서버(100)가 사용자 단말(200) 화면 상에 식별된 미니어처 디오라마(300)와 매칭되는 가상 가이드 객체(20c)를 증강시키는 단계(S102-1)이다. 여기서, 가상 가이드 객체(20c)는 사용자가 미니어처 디오라마(300)를 촬영하여 증강현실 투어 서비스를 제공받을 때에 사용자 단말(20) 화면 상에 증강되어 미니어처 디오라마(300)의 일부 또는 전체를 설명해주는 가상의 객체이다.
S102-2단계는, 사용자 단말(200)이 상기 미니어처 디오라마(300) 내의 특정 위치(P)를 촬영한 경우, 상기 가상 가이드 객체가 상기 특정 위치와 관련된 텍스트 데이터를 음성 데이터로 변환하여 출력하는 단계이다.
S102 단계 이후에, 사용자 단말(200)이 미니어처 디오라마(300)의 특정 위치(P)를 촬영한 경우, 서버(100)가 식별 알고리즘을 실행하여 특정 위치(P)를 식별한다(S103). 여기서 말하는 특정 위치(P)는 특정 위치(P)는 미니어처 디오라마(300) 내에서의 어느 한 부분의 특정한 위치를 말한다.
다른 한편, S103 단계에는 S103-1 단계가 포함될 수 있다.
S103-1 단계는, 서버(100)는 사용자가 사용자 단말(200) 화면 상에 출력되는 특정 위치(P)를 터치 입력하면, 특정 위치(P)와 매칭되는 제2 가상 객체(20b)가 증강되는 단계이며, 이 단계(S103-1)에서, 증강된 제2 가상 객체(20b)는 사용자의 터치 입력에 의하여 인터랙션 될 수 있다.
S103 단계 이후에는, 서버(100)는 식별된 특정 위치(P)에 매칭되는 제2 가상 객체(20b)를 사용자 단말(200) 화면 상에 증강시킬 수 있다(S104). 여기서의 제2 가상 객체(20b)는 식별된 '특정 위치(P)'관련된 가상 객체일 것이며, 예를 들어 식별된 특정 위치(P)가 독도의 해수면에서 헤엄치는 '독도 강치'모형의 위치라면, 이 때의 제2 가상 객체(20b)는 '독도 강치'의 주요 먹이인 오징어, 고등어의 이미지 또는 영상 데이터일 수 있다.
이상 본 발명의 제1 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법에 대하여 구체적으로 살펴보았다.
다음으로, 본 발명의 제2 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 시스템에 대하여 살펴보도록 한다.
<제2 실시 예>
도 7은 본 발명의 제2 실시 예에 따른 시스템(10′)의 전체적인 구성을 모식도로 나타낸 도면이다.
본 발명의 제2 실시 예에 따른 시스템(10′)은 서버(100), 가이드 단말(201), 관람객 단말(202) 및 미니어처 디오라마(300)를 포함한다.
본 발명의 제2 실시 예에 따른 시스템(10′)이 본 발명의 제1 실시 예에 따른 시스템(10)과 상이한 점은 증강현실 투어 서비스를 제공받는 관람객 단말(202) 말고도 서버(100)와 연계되어 관람객에게 미니어처 디오라마(300)를 부가적으로 설명해주는 실제 가이드의 '가이드 단말(201)'이 추가된 것이다. 참고로, 본 발명의 제2 실시 예에 따른 관람객 단말(202)은 본 발명의 제1 실시 예에 따른 사용자 단말(100)과 동일한 것임을 이해한다.
가이드 단말(201)은 관람객 단말(202)과 마찬가지로 가이드 단말(201) 내에 구비된 카메라를 통하여 미니어처 디오라마(300)를 촬영하면, 서버(100)가 제공하는 증강현실 투어 서비스에 의하여 가이드 단말(201) 화면 상에 제1 내지 제3 가상 객체(20a, 20b, 20c)가 증강되지만, 실제 미니어처 디오라마(300)를 관람하는 관람객에게 부가적인 설명을 제공할 수 있는 부가적인 기능을 포함한다. 즉, 가이드 단말(201)용으로 별도의 어플리케이션이 제공될 수 있으며, 이는 관람객 단말(202)에 설치되는 어플리케이션과 다른 버전의 것일 수 있다.
가이드 단말(201)의 특수한 기능은 ⅰ) 온라인 가이드 커뮤니티를 형성하여 적어도 하나 이상의 관람객 단말(202)을 초대하는 기능이다. 구체적으로, 가이드 단말(201)은 서버(100)에 온라인 가이드 커뮤니티 생성을 요청하고, 온라인 가이드 커뮤니티가 생성되면, 근거리 통신 프로토콜(예. 블루투스)을 기반으로 가이드 단말(201) 기준 근거리 범위 내에 위치한 관람객 단말(202)을 초대할 수 있다.
가이드 단말(201)의 또 다른 특수한 기능은 ⅱ) 가이드가 가이드 단말(201) 화면 상에 어느 한 특정 부분을 터치하면 상기 특정 부분에 가상 객체가 생성되고, 관람객 단말(202) 화면 상에도 상기 특정 부분에 가상 객체가 생성되어 실제 가이드가 보다 풍부한 설명을 할 수 있도록 한다. 반대로, 관람객이 관람객 단말(202) 화면 상에 설명 듣고자 하는 어느 한 특정 부분을 터치하면, 가이드 단말(201) 화면 상에 상기 특정 부분을 지시하는 가상 객체(예. 화살표)가 증강될 수 있다.
도 8은 본 발명의 제2 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스의 활용 예를 나타낸 도면이다. 구체적으로, 도 8은 앞서 설명한 가이드 단말(201)의 특수한 기능 ⅱ)의 활용 예를 나타낸 도면이다.
도 8을 참고하면, 가이드는 가이드 단말(201)의 어느 한 특정한 부분을 터치하여, 터치 된 부분에 괭이 갈매기의 가상 객체를 삽입하면, 관람객 단말(202) 화면 상에서의 상기 특정한 부분에 괭이 갈매기의 가상 객체가 증강될 수 있다. 이를 통해 가이드는 관람객에게 보다 풍부하고 창의적인 설명을 제공할 수 있다. 또한 관람객은 관람객 단말(202) 화면 상에 설명 듣고자 하는 어느 한 특정 부분을 터치하면, 가이드 단말(201) 화면 상에 상기 특정 부분을 지시하는 질문 포인트가 화살표와 함께 디스플레이 될 수 있다. 이를 통해 관람객은 증강현실 기술과 미니어처 디오라마(300)가 접목된 새로운 경험을 할 수 있으며, 이와 동시에 숙련된 실제 가이드의 설명을 들을 수 있는 효과가 있다.
이상 본 발명의 제2실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법에 대하여 구체적으로 살펴보았다.
다음으로, 본 발명의 제3 실시 예에 따른 미니어처 디오라마를 이용한 증강현실 투어 제공방법에 대하여 살펴보도록 한다.
<제3 실시 예>
본 발명의 제3 실시 예에 따른 이용한 증강현실 투어 서비스 제공 방법은 사용자에게 미니어처 디오라마(300)의 전체 구성을 보다 세밀하고 정밀하게 설명해주기 위한 제공방법이다. 구체적으로, 미니어처 디오라마(300)는 제작될 때에 제작 대상물을 일정한 비율로 축소하여 모형으로 제작한다. 이 때, '메인이 되는 제작 대상물(예. 독도)'과 '부속이 되는 제작 대상물(예. 독도의 부속 도서)'의 실제 크기 격차가 크면, 축소한 모형으로 제작되었을 때, '부속이 되는 제작 대상물'은 매우 작은 크기로 제작되는 경우가 발생하며, 이 경우, 사용자는 '부속이 되는 제작 대상물'을 시각적으로 확인하기 어렵다. 이러한 불편함을 해결하고자 본 발명의 제3 실시 예에 따른 이용한 증강현실 투어 서비스 제공 방법은 '부속이 되는 제작 대상물'의 위치를 앞서 설명한 '특정 위치(P)'로 설정하고, '특정 위치(P)'에 '부속이 되는 제작 대상물'을 실제로 촬영하거나 실제와 비슷하게 제작된 2차원 이미지 데이터 또는 3차원 이미지 데이터를 매칭시킨다. 이후에, 사용자가 사용자 단말(200)을 통하여 '부속이 되는 제작 대상물'의 '특정 위치(P)'를 촬영하면, 사용자 단말(200)에 '특정 위치(P)'와 매칭된 '부속이 되는 제작 대상물'의 이미지 데이터가 가상 객체로서 증강되며, 사용자가 임의의 위치에서 상기 증강된 가상 객체를 촬영하면, 촬영하는 방향에 따라 상기 가상 객체의 위치 및 방향이 결정되어 디스플레이 될 수 있다. 즉, 미니어처 디오라마(300)의 특성 상 세밀한 제작이 어려운 작은 대상물들의 경우 자칫 사용자들이 촬영을 하더라도 아무런 정보가 표시되지 않을 수 있으나, 본 발명에서는 미니어처 디오라마(300) 상에 존재하는 한 사용자가 어떠한 대상물을 촬영하더라도 해당 대상물에 대한 설명 또는 증강현실이 제공될 수 있도록 구현될 수 있다. 특히, 작은 대상물을 촬영하는 각도에 따라 실시간으로 해당 대상물과 매칭된 3차원 모델링 또는 실제 해당 대상물을 해당 각도에서 촬영한 사진이 표시되도록 함으로써 사용자가 현장감을 느낄 수 있게 할 수 있다.
본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 구별되어 이해되어서는 안 될 것이다.
10, 10′, 10″: 시스템
20: 가상 객체
20a: 제1 가상 객체 20b: 제2 가상 객체 20c: 가이드 가상 객체
100: 서버
110: 통신부
120: 알고리즘 실행부
130: 가상 객체 생성부
140: 음성 출력부
200: 사용자 단말 201: 가이드 단말 202: 관람객 단말
210: 통신부
220: 카메라
300: 미니어처 디오라마

Claims (5)

  1. 증강현실 투어 서버가 미니어처 디오라마를 이용한 증강현실 투어 서비스를 제공하는 방법에 있어서,
    (a) 사용자 단말에 의해 미니어처 디오라마가 촬영되면, 식별 알고리즘을 이용하여 상기 미니어처 디오라마를 식별하는 단계;
    (b) 상기 사용자 단말 화면 상에 상기 미니어처 디오라마와 매칭되는 제1 가상 객체가 증강되도록 하는 단계;
    (c) 상기 사용자 단말에 의해 상기 미니어처 디오라마 내의 특정 위치가 촬영되면, 상기 식별 알고리즘을 이용하여 상기 특정 위치를 식별하는 단계; 및
    (d) 상기 사용자 단말 화면 상에 상기 특정 위치에 매칭되는 제2 가상 객체가 증강되도록 하는 단계;
    를 포함하고,
    상기 제1 가상 객체는,
    상기 미니어처 디오라마와 관련된 설명텍스트, 인물, 사물, 또는 동물 중 적어도 하나 이상이 포함된 객체이며,
    상기 제2 가상 객체는,
    상기 특정 위치와 관련된 설명텍스트, 인물, 사물, 또는 동물 중 적어도 하나 이상이 포함된 객체인 것을 특징으로 하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
  2. 제1항에 있어서,
    상기 식별 알고리즘은,
    상기 미니어처 디오라마의 형상, 구조, 특징점, 외곽선, 상기 사용자 단말의 GPS 위치, 상기 사용자 단말이 촬영하는 방향 중 적어도 하나 이상을 기초로, 상기 미니어처 디오라마 또는 상기 미니어처 디오라마 내의 특정 위치를 식별하는 알고리즘인 것을 특징으로 하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
  3. 제1항에 있어서,
    상기 (b) 단계는,
    (b-1)상기 사용자 단말 화면 상에 상기 식별된 미니어처 디오라마와 매칭되는 가상 가이드 객체가 증강되도록 하는 단계; 및
    (b-2)상기 사용자 단말이 상기 미니어처 디오라마 내의 특정 위치를 촬영한 경우, 상기 가상 가이드 객체가 상기 특정 위치와 관련된 음성 데이터를 출력하게 하는 단계;
    를 포함하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
  4. 제3항에 있어서,
    상기 (b-2) 단계에서 출력되는 음성 데이터는,
    상기 사용자 단말이 기 설정한 언어 정보를 토대로 출력되는 것을 특징으로 하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
  5. 제1항에 있어서,
    상기 (c)단계 이후에,
    (c-1)사용자가 상기 사용자 단말 화면 상에 특정 위치를 터치 입력하면, 상기 특정 위치와 매칭되는 제2 가상 객체가 증강되는 단계;
    를 포함하고,
    상기 (c-1) 단계에서의 상기 제2 가상 객체는 사용자의 터치 입력에 의하여 인터랙션되는 것을 특징으로 하는,
    미니어처 디오라마를 이용한 증강현실 투어 서비스 제공방법.
KR1020220174712A 2022-12-14 2022-12-14 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법 및 이를 위한 시스템 KR20240091613A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220174712A KR20240091613A (ko) 2022-12-14 2022-12-14 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법 및 이를 위한 시스템
PCT/KR2023/020606 WO2024128819A1 (ko) 2022-12-14 2023-12-14 미니어처 디오라마 상에 실시간 현실 정보를 반영한 가상 콘텐츠를 증강하는 서비스 제공 방법 및 이를 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220174712A KR20240091613A (ko) 2022-12-14 2022-12-14 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법 및 이를 위한 시스템

Publications (1)

Publication Number Publication Date
KR20240091613A true KR20240091613A (ko) 2024-06-21

Family

ID=91700492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220174712A KR20240091613A (ko) 2022-12-14 2022-12-14 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법 및 이를 위한 시스템

Country Status (1)

Country Link
KR (1) KR20240091613A (ko)

Similar Documents

Publication Publication Date Title
US11100695B1 (en) Methods and systems for creating an immersive character interaction experience
EP3996378A1 (en) Method and system for supporting sharing of experiences between users, and non-transitory computer-readable recording medium
CN110873963B (zh) 内容显示方法、装置、终端设备及内容显示系统
Guimarães et al. Augmented Reality and Storytelling in heritage application in public gardens: Caloust Gulbenkian Foundation Garden
US11522945B2 (en) System for providing synchronized sharing of augmented reality content in real time across multiple devices
Scheible et al. Using drones for art and exergaming
US10339644B2 (en) Systems and methods for three dimensional environmental modeling
Regenbrecht et al. Ātea presence—Enabling virtual storytelling, presence, and tele-co-presence in an indigenous setting
Baker Virtual, artificial and mixed reality: New frontiers in performance
KR20240091613A (ko) 미니어처 디오라마를 이용한 증강현실 투어 서비스 제공 방법 및 이를 위한 시스템
CN110634190A (zh) 一种远程摄像vr体验系统
Lee et al. Flying Over Tourist Attractions: A Novel Augmented Reality Tourism System Using Miniature Dioramas
Sorrentino et al. SuperAvatar children and mobile tourist guides become friends using superpowered avatars
US10139780B2 (en) Motion communication system and method
Camilleri Augmented Reality in Cultural Heritage: Designing for Mobile AR User Experiences
Kuchelmeister The virtual (reality) museum of immersive experiences
Velho et al. Vr tour: Guided participatory metanarrative for virtual reality exploration
See et al. An Augmented Reality and Virtual Reality Pillar for Exhibitions: A Subjective Exploration.
US20230386152A1 (en) Extended reality (xr) 360° system and tool suite
Ghimire Augmented Reality in Historical Museum: A case study at Fjell Fortress
Tsakoumaki et al. Advanced Digitization Methods for the Protection and Dissemination of Cultural Heritage towards Digital transformation: The Archaeological Museum of Delphi
US20170221504A1 (en) Photorealistic CGI Generated Character
Le Calvé Mother and son: Reality versus art in virtual reality. Staging an atmospheric performance with immersive technologies
US20240005618A1 (en) Volumetric heat maps for intelligently distributing virtual objects of interest
Minnie Homunculi of the Digital City