KR20240044083A

KR20240044083A - 메타버스 기반의 몰입형 전시 시스템 및 그 방법

Info

Publication number: KR20240044083A
Application number: KR1020220123379A
Authority: KR
Inventors: 이민재
Original assignee: 주식회사 더시퀀스
Priority date: 2022-09-28
Filing date: 2022-09-28
Publication date: 2024-04-04

Abstract

본 발명은 AR-VR 기술 기반의 몰입형 전시 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 AR-VR 기술 기반의
몰입형 전시 시스템은, 전시관의 소정 위치에 설치되며, 관람자에 의해 선택된 주요 전시물에 대하여 AR 기반의
기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 개인용 디스플레이 장치와; 전시관의 소정 위치에 개인용 디스플레이 장치와 전기적으로 연결되도록 설치되며, 개인용 디스플레이 장치를 통해
사용자(관람자)가 관람하는 영상을 화면을 통해 디스플레이하는 TV; 및 전시관의 소정 위치 또는 전시관과 멀리
떨어진 원격 지점에 설치되어 개인용 디스플레이 장치와 유무선 인터넷에 의해 연결되며, 전시관에 전시되는 전
시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공하는 서비스 제공 서버
를 포함한다.
이와 같은 본 발명에 의하면, AR-VR 기술기반의 몰입형 전시 시스템을 지방 자치단체에서 실제로 운영하고 있는
자연사 박물관에 적용함으로써, 실제의 전시공간과 가상공간이 유기적으로 연계된 다양한 실감형 체험 콘텐츠를
제공할 수 있고, 사용자는 실제의 공간과 가상공간이 연계된 공간에서 다양한 체험을 실감나게 해볼 수 있다.

Description

메타버스 기반의 몰입형 전시 시스템 및 그 방법{Metaverse-based immersive exhibition system and Its method}

본 발명은 전시(exhibition) 시스템에 관한 것으로서, 더 상세하게는 AR (augmented [0001] reality)-VR(virtual

reality) 기술기반의 몰입형 전시 시스템을 실제로 운영되고 있는 박물관 또는 전시관에 적용함으로써, 실제의

전시공간과 가상공간이 유기적으로 연계된 다양한 실감형 체험 콘텐츠를 제공할 수 있는 AR-VR 기술 기반의 몰

입형 전시 시스템 및 그 방법에 관한 것이다.

최근 박물관이나 전시관들은 첨단 기술과 디지털 미디어를 이용하여 관람객의 [0003] 능동적 관람을 유도하고, 다양한

체험 프로그램을 통해 관람객의 재방문을 촉진하기 위해 노력하고 있다.

[0004] 현재 국내 박물관, 전시관은 전시물의 특성 및 AR/VR 기술의 특징에 대한 이해없이 단편적으로 AR 또는 VR 콘텐

츠를 제공하고 있다. 외국의 경우도 단조로운 영상 콘텐츠나 단편적인 AR/VR 콘텐츠, 또는 홀로그램 등을 보여

주는 수준에 머물고 있다. AR 및 VR 콘텐츠가 유기적으로 연결되지 못한 채 별도의 공간에서 독립적으로 디스플

레이되는 경우가 대부분이다.

[0005] 기존의 전시 콘텐츠 사례들은 AR 기술을 사용하여 전시물과 3D 콘텐츠를 단순히 겹쳐서 보여주는 형식이거나, 3

인칭 관찰자 시점을 기준으로 관람객들의 모습을 보여주는 카메라 영상에 상호작용하는 3D 콘텐츠를 등장시키는

방식으로 구성이 단순하기 때문에 몰입감이 높은 전시 체험을 제공하기는 어렵다.

[0006] 일부 공룡관련 전시관들은 화석 표본에 복원된 3D 공룡을 AR로 덧씌워 보여줌으로써, 실제 전시물과 연관된 정

보를 제공하고 있다. 그러나 3D 공룡의 애니메이션이 실행되면 실제의 전시물과 정합되지 않은 상태로 별개로

증강되기 때문에 이질감이 발생한다.

[0007] 따라서, 기존의 획일적이고 표준화된 전시 방식에서 관람객의 선택적, 맞춤식 관람 방식으로 전환하여 체험 다

양성을 높여주고, 더욱 몰입될 수 있는 가상 체험 환경을 제공하여 일반적인 학습 상황에서는 경험하기 어려운

새로운 경험이 가능한 융합 콘텐츠 발굴 및 개발이 필요한 실정이다.

[0008] 한편, 한국 공개특허공보 제10-2011-0041277호(특허문헌 1)에는 "박물관 전시 안내 시스템 및 그 방법"이 개시

되어 있는바, 이에 따른 박물관 전시 안내 시스템은, 박물관(박물관, 미술관, 박람회의 전시관 및 그에 준하는

각종 전시관을 대표하는 개념으로서 사용된 용어로 정의된다)에 위치하는 대상물; 상기 대상물에 인접하여 위치

하며 식별부호가 표시된 표지; 이동통신 회사의 이동국(mobile station)인 관람자의 모바일 단말; 상기 대상물

에 대한 데이터를 보존하며, 상기 식별부호에 대응하는 인덱스가 부여된 데이터베이스; 및 상기 모바일 단말이

접속하는 박물관 무선 인터넷 페이지와 그것의 운영 서버를 포함하며, 상기 모바일 단말을 통해 특정 대상물에

대한 식별부호가 입력되는 경우, 해당 식별부호에 대응하는 콘텐츠를 상기 데이터베이스에서 추출하여, 상기 운

영 서버가 상기 모바일 단말로 전송하여 실시간으로 안내하는 것을 특징으로 한다.

[0009] 이상과 같은 특허문헌 1의 경우, 관람자가 자신의 휴대폰을 이용하여 박물관의 특정 대상물에 대한 콘텐츠를 다

운로드 받아 안내를 받음으로써, 관람자의 "자기 주도형 관람"을 가능하게 해주고, 대상물에 대한 정보를 관람

후에도 활용할 수 있는 장점이 있을지는 몰라도, 이는 단순히 대상물에 대한 콘텐츠(정보)를 휴대폰을 통해 제

공할 뿐, AR 및 VR 기반의 콘텐츠를 제공하지는 못하며, 따라서 몰입감이 높은 전시 체험을 제공하기는 어렵다.

[0011] 본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, AR-VR 기술기반의 몰입형 전시 시스템을

실제로 운영되고 있는 박물관 또는 전시관에 적용함으로써, 실제의 전시공간과 가상공간이 유기적으로 연계된

다양한 실감형 체험 콘텐츠를 제공할 수 있는 AR-VR 기술 기반의 몰입형 전시 시스템 및 그 방법을 제공함에 그

목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 AR-VR [0013] 기술 기반의 몰입형 전시 시스템은,

[0014] 전시관의 소정 위치에 설치되며, 관람자에 의해 선택된 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정

보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 개인용 디스플레이 장치와;

[0015] 전시관의 소정 위치에 상기 개인용 디스플레이 장치와 전기적으로 연결되도록 설치되며, 개인용 디스플레이 장

치를 통해 사용자(관람자)가 관람하는 영상을 화면을 통해 디스플레이하는 TV; 및

[0016] 전시관의 소정 위치 또는 전시관과 멀리 떨어진 원격 지점에 설치되어 상기 개인용 디스플레이 장치와 유무선

인터넷에 의해 연결되며, 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의

애니메이션 콘텐츠를 제공하는 서비스 제공 서버를 포함하는 점에 그 특징이 있다.

[0017] 여기서, 바람직하게는 사용자(관람자)의 스마트폰과 연동하여 상기 개인용 디스플레이 장치를 이용하여 콘텐츠

를 체험하는 것과 동일한 체험을 할 수 있도록 하는 휴대용 HMD(head mounted Display) 뷰어를 더 포함할 수 있

다.

[0018] 또한, 상기 개인용 디스플레이 장치는,

[0019] 장치의 주요 몸체를 이루는 헤드셋 몸체부와;

[0020] 상기 헤드셋 몸체부에 탈착 가능하게 결합되며, 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR

기반의 애니메이션 씬(scene)을 디스플레이하는 태블릿 PC와;

[0021] 상기 태블릿 PC가 장착된 헤드셋 몸체부의 전면에 결합되어 태블릿 PC와 헤드셋 몸체부를 보호하는 전면

커버와;

[0022] 상기 헤드셋 몸체부의 후면에 결합되어 헤드셋 몸체부를 보호하는 후면 커버와;

[0023] 상기 헤드셋 몸체부의 하부에 결합되어 헤드셋 몸체부를 상하 및 좌우로 회전 가능하게 지지 및 고정하는 지지

부재; 및

[0024] 상기 지지부재의 하부에 결합되어 지지부재를 좌우 회전 가능하게 지지 및 고정하는 스탠드를 포함하여 구성될

수 있다.

[0025] 여기서, 상기 후면 커버에는 사용자(관람자)가 개인용 디스플레이 장치를 이용하여 전시물을 관람할 때, 디스플

레이 장치의 상하 및 좌우 회전을 용이하게 하기 위한 손잡이가 형성될 수 있다.

[0026] 또한, 상기 개인용 디스플레이 장치에 의해 디스플레이되는 AR 기반의 기본 정보는 POI(Point of Interest) 아

이콘으로 등록되어 있는 주요 전시물에 대한 기본 정보로서 헤드 업 디스플레이(head up display) 형식으로 전

시물과 겹쳐져 디스플레이되도록 구성될 수 있다.

[0027] 여기서, 상기 AR 기반의 기본 정보가 디스플레이되는 화면은 POI 아이콘과 사용자 시점 아이콘, 해당 전시물에

대한 기본 정보창이 표시되도록 구성될 수 있다.

[0028] 이때, 상기 기본 정보창은 해당 전시물에 대한 기본정보와 3D 복원 및 시간 여행 아이콘이 표시되도록 구성될

수 있다.

[0029] 또한, 상기 개인용 디스플레이 장치에 의해 디스플레이되는 AR 기반의 상세 정보는 사용자(관람자)에 의해 선택

된 특정 화석 표본의 본래 모습을 3차원으로 복원하여 해당 전시물에 겹쳐서 디스플레이되도록 구성될 수 있다.

[0030] 여기서, 상기 AR 기반의 상세 정보가 디스플레이되는 화면은 해당 전시물에 대한 3차원 복원 모델과 상세 정보

창이 표시되도록 구성될 수 있다.

[0031] 이때, 상기 상세 정보 창은 해당 전시물에 대한 상세정보와 정보탐색 아이콘이 표시되도록 구성될 수 있다.

[0032] 또한, 상기 개인용 디스플레이 장치에 의해 디스플레이되는 VR 기반의 애니메이션 씬(scene)은 연출되어 있는

화석 표본들의 역동적인 자세와 상황을 유추하여 VR 애니메이션 씬으로 상황을 모사(模寫)하도록 구성될 수 있

다.

[0033] 또한, 상기 서비스 제공 서버는 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR

기반의 애니메이션 콘텐츠를 제공함에 있어서, AR-VR 플랫폼의 유기적 전환이 가능한 몰입형 체험 전시 콘텐츠

를 제공할 수 있다.

또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 AR-VR [0034] 기술 기반의 몰입형 전시 방법은,

[0035] 개인용 디스플레이 장치와, TV 및 서비스 제공 서버를 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템을 바탕

으로 한 AR-VR 기술 기반의 몰입형 전시 방법으로서,

[0036] a) 사용자(관람자)에 의해 상기 개인용 디스플레이 장치를 이용함에 따라 디스플레이 장치 내부의 태블릿 PC의

카메라를 통해 영상을 입력받는 단계와;

[0037] b) 상기 태블릿 PC의 제어부에 의해 상기 입력된 카메라 영상으로부터 실제공간을 인식하고, 인식된 실제공간으

로부터 3차원 가상공간을 추정하여 실제공간과 정합하는 단계와;

[0038] c) 실제공간과 가상공간의 정합이 완료되면, 상기 제어부에 의해 사용자 시각 중심의 UI(user interface)를 로

딩하고, 사용자 인터랙션에 의해 특정 UI가 선택되면 관련 정보 및 콘텐츠를 표시하는 단계와;

[0039] d) 상기 제어부에 의해 실제 환경정보 기반의 광원 추정 및 씬을 구축하고, 광원 및 실제 환경정보를

모사(模寫)한 IBL(Image-based Lighting) 렌더링 (rendering)을 수행하는 단계; 및

[0040] e) 사용자(관람자)의 선택에 따라 VR 콘텐츠가 요청되면, 상기 제어부에 의해 플랫폼을 AR 환경에서 VR 환경으

로 전환하고, 사용자(관람자)의 선택에 따른 VR 콘텐츠를 호출하여 3차원 VR 콘텐츠를 재생하는 단계를 포함하

는 점에 그 특징이 있다.

[0041] 여기서, 상기 단계 b)에서 상기 제어부에 의해 3차원 가상공간을 추정하여 실제공간과 정합함에 있어서, 상기

인식된 실제공간에 기초하여 애플리케이션에 기등록되어 메모리에 저장되어 있는 가상공간 이미지 정보를 불러

와 태블릿 PC 내부의 자이로 센서 기반의 추적 기술을 이용하여 3차원 가상공간을 추정하고, 그 추정된 3차원

가상공간을 실제공간과 정합할 수 있다.

[0042] 또한, 상기 단계 e)에서 재생된 3차원 VR 콘텐츠를 사용자(관람자)가 체험한 후, 상기 제어부에 의해 자동으로

또는 사용자(관람자)의 선택에 의해 VR 환경을 다시 AR 환경으로 전환하는 단계를 더 포함할 수 있다.

[0044] 이와 같은 본 발명에 의하면, AR-VR 기술기반의 몰입형 전시 시스템을 지방 자치단체에서 실제로 운영하고 있는

자연사 박물관에 적용함으로써, 실제의 전시공간과 가상공간이 유기적으로 연계된 다양한 실감형 체험 콘텐츠를

제공할 수 있고, 사용자는 실제의 공간과 가상공간이 연계된 공간에서 다양한 체험을 실감나게 해볼 수 있는 장

점이 있다.

[0046] 도 1은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 AR-VR 기술 기반의 몰입형 전시 시스템의 개인용 디스플레이 장치의 구성을 나타낸 도면
이다.
도 3은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템에 채용되는 휴대용 HMD 뷰어를 나타낸 도면이다.
도 4는 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템에 의해 제공되는 AR 기반의 기본정보 콘텐츠를
나타낸 도면이다.
도 5는 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템에 의해 제공되는 AR 기반의 상세정보 콘텐츠를
나타낸 도면이다.
도 6은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템에 의해 제공되는 VR 기반의 가상 체험 콘텐츠를
나타낸 도면이다.
도 7은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 방법의 실행 과정을 나타낸 흐름도이다.
도 8은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 방법에 채용되는 AR-VR 전환 가능한 몰입형 체험 전시의
개요를 나타낸 도면이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 [0047] 한정되어 해석되지 말아야 하며,

발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원

칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

[0048] 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다

른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기

재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며,

이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

[0049] 이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

[0050] 도 1은 본 발명의 실시예에 따른 AR-VR 기술 기반의 몰입형 전시 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1에서 (A)는 가상공간에서의 시스템의 설치 상태를 나타낸 것이고, (B)는 실제공간에서의 시스템의 설치 상

태를 나타낸 것이다.

[0051] 도 1을 참조하면, 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템 (100)은 개인용 디스플레이 장치(11

0)와, TV(120) 및 서비스 제공 서버(130)를 포함하여 구성된다.

[0052] 개인용 디스플레이 장치(110)는 전시관(예를 들면, 목포의 자연사 박물관)의 소정 위치(중앙홀)에 설치되며, 사

용자(관람자)에 의해 선택된 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션

씬(scene)을 디스플레이한다. 여기서, 이와 같이 개인용 디스플레이 장치(110)에 의해 디스플레이되는 주요 전

시물에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene) 콘텐츠는 후술하는 서비스

제공 서버(130)로부터 실시간으로 제공받을 수도 있고, 개인용 디스플레이 장치(110) 내부의 태블릿 PC(112)(도

2 참조)에 미리 저장될 수도 있다.

[0053] 여기서, 상기 개인용 디스플레이 장치(110)는 망원경과 유사한 형태로 제작되는 것으로, 도 2에 도시된 바와 같

이, 장치의 주요 몸체를 이루는 헤드셋 몸체부(111)와; 헤드셋 몸체부(111)에 탈착 가능하게 결합되며, 주요 전

시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 태블릿

PC(112)와; 태블릿 PC (112)가 장착된 헤드셋 몸체부(111)의 전면에 결합되어 태블릿 PC(112)와 헤드셋 몸체부

(111)를 보호하는 전면 커버(113)와; 헤드셋 몸체부(111)의 후면에 결합되어 헤드셋 몸체부(111)를 보호하는 후

면 커버(114)와; 헤드셋 몸체부(111)의 하부에 결합되어 헤드셋 몸체부(111)를 상하 및 좌우로 회전 가능하게

지지 및 고정하는 지지부재(115); 및 지지부재(115)의 하부에 결합되어 지지부재(115)를 좌우 회전 가능하게 지

지 및 고정하는 스탠드(116)를 포함하여 구성될 수 있다.

[0054] 여기서, 상기 후면 커버(114)에는 사용자(관람자)가 개인용 디스플레이 장치(110)를 이용하여 전시물을 관람할

때, 디스플레이 장치의 상하 및 좌우 회전을 용이하게 하기 위한 손잡이(114h)가 형성될 수 있다.

[0055] 여기서, 또한 이상과 같은 개인용 디스플레이 장치(110)에 의해 디스플레이되는 AR 기반의 기본 정보는

POI(Point of Interest) 아이콘으로 등록되어 있는 주요 전시물에 대한 기본 정보로서, 도 4에 도시된 바와 같

이, 헤드 업 디스플레이(head up display) 형식으로 전시물(예를 들면, 중생대 공룡 화석 표본으로서 "디플로도

쿠스 카네기아이"와 "알로사우르스")과 겹쳐져 디스플레이되도록 구성될 수 있다. 또한, 상기 AR 기반의 기본

정보가 디스플레이되는 화면은 POI 아이콘과 사용자 시점 아이콘, 해당 전시물에 대한 기본 정보창이 표시되도

록 구성될 수 있다. 이때, 상기 기본 정보창은 해당 전시물에 대한 기본정보와 3D 복원 및 시간 여행 아이콘이

표시되도록 구성될 수 있다.

[0056] 또한, 상기 개인용 디스플레이 장치(110)에 의해 디스플레이되는 AR 기반의 상세 정보는, 도 5에 도시된 바와

같이, 사용자(관람자)에 의해 선택된 특정 화석 표본의 본래 모습을 3차원으로 복원하여 해당 전시물에 겹쳐서

디스플레이되도록 구성될 수 있다. 여기서, 상기 AR 기반의 상세 정보가 디스플레이되는 화면은 해당 전시물에

대한 3차원 복원 모델과 상세 정보 창이 표시되도록 구성될 수 있다. 이때, 상기 상세 정보 창은 해당 전시물에

대한 상세정보와 정보탐색 아이콘이 표시되도록 구성될 수 있다.

[0057] 또한, 상기 개인용 디스플레이 장치(110)에 의해 디스플레이되는 VR 기반의 애니메이션 씬(scene)은 도 6에 도

시된 바와 같이, 연출되어 있는 화석 표본들의 역동적인 자세와 상황을 유추하여 VR 애니메이션 씬으로 상황을

모사(模寫)하도록 구성될 수 있다.

다시 도 1을 참조하면, TV(120)는 전시관의 소정 위치에 상기 개인용 디스플레이 [0058] 장치(110)와 전기적으로 연결

되도록 설치되며, 개인용 디스플레이 장치(110)를 통해 디스플레이되어 사용자(관람자)가 관람하는 영상을 화면

을 통해 디스플레이한다. 이와 같은 TV(120)는 단체 관람객이 동시에 체험 화면을 시청할 수 있도록 하기 위한

것이다. 또한, 이와 같은 TV(120)로는 일반적인 LCD TV나 PDP TV가 사용될 수 있다.

[0059] 서비스 제공 서버(130)는 전시관의 소정 위치 또는 전시관과 멀리 떨어진 원격 지점에 설치되어 상기 개인용 디

스플레이 장치(110)와 유무선 인터넷에 의해 연결되며, 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정

보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공한다. 이와 같은 서비스 제공 서버(130)는 전시관에 전

시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공함에

있어서, AR-VR 플랫폼의 유기적 전환이 가능한 몰입형 체험 전시 콘텐츠를 제공할 수 있다. 또한, 이와 같은 서

비스 제공 서버(130)는 본 발명의 AR-VR 기술 기반의 몰입형 전시 시스템을 제작 및 운용하는 업체에 설치될 수

도 있고, 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐

츠 등을 제공하는 제3의 콘텐츠 제공 업체에 설치될 수도 있다.

[0060] 이상과 같은 구성을 가지는 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템(100)은 바람직하게는 도 3에

도시된 바와 같이, 사용자(관람자)의 스마트폰(301)과 연동하여 상기 개인용 디스플레이 장치(110)를 이용하여

콘텐츠를 체험하는 것과 동일한 체험을 할 수 있도록 하는 휴대용 HMD(head mounted Display) 뷰어(140)를 더

포함할 수 있다. 사용자(관람자)는 이와 같은 휴대용 HMD 뷰어 (140)를 이용하여 전시물을 관람할 경우, 전시장

에 설치된 개인용 디스플레이 장치(110)에 의존하지 않고도 개별 체험이 가능하며, 이에 따라 관람자의 체험 편

의성을 높일 수 있다. 또한, 사용자(관람자)는 집으로 돌아간 후에도 HMD 뷰어 (140)를 통해 전시장에서 체험하

는 것과 동일한 콘텐츠를 체험할 수 있으며, 따라서 전시관(박물관) 측에서는 사용자(관람자)의 지속적인 관심

을 유도할 수 있다.

[0061] 그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템을 기반

으로 한 AR-VR 기술 기반의 몰입형 전시 방법에 대해 설명해 보기로 한다.

[0062] 도 7은 본 발명의 실시예에 따른 AR-VR 기술 기반의 몰입형 전시 방법의 실행 과정을 나타낸 흐름도이다.

[0063] 도 7을 참조하면, 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 방법은, 전술한 바와 같은 개인용 디스플레이

장치(110)와, TV(120) 및 서비스 제공 서버(130)를 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템(100)을 바

탕으로 한 AR-VR 기술 기반의 몰입형 전시 방법으로서, 먼저 사용자(관람자)에 의해 상기 개인용 디스플레이 장

치(110)를 이용함에 따라 디스플레이 장치 내부의 태블릿 PC(112)의 카메라를 통해 영상을 입력받는다(단계

S701) 즉, 사용자(관람자)가 개인용 디스플레이 장치(110)로 전시물을 바라보면, AR 모듈이 활성화되고 카메라

영상으로부터 실제공간이 입력된다.

[0064] 그런 후, 상기 태블릿 PC(112)의 제어부(미도시)(예를 들면, 태블릿 PC(112) 내부에 설치된 마이크로프로세서)

에 의해 상기 입력된 카메라 영상으로부터 실제공간을 인식하고, 인식된 실제공간으로부터 3차원 가상공간을 추

정하여 그 가상공간을 실제공간과 정합한다(단계 S702) 이를 통해 가상공간에 있는 콘텐츠들이 카메라 영상 속

의 실제공간에 대응되는 위치에 배치된다.

[0065] 여기서, 상기 제어부에 의해 3차원 가상공간을 추정하여 실제공간과 정합함에 있어서, 상기 인식된 실제공간에

기초하여 애플리케이션에 기등록되어 메모리에 저장되어 있는 가상공간 이미지 정보를 불러와 태블릿 PC(112)

내부의 자이로 센서 기반의 추적 기술을 이용하여 3차원 가상공간을 추정하고, 그 추정된 3차원 가상공간을 실

제공간과 정합할 수 있다.

[0066] 이상에 의해 실제공간과 가상공간의 정합이 완료되면, 상기 제어부에 의해 사용자 시각 중심의 UI(user

interface)를 로딩하고, 사용자 인터랙션에 의해 특정 UI가 선택되면 관련 정보 및 콘텐츠를 표시한다(단계

S703) 즉, 실제공간이 입력되어 실제공간과 가상공간이 정합되면, 가상의 콘텐츠들이 재생될 준비가 되고, 사

용자의 인터랙션 감지를 위한 대기상태를 유지하게 된다.

[0067] 그런 후, 상기 제어부에 의해 실제 환경정보 기반의 광원 추정 및 씬을 구축하고, 광원 및 실제 환경정보를 모

사(模寫)한 IBL(Image-based Lighting) 렌더링(rendering)을 수행한다(단계 S704) 즉, 가상공간은 실제공간의

측정을 기반으로 모델링된 후, 실제 광원 위치에 가상의 주광원들을 배치한 다음 애플리케이션에 등록되고, 현

실 공간 인식단계에서 전술한 바와 같이 실제공간과 정합된다.

[0068] 이후, 실제공간에서 이루어지는 국부 조명(local lighting)을 모사하기 위해, 실제공간의 환경 텍스처에 기반한 IBL(Image-based Lighting)을 실시한다.

그런 다음, 사용자(관람자)의 선택에 따라 VR 콘텐츠가 요청되면, 상기 제어부에 [0069] 의해 플랫폼을 AR 환경에서 VR

환경으로 전환하고, 사용자(관람자)의 선택에 따른 VR 콘텐츠를 호출하여 3차원 VR 콘텐츠를 재생한다(단계

S705)

[0070] 여기서, 상기 단계 S703∼S705와 관련하여 도 8을 참조하여 부연 설명하면, 도 8에 도시된 바와 같이, 사용자

(관람자)에 의해 선택된 특정 전시물에 대해 먼저 (A)와 같이 AR 기반의 기본 정보를 제공하고, 사용자(관람

자)에 의해 상세 정보가 요청되면 (B)와 같이 상세 정보를 제공한다. 그런 후, 사용자(관람자)에 의해 VR 콘텐

츠가 요청되면, (C)와 같이 3차원 VR 콘텐츠를 재생하며, 이에 따라 사용자(관람자)는 VR 기반의 시간여행(예를

들면, 현재에서 중생대 쥐라기로의 시간여행)을 체험할 수 있게 된다.

[0071] 이렇게 하여 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 방법의 프로세스가 완료된다.

[0072] 이후, 바람직하게는 상기 단계 S705에서 재생된 3차원 VR 콘텐츠를 사용자(관람자)가 체험한 후, 상기 제어부에

의해 자동으로 또는 사용자(관람자)의 선택에 의해 VR 환경을 다시 AR 환경으로 전환하는 단계를 더 포함할 수

있다.

[0074] 이상의 설명과 같이, 본 발명에 따른 AR-VR 기술 기반의 몰입형 체험 전시 시스템은 AR-VR 기술기반의 몰입형

전시 시스템을 지방 자치단체에서 실제로 운영하고 있는 자연사 박물관에 적용함으로써, 실제의 전시공간과 가

상공간이 유기적으로 연계된 다양한 실감형 체험 콘텐츠를 제공할 수 있고, 사용자는 실제의 공간과 가상공간이

연계된 공간에서 다양한 체험을 실감나게 해볼 수 있는 장점이 있다.

[0075] 또한, 현실과 가상 환경을 자유롭게 전환하면서 다양한 3차원 콘텐츠를 체험할 수 있도록 구성되어 있어, 이를

통해 효과적인 정보 전달과 교육이 가능한 새로운 형태의 융합 전시 콘텐츠를 제공할 수 있으며, 이를 사업화할

경우 사용자(관람자)에게 좋은 호응을 얻어 서비스 제공업체측 및 박물관(전시관) 운영측의 수입 증대에도 크게

기여할 것으로 기대된다.

[0076] 이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은

아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야

의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야

하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할

것이다.

[0077] 110: 개인용 디스플레이 장치 111: 헤드셋 몸체부
112: 태블릿 PC 113: 전면 커버
114: 후면 커버 114h: 손잡이
115: 지지부재 116: 스탠드
120: TV 130: 서비스 제공 서버
140: 휴대용 HMD 뷰어 301: 스마트폰

Claims

전시관의 소정 위치에 설치되며, 관람자에 의해 선택된 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정
보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 개인용 디스플레이 장치와;
전시관의 소정 위치에 상기 개인용 디스플레이 장치와 전기적으로 연결되도록 설치되며, 개인용 디스플레이 장
치를 통해 사용자(관람자)가 관람하는 영상을 화면을 통해 디스플레이하는 TV; 및
전시관의 소정 위치 또는 전시관과 멀리 떨어진 원격 지점에 설치되어 상기 개인용 디스플레이 장치와 유무선
인터넷에 의해 연결되며, 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의
애니메이션 콘텐츠를 제공하는 서비스 제공 서버를 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템.
제1항에 있어서,
사용자(관람자)의 스마트폰과 연동하여 상기 개인용 디스플레이 장치를 이용하여 콘텐츠를 체험하는 것과 동일
한 체험을 할 수 있도록 하는 휴대용 HMD(head mounted Display) 뷰어를 더 포함하는 AR-VR 기술 기반의 몰입형
전시 시스템.
제1항에 있어서,
상기 개인용 디스플레이 장치는,
장치의 주요 몸체를 이루는 헤드셋 몸체부와;
상기 헤드셋 몸체부에 탈착 가능하게 결합되며, 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR
기반의 애니메이션 씬(scene)을 디스플레이하는 태블릿 PC와;
상기 태블릿 PC가 장착된 헤드셋 몸체부의 전면에 결합되어 태블릿 PC와 헤드셋 몸체부를 보호하는 전면
커버와;
상기 헤드셋 몸체부의 후면에 결합되어 헤드셋 몸체부를 보호하는 후면 커버와;
상기 헤드셋 몸체부의 하부에 결합되어 헤드셋 몸체부를 상하 및 좌우로 회전 가능하게 지지 및 고정하는 지지
부재; 및
상기 지지부재의 하부에 결합되어 지지부재를 좌우 회전 가능하게 지지 및 고정하는 스탠드를 포함하는 AR-VR
기술 기반의 몰입형 전시 시스템.
제3항에 있어서,
상기 후면 커버에는 사용자(관람자)가 개인용 디스플레이 장치를 이용하여 전시물을 관람할 때, 디스플레이 장
치의 상하 및 좌우 회전을 용이하게 하기 위한 손잡이가 형성되어 있는 것을 특징으로 하는 AR-VR 기술 기반의
몰입형 전시 시스템.
제1항에 있어서,
상기 개인용 디스플레이 장치에 의해 디스플레이되는 AR 기반의 기본 정보는 POI(Point of Interest) 아이콘으
로 등록되어 있는 주요 전시물에 대한 기본 정보로서 헤드 업 디스플레이(head up display) 형식으로 전시물과
겹쳐져 디스플레이되도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
제5항에 있어서,
상기 AR 기반의 기본 정보가 디스플레이되는 화면은 POI 아이콘과 사용자 시점 아이콘, 해당 전시물에 대한 기
본 정보창이 표시되도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
제6항에 있어서,
상기 기본 정보창은 해당 전시물에 대한 기본정보와 3D 복원 및 시간 여행 아이콘이 표시되도록 구성되는 것을
특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
제1항에 있어서,
상기 개인용 디스플레이 장치에 의해 디스플레이되는 AR 기반의 상세 정보는 사용자(관람자)에 의해 선택된 특
정 화석 표본의 본래 모습을 3차원으로 복원하여 해당 전시물에 겹쳐서 디스플레이되도록 구성되는 것을 특징으
로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
제8항에 있어서,
상기 AR 기반의 상세 정보가 디스플레이되는 화면은 해당 전시물에 대한 3차원 복원 모델과 상세 정보 창이 표
시되도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
제9항에 있어서,
상기 상세 정보 창은 해당 전시물에 대한 상세정보와 정보탐색 아이콘이 표시되도록 구성되는 것을 특징으로 하
는 AR-VR 기술 기반의 몰입형 전시 시스템.
제1항에 있어서,
상기 개인용 디스플레이 장치에 의해 디스플레이되는 VR 기반의 애니메이션 씬(scene)은 연출되어 있는 화석 표
본들의 역동적인 자세와 상황을 유추하여 VR 애니메이션 씬으로 상황을 모사(模寫)하도록 구성되는 것을 특징으
로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
제1항에 있어서,
상기 서비스 제공 서버는 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의
애니메이션 콘텐츠를 제공함에 있어서, AR-VR 플랫폼의 유기적 전환이 가능한 몰입형 체험 전시 콘텐츠를 제공
하는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
개인용 디스플레이 장치와, TV 및 서비스 제공 서버를 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템을 바탕
으로 한 AR-VR 기술 기반의 몰입형 전시 방법으로서,
a) 사용자(관람자)에 의해 상기 개인용 디스플레이 장치를 이용함에 따라 디스플레이 장치 내부의 태블릿 PC의
카메라를 통해 영상을 입력받는 단계와;
b) 상기 태블릿 PC의 제어부에 의해 상기 입력된 카메라 영상으로부터 실제공간을 인식하고, 인식된 실제공간으
로부터 3차원 가상공간을 추정하여 실제공간과 정합하는 단계와;
c) 실제공간과 가상공간의 정합이 완료되면, 상기 제어부에 의해 사용자 시각 중심의 UI(user interface)를 로
딩하고, 사용자 인터랙션에 의해 특정 UI가 선택되면 관련 정보 및 콘텐츠를 표시하는 단계와;
d) 상기 제어부에 의해 실제 환경정보 기반의 광원 추정 및 씬을 구축하고, 광원 및 실제 환경정보를
모사(模寫)한 IBL(Image-based Lighting) 렌더링 (rendering)을 수행하는 단계; 및
e) 사용자(관람자)의 선택에 따라 VR 콘텐츠가 요청되면, 상기 제어부에 의해 플랫폼을 AR 환경에서 VR 환경으
로 전환하고, 사용자(관람자)의 선택에 따른 VR 콘텐츠를 호출하여 3차원 VR 콘텐츠를 재생하는 단계를 포함하
는 AR-VR 기술 기반의 몰입형 전시 방법.
제13항에 있어서,
상기 단계 b)에서 상기 제어부에 의해 3차원 가상공간을 추정하여 실제공간과 정합함에 있어서, 상기 인식된 실
제공간에 기초하여 애플리케이션에 기등록되어 메모리에 저장되어 있는 가상공간 이미지 정보를 불러와 태블릿
PC 내부의 자이로 센서 기반의 추적 기술을 이용하여 3차원 가상공간을 추정하고, 그 추정된 3차원 가상공간을
실제공간과 정합하는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 방법.
제13항에 있어서,
상기 단계 e)에서 재생된 3차원 VR 콘텐츠를 사용자(관람자)가 체험한 후, 상기 제어부에 의해 자동으로 또는
사용자(관람자)의 선택에 의해 VR 환경을 다시 AR 환경으로 전환하는 단계를 더 포함하는 AR-VR 기술 기반의 몰
입형 전시 방법.