KR20190078675A - Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법 - Google Patents

Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법 Download PDF

Info

Publication number
KR20190078675A
KR20190078675A KR1020170170631A KR20170170631A KR20190078675A KR 20190078675 A KR20190078675 A KR 20190078675A KR 1020170170631 A KR1020170170631 A KR 1020170170631A KR 20170170631 A KR20170170631 A KR 20170170631A KR 20190078675 A KR20190078675 A KR 20190078675A
Authority
KR
South Korea
Prior art keywords
user
exhibition
display device
immersive
technology
Prior art date
Application number
KR1020170170631A
Other languages
English (en)
Inventor
하태진
오제호
Original Assignee
주식회사 버넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버넥트 filed Critical 주식회사 버넥트
Priority to KR1020170170631A priority Critical patent/KR20190078675A/ko
Publication of KR20190078675A publication Critical patent/KR20190078675A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F11/00—Arrangements in shop windows, shop floors or show cases
    • A47F11/06—Means for bringing about special optical effects

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 AR-VR 기술 기반의 몰입형 전시 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템은, 전시관의 소정 위치에 설치되며, 관람자에 의해 선택된 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 개인용 디스플레이 장치와; 전시관의 소정 위치에 개인용 디스플레이 장치와 전기적으로 연결되도록 설치되며, 개인용 디스플레이 장치를 통해 사용자(관람자)가 관람하는 영상을 화면을 통해 디스플레이하는 TV; 및 전시관의 소정 위치 또는 전시관과 멀리 떨어진 원격 지점에 설치되어 개인용 디스플레이 장치와 유무선 인터넷에 의해 연결되며, 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공하는 서비스 제공 서버를 포함한다.
이와 같은 본 발명에 의하면, AR-VR 기술기반의 몰입형 전시 시스템을 지방 자치단체에서 실제로 운영하고 있는 자연사 박물관에 적용함으로써, 실제의 전시공간과 가상공간이 유기적으로 연계된 다양한 실감형 체험 콘텐츠를 제공할 수 있고, 사용자는 실제의 공간과 가상공간이 연계된 공간에서 다양한 체험을 실감나게 해볼 수 있다.

Description

AR-VR 기술 기반의 몰입형 전시 시스템 및 그 방법{Immersed exhibition system based on AR(augmented reality)-VR(virtual reality) technology and method thereof}
본 발명은 전시(exhibition) 시스템에 관한 것으로서, 더 상세하게는 AR (augmented reality)-VR(virtual reality) 기술기반의 몰입형 전시 시스템을 실제로 운영되고 있는 박물관 또는 전시관에 적용함으로써, 실제의 전시공간과 가상공간이 유기적으로 연계된 다양한 실감형 체험 콘텐츠를 제공할 수 있는 AR-VR 기술 기반의 몰입형 전시 시스템 및 그 방법에 관한 것이다.
최근 박물관이나 전시관들은 첨단 기술과 디지털 미디어를 이용하여 관람객의 능동적 관람을 유도하고, 다양한 체험 프로그램을 통해 관람객의 재방문을 촉진하기 위해 노력하고 있다.
현재 국내 박물관, 전시관은 전시물의 특성 및 AR/VR 기술의 특징에 대한 이해없이 단편적으로 AR 또는 VR 콘텐츠를 제공하고 있다. 외국의 경우도 단조로운 영상 콘텐츠나 단편적인 AR/VR 콘텐츠, 또는 홀로그램 등을 보여주는 수준에 머물고 있다. AR 및 VR 콘텐츠가 유기적으로 연결되지 못한 채 별도의 공간에서 독립적으로 디스플레이되는 경우가 대부분이다.
기존의 전시 콘텐츠 사례들은 AR 기술을 사용하여 전시물과 3D 콘텐츠를 단순히 겹쳐서 보여주는 형식이거나, 3인칭 관찰자 시점을 기준으로 관람객들의 모습을 보여주는 카메라 영상에 상호작용하는 3D 콘텐츠를 등장시키는 방식으로 구성이 단순하기 때문에 몰입감이 높은 전시 체험을 제공하기는 어렵다.
일부 공룡관련 전시관들은 화석 표본에 복원된 3D 공룡을 AR로 덧씌워 보여줌으로써, 실제 전시물과 연관된 정보를 제공하고 있다. 그러나 3D 공룡의 애니메이션이 실행되면 실제의 전시물과 정합되지 않은 상태로 별개로 증강되기 때문에 이질감이 발생한다.
따라서, 기존의 획일적이고 표준화된 전시 방식에서 관람객의 선택적, 맞춤식 관람 방식으로 전환하여 체험 다양성을 높여주고, 더욱 몰입될 수 있는 가상 체험 환경을 제공하여 일반적인 학습 상황에서는 경험하기 어려운 새로운 경험이 가능한 융합 콘텐츠 발굴 및 개발이 필요한 실정이다.
한편, 한국 공개특허공보 제10-2011-0041277호(특허문헌 1)에는 "박물관 전시 안내 시스템 및 그 방법"이 개시되어 있는바, 이에 따른 박물관 전시 안내 시스템은, 박물관(박물관, 미술관, 박람회의 전시관 및 그에 준하는 각종 전시관을 대표하는 개념으로서 사용된 용어로 정의된다)에 위치하는 대상물; 상기 대상물에 인접하여 위치하며 식별부호가 표시된 표지; 이동통신 회사의 이동국(mobile station)인 관람자의 모바일 단말; 상기 대상물에 대한 데이터를 보존하며, 상기 식별부호에 대응하는 인덱스가 부여된 데이터베이스; 및 상기 모바일 단말이 접속하는 박물관 무선 인터넷 페이지와 그것의 운영 서버를 포함하며, 상기 모바일 단말을 통해 특정 대상물에 대한 식별부호가 입력되는 경우, 해당 식별부호에 대응하는 콘텐츠를 상기 데이터베이스에서 추출하여, 상기 운영 서버가 상기 모바일 단말로 전송하여 실시간으로 안내하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 관람자가 자신의 휴대폰을 이용하여 박물관의 특정 대상물에 대한 콘텐츠를 다운로드 받아 안내를 받음으로써, 관람자의 "자기 주도형 관람"을 가능하게 해주고, 대상물에 대한 정보를 관람 후에도 활용할 수 있는 장점이 있을지는 몰라도, 이는 단순히 대상물에 대한 콘텐츠(정보)를 휴대폰을 통해 제공할 뿐, AR 및 VR 기반의 콘텐츠를 제공하지는 못하며, 따라서 몰입감이 높은 전시 체험을 제공하기는 어렵다.
한국 공개특허공보 제10-2011-0041277호(2011.04.21. 공개)
본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, AR-VR 기술기반의 몰입형 전시 시스템을 실제로 운영되고 있는 박물관 또는 전시관에 적용함으로써, 실제의 전시공간과 가상공간이 유기적으로 연계된 다양한 실감형 체험 콘텐츠를 제공할 수 있는 AR-VR 기술 기반의 몰입형 전시 시스템 및 그 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템은,
전시관의 소정 위치에 설치되며, 관람자에 의해 선택된 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 개인용 디스플레이 장치와;
전시관의 소정 위치에 상기 개인용 디스플레이 장치와 전기적으로 연결되도록 설치되며, 개인용 디스플레이 장치를 통해 사용자(관람자)가 관람하는 영상을 화면을 통해 디스플레이하는 TV; 및
전시관의 소정 위치 또는 전시관과 멀리 떨어진 원격 지점에 설치되어 상기 개인용 디스플레이 장치와 유무선 인터넷에 의해 연결되며, 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공하는 서비스 제공 서버를 포함하는 점에 그 특징이 있다.
여기서, 바람직하게는 사용자(관람자)의 스마트폰과 연동하여 상기 개인용 디스플레이 장치를 이용하여 콘텐츠를 체험하는 것과 동일한 체험을 할 수 있도록 하는 휴대용 HMD(head mounted Display) 뷰어를 더 포함할 수 있다.
또한, 상기 개인용 디스플레이 장치는,
장치의 주요 몸체를 이루는 헤드셋 몸체부와;
상기 헤드셋 몸체부에 탈착 가능하게 결합되며, 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 태블릿 PC와;
상기 태블릿 PC가 장착된 헤드셋 몸체부의 전면에 결합되어 태블릿 PC와 헤드셋 몸체부를 보호하는 전면 커버와;
상기 헤드셋 몸체부의 후면에 결합되어 헤드셋 몸체부를 보호하는 후면 커버와;
상기 헤드셋 몸체부의 하부에 결합되어 헤드셋 몸체부를 상하 및 좌우로 회전 가능하게 지지 및 고정하는 지지부재; 및
상기 지지부재의 하부에 결합되어 지지부재를 좌우 회전 가능하게 지지 및 고정하는 스탠드를 포함하여 구성될 수 있다.
여기서, 상기 후면 커버에는 사용자(관람자)가 개인용 디스플레이 장치를 이용하여 전시물을 관람할 때, 디스플레이 장치의 상하 및 좌우 회전을 용이하게 하기 위한 손잡이가 형성될 수 있다.
또한, 상기 개인용 디스플레이 장치에 의해 디스플레이되는 AR 기반의 기본 정보는 POI(Point of Interest) 아이콘으로 등록되어 있는 주요 전시물에 대한 기본 정보로서 헤드 업 디스플레이(head up display) 형식으로 전시물과 겹쳐져 디스플레이되도록 구성될 수 있다.
여기서, 상기 AR 기반의 기본 정보가 디스플레이되는 화면은 POI 아이콘과 사용자 시점 아이콘, 해당 전시물에 대한 기본 정보창이 표시되도록 구성될 수 있다.
이때, 상기 기본 정보창은 해당 전시물에 대한 기본정보와 3D 복원 및 시간 여행 아이콘이 표시되도록 구성될 수 있다.
또한, 상기 개인용 디스플레이 장치에 의해 디스플레이되는 AR 기반의 상세 정보는 사용자(관람자)에 의해 선택된 특정 화석 표본의 본래 모습을 3차원으로 복원하여 해당 전시물에 겹쳐서 디스플레이되도록 구성될 수 있다.
여기서, 상기 AR 기반의 상세 정보가 디스플레이되는 화면은 해당 전시물에 대한 3차원 복원 모델과 상세 정보 창이 표시되도록 구성될 수 있다.
이때, 상기 상세 정보 창은 해당 전시물에 대한 상세정보와 정보탐색 아이콘이 표시되도록 구성될 수 있다.
또한, 상기 개인용 디스플레이 장치에 의해 디스플레이되는 VR 기반의 애니메이션 씬(scene)은 연출되어 있는 화석 표본들의 역동적인 자세와 상황을 유추하여 VR 애니메이션 씬으로 상황을 모사(模寫)하도록 구성될 수 있다.
또한, 상기 서비스 제공 서버는 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공함에 있어서, AR-VR 플랫폼의 유기적 전환이 가능한 몰입형 체험 전시 콘텐츠를 제공할 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 방법은,
개인용 디스플레이 장치와, TV 및 서비스 제공 서버를 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템을 바탕으로 한 AR-VR 기술 기반의 몰입형 전시 방법으로서,
a) 사용자(관람자)에 의해 상기 개인용 디스플레이 장치를 이용함에 따라 디스플레이 장치 내부의 태블릿 PC의 카메라를 통해 영상을 입력받는 단계와;
b) 상기 태블릿 PC의 제어부에 의해 상기 입력된 카메라 영상으로부터 실제공간을 인식하고, 인식된 실제공간으로부터 3차원 가상공간을 추정하여 실제공간과 정합하는 단계와;
c) 실제공간과 가상공간의 정합이 완료되면, 상기 제어부에 의해 사용자 시각 중심의 UI(user interface)를 로딩하고, 사용자 인터랙션에 의해 특정 UI가 선택되면 관련 정보 및 콘텐츠를 표시하는 단계와;
d) 상기 제어부에 의해 실제 환경정보 기반의 광원 추정 및 씬을 구축하고, 광원 및 실제 환경정보를 모사(模寫)한 IBL(Image-based Lighting) 렌더링 (rendering)을 수행하는 단계; 및
e) 사용자(관람자)의 선택에 따라 VR 콘텐츠가 요청되면, 상기 제어부에 의해 플랫폼을 AR 환경에서 VR 환경으로 전환하고, 사용자(관람자)의 선택에 따른 VR 콘텐츠를 호출하여 3차원 VR 콘텐츠를 재생하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 b)에서 상기 제어부에 의해 3차원 가상공간을 추정하여 실제공간과 정합함에 있어서, 상기 인식된 실제공간에 기초하여 애플리케이션에 기등록되어 메모리에 저장되어 있는 가상공간 이미지 정보를 불러와 태블릿 PC 내부의 자이로 센서 기반의 추적 기술을 이용하여 3차원 가상공간을 추정하고, 그 추정된 3차원 가상공간을 실제공간과 정합할 수 있다.
또한, 상기 단계 e)에서 재생된 3차원 VR 콘텐츠를 사용자(관람자)가 체험한 후, 상기 제어부에 의해 자동으로 또는 사용자(관람자)의 선택에 의해 VR 환경을 다시 AR 환경으로 전환하는 단계를 더 포함할 수 있다.
이와 같은 본 발명에 의하면, AR-VR 기술기반의 몰입형 전시 시스템을 지방 자치단체에서 실제로 운영하고 있는 자연사 박물관에 적용함으로써, 실제의 전시공간과 가상공간이 유기적으로 연계된 다양한 실감형 체험 콘텐츠를 제공할 수 있고, 사용자는 실제의 공간과 가상공간이 연계된 공간에서 다양한 체험을 실감나게 해볼 수 있는 장점이 있다.
도 1은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 AR-VR 기술 기반의 몰입형 전시 시스템의 개인용 디스플레이 장치의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템에 채용되는 휴대용 HMD 뷰어를 나타낸 도면이다.
도 4는 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템에 의해 제공되는 AR 기반의 기본정보 콘텐츠를 나타낸 도면이다.
도 5는 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템에 의해 제공되는 AR 기반의 상세정보 콘텐츠를 나타낸 도면이다.
도 6은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템에 의해 제공되는 VR 기반의 가상 체험 콘텐츠를 나타낸 도면이다.
도 7은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 방법의 실행 과정을 나타낸 흐름도이다.
도 8은 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 방법에 채용되는 AR-VR 전환 가능한 몰입형 체험 전시의 개요를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 AR-VR 기술 기반의 몰입형 전시 시스템의 구성을 개략적으로 나타낸 도면이다. 도 1에서 (A)는 가상공간에서의 시스템의 설치 상태를 나타낸 것이고, (B)는 실제공간에서의 시스템의 설치 상태를 나타낸 것이다.
도 1을 참조하면, 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템 (100)은 개인용 디스플레이 장치(110)와, TV(120) 및 서비스 제공 서버(130)를 포함하여 구성된다.
개인용 디스플레이 장치(110)는 전시관(예를 들면, 목포의 자연사 박물관)의 소정 위치(중앙홀)에 설치되며, 사용자(관람자)에 의해 선택된 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene)을 디스플레이한다. 여기서, 이와 같이 개인용 디스플레이 장치(110)에 의해 디스플레이되는 주요 전시물에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene) 콘텐츠는 후술하는 서비스 제공 서버(130)로부터 실시간으로 제공받을 수도 있고, 개인용 디스플레이 장치(110) 내부의 태블릿 PC(112)(도 2 참조)에 미리 저장될 수도 있다.
여기서, 상기 개인용 디스플레이 장치(110)는 망원경과 유사한 형태로 제작되는 것으로, 도 2에 도시된 바와 같이, 장치의 주요 몸체를 이루는 헤드셋 몸체부(111)와; 헤드셋 몸체부(111)에 탈착 가능하게 결합되며, 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 태블릿 PC(112)와; 태블릿 PC (112)가 장착된 헤드셋 몸체부(111)의 전면에 결합되어 태블릿 PC(112)와 헤드셋 몸체부(111)를 보호하는 전면 커버(113)와; 헤드셋 몸체부(111)의 후면에 결합되어 헤드셋 몸체부(111)를 보호하는 후면 커버(114)와; 헤드셋 몸체부(111)의 하부에 결합되어 헤드셋 몸체부(111)를 상하 및 좌우로 회전 가능하게 지지 및 고정하는 지지부재(115); 및 지지부재(115)의 하부에 결합되어 지지부재(115)를 좌우 회전 가능하게 지지 및 고정하는 스탠드(116)를 포함하여 구성될 수 있다.
여기서, 상기 후면 커버(114)에는 사용자(관람자)가 개인용 디스플레이 장치(110)를 이용하여 전시물을 관람할 때, 디스플레이 장치의 상하 및 좌우 회전을 용이하게 하기 위한 손잡이(114h)가 형성될 수 있다.
여기서, 또한 이상과 같은 개인용 디스플레이 장치(110)에 의해 디스플레이되는 AR 기반의 기본 정보는 POI(Point of Interest) 아이콘으로 등록되어 있는 주요 전시물에 대한 기본 정보로서, 도 4에 도시된 바와 같이, 헤드 업 디스플레이(head up display) 형식으로 전시물(예를 들면, 중생대 공룡 화석 표본으로서 "디플로도쿠스 카네기아이"와 "알로사우르스")과 겹쳐져 디스플레이되도록 구성될 수 있다. 또한, 상기 AR 기반의 기본 정보가 디스플레이되는 화면은 POI 아이콘과 사용자 시점 아이콘, 해당 전시물에 대한 기본 정보창이 표시되도록 구성될 수 있다. 이때, 상기 기본 정보창은 해당 전시물에 대한 기본정보와 3D 복원 및 시간 여행 아이콘이 표시되도록 구성될 수 있다.
또한, 상기 개인용 디스플레이 장치(110)에 의해 디스플레이되는 AR 기반의 상세 정보는, 도 5에 도시된 바와 같이, 사용자(관람자)에 의해 선택된 특정 화석 표본의 본래 모습을 3차원으로 복원하여 해당 전시물에 겹쳐서 디스플레이되도록 구성될 수 있다. 여기서, 상기 AR 기반의 상세 정보가 디스플레이되는 화면은 해당 전시물에 대한 3차원 복원 모델과 상세 정보 창이 표시되도록 구성될 수 있다. 이때, 상기 상세 정보 창은 해당 전시물에 대한 상세정보와 정보탐색 아이콘이 표시되도록 구성될 수 있다.
또한, 상기 개인용 디스플레이 장치(110)에 의해 디스플레이되는 VR 기반의 애니메이션 씬(scene)은 도 6에 도시된 바와 같이, 연출되어 있는 화석 표본들의 역동적인 자세와 상황을 유추하여 VR 애니메이션 씬으로 상황을 모사(模寫)하도록 구성될 수 있다.
다시 도 1을 참조하면, TV(120)는 전시관의 소정 위치에 상기 개인용 디스플레이 장치(110)와 전기적으로 연결되도록 설치되며, 개인용 디스플레이 장치(110)를 통해 디스플레이되어 사용자(관람자)가 관람하는 영상을 화면을 통해 디스플레이한다. 이와 같은 TV(120)는 단체 관람객이 동시에 체험 화면을 시청할 수 있도록 하기 위한 것이다. 또한, 이와 같은 TV(120)로는 일반적인 LCD TV나 PDP TV가 사용될 수 있다.
서비스 제공 서버(130)는 전시관의 소정 위치 또는 전시관과 멀리 떨어진 원격 지점에 설치되어 상기 개인용 디스플레이 장치(110)와 유무선 인터넷에 의해 연결되며, 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공한다. 이와 같은 서비스 제공 서버(130)는 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공함에 있어서, AR-VR 플랫폼의 유기적 전환이 가능한 몰입형 체험 전시 콘텐츠를 제공할 수 있다. 또한, 이와 같은 서비스 제공 서버(130)는 본 발명의 AR-VR 기술 기반의 몰입형 전시 시스템을 제작 및 운용하는 업체에 설치될 수도 있고, 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠 등을 제공하는 제3의 콘텐츠 제공 업체에 설치될 수도 있다.
이상과 같은 구성을 가지는 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템(100)은 바람직하게는 도 3에 도시된 바와 같이, 사용자(관람자)의 스마트폰(301)과 연동하여 상기 개인용 디스플레이 장치(110)를 이용하여 콘텐츠를 체험하는 것과 동일한 체험을 할 수 있도록 하는 휴대용 HMD(head mounted Display) 뷰어(140)를 더 포함할 수 있다. 사용자(관람자)는 이와 같은 휴대용 HMD 뷰어 (140)를 이용하여 전시물을 관람할 경우, 전시장에 설치된 개인용 디스플레이 장치(110)에 의존하지 않고도 개별 체험이 가능하며, 이에 따라 관람자의 체험 편의성을 높일 수 있다. 또한, 사용자(관람자)는 집으로 돌아간 후에도 HMD 뷰어 (140)를 통해 전시장에서 체험하는 것과 동일한 콘텐츠를 체험할 수 있으며, 따라서 전시관(박물관) 측에서는 사용자(관람자)의 지속적인 관심을 유도할 수 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 시스템을 기반으로 한 AR-VR 기술 기반의 몰입형 전시 방법에 대해 설명해 보기로 한다.
도 7은 본 발명의 실시예에 따른 AR-VR 기술 기반의 몰입형 전시 방법의 실행 과정을 나타낸 흐름도이다.
도 7을 참조하면, 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 방법은, 전술한 바와 같은 개인용 디스플레이 장치(110)와, TV(120) 및 서비스 제공 서버(130)를 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템(100)을 바탕으로 한 AR-VR 기술 기반의 몰입형 전시 방법으로서, 먼저 사용자(관람자)에 의해 상기 개인용 디스플레이 장치(110)를 이용함에 따라 디스플레이 장치 내부의 태블릿 PC(112)의 카메라를 통해 영상을 입력받는다(단계 S701). 즉, 사용자(관람자)가 개인용 디스플레이 장치(110)로 전시물을 바라보면, AR 모듈이 활성화되고 카메라 영상으로부터 실제공간이 입력된다.
그런 후, 상기 태블릿 PC(112)의 제어부(미도시)(예를 들면, 태블릿 PC(112) 내부에 설치된 마이크로프로세서)에 의해 상기 입력된 카메라 영상으로부터 실제공간을 인식하고, 인식된 실제공간으로부터 3차원 가상공간을 추정하여 그 가상공간을 실제공간과 정합한다(단계 S702). 이를 통해 가상공간에 있는 콘텐츠들이 카메라 영상 속의 실제공간에 대응되는 위치에 배치된다.
여기서, 상기 제어부에 의해 3차원 가상공간을 추정하여 실제공간과 정합함에 있어서, 상기 인식된 실제공간에 기초하여 애플리케이션에 기등록되어 메모리에 저장되어 있는 가상공간 이미지 정보를 불러와 태블릿 PC(112) 내부의 자이로 센서 기반의 추적 기술을 이용하여 3차원 가상공간을 추정하고, 그 추정된 3차원 가상공간을 실제공간과 정합할 수 있다.
이상에 의해 실제공간과 가상공간의 정합이 완료되면, 상기 제어부에 의해 사용자 시각 중심의 UI(user interface)를 로딩하고, 사용자 인터랙션에 의해 특정 UI가 선택되면 관련 정보 및 콘텐츠를 표시한다(단계 S703). 즉, 실제공간이 입력되어 실제공간과 가상공간이 정합되면, 가상의 콘텐츠들이 재생될 준비가 되고, 사용자의 인터랙션 감지를 위한 대기상태를 유지하게 된다.
그런 후, 상기 제어부에 의해 실제 환경정보 기반의 광원 추정 및 씬을 구축하고, 광원 및 실제 환경정보를 모사(模寫)한 IBL(Image-based Lighting) 렌더링(rendering)을 수행한다(단계 S704). 즉, 가상공간은 실제공간의 측정을 기반으로 모델링된 후, 실제 광원 위치에 가상의 주광원들을 배치한 다음 애플리케이션에 등록되고, 현실 공간 인식단계에서 전술한 바와 같이 실제공간과 정합된다.
이후, 실제공간에서 이루어지는 국부 조명(local lighting)을 모사하기 위해, 실제공간의 환경 텍스처에 기반한 IBL(Image-based Lighting)을 실시한다.
그런 다음, 사용자(관람자)의 선택에 따라 VR 콘텐츠가 요청되면, 상기 제어부에 의해 플랫폼을 AR 환경에서 VR 환경으로 전환하고, 사용자(관람자)의 선택에 따른 VR 콘텐츠를 호출하여 3차원 VR 콘텐츠를 재생한다(단계 S705).
여기서, 상기 단계 S703∼S705와 관련하여 도 8을 참조하여 부연 설명하면, 도 8에 도시된 바와 같이, 사용자(관람자)에 의해 선택된 특정 전시물에 대해 먼저 (A)와 같이 AR 기반의 기본 정보를 제공하고, 사용자(관람자)에 의해 상세 정보가 요청되면 (B)와 같이 상세 정보를 제공한다. 그런 후, 사용자(관람자)에 의해 VR 콘텐츠가 요청되면, (C)와 같이 3차원 VR 콘텐츠를 재생하며, 이에 따라 사용자(관람자)는 VR 기반의 시간여행(예를 들면, 현재에서 중생대 쥐라기로의 시간여행)을 체험할 수 있게 된다.
이렇게 하여 본 발명에 따른 AR-VR 기술 기반의 몰입형 전시 방법의 프로세스가 완료된다.
이후, 바람직하게는 상기 단계 S705에서 재생된 3차원 VR 콘텐츠를 사용자(관람자)가 체험한 후, 상기 제어부에 의해 자동으로 또는 사용자(관람자)의 선택에 의해 VR 환경을 다시 AR 환경으로 전환하는 단계를 더 포함할 수 있다.
이상의 설명과 같이, 본 발명에 따른 AR-VR 기술 기반의 몰입형 체험 전시 시스템은 AR-VR 기술기반의 몰입형 전시 시스템을 지방 자치단체에서 실제로 운영하고 있는 자연사 박물관에 적용함으로써, 실제의 전시공간과 가상공간이 유기적으로 연계된 다양한 실감형 체험 콘텐츠를 제공할 수 있고, 사용자는 실제의 공간과 가상공간이 연계된 공간에서 다양한 체험을 실감나게 해볼 수 있는 장점이 있다.
또한, 현실과 가상 환경을 자유롭게 전환하면서 다양한 3차원 콘텐츠를 체험할 수 있도록 구성되어 있어, 이를 통해 효과적인 정보 전달과 교육이 가능한 새로운 형태의 융합 전시 콘텐츠를 제공할 수 있으며, 이를 사업화할 경우 사용자(관람자)에게 좋은 호응을 얻어 서비스 제공업체측 및 박물관(전시관) 운영측의 수입 증대에도 크게 기여할 것으로 기대된다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 개인용 디스플레이 장치 111: 헤드셋 몸체부
112: 태블릿 PC 113: 전면 커버
114: 후면 커버 114h: 손잡이
115: 지지부재 116: 스탠드
120: TV 130: 서비스 제공 서버
140: 휴대용 HMD 뷰어 301: 스마트폰

Claims (15)

  1. 전시관의 소정 위치에 설치되며, 관람자에 의해 선택된 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 개인용 디스플레이 장치와;
    전시관의 소정 위치에 상기 개인용 디스플레이 장치와 전기적으로 연결되도록 설치되며, 개인용 디스플레이 장치를 통해 사용자(관람자)가 관람하는 영상을 화면을 통해 디스플레이하는 TV; 및
    전시관의 소정 위치 또는 전시관과 멀리 떨어진 원격 지점에 설치되어 상기 개인용 디스플레이 장치와 유무선 인터넷에 의해 연결되며, 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공하는 서비스 제공 서버를 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  2. 제1항에 있어서,
    사용자(관람자)의 스마트폰과 연동하여 상기 개인용 디스플레이 장치를 이용하여 콘텐츠를 체험하는 것과 동일한 체험을 할 수 있도록 하는 휴대용 HMD(head mounted Display) 뷰어를 더 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  3. 제1항에 있어서,
    상기 개인용 디스플레이 장치는,
    장치의 주요 몸체를 이루는 헤드셋 몸체부와;
    상기 헤드셋 몸체부에 탈착 가능하게 결합되며, 주요 전시물에 대하여 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 씬(scene)을 디스플레이하는 태블릿 PC와;
    상기 태블릿 PC가 장착된 헤드셋 몸체부의 전면에 결합되어 태블릿 PC와 헤드셋 몸체부를 보호하는 전면 커버와;
    상기 헤드셋 몸체부의 후면에 결합되어 헤드셋 몸체부를 보호하는 후면 커버와;
    상기 헤드셋 몸체부의 하부에 결합되어 헤드셋 몸체부를 상하 및 좌우로 회전 가능하게 지지 및 고정하는 지지부재; 및
    상기 지지부재의 하부에 결합되어 지지부재를 좌우 회전 가능하게 지지 및 고정하는 스탠드를 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  4. 제3항에 있어서,
    상기 후면 커버에는 사용자(관람자)가 개인용 디스플레이 장치를 이용하여 전시물을 관람할 때, 디스플레이 장치의 상하 및 좌우 회전을 용이하게 하기 위한 손잡이가 형성되어 있는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  5. 제1항에 있어서,
    상기 개인용 디스플레이 장치에 의해 디스플레이되는 AR 기반의 기본 정보는 POI(Point of Interest) 아이콘으로 등록되어 있는 주요 전시물에 대한 기본 정보로서 헤드 업 디스플레이(head up display) 형식으로 전시물과 겹쳐져 디스플레이되도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  6. 제5항에 있어서,
    상기 AR 기반의 기본 정보가 디스플레이되는 화면은 POI 아이콘과 사용자 시점 아이콘, 해당 전시물에 대한 기본 정보창이 표시되도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  7. 제6항에 있어서,
    상기 기본 정보창은 해당 전시물에 대한 기본정보와 3D 복원 및 시간 여행 아이콘이 표시되도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  8. 제1항에 있어서,
    상기 개인용 디스플레이 장치에 의해 디스플레이되는 AR 기반의 상세 정보는 사용자(관람자)에 의해 선택된 특정 화석 표본의 본래 모습을 3차원으로 복원하여 해당 전시물에 겹쳐서 디스플레이되도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  9. 제8항에 있어서,
    상기 AR 기반의 상세 정보가 디스플레이되는 화면은 해당 전시물에 대한 3차원 복원 모델과 상세 정보 창이 표시되도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  10. 제9항에 있어서,
    상기 상세 정보 창은 해당 전시물에 대한 상세정보와 정보탐색 아이콘이 표시되도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  11. 제1항에 있어서,
    상기 개인용 디스플레이 장치에 의해 디스플레이되는 VR 기반의 애니메이션 씬(scene)은 연출되어 있는 화석 표본들의 역동적인 자세와 상황을 유추하여 VR 애니메이션 씬으로 상황을 모사(模寫)하도록 구성되는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  12. 제1항에 있어서,
    상기 서비스 제공 서버는 전시관에 전시되는 전시물들에 대한 AR 기반의 기본 정보 및 상세 정보와, VR 기반의 애니메이션 콘텐츠를 제공함에 있어서, AR-VR 플랫폼의 유기적 전환이 가능한 몰입형 체험 전시 콘텐츠를 제공하는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 시스템.
  13. 개인용 디스플레이 장치와, TV 및 서비스 제공 서버를 포함하는 AR-VR 기술 기반의 몰입형 전시 시스템을 바탕으로 한 AR-VR 기술 기반의 몰입형 전시 방법으로서,
    a) 사용자(관람자)에 의해 상기 개인용 디스플레이 장치를 이용함에 따라 디스플레이 장치 내부의 태블릿 PC의 카메라를 통해 영상을 입력받는 단계와;
    b) 상기 태블릿 PC의 제어부에 의해 상기 입력된 카메라 영상으로부터 실제공간을 인식하고, 인식된 실제공간으로부터 3차원 가상공간을 추정하여 실제공간과 정합하는 단계와;
    c) 실제공간과 가상공간의 정합이 완료되면, 상기 제어부에 의해 사용자 시각 중심의 UI(user interface)를 로딩하고, 사용자 인터랙션에 의해 특정 UI가 선택되면 관련 정보 및 콘텐츠를 표시하는 단계와;
    d) 상기 제어부에 의해 실제 환경정보 기반의 광원 추정 및 씬을 구축하고, 광원 및 실제 환경정보를 모사(模寫)한 IBL(Image-based Lighting) 렌더링 (rendering)을 수행하는 단계; 및
    e) 사용자(관람자)의 선택에 따라 VR 콘텐츠가 요청되면, 상기 제어부에 의해 플랫폼을 AR 환경에서 VR 환경으로 전환하고, 사용자(관람자)의 선택에 따른 VR 콘텐츠를 호출하여 3차원 VR 콘텐츠를 재생하는 단계를 포함하는 AR-VR 기술 기반의 몰입형 전시 방법.
  14. 제13항에 있어서,
    상기 단계 b)에서 상기 제어부에 의해 3차원 가상공간을 추정하여 실제공간과 정합함에 있어서, 상기 인식된 실제공간에 기초하여 애플리케이션에 기등록되어 메모리에 저장되어 있는 가상공간 이미지 정보를 불러와 태블릿 PC 내부의 자이로 센서 기반의 추적 기술을 이용하여 3차원 가상공간을 추정하고, 그 추정된 3차원 가상공간을 실제공간과 정합하는 것을 특징으로 하는 AR-VR 기술 기반의 몰입형 전시 방법.
  15. 제13항에 있어서,
    상기 단계 e)에서 재생된 3차원 VR 콘텐츠를 사용자(관람자)가 체험한 후, 상기 제어부에 의해 자동으로 또는 사용자(관람자)의 선택에 의해 VR 환경을 다시 AR 환경으로 전환하는 단계를 더 포함하는 AR-VR 기술 기반의 몰입형 전시 방법.
KR1020170170631A 2017-12-12 2017-12-12 Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법 KR20190078675A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170170631A KR20190078675A (ko) 2017-12-12 2017-12-12 Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170170631A KR20190078675A (ko) 2017-12-12 2017-12-12 Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20190078675A true KR20190078675A (ko) 2019-07-05

Family

ID=67225355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170170631A KR20190078675A (ko) 2017-12-12 2017-12-12 Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20190078675A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102158857B1 (ko) 2019-07-10 2020-09-22 백시연 Vr을 이용한 재활치료용 에스컬레이터 장치
CN112732072A (zh) * 2020-12-21 2021-04-30 航天信息股份有限公司 基于vr/ar的设备智能维护系统
CN113380086A (zh) * 2021-06-22 2021-09-10 广州时间网络科技有限公司 一种博物馆教育沉浸式显示设备辅助装置
CN114326429A (zh) * 2021-12-30 2022-04-12 深圳思悦创新有限公司 一种智能家居可视、可控的展示方法、装置及系统
KR20220120959A (ko) 2021-02-24 2022-08-31 (주)스튜디오코인 다자 참여 교육용 vr/ar 체험 시스템
KR20230011146A (ko) 2021-07-13 2023-01-20 주식회사 리모샷 Vr 콘텐츠 제공 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110041277A (ko) 2009-10-15 2011-04-21 (주) 애니모비 박물관 전시 안내 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110041277A (ko) 2009-10-15 2011-04-21 (주) 애니모비 박물관 전시 안내 시스템 및 그 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102158857B1 (ko) 2019-07-10 2020-09-22 백시연 Vr을 이용한 재활치료용 에스컬레이터 장치
CN112732072A (zh) * 2020-12-21 2021-04-30 航天信息股份有限公司 基于vr/ar的设备智能维护系统
CN112732072B (zh) * 2020-12-21 2023-09-29 航天信息股份有限公司 基于vr/ar的设备智能维护系统
KR20220120959A (ko) 2021-02-24 2022-08-31 (주)스튜디오코인 다자 참여 교육용 vr/ar 체험 시스템
CN113380086A (zh) * 2021-06-22 2021-09-10 广州时间网络科技有限公司 一种博物馆教育沉浸式显示设备辅助装置
CN113380086B (zh) * 2021-06-22 2022-06-07 广州时间网络科技有限公司 一种博物馆教育沉浸式显示设备辅助装置
KR20230011146A (ko) 2021-07-13 2023-01-20 주식회사 리모샷 Vr 콘텐츠 제공 장치
CN114326429A (zh) * 2021-12-30 2022-04-12 深圳思悦创新有限公司 一种智能家居可视、可控的展示方法、装置及系统

Similar Documents

Publication Publication Date Title
KR20190078675A (ko) Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법
CN106157359B (zh) 一种虚拟场景体验系统的设计方法
Schmalstieg et al. Augmented reality: principles and practice
KR20210047278A (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
KR101692335B1 (ko) 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
US20170124770A1 (en) Self-demonstrating object features and/or operations in interactive 3d-model of real object for understanding object's functionality
CN112684894A (zh) 增强现实场景的交互方法、装置、电子设备及存储介质
CN111815780A (zh) 展示方法、显示装置、设备及计算机可读存储介质
CN114359520A (zh) 元宇宙系统及其交互方法
Fanini et al. Augmented reality for cultural heritage
Hayashi et al. Automatic generation of personal virtual museum
CN110622110A (zh) 提供沉浸式现实内容的方法和装置
JP2022507502A (ja) 拡張現実（ａｒ）のインプリント方法とシステム
Broll Augmented reality
CN114359519A (zh) 一种元宇宙系统
Agarwal et al. Mobile application development with augmented reality
CN112947756A (zh) 内容导览方法、装置、系统、计算机设备及存储介质
KR20230016782A (ko) Ar-vr 기술 기반의 몰입형 전시 시스템 및 그 방법
Mohammed-Amin Augmented reality: A narrative layer for historic sites
Priestnall et al. Virtual geographic environments
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
KR100856546B1 (ko) 몰입적 체험 관광 장치
Yonov School atlas with augmented reality
CN111652986B (zh) 舞台效果呈现方法、装置、电子设备及存储介质
Bovcon et al. “Atlas 2012” Augmented Reality: A Case Study in the Domain of Fine Arts

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
SUBM Submission of document of abandonment before or after decision of registration