KR20180126145A - 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법 - Google Patents

시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법 Download PDF

Info

Publication number
KR20180126145A
KR20180126145A KR1020170060764A KR20170060764A KR20180126145A KR 20180126145 A KR20180126145 A KR 20180126145A KR 1020170060764 A KR1020170060764 A KR 1020170060764A KR 20170060764 A KR20170060764 A KR 20170060764A KR 20180126145 A KR20180126145 A KR 20180126145A
Authority
KR
South Korea
Prior art keywords
image
virtual
user
user terminal
history experience
Prior art date
Application number
KR1020170060764A
Other languages
English (en)
Inventor
배성실
Original Assignee
배성실
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배성실 filed Critical 배성실
Priority to KR1020170060764A priority Critical patent/KR20180126145A/ko
Publication of KR20180126145A publication Critical patent/KR20180126145A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 유적지, 박물관, 문화재뿐만 아니라, 시대별 서민 및 귀족의 생활, 시대별 전통음식, 전래 동화의 영상물을 제공하여 사용자가 가상공간에서 체험할 수 있되, 사용자 인터페이스 및 3D 게임 엔진을 구비하여, 사용자의 움직임과 연동되는 영상을 제공하며, 또한, 마치 여행자가 여행지에서 촬상하듯이, 소정 가상공간의 소정 위치에서, 기 등록된 사용자 영상을 넣은 영상을, 선택적으로 출력, 저장이 가능하며, 또한, 가상 의복대여를 통해 소정 가상공간에서 소정 가상의복을 입은 사용자 영상을 선택적으로 출력, 저장하는, 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법에 관한 것이다.
본 발명의 가상 역사 체험 시스템의 구동방법은, HMD(Head Mounted Display)부로부터 역사 체험장 방문신호가 사용자 단말기로 전송되면, 사용자 단말기는, HMD부로 다수의 가상 역사 체험장 리스트를 전송하고, HMD부로부터 가상 역사 체험장 설정신호를 수신하는, 가상 역사 체험장 설정단계; 가상 역사 체험장 설정단계에서 사용자 단말기가 가상 역사 체험장 설정신호를 수신하면, 사용자 단말기는 입장료 결제화면관련 영상을 HMD부로 전송하여 HMD부의 화면상에 디스플레이되게 하고, 사용자 단말기가 금융결제원 서버와 연동되어 입장료가 결제되면, 입장료 결제결과 및 가상 역사 체험장 입장신호를 메인서버로 전송하는, 가상 역사 체험장 입장료 결제단계; 메인서버는, 가상 역사 체험장 설정신호에 따른 가상 역사 체험장의 영상을, 메인서버 DB(데이터베이스)로부터 읽어들여 사용자 단말기를 통해 HMD부로 전송하여 디스플레이되게 하는, 가상 역사 체험장 영상 출력단계;를 포함하여 이루어진 것을 특징으로 한다.

Description

시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법{Virtual history experience system with Age-specific cultural image and thereof method}
본 발명은 유적지, 박물관, 문화재뿐만 아니라, 시대별 서민 및 귀족의 생활, 시대별 전통음식, 전래 동화의 영상물을 제공하여 사용자가 가상공간에서 체험할 수 있되, 사용자 인터페이스 및 3D 게임 엔진을 구비하여, 사용자의 움직임과 연동되는 영상을 제공하며, 또한, 마치 여행자가 여행지에서 촬상하듯이, 소정 가상공간의 소정 위치에서, 기 등록된 사용자 영상을 넣은 영상을, 선택적으로 출력, 저장이 가능하며, 또한, 가상 의복대여를 통해 소정 가상공간에서 소정 가상의복을 입은 사용자 영상을 선택적으로 출력, 저장하는, 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법에 관한 것이다.
일반적으로, 유적지는 역사적인 사건이 일어난 곳, 즉, 유적이 있는 곳을 말하며, 박물관은 고고학적 자료, 역사적 유물, 예술품, 그 밖의 학술 자료를 수집하여 보존 및 진열하고 일반인에게 전시하여 학술 연구와 사회 교육에 기여할 목적으로 만든 시설을 말한다.
또한, 문화재(文化財)는 문화 활동에 의하여 창조된 가치가 뛰어난 사물을 말하며, 민속 문화재, 천연기념물, 사적, 명승지 등을 통칭하는 말이다. 본 발명에서 문화재는 민속 문화재, 천연기념물, 사적, 명승지를 통칭하는 말로 이하 사용한다. 여기서, 민속 문화재는 민족의 기본적인 생활문화(즉, 건축물, 가구, 그릇, 의상, 음식, 교통수단 등)를 특징적으로 나타내는 것을 말한다.
가상현실(virtual reality)은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 만들어진 가상의(상상의) 환경이나 상황 등을 통해 사용자의 오감을 자극하며 실제와 유사한 공간적, 시간적 체험을 하게 함으로써 현실과 상상의 경계를 자유롭게 드나들게 하는 몰입형 멀티미디어를 통칭하여 말한다.
가상현실 분야에서 관련 디바이스 개발은 빠르게 진행되는 반면, 구현되는 콘텐츠는 풍부하지 못한 실정으로, 경쟁력 있는 원소스 멀티 유즈(One Source Mulltiuse) 콘텐츠개발이 시급하다. 특히, 내국인 및 외국인을 위한 한국의 다양한 시대적 문화재 정보 등에 대한 정보의 가공 및 제공방법이 요망된다.
예를들어, 창덕궁은 1405년 태종에 의해 경복궁 동쪽 향교동에 지어져 '창덕궁'이라고 이름지어 졌으며, 1411년에 조성한 진선문과 금천교, 1412년에 건립한 궁궐의 정문인 돈화문에 이어 여러 전각들이 차례로 들어서면서 궁궐의 모습을 갖추어나갔으나, 임진왜란이 일어나자 창덕궁 역시 다른 궁과 더불어 잿더미로 변하였다. 그 후, 1609년(광해군 원년) 10월 인정전 등 주요 전각이 거의 복구되었으며, 1623년 인조반정 때 또다시 인정전을 제외한 대부분의 건물들이 소실되어 1647년(인조 25)에 가서야 복구가 완료되었으며, 이후 역대 왕들은 창덕궁에서 주로 정무를 보게 된다. 1704년(숙종 30) 12월에는 대보단이 조성되었고, 1776년(영조 52) 9월에는 후원에 규장각이 건립되었으며, 1782년(정조 6)에는 인정전 뜰에 품계석이 설치되었다. 1917년에는 내전이 소실되어, 이를 복구하기 위해 경복궁의 교태전, 강녕전과 그 앞의 동·서 행각 등 많은 건물들이 1918년 창덕궁으로 이건되어 대조전, 희정당 등으로 복구되었다. 일제 강점기에는 건물들이 대다수 철거되고 몇몇의 주요 건물들만 남게 되었다. 현재 창덕궁은 크게 인정전과 선정전을 중심으로 한 치조 영역, 희정당과 대조전을 중심으로 한 침전 영역, 동쪽의 낙선재 영역, 그리고 북쪽 구릉 너머 후원 영역으로 구성되어 있다.
이와 같이, 창덕궁은 그 안에도 많은 문화재와 궁전을 가지고 있으며, 시대적으로 그 모습이 다르다.
따라서, 현재의 창덕궁뿐만 아니라, 시대적으로 다른 모습을 가진 원래의 창덕궁을 체험하는 것이 요망되며, 또한 이 시대적 창덕궁 내를 거닐면서 창덕궁 내의 다른 궁전 등의 문화재를 관람하는 것도 요망되며, 또한 각 시대에 창덕궁 내의 왕족 및 궁인들의 먹고 생활하는 일상 생활모습은 어떠하였는지 체험하는 것도 요망되며, 또한 각 시대의 귀족 및 서민의 식탁 위의 음식은 어떠하였는 지 체험하는 것도 요망된다.
선행기술로, 국내 공개특허공보 제2000-0054149호 및 국내 등록특허 제10-0403942호는 3차원 동영상 기술을 이용하여 가상공간에서 마우스 스크롤 방식을 통해 해당 장소를 관람할 수 있도록 하는, 3차원 가상여행 시스템 또는 3차원 가상공간내에서 목적물 선택시 동영상을 구현하는 시스템에 관한 것이다.
그러나, 국내 공개특허공보 제2000-0054149호 및 국내 등록특허 제10-0403942호로는 현재의 문화유적지 등만을 마우스 스크롤 방식을 통해 해당 장소를 둘러볼 뿐, 시대별 문화유적지를 볼 수 없으며, 또한, 그 시대의 생활상을 그대로 볼 수 없으며, 또한 생동감 및 몰입도 역시 떨어진다.
다른 선행기술로, 국내 등록특허 제10-1021634호는 네트워크를 이용하여 역사를 학습함에 있어, 특정 시나리오에 따라 역사내용을 입체적으로 학습할 수 있도록 하기 위한 시스템 및 방법에 관한 것이고, 또한, 역사커뮤니티를 기반으로 하는 가상공간에서 역사학습을 위한 공간으로 자유로이 이동하여 역사학습을 수행할 수 있도록 하는 시스템에 관한 것이다. 국내 등록특허 제10-1021634호의 역사학습 장치는 역사학습DB에서 특정 게임데이터를 추출하여 웹서버에서 사용자 단말에 게임화면으로 표시할 수 있도록 처리하고, 표시된 게임화면을 통해 입력되는 게임진행신호에 따라 게임을 진행하는 역사학습제공부와, 그리고, 시대별, 주제별로 구분되어 있는 역사자료를 바탕으로 한 게임을 구현하기 위한 게임 데이터를 저장하고 있는 역사학습DB를 포함한다.
국내 등록특허 제10-1021634호의 게임 진행은, 사용자 단말에 표시되는 게임화면에서 게임에 사용될 게임진행캐릭터를 설정하되, 설정 방법은 게임 화면에서 제공되는 주사위를 사용자 아바타가 던져 나온 숫자에 따라 캐릭터가 설정되며, 설정된 캐릭터에 의해 게임이 수행된다. 게임 수행 방법은 임의의 캐릭터에 대하여 주사위가 던져지면 나온 숫자만큼 임의의 캐릭터가 게임화면에 표시되는 지도의 이동 경로를 따라 이동한다. 각 캐릭터의 게임 진행 순서는 캐릭터 설정을 위한 주사위 던지기에 의해 나온 숫자 크기 순으로 큰 숫자를 받은 캐릭터가 먼저 진행한다.
국내 등록특허 제10-1021634호도 현재의 문화유적지 등을 게임을 통해 단순히 이동할 뿐, 시대별 문화유적지 그대로를 볼 수 없으며, 또한, 그 시대의 생활상을 그대로 볼 수 없으며, 또한 생동감 및 몰입도 역시 떨어진다.
그러므로 본 발명은, 유적지, 박물관, 문화재뿐만 아니라, 시대별 서민 및 귀족의 생활, 시대별 전통음식, 전래 동화의 영상물을 제공하여 사용자가 가상공간에서 체험할 수 있되, 사용자 인터페이스 및 3D 게임 엔진을 구비하여, 사용자의 움직임과 연동되는 영상을 제공하는, 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 제공하고자 한다.
일반적으로, 인간이 입체감(원근감)을 느끼게 되는 이유는, 두개 의 눈 이 약간의 간격을 가지고 떨어져서 생기는 시차에 의해 뇌가 최종적으로 판단을 할 때 입체감을 느끼게 되는 것이며, 또 다른 이유로는 은폐라고 불리우는 현상도 원근감을 느끼게 하는데, 이는 여러 개의 사물이 겹쳐있을 때 가려져 있는 물체가 더 멀리 있다고 느끼는 현상이다. 그리고, 멀리 있는 물체는 더 작게 가까이 있는 물체는 더 크게 느끼는 원근법과, 멀리 있는 물체들이 더 촘촘히 모여있는 것처럼 보이는 상대적 밀도와, 움직이는 동안에 멀리 있는 물체는 천천히 움직이는 것처럼 보이고 가까이 있는 물체는 빨리 움직이는 것으로 보이는 운동 시차 현상 등이 있다.
이중에서 입체 영상의 제작 원리로 사용되는 것은 주로 양안 시차에 근거를 두고 있다. 이를 활용 하는 방법으로는 두개의 카메라를 이용해서 시차가 있는 영상을 찍은 뒤에 사용하는 방식과, 3D 그래픽스 툴을 이용하는 방법과, 기존의 2D 이미지를 변환하는 방법이 있다.
이중 두개의 카메라를 이용해서 영상을 찍는 원리는, 두눈이 수평으로 어느 정도 간격을 가지고 사물을 보는 것처럼 일정한 간격을 가진 카메라 두 대를 수평으로 놓고 영상을 찍는 것이다. 찍는 방법도 평행법과 교차법으로 나뉜다. 교차법은 카메라 두개 사이의 각도를 조절해서 찍는 사물의 위치를 튀어나와 보이게 하거나 들어가 보이게 하는 효과를 줄 때 사용할 수 있고, 평행법은 카메라 사이에 각도를 주지 않고 평행하게 하여 찍는 방법으로 모든 사물이 돌출되어 보이게 된다.
이러한 방법들은 현실 세계의 영상을 3D처럼 보이게 만드는 것이라면, 3D그래픽 툴을 이용해서 제작할 경우에는 여러 가지 물리 제약도 존재하지 않고, 더 손쉽게 영상 처리가 가능하다. 기존과 똑같이 모델링을 하는데 단지 카메라 하나만 더 추가해주면 되는 것이다.
따라서 본 발명은 이와 같은 양안의 시차를 이용한 방법으로 3D유니티 엔진에서 가상의 카메라를 추가하여 HMD를 연동하여 몰입형 가상현실 체험할 수 있는3D입체 영상을 제작하였다.
본 발명이 해결하고자 하는 기술적 과제는, 두부장착 디스플레이(HMD), HMD 제어기, 사용자 단말기, 메인서버를 포함하여 이루어진 가상 역사 체험 시스템에서, 사용자는, 유적지, 박물관, 문화재뿐만 아니라, 시대별 서민 및 귀족의 생활, 시대별 전통음식, 전래 동화의 영상물으로 이루어진 가상 역사 체험장을 가상 체엄하되, 사용자 인터페이스 및 3D 게임 엔진을 구비하여, 사용자의 움직임과 연동되는 영상이 제공되는, 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 시대별로 그 유적지 및 문화재가 가졌던 그 모습 대로의 가상공간에서 사용자가 거닐듯이 관람할 수 있을 뿐만 아니라, 그 시대별로 그 유적지 및 문화재에서의 생활상의 동영상 속을 사용자의 움직임과 연동되는 영상으로 관람할 수 있는, 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 유적지, 박물관, 문화재뿐만 아니라, 시대별 서민 및 귀족의 생활, 시대별 전통음식, 전래 동화의 영상물의 생성시, 모델링을 행하고, 언월프(Unwarp) 방법을 이용하여, 모델링된 오브젝트에 재질을 입혀, 완성된 오브젝트 표면에 입체감, 색상 등을 언월프(Unwarp) 좌표에 부합하게 만드는 이미지를 구현하여, 보다 생동감있는 유적지, 박물관, 문화재 등의 오브젝트를 구비하는, 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 카메라 촬영모드가 선택되면, 마치 여행자가 여행지에서 카메라로 촬상하듯이, 사용자에 의해 선택된 소정 가상공간의 소정 위치에서 기 등록된 사용자 영상을 넣은 영상을 출력, 저장하되, 가상 카메라 프레임 내의 영상이, 선택적으로, 소정 각도, 소정 크기, 소정 배율을 갖도록 조절되어, 가상 카메라 프레임 내의 영상을 출력, 저장하는, 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 의복대여 모드가 선택되면, 왕, 왕후, 궁인 등의 다수의 가상 의복 중 사용자에 의해 선택된 소정 의복을 착용한 사용자의 영상을 출력, 저장하는, 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 의복대여 촬영모드가 선택되면, 사용자에 의해 선택된 소정 가상공간의 소정 위치에서, 사용자에 의해 선택된 소정 의복을 착용한 사용자의 영상을 출력, 저장하되, 가상 카메라 프레임 내의 영상이, 선택적으로, 소정 각도, 소정 크기, 소정 배율을 갖도록 조절되어, 가상 카메라 프레임 내의 영상을 출력, 저장하는, 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 사용자 등록시, 사용자의 얼굴영상 또는 사용자의 전신영상, 사용자의 키 등을 등록하도록 이루어지며, 가상 역사 체험장에 방문하되, 입장료를 결제한 사용자만 가상 역사 체험장에 입장이 가능하도록 이루어지며, 카메라 촬영모드, 의복대여 모드, 의복대여 촬영모드를 선택된 경우는, 소정 요금결제를 행한 후, 카메라 촬영모드, 의복대여 모드, 의복대여 촬영모드가 구동되도록 이루어진, 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 가상 역사 체험 시스템의 구동방법은, HMD부로부터 역사 체험장 방문신호가 사용자 단말기로 전송되면, 사용자 단말기는, HMD부로 다수의 가상 역사 체험장 리스트를 전송하고, HMD부로부터 가상 역사 체험장 설정신호를 수신하는, 가상 역사 체험장 설정단계; 가상 역사 체험장 설정단계에서 사용자 단말기가 가상 역사 체험장 설정신호를 수신하면, 사용자 단말기는 입장료 결제화면관련 영상을 HMD부로 전송하여 HMD부의 화면상에 디스플레이되게 하고, 사용자 단말기가 금융결제원 서버와 연동되어 입장료가 결제되면, 입장료 결제결과 및 가상 역사 체험장 입장신호를 메인서버로 전송하는, 가상 역사 체험장 입장료 결제단계; 메인서버는, 가상 역사 체험장 설정신호에 따른 가상 역사 체험장의 영상을, 메인서버 DB(데이터베이스)로부터 읽어들여 사용자 단말기를 통해 HMD부로 전송하여 디스플레이되게 하는, 가상 역사 체험장 영상 출력단계;를 포함하여 이루어진 것을 특징으로 한다.
본 발명의 가상 역사 체험 시스템의 구동방법은, 가상 역사 체험장 영상 출력단계 중에, 사용자 단말기는 HMD부로부터 카메라 촬영 선택신호가 수신되면, 카메라 촬영대금 결제화면관련 영상을 HMD부로 전송하여 HMD부의 화면상에 디스플레이되게 하고, 사용자 단말기가 금융결제원 서버와 연동되어 카메라 촬영대금이 결제되면, 카메라 촬영대금 결제결과를 메인서버로 전송하는, 카메라 촬영대금 결제단계; 카메라 촬영대금 결제단계에서 메인서버가 카메라 촬영대금 결제결과를 수신하면, HMD부의 화면에는, 카메라 촬영대금 결제단계 전의 가상 역사 체험장의 영상이 출력되되, 상기 가상 역사 체험장의 영상 내에 사각형의 가상 카메라 프레임이 표시되는, 가상 카메라 프레임 표시단계;를 더 포함한다.
가상 카메라 프레임 표시단계에서, HMD부의 화면상에서 가상 카메라 프레임 내의 영상만이 선택적으로 각도, 크기, 배율이 조정된다.
본 발명의 가상 역사 체험 시스템의 구동방법은, 가상 카메라 프레임 표시단계 후, 사용자 단말기는 HMD부로부터 가상 카메라 촬상신호가 수신되면, HMD부의 화면의 가상 카메라 프레임 내의 영상이 가상 카메라 촬상 영상으로서 사용자 단말기로 전송되어 저장되는, 가상 카메라 촬상단계;를 더 포함한다.
가상 카메라 촬상단계에서, 사용자 단말기는, HMD부로부터 본인 넣기 신호가 수신되면, 기 저장되어 있는 사용자 전신영상, 또는 기저장된 사용자 얼굴영상과 기 저장된 기준 몸체 영상이 병합된 사용자 병합 영상을, HMD부로 전송하여, HMD부의 화면의 가상 카메라 프레임 내에 위치되게 하여, 가상 카메라 촬상 영상에 사용자 전신영상 또는 사용자 병합 영상이 포함된다.
가상 역사 체험장 영상 출력단계 중에, 사용자 단말기는 HMD부로부터 의복대여 촬영 선택신호를 수신하면, 의복대여 촬영대금 결제화면관련 영상을 HMD부로 전송하여 HMD부의 화면상에 디스플레이되게 하고, 사용자 단말기가 금융결제원 서버와 연동되어 의복대여 촬영대금이 결제되면, 의복대여 촬영대금 결제결과를 메인서버로 전송하는, 의복대여 촬영대금 결제단계; 사용자 단말기는 HMD부로부터 의복선택신호 및 포즈선택신호가 수신되면, 수신된 의복선택신호 및 포즈선택신호를 메인서버로 전송하고, 메인서버는, 의복선택신호에 따른 의복을 착용하며 포즈선택신호에 따른 포즈를 가진 기준몸체 영상을 메인서버의 DB로부터 읽어들여 사용자 단말기로 전송하며, 사용자 단말기는, 상기 기준몸체 영상과 기 저장된 사용자의 얼굴영상을 병합한, 대여의복 착용 사용자 병합 영상을 생성하는, 대여의복 착용 사용자 병합영상 생성단계;를 포함하여 이루어진다.
대여의복 착용 사용자 병합영상 생성단계에서 대여의복 착용 사용자 병합영상이 생성되면, HMD부의 화면에는, 의복대여 촬영대금 결제단계 전의 가상 역사 체험장의 영상이 출력되며, 상기 가상 역사 체험장의 영상 내에 사각형의 가상 카메라 프레임이 표시되되, 가상 카메라 프레임내에 대여의복 착용 사용자 병합영상 생성단계에서 생성된 대여의복 착용 사용자 병합영상이 포함되는, 가상 카메라 프레임내 영상 표시단계;를 포함하여 이루어진다.
사용자 단말기는 HMD부로부터 의복대여 선택신호를 수신하면, 의복대여 대금 결제화면관련 영상을 HMD부로 전송하여 HMD부의 화면상에 디스플레이되게 하고, 사용자 단말기가 금융결제원 서버와 연동되어 의복대여 대금이 결제되면, 의복대여 대금 결제결과를 메인서버로 전송하는, 의복대여 대금 결제단계; 사용자 단말기는 HMD부로부터 의복선택신호 및 포즈선택신호가 수신되면, 수신된 의복선택신호 및 포즈선택신호를 메인서버로 전송하고, 메인서버는, 의복선택신호에 따른 의복을 착용하며 포즈선택신호에 따른 포즈를 가진 기준몸체 영상을 메인서버의 DB로부터 읽어들여 사용자 단말기로 전송하며, 사용자 단말기는, 상기 기준몸체 영상과 기 저장된 사용자의 얼굴영상을 병합한, 대여의복 착용 사용자 병합 영상을 생성하여 저장하는, 대여의복 착용 사용자 병합영상 저장단계;를 포함하여 이루어진다.
또한, 본 발명의 가상 역사 체험 시스템의 가상 역사 체험장 제작방법은, 가상 역사 체험장의 건축물, 소품, 인물 캐릭터를, 3Ds 맥스(3Ds Max) 시스템을 이용하여 3차원화시킨 맥스 포멧(Max Format)으로 생성하며, 3차원화 시킨 맥스 포멧으로 생성된 건축물, 소품, 인물 캐릭터를 이용하여 유니티(Unity) 시스템에서 3D VR(가상현실) 영상을 생성하는, 가상 역사 체험 시스템의 가상 역사 체험장 제작방법에 있어서, 유니티(Unity) 시스템에서, 각 건물 내에서 기 설정된 시나리오에 따라 인물 캐릭터가 동작하는 영상을 생성하되, 상기 영상에는 인물 캐릭터의 동작에 대한 설명이 음향 또는 문구로 제공되는 것을 특징으로 한다.
인물 캐릭터는 왕, 왕비, 상궁, 궁녀, 신하 중의 하나이며, 상기 건축물은 정전, 편전, 침전, 후원 중의 하나이며, 소품은 족자, 호롱불, 병풍, 밥상을 포함하여 이루어지며, 상기 시나리오는 정전, 편전, 침전, 후원 중의 하나에서 왕 또는 왕비의 생활을 나타내도록 이루어지며, 3D VR 영상에서 소품이 제공될 때 소품에 대한 설명이 음향 또는 문구로 제공된다.
건축물의 실내에 소품 및 인물 캐릭터가 배치되고, 상기 인물 캐릭터를 애니메이션화하여 생성된 장면을 3차원화시킨 맥스 포멧 파일에서 유니티(Unity) 파일로 변환하여 씬(Scene)이 생성된다.
건축물의 실내에 소품 및 인물 캐릭터의 배치는, 3Ds 맥스 시스템에서, 문화재 내의 건물의 터레인(terrain)에, 사용자가 설정한 건물 위치를 읽어들이고, 기 설정된 텍스쳐(texture)를 터레인 위에 입히는 단계; 3Ds 맥스 시스템에서, 고증된 자료를 기준으로 기 제작된 건물을 읽어들여, 터레인 위의 해당 건물 위치에 상기 건물을 올려놓는 단계; 3Ds 맥스 시스템에서, 고증된 자료를 기준으로 3D 모델링을 행하여 기 제작된 실내 및 소품을 읽어들여 기설정된 위치에 배치하고, 고증된 자료를 기준으로 3D 모델링을 행하여 제작된 각 시대의 인물 캐릭터를 읽어들여 기설정된 위치에 배치하는 단계;를 포함한다.
또한, 본 발명의 가상 역사 체험 시스템은, 머리움직임 검출센서 또는 안구 움직임 검출센서를 구비하여 머리 움직임 신호 또는 안구 움직임 신호를 검출하며, 가상 역사 체험장의 영상을 포함하는 3차원 영상을 디스플레이하는, HMD(Head Mounted Display)부; HMD부로 부터 가상 역사 체험장 설정신호를 수신하고 금융결제원 서버와 연동되어 입장료가 결제되면, 입장료 결제결과 및 가상 역사 체험장 설정신호를 메인서버로 전송하며, 메인서버로부터 가상 역사 체험장의 영상을 수신하며, 머리 움직임 신호 또는 안구 움직임 신호에 따라 사용자의 시선을 결정하고, 결정된 사용자의 시선에 따른 가상 역사 체험장의 영상을 HMD부로 전송하는, 사용자 단말기; 사용자 단말기로부터 수신된 역사 체험장 설정신호에 따른, 가상 역사 체험장의 영상을, 메인서버 DB(데이터베이스)로부터 읽어들여 사용자 단말기로 전송하는, 메인서버;를 포함하여 이루어진다.
사용자 단말기는, HMD부로부터 카메라 촬영 선택신호가 수신되고, 금융결제원 서버와 연동되어 카메라 촬영대금이 결제되면, 카메라 촬영대금 결제결과를 메인서버로 전송하며, HMD부의 화면은 가상 역사 체험장의 영상이 출력되며, 상기 가상 역사 체험장의 영상 내에 사각형의 가상 카메라 프레임이 표시되되, HMD부의 화면상에서 가상 카메라 프레임 내의 영상만이 선택적으로 각도, 크기, 배율이 조정되도록 이루어진다.
사용자 단말기는, HMD부로부터 본인 넣기 신호가 수신되면, 기 저장되어 있는 사용자 전신영상, 또는 기저장된 사용자 얼굴영상과 기 저장된 기준 몸체 영상이 병합된 사용자 병합 영상, 또는 대여의복을 착용한 기준몸체 영상과 사용자의 얼굴영상을 병합된 대여의복 착용 사용자 병합 영상을 생성하여, HMD부의 화면상의 가상 카메라 프레임 내에 위치되게 한다.
사용자 단말기가 금융결제원 서버와 연동되어 의복대여 촬영대금이 결제된후, HMD부로부터 수신된 의복선택신호 및 포즈선택신호를 메인서버로 전송하고, 메인서버는, 의복선택신호에 따른 의복을 착용하며 포즈선택신호에 따른 포즈를 가진 기준몸체 영상을 메인서버의 DB로부터 읽어들여 사용자 단말기로 전송하며, 사용자 단말기는, 상기 기준몸체 영상과 기 저장된 사용자의 얼굴영상을 병합한, 대여의복 착용 사용자 병합 영상을 생성한다.
본 발명은, 두부장착 디스플레이(HMD), HMD 제어기, 사용자 단말기, 메인서버를 포함하여 이루어진 가상 역사 체험 시스템에서, 사용자는, 유적지, 박물관, 문화재뿐만 아니라, 시대별 서민 및 귀족의 생활, 시대별 전통음식, 전래 동화의 영상물으로 이루어진 가상 역사 체험장을 가상 체엄하되, 사용자 인터페이스 및 3D 게임 엔진을 구비하여, 사용자의 움직임과 연동되는 영상이 제공되는, 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 제공한다.
즉, 본 발명은, 시대별로 그 유적지 및 문화재가 가졌던 그 모습 대로의 가상공간에서 사용자가 거닐듯이 관람할 수 있을 뿐만 아니라, 그 시대별로 그 유적지 및 문화재에서의 생활상의 동영상 속을 사용자의 움직임과 연동되는 영상으로 관람할 수 있다.
또한, 본 발명은, 유적지, 박물관, 문화재뿐만 아니라, 시대별 서민 및 귀족의 생활, 시대별 전통음식, 전래 동화의 영상물의 생성시, 모델링을 행하고, 언월프(Unwarp) 방법을 이용하여, 모델링된 오브젝트에 재질을 입혀, 완성된 오브젝트 표면에 입체감, 색상 등을 언월프(Unwarp) 좌표에 부합하게 만드는 이미지를 구현하여, 보다 생동감있는 유적지, 박물관, 문화재 등의 오브젝트를 구비한다.
또한, 본 발명은, 카메라 촬영모드가 선택되면, 사용자에 의해 선택된 소정 가상공간의 소정 위치에서, 기 등록된 사용자 영상을 넣은 영상을 출력, 저장하되, 가상 카메라 프레임 내의 영상이, 선택적으로, 소정 각도, 소정 크기, 소정 배율을 갖도록 조절되어, 가상 카메라 프레임 내의 영상을 출력, 저장한다. 즉, 마치 여행자용 여행지에서 카메라로 촬상하여 추억하듯이, 가상 역사 체험장의 특정 위치에서 좔영을 행하여 출력, 저장하여, 차후 다시 같은 가상 역사 체험장을 방문할 필요없이, 저장된 영상을 볼 수 있다.
또한, 본 발명은, 의복대여 모드가 선택되면, 왕, 왕후, 궁인 등의 다수의 가상 의복 중 사용자에 의해 선택된 소정 의복을 착용한 사용자의 영상을 출력, 저장한다. 즉, 여행지 등에서, 의복대여하여, 옛 의상 등을 빌려 입고 촬영하듯이, 가상공간에서 옛날의 가상 의복을 대여하여, 입은 사용자 영상을 촬영하여, 저장할 수 있다.
또한, 본 발명은, 의복대여 촬영모드가 선택되면, 사용자에 의해 선택된 소정 가상공간의 소정 위치에서, 사용자에 의해 선택된 소정 의복을 착용한 사용자의 영상을 출력, 저장하되, 가상 카메라 프레임 내의 영상이, 선택적으로, 소정 각도, 소정 크기, 소정 배율을 갖도록 조절되어, 가상 카메라 프레임 내의 영상을 출력, 저장한다. 즉, 여행지 등에서, 의복대여하여, 옛 의상 등을 빌려 입고 고궁등을 돌며 촬영하듯이, 가상공간에서 옛날의 가상 의복을 대여하여, 입은 사용자 영상을 가상 역사 체험장의 특정 위치에서 좔영을 행하여 저장할 수 있다.
.또한, 본 발명은, 사용자 등록시, 사용자의 얼굴영상 또는 사용자의 전신영상, 사용자의 키 등을 등록하도록 이루어지며, 사용자가 가상 역사 체험장에 방문하되, 입장료를 결제한 사용자만 가상 역사 체험장에 입장이 가능하도록 이루어지며, 카메라 촬영모드, 의복대여 모드, 의복대여 촬영모드가 선택된 경우는, 소정 요금결제를 행한 후, 카메라 촬영모드, 의복대여 모드, 의복대여 촬영모드가 구동되도록 이루어진다. 따라서, 카메라 촬영모드, 의복대여 모드, 의복대여 촬영모드를 통해 수익성을 증대할 수 있다.
도 1은 본 발명의 일 실시 예에 의한 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템의 개략적인 구성도이다.
도 2는 본 발명의 시대별 문화재 영상물 제작방법의 개괄적인 단계를 설명하는 설명도이다.
도 3은 창덕궁의 위성사진으로부터 창덕궁의 지형을 제작하는 일예를 나타낸다.
도 4는터레인을 제작하고, 제작된 터레인에 텍스쳐를 적용하는 일예를 나타낸다.
도 5는 3D데이터로 복원된 전각과, 그 복원된 전각을 터레인에 올려놓는 상태의 일예를 나타낸다.
도 6은 제작된 실내 맵핑소스들과 모델링에 따라 실내 맵핑소스들을 배친한 일예를 나타낸다.
도 7a는 각 시대의 각 문화재 내의 다양한 남녀 캐릭터를 제작하고, 제작된 남녀 캐릭터를 이용하여 애니메이션의 영상을 제작하는 과정을 설명하기 위한 설명도이다.
도 7b는 다양한 남녀 캐릭터의 일 예이다.
도 8은 스토리 텔링을 기반으로 3D로 재현한 임금의 아침수라의 일예를 나타낸다.
도 9는 터레인 제작, 전각 배치, 3D 실시간 콘덴츠 제작의 일예를 나타낸다.
도 10은 원천소스의 제작, FBX 파일로 컨버전, 불러온 데이터의 배치, 애니메이션 및 효과 연출의 예들을 나타낸다.
도 11은 본 발명의 일실시예에 의한 시대별 문화재 영상물의 제작을 나타낸다.
도 12는 본 발명의 다른 일실시예에 의한 시대별 문화재 영상물의 제작을 나타낸다.
도 13은 도 11은 본 발명의 다른 일실시예에 의한 시대별 문화재 영상물의 제작을 나타낸다.
도 14는 카메라의 움직임에 따른 씬을 구현하기 위한 설명도이다.
도 15는 카메라의 위치에 따라 자막을 생성하는 것을 설명하기 위한 설명도이다.
도 16은 카메라의 움직임에 따른 페이드인을 행하는 것을 설명하기 위한 설명도이다.
도 17은 양의 시차를 이용한 방법을 2대의 카메라로 입체적으로 제공하는 방법에 대해 설명하는 설명도이다.
도 18은 2D 카메라로 찍은 영상의 일예이다.
도 19는 3D 카메라로 찍은 영상의 일예이다.
도 20은 본 발명의 일실시예에 의한 창덕궁 VR콘텐츠 스토리보드의 예이다.
도 21 및 도 22는 본 발명의 일실시예에 의한 창덕궁에서의 왕의 일상생활을 나타내는 영상들의 예이다.
도 23은 본 발명의 일실시예에 의한 창덕궁에서의 왕의 일상생활을 나타내는 영상을 HMD에 출력되는 영상과 사용자 단말기에 출력되는 영상의 예들을 나타낸다.
도 24는 본 발명의 가상 역사 체험 시스템에서 카메라 촬영모드시의 가상 역사 체험 시스템의 구동방법을 개략적으로 설명하기위한 흐름도이다.
도 25는 본 발명의 가상 역사 체험 시스템에서 의복대여 촬영모드시의 가상 역사 체험 시스템의 구동방법을 개략적으로 설명하기 위한 흐름도이다.
도 26은 본 발명의 가상 역사 체험 시스템에서 의복대여 모드시의 가상 역사 체험 시스템의 구동방법을 개략적으로 설명하기 위한 흐름도이다.
본 발명의 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법을 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 의한 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템의 개략적인 구성도이다.
두부장착 디스플레이(Head Mounted Display, HMD)(110)는 머리에 장착되며, 안경형상의 디스플레이부를 구비하며, 사용자의 눈에 사용자 단말기(300)으로부터 HMD 제어기(200)을 통해 수신되는 3차원 영상을 안경형상의 디스플레이부에 제공한다. 또한 두부장착 디스플레이(HMD)(110)는 사용자의 머리(얼굴)의 움직임 또는 안구의 움직임을 검출하여 HMD 제어기(200)을 통해 사용자 단말기(300)로 제공하여, 안경형상의 디스플레이부에 제공되는 영상이 사용자의 머리 또는 안구의 움직임에 따라, 사용자의 얼굴 또는 시선이 향하는 방향을 검출하고, 해당 방향에 대응하는 서라운딩 이미지를 제공한다. 여기서, 서라운딩 이미지는 HMD(110)를 중심으로 전방향(예를 들어, 전, 후, 좌, 우, 상, 하 방향)으로 펼쳐진 이미지를 말한다.
HMD 제어기(200)는 사용자 단말기(300)로부터 수신된 영상(즉, 디스플레이 정보)을 HMD(110)로 전송하고, HMD(110)에서 검출된 머리(얼굴)의 움직임(즉, 해드 트랙킹 정보) 또는 안구의 움직임을 사용자 단말기(300)로 전송하며, HMD(110)에게 제공되는 영상 및 음량 등을 사용자에 따라 조절할 수 있게 한다.
두부장착 디스플레이(HMD)(110)와 HMD 제어기(200)를 HMD부 라 할 수 있다.
사용자 단말기(300)는 스마트폰 또는 개인용 컴퓨터 등으로 이루어지며, 사용자에 의해 기설정된 시대별 문화재의 영상을 메인서버(400)으로부터 수신하고, 수신된 영상 중에서, 사용자의 머리(얼굴)의 움직임 또는 안구의 움직임에 따라, 사용자의 얼굴 또는 시선이 향하는 방향에 대응하는 영상을 HMD 제어기(200)를 통해 HMD(110)에 제공한다. 사용자 단말기(300)는 개인용 컴퓨터, 휴대용 컴퓨터, 스마트폰, 스마트 패드, 전자칠판, PC 게임기 중 어느 하나일 수 있다.
마우스(360) 또는 조이스틱(350)는, 사용자 단말기(300)와, 유선 또는 무선으로 연결된다. 마우스(360) 또는 조이스틱(350) 또는 사용자 단말기(300)의 키입력부(미도시)의 움직임에 따라 사용자가 앞으로 전후좌우로 전진하거나 후진하는 것을 나타내거나, 카메라 촬영모드, 의복대여 모드, 의복대여 촬영모드를 선택하거나, 다수의 가상의복(왕, 왕후, 궁인 등의 다양한 의복) 중 소정의복을 선택하거나, 가상 카메라 프레임 내의 영상이, 소정 각도, 소정 크기, 소정 배율이 되도록 선택할 수 있다.
메인서버(400)는 관리자 단말기(500)로부터 수신된 시대별 문화재의 영상을 데이터베이스에 저장하고, 사용자 단말기(300)의 요청에 따라 소정 시대별 문화재의 영상을 사용자 단말기(300)에 제공한다.
본 발명에서, 사용자는 사용초기에 사용자 단말기(300)로부터 인터넷을 통해 메인서버(400)에 접속하여 회원을 가입하여, 메인서버(400)에 사용자를 등록한다. 이때 사용자의 얼굴영상 또는 사용자의 전신영상, 사용자의 키, 사용자 개인정보(이름, 식별번호등) 등의 사용자 정보가 메인서버(400)에 저장된다. 물론 회원가입시 인증을 통해 행하여 질 수 있다. 또한, 사용자 단말기(300)는 메인서버(400)로부터 소정 응용프로그램을 수신하여 설치한다.
본 발명에서, 가상 역사 체험장은, 유적지(예로 선사유적지 등등), 박물관, 문화재(예로, 천연기념물, 사적, 명승지, 건축물, 가구, 그릇, 의상, 음식, 교통수단(말, 마차, 가마등)) 뿐만 아니라, 시대별 서민 및 귀족의 생활 영상물(예로, 시대별 서민 및 귀족의 혼인풍습 영상물, 시대별 서민의 의식주관련 영상물, 시대별 서민 및 귀족의 학교 영상물 등등), 시대별 전통음식관련 영상물(예로, 시대별 전통음식 제조하는 영상물, 시대별 전통음식 상차림 영상물), 전래 동화의 영상물 등을 말한다. 여기서 영상물이란 소정 스토리를 가진 영상물일 수 있다.
관리자 단말기(500)은 시대별 문화재의 영상들을 관리자에 의해 생성하여, 메인서버(400)에 저장하며, 관리자는 관리자 단말기(500)들을 통해 시대별 문화재의 영상들을 갱신하거나 삭제하거나 저장하거나 하는 관리를 행한다. 또한, 관리자는 관리자 단말기(500)를 회원을 관리한다.
경우에 따라서, HMD(110) 및 HMD 제어기(200)를 생략할 수 있으며, 사용자 단말기(300)를 통해 시대별 문화재의 3차원 영상물을 볼 수 있다.
사용자는 회원을 가입하고, 소정 응용프로그램을 사용자 단말기(300)에 설치한 후, 사용자가 소정 가상 역사 체험장을 방문하고자 할 경우에는, HMD(110)의 화면 상에 디스플레이된(제시된) 다수의 가상 역사 체험장 중 소정 가상 역사 체험장을, 마우스(360) 또는 조이스틱(350)을 이용하여, 선택하면, 입장료 결제화면으로 가며, 금융결제원 서버와 연동되어 사용자가 소정 입장료를 결제하면, 가상 역사 체험장을 마우스(360) 또는 조이스틱(350)을 이용하여 이동하면서 볼 수 있다. 이때, HMD(110)에서 검출된 머리(얼굴)의 움직임(즉, 해드 트랙킹 정보) 또는 안구의 움직임에 따라, 사용자의 시선이 결정되며, 사용자의 시선에 따라 HMD(110)에 디스플레이되는 영상이 출력되어, 마치 사용자가 소정 가상 역사 체험장을 거닐면서 바라보는 영상으로 디스플레이된다. 이때, HMD(110)의 화면 상의 일측에는 카메라 촬영 선택버튼(미도시), 의복대여 선택버튼(미도시), 의복대여 촬영 선택버튼(미도시)를 구비된다.
카메라 촬영모드에 있어서, HMD(110)의 화면상의 가상 역사 체험장의 소정 영상에서, 사용자가 마우스(360) 또는 조이스틱(350)을 움직임에 따라, HMD(110)의 화면 상의 커져를 움직여, 카메라 촬영 선택버튼(미도시)을 선택하고, 그러면, HMD(110)의 화면에는 카메라 촬영대금 결제화면이 디스플레이 되며, 금융결제원 서버와 연동되어 사용자가 카메라 촬영대금을 결제하면, HMD(110)의 화면은 가상 역사 체험장의 소정 영상으로 되돌아오되, 소정 영상 위에 사각형의 가상 카메라 프레임이 표시된다. 사용자는 가상 카메라 프레임 내에 촬상하고자 하는 영상을 위치시키고, 촬상버튼(미도시)를 선택하면 된다. 물론 본인을 상기 가상 카메라 프레임내에 위치시키고자 할 경우는 본인 넣기 버튼(미도시)를 선택하고 본인 넣기 버튼(미도시)이 선택되면 본인사진 선택 팝업창(미도시)이 디스플레이 되고, 본인영상 선택 팝업창에서 기 저장된 사용자 전신영상 또는 기저장된 사용자 얼굴영상과 기준 몸체와 병합(정합)된 사용자 병합 영상 중 하나를 선택하여 소정 위치에 드레그 드롭하면 된다. 이때, 사용자는 가상 카메라 프레임의 각도, 크기, 배율을 마우스(360) 또는 조이스틱(350)을 움직여 조정할 수 있다. 예를들어 가상 카메라 프레임의 각도는 HMD(110)의 화면에 표시되는 각도마크(미도시)를 커져로 회전 시킴에 의해, 조정할 수 있으며, 가상 카메라 프레임의 크기는 사각형의 가상 카메라 프레임의 선을 커져로 움직여 원하는 위치로 드레그 드롭함에 의해 조정할 수 있으며, 배율 버튼(미도시)을 눌러 원하는 크기로 할 수 있다.
기준 몸체와 병합(정합)된 사용자 병합 영상은, 사용자의 얼굴영상을 저장시, HMD(110)의 화면 상에 다수개의 기준몸체가 디스플레이되고, 그 중 사용자가 선택된 기준몸체와, 사용자의 얼굴영상이 병합되어 메인서버(400)의 DB 또는 사용자 단말기(300)에 저장된 영상이다. 경우에 따라서, 사용자 병합 영상은 사용자의 키에 따라 그 크기가 달라질 수 있다.
의복대여 모드에 있어서, 사용자가 마우스(360) 또는 조이스틱(350)을 움직임에 따라, HMD(110)의 화면 상의 커져를 움직여, 의복대여 선택버튼(미도시)을 선택하고, 그러면, HMD(110)의 화면에는 의복대여 대금 결제화면이 디스플레이 되며, 금융결제원 서버와 연동되어 사용자가 의복대여 대금을 결제하면, HMD(110)의 화면에 다수의 의복명이 디스플레이되고, 그 중의 하나의 의복을 선택하도록 이루어지며, 선택된 의복을 입은 기준몸체와 기 저장된 사용자의 얼굴영상이 병합되어 생성된 대여 의복 착용 사용자 영상을 출력되며, HMD(110)의 화면 상의 확인 버튼을 선택하면, 저장된다.
경우에 따라서는 여러가지 포즈(pose)를 가진 선택된 의복을 입은 기준몸체가 디스플레이되고 사용자는 이중 하나의 포즈를 가진 의복을 입은 기준몸체를 선택하고, 선택된 포즈를 가진 의복을 입은 기준몸체와 기 저장된 사용자의 얼굴영상이 병합되어 대여 의복 착용 사용자 영상을 출력 또는 저장한다,
경우에 따라서는 대여 의복 착용 사용자 영상은 사용자의 키에 따라 그 크기가 달라질 수 있다.
의복대여 촬영모드에 있어서, 사용자가 마우스(360) 또는 조이스틱(350)의 움직임에 따라, HMD(110)의 화면 상의 커져를 움직여, 의복대여 촬영 선택버튼(미도시)을 선택하고, 그러면, HMD(110)의 화면에는 의복대여 촬영대금 결제화면이 디스플레이 되며, 금융결제원 서버와 연동되어 사용자가 의복대여 촬영 대금을 결제하면, HMD(110)의 화면에 다수의 의복명이 디스플레이되고, 그 중의 하나의 의복을 선택하도록 이루어지며, 선택된 의복을 입은 기준몸체와 기 저장된 사용자의 얼굴영상이 병합하여 대여 의복 착용 사용자 영상, 또는 소정 포즈를 가진 대여 의복 착용 사용자 영상을 생성되어, 출력되며, HMD(110)의 화면 상의 확인 버튼을 선택하면, HMD(110)의 화면은 가상 역사 체험장의 소정 영상으로 되돌아오되, 소정 영상 위에 사각형의 가상 카메라 프레임이 표시된다. 사용자는 가상 카메라 프레임 내에 촬상하고자 하는 영상을 위치시키고, 본인 넣기 버튼(미도시)를 선택하고 본인 넣기 버튼(미도시)이 선택되면 본인사진 선택 팝업창(미도시)이 디스플레이 되고, 본인영상 선택 팝업창에서 사용자 전신영상 또는 사용자 병합 영상 또는 대여 의복 착용 사용자 영상 중 하나를 선택하여 소정 위치에 드레그 드롭하면 된다. 이때, 사용자는 가상 카메라 프레임의 각도, 크기, 배율을 마우스(360) 또는 조이스틱(350)을 움직여 조정할 수 있다.
이하, 본 발명의 시대별 문화재 영상물 제작방법을 설명한다.
도 2는 본 발명의 시대별 문화재 영상물 제작방법의 개괄적인 단계를 설명하는 설명도로, 애니메이션 제작단계와 3D 실시간 VR영상 제작단계로 이루어진다.
애니메이션 제작단계는 후술되는 모델링단계, 매핑단계, 리깅단계, 애니메이션단계를 포함하여 이루어지며, 주로 3Dsmax(이는 3차원 컴퓨터 그래픽스를 위한 시판되는 디자인 소프트웨어임)에서 모델링단계, 리깅단계, 애니메이션단계 등이 행하여 지며, 포토샵에서 매핑 및 텍스쳐 제작이 행하여 진다.
3D 실시간 VR영상 제작단계는, 애니메이션 제작단계에서 영상, 즉, 3Dsmax에서 제작된 3D모델링의 데이터를 fbx로 엑스포트(export)하여 변환(conversion)하고, 유니티(Unity)를 이용하여 3D 게임 엔진을 제작하고, 이에 따라 3D 실시간 VR영상을 출력한다.
우선, 애니메이션 제작단계를 설명한다.
본 발명에서는 역사적 기록을 통해 각 문화재의 복원시점들을 설정하고, 이 설정된 복원시점에 따라, 3D가상현실 기술을 활용하여, 시대별 문화재의 VR 영상(콘텐츠)을 생성한다. 즉, 현존하는 고증을 통해 3D 모델링 행하고, 이로부터 3D실시간 콘텐츠를 생성하고, 3D실시간 콘텐츠를 이용하여 가상체험 시스템을 구축한다. 이는 실제로 물리적(건축적)복원에 소요되는 물적, 경제적 한계에 대한 최적화된 효율적인 대안으로서 뿐만 아니라, 실제 복원을 위한 일차적 데이터베이스(Database) 구축으로서도 의미가 있다.
예를들어, 창덕궁은 1830년경에 건물배치와 건물형태를 그림으로 제작하여 전해진 동궐도(국보 제249호)를 복원 시점으로 제작할 수 있다.
우선, 문화재 위치에 대한 위성사진으로부터, 문화재의 전체적인 지형의 형태 및 크기, 경사도 등을 검출하고, 이를 이용하여 문화재의 전체적인 지형을 제작한다. 이는 기존에 시판되는 응용프로그램을 이용할 수 있다.
예를들어, 도 3에서와 같이, 창덕궁의 위성사진으로부터 창덕궁의 지형을 제작할 수 있다. 도 3의 (a)는 창덕궁 부근의 위성사진이고, 도 3의 (b)는 도 3의 (a)의 위성사진에서 창덕궁 부분을 확대한 확대도이고, 이를 통해 창덕궁의 지형의 형태 및 크기, 경사도 등을 검출한다. 도 3의 (c)에서와 같이, 건물 등을 가상화면에서 생성하는 소정 응용프로그램에서 창덕궁의 지형의 형태 및 크기, 경사도 등을 입력하고, 도 3의 (d)에서와 같이 창덕궁의 지형을 설정하고, 도 3의 (e)에서와 같이 설정된 지형에서, 창덕궁의 위성사진을 중첩시켜 설정된 지형을 제작한다.
다음은 수집한 고증자료를 통해, 문화재 내의 소정 건물(전각)의 터레인(terrain, 지형)을 제작하고, 건물(전각) 위치를 설정하고, 터레인 위에 텍스쳐(texture, 질감)를 적용한다.
예를들어, 도 4에서와 같이, 터레인을 제작하고, 제작된 터레인에 텍스쳐를 적용할 수 있다. 도 4의 (a) 및 (b)에서와 같이 터레인을 제작하고, 도 4의 (c), (d) 및 (e)에서와 같이 터레인에 텍스쳐를 적용시킨다.
다음은 고증된 자료를 바탕으로 터레인에 올라갈 건물(전각)을 제작하고, 제작된 건물(전각)을 터레인에 올려 완성한다.
예를들어, 도 5의 (a) 내지 (d)에서와 같이, 3D데이터로 전각(예를들어, 인정전)을 복원하고, 도 5의 (e) 내지 (i)에서와 같이, 복원된 전각(인정전)을 터레인에 올려놓을 수 있다.
다음은 고증자료를 기반으로 건물(전각) 내의 실내 및 실내에 배치된 소품을 3D 가상복원을 행한다. 즉, 건물(전각) 내의 실내 및 실내에 배치된 소품을 3D 기반 모델링을 행하여, 맵핑소스를 제작한다.
예를들어, 도 6의 (a) 내지 (e)에서와 같은 실내 매핑소스를 만들고, 이 만들어진 실내 매핑소스를 3D기반 모델에 적용하여, 즉, 도 6의 (f) 내지 (i)에서와 같이 적용할 수 있다.
다음은 고증자료를 기반으로 그 시대의 그 문화재 내의 다양한 남녀 캐릭터를 제작하여, 소정 시나리오에 따른 상기 남녀 캐릭터들의 애니메이션이 들어 있는 영상을 제작한다.
이는, 도 7a에서와 같이, 고증자료를 기반으로 남녀 캐릭터를 모델링을 행하고, 모델링된 남녀 캐릭터의 피부를 입히는 매핑을 행하고, 이렇게 매핑이 행하여진 남녀 캐릭터에 관절(joint)을 만들어 주어 움직임을 주는 리깅을 행하고, 이와 같이 하여 캐릭터 세팅이 완료되면, 기 설정한 소정 시나리오에 따라 남녀 캐릭터에 표정과 움직임을 적용하여 애니메이션을 만들고, 이렇게 만들어진 애니메이션, 그리고 건물(전각), 그 건물의 실내, 소품들을 취합하고 배치하여, 소정 영상을 완성한다.
도 7b은 다양한 남녀 캐릭터의 일예로, 각 시대의 각 문화재의 각 건물(전각)에는 다양한 인물, 즉, 다양한 복장을 한 남녀 캐릭터가 존재할 수 있다.
각 시대의 각 문화재의 각 건물(전각)은 3D VR 콘텐츠로 만들었을 때 전달하고자 하는 스토리텔링이 있고 이에 따라 시나리오가 만들어지고, 시나리오에 따라 남녀 캐릭터도 달라질 수 있다.
예를들어, 창덕궁의 정전, 편전, 침전, 후원의 3D VR 콘텐츠 스토리텔링은 표 1과 같을 수 있다.
권역 내용
1.돈화문 창덕궁의 정문으로 1412년, 태종12년에 처음 건립되었다. 2층 누각형 목조건물로 궁궐 대문 가운데 가장 큰 규모이며, 앞에 넓은 월대를 두어 궁궐 정문의 위엄을 갖추었다.
2.금천교 현재 궁궐에 남아 있는 가장 오래된 돌다리로서 2012년 보물 제 1762호로 지정되었다. 이 물은 궁궐의 안과 밖을 구별 해주는 경계 역할을 하므로 금천(禁川)이라고 한다. 1411년 금천에 다리를 놓았는데, 비단처럼 아름다운 물이 흐르는 개울에 놓인 다리라 하여 금천교(錦川橋)라 불렀다.
3.인정전 창덕궁의 정전(正殿)으로 1405년, 태종5년에 창덕궁 창건과 함께 건립된 것으로 왕의 즉위식, 신하들의 하례, 외국 사신의 접견 등 중요한 국가적 의식을 치르던 곳이다.
4.선정전 왕이 고위직 신하들과 함께 일상 업무를 보던 공식 집무실인 편전(便殿)으로, 아침의 조정회의, 업무보고, 국정 세미나인 경연 등 각종 회의가 이곳에서 매일 열렸다. 창건 당시에는 조계청이라 불렀는데, 1461년 세조 7년에 정치는 베풀어야 한다는 뜻의 선정전으로 이름을 바꾸었다. 현재 궁궐에 남아 있는 유일한 청기와 건물이다. 현재 보물 제 814호로 지정되어 있다.
5.희정당 희정당은 왕이 가장 많이 머물렀던 실질적인 중심 건물이라고 할 수 있다. 지금의 희정당은 1917년 화재로 소실된 것을 1920년에 복구하면서 경복궁에 있던 강녕전을 옮겨 지은 것이다. 보물 제 815호로 지정되어 있다.
6.대조전 대조전은 창덕궁의 정식 침전(寢殿)으로 왕비의 생활공간이다. 대조전 주변에 수많은 부속건물들이 있는데, 그 가운데 흥복헌은 1910년 마지막 어전회의를 열어 경술국치가 결정되었던 비극의 현장이다.
7.궐내
각사		 왕을 가까이에서 보좌하기 위해 특별히 궁궐 안에 세운 관청들을 궐내각사라고 불렀다. 인정전 서쪽지역에는 가운데로 흐르는 금천을 경계로 동편에 약방, 옥당(홍문관), 예문관이, 사편에 내각(규장각), 봉모당, 대유재, 소유재 등이 자리하고 있었다. 이들은 모두 왕을 가까이에서 보좌하는 근위 관청이며, 여러 부서가 밀집되어 미로와 같이 복잡하게 구성되어 있었지만, 일제강점기 때 모든 전각들이 헐리고 도로와 잔디밭으로 변해 버렸다. 지금 있는 건물들은 2004년에 걸쳐 복원되었다.
8.부용지 후원의 첫 번째 중심 정원으로, 휴식뿐이 아니라 학문과 교육을 하던 비교적 공개된 장소였다. 주합루 일원의 규장각과 서향각 등은 왕실 도서관 용도로 쓰였고, 영화당에서는 왕이 입회하는 특별한 과거 시험을 치르기도 했다. 연꽃이 활짝 핀 모양의 부용정은 연못에 피어 있는 한 송이 꽃의 형상으로 2012년 보물 1763호로 지정되었고 주합루도 2012년 보물 제 1769호로 지정되었다.
9.낙선재 조선 24대 임금인 헌종은 김재청의 딸을 경빈으로 맞이하여 1847년에 낙선재를, 이듬해에 석복헌 등을 두어 수강재와 나란히 두었다. 낙선재는 헌종의 서재 겸 사랑채였고, 석복헌은 경빈의 처소였으며, 수강재는 당시 대왕 대비인 순원 왕후를 위한 집이었다. 이 영역은 2012년 보물 제1764호로 지정되었다.
상기 애니메이션에서, 침전 등에서의 임금이 수라를 드는 장면 등과 같이, 왕과 왕비 등의 궁중인이 문화재 내에서 생활하는 영상을 3D VR 영상으로 만들 수 있으며, 사용자가 가상 영상 내에 소정 물체를 선택하면, 소정 물체에 대한 설명을 음향 또는 글자로 함께 제공한다.
예를 들어, 도 8에서와 같이 희정당에서 임금의 아침 수라의 3D VR 영상을 만들 수 있으며, 도 8의 (a)에서와 같이 임금의 수라상만 나타낼 수도 있고, 도 8의 (b) 내지 (d)에서와 같이 임금이 수라를 들고 있는 장면 나타낼 수도 있다. 도 8의 (b) 내지 (d)에서와 같이, 각 음식을 임금이 시식하기 전에 상궁에 의해 임금의 음식을 확인하고, 그 후 임금이 시식하는 영상을 제작할 수 있다.
또한, 수라상을 선택(클릭)하게 되면, 그 수라상이, 수라상 중, 대원반, 소원반, 책상반 중 어느 것이며, 그 것에 대한 설명을 제공한다.
예를들어 도 8의 (e)에서와 같이, 선택된 수라상은 대원반이고, 대원반은 중앙에 놓이며 왕과 왕비가 받는 외상이라는 설명이 디스플레이된다. 또는, 도 8의 (f)에서와 같이, 선택된 수라상은 소원반이고, 소원반은 제조상궁(기미상궁)의 앞에 놓여지며, 이 상위에 있는 음식의 맛을 먼저 보기 위한 상이라는 설명이 디스플레이된다.
본 발명에서, 실내 맵핑소스, 소품 맵핑소스, 남녀 캐릭터 등은, 오토데스크 3ds 맥스(Autodesk 3ds Max) 등을 이용하여 3차원(3Dimension)화 시킨 맥스 포멧(Max Format)으로 만들 수 있으며, 이러한 3차원(3Dimension)화 시킨 맥스 포멧(Max Format)의 결과물을 음향, 조경 및 환경, 시스템 구축의 유용성, 사용자 인터페이스 등을 고려하여 유니티(Unity) 3D 플랫폼으로 가상체험시스템을 구축할 수 있다. 즉, 본 발명의 가상 역사 체험 시스템은 유니티(Unity)를 이용하여 생성된 3D 게임 엔진을 구비한다. 여기서, 3ds 맥스(즉, 3Dsmax)가 구동되는 시스템(컴퓨터)을 3ds 맥스 시스템이라 할 수 있다.
여기서, 유니티(Unity)는 3D 비디오 게임이나 건축 시각화, 실시간 3D 애니메이션 같은 인터랙티브 콘텐츠를 제작하기 위한 통합 저작 도구이다. 여기서 유니티를 적용한 시스템(컴퓨터)를 유니티 시스템이라 한다.
또한, 오토데스크 3ds 맥스(Autodesk 3ds Max, 또는 3D 스튜디오 맥스 (3D Studio Max))는 오토데스크 미디어 및 엔터테인먼트에서 개발된 3차원 컴퓨터 그래픽스를 위한 디자인 소프트웨어로, 주로 엔터테인먼트 분야에서 사용된다. 3ds 맥스는 모델링, 애니메이션, 렌더링 등등 많은 기능을 지원하고 있어 3d애니메이션이나 VFX, 게임 등에 활용하기 유용하다.
다음은 3D 실시간 VR영상 제작단계, 즉, 가상체험시스템에 적용되는 3D 실시간 VR 영상 콘텐츠 제작에 대해 설명한다.
이를 위해, 리얼 타임 렌더링(Real time render)을 행한다. 이는 3d max를 사용하여 3D모델링을 제작하고, 이렇게 제작된 3D모델링의 데이터를 fbx로 엑스포트(export)하여 유니티(unity) 3D엔진에서 가상현실(Virtual Reality, VR) 환경으로 제작한다. 여기서, FBX (Filmbox)는 디지털 콘텐츠 제작 애플리케이션 간의 상호 운용성을 제공하는 데 사용되는 고유의 파일 포맷(.fbx)으로, 오토데스크 3ds 맥스 등에서 사용된다.
이는 개발된 3D데이터를 가상현실에서 가장 중요한 기술인 제한된 컴퓨터 자원으로 그래픽을 실시간으로 출력하는 과정을 말하는 것으로, 일반적인 영상(영화, 애니메이션, TV)는 2d 이미지로 출력되므로 완성된 이미지의 형태로서 조작이 불가능 하지만, 실시간 랜더는 3D 데이터로 실시간으로 컴퓨터에 기록되어 연산되므로 사용자 편의대로 조작이 가능하다.
가상현실은 기본적으로 사용자와의 상호작용을 기본 요소로 하며, 카메라 등을 이용한 비 렌더링 영상기술이나 오랜 연산시간을 필요로 하는 프리렌더링 기술에서는 고려할 수 없다. 따라서 가상현실의 3D 공간 구현은 전적으로 리얼 타임 렌더링 기술에 의존하므로, 유니티 3D 리얼타임 랜더링 방식을 적용함으로 체감형 콘텐츠를 생성하는 것이 가능하다.
유니티 3D 플랫폼을 이용하여 생성된 다양한 결과물(컨텐츠), 즉 시대별 문화재의 VR 영상들은 원소스 멀티유즈(One Source Multi-Use) 원천 소스 로 활용 될 수 있다.
다음은 가상지형의 제작에 대해 설명한다. 이를 위해, 우선, fbx로 변환된 데이터 불러들이고(import fbx file), 외각 가상지형을 제작하는 데, 이는 유니티 3D 터레인으로 제작하되 2D 타일소스를 활용하여 데이터를 최적화한다. 그 다음에, 자연물(나무) 오브젝트를 제작 및 배치하며, 또한 배치된 전각 및 소픔 그룹화(prefab) 한다. 그리고, 배치된 오브젝트 데이터의 배경 전체 라이트 및 머터리얼 쉐이더(Material Shader)의 톤(tone)과 발란스(balance)를 설정하여 완료한다. 여기서, 유니티 프로세스 파이프라인(Unity process pipeline)을 이용하여 제작한다. 또한, 3D 가상지형 제작 기법 중 하나인 지형제작포맷인 하이트맵(height map)을 이용하며, 매쉬 버텍스(Mesh Vertex)의 위치 정보값을 3D maxZ축, Unity3D:y축으로 변형 굴곡을 제작하여 가상지형을 제작한다.
도 9는 터레인 제작, 전각 배치, 3D 실시간 콘덴츠 제작의 일예를 나타낸다.
도 9의 (a)는 유니티 3D 터레인을 이용하여 터레인을 제작하는 것을 나타내며, 도 9의 (b)는 터레인 위에 전각을 배치하는 것을 나타내며, 도 9의 (c)는 전각이 배치된 영상을 이용하여 3D 실시간 콘덴츠를 제작하는 것을 나타낸다.
도 10에서와 같이, 문화재(예로 창덕궁)의 3D max 모델링을 (Real time contents ) FPS 파일로 컨버전 하여 실시간 3D콘텐츠로 변환한다. 도 10의 (a)는 원천소스의 제작의 일예를 나타내며, 도 10의 (b)는 FBX 파일로 컨버전하는 일예를 나타내며, 도 10의 (c)는 불러온 데이터의 배치를 나타내며, 도 10의 (d)는 애니메이션 및 효과 연출의 예들을 나타낸다.
본 발명에서 데이터 변환 및 저장에 있어서, 실시간 컨텐츠(범용엔진_유니티3D)의 활용을 위한 데이터화 하며, 3D 모델링, 맵핑 된 데이터를 유니티 활용데이터 포멧으로 변환한다.
본 발명의 3D 실시간 콘텐츠는 One Source Multi-Use 원천소스로 활용할 수 있다. 즉, 본 발명에서 PC, Android, iPhone, Web, Xbox, Ps3, Wii 이 모든 플랫폼을 하나의 엔진에서 빌드가 가능하다.
신(Scene, 장면)은 건물(전각)의 실내를 제작하고, 제작된 실내에 오브젝트 및 캐릭터를 배치하고, 캐릭터 애니메이션 및 장면 테스트하고, 3D max로 만들어진 파일을 유니티(Unity) 파일로 컨버젼한다.
도 11 내지 도 13은 시대별 문화재 영상물의 제작을 나타낸다. 도 11 내지 도 13의 (a)는 전각의 실내를 제작한 예이고, 도 11 내지 도 13의 (b)는 제작된 실내에 오브젝트 및 캐릭터를 배치한 예이고, 도 11 내지 도 13의 (c)는 캐릭터 애니메이션 및 장면 테스트의 예이고, 도 11 내지 도 13의 (d)는 3D max로 만들어진 파일을 유니티(Unity) 파일로 컨버젼한 예이다.
유니티(unity)에서 환경을 조성하고 연출하는 데, 즉, 음향, 조경 및 환경을 고려하여 영상을 변환한다. 도 11의 (d)는 도 11의 (c)의 영상이 호롱불에 의지하는 침전의 밤을 나타내도록 변환되었으며, 도 12의 (d)는 도 12의 (c)의 영상에서 대비에게 문안드리는 왕의 위치가 이동되었으며, 도 13의 (d)는 도 13의 (c)의 영상에서 왕의 앞에 있던 신하의 위치가 이동되었다.
도 12 내지 도 13의 (e)는 유니티에서 환경을 조성하고 연출한 예들을 나타내며, 이때 영상과 함께 상황 또는 역사적 의미를 설명하는 음향 또는 문자(문구, 텍스트)가 출력되는 것을 나타낸다.
본 발명에서 3D 실시간 콘텐츠를 가상현실로 보여주는 프로그래밍으로 애플리케이션에 필요한 효과와 이벤트, 시스템부분을 제작하는데, 작업을 하기 편하도록 프리팹(Prefabs)과 스크립트(Scripts)를 이용해서 새로운 작업 없이 지속해서 사용할 수 있도록 제작할 수 있다.
여기서, 프리팹은 어셋(Aseet)의 종류의 하나로, 재이용 가능한 게임 오브젝트로 프로젝트뷰에 보존되며, 프리팹는 복수의 씬에도, 또는, 1개의 씬에서 복수개 추가도 할 수 있으며, 프리팹를 씬에 추가할 때는 인스턴스(instance)가 생성된다. 또한, 씬으로 작성한 게임 오브젝트를 프리팹에 저장할 수 있다.
프리팹(Prefabs)는 카메라의 이동 효과, GUI, 씬 전환을 가져올 수 있으며, 프리팹 형태로 만들어 별다른 작업이나 튜토리얼 없이도 사용하기 쉽다.
카메라 워크에 대해서는, 유저의 눈에 해당하게 되는 자연스러운 카메라 워킹을 편리하게 사용하기 위해서 상용 아이트윈(Itween)을 활용해서 프로그램에 적용할 수 있다.
도 14의 (a)는 카메라의 움직임을 설명하기 위한 도면(스크린샷)이고, 도 14의 (b)는 카메라가 움직이는 경로를 설정하는 스크립트 설정 화면을 나타내며, 도 14의 (c)는 카메라의 움직이는 씬을 프로그래밍한 일예이다.
도 14의 (a)에서 카메라는 스크린샷에 보이는 파란색의 경로를 따라 움직이고, 작업을 편리하게 하기 위해 도 14의 (b)와 같이 새로 스크립트를 만들었다. 도 14의 (b)에서 I Tween Path 스크립트는 경로를 쉽게 구현할 수 있도록 도움을 주는 스크립트이고, Move 스크립트는 I Tween(iTween) 을 직접적으로 사용하게 되는 부분의 스크립트로, 이 스크립트항목 중에서, Target은 카메라가 바라보는 오브젝트이고, Path Name은 Itween Path의 이름이고, Time은 Path 노드의 제일 처음부터 끝까지 가는데 걸리는 시간(초)을 나타내며, LookTime은 카메라가 이동하면서 바라볼 오브젝트를 향해 회전하는 주기(초)를 나타낸다.
도 14의 (c)에서, 카메라를 움직이는 함수 Itween의 MoveTo 함수를 이용하며, 씬이 시작되는 순간에 불러 지는 함수이다. 여기서, 카메라가 주시하는 대상은 Target 이고, 이동하는 방법은 Path이며, 이동을 하는데 총 걸리는 시간은 Time이고, 선형이동 타입이다. LookTimer는 카메라가 이동하면서 몇초에 한번씩 대상을 바라보는지를 나타내는 파라미터이다.
GUI, 즉, 자막에 있어서, 화면에 보이는 기설정된 위치(예를들어 도 15의 육면체 위치)로 카메라가 도착하는 순간에 GUI 이벤트가 발생해서 설명문서가 뜨는 형식으로 만들 수 있다.
도 15의 (a)에서와 같이, 카메라가 해당 위치(점선의 육면체의 중앙)에 도달하는 순간에 족자 배경과 함께 설명이 나오는 형식으로 이루어질 수 있으며, 설명의 일예로 "왕의 기상"이라는 자막을 제공할 수 있다.
도 15의 (b)에서와 같이, 카메라가 충돌체 트리거(예를들어 도 15의 육면체 위치)에 들어오는 순간에 GUI의 active 상태를 true로 바꿔주어서 화면에 띄우도록 하는 방식으로 제작된다.
씬(Scene) 전환에 있어서, 카메라가 기설정된 위치(예를들어 도 16의 (a)의 점선으로 이루어진 직육면체 위치)에 도달할 경우, 딜레이(delay) 시간 동안 페이드인(fade in)을 한 뒤에, 다음 씬으로 넘어가도록 할 수 있다. 경우에 따라서, 그냥 페이드인 효과만 주지 않고, 조회씬 과같이 로딩시간이 긴 씬을 불러올 경우에 대기시간 동안 보여줄 로딩화면 등을 줄 수 있다. 페이드인 효과는 카메라 화면에 투명한 GUI 창을 띄운 뒤에 정해준 색상과 딜레이에 맞춰서 알파값이 증가하면서 점점 색이 변하는 효과를 주는 식으로 만들 수 있다. 경우에 따라서는 페이드 아웃(fade out)을 사용할 수 있다.
예를들어, 도 16의 (a)에서와 같이 카메라가 해당 위치(점선으로 이루어진 직육면체 위치)에 도달할 경우, 도 16의 (c)에서와 같이 어두운 화면로부터, 도 16의 (b)에서와 같이 기설정된 딜레이(delay) 시간 동안 페이드인(도 16의 (b)에서는 점차 밝아지게 함)을 행하고, 다음 씬으로 넘어간다.
도 16의 (d)은 다음 씬이 시작할 것인지를 판단하기 위한 프로그램의 일예이다. 즉, 씬이 시작할 때 임시로 사용할 변수 frametime 과 다음 씬으로 넘어갈 판단을 해주는 boolen 값 하나를 선언한다.
다시말해, 카메라가 충돌체 트리거(도 16의 (a)의 점선으로 이루어진 직육면체 위치)에 들어오는 순간 Fade 객체를 만들어서 화면 Fade 효과를 시작해주도록 한다. 화면은 Color(색), delay 시간 동안 페이드인 된다. 또는 불리언값을 true 로 만들어서 frametime이 딜레이보다 값이 커질 때까지 프레임 시간을 더해주다가 딜레이보다 프레임타임이 커질 때 다음 씬을 로드하게 할 수 있다.
도 16의 (e)는 트리거에 카메라가 도착했을 때 카메라 변경코드를 나타낸다. 즉, 트리거에 카메라가 도착했을 때, 현재 카메라의 액티브 상태를 false 로 바꿔주고 다음 카메라의 엑티브 상태를 true로 바꿔줘서 다음 카메라로 화면이 전환되도록 바꾸어 준다. 카메라 전환이나, Scene전환 시 갑작스러운 변화가 일어날 경우 어색한 장면이 연출될 수가 있기 때문에 Fade in 또는 Fade Out 시스템을 추가한다.
본 발명의 Fade in 클래스에 대해서는, 화면에 투명한 GUI 창을 하나 띄운뒤에 딜레이 시간을 주어서 딜레이 시간이 될때까지 투명한 GUI를 설정해준 색깔로 덮어 써주는데 알파값을 서서히 늘려주어서 화면을 어두워지게 만드는 클래스이다
본 발명에서 HMD(110)로서 시판되는 HMD 장비를 사용할 수 있다. 예를들어 마이버드(mybud)를 사용할 수 있으며, 마이버드는 해상도가 1280 x 720으로, 이를 사용할 경우, 높은 퀄리티의 경우 어지러움이 유발되어 적정 Frames Per Second(초당 프레임 수 : 이하 FPS)를 맞추기 위해 그래픽 퀄리티를 조정하며 제작을 한다.
HMD(110)에서 그래픽 갱신속도와 잔상으로 발생하는 반응지연(latency) 문제를 해결하기 위해 높은 프레임레이트(framerate)를 유지하여야 한다. 본 발명에서는 프레임 레이트가 기준(60fps)이하로 떨어지지 않게 그래픽을 단순하게 만들고, 사용자들이 주변을 재빨리 살펴볼 필요가 없도록 설정하였다.
HMD(100)와 연동하여 영상을 제공하는 방법(즉, HMD 연동 프로그래밍)에 있어서, 양안의 시차를 이용한 방법을 적용한다. 즉, 인간이 입체감을 느끼게 되는 이유는 두개의 눈이 약간의 간격을 가지고 떨어져서 생기는 시차에 의해 뇌가 최종적으로 판단을 할 때 입체감을 느끼게 되는 것으로, 본 발명은 이와 같은 양안의 시차를 이용한 방법을 사용한다.
도 17에서와 같이, 이는 카메라 두 대를 설치하되, 성인 평균 시차인 65mm 만큼 띄워놓고 촬영하는 방식을 쓴다. 즉, 좌안 카메라와 우안 카메라의 시차를 약 6cm로 준다.카메라 워크와 같은 기본 세팅 동작은 2D카메라로 한 뒤에 마지막 작업으로 3D카메라로 교체하는 방식을 사용한다. 다시말해, 카메라 두 대를 설치하고 성인 평균 양안시차 인 6cm정도를 띄워놓고 랜더링 하는 방식을 사용하여 각각의 랜더링 된 화면을 좌우로 분할하여 출력해주어 HMD 사용시 3D입체영상 가상현실을 체험할 수 있다
도 18의 (a)는 하나의 카메라로 찍은 범위를 설명하고 있으며, 도 18의 (b)는 2D 카메라로 찍은 결과의 예를 나타낸다. 또한, 도 19의 (a)는 2대의 카메라로 찍은 범위(3D 카메라)를 설명하고 있으며, 도 18의 (b)는 2D 카메라로 찍은 결과의 예를 나타낸다.
본 발명의 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법은 가상현실 기반 체험형 콘텐츠에 관한 것으로, 흥미, 만족도, 몰입도 상승효과가 있음고 실재감과 몰입감을 촉진함으로써 체험 효과를 향상할 수 있다. 특히, HMD기기에서 발생하는 인지부조화로 인한 시뮬레이션 멀미현상을 개선시키기 위해서, 아웃포커스 및 모션 블러효과를 개선하고, 여러 가지 카메라 테스트를 통하여 안정적인 화면구성을 위한 포맷을 적용 좌안 카메라와 우안 카메라의 시차를 이용한 프로그래밍이 적용되어 3D 입체로 출력한다
즉, 아웃포커스(Out Focus) 효과는 콘텐츠 제작 시 심도(Depthof Field)의 차이를 두면 피사체가 더 두드러지고 입체적으로 보이는 효과가 있으나, HMD환경에서는 이런 효과를 사용할 경우 인지부조화가 더 심하게 발생하여 시뮬레이션 멀미를 유발하게 된다. 또한, 모션 블러(잔상) 효과는 HMD장비의 반응 지연 때문에, 헤드 트랙킹(head-tracking) 효과와 중복되어 오히려 시뮬레이션 멀미를 유도하게 된다.
도 20은 본 발명의 일실시예에 의한 창덕궁 VR콘텐츠 스토리보드의 예이고, 도 21 및 도 22는 본 발명의 일실시예에 의한 창덕궁에서의 왕의 일상생활을 나타내는 영상들의 예이고, 도 23은 본 발명의 일실시예에 의한 창덕궁에서의 왕의 일상생활을 나타내는 영상을 HMD에 출력되는 영상과 사용자 단말기에 출력되는 영상의 예들을 나타낸다.
도 24는 본 발명의 가상 역사 체험 시스템에서 카메라 촬영모드시의 가상 역사 체험 시스템의 구동방법을 개략적으로 설명하기위한 흐름도이다.
회원가입단계로, 사용자 단말기(300)를 통해 사용자가 인증을 통해 회원 가입하면(S110), 사용자가 사용자 단말기(300)에 입력한 사용자의 얼굴영상 또는 사용자의 전신영상, 사용자의 키, 사용자 개인정보(이름, 식별번호등) 등의 사용자 정보가 메인서버(400)에 전송되어 저장된다(S115, S120). 물론 사용자 단말기(300)에는 메인서버(400)로부터 수신한 소정 응용프로그램이 설치되어 있다.
가상 역사 체험장 입장료 결제단계로, 회원가입단계에서 회원 가입된 사용자가 소정 가상 역사 체험장을 방문하고자 할 경우에, HMD부의 HMD(110)의 화면 상에서 역사 체험장 방문 버튼(미도시) 선택하면 HMD부의 HMD 제어기(200)로부터 역사 체험장 방문신호가 사용자 단말기(300)로 전송되고, 사용자 단말기(300)는 HMD부의 HMD 제어기(200)로 다수의 가상 역사 체험장 리스트를 전송하여, HMD(110)의 화면 상에 다수의 가상 역사 체험장(경복궁 등등)이 디스플레이되게 하고, 이 중에 소정 가상 역사 체험장을 사용자가 선택하면, HMD 제어기(200)로부터 가상 역사 체험장 설정신호가 사용자 단말기(300)로 전송되고(S125), 사용자 단말기(300)는 입장료 결제관련 영상을 HMD 제어기(200)로 전송하여, HMD(110)의 화면은 입장료 결제화면이 디스플레이되게 하고, 사용자 단말기(300)는 금융결제원 서버(미도시) 및 메인서버(400)와 연동되어 입장료를 결제하게 하고, 결제결과 및 소정 가상 역사 체험장 입장신호를 메인서버(400)로 전송하고, 결제결과는 메인서버(400)의 DB에 사용자별로 저장된다(S130).
가상 역사 체험장 영상 출력단계로, 메인서버(400)는 메인서버 DB(데이터베이스)로부터 가상 역사 체험장 설정신호 또는 소정 가상 역사 체험장 입장신호에 따른 소정 가상 역사 체험장의 영상을 읽어들여 사용자 단말기(300)로 전송하고(S135), 이를 사용자 단말기(300)는 HMD 제어기(200)로 전송하여(S137), HMD 제어기(200)는 이를 HMD(110)의 화면에 출력하게 한다(S140).
이때, HMD(110)에 장착된 머리(얼굴)의 움직임 검출센서 또는 안구의 움직임 검출센서에 의해 검출된 머리(얼굴)의 움직임신호(즉, 해드 트랙킹 정보) 또는 안구의 움직임 신호는 사용자 단말기(300)로 전송되고, 사용자 단말기(300)는 수신된 머리(얼굴)의 움직임신호(즉, 해드 트랙킹 정보) 또는 안구의 움직임 신호에 의해 사용자의 시선을 결정하고 결정된 사용자의 시선에 따른 소정 가상 역사 체험장의영상을 생성하여 HMD 제어기(200)로 전송하여 HMD(110)에 디스플레이되게 하여, 마치 사용자가 소정 가상 역사 체험장을 거닐면서 바라보는 영상으로 디스플레이되게 한다.
카메라 촬영대금 결제단계로, 사용자가 HMD(110)의 화면 상의 일측에 있는 카메라 촬영 선택버튼(미도시), 의복대여 선택버튼(미도시), 의복대여 촬영 선택버튼(미도시)중에 카메라 촬영 선택버튼(미도시)을 선택하면 HMD 제어기(200)로부터 카메라 촬영 선택신호가 사용자 단말기(300)로 전송되고(S145), 사용자 단말기(300)는 카메라 촬영대금 결제관련 영상을 HMD 제어기(200)로 전송하여, HMD(110)의 화면은 카메라 촬영대금 결제화면이 디스플레이되게 하고, 사용자 단말기(300)는 금융결제원 서버(미도시) 및 메인서버(400)와 연동되어 카메라 촬영대금 결제하게 하고, 결제결과를 메인서버(400)로 전송하고, 결제결과는 메인서버(400)의 DB에 저장된다(S150).
가상 카메라 촬상단계로, 카메라 촬영대금 결제단계에서 결제가 완료되면, HMD(110)의 화면은 가상 역사 체험장의 소정 영상으로 되돌아오되, 소정 영상 위에 사각형의 가상 카메라 프레임이 표시되며, 사용자는 가상 카메라 프레임 내에 촬상하고자 하는 영상을 위치시키고(S155), 촬상버튼(미도시)를 선택하면, HMD 제어기(200)는 가상 카메라 촬상신호를 사용자 단말기(300)로 전송하며, 가상 카메라 프레임 내의 영상은 가상 카메라 촬상 영상으로서 사용자 단말기(300)로 전송되고(S160), 사용자 단말기(300)는 이 가상 카메라 촬상 영상을 사용자 단말기(300)내에 저장하고(S165), 이 가상 카메라 촬상 영상을 촬상완료 신호와 함께 메인서버(400)로 전송하며(S170), 메인서버(400)는 사용자별로 이 가상 카메라 촬상 영상을 메인서버(400)의 DB에 저장한다(S175). 이때, 사용자는 가상 카메라 프레임의 각도, 크기, 배율을 마우스(360) 또는 조이스틱(350)을 움직여 조정할 수 있다.
만약, 가상 카메라 촬상단계에서, 촬상버튼(미도시)를 선택하기 전에, 사용자가 HMD(110)의 화면상에서 본인 넣기 버튼(미도시)을 선택하면 본인 넣기신호가 HMD 제어기(200)로부터 사용자 단말기(300)로 전송되며, 사용자 단말기(300)는 사용자 단말기(300)에 기 저장되어 있거나, 메인서버(400)로부터 수신된, 사용자 전신영상 또는 기저장된 사용자 얼굴영상과 기준 몸체와 병합(정합)된 사용자 병합 영상을 포함하는 본인사진 선택 팝업창(미도시)관련 영상을 HMD 제어기(200)로 전송하여 상기 본인사진 선택 팝업창을 HMD(110) 상에 디스플레이하게 하며, 이때, 사용자는 사용자 전신영상 또는 사용자 병합 영상 중 하나를 선택하여 가상 카메라 프레임 내의 소정 위치에서 드레그 드롭하여, 소정위치에 위치하게 하고, 촬상버튼(미도시)를 선택하면, 사용자 본인의 영상, 즉, 사용자 전신영상 또는 사용자 병합 영상이 포함된 영상이 들어 있는 가상 카메라 촬상 영상을 사용자 단말기(300)내에 저장하고 이를 메인서버(400)로 전송하여, 사용자별로 메인서버(400)의 DB에 저장하게 한다.
도 25는 본 발명의 가상 역사 체험 시스템에서 의복대여 촬영모드시의 가상 역사 체험 시스템의 구동방법을 개략적으로 설명하기 위한 흐름도이다.
의복대여 촬영대금 결제단계로, 가상 역사 체험장 영상 출력단계(S140)에서, 사용자가 HMD(110)의 화면 상의 일측에 있는 의복대여 촬영 선택버튼(미도시)을 선택하면 HMD 제어기(200)는 사용자 단말기(300)로 의복대여 촬영 선택신호를 전송하고(S205), 사용자 단말기(300)는 의복대여 촬영 선택신호가 수신되면 의복대여 촬영대금 결제관련 영상을 HMD 제어기(200)로 전송하여, HMD(110)의 화면은 의복대여 촬영대금결제화면이 디스플레이되게 하고, 사용자 단말기(300)는 금융결제원 서버(미도시) 및 메인서버(400)와 연동되어 의복대여 촬영대금 결제를 하게 하고, 결제결과를 메인서버(400)로 전송하고, 결제결과는 메인서버(400)의 DB에 저장된다(S210).
대여의복 착용 사용자 병합영상 생성단계로, 의복대여 촬영대금 결제단계에서 결제가 완료되면, 사용자 단말기(300)는 다수의 의복명 또는 다수의 의복 그림으로 이루어진 의복 리스트를 HMD 제어기(200)로 전송하여 HMD(110)의 화면에 의복 리스트가 디스플레이되고, 사용자가 그 중의 하나의 의복을 선택하면, HMD 제어기(200)는 의복선택신호를 사용자 단말기(300)로 전송하고(S215), 사용자 단말기(300)는 다수의 포즈명 또는 다수의 포즈 그림으로 이루어진 포즈 리스트를 HMD 제어기(200)로 전송하여 HMD(110)의 화면에 포즈 리스트가 디스플레이되고, 사용자가 그 중의 하나의 포즈를 선택하면, HMD 제어기(200)는 포즈선택신호를 사용자 단말기(300)로 전송하고(S220), 사용자 단말기(300)는 의복선택신호 및 포즈선택신호를 메인서버(400)로 전송하고 메인서버(400)는 의복선택신호 및 포즈선택신호에 따른 사용자에 의해 선택된 의복을 입으며 소정 포즈를 가진 기준몸체를 메인서버의 DB로부터 읽어들여 사용자 단말기(300)로 전송하고, 사용자 단말기(300)는 메인서버(400)로부터 수신된, 사용자에 의해 선택된 의복을 입으며 소정 포즈를 가진 기준몸체와, 기 저장된 사용자의 얼굴영상을 병합(정합)한, 대여의복 착용 사용자 병합 영상을 생성하고(S225), 사용자 단말기(300)는 대여의복 착용 사용자 병합 영상을 HMD 제어기(200)로 전송하여(S230), HMD(110) 상에 출력하게 하며(S235), 사용자가 HMD(110) 상의 확인 버튼(미도시)을 선택하면, HMD 제어기(200)는 사용자 단말기(300)로 영상확인 신호를 전송하고(S240), 사용자 단말기(300)는 대여의복 착용 사용자 병합 영상을 사용자 단말기(300)에 저장하고(S245), 사용자 단말기(300)는 대여의복 착용 사용자 병합 영상을 메인서버(400)로 전송하여(S250), 메인서버(400)의 DB에 저장한다(S255).
가상 카메라 프레임 조정단계로, 대여의복 착용 사용자 병합영상 생성단계 후, HMD(110)의 화면은, 의복대여 촬영대금 결제단계 이전의 가상 역사 체험장의 소정 영상으로 되돌아오되, 소정 영상 위에 사각형의 가상 카메라 프레임이 표시되며, 사용자는 가상 카메라 프레임 내에 촬상하고자 하는 영상을 위치시키고, 이때, 사용자는 가상 카메라 프레임의 각도, 크기, 배율을 마우스(360) 또는 조이스틱(350)을 움직여 조정하며, 이에 따라 HMD 제어기(200)로부터 가상 카메라 프레임의 각도신호, 크기신호, 배율신호가 사용자 단말기(300)로 전송되며, 사용자 단말기(300)는 가상 카메라 프레임의 각도신호, 크기신호, 배율신호에 따라, 가상 카메라 프레임 내의 영상이 소정 각도, 소정크기, 소정배율을 갖도록 조정하여 HMD 제어기(200)로 전송하여, HMD(110) 상에 디스플레이하게 한다(S260).
가상 카메라 촬상단계로, 사용자가 HMD(110)의 화면상에서 본인 넣기 버튼(미도시)을 선택하면, 본인영상 넣기 신호가 HMD 제어기(200)로부터 사용자 단말기(300)로 전송되고, 사용자 단말기(300)는 본인사진 선택 팝업창(미도시)관련 영상을 HMD 제어기(200)로 전송하여 HMD(110) 상에 디스플레이하게 하며, 이때 본인영상 선택 팝업창에서, 사용자 전신영상 또는 사용자 병합 영상 또는 대여 의복 착용 사용자 병합영상 중에 하나를 사용자가 선택하도록 이루어지되, 만약 사용자가, 대여 의복 착용 사용자 병합영상을 선택하여 가상 카메라 프레임 내의 소정 위치에서 드레그 드롭하여, 대여 의복 착용 사용자 병합영상이 소정위치에 위치하게 하면 사용자 단말기(300)는 가상 카메라 프레임 내의 가상 역사 체험장의 소정 위치에 대여 의복 착용 사용자 병합영상이 들어 있는 영상을 생성하여 HMD 제어기(200)로 전송하여 HMD(110) 상에 디스플레이하게 하며(S265), 사용자가 촬상버튼(미도시)를 선택하면, HMD 제어기(200)는 가상 카메라 프레임 내의 가상 역사 체험장의 소정 위치에 대여 의복 착용 사용자 병합영상이 들어 있는 가상 카메라 촬상 영상을 사용자 단말기(300)로 전송하여(S270) 사용자 단말기(300)내에 저장하고(S275), 이 가상 카메라 촬상 영상을 메인서버(400)로 전송하여(S280), 사용자별로 메인서버(400)의 DB에 저장하게 한다(S285).
도 26은 본 발명의 가상 역사 체험 시스템에서 의복대여 모드시의 가상 역사 체험 시스템의 구동방법을 개략적으로 설명하기 위한 흐름도이다.
의복대여 대금 결제단계로, 사용자가 HMD(110)의 화면 상의 일측에 있는 의복대여 선택버튼(미도시)을 선택하면 HMD 제어기(200)는 사용자 단말기(300)로 의복대여 선택신호를 전송하고(S206), 사용자 단말기(300)는 의복대여 대금 결제관련 영상을 HMD 제어기(200)로 전송하여, HMD(110)의 화면은 의복대여 대금결제화면이 디스플레이되게 하고, 사용자 단말기(300)는 금융결제원 서버(미도시) 및 메인서버(400)와 연동되어 의복대여 대금 결제를 하게 하고, 결제결과를 메인서버(400)로 전송하고, 결제결과는 메인서버(400)의 DB에 저장된다(S211).
대여의복 착용 사용자 병합영상 생성단계로, 의복대여 대금 결제단계에서 결제가 완료되면, 사용자 단말기(300)는 다수의 의복명 또는 다수의 의복 그림으로 이루어진 의복 리스트를 HMD 제어기(200)로 전송하여 HMD(110)의 화면에 의복 리스트가 디스플레이되고, 사용자가 그 중의 하나의 의복을 선택하면, HMD 제어기(200)는 의복선택신호를 사용자 단말기(300)로 전송하고(S215), 사용자 단말기(300)는 다수의 포즈명 또는 다수의 포즈 그림으로 이루어진 포즈 리스트를 HMD 제어기(200)로 전송하여 HMD(110)의 화면에 포즈 리스트가 디스플레이되고, 사용자가 그 중의 하나의 포즈를 선택하면, HMD 제어기(200)는 포즈선택신호를 사용자 단말기(300)로 전송하고(S220), 사용자 단말기(300)는 의복선택신호 및 포즈선택신호를 메인서버(400)로 전송하고 메인서버(400)는 의복선택신호 및 포즈선택신호에 따른 사용자에 의해 선택된 의복을 입으며 소정 포즈를 가진 기준몸체를 메인서버의 DB로부터 읽어들여 사용자 단말기(300)로 전송하고, 사용자 단말기(300)는 메인서버(400)로부터 수신된, 사용자에 의해 선택된 의복을 입으며 소정 포즈를 가진 기준몸체와, 기 저장된 사용자의 얼굴영상을 병합(정합)한, 대여의복 착용 사용자 병합 영상을 생성하고(S225), 사용자 단말기(300)는 대여의복 착용 사용자 병합 영상을 HMD 제어기(200)로 전송하여(S230), HMD(110) 상에 출력하게 하며(S235), 사용자가 HMD(110) 상의 확인 버튼(미도시)을 선택하면, HMD 제어기(200)는 사용자 단말기(300)로 영상확인 신호를 전송하고(S240), 사용자 단말기(300)는 대여의복 착용 사용자 병합 영상을 사용자 단말기(300)에 저장하고(S245), 사용자 단말기(300)는 대여의복 착용 사용자 병합 영상을 메인서버(400)로 전송하여(S250), 메인서버(400)의 DB에 저장한다(S255).
본 발명에서, 의복대여 모드는 가상 의복을 착용한 사용자의 영상을 출력, 저장하기 위한모드이고, 의복대여 촬영모드는 가상 의복을 착용한 사용자의 영상이 가상 역사 체험장의 소정 위치에 위치되도록한 영상을 출력, 저장하기 위한 모드이다.
이상에서는, 본 발명을 특정의 바람직한 실시예에 대해서 도시하고 설명하였지만 본 발명은 서술한 실시예에만 한정되는 것은 아니며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 다양하게 변경 실시할 수 있을 것이다.
110: 두부장착 디스플레이(HMD) 200: HMD 제어기
300: 사용자 단말기 400: 메인서버
500: 관리자 단말기

Claims (18)

  1. HMD(Head Mounted Display)부로부터 역사 체험장 방문신호가 사용자 단말기로 전송되면, 사용자 단말기는, HMD부로 다수의 가상 역사 체험장 리스트를 전송하고, HMD부로부터 가상 역사 체험장 설정신호를 수신하는, 가상 역사 체험장 설정단계;
    가상 역사 체험장 설정단계에서 사용자 단말기가 가상 역사 체험장 설정신호를 수신하면, 사용자 단말기는 입장료 결제화면관련 영상을 HMD부로 전송하여 HMD부의 화면상에 디스플레이되게 하고, 사용자 단말기가 금융결제원 서버와 연동되어 입장료가 결제되면, 입장료 결제결과 및 가상 역사 체험장 입장신호를 메인서버로 전송하는, 가상 역사 체험장 입장료 결제단계;
    메인서버는, 가상 역사 체험장 설정신호에 따른 가상 역사 체험장의 영상을, 메인서버 DB(데이터베이스)로부터 읽어들여 사용자 단말기를 통해 HMD부로 전송하여 디스플레이되게 하는, 가상 역사 체험장 영상 출력단계;
    를 포함하여 이루어진 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  2. 제1항에 있어서,
    가상 역사 체험장 영상 출력단계 중에, 사용자 단말기는 HMD부로부터 카메라 촬영 선택신호가 수신되면, 카메라 촬영대금 결제화면관련 영상을 HMD부로 전송하여 HMD부의 화면상에 디스플레이되게 하고, 사용자 단말기가 금융결제원 서버와 연동되어 카메라 촬영대금이 결제되면, 카메라 촬영대금 결제결과를 메인서버로 전송하는, 카메라 촬영대금 결제단계;
    카메라 촬영대금 결제단계에서 메인서버가 카메라 촬영대금 결제결과를 수신하면, HMD부의 화면에는, 카메라 촬영대금 결제단계 전의 가상 역사 체험장의 영상이 출력되되, 상기 가상 역사 체험장의 영상 내에 사각형의 가상 카메라 프레임이 표시되는, 가상 카메라 프레임 표시단계;
    를 포함하여 이루어진 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  3. 제2항에 있어서,
    가상 카메라 프레임 표시단계에서, HMD부의 화면상에서 가상 카메라 프레임 내의 영상만이 선택적으로 각도, 크기, 배율이 조정되는 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  4. 제3항에 있어서,
    가상 카메라 프레임 표시단계 후, 사용자 단말기는 HMD부로부터 가상 카메라 촬상신호가 수신되면, HMD부의 화면의 가상 카메라 프레임 내의 영상이 가상 카메라 촬상 영상으로서 사용자 단말기로 전송되어 저장되는, 가상 카메라 촬상단계;
    를 더 포함하여 이루어진 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  5. 제4항에 있어서,
    가상 카메라 촬상단계에서, 사용자 단말기는, HMD부로부터 본인 넣기 신호가 수신되면, 기 저장되어 있는 사용자 전신영상, 또는 기저장된 사용자 얼굴영상과 기 저장된 기준 몸체 영상이 병합된 사용자 병합 영상을, HMD부로 전송하여, HMD부의 화면의 가상 카메라 프레임 내에 위치되게 하여, 가상 카메라 촬상 영상에 사용자 전신영상 또는 사용자 병합 영상이 포함되는 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  6. 제1항에 있어서,
    가상 역사 체험장 영상 출력단계 중에, 사용자 단말기는 HMD부로부터 의복대여 촬영 선택신호를 수신하면, 의복대여 촬영대금 결제화면관련 영상을 HMD부로 전송하여 HMD부의 화면상에 디스플레이되게 하고, 사용자 단말기가 금융결제원 서버와 연동되어 의복대여 촬영대금이 결제되면, 의복대여 촬영대금 결제결과를 메인서버로 전송하는, 의복대여 촬영대금 결제단계;
    사용자 단말기는 HMD부로부터 의복선택신호 및 포즈선택신호가 수신되면, 수신된 의복선택신호 및 포즈선택신호를 메인서버로 전송하고, 메인서버는, 의복선택신호에 따른 의복을 착용하며 포즈선택신호에 따른 포즈를 가진 기준몸체 영상을 메인서버의 DB로부터 읽어들여 사용자 단말기로 전송하며, 사용자 단말기는, 상기 기준몸체 영상과 기 저장된 사용자의 얼굴영상을 병합한, 대여의복 착용 사용자 병합 영상을 생성하는, 대여의복 착용 사용자 병합영상 생성단계;
    를 포함하여 이루어진 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  7. 제6항에 있어서,
    대여의복 착용 사용자 병합영상 생성단계에서 대여의복 착용 사용자 병합영상이 생성되면, HMD부의 화면에는, 의복대여 촬영대금 결제단계 전의 가상 역사 체험장의 영상이 출력되며, 상기 가상 역사 체험장의 영상 내에 사각형의 가상 카메라 프레임이 표시되되, 가상 카메라 프레임내에 대여의복 착용 사용자 병합영상 생성단계에서 생성된 대여의복 착용 사용자 병합영상이 포함되는, 가상 카메라 프레임내 영상 표시단계;
    를 포함하여 이루어진 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  8. 제7항에 있어서,
    가상 카메라 프레임내 영상 표시단계에서, HMD부의 화면상에서 가상 카메라 프레임 내의 영상만이 선택적으로 각도, 크기, 배율이 조정되는 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  9. 제3항에 있어서,
    가상 카메라 프레임내 영상 표시단계 후, 사용자 단말기는 HMD부로부터 가상 카메라 촬상신호가 수신되면, HMD부의 화면의 가상 카메라 프레임 내의 영상이 가상 카메라 촬상 영상으로서 사용자 단말기로 전송되어 저장되는, 가상 카메라 촬상단계;
    를 더 포함하여 이루어진 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  10. 제1항에 있어서,
    사용자 단말기는 HMD부로부터 의복대여 선택신호를 수신하면, 의복대여 대금 결제화면관련 영상을 HMD부로 전송하여 HMD부의 화면상에 디스플레이되게 하고, 사용자 단말기가 금융결제원 서버와 연동되어 의복대여 대금이 결제되면, 의복대여 대금 결제결과를 메인서버로 전송하는, 의복대여 대금 결제단계;
    사용자 단말기는 HMD부로부터 의복선택신호 및 포즈선택신호가 수신되면, 수신된 의복선택신호 및 포즈선택신호를 메인서버로 전송하고, 메인서버는, 의복선택신호에 따른 의복을 착용하며 포즈선택신호에 따른 포즈를 가진 기준몸체 영상을 메인서버의 DB로부터 읽어들여 사용자 단말기로 전송하며, 사용자 단말기는, 상기 기준몸체 영상과 기 저장된 사용자의 얼굴영상을 병합한, 대여의복 착용 사용자 병합 영상을 생성하여 저장하는, 대여의복 착용 사용자 병합영상 저장단계;
    를 포함하여 이루어진 것을 특징으로 하는, 가상 역사 체험 시스템의 구동방법.
  11. 가상 역사 체험장의 건축물, 소품, 인물 캐릭터를, 3Ds 맥스(3Ds Max) 시스템을 이용하여 3차원화시킨 맥스 포멧(Max Format)으로 생성하며, 3차원화 시킨 맥스 포멧으로 생성된 건축물, 소품, 인물 캐릭터를 이용하여 유니티(Unity) 시스템에서 3D VR(가상현실) 영상을 생성하는, 가상 역사 체험 시스템의 가상 역사 체험장 제작방법에 있어서,
    유니티(Unity) 시스템에서, 각 건물 내에서 기 설정된 시나리오에 따라 인물 캐릭터가 동작하는 영상을 생성하되, 상기 영상에는 인물 캐릭터의 동작에 대한 설명이 음향 또는 문구로 제공되는 것을 특징으로 하는, 가상 역사 체험 시스템의 가상 역사 체험장 제작방법.
  12. 제11항에 있어서,
    인물 캐릭터는 왕, 왕비, 상궁, 궁녀, 신하 중의 하나이며,
    상기 건축물은 정전, 편전, 침전, 후원 중의 하나이며,
    소품은 족자, 호롱불, 병풍, 밥상을 포함하여 이루어지며,
    상기 시나리오는 정전, 편전, 침전, 후원 중의 하나에서 왕 또는 왕비의 생활을 나타내도록 이루어지며,
    3D VR 영상에서 소품이 제공될 때 소품에 대한 설명이 음향 또는 문구로 제공되는 것을 특징으로 하는 가상 역사 체험 시스템의 가상 역사 체험장 제작방법.
  13. 제12항에 있어서,
    건축물의 실내에 소품 및 인물 캐릭터가 배치되고, 상기 인물 캐릭터를 애니메이션화하여 생성된 장면을 3차원화시킨 맥스 포멧 파일에서 유니티(Unity) 파일로 변환하여 씬(Scene)이 생성되는 것을 특징으로 하는 가상 역사 체험 시스템의 가상 역사 체험장 제작방법.
  14. 제13항에 있어서,
    건축물의 실내에 소품 및 인물 캐릭터의 배치는,
    3Ds 맥스 시스템에서, 문화재 내의 건물의 터레인(terrain)에, 사용자가 설정한 건물 위치를 읽어들이고, 기 설정된 텍스쳐(texture)를 터레인 위에 입히는 단계;
    3Ds 맥스 시스템에서, 고증된 자료를 기준으로 기 제작된 건물을 읽어들여, 터레인 위의 해당 건물 위치에 상기 건물을 올려놓는 단계;
    3Ds 맥스 시스템에서, 고증된 자료를 기준으로 3D 모델링을 행하여 기 제작된 실내 및 소품을 읽어들여 기설정된 위치에 배치하고, 고증된 자료를 기준으로 3D 모델링을 행하여 제작된 각 시대의 인물 캐릭터를 읽어들여 기설정된 위치에 배치하는 단계;
    를 포함하여 이루어진 것을 특징으로 하는 가상 역사 체험 시스템의 가상 역사 체험장 제작방법.
  15. 머리움직임 검출센서 또는 안구 움직임 검출센서를 구비하여 머리 움직임 신호 또는 안구 움직임 신호를 검출하며, 가상 역사 체험장의 영상을 포함하는 3차원 영상을 디스플레이하는, HMD(Head Mounted Display)부;
    HMD부로 부터 가상 역사 체험장 설정신호를 수신하고 금융결제원 서버와 연동되어 입장료가 결제되면, 입장료 결제결과 및 가상 역사 체험장 설정신호를 메인서버로 전송하며, 메인서버로부터 가상 역사 체험장의 영상을 수신하며, 머리 움직임 신호 또는 안구 움직임 신호에 따라 사용자의 시선을 결정하고, 결정된 사용자의 시선에 따른 가상 역사 체험장의 영상을 HMD부로 전송하는, 사용자 단말기;
    사용자 단말기로부터 수신된 역사 체험장 설정신호에 따른, 가상 역사 체험장의 영상을, 메인서버 DB(데이터베이스)로부터 읽어들여 사용자 단말기로 전송하는, 메인서버;
    를 포함하여 이루어진 것을 특징으로 하는, 가상 역사 체험 시스템.
  16. 제15항에 있어서,
    사용자 단말기는, HMD부로부터 카메라 촬영 선택신호가 수신되고, 금융결제원 서버와 연동되어 카메라 촬영대금이 결제되면, 카메라 촬영대금 결제결과를 메인서버로 전송하며,
    HMD부의 화면은 가상 역사 체험장의 영상이 출력되며, 상기 가상 역사 체험장의 영상 내에 사각형의 가상 카메라 프레임이 표시되되, HMD부의 화면상에서 가상 카메라 프레임 내의 영상만이 선택적으로 각도, 크기, 배율이 조정되도록 이루어진 것을 특징으로 하는, 가상 역사 체험 시스템.
  17. 제16항에 있어서,
    사용자 단말기는, HMD부로부터 본인 넣기 신호가 수신되면, 기 저장되어 있는 사용자 전신영상, 또는 기저장된 사용자 얼굴영상과 기 저장된 기준 몸체 영상이 병합된 사용자 병합 영상, 또는 대여의복을 착용한 기준몸체 영상과 사용자의 얼굴영상을 병합된 대여의복 착용 사용자 병합 영상을 생성하여, HMD부의 화면상의 가상 카메라 프레임 내에 위치되게 하는 것을 특징으로 하는, 가상 역사 체험 시스템.
  18. 제17항에 있어서,
    사용자 단말기가 금융결제원 서버와 연동되어 의복대여 촬영대금이 결제된후, HMD부로부터 수신된 의복선택신호 및 포즈선택신호를 메인서버로 전송하고, 메인서버는, 의복선택신호에 따른 의복을 착용하며 포즈선택신호에 따른 포즈를 가진 기준몸체 영상을 메인서버의 DB로부터 읽어들여 사용자 단말기로 전송하며, 사용자 단말기는, 상기 기준몸체 영상과 기 저장된 사용자의 얼굴영상을 병합한, 대여의복 착용 사용자 병합 영상을 생성하는 것을 특징으로 하는, 가상 역사 체험 시스템.
KR1020170060764A 2017-05-17 2017-05-17 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법 KR20180126145A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170060764A KR20180126145A (ko) 2017-05-17 2017-05-17 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170060764A KR20180126145A (ko) 2017-05-17 2017-05-17 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법

Publications (1)

Publication Number Publication Date
KR20180126145A true KR20180126145A (ko) 2018-11-27

Family

ID=64603352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170060764A KR20180126145A (ko) 2017-05-17 2017-05-17 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법

Country Status (1)

Country Link
KR (1) KR20180126145A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102116561B1 (ko) 2018-12-20 2020-05-28 배국승 소실 또는 망실된 유적지의 가상 체험을 위한 가상현실 콘텐츠 제작방법
CN111627117A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
KR102280720B1 (ko) * 2020-07-15 2021-07-22 공영일 지하철 역사 체험관을 활용한 개인 맞춤형 힐링 체험 서비스 방법 및 그 시스템
KR102420391B1 (ko) * 2021-05-07 2022-07-13 박재호 3차원 증강현실 기술로 복원한 역사인물의 유적지 음성 설명 스마트폰 앱 시스템
KR20230122378A (ko) * 2022-02-14 2023-08-22 (주)케이앤엘정보시스템 문화관광 체험과 온·오프라인 양방향 서비스가 가능한 메타버스 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102116561B1 (ko) 2018-12-20 2020-05-28 배국승 소실 또는 망실된 유적지의 가상 체험을 위한 가상현실 콘텐츠 제작방법
CN111627117A (zh) * 2020-06-01 2020-09-04 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN111627117B (zh) * 2020-06-01 2024-04-16 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
KR102280720B1 (ko) * 2020-07-15 2021-07-22 공영일 지하철 역사 체험관을 활용한 개인 맞춤형 힐링 체험 서비스 방법 및 그 시스템
KR102420391B1 (ko) * 2021-05-07 2022-07-13 박재호 3차원 증강현실 기술로 복원한 역사인물의 유적지 음성 설명 스마트폰 앱 시스템
KR20230122378A (ko) * 2022-02-14 2023-08-22 (주)케이앤엘정보시스템 문화관광 체험과 온·오프라인 양방향 서비스가 가능한 메타버스 시스템

Similar Documents

Publication Publication Date Title
Bolter et al. Reality media: Augmented and virtual reality
US10572000B2 (en) Mixed reality viewer system and method
KR20170058025A (ko) 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법
KR20180126145A (ko) 시대별 문화재의 영상물을 구비한 가상 역사 체험 시스템 및 시대별 문화재 영상물 제작방법
Pietroni et al. Interacting with virtual reconstructions in museums: The Etruscanning Project
CN103761085B (zh) 混合现实全息对象开发
CN101208723A (zh) 用于3维照相机和3维视频的自动场景建模
Nguyen et al. Real-time 3D human capture system for mixed-reality art and entertainment
Wallgrün et al. Low-cost VR applications to experience real word places anytime, anywhere, and with anyone
Ahmed et al. Preserving heritage sites using 3D modeling and virtual reality technology
Barszcz et al. 3D scanning digital models for virtual museums
McCaffery et al. Exploring heritage through time and space supporting community reflection on the highland clearances
Avram The visual regime of augmented reality art: space, body, technology, and the real-virtual convergence
Pietroni et al. Lucus Feroniae and Tiber Valley Virtual Museum: From documentation and 3D reconstruction, up to a novel approach in storytelling, combining virtual reality, theatrical and cinematographic rules, gesture-based interaction and augmented perception of the archaeological context
JP2023075441A (ja) 情報処理システム、情報処理方法、情報処理プログラム
Gobira et al. Expansion of uses and applications of virtual reality
Mahardika et al. Preserving History in The Metaverse: A Platform to Digitize the Campus Cultural Heritage in Indonesia
Velho et al. Vr tour: Guided participatory metanarrative for virtual reality exploration
Ivanova et al. A mixed reality approach to visualizing cultural heritage artefacts: Mixed reality approach to cultural heritage
Awadalla The application of mixed reality technology as innovative approach in museums
Zeile et al. Virtual Design and BIM in Architecture and Urban Design–Potential Benefit for Urban Emotions Initiative
Montero et al. Creating Interactive and Realistic Augmented Reality Experiences
Zeng et al. The Application of Virtual Reality Technology in Digital Space Design
Kersten et al. Step into Virtual Reality-Visiting Past Monuments in Video Sequences and as Immersive Experiences
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application