KR102009400B1 - 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 - Google Patents

실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 Download PDF

Info

Publication number
KR102009400B1
KR102009400B1 KR1020180003014A KR20180003014A KR102009400B1 KR 102009400 B1 KR102009400 B1 KR 102009400B1 KR 1020180003014 A KR1020180003014 A KR 1020180003014A KR 20180003014 A KR20180003014 A KR 20180003014A KR 102009400 B1 KR102009400 B1 KR 102009400B1
Authority
KR
South Korea
Prior art keywords
subject
data
user
metadata
image content
Prior art date
Application number
KR1020180003014A
Other languages
English (en)
Other versions
KR20190074911A (ko
Inventor
김기효
Original Assignee
김기효
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김기효 filed Critical 김기효
Publication of KR20190074911A publication Critical patent/KR20190074911A/ko
Application granted granted Critical
Publication of KR102009400B1 publication Critical patent/KR102009400B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 실감형 입체 영상 콘텐츠 제공 방법 및 서버에 관한 것으로, 촬영 대상인 동적인 피사체를 중심으로 방사형으로 설치된 다수의 카메라들로부터 촬영된 영상 데이터를 획득하는 단계; 획득된 각각의 영상 데이터 중 적어도 일부에 포함된 서로 다른 방향에서 바라본 피사체의 모습을 참조로 하여 피사체의 각각의 프레임에 따른 3D 모델링 데이터를 생성하는 단계; 각 프레임당 3D 모델링 데이터를 이용하여 시간의 흐름에 따라 3D 모델링 이미지가 피사체의 동작에 대응되도록 형성된 4D 영상 콘텐츠를 제작하는 단계; 및 사용자의 현 위치 정보 및 사용자의 시선 방향 정보를 바탕으로 현 위치 정보 및 시선 방향 정보에 대응되는 4D 영상 콘텐츠 데이터를 3D 디스플레이 장치를 통해 렌더링하여 가상 공간 시뮬레이션 데이터로 제공하는 단계를 포함한다.

Description

실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버{METHOD FOR PROVIDING REALISTIC TYPE IMAGE CONTENTS AND SERVER USING THE SAME}
본 발명은 실감형 입체 영상 콘텐츠 제공 방법 및 서버에 관한 것으로, (a) 콘텐츠 제공 서버가, 촬영 대상인 동적인 피사체를 중심으로 방사형으로 설치된 다수의 카메라들로부터 촬영된 영상 데이터를 획득하는 단계; (b) 상기 콘텐츠 제공 서버가, 상기 획득된 각각의 영상 데이터 중 적어도 일부에 포함된 서로 다른 방향에서 바라본 상기 피사체의 모습을 참조로 하여 상기 피사체의 각각의 프레임 - 상기 각각의 프레임은 서로 독립적인 시각에 대응됨 - 에 따른 3D 모델링 데이터를 생성하는 단계; (c) 상기 콘텐츠 제공 서버가, 상기 각 프레임당 3D 모델링 데이터를 이용하여 시간의 흐름에 따라 상기 3D 모델링 이미지가 상기 피사체의 동작에 대응되도록 형성된 4D 영상 콘텐츠를 제작하는 단계; 및 (d) 상기 콘텐츠 제공 서버가, 사용자의 현 위치 정보 및 상기 사용자의 시선 방향 정보를 바탕으로 상기 현 위치 정보 및 상기 시선 방향 정보에 대응되는 상기 4D 영상 콘텐츠 데이터를 3D 디스플레이 장치를 통해 렌더링하여 가상 공간 시뮬레이션 데이터로 제공하는 단계; 를 포함하는 실감형 입체 영상 콘텐츠 제공 방법 및 이를 이용한 서버에 관한 것이다.
3D 디스플레이 장치 또는 가상 현실 디스플레이 장치의 보급, 그리고 3D 애니메이션 제작의 활성화 등에 따라 3D 모델링 방법 및 3D 영상을 디스플레이하는 기술이 나날이 발전되고 있다.
3D 모델링 데이터나 이를 애니메이션화 또는 영상화하는 영상 콘텐츠는 2D 이미지나 영상에 비해 정교한 사용자에게 입체감을 제공하게 할 수 있다.
기존의 움직임 데이터를 추출하는 기술 중 대표적인 것은 모션캡처 기법이 있다.
도 1은 종래의 모션 캡처를 이용하여 영상 컨텐츠를 제작하는 과정을 간략하게 도시한다.
도 1을 참조하면, 기존의 모션 캡쳐 방식은, 신체 여러 부분에 센서를 부착한 뒤에 센서의 위치값을 통해 가상 캐릭터가 센서를 부착한 사람의 움직임과 같은 동작으로 움직이게 하는 것이다.
그러나, 도 1에 도시된 모션 캡처의 경우 관절의 움직임 데이터를 추출하기 때문에 관절 위를 덮고 있는 의상의 모습을 추출하기가 쉽지 않다는 문제점이 존재한다.
예를 들어, 한국의 전통 춤의 경우 움직임 뿐 아니라 의상 및 소품의 움직임도 함께 기록될 수 있는 방법이 필요하다. 그러나, 도 1에 도시된 모션 캡처 방식을 이용하여 한국 전통춤을 모델링하는 경우에는, 무용수의 관절의 데이터를 통해 움직임을 복원하고, 무용수의 실사 영상을 바탕으로 CG작업을 하여 의상의 모습을 인위적으로 연출하는 방법을 사용할 수 밖에 없었다.
도 2는 종래의 모션 캡처 방식에 따라 제작한 영상 컨텐츠를 제공하는 예를 도시한다.
도 2의 좌측 모습은 홀로그램으로 구현된 故이매방의 모습이다. 승무라는 작품에서 가장 중요한 것은 긴 장삼(긴 소매자락)의 움직임인데, 도 2의 화면 속 장삼 자락은 CG로 임의로 연출된 모습으로 실제 움직임을 그대로 구현한 것이 아니다. 즉, 도 1과 같은 종래의 모션 캡처 방식을 이용해서는 손끝, 손가락, 발동작, 발끝, 발디딤, 치맛자락이나 소품 등의 움직임을 정확히 표현하거나 3D 로 기록할 수 없어 한국 전통춤을 기록하는데 적합하지 않다는 문제점이 존재한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.
또한, 본 발명은, 입체 영상 기술의 활용이 실제 경험할 수 있는 내용으로 적용시킬 수 있도록 하는 것을 목적으로 한다.
또한 본 발명은 현장성이 강한 무형문화재 및 인문학적 소재를 영상 콘텐츠화 하는 것을 목적으로 한다.
또한, 본 발명은, 다양한 방향에서 한국 전통춤을 보여줄 수 있는 것을 목적으로 한다.
또한, 본 발명은, VR기기 등을 이용하여 실사감을 높여주어 현장감 및 실사감을 제한된 공간에서 경험할 수 있는 기회를 제공할 수 있도록 하는 것을 목적으로 한다.
또한, 본 발명은, 역사의 일부로서 교육교재로 활용이 용이하고 동시에 기록할 수 있도록, 무형문화재 중 무용과 같은 동적인 움직임을 콘텐츠로 제작하는 것을 그 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 실시예에 따르면, 실감형 입체 영상 콘텐츠 제공 방법은, (a) 콘텐츠 제공 서버가, 촬영 대상인 동적인 피사체를 중심으로 방사형으로 설치된 다수의 카메라들로부터 촬영된 영상 데이터를 획득하는 단계;(b) 상기 콘텐츠 제공 서버가, 상기 획득된 각각의 영상 데이터 중 적어도 일부에 포함된 서로 다른 방향에서 바라본 상기 피사체의 모습을 참조로 하여 상기 피사체의 각각의 프레임 - 상기 각각의 프레임은 서로 독립적인 시각에 대응됨 - 에 따른 3D 모델링 데이터를 생성하는 단계; (c) 상기 콘텐츠 제공 서버가, 상기 각 프레임당 3D 모델링 데이터를 이용하여 시간의 흐름에 따라 상기 3D 모델링 이미지가 상기 피사체의 동작에 대응되도록 형성된 4D 영상 콘텐츠를 제작하는 단계; 및 (d) 상기 콘텐츠 제공 서버가, 사용자의 현 위치 정보 및 상기 사용자의 시선 방향 정보를 바탕으로 상기 현 위치 정보 및 상기 시선 방향 정보에 대응되는 상기 4D 영상 콘텐츠 데이터를 3D 디스플레이 장치를 통해 렌더링하여 가상 공간 시뮬레이션 데이터로 제공하는 단계; 를 포함한다.
일 실시예에서, 상기 (b) 단계는, 상기 피사체의 서로 다른 방향에서 바라본 상기 서로 다른 카메라들로부터 획득된 특정 시각에 해당하는 프레임 및 이에 이웃하는 소정 개수의 프레임들에서의 이미지들을 참조로, 상기 피사체에 포함된 복수의 지점과 상기 다수의 카메라 사이의 각각의 거리와 각각의 각도를 바탕으로 상기 피사체에 포함된 상기 복수의 지점의 좌표 및 상기 피사체의 표면의 법선 벡터를 검출하고, 이를 바탕으로 상기 각 프레임당 상기 피사체의 3D 모델링 데이터를 생성한다.
일 실시예에서, 상기 (b) 단계는, (i) 기 설정된 상기 피사체의 기본 3D 데이터 및 (ii) 상기 피사체의 서로 다른 방향에서 바라본 상기 서로 다른 카메라들로부터 획득된 특정 시각에 해당하는 프레임 및 이에 이웃하는 소정 개수의 프레임들에서의 2D 이미지들을 참조로, 상기 피사체에 포함된 복수의 지점과 상기 다수의 카메라 사이의 각각의 거리와 각각의 각도를 바탕으로 검출된 상기 피사체에 포함된 상기 복수의 지점이 좌표 및 상기 피사체의 표면이 법선 벡터를 참조로 하여, 대응하는 상기 피사체의 기본 3D 데이터에 포함된 복수의 지점들의 위치 값과 법선 벡터들을 보정함으로써, 상기 각 프레임당 상기 피사체의 3D 모델링 데이터를 생성한다.
일 실시예에서, 상기 (d) 단계는, 상기 (c) 단계에서 생성된 4D 영상 콘텐츠에서 상기 3D 디스플레이 장치에 디스플레이 되는 상기 가상 공간에서 특정 시각에 디스플레이 되는 상기 3D 모델링 데이터를 추출하고, 상기 사용자의 위치 정보 또는 소정의 인터페이스 장치를 통한 사용자의 입력에 대응하여, 상기 피사체의 3D 모델링 데이터를 중심으로 상기 사용자의 상대적인 위치를 특정하고, 상기 특정된 사용자의 위치에서 바라본 상기 피사체의 3D 모델링 데이터의 모습을 상기 3D 디스플레이 장치로 디스플레이 하되, 디스플레이 시간이 진행될 때 상기 사용자의 상대적인 위치의 이동에 따라 상기 피사체의 3D 모델링 데이터를 바라본 모습을 변화시켜가면서 상기 4D 영상 콘텐츠를 디스플레이 한다.
일 실시예에서, 상기 (d) 단계는, 상기 (c) 단계에서 생성된 4D 영상 콘텐츠에서 상기 3D 디스플레이 장치에 디스플레이 되는 상기 가상 공간에서 특정 시각에 디스플레이 되는 상기 3D 모델링 데이터를 추출하고, 상기 사용자의 위치 정보 또는 소정의 인터페이스 장치를 통한 사용자의 입력에 대응하여, 상기 피사체의 3D 모델링 데이터와 상기 사용자의 거리를 특정하고, 상기 특정된 거리를 참조로 하여 상기 피사체의 3D 모델링 데이터의 모습을 확대 또는 축소하여 상기 3D 디스플레이 장치로 디스플레이 하되, 디스플레이 시간이 진행될 때 상기 사용자의 상대적인 거리의 변화에 따라 상기 피사체의 3D 모델링 데이터를 바라본 크기를 변화시켜가면서 상기 4D 영상 콘텐츠를 디스플레이 한다.
일 실시예에서, 상기 4D 영상 콘텐츠 데이터는, 전통 춤에 관한 데이터이며, 상기 피사체의 손가락 동작, 손끝 동작, 발 동작, 발끝 동작, 발디딤 동작, 소품의 움직임 및 치맛자락의 움직임 중 적어도 하나의 정보를 포함하도록 구성되며, 상기 (c) 단계에서, 상기 4D 영상 콘텐츠 데이터는 각 프레임별로 상기 전통춤의 미감에 대한 레벨 데이터가 메타 데이터로 소정의 각 방향마다 연관되어 저장되도록 제작되며, 상기 (d) 단계에서, 특정 시각에 대응되는 프레임에서 상기 사용자가 바라보는 상기 피사체의 3D 모델링 데이터 방향의 메타 데이터와 타 방향의 메타 데이터를 비교하여 상기 사용자가 바라보는 방향의 메타 데이터가 상기 타 방향의 메타 데이터 중 특정 메타 데이터보다 작은 경우, 상기 서버는 상기 사용자에게 상기 특정 메타 데이터에 대응되는 타 방향으로 시선을 이동하면 더 높은 레벨의 전통춤의 미감을 시청할 수 있음을 제시하기 위해 시선 이동 방향 표시를 상기 3D 디스플레이 장치를 통해 표시한다.
일 실시예에서, 상기 (c) 단계에서, 상기 4D 영상 콘텐츠 데이터는, 상기 전통춤과 관련된 음향 데이터를 포함하도록 생성되며, 상기 음향 데이터는 상기 피사체의 위치에서 상대적인 하나 이상의 음원 위치를 지정하여 상기 음원 위치를 기준으로 상기 음향 데이터가 출력하도록 제작되고, 아울러, 상기 4D 영상 콘텐츠 데이터는 각 프레임별로 상기 음향의 청감에 대한 레벨 데이터가 메타 데이터로 상기 가상 공간의 소정의 각 위치마다 연관되어 저장되도록 제작되며, 상기 (d) 단계에서, 특정 시각에 대응되는 프레임에서 상기 사용자의 상기 가상 공간에서의 위치에 대한 메타 데이터와 상기 가상 공간에서의 타 위치의 메타 데이터를 비교하여 상기 사용자가 존재하는 위치의 메타 데이터가 상기 타 위치의 메타 데이터 중 특정 메타 데이터보다 작은 경우, 상기 서버는 상기 사용자에게 상기 특정 메타 데이터에 대응되는 타 위치로 이동하면 더 높은 레벨의 음향 데이터의 청감을 시청할 수 있음을 제시하기 위해 시선 이동 방향 표시를 상기 3D 디스플레이 장치를 통해 표시한다.
본 발명의 다른 특징에 의하면, 실감형 입체 영상 콘텐츠 제공 서버는, 촬영 대상인 동적인 피사체를 중심으로 방사형으로 설치된 다수의 카메라들로부터 촬영된 영상 데이터를 획득하는 통신부; (i) 상기 통신부를 통해 획득된 각각의 영상 데이터 중 적어도 일부에 포함된 서로 다른 방향에서 바라본 상기 피사체의 모습을 참조로 하여 상기 피사체의 각각의 프레임 - 상기 각각의 프레임은 서로 독립적인 시각에 대응됨 - 에 따른 3D 모델링 데이터를 생성하는 프로세스; (ii) 상기 각 프레임당 3D 모델링 데이터를 이용하여 시간의 흐름에 따라 상기 3D 모델링 이미지가 상기 피사체의 동작에 대응되도록 형성된 4D 영상 콘텐츠를 제작하는 프로세스; 및 (iii) 사용자의 현 위치 정보 및 상기 사용자의 시선 방향 정보를 바탕으로 상기 현 위치 정보 및 상기 시선 방향 정보에 대응되는 상기 4D 영상 콘텐츠 데이터를 3D 디스플레이 장치를 통해 렌더링하여 가상 공간 시뮬레이션 데이터로 제공하는 프로세스; 를 수행하는 프로세서;를 포함한다.
본 발명의 일 실시예에 따르면, 입체 영상 기술의 활용이 실제 경험할 수 있고, 현장성이 강한 무형문화재 및 인문학적 소재를 콘텐츠화 할 수 있는 효과가 있다.
또한 본 발명은, 다양한 방향에서 한국 전통춤을 보여줄 수 있으며, VR을 이용하여 실사감을 높여주어 현장감 및 실사감을 제한된 공간에서 경험할 수 있는 기회를 제공할 수 있다.
또한 본 발명은, 무형문화재 중 무용의 경우 콘텐츠로 제작하여, 역사의 일부로서 교육교재로 활용이 용이하고 동시에 기록할 수 있는 효과가 있다.
도 1은 종래의 모션 캡처를 이용하여 영상 컨텐츠를 제작하는 과정을 간략하게 도시한다.
도 2는 종래의 모션 캡처 방식에 따라 제작한 영상 컨텐츠를 제공하는 예를 도시한다.
도 3은 본 발명에 따른 실감형 입체 영상 콘텐츠 제공 서버의 구성을 개략적으로 도시한다.
도 4는 본 발명에 따른 실감형 입체 영상 콘텐츠 제공 방법을 간략하게 나타낸 흐름도이다.
도 5a 및 도 5b는 본 발명에 따른 실감형 영상 콘텐츠를 제공하기 위한 다각도 촬영 방법을 나타낸다.
도 6a는 본 발명에 따른 실감형 영상 콘텐츠를 제공하는 VR 기기의 일 예를 나타낸다.
도 6b는 본 발명에 따른 실감형 영상 콘텐츠가 VR 기기를 통해 디스플레이 되는 모습을 나타낸다.
도 7은 본 발명에 따른 다각도 촬영 기법을 이용하여 생성된 실감형 영상 콘텐츠의 예를 나타낸다.
도 8은 본 발명에 따른 실감형 영상 콘텐츠 디스플레이에서 미감 레벨 데이터가 더 큰 방향으로의 위치 이동을 유도하는 모습을 나타낸다.
도 9는 본발명에 따른 실감형 영상 콘텐츠 디스플레이에서 음원 위치에 따라 청감 레벨 데이터가 더 큰 방향으로의 위치 이동을 유도하는 모습을 나타낸다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 3은 본 발명에 따른 실감형 입체 영상 콘텐츠 제공 서버의 구성을 개략적으로 도시한다.
도 3을 참조하면, 실감형 입체 영상 콘텐츠 제공 서버(100)는 통신부(10) 및 프로세서(20)를 포함한다.
통신부(10)는 촬영 대상인 동적인 피사체를 중심으로 방사형으로 설치된 다수의 카메라들로부터 촬영된 영상 데이터를 획득하는 기능을 수행한다.
또한, 프로세서(20)는, 상기 통신부를 통해 획득된 각각의 영상 데이터 중 적어도 일부에 포함된 서로 다른 방향에서 바라본 상기 피사체의 모습을 참조로 하여 상기 피사체의 각각의 프레임(상기 각각의 프레임은 서로 독립적인 시각에 대응됨)에 따른 3D 모델링 데이터를 생성하는 프로세스, 상기 각 프레임당 3D 모델링 데이터를 이용하여 시간의 흐름에 따라 상기 3D 모델링 이미지가 상기 피사체의 동작에 대응되도록 형성된 4D 영상 콘텐츠를 제작하는 프로세스 및 사용자의 현 위치 정보 및 상기 사용자의 시선 방향 정보를 바탕으로 상기 현 위치 정보 및 상기 시선 방향 정보에 대응되는 상기 4D 영상 콘텐츠 데이터를 3D 디스플레이 장치를 통해 렌더링하여 가상 공간 시뮬레이션 데이터로 제공하는 프로세스를 수행한다. 여기서 상기 4D 영상 콘텐츠는 3D 모델링 데이터를 시간의 흐름에 따라 동적인 표현으로 생성한 영상 콘텐츠, 즉 3D 데이터에 시간 축을 포함시켜 생성한 영상 콘텐츠를 의미한다.
이하 본 발명에 따른 실감형 입체 영상 콘텐츠 제공 서버(100)의 통신부(10)와 프로세서(20)의 기능은 도 4 내지 도 9를 참조로 더욱 구체적으로 설명된다.
도 4는 본 발명에 따른 실감형 입체 영상 콘텐츠 제공 방법을 간략하게 나타낸 흐름도이다.
도 4를 참조하면, 본 발명에 따른 실감형 입체 영상 콘텐츠 제공 방법은 다수의 카메라로 전통춤을 추는 피사체를 다각도에서 촬영하는 단계(S41), 서로 다른 방향의 이미지를 바탕으로 3D 모델링 데이터를 생성하는 단계(S42), 피사체의 동작에 대응되도록 형성된 4D 영상 콘텐츠를 제작하는 단계(S43) 및 사용자의 위치나 입력에 다른 시선 방향으로 4D 영상 콘텐츠를 디스플레이하는 단계(S44)를 포함한다.
도 5a 및 도 5b는 본 발명에 따른 실감형 영상 콘텐츠를 제공하기 위한 다각도 촬영 방법을 나타낸다.
도 5a 및 도 5b를 참조하면, 상기 S41 단계에서는, 콘텐츠 제공 서버가, 촬영 대상인 동적인 피사체를 중심으로 방사형으로 설치된 다수의 카메라들로부터 촬영된 영상 데이터를 획득한다.
도 1에서와 같이 인간 관절의 데이터를 추출한 것을 애니메이션에 적용하면 센서를 부착한 인간과 동일한 자연스러운 움직임을 갖는 3D 모델링 데이터를 생성할 수 있다. 그러나 이러한 기술이 실제 움직이는 모습을 그대로 재현할 수 없음은 앞에서 설명한 바와 같다.
이에 따라 본 발명에서는, 이러한 사실을 바탕으로 '실사촬영'을 그대로 구현하면서 입체적이게 제시할 수 있는 방법을 개발하기 위해 실사촬영을 기반으로 한 다각도 촬영 기법을 이용하여 실감형 영상 콘텐츠를 제공하는 방법을 제시한다.
본 발명에 따른 실감형 영상 콘텐츠는 도 5a 및 도 5b에 도시된 바와 같이, 움직이는 피사체를 중심으로 하여 상기 피사체를 바라보는 다수개의 카메라를 설치하여, 동시에 움직이는 피사체를 촬영하여, 이미지를 획득한다. 즉, 전통춤 등에 대한 피사체를 바탕으로 카메라의 개수에 따라 등각도 방향으로 상기 다수의 카메라를 각각 설치하고, 각 카메라가 피사체를 중심으로 촬영될 수 있게 한다. 예를 들어 도 5a에서와 같이 카메라가 8개가 설치되는 경우에는 45도 각도씩 피사체를 중심으로 방사상으로 설치되어, 피사체의 움직임을 동시에 촬영한다.
본 발명의 일 실시예에서, 다각도 촬영 후 실사감을 높이기 위해 VR소프트웨어를 활용하였다. 본 발명에서 VR 소프트웨어를 사용하여 다각도 촬영하는 기법은 기존의 다른 VR 촬영 기법과는 상이하다. 즉, 기존 VR 촬영 기법의 경우 피사체 또는 하나의 촬영 카메라를 중심으로 둘러싸고 있는 배경을 촬영하는 것이지만, 본 발명에서는 움직임 기록을 위해 원형공간 중간위치에 있는 피사체를 다수개의 카메라로 촬영하는 방식을 사용한다.
다시 도 4를 참조하면, S42 단계에서는, 콘텐츠 제공 서버(100)가, 상기 획득된 각각의 영상 데이터 중 적어도 일부에 포함된 서로 다른 방향에서 바라본 상기 피사체의 모습을 참조로 하여 상기 피사체의 각각의 프레임(상기 각각의 프레임은 서로 독립적인 시각에 대응됨)에 따른 3D 모델링 데이터를 생성한다.
이때, 콘텐츠 제공 서버(100)의 프로세서(20)는, 상기 피사체의 서로 다른 방향에서 바라본 상기 서로 다른 카메라들로부터 획득된 특정 시각에 해당하는 프레임 및 이에 이웃하는 소정 개수의 프레임들에서의 이미지들을 참조로, 상기 피사체에 포함된 복수의 지점과 상기 다수의 카메라 사이의 각각의 거리와 각각의 각도를 바탕으로 상기 피사체에 포함된 상기 복수의 지점의 좌표 및 상기 피사체의 표면의 법선 벡터를 검출하고, 이를 바탕으로 상기 각 프레임당 상기 피사체의 3D 모델링 데이터를 생성할 수 있다.
또한, 다른 방법으로 상기 프로세서(20)는, (i) 기 설정된 상기 피사체의 기본 3D 데이터 및 (ii) 상기 피사체의 서로 다른 방향에서 바라본 상기 서로 다른 카메라들로부터 획득된 특정 시각에 해당하는 프레임 및 이에 이웃하는 소정 개수의 프레임들에서의 2D 이미지들을 참조로, 상기 피사체에 포함된 복수의 지점과 상기 다수의 카메라 사이의 각각의 거리와 각각의 각도를 바탕으로 검출된 상기 피사체에 포함된 상기 복수의 지점이 좌표 및 상기 피사체의 표면이 법선 벡터를 참조로 하여, 대응하는 상기 피사체의 기본 3D 데이터에 포함된 복수의 지점들의 위치 값과 법선 벡터들을 보정함으로써, 상기 각 프레임당 상기 피사체의 3D 모델링 데이터를 생성할 수도 있다.
다수개의 각 프레임별 이미지에서 3D 모델링 데이터를 생성하는 방법은 상술한 방법 이외에도 다양한 알고리즘을 이용할 수 있을 것이다.
또한 본 발명에서는 별도의 3D 모델링 데이터 생성과정이나, 4D 영상 콘텐츠 생성 과정없이 다각도로 촬영한 이미지를 그대로 실감형 영상 콘텐츠로 제공할 수도 있을 것이다.
예를 들어, 피사체를 중심으로 다수의 카메라가 촘촘히 설치된다면, 3D 모델링 없이 바로 촬영된 이미지를 바탕으로 실감형 영상 콘텐츠를 제작할 수도 있을 것이다.
도 6a는 본 발명에 따른 실감형 영상 콘텐츠를 제공하는 VR 기기의 일 예를 나타내며, 도 6b는 본 발명에 따른 실감형 영상 콘텐츠가 VR 기기를 통해 디스플레이 되는 모습을 나타낸다.
도 6a 및 도 6b를 참조하면, 별도의 3D 모델링 과정없이 다각도에 설치된 카메라를 통해 촬영한 이미지들을 VR 프로그램을 통해 합성하여 저장한 후, 사용자의 위치나 인터페이스 입력에 따라 특정 방향의 카메라에서 보여지는 피사체의 모습을 시청할 수 있다. 만일 피사체를 중심으로 설치된 20개의 카메라를 통해 촬영을 하였다면, VR 기기를 통해, 20개의 위치에 따라 대응되는 카메라에서 촬영된 피사체의 모습을 시청할 수 있고, 피사체가 전통춤을 추는 모습을 입체와 같은 느낌으로 시청할 수 있을 것이다.
다만, 이러한 경우에는, 촬영된 카메라의 시선에서만 사용자가 실감형 영상 콘텐츠를 감상할 수 있다는 단점이 존재한다. 예를 들어, 카메라가 촬영된 이미지만을 디스플레이하기 때문에, 피사체를 중심으로 특정 방향 상단으로 이동하거나 하단 방향으로 이동하여 시청하는 것도 불가능할 것이고, 이웃하여 설치된 카메라가 있던 시선 방향의 중간 방향에서 피사체를 시청하는 것도 불가능하게 된다. 다만, 이러한 방법을 사용하는 경우에도, 화면 확대나 축소 등을 통해 좀 더 가까이 또는 더 멀리서 전통춤 등의 피사체를 시청할 수는 있을 것이다.
이 경우, 사용자는 VR 기기를 착용한 후 소정의 인터페이스(가령, 오른쪽 마우스 탭, 오른손을 이용한 제스쳐, 오른쪽으로의 이동 등)을 이용하면서 위치를 이동하며 피사체의 동작을 관찰할 수 있게 된다. 즉, 사용자는 VR 기기를 착용한 채로 마우스 탭을 터치하고 피사체를 중심으로 위치를 이동하거나 가상 공간에서의 이동과 같이 VR 기기를 착용한 채로 위치를 이동하면, 이동한 위치 및 VR 기기의 방향을 바탕으로 대응되는 방향의 실감형 모델링 데이터를 디스플레이 하게 된다. 즉, 사용자는 카메라가 위치했던 지점으로 이동하면서 다른 각도에서 춤을 관찰할 수 있게 된다.
물론 다른 실시예에서 사용자는 VR 기기가 아닌 3D 디스플레이 장치를 통해 실감형 영상 콘텐츠를 볼 수도 있을 것이다. 이때 사용자는 마우스나 키보드 방향키 등의 입력 장치 또는 화면의 터치 드래그를 이용하여 상기 영상 콘텐츠의 시선 방향을 바꿔 가면서 실감형 영상 콘텐츠를 관찰할 수 있다.
다시 도 4를 참조하면, 본 발명의 실감형 입체 영상 콘텐츠 제공 방법의 S43 단계에서는, 콘텐츠 제공 서버(100)가, 상기 각 프레임당 3D 모델링 데이터를 이용하여 시간의 흐름에 따라 상기 3D 모델링 이미지가 상기 피사체의 동작에 대응되도록 형성된 4D 영상 콘텐츠를 제작한다.
예를 들어, 상기 S43단계에서는, S42 단계에서 형성된 3D 모델링 데이터를 각 프레임별로 이어 붙이고, 각 카메라에서 녹음한 음성 데이터를 합성하여 4D 영상 콘텐츠를 제작할 수 있다.
이때, 상기 4D 영상 콘텐츠 데이터가, 전통 춤에 관한 데이터에 관한 것이라면, 상기 4D 영상 콘텐츠 데이터는 상기 피사체의 손가락 동작, 손끝 동작, 발 동작, 발끝 동작, 발디딤 동작, 소품의 움직임 및 치맛자락의 움직임 중 적어도 하나의 정보를 포함하도록 구성될 수 있다.
그리고 상기 S43 단계에서, 상기 4D 영상 콘텐츠 데이터는 각 프레임별로 상기 전통춤의 미감에 대한 레벨 데이터가 메타 데이터로 소정의 각 방향마다 연관되어 저장되도록 제작될 수도 있을 것이다.
예를 들어, 특정 전통춤의 경우 시간에 따라 A라는 각도에서 바라보는 미감과 B라는 각도에서 바라보는 미감이 서로 상이할 때, 이러한 미감의 정도를 나타낼 미감 레벨 데이터를 각 프레임별 데이터의 메타 데이터로 저장시킬 수 있다. 그리고 기 경우 각 프레임별로 각 방향마다 어떤 미감 레벨 데이터를 갖는지에 대한 메타 데이터를 달리 설정하여 저장시킬 수 있을 것이다.
도 5a를 참조로 할 때, 피사체의 정면(카메라 04 부근 시점)에서부터 피시체의 뒷면 (카메라 01 부근 시점)에서의 각 프레임별 각 방향별로 서로 다른 미감 레벨 데이터를 메타데이터로 관련시켜 저장될 수 있다. 예를 들어 전통춤을 시청할 때, 특정 프레임 내에서 정면 방향에서의 미감이 제일 높고 정면 방향에서 멀어지는 시선 방향일수록 미감이 낮아지는 장면이 있다고 가정하면, 정면 방향(카메라 04 지점)에서 뒷면 방향(카메라 01 지점)으로 시점이 이동할수록 더 낮은 수치의 미감 레벨 데이터들이 메타 데이터로서 각 방향에 따라 각각 저장될 수 있다. 이때, 반드시 정면 방향의 미감 레벨 데이터가 메타 데이터로서 높게 설정되는 것은 아니며, 한국의 미(美)를 잘 나타내기 위한 (특정 프레임 내의) 특정 방향이라면 해당 방향에 대한 미감 레벨 데이터가 높은 수치로서 설정될 수 있을 것이다. 상기 방향은 카메라가 설치된 특정 방향만을 의미하지는 않으며, 3D 모델링 데이터가 완성된 상태이므로 메타 데이터는 각 시점의 방향별로 소정의 함수 형태로 표현될 수도 있을 것이다.
또한, 상기 4D 영상 콘텐츠 데이터는, 상기 전통춤과 관련된 음향 데이터를 포함하도록 생성될 수도 있다. 상기 음향 데이터는 상기 피사체의 위치에서 상대적인 하나 이상의 음원 위치를 지정하여 상기 음원 위치를 기준으로 상기 음향 데이터가 출력하도록 제작되고, 아울러, 상기 4D 영상 콘텐츠 데이터는 각 프레임별로 상기 음향의 청감에 대한 레벨 데이터가 메타 데이터로 상기 가상 공간의 소정의 각 위치마다 연관되어 저장되도록 제작될 수 있다.
다시 도 4를 참조하면, 본 발명의 실감형 입체 영상 콘텐츠 제공 방법의 S44 단계에서는, 콘텐츠 제공 서버(100)가, 사용자의 현 위치 정보 및 상기 사용자의 시선 방향 정보를 바탕으로 상기 현 위치 정보 및 상기 시선 방향 정보에 대응되는 상기 4D 영상 콘텐츠 데이터를 3D 디스플레이 장치를 통해 렌더링하여 가상 공간 시뮬레이션 데이터로 제공한다.
즉, 다각도 촬영 기법을 통해 획득한 피사체에 대한 다각도에서 바라본 정보를 참조로 하면, 하나의 입체적인 형태의 피사체에 대한 모습을 모델링화가 가능해지고, 이렇게 제작된 3D 형상을 시간에 따라 플레이 시키면 입체적인 형태로 제작된 피사체가 움직이는 4D 데이터가 생성될 수 있다. 이렇게 제작된 한국 전통 춤에 대한 실감형 영상 콘텐츠가 도 7에 도시된다.
도 7은 본 발명에 따른 다각도 촬영 기법을 이용하여 생성된 실감형 영상 콘텐츠의 예를 나타낸다.
이를 구체적으로 설명하면, 상기 S44 단계는, 상기 S43 단계에서 생성된 4D 영상 콘텐츠에서 상기 3D 디스플레이 장치에 디스플레이 되는 상기 가상 공간에서 특정 시각에 디스플레이 되는 상기 3D 모델링 데이터를 추출하고, 상기 사용자의 위치 정보 또는 소정의 인터페이스 장치를 통한 사용자의 입력에 대응하여, 상기 피사체의 3D 모델링 데이터를 중심으로 상기 사용자의 상대적인 위치를 특정하고, 상기 특정된 사용자의 위치에서 바라본 상기 피사체의 3D 모델링 데이터의 모습을 상기 3D 디스플레이 장치로 디스플레이 한다. 이때, 디스플레이 시간이 진행될 때 상기 사용자의 상대적인 위치의 이동에 따라 상기 피사체의 3D 모델링 데이터를 바라본 모습을 변화시켜가면서 상기 4D 영상 콘텐츠를 디스플레이 한다.
예를 들어, 사용자가 피사체를 기준으로 우측방향 (즉, 피사체의 오른쪽 모습이 보이는 방향)에 있는 것으로 인식될 때, 4D 영상 콘텐츠는 피사체의 우측 모습에서 보이는 모습을 3D 디스플레이 장치로 디스플레이 하여, 사용자가 가상 공간에서 피사체의 우측 모습에서 시청하는 효과를 제시한다. 또한, 사용자가 피사체를 중심으로 반 시계방향으로 이동하거나, 인터페이스 장치를 통해 피사체를 중심으로 반 시계방향으로 시선 방향을 바꾸도록 지시하면, 서버(100)는 가상 공간에서 피사체의 정면 부근으로 이동한 사용자의 위치에 대응하여, 피사체의 정면 부근의 모습을 3D 디스플레이 장치로 디스플레이 하여, 사용자가 가상 공간에서 피사체의 정면 부근에서 시청하는 효과를 제시한다.
또한, 다른 실시예에서, 상기 S44 단계는, 상기 S43 단계에서 생성된 4D 영상 콘텐츠에서 상기 3D 디스플레이 장치에 디스플레이 되는 상기 가상 공간에서 특정 시각에 디스플레이 되는 상기 3D 모델링 데이터를 추출하고, 상기 사용자의 위치 정보 또는 소정의 인터페이스 장치를 통한 사용자의 입력에 대응하여, 상기 피사체의 3D 모델링 데이터와 상기 사용자의 거리를 특정하고, 상기 특정된 거리를 참조로 하여 상기 피사체의 3D 모델링 데이터의 모습을 확대 또는 축소하여 상기 3D 디스플레이 장치로 디스플레이 할 수 있다. 이때, 디스플레이 시간이 진행될 때 상기 사용자의 상대적인 거리의 변화에 따라 상기 피사체의 3D 모델링 데이터를 바라본 크기를 변화시켜가면서 상기 4D 영상 콘텐츠를 디스플레이 한다.
예를 들어, 사용자가 가상 공간에서 피사체와 먼 위치에서 피사체를 시청하면, 서버는 이에 대응하여 피사체를 축소하여 3D 디스플레이 장치로 디스플레이 하고, 상기 사용자가 피사체 방향으로 이동하거나, 인터페이스 장치를 통해 가상 공간에서 사용자의 위치를 피사체로 가까이 이동하는 것으로 위치 이동을 지시하면, 서버(100)는 가상 공간에서 사용자의 위치를 기존 위치에서 피사체에 상대적으로 더 가까운 위치에 있는 것으로 인식하여 피사체를 좀 더 확대하여 3D 디스플레이 장치로 디스플레이 한다.
상기 S43 단계에서, 상기 4D 영상 콘텐츠 데이터가 각 프레임별로 상기 전통춤의 미감에 대한 레벨 데이터가 메타 데이터로 소정의 각 방향마다 연관되어 저장되도록 제작되는 경우, S44 단계에서, 특정 시각에 대응되는 프레임에서 상기 사용자가 바라보는 상기 피사체의 3D 모델링 데이터 방향의 메타 데이터와 타 방향의 메타 데이터를 비교하여 상기 사용자가 바라보는 방향의 메타 데이터가 상기 타 방향의 메타 데이터 중 특정 메타 데이터보다 작은 경우, 상기 서버는 상기 사용자에게 상기 특정 메타 데이터에 대응되는 타 방향으로 시선을 이동하면 더 높은 레벨의 전통춤의 미감을 시청할 수 있음을 제시하기 위해 시선 이동 방향 표시를 상기 3D 디스플레이 장치를 통해 표시한다.
도 8은 본 발명에 따른 실감형 영상 콘텐츠 디스플레이에서 미감 레벨 데이터가 더 큰 방향으로의 위치 이동을 유도하는 모습을 나타낸다.
도 8을 참조하면, 피사체가 부채춤을 추는 무용수들인 경우, 도 8과 같은 특정 시각의 프레임에서 정면 방향에 대응되는 메타 데이터인 미감에 대한 레벨 데이터는 높은 수치로서 저장되며, 피사체의 후면으로 갈수록 각 시선 방향에 대응되는 관련된 메타 데이터인 미감에 대한 레벨 데이터가 낮은 수치로서 저장될 수 있다. 이러한 경우, 도 8의 상단 화면과 같이 피사체를 기준으로 정면 방향에서 좌측 방향에 사용자의 시선 방향 또는 사용자의 위치가 존재할 때, 피사체의 정면 방향으로 갈수록 더 높은 미감으로 전통춤을 시청할 수 있음을 제시하기 위해 왼쪽으로의 시선 방향 이동을 추천하는 화살표가 표시된다. 이때 서버는, 상기 특정 시각에서의 각 방향에 대한 메타 데이터들을 비교하여 추천 화살표를 표시할 수 있다. 예를 들어, 현재의 사용자의 위치나 시선 방향의 메타 데이터와 다른 위치나 시선 방향의 메타 데이터를 바탕으로 메타 데이터가 더 큰 수치를 갖는 방향으로 시선 방향 이동을 추천할 수 있다. 그리고 도 8 아래 화면과 같이 사용자가 가상 공간에서 서버의 제시에 따라 화살표 방향으로 상당 부분 위치를 변경시켰을 때, 사용자가 피사체를 기준으로 최고 수치의 레벨 데이터를 갖는 시선 방향을 지나쳐서 이동하여, 사용자가 피사체를 기준으로 정면 방향에서 오른쪽 방향으로 살짝 옆에 있는 시선 방향 또는 위치에 존재할 수 있다. 이 때, 서버는 현재 시선 방향보다는 피사체를 중심으로 반시계 방향으로 약간 시선 방향을 이동하면, 더 높은 미감으로 전통춤을 시청할 수 있음을 화살표 등으로 제시하게 된다. 이 때, 도 8의 도면과 같이 최고 수치의 미감 레벨 데이터가 있는 시선 방향과 현재 사용자의 시선 방향을 비교하여 그 거리가 멀면 화살표 크기를 크게 하여 시선 방향을 더 멀리 이동할 것을 제시할 수 있고, 그 거리가 가까우면 화살표 크기를 작게 하여 시선 방향을 약간만 이동할 것을 제시할 수 있을 것이다. 이러한 화살표 제시 기능은 반드시 이에 한정되는 것은 아니며, 다른 식으로 표시를 할 수도 있을 것이다. 또한, 이러한 화살표 제시 기능은, 정면 방향에 대하여 일괄적으로 가장 높은 미감 레벨 데이터를 부여한 경우보다는, 전통 문화 전문가 등으로 하여금 각 프레임마다 가장 아름다움 미감을 보이는 방향에 대한 정보를 선정 받고 이를 메타데이터로 부여한 경우에 더욱 실질적인 효과가 있을 것이다.
또한, 하나의 프레임에서 미감 레벨 데이터는 한 방향으로 갈수록 커지는 것이 아니고 하나 이상의 서로 다른 시선 방향에서 높은 미감 레벨을 가지도록 설정될 수도 있을 것이다. 이러한 경우에는, 디스플레이 화면에 하나 이상의 화살표가 서로 다른 방향 및 서로 다른 크기로 제시될 수 있다.
또한, S43 단계에서, 상기 4D 영상 콘텐츠 데이터가, 상기 전통춤과 관련된 음향 데이터를 포함하도록 생성되고, 상기 음향 데이터는 상기 피사체의 위치에서 상대적인 하나 이상의 음원 위치를 지정하여 상기 음원 위치를 기준으로 상기 음향 데이터가 출력하도록 제작되고, 아울러, 상기 4D 영상 콘텐츠 데이터는 각 프레임별로 상기 음향의 청감에 대한 레벨 데이터가 메타 데이터로 상기 가상 공간의 소정의 각 위치마다 연관되어 저장되도록 제작되는 경우에는, 상기 S44 단계에서, 특정 시각에 대응되는 프레임에서 상기 사용자의 상기 가상 공간에서의 위치에 대한 메타 데이터와 상기 가상 공간에서의 타 위치의 메타 데이터를 비교하여 상기 사용자가 존재하는 위치의 메타 데이터가 상기 타 위치의 메타 데이터 중 특정 메타 데이터보다 작은 경우, 상기 서버는 상기 사용자에게 상기 특정 메타 데이터에 대응되는 타 위치로 이동하면 더 높은 레벨의 음향 데이터의 청감을 시청할 수 있음을 제시하기 위해 시선 이동 방향 표시를 상기 3D 디스플레이 장치를 통해 표시한다.
도 9는 본발명에 따른 실감형 영상 콘텐츠 디스플레이에서 음원 위치에 따라 청감 레벨 데이터가 더 큰 방향으로의 위치 이동을 유도하는 모습을 나타낸다.
도 9를 참조하면, 전통춤을 추는 피사체의 뒤쪽으로 북이 위치하고 그 위치에서 북 소리가 재생되는 음원 데이터가 함께 저장될 때, 4D 영상 콘텐츠는 동적으로 움직이는 피사체의 위치와 음원 위치를 각 프레임별로 함께 저장하여 생성되며, 디스플레이 되는 4D 영상 콘텐츠는 상기 가상 공간에서 사용자의 위치와 상기 음원 위치를 고려하여 디스플레이 될 것이다. 즉, 가상 공간에서 사용자가 음원 위치를 사용자의 오른쪽에 두고 피사체를 바라보는 것이라면, 사용자의 오른쪽 음향이 왼쪽 음향보다 더 크게 북소리가 들기도록 하며, 사용자가 음원 위치를 사용자의 왼쪽에 두고 피사체를 바라보는 것이라면, 사용자의 오른쪽 음향이 왼쪽 음향보다 더 작게 북소리가 들기도록 한다. 또한, 사용자가 가상 공간에서 피사체를 바라보는 방향이나 위치를 바꿔가면서 시청할 때, 사용자의 위치와 음원 위치가 가까워지면 북소리를 더 커지게 출력하며, 사용자의 위치와 음원 위치가 멀어지면 북소리를 더 작아지게 출력한다.
또한, 각 프레임별로 저장된 특정 공간에 대응되는 청감에 대한 수치를 나타내는 레벨 데이터가 메타 데이터로서 저장되어, 특정 방향으로 가면 더 좋은 청감을 즐길 수 있음을 디스플레이 장치에 제시할 수 있다. 즉, 도 9의 예시에서와 같이, 사용자가 피사체를 기준으로 정면에서 우측 방향에서 시청하고 있을 때, 그 위치에서의 청감보다는 사용자의 위치가 피사체를 중심으로 반 시계 방향으로 약간 더 움직이면 더 높은 청감으로 소리를 들을 수 있음을 디스플레이 화면 상에 화살표로 제시할 수 있을 것이다. 이때 서버는, 상기 특정 시각에서의 각 위치에 대응되는 음향에 관한 메타 데이터들을 비교하여 추천 화살표를 표시할 수 있다. 예를 들어, 현재의 사용자의 위치의 메타 데이터와 다른 위치의 메타 데이터를 바탕으로 메타 데이터가 더 큰 수치를 갖는 방향 또는 위치로 음향 시청 위치 이동을 추천할 수 있다.
즉, 기존에는 모션 캡처 방식으로 인간 관절의 데이터를 추출한 것을 애니메이션에 적용하면 사람과 같은 움직임을 연출할 수 있지만, 이러한 기술이 실제 움직이는 모습을 있는 그대로 재현할 수 없지만, 본 발명에서는, 다각도 촬영 기법을 바탕으로 실 촬영된 데이터를 이용하여 3D 모델링 및 애니메이션 데이터를 제작하기 때문에 손가락, 손끝, 발동작, 발끝, 발디딤, 소품 및 치맛자락의 움직임을 실제 그대로 표현할 수 있게 된다.
또한, 본 발명의 다른 실시예에서는, 피사체의 손가락, 손끝, 발동작, 발끝, 발디딤, 소품 및 치맛자락의 움직임 등을 관찰할 수 있도록 확대 축소 기능을 제공할 수도 있으며, 피사체를 중심으로 촬영된 카메라 방향 뿐만 아니라, 다양한 방향으로, 예를 들어 피사체 방향, 또는 피사체의 반대 방향, 피사체의 상측 또는 하측 방향으로 이동하며, 피사체를 원하는 거리 (예를 들어, 약1m ~ 5m)를 이동하거나, 원하는 방향으로 이동하며 자유자재로 관찰할 수 있게 할 수 있다.
이와 같이, 본 발명의 일 실시예에 따르면, 관찰자 시점에서 거리를 조절하며 움직이는 피사체의 모습을 관찰할 수 있어서 실제 춤을 관찰하는 효과를 줄 수 있다. 아울러 본 발명에 따라 저장된 실감형 영상 콘텐츠는 영구기록영상으로서 그 가치가 더욱 높아질 수 있을 것이며, 애니메이션, 영화 등의 콘텐츠에서도 활용이 가능할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (14)

  1. 실감형 입체 영상 콘텐츠 제공 방법에 있어서,
    (a) 콘텐츠 제공 서버가, 촬영 대상인 동적인 피사체를 중심으로 방사형으로 설치된 다수의 카메라들로부터 촬영된 영상 데이터를 획득하는 단계;
    (b) 상기 콘텐츠 제공 서버가, 상기 획득된 각각의 영상 데이터 중 적어도 일부에 포함된 서로 다른 방향에서 바라본 상기 피사체의 모습을 참조로 하여 상기 피사체의 각각의 프레임 - 상기 각각의 프레임은 서로 독립적인 시각에 대응됨 - 에 따른 3D 모델링 데이터를 생성하는 단계;
    (c) 상기 콘텐츠 제공 서버가, 상기 각 프레임당 3D 모델링 데이터를 이용하여 시간의 흐름에 따라 상기 3D 모델링 이미지가 상기 피사체의 동작에 대응되도록 형성된 4D 영상 콘텐츠를 제작하는 단계; 및
    (d) 상기 콘텐츠 제공 서버가, 사용자의 현 위치 정보 및 상기 사용자의 시선 방향 정보를 바탕으로 상기 현 위치 정보 및 상기 시선 방향 정보에 대응되는 상기 4D 영상 콘텐츠 데이터를 3D 디스플레이 장치를 통해 렌더링하여 가상 공간 시뮬레이션 데이터로 제공하는 단계;
    를 포함하되,
    상기 4D 영상 콘텐츠 데이터는, 전통 춤에 관한 데이터이며, 상기 피사체의 손가락 동작, 손끝 동작, 발 동작, 발끝 동작, 발디딤 동작, 소품의 움직임 및 치맛자락의 움직임 중 적어도 하나의 정보를 포함하도록 구성되며,
    상기 (c) 단계에서, 상기 4D 영상 콘텐츠 데이터는 각 프레임별로 상기 전통춤의 미감에 대한 레벨 데이터가 메타 데이터로 소정의 각 방향마다 연관되어 저장되도록 제작되며,
    상기 (d) 단계에서, 특정 시각에 대응되는 프레임에서 상기 사용자가 바라보는 상기 피사체의 3D 모델링 데이터 방향의 메타 데이터와 타 방향의 메타 데이터를 비교하여 상기 사용자가 바라보는 방향의 메타 데이터가 상기 타 방향의 메타 데이터 중 특정 메타 데이터보다 작은 경우, 상기 서버는 상기 사용자에게 상기 특정 메타 데이터에 대응되는 타 방향으로 시선을 이동하면 더 높은 레벨의 전통춤의 미감을 시청할 수 있음을 제시하기 위해 시선 이동 방향 표시를 상기 3D 디스플레이 장치를 통해 표시하고,
    상기 (c) 단계에서, 상기 4D 영상 콘텐츠 데이터는, 상기 전통춤과 관련된 음향 데이터를 포함하도록 생성되며, 상기 음향 데이터는 상기 피사체의 위치에서 상대적인 하나 이상의 음원 위치를 지정하여 상기 음원 위치를 기준으로 상기 음향 데이터가 출력하도록 제작되고, 아울러, 상기 4D 영상 콘텐츠 데이터는 각 프레임별로 상기 음향의 청감에 대한 레벨 데이터가 메타 데이터로 상기 가상 공간의 소정의 각 위치마다 연관되어 저장되도록 제작되며,
    상기 (d) 단계에서, 특정 시각에 대응되는 프레임에서 상기 사용자의 상기 가상 공간에서의 위치에 대한 메타 데이터와 상기 가상 공간에서의 타 위치의 메타 데이터를 비교하여 상기 사용자가 존재하는 위치의 메타 데이터가 상기 타 위치의 메타 데이터 중 특정 메타 데이터보다 작은 경우, 상기 서버는 상기 사용자에게 상기 특정 메타 데이터에 대응되는 타 위치로 이동하면 더 높은 레벨의 음향 데이터의 청감을 시청할 수 있음을 제시하기 위해 시선 이동 방향 표시를 상기 3D 디스플레이 장치를 통해 표시하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 방법.
  2. 제 1 항에 있어서,
    상기 (b) 단계는, 상기 피사체의 서로 다른 방향에서 바라본 상기 서로 다른 카메라들로부터 획득된 특정 시각에 해당하는 프레임 및 이에 이웃하는 소정 개수의 프레임들에서의 이미지들을 참조로, 상기 피사체에 포함된 복수의 지점과 상기 다수의 카메라 사이의 각각의 거리와 각각의 각도를 바탕으로 상기 피사체에 포함된 상기 복수의 지점의 좌표 및 상기 피사체의 표면의 법선 벡터를 검출하고, 이를 바탕으로 상기 각 프레임당 상기 피사체의 3D 모델링 데이터를 생성하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 방법.
  3. 제 1 항에 있어서,
    상기 (b) 단계는, (i) 기 설정된 상기 피사체의 기본 3D 데이터 및 (ii) 상기 피사체의 서로 다른 방향에서 바라본 상기 서로 다른 카메라들로부터 획득된 특정 시각에 해당하는 프레임 및 이에 이웃하는 소정 개수의 프레임들에서의 2D 이미지들을 참조로, 상기 피사체에 포함된 복수의 지점과 상기 다수의 카메라 사이의 각각의 거리와 각각의 각도를 바탕으로 검출된 상기 피사체에 포함된 상기 복수의 지점이 좌표 및 상기 피사체의 표면이 법선 벡터를 참조로 하여, 대응하는 상기 피사체의 기본 3D 데이터에 포함된 복수의 지점들의 위치 값과 법선 벡터들을 보정함으로써, 상기 각 프레임당 상기 피사체의 3D 모델링 데이터를 생성하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 방법.
  4. 제 1 항에 있어서,
    상기 (d) 단계는, 상기 (c) 단계에서 생성된 4D 영상 콘텐츠에서 상기 3D 디스플레이 장치에 디스플레이 되는 상기 가상 공간에서 특정 시각에 디스플레이 되는 상기 3D 모델링 데이터를 추출하고, 상기 사용자의 위치 정보 또는 소정의 인터페이스 장치를 통한 사용자의 입력에 대응하여, 상기 피사체의 3D 모델링 데이터를 중심으로 상기 사용자의 상대적인 위치를 특정하고, 상기 특정된 사용자의 위치에서 바라본 상기 피사체의 3D 모델링 데이터의 모습을 상기 3D 디스플레이 장치로 디스플레이 하되, 디스플레이 시간이 진행될 때 상기 사용자의 상대적인 위치의 이동에 따라 상기 피사체의 3D 모델링 데이터를 바라본 모습을 변화시켜가면서 상기 4D 영상 콘텐츠를 디스플레이하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 방법.
  5. 제 1 항에 있어서,
    상기 (d) 단계는, 상기 (c) 단계에서 생성된 4D 영상 콘텐츠에서 상기 3D 디스플레이 장치에 디스플레이 되는 상기 가상 공간에서 특정 시각에 디스플레이 되는 상기 3D 모델링 데이터를 추출하고, 상기 사용자의 위치 정보 또는 소정의 인터페이스 장치를 통한 사용자의 입력에 대응하여, 상기 피사체의 3D 모델링 데이터와 상기 사용자의 거리를 특정하고, 상기 특정된 거리를 참조로 하여 상기 피사체의 3D 모델링 데이터의 모습을 확대 또는 축소하여 상기 3D 디스플레이 장치로 디스플레이 하되, 디스플레이 시간이 진행될 때 상기 사용자의 상대적인 거리의 변화에 따라 상기 피사체의 3D 모델링 데이터를 바라본 크기를 변화시켜가면서 상기 4D 영상 콘텐츠를 디스플레이하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 방법.
  6. 삭제
  7. 삭제
  8. 실감형 입체 영상 콘텐츠 제공 서버에 있어서,
    촬영 대상인 동적인 피사체를 중심으로 방사형으로 설치된 다수의 카메라들로부터 촬영된 영상 데이터를 획득하는 통신부;
    (i) 상기 통신부를 통해 획득된 각각의 영상 데이터 중 적어도 일부에 포함된 서로 다른 방향에서 바라본 상기 피사체의 모습을 참조로 하여 상기 피사체의 각각의 프레임 - 상기 각각의 프레임은 서로 독립적인 시각에 대응됨 - 에 따른 3D 모델링 데이터를 생성하는 프로세스; (ii) 상기 각 프레임당 3D 모델링 데이터를 이용하여 시간의 흐름에 따라 상기 3D 모델링 이미지가 상기 피사체의 동작에 대응되도록 형성된 4D 영상 콘텐츠를 제작하는 프로세스; 및 (iii) 사용자의 현 위치 정보 및 상기 사용자의 시선 방향 정보를 바탕으로 상기 현 위치 정보 및 상기 시선 방향 정보에 대응되는 상기 4D 영상 콘텐츠 데이터를 3D 디스플레이 장치를 통해 렌더링하여 가상 공간 시뮬레이션 데이터로 제공하는 프로세스; 를 수행하는 프로세서;를 포함하되,
    상기 4D 영상 콘텐츠 데이터는, 전통 춤에 관한 데이터이며, 상기 피사체의 손가락 동작, 손끝 동작, 발 동작, 발끝 동작, 발디딤 동작, 소품의 움직임 및 치맛자락의 움직임 중 적어도 하나의 정보를 포함하도록 구성되며,
    상기 (ii) 프로세스에서, 상기 4D 영상 콘텐츠 데이터는 각 프레임별로 상기 전통춤의 미감에 대한 레벨 데이터가 메타 데이터로 소정의 각 방향마다 연관되어 저장되도록 제작되며,
    상기 (iii) 프로세스에서, 특정 시각에 대응되는 프레임에서 상기 사용자가 바라보는 상기 피사체의 3D 모델링 데이터 방향의 메타 데이터와 타 방향의 메타 데이터를 비교하여 상기 사용자가 바라보는 방향의 메타 데이터가 상기 타 방향의 메타 데이터 중 특정 메타 데이터보다 작은 경우, 상기 프로세서는 상기 사용자에게 상기 특정 메타 데이터에 대응되는 타 방향으로 시선을 이동하면 더 높은 레벨의 전통춤의 미감을 시청할 수 있음을 제시하기 위해 시선 이동 방향 표시를 상기 3D 디스플레이 장치를 통해 표시하고,
    상기 (ii) 프로세스에서, 상기 4D 영상 콘텐츠 데이터는, 상기 전통춤과 관련된 음향 데이터를 포함하도록 생성되며, 상기 음향 데이터는 상기 피사체의 위치에서 상대적인 하나 이상의 음원 위치를 지정하여 상기 음원 위치를 기준으로 상기 음향 데이터가 출력하도록 제작되고, 아울러, 상기 4D 영상 콘텐츠 데이터는 각 프레임별로 상기 음향의 청감에 대한 레벨 데이터가 메타 데이터로 상기 가상 공간의 소정의 각 위치마다 연관되어 저장되도록 제작되며,
    상기 (iii) 프로세스에서, 특정 시각에 대응되는 프레임에서 상기 사용자의 상기 가상 공간에서의 위치에 대한 메타 데이터와 상기 가상 공간에서의 타 위치의 메타 데이터를 비교하여 상기 사용자가 존재하는 위치의 메타 데이터가 상기 타 위치의 메타 데이터 중 특정 메타 데이터보다 작은 경우, 상기 프로세서는 상기 사용자에게 상기 특정 메타 데이터에 대응되는 타 위치로 이동하면 더 높은 레벨의 음향 데이터의 청감을 시청할 수 있음을 제시하기 위해 시선 이동 방향 표시를 상기 3D 디스플레이 장치를 통해 표시하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 서버.
  9. 제 8 항에 있어서,
    상기 (i) 프로세스는, 상기 피사체의 서로 다른 방향에서 바라본 상기 서로 다른 카메라들로부터 획득된 특정 시각에 해당하는 프레임 및 이에 이웃하는 소정 개수의 프레임들에서의 이미지들을 참조로, 상기 피사체에 포함된 복수의 지점과 상기 다수의 카메라 사이의 각각의 거리와 각각의 각도를 바탕으로 상기 피사체에 포함된 상기 복수의 지점의 좌표 및 상기 피사체의 표면의 법선 벡터를 검출하고, 이를 바탕으로 상기 각 프레임당 상기 피사체의 3D 모델링 데이터를 생성하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 서버.
  10. 제 8 항에 있어서,
    상기 (i) 프로세스는, (a) 기 설정된 상기 피사체의 기본 3D 데이터 및 (b) 상기 피사체의 서로 다른 방향에서 바라본 상기 서로 다른 카메라들로부터 획득된 특정 시각에 해당하는 프레임 및 이에 이웃하는 소정 개수의 프레임들에서의 2D 이미지들을 참조로, 상기 피사체에 포함된 복수의 지점과 상기 다수의 카메라 사이의 각각의 거리와 각각의 각도를 바탕으로 검출된 상기 피사체에 포함된 상기 복수의 지점이 좌표 및 상기 피사체의 표면이 법선 벡터를 참조로 하여, 대응하는 상기 피사체의 기본 3D 데이터에 포함된 복수의 지점들의 위치 값과 법선 벡터들을 보정함으로써, 상기 각 프레임당 상기 피사체의 3D 모델링 데이터를 생성하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 서버.
  11. 제 8 항에 있어서,
    상기 (iii) 프로세스는, 상기 (ii) 프로세스에서 생성된 4D 영상 콘텐츠에서 상기 3D 디스플레이 장치에 디스플레이 되는 상기 가상 공간에서 특정 시각에 디스플레이 되는 상기 3D 모델링 데이터를 추출하고, 상기 사용자의 위치 정보 또는 소정의 인터페이스 장치를 통한 사용자의 입력에 대응하여, 상기 피사체의 3D 모델링 데이터를 중심으로 상기 사용자의 상대적인 위치를 특정하고, 상기 특정된 사용자의 위치에서 바라본 상기 피사체의 3D 모델링 데이터의 모습을 상기 3D 디스플레이 장치로 디스플레이 하되, 디스플레이 시간이 진행될 때 상기 사용자의 상대적인 위치의 이동에 따라 상기 피사체의 3D 모델링 데이터를 바라본 모습을 변화시켜가면서 상기 4D 영상 콘텐츠를 디스플레이하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 서버.
  12. 제 8 항에 있어서,
    상기 (iii) 프로세스는, 상기 (ii) 프로세스에서 생성된 4D 영상 콘텐츠에서 상기 3D 디스플레이 장치에 디스플레이 되는 상기 가상 공간에서 특정 시각에 디스플레이 되는 상기 3D 모델링 데이터를 추출하고, 상기 사용자의 위치 정보 또는 소정의 인터페이스 장치를 통한 사용자의 입력에 대응하여, 상기 피사체의 3D 모델링 데이터와 상기 사용자의 거리를 특정하고, 상기 특정된 거리를 참조로 하여 상기 피사체의 3D 모델링 데이터의 모습을 확대 또는 축소하여 상기 3D 디스플레이 장치로 디스플레이 하되, 디스플레이 시간이 진행될 때 상기 사용자의 상대적인 거리의 변화에 따라 상기 피사체의 3D 모델링 데이터를 바라본 크기를 변화시켜가면서 상기 4D 영상 콘텐츠를 디스플레이하는 것을 특징으로 하는 실감형 입체 영상 콘텐츠 제공 서버.
  13. 삭제
  14. 삭제
KR1020180003014A 2017-12-20 2018-01-09 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 KR102009400B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170176544 2017-12-20
KR1020170176544 2017-12-20

Publications (2)

Publication Number Publication Date
KR20190074911A KR20190074911A (ko) 2019-06-28
KR102009400B1 true KR102009400B1 (ko) 2019-08-12

Family

ID=67066222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180003014A KR102009400B1 (ko) 2017-12-20 2018-01-09 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버

Country Status (1)

Country Link
KR (1) KR102009400B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102273439B1 (ko) * 2019-12-31 2021-07-06 씨제이포디플렉스 주식회사 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법
CN113593351B (zh) * 2021-09-27 2021-12-17 华中师范大学 一种立体综合教学场系统的工作方法
KR20230093681A (ko) 2021-12-20 2023-06-27 한국전자통신연구원 렌더링된 영상의 품질 및 실감 향상 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053896A (ja) * 2009-05-18 2012-03-15 Kodaira Associates Kk 画像情報出力方法
KR101538947B1 (ko) * 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR101707939B1 (ko) * 2015-02-11 2017-02-17 한국과학기술원 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101752691B1 (ko) * 2011-12-14 2017-07-03 한국전자통신연구원 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053896A (ja) * 2009-05-18 2012-03-15 Kodaira Associates Kk 画像情報出力方法
KR101538947B1 (ko) * 2014-03-03 2015-07-29 서울과학기술대학교 산학협력단 실감형 자유시점 영상 제공 장치 및 방법
KR101707939B1 (ko) * 2015-02-11 2017-02-17 한국과학기술원 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김영은외 2인, 한국 전통무용 가상현실 콘텐츠 제작연구, 디지털 예술공학 멀티미디어 논문지, vol4, pp 1-7, 2017.12.01.

Also Published As

Publication number Publication date
KR20190074911A (ko) 2019-06-28

Similar Documents

Publication Publication Date Title
CN106170083B (zh) 用于头戴式显示器设备的图像处理
US11010958B2 (en) Method and system for generating an image of a subject in a scene
CN105955456B (zh) 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
KR101710521B1 (ko) 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
CN114766038A (zh) 共享空间中的个体视图
JP2019079552A (ja) イメージ形成における及びイメージ形成に関する改良
JP7244541B2 (ja) 拡張現実表示装置及び拡張現実表示方法
JP2020042802A (ja) ３次元コンテンツ内の場所に基づく仮想要素モダリティ
KR20160046471A (ko) 가상 피팅 장치 및 이의 가상 피팅 방법
US11128984B1 (en) Content presentation and layering across multiple devices
JP2012058968A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
US20190026935A1 (en) Method and system for providing virtual reality experience based on ultrasound data
KR102009400B1 (ko) 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
US11645823B2 (en) Neutral avatars
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
US11212502B2 (en) Method of modifying an image on a computational device
JP5864789B1 (ja) 鉄道模型観賞用装置、方法、プログラム、専用表示モニタ、合成用情景画像データ
CA3204613A1 (en) Volumetric video from an image source
JP7161200B2 (ja) カラオケ演出システム
KR102388715B1 (ko) 문화유적복원 실감 장치
KR20180122248A (ko) 인터랙티브 콘텐츠 제공 장치 및 그 방법
Beimler et al. Smurvebox: A smart multi-user real-time virtual environment for generating character animations
JP7044149B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant