KR20190016828A - System for 360-degree three-dimensional image based on Seamless Movement - Google Patents

System for 360-degree three-dimensional image based on Seamless Movement Download PDF

Info

Publication number
KR20190016828A
KR20190016828A KR1020170101270A KR20170101270A KR20190016828A KR 20190016828 A KR20190016828 A KR 20190016828A KR 1020170101270 A KR1020170101270 A KR 1020170101270A KR 20170101270 A KR20170101270 A KR 20170101270A KR 20190016828 A KR20190016828 A KR 20190016828A
Authority
KR
South Korea
Prior art keywords
movement
metadata
unit
server
degree
Prior art date
Application number
KR1020170101270A
Other languages
Korean (ko)
Inventor
김증섭
최병걸
Original Assignee
주식회사 에이투텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이투텍 filed Critical 주식회사 에이투텍
Priority to KR1020170101270A priority Critical patent/KR20190016828A/en
Publication of KR20190016828A publication Critical patent/KR20190016828A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • G03B19/26—Motion-picture cameras with fade-in and fade-out effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to an electronic device for generating a 360-degree 3D image, and an image processing method thereof and, more specifically, to an electronic device capable of providing a fade in/out moving effect and a camera moving velocity varying effect when an arbitrary view is included on a camera moving line, and an image processing method thereof. The electronic device for generating a 360-degree 3D image comprises a server unit and a virtual reality reproduction module unit. The server unit stores, manages, and transmits depending on a request immersive media, a 360-degree image, video streaming, seamless movement metadata, an augmented reality generating language + custom metadata, an augmented reality object resource, and web content, which are produced in a content generating unit for generating content by using an authoring tool. The virtual reality reproduction module unit selects a desired point by using data received from the server unit so that a user can experience a moving effect which is similar to a real movement in a real place. The server unit includes: a media server storing, managing, and transmitting depending on the request the immersive media, the 360-degree image, and the video streaming produced in the content generating unit; a metadata server storing, managing, and transmitting depending on the request the seamless movement metadata, and the augmented reality generating language + the customized metadata; and a web and resource server storing and managing the augmented reality object resource and the web content. The present invention reproduces the effect which is similar to the real movement of the user.

Description

심리스 무브먼트를 이용한 360도 3D 입체영상 시스템{System for 360-degree three-dimensional image based on Seamless Movement}A 360-degree 3D stereoscopic image system using a seamless movement is proposed.

본 발명은 360도 3D 입체 영상을 생성하는 전자 장치 및 이의 영상 처리 방법에 관한 것으로 보다 구체적으로, 페이드 인/아웃 이동효과, 카메라의 이동속도 가변효과, 카메라 이동선 상에 임의의 뷰가 포함될 때 보여지는 전자 장치 및 이의 영상 처리 방법에 관한 것이다.The present invention relates to an electronic device for generating a 360-degree 3D stereoscopic image and an image processing method thereof. More particularly, the present invention relates to an electronic device for generating a 360-degree 3D stereoscopic image by using a fade in / And an image processing method thereof.

본 발명은 인터넷에 있어서, 3차원 영상 프로그램를 이용하여 콘텐츠를 구성하고 미술관, 전시관, 쇼핑몰 등의 제품을 3차원 그래픽으로 회전영상 및 작동영상을 감상할 수 있는 3차원 가상현실 공간을 이용한 사이버전시 시스템 및 전시방법에 관한 것이다.The present invention relates to a cyber exhibition system using a three-dimensional virtual reality space capable of constructing contents using a three-dimensional image program and viewing products such as art museums, exhibition halls, shopping malls, And a display method.

인터넷의 등장과 함께 21세기는 지식정보화 사업을 맞이하고 있고, 수많은 정보가 범람하고 있다. 현재 인터넷은 전화 및 TV와 같이 우리 생활에서 필수적인 매체이며, 다수의 사람들이 인터넷을 통하여 시간과 공간을 초월하여 특별한 목적을 달성하기 위해 순수한 목적의 동호회, 동문회, 상업적 목적을 위한 사이버 쇼핑몰 등으로 다양한 커뮤니티(COMMUNITY)를 구성하고 있다.With the advent of the Internet, the 21st century welcomes the knowledge information business, and a lot of information is flooded. Currently, the Internet is an indispensable medium in our daily life, such as telephone and TV. Many people use the Internet to transcend time and space to achieve a specific purpose. To do so, we use various kinds of services such as pure interest clubs, alumni associations, and cyber shopping malls for commercial purposes. It is composed of COMMUNITY.

일반적으로 인터넷에서 커뮤너티를 구성하는 방법은 해당 커뮤너티에 관련된 사람들이 포탈 사이트를 통해 온라인으로 형성된다.Generally, a method of configuring a community on the Internet is formed by people related to the community through a portal site.

그리고, 최근 인터넷, 정보통신, 생명공학 등 최첨단 기술의 발달과 함께 성장이 빠르며 부가가치가 높은 벤처기업이 등장하고 있으며, 각 벤처기업은 생산한 제품을 벤처기업 제품 전시행사를 통해 전시하여, 수요자와의 연결 및 투자자 유치 등의 다양한 목적을 달성하고 있다.Recently, venture companies with fast growth and high added value are emerging with the development of cutting-edge technologies such as internet, information communication, biotechnology, etc. Each venture company displays its products through venture company product exhibition events, And to attract investors.

또한, 최근 인터넷을 통해 각 기업은 전자상거래라는 방식을 통해 자기 회사의 제품을 2차원 영상으로 전시하고, 제품에 대한 정보를 기재하여 구매하고자 하는 이용자는 다양한 거래방식을 통해 제품을 판매한다.Also, recently, through the Internet, each company displays products of its company in a two-dimensional image through an electronic commerce method, and a user who wants to purchase information by describing products sells products through various transaction methods.

그리고, 보다 더 진보적인 방식으로는 3차원적으로 제품을 모델링시켜 전자상거래에 응용하는 기업도 있다. 대부분 3차원적인 방식은 비디오로 촬영한 영상을 동영상으로 디스플레이 하거나 또는 VRML 프로그램을 이용하여 가상적인 제품의 형태를 모델링 하여 디스플레이시킨다.And, in a more progressive way, there are companies that model products in three dimensions and apply them to electronic commerce. Most of the three-dimensional methods display video images taken by video or model VRML programs to display a virtual product form.

공개특허공보 제10-2001-0098336호(2001.11.08)Published Patent Application No. 10-2001-0098336 (November 11, 2001)

종래 기술을 통하여 가상현실 공간을 미술관, 쇼핑몰, 면세점 등 양방향성의 상거래 콘텐츠를 구현했을 시, 이동 효과 후 예상치 못한 장면 전환이 발생하거나 장면 전환 후 새로운 가상현실 화면 로딩 성능이 저하되는 문제점으로 고객의 쇼핑 현장감 및 실제감 전달이 부족한 실정이다. When the virtual reality space is implemented with bi-directional commercial contents such as art galleries, shopping malls, and duty-free shops through the conventional technology, unexpected scene change occurs after the movement effect, or new virtual reality screen loading performance degrades after the scene change. There is a lack of sense of realism and real feeling.

본 발명은 상기의 목적을 달성하기 위해 아래와 같은 특징을 갖는다. The present invention has the following features in order to achieve the above object.

본 발명은 저작 도구를 이용하여 콘텐츠를 생성하는 콘텐츠 생성부에서 제작된 실감 미디어, 360도 이미지, 비디오 스트리밍, 심리스 무브먼트 메타데이터, 증강현실생성언어 + 커스텀 메타데이터, 증강현실객체자원, 웹 콘텐츠를 저장, 관리하고 요청에 따라 전송하는 서버부와 상기 서버부로 부터 전송받은 데이터를 이용하여 사용자에게 실제로 그장소에서 실제적인 이동과 비슷한 이동 효과를 재현할 수 있게 원하는 지점을 선택하고 가상현실재생모듈부를 포함한다. The present invention relates to a realistic media, a 360-degree image, a video streaming, a seamless movement metadata, an augmented reality generating language + custom metadata, an augmented reality object resource, and a web content produced by a content generating unit for generating a content using an authoring tool A virtual reality reproduction module unit for selecting a desired point so as to reproduce a movement effect similar to an actual movement at the actual place by using a server unit for storing, managing, transmitting according to a request, and data transmitted from the server unit; .

여기서 서버부는 콘텐츠 생성부에서 제작된 실감 미디어, 360도 이미지, 비디오 스트리밍을 저장, 관리 하고 요청에 따라 전송하는 미디어 서버와 심리스 무브먼트 메타데이터, 증강현실생성언어 + 커스텀 메타데이터를 저장, 관리 하고 요청에 따라 전송하는 메타 데이터 서버와 증강현실객체자원, 웹 콘텐츠를 저장, 관리하는 웹 및 리소스 서버로 구성된다. Here, the server unit stores and manages real media, 360-degree images, and video streaming produced by the content generation unit, a media server for storing and managing requests, seamless movement metadata, augmented reality generation language and custom metadata, And a web server for storing and managing web contents, and a resource server for managing augmented reality object resources and web contents.

또한 가상현실재생모듈부는 실제로 그 장소에 있는 것처럼 사용자의 이동과 비슷한 이동 효과(심리스 무브먼트)를 재현하기 위한 페이드 인/아웃 이동효과부와 카메라의 위치에 따른 가변적인 카메라이동속도를 적용시키는 가변카메라이동속도부와 카메라 이동시작점에서 카메라 이동목적지까지 이동선 상에 임의의 360도 이미지가 존재하고 임의의 360도 이미지의 중심점과 이동선의 거리가 임계값보다 적을 경우 임의의 360도 이미지가 보여지도록 하는 경로통과부(43)를 포함한다. In addition, the virtual reality reproduction module includes a fade-in / -out movement effect unit for reproducing a movement effect (seamless movement) similar to the movement of the user, and a variable camera for applying a variable camera movement speed according to the position of the camera A 360 degree image exists on the moving line from the moving speed part and the camera moving start point to the camera moving destination, and a path for displaying an arbitrary 360 degree image when the distance between the center point of the arbitrary 360 degree image and the moving line is less than the threshold value And a passing portion 43.

본 발명에 따르면 심리스 무브먼트 기능을 이용하여 이동 포인트에 대한 제한이 없고 쇼핑몰, 면세점 등 양방향성의 상거래 콘텐츠를 제작하여 사용자가 미술관, 쇼핑몰, 면세점을 직접가지 않고도 실제로 그 장소에 있는 것처럼 사용자의 이동과 비슷한 이동 효과를 재현할 수 있다.According to the present invention, there is no restriction on the moving point by using the seamless movement function, and the interactive commerce contents such as the shopping mall and the duty free shop are produced so that the user can enjoy the shopping movement similar to the movement of the user The movement effect can be reproduced.

도 1은 (심리스 무브먼트를 이용한) 360도 3D 입체영상 시스템의 구성을 도시한 도면이다.
도 2는 서버부의 구성을 도시한 도면이다.
도 3은 심리스 무브먼트 효과 처리과정을 나타낸 흐름을 도시한 도면이다.
도 4는 가상현실재생모듈부의 구성을 도시한 도면이다.
도 5는 콘텐츠 생성부에서 찍힌 영상들을 단위구 표면에 투영하여 구형영상 생성과정을 나타내는 흐름을 도시한 도면이다.
도 6은 페이드 인/아웃 이동효과를 도시한 도면이다.
도 7은 페이드 인/아웃 이동효과 구간 설정범위를 도시한 도면이다.
도 8은 가변적인 카메라 이동속도를 제공하기 위한 정규 분포 그래프를 도시한 도면이다.
도 9는 카메라 이동시작점에서 카메라 이동목적지까지 이동선 상에 임의의 360도 이미지가 존재하고 임의의 360도 이미지의 중심점과 이동선의 거리가 임계값보다 적을 경우 임의의 360도 이미지가 보여지도록 하는 경로 통과 효과를 도시한 도면이다.1 is a diagram showing a configuration of a 360-degree 3D stereoscopic image system (using a seamless movement).
2 is a diagram showing a configuration of a server unit.
3 is a flowchart showing a seamless movement effect processing process.
4 is a diagram showing a configuration of a virtual reality reproduction module section.
FIG. 5 is a flowchart illustrating a process of generating a rectangular image by projecting images taken by the content generation unit onto a unit spherical surface.
6 is a diagram showing a fade in / out movement effect.
7 is a diagram showing a fade in / out movement effect interval setting range.
8 is a graph showing a normal distribution graph for providing a variable camera moving speed.
FIG. 9 illustrates an example of a path through which an arbitrary 360-degree image is displayed when there is an arbitrary 360-degree image on the moving line from the camera movement start point to the camera movement destination and the distance between the center point of the arbitrary 360- Fig.

이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 참고로, 본 발명을 설명하는데 참조하는 도면에 도시된 구성요소의 크기, 선의 두께 등은 이해의 편의상 다소 과장되게 표현되어 있을 수 있다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. For reference, the size, line thickness, and the like of the components shown in the drawings referred to in describing the present invention may be somewhat exaggerated for ease of understanding.

또, 본 발명의 설명에 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의한 것이므로 사용자, 운용자 의도, 관례 등에 따라 달라질 수 있다. The terms used in the description of the present invention are defined in consideration of the functions of the present invention, and thus may be changed depending on the user, the intention of the operator, customs, and the like.

따라서, 이 용어에 대한 정의는 본 명세서의 전반에 걸친 내용을 토대로 내리는 것이 마땅하다.Therefore, the definition of this term should be based on the entire contents of this specification.

또한, 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.It is to be understood that the present invention is not limited to the disclosed embodiments, but may be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to let you know completely.

그러므로, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 구현 예(態樣, aspect)(또는 실시 예)들을 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 하고, 본 명세서에서 사용한 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Therefore, it is intended that the present invention covers the modifications and variations of this form, and that the embodiments herein be described in detail in the specification. It is to be understood, however, that the appended claims are intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the present invention, and that the singular forms " Includes plural representation unless expressly stated otherwise.

다만, 본 발명을 설명함에 있어서, 주지 또는 공지된 기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 명료하게 하기 위하여 생략하기로 한다.In the following description, well-known functions or constructions are not described in detail to avoid obscuring the subject matter of the present invention.

먼저 본 발명은 도 1과 같이 가상현실 콘텐츠 프로젝트를 관리하고 타임라인 기반 증강현실 객체를 편집 및 관리하며 증강현실 객체 또는 메타데이터 또는 360도 동영상, 이미지 등의 콘텐츠 생성 기능을 가지는 저작도구(1)가 포함되는 콘텐츠 생성부(2)와 콘텐츠와 증강현실객체의 렌더링 기능을 가지고 심리스 무브먼트 이동효과로 실제로 그 장소에 있는 것처럼 사용자의 이동과 비슷한 이동 효과를 재현할 수가 있는 가상현실재생모듈부(4)와 상기 저작도구(1)를 통해 생성된 실감 미디어, 360도 이미지, 비디오 스트리밍, 심리스 무브먼트 메타데이터, 증강현실생성언어,커스텀 메타데이터, 증강현실객체자원, 웹 콘텐츠를 저장하고 상기 가상현실재생모듈부(4)의 요청에 응답하고 데이터를 전송하는 서버부(3)로 구성된다.1, the present invention provides an authoring tool 1 for managing a virtual reality content project, editing and managing a time line-based augmented reality object, and a content creation function for augmented reality object or metadata, And a virtual reality reproduction module 4 (4) which has a rendering function of contents and augmented reality objects and can reproduce a movement effect similar to the movement of the user as if it is actually located at a seamless movement movement effect ), A realistic media generated through the authoring tool 1, a 360-degree image, video streaming, seamless movement metadata, an augmented reality creating language, custom metadata, augmented reality object resource, And a server unit 3 for responding to the request of the module unit 4 and transmitting data.

상기 서버부(3)는 도2에 도시된 바와 같이, 미디어서버(31)와 메타 데이터서버(32)와 웹 및 리소스 서버(33)로 구성된다. As shown in FIG. 2, the server unit 3 includes a media server 31, a metadata server 32, and a web and resource server 33.

여기서, 상기 미디어서버(31)는 콘텐츠 생성부(2)에서 제작 된 실감 미디어와 360도 이미지(7,7A,7B)와 비디오 스트리밍을 관리 및 저장하고 가상현실재생모듈부(4)의 요청시 데이터를 전송한다.Here, the media server 31 manages and stores real-life media, 360-degree images (7, 7A, 7B) and video streaming produced by the content generation unit 2, And transmits the data.

그리고, 상기 메타 데이터서버(32)는 콘텐츠 생성부(2)에서 제작 된 부드러운 움직임이 가능하도록 하기 위한 심리스 무브먼트 메타데이터와 키홀 마크업 언어(KML: Keyhole Markup Language)를 기반으로 하여, 가상 객체를 표시하기 위한 확장성 생성 언어(XML)와 가상 객체 속성을 연결하기 위해 ECMAscript 등으로 구성되는 증강현실생성언어와 커스텀 메타데이터를 관리 및 저장하고 가상현실재생모듈부(4)의 요청시 데이터를 전송한다.The metadata server 32 is configured to perform a seamless movement based on the seamless movement metadata and the keyhole markup language (KML) to enable the smooth movement produced by the content generation unit 2, And an ECMAscript or the like for linking the virtual object properties with the extensibility generation language (XML) for displaying and managing the metadata, and when the virtual reality reproduction module 4 requests the data, do.

또한, 상기 웹 및 리소스 서버(33)는 저작도구(1)를 통하여 제작된 증강현실객체 리소스를 관리하고 웹 콘텐츠를 관리한다. Also, the web and resource server 33 manages the augmented reality object resource produced through the authoring tool 1 and manages the web contents.

이상과 같은 구성으로 이루어진 본 발명의 작용을 도 3과 같은 실시예를 통하여 설명하면 다음과 같다.The operation of the present invention having the above-described structure will now be described with reference to an embodiment as shown in FIG.

먼저, 사용자가 가상현실재생모듈부(4)의 디스플레이부(44)를 통하여 원하는 이동지점을 확인하며 선택할 수 있다.First, the user can select and select a desired moving point through the display unit 44 of the virtual reality reproduction module 4.

이 때, 가상현실재생모듈부(4)는 이동지점과 관련된 심리스 무브먼트 메타데이터를 리스트별로 검색하고 서버부(4)의 메타데이터 서버(32)에 요청한다.At this time, the virtual reality playback module 4 searches the list of seamless movement metadata related to the moving point by the list and requests the metadata server 32 of the server unit 4.

그러면, 상기 메타데이터 서버(32)는 해당 심리스 무브먼트 메타데이터를 가상현실재생모듈부(4)로 전송하고 최종목적지로 카메라 이동이 시작되며 심리스 무브먼트 효과가 활성화 되고 최종목적지로 카메라 이동이 종료된다.Then, the metadata server 32 transmits the seamless movement metadata to the virtual reality playback module 4, moves the camera to the final destination, activates the seamless movement effect, and ends the camera movement to the final destination.

마지막으로 카메라가 재배치되며 사용자에게 보여지게 된다.Finally, the camera is rearranged and shown to the user.

한편, 상기 가상현실재생모듈부(4)는 도 4에 도시된 바와 같이 상기 디스플레이부(44)와 페이드 인/아웃 이동효과부와 가변카메라 이동속도부와 경로통과부(43)로 구성된다.4, the virtual reality reproduction module 4 includes the display unit 44, a fade in / out movement effect unit, a variable camera moving speed unit, and a path passing unit 43. [

도 5에 도시된 바와 같이 촬영부(5)를 통해 영상을 촬영하고 저작도구(1)를 통하여 사진을 이어 붙이는 영상스티치(6)작업 후 찍힌 영상들을 단위구 표면에 투영하여 360도 이미지(7, 7A, 7B, 7C)를 생성 후 서버부(4)를 통하여 가상현실재생모듈부(4)로 과정을 필요로 한다.As shown in FIG. 5, images taken after the operation of the image stitch 6, which shoots an image through the photographing unit 5 and attaches a photograph through the authoring tool 1, onto the surface of the unit sphere, , 7A, 7B, and 7C, and then the virtual reality playback module 4 needs to be processed through the server unit 4.

상기 360도 이미지(7, 7A, 7B, 7C)를 이용하여 거리정보를 획득하고 거리정보를 이용하여 360도 입체영상을 생성하는데 도6과 도7에 도시된 상기 페이드 인/아웃 이동효과부를 통해 부드러운 움직임을 구현하고 사용자가 미술관, 쇼핑몰, 면세점을 직접가지 않고도 실제로 그 장소에 있는 것처럼 사용자의 이동과 비슷한 이동 효과를 재현할 수 있도록 한다.The distance information is obtained using the 360-degree images (7, 7A, 7B, 7C) and the 360-degree stereoscopic image is generated using the distance information through the fade-in / It enables smooth movements and enables users to reproduce movement effects similar to the user's movements as if they were actually in the place, without having to go directly to the museum, shopping mall, or duty-free shop.

또한, 상기 저작도구(1)이용하여 촬영된 360도 이미지 간의 거리, 방향 및 이동 지점을 표시하여 이미 생성한 심리스무브먼트 메타 데이터와 증강현실 객체파일을 서버부(4)로 부터 다운받아 자유로운 편집이 가능토록 하여 사용자가 원하는 임의의 매장디스플레이 현재 매장의 증강현실 객체상품도 전시할 수 있도록 한다.Also, the seamless movement metadata and the augmented reality object file, which have been generated by displaying the distance, the direction, and the moving point between the 360 degree images photographed by the authoring tool 1, are downloaded from the server unit 4, So that the user can display any desired augmented reality object product in the store.

도6에 도시된 바와 같이이동시작점A에서 최종목적지B로 카메라이동이 시작되면 이동시작지점의 360도 이미지(7A)는 점진적으로 사라지게 하고 최종목적지의 360도 이미지(7B)는 그대로 두어 종래의 기술과 달리 화면이동시에 끊김이 없고 부드러운 움직임으로 보여지게 된다 6, when the camera movement starts from the movement start point A to the final destination B, the 360-degree image 7A of the movement start point gradually disappears and the 360-degree image 7B of the final destination is left as it is, , The screen will be displayed smoothly without interruption at the same time

그리고 도 7에 도시된 바와 같이 페이드 인/아웃 시 이동시작지점 360도 이미지와 최종목적지의 360도 이미지(7B) 구간 내에서 자유롭게 설정이 가능하도록 한다. As shown in FIG. 7, the movement start point 360 in the fade in / out state can be freely set within the 360 ° image (7B) section of the image and the final destination.

상기 가상현실재생모듈부(4)의 가변카메라 이동속도부는 도 8에 도시된 바와 같이 정규 분포 그래프 형태의 함수를 사용하여 시작점에서는 최소 이동속도를 적용하고 X가 μ가 되는 지점에서는 최대속도를 적용하고 최종점에서는 다시 최소 이동속도를 적용하여 실제 움직임과 유사한 효과를 가질 수 있게 한다.As shown in FIG. 8, the variable camera moving speed unit of the virtual reality reproducing module unit 4 applies a minimum moving speed at a starting point and a maximum speed at a point where X becomes μ using a function of a normal distribution graph form At the final point, the minimum movement speed is applied again, so that it can have an effect similar to the actual motion.

도 9에 도시된 바와 같이 상기 가상현실재생모듈부(4)의 경로통과부(43)는 시작점에서 최종점으로 이동하고자 할 때 이동선 상에 임의의 360도 이미지(7C)가 존재하면 해당 이미지를 이동효과에 적용하는 것으로 이동 직선과 임의의 이미지의 중심점과의 거리(d)가 지정된 임계값보다 적을 경우에는 카메라 이동시에 360도 이미지(7C)가 보여지도록 한다. As shown in FIG. 9, when an arbitrary 360-degree image 7C exists on the moving line when the path passing unit 43 of the virtual reality reproducing module unit 4 moves from the starting point to the final point, When the distance (d) between the moving straight line and the center point of an arbitrary image is smaller than the predetermined threshold value, the 360-degree image (7C) is displayed at the time of moving the camera.

1. 저작 도구 31. 미디어 서버
2. 콘텐츠 생성부 32. 메타데이터 서버
3. 서버부 33. 웹 및 리소스 서버
4. 가상현실재생모듈부 41. 페이드 인/아웃 이동효과부
5. 촬영부 42. 가변카메라 이동속도부
6. 스티치 영상 43. 경로통과부
7. 360도 이미지 44. 디스플레이부
7A,7B,7C. 360도 이미지1. Authoring tool 31. Media server
2. Content Generation Unit 32. Metadata Server
3. Server Part 33. Web and Resource Server
4. Virtual Reality Playback Module Section 41. Fade In /
5. Shooting part 42. Variable camera moving speed part
6. stitch image 43. path passing portion
7. 360 degree image 44. Display part
7A, 7B, 7C. 360 degree image

Claims (4)

저작 도구(1)를 이용하여 콘텐츠를 생성하는 콘텐츠 생성부(2);
상기 콘텐츠 생성부(2)에서 제작된 실감 미디어, 360도 이미지(7, 7A, 7B, 7C), 비디오 스트리밍, 심리스 무브먼트 메타데이터, 증강현실생성언어, 커스텀 메타데이터, 증강현실객체자원, 웹 콘텐츠를 저장, 관리하고 요청에 따라 전송하는 서버부(3);
상기 서버부(3)로 부터 전송받은 데이터를 이용하여 사용자에게 실제로 그 장소에서 실제적인 이동과 비슷한 이동 효과를 재현할 수 있게 원하는 지점을 선택하고 가상현실재생모듈부(4);
를 포함하는 것을 특징으로 하는 심리스 무브먼트를 이용한 360도 3D 입체영상 시스템.
A content generation unit (2) for generating a content using the authoring tool (1);
The realistic media, the 360-degree images (7, 7A, 7B and 7C), the video streaming, the seamless movement metadata, the augmented reality creating language, the custom metadata, A server unit 3 for storing, managing, and transmitting on request;
A virtual reality reproduction module 4 for selecting a desired point so as to reproduce a movement effect similar to an actual movement at the place, using the data transmitted from the server unit 3;
Dimensional stereoscopic image using a seamless movement.
제1항에 있어서,
상기 서버부(3)는 콘텐츠 생성부(2)에서 제작된 실감 미디어, 360도 이미지, 비디오 스트리밍을 저장, 관리 하고 요청에 따라 전송하는 미디어 서버(31);
심리스 무브먼트 메타데이터, 증강현실생성언어, 커스텀 메타데이터를 저장, 관리 하고 요청에 따라 전송하는 메타 데이터 서버(32);
증강현실객체자원, 웹 콘텐츠를 저장, 관리하는 웹 및 리소스 서버(33);
로 구성되는 것을 특징으로 하는 심리스 무브먼트를 이용한 360도 3D 입체영상 시스템.
The method according to claim 1,
The server unit 3 includes a media server 31 for storing, managing, and transmitting sensible media, 360-degree images, and video streaming produced by the content generating unit 2, upon request;
A metadata server 32 for storing and managing seamless movement metadata, augmented reality creating language, and custom metadata, and transmitting the metadata according to a request;
A web and resource server 33 for storing and managing augmented reality object resource, web content;
Dimensional stereoscopic image using a seamless movement.
제2항에 있어서,
상기 가상현실재생모듈부(4)는 실제로 그 장소에 있는 것처럼 사용자의 이동과 비슷한 이동 효과를 재현하기 위한 페이드 인/아웃 이동효과부(41);
카메라의 위치에 따른 가변적인 카메라이동속도를 적용시키는 가변카메라이동속도부(42);
카메라 이동시작점에서 카메라 이동목적지까지 이동선 상에 임의의 360도 이미지가 존재하고 임의의 360도 이미지의 중심점과 이동선의 거리가 임계값보다 적을 경우 임의의 360도 이미지가 보여지도록 하는 경로통과부(43);
이동점을 선택하고 사용자에게 콘텐츠를 보여주는 디스플레이부(44);
를 포함하는 것을 특징으로 하는 심리스 무브먼트를 이용한 360도 3D 입체영상 시스템.
3. The method of claim 2,
The virtual reality reproduction module 4 includes a fade in / out movement effect unit 41 for reproducing a movement effect similar to a movement of a user as if the virtual reality reproduction module unit 4 actually existed.
A variable camera moving speed unit 42 for applying a variable camera moving speed according to the position of the camera;
A path passing portion 43 for allowing an arbitrary 360-degree image to be displayed when the distance between the center point of the arbitrary 360-degree image and the moving line is less than the threshold value, from the camera movement start point to the camera movement destination, );
A display unit 44 for selecting the movement point and displaying the content to the user;
Dimensional stereoscopic image using a seamless movement.
제3항에 있어서.
상기 저작도구(1)는 심리스무브먼트 메타 데이터와 증강현실 객체파일을 서버부(4)로 부터 다운받아 자유로운 편집이 가능토록하는 심리스 무브먼트를 이용한 360도 3D 입체영상 시스템.


4. The method of claim 3,
The authoring tool 1 is a 360-degree 3D stereoscopic image system using a seamless movement in which seamless movement metadata and an augmented reality object file are downloaded from the server unit 4 and allowed to be freely edited.


KR1020170101270A 2017-08-09 2017-08-09 System for 360-degree three-dimensional image based on Seamless Movement KR20190016828A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170101270A KR20190016828A (en) 2017-08-09 2017-08-09 System for 360-degree three-dimensional image based on Seamless Movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170101270A KR20190016828A (en) 2017-08-09 2017-08-09 System for 360-degree three-dimensional image based on Seamless Movement

Publications (1)

Publication Number Publication Date
KR20190016828A true KR20190016828A (en) 2019-02-19

Family

ID=65528884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170101270A KR20190016828A (en) 2017-08-09 2017-08-09 System for 360-degree three-dimensional image based on Seamless Movement

Country Status (1)

Country Link
KR (1) KR20190016828A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210076615A (en) 2019-12-16 2021-06-24 삼성에스디에스 주식회사 Method and appratus for providong video infromation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010098336A (en) 2000-04-20 2001-11-08 이영규 Cyber pavilion system and exhibition method using 3-dimentional virtual reality space

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010098336A (en) 2000-04-20 2001-11-08 이영규 Cyber pavilion system and exhibition method using 3-dimentional virtual reality space

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210076615A (en) 2019-12-16 2021-06-24 삼성에스디에스 주식회사 Method and appratus for providong video infromation
US11276239B2 (en) 2019-12-16 2022-03-15 Samsung Sds Co., Ltd. Method and apparatus for providing video information

Similar Documents

Publication Publication Date Title
US10564820B1 (en) Active content in digital media within a media universe
US10970843B1 (en) Generating interactive content using a media universe database
CA2962825C (en) User interaction analysis module
US11709576B2 (en) Providing a first person view in a virtual world using a lens
US9224156B2 (en) Personalizing video content for Internet video streaming
TW201103325A (en) Method and system for presenting content
US11513658B1 (en) Custom query of a media universe database
Langlotz et al. AR record&replay: situated compositing of video content in mobile augmented reality
Mendes et al. An authoring model for interactive 360 videos
Li et al. Introduction to multimedia
CN111277890A (en) Method for acquiring virtual gift and method for generating three-dimensional panoramic live broadcast room
Regenbrecht et al. Voxelvideos for entertainment, education, and training
KR20190016828A (en) System for 360-degree three-dimensional image based on Seamless Movement
Choi et al. New promotional video technique utilizing augmented reality and popcode
KR20000024676A (en) Method for supplying multimedia data through Internet and method of providing entertainment information thereby
WO2023076649A1 (en) Ingesting 3d objects from a virtual environment for 2d data representation
KR101221540B1 (en) Interactive media mapping system and method thereof
Nunes et al. Humanitarian Documentary: A Comparison Study between VR and Non-VR Productions
CN113313840A (en) Real-time virtual system and real-time virtual interaction method
Bitter et al. Towards mobile holographic storytelling at historic sites
KR20180041879A (en) Method for editing and apparatus thereof
Chen et al. The comparison and analysis of several common VR panoramic display methods
Demiris et al. intGuide: A platform for context-aware services featuring augmented-reality, based on the outcome of European Research Projects
Bottino et al. The role of computer games industry and open source philosophy in the creation of affordable virtual heritage solutions
Bibiloni et al. An Augmented Reality and 360-degree video system to access audiovisual content through mobile devices for touristic applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application