KR102239877B1 - 3차원 vr 콘텐츠 제작 시스템 - Google Patents

3차원 vr 콘텐츠 제작 시스템 Download PDF

Info

Publication number
KR102239877B1
KR102239877B1 KR1020180165133A KR20180165133A KR102239877B1 KR 102239877 B1 KR102239877 B1 KR 102239877B1 KR 1020180165133 A KR1020180165133 A KR 1020180165133A KR 20180165133 A KR20180165133 A KR 20180165133A KR 102239877 B1 KR102239877 B1 KR 102239877B1
Authority
KR
South Korea
Prior art keywords
content
stereoscopic
user
designation
sound
Prior art date
Application number
KR1020180165133A
Other languages
English (en)
Other versions
KR20200076234A (ko
Inventor
김성국
Original Assignee
주식회사 에이투젯
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이투젯 filed Critical 주식회사 에이투젯
Priority to KR1020180165133A priority Critical patent/KR102239877B1/ko
Priority to PCT/KR2019/010519 priority patent/WO2020130275A1/ko
Publication of KR20200076234A publication Critical patent/KR20200076234A/ko
Application granted granted Critical
Publication of KR102239877B1 publication Critical patent/KR102239877B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 VR(Virtual Reality) 콘텐츠를 제작함에 있어서 3D 오브젝트 자동 생성 기술, VR 오버레이 기술, 반응형 3D 입체 사운드 기술 등을 적용함으로써 사용자 인터랙션이 강화됨은 물론 이종 미디어와의 병합이 가능하며 기존의 상용 하드웨어 기기(예를 들어, PC, 스마트폰, HMD 등)에서 즉시 작동이 가능한 VR 콘텐츠를 제작할 수 있는 Mixed VR 콘텐츠 제작 기술 및 이를 위한 플랫폼 구현 기술에 관한 것이다. 본 발명의 실시예에 따른 Mixed VR 콘텐츠 제작 및 플랫폼 구현 기술에 의하면, 관광 비즈니스(예를 들면, VR 홍보, 체험, 예약, 결제 등), 쇼핑(예를 들면, 홈쇼핑, 관광기념품 등의 판매, 결제 등), 교육, 부동산 등 다양한 분야로 활용이 가능한 VR 콘텐츠를 손쉽게 제작할 수 있고, 소상공인, 개인들도 자신이 만든 Mixed VR 콘텐츠를 독립된 APP과 WEB으로 만들어 홍보 및 서비스가 가능한 효과가 있다.

Description

3차원 VR 콘텐츠 제작 시스템{SYSTEM FOR PRODUCING 3 DIMENSION VIRTUAL REALITY CONTENT}
본 발명은 VR(Virtual Reality) 콘텐츠를 제작함에 있어서 3D 오브젝트 자동 생성 기술, VR 오버레이 기술, 반응형 3D 입체 사운드 기술 등을 적용함으로써 사용자 인터랙션이 강화됨은 물론 이종 미디어와의 병합이 가능하며 기존의 상용 하드웨어 기기(예를 들어, PC, 스마트폰, HMD 등)에서 즉시 작동이 가능한 VR 콘텐츠를 제작할 수 있는 Mixed VR 콘텐츠 제작 기술 및 이를 위한 플랫폼 구현 기술에 관한 것이다.
최근 들어 360도 VR(Virtual Reality) 콘텐츠가 각광받고 있는데, 개인들도 액션캠, 360도 카메라, 드론 등을 이용하여 많은 VR 콘텐츠를 제작하고 있다. 또한 기업과 국가에서도 다양한 형태의 VR 콘텐츠를 제작하고 제공하고 있는데, 지금까지는 개별적인 VR 콘텐츠를 많은 비용을 투자해 제작 업체에 의뢰하는 형태가 대다수였다. 이러한 이유로 수준 높은 VR 콘텐츠가 적고 일반 소비자에게 다가가기 힘든 악순환이 이어지고 있다.
현재 VR 콘텐츠의 경우, 그 비즈니스 모델이 아직 확립되지 않은 초기 시장의 형태로 이를 타파하고 실생활에서 VR 콘텐츠가 활성화 되기 위해서는 더 많은 개인 창작자들이 다양한 VR 콘텐츠를 만들고 이를 활용한 실제 사업이 꾸준히 전개되어야 한다.
이러한 시장 상황에서 관광 비즈니스 소상공인, 기업, 관공서에 이르기까지 다양한 분야에서 활용이 가능한 개방형 VR 콘텐츠 플랫폼으로서 Mixed VR 플랫폼이 제공되어야 할 필요가 있다. 이러한 Mixed VR 플렛폼이 제공되게 되면, 관광 비즈니스(예를 들면, VR 홍보, 체험, 예약, 결제 등), 쇼핑(예를 들면, 홈쇼핑, 관광기념품 등의 판매, 결제 등), 교육, 부동산 등 다양한 분야로 활용이 가능하다.
또한 Mixed VR 플랫폼에 의하면, 이미 보편화된 파노라마 이미지(예를 들면, 스마트폰, 디지털 카메라에 의해 생성되는 파노라마 이미지), 360도 카메라(예를 들어, 인스타 360, 삼성Gear 360 등), 액션캠(예를 들어, 360도 액션캠) 등을 활용해 촬영한 이미지와 동영상을 이용하여 VR 관광 비즈니스, VR 쇼핑몰 등을 손쉽게 운영할 수 있게 된다.
또한 이러한 Mixed VR 플랫폼에 의하면, 유투브로 인해 유투버라 불리는 개인 영상 콘텐츠 창작자 시대가 열린 것과 같이, 개방형 VR 콘텐츠 제작 시대를 열수 있을 것으로 기대된다.
본 발명은 VR(Virtual Reality) 콘텐츠를 제작함에 있어서 3D 오브젝트 자동 생성 기술, VR 오버레이 기술, 반응형 3D 입체 사운드 기술 등을 적용함으로써 사용자 인터랙션이 강화됨은 물론 이종 미디어와의 병합이 가능하며 기존의 상용 하드웨어 기기(예를 들어, PC, 스마트폰, HMD 등)에서 즉시 작동이 가능한 VR 콘텐츠를 제작할 수 있는 Mixed VR 콘텐츠 제작 기술 및 이를 위한 플랫폼 구현 기술을 제공하고자 한다.
본 발명의 일 측면에 따르면, 3D VR(3-dimension Virtual Reality) 콘텐츠 제작 시스템으로서, 기 제작된 360도 입체 파노라마 VR 내에 실감 콘텐츠를 삽입할 수 있도록 보조하는 소프트웨어 툴(software tool)을 사용자에게 제공하며, 사용자 입력을 수신하는 GUI(Graphical User Interface)부; 상기 GUI부를 통해 사용자가 지정한 실감 콘텐츠를 상기 360도 입체 파노라마 VR 내에 적용하는 실감 콘텐츠 적용부; 사용자 액션에 반응하여 상기 360도 입체 파노라마 VR 내에 적용된 실감 콘텐츠의 실행을 제어하는 인터랙티브 액션 처리부를 포함하는 3D VR 콘텐츠 제작 시스템이 제공된다.
본 발명의 실시예에 의하면, VR(Virtual Reality) 콘텐츠를 제작함에 있어서 3D 오브젝트 자동 생성 기술, VR 오버레이 기술, 반응형 3D 입체 사운드 기술 등을 적용함으로써 사용자 인터랙션이 강화됨은 물론 이종 미디어와의 병합이 가능하며 기존의 상용 하드웨어 기기(예를 들어, PC, 스마트폰, HMD 등)에서 즉시 작동이 가능한 VR 콘텐츠를 제작할 수 있는 Mixed VR 콘텐츠 제작 기술 및 이를 위한 플랫폼 구현 기술을 제공할 수 있는 효과가 있다.
또한 본 발명의 실시예에 따른 Mixed VR 콘텐츠 제작 및 플랫폼 구현 기술에 의하면, 관광 비즈니스(예를 들면, VR 홍보, 체험, 예약, 결제 등), 쇼핑(예를 들면, 홈쇼핑, 관광기념품 등의 판매, 결제 등), 교육, 부동산 등 다양한 분야로 활용이 가능한 VR 콘텐츠를 손쉽게 제작할 수 있고, 소상공인, 개인들도 자신이 만든 Mixed VR 콘텐츠를 독립된 APP과 WEB으로 만들어 홍보 및 서비스가 가능한 효과가 있다.
도 1은 본 발명의 실시예에 따른 3D VR 콘텐츠 제작 툴 및 플랫폼을 전반적으로 설명하기 위한 도면.
도 2는 본 발명의 실시예에 따른 3D VR 콘텐츠 제작 시스템에 관한 블록 구성도.
도 3은 360도 입체 파노라마 VR 내에 입체 사운드를 실감 콘텐츠로서 삽입한 예시 도면.
도 4는 실감 콘텐츠로서 입체 사운드의 설정 조건을 설명하기 위한 참조 도면.
도 5는 360도 입체 파노라마 VR 내에서 동영상 비디오를 실감 콘텐츠로서 삽입하기 위한 조작 윈도우를 예시한 참조 도면.
도 6은 360도 입체 파노라마 VR 내의 좌표 영역에 사용자의 뷰 포인트에 상응하는 레인보우 색상 스펙트럼의 응시 강도를 표출한 예를 도시한 참조 도면.
도 7은 360도 입체 파노라마 VR 내에 특정 타겟 영상을 오버레이시킬 때의 중간 필터링 과정을 설명하기 위한 도면.
도 8은 360도 입체 파노라마 VR 내에 특정 타겟 영상을 오버레이시킬 때의 본 발명의 실시예에 따른 영상 오버레이 알고리즘과 기존 기술과의 성능을 대조 설명하기 위한 비교표.
도 9는 기존 기술에 따른 영상 오버레이 방식과 본 발명의 실시예에 따른 영상 오버레이 방식을 대조 설명하기 위한 참조 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 3D VR 콘텐츠 제작 툴 및 플랫폼을 전반적으로 설명하기 위한 도면이고, 도 2는 본 발명의 실시예에 따른 3D VR 콘텐츠 제작 시스템에 관한 블록 구성도이다.
또한, 도 3은 360도 입체 파노라마 VR 내에 입체 사운드를 실감 콘텐츠로서 삽입한 예시 도면이고, 도 4는 실감 콘텐츠로서 입체 사운드의 설정 조건을 설명하기 위한 참조 도면이며, 도 5는 360도 입체 파노라마 VR 내에서 동영상 비디오를 실감 콘텐츠로서 삽입하기 위한 조작 윈도우를 예시한 참조 도면이고, 도 6은 360도 입체 파노라마 VR 내의 좌표 영역에 사용자의 뷰 포인트에 상응하는 레인보우 색상 스펙트럼의 응시 강도를 표출한 예를 도시한 참조 도면이며, 도 7은 360도 입체 파노라마 VR 내에 특정 타겟 영상을 오버레이시킬 때의 중간 필터링 과정을 설명하기 위한 도면이고, 도 8은 360도 입체 파노라마 VR 내에 특정 타겟 영상을 오버레이시킬 때의 본 발명의 실시예에 따른 영상 오버레이 알고리즘과 기존 기술과의 성능을 대조 설명하기 위한 비교표이며, 도 9는 기존 기술에 따른 영상 오버레이 방식과 본 발명의 실시예에 따른 영상 오버레이 방식을 대조 설명하기 위한 참조 도면이다. 이하, 도 1 및 도 2를 중심으로 도 3 ~ 도 9를 함께 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1을 참조하면, 본 발명은 VR(Virtual Reality) 콘텐츠를 제작함에 있어서 3D 오브젝트 자동 생성 기술, VR 오버레이 기술, 반응형 3D 입체 사운드 기술 등을 적용함으로써 사용자 인터랙션이 강화됨은 물론 이종 미디어와의 병합이 가능하며 기존의 상용 하드웨어 기기(예를 들어, PC, 스마트폰, HMD 등)에서 즉시 작동이 가능한 VR 콘텐츠를 제작할 수 있는 Mixed VR 콘텐츠 제작 기술 및 이를 위한 플랫폼 구현 기술을 제공한다.
이를 위해, 본 발명의 실시예에 따른 3D VR 콘텐츠 제작 시스템(100)은, 도 2에 도시된 바와 같이, 기 제작된 360도 입체 파노라마 VR 내에 실감 콘텐츠를 삽입할 수 있도록 보조하는 소프트웨어 툴(software tool)을 사용자에게 제공하며, 사용자 입력을 수신하는 GUI부(110); GUI부(110)를 통해 사용자가 지정한 실감 콘텐츠를 상기 360도 입체 파노라마 VR 내에 적용하는 실감 콘텐츠 적용부(120); 사용자 액션에 반응하여 상기 360도 입체 파노라마 VR 내에 적용된 실감 콘텐츠의 실행을 제어하는 인터랙티브 액션 처리부(130)를 포함한다. 또한, 본 발명의 실시예에 따른 3D VR 콘텐츠 제작 시스템(100)은 뷰 포인트 분석부(140)를 더 포함할 수 있으며, 실감 콘텐츠 적용부(120) 내에는 입체 사운드 적용부(122) 및 영상 오버레이 처리부(124)가 더 포함될 수 있다.
이에 따라 본 발명의 실시예에 따른 3D VR 콘텐츠 제작 시스템(100)은 다음과 같은 3D VR 콘텐츠의 제작을 위한 다양한 기능들이 적용된다.
3D 입체 사운드 삽입 및 재생 기술
본 발명의 실시예에 의할 때, 3D VR 콘텐츠 제작 시스템(100)은 가상의 3D 공간에서 관람자의 시선에 따라 콘텐츠 제작자가 설정한 3D 입체 사운드가 각도/거리에 따라 재생/중단 및 볼륨의 사운드를 자동으로 조정할 수 있는 기술이 적용된다.
이를 위해, GUI부(110)는 콘텐츠 제작자가 3D 입체 사운드를 360도 입체 파노라마 VR 내에 적용시킬 수 있도록, 3D 입체 사운드의 적용을 위한 툴 화면을 사용자에게 제공할 수 있다. 이때, 3D 입체 사운드의 적용을 위한 툴 화면에는, 아래의 표 1에 제시된 바와 같은 설정 항목에 따른 지정(즉, 상기 360도 입체 파노라마 VR 내에 상기 입체 사운드가 삽입될 수평 및 수직 위치의 지정, 상기 입체 사운드가 출력될 사운드 출력 방향 또는 각도의 지정, 상기 입체 사운드의 오디오 볼륨의 지정, 상기 입체 사운드의 오디오 재생 속도의 지정, 상기 입체 사운드의 반복 재생 여부의 지정, 상기 입체 사운드의 출력이 실행될 기준 근접 거리의 지정 등)을 가능하게 하는 조작 윈도우가 포함될 수 있다.
Figure 112018127856710-pat00001
이에 따라 콘텐츠 제작자는 상술한 조작 윈도우를 통해서 3D 공간의 특정 지점에 실감 콘텐츠로서 3D 입체 사운드를 삽입하는 것이 가능하다. 이때, 각도/거리를 세분화(예를 들어, 360 단계)하여 각도/거리에 따라 3D 입체 사운드의 재생 여부/재생 속도/볼륨 등의 조정이 가능하도록 할 수 있다(도 4 참조).
상술한 바와 같이, 조작 윈도우를 통한 사용자(즉, 콘텐츠 제작자) 설정이 완료되면, 입체 사운드 적용부(122)는 그 설정 내용에 상응하여 해당 3D 입체 사운드를 360도 입체 파노라마 VR 내에 삽입시킨다(도 3 참조). 이에 따라 관람자의 시선에 따라 오디오가 자동 재생/멈춤이 가능하게 된다.
영상 오버레이 기술
기존 기술에 의할 때 360 VR 내에 단순 팝업 형태로 2D 이미지 및 비디오 재생이 이루어졌던 반면(도 9의 (a) 참조), 본 발명의 실시예에 의할 때 3D VR 콘텐츠 제작 시스템(100)은 360도 입체 파노라마 VR의 배경과 이질감이 없는 2D 이미지 및 비디오의 오버레이(overlay) 기술 및 오버플레이(overplay) 기술이 적용된다(도 9의 (b) 참조).
이를 위해, 360도 입체 파노라마 VR 내에 특정 타겟 영상을 오버레이시킬 위치의 지정 및 해당 타겟 영상의 형태 변경 등을 위한 조작이 우선적으로 요구된다. 따라서, 본 발명의 실시예예서, GUI부(110)는 상기 실감 콘텐츠로서 타겟 영상 콘텐츠의 적용을 위한 툴 화면을 사용자에게 제공한다. 이때, 상기 영상 오버레이를 위한 툴 화면에는, 아래의 표 2에 제시된 바와 같은 설정 항목에 따른 지정(즉, 상기 360도 입체 파노라마 VR 내에 상기 영상 콘텐츠가 삽입될 수평 및 수직 위치의 지정, 높이 축의 위치 지정, 삽입될 영상의 사이즈의 지정, 삽입될 영상의 외곽 테두리 형상의 변형의 지정 등)을 가능하게 하는 조작 윈도우가 포함될 수 있다. 영상 오버레이를 위한 조작 윈도우로서 도 5에는 리모콘 형상의 컨트롤러가 예시되고 있다.
Figure 112018127856710-pat00002
이에 의하면, 3D 환경에서 타겟 영상의 오버레이 위치를 설정함에 있어서, 3D 축인 X, Y, Z 좌표와 상관축 및 각도를 계산하고, 해당 수치들을 조정할 수 있으며, 사용자(콘텐츠 제작자)는 조작 윈도우에 따른 GUI를 조정하여 복잡한 계산 없이 3D 화면상에 원하는 타겟 영상을 병합 가능하게 된다. 이때, 오버레이될 공간 위치와 크기 등의 다양한 설정 항목을 정확한 수치 또는 터치와 커서로 자유롭게 조절할 수 있다.
조작 윈도우를 통한 사용자(즉, 콘텐츠 제작자) 설정이 완료되면, 영상 오버레이 처리부(124)는 그 설정 내용에 상응하여 해당 타겟 영상 콘텐츠를 360도 입체 파노라마 VR 내에 오버레이시켜 삽입시킨다(도 9의 (b) 참조).
또한 본 발명의 실시예에서는 타겟 영상을 몰입감을 높인 360도 입체 파노라마 VR과 하나로 병합하기 위해 SURF(Speeded Up Robust Features)알고리즘과 RANRAC(RANdomSAmple Consensus)알고리즘을 사용하여 호모그래피 매트릭스(Homography Matrix)를 구하고 병합하고자 하는 타겟 영상의 대응점을 구하고 이를 적용해 더 선명하고 정확한 영상 병합 알고리즘이 적용된다. 이때, 병합 좌표 주변 영역의 RGB 값을 사용하여 잘못된 대응점들을 제거하는 중간 필터링 과정을 수행하고, 이미지 병합 처리 속도 향상과 이미지 병합 정확도(즉, 이미지 변별성 및 시안성)을 개선하는 병합 방식이 적용될 수 있다. 이에 대하여 구체적으로 설명하면 다음과 같다.
즉, 영상 오버레이 처리부(124)는, 특징정보 추출 알고리즘을 이용하여 상기 실감 콘텐츠로서 삽입될 타겟 영상의 특징정보를 추출하고, RANSAC(Random Sample Consensus) 알고리즘을 이용하여 상기 추출된 특징정보 중 아웃리어(outlier)에 해당하는 특징정보를 제거하는 회귀 계산의 반복을 통해서 오버레이될 영상 간의 대응점 추출을 위한 호모그래피 매트릭스를 구하는 방식으로, 상기 타겟 영상을 상기 360도 입체 파노라마 VR 내의 특정 좌표 영역에 오버레이 병합시킨다.
이때, RANSAC 알고리즘을 적용하기에 앞서, 상기 360도 입체 파노라마 VR 내에서 상기 타겟 영상이 오버레이될 좌표 영역 주변의 RGB 값과 상기 타겟 영상의 RGB 값 간의 차이가 사전 지정된 임계치 내에 있는지 여부를 판단하여, 상기 차이가 상기 임계치를 초과하는 대응점들을 제거하는 중간 필터링 과정을 선 수행함으로써, 이미지 병합의 속도 및 정확성을 더욱 높일 수 있다(도 7 및 도 8 참조).
인터랙티브 액션 활성화 기술
또한 기존 기술에 의할 때, 360도 입체 파노라마 VR 내에 인터랙티브 핫스팟(Interactive hotspot)을 정의하고 터치 등의 액션을 통하여 인터랙티브 액션이 실행되는 방식에 의한다. 이때, 기존 기술에 의하면, 인터랙티브 액션이 실행되는 조건 만족을 위한 인덱스(Index) 정의가 단편 일률적이다. 예를 들어, 특정 포인트를 5초 이상 바라볼 때 또는 특정 포인트를 단순 터치하였을 때 등이 바로 그것이다.
반면 본 발명의 실시예에 의할 때, 사용자(관람자)의 뷰 포인트를 분석하여 특정 조건을 만족시 인터랙티브 액션이 자동으로 실행 또는 중지되도록 한다. 이때의 특정 조건이란 예를 들어 사용자의 뷰 포인트가 시각의 60% 이상 오버레이될 때 등일 수 있다. 이에 따라 본 발명의 실시예에서는 360도 입체 파노라마 VR 이미지의 픽셀과 현재 사용자가 바라보는 뷰 포인트를 분석(예를 들어, Level 5단계)하고, 특정 조건(특정 level) 이상 & 매칭되는 픽셀 수치를 분석하여 인터랙티브 액션의 실행 여부 결정할 수 있다. 이에 대하여 보다 구체적으로 설명하면 다음과 같다.
즉, 뷰 포인트 분석부(140)는 사용자가 현재 바라보는 시점(view point)을 트래킹(tracking)하여, 상기 360도 입체 파노라마 VR 내의 좌표 픽셀과 상기 사용자의 시점 간을 매칭 및 분석한다. 이때, 인터랙티브 액션 처리부(130)는 분석된 뷰 포인트에 상응하는 상기 360도 입체 파노라마 VR 내의 좌표 픽셀의 화면 위치에, 응시 시간의 길이에 맞춰 사전 지정된 채도 스펙트럼에 따른 색상을 표출할 수 있다. 도 6의 경우 뷰 포인트를 레인보우 컬러(Rainbow color)로 분리하여 정의하고 있다. 예를 들어, 도 6에서 붉은색(Red)은 Most-stared-at 뷰 포인트 또는 Longgest-attention holding 뷰 포인트에 해당한다. 이와 같이 본 발명의 실시예에서는 색상 스펙트럼으로 뷰 포인트를 분리하여 정의하고 이에 따른 인터랙티브 액션을 결정할 수 있다.
이에 따라 인터랙티브 액션 처리부(130)는, 분석된 뷰 포인트에서의 응시 유지 시간이 사전 지정된 기준을 만족하는 경우 해당 좌표 영역에 적용된 실감 콘텐츠를 실행하고, 분석된 뷰 포인트에 따른 좌표 영역이 이전과 다르게 변경되는 경우 실행 중인 실감 콘텐츠를 중지할 수 있다.
또한 본 발명의 실시예에 의할 때, 분석된 뷰 포인트에 상응하는 좌표 영역에 적용된 실감 콘텐츠의 인터랙티브 액션의 실행 방식으로서, 아래의 표 3에 도시된 바와 같이, 해당 좌표 영역 관련 공간으로의 장소 이동, 오버레이된 동영상의 재생, 입체 사운드의 오디오 출력, 지정된 외부 링크로의 연결 또는 링크 재생, 증강정보의 표출(즉, 정보 박스의 팝업 및 정보 삽입 등), 지정된 전화번호로의 전화 걸기, 물품 구매 및 결제 등이 적용될 수 있다.
Figure 112018127856710-pat00003
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (7)

  1. 3D VR(3-dimension Virtual Reality) 콘텐츠 제작 시스템으로서,
    기 제작된 360도 입체 파노라마 VR 내에 실감 콘텐츠를 삽입할 수 있도록 보조하는 소프트웨어 툴(software tool)을 사용자에게 제공하며, 사용자 입력을 수신하는 GUI(Graphical User Interface)부; 상기 GUI부를 통해 사용자가 지정한 실감 콘텐츠를 상기 360도 입체 파노라마 VR 내에 적용하는 실감 콘텐츠 적용부; 사용자 액션에 반응하여 상기 360도 입체 파노라마 VR 내에 적용된 실감 콘텐츠의 실행을 제어하는 인터랙티브 액션 처리부를 포함하고,
    상기 GUI부는, 상기 실감 콘텐츠로서 입체 사운드의 적용을 위한 툴 화면을 사용자에게 제공하되,
    상기 툴 화면에는, 상기 360도 입체 파노라마 VR 내에 상기 입체 사운드가 삽입될 수평 및 수직 위치의 지정, 상기 입체 사운드가 출력될 사운드 출력 방향 또는 각도의 지정, 상기 입체 사운드의 오디오 볼륨의 지정, 상기 입체 사운드의 오디오 재생 속도의 지정, 상기 입체 사운드의 반복 재생 여부의 지정, 상기 입체 사운드의 출력이 실행될 기준 근접 거리의 지정을 가능하게 하는 조작 윈도우가 포함되고,
    상기 실감 콘텐츠 적용부는, 상기 조작 윈도우를 통해서 사용자에 의해 지정된 지정 내용에 상응하여 상기 입체 사운드를 상기 360도 입체 파노라마 VR 내에 삽입하는 입체 사운드 적용부를 포함하는 것을 특징으로 하는, 3D VR 콘텐츠 제작 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 GUI부는, 상기 실감 콘텐츠로서 영상 콘텐츠의 적용을 위한 툴 화면을 사용자에게 제공하되,
    상기 툴 화면에는, 상기 360도 입체 파노라마 VR 내에 상기 영상 콘텐츠가 삽입될 수평 및 수직 위치의 지정, 높이 축의 위치 지정, 삽입될 영상의 사이즈의 지정, 삽입될 영상의 외곽 테두리 형상의 변형의 지정을 가능하게 하는 조작 윈도우가 포함되고,
    상기 실감 콘텐츠 적용부는, 상기 조작 윈도우를 통해서 사용자에 의해 지정된 지정 내용에 상응하여 상기 영상 콘텐츠를 상기 360도 입체 파노라마 VR 내에 오버레이(overlay)시켜 삽입하는 영상 오버레이 처리부를 포함하는 것을 특징으로 하는, 3D VR 콘텐츠 제작 시스템.
  4. 제3항에 있어서,
    상기 영상 오버레이 처리부는,
    특징정보 추출 알고리즘을 이용하여 상기 실감 콘텐츠로서 삽입될 타겟 영상의 특징정보를 추출하고, RANSAC(Random Sample Consensus) 알고리즘을 이용하여 상기 추출된 특징정보 중 아웃리어(outlier)에 해당하는 특징정보를 제거하는 회귀 계산의 반복을 통해서 오버레이될 영상 간의 대응점 추출을 위한 호모그래피 매트릭스(Homography Matrix)를 구하는 방식으로, 상기 타겟 영상을 상기 360도 입체 파노라마 VR 내의 특정 좌표 영역에 오버레이 병합시키되,
    상기 RANSAC 알고리즘을 적용하기에 앞서, 상기 360도 입체 파노라마 VR 내에서 상기 타겟 영상이 오버레이될 좌표 영역 주변의 RGB 값과 상기 타겟 영상의 RGB 값 간의 차이가 사전 지정된 임계치 내에 있는지 여부를 판단하여, 상기 차이가 상기 임계치를 초과하는 대응점들을 제거하는 중간 필터링 과정을 수행하는 것을 특징으로 하는, 3D VR 콘텐츠 제작 시스템.
  5. 제4항에 있어서,
    상기 사용자가 현재 바라보는 시점(view point)을 트래킹(tracking)하여, 상기 360도 입체 파노라마 VR 내의 좌표 픽셀과 상기 사용자의 시점 간을 매칭 및 분석하는 뷰 포인트 분석부를 더 포함하되,
    상기 인터랙티브 액션 처리부는, 분석된 뷰 포인트에 상응하는 상기 360도 입체 파노라마 VR 내의 좌표 픽셀의 화면 위치에, 응시 시간의 길이에 맞춰 사전 지정된 채도 스펙트럼에 따른 색상을 표출하는 것을 특징으로 하는, 3D VR 콘텐츠 제작 시스템.
  6. 제5항에 있어서,
    상기 인터랙티브 액션 처리부는,
    분석된 뷰 포인트에 상응하는 상기 360도 입체 파노라마 VR 내의 좌표 영역에 상기 실감 콘텐츠가 적용되어 있고, 분석된 뷰 포인트에서의 응시 유지 시간이 사전 지정된 기준을 만족하는 경우 해당 좌표 영역에 적용된 실감 콘텐츠를 실행하고, 분석된 뷰 포인트에 따른 좌표 영역이 이전과 다르게 변경되는 경우 실행 중인 실감 콘텐츠를 중지하는 것을 특징으로 하는, 3D VR 콘텐츠 제작 시스템.
  7. 제6항에 있어서,
    상기 인터랙티브 액션 처리부는,
    분석된 뷰 포인트에 상응하는 좌표 영역에 적용된 실감 콘텐츠의 실행으로서, 해당 좌표 영역 관련 공간으로의 장소 이동, 오버레이된 동영상의 재생, 입체 사운드의 오디오 출력, 지정된 외부 링크로의 연결 또는 링크 재생, 증강정보의 표출, 지정된 전화번호로의 전화 걸기, 물품 구매 및 결제 중 적어도 하나의 인터랙티브 액션을 실행하는, 3D VR 콘텐츠 제작 시스템.
KR1020180165133A 2018-12-19 2018-12-19 3차원 vr 콘텐츠 제작 시스템 KR102239877B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180165133A KR102239877B1 (ko) 2018-12-19 2018-12-19 3차원 vr 콘텐츠 제작 시스템
PCT/KR2019/010519 WO2020130275A1 (ko) 2018-12-19 2019-08-19 3차원 vr 콘텐츠 제작 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180165133A KR102239877B1 (ko) 2018-12-19 2018-12-19 3차원 vr 콘텐츠 제작 시스템

Publications (2)

Publication Number Publication Date
KR20200076234A KR20200076234A (ko) 2020-06-29
KR102239877B1 true KR102239877B1 (ko) 2021-04-12

Family

ID=71102249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180165133A KR102239877B1 (ko) 2018-12-19 2018-12-19 3차원 vr 콘텐츠 제작 시스템

Country Status (2)

Country Link
KR (1) KR102239877B1 (ko)
WO (1) WO2020130275A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101908068B1 (ko) * 2018-07-24 2018-10-15 주식회사 루씨드드림 360° vr 컨텐츠 저작 및 재생 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160136160A (ko) * 2015-05-19 2016-11-29 주식회사 드로잉쇼 가상현실 공연시스템 및 공연방법
WO2017024118A1 (en) * 2015-08-04 2017-02-09 Google Inc. Hover behavior for gaze interactions in virtual reality
KR101931649B1 (ko) * 2017-01-06 2018-12-21 한국과학기술원 가상현실기반 훈련 프로그램 제작 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101908068B1 (ko) * 2018-07-24 2018-10-15 주식회사 루씨드드림 360° vr 컨텐츠 저작 및 재생 시스템

Also Published As

Publication number Publication date
WO2020130275A1 (ko) 2020-06-25
KR20200076234A (ko) 2020-06-29

Similar Documents

Publication Publication Date Title
WO2022095467A1 (zh) 增强现实场景下的展示方法、装置、设备、介质及程序
US11100664B2 (en) Depth-aware photo editing
US11482192B2 (en) Automated object selection and placement for augmented reality
US10609332B1 (en) Video conferencing supporting a composite video stream
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US20160198097A1 (en) System and method for inserting objects into an image or sequence of images
WO2013061505A1 (en) Image processing apparatus, method and computer program product
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
EP3681144B1 (en) Video processing method and apparatus based on augmented reality, and electronic device
WO2018128240A1 (en) Context based augmented advertisement
CN106648098B (zh) 一种自定义场景的ar投影方法及系统
US10271038B2 (en) Camera with plenoptic lens
US20210166485A1 (en) Method and apparatus for generating augmented reality images
KR101613777B1 (ko) 라이브 댄스 클래스 및 라이브 뮤직 룸을 위한 서비스 시스템 및 서비스 방법
KR20190101620A (ko) 증강현실 기술을 이용한 무빙 트릭아트 구현 방법
KR102239877B1 (ko) 3차원 vr 콘텐츠 제작 시스템
KR101518696B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
Fradet et al. [poster] mr TV mozaik: A new mixed reality interactive TV experience
US20220207848A1 (en) Method and apparatus for generating three dimensional images
CN103295023A (zh) 一种增强现实信息的显示方法及装置
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
KR20170002921A (ko) 디지털 조립 설명서를 생성하는 장치 및 방법
JP2022113269A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
KR101049778B1 (ko) 개인컴퓨터를 이용한 간편 방송 제공방법 및 간편 방송 제공을 위한 개인컴퓨터 시스템
KR20190122709A (ko) 기록 장치, 기록 방법, 재생 장치, 재생 방법 및 기록 재생 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant