KR102603578B1 - 3d 캐릭터와 3d 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템 - Google Patents

3d 캐릭터와 3d 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템 Download PDF

Info

Publication number
KR102603578B1
KR102603578B1 KR1020230062729A KR20230062729A KR102603578B1 KR 102603578 B1 KR102603578 B1 KR 102603578B1 KR 1020230062729 A KR1020230062729 A KR 1020230062729A KR 20230062729 A KR20230062729 A KR 20230062729A KR 102603578 B1 KR102603578 B1 KR 102603578B1
Authority
KR
South Korea
Prior art keywords
avatar
virtual camera
image
providing unit
user
Prior art date
Application number
KR1020230062729A
Other languages
English (en)
Inventor
이규승
Original Assignee
주식회사 오버더핸드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오버더핸드 filed Critical 주식회사 오버더핸드
Priority to KR1020230062729A priority Critical patent/KR102603578B1/ko
Application granted granted Critical
Publication of KR102603578B1 publication Critical patent/KR102603578B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자의 조작신호에 의해 원하는 3D 아바타를 선택하도록 하는 캐릭터제공부; 상기 캐릭터제공부에 의해 선택되는 3D 아바타가 다수의 모션 중에서 미리 정한 사운드와 연동되는 모션을 사용자의 조작신호에 의해 선택하도록 하는 캐릭터적용모션제공부; 다수의 3D 배경을 제공함으로써, 상기 캐릭터적용모션제공부에 의해 선택된 모션의 배경을 사용자의 조작신호에 의해 상기 다수의 3D 배경 중에서 선택하도록 하는 3D배경제공부; 상기 캐릭터적용모션제공부에 의해 선택된 모션을 수행하는 3D 아바타에 대해서 다수의 버추얼카메라 각각이 정해진 트랙을 따라 이동하면서 상기 3D 아바타에 대한 영상을 각각 획득하도록 처리하는 버추얼카메라영상획득부; 상기 버추얼카메라영상획득부에 의해 각각 획득되는 영상 중에서 상기 사운드의 다수로 구획된 구간별로 원하는 영상을 사용자의 조작신호에 의해 선택하도록 하는 편집스타일제공부; 및 상기 3D배경제공부에 의해 선택된 3D 배경에 상기 편집스타일제공부에 의해 선택된 영상을 상기 사운드와 함께 렌더링하는 렌더링부;를 포함함으로써, 누구나 손쉽게 자신만의 3D 아바타를 활용하여 3D로 구축된 가상의 스테이지에서 인기 있는 다양한 음악과 함께 댄스를 비롯한 다양한 모션데이터를 적용하여 영상 전문가들이 제작한 수준의 커버댄스 영상과 유사한 쇼츠 영상을 단 몇 번의 클릭만으로 자동으로 제작할 수 있다.

Description

3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템{Video rendering system that utilizes a virtual camera using 3D characters and 3D backgrounds, applies editing of shooting and music genres, and selects video effects}
본 발명은 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에 관한 것으로서, 보다 상세하게는 누구나 손쉽게 자신만의 3D 아바타를 활용하여 3D로 구축된 가상의 스테이지에서 인기 있는 다양한 음악과 함께, 댄스를 비롯한 다양한 모션데이터를 적용하여, 영상 전문가들이 제작한 수준의 커버댄스 영상과 유사한 쇼츠 영상을 단 몇 번의 클릭만으로 자동으로 제작해 줄 수 있도록 하는 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에 관한 것이다.
일반적으로, 아바타는 분신(分身), 화신(化身)을 뜻하는 말로, 사이버공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터로서, 상이한 리소스 요구들(예를 들어, 상이한 처리 능력 및 스토리지 요건들)을 갖는 많은 상이한 애플리케이션들에 걸쳐 널리 사용되고 있다.
한편, 아바타와 관련되는 브이튜버(V-Tuber)는 버추얼 유튜버(virtual Youtuber) 또는 버추얼 스트리머(virtual streamer)라고도 하는데, 가상현실(Virtual Reality; VR) 기술로 만들어진 가상 캐릭터가 유튜브 스트리밍 방송이나 인터넷 방송 플랫폼 등에서 활동하는 것을 의미한다.
이와 같이 아바타를 이용한 영상 렌더링과 관련되는 종래 기술로서, 한국공개특허 제10-2020-0096617호의 "가상 아바타들의 콘텍스추얼 기반 렌더링"이 제시된 바 있는데, 이는 불편함 커브(discomfort curve)를 사용하여 가상 아바타의 애니메이션을 구동시키기 위한 시스템으로서, 가상 아바타의 인접한 제2 신체 부위에 대한 상기 가상 아바타의 제1 신체 부위의 배향, 및 상기 가상 아바타의 인접한 제2 신체 부위에 대한 상기 제1 신체 부위의 모션을 제어하는(governing) 적어도 하나의 불편함 커브를 저장하도록 구성된, 비-일시적인 컴퓨터-판독가능한 매체; 및 하드웨어 프로세서를 포함하며, 상기 하드웨어 프로세서는, 상기 가상 아바타의 인접한 제2 신체 부위에 대한 상기 가상 아바타의 제1 신체 부위의 배향을 결정하고; 상기 인접한 제2 신체 부위에 대한 상기 제1 신체 부위의 모션을 제어하는 상기 적어도 하나의 불편함 커브에 액세스하고; 그리고 상기 적어도 하나의 불편함 커브에 따라 적어도 부분적으로 상기 가상 아바타의 인접한 제2 신체 부위에 대한 상기 제1 신체 부위의 애니메이션을 구동시키도록 프로그래밍되는, 불편함 커브를 사용하여 가상 아바타의 애니메이션을 구동시키기 위한 시스템이다.
그러나, 이와 같은 종래 기술은 뮤직비디오 수준의 높은 퀄러티의 영상 클립을 제작하는데 적용하기 어렵고, 실제로 오프라인에서 이러한 영상 클립의 제작에 많은 비용과 시간이 소요되며, 현재 시점에서 브이튜버 크리에이터가 3D 아바타를 활용하여 아이돌 음악의 안무 쇼츠 영상을 제작하고자 할 경우, 3D 모델링 데이터 및 애니메이션 작업에 대한 이해도를 가지고 있어야 하며, 렌더링 개념이 적용되는 3D 영상 콘텐츠로 구현하기 위해선 다양한 프로그램들에 대한 사용법을 숙지해야만 하는 문제점을 가지고 있었다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 누구나 손쉽게 자신만의 3D 아바타를 활용하여 3D로 구축된 가상의 스테이지에서 인기 있는 다양한 음악과 함께, 댄스를 비롯한 다양한 모션데이터를 적용하여 영상 전문가들이 제작한 수준의 커버댄스 영상과 유사한 쇼츠 영상을 단 몇 번의 클릭만으로 자동으로 제작해 주도록 하고, 이를 통해 주인공인 3D 아바타 모델링 데이터의 자유로운 적용과 함께, 공간 3D 모델링 데이터를 자유롭게 변화시킴으로써 비현실적이거나, 초현실적인 공간에서 3D 아바타가 주인공인 다양한 컨셉의 영상 제작이 쉽고 빠르게 가능하도록 하며, 전문가들이 제작한 영상물의 촬영 스킬, 편집 스킬, VFX(visual effect) 스킬을 데이터화하여, 템플릿으로 판매, 구매 및 적용 등이 가능하도록 하는데 목적이 있다.
본 발명의 다른 목적들은 이하의 실시례에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명의 일측면에 따르면, 다수의 3D 아바타를 제공함으로써, 사용자의 조작신호에 의해 원하는 3D 아바타를 선택하도록 하는 캐릭터제공부; 다수의 모션을 제공함으로써, 상기 캐릭터제공부에 의해 선택되는 3D 아바타가 상기 다수의 모션 중에서 미리 정한 사운드와 연동되는 모션을 사용자의 조작신호에 의해 선택하도록 하는 캐릭터적용모션제공부; 다수의 3D 배경을 제공함으로써, 상기 캐릭터적용모션제공부에 의해 선택된 모션의 배경을 사용자의 조작신호에 의해 상기 다수의 3D 배경 중에서 선택하도록 하는 3D배경제공부; 상기 캐릭터적용모션제공부에 의해 선택된 모션을 수행하는 3D 아바타에 대해서 다수의 버추얼카메라 각각이 정해진 트랙을 따라 이동하면서 상기 3D 아바타에 대한 영상을 각각 획득하도록 처리하는 버추얼카메라영상획득부; 상기 버추얼카메라영상획득부에 의해 각각 획득되는 영상 중에서 상기 사운드의 다수로 구획된 구간별로 원하는 영상을 사용자의 조작신호에 의해 선택하도록 하는 편집스타일제공부; 및 상기 3D배경제공부에 의해 선택된 3D 배경에 상기 편집스타일제공부에 의해 선택된 영상을 상기 사운드와 함께 렌더링하는 렌더링부;를 포함하는, 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템이 제공된다.
상기 버추얼카메라영상획득부는, 제 1 버추얼카메라를 사용하여, 상기 3D 아바타의 얼굴 전방에서 반원 형태의 제 1 트랙을 따라 왕복 이동하면서 상기 3D 아바타의 얼굴에 대한 클로즈업 영상을 획득하도록 하고, 제 2 버추얼카메라를 사용하여, 상기 3D 아바타의 웨이스트 전방에서 반원 형태의 제 2 트랙을 따라 왕복 이동하면서 상기 3D 아바타의 웨이스트샷 영상을 획득하도록 하며, 제 3 버추얼카메라를 사용하여, 상기 3D 아바타의 신체 전방에서 반원 형태의 제 3 트랙을 따라 왕복 이동하면서 상기 3D 아바타의 전체가 포함되는 와이드샷 영상을 획득하도록 하고, 제 4 버추얼카메라를 사용하여, 상기 3D 아바타가 정면을 응시하는 방향에 일치하는 전후방향의 제 4 트랙을 따라 왕복 이동하면서 릴스전용 영상을 획득하도록 할 수 있다.
상기 편집스타일제공부는, 상기 사운드의 구간 길이를 제 1 설정길이로 분할하고, 상기 제 1 설정길이의 구간 각각에 대해서 상기 클로즈업 영상, 상기 웨이스트샷 영상 및 상기 와이드샷 영상 중 어느 하나를 선택하도록 하는 일반 편집모드와, 상기 사운드의 구간 길이를 상기 제 1 설정길이보다 짧은 제 2 설정길이로 분할하고, 상기 제 2 설정길이의 구간 각각에 대해서 상기 클로즈업 영상, 상기 웨이스트샷 영상 및 상기 와이드샷 영상 중 어느 하나를 선택하도록 하는 빠른 편집모드와, 상기 사운드의 구간에 상기 릴스전용 영상을 선택하도록 하는 릴스모드 중에서 어느 하나의 모드를 사용자의 조작신호에 의해 선택하도록 할 수 있다.
상기 렌더링부에 의해 렌더링되는 다수의 화면비율을 제공하여, 사용자의 조작신호에 의해 어느 하나의 화면비율을 선택하도록 하는 화면비율제공부; 및 상기 편집스타일제공부에 의해 영상을 선택하면, 다수의 VFX(visual effect)를 제공하여, 사용자의 조작신호에 의해 어느 하나의 VFX를 선택하도록 하는 VFX제공부;를 더 포함할 수 있다.
상기 렌더링부에 의해 렌더링된 영상을 사용자별로 저장하는 데이터베이스부; 및 상기 렌더링부에 의해 렌더링된 영상에 대한 대가의 결제를 수행하도록 하는 결제부;를 더 포함할 수 있다.
본 발명에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에 의하면, 누구나 손쉽게 자신만의 3D 아바타를 활용하여 3D로 구축된 가상의 스테이지에서 인기 있는 다양한 음악과 함께 댄스를 비롯한 다양한 모션데이터를 적용하여 영상 전문가들이 제작한 수준의 커버댄스 영상과 유사한 쇼츠 영상을 단 몇 번의 클릭만으로 자동으로 제작해 줄 수 있고, 이를 통해 주인공인 3D 아바타 모델링 데이터의 자유로운 적용과 함께, 공간 3D 모델링 데이터를 자유롭게 변화시킴으로써, 비현실적이거나 초현실적인 공간에서 3D 아바타가 주인공인 다양한 컨셉의 영상 제작이 쉽고 빠르게 가능하도록 하며, 전문가들이 제작한 영상물의 촬영 스킬, 편집 스킬, VFX(visual effect) 스킬을 데이터화하여 템플릿으로 판매, 구매 및 적용 등이 가능하도록 하는 효과를 가진다.
도 1은 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템을 도시한 구성도이다.
도 2는 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 버추얼카메라영상획득부의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 일반 편집모드를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 빠른 편집모드를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 릴스모드를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 3D 아바타 선택을 예시적으로 보여주는 화면이다.
도 8은 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 최종 렌더링 영상 클립 화면비 선택을 예시적으로 보여주는 화면이다.
도 9는 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 3D 아바타의 적용 모션 장르 선택을 예시적으로 보여주는 화면이다.
도 10은 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 3D 아바타 적용 모션의 상세 선택을 예시적으로 보여주는 화면이다.
도 11은 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 3D 배경 선택을 예시적으로 보여주는 화면이다.
도 12는 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 편집 스타일 및 VFX 효과 선택을 예시적으로 보여주는 화면이다.
도 13은 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 선택 요소들이 적용되어 자동으로 생성된 컨텐츠를 예시적으로 보여주는 화면이다.
도 14는 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에서 선택 요소들이 적용되어 자동으로 생성된 렌더링 컨텐츠의 저장을 예시적으로 보여주는 화면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고, 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니고, 본 발명의 기술 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 식으로 이해되어야 하고, 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시례에 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시례를 상세히 설명하며, 도면 부호에 관계없이 동일하거나 대응하는 구성요소에 대해서는 동일한 참조 번호를 부여하고, 이에 대해 중복되는 설명을 생략하기로 한다.
도 1은 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템을 도시한 구성도이고, 도 2는 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템의 동작을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템(10)은 캐릭터제공부(11), 캐릭터적용모션제공부(12), 3D배경제공부(13), 버추얼카메라영상획득부(14), 편집스타일제공부(15) 및 렌더링부(16)를 포함할 수 있다.
캐릭터제공부(11)는 다수의 3D 아바타를 제공함으로써, 사용자의 조작신호에 의해 원하는 3D 아바타를 선택하도록 한다(도 2의 "1. 캐릭터 선택" 및 도 7 참조). 이를 위해 캐릭터제공부(11)는 미리 상이한 성별, 얼굴, 신장, 그리고 의상의 3D 캐릭터를 다수로 제작하여, 네트워크를 이용하여 사용자의 조작신호를 받는 경우 사용자의 단말기(1,2)나, 직접 입력부(23)를 통해 사용자의 조작신호를 받는 경우 디스플레이부(미도시)의 화면을 통해서 제공하도록 구성될 수 있다. 즉, 사용자의 조작신호는 네트워크를 통해서 시스템(10)에 수신되는 경우, 단말기(1,2), 예컨대 스마트폰, PC, 태블릿 PC 등의 각종 정보처리 및 통신 기기가 통신망을 통해 접속하도록 하는 접속부(22)가 마련됨으로써, 시스템(10)이 여러 단말기(1,2)와의 접속을 수행하는 플랫폼의 역할을 하도록 구성될 수 있다. 여기서, 접속부(22)는 단말기(1,2)의 접속의 위한 웹페이지를 제공하기 위한 웹서버를 비롯하여 다양한 방식의 접속 장치로 구성될 수 있다. 이와 다른 예로서, 사용자의 조작신호는 키보드나 터치패널 등의 다양한 입력부(23)의 조작을 통해서 시스템(10)에 직접 수신되도록 구성될 수 있는데, 이 경우 시스템(10)이 단일 장치 또는 다른 장치에 부가되는 장치로 이루어질 수 있다. 이러한 사용자의 조작신호에 대한 설명은 이하에서 모두 적용될 수 있다.
캐릭터작용모션제공부(12)는 다수의 모션을 제공함으로써, 캐릭터제공부(11)에 의해 선택되는 3D 아바타가 다수의 모션 중에서 미리 정한 사운드와 연동되는 모션을 사용자의 조작신호에 의해 선택하도록 한다(도 2의 "3. 캐릭터 적용 모션 선택" 및 도 9, 도 10 참조). 여기서 사운드는 예컨대, 아이돌 음악일 수 있는데, 렌더링 대상의 영상에 사용되며, 캐릭터작용모션제공부(12)에 의해 미리 선택되어 부가되도록 하거나, 렌더링부(16)의 렌더링 과정에서 선택되어 부가되도록 하거나, 그 밖의 다양한 구성수단과 방식 그리고 시기에 선택 및 부가될 수 있다. 여기서, 모션은 사운드와 연동되기 위한 모션으로서, 사운드가 아이돌 음악인 경우 아이돌이 수행하는 안무와 동일 내지 유사한 모션 동작으로서, 공지된 다양한 3D 애니메이션 제작 기법으로 제작될 수 있다.
3D배경제공부(13)는 다수의 3D 배경을 제공함으로써, 캐릭터적용모션제공부(12)에 의해 선택된 모션의 배경을 사용자의 조작신호에 의해 다수의 3D 배경 중에서 선택하도록 할 수 있다(도 2의 "4. 3D 배경 선택" 및 도 11 참조). 여기서 3D 배경은 3D 아바타의 모션에 적용할 수 있는 다양한 3D 배경일 수 있고, 3D 아바타의 모션을 수행하는 스테이지를 포함하는 개념인데, 이 역시 공지된 다양한 3D 애니메이션 제작 기법으로 제작될 수 있음은 물론이다.
버추얼카메라영상획득부(14)는 캐릭터적용모션제공부(12)에 의해 선택된 모션을 수행하는 3D 아바타에 대해서 다수의 버추얼카메라 각각이 정해진 트랙을 따라 이동하면서 3D 아바타에 대한 영상을 각각 획득하도록 처리한다. 이를 위해 버추얼카메라영상획득부(14)는 버추얼카메라가 3D 아바타를 향한 상태로 정해진 트랙을 따라 이동하면서 버추얼카메라의 거리에 따른 FOV(Field of view)를 고려하여, 예컨대 3D 아바타에 대하여 촬영 방향에 수직인 면의 영상을 연속적으로 획득하도록 영상 처리할 수 있으며, 이 밖에도 다양한 공지된 버추얼카메라 영상 획득 기법이 사용될 수 있다.
버추얼카메라영상획득부(14)는 도 3에 나타낸 바와 같이, 제 1 버추얼카메라를 사용하여, 3D 아바타의 얼굴 전방에서 반원 형태의 제 1 트랙을 따라 왕복 이동(A↔B 방향)하면서 3D 아바타의 얼굴에 대한 클로즈업(Close up) 영상을 획득하도록 할 수 있고, 제 2 버추얼카메라를 사용하여, 3D 아바타의 웨이스트(Waist) 전방에서 반원 형태의 제 2 트랙을 따라 왕복 이동(C↔D 방향)하면서 3D 아바타의 웨이스트샷(Waist shot) 영상을 획득하도록 할 수 있으며, 제 3 버추얼카메라를 사용하여, 3D 아바타의 신체 전방에서 반원 형태의 제 3 트랙을 따라 왕복 이동(E↔F 방향)하면서 3D 아바타의 전체가 포함되는 와이드샷(Wide shot) 영상을 획득하도록 할 수 있고, 제 4 버추얼카메라를 사용하여, 3D 아바타가 정면을 응시하는 방향에 일치하는 전후방향(G↔H 방향)의 제 4 트랙을 따라 왕복 이동하면서 릴스전용 영상을 획득하도록 할 수 있다. 이때, 예컨대, 버추얼카메라영상획득부(14)는 제 1 버추얼카메라가 A-B 화살표 트랙을 따라서 클립 길이 15초간 “A-B-A-B-A” 2회 왕복 이동하는 영상을 획득하도록 할 수 있고, 제 2 버추얼카메라는 C-D 화살표 트랙을 따라서 클립 길이 15초간 “C-D-C” 1회 왕복 이동하는 영상을 획득하도록 할 수 있으며, 제 3 버추얼카메라는 E-F 화살표 트랙을 따라서 클립 길이 15초간 "E-F-E" 1회 왕복 이동하는 영상을 획득하도록 할 수 있으며, 릴스모드로서, 제 4 버추얼카메라가 G-H 화살표 트랙을 따라서 클립 길이인 15초간 “G-H-G-H-G” 2회 왕복 이동하는 영상을 획득하도록 할 수 있다. 여기서, 모든 버추얼카메라의 앵글 정중앙에는 3D 아바타가 위치하도록 오토 트렉킹(Auto Tracking) 기능을 적용할 수 있다. 또한 녹화시, 3D 아바타의 눈동자가 항상 제 1 버추얼카메라를 정면으로 바라보도록 오토 게이징(Auto gazing)을 적용할 수 있는데, 릴스모드의 경우 제 4 버추얼카메라에 오토 게이징이 적용되도록 할 수 있다.
편집스타일제공부(15)는 버추얼카메라영상획득부(14)에 의해 각각 획득되는 영상 중에서 사운드의 다수로 구획된 구간별로 원하는 영상을 사용자의 조작신호에 의해 선택하도록 한다(도 2의 "5. 편집 스타일 선택" 및 도 12 참조). 즉, 편집스타일제공부(15)는 사용자의 조작신호에 의해 사운드의 구간 각각에 대해서 원하는 영상이 입혀지도록 편집하도록 하는데, 이를 위해 사운드의 구간을 선택하고, 선택된 구간 마다 버추얼카메라 중 어느 하나의 획득 영상과 매칭시킴으로써, 사운드에 대한 영상을 편집하도록 할 수 있다.
편집스타일제공부(15)는 도 4에 나타낸 바와 같이, 사운드의 구간 길이를 제 1 설정길이로 분할하고, 제 1 설정길이의 구간 각각에 대해서 클로즈업 영상, 웨이스트샷 영상 및 와이드샷 영상 중 어느 하나를 선택하도록 하는 일반 편집모드와, 도 5에 나타낸 바와 같이, 사운드의 구간 길이를 제 1 설정길이보다 짧은 제 2 설정길이로 분할하고, 제 2 설정길이의 구간 각각에 대해서 클로즈업 영상, 웨이스트샷 영상 및 와이드샷 영상 중 어느 하나를 선택하도록 하는 빠른 편집모드와, 도 6에 나타낸 바와 같이, 사운드의 구간에 릴스전용 영상을 선택하도록 하는 릴스모드 중에서 어느 하나의 모드를 사용자의 조작신호에 의해 선택하도록 할 수 있다. 여기서, 일반 편집모드에서의 사운드 구간 길이는 사운드가 포함되는 장르의 일반적인 BPM(Beats Per Minute)에 상응하도록 정해질 수 있다. 또한 빠른 편집모드에서 사운드 구간 길이는 사운드가 포함되는 장르의 일반적인 BPM보다 빠른 BPM에 상응하도록 정해질 수 있다. 이는 사운드 제작자의 주관적인 판단에 의해 정해질 수 있다.
렌더링부(16)는 3D배경제공부(13)에 의해 선택된 3D 배경에 편집스타일제공부(15)에 의해 선택된 영상을 사운드와 함께 렌더링하도록 하고, 이를 후술하게 될 데이터베이스부(21) 내지 메모리부에 저장하는데(도 13 및 도 14 참조), 이러한 렌더링은 3D배경제공부(13)에 의해 선택된 3D 배경 데이터, 편집스타일제공부(15)에 의해 선택된 영상 데이터, 그리고 사운드 데이터를 활용하여, 이들의 통합 영상을 생성하도록 하는데, 렌더링 기법에 대해서는 공지된 기술이 사용될 수 있음은 물론이다.
본 발명의 일 실시례에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템(10)은 화면비율제공부(17)와 VFX제공부(18)를 더 포함할 수 있고, 나아가서, 데이터베이스부(21)와 결제부(19)를 더 포함할 수 있다.
화면비율제공부(17)는 렌더링부(16)에 의해 렌더링되는 다수의 화면비율을 제공하여, 사용자의 조작신호에 의해 어느 하나의 화면비율을 선택하도록 할 수 있다(도 2의 "2. 최종 렌더링 클립 화면 비율 선택" 및 도 8 참조). 여기서 화면비율의 예로는 9:16, 1:1, 16:9 등일 수 있다.
VFX제공부(18)는 편집스타일제공부(15)에 의해 영상을 선택하면, 다수의 VFX(visual effect)를 제공하여, 사용자의 조작신호에 의해 어느 하나의 VFX를 선택하도록 할 수 있다(도 2의 "6. VFX 선택" 및 도 12 참조). 여기서, VFX는 모노톤, 올드필름, 세피아, 디퓨전필터, 비비드, RGB쉐이크, 인트로 타이틀(Intro title) 삽입 등일 수 있는데, 이는 운영자의 선택에 의해, 또는 알려진 효과 등을 사용하여 다양하게 적용될 수 있다.
데이터베이스부(21)는 렌더링부(16)에 의해 렌더링된 최종 영상을 사용자별로 저장하도록 하는데, 이를 통해 렌더링된 최종 영상을 정해진 과정에 의해 요청시 제공할 수 있도록 한다.
결제부(19)는 렌더링부(16)에 의해 렌더링된 영상에 대한 대가의 결제를 수행하도록 하는데, 이를 통해 사용자는 렌더링된 영상 제작 및 이용에 대한 정해진 대가를 지불하도록 한다. 이를 위해 결제부(19)는 은행 입금 시스템이나 카드 결제 시스템과의 데이터 송수신을 통한 결제 과정을 수행하도록 할 수 있다.
이와 같은 본 발명에 따른 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템에 따르면, 누구나 손쉽게 자신만의 3D 아바타를 활용하여 3D로 구축된 가상의 스테이지에서 인기 있는 다양한 음악과 함께 댄스를 비롯한 다양한 모션데이터를 적용하여 영상 전문가들이 제작한 수준의 커버댄스 영상과 유사한 쇼츠 영상을 단 몇 번의 클릭만으로 자동으로 제작해 줄 수 있고, 이를 통해 주인공인 3D 아바타 모델링 데이터의 자유로운 적용과 함께, 공간 3D 모델링 데이터를 자유롭게 변화시킴으로써, 비현실적이거나 초현실적인 공간에서 3D 아바타가 주인공인 다양한 컨셉의 영상 제작이 쉽고 빠르게 가능하도록 한다.
또한 본 발명에 따르면, 전문가들이 제작한 영상물의 촬영 스킬, 편집 스킬, VFX(visual effect) 스킬을 데이터화하여 템플릿으로 판매, 구매 및 적용 등이 가능하도록 한다.
이와 같이 본 발명에 대해서 첨부된 도면을 참조하여 설명하였으나, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시례에 한정되어서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이러한 특허청구범위와 균등한 것들에 의해 정해져야 한다.
1,2 : 단말기 11 : 캐릭터제공부
12 : 캐릭터적용모션제공부 13 : 3D배경제공부
14 : 버추얼카메라영상획득부 15 : 편집스타일제공부
16 : 렌더링부 17 : 화면비율제공부
18 : VFX제공부 19 : 결제부
21 : 데이터베이스부 22 : 접속부
23 : 입력부

Claims (5)

  1. 다수의 3D 아바타를 제공함으로써, 사용자의 조작신호에 의해 원하는 3D 아바타를 선택하도록 하는 캐릭터제공부;
    다수의 모션을 제공함으로써, 상기 캐릭터제공부에 의해 선택되는 3D 아바타가 상기 다수의 모션 중에서 미리 정한 사운드와 연동되는 모션을 사용자의 조작신호에 의해 선택하도록 하는 캐릭터적용모션제공부;
    다수의 3D 배경을 제공함으로써, 상기 캐릭터적용모션제공부에 의해 선택된 모션의 배경을 사용자의 조작신호에 의해 상기 다수의 3D 배경 중에서 선택하도록 하는 3D배경제공부;
    상기 캐릭터적용모션제공부에 의해 선택된 모션을 수행하는 3D 아바타에 대해서 다수의 버추얼카메라 각각이 정해진 트랙을 따라 이동하면서 상기 3D 아바타에 대한 영상을 각각 획득하도록 처리하는 버추얼카메라영상획득부;
    상기 버추얼카메라영상획득부에 의해 각각 획득되는 영상 중에서 상기 사운드의 다수로 구획된 구간별로 원하는 영상을 사용자의 조작신호에 의해 선택하도록 하는 편집스타일제공부; 및
    상기 3D배경제공부에 의해 선택된 3D 배경에 상기 편집스타일제공부에 의해 선택된 영상을 상기 사운드와 함께 렌더링하는 렌더링부;
    를 포함하고,
    상기 버추얼카메라영상획득부는,
    제 1 버추얼카메라를 사용하여, 상기 3D 아바타의 얼굴 전방에서 반원 형태의 제 1 트랙을 따라 왕복 이동하면서 상기 3D 아바타의 얼굴에 대한 클로즈업 영상을 획득하도록 하고, 제 2 버추얼카메라를 사용하여, 상기 3D 아바타의 웨이스트 전방에서 반원 형태의 제 2 트랙을 따라 왕복 이동하면서 상기 3D 아바타의 웨이스트샷 영상을 획득하도록 하며, 제 3 버추얼카메라를 사용하여, 상기 3D 아바타의 신체 전방에서 반원 형태의 제 3 트랙을 따라 왕복 이동하면서 상기 3D 아바타의 전체가 포함되는 와이드샷 영상을 획득하도록 하고, 제 4 버추얼카메라를 사용하여, 상기 3D 아바타가 정면을 응시하는 방향에 일치하는 전후방향의 제 4 트랙을 따라 왕복 이동하면서 릴스전용 영상을 획득하도록 하고,
    상기 편집스타일제공부는,
    상기 사운드의 구간 길이를 제 1 설정길이로 분할하고, 상기 제 1 설정길이의 구간 각각에 대해서 상기 클로즈업 영상, 상기 웨이스트샷 영상 및 상기 와이드샷 영상 중 어느 하나를 선택하도록 하는 일반 편집모드와, 상기 사운드의 구간 길이를 상기 제 1 설정길이보다 짧은 제 2 설정길이로 분할하고, 상기 제 2 설정길이의 구간 각각에 대해서 상기 클로즈업 영상, 상기 웨이스트샷 영상 및 상기 와이드샷 영상 중 어느 하나를 선택하도록 하는 빠른 편집모드와, 상기 사운드의 구간에 상기 릴스전용 영상을 선택하도록 하는 릴스모드 중에서 어느 하나의 모드를 사용자의 조작신호에 의해 선택하도록 하는, 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템
  2. 삭제
  3. 삭제
  4. 청구항 1 에 있어서,
    상기 렌더링부에 의해 렌더링되는 다수의 화면비율을 제공하여, 사용자의 조작신호에 의해 어느 하나의 화면비율을 선택하도록 하는 화면비율제공부; 및
    상기 편집스타일제공부에 의해 영상을 선택하면, 다수의 VFX(visual effect)를 제공하여, 사용자의 조작신호에 의해 어느 하나의 VFX를 선택하도록 하는 VFX제공부;
    를 더 포함하는, 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템
  5. 청구항 1 에 있어서,
    상기 렌더링부에 의해 렌더링된 영상을 사용자별로 저장하는 데이터베이스부; 및
    상기 렌더링부에 의해 렌더링된 영상에 대한 대가의 결제를 수행하도록 하는 결제부;
    를 더 포함하는, 3D 캐릭터와 3D 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템
KR1020230062729A 2023-05-15 2023-05-15 3d 캐릭터와 3d 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템 KR102603578B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230062729A KR102603578B1 (ko) 2023-05-15 2023-05-15 3d 캐릭터와 3d 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230062729A KR102603578B1 (ko) 2023-05-15 2023-05-15 3d 캐릭터와 3d 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템

Publications (1)

Publication Number Publication Date
KR102603578B1 true KR102603578B1 (ko) 2023-11-17

Family

ID=88968673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230062729A KR102603578B1 (ko) 2023-05-15 2023-05-15 3d 캐릭터와 3d 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템

Country Status (1)

Country Link
KR (1) KR102603578B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140082266A (ko) * 2012-12-24 2014-07-02 한국전자통신연구원 혼합현실 콘텐츠 시뮬레이션 시스템
KR20180046803A (ko) * 2016-10-28 2018-05-09 한국해양과학기술원 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
KR20210061563A (ko) * 2019-11-20 2021-05-28 가톨릭대학교 산학협력단 가상 현실에서 3d 물체 조작을 위한 보조 카메라 위치 최적화 장치 및 방법
KR20220057388A (ko) * 2020-10-29 2022-05-09 주식회사 팝스라인 Ar 버츄얼 단말 및 그의 제어 방법
KR20220140391A (ko) * 2021-04-09 2022-10-18 주식회사 오썸피아 가상 카메라 머신을 이용한 콘텐츠 제공 시스템 및 방법
KR20230027656A (ko) * 2021-08-19 2023-02-28 주식회사 앱플러 비디오 커머스 시스템에서 숏폼 비디오를 제작하기 위한 동영상 특수 효과를 제공하기 위한 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140082266A (ko) * 2012-12-24 2014-07-02 한국전자통신연구원 혼합현실 콘텐츠 시뮬레이션 시스템
KR20180046803A (ko) * 2016-10-28 2018-05-09 한국해양과학기술원 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
KR20210061563A (ko) * 2019-11-20 2021-05-28 가톨릭대학교 산학협력단 가상 현실에서 3d 물체 조작을 위한 보조 카메라 위치 최적화 장치 및 방법
KR20220057388A (ko) * 2020-10-29 2022-05-09 주식회사 팝스라인 Ar 버츄얼 단말 및 그의 제어 방법
KR20220140391A (ko) * 2021-04-09 2022-10-18 주식회사 오썸피아 가상 카메라 머신을 이용한 콘텐츠 제공 시스템 및 방법
KR20230027656A (ko) * 2021-08-19 2023-02-28 주식회사 앱플러 비디오 커머스 시스템에서 숏폼 비디오를 제작하기 위한 동영상 특수 효과를 제공하기 위한 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
정진범 외 2명. 'A Study on Implementation of Motion Graphics Virtual Camera with AR Core'. 한국컴퓨터정보학회논문지. Vol. 27 No. 8, pp. 85-90, August 2022.* *

Similar Documents

Publication Publication Date Title
US20130321396A1 (en) Multi-input free viewpoint video processing pipeline
US9299184B2 (en) Simulating performance of virtual camera
US20200275083A1 (en) Information processing apparatus, information processing method, and computer readable storage medium
US10362224B2 (en) System and method for identifying comment clusters for panoramic content segments
US20140237365A1 (en) Network-based rendering and steering of visual effects
EP2304690A2 (en) Processing of images to represent a transition in viewpoint
JP2006012161A (ja) 対話式視点ビデオシステムおよびプロセス
JP2015520403A (ja) カラオケダンシングゲーム
CN113660528B (zh) 一种视频合成方法、装置、电子设备和存储介质
US20230353717A1 (en) Image processing system, image processing method, and storage medium
JP7525601B2 (ja) 没入型コンテンツから2d映画を作成するシステムおよび方法
KR102603578B1 (ko) 3d 캐릭터와 3d 배경을 이용하여 버추얼카메라를 활용한 촬영 및 음악 장르의 편집과 영상 효과의 선택이 적용되는 영상 렌더링 시스템
Chung Emerging Metaverse XR and Video Multimedia Technologies
KR101773891B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
CN112511815B (zh) 图像或视频生成方法及装置
WO2020194973A1 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
CN115858077A (zh) 用于创建特效的方法、装置、设备和介质
JP2023019088A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
US20240119668A1 (en) Image processing apparatus, method for controlling the same, and storage medium
JP7445272B1 (ja) 動画処理方法、動画処理システム、及び動画処理プログラム
Morvan et al. Handling occluders in transitions from panoramic images: A perceptual study
CN117953140A (zh) 信息生成方法、装置、设备及介质
CN109669753B (zh) 数字视听系统界面显示方法及计算机可读存储介质
Simbelis Time and Space in Broken Panorama

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant