KR101669897B1 - 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치 - Google Patents

3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101669897B1
KR101669897B1 KR1020140037278A KR20140037278A KR101669897B1 KR 101669897 B1 KR101669897 B1 KR 101669897B1 KR 1020140037278 A KR1020140037278 A KR 1020140037278A KR 20140037278 A KR20140037278 A KR 20140037278A KR 101669897 B1 KR101669897 B1 KR 101669897B1
Authority
KR
South Korea
Prior art keywords
image
virtual studio
object module
virtual
studio
Prior art date
Application number
KR1020140037278A
Other languages
English (en)
Other versions
KR20150114016A (ko
Inventor
김영대
Original Assignee
주식회사 다림비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다림비젼 filed Critical 주식회사 다림비젼
Priority to KR1020140037278A priority Critical patent/KR101669897B1/ko
Publication of KR20150114016A publication Critical patent/KR20150114016A/ko
Application granted granted Critical
Publication of KR101669897B1 publication Critical patent/KR101669897B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치에 관한 것으로서, 더욱 상세하게는 가상 스튜디오에 들어가는 각종 구성요소를 3D 객체 모듈화하여, 필요한 3D 객체 모듈들을 용이하게 조합하여 가상 스튜디오를 생성할 수 있게 하는 방법 및 그 장치에 관한 것이다.
본 발명에 의하면, 3D 디자인 소프트웨어에 대한 전문적인 지식이 없이 간단한 2D 비디오 그래픽 편집기술에 대한 지식만으로도 자신이 원하는 형태의 실시간 가상 스튜디오의 설계를 가능하게 한다. 즉, 인테리어 소장품들을 자신의 공간에 배치하듯이, 3D 객체 모듈을 데이터베이스에서 선택하여 가상 스튜디오에 배치하고, 재구성하고, 스케일링 및 텍스쳐 변환 등에 의해 모듈화에 의한 가상 스튜디오 구성을 용이하게 하도록 한다.

Description

3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치{METHOD AND SYSTEM FOR GENERATING VIRTUAL STUDIO IMAGE BY USING 3-DIMENSIONAL OBJECT MODULES}
본 발명은 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치에 관한 것으로서, 더욱 상세하게는 가상 스튜디오 영상에 들어가는 각종 구성요소를 3D 객체 모듈화하여, 필요한 3D 객체 모듈 즉 스튜디오의 필요한 요소, 애니메이션 모니터나 물체, 캐릭터들을 용이하게 조합하여 가상 스튜디오를 생성하고 다양한 애니메이션을 인터렉티브하게 구현할 수 있게 하는 방법 및 그 장치에 관한 것이다.
즉, 본 발명은 방송을 하는 방송장치에 활용이 되는 스튜디오 제작 및 그 스튜디오에서 방송을 하며 인터렉티브한 3D 객체 모듈을 자유로이 활용하는 방법에 관한 것이며, 또한 이들의 객체를 방송을 하는 장치에서만이 아닌 방송을 보는 실시간 3D 렌더 기능을 갖는 스마트 장치(스마트폰, 스마트TV, 스마트 세톱박스, TV, 태블릿 등)에 의해 각 객체와 아나운서 크라마키 비디오를 재합성하여 보는 사람에 의해 장면 전환이 가능하게 하거나, 전체 방송이 아니어도 제공되는 비디오 방송에, 프로그램의 부가 정보 서비스로서, 3D 데이터를 출력할 수 있도록 하는 방송 모델을 제공할 수 있게 한다. 방송 중 상기 3D 데이터를 통한 해당 정보를 부가 버튼을 통해 제공하고, 실시간으로 시청자가 자신의 조정으로 해당 정보를 볼 수 있는 인터액티브 3D 데이터를 보여 주게 하는 방송 모델까지도 가능하게 한다.
상기 3D 데이터에 대하여, 시청자가 자신의 마우스 혹은 리모콘을 가지고 원하는 장면을 인터액티브하게 돌리거나 작동을 시켜주는 실시간으로 조정 가능하도록 한다. 또한 시청자가 자신의 단말에서 자유로이 원하는 3D 객체 모듈을 제어하도록 하여 추가 정보에 용이하게 접근할 수 있는 방송 방식의 모델을 제공한다. 이러한 방송 모델을 통해 시청자는 방송에서 제공되는 일반적인 방송 외에 자신이 보고 싶은 각도에서의 방송 화면이나, 부가 관련 3D 객체의 작동이나 각도에서의 물체의 모양 등을 방송과 함께 정보를 능동적으로 얻을 수 있도록 한다.
나아가, 추가 클릭을 하는 경우 해당 회사에서 클릭당 부가 광고 수입을 할수 있게 하여 클릭 수에 해당하는 과금을 3D 모델의 정보를 제공하려는 회사회부터 수입을 방송사가 갖도록 광고 수입을 일으키게 하는 비즈니스 모델을 포함한다.
기존의 경우에는, 가상 스튜디오를 생성하기 위해 3D 영상 발생 기술과 카메라 비디오를 합성하는 기술을 이용하여 왔다. 즉 그래픽으로 만든 3차원 영상을 카메라로부터 입력된 연기자의 비디오와 자연스럽게 합성시켜 마치 배우가 실제 스튜디오에 있는 것과 같은 화면을 만들어 주고 카메라가 움직이는 것을 센서로 읽어들인 후, 그래픽 발생장치에서 카메라의 위치에 상응하는 배경 및 전경을 그려 합성하도록 하는 것이다. 이러한 가상 그래픽 스튜디오 제작은 그동안 전문 3D 그래픽 프로그램인 주로 3D max나 Maya등과 같은 전용 프로그램에서 스튜디오를 멋지게 디자인하고, 다시 이 디자인처럼 실제 가상스튜디오에서 실시간으로 표현하도록 하는 그래픽 최적화를 통해 렌더(render) 부하를 최소화하는 과정을 거치게 된다.
즉, 이러한 프로그램을 써서 다양한 스튜디오의 3D 구성품을 만들어 내고 각 구성품(세트들)의 특수 효과를 통해 실제처럼 표현하도록 하는 그래픽 과정을 거치게 된다. 특히 이러한 특수 효과를 만들기 위해서 다양한 특수 효과 필터를 쓰게 되고 이러한 특수 효과의 경우 실시간 가상 스튜디오에 사용하기 위해서는 다양한 방식으로 효과를 내도록 수작업을 해야 하나, 한정된 그래픽의 렌더 시간(실시간 가상스튜디오에서는 그래픽을 1초에 30장을 렌더해야 하는 시간) 제약으로 좋은 화질의 그래픽을 만드는데 한계가 있다. 따라서 그동안 가상 스튜디오용 그래픽 제작은 먼저 전문 디자이너가 방송 스튜디오 디자인을 한 후, 다시 이것을 그래픽으로 옮겨 표현하는 3D 그래픽 디자인을 하며, 다시 이러한 그래픽을 가상스튜디오로 옮겨 실시간으로 최대한 실제적 효과가 나오도록 하는 가상 스튜디오용 3D 그래픽으로의 최적화과정을 수행해야 한다. 이러한 문제로 그동안 가상 스튜디오를 위한 스튜디오 디자인은 아주 특수한 전문 교육자에 한해서 가능하게 되었으며, 이러한 이유로 가상 스튜디오가 범용화되지 못하고 고가 시장에서만 사용됨에 따라, 특수 전문인력 부재의 한계를 맞이하게 된 것이 현실이다.
즉 가상 스튜디오 그래픽 설계와 장비와의 호환 그래픽 세트 설계를 하기 위해서는, 3D 프로그램의 습득과, 방송 스튜디오 디자인 지식, 그리고 장비에 최적화한 그래픽 최적화 기술을 습득하는 단계를 거쳐야 함에 따라 대중화가 쉽지 않게 됨으로써, 최근 다양한 인터넷 방송과 전문 컨텐츠 제작의 요구가 시장에서 급격하게 발생하고 있음에도 가상 스튜디오의 세트 설계의 난점에 따른 한계로 시장 확대에 커다란 걸림돌이 되고 있다.
또한 기존의 가상 스튜디오 디자인에서, 최적화되어 완성된 3D 그래픽 세트는 가상 스튜디오에서 다시 3D 그래픽을 수정하거나 임의의 새로운 3D 객체(object)를 첨가할 수 없고, 수정이 필요한 경우 처음부터 다시 3D 그래픽 소프트웨어인 3D max나 Maya에서 첨가하고 싶은 3D 객체(object)를 읽어 들이거나 그려넣어서 가상 스튜디오에 맞게 최적화의 단계를 거쳐 로딩해야 하는 과정을 거쳐야 하는 문제점이 있어 왔다. 따라서 방송 스튜디오를 그래픽으로 만들어 사용하는 경우, 필요한 증강현실(augmented reality, AR)에서 3D 객체인 비행기 등을 스튜디오 등에 불러 들여 보여 주게 하는 것이 필요할 경우, 필요한 물체들을 함께 스튜디오 안에 만들어 넣은 상태의 전체 스튜디오를 다시 제작해야 하는 불편함이 있어 시간과 노력이 많이 들게 되고, 많은 데이터들, 즉 교육에 사용하는 스튜디오에서 매 시간마다 가상의 물체나 실험을 매번 따로 스튜디오를 만들어 공급해야 하는 큰 어려움이 발생하게 되는 문제점이 있었다.
또한, 기존의 가상 스튜디오 영상에서는, 시청자가 일방적으로 스트리밍되는 영상을 시청함으로 말미암아, 그 가상 스튜디오 영상을 시청하는 흥미가 반감되는 문제점이 있었다.
KR 10-2011-0124048 A
본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명에 의하면, 3D 디자인 소프트웨어에 대한 전문적인 지식이 없이 간단한 2D 비디오 그래픽 편집기술에 대한 지식만으로도 자신이 원하는 형태의 실시간 가상 스튜디오의 설계를 기본 스튜디오의 3D 객체 모듈, 즉 벽, 천장, 바닥, 책상, 등 다양한 장식품들을 미리 DB로 제공하여 이들의 텍스쳐를 손쉽게 변경이 가능하게 하므로서 누구나 자신만의 스튜디오를 자유로운 조합, 크기 조정등으로 쉽게 만들어 내게 하는 데 그 목적이 있다. 즉, 인테리어 소장품들을 자신의 공간에 배치하듯이, 3D 객체 모듈을 데이터베이스에서 선택하여 가상 스튜디오에 배치하고, 재구성하고, 스케일링 및 텍스쳐 변환 등에 의해 모듈화에 의한 가상 스튜디오 구성을 용이하게 하도록 하는데 그 목적이 있다. 특히 다양한 스크린 들과 같이 TV 모니터들을 날씨 등에 사용되듯 필요한 장면에 애니메이션 트랙 및 크기를 조정하며 실시간 변환 및 세팅이 가능하게 함으로써 항상 다른 모습의 장면을 만들 수 있게 하고 이를 위한 3D 전문 프로그램을 쓰지 않고도 그와 같이 구현할 수 있도록 하는데 목적이 있다. 이러한 조립식 가상 스튜디오 디자인은 실제 방송국 스튜디오 제작의 세트들을 다양하게 조합하여 만드는 방식과 동일한 컨셉으로 다양한 세트들을 그래픽으로 제공하거나 쉽게 수정, 만들어 사용하는 방식으로 만들 수 있게 한다.
또한 이러한 3D 객체 모듈을 가상 스튜디오에 삽입하게 하는 기능은 다양한 스튜디오 설계시, 쉽고 빠르게 설계변경이 가능하게 하고, 이들의 단품 객체들을 새로이 스튜디오에 삽입할 수 있게 하며, 나아가 다양한 신(scene)별로 트랙을 만들어 줄 수 있게 함으로써 애니메이션 TV 스크린 모니터나 캐릭터들을 다양하게 활용하는 스튜디오의 영상 발생을 하게 하는 기능을 제공하여 기존의 한정적인 가상 스튜디오 활용의 한계를 극복할 수 있게 한다.
또한 객체 모듈의 스튜디오 세트 컴포넌트를 클라우드화 하여 필요한 3D 객체 모듈을 공유할 수 있게 하며, 다운로드 서비스화가 가능하게 함으로써 더욱 다양한 VR AR 방송환경을 대중화할 수 있게 된다. 특히 이들 모듈의 조합과 세트를 이용한 가상 스튜디오를 통한 방송을 실시간으로 하거나 레코딩을 하는 경우, 실제 출력만 녹화하는 기존 방식이 아닌 컨텐트를 구성하는 3D 객체 정보와 이들을 제어하는 command 즉 카메라, 컨텐트의 내용의 정보를 함께 또는 따로 저장하거나 방송을 통해 클라이언트 쪽에서 렌더를 통해 실시간 인터렉티브 기능을 구현할수 있게 하므로서 하나의 방송 채널이라 하여도 다양한 형태로 클라이언트에서 다양한 장면을 다르게 구현하는 획기적인 방송 방식을 구현할 수 있게 한다.
또한 본 발명은, 가상 스튜디오를, 객체들의 조합으로 언제나 수정 변경이 가능하게 하고 해당 스튜디오에서 필요한 3D 객체를 인터렉티브하게 사용할 수 있게 하는 방식으로 이들의 3D 객체 및 스튜디오 정보를 방송과 함께 데이터를 스마트 장치로 공유하여 단말 스마트 장치에서 원하는 장면을 렌더하여 보여 주게 하는 방식을 가능하게 하여, 종래의 일반 TV방송에서 할 수 없었던 장면의 전환, 객체들의 인터액티브 방송을 할 수 있는 기능을 제공하여 홈쇼핑, 정보 채널, 의료 및 교육 프로그램에 폭넓은 부가 방송이 가능하게 하는 모델이다.
또한 기존의 방송 방식은 출력 화면을 모두가 일방적으로 보기만 하던 방식에서 본 기술의 스튜디오 객체 조합 정보와 신 액션 정보를 방송을 통해 보내 주고, 액터의 크로마키 부분만을 각 클라이언트에 보내 주어 클라이언트 컴퓨터 혹은 스마트 장치에서 이를 렌더하는 클라이언트 가상 스튜디오 방식을 사용할수 있게 하므로서 트래픽 데이터의 양을 대폭 줄일수 있고, 방송을 하는 사람의 카메라 액션이나 컨테트 스위칭 정보만을 보던 방식에서 클라이언트에서 원하는 장면을 볼수 있게 하는 새로운 방식이 가능하도록 할수 있게 하므로서 가상 실험과 같은 방송을 방송사에서 움직이는 실시간 3D 방송을, 클라이언트가 시청중 자신의 조작에 의해 볼수 있게 하는 방식이 가능하게 하여 홈쇼핑과 같은 방식의 방송중 시청자가 자신의 스마트 TV혹은 장치에서 이 객체 모듈 정보를 클라우드 서버등에서 방송 정보로 다운되는 것을 이용하여 자신이 방송 채널의 보는 내용과 다르게 제어하며 시청을 하는 방송이 가능하게 된다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치가, 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하는 방법은, (a) 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하기 위한 메뉴를 화면에 제공하는 단계; (b) 사용자로부터 상기 메뉴를 통하여, 가상 스튜디오에 포함될 각 구성품을 3D 이미지로 표현한 3D 객체 모듈을 선택받는 단계; (c) 상기 선택받은 각 3D 객체 모듈을 합성하여 3D 그래픽 스튜디오 영상을 생성하는 단계; (d) 상기 가상 스튜디오에서 프리젠테이션을 진행하는 인물(이하 '액터'라 한다)에 대하여 카메라 촬영된, 하나 또는 다수의 비디오 영상(이하 '촬영 영상'이라 한다)을 수신하는 단계; 및 (e) 상기 생성된 3D 그래픽 스튜디오 영상 및 상기 촬영 영상에서 액터만을 추출한 영상(이하 '액터 영상'이라 한다)을 합성하여 가상 스튜디오 영상을 생성하는 단계를 포함하고, 상기 메뉴를 통하여 제공되는 3D 객체 모듈은, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치의 데이터베이스에 저장되어 있는 데이터로서 제공되며, 다양한 3D 모델 제작 프로그램에 의해 제작된 3D 모델을, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치에서 사용되는 가상 스튜디오 포맷으로 변환하는 프로그램을 이용하여 변환한 것이거나, 다양한 3D 모델 제작 프로그램에 의해 제작된 3D 모델을, 웹 상에서 제공되는, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치에서 사용되는 가상 스튜디오 포맷으로 변환하는 서비스를 이용하여 변환한 것을 특징으로 한다.
상기 메뉴에는 각 3D 객체 모듈에 대한 편집 기능을 제공하고, 상기 단계(b) 이후, (b1) 선택한 3D 객체 모듈에 대하여, 상기 단계(c)의 합성 전 또는 합성 후 상기 사용자로부터 입력된 편집 제어에 따라 편집을 수행하는 단계를 더 포함하고, 상기 편집 기능은, 상기 3D 객체 모듈의 화면상에 나타나는 크기, 위치, 투명도, 색상, 밝기의 변경 기능을 포함할 수 있다.
상기 메뉴를 통하여 제공되는 3D 객체 모듈은, 웹 상에서 제공되는 데이터로써 제공될 수 있다.
상기 메뉴에는 가상 스튜디오 영상에 대한 가상 카메라 이동 기능을 제공하고,상기 단계(c) 이후, (c1) 상기 사용자로부터 입력된 가상 카메라 이동 제어에 따라, 상기 가상 카메라의 이동에 의해 변화하는 가상 스튜디오 장면을 제공하는 단계를 더 포함할 수 있다.
상기 메뉴에는 가상 스튜디오 영상에서의 3D 객체 모듈의 이동 또는 모션이 가능한 애니메이션 기능을 제공하고, 상기 단계(c) 이후, (c2) 상기 사용자로부터 입력된 3D 객체 모듈의 애니메이션 제어에 따라, 상기 가상 스튜디오에서, 상기 3D 객체 모듈의 애니메이션 장면을 제공하는 단계를 더 포함하며, 상기 3D 객체 모듈의 크기 및 애니메이션의 위치는 변경 가능한 것일 수 있다.
상기 메뉴에는 상기 애니메이션되는 3D 객체 모듈에 상기 액터 영상을 합성하여 함께 움직이도록 하는 기능을 더 포함하고, 이 경우, 상기 3D 객체 모듈에 사용된 특정 텍스쳐 면들을 정의하여 이들에 비디오 영상 또는 외부 입력 영상을 맵핑하는 기 정의된 표준에 따라 상기 메뉴에 의해 상기 애니메이션되는 3D 객체 모듈에 상기 액터 영상을 합성하여 함께 움직이도록 할 수 있다.
상기 단계(e) 이전에, (e0) 상기 가상 스튜디오에 포함되는 가상 실험용 장치 등과 같이 움직이는 3D 애니메이션 객체, 또는 모니터나 스크린(이하 '스크린'이라 통칭한다)에 디스플레이될 프리젠테이션 자료 파일이나 비디오 영상을 선택받는 단계를 더 포함하고, 상기 단계(e)에서는,상기 생성된 3D 그래픽 스튜디오 영상 및 상기 액터 영상과, 상기 프리젠테이션 자료 파일이나 비디오 영상이 나타나는 스크린 영상 또는 상기 3D 애니메이션 객체를 합성하여 가상 스튜디오 영상을 생성할 수 있다.
상기 메뉴에는, 상기 액터 영상, 상기 3D 애니메이션 객체 또는 상기 스크린 영상에 대한 위치, 크기 등에 대한 변경 및 이동 등의 애니메이션 기능을 제공하고, 이 경우 다른 가상 카메라 신(scene)으로 장면 이동시 자동으로 기 설정된 바에 따른 선형 또는 곡선형의 트랙(track) 발생 룰(rule)에 따라 애니메이션이 발생하도록 하며, 상기 스크린에 나타나는 영상은 변경가능할 수 있다.
상기 단계(e) 이후, 상기 단계(e)에서 생성된 가상 스튜디오 영상 및, 이에 사용된 3D 객체 모듈데이터, 가상 카메라 또는 3D 객체 애니메이션 기능을 사용한 경우 그 움직이는 트랙(track) 정보를 포함하는 가상 스튜디오 영상 데이터를 데이터베이스에 저장하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하는 장치는, 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하기 위한 메뉴를 화면에 제공하는 메뉴 제공모듈; 상기 메뉴에서 제공되는, 가상 스튜디오에 포함될 각 구성품을 3D 이미지로 표현한 3D 객체 모듈의 선택 또는 가상 스튜디오 영상 생성 수행과 관련된 특정 기능 선택을 사용자로부터 입력받는 사용자 인터페이스 모듈; 상기 가상 스튜디오에서 강의를 진행하는 인물(이하 '액터'라 한다)에 대하여 카메라 촬영된, 하나 또는 다수의 비디오 영상(이하 '촬영 영상'이라 한다)을 수신하는 촬영 영상 수신모듈; 상기 선택받은 각 3D 객체 모듈 및 카메라에 의해 촬영된 비디오 영상을 합성하여 가상 스튜디오 영상을 생성하는 영상 합성 모듈; 가상 스튜디오 영상에 포함되는 3D 객체 모듈을 저장하는 가상 스튜디오 데이터베이스; 및 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치의 상기 각 구성요소를 제어하여 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성과 관련된 일련의 처리를 수행하는 제어부를 포함하고, 상기 메뉴를 통하여 제공되는 3D 객체 모듈은, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치의 데이터베이스에 저장되어 있는 데이터로서 제공되며, 다양한 3D 모델 제작 프로그램에 의해 제작된 3D 모델을, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치에서 사용되는 가상 스튜디오 포맷으로 변환하는 프로그램을 이용하여 변환한 것이거나, 다양한 3D 모델 제작 프로그램에 의해 제작된 3D 모델을, 웹 상에서 제공되는, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치에서 사용되는 가상 스튜디오 포맷으로 변환하는 서비스를 이용하여 변환한 것을 특징으로 한다.
본 발명의 또 다른 측면에 따르면, 상기 가상 스튜디오 영상에 포함될 3D 객체 모듈 서비스를 제공하는 방법은, (a) 온라인 사이트를 통하여 3D 객체 모듈 서비스 메뉴를 제공하는 단계; (b) 사용자 단말로부터, 상기 메뉴를 통하여 제공되는 3D 객체 모듈에 대한 구매요청을 수신하거나, 가상 스튜디오 포맷으로 변환해 줄 것을 요청하는 3D 객체 모듈 파일을 수신하거나, 3D 객체 모듈을 상기 가상 스튜디오 포맷으로 변환하는 프로그램의 구매요청을 수신하는 단계; (c) 상기 구매요청된 3D 객체 모듈이, 가상 스튜디오 포맷으로 구성된 파일인 경우, 해당 3D 객체 모듈을 상기 사용자의 단말로 다운로드하는 단계; 및 (d) 상기 구매요청된 3D 객체 모듈이 상기 가상 스튜디오 포맷이 아닌 경우, 상기 사용자의 요청에 따라, 상기 3D 객체 모듈을 그대로 상기 사용자의 단말로 다운로드하거나, 상기 3D 객체 모듈을 상기 가상 스튜디오 포맷으로 변환한 후 상기 사용자의 단말로 다운로드하는 단계; (e) 상기 가상 스튜디오 포맷으로 변환해 줄 것을 요청하는 3D 객체 모듈 파일을 수신한 경우, 상기 3D 객체 모듈 파일을 상기 가상 스튜디오 포맷으로 변환한 후 상기 사용자의 단말로 다운로드하는 단계; (f) 상기 사용자가 상기 3D 객체 모듈을 상기 가상 스튜디오 포맷으로 변환하는 프로그램을 구매요청한 경우 해당 프로그램을 상기 사용자 단말로 다운로드하는 단계를 포함한다.
상기 단계(e)에서 가상 스튜디오 변환한 3D 객체 모듈은, 상기 온라인 사이트를 통하여 무료로 타 사용자들에게 제공하거나 또는 일정 금액 이하의 가격으로 타 사용자들에게 판매할 수 있다.
본 발명의 또 다른 측면에 따르면, 가상 스튜디오 영상을 이용한 방송 시스템이, 가상 스튜디오 방송 영상을 제공하는 방법은, (a) 시청자 단말로부터 특정 방송 영상 제공요청을 수신하는 단계; (b) 가상 스튜디오 배경 또는 가상 스튜디오에 포함되는 각종 구성품을 3D 이미지화한 3D 객체 모듈, 가상 스튜디오에서 프리젠테이션을 진행하는 인물의 영상을 포함하는, 상기 시청자 단말로부터 요청된 가상 스튜디오 방송 영상을 상기 시청자 단말로 제공하는 단계; 및 (c) 상기 가상 스튜디오 방송 영상을 상기 시청자 단말에서 인터랙티브하게 조정하면서 볼 수 있게 해 주는 제어정보를 상기 시청자 단말로 전송하는 단계를 포함하고, 상기 제어정보에는, 시청자 단말에서 동작하는 클라이언트 프로그램으로 하여금 상기 가상 스튜디오 방송 영상에 등장하는 3D 객체 모듈에 대하여, 크기를 변경하거나, 각도를 회전시키거나, 상기 영상에 나타나지 않는 부위가 화면에 보여지도록 하거나, 또는 움직이는 동작을 발생시키도록, 상기 3D 객체 모듈에 실시간 3D 렌더(render)를 수행할 수 있도록 하는 3D 인터랙티브 정보를 포함하는 것을 특징으로 한다.
상기 단계(b)에서 제공되는 가상 스튜디오 방송 영상은, 상기 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상을 합성하여 제공되는 영상이거나, 상기 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상의 일부 또는 전부가 합성되지 않은 상태로, 상기 시청자 단말에서 원하는 형태로 합성하여 볼 수 있도록 각각 개별적으로 제공되는 영상이고, 이 경우 상기 가상 스튜디오에서 프리젠테이션을 진행하는 인물의 영상은, 상기 인물의 프리젠테이션 영상을 촬영한 영상에서 배경을 제거한, 인물만의 영상일 수 있다.
상기 제어정보는, 상기 가상 스튜디오 방송 영상에 등장하는 각 3D 객체 모듈의 위치 또는 각도를 조정하거나, 각 3D 객체 모듈에 대한 애니메이션 효과를 제공하거나, 상기 가상 스튜디오 방송 영상에 나타나는 가상 카메라 촬영 각도를 조정할 수 있는 정보를 포함할 수 있다.
상기 단계(c) 이후, (d1) 상기 시청자 단말로부터 상기 가상 스튜디오 방송 영상에 등장하는 특정 3D 객체 모듈에 대한 부가정보 제공요청을 수신하는 단계; 및 (d2) 상기 요청된 3D 객체 모듈에 대한 부가정보를 상기 시청자 단말로 제공하는 단계를 더 포함할 수 있다.
기 설정된 부가정보의 제공에 있어서, 그 부가정보가 특정 제품의 광고 정보일 경우, 그 부가정보 노출 횟수에 따라, 상기 제품의 제공 기업에 대한 과금을 수행할 수 있다.
본 발명의 또 다른 측면에 따르면, 시청자의 단말에 설치되어 동작하며, 가상 스튜디오 방송 영상을 제공하는 가상 스튜디오 영상을 이용한 방송 시스템과 통신하면서 시청자에게 인터랙티브한 가상 스튜디오 방송 영상을 제공하는 어플리케이션 프로그램(이하 '가상 스튜디오 방송 클라이언트'라 한다)이 수록된 기록매체로서, 상기 가상 스튜디오 방송 클라이언트는, 시청자의 입력에 따라 상기 가상 스튜디오 영상을 이용한 방송 시스템에 특정 방송 영상 제공요청을 송신하는 기능; 상기 가상 스튜디오 영상을 이용한 방송 시스템으로부터, 가상 스튜디오 배경 또는 가상 스튜디오에 포함되는 각종 구성품을 3D 이미지화한 3D 객체 모듈, 가상 스튜디오에서 프리젠테이션을 진행하는 인물의 영상을 포함하는, 상기 시청자 단말로부터 요청된 가상 스튜디오 방송 영상을 수신하는 기능; 상기 가상 스튜디오 영상을 이용한 방송 시스템으로부터, 상기 가상 스튜디오 방송 영상을 상기 시청자 단말에서 인터랙티브하게 조정하면서 볼 수 있게 해 주는 제어정보를 수신하는 기능; 상기 제어정보에 따라, 상기 가상 스튜디오 방송 영상을 상기 시청자로 하여금 인터랙티브하게 조정할 수 있게 해 주는 영상제어 인터페이스를 제공하는 기능; 및 상기 영상제어 인터페이스를 통하여 입력된 시청자의 영상제어요청에 따라, 상기 가상 스튜디오 방송 영상의 특정 요소를 새로이 렌더(render)하여, 그와 같이 조정된 가상 스튜디오 방송 영상을 상기 시청자 단말의 디스플레이를 통하여 나타내 주는 기능을 포함하고, 상기 가상 스튜디오 방송 영상의 특정 요소를 새로이 렌더(render)하는 기능에는, 상기 가상 스튜디오 방송 영상에 등장하는 3D 객체 모듈에 대하여, 상기 제어정보에 따라, 크기를 변경하거나, 각도를 회전시키거나, 상기 영상에 나타나지 않는 부위가 화면에 보여지도록 하거나, 또는 움직이는 동작을 발생시키도록 상기 3D 객체 모듈에 실시간 3D 렌더(render)를 수행하는 기능을 포함하는 것을 특징으로 한다.
상기 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상(이하 '가상 스튜디오 구성요소'라 통칭한다)의 일부 또는 전부가 하나의 방송 영상으로 합성되지 않은 상태로, 각각 개별적 영상으로 수신되는 경우, 시청자의 제어에 따라 상기 각 가상 스튜디오 구성요소들을 원하는 형태의 가상 스튜디오 방송 영상으로 합성하는 기능을 더 포함할 수 있다.
상기 제어정보에 따라 조정되는 요소는, 상기 가상 스튜디오 방송 영상에 등장하는 각 3D 객체 모듈의 위치 또는 각도를 조정하거나, 각 3D 객체 모듈에 대한 애니메이션 효과를 제공하거나, 상기 가상 스튜디오 방송 영상에 나타나는 가상 카메라 촬영 각도를 조정하는 것을 포함할 수 있다.
상기 가상 스튜디오 방송 영상에 등장하는 특정 3D 객체 모듈에 대한 상기 시청자의 선택을 감지하여, 그 3D 객체 모듈에 대한 부가정보 제공요청을 상기 가상 스튜디오 영상을 이용한 방송 시스템으로 송신하고, 상기 가상 스튜디오 영상을 이용한 방송 시스템으로부터 그 요청된 3D 객체 모듈에 대한 부가정보를 상기 수신하여 시청자에게 디스플레이해 주는 기능을 더 포함할 수 있다.
본 발명에 의하면, 3D 디자인 소프트웨어에 대한 전문적인 지식이 없이 간단한 2D 비디오 그래픽 편집기술에 대한 지식만으로도 자신이 원하는 형태의 실시간 가상 스튜디오의 설계를 가능하게 하는 효과가 있다. 즉, 인테리어 소장품들을 자신의 공간에 배치하듯이, 3D 객체 모듈을 데이터베이스에서 선택하여 가상 스튜디오에 배치하고, 재구성하고, 스케일링 및 텍스쳐 변환 등에 의해 모듈화에 의한 가상 스튜디오 구성을 용이하게 하도록 하는 효과가 있다.
또한 본 발명에 의하면, 3D 그래픽을 이용해 원하는 방송 스튜디오를 전문가 없이도 누구나 자신의 스튜디오를 만들어 자신만의 방송 그래픽 스튜디오를 쉽게 구성함에 의해 매일 방송마다 특화된 스튜디오를 바로 쉽게 변경하여 사용할 수 있으며, 방송의 장면, 신(scene)을 마음대로 만들 수 있고, 한 장비에서 가상 장면의 스위칭 믹싱까지 지원하는 강력한 가상 스튜디오를 운영할 수 있게 한다.
본 발명의 스튜디오 모듈 데이터로 따로 읽어 들여 이들을 조합하여 3D 스튜디오를 구성할 수 있도록 하는 기술을 이용하면, 전문가 없이도 누구나 스튜디오 제작, 편집이 가능하고, 전문 카메라맨들이 없이도 다양한 카메라 신들을 편집할 수 있으며, 각 장면마다 다양한 객체 애니메이션을 가능하게 하여 스튜디오 제작에서 카메라 신 장면 편집을 초보자도 만들 수 있게 되고, 이러한 스튜디오 컴포넌트를 한번 만들어 클라우드에 올려 누구나 함께 유료 혹은 무료로 사용을 할 수 있게 된다.
특히 이러한 3D 객체 로딩 및 지우기(erasing) 기능은 각종 증강현실이나 가상 실험이 필요한 교육환경이나 제품 설명을 해야 하는 홈쇼핑 등 다양한 환경에서 3D 물체를 매일 변경하여 로딩하고 방송에 사용하고 다시 없애고 하는 반복의 스튜디오 방송에 있어서 매우 중요한 기능으로 매번 전문 3D 디자이너에게 스튜디오 전체를 수정해 로딩할 부담을 덜어주는 장점이 있다.
또한, 스튜디오 제작을 가상 스튜디오 장비와 함께 제공되는 기본 방들의 벽,바닥 등의 모듈로 일반적인 스튜디오 방을 선택 혹은 재조정으로 사이즈 등을 바꾸어 사용할 수 있으며 텍스쳐들을 바꾸어 자신의 인테리어를 자신의 그림, 비디오 등으로 수정하여 만들 수 있고, 여기에 주어진 다양한 책상, 데코레이션, 스크린 등을 첨가하여 다양한 방송 스튜디오를 그래픽으로 만들 수 있게 하여, 그동안 전문 방송 스튜디오를 디자인하는 디자이너가, 3D max등 캐드 프로그램을 잘 알아야 하며, 이렇게 설계된 3D Max등의 스튜디오를 다시 실시간 가상 스튜디오에서 잘 돌아가게 하기 위한 최적화 기술을 알아야만 했던 그동안의 큰 문제로 대부분 가상 스튜디오가 사서 한두 세트만으로 사용을 하던 문제를 결정적으로 해결하여 시장을 대중화할 수 있고 누구나 초보자도 자신의 방송국을 만들 수 있게 한다.
또한, 3D 전문가가 아니어도 필요한 원하는 3D 모듈만 3D max에서 등 전문 3D 저작 S/W에서 기존 것이나 새것을 편집 혹은 수정하여 새 모듈을 만들어 사용함으로써, 스튜디오 전문가가 아닌 일반인이 3D max 만을 익혀 컴포턴트 모듈을 만들어 사용이 가능하다. 따라서 초보 3D max만 알아도 쉽게 다양한 모양의 모듈을 수정 제작이 가능하여 사용할 수 있게 한다.
또한, 이러한 모듈들을 만들어 클라우드 서버로 올리게 하여 서로 이용할 수 있게 할 수 있고, 서로 공유하여 사용할 수 있게 함으로써, 방대한 모듈, 악세서리를 데이터베이스화 하면서 가상 스튜디오 산업을 대중화할 수 있게 하며 새로운 비즈니스 모델을 만들어 내게 된다
또한, 가상 카메라 조정의 각 신(scene) 별로 이들 3D 객체(object)를 카메라 위치마다 함께 조정시킬 수 있게 함으로써, 방송 장면에 프리젠테이션 내용을 설명하는 날씨, 정보 방송 등에 전문 3D 엔지니어 없이 쉽게 장면을 만들 수 있게 된다.
또한, 가상 물체들을 설명하는 홈쇼핑, 물리 실험 등에 3D 객체(object)들을 읽어서 보여 주는 방송을 세트 수정없이 데이터만 읽어 사용을 할 수 있다.
또한 본 발명은, 시청자로 하여금, 객체들의 조합으로 언제나 가상 스튜디오의 수정 변경이 가능하게 하고 해당 스튜디오에서 필요한 3D 객체를 인터렉티브하게 조정할 수 있게 하는 방식으로서, 3D 객체 모듈 및 영상에 대한 제어정보를 방송과 함께 시청자의 단말로 제공하여 시청자 단말에서 원하는 장면을 시청자의 제어에 따라 새로이 렌더(render)하여 보여 주게 하는 방식을 가능하게 하여, 종래의 일반 TV방송에서 할 수 없었던 장면의 전환, 객체들의 인터액티브한 애니메이션을 구현할 수 있는 기능을 제공하고, 이에 따라 홈쇼핑, 정보 채널, 의료 및 교육 프로그램에 폭넓은 부가 방송이 가능하게 하는 효과가 있다. 또한 그러한 방송을 실시간 뿐만 아니라 녹화 및 녹화방송까지 가능하게 한다.
도 1은 종래 가상 스튜디오 이미지를 생성하는 방식을 나타내는 도면.
도 2는 본 발명에 따른, 3D 객체 모듈을 이용한 가상 스튜디오 서비스를 제공하기 위한 일 실시예로서의 네트워크 구성을 나타내는 도면.
도 3은 본 발명에 따른, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법의 시퀀스를 나타내는 도면.
도 4는 본 발명에 따른, 3D 객체 모듈을 이용한 가상 스튜디오 제공 장치의 구성을 나타내는 도면.
도 5는 본 발명에 따른 가상 스튜디오 이미지를 생성하는 방식을 나타내는 도면.
도 5는 본 발명에 따른 가상 스튜디오를 구성하는 모듈의 로딩 화면의 일 실시예를 나타내는 도면.
도 6은 본 발명에 따른 가상 스튜디오를 구성하는 스튜디오 모듈 구성품을 나타내는 3D 객체(object)와 각 객체 표면 소재의 변경을 위해 재질 및 텍스쳐를 변경할 수 있도록 하는 방식을 도시한 도면.
도 7은 본 발명에 따른 가상 스튜디오의 3D 객체 모듈을 선택하고 조정하는 메뉴 화면의 일 실시예를 나타내는 도면.
도 8은 본 발명에 따른 가상 스튜디오 구성 메뉴 화면에 따라 3D 객체 모듈에 변화를 주는 과정을 예시한 도면.
도 9는 본 발명에 따른 가상 스튜디오에서 다수개의 3D 객체 모듈을 가상 스튜디오 화면상에 배치시킨 일 실시예를 나타내는 도면.
도 10은 본 발명에 따른 가상 스튜디오에서 복수개의 선택이 가능한 3D 객체 모듈 아이템 및 그에 대한 조정 기능을 제공하는 메뉴를 도시한 도면.
도 11은 본 발명에 따른 기본 스튜디오 모양별로 그룹을 정하고 그 그룹에서 다시 아이템들을 변경하여 만든 스튜디오들을 저장하는 가상 스튜디오들의 화면을 예시한 도면.
도 12는 본 발명에 따른 가상 스튜디오에서 가상 카메라 앵글마다 스튜디오의 스크린 객체의 위치가 변화되는 화면의 예시한 도면.
도 13은 본 발명에 따른 가상 스튜디오에서 발표자와 가상 스크린의 배치의 여러가지 예를 나타내는 도면.
도 14는 본 발명에 따른 가상 스튜디오에서 가상 카메라 앵글마다 스튜디오의 스크린 객체의 위치가 변화되도록 조정하는 메뉴의 일 실시예를 나타내는 도면.
도 15는 본 발명에 따른 가상 스튜디오에서 액터 또는 모니터의 일부분을 잘라내어 프레임 등으로 처리하는 기능을 나타내는 도면.
도 16은 시청자가 자신이 가상 스튜디오 영상을 인터랙티브한 방식으로 다양한 형태로 조정하여 보게 되는 영상의 실시예를 나타내는 도면.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 종래 가상 스튜디오 이미지를 생성하는 방식을 나타내는 도면이다.
기존의 가상 스튜디오는 카메라의 크로마키 이미지를 3D 그래픽 스튜디오와 함께 합성해 렌더링(rendering)하여 출력하는 방식으로 필요한 동영상,이미지들을 데이터로 읽어 들여 합성하는 방식을 사용하고 있다. 즉 3D max와 같은 툴에서 미리 모든 스튜디오 구성요소를 포함한 전체 스튜디오를 만들어 이를 최적화 한 후 실시간 가상 스튜디오에서 렌더링 되도록 하는 것이다. 가상 스튜디오는 이와 같이 만들어져 데이터베이스에 저장된다. 이와 같이 저장된 데이터베이스의 가상 스튜디오의 3D 데이터 파일을 가상 스튜디오 렌더 장치가 읽어 들이고, 이와 같은 스튜디오에 나올 강사 등의 촬영된 비디오나 이미지들을 데이터로 다시 불러 들여 가상 스튜디오에 합성함으로써 완성된 렌더(render) 출력을 하는 방식이 기존의 가상 스튜디오 방식이다. 이 경우, 모든 가상 스튜디오 그래픽을 미리 3D max와 같은 전용 3D 편집 프로그램에서 제작하고, 이를 다시 플러그인 엔진으로 렌더 상태를 확인하여 최적화, 즉 폴리곤을 줄이거나 특수 효과를 미리 렌더하여 만든 텍스쳐(texture)를 넣는 방식으로 새로운 가상 스튜디오용 전용 DB를 만들게 되는 것이다.
도 2는 본 발명에 따른, 3D 객체 모듈을 이용한 가상 스튜디오 서비스를 제공하기 위한 일 실시예로서의 네트워크 구성을 나타내는 도면이다.
3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100)의 구성 및 수행하는 기능에 대하여는 도 3 내지 도 15를 참조하여 후술한다. 가상 스튜디오 3D 객체 모듈 제공 시스템(200)은 가상 스튜디오에 포함될 각 구성품을 3D로 표현한 다양한 3D 객체 모듈을 웹 상에서 제공하는 시스템이다. 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100)를 통하여 가상 스튜디오 영상을 생성하려는 사용자는 이와 같이 웹 상에서 제공되는 3D 객체 모듈을 가상 스튜디오에 포함시키기 위하여 이용할 수도 있고, 또는 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100) 자체 데이터베이스에도 그러한 3D 객체 모듈을 충분히 가지고 있는 경우, 그 3D 객체 모듈을 사용할 수도 있다.
상기 메뉴를 통하여 제공되는 3D 객체 모듈은, 이들 객체를 웹상에서 가상 스튜디오 3D 객체 모듈 제공 시스템(200)로부터 무상 혹은 유상으로 다운로드 받아 사용하게 할 수 있는데, 예를 들어 3D 제작이 가능한 디자이너는 자신이 만든 객체를 웹으로 가상 스튜디오 3D 객체 모듈 제공 시스템(200)에 올리면 가상 스튜디오 3D 객체 모듈 제공 시스템(200)는 웹상에서 이들 객체를 본 장치의 가상 스튜디오 포맷으로 변환하여 게시하고, 이를 다운 받아 장치에 사용하게 하되, 가격을 정해 판매를 할 수 있는 장을 만들 수 있게 하되, 판매를 할 수 있는 조건을 변환 프로그램을 구입한 사람에 한정할 수 있고, 이 변환 프로그램을 구입치 않은 사람은 변환을 위해 자신의 3D 객체를 Open해서 남들이 함께 사용하게 할 수 있도록 구성할 수 있다. 물론 이것은 제공 서비스의 하나의 실시예이다.
이러한 가상 스튜디오 3D 객체 모듈 제공 시스템(200)의 서비스 제공방법의 일실시예를 정리해보면 다음과 같다. 즉,
(a) 온라인 사이트를 통하여 3D 객체 모듈 서비스 메뉴를 제공하는 단계;
(b) 사용자 단말로부터, 상기 메뉴를 통하여 제공되는 3D 객체 모듈에 대한 구매요청을 수신하거나, 가상 스튜디오 포맷으로 변환해 줄 것을 요청하는 3D 객체 모듈 파일을 수신하거나, 3D 객체 모듈을 상기 가상 스튜디오 포맷으로 변환하는 프로그램의 구매요청을 수신하는 단계;
(c) 상기 구매요청된 3D 객체 모듈이, 가상 스튜디오 포맷으로 구성된 파일인 경우, 해당 3D 객체 모듈을 상기 사용자의 단말로 다운로드하는 단계; 및
(d) 상기 구매요청된 3D 객체 모듈이 상기 가상 스튜디오 포맷이 아닌 경우, 상기 사용자의 요청에 따라, 상기 3D 객체 모듈을 그대로 상기 사용자의 단말로 다운로드하거나, 상기 3D 객체 모듈을 상기 가상 스튜디오 포맷으로 변환한 후 상기 사용자의 단말로 다운로드하는 단계;
(e) 상기 가상 스튜디오 포맷으로 변환해 줄 것을 요청하는 3D 객체 모듈 파일을 수신한 경우, 상기 3D 객체 모듈 파일을 상기 가상 스튜디오 포맷으로 변환한 후 상기 사용자의 단말로 다운로드하는 단계;
(f) 상기 사용자가 상기 3D 객체 모듈을 상기 가상 스튜디오 포맷으로 변환하는 프로그램을 구매요청한 경우 해당 프로그램을 상기 사용자 단말로 다운로드하는 단계
를 포함하는 것으로 할 수 있고, 이 경우 상기 단계(e)에서 가상 스튜디오 변환한 3D 객체 모듈은, 상기 온라인 사이트를 통하여 무료로 타 사용자들에게 제공하거나 또는 일정 금액 이하의 가격으로 타 사용자들에게 판매하는 것일 수 있다.
가상 스튜디오 영상을 이용한 방송 시스템(300)은, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100)이 제작한 가상 스튜디오 방송 영상을 시청자 단말(10)로 제공한다. 도 2에 도시된 바와 같이 가상 스튜디오 영상을 이용한 방송 시스템(300)과 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100)이 별개의 장치일 수도 있으나, 동일한 장치일 수도 있다. 즉, 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성한 장치가 직접 네트워크를 통하여 그 가상 스튜디오 영상을 시청자에게 방송 등의 방법으로 제공할 수도 있는 것이다.
여기서 시청자 단말(10)은 스마트폰, 스마트 TV, IPTV, 노트북(또는 데스크탑, 태블릿 PC) 컴퓨터 등의 다양한 스마트 장치를 포함할 수 있다.
가상 스튜디오 영상을 이용한 방송 시스템(300)이 수행하는 가상 스튜디오 영상 제공 방법을 정리하면 다음과 같다. 즉,
(a) 시청자 단말로부터 특정 방송 영상 제공요청을 수신하는 단계;
(b) 가상 스튜디오 배경 또는 가상 스튜디오에 포함되는 각종 구성품을 3D 이미지화한 3D 객체 모듈, 가상 스튜디오에서 프리젠테이션을 진행하는 인물의 영상을 포함하는, 상기 시청자 단말로부터 요청된 가상 스튜디오 방송 영상을 상기 시청자 단말로 제공하는 단계; 및
(c) 상기 가상 스튜디오 방송 영상을 상기 시청자 단말에서 인터랙티브하게 조정하면서 볼 수 있게 해 주는 제어정보를 상기 시청자 단말로 전송하는 단계
를 포함한다.
상기 단계(b)에서 제공되는 가상 스튜디오 방송 영상은, 상기 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상을 합성하여 제공되는 영상일 수도 있으나(제1 실시예 영상 제공방법), 상기 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상의 일부 또는 전부가 합성되지 않은 상태로, 상기 시청자 단말에서 원하는 형태로 합성하여 볼 수 있도록 각각 개별적으로 제공되는 영상일 수도 있다(제2 실시예 영상 제공방법).
즉, 제1 실시예 영상 제공방법은, 이하 도 3 내지 도 15를 참조하여 설명하는 방법으로 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상을 합성하여 최종 생성된 방송 영상을 시청자 단말(10)에 제공하는 것이며, 제2 실시예 영상 제공방법은, 각 3D 객체 모듈 및 프리젠테이션을 진행하는 인물의 영상(이하 이들을 함께 '가상 스튜디오 구성요소'라 통칭한다)의 일부 또는 전부가 하나의 방송 영상으로 합성되지 않은 상태로, 즉, 상기 시청자 단말(10)에서 원하는 형태의 방송 영상으로 합성하여 볼 수 있도록 각각 개별적으로 제공되는 영상이다.
이와 같이 3D 객체 모듈 각각과 인물 영상 등을 각각 개별적으로 제공할 경우, 상기 가상 스튜디오에서 프리젠테이션을 진행하는 인물의 영상은, 상기 인물의 프리젠테이션 영상을 촬영한 영상에서 배경을 제거한, 인물만의 영상인 것이 바람직하다. 즉, 액터의 크로마키 부분만을 각 클라이언트에 보내 주어 클라이언트 컴퓨터 혹은 스마트 장치에서 이를 렌더하도록 하고, 그 외 3D 객체 모듈에 대하여도 합성되지 않고 개별적으로 시청자 단말(10)에 제공함으로써, 트래픽 데이터의 양을 대폭 줄일 수 있는 효과가 있는 것이다.
또한 상기 제어정보는, 상기 가상 스튜디오 방송 영상에 등장하는 각 3D 객체 모듈의 위치 또는 각도를 조정하거나, 각 3D 객체 모듈에 대한 애니메이션 효과(신 액션 정보)를 제공하거나, 상기 가상 스튜디오 방송 영상에 나타나는 가상 카메라 촬영 각도를 조정할 수 있는 정보를 포함한다. 이에 의해 영상을 시청자가 원하는 형태로 조정하여 볼 수 있게 하며, 예를 들어 가상 실험과 같은 방송에 있어서, 시청자가 시청중 3D 객체를 자신의 조작에 의해 변경된 형태로 볼 수 있게 하는 방식이 가능하게 하며, 또한 예로서 홈쇼핑과 같은 방식의 방송중 시청자가 자신의 스마트 TV 또는 스마트폰 등의 장치에서 자유롭게 제어하며 (예를 들어 원하는 상품을 클로즈업하여 돌려가며 보는 등) 시청하는 방송이 가능하게 된다
즉, 상기 단계에서 온라인으로 방송을 보는 클라이언트(시청자 단말(10)) 측에서 상기 구성요소 즉 3D 객체 모듈들의 제어정보를 방송시청시 함께 다운받아 실시간으로 영상을 합성하는 클라이언트 렌더(render)를 하도록 함으로써 인터렉티브한 시청이 가능하게 하게 한다. 이러한 기능은 스튜디오 객체들, 구성 정보, 인터렉티브 제어정보를 함께 송출하게 하여 시청자 단말에서 렌더 화면을 만들게 하므로서 시청자마다 자신의 원하는 내용을 스위칭하여 볼 수 있게 하고, 특히 인터렉티브한 3D 객체를 자신의 단말에서 자유로이 제어할 수 있게 함으로써, 방송을 하는 사람이 클라이언트들로 하여금, 필요한 움직임을 만들어 볼 수 있게 하는 방송이 가능하게 된다. 이러한 방식은 교육방송, 홈 쇼핑 등에서 방송국에서 진행자, 컨텐츠 들을 방송과 함께 보내 주어 이들의 인터렉티브한 재구성을 클라이언트 렌더 방식으로 시청자가 할수 있게 하며, 각 3D 객체 모듈, 진행자 영상 등을 합성 전 개별적으로 송출함에 의해 네트웍을 통해 보내는 방송 정보의 양이 최종 합성을 하여 시청자 단말로 송출하는 경우보다 훨씬 적게 함으로써 방송 트래픽을 절감할 수 있는 장점이 있게 된다.
가상스튜디오 방식의 방송국 구성 객체 정보와 진행자 크로마키 비디오를 기존 방송과 함께 혹은 독립하여 보내질 수 있게 하고, 이 정보를 다시 클라이언트 스마트 장치를 통해 렌더가 되어 보여 지는 방식의 방송이 가능하게 한다. 이를 이용하여 방송채널에서, 부가 정보 채널 및 3D 인터액티브 물체 정보를 제공할 수 있게 된다. 상기 스튜디오 객체 정보 및 3D 인터액티브 정보를 통해, 일반 시청자들은 방송 시청 중 원하는 카메라 위치의 방송을 자신이 원하는 장면으로의 청취가 가능하게 되고, 방송의 부가 정보 또는 3D 광고를 스마트 디바이스에서 인터렉티브하게 볼 수 있게 한다. 3D 정보는 일반 비디오 방송 스트리밍 방식과 달리 필요한 3D Data가 서버로부터 스마트 디바이스로 다운되어 입체 (Strereo) 방식 혹은 일반 3D 물제로 실시간 렌더로 스마트 장치의 터치 혹은 버튼으로 작동을 하게 된다.
즉 시청자 단말에서는 중앙 서버에서 다운로드 된 3D 데이터를 렌더링하여 스크린에 Smart TV 방송채널을 배경으로 혹은 다른 형태로 믹스하여 제공하는 3D 랜더엔진 및 상기 3D 렌더엔진에 다양한 렌더 변수 즉 가상 카메라의 줌, 각도, 및 3D 데이터의 실시간 애니메이션 명령등의 인터액티브 기능의 주기 위한 클라이언트 프로그램이 탑재되며, 이의 기능에 대하여는 이후 정리하여 후술한다.
한편, 상기 단계(c) 이후, (d1) 상기 시청자 단말로부터 상기 가상 스튜디오 방송 영상에 등장하는 특정 3D 객체 모듈에 대한 부가정보 제공요청을 수신하는 단계; 및 (d2) 상기 요청된 3D 객체 모듈에 대한 부가정보를 상기 시청자 단말로 제공하는 단계를 더 포함할 수도 있는데, 이 경우, 기 설정된 부가정보의 제공에 있어서, 그 부가정보가 특정 제품의 광고 정보일 경우에는, 그 부가정보 노출 횟수에 따라, 상기 제품의 제공 기업에 대한 과금을 수행할 수도 있다.
부가정보 서비스 즉 홈쇼핑과 같이 추가의 인터렉티브 방송을 보는 경우 상기 방송 서버로 부터 방송화면을 구성하는 3D 객체를 제공하며, 상기 입력장치를 통해 화면을 보기 위한 카메라 위치 등 장면 선택 정보를 받아 방송의 장면을 클라이언트에서 렌더하여 볼 수 있게 한다. 특히, 부가정보만을 기존 방송 화면에 추가로 overlay화면과 같이 보기 위한 신호가 입력되면, 상기 부가 정보 메뉴가 보이도록 하여 다양한 정보 중 선택 가능한 정보가 나열된 선택 메뉴가 제공되게 하며, 상기 입력장치를 통해 선택 메뉴 중 하나가 선택되면, 상기 가상 스튜디오 영상을 이용한 방송 시스템(300)으로부터 선택된 정보가 수신되어, 스마트 장치를 통해 렌더하여 보여 지게 한다.
시청자의 단말(10)에는, 가상 스튜디오 영상을 이용한 방송 시스템과 통신하면서 시청자에게 인터랙티브한 가상 스튜디오 방송 영상을 제공하는 어플리케이션 프로그램(이하 '가상 스튜디오 방송 클라이언트'라 한다)이 설치되어 시청자에게 인터랙티브한 가상 스튜디오 영상을 제공할 수 있다. 이러한 가상 스튜디오 방송 클라이언트는, 시청자의 입력에 따라 상기 가상 스튜디오 영상을 이용한 방송 시스템에 특정 방송 영상 제공요청을 송신하는 기능; 상기 가상 스튜디오 영상을 이용한 방송 시스템으로부터, 가상 스튜디오 배경 또는 가상 스튜디오에 포함되는 각종 구성품을 3D 이미지화한 3D 객체 모듈, 가상 스튜디오에서 프리젠테이션을 진행하는 인물의 영상을 포함하는, 상기 시청자 단말로부터 요청된 가상 스튜디오 방송 영상을 수신하는 기능; 상기 가상 스튜디오 영상을 이용한 방송 시스템으로부터, 상기 가상 스튜디오 방송 영상을 상기 시청자 단말에서 인터랙티브하게 조정하면서 볼 수 있게 해 주는 제어정보를 수신하는 기능; 상기 제어정보에 따라, 상기 가상 스튜디오 방송 영상을 상기 시청자로 하여금 인터랙티브하게 조정할 수 있게 해 주는 영상제어 인터페이스를 제공하는 기능; 및 상기 영상제어 인터페이스를 통하여 입력된 시청자의 영상제어요청에 따라, 상기 가상 스튜디오 방송 영상의 특정 요소를 새로이 렌더(render)하여, 그와 같이 조정된 가상 스튜디오 방송 영상을 상기 시청자 단말의 디스플레이를 통하여 나타내 주는 기능을 포함할 수 있다.
한편, 가상 스튜디오 영상을 이용한 방송 시스템(300)이 상기 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상(이하 '가상 스튜디오 구성요소'라 통칭한다)의 일부 또는 전부를 하나의 방송 영상으로 합성하지 않은 상태로, 각각 개별적 영상으로 시청자 단말(10)에 송신하는 경우, 이를 수신한 시청자 단말(10)의 상기 가상 스튜디오 방송 클라이언트는, 시청자의 제어에 따라 상기 각 가상 스튜디오 구성요소들을 원하는 형태의 가상 스튜디오 방송 영상으로 합성하는 기능을 더 포함할 수 있다.
또한 상기 제어정보에 따라 조정되는 요소는, 상기 가상 스튜디오 방송 영상에 등장하는 각 3D 객체 모듈의 위치 또는 각도를 조정하거나, 각 3D 객체 모듈에 대한 애니메이션 효과를 제공하거나, 상기 가상 스튜디오 방송 영상에 나타나는 가상 카메라 촬영 각도를 조정하는 것을 포함할 수 있다.
또한 이와 같은 가상 스튜디오 방송 클라이언트는, 상기 가상 스튜디오 방송 영상에 등장하는 특정 3D 객체 모듈에 대한 상기 시청자의 선택을 감지하여, 그 3D 객체 모듈에 대한 부가정보 제공요청을 상기 가상 스튜디오 영상을 이용한 방송 시스템으로 송신하고, 상기 가상 스튜디오 영상을 이용한 방송 시스템으로부터 그 요청된 3D 객체 모듈에 대한 부가정보를 상기 수신하여 시청자에게 디스플레이해 주는 기능을 더 포함할 수도 있다.
도 3은 본 발명에 따른, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법의 시퀀스를 나타내는 도면이다.
도 1을 참조하여 설명한 바와 같이, 종래 가상 스튜디오 장치의 생성의 경우, 가상 스튜디오에 들어가는 모든 구성요소를 미리 모두 일체로 렌더링하여 제작하여야 하였다. 그러나 도 3의 시퀀스에서 나타나는 본 발명에 의한 가상 스튜디오 영상 생성 장치의 경우는, 가상 스튜디오 이미지 및 그 내부에 구성품으로 들어가는 각 스튜디오 구성요소들을 각각 별개의 3D 객체 모듈로 데이터베이스화하여, 이러한 다양한 3D 객체 모듈들을 필요에 따라 선택하여 불러들이고 또한 적절한 편집, 수정을 거쳐 용이하게 합성함으로써 완성된 가상 스튜디오 영상을 생성하도록 하는 것이다.
즉 전용 3D 제작 프로그램(예를 들어 3D Max)에서 스튜디오에 필요한 세트 구성품을 세트 구성 모듈, 즉 3D 객체 모듈로 만들어(S310) 이들을 웹 상의 클라우드 서버(도 2에서 가상 스튜디오 3D 객체 모듈 제공 시스템(200))에서 제공하도록 한다(S320). 또는 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100) 자체 데이터베이스에 그러한 3D 객체 모듈을 저장하여 사용자에게 제공할 수도 있다(S320).
즉, 3D 객체 모듈을 책상, 모니터, 벽, 바닥, 천장, 장식품, 캐릭터 등을 만들어 제공하고 이때 각 객체는 복수의 텍스쳐(texture)를 본 발명 장치에서 다른 텍스쳐나 외부 비디오 입력으로 대치 될수 있도록 하는 몇 가지 표준을 따르게 하고, 다양한 애니메이션을 자체적으로 포함시킴으로써 움직이는 객체 모듈이 될 수 있게 하여 이를 3D Max, Maya등의 3D 모델 제작 프로그램에서 포준 포맷 즉 collada등 범용의 포맷으로 제작게 한 후 이를 본 장치 포맷으로 변환을 하거나 직접 사용할 수 있게 하는 것이다. 본 발명의 장치 사용 객체들을 웹, 혹은 서버에 DB로 미리 제작하여 제공할 수 있음은 도 2를 참조하여 설명한 바와 같다.
이와 같이 웹 상의 클라우드 서버(200)에서 제공하거나 또는 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100) 자체 데이터베이스에서 제공하는 가상 스튜디오 컴포넌트, 즉 가상 스튜디오를 이루는 각 3D 객체 모듈을 사용자로부터 선택받아 배치, 크기 조정, 스케일 및 중요 부분의 텍스쳐(texture) 수정, 변형, 합성을 수행한다(S330). 또한 합성한 가상 스튜디오에서 가상 카메라의 위치 이동에 따른 장면 각도 변환효과 또는 합성한 가상 스튜디오에서 배치된 3D 객체 모듈의 이동(애니메이션) 효과 등도 수행할 수 있다(S340).
또한 3D 객체 모델에 사용된 특정 텍스쳐 면들을 정의하여 이들에 가상 스튜디오 메뉴를 통해 다양한 비디오 혹은 외부 입력을 맵핑을 하도록 하는 표준을 만들어 각 텍스쳐 이름을 정해진 이름으로 객체 모듈을 생성시 정의해 주면, 이를 상기 가상 스튜디오에서 다양하게 각 객체에서 원하는 장면을 변수로 보여 주게 하는 기능을 가능하게 한다. 즉 상기 메뉴에는 상기 애니메이션되는 3D 객체 모듈에 이하에서 설명할 액터 영상 등을 합성하여 함께 움직이도록 하는 기능을 더 포함할 수도 있는 것이다.
이러한 스튜디오에 프리젠테이션 진행자를 촬영한 비디오(S350)에서 강사 또는 진행자를 추출해내어(S360), 추출해낸 강사 또는 진행자 영상을, 위에서 생성된 가상 스튜디오에 합성할 수 있다. 또한 강사 또는 진행자가 사용하는 프리젠테이션 스크린 내용을 나타내는 비디오 또는 이미지 등을 함께 합성할 수 있으며(S370), 이와 같이 합성됨으로써 최종 가상 스튜디오 강의 영상이 생성되게 된다.
이러한 모든 과정을 수행할 때, 사용자에게 매우 쉽게 조작할 수 있는 인터페이스 툴을 제공함으로써, 전문가가 아니라도 고품격의 가상 스튜디오 강의 영상을 용이하게 제작할 수 있도록 하는데 본 발명의 특징이 있다.
이러한 과정을 정리해보면, 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하기 위한 메뉴를 사용자에게 화면에 제공하고, 사용자로부터 상기 메뉴를 통하여, 가상 스튜디오에 포함될 각 구성품을 3D 이미지로 표현한 3D 객체 모듈을 선택받는다. 이와 같이 선택받은 각 3D 객체 모듈을 합성하여 3D 그래픽 스튜디오을 생성하고, 카메라에 의해 촬영된 비디오 영상, 즉 예를 들어 강사 또는 진행자의 강의 영상 등을 수신하여 생성된 3D 그래픽 스튜디오 및 상기 비디오 영상을 합성하여 가상 스튜디오 영상을 생성하게 되는 것이다.
물론 전술한 바와 같이 위 메뉴에는 각 3D 객체 모듈에 대한 편집 기능을 제공하고, 선택한 3D 객체 모듈에 대하여, 상기 사용자로부터 입력된 편집 제어에 따라 편집을 수행할 수 있는데, 이러한 편집 기능에는 상기 3D 객체 모듈의 화면상에 나타나는 크기, 위치, 투명도, 색상, 밝기의 변경 기능을 포함할 수 있으며 이외에도 다양한 조정이 가능하다. 즉, 선택한 3D 객체 모듈에 대하여, 상기 사용자로부터 입력된 편집 제어에 따라 보다 자세한 수정 및 효과를 주는 Shader 기능과 같은 특수 기능을 제공할 수도 있다.
또한 전술한 바와 같이 메뉴를 통하여 제공되는 3D 객체 모듈은, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100)의 데이터베이스에 저장되어 있는 데이터를 제공할 수도 있고, 웹 상의 클라우드 서버(도 2에서 가상 스튜디오 3D 객체 모듈 제공 시스템(200))에서 제공하는 데이터로써 제공될 수도 있다.
또한 전술한 바와 같이 메뉴에는 가상 스튜디오 영상에 대한 가상 카메라 이동 기능을 제공할 수 있는데, 즉, 사용자로부터 입력된 가상 카메라 이동 제어에 따라, 상기 가상 카메라의 이동에 의해 변화하는 가상 스튜디오 장면을 제공할 수 있다.
또한 전술한 바와 같이 상기 메뉴에는 가상 스튜디오 영상에서의 3D 객체 모듈의 이동 기능을 제공할 수도 있는데, 상기 사용자로부터 입력된 3D 객체 모듈의 이동 제어에 따라, 상기 가상 스튜디오에서, 상기 3D 객체 모듈의 이동하는 장면을 제공할 수 있게 된다.
또한 상기 가상 스튜디오에 포함되는 스크린에 프리젠테이션 자료 파일을 선택받아 생성된 3D 그래픽 스튜디오, 상기 비디오 영상 및 상기 프리젠테이션 자료 파일의 내용이 표시되는 스크린 영상을 합성하여 최종 가상 스튜디오 영상을 생성할 수 있다.
즉, 상기 가상 스튜디오에 포함되는 가상 실험용 장치 등과 같이 움직이는 3D 애니메이션 객체, 또는 모니터나 스크린(이하 '스크린'이라 통칭한다)에 디스플레이될 프리젠테이션 자료 파일이나 비디오 영상을 선택받는 단계를 더 포함할 수 있고, 상기 생성된 3D 그래픽 스튜디오 영상 및 상기 액터 영상과, 상기 프리젠테이션 자료 파일이나 비디오 영상이 나타나는 스크린 영상 또는 상기 3D 애니메이션 객체를 합성하여 가상 스튜디오 영상을 생성할 수도 있다.
상기 메뉴에는, 각 가상 카메라 위치의 장면 별로 상기 액터 영상 또는 상기 스크린, 3D 객체들에 대한 위치, 크기 등에 대한 변경 및 이동 등의 애니메이션 기능을 제공하여 각 가상 카메라 신 별로 다양한 장면을 나타낼 수 있도록 하도록 하고 이들 배치가 다른 가상 카메라 신으로 이동시 자동으로 특정한 트랙 발생 룰 ( 즉 선형, 혹은 커브)에 따라 애니메이션이 자동으로 발생하도록 하며, 상기 스크린에 나타나는 영상은 변경가능하도록 할 수 있다.
상기 메뉴에는, 상기 촬영된 비디오 영상 또는 상기 스크린 영상에 대한 편집 기능을 제공할 수 있다. 즉 예를 들어 촬영된 비디오 영상 또는 상기 스크린 영상 일부를 잘라낼 수도 있고, 잘라낸 주변에 특정 모양의 프레임을 배치하는 등의 작업도 가능하다.
이와 같이 최종 생성된 가상 스튜디오 영상도 데이터베이스에 저장할 수 있어, 이후에 불러내어 사용할 수 있게 할 수 있다. 즉, 생성된 가상 스튜디오 세트를 추후 다시 로딩하여 사용할 수 있도록 하여 3D 객체 데이터, 트랙 정보 등의 내용을 XML 파일 등으로 데이터베이스에 저장할 수 있다.
이하, 도 5 내지 도 15를 참조하여서는, 전술한 바와 같은 3D 객체 모듈을 이용한 가상 스튜디오 제공 방법을, 실제적 예를 이용하여 더욱 구체적으로 후술한다.
도 4는 본 발명에 따른, 3D 객체 모듈을 이용한 가상 스튜디오 제공 장치의 구성을 나타내는 도면이다.
제어부(101)는 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100)의 이하 각 구성요소를 제어하여 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성과 관련된 일련의 처리를 수행한다.
메뉴 제공모듈(102)은 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하기 위한 메뉴를 화면에 제공한다.
사용자 인터페이스 모듈(103)은 상기 메뉴에서 제공되는, 가상 스튜디오에 포함될 각 구성품을 3D 이미지로 표현한 3D 객체 모듈의 선택 또는 가상 스튜디오 영상 생성 수행과 관련된 특정 기능 선택을 사용자로부터 입력받는다.
촬영 영상 수신모듈(104)은 가상 스튜디오에서 강의를 진행하는 인물(이하 '액터'라 한다)에 대하여 카메라 촬영된, 하나 또는 다수의 비디오 영상(이하 '촬영 영상'이라 한다)을 수신한다. 즉 강사 또는 진행자 등의 촬영 영상이 그 예이다.
영상 합성 모듈(105)은 상기 선택받은 각 3D 객체 모듈 및 상기 촬영 영상에서 액터만을 추출한 액터 영상을 합성하여 가상 스튜디오 영상을 생성한다. 상기 가상 스튜디오에 포함되는 모니터 또는 스크린(이하 '스크린'이라 통칭한다)에 디스플레이될 프리젠테이션 자료 파일이나 비디오 영상을 선택받아, 상기 프리젠테이션 자료 파일이나 비디오 영상이 나타나는 스크린 영상을 가상 스튜디오 영상 합성에 더 포함시킬 수도 있다. 상기 메뉴에는, 상기 액터 영상 또는 상기 스크린 영상에 대한 위치, 크기 등에 대한 변경 및 이동 등의 애니메이션 기능을 제공하고, 상기 스크린에 나타나는 영상은 변경가능하다.
편집 수행모듈(106)은 선택한 3D 객체 모듈에 대하여, 상기 사용자로부터 입력된 편집 제어에 따라 편집을 수행한다. 이러한 편집 기능에는, 일 실시예로서 상기 3D 객체 모듈의 화면상에 나타나는 크기, 위치, 투명도, 색상, 밝기의 변경 기능 등을 포함할 수 있다. 또한 촬영된 액터 영상 또는 상기 스크린 영상에 대한 편집 기능을 더 수행할 수 있다.
가상 스튜디오 데이터베이스(110)는 가상 스튜디오 영상에 포함되는 3D 객체 모듈을 저장한다. 즉, 3D 객체 모듈을 편집하여 변경된 3D 객체 모듈을 저장할 수 있다. 또한, 사용자에게 가상 스튜디오를 구성할 수 있도록 제공되는 3D 객체 모듈은, 이러한 가상 스튜디오 데이터베이스(110)에 저장되어 있는 3D 객체 모듈일 수도 있고, 웹 3D 객체 모듈 제공모듈(107)에 의해, 웹 상에서 제공되는 가상 스튜디오 영상에 포함되는 3D 객체 모듈을 상기 메뉴를 통하여 제공할 수도 있다. 가상 스튜디오 데이터베이스(110)에는 또한 3D 객체 모듈이 포함되어 최종적으로 생성된 가상 스튜디오 영상을 저장할 수도 있다.
가상 카메라 이동효과 제공모듈(108)은, 사용자로부터 입력된 가상 카메라 이동 제어에 따라, 상기 가상 카메라의 이동에 의해 변화하는 가상 스튜디오 장면을 제공하는 효과를 나타낸다.
3D 객체 모듈 애니메이션 효과 제공모듈(109)은, 상기 메뉴에는 가상 스튜디오 영상에서의 3D 객체 모듈의 이동 또는 모션이 가능한 애니메이션 기능을 제공하고, 상기 사용자로부터 입력된 3D 객체 모듈의 애니메이션 제어에 따라, 상기 가상 스튜디오에서, 상기 3D 객체 모듈의 애니메이션 장면을 제공한다. 상기 3D 객체 모듈의 크기 및 애니메이션의 위치는 변경 가능하다. 또한 상기 메뉴에는 상기 애니메이션되는 3D 객체 모듈에 상기 액터 영상을 합성하여 함께 움직이도록 하는 기능을 더 포함할 수 있다.
도 5는 본 발명에 따른 가상 스튜디오를 구성하는 모듈의 로딩 화면의 일 실시예를 나타내는 도면이다.
가상 스튜디오에서 벽, 바닥, 스크린, 책상 및 천장, 그리고 펜스(장식)으로 되는 스튜디오 구성품들을 각각 3D 객체 모듈로 가상 스튜디오 데이터베이스에서 읽어 들여 이를 필요한 위치에 배치, 크기 조정을 하여 스튜디오를 구성하였다. 또한 각 3D 객체 모듈들의 주요 부분의 텍스쳐(texture)를 데이터에 의해 변경할 수 있게 하는 파라메터를 정의해 줌으로써, 각 3D 객체 모듈들도 변형, 수정, 편집이 가능하게 되어, 가상 스튜디오 형상의 다양한 변화를 줄 수 있는 기능을 제공하게 된다.
도 6은 본 발명에 따른 가상 스튜디오를 구성하는 스튜디오 모듈 구성품을 나타내는 3D 객체 모듈과 각 객체 표면 소재의 변경을 위해 재질 및 텍스쳐를 변경할 수 있도록 하는 방식을 도시한 도면이다.
즉 도 6을 참조하면, 스튜디오를 구성하는 각 구성품들인 3D 객체 모듈을 50개로 구성할 경우(610), 예를 들어 1번 객체 모듈이 벽면, 2번 객체 모듈이 바닥, 3번 객체 모듈이 책상, 4번 객체 모듈이 왼쪽 스크린, 5번 객체 모듈이 오른쪽 스크린 등으로 정할 수 있다. 이와 같은 각 3D 객체 모듈들의 데이터를 다양한 형태로 만들어 제공하고 이를 선택해 크기, 위치, 투명도, 전체 색상의 변경을 줄 수 있도록 하고, 이를 배치하여 스튜디오를 구성하게 할 수 있다. 즉 책상의 경우, 윗면, 중앙부, 아래 부분의 주요 텍스쳐(texture)를 다양하게 변경하여 바꿀 수 있도록 이미지들을 선택하여 변화를 줄 수 있게 할 수 있다.
즉 각각의 3D 객체 모듈들은 다시 주요 텍스쳐를 다시 데이터로 읽어 들일 수 있도록 하는 기능을 제공하여 변경이 가능하게 하고, 또한 이들 전체 물체를 색상, 밝기, 투명도를 조정할 수 있도록 하여, 전문가가 아니라도 스튜디오에 맞는 분위기가 되도록 용이하게 가상스튜디오에 대한 수정 변경이 이루어지게 한다.
도 7은 본 발명에 따른 가상 스튜디오의 3D 객체 모듈을 선택하고 조정하는 메뉴 화면의 일 실시예를 나타내는 도면이다.
도 7의 메뉴와 같이, 스튜디오 세트(3D 객체 모듈)들(710)을 제공한다. 그 중 하나의 3D 객체 모듈, 예를 들어 배경(background)를 선택하면 그에 대하여 선택가능한 다양한 배경 형태가 제공된다(711). 이러한 배경 영상 중 하나를 미리 보는 기능(preview)도 제공할 수 있다(720). 또한 각 3D 객체 모듈의 위치조정, 회전, 크기, 색상 등 다양한 요소를 편집할 수 있는 기능도 제공한다(730).
도 8은 본 발명에 따른 가상 스튜디오 구성 메뉴 화면에 따라 3D 객체 모듈에 변화를 주는 과정을 예시한 도면이다.
즉 선택된 물체를 위치, 회전, 스케일 조정과 투명도 변화를 주도록 하는 기능을 넣어 사용자가 비전문가라 할지라도 용이하게 책상을 불러와서 배치하고, 또한 필요한 효과를 전체 책상(예를 들어 파란톤에서 블루톤 등으로 각 칼라 그룹의 H,S,V를 조정)에 대하여 가할 수 있도록 하는 기능 등을 통해 다양한 느낌을 구사하도록 하며, 각 3D 객체 모듈들의 폴리곤들의 정보를 수정할 수 있는 기능을 제공한다.
도 9는 본 발명에 따른 가상 스튜디오에서 다수개의 3D 객체 모듈을 가상 스튜디오 화면상에 배치시킨 일 실시예를 나타내는 도면이다.
그래픽 스튜디오에 서로 같은 책상을 2개 다른 책상을 1개 선택하여 배치하고 같은 책상의 색상을 변화시킨 예를 보여 주고 있다.
도 10은 본 발명에 따른 가상 스튜디오에서 복수 개의 선택이 가능한 3D 객체 모듈 아이템 및 그에 대한 조정 기능을 제공하는 메뉴를 도시한 도면이다.
복수의 아이템, 예를 들어 책상, 장식 등과, 단수의 아이템을 분리하여 메뉴로 기본 스튜디오를 구성하도록 할 수 있다. 즉 천장, 바닥, 벽은 단수의 아이템으로 처리하도록 구성하고, 책상, 장식, 모니터 프레임, 캐릭터 등은 복수의 아이템으로 선택하여 합성하도록 하는 구성을 통해 스튜디오 모듈식 조립 저작 환경을 제공하게 될 수 있다.
위에 보이는 메뉴는 복수 선택이 가능한 아이템, 즉 일례로서 책상을 보이고 있고 각 아이템 선택시마다 배치 색상 조정을 가능하게 하는 기능을 제공한다. 책상과 스크린, 캐릭터 등을 선택하여 복수로 선택하고 다시 이들의 배치 색상 조정을 가능하게 한다.
또한 각 3D 객체 모듈들은 복수로 선택할 수 있게 하여 한 세트 안에서 다수의 다른 물체 즉 책상 데이터베이스에서 다양한 책상을 복수 개 저장하게 하거나, 스크린 및 프레임을 다수개 같은 것을 반복하거나 다른 것을 넣을 수 있도록 한다. 이때 같은 책상을 선택해도 각 책상마다 필요한 텍스쳐(texture)들을 다시 변화를 줄 수 있도록 하여 같은 책상이라 할지라도 다른 로고 이미지들을 넣거나, 혹은 상판 이미지를 바꾸어 넣을 수 있게 함으로써 다른 분위기를 만들어 낼 수 있다.
도 11은 본 발명에 따른 기본 스튜디오 모양별로 그룹을 정하고 그 그룹에서 다시 아이템들을 변경하여 만든 스튜디오들을 저장하는 가상 스튜디오들의 화면을 예시한 도면이다.
기존의 가상 스튜디오는 전용으로 만들어진 전체 스튜디오를 일체로 하나의 파일로 받아들여 사용하는 방식이지만 본 발명에서는 이러한 필요한 룸을 기본 엘리먼트 즉 바닥, 천장, 벽 등의 사이즈 등을 미리 만들어 큰 방, 작은 방, open형, 4각형 등의 크고 작은 기본 스튜디오를 설계하여 저장하고, 이들 스튜디오에 다양한 세트 아이템으로 인테리어 장식한 후 저장하여 필요한 방송 스튜디오를 다양하게 설정하게 된다. 이것은 실제 방송국에서 크고, 작은 다양한 실제의 스튜디오 방에 세트들을 바꾸어 가면서 다른 방송을 하는 개념을 가상 스튜디오에 도입하는 기술로서, 실제 세트를 바꾸어 가면서 방송을 만드는 것처럼 다양한 세트를 그 구성품의 아이템 별로 나누어 책상들과 벽들, 장식 스크린, 장식 장 등을 창고(데이터베이스)에서 가져다 구성하는 방식을 채용하는 것이다. 즉 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치(100)에서 그러한 구성품(3D 객체 모듈)을 가능하게 할 수도 있고, 클라우드 서버(200, 도 2 참조)에서 찾아다 만들게 하는 개념을 가능하게 한다.
도 12는 본 발명에 따른 가상 스튜디오에서 가상 카메라 앵글마다 스튜디오의 스크린 객체의 위치가 변화되는 화면의 예시한 도면이다.
각 3D 객체 모듈들 및 비디오, 스크린 등의 합성에 의해 스튜디오가 완성되면 다시 스튜디오내에서 카메라의 이동을 시켜주는 트랙리스 모드 혹은 트랙킹 모드로 다양한 각도에서의 장면을 실시간으로 렌더해서 보여 줄 수 있다.다. 이때 각 가상 스튜디오를 보여주는 가상 카메라의 위치를 조정, 이동하면서 장면을 보여주는 카메라 스위칭 기능을 가상 스튜디오에서 제공할 수 있다. 즉 각 가상 카메라의 배치 및 트랙을 편집할 수 있도록 기능을 제공할 수 있다. 또한 이러한 객체들의 독립된 배치 애니메이션을 카메라 위치에 맞게 변경하게 할 수 있도록 트랙별 3D 객체 모듈들의 변화를 주는 편집기능을 제공할 수 있다.
또한 가상 카메라 트랙의 변경과 함께, 3D 객체 모듈의 트랙도 편집이 가능하게 하는 3D 객체 모듈 트랙 편집 기능도 구비할 수 있다.
예를 들어 3D 물체들 즉 다양한 시계의 종류를 설명하는 영상의 경우, 방송을 하면서 각 시계들을 시계 DB에서 선택하여 보여 주도록 하는 기능을 제공할 수 있다. 또한 실시간으로 특정위치에 다양한 3D 객체 모듈이 보여지고, 3D 객체 모듈의 애니메이션이 가능하도록 하는 인터렉티브 제어를 Joystick등으로 실시간으로 하거나 미리 애니메이션 트랙을 제공하여 보여지도록 할 수도 있다.
즉 이러한 모듈들의 객체 조합형 스튜디오 기술은 실제 가상스튜디오 운영에 강력한 기술을 가능하게 하며, 트랙리스 등의 가상 카메라 신별로 이들 객체가 함께 이동할 수 있게 하여 애니메이션을 만들어 주는 기능을 구현할 수 있다. 특히 가상 모니터들에 보여 주는 날씨자료, 발표 내용을 애니메이션 장면을 보여주는 스크린 객체들이 한 스튜디오에 고정된 장소에 고정된 각도로만 있는 것이 아니라, 가상 카메라 앵글마다 변경 수정이 되도록 할 수 있다. 즉 방송 장면에 도 12와 같이 카메라 장면별 가상 모니터 객체도 애니메이션 배치가 달리 되도록 하는 편집 기능을 제공하여 방송 화면을 자유롭게 구성하도록 하는 객체들의 애니메이션 및 스케일, 위치,각도 조정을 각 가상 카메라 신(scene) 편집과 함께 하도록 하는 기능을 제공한다.
도 13은 본 발명에 따른 가상 스튜디오에서 발표자와 가상 스크린의 배치의 여러가지 예를 나타내는 도면이다.
프리젠테이션을 하는 방송에서는 가상 모니터 스크린의 애니메이션을 각 장면별로 배치하도록 하는 엔진을 지원하며 이를 위한 편집툴을 제공한다.
도 13은 발표자와 가상 스크린의 배치의 예를 4개의 신(scene) 별로 보이는 예로서, 모니터 스크린 객체가 자유로이 장면 마다 수정 보완이 되어야 하는 기능을 설명하고 있다. 즉 아래 예에서 12개의 장면별로 가상 카메라의 위치, 각도, FOV를 조절하면서, 이에 맞는 객체인 모니터를 3개, 액터(라이브 카메라) 오브젝트를 변경할 수 있게 하는 기능을 제공한다. 이러한 위치 각도 등이 주어진 시간과 트랙으로 자동으로 조정되게 하는 기능이 카메라와 함께 조정이 되어지게 하는 것은 트랙리스의 기능에 매우 중요하며 본 발명에서 그러한 기능을 구현할 수 있게 된다.
도 14는 본 발명에 따른 가상 스튜디오에서 가상 카메라 앵글마다 스튜디오의 스크린 객체의 위치가 변화되도록 조정하는 메뉴의 일 실시예를 나타내는 도면이다.
이러한 객체들의 변경을 스튜디오 설계시에 하는 객체와 각 카메라의 움직임에 따라 변하는 객체로 나누어 메뉴에서 조정 및 세팅이 가능하게 함으로써, 더욱 강력한 가상 스튜디오를 구성할 수 있게 된다.
즉 각 구성요소 3D 객체 모듈 중 도 14에서 모니터로 표현하는 스크린 객체(object)는 스크린의 material, 즉 외부의 비디오나 동영상 혹은 그림 등을 주 메뉴에서 변경할 수 있게 하고, 각 가상 카메라의 신(scene)에는 그 크기와 위치, 각도를 변경할 수 있게 함으로써, 특별히 전문 3D 프로그램에서 복잡한 애니메이션을 미리 만들어 넣을 필요없이 본 발명에 의한 가상 스튜디오에서 누구나 용이하게 장면을 조정할 수 있게 하는 것이다. 또한 스튜디오 제작에서 가상 카메라 배치에 따른 주요 객체의 애니메이션 배치까지도 할 수 있게 하여 고급의 가상 스튜디오 방송을 누구나 용이하게 제작할 수 있게 된다.
도 15는 본 발명에 따른 가상 스튜디오에서 액터 또는 모니터의 일부분을 잘라내어 프레임 등으로 처리하는 기능을 나타내는 도면이다.
이러한 가상 스크린 모니터, 외부 카메라 비디오 객체(도 15의 메뉴에서 Actor1,2,3..)로 표현한 스크린들을 한 장면에 적당한 크기로 재배치하여 스위칭 믹서의 합성 화면을 표현할 수 있고, 이때 각 액터 혹은 모니터의 주요 부분만을 잘라내어, 잘라낸 부분을 feathering이나 프레임 등으로 처리할 수 있게 하는 기능을 제공할 수 있다. 이에 의해 전문 3D 프로그램을 사용하지 않고도 더욱 다양한 프리젠테이션 방송 장면을 만들 수 있다. 도 15에서는 crop 이미지를 화면 사이즈중 빨강 프레임에 그린 영역만의 모니터 내용이 보이게 하는 장면을 보여 주고 있다.. 즉 모니터 객체(Object, 물체)에 material로 'iStudio'가 쓰여 있는 그림을 넣는다면, 이때 크롭 매터리얼을 그림의 좌측 하단처럼 정의할 경우 'iStudio'의 before 장면이 After 장면처럼 만들어 내도록 됨으로써 다양한 장면을 만들어 낼 수 있게 된다. 따라서 각 신(scene) 별 모니터 액터에 이러한 crop material을 정의해 자르고 투명하게 하는 기능을 구현하게 됨으로써 전문 방송 장면들을 용이하게 구현하는 강력한 기능이 제공된다.
도 16은 시청자가 자신이 가상 스튜디오 영상을 인터랙티브한 방식으로 다양한 형태로 조정하여 보게 되는 영상의 실시예를 나타내는 도면이다.
10: 시청자 단말
100: 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치
200: 가상 스튜디오 3D 객체 모듈 제공 시스템
300: 가상 스튜디오 영상을 이용한 방송 시스템

Claims (22)

  1. 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치가, 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하는 방법으로서,
    (a) 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하기 위한 메뉴를 화면에 제공하는 단계;
    (b) 사용자로부터 상기 메뉴를 통하여, 가상 스튜디오에 포함될 각 구성품을 3D 이미지로 표현한 3D 객체 모듈을 선택받는 단계;
    (c) 상기 선택받은 각 3D 객체 모듈을 합성하여 3D 그래픽 스튜디오 영상을 생성하는 단계;
    (d) 상기 가상 스튜디오에서 프리젠테이션을 진행하는 인물(이하 '액터'라 한다)에 대하여 카메라 촬영된, 하나 또는 다수의 비디오 영상(이하 '촬영 영상'이라 한다)을 수신하는 단계; 및
    (e) 상기 생성된 3D 그래픽 스튜디오 영상 및 상기 촬영 영상에서 액터만을 추출한 영상(이하 '액터 영상'이라 한다)을 합성하여 가상 스튜디오 영상을 생성하는 단계
    를 포함하고,
    상기 메뉴를 통하여 제공되는 3D 객체 모듈은,
    상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치의 데이터베이스에 저장되어 있는 데이터로서 제공되며,
    다양한 3D 모델 제작 프로그램에 의해 제작된 3D 모델을, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치에서 사용되는 가상 스튜디오 포맷으로 변환하는 프로그램을 이용하여 변환한 것이거나,
    다양한 3D 모델 제작 프로그램에 의해 제작된 3D 모델을, 웹 상에서 제공되는, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치에서 사용되는 가상 스튜디오 포맷으로 변환하는 서비스를 이용하여 변환한 것
    을 특징으로 하는, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법.
  2. 청구항 1에 있어서,
    상기 메뉴에는 각 3D 객체 모듈에 대한 편집 기능을 제공하고,
    상기 단계(b) 이후,
    (b1) 선택한 3D 객체 모듈에 대하여, 상기 단계(c)의 합성 전 또는 합성 후 상기 사용자로부터 입력된 편집 제어에 따라 편집을 수행하는 단계
    를 더 포함하고,
    상기 편집 기능은,
    상기 3D 객체 모듈의 화면상에 나타나는 크기, 위치, 투명도, 색상, 밝기의 변경 기능을 포함하는 것
    을 특징으로 하는, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법.
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    상기 메뉴에는 가상 스튜디오 영상에 대한 가상 카메라 이동 기능을 제공하고,
    상기 단계(c) 이후,
    (c1) 상기 사용자로부터 입력된 가상 카메라 이동 제어에 따라, 상기 가상 카메라의 이동에 의해 변화하는 가상 스튜디오 장면을 제공하는 단계
    를 더 포함하는 것을 특징으로 하는, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법.
  6. 청구항 1에 있어서,
    상기 메뉴에는 가상 스튜디오 영상에서의 3D 객체 모듈의 이동 또는 모션이 가능한 애니메이션 기능을 제공하고,
    상기 단계(c) 이후,
    (c2) 상기 사용자로부터 입력된 3D 객체 모듈의 애니메이션 제어에 따라, 상기 가상 스튜디오에서, 상기 3D 객체 모듈의 애니메이션 장면을 제공하는 단계
    를 더 포함하며,
    상기 3D 객체 모듈의 크기 및 애니메이션의 위치는 변경 가능한 것
    을 특징으로 하는, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법.
  7. 청구항 6에 있어서,
    상기 메뉴에는 상기 애니메이션되는 3D 객체 모듈에 상기 액터 영상을 합성하여 함께 움직이도록 하는 기능을 더 포함하고,
    이 경우, 상기 3D 객체 모듈에 사용된 특정 텍스쳐 면들을 정의하여 이들에 비디오 영상 또는 외부 입력 영상을 맵핑하는 기 정의된 표준에 따라 상기 메뉴에 의해 상기 애니메이션되는 3D 객체 모듈에 상기 액터 영상을 합성하여 함께 움직이도록 하는 것
    을 특징으로 하는, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법.
  8. 청구항 1에 있어서,
    상기 단계(e) 이전에,
    (e0) 상기 가상 스튜디오에 포함되는 가상 실험용 장치 등과 같이 움직이는 3D 애니메이션 객체, 또는 모니터나 스크린(이하 '스크린'이라 통칭한다)에 디스플레이될 프리젠테이션 자료 파일이나 비디오 영상을 선택받는 단계
    를 더 포함하고,
    상기 단계(e)에서는,
    상기 생성된 3D 그래픽 스튜디오 영상 및 상기 액터 영상과, 상기 프리젠테이션 자료 파일이나 비디오 영상이 나타나는 스크린 영상 또는 상기 3D 애니메이션 객체를 합성하여 가상 스튜디오 영상을 생성하는 것
    을 특징으로 하는, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법.
  9. 청구항 1 또는 청구항 8에 있어서,
    상기 메뉴에는,
    상기 액터 영상, 상기 3D 애니메이션 객체 또는 상기 스크린 영상에 대한 위치, 크기 등에 대한 변경 및 이동 등의 애니메이션 기능을 제공하고,
    이 경우 다른 가상 카메라 신(scene)으로 장면 이동시 자동으로 기 설정된 바에 따른 선형 또는 곡선형의 트랙(track) 발생 룰(rule)에 따라 애니메이션이 발생하도록 하며,
    상기 스크린에 나타나는 영상은 변경가능한 것
    을 특징으로 하는, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법.
  10. 청구항 1에 있어서,
    상기 단계(e) 이후,
    상기 단계(e)에서 생성된 가상 스튜디오 영상 및, 이에 사용된 3D 객체 모듈데이터, 가상 카메라 또는 3D 객체 애니메이션 기능을 사용한 경우 그 움직이는 트랙(track) 정보를 포함하는 가상 스튜디오 영상 데이터를 데이터베이스에 저장하는 단계
    를 더 포함하는 것을 특징으로 하는, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법.
  11. 3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하는 장치로서,
    3D 객체 모듈을 이용한 가상 스튜디오 영상을 생성하기 위한 메뉴를 화면에 제공하는 메뉴 제공모듈;
    상기 메뉴에서 제공되는, 가상 스튜디오에 포함될 각 구성품을 3D 이미지로 표현한 3D 객체 모듈의 선택 또는 가상 스튜디오 영상 생성 수행과 관련된 특정 기능 선택을 사용자로부터 입력받는 사용자 인터페이스 모듈;
    상기 가상 스튜디오에서 강의를 진행하는 인물(이하 '액터'라 한다)에 대하여 카메라 촬영된, 하나 또는 다수의 비디오 영상(이하 '촬영 영상'이라 한다)을 수신하는 촬영 영상 수신모듈;
    상기 선택받은 각 3D 객체 모듈 및 카메라에 의해 촬영된 비디오 영상을 합성하여 가상 스튜디오 영상을 생성하는 영상 합성 모듈;
    가상 스튜디오 영상에 포함되는 3D 객체 모듈을 저장하는 가상 스튜디오 데이터베이스; 및
    3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치의 상기 각 구성요소를 제어하여 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성과 관련된 일련의 처리를 수행하는 제어부
    를 포함하고,
    상기 메뉴를 통하여 제공되는 3D 객체 모듈은,
    상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치의 데이터베이스에 저장되어 있는 데이터로서 제공되며,
    다양한 3D 모델 제작 프로그램에 의해 제작된 3D 모델을, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치에서 사용되는 가상 스튜디오 포맷으로 변환하는 프로그램을 이용하여 변환한 것이거나,
    다양한 3D 모델 제작 프로그램에 의해 제작된 3D 모델을, 웹 상에서 제공되는, 상기 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치에서 사용되는 가상 스튜디오 포맷으로 변환하는 서비스를 이용하여 변환한 것
    을 특징으로 하는, 3D 객체 모듈을 이용한 가상 스튜디오 영상 생성 장치.
  12. 청구항 1의 가상 스튜디오 영상에 포함될 3D 객체 모듈 서비스를 제공하는 방법으로서,
    (a) 온라인 사이트를 통하여 3D 객체 모듈 서비스 메뉴를 제공하는 단계;
    (b) 사용자 단말로부터, 상기 메뉴를 통하여 제공되는 3D 객체 모듈에 대한 구매요청을 수신하거나, 가상 스튜디오 포맷으로 변환해 줄 것을 요청하는 3D 객체 모듈 파일을 수신하거나, 3D 객체 모듈을 상기 가상 스튜디오 포맷으로 변환하는 프로그램의 구매요청을 수신하는 단계;
    (c) 상기 구매요청된 3D 객체 모듈이, 가상 스튜디오 포맷으로 구성된 파일인 경우, 해당 3D 객체 모듈을 상기 사용자의 단말로 다운로드하는 단계; 및
    (d) 상기 구매요청된 3D 객체 모듈이 상기 가상 스튜디오 포맷이 아닌 경우, 상기 사용자의 요청에 따라, 상기 3D 객체 모듈을 그대로 상기 사용자의 단말로 다운로드하거나, 상기 3D 객체 모듈을 상기 가상 스튜디오 포맷으로 변환한 후 상기 사용자의 단말로 다운로드하는 단계;
    (e) 상기 가상 스튜디오 포맷으로 변환해 줄 것을 요청하는 3D 객체 모듈 파일을 수신한 경우, 상기 3D 객체 모듈 파일을 상기 가상 스튜디오 포맷으로 변환한 후 상기 사용자의 단말로 다운로드하는 단계;
    (f) 상기 사용자가 상기 3D 객체 모듈을 상기 가상 스튜디오 포맷으로 변환하는 프로그램을 구매요청한 경우 해당 프로그램을 상기 사용자 단말로 다운로드하는 단계
    를 포함하는 가상 스튜디오 영상에 포함될 3D 객체 모듈 서비스 제공 방법.
  13. 청구항 12에 있어서,
    상기 단계(e)에서 가상 스튜디오 변환한 3D 객체 모듈은,
    상기 온라인 사이트를 통하여 무료로 타 사용자들에게 제공하거나 또는 일정 금액 이하의 가격으로 타 사용자들에게 판매하는 것
    을 특징으로 하는 가상 스튜디오 영상에 포함될 3D 객체 모듈 서비스 제공 방법.
  14. 가상 스튜디오 영상을 이용한 방송 시스템이, 가상 스튜디오 방송 영상을 제공하는 방법으로서,
    (a) 시청자 단말로부터 특정 방송 영상 제공요청을 수신하는 단계;
    (b) 가상 스튜디오 배경 또는 가상 스튜디오에 포함되는 각종 구성품을 3D 이미지화한 3D 객체 모듈, 가상 스튜디오에서 프리젠테이션을 진행하는 인물의 영상을 포함하는, 상기 시청자 단말로부터 요청된 가상 스튜디오 방송 영상을 상기 시청자 단말로 제공하는 단계; 및
    (c) 상기 가상 스튜디오 방송 영상을 상기 시청자 단말에서 인터랙티브하게 조정하면서 볼 수 있게 해 주는 제어정보를 상기 시청자 단말로 전송하는 단계
    를 포함하고,
    상기 제어정보에는,
    시청자 단말에서 동작하는 클라이언트 프로그램으로 하여금 상기 가상 스튜디오 방송 영상에 등장하는 3D 객체 모듈에 대하여,
    크기를 변경하거나, 각도를 회전시키거나, 상기 영상에 나타나지 않는 부위가 화면에 보여지도록 하거나, 또는 움직이는 동작을 발생시키도록, 상기 3D 객체 모듈에 실시간 3D 렌더(render)를 수행할 수 있도록 하는 3D 인터랙티브 정보를 포함하는 것
    을 특징으로 하는 가상 스튜디오 방송 영상 제공방법.
  15. 청구항 14에 있어서,
    상기 단계(b)에서 제공되는 가상 스튜디오 방송 영상은,
    상기 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상을 합성하여 제공되는 영상이거나,
    상기 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상의 일부 또는 전부가 합성되지 않은 상태로, 상기 시청자 단말에서 원하는 형태로 합성하여 볼 수 있도록 각각 개별적으로 제공되는 영상이고, 이 경우 상기 가상 스튜디오에서 프리젠테이션을 진행하는 인물의 영상은, 상기 인물의 프리젠테이션 영상을 촬영한 영상에서 배경을 제거한, 인물만의 영상인 것
    을 특징으로 하는 가상 스튜디오 방송 영상 제공방법.
  16. 청구항 14에 있어서,
    상기 제어정보는,
    상기 가상 스튜디오 방송 영상에 등장하는 각 3D 객체 모듈의 위치 또는 각도를 조정하거나, 각 3D 객체 모듈에 대한 애니메이션 효과를 제공하거나, 상기 가상 스튜디오 방송 영상에 나타나는 가상 카메라 촬영 각도를 조정할 수 있는 정보를 포함하는 것
    을 특징으로 하는 가상 스튜디오 방송 영상 제공방법.
  17. 청구항 14에 있어서,
    상기 단계(c) 이후,
    (d1) 상기 시청자 단말로부터 상기 가상 스튜디오 방송 영상에 등장하는 특정 3D 객체 모듈에 대한 부가정보 제공요청을 수신하는 단계; 및
    (d2) 상기 요청된 3D 객체 모듈에 대한 부가정보를 상기 시청자 단말로 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 가상 스튜디오 방송 영상 제공방법.
  18. 청구항 17에 있어서,
    기 설정된 부가정보의 제공에 있어서,
    그 부가정보가 특정 제품의 광고 정보일 경우, 그 부가정보 노출 횟수에 따라, 상기 제품의 제공 기업에 대한 과금을 수행하는 것
    을 특징으로 하는 가상 스튜디오 방송 영상 제공방법.
  19. 시청자의 단말에 설치되어 동작하며, 가상 스튜디오 방송 영상을 제공하는 가상 스튜디오 영상을 이용한 방송 시스템과 통신하면서 시청자에게 인터랙티브한 가상 스튜디오 방송 영상을 제공하는 어플리케이션 프로그램(이하 '가상 스튜디오 방송 클라이언트'라 한다)이 수록된 기록매체로서, 상기 가상 스튜디오 방송 클라이언트는,
    시청자의 입력에 따라 상기 가상 스튜디오 영상을 이용한 방송 시스템에 특정 방송 영상 제공요청을 송신하는 기능;
    상기 가상 스튜디오 영상을 이용한 방송 시스템으로부터, 가상 스튜디오 배경 또는 가상 스튜디오에 포함되는 각종 구성품을 3D 이미지화한 3D 객체 모듈, 가상 스튜디오에서 프리젠테이션을 진행하는 인물의 영상을 포함하는, 상기 시청자 단말로부터 요청된 가상 스튜디오 방송 영상을 수신하는 기능;
    상기 가상 스튜디오 영상을 이용한 방송 시스템으로부터, 상기 가상 스튜디오 방송 영상을 상기 시청자 단말에서 인터랙티브하게 조정하면서 볼 수 있게 해 주는 제어정보를 수신하는 기능;
    상기 제어정보에 따라, 상기 가상 스튜디오 방송 영상을 상기 시청자로 하여금 인터랙티브하게 조정할 수 있게 해 주는 영상제어 인터페이스를 제공하는 기능; 및
    상기 영상제어 인터페이스를 통하여 입력된 시청자의 영상제어요청에 따라, 상기 가상 스튜디오 방송 영상의 특정 요소를 새로이 렌더(render)하여, 그와 같이 조정된 가상 스튜디오 방송 영상을 상기 시청자 단말의 디스플레이를 통하여 나타내 주는 기능
    을 포함하고,
    상기 가상 스튜디오 방송 영상의 특정 요소를 새로이 렌더(render)하는 기능에는,
    상기 가상 스튜디오 방송 영상에 등장하는 3D 객체 모듈에 대하여, 상기 제어정보에 따라,
    크기를 변경하거나, 각도를 회전시키거나, 상기 영상에 나타나지 않는 부위가 화면에 보여지도록 하거나, 또는 움직이는 동작을 발생시키도록 상기 3D 객체 모듈에 실시간 3D 렌더(render)를 수행하는 기능
    을 포함하는 것을 특징으로 하는, 가상 스튜디오 방송 클라이언트가 수록된 기록매체.
  20. 청구항 19에 있어서,
    상기 각 3D 객체 모듈 및 상기 프리젠테이션을 진행하는 인물의 영상(이하 '가상 스튜디오 구성요소'라 통칭한다)의 일부 또는 전부가 하나의 방송 영상으로 합성되지 않은 상태로, 각각 개별적 영상으로 수신되는 경우, 시청자의 제어에 따라 상기 각 가상 스튜디오 구성요소들을 원하는 형태의 가상 스튜디오 방송 영상으로 합성하는 기능
    을 더 포함하는 것을 특징으로 하는, 가상 스튜디오 방송 클라이언트가 수록된 기록매체.
  21. 청구항 19에 있어서,
    상기 제어정보에 따라 조정되는 요소는,
    상기 가상 스튜디오 방송 영상에 등장하는 각 3D 객체 모듈의 위치 또는 각도를 조정하거나, 각 3D 객체 모듈에 대한 애니메이션 효과를 제공하거나, 상기 가상 스튜디오 방송 영상에 나타나는 가상 카메라 촬영 각도를 조정하는 것을 포함하는 것
    을 특징으로 하는, 가상 스튜디오 방송 클라이언트가 수록된 기록매체.
  22. 청구항 19에 있어서,
    상기 가상 스튜디오 방송 영상에 등장하는 특정 3D 객체 모듈에 대한 상기 시청자의 선택을 감지하여, 그 3D 객체 모듈에 대한 부가정보 제공요청을 상기 가상 스튜디오 영상을 이용한 방송 시스템으로 송신하고, 상기 가상 스튜디오 영상을 이용한 방송 시스템으로부터 그 요청된 3D 객체 모듈에 대한 부가정보를 상기 수신하여 시청자에게 디스플레이해 주는 기능을 더 포함하는 것
    을 특징으로 하는, 가상 스튜디오 방송 클라이언트가 수록된 기록매체.
KR1020140037278A 2014-03-28 2014-03-28 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치 KR101669897B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140037278A KR101669897B1 (ko) 2014-03-28 2014-03-28 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140037278A KR101669897B1 (ko) 2014-03-28 2014-03-28 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150114016A KR20150114016A (ko) 2015-10-12
KR101669897B1 true KR101669897B1 (ko) 2016-10-31

Family

ID=54346803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140037278A KR101669897B1 (ko) 2014-03-28 2014-03-28 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101669897B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017099500A1 (ko) * 2015-12-08 2017-06-15 스타십벤딩머신 주식회사 애니메이션 생성 방법 및 애니메이션 생성 장치
KR101879166B1 (ko) * 2017-03-06 2018-07-23 (주)잼투고 가상 스튜디오의 제어를 이용하여 컨텐츠를 제작할 수 있는 실세계 스튜디오 시스템 및 운영방법
WO2018191234A1 (en) * 2017-04-11 2018-10-18 Roundfire, Inc. Natural language based computer animation
KR102702585B1 (ko) * 2019-12-03 2024-09-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102559226B1 (ko) * 2021-04-19 2023-07-25 박준호 가상 현실 콘텐츠 제작 서비스 제공장치 및 방법
KR102295699B1 (ko) * 2021-06-21 2021-08-30 김소나 가상현실 기반의 사용자 맞춤형 인테리어 디자인 서비스 제공방법
KR102371031B1 (ko) * 2021-08-13 2022-03-07 주식회사 비브스튜디오스 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템, 방법 및 프로그램
KR102412595B1 (ko) * 2021-09-09 2022-06-24 주식회사 치즈앤 3d 캐릭터를 활용한 특수촬영물 제작 서비스 제공 방법 및 장치
CN115174993B (zh) * 2022-08-09 2024-02-13 北京字跳网络技术有限公司 用于视频制作的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
KR20150114016A (ko) 2015-10-12

Similar Documents

Publication Publication Date Title
KR101669897B1 (ko) 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치
US11079912B2 (en) Method and apparatus for enhancing digital video effects (DVE)
WO2018045927A1 (zh) 一种基于三维虚拟技术的网络实时互动直播方法及装置
US7689062B2 (en) System and method for virtual content placement
WO2021135320A1 (zh) 一种视频的生成方法、装置及计算机系统
KR100795552B1 (ko) 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치
CN113781660A (zh) 一种用于直播间在线渲染加工虚拟场景的方法及装置
JP2011023902A (ja) 画像処理装置および画像処理方法
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR20200004009A (ko) 스튜디오 환경에서의 비디오 믹싱 플랫폼
US20120256946A1 (en) Image processing apparatus, image processing method and program
KR100403942B1 (ko) 3차원 가상공간내에서 목적물 선택시 동영상을 구현하는시스템
KR100403943B1 (ko) 3차원 가상공간 화면에서 목적물의 이미지를 재구성편집하는 시스템
KR20000050196A (ko) 3차원 가상공간 화면상에서 관람자의 관람방향을 표시하고이와 연동하여 목적물의 3차원 형태가 변화하는 3차원가상공간 시스템 및 이를 구현하는 방법
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
KR20190092697A (ko) 웹 기반 템플릿 영상 제작 시스템
TWI771924B (zh) 直覺式室內配置設計及虛擬實境互動系統及其方法
Sun et al. Combining 360◦ video and camera mapping for virtual reality: an innovative solution
Hermawati et al. Virtual Set as a Solution for Virtual Space Design in Digital Era
CN114173147A (zh) 将虚拟图像和3d模型与现实场景同步视频显示的系统
KR20230081762A (ko) 가상 스튜디오 영상 컨텐츠 제공 방법 및 시스템
CN115830283A (zh) 一种生成vr展厅场景的系统和方法
Young Adding value to a virtual studio with animatable graphics
KR20240044091A (ko) 3차원 가상공간에서 데이터 시각화를 구현하는 시스템
CN117853662A (zh) 播放器在演示文本中实现三维模型实时交互的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant