KR20080082759A - System and method for realizing vertual studio via network - Google Patents

System and method for realizing vertual studio via network Download PDF

Info

Publication number
KR20080082759A
KR20080082759A KR1020070023426A KR20070023426A KR20080082759A KR 20080082759 A KR20080082759 A KR 20080082759A KR 1020070023426 A KR1020070023426 A KR 1020070023426A KR 20070023426 A KR20070023426 A KR 20070023426A KR 20080082759 A KR20080082759 A KR 20080082759A
Authority
KR
South Korea
Prior art keywords
dimensional
image
virtual studio
virtual
client terminal
Prior art date
Application number
KR1020070023426A
Other languages
Korean (ko)
Other versions
KR100889367B1 (en
Inventor
장철웅
Original Assignee
(주) 이브로드캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 이브로드캐스트 filed Critical (주) 이브로드캐스트
Priority to KR1020070023426A priority Critical patent/KR100889367B1/en
Priority to PCT/KR2008/001170 priority patent/WO2008111746A1/en
Publication of KR20080082759A publication Critical patent/KR20080082759A/en
Application granted granted Critical
Publication of KR100889367B1 publication Critical patent/KR100889367B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities

Abstract

A system and a method for realizing a virtual studio through the network are provided to enable a client to produce 2D(Dimensional)/3D virtual studio video without any high performance computer by distributed computing between a client computer and a virtual studio server through the Internet. A client terminal(A1-An) transfers video captured through a camera to a virtual studio server(100) through the Internet, and plays/stores the final 2D/3D virtual studio video received from the virtual studio server. The virtual studio server extracts an actor image from the video received from the client terminal by using a chroma key technique, produces the 2D/3D virtual studio video finally by mixing the extracted actor image and 2D/3D virtual set background, and transfers the final 2D/3D virtual studio video to the client terminal. A virtual studio database stores various kinds of 2D/3D virtual studio set background images, the video received from the client terminal, the extracted actor image, and the 2D/3D virtual studio video.

Description

네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법{System and Method for Realizing Vertual Studio via Network}System and method for realizing virtual studio via network {System and Method for Realizing Vertual Studio via Network}

도 1은 본 발명에 따른 네트워크를 통한 가상 스튜디오 구현 시스템의 구성을 나타낸 도면, 1 is a diagram showing the configuration of a virtual studio implementation system through a network according to the present invention;

도 2는 도 1에 도시된 클라이언트 단말의 구성을 상세히 나타낸 도면, 2 is a view showing in detail the configuration of the client terminal shown in FIG.

도 3은 도 1에 도시된 가상 스튜디오 서버의 구성을 상세히 나타낸 도면, 3 is a view showing in detail the configuration of the virtual studio server shown in FIG.

도 4는 본 발명의 바람직한 실시예에 따라 클라이언트 단말과 가상 스튜디오 서버와의 분산적인 처리에 의해 2차원 또는 3차원의 가상 스튜디오 기법이 적용된 가상 비디오가 제작되는 일예를 나타낸 도면, 4 is a view showing an example in which a virtual video to which a two-dimensional or three-dimensional virtual studio technique is applied by distributed processing between a client terminal and a virtual studio server according to a preferred embodiment of the present invention;

도 5는 본 발명에 적용되는 크로마 키 기법에 대한 화면 예를 나타낸 도면, 5 is a diagram illustrating a screen example of a chroma key technique applied to the present invention;

도 6은 본 발명에 따른 네트워크를 통한 가상 스튜디오 구현 방법에 대한 동작을 설명하는 플로우차트이다. 6 is a flowchart illustrating an operation of a virtual studio implementation method through a network according to the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

10:키입력부, 12:카메라,10: key input, 12: camera,

14:하드디스크 드라이브, 16:마이크로 프로세서,14: hard disk drive, 16: microprocessor,

18:비디오 처리부, 20:모니터,18: video processing unit, 20: monitor,

22:오디오 처리부, 24:스피커,22: audio processing unit, 24: speaker,

26:마이크로폰, 28:데이터 통신모듈,26: microphone, 28: data communication module,

30:네트워크 인터페이스, 32:오퍼레이팅 시스템,30: network interface, 32: operating system,

34:디코더, 36:라이브 비디오 매니저,34: decoder, 36: live video manager,

38:크로마키 엔진, 40:세트 매니저,38: chroma key engine, 40: set manager,

42:2차원 믹서, 44:3차원 렌더러 엔진,42: two-dimensional mixer, 44: three-dimensional renderer engine,

46:유저 인터페이스, 48:엔코더,46: user interface, 48: encoder,

100:가상 스튜디오 서버, 200:가상 스튜디오 데이터베이스,100: virtual studio server, 200: virtual studio database,

A1∼An:클라이언트 단말.A1 to An: client terminal.

본 발명은 인터넷 네트워크를 통한 클라이언트 단말과 가상 스튜디오 서버의 분산 처리에 의해, 고성능의 컴퓨터 단말을 구비하지 않고서도 2차원 또는 3차원의 가상 스튜디오 비디오 영상을 제작할 수 있도록 하는 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법에 관한 것이다.The present invention provides a virtual studio implementation system through a network that enables a two- or three-dimensional virtual studio video image to be produced without a high-performance computer terminal by distributed processing of a client terminal and a virtual studio server through an internet network. And to a method thereof.

종래, 2차원 또는 3차원의 가상적인 비디오 영상을 제작하기 위한 2차원 또는 3차원 가상 스튜디오는, 멀티미디어 기술이 대중적인 이용이 가능하도록 발전되기 이전까지 텔레비전 방송국이나 방송 프로그램의 제작사들만이 사용할 수 있었던 고가의 전용 솔루션으로 적용되어 왔다. Conventionally, a two-dimensional or three-dimensional virtual studio for producing a two-dimensional or three-dimensional virtual video image has been available only to the producers of television stations or broadcast programs until multimedia technology has been developed for popular use. It has been applied as an expensive dedicated solution.

이러한 2차원 또는 3차원 가상 스튜디오 기술은 2차원 또는 3차원 세트의 디 자인을 위한 렌더링에 있어서 높은 CPU 파워가 요구되고, 고가의 그래픽 카드를 적용하여야 함과 더불어, 크로마 키(Chroma Key)와 같은 고가의 솔루션을 적용한 전문적인 처리 기술이 요구되는 작업이 필수적으로 필요하기 때문에, 통상적인 시스템 자원의 컴퓨터를 이용해서는 일반 사용자가 구현하기 어려운 점이 많았다.This two-dimensional or three-dimensional virtual studio technology requires high CPU power in rendering for designing a two-dimensional or three-dimensional set, and an expensive graphic card must be applied, as well as a chroma key. Because of the necessity of a task requiring specialized processing technology applying an expensive solution, it was difficult to be implemented by a general user using a computer having ordinary system resources.

즉, 가상 스튜디오 기술은 2차원 또는 3차원의 세트 배경 영상 생성 기술과, 세트 배경을 카메라 촬영 영상과 합성하는 기술을 모두 이용하여 그래픽으로 생성한 2차원 또는 3차원 세트 배경 영상을 카메라로부터 촬영된 액터(Actor)의 동영상과 자연스럽게 합성시키고, 카메라의 이동을 센서가 감지하여 카메라의 위치에 상응하는 배경을 그려서 합성할 수 있도록 함에 의해, 액터가 그래픽으로 구현된 세트 배경에 실제로 위치하고 있는 것과 같은 효과를 만들도록 해야 하지만, 통상의 컴퓨터에서는 그 구현이 어렵다는 단점이 있었다.That is, the virtual studio technology captures a two-dimensional or three-dimensional set background image that is generated graphically from a camera by using a two-dimensional or three-dimensional set background image generation technique and a technique of synthesizing the set background with a camera-photographed image. By synthesizing seamlessly with the actor's video and allowing the sensor to sense the movement of the camera and draw a background corresponding to the camera's position, the effect is as if the actor is actually located on a graphically-set background. It should be made, but the disadvantage was that the implementation is difficult on a normal computer.

한편, 최근에는 개인용 컴퓨터의 고성능화와 더불어, 동영상 처리 및 2차원 또는 3차원의 디자인 처리 솔루션이 대중화됨에 따라, 개인용 컴퓨터를 사용하여 사용자가 임의적으로 가상적인 비디오 동영상을 디자인하여 제작하는 것이 가능하도록 되어 있고, 그 제작된 동영상을 인터넷을 통해 배포하는 사용자 제작 컨텐츠(User Created Contents; UCC) 서비스가 활발하게 운영되고 있는 상태이다. On the other hand, in recent years, along with the high performance of personal computers, video processing and two-dimensional or three-dimensional design processing solutions have become popular, it is possible for users to design and produce virtual video videos arbitrarily using personal computers. In addition, the User Created Contents (UCC) service for distributing the produced videos through the Internet is actively operating.

그러나, 이러한 개인용 컴퓨터를 통한 2차원 또는 3차원의 동영상 처리 기술은, 사용자 제작 컨텐츠(UCC) 등과 같이 단순한 제작 기법이 요구되는 컨텐츠에 대해서는 무리없이 적용이 가능하도록 되어 있지만, 2차원 또는 3차원의 배경 디자인에 대한 정밀한 렌더링이 요구되거나, 크로마 키 기술이 적용되는 가상 스튜디오 기술의 플랫폼으로서는 여전히 사용하기 어렵다는 불리함이 있다. However, the two-dimensional or three-dimensional video processing technology through a personal computer can be applied to the contents that require simple production techniques such as user-generated contents (UCC) without difficulty. It is disadvantageous that precise rendering of the background design is required or it is still difficult to use as a platform of virtual studio technology to which chroma key technology is applied.

따라서, 본 발명은 상기한 종래의 사정을 감안하여 이루어진 것으로서, 그 목적은 인터넷 네트워크를 통한 클라이언트 컴퓨터와 가상 스튜디오 서버와의 분산 처리 기법을 통해서 2차원 또는 3차원의 가상 스튜디오 비디오 영상을 생성하는 것이 가능하도록 하는 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법을 제공하는 것이다. Accordingly, the present invention has been made in view of the above-described conventional situation, and an object thereof is to generate a two-dimensional or three-dimensional virtual studio video image through a distributed processing technique between a client computer and a virtual studio server through an internet network. To provide a virtual studio implementation system and a method through a network to enable it.

상기한 목적을 달성하기 위해 본 발명의 시스템에 따르면, 카메라를 통해 촬영한 액터(Actor)를 포함한 영상을 네트워크를 통해 가상 스튜디오 서버에 전송하고, 가상 스튜디오 서버로부터 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 수신받아 재생 및 저장하는 클라이언트 단말과, 네트워크를 통해 수신받은 상기 클라이언트 단말로부터의 카메라 촬영 영상에서 액터 영상을 크로마 키(Chroma Key)에 의해 추출하고, 추출된 액터 영상을 2차원 또는 3차원 가상 세트 배경과 합성하여 최종적으로 생성되는 2차원 또는 3차원 가상 스튜디오 영상을 상기 클라이언트 단말에 전송하는 가상 스튜디오 서버 및, 다수 종류의 2차원 또는 3차원 세트 배경 영상을 저장하고, 클라이언트 단말로부터 제공되는 카메라 촬영 영상을 저장함과 더불어, 크로마 키에 의해 추출된 액터의 영상을 저장하고, 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 저장하는 가상 스튜디오 데이터베이스를 포함하여 구성된 것을 특징으로 하는 네트워크를 통한 가 상 스튜디오 구현 시스템을 제공한다.In order to achieve the above object, according to the system of the present invention, the image including the actor (Actor) taken through the camera is transmitted to the virtual studio server through the network, and the two-dimensional or three-dimensional finally generated from the virtual studio server A client terminal that receives and plays a virtual studio video image and stores the extracted video, and an actor image is extracted by a chroma key from a camera photographed image received from the client terminal received through a network, and the extracted actor image is two-dimensional. Or a virtual studio server configured to transmit a two-dimensional or three-dimensional virtual studio image, which is finally synthesized with a three-dimensional virtual set background, to the client terminal, and store a plurality of kinds of two-dimensional or three-dimensional set background images. In addition to storing camera shots provided by A virtual studio implementation system via a network comprising a virtual studio database for storing images of actors extracted by a Roman key and storing finally generated two-dimensional or three-dimensional virtual studio video image data. to provide.

상기한 목적을 달성하기 위해 본 발명의 방법에 따르면, 클라이언트 단말에서 네트워크를 통해 가상 스튜디오 서버와 접속하여 카메라로부터 촬영된 액터가 포함된 영상을 전송하는 단계와, 상기 가상 스튜디오 서버에서 크로마 키를 이용하여 상기 카메라 촬영 영상에서 액터 영상을 추출하는 단계, 상기 추출된 액터 영상을 2차원 또는 3차원 가상 세트 배경과 합성하는 단계 및, 상기 가상 스튜디오 서버에서 액터 영상이 2차원 또는 3차원 가상 세트 배경과 합성된 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 상기 클라이언트 단말에 전송하고, 상기 클라이언트 단말에서 2차원 또는 3차원 가상 스튜디오 비디오 영상을 수신받아 재생 및 저장하는 단계를 포함하여 이루어진 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 방법을 제공한다.In order to achieve the above object, according to the method of the present invention, the client terminal is connected to the virtual studio server through a network to transmit an image including an actor taken from the camera, and using the chroma key in the virtual studio server Extracting an actor image from the camera photographed image, synthesizing the extracted actor image with a 2D or 3D virtual set background, and the actor image is combined with a 2D or 3D virtual set background in the virtual studio server And transmitting the final synthesized 2D or 3D virtual studio video image to the client terminal, and receiving and playing back and storing the 2D or 3D virtual studio video image at the client terminal. How to implement virtual studio over the network to provide.

이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다. Hereinafter, the present invention configured as described above will be described in detail with reference to the accompanying drawings.

즉, 도 1은 본 발명에 따른 네트워크를 통한 가상 스튜디오 구현 시스템의 구성을 나타낸 도면이다. That is, Figure 1 is a diagram showing the configuration of a virtual studio implementation system via a network according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 다른 네트워크를 통한 가상 스튜디오 구현 시스템은, 다수의 클라이언트 단말(A1∼An)과, 가상 스튜디오 서버(100), 가상 스튜디오 데이터베이스(200)로 구성된다. As shown in FIG. 1, a virtual studio implementation system through a network according to the present invention includes a plurality of client terminals A1 to An, a virtual studio server 100, and a virtual studio database 200.

상기 다수의 클라이언트 단말(A1∼An)은 인터넷망을 통해 상기 가상 스튜디오 서버(100)에 접속하여 멀티미디어 정보의 교환이 가능하도록 하는 모뎀 및 랜카 드와 같은 네트워크 어댑터와, 인터넷 웹브라우저 프로그램이 각각 탑재되고, 주변 영상을 촬영하기 위한 카메라가 탑재되고서, 상기 가상 스튜디오 서버(100)에서 제시하는 2차원 또는 3차원 세트 배경 중에서 원하는 세트를 선택하고, 상기 카메라를 통하여 액터를 포함한 영상을 촬영하여 상기 가상 스튜디오 서버(100)에 제공하며, 상기 가상 스튜디오 서버(100)로부터의 세트 배경 렌더링과 크로마 키에 의해 추출된 액터와의 합성 처리를 통해 최종적으로 생성된 가상 스튜디오 비디오 영상을 수신받아 재생한다. The plurality of client terminals A1 to An are equipped with a network adapter such as a modem and a LAN card for connecting to the virtual studio server 100 through an internet network to exchange multimedia information, and an internet web browser program, respectively. And a camera for capturing the surrounding image is mounted, and a desired set is selected from the two-dimensional or three-dimensional set backgrounds presented by the virtual studio server 100, and the image including the actor is photographed through the camera. Provided to the virtual studio server 100, and receives and reproduces the virtual studio video image finally generated through the set background rendering from the virtual studio server 100 and the synthesis process of the actor extracted by the chroma key.

여기서, 상기 각 클라이언트 단말(A1∼An)은 도 2에 도시된 바와 같이, 키입력부(10)와, 카메라(12), 하드디스크 드라이브(14), 마이크로 프로세서(16), 비디오 처리부(18), 모니터(20), 오디오 처리부(22), 스피커(24), 마이크로폰(26), 데이터 통신 모듈(28)을 포함하여 구성된다. As shown in FIG. 2, each of the client terminals A1 to An includes a key input unit 10, a camera 12, a hard disk drive 14, a microprocessor 16, and a video processor 18. And a monitor 20, an audio processor 22, a speaker 24, a microphone 26, and a data communication module 28.

상기 키입력부(10)는 키보드 및 마우스와 같은 좌표 입력 장치로 이루어지고서, 인터넷망 상에서 상기 가상 스튜디오 서버(100)로부터 제시되는 2차원 또는 3차원 세트 배경 중에서 특정 세트 배경을 선택하고, 카메라(12)로부터 촬영된 영상을 인터넷망을 통해 상기 가상 스튜디오 서버(100)로 전송하기 위한 키입력을 수행한다. The key input unit 10 is composed of a coordinate input device such as a keyboard and a mouse, selects a specific set background from the two-dimensional or three-dimensional set background presented from the virtual studio server 100 on the Internet network, and the camera 12 Key input for transmitting the image taken from the) to the virtual studio server 100 via the Internet network.

상기 카메라(12)는 가상 스튜디오 영상에 삽입될 액터를 포함한 주변 영상을 촬영하여 제공하기 위한 것이다.The camera 12 is to photograph and provide a surrounding image including an actor to be inserted into a virtual studio image.

상기 하드디스크 드라이브(14)는 해당 클라이언트 단말의 시스템을 운영하기 위한 윈도우즈(Windows)와 같은 운영 프로그램과, 인터넷 웹브라우저 프로그램, 상 기 카메라(12)로부터 촬영된 영상을 상기 가상 스튜디오 서버(100)에 제공하기 위한 전송 프로토콜이 정의된 응용 프로그램이 저장되고, 상기 가상 스튜디오 서버(100)로부터 생성된 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 수신받아 저장하게 된다. The hard disk drive 14 includes an operating program such as Windows for operating a system of a corresponding client terminal, an internet web browser program, and images captured by the camera 12. An application program in which a transmission protocol is provided for providing is stored, and receives and stores the final 2D or 3D virtual studio video image data generated from the virtual studio server 100.

상기 마이크로 프로세서(16)는 인터넷 웹브라우저 프로그램을 통한 상기 가상 스튜디오 서버(100)와의 접속 상태에서, 그 가상 스튜디오 서버(100)가 제시하는 2차원 또는 3차원 세트 배경 중에서 상기 키입력부(10)의 키입력 조작으로 특정 세트 배경이 선택되도록 하고, 상기 카메라(12)로부터 촬영된 영상을 인터넷망을 통해 상기 가상 스튜디오 서버(100)에 전송하기 위한 처리를 수행하며, 상기 가상 스튜디오 서버(100)로부터의 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 재생하기 위한 비디오/오디오 처리를 제어한다.The microprocessor 16 is connected to the virtual studio server 100 through an internet web browser program, and the microprocessor 16 of the key input unit 10 is selected from a two-dimensional or three-dimensional set background presented by the virtual studio server 100. A specific set background is selected by a key input operation, a process for transmitting the image photographed from the camera 12 to the virtual studio server 100 through the Internet network is performed, and from the virtual studio server 100. Controls video / audio processing to play the final two-dimensional or three-dimensional virtual studio video image.

여기서, 상기 마이크로 프로세서(16)는 상기 가상 스튜디오 서버(100)와의 인터넷망을 통한 연동 기능에 의해 가상 스튜디오 처리를 수행하기 위해서 ActiveX Control을 사용하게 되는데, 해당 클라이언트 단말의 시스템 운영 프로그램으로서 윈도우 비스타(Window VISTA)를 사용하는 경우에는 AcitiveX Control 방식을 적용하지 않으므로 다른 방식을 적용하는 것도 가능하다. Here, the microprocessor 16 uses the ActiveX Control to perform the virtual studio processing by the interworking function through the Internet network with the virtual studio server 100, Windows Vista (as a system operating program of the client terminal) If Window VISTA) is used, the AcitiveX Control method is not applied, so other methods can be applied.

상기 비디오 처리부(18)는 인터넷 웹브라우저를 통해 재현되는 상기 2차원 또는 3차원 세트 배경이나, 카메라(12)로부터 촬영된 영상, 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 상기 모니터(20)를 통해 디스플레이하기 위한 영상신호의 비디오 처리를 수행하는 것이다. The video processor 18 monitors the 2D or 3D set background, the image captured by the camera 12, and the final 2D or 3D virtual studio video image reproduced through an internet web browser. The video processing of the video signal to be displayed through the.

상기 오디오 처리부(22)는 스피커(24) 및 마이크로폰(26)으로 이루어진 헤드셋에 카메라(12)로부터 촬영된 영상에 포함된 오디오 신호와, 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상에 포함된 오디오 신호를 음성 출력하기 위한 오디오 처리 및, 마이크로폰(26)으로부터 입력된 음성을 카메라(12)로 촬영된 영상과 합성시키기 위해 오디오 신호 처리하기 위한 것이다. The audio processor 22 includes an audio signal included in an image taken from the camera 12 in a headset including a speaker 24 and a microphone 26, and audio included in a final 2D or 3D virtual studio video image. Audio processing for audio output of the signal and audio signal processing for synthesizing the voice input from the microphone 26 with the image captured by the camera 12.

한편, 상기 클라이언트 단말(A1∼An)은 상기 가상 스튜디오 서버(100)로부터 제시되는 2차원 또는 3차원 가상 세트 배경 중에서 원하는 세트 배경을 선택할 수 있도록 되어 있지만, 이에 한정되지 않고 해당 클라이언트 단말에서 예컨대 "3D MAX" 또는 "MAYA" 등과 같은 멀티미디어 디자인 전용 소프트웨어 프로그램을 이용하여 원하는 디자인의 2차원 또는 3차원 세트 배경을 직접 렌더링하여 작성하고, 상기 직접 작성된 2차원 또는 3차원 세트 배경을 상기 가상 스튜디오 서버(100)에 업로드하고, 가상 스튜디오 영상의 세트 배경으로서 선택하도록 하는 것도 얼마든지 가능하다. Meanwhile, the client terminals A1 to An may select a desired set background from two-dimensional or three-dimensional virtual set backgrounds presented from the virtual studio server 100, but are not limited thereto. 3D MAX "or" MAYA "and the like, using a software program dedicated to multimedia design, directly render and create a two-dimensional or three-dimensional set background of the desired design, and the created two-dimensional or three-dimensional set background to the virtual studio server ( It is also possible to upload it to 100) and select it as a set background of the virtual studio image.

도 1에서, 상기 가상 스튜디오 서버(100)는 인터넷망을 통해 상기 각 클라이언트 단말(A1∼An)과 접속하고서, 2차원 또는 3차원 세트 배경 정보를 제공하여 각 클라이언트 단말에서 원하는 세트 배경을 선택할 수 있도록 하고, 각 클라이언트 단말에서 제공되는 카메라로부터 촬영된 동영상 데이터에서 액터를 크로마 키에 의해 추출하고, 추출된 액터 영상을 세트 배경 영상에 합성하여 최종적으로 생성되는 2차원 또는 3차원 가상 스튜디오 비디오 영상을 해당되는 클라이언트 단말로 전송한다.In FIG. 1, the virtual studio server 100 connects to each of the client terminals A1 to An through an internet network, and provides two-dimensional or three-dimensional set background information to select a desired set background from each client terminal. Actor is extracted from the video data captured by the camera provided by each client terminal using a chroma key, and the extracted actor image is synthesized into a set background image to finally generate a 2D or 3D virtual studio video image. Send to the corresponding client terminal.

상기 가상 스튜디오 데이터베이스(200)는 상기 클라이언트 단말(A1∼An)에 제시한 다양한 종류의 2차원 또는 3차원 세트 배경 영상을 저장하고, 각 클라이언트 단말로부터 제공되는 카메라 촬영 영상을 저장함과 더불어, 크로마 키에 의해 추출된 액터의 영상을 저장하고, 최종적으로 추출된 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 저장하게 된다. The virtual studio database 200 stores various kinds of two-dimensional or three-dimensional set background images presented to the client terminals A1 to An, and stores a camera photographed image provided from each client terminal. The extracted actor image is stored, and finally the extracted 2D or 3D virtual studio video image data is stored.

상기 2차원 가상 세트 배경은, 이미지 파일이나 2차원 동영상 파일, 플래시 파일로 이루어지는 것이 바람직하고, 상기 3차원 가상 세트 배경은 이미지 파일, 동영상 파일, 플래시 파일이 배경의 다이나믹한 위치 설정을 위해 XML 파일 및 자바 스크립트(Java Script) 파일과 결합된 형태(즉, 멀티미디어 파일 + XML 파일 + 자바 스크립트 파일)로 이루어지는 것이 바람직하다. Preferably, the two-dimensional virtual set background includes an image file, a two-dimensional video file, and a flash file. The three-dimensional virtual set background includes an image file, a video file, and an XML file for dynamic positioning of the background. And a form combined with a Java Script file (ie, multimedia file + XML file + JavaScript file).

여기서, 상기 가상 스튜디오 서버(100)는 도 3에 도시된 바와 같이, 네트워크 인터페이스(Network Interface)(30)와, 오퍼레이팅 시스템(Operating System)(32), 디코더(Decoder)(34), 라이브 비디오 매니저(Live Video Manager)(36), 크로마키 엔진(Chroma Key Engine)(38), 세트 매니저(Set Manager)(40), 2차원 믹서(2 Dimension Mixer)(42), 3차원 렌더러 엔진(3 Dimension Renderer Engine)(44), 유저 인터페이스(User Interface)(46), 엔코더(Encoder)(48)를 포함하여 구성된다. As shown in FIG. 3, the virtual studio server 100 includes a network interface 30, an operating system 32, a decoder 34, and a live video manager. (Live Video Manager) (36), Chroma Key Engine (38), Set Manager (40), 2 Dimension Mixer (42), 3D Renderer Engine (3 Dimension) It is configured to include a renderer engine 44, a user interface 46, and an encoder 48.

상기 네트워크 인터페이스(30)는 인터넷망을 통해 상기 클라이언트 단말과 접속하여 카메라 촬영 영상을 수신받음과 더불어, 최종적으로 합성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 전송하게 되고, 상기 오퍼레이팅 시스템(32)은 해당 서버에서 하드웨어와 소프트웨어 간의 기능을 연결하고, 해당 서버의 동작을 관리하는 운영체제이다. The network interface 30 is connected to the client terminal through an internet network to receive a camera photographed image, and finally transmits the synthesized 2D or 3D virtual studio video image, and the operating system 32 Is an operating system that connects functions between hardware and software in the server and manages the operation of the server.

상기 디코더(34)는 상기 클라이언트 단말로부터 수신받은 카메라 촬영 영상이 예컨대 "MPEG4" 와 같은 영상 압축 알고리즘에 의해 압축되어 있으면, 그 영상의 압축을 해제하기 위한 디코딩 처리를 수행한다. The decoder 34 performs a decoding process for decompressing the video when the camera photographed image received from the client terminal is compressed by an image compression algorithm such as "MPEG4", for example.

상기 라이브 비디오 매니저(36)는 상기 디코더(34)를 통해서 디코딩된 카메라 촬영 영상을 상기 크로마키 엔진(38)에 제공하여 액터 영상이 추출될 수 있도록 하고, 카메라 촬영 영상과 크로마키에 의해 추출된 액터 영상을 가상 스튜디오 데이터베이스(200)에 저장하여 관리하기 위한 것이다. The live video manager 36 provides the chroma key engine 38 with the camera captured image decoded through the decoder 34 so that the actor image can be extracted, and the camera captured image and chroma key are extracted. The actor image is stored and managed in the virtual studio database 200.

상기 크로마키 엔진(38)은 상기 카메라 촬영 영상에서 세트 배경과 합성될 액터 영상부분을 크로마 키를 통해서 추출하기 위한 것이다. The chroma key engine 38 is for extracting the actor image portion to be synthesized from the camera set image through the chroma key.

상기 세트 매니저(40)는 상기 가상 스튜디오 데이터베이스(200)에 저장된 다양한 종류의 2차원 또는 3차원 세트 배경 데이터를 인터넷망을 통해 상기 클라이언트 단말에 제공하고, 그 클라이언트 단말의 사용자에 의해 선택된 2차원 또는 3차원 배경 영상이 2차원 믹서(42) 또는 3차원 렌더러 엔진(44)에 의해 액터 영상과 합성되도록 관리하기 위한 것이다. The set manager 40 provides various types of two-dimensional or three-dimensional set background data stored in the virtual studio database 200 to the client terminal through an internet network, and the two-dimensional or selected by the user of the client terminal. The 3D background image is managed to be synthesized with the actor image by the 2D mixer 42 or the 3D renderer engine 44.

상기 2차원 믹서(42)는 상기 크로마키 엔진(38)에서 추출된 액터 영상을 상기 유저 인터페이스(46)를 통한 관리자의 조작에 따라 상기 클라이언트 단말의 사용자가 선택한 2차원 세트 배경과 합성하기 위한 영상 믹싱 처리를 수행한다. The two-dimensional mixer 42 synthesizes the actor image extracted by the chroma key engine 38 with the two-dimensional set background selected by the user of the client terminal according to an operation of the administrator through the user interface 46. Perform the mixing process.

상기 3차원 렌더러 엔진(44)은 상기 크로마키 엔진(38)으로부터 추출된 액터 영상을 상기 유저 인터페이스(46)를 통한 관리자의 조작에 따라 상기 클라이언트 단말의 사용자가 선택한 3차원 세트 배경과 합성하기 위한 3차원 그래픽 렌더링 처리를 수행한다. The 3D renderer engine 44 is configured to synthesize actor images extracted from the chroma key engine 38 with a 3D set background selected by a user of the client terminal according to an operation of an administrator through the user interface 46. Perform 3D graphics rendering process.

상기 엔코더(48)는 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 예컨대 "MPEG4" 와 같은 고효율의 압축 알고리즘에 의해 영상 압축하기 위한 엔코딩 처리를 수행한다. The encoder 48 performs an encoding process for compressing the finally generated two-dimensional or three-dimensional virtual studio video image by a high-efficiency compression algorithm such as "MPEG4".

다음에, 도 4는 본 발명의 바람직한 실시예에 따라 클라이언트 단말과 가상 스튜디오 서버와의 분산적인 처리에 의해 2차원 또는 3차원의 가상 스튜디오 기법이 적용된 가상 비디오가 제작되는 일예를 나타낸 도면이다. Next, FIG. 4 is a diagram illustrating an example of producing a virtual video to which a two-dimensional or three-dimensional virtual studio technique is applied by distributed processing between a client terminal and a virtual studio server according to a preferred embodiment of the present invention.

도 4에 도시된 바와 같이, 특정 클라이언트 단말이 인터넷망을 통해 가상 스튜디오 서버(100)와 접속한 상태에서, 그 가상 스튜디오 서버(100)에서 다양한 종류의 2차원 또는 3차원 세트 배경 정보를 제시하게 되면, 상기 특정 클라이언트 단말에서는 사용자에 의해 특정한 2차원 또는 3차원의 세트 배경을 선택하게 된다. As shown in FIG. 4, in a state where a specific client terminal is connected to the virtual studio server 100 through an internet network, the virtual studio server 100 presents various kinds of two-dimensional or three-dimensional set background information. Then, the specific client terminal selects a specific two-dimensional or three-dimensional set background by the user.

그 상태에서, 상기 클라이언트 단말은 카메라(12)를 통해 액터를 포함한 주변 영상을 촬영하여 인터넷망을 통해 상기 가상 스튜디오 서버(100)에 전송하게 되고, 상기 가상 스튜디오 서버(100)는 상기 카메라 촬영 영상에서 크로마 키 기법에 의해 목표로 하는 액터 영상을 추출하여 사용자에 의해 선택된 2차원 또는 3차원 세트 배경 영상과 합성한 다음에, 최종적으로 합성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 상기 클라이언트 단말에 전송한다. In this state, the client terminal photographs the surrounding image including the actor through the camera 12 and transmits it to the virtual studio server 100 through the Internet network, and the virtual studio server 100 receives the camera captured image. Extracts the target actor image by using chroma key technique and synthesizes it with the 2D or 3D set background image selected by the user, and finally synthesizes the 2D or 3D virtual studio video image to the client terminal. send.

그에 따라, 상기 클라이언트 단말에서는 상기 가상 스튜디오 서버(100)로부 터 제공되는 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 모니터 및 스피커를 통해 영상 디스플레이 및 음성 재생 출력함과 더불어, 그 하드디스크 드라이브에 저장하여 보관한다. Accordingly, the client terminal outputs the final 2D or 3D virtual studio video image provided from the virtual studio server 100 through a monitor and a speaker, and outputs a video display and audio playback to the hard disk drive. Save it and keep it.

한편, 상기 가상 스튜디오 서버(100)에서 진행되는 크로마 키 기법은 도 5에 도시된 바와 같이, 청색이나 초록색의 배경에서 액터가 포함된 카메라 촬영 영상의 각각의 이미지마다 액터의 이미지를 제외한 불필요한 주변 이미지 화소를 제거하는 처리(예컨대 우측 메뉴의 타원의 범위에 있는 색상의 화소를 제거하는 작업)를 진행함에 의해 액터 이외의 모든 배경이 투명하게 처리되도록 하고, 이렇게 처리된 액터의 이미지를 합성하고자 하는 2차원 세트 배경 또는 3차원 세트 배경과 합성될 수 있도록 하는 것이다. On the other hand, the chroma key technique performed in the virtual studio server 100, as shown in FIG. 5, unnecessary peripheral images except for the actor image for each image of the camera image including the actor in a blue or green background By removing the pixels (for example, removing pixels of the color in the ellipse range of the right menu), all backgrounds other than the actors are processed transparently, and 2 To be combined with a dimensional set background or a three dimensional set background.

이어, 상기한 바와 같이 이루어진 본 발명의 동작에 대해 도 6의 플로우차트를 참조하여 상세히 설명한다. Next, the operation of the present invention made as described above will be described in detail with reference to the flowchart of FIG. 6.

먼저, 다수의 클라이언트 단말(A1∼An) 중에서 특정 클라이언트 단말(A1)이 인터넷망을 통해 가상 스튜디오 서버(100)와 접속한 상태에서(단계 S10), 상기 가상 스튜디오 서버(100)는 클라이언트 단말(A1)의 요청에 따라 다양한 종류의 2차원 또는 3차원 세트 배경 정보를 인터넷 웹브라우저를 통해서 제시하게 되고(단계 S 11), 상기 클라이언트 단말(A1)은 상기 제시된 다양한 종류의 세트 배경 중에서 사용자가 원하는 2차원 또는 3차원 세트 배경을 선택하게 된다(단계 S12).First, in a state in which a specific client terminal A1 is connected to the virtual studio server 100 through the Internet network among the plurality of client terminals A1 to An (step S10), the virtual studio server 100 is a client terminal ( According to the request of A1), various kinds of two-dimensional or three-dimensional set background information are presented through an internet web browser (step S 11), and the client terminal A1 selects a user's preference among the various kinds of set backgrounds presented. A two-dimensional or three-dimensional set background is selected (step S12).

그 상태에서, 상기 클라이언트 단말(A1)은 카메라(12)를 통하여 가상 스튜디오 비디오 영상에 포함될 액터를 포함한 주변 영상을 촬영하게 되고(단계 S13), 이 렇게 촬영된 동영상 데이터를 예컨대 "MPEG4" 와 같은 동영상 압축 알고리즘에 의해 압축하여 인터넷망을 통해 상기 가상 스튜디오 서버(100)에 전송한다(단계 S14).In this state, the client terminal A1 captures the surrounding image including the actor to be included in the virtual studio video image through the camera 12 (step S13), and thus captures the captured video data such as "MPEG4". The video is compressed by the video compression algorithm and transmitted to the virtual studio server 100 through the Internet network (step S14).

상기 가상 스튜디오 서버(100)의 디코더(34)는 네트워크 인터페이스(30)를 통해 수신되는 카메라 촬영 영상의 동영상 압축을 해제하기 위한 디코딩 처리를 수행하고, 크로마키 엔진(38)에서는 라이브 비디오 매니저(36)의 관리하에 카메라 촬영 영상에서 액터 영상만을 추출한 다음에(단계 S15), 그 추출된 액터 영상을 사용자가 선택한 2차원 세트 배경과 합성하기 위해 2차원 믹서(42)에서 영상 합성을 진행하거나, 사용자가 선택한 3차원 세트 배경과 합성하기 위해 3차원 렌더러 엔진(44)에서 영상 합성을 진행하게 된다(단계 S16).The decoder 34 of the virtual studio server 100 performs a decoding process for decompressing a moving image of a camera captured image received through the network interface 30, and the chroma key engine 38 uses the live video manager 36. After only extracting the actor image from the camera-captured image (step S15), the image synthesis is performed in the two-dimensional mixer 42 to synthesize the extracted actor image with the user-selected two-dimensional set background, or the user In order to synthesize the 3D set background selected by the 3D renderer engine 44, image synthesis is performed (step S16).

상기와 같이 2차원 또는 3차원 세트 배경 영상과 액터 영상이 합성되면, 상기 가상 스튜디오 서버(100)의 엔코더(48)에서는 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 예컨대 "MPEG4" 와 같은 동영상 압축 알고리즘에 의해 압축하기 위한 엔코딩 처리를 수행하여 네트워크 인터페이스(30)를 통해 상기 클라이언트 단말(A1)에 전송한다(단계 S17).When the 2D or 3D set background image and the actor image are synthesized as described above, the encoder 48 of the virtual studio server 100 generates a final 2D or 3D virtual studio video image, for example, a video such as "MPEG4". An encoding process for compressing by the compression algorithm is performed and transmitted to the client terminal A1 via the network interface 30 (step S17).

상기 클라이언트 단말(A1)은 상기 가상 스튜디오 서버(100)로부터 전송받은 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 그 하드디스크 드라이브(14)에 저장하게 되고, 비디오 처리부(18)의 비디오 처리와 오디오 처리부(22)를 통한 오디오 처리를 거쳐서 모니터(20)와 스피커(24)를 통해 최종적인 가상 스튜디오 비디오 영상을 디스플레이 및 음성 출력하게 된다(단계 S18).The client terminal A1 stores the final two-dimensional or three-dimensional virtual studio video image data received from the virtual studio server 100 on the hard disk drive 14, and the video processing unit 18 processes the video. After the audio processing through the audio processing unit 22, the monitor 20 and the speaker 24 display and output the final virtual studio video image (step S18).

한편, 상기 가상 스튜디오 서버(100)에서는 2차원 또는 3차원 세트 배경 영상과 액터 영상이 합성된 최종 가상 스튜디오 비디오 영상을 비디오 스트림으로서 클라이언트 단말로 전송하여 재생하거나 저장하는 것이 가능하도록 할 뿐만 아니라, 해당 가상 스튜디오 서버(100)에서 바로 그 스트림을 저장하였다가 클라이언트 단말의 사용자 요청에 의해 VOD 파일로 이용할 수 있도록 하거나, 라이브 비디오를 직접 인터넷으로 실시간 서비스하는 것이 가능하도록 한다. On the other hand, the virtual studio server 100 not only makes it possible to transmit or play the final virtual studio video image synthesized with the 2D or 3D set background image and the actor image as a video stream to the client terminal for playback or storage, The virtual studio server 100 stores the stream and makes it available as a VOD file at the user's request of the client terminal, or enables real-time service of live video directly to the Internet.

상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만, 본 발명이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같은 변형된 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.While specific embodiments of the present invention have been described and illustrated above, it will be apparent that the present invention may be embodied in various modifications by those skilled in the art. Such modified embodiments should not be understood individually from the technical spirit or the prospect of the present invention, but should fall within the claims appended to the present invention.

이상과 같이 본 발명에 따르면, 인터넷망을 통한 클라이언트측 컴퓨터 단말과 가상 스튜디오 서버와의 정보 교환에 의한 분산 처리에 의해, 클라이언트측 컴퓨터 단말에서 액터가 포함된 카메라 촬영 영상을 제공하고, 가상 스튜디오 서버에서 카메라 촬영 영상으로부터 원하는 액터의 영상을 크로마 키에 의해 추출하여 2차원 또는 3차원 가상 세트 배경에 합성함에 의해, 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 클라이언트측 컴퓨터 단말에 제공할 수 있도록함에 따라, 많은 컴퓨팅 파워 및 고가의 비디오 카드 등과 같은 가상 스튜디오용 장비를 갖추지 않아도 통상적인 시스템 제원의 컴퓨터 단말을 가지고서도 원하는 가상 스튜디오 비디오 영상을 획득할 수 있다는 효과를 갖게 된다. As described above, according to the present invention, by the distributed processing by the exchange of information between the client-side computer terminal and the virtual studio server through the Internet network, the client-side computer terminal provides a camera photographed image containing the actor, the virtual studio server In order to provide the client-side computer terminal with the finally generated two-dimensional or three-dimensional virtual studio video image by extracting the image of the desired actor from the camera photographed image by the chroma key and compositing the two-dimensional or three-dimensional virtual set background As a result, even without having a lot of computing power and equipment for a virtual studio such as an expensive video card, it is possible to obtain a desired virtual studio video image even with a computer terminal of a general system specification.

Claims (9)

카메라를 통해 촬영한 액터(Actor)를 포함한 영상을 네트워크를 통해 가상 스튜디오 서버에 전송하고, 가상 스튜디오 서버로부터 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 수신받아 재생 및 저장하는 클라이언트 단말과; A client terminal that transmits an image including an actor captured by the camera to a virtual studio server through a network, and receives and plays back and stores a 2D or 3D virtual studio video image finally generated from the virtual studio server; ; 네트워크를 통해 수신받은 상기 클라이언트 단말로부터의 카메라 촬영 영상에서 액터 영상을 크로마 키(Chroma Key)에 의해 추출하고, 추출된 액터 영상을 2차원 또는 3차원 가상 세트 배경과 합성하여 최종적으로 생성되는 2차원 또는 3차원 가상 스튜디오 영상을 상기 클라이언트 단말에 전송하는 가상 스튜디오 서버; 및 A two-dimensional image is finally generated by extracting an actor image by a chroma key from a camera photographed image received from the client terminal received through a network, and combining the extracted actor image with a two-dimensional or three-dimensional virtual set background. Or a virtual studio server for transmitting a 3D virtual studio image to the client terminal; And 다수 종류의 2차원 또는 3차원 세트 배경 영상을 저장하고, 클라이언트 단말로부터 제공되는 카메라 촬영 영상을 저장함과 더불어, 크로마 키에 의해 추출된 액터의 영상을 저장하고, 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 저장하는 가상 스튜디오 데이터베이스를 포함하여 구성된 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 시스템.Stores various kinds of two-dimensional or three-dimensional set background images, stores camera-photographed images provided from client terminals, stores images of actors extracted by chroma keys, and finally generates two-dimensional or three-dimensional images Virtual studio implementation system via a network comprising a virtual studio database for storing virtual studio video image data. 제 1 항에 있어서, The method of claim 1, 상기 가상 스튜디오 서버는, 다수 종류의 2차원 또는 3차원 가상 세트 배경 데이터를 제시하여, 상기 클라이언트 단말에서 선택한 2차원 또는 3차원 가상 세 트 배경을 상기 액터 영상과 합성하도록 된 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 시스템.The virtual studio server may present a plurality of two-dimensional or three-dimensional virtual set background data to synthesize a two-dimensional or three-dimensional virtual set background selected by the client terminal with the actor image. Virtual studio implementation system. 제 2 항에 있어서, The method of claim 2, 상기 클라이언트 단말은, 상기 가상 스튜디오 서버로부터 제시되는 2차원 또는 3차원 세트 배경 중에서 특정 세트 배경을 선택하고, 카메라로부터 촬영된 영상을 네트워크를 통해 상기 가상 스튜디오 서버로 전송하기 위한 키입력을 수행하는 키입력부와, The client terminal selects a specific set background from two-dimensional or three-dimensional set backgrounds presented from the virtual studio server, and performs a key input for transmitting the image photographed from the camera to the virtual studio server through a network. Input unit, 가상 스튜디오 영상에 삽입될 액터를 포함한 주변 영상을 촬영하여 제공하기 위한 카메라, Camera for shooting and providing surrounding video including actors to be inserted into the virtual studio video, 해당 클라이언트 단말의 시스템을 운영하는 운영 프로그램과, 인터넷 웹브라우저 프로그램, 카메라로부터 촬영된 영상을 상기 가상 스튜디오 서버에 제공하기 위한 응용 프로그램이 저장되고, 상기 가상 스튜디오 서버로부터 생성된 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상 데이터를 수신받아 저장하는 하드디스크 드라이브, An operating program for operating the system of the client terminal, an Internet web browser program, and an application program for providing an image captured by a camera to the virtual studio server are stored, and the final two-dimensional or three-dimensional image generated from the virtual studio server is stored. Hard disk drive for receiving and storing 3D virtual studio video image data 상기 가상 스튜디오 서버에서 제시하는 2차원 또는 3차원 세트 배경의 선택과, 카메라로부터 촬영된 영상의 전송 처리, 상기 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 재생하기 위한 비디오/오디오 처리를 제어하는 마이크로 프로세서, Controlling the selection of a two-dimensional or three-dimensional set background presented by the virtual studio server, a transmission process of an image captured by a camera, and a video / audio process for reproducing the final two-dimensional or three-dimensional virtual studio video image. Microprocessor, 2차원 또는 3차원 세트 배경과, 카메라로부터 촬영된 영상, 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 모니터를 통해 디스플레이하기 위한 비디오 처리를 수행하는 비디오 처리부 및, A video processor for performing video processing for displaying a 2D or 3D set background, an image photographed from a camera, and a final 2D or 3D virtual studio video image on a monitor; 카메라로부터 촬영된 영상에 포함된 오디오 신호와, 최종 2차원 또는 3차원 가상 스튜디오 비디오 영상에 포함된 오디오 신호를 음성 출력하기 위한 오디오 처리 및, 마이크로폰으로부터 입력된 음성을 카메라로 촬영된 영상과 합성시키기 위해 오디오 신호 처리하기 위한 오디오 처리부를 포함하여 구성된 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 시스템.Audio processing for audio output of the audio signal included in the image taken from the camera and the audio signal included in the final 2D or 3D virtual studio video image, and synthesizing the voice input from the microphone with the image taken with the camera Virtual studio implementation system over a network, characterized in that it comprises an audio processor for processing an audio signal. 제 1 항에 있어서, The method of claim 1, 상기 가상 스튜디오 서버는, 네트워크를 통해 상기 클라이언트 단말과 접속하여 카메라 촬영 영상을 수신받음과 더불어, 최종적으로 합성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 전송하는 네트워크 인터페이스와, The virtual studio server may be connected to the client terminal through a network to receive a camera photographed image and to finally transmit a synthesized two-dimensional or three-dimensional virtual studio video image; 해당 서버에서 하드웨어와 소프트웨어 간의 기능을 연결하고, 해당 서버의 동작을 관리하는 오퍼레이팅 시스템, An operating system that connects the functions between hardware and software in the server and manages the operation of the server, 상기 클라이언트 단말로부터 수신받은 카메라 촬영 영상의 압축을 해제하기 위한 디코딩 처리를 수행하는 디코더, A decoder for performing a decoding process for decompressing a camera photographed image received from the client terminal; 상기 디코더를 통해서 디코딩된 카메라 촬영 영상에서 액터 영상이 추출될 수 있도록 영상 데이터를 관리하는 라이브 비디오 매니저, A live video manager managing image data so that an actor image can be extracted from a camera captured image decoded through the decoder; 상기 카메라 촬영 영상에서 세트 배경과 합성될 액터 영상부분을 크로마 키를 통해서 추출하기 위한 크로마키 엔진, A chroma key engine for extracting an actor image portion to be synthesized from a set background from the camera captured image through a chroma key; 2차원 또는 3차원 세트 배경 영상이 2차원 믹서 또는 3차원 렌더러 엔진에 의해 액터 영상과 합성되도록 관리하기 위한 세트 매니저, A set manager for managing a two-dimensional or three-dimensional set background image to be synthesized with the actor image by a two-dimensional mixer or a three-dimensional renderer engine, 상기 크로마키 엔진에서 추출된 액터 영상을 2차원 세트 배경과 합성하기 위한 영상 믹싱 처리를 수행하는 2차원 믹서, A 2D mixer for performing an image mixing process for synthesizing the actor image extracted by the chroma key engine with a 2D set background; 상기 크로마키 엔진으로부터 추출된 액터 영상을 3차원 세트 배경과 합성하기 위한 3차원 그래픽 렌더링 처리를 수행하는 3차원 렌더러 엔진 및, A three-dimensional renderer engine performing a three-dimensional graphics rendering process for synthesizing the actor image extracted from the chroma key engine with a three-dimensional set background; 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 압축 알고리즘에 의해 영상 압축하기 위한 엔코딩 처리를 수행하는 엔코더를 포함하여 구성된 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 시스템.And an encoder configured to perform an encoding process for compressing a finally generated two-dimensional or three-dimensional virtual studio video image by a compression algorithm. 제 1 항에 있어서, The method of claim 1, 상기 액터 영상과 합성되는 2차원 또는 3차원 가상 세트 배경은, 상기 클라이언트 단말에서 멀티미디어 디자인 전용 소프트웨어 프로그램을 이용하여 직접 디자인하고 업로드하여 설정된 세트 배경인 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 시스템.The 2D or 3D virtual set background synthesized with the actor image is a set background set by directly designing and uploading using a multimedia design-only software program in the client terminal. 클라이언트 단말에서 네트워크를 통해 가상 스튜디오 서버와 접속하여 카메라로부터 촬영된 액터가 포함된 영상을 전송하는 제 1단계와; A first step of connecting a virtual studio server through a network to a client terminal and transmitting an image including an actor captured by a camera; 상기 가상 스튜디오 서버에서 크로마 키를 이용하여 상기 카메라 촬영 영상에서 액터 영상을 추출하는 제 2단계; Extracting an actor image from the camera photographed image by using a chroma key in the virtual studio server; 상기 추출된 액터 영상을 2차원 또는 3차원 가상 세트 배경과 합성하는 제 3단계; 및 A third step of synthesizing the extracted actor image with a 2D or 3D virtual set background; And 상기 가상 스튜디오 서버에서 액터 영상이 2차원 또는 3차원 가상 세트 배경과 합성된 최종적인 2차원 또는 3차원 가상 스튜디오 비디오 영상을 상기 클라이언트 단말에 전송하고, 상기 클라이언트 단말에서 2차원 또는 3차원 가상 스튜디오 비디오 영상을 수신받아 재생 및 저장하는 제 4단계를 포함하여 이루어진 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 방법.The virtual studio server transmits the final 2D or 3D virtual studio video image synthesized with the 2D or 3D virtual set background of the actor image to the client terminal, and the 2D or 3D virtual studio video from the client terminal. And a fourth step of receiving, playing, and storing the image. 제 6 항에 있어서, The method of claim 6, 상기 제 1단계는, 상기 가상 스튜디오 서버에서 상기 클라이언트 단말에 다수 종류의 2차원 또는 3차원 가상 세트 배경 데이터를 제시하는 단계와, The first step may include presenting a plurality of kinds of two-dimensional or three-dimensional virtual set background data to the client terminal in the virtual studio server; 상기 클라이언트 단말에서 상기 제시된 2차원 또는 3차원 가상 세트 배경 데이터 중에서 특정 세트 배경을 선택하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 방법.And selecting a specific set background from the presented two-dimensional or three-dimensional virtual set background data at the client terminal. 제 6 항에 있어서, The method of claim 6, 상기 제 1단계는, 상기 클라이언트 단말에서 멀티미디어 디자인 전용 소프트웨어 프로그램을 이용하여 2차원 또는 3차원 가상 세트 배경을 직접 디자인하여 상기 가상 스튜디오 서버에 업로드하는 단계와, The first step may include directly designing a two-dimensional or three-dimensional virtual set background using the multimedia design software program and uploading the same to the virtual studio server in the client terminal. 상기 클라이언트 단말에서 상기 가상 스튜디오 서버에 업로드된 2차원 또는 3차원 가상 세트 배경을 가상 스튜디오 배경으로 선택하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 방법.The client terminal further comprises the step of selecting a two-dimensional or three-dimensional virtual set background uploaded to the virtual studio server as a virtual studio background. 제 6 항에 있어서, The method of claim 6, 상기 제 1단계에서, 상기 클라이언트 단말은 카메라로부터 촬영된 영상을 영상 압축 알고리즘에 따라 영상 압축하여 전송하고, 상기 가상 스튜디오 서버는 영상 압축된 카메라 촬영 영상을 압축 해제하며, In the first step, the client terminal compresses and transmits the image captured by the camera according to an image compression algorithm, and the virtual studio server decompresses the image compressed camera photographed image, 상기 제 4단계에서, 상기 가상 스튜디오 서버는 최종적으로 생성된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 영상 압축 알고리즘에 따라 영상 압축하여 전송하고, 상기 클라이언트 단말은 영상 압축된 2차원 또는 3차원 가상 스튜디오 비디오 영상을 압축 해제하도록 이루어진 것을 특징으로 하는 네트워크를 통한 가상 스튜디오 구현 방법.In the fourth step, the virtual studio server compresses and transmits the finally generated two-dimensional or three-dimensional virtual studio video image according to an image compression algorithm, and the client terminal is a two-dimensional or three-dimensional virtual studio image compressed And decompressing the video image.
KR1020070023426A 2007-03-09 2007-03-09 System and Method for Realizing Vertual Studio via Network KR100889367B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070023426A KR100889367B1 (en) 2007-03-09 2007-03-09 System and Method for Realizing Vertual Studio via Network
PCT/KR2008/001170 WO2008111746A1 (en) 2007-03-09 2008-02-28 System and method for realizing virtual stuio through network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070023426A KR100889367B1 (en) 2007-03-09 2007-03-09 System and Method for Realizing Vertual Studio via Network

Publications (2)

Publication Number Publication Date
KR20080082759A true KR20080082759A (en) 2008-09-12
KR100889367B1 KR100889367B1 (en) 2009-03-19

Family

ID=39759662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070023426A KR100889367B1 (en) 2007-03-09 2007-03-09 System and Method for Realizing Vertual Studio via Network

Country Status (2)

Country Link
KR (1) KR100889367B1 (en)
WO (1) WO2008111746A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015027114A1 (en) * 2013-08-21 2015-02-26 Nantmobile, Llc Chroma key content management systems and methods
KR20170044590A (en) * 2015-10-15 2017-04-25 (주)잼투고 Distributed Multimedia editing System and Method
KR20180090977A (en) * 2016-10-12 2018-08-14 (주)잼투고 Distributed Multimedia editing System and Method
KR102091662B1 (en) * 2019-11-26 2020-05-15 로고몬도 주식회사 Real-time method for rendering 3d modeling
KR102601160B1 (en) * 2022-09-30 2023-11-13 주식회사 아리아스튜디오 Contents service flatform system provding virtual contents based on virtual space and virtual avatar

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8296456B2 (en) 2010-09-03 2012-10-23 United Video Properties, Inc. Systems and methods for displaying personalized media content
WO2012030584A2 (en) * 2010-09-03 2012-03-08 United Video Properties, Inc. Systems and methods for displaying personalized media content
CN102571624A (en) * 2010-12-20 2012-07-11 英属维京群岛商速位互动股份有限公司 Real-time communication system and relevant calculator readable medium
EP3098774A4 (en) * 2015-01-30 2017-03-15 DS Global System and method for virtual photography service
CN107170305A (en) * 2017-07-07 2017-09-15 郑州仁峰软件开发有限公司 A kind of method for combining video capture and existing recording and broadcasting system
KR101834925B1 (en) 2017-09-25 2018-03-06 주식회사 대경바스컴 A system and method for 3d virtual studio broadcasting that synchronizes video and audio signals by converting object position change into vector
WO2019127508A1 (en) * 2017-12-29 2019-07-04 深圳配天智能技术研究院有限公司 Smart terminal and 3d imaging method and 3d imaging system therefor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100748060B1 (en) * 2005-08-05 2007-08-09 주식회사 오아시스미디어 Internet broadcasting system of Real-time multilayer multimedia image integrated system and Method thereof
KR100748059B1 (en) * 2005-08-11 2007-08-09 주식회사 오아시스미디어 Real-time multilayer multimedia image integrated board

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015027114A1 (en) * 2013-08-21 2015-02-26 Nantmobile, Llc Chroma key content management systems and methods
US9761053B2 (en) 2013-08-21 2017-09-12 Nantmobile, Llc Chroma key content management systems and methods
US10008047B2 (en) 2013-08-21 2018-06-26 Nantmobile, Llc Chroma key content management systems and methods
US10019847B2 (en) 2013-08-21 2018-07-10 Nantmobile, Llc Chroma key content management systems and methods
US10255730B2 (en) 2013-08-21 2019-04-09 Nantmobile, Llc Chroma key content management systems and methods
US10733808B2 (en) 2013-08-21 2020-08-04 Nantmobile, Llc Chroma key content management systems and methods
US11495001B2 (en) 2013-08-21 2022-11-08 Nantmobile, Llc Chroma key content management systems and methods
KR20170044590A (en) * 2015-10-15 2017-04-25 (주)잼투고 Distributed Multimedia editing System and Method
KR20180090977A (en) * 2016-10-12 2018-08-14 (주)잼투고 Distributed Multimedia editing System and Method
KR102091662B1 (en) * 2019-11-26 2020-05-15 로고몬도 주식회사 Real-time method for rendering 3d modeling
KR102601160B1 (en) * 2022-09-30 2023-11-13 주식회사 아리아스튜디오 Contents service flatform system provding virtual contents based on virtual space and virtual avatar

Also Published As

Publication number Publication date
KR100889367B1 (en) 2009-03-19
WO2008111746A1 (en) 2008-09-18

Similar Documents

Publication Publication Date Title
KR100889367B1 (en) System and Method for Realizing Vertual Studio via Network
CN110798697B (en) Video display method, device and system and electronic equipment
US10229651B2 (en) Variable refresh rate video capture and playback
US20190124371A1 (en) Systems, methods and computer software for live video/audio broadcasting
CN106303289B (en) Method, device and system for fusion display of real object and virtual scene
US8876601B2 (en) Method and apparatus for providing a multi-screen based multi-dimension game service
JP2019524004A (en) Method, device and computer program for improving streaming of virtual reality media content
JP6333858B2 (en) System, apparatus, and method for sharing a screen having multiple visual components
US8650591B2 (en) Video enabled digital devices for embedding user data in interactive applications
JP6986158B2 (en) Methods and devices for sending and receiving metadata about multiple viewpoints
JP4802524B2 (en) Image processing apparatus, camera system, video system, network data system, and image processing method
JP2009021901A (en) Image transmitting apparatus, image transmitting method, receiving apparatus, and image transmitting system
CN109547724B (en) Video stream data processing method, electronic equipment and storage device
KR20150105058A (en) Mixed reality type virtual performance system using online
JP2014049865A (en) Monitor camera system
WO2024027611A1 (en) Video live streaming method and apparatus, electronic device and storage medium
CN107580228B (en) Monitoring video processing method, device and equipment
CN109862385B (en) Live broadcast method and device, computer readable storage medium and terminal equipment
KR20130067855A (en) Apparatus and method for providing virtual 3d contents animation where view selection is possible
Zeng et al. A new architecture of 8k vr fov video end-to-end technology
CN116962742A (en) Live video image data transmission method, device and live video system
CN115174672A (en) Terminal, display device and data transmission method
CN112004100A (en) Driving method for integrating multiple audio and video sources into single audio and video source
WO2023193524A1 (en) Live streaming video processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
CN112584084B (en) Video playing method and device, computer equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130830

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140710

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150310

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160810

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171206

Year of fee payment: 9

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190305

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20200311

Year of fee payment: 12