KR102484276B1 - System for creating performance content having visual effect - Google Patents

System for creating performance content having visual effect Download PDF

Info

Publication number
KR102484276B1
KR102484276B1 KR1020200162001A KR20200162001A KR102484276B1 KR 102484276 B1 KR102484276 B1 KR 102484276B1 KR 1020200162001 A KR1020200162001 A KR 1020200162001A KR 20200162001 A KR20200162001 A KR 20200162001A KR 102484276 B1 KR102484276 B1 KR 102484276B1
Authority
KR
South Korea
Prior art keywords
performance
image
chroma key
chroma
effect
Prior art date
Application number
KR1020200162001A
Other languages
Korean (ko)
Other versions
KR20220073990A (en
Inventor
이관준
Original Assignee
(주)올댓퍼포먼스아이앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)올댓퍼포먼스아이앤씨 filed Critical (주)올댓퍼포먼스아이앤씨
Priority to KR1020200162001A priority Critical patent/KR102484276B1/en
Publication of KR20220073990A publication Critical patent/KR20220073990A/en
Application granted granted Critical
Publication of KR102484276B1 publication Critical patent/KR102484276B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 시각 효과를 지원하는 공연 컨텐츠 제작 시스템에 관한 것으로서, 더욱 상세히는 복수의 레벨로 설치된 크로마키를 배경으로 복수의 카메라를 통해 복수 지점에서 공연을 촬영한 다음 크로마키 영역에 대한 시각 효과 추가를 위한 영상 합성을 수행하여 공연 영상을 생성한 후 이를 통신망을 통해서 사용자 단말에 다시점 선택 시청이 가능한 공연 컨텐츠로 제공할 수 있는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템에 관한 것이다. 본 발명은 사용자에게 실재 공연장에서 관람시 느낄 수 있는 생동감 및 현장감에 대한 경험과 유사한 사용자 경험을 제공하여 컨텐츠로 공연을 시청하는 사용자의 만족도를 크게 높일 수 있다.The present invention relates to a performance content production system supporting visual effects, and more particularly, a performance is photographed at a plurality of points through a plurality of cameras against a background of a chroma key installed at a plurality of levels, and then visual effects for the chroma key region are added. The present invention relates to a performance content production system that supports visual effects capable of generating a performance video by performing video synthesis for a performance and then providing the result as performance content that can be selectively viewed from multiple viewpoints to a user terminal through a communication network. The present invention provides users with a user experience similar to the experience of liveliness and realism that can be felt when watching a performance in an actual performance hall, thereby greatly increasing the satisfaction of users watching performances with contents.

Description

시각 효과를 지원하는 공연 컨텐츠 제작 시스템{System for creating performance content having visual effect}System for creating performance content having visual effect}

본 발명은 시각 효과를 지원하는 공연 컨텐츠 제작 시스템에 관한 것으로서, 더욱 상세히는 복수의 레벨로 설치된 크로마키를 배경으로 복수의 카메라를 통해 복수 지점에서 공연을 촬영한 다음 크로마키 영역에 대한 시각 효과 추가를 위한 영상 합성을 수행하여 공연 영상을 생성한 후 이를 통신망을 통해서 사용자 단말에 다시점 선택 시청이 가능한 공연 컨텐츠로 제공할 수 있는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템에 관한 것이다.The present invention relates to a performance content production system supporting visual effects, and more particularly, a performance is photographed at a plurality of points through a plurality of cameras against a background of a chroma key installed at a plurality of levels, and then visual effects for the chroma key region are added. The present invention relates to a performance content production system that supports visual effects capable of generating a performance video by performing video synthesis for a performance and then providing the result as performance content that can be selectively viewed from multiple viewpoints to a user terminal through a communication network.

최근 연극, 뮤지컬, 오페라, 콘서트 등과 같은 다양한 공연을 관람하려는 사용자들이 증가하고 있으나, 이러한 공연 관람을 위해서는 직접 공연장을 방문해야 하므로 공연장에 방문이 힘든 사용자들은 공연을 쉽게 접하기 어려운 문제가 있다.Recently, the number of users who want to watch various performances such as plays, musicals, operas, concerts, etc. is increasing. However, since they have to visit the concert halls to watch these performances, it is difficult for users who have difficulty visiting the concert halls to easily access the performances.

이에 더해, 최근 다양한 전염병 발생으로 인해 공연장 방문이 점점 더 어려워지고 있으며, 이에 따라 공연 개최가 어려운 공연 업체에서는 관람객이 없는 상태에서 진행되는 공연을 촬영하여 생성한 컨텐츠를 서비스함으로써 이러한 어려움을 타개하고 있다.In addition, it is becoming more and more difficult to visit concert halls due to the recent outbreak of various infectious diseases, and accordingly, performing arts companies that have difficulty holding performances are overcoming these difficulties by providing content created by filming performances in the absence of spectators. .

그러나, 기존의 방식으로 공연을 촬영하여 생성된 컨텐츠는 고정된 시점에서 촬영된 2차원 평면 영상의 한계를 벗어나지 못하므로, 실제 공연장에서 제공되는 3차원적인 생동감을 제공하기 어려울 뿐만 아니라 고정 시점에서만 공연 영상이 제공되어 다른 시점이나 실제 관람 시점에서 얻어지는 공연 경험을 전혀 제공하지 못하는 문제가 있다.However, since the content created by filming a performance in the conventional way cannot escape the limitations of a 2D flat image filmed at a fixed point of view, it is difficult to provide the 3D liveliness provided in an actual performance hall, and performances are performed only at a fixed point of view. There is a problem in that a performance experience obtained from a different point of view or an actual viewing point cannot be provided because the image is provided.

이에 더하여 최근 실재 공연에서는 스크린을 배치하고 스크린을 통해 영상을 재생함으로써 다양한 시각효과를 제공하여 공연의 현실감을 더욱 향상시키고 있으나, 이러한 스크린에서 재생되는 영상을 카메라를 통해 다시 촬영하게 되면 화질 저하가 발생할 뿐만 아니라 실제 공연장에서의 상기 스크린을 이용한 시각 효과에 대한 생동감이 컨텐츠를 통해서는 크게 저하되는 문제가 있다.In addition, in recent real performances, screens are arranged and images are played through the screen to provide various visual effects to further improve the realism of the performance. In addition, there is a problem in that the liveliness of the visual effect using the screen in the actual performance hall is greatly reduced through the content.

한국공개특허 제10-2004-0013452호Korean Patent Publication No. 10-2004-0013452

본 발명은 공연장에 복수의 크로마키 배경판을 단차를 가지도록 겹쳐서 배치하고, 상기 크로마키 배경판을 배경으로 진행되는 공연을 서로 다른 복수의 시점과 각각 대응되는 복수의 카메라를 통해 촬영하여 하나의 공연에 대해 복수 시점의 공연 영상을 생성한 후 장면별 효과 영상을 공연 영상 내 크로마키 배경판에 대응되는 크로마키 영역별로 삽입하여 시점 전환이 가능한 공연 컨텐츠를 생성하여 제공함으로써, 사용자가 단말을 통해 시점을 변경하면서 공연에 대한 3차원 시청이 가능하도록 제공하여 실제 공연과 유사한 생동감 및 현장감을 제공할 수 있는 공연 컨텐츠를 제작할 수 있도록 지원하는데 그 목적이 있다.In the present invention, a plurality of chroma key background plates are overlapped and arranged in a stepped manner in a performance hall, and a performance performed against the background of the chroma key background plate is photographed through a plurality of different viewpoints and a plurality of cameras corresponding to each other, thereby creating a single After creating performance videos from multiple viewpoints for the performance, effect images for each scene are inserted for each chroma key area corresponding to the chroma key background plate in the performance video to create and provide performance contents that can switch viewpoints, allowing the user to use the terminal through the terminal. Its purpose is to support production of performance contents that can provide liveliness and realism similar to actual performances by providing a 3D view of the performance while changing the viewpoint.

본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템은, 공연장의 무대에 설치되어 상호 간 단차를 가지면서 적어도 일부가 겹치도록 배치되는 복수의 크로마키 배경판과, 상기 복수의 크로마키 배경판이 모두 적어도 일부가 겹친 상태를 유지하는 각도에서 상기 무대에서 진행되는 공연을 촬영하도록 구성되며 서로 다른 복수의 카메라 시점과 각각 대응되는 복수의 카메라와, 상기 복수의 카메라로부터 수신한 복수의 촬영 영상 각각에 대해, 상기 촬영 영상에 대응되는 카메라 시점과 영상 내에서 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역을 식별하고, 효과 영상에 대응되는 촬영 영상에 대해 식별된 카메라 시점에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 상기 복수의 크로마키 영역 중 상기 효과 영상에 대응되는 크로마키 영역에 삽입하도록 동작 방식이 미리 설정되어, 상기 동작 방식에 따라 장면별로 미리 저장된 복수의 효과 영상을 상기 촬영 영상에서 식별된 복수의 크로마키 영역에 삽입하여 공연 영상을 생성하고, 상기 복수의 촬영 영상과 각각 대응되는 복수의 공연 영상을 생성하는 영상 후처리 장치 및 상기 영상 후처리 장치로부터 상기 복수의 공연 영상을 수신하고, 미리 설정된 하나 이상의 재생 구역별로 상기 복수의 공연 영상 중 재생 대상인 공연 영상이 변경되도록 하기 위한 시점 전환 정보 및 상기 복수의 공연 영상이 포함된 공연 컨텐츠를 생성하여 제공하는 콘텐츠 제공 장치를 포함할 수 있다.A performance content production system supporting visual effects according to an embodiment of the present invention includes a plurality of chroma key background plates installed on the stage of a performance hall and disposed so that at least a part of them overlaps with a step difference between them, and the plurality of chroma key background plates. A plurality of cameras configured to photograph the performance on the stage at an angle at which all of the background plates are at least partially overlapped, and a plurality of cameras corresponding to different viewpoints of the plurality of cameras, and a plurality of captured images received from the plurality of cameras For each, a camera viewpoint corresponding to the captured image and a plurality of chroma key regions respectively corresponding to a plurality of chroma key background plates within the image are identified, and matched to the camera viewpoint identified for the captured image corresponding to the effect video. After converting the effect image, an operation method is set in advance to insert the converted effect image into a chroma key region corresponding to the effect image among the plurality of chroma key regions, A video post-processing device that generates a performance video by inserting an effect video into a plurality of chroma key regions identified in the captured video, and generates a plurality of performance videos corresponding to the plurality of captured videos, and the video post-processing device Receiving the plurality of performance videos, generating and providing view switching information for changing a performance video to be reproduced among the plurality of performance videos for each of one or more preset playback zones and performance content including the plurality of performance videos A content providing device may be included.

본 발명과 관련된 일 예로서, 상기 영상 후처리 장치는, 상기 촬영 영상에 대해 상기 촬영 영상의 카메라 시점에서 관찰되는 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역을 구분하기 위한 영상 검출부 및 구분된 크로마키 영역을 기준으로 복수의 크로마키 영역 사이의 겹쳐진 상태 및 복수의 단차를 식별하고, 상기 복수의 효과 영상별로 복수의 크로마키 영역 중 대응되는 크로마키 영역 삽입시 효과 영상에 대응되는 크로마키 영역에 인접한 하나 이상의 타 크로마키 영역과 상기 효과 영상에 대응되는 크로마키 영역 사이의 겹쳐진 상태에 따른 각도와 단차에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 대응되는 크로마키 영역에 적용하는 시각 효과 적용부를 포함할 수 있다.As an example related to the present invention, the image post-processing device may include an image detection unit for distinguishing a plurality of chroma key regions corresponding to a plurality of chroma key background plates observed from a camera viewpoint of the captured image in the captured image. and identifying an overlapping state and a plurality of steps between a plurality of chroma key regions based on the divided chroma key regions, and corresponding to an effect image when a corresponding chroma key region is inserted among a plurality of chroma key regions for each of the plurality of effect images. After converting the effect image according to the angle and step according to the overlapped state between one or more other chroma-key regions adjacent to the chroma-key region and the chroma-key region corresponding to the effect image, the converted effect image is displayed in the corresponding chroma-key region. It may include a visual effect application unit applied to.

본 발명과 관련된 일 예로서, 상기 복수의 카메라는 적어도 10개 이상인 것을 특징으로 할 수 있다.As an example related to the present invention, the plurality of cameras may be at least 10 or more.

본 발명과 관련된 일 예로서, 상기 영상 후처리 장치는 촬영 영상에 포함된 공연자에 해당하는 객체의 전면 부분에 적용되는 3차원의 장면별 전면 효과 영상이 미리 저장되며, 상기 촬영 영상에 대응되는 복수의 크로마키 영역의 배치 상태와 카메라 시점을 기반으로 상기 전면 효과 영상의 배치 각도와 크기 중 적어도 하나를 재구성하여 상기 전면 효과 영상을 상기 촬영 영상에 삽입하도록 동작하는 추가 동작 방식이 미리 설정되어, 상기 복수의 촬영 영상 각각에 상기 추가 동작 방식에 따라 상기 전면 효과 영상을 삽입하여 상기 전면 효과 영상이 추가 삽입된 상기 공연 영상을 복수의 촬영 영상별로 생성하는 것을 특징으로 할 수 있다.As an example related to the present invention, the image post-processing device stores in advance a front effect image for each 3D scene applied to the front part of an object corresponding to a performer included in the captured image, and a plurality of corresponding to the captured image. An additional operation method for inserting the foreground effect image into the photographed image by reconstructing at least one of the arrangement angle and size of the foreground effect image based on the arrangement state of the chroma key region and the camera viewpoint is set in advance, The performance video into which the front effect video is additionally inserted may be generated for each of the plurality of captured images by inserting the front effect image into each of the plurality of captured images according to the additional operation method.

본 발명과 관련된 일 예로서, 상기 시점 전환 정보는 상기 재생 구역별로 재생 구간 정보 및 상기 재생 구간 정보에 대응되는 카메라 시점 정보가 설정된 것을 특징으로 할 수 있다.As an example related to the present invention, the viewpoint change information may be characterized in that reproduction section information and camera viewpoint information corresponding to the reproduction section information are set for each reproduction area.

본 발명은 무대에 배치되는 복수의 크로마키 배경판을 촬영한 촬영 영상에서 상기 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역 각각에 VFX 기반의 효과 영상을 삽입하여 효과 영상이 삽입된 촬영 영상을 기반으로 공연 영상을 생성한 후 공연 컨텐츠로 제공함으로써 실재 공연에서 공연자의 배경으로 제공되는 효과 영상을 직접 촬영하는 경우에 발생하는 효과 영상의 화질 저하 문제를 해결하여 생동감 있는 시각 효과를 제공할 수 있을 뿐만 아니라 상호 단차를 가지면서 적어도 일부가 겹치도록 파노라마 형태로 배치한 상기 복수의 크로마키 배경판을 촬영하여 생성된 촬영 영상에서 복수의 크로마키 배경판과 대응되는 복수의 크로마키 영역이 상기 단차와 일부 겹침에 따른 파노라마 형태에 따라 3차원으로 구현되도록 지원하고 이러한 복수의 크로마키 영역에 공연자의 배경에 해당하는 효과 영상을 삽입하여 공연자를 둘러싼 효과 영상 기반의 배경과 공연자가 3차원 공간감을 가지도록 생성된 공연 컨텐츠를 사용자에게 제공할 수 있어, 사용자에게 실재 공연장에서 관람시 느낄 수 있는 생동감 및 현장감에 대한 경험과 유사한 사용자 경험을 제공하여 컨텐츠로 공연을 시청하는 사용자의 만족도를 크게 높일 수 있다.In the present invention, a VFX-based effect image is inserted into each of a plurality of chroma key regions corresponding to the plurality of chroma key background plates in a photographed image of a plurality of chroma key background plates disposed on the stage, and the effect image is inserted By generating a performance video based on the filmed video and providing it as performance content, it provides lively visual effects by solving the problem of deterioration in the quality of the effect video that occurs when the effect video provided as the background of the performer is directly filmed in a real performance. In addition, a plurality of chroma key regions corresponding to a plurality of chroma key background plates are generated by photographing the plurality of chroma key background plates arranged in a panoramic form so that at least some of them overlap with each other while having mutual steps. It is supported to be implemented in 3D according to the panoramic shape according to the step difference and partial overlap, and effect images corresponding to the performer's background are inserted into these plurality of chroma key areas, so that the background based on the effect image surrounding the performer and the performer can create a 3D sense of space It is possible to provide the user with the performance content generated to have the performance, which will greatly increase the satisfaction of the user watching the performance with the content by providing the user with a user experience similar to the experience of liveliness and realism that can be felt when watching in an actual performance hall. can

또한, 본 발명은 복수의 카메라 시점(복수의 관람 시점)과 각각 대응되는 복수의 공연 영상을 장면 전환시마다 카메라 시점을 변경하여 변경된 카메라 시점에 대응되는 공연 영상으로 전환하여 재생할 수 있으며, 이를 통해 공연의 극적 효과를 높일 수 있을 뿐만 아니라 다양한 관람 시점으로 공연 영상을 제공할 수 있어 실제 공연장에서 관람하는 경험과 유사한 경험이 제공되도록 지원하는 효과가 있다.In addition, the present invention can convert and reproduce a plurality of performance videos corresponding to a plurality of camera viewpoints (a plurality of viewing viewpoints) to a performance video corresponding to the changed camera viewpoint by changing the camera viewpoint at each scene change, through which the performance video Not only can the dramatic effect of the performance be enhanced, but also the performance video can be provided from various viewpoints, which has the effect of supporting the provision of an experience similar to that of the actual performance hall.

도 1은 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 구성도.
도 2 내지 도 3은 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 크로마키 배경판을 이용한 시각 효과 적용에 대한 예시도.
도 4는 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 동작 예시도.
도 5는 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 공연 컨텐츠 제공에 대한 예시도.
1 is a configuration diagram of a performance contents production system supporting visual effects according to an embodiment of the present invention.
2 and 3 are diagrams illustrating application of visual effects using a chroma key background plate in a performance contents production system supporting visual effects according to an embodiment of the present invention.
4 is a diagram illustrating an operation of a performance contents production system supporting visual effects according to an embodiment of the present invention.
5 is an exemplary view of providing performance content by a performance content production system supporting visual effects according to an embodiment of the present invention;

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.Hereinafter, detailed embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 구성도로서, 본 발명에 따른 공연 컨텐츠 제작 시스템은, 복수의 크로마키(chroma key) 배경판(10)과, 복수의 카메라(20)와, 영상 후처리 장치(30) 및 컨텐츠 제공 장치(40)를 포함하여 구성될 수 있다.1 is a block diagram of a performance content production system supporting visual effects according to an embodiment of the present invention. The performance content production system according to the present invention includes a plurality of chroma key background plates 10, a plurality of It may include a camera 20, an image post-processing device 30, and a content providing device 40.

이때, 상기 복수의 크로마키 배경판(10)은 공연장의 무대(무대 상)에 설치되어 상호 간 단차를 가지면서 적어도 일부가 겹치도록 배치될 수 있다.At this time, the plurality of chroma key background plates 10 may be installed on the stage (on the stage) of the performance hall, and may be arranged so that at least some of them overlap with each other while having a step therebetween.

즉, 상기 복수의 크로마키 배경판(10)은 관람 시점을 기준으로 복수의 레벨로 배치될 수 있다.That is, the plurality of chroma key background plates 10 may be arranged in a plurality of levels based on the viewpoint of viewing.

일례로, 도 1 및 도 2에 도시된 바와 같이, 상기 복수의 크로마키 배경판(10)은 기준에 해당하는 기준 크로마키 배경판(10)(무대 중간에 설치된 크로마키 배경판(10))을 포함하고, 상기 기준 크로마키 배경판(10)을 기준으로 좌우에 동일한 개수의 크로마키 배경판(10)이 배치되도록 구성될 수 있다.For example, as shown in FIGS. 1 and 2, the plurality of chroma key background plates 10 are standard chroma key background plates 10 (chroma key background plates 10 installed in the middle of the stage) corresponding to the standard. Including, the same number of chroma key background plates 10 may be arranged on the left and right sides of the reference chroma key background plate 10.

이때, 상기 복수의 크로마키 배경판(10)은 각각 인접 크로마키 배경판(10)과 상호 단차를 가지면서 적어도 일부가 상호 겹치도록 배치될 수 있다.At this time, the plurality of chroma key background plates 10 may be arranged so that at least a part overlaps each other while having a mutual step with the adjacent chroma key background plates 10 .

또한, 상기 복수의 크로마키 배경판(10) 중 적어도 하나 이상의 크로마키 배경판(10)이 다른 배경판(10)과 상이한 배치 각도를 가지도록 구성될 수 있으며, 일례로 상기 기준 크로마키 배경판(10)을 기준으로 좌우로 양 끝단에 각각 위치하는 2개의 크로마키 배경판(10)이 다른 배경판(10)(들)과 상이한 각도를 가지도록 배치될 수 있다.In addition, at least one chroma key background plate 10 among the plurality of chroma key background plates 10 may be configured to have a different arrangement angle from the other background plates 10, and for example, the reference chroma key background plate Two chroma key background plates 10 respectively located at both ends of the left and right sides of (10) may be arranged to have a different angle from the other background plate 10(s).

상술한 바와 같이, 복수의 크로마키 배경판(10)을 공연장의 무대 상에 파노라마 형태로 배치하여 상기 무대 위에서 공연하는 공연자를 크로마키 배경판(10)이 감싸는 형태로 배치할 수 있다.As described above, a plurality of chroma key background plates 10 may be arranged in a panoramic shape on the stage of a concert hall so that the chroma key background plates 10 surround performers performing on the stage.

한편, 상기 복수의 카메라(20)는 각각 상기 복수의 크로마키 배경판(10)이 모두 적어도 일부가 겹친 상태를 유지하는 각도에서 상기 복수의 크로마키 배경판(10)이 배치된 상기 무대에서 진행되는 공연을 촬영하도록 구성될 수 있다.On the other hand, the plurality of cameras 20 proceed on the stage where the plurality of chroma key background plates 10 are arranged at an angle at which all of the plurality of chroma key background plates 10 maintain at least a portion of each overlapping state It can be configured to film a performance that is.

또한, 상기 복수의 카메라(20)는 서로 상이한 위치에 배치되어 서로 상이한 카메라 시점(視點)(또는 촬영 시점)으로 상기 무대에서 진행되는 공연을 촬영하도록 구성될 수 있다.In addition, the plurality of cameras 20 may be configured to be arranged at different positions to take pictures of the performance on the stage with different camera viewpoints (or shooting viewpoints).

이때, 본 발명에서 설명하는 카메라 시점은 미리 설정된 무대의 중심점을 기준으로 하는 카메라(20)의 촬영 각도를 의미할 수 있다.At this time, the camera viewpoint described in the present invention may mean a photographing angle of the camera 20 based on a preset center point of the stage.

또한, 상기 복수의 카메라 시점은 공연장에 배치되는 서로 다른 복수의 관람 영역과 각각 대응될 수 있으며, 이를 통해 서로 다른 복수의 관람 영역에서 공연을 관람할 때 복수의 관람영역별 관람 시점(관람객의 시점)에 각각 대응되는 관람 영역별 카메라 시점에 대한 촬영 영상을 상기 복수의 카메라(20)를 통해 생성할 수 있다.In addition, the viewpoints of the plurality of cameras may correspond to a plurality of different viewing areas disposed in the performance hall, and through this, when viewing a performance in a plurality of different viewing areas, viewing viewpoints (viewers' viewpoints) for each of the plurality of viewing areas. A photographed image for a camera viewpoint for each viewing area corresponding to each may be generated through the plurality of cameras 20 .

또한, 상기 복수의 카메라(20)는 적어도 10개 이상인 것이 바람직하다.In addition, it is preferable that the number of the plurality of cameras 20 is at least 10 or more.

한편, 상기 영상 후처리 장치(30)는, 상기 복수의 카메라(20) 각각으로부터 상기 복수의 크로마키 배경판(10)이 배치된 무대에서 진행되는 공연을 촬영하여 생성한 촬영 영상을 수신할 수 있다.Meanwhile, the image post-processing device 30 may receive a captured image generated by photographing a performance on a stage where the plurality of chroma key background plates 10 are arranged from each of the plurality of cameras 20. there is.

즉, 상기 영상 후처리 장치(30)는 복수의 카메라(20)로부터 복수의 서로 다른 카메라 시점과 각각 대응되는 복수의 촬영 영상을 수신할 수 있다.That is, the image post-processing device 30 may receive a plurality of captured images respectively corresponding to a plurality of different camera viewpoints from the plurality of cameras 20 .

또한, 상기 영상 후처리 장치(30)는 상기 촬영 영상에 시각 효과(VFX: Visual Effect)를 추가하기 위해 상기 무대에서 진행되는 공연을 구성하는 하나 이상의 장면별로 복수의 서로 다른 효과 영상이 미리 저장될 수 있다.In addition, the image post-processing device 30 stores a plurality of different effect images in advance for each one or more scenes constituting the performance on the stage in order to add a visual effect (VFX) to the captured image. can

이에 따라, 상기 영상 후처리 장치(30)는 상기 효과 영상을 상기 촬영 영상에 삽입하여 시각 효과가 포함된 공연 영상을 생성할 수 있는데, 이를 도 2와 도 3 및 도 4를 참고하여 상세히 설명한다.Accordingly, the video post-processing device 30 may generate a performance video including visual effects by inserting the effect video into the captured video, which will be described in detail with reference to FIGS. 2, 3, and 4. .

우선, 상기 영상 후처리 장치(30)는 상기 복수의 카메라(20)로부터 수신한 복수의 촬영 영상 각각에 대해, 상기 촬영 영상에 대응되는 카메라 시점과 영상 내에서 복수의 크로마키 배경판(10)과 각각 대응되는 복수의 크로마키 영역(11)을 촬영 영상에서 식별할 수 있다.First of all, the image post-processing device 30 uses a camera viewpoint corresponding to the captured image for each of a plurality of captured images received from the plurality of cameras 20 and a plurality of chroma key background plates 10 within the image. A plurality of chroma key regions 11 respectively corresponding to and may be identified in the photographed image.

이때, 상기 효과 영상에는 상기 효과 영상에 대응되는 크로마키 영역에 대한 영역 식별 정보, 상기 효과 영상에 대응되는 공연 장면에 대한 시간 정보 등이 포함될 수 있으며, 상기 영상 후처리 장치(30)는 상기 촬영 영상에 포함된 복수의 크로마키 영역 각각에 대해 상기 복수의 크로마키 배경판(10) 중 크로마키 영역에 대응되는 크로마키 배경판(10)의 구분이 가능하도록 영역 식별 정보를 설정할 수 있다.In this case, the effect image may include region identification information for a chroma key region corresponding to the effect image, time information for a performance scene corresponding to the effect image, and the like, and the image post-processing device 30 may include the photographing For each of a plurality of chroma key regions included in the image, region identification information may be set so that the chroma key background plate 10 corresponding to the chroma key region among the plurality of chroma key background plates 10 can be distinguished.

여기서, 상기 영상 후처리 장치(30)는 복수의 크로마키 영역 상호 간 서로 다른 영역 식별 정보를 설정할 수 있다.Here, the image post-processing device 30 may set different region identification information between a plurality of chroma key regions.

이를 통해, 상기 영상 후처리 장치(30)는 실제 공연에서 특정 크로마키 배경판(10)에 표시될 효과 영상이 상기 촬영 영상에서 상기 특정 크로마키 배경판(10)에 대응되는 특정 크로마키 영역에 합성되어 표시되도록 처리할 수 있다.Through this, the image post-processing device 30 allows the effect image to be displayed on the specific chroma-key background plate 10 in an actual performance in a specific chroma-key region corresponding to the specific chroma-key background plate 10 in the captured image. It can be processed to be synthesized and displayed.

또한, 상기 영상 후처리 장치(30)는 촬영 영상을 수신하면 촬영 영상의 공연 시간(재생 시간)과 상기 장면별 복수의 효과 영상에 포함된 상기 시간 정보를 비교하여 상기 공연 시간에 대응되는 시간 정보가 포함된 특정 장면에 대한 복수의 효과 영상을 상기 촬영 영상에 대응되는 효과 영상으로 추출할 수 있다.In addition, upon receiving the captured video, the video post-processing device 30 compares the performance time (playback time) of the captured video with the time information included in the plurality of effect videos for each scene, and compares the time information corresponding to the performance time. A plurality of effect images for a specific scene including may be extracted as an effect image corresponding to the captured image.

이때, 공연 시간은 공연을 구성하는 장면별 시간에 대한 정보를 의미할 수 있다.In this case, the performance time may mean information about time for each scene constituting the performance.

또는, 상기 영상 후처리 장치(30)는 복수의 카메라(20)로부터 수신되는 각 촬영 영상이 다수개로 분리되지 않고 하나로 수신되는 경우 촬영 영상의 공연 시간을 구성하는 복수의 시간 구간마다 시간 구간에 대응되는 시간 정보가 포함된 특정 장면에 대한 복수의 촬영 영상을 추출할 수 있다.Alternatively, when each captured image received from the plurality of cameras 20 is received as one rather than being divided into multiple pieces, the image post-processing device 30 corresponds to a time interval for each of a plurality of time intervals constituting the performance time of the captured image. A plurality of captured images of a specific scene including time information may be extracted.

또한, 상기 영상 후처리 장치(30)는, 특정 촬영 영상에 대응되어 추출된 효과 영상에 대응되는 특정 촬영 영상으로부터 카메라 시점을 식별할 수 있으며, 상기 식별된 카메라 시점에 맞추어 상기 추출된 효과 영상을 변환한 후 상기 변환된 효과 영상을 상기 복수의 크로마키 영역 중 상기 변환된 효과 영상에 대응되는 크로마키 영역에 삽입하도록 동작 방식(동작 알고리즘)이 미리 설정될 수 있다.In addition, the image post-processing device 30 may identify a camera viewpoint from a specific captured image corresponding to an effect image extracted corresponding to a specific captured image, and output the extracted effect image according to the identified camera viewpoint. After conversion, an operation method (operation algorithm) may be preset to insert the converted effect image into a chroma key region corresponding to the converted effect image among the plurality of chroma key regions.

이에 따라, 상기 영상 후처리 장치(30)는 상기 동작 방식에 따라 상기 특정 촬영 영상에 대응되는 특정 장면과 관련된 복수의 효과 영상을 추출하고, 상기 추출된 복수의 효과 영상 각각에 대해 상기 동작 방식에 따라 상기 복수의 효과 영상을 각각 상기 특정 촬영 영상에 포함된 복수의 크로마키 영역 중 대응되는 크로마키 영역에 삽입하여 촬영 영상에서 배경에 해당하는 크로마키 영역에 상기 효과 영상을 삽입할 수 있다.Accordingly, the image post-processing device 30 extracts a plurality of effect images related to a specific scene corresponding to the specific captured image according to the operating method, and applies the operating method for each of the extracted plurality of effect images. Accordingly, each of the plurality of effect images may be inserted into a corresponding chroma key region among a plurality of chroma key regions included in the specific captured image, and the effect image may be inserted into a chroma key region corresponding to a background in the captured image.

이때, 상기 영상 후처리 장치(30)는 촬영 영상의 특정 시간 구간에 대응되는 효과 영상을 추출한 경우 촬영 영상을 구성하는 복수의 프레임 중 상기 시간 구간에 대응되는 하나 이상의 프레임 각각에 대해 상기 효과 영상을 프레임에 포함된 크로마키 영역에 삽입할 수 있다.At this time, when the image post-processing device 30 extracts an effect image corresponding to a specific time section of the captured image, the effect image is generated for each of one or more frames corresponding to the time section among a plurality of frames constituting the captured image. It can be inserted into the chroma key area included in the frame.

이를 위해, 상기 영상 후처리 장치(30)는 영상 검출부 및 시각 효과 적용부를 포함하여 구성될 수 있다.To this end, the image post-processing device 30 may include an image detection unit and a visual effect application unit.

상기 영상 검출부는, 촬영 영상을 수신하고 촬영 영상에 설정된 카메라 시점을 확인한 후 상기 확인된 카메라 시점에서 관찰되는 복수의 크로마키 배경판(10)과 각각 대응되는 복수의 크로마키 영역을 상기 촬영 영상에서 구분하도록 구성된다.The image detection unit receives a captured image, checks a camera viewpoint set in the captured image, and then displays a plurality of chroma key regions respectively corresponding to a plurality of chroma key background plates 10 observed from the confirmed camera viewpoint in the captured image. configured to differentiate.

또한, 상기 시각 효과 적용부는 촬영 영상에서 상기 구분된 크로마키 영역을 기준으로 복수의 크로마키 영역 사이의 겹쳐진 상태 및 복수의 단차를 식별하고, 상기 복수의 효과 영상별로 상기 복수의 크로마키 영역 중 대응되는 크로마키 영역 삽입시 효과 영상에 대응되는 크로마키 영역에 인접한 하나 이상의 타 크로마키 영역과 상기 효과 영상에 대응되는 크로마키 영역 사이의 겹쳐진 상태에 따른 각도와 단차에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 대응되는 크로마키 영역에 적용하도록 구성될 수 있다.In addition, the visual effect applying unit identifies an overlapping state and a plurality of steps between a plurality of chroma key regions based on the divided chroma key regions in the captured image, and corresponds to a corresponding one of the plurality of chroma key regions for each of the plurality of effect images. After converting the effect image according to the angle and step according to the overlapping state between one or more other chroma-key regions adjacent to the chroma-key region corresponding to the effect image and the chroma-key region corresponding to the effect image when the chroma-key region is inserted, It may be configured to apply the converted effect image to a corresponding chroma key region.

또한, 상기 영상 후처리 장치(30)는 상기 영상 후처리 장치(30)의 전반적인 제어 기능을 수행하는 제어부를 더 포함하며, 상기 제어부는 상기 영상 검출부 및 상기 시각 효과 적용부를 제어하여 본 발명에서 설명하는 상기 영상 후처리 장치(30)의 기능을 수행할 수 있다.In addition, the image post-processing device 30 further includes a control unit that performs an overall control function of the image post-processing device 30, and the control unit controls the image detection unit and the visual effect application unit to be described in the present invention. function of the image post-processing device 30 to be performed.

또한, 상기 영상 후처리 장치(30)는 상기 효과 영상을 비롯한 각종 정보를 저장하는 저장부를 포함하여 구성될 수 있으며, 상기 저장부는 상기 제어부에 의해 제어될 수 있다.In addition, the image post-processing device 30 may include a storage unit for storing various types of information including the effect image, and the storage unit may be controlled by the control unit.

또한, 상기 영상 후처리 장치(30)는 카메라(20) 및 컨텐츠 제공 장치(40)를 비롯한 각종 장치와 통신하기 위한 통신부를 더 포함하여 구성될 수 있으며, 상기 통신부는 상기 제어부에 의해 제어될 수 있고, 상기 통신부는 상기 영상 후처리 장치(30)의 다른 구성부에 포함되어 구성될 수도 있다.In addition, the image post-processing device 30 may further include a communication unit for communicating with various devices including the camera 20 and the content providing device 40, and the communication unit may be controlled by the control unit. The communication unit may be included in other components of the image post-processing device 30.

또한, 상기 영상 후처리 장치(30)는 상기 촬영 영상에 복수의 장면이 포함된 경우 상기 복수의 장면과 각각 대응되는 장면별 복수의 효과 영상을 미리 설정된 장면 순서에 따라 상기 촬영 영상에서 식별된 복수의 크로마키 영역에 상술한 바와 같이 삽입할 수 있다.In addition, when the captured image includes a plurality of scenes, the image post-processing device 30 converts a plurality of effect images for each scene corresponding to the plurality of scenes to a plurality of effect images identified from the captured image according to a preset scene order. It can be inserted into the chroma key area of as described above.

여기서, 상기 영상 후처리 장치(30)는 상기 장면 순서를 상기 효과 영상에 포함된 시간 정보를 기초로 식별할 수 있다.Here, the image post-processing device 30 may identify the scene sequence based on time information included in the effect image.

상술한 구성을 통해, 상기 영상 후처리 장치(30)는 상기 촬영 영상에 미리 저장된 장면별 복수의 효과 영상을 삽입하여 공연을 촬영한 촬영 영상에 효과 영상 기반의 시각 효과를 추가한 공연 영상을 생성할 수 있다.Through the above configuration, the image post-processing device 30 inserts a plurality of effect images for each scene previously stored in the captured image to generate a performance image in which visual effects based on the effect image are added to the captured image of the performance. can do.

이에 더하여, 상기 영상 후처리 장치(30)에는 촬영 영상에 포함된 공연자에 해당하는 객체의 전면 부분에 적용되는 3차원의 장면별 전면 효과 영상이 미리 저장될 수 있으며, 상기 영상 후처리 장치(30)는 촬영 영상에 대응되는 복수의 크로마키 영역의 배치 상태와 카메라 시점을 기반으로 상기 전면 효과 영상의 배치 각도와 크기 중 적어도 하나를 재구성하여 상기 전면 효과 영상을 촬영 영상에 삽입하도록 동작하는 추가 동작 방식이 미리 설정될 수 있다.In addition, the image post-processing device 30 may store in advance a front effect image for each 3D scene applied to the front part of the object corresponding to the performer included in the captured image, and the image post-processing device 30 ) is an additional operation for inserting the front effect image into the captured image by reconstructing at least one of the arrangement angle and size of the front effect image based on the arrangement state of a plurality of chroma key regions corresponding to the captured image and the camera viewpoint. The method may be set in advance.

이에 따라, 상기 영상 후처리 장치(30)는 상기 복수의 촬영 영상 각각에 상기 추가 동작 방식에 따라 상기 전면 효과 영상을 삽입하여 상기 전면 효과 영상이 추가 삽입된 공연 영상을 복수의 촬영 영상별로 생성할 수 있다.Accordingly, the image post-processing device 30 inserts the front effect image into each of the plurality of captured images according to the additional operation method to generate a performance video in which the front effect image is additionally inserted for each of the plurality of captured images. can

또한, 상기 영상 후처리 장치(30)는 복수의 카메라(20)와 각각 대응되는 복수의 촬영 영상 각각에 대해 상술한 바와 같이 상기 공연 영상을 생성할 수 있으며, 상기 복수의 촬영 영상과 각각 대응되는 복수의 공연 영상을 생성할 수 있다.In addition, the image post-processing device 30 may generate the performance video as described above for each of a plurality of captured images corresponding to the plurality of cameras 20, and corresponding to the plurality of captured images, respectively. A plurality of performance images may be generated.

상술한 구성에서, 상기 영상 후처리 장치(30)는 촬영 영상에 음향이 포함되지 않은 경우 상기 공연 진행에 따른 음향 정보를 생성하는 별도의 음향 생성 장치와 통신 연결되어 상기 음향 생성 장치로부터 음향 정보를 수신할 수 있다.In the above configuration, the image post-processing device 30 is communicatively connected to a separate sound generating device that generates sound information according to the progress of the performance when the captured image does not include sound, and receives sound information from the sound generating device. can receive

또한, 상기 영상 후처리 장치(30)는 상기 음향 정보를 상기 촬영 영상 또는 상기 공연 영상에 동기화하여 삽입할 수 있으며, 이를 통해 복수의 공연 영상별로 음향 정보를 삽입할 수 있다.In addition, the image post-processing device 30 may synchronize and insert the sound information into the captured image or the performance image, and through this, insert the sound information for each of a plurality of performance images.

한편, 도 4에 도시된 바와 같이, 상기 영상 후처리 장치(30)는 상기 복수의 공연 영상을 컨텐츠 제공 장치(40)로 전송할 수 있다.Meanwhile, as shown in FIG. 4 , the video post-processing device 30 may transmit the plurality of performance videos to the content providing device 40 .

이때, 상기 컨텐츠 제공 장치(40)는 상기 영상 후처리 장치(30)와 통신망을 통해 상호 통신할 수 있다.At this time, the content providing device 40 may mutually communicate with the image post-processing device 30 through a communication network.

또한, 본 발명에서 설명하는 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.In addition, the communication network described in the present invention may include a wired / wireless communication network, and as an example of such a wireless communication network, a wireless LAN (WLAN), a DLNA (Digital Living Network Alliance), a WiBro (Wireless Broadband: Wibro), Wimax (World Interoperability for Microwave Access: Wimax), GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV-DO (Enhanced Voice-Data Optimized or Enhanced Voice- Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), IEEE 802.16, Long Term Evolution (LTE), LTE-A (Long Term Evolution- Advanced), Broadband Wireless Mobile Broadband Service (WMBS), 5G mobile communication service, Bluetooth, LoRa (Long Range), RFID (Radio Frequency Identification), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct and the like may be included. In addition, wired communication networks include wired local area network (LAN), wired wide area network (WAN), power line communication (PLC), USB communication, Ethernet, serial communication, optical/coaxial cables, etc. may be included.

한편, 상기 컨텐츠 제공 장치(40)는 상기 영상 후처리 장치(30)로부터 상기 복수의 공연 영상을 수신하면, 미리 설정된 하나 이상의 재생 구역별로 상기 복수의 공연 영상 중 재생 대상인 촬영 영상이 변경되도록 하기 위한 시점 전환 정보 및 상기 복수의 공연 영상이 포함된 공연 컨텐츠를 생성할 수 있다.On the other hand, when the content providing device 40 receives the plurality of performance videos from the video post-processing device 30, the captured video to be reproduced among the plurality of performance videos is changed for each of one or more preset play areas. Performance content including viewpoint change information and the plurality of performance images may be generated.

이때, 상기 시점 전환 정보는 상기 재생 구역별로 재생 시간(또는 재생 시간 범위)에 대한 재생 구간 정보 및 상기 재생 구간 정보에 대응되는 카메라 시점 정보가 설정될 수 있으며, 상기 공연 영상은 상기 촬영 영상에 포함된 각종 속성별 파라미터를 동일하게 포함할 수 있고, 이러한 속성별 파라미터의 일례로서 카메라 시점에 대한 정보가 상기 공연 영상에 포함될 수 있다.In this case, the viewpoint switching information may include playback section information for playback time (or playback time range) for each playback area and camera view information corresponding to the playback section information, and the performance video is included in the captured video. Parameters for each attribute may be equally included, and as an example of such parameters for each attribute, information on a camera viewpoint may be included in the performance video.

이에 따라, 상기 컨텐츠 제공 장치(40)는 통신망을 통해 사용자 단말과 통신할 수 있으며, 사용자 단말로 상기 공연 컨텐츠를 전송하여 상기 공연 컨텐츠가 재생되도록 할 수 있으며, 상기 공연 컨텐츠를 통해 상기 복수의 공연 영상 중 사용자가 선택한 카메라 시점 또는 관람 시점에 대응되는 공연 영상으로 사용자 단말을 통해 시청 가능하도록 제공할 수 있다.Accordingly, the content providing device 40 may communicate with a user terminal through a communication network, transmit the performance content to the user terminal, and play the performance content, and the plurality of performances through the performance content. Among the images, a performance video corresponding to a camera viewpoint or viewing viewpoint selected by a user may be provided to be viewed through a user terminal.

이때, 상기 컨텐츠 제공 장치(40)는 5G 통신망을 통해 상기 공연 컨텐츠를 실시간 스트리밍 방식으로 고속 전송할 수도 있다.At this time, the content providing device 40 may transmit the performance content at high speed in a real-time streaming method through a 5G communication network.

또한, 도 5에 도시된 바와 같이, 상기 컨텐츠 제공 장치(40)는 상기 사용자 단말에서 상기 공연 컨텐츠의 재생 중 사용자 입력에 따라 카메라 시점 또는 관람 시점의 선택을 입력받아 사용자 입력에 따라 선택된 카메라 시점 또는 관람 시점에 대응되는 공연 영상으로 변경하는 사용자 인터페이스를 포함하는 공연 컨텐츠를 생성하여 제공할 수 있으며, 상기 사용자 단말에서 상기 공연 컨텐츠 재생시 상기 사용자 인터페이스가 활성화되도록 상기 공연 컨텐츠를 생성할 수 있다.In addition, as shown in FIG. 5 , the content providing device 40 receives a selection of a camera viewpoint or viewing viewpoint according to a user input while the performance content is being reproduced at the user terminal, and the selected camera viewpoint or viewing viewpoint is selected according to the user input. Performance content including a user interface that changes to a performance video corresponding to a viewing point may be created and provided, and the performance content may be generated so that the user interface is activated when the performance content is played in the user terminal.

이때, 복수의 공연 영상과 각각 대응되는 복수의 카메라 시점 각각이 관람 시점으로서 상기 사용자 인터페이스에 설정될 수 있으며, 이에 따라 상기 사용자 인터페이스는 서로 다른 복수의 관람 시점 중 사용자가 원하는 관람 시점에 대응되는 공연 영상으로 공연 컨텐츠를 시청할 수 있도록 제공할 수 있다.In this case, each of a plurality of camera viewpoints corresponding to a plurality of performance images may be set in the user interface as a viewing viewpoint, and accordingly, the user interface displays a performance corresponding to a viewing viewpoint desired by a user among a plurality of different viewing viewpoints. It may be provided so that the performance content can be viewed as a video.

또한, 상기 컨텐츠 제공 장치(40)는 상기 공연 컨텐츠를 상기 사용자 단말에서 재생할 때 상기 공연 컨텐츠에 포함된 시점 전환 정보가 상기 사용자 단말에서 자동 실행되도록 하여 상기 시점 전환 정보에 따른 특정 재생 구역의 시작 시점까지 재생된 경우 상기 공연 컨텐츠에 포함된 복수의 공연 영상 중 상기 특정 재생 구역에 대응되어 상기 시점 전환 정보에 설정된 카메라 시점(일례로, 제 1 카메라 시점)에 대응되는 공연 영상으로 재생 대상인 영상이 자동 변경되도록 할 수 있으며, 상기 특정 재생 구역의 다음에 해당하는 다음 재생 구역의 시작 시점에 재생 시간이 도달한 경우 상기 특정 재생 구역에 대응되는 공연 영상의 재생을 중단하고 상기 다음 재생 구역에 대응되어 상기 시점 전환 정보에 설정된 카메라 시점(일례로, 제 2 카메라 시점)에 대응되는 공연 영상으로 재생 대상 영상을 전환하여 상기 다음 재생 구역에 대응되는 공연 영상이 재생되어 표시되도록 할 수 있다.In addition, when the performance content is reproduced in the user terminal, the content providing device 40 automatically executes the viewpoint switching information included in the performance content in the user terminal, so that the start time of a specific play area according to the viewpoint switching information is displayed. When the performance video is reproduced up to , the performance video corresponding to the camera viewpoint (for example, the first camera viewpoint) set in the viewpoint switching information corresponding to the specific play area among the plurality of performance videos included in the performance content automatically becomes a target image for playback. When the playback time reaches the start point of the next playback area that is next to the specific playback area, playback of the performance video corresponding to the specific playback area is stopped and the playback of the performance video corresponding to the next playback area is The performance video corresponding to the next play area may be reproduced and displayed by switching the playback target video to a performance video corresponding to a camera viewpoint (for example, a second camera viewpoint) set in the viewpoint switching information.

즉, 상기 컨텐츠 제공 장치(40)는 사용자 단말에서 공연 컨텐츠 재생시 복수의 카메라 시점(복수의 관람 시점)과 각각 대응되는 복수의 공연 영상을 장면 전환시마다 카메라 시점을 변경하여 변경된 카메라 시점에 대응되는 공연 영상으로 전환하여 재생되도록 공연 컨텐츠를 생성할 수 있으며, 이를 통해 공연의 극적 효과를 높일 수 있을 뿐만 아니라 다양한 관람 시점으로 공연 영상을 제공할 수 있어 실제 공연장에서 관람하는 경험과 유사한 경험이 제공되도록 지원할 수 있다.That is, the content providing device 40 changes the camera viewpoint of a plurality of performance images corresponding to a plurality of camera viewpoints (a plurality of viewing viewpoints) each time the scene is changed when performing performance content is reproduced in the user terminal, thereby corresponding to the changed camera viewpoint. Performance content can be created to be played back by converting it into a performance video, and through this, not only can the dramatic effect of the performance be enhanced, but also the performance video can be provided from various viewpoints to provide an experience similar to that of viewing in an actual performance hall. can support

또한, 상기 컨텐츠 제공 장치(40)는 공연을 촬영한 촬영 영상에 효과 영상 기반의 시각 효과를 상호 단차를 가지도록 배치되어 파노라마 형태로 구성된 복수의 크로마키 영역에 맞추어 무대에서 공연하는 공연자를 감싸도록 삽입한 공연 영상을 생성하여 실재 공연 관람시 공연자와 배경 사이의 3차원 공간을 공연 영상을 통해 구현하여 실재 공연 관람시 경험하는 3차원 공간과 유사한 3차원 경험을 공연 컨텐츠의 시청만으로 경험할 수 있도록 제공할 수 있으며, 3차원 효과 제공을 위한 별도의 장치 도움 없이도 공연 컨텐츠만으로 실재 공연과 유사한 3차원 공간감을 제공할 수 있다.In addition, the content providing device 40 arranges visual effects based on effect images on the photographed video of the performance to have a mutual step so as to surround performers performing on stage according to a plurality of chroma key regions configured in a panoramic form. By creating an inserted performance video and implementing a 3D space between the performer and the background through the performance video when watching a real performance, a 3D experience similar to the 3D space experienced when watching a real performance can be experienced only by watching the performance content It is possible to provide a 3D sense of space similar to an actual performance only with performance contents without the help of a separate device for providing a 3D effect.

상술한 바와 같이, 본 발명은 무대에 배치되는 복수의 크로마키 배경판(10)을 촬영한 촬영 영상에서 상기 복수의 크로마키 배경판(10)과 각각 대응되는 복수의 크로마키 영역 각각에 VFX 기반의 효과 영상을 삽입하여 효과 영상이 삽입된 촬영 영상을 기반으로 공연 영상을 생성한 후 공연 컨텐츠로 제공함으로써 실재 공연에서 공연자의 배경으로 제공되는 효과 영상을 직접 촬영하는 경우에 발생하는 효과 영상의 화질 저하 문제를 해결하여 생동감 있는 시각 효과를 제공할 수 있을 뿐만 아니라 상호 단차를 가지면서 적어도 일부가 겹치도록 파노라마 형태로 배치한 상기 복수의 크로마키 배경판(10)을 촬영하여 생성된 촬영 영상에서 복수의 크로마키 배경판(10)과 대응되는 복수의 크로마키 영역이 상기 단차와 일부 겹침에 따른 파노라마 형태에 따라 3차원으로 구현되도록 지원하고 이러한 복수의 크로마키 영역에 공연자의 배경에 해당하는 효과 영상을 삽입하여 공연자를 둘러싼 효과 영상 기반의 배경과 공연자가 3차원 공간감을 가지도록 생성된 공연 컨텐츠를 사용자에게 제공할 수 있어, 사용자에게 실재 공연장에서 관람하는 3차원적인 경험과 유사한 사용자 경험을 제공하여 컨텐츠로 공연을 시청하는 사용자의 만족도를 크게 높일 수 있다.As described above, the present invention is based on VFX for each of a plurality of chroma key regions respectively corresponding to the plurality of chroma key background plates 10 in a photographed image of a plurality of chroma key background plates 10 disposed on the stage. The quality of the effect video that occurs when the effect video provided as the background of the performer in a real performance is directly filmed by inserting the effect video of the performance video based on the shot video with the effect video inserted and providing it as performance content. In addition to providing a lively visual effect by solving the degradation problem, a plurality of chroma key background plates 10 are photographed and arranged in a panoramic form so that at least some of them overlap with each other while having mutual steps. Supports that a plurality of chroma key areas corresponding to the chroma key background plate 10 of 3D be implemented according to the panoramic shape according to the level difference and partial overlap, and effect image corresponding to the performer's background in these plurality of chroma key areas It is possible to provide the user with the performance content created so that the background based on the effect image surrounding the performer and the performer have a three-dimensional sense of space by inserting the Content can greatly increase the satisfaction of users who watch performances.

또한, 본 발명은 서로 다른 복수의 관람 시점과 각각 대응되는 복수의 서로 다른 카메라 시점에서 촬영한 촬영 영상 각각에 대해 공연 영상이 생성되도록 하여 사용자가 원하는 관람 시점을 변경하면서 공연을 관람할 수 있도록 지원할 수 있을 뿐만 아니라, 단차를 가지면서 파노라마 형태로 배치된 크로마키 영역에 의해 상기 공연 영상에 대한 3차원의 입체적 효과를 배가시킬 수 있다.In addition, the present invention generates a performance video for each of the captured images taken from a plurality of different camera viewpoints corresponding to a plurality of different viewing viewpoints, so that the user can support the performance while changing the desired viewing viewpoint. In addition, the three-dimensional effect of the performance image can be doubled by the chroma key area arranged in a panoramic form with a step difference.

또한, 본 발명은 사용자가 단말을 통해 공연 컨텐츠를 재생하여 시점을 변경하면서 공연에 대한 3차원 시청이 가능하도록 제공할 수 있어, 실제 공연과 유사한 생동감 및 현장감을 제공할 수 있다.In addition, according to the present invention, it is possible to provide a user with a 3D view of a performance while changing a viewpoint by reproducing performance contents through a terminal, thereby providing liveliness and realism similar to an actual performance.

발명의 실시예들에서 설명된 구성요소는, 예를 들어, 메모리 등의 저장부, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서 등의 하드웨어, 명령어 세트를 포함하는 소프트웨어 내지 이들의 조합 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. The components described in the embodiments of the invention may include, for example, a storage unit such as a memory, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) ), a programmable logic unit (PLU), a microprocessor, software containing an instruction set, or any combination thereof, or any other device capable of executing and responding to instructions, such as one or more general-purpose computers or special purpose computers. It can be implemented using a computer.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing may be modified and modified by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

10: 크로마키 배경판 20: 카메라
30: 영상 후처리 장치 40: 컨텐츠 제공 장치
10: Chroma key background plate 20: Camera
30: image post-processing device 40: content providing device

Claims (5)

공연장의 무대에 설치되어 상호 간 단차를 가지면서 적어도 일부가 겹치도록 배치되는 복수의 크로마키 배경판;
상기 복수의 크로마키 배경판이 모두 적어도 일부가 겹친 상태를 유지하는 각도에서 상기 무대에서 진행되는 공연을 촬영하도록 구성되며 서로 다른 복수의 카메라 시점과 각각 대응되는 복수의 카메라;
상기 복수의 카메라로부터 수신한 복수의 촬영 영상 각각에 대해, 상기 촬영 영상에 대응되는 카메라 시점과 영상 내에서 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역을 식별하고, 효과 영상에 대응되는 촬영 영상에 대해 식별된 카메라 시점에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 상기 복수의 크로마키 영역 중 상기 효과 영상에 대응되는 크로마키 영역에 삽입하도록 동작 방식이 미리 설정되어, 상기 동작 방식에 따라 장면별로 미리 저장된 복수의 효과 영상을 상기 촬영 영상에서 식별된 복수의 크로마키 영역에 삽입하여 공연 영상을 생성하고, 상기 복수의 촬영 영상과 각각 대응되는 복수의 공연 영상을 생성하는 영상 후처리 장치; 및
상기 영상 후처리 장치로부터 상기 복수의 공연 영상을 수신하고, 미리 설정된 하나 이상의 재생 구역별로 상기 복수의 공연 영상 중 재생 대상인 공연 영상이 변경되도록 하기 위한 시점 전환 정보 및 상기 복수의 공연 영상이 포함된 공연 컨텐츠를 생성하여 제공하는 콘텐츠 제공 장치
를 포함하며,
상기 영상 후처리 장치는,
상기 촬영 영상에 대해 상기 촬영 영상의 카메라 시점에서 관찰되는 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역을 구분하기 위한 영상 검출부; 및
구분된 크로마키 영역을 기준으로 복수의 크로마키 영역 사이의 겹쳐진 상태 및 복수의 단차를 식별하고, 상기 복수의 효과 영상별로 복수의 크로마키 영역 중 대응되는 크로마키 영역 삽입시 효과 영상에 대응되는 크로마키 영역에 인접한 하나 이상의 타 크로마키 영역과 상기 효과 영상에 대응되는 크로마키 영역 사이의 겹쳐진 상태에 따른 각도와 단차에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 대응되는 크로마키 영역에 적용하는 시각 효과 적용부
를 포함하는 것을 특징으로 하는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템.
A plurality of chroma-key background plates installed on the stage of a performance hall and arranged to overlap at least a portion of each other while having a step difference between them;
a plurality of cameras configured to photograph a performance on the stage at an angle at which at least a portion of all of the plurality of chroma-key background plates overlaps, and corresponding to a plurality of camera viewpoints different from each other;
For each of the plurality of captured images received from the plurality of cameras, a camera viewpoint corresponding to the captured image and a plurality of chroma key regions respectively corresponding to a plurality of chroma key background plates within the image are identified, and corresponding to the effect image An operation method is preset to insert the converted effect image into a chroma key region corresponding to the effect image among the plurality of chroma key regions after converting the effect image according to the camera viewpoint identified for the captured image, According to the operating method, a plurality of effect images stored in advance for each scene are inserted into a plurality of chroma key regions identified in the captured images to generate a performance image, and a plurality of performance images corresponding to the plurality of captured images are generated. image post-processing device; and
The plurality of performance videos are received from the video post-processing device, and viewpoint switching information for changing a performance video to be reproduced among the plurality of performance videos for each of one or more preset playback zones and a performance including the plurality of performance videos A content providing device that generates and provides content
Including,
The image post-processing device,
an image detection unit for distinguishing between a plurality of chroma key regions respectively corresponding to a plurality of chroma key background plates observed from a camera viewpoint of the captured image; and
An overlapping state and a plurality of steps between a plurality of chroma key areas are identified based on the divided chroma key areas, and a chroma corresponding to the effect image when a corresponding chroma key area is inserted among a plurality of chroma key areas for each of the plurality of effect images. After converting the effect image according to the angle and step according to the overlapping state between one or more other chroma-key regions adjacent to the marquee region and the chroma-key region corresponding to the effect image, the converted effect image is displayed in the corresponding chroma-key region. Applied visual effect section
A performance content production system supporting visual effects, comprising:
삭제delete 청구항 1에 있어서,
상기 복수의 카메라는 적어도 10개 이상인 것을 특징으로 하는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템.
The method of claim 1,
The performance content production system supporting visual effects, characterized in that the plurality of cameras is at least 10 or more.
청구항 1에 있어서,
상기 영상 후처리 장치는 촬영 영상에 포함된 공연자에 해당하는 객체의 전면 부분에 적용되는 3차원의 장면별 전면 효과 영상이 미리 저장되며, 상기 촬영 영상에 대응되는 복수의 크로마키 영역의 배치 상태와 카메라 시점을 기반으로 상기 전면 효과 영상의 배치 각도와 크기 중 적어도 하나를 재구성하여 상기 전면 효과 영상을 상기 촬영 영상에 삽입하도록 동작하는 추가 동작 방식이 미리 설정되어, 상기 복수의 촬영 영상 각각에 상기 추가 동작 방식에 따라 상기 전면 효과 영상을 삽입하여 상기 전면 효과 영상이 추가 삽입된 상기 공연 영상을 복수의 촬영 영상별로 생성하는 것을 특징으로 하는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템.
The method of claim 1,
In the image post-processing device, a three-dimensional scene-specific front effect image applied to the front part of an object corresponding to a performer included in a captured image is stored in advance, and an arrangement state of a plurality of chroma key regions corresponding to the captured image An additional operation method for inserting the foreground effect image into the captured image by reconstructing at least one of the arrangement angle and size of the foreground effect image based on the camera viewpoint is set in advance, The performance content production system supporting visual effects, characterized in that the performance video into which the front effect video is additionally inserted is generated for each of a plurality of captured images by inserting the front effect video according to an operating method.
청구항 1에 있어서,
상기 시점 전환 정보는 상기 재생 구역별로 재생 구간 정보 및 상기 재생 구간 정보에 대응되는 카메라 시점 정보가 설정된 것을 특징으로 하는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템.
The method of claim 1,
The performance contents production system that supports visual effects, characterized in that the viewpoint switching information includes reproduction section information for each reproduction region and camera viewpoint information corresponding to the reproduction region information.
KR1020200162001A 2020-11-27 2020-11-27 System for creating performance content having visual effect KR102484276B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200162001A KR102484276B1 (en) 2020-11-27 2020-11-27 System for creating performance content having visual effect

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200162001A KR102484276B1 (en) 2020-11-27 2020-11-27 System for creating performance content having visual effect

Publications (2)

Publication Number Publication Date
KR20220073990A KR20220073990A (en) 2022-06-03
KR102484276B1 true KR102484276B1 (en) 2023-01-04

Family

ID=81983313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200162001A KR102484276B1 (en) 2020-11-27 2020-11-27 System for creating performance content having visual effect

Country Status (1)

Country Link
KR (1) KR102484276B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040013452A (en) 2002-08-06 2004-02-14 엘지전자 주식회사 Offering system for fitting performance live album
KR20150105069A (en) * 2014-03-07 2015-09-16 장순철 Cube effect method of 2d image for mixed reality type virtual performance system
KR20150105058A (en) * 2014-03-07 2015-09-16 이모션웨이브 주식회사 Mixed reality type virtual performance system using online
KR20160021706A (en) * 2015-02-03 2016-02-26 정관호 Playing method and the system of 360 degree spacial video

Also Published As

Publication number Publication date
KR20220073990A (en) 2022-06-03

Similar Documents

Publication Publication Date Title
US10063822B2 (en) Tri-surface image projection system and method
CN110460792B (en) Reproducing method and reproducing apparatus
JP5851625B2 (en) Stereoscopic video processing apparatus, stereoscopic video processing method, and stereoscopic video processing program
EP2926626B1 (en) Method for creating ambience lighting effect based on data derived from stage performance
KR101530826B1 (en) Playing method and the system of 360 degree spacial video
US20110304735A1 (en) Method for Producing a Live Interactive Visual Immersion Entertainment Show
KR20160021706A (en) Playing method and the system of 360 degree spacial video
US10937462B2 (en) Using sharding to generate virtual reality content
KR102484276B1 (en) System for creating performance content having visual effect
KR101430985B1 (en) System and Method on Providing Multi-Dimensional Content
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
KR101373631B1 (en) System for composing images by real time and method thereof
TWI826400B (en) Information processing device, information processing method, recording medium, reproduction device, reproduction method, and program
Svanberg The EDCF guide to digital cinema production
RU136663U1 (en) REMOTE VIEWING SYSTEM OR SIMILAR VIEW
CN111158206A (en) Interactive panoramic cinema
KR20150072657A (en) Method of producing and implementing for dynamic cinema
Hasche et al. Creating high-resolution 360-degree single-line 25K video content for modern conference rooms using film compositing techniques
Schreer et al. Media production, delivery and interaction for platform independent systems: format-agnostic media
KR20140104121A (en) System, Method and File on Providing Multi-Dimensional Content
US9715900B2 (en) Methods, circuits, devices, systems and associated computer executable code for composing composite content
KR101613778B1 (en) Service system and service method for live music dedio
KR102424113B1 (en) Image Processing Apparatus for Smart Theater and Driving Method Thereof
KR102599664B1 (en) System operating method for transfering multiview video and system of thereof
Cha et al. 3D Filmmaking for User-Selective UHD Stereoscopic Media System: A Case Study on the Film The Old, the New and the Other