KR102484276B1 - System for creating performance content having visual effect - Google Patents
System for creating performance content having visual effect Download PDFInfo
- Publication number
- KR102484276B1 KR102484276B1 KR1020200162001A KR20200162001A KR102484276B1 KR 102484276 B1 KR102484276 B1 KR 102484276B1 KR 1020200162001 A KR1020200162001 A KR 1020200162001A KR 20200162001 A KR20200162001 A KR 20200162001A KR 102484276 B1 KR102484276 B1 KR 102484276B1
- Authority
- KR
- South Korea
- Prior art keywords
- performance
- image
- chroma key
- chroma
- effect
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 31
- 238000004519 manufacturing process Methods 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims description 84
- 238000012805 post-processing Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 5
- 238000011017 operating method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 18
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 시각 효과를 지원하는 공연 컨텐츠 제작 시스템에 관한 것으로서, 더욱 상세히는 복수의 레벨로 설치된 크로마키를 배경으로 복수의 카메라를 통해 복수 지점에서 공연을 촬영한 다음 크로마키 영역에 대한 시각 효과 추가를 위한 영상 합성을 수행하여 공연 영상을 생성한 후 이를 통신망을 통해서 사용자 단말에 다시점 선택 시청이 가능한 공연 컨텐츠로 제공할 수 있는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템에 관한 것이다. 본 발명은 사용자에게 실재 공연장에서 관람시 느낄 수 있는 생동감 및 현장감에 대한 경험과 유사한 사용자 경험을 제공하여 컨텐츠로 공연을 시청하는 사용자의 만족도를 크게 높일 수 있다.The present invention relates to a performance content production system supporting visual effects, and more particularly, a performance is photographed at a plurality of points through a plurality of cameras against a background of a chroma key installed at a plurality of levels, and then visual effects for the chroma key region are added. The present invention relates to a performance content production system that supports visual effects capable of generating a performance video by performing video synthesis for a performance and then providing the result as performance content that can be selectively viewed from multiple viewpoints to a user terminal through a communication network. The present invention provides users with a user experience similar to the experience of liveliness and realism that can be felt when watching a performance in an actual performance hall, thereby greatly increasing the satisfaction of users watching performances with contents.
Description
본 발명은 시각 효과를 지원하는 공연 컨텐츠 제작 시스템에 관한 것으로서, 더욱 상세히는 복수의 레벨로 설치된 크로마키를 배경으로 복수의 카메라를 통해 복수 지점에서 공연을 촬영한 다음 크로마키 영역에 대한 시각 효과 추가를 위한 영상 합성을 수행하여 공연 영상을 생성한 후 이를 통신망을 통해서 사용자 단말에 다시점 선택 시청이 가능한 공연 컨텐츠로 제공할 수 있는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템에 관한 것이다.The present invention relates to a performance content production system supporting visual effects, and more particularly, a performance is photographed at a plurality of points through a plurality of cameras against a background of a chroma key installed at a plurality of levels, and then visual effects for the chroma key region are added. The present invention relates to a performance content production system that supports visual effects capable of generating a performance video by performing video synthesis for a performance and then providing the result as performance content that can be selectively viewed from multiple viewpoints to a user terminal through a communication network.
최근 연극, 뮤지컬, 오페라, 콘서트 등과 같은 다양한 공연을 관람하려는 사용자들이 증가하고 있으나, 이러한 공연 관람을 위해서는 직접 공연장을 방문해야 하므로 공연장에 방문이 힘든 사용자들은 공연을 쉽게 접하기 어려운 문제가 있다.Recently, the number of users who want to watch various performances such as plays, musicals, operas, concerts, etc. is increasing. However, since they have to visit the concert halls to watch these performances, it is difficult for users who have difficulty visiting the concert halls to easily access the performances.
이에 더해, 최근 다양한 전염병 발생으로 인해 공연장 방문이 점점 더 어려워지고 있으며, 이에 따라 공연 개최가 어려운 공연 업체에서는 관람객이 없는 상태에서 진행되는 공연을 촬영하여 생성한 컨텐츠를 서비스함으로써 이러한 어려움을 타개하고 있다.In addition, it is becoming more and more difficult to visit concert halls due to the recent outbreak of various infectious diseases, and accordingly, performing arts companies that have difficulty holding performances are overcoming these difficulties by providing content created by filming performances in the absence of spectators. .
그러나, 기존의 방식으로 공연을 촬영하여 생성된 컨텐츠는 고정된 시점에서 촬영된 2차원 평면 영상의 한계를 벗어나지 못하므로, 실제 공연장에서 제공되는 3차원적인 생동감을 제공하기 어려울 뿐만 아니라 고정 시점에서만 공연 영상이 제공되어 다른 시점이나 실제 관람 시점에서 얻어지는 공연 경험을 전혀 제공하지 못하는 문제가 있다.However, since the content created by filming a performance in the conventional way cannot escape the limitations of a 2D flat image filmed at a fixed point of view, it is difficult to provide the 3D liveliness provided in an actual performance hall, and performances are performed only at a fixed point of view. There is a problem in that a performance experience obtained from a different point of view or an actual viewing point cannot be provided because the image is provided.
이에 더하여 최근 실재 공연에서는 스크린을 배치하고 스크린을 통해 영상을 재생함으로써 다양한 시각효과를 제공하여 공연의 현실감을 더욱 향상시키고 있으나, 이러한 스크린에서 재생되는 영상을 카메라를 통해 다시 촬영하게 되면 화질 저하가 발생할 뿐만 아니라 실제 공연장에서의 상기 스크린을 이용한 시각 효과에 대한 생동감이 컨텐츠를 통해서는 크게 저하되는 문제가 있다.In addition, in recent real performances, screens are arranged and images are played through the screen to provide various visual effects to further improve the realism of the performance. In addition, there is a problem in that the liveliness of the visual effect using the screen in the actual performance hall is greatly reduced through the content.
본 발명은 공연장에 복수의 크로마키 배경판을 단차를 가지도록 겹쳐서 배치하고, 상기 크로마키 배경판을 배경으로 진행되는 공연을 서로 다른 복수의 시점과 각각 대응되는 복수의 카메라를 통해 촬영하여 하나의 공연에 대해 복수 시점의 공연 영상을 생성한 후 장면별 효과 영상을 공연 영상 내 크로마키 배경판에 대응되는 크로마키 영역별로 삽입하여 시점 전환이 가능한 공연 컨텐츠를 생성하여 제공함으로써, 사용자가 단말을 통해 시점을 변경하면서 공연에 대한 3차원 시청이 가능하도록 제공하여 실제 공연과 유사한 생동감 및 현장감을 제공할 수 있는 공연 컨텐츠를 제작할 수 있도록 지원하는데 그 목적이 있다.In the present invention, a plurality of chroma key background plates are overlapped and arranged in a stepped manner in a performance hall, and a performance performed against the background of the chroma key background plate is photographed through a plurality of different viewpoints and a plurality of cameras corresponding to each other, thereby creating a single After creating performance videos from multiple viewpoints for the performance, effect images for each scene are inserted for each chroma key area corresponding to the chroma key background plate in the performance video to create and provide performance contents that can switch viewpoints, allowing the user to use the terminal through the terminal. Its purpose is to support production of performance contents that can provide liveliness and realism similar to actual performances by providing a 3D view of the performance while changing the viewpoint.
본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템은, 공연장의 무대에 설치되어 상호 간 단차를 가지면서 적어도 일부가 겹치도록 배치되는 복수의 크로마키 배경판과, 상기 복수의 크로마키 배경판이 모두 적어도 일부가 겹친 상태를 유지하는 각도에서 상기 무대에서 진행되는 공연을 촬영하도록 구성되며 서로 다른 복수의 카메라 시점과 각각 대응되는 복수의 카메라와, 상기 복수의 카메라로부터 수신한 복수의 촬영 영상 각각에 대해, 상기 촬영 영상에 대응되는 카메라 시점과 영상 내에서 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역을 식별하고, 효과 영상에 대응되는 촬영 영상에 대해 식별된 카메라 시점에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 상기 복수의 크로마키 영역 중 상기 효과 영상에 대응되는 크로마키 영역에 삽입하도록 동작 방식이 미리 설정되어, 상기 동작 방식에 따라 장면별로 미리 저장된 복수의 효과 영상을 상기 촬영 영상에서 식별된 복수의 크로마키 영역에 삽입하여 공연 영상을 생성하고, 상기 복수의 촬영 영상과 각각 대응되는 복수의 공연 영상을 생성하는 영상 후처리 장치 및 상기 영상 후처리 장치로부터 상기 복수의 공연 영상을 수신하고, 미리 설정된 하나 이상의 재생 구역별로 상기 복수의 공연 영상 중 재생 대상인 공연 영상이 변경되도록 하기 위한 시점 전환 정보 및 상기 복수의 공연 영상이 포함된 공연 컨텐츠를 생성하여 제공하는 콘텐츠 제공 장치를 포함할 수 있다.A performance content production system supporting visual effects according to an embodiment of the present invention includes a plurality of chroma key background plates installed on the stage of a performance hall and disposed so that at least a part of them overlaps with a step difference between them, and the plurality of chroma key background plates. A plurality of cameras configured to photograph the performance on the stage at an angle at which all of the background plates are at least partially overlapped, and a plurality of cameras corresponding to different viewpoints of the plurality of cameras, and a plurality of captured images received from the plurality of cameras For each, a camera viewpoint corresponding to the captured image and a plurality of chroma key regions respectively corresponding to a plurality of chroma key background plates within the image are identified, and matched to the camera viewpoint identified for the captured image corresponding to the effect video. After converting the effect image, an operation method is set in advance to insert the converted effect image into a chroma key region corresponding to the effect image among the plurality of chroma key regions, A video post-processing device that generates a performance video by inserting an effect video into a plurality of chroma key regions identified in the captured video, and generates a plurality of performance videos corresponding to the plurality of captured videos, and the video post-processing device Receiving the plurality of performance videos, generating and providing view switching information for changing a performance video to be reproduced among the plurality of performance videos for each of one or more preset playback zones and performance content including the plurality of performance videos A content providing device may be included.
본 발명과 관련된 일 예로서, 상기 영상 후처리 장치는, 상기 촬영 영상에 대해 상기 촬영 영상의 카메라 시점에서 관찰되는 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역을 구분하기 위한 영상 검출부 및 구분된 크로마키 영역을 기준으로 복수의 크로마키 영역 사이의 겹쳐진 상태 및 복수의 단차를 식별하고, 상기 복수의 효과 영상별로 복수의 크로마키 영역 중 대응되는 크로마키 영역 삽입시 효과 영상에 대응되는 크로마키 영역에 인접한 하나 이상의 타 크로마키 영역과 상기 효과 영상에 대응되는 크로마키 영역 사이의 겹쳐진 상태에 따른 각도와 단차에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 대응되는 크로마키 영역에 적용하는 시각 효과 적용부를 포함할 수 있다.As an example related to the present invention, the image post-processing device may include an image detection unit for distinguishing a plurality of chroma key regions corresponding to a plurality of chroma key background plates observed from a camera viewpoint of the captured image in the captured image. and identifying an overlapping state and a plurality of steps between a plurality of chroma key regions based on the divided chroma key regions, and corresponding to an effect image when a corresponding chroma key region is inserted among a plurality of chroma key regions for each of the plurality of effect images. After converting the effect image according to the angle and step according to the overlapped state between one or more other chroma-key regions adjacent to the chroma-key region and the chroma-key region corresponding to the effect image, the converted effect image is displayed in the corresponding chroma-key region. It may include a visual effect application unit applied to.
본 발명과 관련된 일 예로서, 상기 복수의 카메라는 적어도 10개 이상인 것을 특징으로 할 수 있다.As an example related to the present invention, the plurality of cameras may be at least 10 or more.
본 발명과 관련된 일 예로서, 상기 영상 후처리 장치는 촬영 영상에 포함된 공연자에 해당하는 객체의 전면 부분에 적용되는 3차원의 장면별 전면 효과 영상이 미리 저장되며, 상기 촬영 영상에 대응되는 복수의 크로마키 영역의 배치 상태와 카메라 시점을 기반으로 상기 전면 효과 영상의 배치 각도와 크기 중 적어도 하나를 재구성하여 상기 전면 효과 영상을 상기 촬영 영상에 삽입하도록 동작하는 추가 동작 방식이 미리 설정되어, 상기 복수의 촬영 영상 각각에 상기 추가 동작 방식에 따라 상기 전면 효과 영상을 삽입하여 상기 전면 효과 영상이 추가 삽입된 상기 공연 영상을 복수의 촬영 영상별로 생성하는 것을 특징으로 할 수 있다.As an example related to the present invention, the image post-processing device stores in advance a front effect image for each 3D scene applied to the front part of an object corresponding to a performer included in the captured image, and a plurality of corresponding to the captured image. An additional operation method for inserting the foreground effect image into the photographed image by reconstructing at least one of the arrangement angle and size of the foreground effect image based on the arrangement state of the chroma key region and the camera viewpoint is set in advance, The performance video into which the front effect video is additionally inserted may be generated for each of the plurality of captured images by inserting the front effect image into each of the plurality of captured images according to the additional operation method.
본 발명과 관련된 일 예로서, 상기 시점 전환 정보는 상기 재생 구역별로 재생 구간 정보 및 상기 재생 구간 정보에 대응되는 카메라 시점 정보가 설정된 것을 특징으로 할 수 있다.As an example related to the present invention, the viewpoint change information may be characterized in that reproduction section information and camera viewpoint information corresponding to the reproduction section information are set for each reproduction area.
본 발명은 무대에 배치되는 복수의 크로마키 배경판을 촬영한 촬영 영상에서 상기 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역 각각에 VFX 기반의 효과 영상을 삽입하여 효과 영상이 삽입된 촬영 영상을 기반으로 공연 영상을 생성한 후 공연 컨텐츠로 제공함으로써 실재 공연에서 공연자의 배경으로 제공되는 효과 영상을 직접 촬영하는 경우에 발생하는 효과 영상의 화질 저하 문제를 해결하여 생동감 있는 시각 효과를 제공할 수 있을 뿐만 아니라 상호 단차를 가지면서 적어도 일부가 겹치도록 파노라마 형태로 배치한 상기 복수의 크로마키 배경판을 촬영하여 생성된 촬영 영상에서 복수의 크로마키 배경판과 대응되는 복수의 크로마키 영역이 상기 단차와 일부 겹침에 따른 파노라마 형태에 따라 3차원으로 구현되도록 지원하고 이러한 복수의 크로마키 영역에 공연자의 배경에 해당하는 효과 영상을 삽입하여 공연자를 둘러싼 효과 영상 기반의 배경과 공연자가 3차원 공간감을 가지도록 생성된 공연 컨텐츠를 사용자에게 제공할 수 있어, 사용자에게 실재 공연장에서 관람시 느낄 수 있는 생동감 및 현장감에 대한 경험과 유사한 사용자 경험을 제공하여 컨텐츠로 공연을 시청하는 사용자의 만족도를 크게 높일 수 있다.In the present invention, a VFX-based effect image is inserted into each of a plurality of chroma key regions corresponding to the plurality of chroma key background plates in a photographed image of a plurality of chroma key background plates disposed on the stage, and the effect image is inserted By generating a performance video based on the filmed video and providing it as performance content, it provides lively visual effects by solving the problem of deterioration in the quality of the effect video that occurs when the effect video provided as the background of the performer is directly filmed in a real performance. In addition, a plurality of chroma key regions corresponding to a plurality of chroma key background plates are generated by photographing the plurality of chroma key background plates arranged in a panoramic form so that at least some of them overlap with each other while having mutual steps. It is supported to be implemented in 3D according to the panoramic shape according to the step difference and partial overlap, and effect images corresponding to the performer's background are inserted into these plurality of chroma key areas, so that the background based on the effect image surrounding the performer and the performer can create a 3D sense of space It is possible to provide the user with the performance content generated to have the performance, which will greatly increase the satisfaction of the user watching the performance with the content by providing the user with a user experience similar to the experience of liveliness and realism that can be felt when watching in an actual performance hall. can
또한, 본 발명은 복수의 카메라 시점(복수의 관람 시점)과 각각 대응되는 복수의 공연 영상을 장면 전환시마다 카메라 시점을 변경하여 변경된 카메라 시점에 대응되는 공연 영상으로 전환하여 재생할 수 있으며, 이를 통해 공연의 극적 효과를 높일 수 있을 뿐만 아니라 다양한 관람 시점으로 공연 영상을 제공할 수 있어 실제 공연장에서 관람하는 경험과 유사한 경험이 제공되도록 지원하는 효과가 있다.In addition, the present invention can convert and reproduce a plurality of performance videos corresponding to a plurality of camera viewpoints (a plurality of viewing viewpoints) to a performance video corresponding to the changed camera viewpoint by changing the camera viewpoint at each scene change, through which the performance video Not only can the dramatic effect of the performance be enhanced, but also the performance video can be provided from various viewpoints, which has the effect of supporting the provision of an experience similar to that of the actual performance hall.
도 1은 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 구성도.
도 2 내지 도 3은 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 크로마키 배경판을 이용한 시각 효과 적용에 대한 예시도.
도 4는 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 동작 예시도.
도 5는 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 공연 컨텐츠 제공에 대한 예시도.1 is a configuration diagram of a performance contents production system supporting visual effects according to an embodiment of the present invention.
2 and 3 are diagrams illustrating application of visual effects using a chroma key background plate in a performance contents production system supporting visual effects according to an embodiment of the present invention.
4 is a diagram illustrating an operation of a performance contents production system supporting visual effects according to an embodiment of the present invention.
5 is an exemplary view of providing performance content by a performance content production system supporting visual effects according to an embodiment of the present invention;
이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.Hereinafter, detailed embodiments of the present invention will be described with reference to the drawings.
도 1은 본 발명의 실시예에 따른 시각 효과를 지원하는 공연 컨텐츠 제작 시스템의 구성도로서, 본 발명에 따른 공연 컨텐츠 제작 시스템은, 복수의 크로마키(chroma key) 배경판(10)과, 복수의 카메라(20)와, 영상 후처리 장치(30) 및 컨텐츠 제공 장치(40)를 포함하여 구성될 수 있다.1 is a block diagram of a performance content production system supporting visual effects according to an embodiment of the present invention. The performance content production system according to the present invention includes a plurality of chroma
이때, 상기 복수의 크로마키 배경판(10)은 공연장의 무대(무대 상)에 설치되어 상호 간 단차를 가지면서 적어도 일부가 겹치도록 배치될 수 있다.At this time, the plurality of chroma
즉, 상기 복수의 크로마키 배경판(10)은 관람 시점을 기준으로 복수의 레벨로 배치될 수 있다.That is, the plurality of chroma
일례로, 도 1 및 도 2에 도시된 바와 같이, 상기 복수의 크로마키 배경판(10)은 기준에 해당하는 기준 크로마키 배경판(10)(무대 중간에 설치된 크로마키 배경판(10))을 포함하고, 상기 기준 크로마키 배경판(10)을 기준으로 좌우에 동일한 개수의 크로마키 배경판(10)이 배치되도록 구성될 수 있다.For example, as shown in FIGS. 1 and 2, the plurality of chroma
이때, 상기 복수의 크로마키 배경판(10)은 각각 인접 크로마키 배경판(10)과 상호 단차를 가지면서 적어도 일부가 상호 겹치도록 배치될 수 있다.At this time, the plurality of chroma
또한, 상기 복수의 크로마키 배경판(10) 중 적어도 하나 이상의 크로마키 배경판(10)이 다른 배경판(10)과 상이한 배치 각도를 가지도록 구성될 수 있으며, 일례로 상기 기준 크로마키 배경판(10)을 기준으로 좌우로 양 끝단에 각각 위치하는 2개의 크로마키 배경판(10)이 다른 배경판(10)(들)과 상이한 각도를 가지도록 배치될 수 있다.In addition, at least one chroma
상술한 바와 같이, 복수의 크로마키 배경판(10)을 공연장의 무대 상에 파노라마 형태로 배치하여 상기 무대 위에서 공연하는 공연자를 크로마키 배경판(10)이 감싸는 형태로 배치할 수 있다.As described above, a plurality of chroma
한편, 상기 복수의 카메라(20)는 각각 상기 복수의 크로마키 배경판(10)이 모두 적어도 일부가 겹친 상태를 유지하는 각도에서 상기 복수의 크로마키 배경판(10)이 배치된 상기 무대에서 진행되는 공연을 촬영하도록 구성될 수 있다.On the other hand, the plurality of
또한, 상기 복수의 카메라(20)는 서로 상이한 위치에 배치되어 서로 상이한 카메라 시점(視點)(또는 촬영 시점)으로 상기 무대에서 진행되는 공연을 촬영하도록 구성될 수 있다.In addition, the plurality of
이때, 본 발명에서 설명하는 카메라 시점은 미리 설정된 무대의 중심점을 기준으로 하는 카메라(20)의 촬영 각도를 의미할 수 있다.At this time, the camera viewpoint described in the present invention may mean a photographing angle of the
또한, 상기 복수의 카메라 시점은 공연장에 배치되는 서로 다른 복수의 관람 영역과 각각 대응될 수 있으며, 이를 통해 서로 다른 복수의 관람 영역에서 공연을 관람할 때 복수의 관람영역별 관람 시점(관람객의 시점)에 각각 대응되는 관람 영역별 카메라 시점에 대한 촬영 영상을 상기 복수의 카메라(20)를 통해 생성할 수 있다.In addition, the viewpoints of the plurality of cameras may correspond to a plurality of different viewing areas disposed in the performance hall, and through this, when viewing a performance in a plurality of different viewing areas, viewing viewpoints (viewers' viewpoints) for each of the plurality of viewing areas. A photographed image for a camera viewpoint for each viewing area corresponding to each may be generated through the plurality of
또한, 상기 복수의 카메라(20)는 적어도 10개 이상인 것이 바람직하다.In addition, it is preferable that the number of the plurality of
한편, 상기 영상 후처리 장치(30)는, 상기 복수의 카메라(20) 각각으로부터 상기 복수의 크로마키 배경판(10)이 배치된 무대에서 진행되는 공연을 촬영하여 생성한 촬영 영상을 수신할 수 있다.Meanwhile, the
즉, 상기 영상 후처리 장치(30)는 복수의 카메라(20)로부터 복수의 서로 다른 카메라 시점과 각각 대응되는 복수의 촬영 영상을 수신할 수 있다.That is, the
또한, 상기 영상 후처리 장치(30)는 상기 촬영 영상에 시각 효과(VFX: Visual Effect)를 추가하기 위해 상기 무대에서 진행되는 공연을 구성하는 하나 이상의 장면별로 복수의 서로 다른 효과 영상이 미리 저장될 수 있다.In addition, the
이에 따라, 상기 영상 후처리 장치(30)는 상기 효과 영상을 상기 촬영 영상에 삽입하여 시각 효과가 포함된 공연 영상을 생성할 수 있는데, 이를 도 2와 도 3 및 도 4를 참고하여 상세히 설명한다.Accordingly, the
우선, 상기 영상 후처리 장치(30)는 상기 복수의 카메라(20)로부터 수신한 복수의 촬영 영상 각각에 대해, 상기 촬영 영상에 대응되는 카메라 시점과 영상 내에서 복수의 크로마키 배경판(10)과 각각 대응되는 복수의 크로마키 영역(11)을 촬영 영상에서 식별할 수 있다.First of all, the
이때, 상기 효과 영상에는 상기 효과 영상에 대응되는 크로마키 영역에 대한 영역 식별 정보, 상기 효과 영상에 대응되는 공연 장면에 대한 시간 정보 등이 포함될 수 있으며, 상기 영상 후처리 장치(30)는 상기 촬영 영상에 포함된 복수의 크로마키 영역 각각에 대해 상기 복수의 크로마키 배경판(10) 중 크로마키 영역에 대응되는 크로마키 배경판(10)의 구분이 가능하도록 영역 식별 정보를 설정할 수 있다.In this case, the effect image may include region identification information for a chroma key region corresponding to the effect image, time information for a performance scene corresponding to the effect image, and the like, and the
여기서, 상기 영상 후처리 장치(30)는 복수의 크로마키 영역 상호 간 서로 다른 영역 식별 정보를 설정할 수 있다.Here, the
이를 통해, 상기 영상 후처리 장치(30)는 실제 공연에서 특정 크로마키 배경판(10)에 표시될 효과 영상이 상기 촬영 영상에서 상기 특정 크로마키 배경판(10)에 대응되는 특정 크로마키 영역에 합성되어 표시되도록 처리할 수 있다.Through this, the
또한, 상기 영상 후처리 장치(30)는 촬영 영상을 수신하면 촬영 영상의 공연 시간(재생 시간)과 상기 장면별 복수의 효과 영상에 포함된 상기 시간 정보를 비교하여 상기 공연 시간에 대응되는 시간 정보가 포함된 특정 장면에 대한 복수의 효과 영상을 상기 촬영 영상에 대응되는 효과 영상으로 추출할 수 있다.In addition, upon receiving the captured video, the
이때, 공연 시간은 공연을 구성하는 장면별 시간에 대한 정보를 의미할 수 있다.In this case, the performance time may mean information about time for each scene constituting the performance.
또는, 상기 영상 후처리 장치(30)는 복수의 카메라(20)로부터 수신되는 각 촬영 영상이 다수개로 분리되지 않고 하나로 수신되는 경우 촬영 영상의 공연 시간을 구성하는 복수의 시간 구간마다 시간 구간에 대응되는 시간 정보가 포함된 특정 장면에 대한 복수의 촬영 영상을 추출할 수 있다.Alternatively, when each captured image received from the plurality of
또한, 상기 영상 후처리 장치(30)는, 특정 촬영 영상에 대응되어 추출된 효과 영상에 대응되는 특정 촬영 영상으로부터 카메라 시점을 식별할 수 있으며, 상기 식별된 카메라 시점에 맞추어 상기 추출된 효과 영상을 변환한 후 상기 변환된 효과 영상을 상기 복수의 크로마키 영역 중 상기 변환된 효과 영상에 대응되는 크로마키 영역에 삽입하도록 동작 방식(동작 알고리즘)이 미리 설정될 수 있다.In addition, the
이에 따라, 상기 영상 후처리 장치(30)는 상기 동작 방식에 따라 상기 특정 촬영 영상에 대응되는 특정 장면과 관련된 복수의 효과 영상을 추출하고, 상기 추출된 복수의 효과 영상 각각에 대해 상기 동작 방식에 따라 상기 복수의 효과 영상을 각각 상기 특정 촬영 영상에 포함된 복수의 크로마키 영역 중 대응되는 크로마키 영역에 삽입하여 촬영 영상에서 배경에 해당하는 크로마키 영역에 상기 효과 영상을 삽입할 수 있다.Accordingly, the
이때, 상기 영상 후처리 장치(30)는 촬영 영상의 특정 시간 구간에 대응되는 효과 영상을 추출한 경우 촬영 영상을 구성하는 복수의 프레임 중 상기 시간 구간에 대응되는 하나 이상의 프레임 각각에 대해 상기 효과 영상을 프레임에 포함된 크로마키 영역에 삽입할 수 있다.At this time, when the
이를 위해, 상기 영상 후처리 장치(30)는 영상 검출부 및 시각 효과 적용부를 포함하여 구성될 수 있다.To this end, the
상기 영상 검출부는, 촬영 영상을 수신하고 촬영 영상에 설정된 카메라 시점을 확인한 후 상기 확인된 카메라 시점에서 관찰되는 복수의 크로마키 배경판(10)과 각각 대응되는 복수의 크로마키 영역을 상기 촬영 영상에서 구분하도록 구성된다.The image detection unit receives a captured image, checks a camera viewpoint set in the captured image, and then displays a plurality of chroma key regions respectively corresponding to a plurality of chroma
또한, 상기 시각 효과 적용부는 촬영 영상에서 상기 구분된 크로마키 영역을 기준으로 복수의 크로마키 영역 사이의 겹쳐진 상태 및 복수의 단차를 식별하고, 상기 복수의 효과 영상별로 상기 복수의 크로마키 영역 중 대응되는 크로마키 영역 삽입시 효과 영상에 대응되는 크로마키 영역에 인접한 하나 이상의 타 크로마키 영역과 상기 효과 영상에 대응되는 크로마키 영역 사이의 겹쳐진 상태에 따른 각도와 단차에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 대응되는 크로마키 영역에 적용하도록 구성될 수 있다.In addition, the visual effect applying unit identifies an overlapping state and a plurality of steps between a plurality of chroma key regions based on the divided chroma key regions in the captured image, and corresponds to a corresponding one of the plurality of chroma key regions for each of the plurality of effect images. After converting the effect image according to the angle and step according to the overlapping state between one or more other chroma-key regions adjacent to the chroma-key region corresponding to the effect image and the chroma-key region corresponding to the effect image when the chroma-key region is inserted, It may be configured to apply the converted effect image to a corresponding chroma key region.
또한, 상기 영상 후처리 장치(30)는 상기 영상 후처리 장치(30)의 전반적인 제어 기능을 수행하는 제어부를 더 포함하며, 상기 제어부는 상기 영상 검출부 및 상기 시각 효과 적용부를 제어하여 본 발명에서 설명하는 상기 영상 후처리 장치(30)의 기능을 수행할 수 있다.In addition, the
또한, 상기 영상 후처리 장치(30)는 상기 효과 영상을 비롯한 각종 정보를 저장하는 저장부를 포함하여 구성될 수 있으며, 상기 저장부는 상기 제어부에 의해 제어될 수 있다.In addition, the
또한, 상기 영상 후처리 장치(30)는 카메라(20) 및 컨텐츠 제공 장치(40)를 비롯한 각종 장치와 통신하기 위한 통신부를 더 포함하여 구성될 수 있으며, 상기 통신부는 상기 제어부에 의해 제어될 수 있고, 상기 통신부는 상기 영상 후처리 장치(30)의 다른 구성부에 포함되어 구성될 수도 있다.In addition, the
또한, 상기 영상 후처리 장치(30)는 상기 촬영 영상에 복수의 장면이 포함된 경우 상기 복수의 장면과 각각 대응되는 장면별 복수의 효과 영상을 미리 설정된 장면 순서에 따라 상기 촬영 영상에서 식별된 복수의 크로마키 영역에 상술한 바와 같이 삽입할 수 있다.In addition, when the captured image includes a plurality of scenes, the
여기서, 상기 영상 후처리 장치(30)는 상기 장면 순서를 상기 효과 영상에 포함된 시간 정보를 기초로 식별할 수 있다.Here, the
상술한 구성을 통해, 상기 영상 후처리 장치(30)는 상기 촬영 영상에 미리 저장된 장면별 복수의 효과 영상을 삽입하여 공연을 촬영한 촬영 영상에 효과 영상 기반의 시각 효과를 추가한 공연 영상을 생성할 수 있다.Through the above configuration, the
이에 더하여, 상기 영상 후처리 장치(30)에는 촬영 영상에 포함된 공연자에 해당하는 객체의 전면 부분에 적용되는 3차원의 장면별 전면 효과 영상이 미리 저장될 수 있으며, 상기 영상 후처리 장치(30)는 촬영 영상에 대응되는 복수의 크로마키 영역의 배치 상태와 카메라 시점을 기반으로 상기 전면 효과 영상의 배치 각도와 크기 중 적어도 하나를 재구성하여 상기 전면 효과 영상을 촬영 영상에 삽입하도록 동작하는 추가 동작 방식이 미리 설정될 수 있다.In addition, the
이에 따라, 상기 영상 후처리 장치(30)는 상기 복수의 촬영 영상 각각에 상기 추가 동작 방식에 따라 상기 전면 효과 영상을 삽입하여 상기 전면 효과 영상이 추가 삽입된 공연 영상을 복수의 촬영 영상별로 생성할 수 있다.Accordingly, the
또한, 상기 영상 후처리 장치(30)는 복수의 카메라(20)와 각각 대응되는 복수의 촬영 영상 각각에 대해 상술한 바와 같이 상기 공연 영상을 생성할 수 있으며, 상기 복수의 촬영 영상과 각각 대응되는 복수의 공연 영상을 생성할 수 있다.In addition, the
상술한 구성에서, 상기 영상 후처리 장치(30)는 촬영 영상에 음향이 포함되지 않은 경우 상기 공연 진행에 따른 음향 정보를 생성하는 별도의 음향 생성 장치와 통신 연결되어 상기 음향 생성 장치로부터 음향 정보를 수신할 수 있다.In the above configuration, the
또한, 상기 영상 후처리 장치(30)는 상기 음향 정보를 상기 촬영 영상 또는 상기 공연 영상에 동기화하여 삽입할 수 있으며, 이를 통해 복수의 공연 영상별로 음향 정보를 삽입할 수 있다.In addition, the
한편, 도 4에 도시된 바와 같이, 상기 영상 후처리 장치(30)는 상기 복수의 공연 영상을 컨텐츠 제공 장치(40)로 전송할 수 있다.Meanwhile, as shown in FIG. 4 , the
이때, 상기 컨텐츠 제공 장치(40)는 상기 영상 후처리 장치(30)와 통신망을 통해 상호 통신할 수 있다.At this time, the
또한, 본 발명에서 설명하는 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.In addition, the communication network described in the present invention may include a wired / wireless communication network, and as an example of such a wireless communication network, a wireless LAN (WLAN), a DLNA (Digital Living Network Alliance), a WiBro (Wireless Broadband: Wibro), Wimax (World Interoperability for Microwave Access: Wimax), GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV-DO (Enhanced Voice-Data Optimized or Enhanced Voice- Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), IEEE 802.16, Long Term Evolution (LTE), LTE-A (Long Term Evolution- Advanced), Broadband Wireless Mobile Broadband Service (WMBS), 5G mobile communication service, Bluetooth, LoRa (Long Range), RFID (Radio Frequency Identification), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct and the like may be included. In addition, wired communication networks include wired local area network (LAN), wired wide area network (WAN), power line communication (PLC), USB communication, Ethernet, serial communication, optical/coaxial cables, etc. may be included.
한편, 상기 컨텐츠 제공 장치(40)는 상기 영상 후처리 장치(30)로부터 상기 복수의 공연 영상을 수신하면, 미리 설정된 하나 이상의 재생 구역별로 상기 복수의 공연 영상 중 재생 대상인 촬영 영상이 변경되도록 하기 위한 시점 전환 정보 및 상기 복수의 공연 영상이 포함된 공연 컨텐츠를 생성할 수 있다.On the other hand, when the
이때, 상기 시점 전환 정보는 상기 재생 구역별로 재생 시간(또는 재생 시간 범위)에 대한 재생 구간 정보 및 상기 재생 구간 정보에 대응되는 카메라 시점 정보가 설정될 수 있으며, 상기 공연 영상은 상기 촬영 영상에 포함된 각종 속성별 파라미터를 동일하게 포함할 수 있고, 이러한 속성별 파라미터의 일례로서 카메라 시점에 대한 정보가 상기 공연 영상에 포함될 수 있다.In this case, the viewpoint switching information may include playback section information for playback time (or playback time range) for each playback area and camera view information corresponding to the playback section information, and the performance video is included in the captured video. Parameters for each attribute may be equally included, and as an example of such parameters for each attribute, information on a camera viewpoint may be included in the performance video.
이에 따라, 상기 컨텐츠 제공 장치(40)는 통신망을 통해 사용자 단말과 통신할 수 있으며, 사용자 단말로 상기 공연 컨텐츠를 전송하여 상기 공연 컨텐츠가 재생되도록 할 수 있으며, 상기 공연 컨텐츠를 통해 상기 복수의 공연 영상 중 사용자가 선택한 카메라 시점 또는 관람 시점에 대응되는 공연 영상으로 사용자 단말을 통해 시청 가능하도록 제공할 수 있다.Accordingly, the
이때, 상기 컨텐츠 제공 장치(40)는 5G 통신망을 통해 상기 공연 컨텐츠를 실시간 스트리밍 방식으로 고속 전송할 수도 있다.At this time, the
또한, 도 5에 도시된 바와 같이, 상기 컨텐츠 제공 장치(40)는 상기 사용자 단말에서 상기 공연 컨텐츠의 재생 중 사용자 입력에 따라 카메라 시점 또는 관람 시점의 선택을 입력받아 사용자 입력에 따라 선택된 카메라 시점 또는 관람 시점에 대응되는 공연 영상으로 변경하는 사용자 인터페이스를 포함하는 공연 컨텐츠를 생성하여 제공할 수 있으며, 상기 사용자 단말에서 상기 공연 컨텐츠 재생시 상기 사용자 인터페이스가 활성화되도록 상기 공연 컨텐츠를 생성할 수 있다.In addition, as shown in FIG. 5 , the
이때, 복수의 공연 영상과 각각 대응되는 복수의 카메라 시점 각각이 관람 시점으로서 상기 사용자 인터페이스에 설정될 수 있으며, 이에 따라 상기 사용자 인터페이스는 서로 다른 복수의 관람 시점 중 사용자가 원하는 관람 시점에 대응되는 공연 영상으로 공연 컨텐츠를 시청할 수 있도록 제공할 수 있다.In this case, each of a plurality of camera viewpoints corresponding to a plurality of performance images may be set in the user interface as a viewing viewpoint, and accordingly, the user interface displays a performance corresponding to a viewing viewpoint desired by a user among a plurality of different viewing viewpoints. It may be provided so that the performance content can be viewed as a video.
또한, 상기 컨텐츠 제공 장치(40)는 상기 공연 컨텐츠를 상기 사용자 단말에서 재생할 때 상기 공연 컨텐츠에 포함된 시점 전환 정보가 상기 사용자 단말에서 자동 실행되도록 하여 상기 시점 전환 정보에 따른 특정 재생 구역의 시작 시점까지 재생된 경우 상기 공연 컨텐츠에 포함된 복수의 공연 영상 중 상기 특정 재생 구역에 대응되어 상기 시점 전환 정보에 설정된 카메라 시점(일례로, 제 1 카메라 시점)에 대응되는 공연 영상으로 재생 대상인 영상이 자동 변경되도록 할 수 있으며, 상기 특정 재생 구역의 다음에 해당하는 다음 재생 구역의 시작 시점에 재생 시간이 도달한 경우 상기 특정 재생 구역에 대응되는 공연 영상의 재생을 중단하고 상기 다음 재생 구역에 대응되어 상기 시점 전환 정보에 설정된 카메라 시점(일례로, 제 2 카메라 시점)에 대응되는 공연 영상으로 재생 대상 영상을 전환하여 상기 다음 재생 구역에 대응되는 공연 영상이 재생되어 표시되도록 할 수 있다.In addition, when the performance content is reproduced in the user terminal, the
즉, 상기 컨텐츠 제공 장치(40)는 사용자 단말에서 공연 컨텐츠 재생시 복수의 카메라 시점(복수의 관람 시점)과 각각 대응되는 복수의 공연 영상을 장면 전환시마다 카메라 시점을 변경하여 변경된 카메라 시점에 대응되는 공연 영상으로 전환하여 재생되도록 공연 컨텐츠를 생성할 수 있으며, 이를 통해 공연의 극적 효과를 높일 수 있을 뿐만 아니라 다양한 관람 시점으로 공연 영상을 제공할 수 있어 실제 공연장에서 관람하는 경험과 유사한 경험이 제공되도록 지원할 수 있다.That is, the
또한, 상기 컨텐츠 제공 장치(40)는 공연을 촬영한 촬영 영상에 효과 영상 기반의 시각 효과를 상호 단차를 가지도록 배치되어 파노라마 형태로 구성된 복수의 크로마키 영역에 맞추어 무대에서 공연하는 공연자를 감싸도록 삽입한 공연 영상을 생성하여 실재 공연 관람시 공연자와 배경 사이의 3차원 공간을 공연 영상을 통해 구현하여 실재 공연 관람시 경험하는 3차원 공간과 유사한 3차원 경험을 공연 컨텐츠의 시청만으로 경험할 수 있도록 제공할 수 있으며, 3차원 효과 제공을 위한 별도의 장치 도움 없이도 공연 컨텐츠만으로 실재 공연과 유사한 3차원 공간감을 제공할 수 있다.In addition, the
상술한 바와 같이, 본 발명은 무대에 배치되는 복수의 크로마키 배경판(10)을 촬영한 촬영 영상에서 상기 복수의 크로마키 배경판(10)과 각각 대응되는 복수의 크로마키 영역 각각에 VFX 기반의 효과 영상을 삽입하여 효과 영상이 삽입된 촬영 영상을 기반으로 공연 영상을 생성한 후 공연 컨텐츠로 제공함으로써 실재 공연에서 공연자의 배경으로 제공되는 효과 영상을 직접 촬영하는 경우에 발생하는 효과 영상의 화질 저하 문제를 해결하여 생동감 있는 시각 효과를 제공할 수 있을 뿐만 아니라 상호 단차를 가지면서 적어도 일부가 겹치도록 파노라마 형태로 배치한 상기 복수의 크로마키 배경판(10)을 촬영하여 생성된 촬영 영상에서 복수의 크로마키 배경판(10)과 대응되는 복수의 크로마키 영역이 상기 단차와 일부 겹침에 따른 파노라마 형태에 따라 3차원으로 구현되도록 지원하고 이러한 복수의 크로마키 영역에 공연자의 배경에 해당하는 효과 영상을 삽입하여 공연자를 둘러싼 효과 영상 기반의 배경과 공연자가 3차원 공간감을 가지도록 생성된 공연 컨텐츠를 사용자에게 제공할 수 있어, 사용자에게 실재 공연장에서 관람하는 3차원적인 경험과 유사한 사용자 경험을 제공하여 컨텐츠로 공연을 시청하는 사용자의 만족도를 크게 높일 수 있다.As described above, the present invention is based on VFX for each of a plurality of chroma key regions respectively corresponding to the plurality of chroma
또한, 본 발명은 서로 다른 복수의 관람 시점과 각각 대응되는 복수의 서로 다른 카메라 시점에서 촬영한 촬영 영상 각각에 대해 공연 영상이 생성되도록 하여 사용자가 원하는 관람 시점을 변경하면서 공연을 관람할 수 있도록 지원할 수 있을 뿐만 아니라, 단차를 가지면서 파노라마 형태로 배치된 크로마키 영역에 의해 상기 공연 영상에 대한 3차원의 입체적 효과를 배가시킬 수 있다.In addition, the present invention generates a performance video for each of the captured images taken from a plurality of different camera viewpoints corresponding to a plurality of different viewing viewpoints, so that the user can support the performance while changing the desired viewing viewpoint. In addition, the three-dimensional effect of the performance image can be doubled by the chroma key area arranged in a panoramic form with a step difference.
또한, 본 발명은 사용자가 단말을 통해 공연 컨텐츠를 재생하여 시점을 변경하면서 공연에 대한 3차원 시청이 가능하도록 제공할 수 있어, 실제 공연과 유사한 생동감 및 현장감을 제공할 수 있다.In addition, according to the present invention, it is possible to provide a user with a 3D view of a performance while changing a viewpoint by reproducing performance contents through a terminal, thereby providing liveliness and realism similar to an actual performance.
발명의 실시예들에서 설명된 구성요소는, 예를 들어, 메모리 등의 저장부, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서 등의 하드웨어, 명령어 세트를 포함하는 소프트웨어 내지 이들의 조합 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. The components described in the embodiments of the invention may include, for example, a storage unit such as a memory, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) ), a programmable logic unit (PLU), a microprocessor, software containing an instruction set, or any combination thereof, or any other device capable of executing and responding to instructions, such as one or more general-purpose computers or special purpose computers. It can be implemented using a computer.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing may be modified and modified by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
10: 크로마키 배경판 20: 카메라
30: 영상 후처리 장치 40: 컨텐츠 제공 장치10: Chroma key background plate 20: Camera
30: image post-processing device 40: content providing device
Claims (5)
상기 복수의 크로마키 배경판이 모두 적어도 일부가 겹친 상태를 유지하는 각도에서 상기 무대에서 진행되는 공연을 촬영하도록 구성되며 서로 다른 복수의 카메라 시점과 각각 대응되는 복수의 카메라;
상기 복수의 카메라로부터 수신한 복수의 촬영 영상 각각에 대해, 상기 촬영 영상에 대응되는 카메라 시점과 영상 내에서 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역을 식별하고, 효과 영상에 대응되는 촬영 영상에 대해 식별된 카메라 시점에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 상기 복수의 크로마키 영역 중 상기 효과 영상에 대응되는 크로마키 영역에 삽입하도록 동작 방식이 미리 설정되어, 상기 동작 방식에 따라 장면별로 미리 저장된 복수의 효과 영상을 상기 촬영 영상에서 식별된 복수의 크로마키 영역에 삽입하여 공연 영상을 생성하고, 상기 복수의 촬영 영상과 각각 대응되는 복수의 공연 영상을 생성하는 영상 후처리 장치; 및
상기 영상 후처리 장치로부터 상기 복수의 공연 영상을 수신하고, 미리 설정된 하나 이상의 재생 구역별로 상기 복수의 공연 영상 중 재생 대상인 공연 영상이 변경되도록 하기 위한 시점 전환 정보 및 상기 복수의 공연 영상이 포함된 공연 컨텐츠를 생성하여 제공하는 콘텐츠 제공 장치
를 포함하며,
상기 영상 후처리 장치는,
상기 촬영 영상에 대해 상기 촬영 영상의 카메라 시점에서 관찰되는 복수의 크로마키 배경판과 각각 대응되는 복수의 크로마키 영역을 구분하기 위한 영상 검출부; 및
구분된 크로마키 영역을 기준으로 복수의 크로마키 영역 사이의 겹쳐진 상태 및 복수의 단차를 식별하고, 상기 복수의 효과 영상별로 복수의 크로마키 영역 중 대응되는 크로마키 영역 삽입시 효과 영상에 대응되는 크로마키 영역에 인접한 하나 이상의 타 크로마키 영역과 상기 효과 영상에 대응되는 크로마키 영역 사이의 겹쳐진 상태에 따른 각도와 단차에 맞추어 상기 효과 영상을 변환한 후 상기 변환된 효과 영상을 대응되는 크로마키 영역에 적용하는 시각 효과 적용부
를 포함하는 것을 특징으로 하는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템.
A plurality of chroma-key background plates installed on the stage of a performance hall and arranged to overlap at least a portion of each other while having a step difference between them;
a plurality of cameras configured to photograph a performance on the stage at an angle at which at least a portion of all of the plurality of chroma-key background plates overlaps, and corresponding to a plurality of camera viewpoints different from each other;
For each of the plurality of captured images received from the plurality of cameras, a camera viewpoint corresponding to the captured image and a plurality of chroma key regions respectively corresponding to a plurality of chroma key background plates within the image are identified, and corresponding to the effect image An operation method is preset to insert the converted effect image into a chroma key region corresponding to the effect image among the plurality of chroma key regions after converting the effect image according to the camera viewpoint identified for the captured image, According to the operating method, a plurality of effect images stored in advance for each scene are inserted into a plurality of chroma key regions identified in the captured images to generate a performance image, and a plurality of performance images corresponding to the plurality of captured images are generated. image post-processing device; and
The plurality of performance videos are received from the video post-processing device, and viewpoint switching information for changing a performance video to be reproduced among the plurality of performance videos for each of one or more preset playback zones and a performance including the plurality of performance videos A content providing device that generates and provides content
Including,
The image post-processing device,
an image detection unit for distinguishing between a plurality of chroma key regions respectively corresponding to a plurality of chroma key background plates observed from a camera viewpoint of the captured image; and
An overlapping state and a plurality of steps between a plurality of chroma key areas are identified based on the divided chroma key areas, and a chroma corresponding to the effect image when a corresponding chroma key area is inserted among a plurality of chroma key areas for each of the plurality of effect images. After converting the effect image according to the angle and step according to the overlapping state between one or more other chroma-key regions adjacent to the marquee region and the chroma-key region corresponding to the effect image, the converted effect image is displayed in the corresponding chroma-key region. Applied visual effect section
A performance content production system supporting visual effects, comprising:
상기 복수의 카메라는 적어도 10개 이상인 것을 특징으로 하는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템.
The method of claim 1,
The performance content production system supporting visual effects, characterized in that the plurality of cameras is at least 10 or more.
상기 영상 후처리 장치는 촬영 영상에 포함된 공연자에 해당하는 객체의 전면 부분에 적용되는 3차원의 장면별 전면 효과 영상이 미리 저장되며, 상기 촬영 영상에 대응되는 복수의 크로마키 영역의 배치 상태와 카메라 시점을 기반으로 상기 전면 효과 영상의 배치 각도와 크기 중 적어도 하나를 재구성하여 상기 전면 효과 영상을 상기 촬영 영상에 삽입하도록 동작하는 추가 동작 방식이 미리 설정되어, 상기 복수의 촬영 영상 각각에 상기 추가 동작 방식에 따라 상기 전면 효과 영상을 삽입하여 상기 전면 효과 영상이 추가 삽입된 상기 공연 영상을 복수의 촬영 영상별로 생성하는 것을 특징으로 하는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템.
The method of claim 1,
In the image post-processing device, a three-dimensional scene-specific front effect image applied to the front part of an object corresponding to a performer included in a captured image is stored in advance, and an arrangement state of a plurality of chroma key regions corresponding to the captured image An additional operation method for inserting the foreground effect image into the captured image by reconstructing at least one of the arrangement angle and size of the foreground effect image based on the camera viewpoint is set in advance, The performance content production system supporting visual effects, characterized in that the performance video into which the front effect video is additionally inserted is generated for each of a plurality of captured images by inserting the front effect video according to an operating method.
상기 시점 전환 정보는 상기 재생 구역별로 재생 구간 정보 및 상기 재생 구간 정보에 대응되는 카메라 시점 정보가 설정된 것을 특징으로 하는 시각 효과를 지원하는 공연 컨텐츠 제작 시스템.The method of claim 1,
The performance contents production system that supports visual effects, characterized in that the viewpoint switching information includes reproduction section information for each reproduction region and camera viewpoint information corresponding to the reproduction region information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200162001A KR102484276B1 (en) | 2020-11-27 | 2020-11-27 | System for creating performance content having visual effect |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200162001A KR102484276B1 (en) | 2020-11-27 | 2020-11-27 | System for creating performance content having visual effect |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220073990A KR20220073990A (en) | 2022-06-03 |
KR102484276B1 true KR102484276B1 (en) | 2023-01-04 |
Family
ID=81983313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200162001A KR102484276B1 (en) | 2020-11-27 | 2020-11-27 | System for creating performance content having visual effect |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102484276B1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040013452A (en) | 2002-08-06 | 2004-02-14 | 엘지전자 주식회사 | Offering system for fitting performance live album |
KR20150105069A (en) * | 2014-03-07 | 2015-09-16 | 장순철 | Cube effect method of 2d image for mixed reality type virtual performance system |
KR20150105058A (en) * | 2014-03-07 | 2015-09-16 | 이모션웨이브 주식회사 | Mixed reality type virtual performance system using online |
KR20160021706A (en) * | 2015-02-03 | 2016-02-26 | 정관호 | Playing method and the system of 360 degree spacial video |
-
2020
- 2020-11-27 KR KR1020200162001A patent/KR102484276B1/en active
Also Published As
Publication number | Publication date |
---|---|
KR20220073990A (en) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10063822B2 (en) | Tri-surface image projection system and method | |
CN110460792B (en) | Reproducing method and reproducing apparatus | |
JP5851625B2 (en) | Stereoscopic video processing apparatus, stereoscopic video processing method, and stereoscopic video processing program | |
EP2926626B1 (en) | Method for creating ambience lighting effect based on data derived from stage performance | |
KR101530826B1 (en) | Playing method and the system of 360 degree spacial video | |
US20110304735A1 (en) | Method for Producing a Live Interactive Visual Immersion Entertainment Show | |
KR20160021706A (en) | Playing method and the system of 360 degree spacial video | |
US10937462B2 (en) | Using sharding to generate virtual reality content | |
KR102484276B1 (en) | System for creating performance content having visual effect | |
KR101430985B1 (en) | System and Method on Providing Multi-Dimensional Content | |
US10616724B2 (en) | Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device | |
KR101373631B1 (en) | System for composing images by real time and method thereof | |
TWI826400B (en) | Information processing device, information processing method, recording medium, reproduction device, reproduction method, and program | |
Svanberg | The EDCF guide to digital cinema production | |
RU136663U1 (en) | REMOTE VIEWING SYSTEM OR SIMILAR VIEW | |
CN111158206A (en) | Interactive panoramic cinema | |
KR20150072657A (en) | Method of producing and implementing for dynamic cinema | |
Hasche et al. | Creating high-resolution 360-degree single-line 25K video content for modern conference rooms using film compositing techniques | |
Schreer et al. | Media production, delivery and interaction for platform independent systems: format-agnostic media | |
KR20140104121A (en) | System, Method and File on Providing Multi-Dimensional Content | |
US9715900B2 (en) | Methods, circuits, devices, systems and associated computer executable code for composing composite content | |
KR101613778B1 (en) | Service system and service method for live music dedio | |
KR102424113B1 (en) | Image Processing Apparatus for Smart Theater and Driving Method Thereof | |
KR102599664B1 (en) | System operating method for transfering multiview video and system of thereof | |
Cha et al. | 3D Filmmaking for User-Selective UHD Stereoscopic Media System: A Case Study on the Film The Old, the New and the Other |