WO2023017911A1 - 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템 및 방법 - Google Patents

버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템 및 방법 Download PDF

Info

Publication number
WO2023017911A1
WO2023017911A1 PCT/KR2021/016139 KR2021016139W WO2023017911A1 WO 2023017911 A1 WO2023017911 A1 WO 2023017911A1 KR 2021016139 W KR2021016139 W KR 2021016139W WO 2023017911 A1 WO2023017911 A1 WO 2023017911A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
control
player
task
setting
Prior art date
Application number
PCT/KR2021/016139
Other languages
English (en)
French (fr)
Inventor
김성수
Original Assignee
주식회사 비브스튜디오스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비브스튜디오스 filed Critical 주식회사 비브스튜디오스
Priority to US17/638,159 priority Critical patent/US11972167B2/en
Publication of WO2023017911A1 publication Critical patent/WO2023017911A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Definitions

  • the present invention relates to image capturing technology, and more particularly, to a technology for integrally controlling various photographing elements in image capturing based on virtual production.
  • virtual production is a filming technology that enables instant visualization and video synthesis based on real-time graphics rendering and camera tracking technology, which can improve the efficiency and quality of the video production process. It is a technology that For example, virtual production can be used as a concept that visualizes graphics reflecting camera movements in various forms at the filming site and synthesizes them with real-time images of cameras.
  • the present invention provides a user interface that can easily, intuitively and integrally control a number of complex shooting elements at the shooting site of virtual production, so that users who lack knowledge necessary for virtual production Its purpose is to provide technology related to virtual production that can be operated easily even if it is not.
  • Another object of the present invention is to provide a technology related to virtual production capable of synchronizing various types of media and controlling interaction with specific media based on time-series control.
  • another object of the present invention is to provide a virtual production-related technology that provides integrated control of a plurality of special effect devices for directing an external environment as well as control of different media.
  • another object of the present invention is to provide a technology related to virtual production that can unify several commands to be executed at a specific point in time into a single command group and call them in a time series or arbitrary action.
  • At least one of images, videos, and camera tracking (camera tracking) interlocking images is provided on a light-emitting diode (LED) wall.
  • a control device for image shooting of virtual production in which a person or object located in front of the LED wall is photographed with a camera in a state of being displayed forward, a display; and at least one processor that executes a program for controlling image capture of virtual production and displays a user interface of the program on the display.
  • the program includes: a plurality of connection object units each exclusively responsible for connection with a plurality of external players playing different media; and a plurality of first timelines classified for each player and displayed in a time-series layer form on the user interface, and a first time-series control setting for each player in the first timeline according to a user's input.
  • a setting unit each including a control setting unit and a second control setting unit for selective interlocking between key points on the first timeline and the connection object unit or control setting for the detailed state or mode of the connection object unit; .
  • the at least one processor transfers the control setting and information about the current playback time of the first timeline to the corresponding player through the dedicated connection object unit, and the clocks of the plurality of players reflecting the control setting and the current playback time. Thermal behavior can be controlled.
  • Control settings of the first control setting unit may include color adjustment settings for media played in a certain player at a certain point on the first timeline or weather condition settings according to a user input.
  • the plurality of players may include each player that divides the media displayed on the LED wall into n (where n is a natural number of 2 or more) zones and reproduces them according to a control signal.
  • the second control setting unit can set a control for correcting position, angle, and lens information for a region played by each player.
  • the control signal includes a control value for visualizing a frustum, which is an area included in a lens of a real camera, at a higher resolution than other areas by projecting the position, angle of view, and focal length of the real camera onto the virtual camera.
  • the control value may include a check value of whether a player is connected, a key value of lens data connected to the player, a position value and direction value of a fixed camera, and a tracking data correction value.
  • the setting unit may include n number of first timelines for each n number of players dividing and reproducing the n number of zones.
  • the at least one processor may synchronize and reproduce media of n zones reproduced according to times of the n first time lines.
  • the plurality of players may further include a player that synthesizes or expands augmented reality (AR) interlocked according to camera tracking with images captured by a corresponding camera.
  • AR augmented reality
  • the plurality of connection object units may be provided to exclusively take charge of connection with a plurality of external special effect devices that support external environment elements.
  • the second time setting unit is displayed in the form of a time-series layer on the user interface so that a call can be set at a certain point in time for a first task, which is a command for controlling the operation of a certain special effect device, according to a user's input. It may contain more lines.
  • the at least one processor may transfer the call setting to a corresponding special effect device through the dedicated connection object unit, and control an operation of the first task at a corresponding time.
  • the special effect device may include at least one of a light device, a lightning device, a sound device, a wind device, a fog machine, a snow machine, and a rain machine.
  • the setting unit may call and set a second task, which is a command for controlling an operation of a certain player, at a certain point in time on the second timeline according to a user input.
  • the at least one processor may transfer the call setting of the second task to the corresponding player through the dedicated connection object unit, and control an operation of the second task at a corresponding time.
  • the setting unit may set a call for a task bundle at any point in time on the second timeline according to a user's input.
  • the task bundle may be a command for simultaneously calling a plurality of tasks selected from among the first and second tasks.
  • the task bundle may be a first task bundle that is provided as default in various types or a second task bundle that is newly defined by selecting a combination of the first and second tasks from among the first and second tasks.
  • the first and second task bundles may be displayed on the user interface in different second timelines.
  • the setting unit may further include a comment unit in which a speech bubble containing situation information about a point in time of the first timeline or the second timeline is displayed in a portion indicating the corresponding point in the user interface.
  • the user interface may display an annotation list containing information on the annotation unit.
  • a playback target point in the setting unit may be moved to a viewpoint of the corresponding annotation unit.
  • the first task may include a movement command for moving the playback target point to a certain point in time in the setting unit.
  • a reproduction target point in the setting unit may be moved to a point indicated by the comment part of the corresponding unique ID.
  • a system is a system for filming a video of virtual production, and includes a light emitting device (a light emitting device) displaying at least one media among image, video, and camera tracking video. -emitting diode; LED) wall; a camera for photographing a person or object located in front of the LED wall while the at least one media is displayed on the LED wall; and a control device for controlling reproduction of the media.
  • the control device may execute a program for controlling image capture of virtual production and display a user interface of the program on a display.
  • the control device may transfer the control settings to corresponding players through the dedicated connection object unit, and control time-sequential operations of the plurality of players according to the control settings.
  • a method is a virtual production in which a person or object located in front of an LED wall is photographed with a camera in a state in which media is displayed in front of a light-emitting diode (LED) wall.
  • a method performed in a device for controlling image capture comprising: setting a plurality of connection object units each exclusively responsible for connection with a plurality of external players playing different media; Time-sequential control setting for each player in the first timeline according to a user's input for a plurality of first timelines classified for each player and displayed in a time series layer form on the user interface; performing selective interlocking between a key point on a line and a connection object unit or control setting for a detailed state or mode of a connection object unit; Controlling time-sequential operations of the plurality of players reflecting the control setting and the current playback time by transferring information on the control setting and the current playback time of the first timeline to the corresponding player through the dedicated connection object unit. includes;
  • a recording medium is a recording medium that is executed by at least one processor and has recorded a program for the at least one processor to execute the method described above.
  • the present invention configured as described above provides a user interface that can easily, intuitively and integrally control a number of complex shooting elements at the shooting site of virtual production, so that even users who lack the necessary knowledge for virtual production can easily operate virtual production control technology. has the advantage of providing
  • the present invention has the advantage of being able to more easily, intuitively and integrally control various types of devices such as special effect devices and video synthesis program devices as well as multiple players that play media based on a timeline.
  • the present invention has the advantage of enabling synchronization between various types of media and interaction control for specific media based on time-series control.
  • the present invention has an advantage of providing integrated control of a plurality of special effect devices for directing an external environment as well as control of different media.
  • the present invention has the advantage of facilitating integrated control of various media and special effect devices because several commands to be executed simultaneously at a specific point in time can be unified into a single command group and called in a time series or arbitrary action.
  • FIG. 1 shows a schematic conceptual diagram of a system 10 according to one embodiment of the present invention.
  • FIG. 2 shows a schematic conceptual diagram of a control operation performed by a control program.
  • FIG. 3 shows a block configuration diagram of the control device 500.
  • FIG. 4 shows an example of a schematic operation configuration diagram of a control program.
  • FIG. 5 and 6 show an example of a user interface (UI) of a control program displayed on the display 530 .
  • UI user interface
  • FIG. 7 shows another example in which the second time line 722 is enlarged more than the surrounding area.
  • FIG. 8 shows a task list L1 related to FIG. 7 and a Properties window P2 for a specific task or task bundle, respectively.
  • FIG 9 shows an example of a process of authoring (creating) a second task bundle.
  • FIG. 10 shows an example of a user interface (UI) provided to author (create) a second task bundle.
  • UI user interface
  • FIG. 11 is an operation flowchart of a control method according to an embodiment of the present invention.
  • FIG. 12 shows an example of a system 10 for filming historical dramas (outdoor scenes).
  • 13 and 14 show an example of setting a control program in FIG. 12 .
  • FIG. 15 shows an example of setting a task bundle in FIG. 12 .
  • FIG. 17 shows an example of a third control setting unit.
  • 19 shows an example of visual production using an AR player.
  • terms such as “or” and “at least one” may represent one of the words listed together, or a combination of two or more.
  • “or B” and “at least one of B” may include only one of A or B, or may include both A and B.
  • 'first' and 'second' may be used to describe various elements, but the elements should not be limited by the above terms.
  • the above terms should not be interpreted as limiting the order of each component, and may be used for the purpose of distinguishing one component from another.
  • a 'first element' may be named a 'second element'
  • a 'second element' may also be named a 'first element'.
  • FIG. 1 shows a schematic conceptual diagram of a system 10 according to an embodiment of the present invention
  • FIG. 2 shows a schematic conceptual diagram of a control operation performed by a control program.
  • the system 10 is a system for capturing images of virtual production.
  • Virtual production is a fairly broad concept as a technology that helps overcome various inefficiencies or limitations in the video production pipeline by utilizing real-time graphics. Recently, it is mainly used as a concept that visualizes graphics reflecting camera movements on LED walls or in AR form and synthesizes them with real-time images. It is also referred to by several other terms, such as AR, VR, XR, or others, depending on the type of technology. Therefore, first, we look at virtual production technology from three different perspectives to understand the technology's composition and major application areas.
  • Real-time graphic rendering technology commonly called game engine
  • game engine has recently been evolving to the extent that it shows the quality of real-life pictures.
  • This instant, high-quality visualization technology can be used for different purposes at different points in the video production pipeline, which is divided into Pre-Production-Post.
  • the game engine can be actively used for story visualization (Pre Vis) or space/equipment simulation (Tech Vis).
  • Pre Vis story visualization
  • Tech Vis space/equipment simulation
  • the planning stage not only the development of content, but also the space, camera movement, and cut editing are implemented in advance, and various issues (set size, movement line, lens angle of view, etc.) are checked in advance.
  • various issues set size, movement line, lens angle of view, etc.
  • the scope of application of virtual reality technology is increasing, such as editing components in a virtual environment through VR Scouting technique or shooting simulation with a virtual camera, centering on movies.
  • state data generated during filming can be utilized. Using this, additional effects or CG elements can be created even after filming is over, and scenes with problems or requiring correction can be corrected more quickly.
  • the core of virtual production technology is the visualization function that synchronizes real space and virtual space to synthesize CG and real-life images in real time or display them on LEDs without a sense of heterogeneity. Accordingly, the terms VR (virtual reality), AR (augmented reality), and XR (extended reality) are sometimes used depending on the type in which CG is synthesized.
  • VR means real-time spatial synthesis based on a chroma key studio.
  • VR-type virtual production technology may be used to simultaneously show a certain person and a virtual space in a third person. That is, through a camera capable of real-time tracking, the same effect as shooting directly in virtual reality can be obtained. This kind of directing is possible because the video synthesized in the virtual space is generated in real time and provided to the camera director and director, enabling immediate judgment and response.
  • AR contrary to VR, it means a method of adding specific graphics on top of a live-action video.
  • CG quality of game engines gradually approaches realism due to the development of rendering technologies such as Realtime Ray Tracing and DLSS, attempts to express physically difficult scenes or costly productions with AR graphics are increasing. there is.
  • special effects such as a new car coming out of the floor or a new building being created can be created.
  • XR In the case of XR, it has been used in earnest since 2020, focusing on non-face-to-face events. Unlike AR or VR, XR synthesizes both distant and foreground views with CG, so it is possible to express as if you are completely in a virtual space. To this end, an LED wall is placed in the background to output a distant scene, and a sense of space is expressed by adding AR graphics in front of the person to be photographed. In addition, it is possible to express as if being in an infinite space by extending the physical boundaries of the LED wall to CG. Compared to chroma key-based shooting, this LED wall-based shooting can express more natural subject colors and has less restrictions on space lighting.
  • AR, VR and XR technologies can be used in various fields such as broadcasting, performances, and movies. Although it is a similar XR technology, there is a difference in its approach when used in event-oriented shooting such as broadcasting and performances, and dramatic video shooting such as movies and dramas.
  • Camera VFX one of the virtual production technologies, means a method of mapping CG reflecting camera movement in a large LED wall space and shooting various scenes by moving the shooting point or changing the space condition.
  • the devices are configured in a form that focuses more on natural spatial lighting and reflection expression based on larger and higher-end LED walls.
  • an integrated control interface capable of instantly changing shooting conditions such as time zone, standby state, and shooting location, or controlling a reflective LED wall or a gimbal for automobiles is required.
  • the system 10 for filming such a virtual production includes a light-emitting diode (LED) wall 100, a camera 200, and a player. 300, a special effect device 400 and a control device 500. In addition, another synthesis device 600 may be additionally included.
  • LED light-emitting diode
  • the LED wall 100 is a huge display device that displays the media reproduced by the player 300 in front in an LED manner, and has a wall shape erected on the floor.
  • the LED wall 100 may include walls of different angles displayed at different angles, or may also include walls displayed from the bottom surface toward the top, but is not limited thereto.
  • the LED wall 100 includes the small unit display 110 divided into n (where n is a natural number of 2 or more) zones. That is, the LED wall 100 implements one large display through the small unit displays 110.
  • the LED wall 100 can display various media according to the type of player 300 . That is, the media reproduced by the player 300 selected by the control device 500 among the plurality of players 300 may be displayed through the LED wall 100 .
  • At least one media of image, video, and camera tracking-linked video may be displayed through the LED wall 100.
  • the camera tracking-linked image is an image whose content is changed by reflecting the location and movement of the camera 200 . That is, when the camera 200 moves from the first position to the second position, the image changes the content type, position, angle, etc. in the image by reflecting the position change.
  • a tracking device that detects the movement and location of the camera 200 transfers the tracking information to the player 300 that reproduces the camera tracking-linked video, and the player 300 displays the linked video based on the received tracking information.
  • play for example, in the case of such a camera tracking-linked video, it may be media produced by an unreal engine, but is not limited thereto.
  • images and videos refer to general still images or moving images, excluding the above-described camera tracking linked images, respectively.
  • the camera 200 is a device for photographing a person (A) or object (O) located in front of the LED wall (100).
  • the location and movement of the camera 200 may be recognized by a tracking device.
  • This tracking information may be delivered to the player 300 that reproduces the camera tracking-linked video, and the player 300 may play a linked video or background video based on the received tracking information.
  • the electronic device includes a desktop personal computer, a laptop personal computer, a tablet personal computer, a netbook computer, a workstation, and a smart phone. , a smart pad, a mobile phone, or a media playback device, but is not limited thereto.
  • the first player may play an image, video, or video linked to camera tracking.
  • one first player may be implemented to play one type of media, but is not limited thereto, and one first player may be implemented to selectively play a plurality of types of media.
  • N player a first player playing a video linked to camera tracking
  • M player a first player playing an image or video
  • the first player may be provided to reproduce each of the n small unit displays of the LED wall 100 .
  • n number of N players may be provided to play divided camera-tracking-linked videos in charge of each sub-unit display.
  • synchronization of camera tracking-linked video between N players is essential.
  • the present invention can more easily, intuitively and integrally control the corresponding synchronization by managing each player based on a timeline through a control program described later.
  • the N player is a player that reproduces the virtual space image displayed on the LED by dividing it into n zones. Accordingly, n number of N players are executed in each of n number of rendering-capable electronic devices (servers), and each N player communicates with the control program in real time and exchanges control signals.
  • servers rendering-capable electronic devices
  • each N player communicates with the control program in real time and exchanges control signals.
  • it may not be a method of simply displaying a large image by dividing it on a large screen.
  • the N player projects the position, angle of view, and focal length of the real camera 200 to the virtual camera as it is, so that the area (frustum) included in the lens of the real camera 200 is higher than other areas.
  • control signals exchanged between each N player and the control program may include the following signals.
  • the second player may be a player that creates augmented reality (AR) and synthesizes or expands the captured image of the camera 200 .
  • AR augmented reality
  • the second player may synthesize the camera tracking-linked AR with the captured image of the camera 200 .
  • This second player may be referred to as “AR player”.
  • the camera tracking-linked AR is an AR image in which contents are changed by reflecting the position and movement of the camera 200 . That is, when the camera 200 moves from the first position to the second position, the content type, position, or angle of the AR may be changed by reflecting the corresponding position change.
  • the captured image of the camera 200 and the tracking information of the tracking device for detecting the movement and location of the camera 200 are respectively delivered to the AR player, and the AR player delivers linked AR based on the received tracking information. It can be combined with the received image taken by the camera 200.
  • it may be media produced by an unreal engine, but is not limited thereto.
  • 19 shows an example of visual production using an AR player.
  • the AR player is a method of synthesizing real-time video and virtual objects by generating real-time rendering CG based on the actual movement of the camera by receiving tracking information and camera-captured video at the same time.
  • real-time data position, angle, lens information
  • the background image of the LED wall 100 is expressed as if it were in the corresponding space according to the gaze of the camera 200, and a completely three-dimensional XR production with an AR object overlaid on it is possible. That is, the virtual background and foreground are visualized at the same time, and the person to be photographed is positioned between them.
  • the special effect device 400 is a device that supports external environmental elements. That is, the external environmental factors are factors related to external environmental effects such as light and weather. In this case, the external environment effect may be a lighting effect, a lightning effect, a sound effect, a wind effect, a fog effect, a snow effect, or a rain effect. These external environmental factors can further improve the reality of the image taken by the camera 200 by giving an external environmental effect to the media displayed on the LED wall 100 . To this end, the special effect device 400 includes at least one of a light device (lighting), a lightning device, a sound device, a wind device, a fog machine, a snow machine, and a rain machine. It may be a single device, and a plurality may be provided to give different external environmental effects. For example, the special effect device 400 may be provided to directly or indirectly give an external environmental effect to a person (A) or object (O) located around the LED wall 100, particularly in front of the LED wall 100. .
  • the special effect device 400 may be provided to directly or
  • the other synthesizing device 600 is a device that drives other image synthesizing programs such as Pixotope and Disguise that synthesize images. This other synthesizing device 600 may be used for additional image synthesis of images taken by the camera 200, if necessary.
  • the control device 500 is a device that controls video shooting of virtual production. That is, the control device 500 controls the player 300 and the special effect device 400 during image shooting of virtual production.
  • control device 500 selects a first player to reproduce media to be displayed on the LED wall 100 and controls playback of the corresponding media for the selected first player.
  • control device 500 may control the operation of the second player so that AR synthesis is performed on the captured image in the media display state of the LED wall 100 by the first player.
  • control device 500 may select at least one special effect device 400 among the corresponding media display on the LED wall 100 according to the playback of the selected first player and control its operation.
  • the operation of the corresponding special effect device 400 may be controlled together with AR synthesis by the second player.
  • FIG. 3 shows a block configuration diagram of the control device 500.
  • the control device 500 is an electronic device capable of computing, and executes a program (hereinafter, referred to as a “control program”) for controlling video shooting in virtual production. As shown in FIG. 3 , the control device 500 may include an input unit 510, a communication unit 520, a display 530, a memory 540, and a control unit 550.
  • the electronic device includes a desktop personal computer, a laptop personal computer, a tablet personal computer, a netbook computer, a workstation, and a smart phone. , a smart pad, or a mobile phone, but is not limited thereto.
  • the input unit 510 generates input data in response to various user inputs and may include various input means. For example, input data input through a user interface (UI) of a control program may be generated, and the corresponding input data may be transmitted to the control unit 550 .
  • UI user interface
  • the input unit 510 may include a keyboard, a key pad, a dome switch, a touch panel, a touch key, a touch pad, and a mouse. (mouse), menu button (menu button), etc. may be included, but is not limited thereto.
  • the communication unit 520 is a component that communicates with other devices such as the player 300, the special effect device 400, other synthesis devices 600, terminals, and servers. For example, the communication unit 520 may transmit control information set through the user interface (UI) of the control program to the selected first player, second player, or special effect device 400 . Also, the communication unit 520 may receive control information set in a terminal or a server. Also, the communication unit 520 may receive image information of the first player, second player, or other synthesizing device 600 being reproduced, or state information about the special effect device 400 being operated.
  • UI user interface
  • the communication unit 520 may perform 5th generation communication (5G), long term evolution-advanced (LTE-A), long term evolution (LTE), Bluetooth, bluetooth low energy (BLE), near field communication (NFC), Wireless communication such as WiFi communication or wired communication such as cable communication may be performed, but is not limited thereto.
  • 5G 5th generation communication
  • LTE-A long term evolution-advanced
  • LTE long term evolution
  • BLE Bluetooth low energy
  • BLE Bluetooth low energy
  • NFC near field communication
  • Wireless communication such as WiFi communication or wired communication such as cable communication may be performed, but is not limited thereto.
  • the display 530 displays various image data on a screen, and may be composed of a non-emissive panel or a light-emitting panel.
  • the display 230 may display a user interface (UI) of a control program.
  • the display 230 can display video information of the first player or the second player being reproduced, displaying video information of another synthesizer 600, or displaying state information of the special effect apparatus 400 in operation. can
  • the display 530 may include a liquid crystal display (LCD), a light emitting diode (LED) display, an organic LED (OLED) display, and a micro electromechanical system (MEMS). mechanical systems) display, or electronic paper (electronic paper) display, etc. may be included, but is not limited thereto.
  • the display 530 may be combined with the input unit 510 and implemented as a touch screen or the like.
  • the memory 540 stores various types of information necessary for the operation of the control device 500 .
  • the storage information of the memory 540 includes a user interface (UI) of a control program, control information set through a terminal or server, image information of a first player or a second player being played, and an image of another synthesizing device 600 Information, state information of the special effect device 400 in operation, control program information, information related to a control method to be described later may be included, but is not limited thereto.
  • the memory 540 may be of a hard disk type, a magnetic media type, a compact disc read only memory (CD-ROM), or an optical media type according to its type. ), magneto-optical media type, multimedia card micro type, flash memory type, read only memory type, or RAM type (random access memory type), etc., but is not limited thereto.
  • the memory 540 may be a cache, buffer, main memory, auxiliary memory, or a separately provided storage system depending on its purpose/location, but is not limited thereto.
  • the controller 550 may perform various control operations of the control device 500 . That is, the control unit 550 may control the execution of a control program stored in the memory 540 and a control method to be described later, and the rest of the components of the electronic device 100, that is, the input unit 510, the communication unit 520, and the display. 530, memory 540, etc. can be controlled.
  • control unit 550 may include at least one processor that is hardware, and may include a process that is software executed by the corresponding processor, but is not limited thereto.
  • FIG. 4 shows an example of a schematic operation configuration diagram of a control program
  • FIGS. 5 and 6 show an example of a user interface (UI) of the control program displayed on the display 530 .
  • FIG. 7 shows another example in which the second timeline 722 is enlarged
  • FIG. 8 shows a task list (L1) related to FIG. 7 and a Properties window (P2) for a specific task or task bundle. represent each.
  • UI user interface
  • the operation of the control program is controlled through at least one processor of the control unit 550, and the connection object unit 710, the setting unit 720 and the playback control unit 730 Including, the user interface (UI) is displayed through the display 530.
  • UI user interface
  • connection object unit 710 is a component that manages the connection of the external player 300, special effect device 400, and other synthesis device 600 based on the network, and is an object connected 1: 1 with each device .
  • the connection object unit 710 is also indicated as “Sync Point”.
  • connection object unit 710 is exclusively responsible for connection with multiple players 300 playing different media. Accordingly, a plurality of connection object units 710 are provided to correspond to the number of players 300 .
  • connection object unit 710 is provided to be exclusively responsible for each of the first and second players.
  • a connection object unit 710 exclusively responsible for the N player, the C player, and the M player, respectively, is provided.
  • n number of connection object units 710 in charge of each of the N players are provided.
  • connection object unit 710 when the number of players 300 increases due to the increase in the number of required media, the connection object unit 710 also increases accordingly. At this time, the object unit 710 transmits and receives information about connection, state sharing, and control signals with each player 300 through a plug-in installed in each player 300 .
  • connection object unit 710 may be provided to exclusively take charge of connection with each special effect device 400 and other synthesis device 600, respectively. That is, each special effect device 400 provides several universal communication methods (tcp, udp, serial, osc, dmx) to enable control through protocols supported by the device, and the connection object unit 710 It can be connected to each special effect device 400 using a communication method. In addition, in the case of the other synthesizing device 600, the flow of a timeline or the call of an interaction event is possible through a separate plug-in.
  • each connection object unit 710 can be collectively defined in the connection manager. That is, commands generated from various options or task bundles defined on a timeline to be described later are delivered to the corresponding connection object unit 710 via a connection manager, and the corresponding connection object unit 710 is connected thereto. By transmitting the corresponding options and commands to the player 300, various operation controls according to the corresponding options and commands are reflected in the media played in the player 300.
  • the reason for connecting and managing each player 300, each special effect device 400, and other synthesizing device 600 through the dedicated connection object unit 710 is as follows.
  • connection object unit 710 By defining different types of devices as the same level concept of the connection object unit 710 and providing a similar interface, the user can easily and clearly understand and manage the structure (ie, easy to establish a mental model).
  • Each connection object unit 710 is displayed to be listed in the same way in the Sync Point list (L1) of the user interface (UI), and when one is selected by the user, by type (XR Player , TCP, DMX, etc.) slightly different information and function buttons may be provided.
  • connection object unit 710 By simplifying the connection with each player 300 so that a dedicated connection object unit 710 is in charge and allowing special functions or characteristics to be defined as separate APIs or variables, the type of connection object unit 710 is added or functions Even if it grows, it is simply scalable.
  • Various settings or options (ip/port, color correction, quality, tracking correction value, current lens, etc.) of the media played in the player 300 are all stored in the dedicated connection object unit 710 for the player 300. stored and managed.
  • the playback control unit 730 is a component provided to the user interface (UI) to manipulate playback or not. That is, the play control unit 730 may include a play button for performing a play operation along the time information of the first and second time lines 721 and 722 and a stop button for stopping the play operation.
  • a playback target point (PT) representing the current playback time is displayed across the first and second time lines 721 and 722 . That is, when a play button is input, the play target point PT moves to the right from the corresponding time along the time information of the first and second time lines 721 and 722, and a corresponding play operation is performed. Also, when the stop button is input, the playback operation is stopped at the current playback time of the playback target point PT.
  • control unit 550 transmits various control settings set in the first and second timelines 721 and 722 and the current playback time of the playback target point (PT) to the corresponding player, through the dedicated connection object unit 710.
  • the special effect device 400 or other compositing device 600 time-sequential control for them can be performed. That is, during a playback operation according to an input to the playback button of the playback control unit 730, each player 300, special effect device 400, or other synthesizing device receiving the corresponding information through the dedicated connection object unit 710
  • Step 600 performs a time-sequential operation reflecting various control settings set in the first and second time lines 721 and 722 and the current playback time of the playback target point PT.
  • a task that operates the same as the input to the play button or stop button of the play control unit 730 or a task bundle including such a task may be added at some point in the second timeline 722 to be described later.
  • the setting unit 720 is a component provided to the user interface (UI) for various settings.
  • a setting unit 720 may be provided. Referring to FIG. 5 , this setting unit 720 includes a first time line 721 , a second time line 722 and an annotation unit 723 . Also, the setting unit 720 may include a first control setting unit, a second control setting unit, and a third control setting unit.
  • the first timeline 721 is provided on the user interface (UI) for easy identification of settings for each player 300, each setting according to a playback operation, and a playback target point (PT). At this time, one first time line 721 is generated for each player 300 so as to be divided for each player 300 .
  • each first timeline 721 is displayed in the form of a time series layer (that is, a form in which a plurality of frames are arranged according to time), and each frame is applied only to a specific time in a small unit or continues to be applied from that specific time. It shows the setting part for the corresponding player 300 to be. That is, it is possible to set the corresponding player 300 in a specific frame according to user input.
  • types set in units of frames in the first timeline 721 include color adjustment settings or weather condition settings.
  • a circle-shaped key point (or key frame ) was added.
  • color adjustment settings for media played in the corresponding player or weather conditions can be set.
  • the corresponding frame It is possible to make detailed settings for color adjustment that is applied only at a specific time of the day or continuously from that specific time.
  • the color adjustment setting may change color elements such as hue, saturation, brightness, color temperature, or color filter for the corresponding media.
  • a weather condition (clear, cloudy, rain, etc.) that is continuously applied only at a specific time or from the specific time may be selected for the media played in the corresponding player through the first control setting unit.
  • various color elements are preset to different values according to weather conditions, and corresponding preset values are applied according to weather conditions selected according to user input. For example, in the case of “clear”, it may be set in advance to increase the brightness of the corresponding medium.
  • various settings may be possible for the first timeline 721 while adding key points.
  • the controller 550 transfers various control settings according to key points and information about the current playback time of the first timeline to the corresponding player 300 through the dedicated connection object unit 710 . Through this, the controller 550 can control the corresponding player 300 to perform a time-sequential operation reflecting the corresponding control setting and the current playback time.
  • the controller 550 transfers various control settings according to key points and information on the current playback time (common time) of the first timeline to the corresponding n players 300 through each dedicated connection object unit 710. do. Through this, the controller 550 controls each media of the n sub-unit displays 110 reproduced according to the current playback time (common time) indicated by the playback target point PT to be synchronized, but also performs a corresponding time-sequential operation. You can control it.
  • the second timeline 722 is provided on the user interface (UI) for easy understanding of settings for each task and each setting and playback target point PT according to a playback operation.
  • the second timeline 722 is displayed in the form of a time series layer (that is, a form in which a plurality of frames are arranged according to time), and each frame is applied only to a specific time in a small unit or continues to be applied from that specific time.
  • the first and second time lines 721 and 722 are time series layers according to the same time information (time head).
  • the task is a caller divided into a single instruction unit.
  • a series of tasks are gathered to form a task bundle.
  • the tasks include a first task that is a command for controlling the motion of a certain special effect device 400 according to a user's input, and a second task that is a command for controlling the motion of a certain player 300 .
  • a task can include a control program's own API call command, an external function call command, a command for delay, a command for changing or initializing shared values, and a command for calling other task bundles within a specific task bundle. there is.
  • the first task is to perform a control operation for a corresponding external environmental effect on at least one of a light device, a lightning device, a sound device, a wind device, a fog machine, a snow machine, and a rain machine. It can be a calling command. That is, the first task may be a command for starting, adjusting the intensity of an effect, or stopping a corresponding external environmental effect.
  • the control unit 550 connects the first task or task bundle including the first task set at a certain point in the second timeline 722 and the current playback time of the playback target point PT to the dedicated connection object unit 710. It is transmitted to the corresponding special effect device 400 through. Through this, the control unit 550 can control the operation of the first task or task bundle including the first task at each corresponding point in time (ie, time-sequential operation).
  • the second task may be a control command for a timeline or a command for invoking an interaction event.
  • the control command for the timeline is a movement command for moving the playback target point (PT) from one point to another (referred to as “Goto”), and a play command (that is, an action such as inputting a play button) is performed.
  • a play command that is, an action such as inputting a play button
  • It may be a command to be executed, also referred to as “”), a stop command (a command to perform an operation such as when a stop button is input, referred to as “”), and the like.
  • it may be a command including a plurality of control operations, such as a “Go And Stop” command indicating stop after moving and a “Go And Play” command indicating play after moving.
  • the interaction event call refers to calling a specific interaction defined in the content being reproduced in a certain player 300 (for example, calling the appearance, change, or disappearance of specific content).
  • N players or AR players are developed based on a real-time rendering method, unlike general videos, and have the characteristics of freely adjusting the state at a desired time similar to a game, so these interaction event calls are broadcast or It can be usefully used for integrated control of distributed media during performances.
  • the control program of the controller 550 can start the corresponding effect at a desired time through an interaction call function. there is.
  • an interaction event call it is possible to set various options such as the type, strength, and frequency of the interaction in addition to a simple call (Start/Stop). For example, in the case of a rain effect, the intensity of rain can be set, and in the case of a lightning effect, the intensity or duration of lightning can be set.
  • the control program of the controller 550 can call interaction events for several players at the same time, and accordingly, various contents constituting the display on the large LED wall 100 can simultaneously visualize the same effect.
  • the control unit 550 connects the second task or task bundle including the second task set at a certain point in the second timeline 722 and the current playback time of the playback target point PT to the dedicated connection object unit 710. It is delivered to the corresponding player 300 or other synthesis device 600 through. Through this, the controller 550 can control the operation of the second task or the task bundle including the second task at each corresponding time point (ie, time-sequential operation).
  • a task bundle is a concept that bundles tasks that must be called simultaneously at a specific point in time into one unit. That is, the task bundle is a command that simultaneously calls a plurality of tasks selected from among the first task, the second task, and the remaining tasks.
  • These task bundles can be divided into a first task bundle that is provided as default in various types, and a second task bundle that is newly defined by selecting a combination of the first and second tasks from among the first and second tasks. .
  • the first task bundle is a predefined general-purpose task bundle, and several tasks are included therein, but editing by the user is not allowed.
  • the second task bundle is a task bundle in which the user freely configures and edits the arrangement of various tasks.
  • a function that can be simply called by defining it as one bundle is a task bundle. That is, it is possible to simplify and process the control of the player 300 and the calling of multiple tasks through task bundles.
  • the first and second task bundles are divided into different second timelines 722, and the user interface (UI) It may be desirable to display in That is, in FIG. 5, the second timeline 722 of 'Built-in' corresponds to the timeline of the first task bundle, and the second timeline 722 of 'User Defined' corresponds to the timeline of the second task bundle. corresponds to the line
  • the types of applicable tasks or task bundles may be separately displayed on the user interface UI through the task list L1.
  • a specific task or task bundle selected from the task list L1 according to a user input may be added to a point desired by the user in the second timeline, as shown in FIGS. 5 and 7 .
  • the Properties window (P2) of FIG. 7 detailed settings for the adjustment of the added task or task bundle (setting for detailed time points, etc.) are possible.
  • a task or task bundle may be called in various ways. Basically, you can add a caller to the second timeline 722 so that it is called automatically at a specific point in time.
  • a specific task or task bundle may be executed in real time by clicking on an item of the task list L1 or by inputting a preset key of a keyboard or an external MIDI device.
  • a specific task or task bundle may be executed remotely using a terminal connected to the control device 500 .
  • FIG. 9 illustrates an example of a process of authoring (creating) a second task bundle
  • FIG. 10 illustrates an example of a user interface (UI) provided to author (create) a second task bundle.
  • UI user interface
  • the core of task bundles is to simplify complex and repetitive processes.
  • the hierarchy of information may be divided into two stages: a task and a second task bundle, and a linear node-based editing UI may be provided.
  • a task and a second task bundle may be divided into two stages: a task and a second task bundle, and a linear node-based editing UI may be provided.
  • a linear node-based editing UI may be provided.
  • users can quickly understand the flow of events and reorganize nodes (add, delete, change order, etc.).
  • each node can select whether or not to execute through the upper left check box.
  • the basic structure of a node may be composed of messages, parameters, and targets, and may be displayed slightly differently according to node characteristics.
  • Shared Value is a kind of variable that can be used in control programs. For example, if the text to be displayed on the screen is flexible (person's name, score, election result, etc.), the value of the item can be saved or changed while the corresponding item is created in Share Value according to the user's input. In addition, the changed text can be displayed on the screen by sending the value in real time to a visualization player developed with a game engine, such as N player or AR player.
  • the reason why Share Value is created and managed separately is that XR shooting uses real-time rendering-based content that can be expressed differently depending on conditions or change the result of interaction, unlike general video. That is, the control program of the present invention that controls content manages changeable options as Share Values and provides a function to manipulate (value change, initialization, etc.) the corresponding values through tasks. Through this, flexible interaction control is possible.
  • the annotation unit 723 is a configuration for displaying a speech bubble containing situation information about a certain point in time of the first timeline 721 or the second timeline 722 in the user interface (UI), indicating the corresponding point in time. part can be displayed.
  • time information of the first and second time lines 721 and 722 may be displayed in the display area.
  • 'start' and '3-1 Cretaceous period' annotations 723 are displayed at corresponding points in the time information of the first and second time lines 721 and 722, respectively.
  • annotation part 723 such as 'start', detailed settings for the annotation word, setting time, etc. can be made through the Properties window P3 of FIG. 6 .
  • the annotation part 723 may be used as a substitute for time when referring to a specific point on the first and second time lines 721 and 722 . Accordingly, the annotation part 723 is sometimes used to move the reproduction target point PT.
  • the reproduction target point PT moves to the viewpoint of the corresponding annotation part <23>.
  • the comment part 723 of “3-1 Cretaceous Period” is clicked, the playback target point (PT) at a different time point moves to the time point corresponding to the comment part 723 of “3-1 Cretaceous Period”.
  • an annotation list (not shown) containing information about the annotation unit 723 may be separately displayed on the user interface (UI).
  • the reproduction target point 723 moves to the viewpoint of the corresponding annotation part 723 .
  • the playback target point PT at another time is moved to the time corresponding to the comment part 723 of “start”.
  • the first task includes a move command (Goto) for moving the playback target point (PT) to a certain point in time, and when the move command (Goto) is called, a unique ID of a comment part 723 is referred to. , the reproduction target point (PT) can be moved to the point of time indicated by the annotation part 723 of the corresponding unique ID.
  • a move command for moving the playback target point (PT) to a certain point in time
  • a unique ID of a comment part 723 is referred to.
  • the reproduction target point (PT) can be moved to the point of time indicated by the annotation part 723 of the corresponding unique ID.
  • Goto(comment ID) can be used instead of Goto(time).
  • Goto (time) is a command to move the playback target point (PT) to the corresponding time
  • Goto (comment part ID) is a command to move the playback target point (PT) to the viewpoint of the annotation part 723 of the corresponding ID. am. Accordingly, even when the contents and time of the timeline are changed, it is possible to respond only by moving the time of the annotation part 723 without additional modification of the task. That is, there is an advantage of easy editing when contents are changed.
  • FIG. 12 shows an example of a system 10 for filming historical dramas (outdoor scenes).
  • FIG. 13 and 14 show an example of setting a control program in FIG. 12
  • FIG. 15 shows an example of setting a task bundle in FIG. 12
  • FIG. 14 shows an example of the first control setting unit.
  • the state of the media image displayed on the LED wall 100 must be changed from clear weather to cloudy weather.
  • an interaction event in which lightning strikes must be called at a specific point in time
  • special effect devices 400 such as a light device, a lightning device, a wind device, and a fog machine must also be operated at a specific point in time.
  • the three N players and each special effect device 400 in charge of visualizing the LED wall 100 are connected to the control program of the control unit 550 and are integrated and controlled.
  • the set value of the input key point is immediately shared with three N players through each dedicated connection object unit 710, and the image of the LED wall 100 shows clear weather according to the time when the time line of the control program is played. It transitions from a scene in the background to a cloudy, lightning strike atmosphere.
  • each special effect device 400 such as a light device, a lightning device, a wind device, and a fog machine
  • a dramatic atmosphere can be created more naturally.
  • connection object unit 710 is created for each special effect device 400 such as a light device, a lightning device, a wind device, and a fog machine, and each connection method (protocol) is designated.
  • a light device can be mainly controlled through UDP-based Artnet, and most other devices can be controlled through serial communication.
  • the plurality of special effect devices 400 registered in the control program can be independently controlled by transmitting desired signals or values.
  • SunMood_1 is a command for expressing sunny weather
  • CloudMood_1 and CloudMood_2 are commands for expressing different inclement weather.
  • the configuration of detailed commands included in each task bundle is as shown in FIG. 15 .
  • interaction 1 it may be an effect of blowing leaves on content
  • interaction 2 may be an effect of executing a sound of lightning.
  • the above-described task bundle may be generated by being selected from task bundles provided as a default, or may be separately selected and generated by a user in addition to the default.
  • the task bundle created in this way may be automatically called according to time by placing it at a main point where a state is switched on the second timeline of the control program.
  • the timeline is simultaneously played according to inputs such as the resume button, and the content and devices arranged in the filming location are collectively controlled at a fixed time by the key points and task bundles arranged on the first and second timelines. do.
  • the called timing or options can be immediately modified and reflected in the control program.
  • the method of the present invention that is automatically called by the timeline has the advantage of always making the same shooting environment conditions.
  • the above-described first control setting unit such as P1 or P1' is an interface provided to the user to change the setting value of the key point added on the first timeline 721 .
  • each key point added on the first timeline 721 is selected and color adjustment or weather (atmosphere) state (eg, sun position, fog level, amount of clouds) etc. can be set differently.
  • color adjustment or weather (atmosphere) state eg, sun position, fog level, amount of clouds
  • the set (changed) value for each key point defined as a time series is visualized through the corresponding player 300 . That is, the key point data transmitted to the corresponding player 300 is again separated into time series and displayed as a set value changed according to the progression of the time line of the player 300 synchronized with the time line of the control program.
  • Color adjustment and atmospheric conditions are managed through key points added on the timeline, and key point data is stored inside the connection object unit 710 responsible for dedicated connection with each player 300. . That is, when a specific player 300 accesses the connection object unit 710 of the control program, the set value of the entire key point for the player 300 is transmitted to the player 300 through network communication, and the set value The configuration of is synchronized between the control program and the corresponding flare 300. Then, when the location of the key point is changed or the set value is modified, only the corresponding information is transmitted to the player 300 and reflected as soon as the change is completed.
  • key point data in the connection object unit 710 can be transmitted to the ColorTone manager through the External Event class of the plug-in of the corresponding player 300 .
  • the key point data converted into the player 300's own type may be stored in the Key List array.
  • Application of key point data can be periodically reflected by a timer set to 100msec.
  • postprocess setting values can be changed with color correction information in the key point once every 0.1 second, and atmospheric state (sky, sun, cloud) information can be sent to UltraSkyManager and changed in real time.
  • the second control setting unit is provided to the user to selectively interlock between key points on the first timeline and connection object units, or to set specific states or modes of each connection object unit 710. It is an interface.
  • the values handled here are not managed in time series unlike key points on the timeline. That is, the set value in the second control setting unit is not a value that changes over time, and may be for control setting to correct position, angle, lens information, etc. of a region played by each player.
  • the second control setting unit values to be set differently for each player according to the user's judgment during shooting, such as player mode selection, frustum size, aperture value, motion blur strength, etc.
  • the second control setting unit may provide a function of changing the current shooting position or direction of the tracking camera in real time in virtual space through the Stage window and storing the value as a preset.
  • the second control setting unit can be used for visualization purposes for the LED wall 100 for a reflector by changing the gaze direction, location, sensor size, etc. of the camera in real time.
  • FIG. 17 shows an example of a third control setting unit
  • FIG. 18 shows an example of a lens calibration process.
  • the third control setting unit provides an interface for lens calibration for synchronizing a physical lens and a virtual lens. That is, the basic function of virtual production is to transmit position, angle, and lens information of the physical camera 200 moving in real space to game content through a tracking device and to synchronize it with virtual reality graphics. To this end, a process of matching information corresponding to the angle of view, focal length, and distortion of the lens to the lens of the actual camera 200 is required. Accordingly, as shown in FIG. 18, a chart viewer program that displays a virtual chart, a lens calibration interface (third control setting unit), and an AR player are required.
  • a grid is displayed on a separate large display (eg, large TV, etc.) through a chart viewer program.
  • a chart of the size corresponding to the angle of view is automatically drawn through the corresponding display.
  • an accurate angle of view value may be defined by matching the size of the grid drawn in the AR player's virtual space with the size of the chart.
  • a focus setting point may be created by dividing a section within each angle of view and a distance may be defined, and a weight may be assigned to the angle of view for each focus distance.
  • a correction value capable of correcting lens distortion may be set for each focus setting point.
  • FIG. 11 is an operation flowchart of a control method according to an embodiment of the present invention.
  • the control method according to an embodiment of the present invention may be controlled by the controller 550 of the control device 500, and includes S10 to S30 as shown in FIG. 11 .
  • S10 is a step in which the control unit 550 sets up a plurality of connection object units 710 exclusively responsible for connection with a plurality of external players 300 playing different media.
  • a dedicated connection object unit 710 for the special effect device 400 or other synthesis device 600 may also be set.
  • the player 300, the special effect device 400, the other synthesis device 600, and the connection object unit 710 have already been described above, a detailed description thereof will be omitted below.
  • S20 is a step of performing control setting for the control setting unit.
  • the control unit 550 divides each player 300 into a plurality of first timelines 721 displayed on the user interface (UI) in the first timeline 721 according to the user's input. It is possible to perform time-sequential control settings for each player 300 (ie, control settings for the first control setting unit).
  • time-sequential control settings may also be performed for the second time line 722 in addition to the first time line 721 .
  • other control settings may be performed for the first or second control setting unit in addition to the first control setting unit.
  • first and second timelines 721 and 722 time-sequential control settings for them, and control settings for the first to third control setting units have already been described above, detailed descriptions thereof will be given below. omit it.
  • the control unit 550 transfers information about the control setting in S20 and the current playback time of the first and second timelines 721 and 722 to the corresponding player 300 through the dedicated connection object unit 710. This is a step of controlling the time-sequential operation of the corresponding player 300 reflecting the corresponding control setting and the current playback time by transmitting to .
  • the current playback time of may be transmitted to the corresponding special effect device 400, the player 300, or another synthesizing device 600 through a dedicated connection object unit 710, respectively.
  • the operation of the first task, the second task, the task bundle including the first task, or the task bundle including the second task at each corresponding time point may be controlled.
  • the control unit 550 may control operations according to control settings of the first or second control setting unit, in addition to the control settings of the first control setting unit.
  • the above method may be executed by loading a program into the memory 540 and executing a program under the control of the controller 550 .
  • These programs may be stored in the memory 540 of various types of non-transitory computer readable media.
  • the non-transitory computer readable medium includes a recording medium (tangible storage medium) having various types of entities.
  • non-transitory computer readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROM (read only memory), CD-R, CD-R/W, semiconductor memory (e.g., mask ROM, programmable ROM (PROM), erasable PROM (EPROM), flash ROM, random access memory (RAM)), It is not limited to this.
  • the program may be supplied by various types of transitory computer readable media.
  • the transitory computer readable medium may include, but is not limited to, electrical signals, optical signals, and electromagnetic waves. That is, the temporary computer readable medium may supply the program to the control unit 550 through a wired communication path such as a wire or an optical fiber or a wireless communication path.
  • the present invention configured as described above can provide a timeline-based integrated production control technology that effectively integrates segmented video shooting technology and separate equipment for video shooting of virtual production and controls them in a consistent and simple manner.
  • This invention has the following main features.
  • the timelines of several players can be synchronized with the timeline of the control program, and integrated control can be performed precisely at the level of milliseconds (1/1000th of a second) at a desired point in time.
  • integrated control can be performed precisely at the level of milliseconds (1/1000th of a second) at a desired point in time.
  • XR content In the case of XR content, it focuses on time-series content in which the content evolves over time, just like general videos. However, it also has a characteristic like a game in which certain contents can be changed in real time at a desired time according to the characteristic of real-time rendering. For example, the weather in the virtual space can be changed or an explosion effect can be invoked at a specific point in time. Therefore, a function of calling a specific interaction event at a desired time beyond synchronizing and controlling the main timeline of each play is also required, and the present invention can provide such a function.
  • a command can be planted at a specific point in time on the time line to be called in time series or manually executed immediately through a keyboard or a MIDI device.
  • interaction control it is possible to set much more diverse options such as type, intensity, frequency, etc., rather than simple On/Off, unlike video.
  • the present invention relates to a technology related to filming of virtual production, and provides a user interface that can easily, intuitively and integrally control a number of complex filming elements at a virtual production filming site, so that even users who lack knowledge necessary for virtual production can easily Since it provides operational virtual production-related technology, it has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 장치는 미디어가 발광 소자(light-emitting diode; LED) 벽체의 전방으로 표시되는 상태에서 상기 LED 벽체의 전방에 위치한 인물 또는 사물을 카메라로 촬영하는 버추얼 프로덕션(virtual production)의 영상 촬영에 대한 제어 장치로서, 디스플레이; 및 버추얼 프로덕션의 영상 촬영 제어를 위한 프로그램을 실행하며, 상기 프로그램의 사용자 인터페이스를 상기 디스플레이에 표시하는 적어도 하나의 프로세서;를 포함한다.

Description

버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템 및 방법
본 발명은 영상 촬영 기술에 관한 것으로서, 더욱 상세하게는 버추얼 프로덕션(virtual production) 기반의 영상 촬영에서 다양한 촬영 요소들을 통합적으로 제어하기 위한 기술에 관한 것이다.
최근 코로나로 인해 국가 간 이동과 사람들의 모임이 제한되면서 가상 현실(virtual reality) 기반의 비대면 기술에 대한 관심이 커지고 있다. 이러한 추세에 따라, 방송, 영화, 공연 등의 영상 제작 분야에서도 버추얼 프로덕션(virtual production) 기술을 도입하는 시도들이 늘고 있다.
이때, 버추얼 프로덕션은 실시간 그래픽 렌더링(Real-time graphics rendering)과 카메라 트래킹(camera tracking) 기술을 기반으로 한 즉각적인 시각화와 영상 합성이 가능한 영상 촬영 기술로서, 영상 제작 공정의 효율성과 품질을 제고할 수 있는 기술이다. 가령, 버추얼 프로덕션은 영상 촬영 현장에서 카메라 움직임이 반영된 그래픽을 다양한 형태로 시각화 하여 실시간으로 카메라의 실사 영상과 합성하는 개념으로 사용될 수 있다.
이러한 버추얼 프로덕션은 주로 실내에서 이루어져 촬영 공간, 시간, 날씨 등의 제약을 줄일 수 있고, 복합적인 요소들이 동시적으로 촬영될 수 있어 영상 제작의 후반 작업(post production)의 시간을 줄일 수 있으므로, 영상 제작의 생산성 향상을 도모할 수 있는 장점이 있다.
하지만, 이러한 장점에도 불구하고, 버추얼 프로덕션은 실제 도입하고 활용하기에는 여러 어려움들이 존재한다. 즉, 버추얼 프로덕션은 여러 복합적인 기술들이 어우러진 융합 기술이므로, 이를 활용하는 영상 제작자에게 영상 제작에 관련된 다양한 영역 기술에 대한 폭넓은 이해가 요구된다.
특히, 종래의 영상 제작 현장과 비교할 때, 버추얼 프로덕션의 촬영 현장(즉, 버추얼 프로덕션 스튜디오)의 경우, 복잡성은 커지고 각종 장치들에 대한 종합적인 통제는 더욱 어려운 양상을 띈다. 또한, 종래의 버추얼 프로덕션 솔루션의 경우, 주로 영상의 실시간 합성에 초점을 맞추고 있으므로, 촬영 전반에 대한 통합 제어나 추가적인 기능 확장이 어려운 문제점이 있다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 버추얼 프로덕션의 촬영 현장에서 복잡한 다수의 촬영 요소들을 쉽고 직관적이며 통합적으로 제어 가능한 사용자 인터페이스를 제공함으로써, 버추얼 프로덕션에 필요한 지식이 부족한 사용자라 하더라도 쉽게 운용 가능한 버추얼 프로덕션 관련 기술을 제공하는데 그 목적이 있다.
또한, 본 발명은 시계열적 제어를 기반으로 다양한 유형의 미디어 간 동기화와 특정 미디어에 대한 인터랙션(interaction) 제어가 가능한 버추얼 프로덕션 관련 기술을 제공하는데 그 다른 목적이 있다.
또한, 본 발명은 서로 다른 미디어들에 대한 제어뿐 아니라, 외부 환경을 연출하기 위한 다수의 특수 효과 장치에 대한 제어를 통합적으로 제공하는 버추얼 프로덕션 관련 기술을 제공하는데 그 다른 목적이 있다.
또한, 본 발명은 특정 시점에 동시에 실행되어야 하는 여러 명령들을 단일 명령 그룹으로 일원화하여 시계열 또는 임의의 행위로 호출할 수 있는 버추얼 프로덕션 관련 기술을 제공하는데 그 다른 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 제어 장치는, 이미지, 비디오 및 카메라 트래킹(camera tracking) 연동 영상 중 적어도 하나의 미디어가 발광 소자(light-emitting diode; LED) 벽체의 전방으로 표시되는 상태에서 상기 LED 벽체의 전방에 위치한 인물 또는 사물을 카메라로 촬영하는 버추얼 프로덕션(virtual production)의 영상 촬영에 대한 제어 장치로서, 디스플레이; 및 버추얼 프로덕션의 영상 촬영 제어를 위한 프로그램을 실행하며 상기 프로그램의 사용자 인터페이스를 상기 디스플레이에 표시하는 적어도 하나의 프로세서;를 포함한다.
상기 프로그램은, 서로 다른 미디어를 재생하는 외부의 다수 플레이어와의 연결을 각각 전용으로 담당하는 다수의 연결 객체부; 및 상기 플레이어 별로 구분되어 상기 사용자 인터페이스에 시계열의 레이어 형태로 표시되는 다수의 제1 타임 라인과, 사용자의 입력에 따라 상기 제1 타임 라인에서의 상기 각 플레이어에 대한 시계열적 제어 설정을 위한 제1 제어 설정부와, 제1 타임 라인 상의 키 포인트와 연결 객체부 간의 선택적인 연동이나 연결 객체부의 상세 상태 또는 모드에 대한 제어 설정을 위한 제2 제어 설정부를 각각 포함하는 설정부;를 포함할 수 있다.
상기 적어도 하나의 프로세서는 상기 제어 설정과 상기 제1 타임 라인의 현재 재생 시간에 대한 정보를 상기 전용의 연결 객체부를 통해 해당 플레이어로 전달하여, 상기 제어 설정 및 현재 재생 시간을 반영한 상기 다수 플레이어의 시계열적 동작을 제어할 수 있다.
상기 제1 제어 설정부의 제어 설정은 사용자 입력에 따라 상기 제1 타임 라인 상의 어느 시점에서 어느 플레이어에서 재생되는 미디어에 대한 색상 조정 설정 또는 날씨 상황 설정을 포함할 수 있다.
상기 다수 플레이어는 상기 LED 벽체에 표시되는 미디어를 n개(단, n은 2이상의 자연수) 구역을 나눠 제어 신호에 따라 재생하는 각 플레이어를 포함할 수 있다.
상기 제2 제어 설정부는 각 플레이어가 재생하는 구역에 대한 위치, 각도 및 렌즈 정보를 보정하는 제어 설정이 가능하다.
상기 제어 신호는 실제 카메라의 위치, 화각 및 포커스 거리를 가상 카메라에 투영하여 실제 카메라의 렌즈에 담기는 영역인 프러스텀을 다른 영역 보다 높은 해상도로 시각화하기 위한 제어 수치를 포함한다.
상기 제어 수치는 플레이어의 연결 여부의 체크 값, 플레이어와 연결된 렌즈 데이터의 키 값, 고정 카메라의 위치 값과 방향 값 및 트래킹 데이터 보정 값을 포함할 수 있다.
상기 설정부는 상기 n개 구역을 나눠 재생하는 n개 플레이어에 대한 각각의 상기 제1 타임 라인을 n개 포함할 수 있다.
상기 적어도 하나의 프로세서는 n개의 상기 제1 타임 라인에의 시간을 따라 재생되는 n개 구역의 각 미디어를 동기화하여 재생할 수 있다.
상기 다수 플레이어는 카메라 트래킹에 따라 연동되는 증강현실(augmented reality; AR)을 해당 카메라의 촬영 영상에 합성하거나 확장시키는 플레이어를 더 포함할 수 있다.
상기 다수의 연결 객체부는 외부 환경 요소를 지원하는 외부의 다수 특수 효과 장치와의 연결에 대해서도 각각 전용으로 담당하도록 마련될 수 있다.
상기 설정부는 사용자의 입력에 따라 어느 특수 효과 장치의 동작 제어에 대한 명령인 제1 태스크(task)에 대한 어느 시점에서의 호출 설정이 가능하도록 상기 사용자 인터페이스에 시계열의 레이어 형태로 표시되는 제2 타임 라인을 더 포함할 수 있다.
상기 적어도 하나의 프로세서는 상기 호출 설정을 상기 전용의 연결 객체부를 통해 해당 특수 효과 장치로 전달하여, 해당 시점에서의 상기 제1 태스크의 동작을 제어할 수 있다.
상기 특수 효과 장치는 라이트 장치, 번개 장치, 음향 장치, 바람 장치, 포그 머신(fog machine), 스노우 머신(snow machine) 및 레인 머신(rain machine) 중 적어도 하나를 포함할 수 있다.
상기 설정부는 사용자 입력에 따라 상기 제2 타임 라인 상의 어느 시점에서 어느 플레이어의 동작 제어에 대한 명령인 제2 태스크의 호출 설정이 가능하다.
상기 적어도 하나의 프로세서는 상기 제2 태스크의 호출 설정을 상기 전용의 연결 객체부를 통해 해당 플레이어로 전달하여, 해당 시점에서의 상기 제2 태스크의 동작을 제어할 수 있다.
상기 설정부는 사용자의 입력에 따라 상기 제2 타임 라인 상에서 태스크 번들(task bundle)에 대한 어느 시점에서의 호출 설정이 가능하다.
상기 태스크 번들은 상기 제1 및 제2 태스크 중에서 선택된 복수의 태스크를 동시에 호출하는 명령일 수 있다.
상기 태스크 번들은 다양한 유형으로 디폴트(default)로 제공되는 제1 태스크 번들이거나 제1 및 제2 태스크 중에서 그 조합이 사용자에 의해 선택되어 새로 정의되는 제2 태스크 번들일 수 있다.
상기 제1 및 제2 태스크 번들은 서로 다른 상기 제2 타임 라인으로 상기 사용자 인터페이스에 표시될 수 있다.
상기 태스크 번들이 실행되는 경우, 해당 실행 완료 여부가 상기 사용자 인터페이스에서 별도로 표시될 수 있다.
상기 설정부는 상기 제1 타임 라인 또는 상기 제2 타임 라인의 어느 시점에 대한 상황 정보를 담은 말풍선이 상기 사용자 인터페이스에서 해당 시점을 나타내는 부분에 표시되는 주석부를 더 포함할 수 있다.
상기 사용자 인터페이스는 상기 주석부에 대한 정보를 담은 주석 리스트를 표시할 수 있다.
상기 주석 리스트에서 어느 한 주석부에 대한 정보가 선택되는 경우, 상기 설정부에서의 재생 대상 지점이 해당 주석부의 시점으로 이동할 수 있다.
상기 제1 태스크는 상기 설정부에서 재생 대상 지점을 어느 시점으로 이동할 것에 대한 이동 명령을 포함할 수 있다.
상기 이동 명령의 호출 시 어느 한 주석부의 고유 ID가 참조되는 경우, 상기 설정부에서의 재생 대상 지점이 해당 고유 ID의 주석부가 나타내는 시점으로 이동할 수 있다.
본 발명의 일 실시예에 따른 시스템은 버추얼 프로덕션(virtual production)의 영상 촬영을 위한 시스템으로서, 이미지, 비디오 및 카메라 트래킹(camera tracking) 연동 영상 중 적어도 하나의 미디어가 전방으로 표시되는 발광 소자(light-emitting diode; LED) 벽체; 상기 LED 벽체에서 상기 적어도 하나의 미디어가 표시되는 상태에서 상기 LED 벽체의 전방에 위치한 인물 또는 사물을 촬영하는 카메라; 및 상기 미디어의 재생을 제어하는 제어 장치;를 포함한다.
상기 제어 장치는 버추얼 프로덕션의 영상 촬영 제어를 위한 프로그램을 실행하며, 상기 프로그램의 사용자 인터페이스를 디스플레이에 표시하도록 제어할 수 있다.
상기 제어 장치는 상기 제어 설정을 상기 전용의 연결 객체부를 통해 해당 플레이어로 전달하여, 상기 제어 설정에 따라 상기 다수 플레이어의 시계열적 동작을 제어할 수 있다.
본 발명의 일 실시예에 따른 방법은 미디어가 발광 소자(light-emitting diode; LED) 벽체의 전방으로 표시되는 상태에서 상기 LED 벽체의 전방에 위치한 인물 또는 사물을 카메라로 촬영하는 버추얼 프로덕션(virtual production)의 영상 촬영에 대해 제어하는 장치에서 수행되는 방법으로서, 서로 다른 미디어를 재생하는 외부의 다수 플레이어와의 연결을 각각 전용으로 담당하는 다수의 연결 객체부를 설정하는 단계; 상기 플레이어 별로 구분되어 사용자 인터페이스에 시계열의 레이어 형태로 표시되는 다수의 제1 타임 라인에 대해, 사용자의 입력에 따라 상기 제1 타임 라인에서의 상기 각 플레이어에 대한 시계열적 제어 설정과, 제1 타임 라인 상의 키 포인트와 연결 객체부 간의 선택적인 연동이나 연결 객체부의 상세 상태 또는 모드에 대한 제어 설정을 수행하는 단계; 상기 제어 설정과 상기 제1 타임 라인의 현재 재생 시간에 대한 정보를 상기 전용의 연결 객체부를 통해 해당 플레이어로 전달하여, 상기 제어 설정 및 현재 재생 시간을 반영한 상기 다수 플레이어의 시계열적 동작을 제어하는 단계;를 포함한다.
본 발명의 일 실시예에 따른 기록매체는 적어도 하나의 프로세서에 의해서 실행되고, 상기 적어도 하나의 프로세서가 상술한 방법을 실행시키기 위한 프로그램을 기록한 기록매체이다.
상기와 같이 구성되는 본 발명은 버추얼 프로덕션의 촬영 현장에서 복잡한 다수의 촬영 요소들을 쉽고 직관적이며 통합적으로 제어 가능한 사용자 인터페이스를 제공함으로써, 버추얼 프로덕션에 필요한 지식이 부족한 사용자라 하더라도 쉽게 운용 가능한 버추얼 프로덕션 제어 기술을 제공하는 이점이 있다.
특히, 본 발명은 미디어를 재생하는 다수의 플레이어뿐 아니라 특수 효과 장치 및 영상 합성 프로그램 장치 등의 여러 유형 장치들에 대해, 타임 라인을 기반으로 보다 쉽고 직관적이며 통합적으로 제어할 수 있는 이점이 있다.
또한, 본 발명은 시계열적 제어를 기반으로 다양한 유형의 미디어 간 동기화와 특정 미디어에 대한 인터랙션(interaction) 제어가 가능한 이점이 있다.
또한, 본 발명은 서로 다른 미디어들에 대한 제어뿐 아니라, 외부 환경을 연출하기 위한 다수의 특수 효과 장치에 대한 제어를 통합적으로 제공하는 이점이 있다.
또한, 본 발명은 특정 시점에 동시에 실행되어야 하는 여러 명령들을 단일 명령 그룹으로 일원화하여 시계열 또는 임의의 행위로 호출할 수 있어, 각종 미디어 및 특수 효과 장치에 대한 통합적 제어가 용이한 이점이 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1는 본 발명의 일 실시예에 따른 시스템(10)의 대략적인 개념도를 나타낸다.
도 2는 제어 프로그램에 의해 수행되는 제어 동작에 대한 대략적인 개념도를 나타낸다.
도 3은 제어 장치(500)의 블록 구성도를 나타낸다.
도 4는 제어 프로그램의 대략적인 동작 구성도에 대한 일 예를 나타낸다.
도 5 및 도 6은 디스플레이(530)에 표시되는 제어 프로그램의 사용자 인터페이스(UI)에 대한 일 예를 나타낸다.
도 7은 제2 타임 라인(722)을 주변을 보다 확대한 다른 일 예를 나타낸다.
도 8은 도 7에 관련된 태스크 리스트(L1)와, 특정 태스크 또는 태스크 번들에 대한 Properties 윈도우(P2)를 각각 나타낸다.
도 9는 제2 태스크 번들을 저작(생성) 과정에 대한 일 예를 나타낸다.
도 10은 제2 태스크 번들을 저작(생성)하기 위해 제공되는 사용자 인터페이스(UI)에 대한 일 예를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 제어 방법의 동작 순서도를 나타낸다.
도 12는 사극 드라마 촬영(야외 장면)을 위한 시스템(10)의 일 예를 나타낸다.
도 13 및 도 14는 도 12에서 제어 프로그램의 설정에 대한 일 예를 나타낸다.
도 15는 도 12에서 태스크 번들의 설정에 대한 일 예를 나타낸다.
도 16은 제2 제어 설정부에 대한 일 예를 나타낸다.
도 17은 제3 제어 설정부에 대한 일 예를 나타낸다.
도 18은 렌즈 캘리브레이션의 과정에 대한 일 예를 나타낸다.
도 19는 AR 플레이어를 이용한 비주얼 프로덕션에 대한 일 예를 나타낸다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.
본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.
도 1는 본 발명의 일 실시예에 따른 시스템(10)의 대략적인 개념도를 나타내며, 도 2는 제어 프로그램에 의해 수행되는 제어 동작에 대한 대략적인 개념도를 나타낸다.
본 발명의 일 실시예에 따른 시스템(10)은 버추얼 프로덕션(virtual production)의 영상 촬영을 위한 시스템이다.
버추얼 프로덕션은 실시간 그래픽을 활용하여 영상 제작 파이프라인 상의 여러 비효율적 요소나 제약을 극복하도록 돕는 기술로써 상당히 넓은 개념이다. 최근에는 카메라의 움직임이 반영된 그래픽을 LED 벽체에 혹은 AR 형태로 시각화 하여 실시간으로 실사 영상과 합성하는 개념으로 주로 사용된다. 또한, 기술 유형에 따라 AR, VR, XR 혹은 등 여러 다른 용어로 지칭되기도 한다. 따라서 먼저 기술의 구성과 주요 활용 영역을 이해하기 위해 3가지 다른 관점으로 버추얼 프로덕션 기술을 살펴본다.
1. 영상 제작 단계 관점
일반적으로 게임 엔진이라 불리는 실시간 그래픽 렌더링 기술은 최근 실사 수준의 품질을 보일 만큼 진화를 거듭하고 있다. 이러한 즉각적이고 고품질의 시각화 기술은 사전 기획(Pre) - 제작(Production) - 후반 제작(Post)으로 구분되는 영상 제작 파이프라인의 여러 지점에 각기 다른 용도로 활용될 수 있다.
먼저, 사전 기획 단계에서는 스토리에 대한 시각화(Pre Vis)나 공간/장비에 대한 시뮬레이션(Tech Vis)에 게임 엔진을 적극적으로 사용할 수 있다. 즉, 계획 단계에서 컨텐츠의 전개뿐만 아니라 공간, 카메라의 움직임, 컷 편집 등을 미리 구현해보고 각종 이슈들을(세트 크기, 동선, 렌즈 화각 등) 사전에 점검하는 것이다. 특히, 최근에는 영화를 중심으로 VR Scouting 기법을 통해 가상 환경 안에서 구성 요소를 편집하거나 가상 카메라를 들고 촬영 시뮬레이션을 하는 등 가상 현실 기술의 활용 범위가 늘어나고 있다.
다음으로, 제작 단계에서는 후반(Post)에서 이루어지던 CG(computer graphics) 합성을 촬영과 동시에 진행하여 라이브로 송출하거나 후반 합성 부담을 줄이는 형태로 버추얼 프로덕션 기술이 사용된다. 이를 위해, 카메라의 움직임을 파악하는 트래킹 장비와 함께 실사 영상과 CG를 실시간으로 합성해 주는 XR 솔루션이 사용된다. 여기에는 Pixotope 등의 영상 합성 프로그램이 주로 사용된다.
마지막으로, 후반 제작 단계에서는 촬영 중 생성된 상태 데이터(카메라 트래킹, 컨텐츠 타임라인, 옵션 등)를 활용할 수 있다. 이를 이용하여 촬영이 끝난 이후라도 추가적인 이팩트나 CG 요소를 생성할 수 있고 문제가 있거나 수정이 필요한 장면을 더 빠르게 보정할 수 있다.
2. CG 합성 방식 관점
버추얼 프로덕션 기술 중 핵심은 실제 공간과 가상 공간을 동기화하여 이질감 없이 실시간으로 CG와 실사 영상을 합성하거나 LED에 표출하는 시각화 기능이다. 따라서, CG가 합성되는 유형에 따라 VR(virtual reality), AR(augmented reality), XR(extended reality)이라는 용어가 사용되기도 한다.
먼저, VR은 크로마키(chroma key) 스튜디오를 기반으로 하는 실시간 공간 합성을 의미한다. 가령, 어떤 인물과 가상 공간을 동시에 3인칭으로 보여주기 위해, VR 방식의 버추얼 프로덕션 기술이 사용될 수 있다. 즉, 실시간 트래킹이 되는 카메라를 통해 마치 가상 현실 안에서 직접 촬영하는 것과 같은 효과를 얻을 수 있다. 이 같은 연출이 가능한 이유는 가상 공간이 합성된 영상이 실시간으로 생성되어 카메라 감독과 연출자에게 제공되어 즉각적인 판단과 대응이 가능하기 때문이다.
AR의 경우, VR과 반대로 실사 영상 위에 특정 그래픽을 더하는 방식을 의미하며, 최근에는 방송, 공연, 제품 론칭쇼 등의 이벤트에 많이 활용되고 있다. 특히, Realtime Ray Tracing이나 DLSS와 같은 렌더링 기술의 발전으로 인해 게임 엔진의 CG 품질이 점차 실사에 근접해짐에 따라 물리적으로 구현하기 어려운 장면이나 비용이 많이 들어가는 연출 등을 AR 그래픽으로 표현하려는 시도들이 늘어나고 있다. 가령, 실제 무대 공간에 자동차 1대만 있는 영상에 AR 요소들을 추가하여 새로운 자동차가 바닥에서 나오거나 새로운 건물이 생성되는 등의 특수한 연출이 가능하다.
XR의 경우, 2020년부터 비대면 이벤트를 중심으로 본격적으로 사용되고 있다. AR이나 VR과 달리, XR은 원경과 근경을 모두 CG로 합성하여 완전히 가상 공간 안에 있는 것과 같은 표현이 가능하다. 이를 위해, 배경에는 LED 벽체를 배치하여 원경 장면을 출력하고, 피촬영자의 앞에는 AR 그래픽을 더하여 공간감을 표현한다. 또한, LED 벽체의 물리적 경계 밖을 CG로 확장하여 마치 무한대의 공간에 있는 것과 같은 표현이 가능하다. 이러한 LED 벽체 기반의 촬영은 크로마키 기반 촬영에 비해 좀 자연스러운 피사체 색상 표현이 가능하며 공간 조명 연출에 대한 제약도 덜한 편이다.
3. 활용 목적 관점
AR, VR 및 XR 기술은 방송, 공연, 영화 등 다양한 영역에서 사용될 수 있다. 유사한 XR 기술이지만 방송, 공연 등 이벤트 중심의 촬영과 영화, 드라마 등의 극 영상 촬영에서의 사용 시 그 접근법에 차이가 존재한다.
먼저, 이벤트 촬영에서 버추얼 프로덕션 기술은 주로 신선한 비주얼 이펙트를 빠르게 생성하거나 별도의 후반 작업 없이 현장에서 바로 합성된 영상을 얻기 위해 사용된다. 이러한 영상은 바로 라이브로 송출되거나 짧은 편집 기간을 거쳐 빠르게 소비된다. 따라서, 컨텐츠의 품질이나 기술적 한계에 대한 관용도는 비교적 넓은 편이나 카메라 움직임 속도, 영상 지연율(Latency)에 대한 요구 수준이 높다. 반면, 영화와 같은 극 영상 제작에서는 전문적인 촬영 기법에 대한 충실한 지원과 함께 최종 영상의 품질에 좀 더 포커스를 맞추고 있다. 가령, 공연과 같은 이벤트 촬영에서는 LED 벽체의 LED 소자가 보이거나 모아레 현상(카메라 CCD의 격자와 LED 소자 격자 간 간섭)이 조금씩 보이는 수준은 용인되지만 영화에서는 절대로 안 된다. 또한 LED 벽체의 외부 영역을 실시간으로 확장하여 채우는 표현도 자세히 보면 약간의 유격과 색상차가 있으므로 이벤트 촬영에만 주로 사용되고 있다. 카메라의 경우 전자는 B4마운트의 방송용 카메라와 줌렌즈가 사용되지만 후자는 대형 CCD의 시네마 카메라와 단렌즈가 주로 사용된다.
한편, 버추얼 프로덕션 기술 중에 하나인 In Camera VFX 기술은 대형 LED 벽체 공간에 카메라 움직임을 반영한 CG를 매핑하고 촬영 지점을 이동하거나 공간 상태를 바꿔가며 다양한 장면을 촬영하는 방식을 의미한다. 공연에서의 XR 촬영과 유사한 부분도 있으나 보다 크고 고사양의 LED 벽체를 기반으로 자연스러운 공간 조명과 반사 표현에 좀 더 집중하는 형태로 장치들이 구성된다. 또한, 시간대, 대기 상태, 촬영 위치 등 촬영 조건을 즉각적으로 변경하거나 반사용 LED 벽체, 자동차용 짐벌 등을 제어할 수 있는 통합 제어 인터페이스를 필요로 한다.
이러한 버추얼 프로덕션의 영상 촬영을 위한 본 시스템(10)은, 도 1에 도시된 바와 같이, 발광 소자(light-emitting diode; LED) 벽체(100), 카메라(camera)(200), 플레이어(player)(300), 특수 효과 장치(400) 및 제어 장치(500)를 포함할 수 있다. 또한, 타 합성 장치(600)를 추가적으로 포함할 수 있다.
즉, 플레이어(300)를 통해 재생되는 다양한 미디어(즉, 영상)가 LED 벽체(100)의 전방에 표시되며, 이러한 상태에서 LED 벽체(100)의 전방에 위치한 인물(A) 또는 사물(O)를 카메라(200)로 촬영한다. 물론, 카메라(200의 촬영 중에 필요할 경우 특수 효과 장치(400)에 따른 외부 환경 요소가 첨가될 수 있다. 이때, 제어 장치(500)를 통해 플레이어(300)와 특수 효과 장치(400)를 제어함으로써 버추얼 프로덕션의 영상 촬영이 보다 원활하게 수행될 수 있다.
구체적으로, LED 벽체(100)는 플레이어(300)에 의해 재생되는 미디어를 LED 방식으로 전방에 표시하는 거대한 디스플레이 장치로서, 바닥면에서 세워진 벽체 형상을 가진다. 물론, LED 벽체(100)는 서로 다른 각도로 디스플레이 하는 서로 다른 각도의 벽체들을 포함하거나, 바닥면에서 상부를 향해 디스플레이 하는 벽체도 포함할 수 있으나, 이에 한정되는 것은 아니다.
이때, LED 벽체(100)는 n개(단, n은 2이상의 자연수) 구역으로 나눠진 소단위 디스플레이(110)를 포함한다. 즉, LED 벽체(100)는 소단위 디스플레이(110)들을 통해 하나의 대형 디스플레이를 구현한다. 이때, LED 벽체(100)는 플레이어(300)의 종류에 따라 다양한 미디어를 표시할 수 있다. 즉, 다수의 플레이어(300) 중 제어 장치(500)에 의해 선택된 플레이어(300)가 재생하는 미디어가 LED 벽체(100)를 통해 표시될 수 있다.
예를 들어, 이미지(image), 비디오(video) 및 카메라 트래킹(camera tracking) 연동 영상 중 적어도 하나의 미디어가 LED 벽체(100)를 통해 표시될 수 있다.
이때, 카메라 트래킹 연동 영상은 카메라(200)의 위치 및 움직임을 반영하여 컨텐츠가 변경되는 영상이다. 즉, 카메라(200)가 제1 위치에서 제2 위치로 이동하는 경우, 해당 위치 변경을 반영하여 영상 내의 컨텐츠 종류, 위치 또는 각도 등이 변경되는 영상이다. 이를 위해, 카메라(200)의 움직임 및 위치를 파악하는 트래킹 장치가 트래킹 정보를 카메라 트래킹 연동 영상을 재생하는 플레이어(300)로 전달하며, 해당 플레이어(300)는 전달받은 트래킹 정보에 기반한 연동 영상을 재생한다. 가령, 이러한 카메라 트래킹 연동 영상의 경우, 언리얼 엔진(unreal engine)에 의해 제작된 미디어일 수 있으나, 이에 한정되는 것은 아니다.
한편, 이미지 및 비디오는 상술한 카메라 트래킹 연동 영상을 제외한 일반적인 정지 화면 또는 동영상을 각각 지칭한다.
카메라(200)는 LED 벽체(100)의 전방에 위치한 인물(A) 또는 사물(O)을 촬영하는 장치이다. 특히, 카메라(200)의 위치 및 움직임은 트래킹 장치에 의해 파악될 수 있다. 이러한 트래킹 정보는 카메라 트래킹 연동 영상을 재생하는 플레이어(300)로 전달될 수 있으며, 해당 플레이어(300)는 전달받은 트래킹 정보에 기반한 연동 영상 또는 배경 영상을 재생할 수 있다.
플레이어(300)는 컴퓨팅(computing)이 가능한 전자 장치로서, 기 저장된 미디어를 재생하며, 다수개가 구비될 수 있다. 이때, 미디어 종류 별로 그 재생을 담당하는 플레이어(300)가 구비될 수 있다. 플레이어(300)는 재생되는 미디어가 LED 벽체(100)에 표시되도록 LED 벽체(100)에 연결되는 제1 플레이어와, 재생되는 미디어가 LED 벽체(100)에 표시되지 않는 제2 플레이어를 포함할 수 있다.
예를 들어, 전자 장치는 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 태블릿 PC(tablet personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 스마트폰(smart phone), 스마트패드(smart pad), 휴대폰(mobile phone) 또는 미디어 재생 장치 등일 수 있으나, 이에 한정되는 것은 아니다.
가령, 제1 플레이어는 이미지, 비디오 또는 카메라 트래킹 연동 영상을 재생할 수 있다. 물론, 하나의 제1 플레이어가 한 종류의 미디어를 재생하도록 구현될 수 있으나, 이에 한정되는 것은 아니며, 하나의 제1 플레이어가 복수 종류의 미디어를 선택적으로 재생하도록 구현될 수도 있다.
도 2를 참조하면, 카메라 트래킹 연동 영상을 재생하는 제1 플레이어를 “N 플레이어”라 지칭할 수 있고, 이미지 또는 비디오를 재생하는 제1 플레이어를 “M 플레이어”라 지칭할 수 있다.
제1 플레이어는 LED 벽체(100)의 n개 소단위 디스플레이를 각각 담당하여 재생하도록 구비될 수 있다. 특히, N 플레이어의 경우, 카메라 트래킹 연동 영상에 따른 데이터가 많으므로, 각 소단위 디스플레이를 담당하여 분할된 카메라 트래킹 연동 영상을 재생하는 n개의 N 플레이어가 구비될 수 있다. 이 경우, 각 N 플레이어 간의 카메라 트래킹 연동 영상에 대한 동기화가 필수적이다. 이에 대해, 본 발명은 후술한 제어 프로그램을 통해 타임라인 기반으로 각 플레이어를 관리함으로써, 해당 동기화를 보다 쉽고 직관적이며 통합적으로 제어할 수 있다.
즉, N 플레이어는 LED에 표시되는 가상 공간 영상을 n개의 구역으로 나누어 재생하는 플레이어이다. 따라서, n개의 N 플레이어는 n개의 렌더링 가능한 각 전자 장치(서버)에서 실행되며 각 N 플레이어는 제어 프로그램과 실시간 통신하며 제어 신호를 주고받게 된다. 다만, N 플레이어의 경우, 단순히 큰 영상을 큰 화면에 분할하여 표시하는 방식이 아닐 수 있다. 가령, In Camera VFX 촬영을 위해, N 플레이어는 실제 카메라(200)의 위치, 화각 및 포커스 거리를 가상 카메라에 그대로 투영하여 실제 카메라(200)의 렌즈에 담기는 영역(프러스텀)을 다른 영역 보다 높은 해상도로 시각화하고, LED 벽체(100)의 형태를 반영 및 왜곡할 수 있다. 이에 따라, 카메라(200)의 뷰 파인더의 시선에서 봤을 때 LED 벽체(100) 내의 가상 공간이 마치 실제 입체 공간처럼 표시되게 할 수 있다. 이처럼 영상을 분할하고 왜곡하는 기능은 제어 프로그램을 통해 n개의 N 플레이어를 동시에 통합적으로 제어할 수 있다. 이를 위해, 각 N 플레이어가 제어 프로그램과 주고받는 제어 신호는 다음과 같은 신호들을 포함할 수 있다.
1) 제어 프로그램과 N 플레이어 간 연결 여부를 체크하는 keepalive 신호
2) N 플레이어의 프러스텀 사이즈, 조리개 값, 모션 블러 수치 등
3) 색상 조정 및 대기 상태(하늘, 태양, 구름) 변경 값(Key point 설정 값)
4) 렌즈 데이터(화각 및 포커스 위치)
5) Task Bundle 기반의 인터랙션 호출 신호
6) Stage 창을 통해 변경 가능한, 가상 공간 내 촬영 위치 및 방향 값
7) Free Cam 모드 시 고정 카메라의 위치 및 방향 값
8) 트래킹 데이터 보정 값(6축 데이터)
한편, 제2 플레이어는 증강현실(augmented reality; AR)을 생성하여 카메라(200)의 촬영 영상에 합성하거나 확장시키는 플레이어일 수 있다. 특히, 제2 플레이어는 카메라 트래킹 연동 AR을 카메라(200)의 촬영 영상에 합성할 수 있다. 이러한 제2 플레이어를 “AR 플레이어”라 지칭할 수 있다.
이때, 카메라 트래킹 연동 AR은 카메라(200)의 위치 및 움직임을 반영하여 컨텐츠가 변경되는 AR 영상이다. 즉, 카메라(200)가 제1 위치에서 제2 위치로 이동하는 경우, 해당 위치 변경을 반영하여 AR의 컨텐츠 종류, 위치 또는 각도 등이 변경될 수 있다. 이를 위해, 카메라(200)의 촬영 영상과, 카메라(200)의 움직임 및 위치를 파악하는 트래킹 장치의 트래킹 정보가 각각 AR 플레이어로 전달되며, 해당 AR 플레이어는 전달받은 트래킹 정보에 기반한 연동 AR을 전달받은 카메라(200)의 촬영 영상에 합성할 수 있다. 가령, 이러한 AR 영상의 경우, 언리얼 엔진(unreal engine)에 의해 제작된 미디어일 수 있으나, 이에 한정되는 것은 아니다.
도 19는 AR 플레이어를 이용한 비주얼 프로덕션에 대한 일 예를 나타낸다.
즉, AR 플레이어는 트래킹 정보와 카메라 촬영 영상을 동시에 받아 실시간 렌더링 CG를 카메라의 실제 움직임을 기반으로 생성하여 실사 영상과 가상 물체를 합성하는 방식이다. 이때, N 플레이어를 함께 사용하여 XR 연출을 하기 위해, 동일한 트래킹 장치로부터 생성되는 실시간 데이터(위치, 각도, 렌즈 정보)를 N 플레이어와 AR 플레이어가 동시에 사용될 수 있다. 이 경우, LED 벽체(100)의 배경 영상은 카메라(200)의 시선에 따라 마치 해당 공간에 있는 것처럼 표현되며, 그 위에 AR 오브젝트가 덧입혀지는 완전히 입체감 있는 XR 연출이 가능해진다. 즉, 가상의 배경과 전경이 동시에 시각화 되며 피촬영자는 그 사이에 위치하게 된다.
특수 효과 장치(400)는 외부 환경 요소를 지원하는 장치이다. 즉, 외부 환경 요소는 빛, 날씨 등의 외부 환경 효과에 관련된 요소이다. 이때, 외부 환경 효과는 조명 효과, 번개 효과, 음향 효과, 바람 효과, 안개(fog) 효과, 눈(snow) 효과, 또는 비(rain) 효과일 수 있다. 이러한 외부 환경 요소는 LED 벽체(100)에서 표시되는 미디어에 대한 외부 환경 효과를 부여함으로써, 카메라(200)의 촬영 영상에 사실성(reality)을 더욱 향상시킬 수 있다. 이를 위해, 특수 효과 장치(400)는 라이트(light) 장치(조명), 번개 장치, 음향 장치, 바람 장치, 포그 머신(fog machine), 스노우 머신(snow machine) 및 레인 머신(rain machine) 중 적어도 하나의 장치일 수 있으며, 서로 다른 외부 환경 효과를 부여하도록 복수개가 구비될 수 있다. 가령, 특수 효과 장치(400)는 LED 벽체(100)의 주변, 특히 LED 벽체(100)의 전방에 위치한 인물(A) 또는 사물(O)에게 직간접적으로 외부 환경 효과를 부여하도록 마련될 수 있다.
타 합성 장치(600)는 영상을 합성하는 Pixotope, Disguise 등과 같은 다른 영상 합성 프로그램이 구동되는 장치이다. 이러한 타 합성 장치(600)는 필요할 경우에 카메라(200)의 촬영 영상 등에 대한 추가적인 영상 합성을 위해 사용될 수 있다.
제어 장치(500)는 버추얼 프로덕션의 영상 촬영에 대한 제어를 수행하는 장치이다. 즉, 제어 장치(500)는 버추얼 프로덕션의 영상 촬영 동안에 플레이어(300)와 특수 효과 장치(400)를 제어한다.
가령, 제어 장치(500)는 LED 벽체(100)에 표시될 미디어를 재생할 제1 플레이어를 선택하고, 선택된 제1 플레이어에 대한 해당 미디어의 재생을 제어한다. 물론, 제어 장치(500)는 제1 플레이어에 의한 LED 벽체(100)의 미디어 표시 상태에서의 촬영 영상에 대한 AR 합성이 수행되도록 제2 플레이어의 동작을 제어할 수도 있다.
또한, 제어 장치(500)는 선택된 제1 플레이어의 재생에 따른 LED 벽체(100)에서의 해당 미디어 표시 중에 적어도 하나의 특수 효과 장치(400)를 선택하여 이에 대한 동작을 제어할 수도 있다. 물론, 제2 플레이어에 의한 AR 합성과 함께 해당 특수 효과 장치(400)의 동작을 제어할 수도 있다.
도 3은 제어 장치(500)의 블록 구성도를 나타낸다.
제어 장치(500)는 컴퓨팅(computing)이 가능한 전자 장치로서, 버추얼 프로덕션의 영상 촬영 제어를 위한 프로그램(이하, “제어 프로그램”이라 지칭함)을 실행한다. 이러한 제어 장치(500), 도 3에 도시된 바와 같이, 입력부(510), 통신부(520), 디스플레이(530), 메모리(540) 및 제어부(550)를 포함할 수 있다.
예를 들어, 전자 장치는 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 태블릿 PC(tablet personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 스마트폰(smart phone), 스마트패드(smart pad), 또는 휴대폰(mobile phone) 등일 수 있으나, 이에 한정되는 것은 아니다.
입력부(510)는 다양한 사용자의 입력에 대응하여, 입력데이터를 발생시키며, 다양한 입력수단을 포함할 수 있다. 가령, 제어 프로그램의 사용자 인터페이스(user interface; UI)를 통해 입력되는 입력데이터를 발생시킬 수 있으며, 해당 입력데이터를 제어부(550)로 전달할 수 있다.
예를 들어, 입력부(510)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
통신부(520)는 플레이어(300), 특수 효과 장치(400), 타 합성 장치(600), 단말, 서버 등 다른 장치와의 통신을 수행하는 구성이다. 가령, 통신부(520)는 제어 프로그램의 사용자 인터페이스(UI)를 통해 설정된 제어 정보를 선택된 제1 플레이어, 제2 플레이어 또는 특수 효과 장치(400)로 전송할 수 있다. 또한, 통신부(520)는 단말 또는 서버에서 설정된 제어 정보를 수신할 수 있다. 또한, 통신부(520)는 재생 중인 제1 플레이어, 제2 플레이어 또는 타 합성 장치(600)의 영상 정보를 수신하거나, 동작 중인 특수 효과 장치(400)에 대한 상태 정보를 수신할 수 있다.
예를 들어, 통신부(520)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energy), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행하거나, 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다.
디스플레이(530)는 다양한 영상 데이터를 화면으로 표시하는 것으로서, 비발광형 패널이나 발광형 패널로 구성될 수 있다. 가령, 디스플레이(230)는 제어 프로그램의 사용자 인터페이스(UI)를 표시할 수 있다. 또한, 디스플레이(230)는 재생 중인 제1 플레이어 또는 제2 플레이어의 영상 정보를 표시하거나, 타 합성 장치(600)의 영상 정보를 표시하거나, 동작 중인 특수 효과 장치(400)의 상태 정보를 표시할 수 있다.
예를 들어, 디스플레이(530)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(530)는 입력부(510)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수도 있다.
메모리(540)는 제어 장치(500)의 동작에 필요한 각종 정보를 저장한다. 가령, 메모리(540)의 저장 정보로는 제어 프로그램의 사용자 인터페이스(UI), 단말 또는 서버를 통해 설정된 제어 정보, 재생 중인 제1 플레이어 또는 제2 플레이어의 영상 정보, 타 합성 장치(600)의 영상 정보, 동작 중인 특수 효과 장치(400)의 상태 정보, 제어 프로그램 정보, 후술할 제어 방법에 관련된 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 메모리(540)는 그 유형에 따라 하드디스크 타입(hard disk type), 마그네틱 매체 타입(magnetic media type), CD-ROM(compact disc read only memory), 광 기록 매체 타입(optical Media type), 자기-광 매체 타입(magneto-optical media type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 플래시 저장부 타입(flash memory type), 롬 타입(read only memory type), 또는 램 타입(random access memory type) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 메모리(540)는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 또는 보조기억장치이거나 별도로 마련된 저장 시스템일 수 있으나, 이에 한정되는 것은 아니다.
제어부(550)는 제어 장치(500)의 다양한 제어 동작을 수행할 수 있다. 즉, 제어부(550)는 메모리(540)에 저장된 제어 프로그램 및 후술할 제어 방법에 대한 수행을 제어할 수 있으며, 전자 장치(100)의 나머지 구성, 즉 입력부(510), 통신부(520), 디스플레이(530), 메모리(540) 등의 동작을 제어할 수 있다.
예를 들어, 제어부(550)는 하드웨어인 적어도 하나의 프로세서(processor)를 포함하며, 해당 프로세서에서 수행되는 소프트웨어인 프로세스(process) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 4는 제어 프로그램의 대략적인 동작 구성도에 대한 일 예를 나타내며, 도 5 및 도 6은 디스플레이(530)에 표시되는 제어 프로그램의 사용자 인터페이스(UI)에 대한 일 예를 나타낸다. 또한, 도 7은 제2 타임 라인(722)을 주변을 보다 확대한 다른 일 예를 나타내며, 도 8은 도 7에 관련된 태스크 리스트(L1)와, 특정 태스크 또는 태스크 번들에 대한 Properties 윈도우(P2)를 각각 나타낸다.
디스플레이(530)에 표시되는 제어 프로그램의 사용자 인터페이스(UI)에 대한 다른 일 예를 나타낸다.
한편, 도 4 내지 도 6을 참조하면, 제어 프로그램은 제어부(550)의 적어도 하나의 프로세서를 통해 그 동작 수행이 제어되는데, 연결 객체부(710), 설정부(720) 및 재생 조작부(730)를 포함하며, 디스플레이(530)를 통해 사용자 인터페이스(UI)가 표시된다.
연결 객체부(710)는 네트웍을 기반으로 외부의 플레이어(300), 특수 효과 장치(400) 및 타 합성 장치(600)의 연결을 관장하는 구성으로서, 각 장치와 1:1로 연결되는 객체이다. 물론, 도 5 등에서는 연결 객체부(710)를 “Sync Point”로도 표시한다.
즉, 연결 객체부(710)는 서로 다른 미디어를 재생하는 다수 플레이어(300)와의 연결을 각각 전용으로 담당한다. 이에 따라, 연결 객체부(710)는 플레이어(300)의 개수에 대응하도록 다수개가 마련된다.
이때, 연결 객체부(710)는 제1 및 제2 플레이어에 대해 각각 전용으로 담당하도록 구비된다. 제1 플레이어의 경우, N 플레이어, C 플레이어 및 M 플레이어에 대해 각각 전용으로 담당하는 연결 객체부(710)가 마련된다. 또한, n개의 N 플레이어가 구비되는 경우, 각 N 플레이어를 담당하는 n개의 연결 객체부(710)가 마련된다.
이에 따라, 필요한 미디어 수의 증가로 플레이어(300)가 늘어나면, 이에 맞게 연결 객체부(710)도 늘어난다. 이때, 객체부(710)는 각 플레이어(300)에 설치된 Plug-in을 통해, 각 플레이어(300)와 연결, 상태 공유, 제어 신호 등에 대한 정보를 송수신한다.
물론, 연결 객체부(710)는 각 특수 효과 장치(400) 및 타 합성 장치(600)와의 연결에 대해서도 각각 전용으로 담당하도록 마련될 수 있다. 즉, 각 특수 효과 장치(400)는 해당 장치가 지원하는 프로토콜을 통한 제어가 가능하도록 여러 범용 통신 방식(tcp, udp, serial, osc, dmx)을 제공하는데, 연결 객체부(710)는 해당 범용 통신 방식을 이용하여 각 특수 효과 장치(400)와 연결될 수 있다. 또한, 타 합성 장치(600)의 경우, 별도의 Plug-in을 통해 타임라인의 흐름이나 인터랙션 이벤트(interaction event) 호출 등이 가능하다.
각 연결 객체부(710)에 대한 구성은 연결 매니저에서 총괄 정의할 수 있다. 즉, 후술할 타임라인 상에 정의된 각종 옵션이나 태스크 번들(Task Bundle)에서 발생된 명령들은 연결 매니저를 거쳐 해당 연결 객체부(710)에 전달되고, 해당 연결 객체부(710)가 그와 연결된 플레이어(300)에 해당 옵션 및 명령들을 전달함으로써, 해당 옵션 및 명령에 따른 각종 동작 제어가 해당 플레이어(300)에서 재생되는 미디어에 반영된다.
각 플레이어(300), 각 특수 효과 장치(400) 및 타 합성 장치(600)를 전용의 연결 객체부(710)로 연결하여 관리하는 이유는 다음과 같다.
(1) 사용 및 관리의 용이함
여러 다른 유형의 장치들을 연결 객체부(710)라는 동일한 레벨 개념으로 정의하고 유사한 인터페이스를 제공함으로써, 사용자로 하여금 쉽고 명확하게 구조를 이해하고 관리할 수 있게 한다(즉, Mental Model 수립이 용이함). 각 연결 객체부(710)는 사용자 인터페이스(UI)의 연결 객체 리스트(Sync Point list)(L1)에 동일한 방식으로 나열되도록 표시되며, 사용자에 의해 어느 하나가 선택될 경우, 그 종류 별로(XR Player, Tcp, DMX 등) 조금씩 다른 정보 및 기능 버튼들이 제공될 수 있다.
(2) 내부 개발 로직의 단순화
각 플레이어(300)와의 연결을 전용의 연결 객체부(710)가 담당하도록 단순화하고 특수한 기능이나 특성은 별도의 API나 변수로 정의할 수 있도록 함으로써, 연결 객체부(710)의 유형이 추가되거나 기능이 늘어나더라도 단순하게 확장 가능하다.
(3) 개별 미디어들의 특성이 저장되는 대상
플레이어(300)에서 재생되는 미디어가 가지는 다양한 설정이나 옵션들(ip/port, 색상보정, 퀄리티, 트래킹 보정치, 현재 렌즈 등)은 모두 해당 플레이어(300)에 대한 전용의 연결 객체부(710)에 저장 및 관리된다.
한편, 재생 조작부(730)는 재생 여부를 조작하도록 사용자 인터페이스(UI)에 제공되는 구성이다. 즉, 재생 조작부(730)는 제1 및 제2 타임 라인(721, 722)의 시간 정보를 따라 재생 동작이 수행되는 재생 버튼과, 해당 재생 동작을 멈추는 정지 버튼 등을 포함할 수 있다. 이때, 제1 및 제2 타임 라인(721, 722)에 걸쳐서 현재 재생 시간을 나타내는 재생 대상 지점(PT)이 표시된다. 즉, 재생 버튼이 입력되면, 제1 및 제2 타임 라인(721, 722)의 시간 정보를 따라 재생 대상 지점(PT)이 해당 시간부터 오른쪽으로 이동하면서 그에 따른 재생 동작이 수행된다. 또한, 정지 버튼이 입력되면, 재생 대상 지점(PT)의 현재 재생 시간에서 재생 동작이 멈추게 된다.
특히, 제어부(550)는 제1 및 제2 타임 라인(721, 722)에 설정된 다양한 제어 설정과, 재생 대상 지점(PT)의 현재 재생 시간을 전용의 연결 객체부(710)를 통해 해당 플레이어, 특수 효과 장치(400) 또는 타 합성 장치(600)로 전달함으로써, 이들에 대한 시계열적 제어를 수행할 수 있다. 즉, 재생 조작부(730)의 재생 버튼에 대한 입력에 따른 재생 동작 시, 전용의 연결 객체부(710)를 통해 해당 정보를 전달받은 각 플레이어(300), 특수 효과 장치(400) 또는 타 합성 장치(600)는 제1 및 제2 타임 라인(721, 722)에 설정된 다양한 제어 설정과 재생 대상 지점(PT)의 현재 재생 시간을 반영한 시계열적 동작을 수행한다. 물론, 재생 조작부(730)의 재생 버튼 또는 정지 버튼에 대한 입력과 동일하게 동작하는 태스크 또는 이러한 태스크를 포함하는 태스크 번들이 후술할 제2 타임 라인(722)의 어느 시점에 추가될 수도 있다.
다음으로, 설정부(720)는 다양한 설정을 위해 사용자 인터페이스(UI)에 제공되는 구성이다. 특히, 사용자의 입력에 따른 각 플레이어(300)와 각 태스크(task)에 대한 다양한 설정과, 미디어 재생 여부에 대한 조작과, 미디어 재생에 따른 각 설정 및 현재 재생 지점에 대한 용이한 파악을 위해, 설정부(720)가 제공될 수 있다. 도 5를 참조하면, 이러한 설정부(720)는 제1 타임 라인(721), 제2 타임 라인(722) 및 주석부(723)을 포함한다. 또한, 설정부(720)는 제1 제어 설정부, 제2 제어 설정부, 제3 제어 설정부 등을 포함할 수도 있다.
제1 타임 라인(721)은 각 플레이어(300)에 대한 설정과, 재생 동작에 따른 각 설정 및 재생 대상 지점(PT)에 대한 용이한 파악을 위해 사용자 인터페이스(UI)에 제공된다. 이때, 제1 타임 라인(721)은 플레이어(300) 별로 구분되도록 각 플레이어(300)에 대해 하나씩 생성된다. 특히, 각 제1 타임 라인(721)은 시계열의 레이어 형태(즉, 시간에 따라 다수의 프레임들이 나열되는 형태)로 표시되며, 각 프레임은 소단위의 특정 시간에만 적용되거나 또는 해당 특정 시간부터 계속 적용되는 해당 플레이어(300)에 대한 설정 부분을 나타낸다. 즉, 사용자 입력에 따라, 특정 프레임에서 해당 플레이어(300)에 대한 설정이 가능하다. 이때, 제1 타임 라인(721)에서 프레임 단위로 설정되는 종류로는 색상 조정 설정 또는 날씨 상황에 대한 설정 등이 있다.
가령, 도 5에서 'A'라고 표시된 주변을 보면, 어느 한 N 플레이어(NPlayer_Main)와 다른 한 N 플레이어(NPlayer_side)의 특정 시간의 프레임 부분에 각각 동그라미 형태의 키 포인트(Key point)(또는 Key frame이라 지칭함)가 추가되었다. 이러한 Key point를 해당 플레이어의 제1 타임 라인(721)의 어느 시점에 추가하는 경우, 해당 플레이어에서 재생되는 미디어에 대한 색상 조정 설정이나 날씨 상황에 대한 설정이 가능하다.
즉, 해당 Key point의 추가와 함께 제공되는 도 6 또는 도 14의 Properties 윈도우(P1 또는 P1')(“제1 제어 설정부”라고도 지칭함)를 통해, 해당 플레이어에서 재생되는 미디어에 대해, 해당 프레임의 특정 시간에만 또는 해당 특정 시간부터 계속 적용되는 색상 조정에 대한 세부 설정이 가능하다. 이때, 색상 조정 설정은 해당 미디어에 대한 색상, 채도, 명도, 색온도, 또는 색상 필터 등의 색상 요소의 변경이 가능하다.
또한, 제1 제어 설정부를 통해, 해당 플레이어에서 재생되는 미디어에 대해, 특정 시간에만 또는 해당 특정 시간부터 계속 적용되는 날씨 상황(맑음, 구름 낌, 비 등)이 선택될 수도 있다. 이 경우, 날씨 상황에 따라 다양한 색상 요소가 서로 다른 값으로 기 설정되어 있으며, 사용자 입력에 따른 날씨 상황 선택에 따라 해당 기 설정 값이 적용된다. 가령, “맑음”의 경우, 해당 미디어에 명도 등이 보다 증가하도록 기 설정될 수 있다. 그 외에도 Key point를 추가하면서 제1 타임 라인(721)에 다양한 설정이 가능할 수 있다.
제어부(550)는 Key point에 따른 다양한 제어 설정과 제1 타임 라인의 현재 재생 시간에 대한 정보를 전용의 연결 객체부(710)를 통해 해당 플레이어(300)로 전달한다. 이를 통해, 제어부(550)는 해당 플레이어(300)에서 해당 제어 설정 및 현재 재생 시간을 반영한 시계열적 동작이 수행되도록 제어할 수 있다.
특히, LED 벽체(110)의 n개 소단위 디스플레이(110)를 각각 담당하여 미디어를 재생하는 n개 플레이어(300)가 있다. 제어부(550)는 Key point에 따른 다양한 제어 설정과 제1 타임 라인의 현재 재생 시간(공통의 시간)에 대한 정보를 각 전용의 연결 객체부(710)를 통해 해당 n개 플레이어(300)로 전달한다. 이를 통해, 제어부(550)는 재생 대상 지점(PT)이 나타내는 현재 재생 시간(공통의 시간)을 따라 재생되는 n개 소단위 디스플레이(110)의 각 미디어가 동기화되도록 제어하되 해당 시계열적 동작도 수행되도록 제어할 수 있다.
제2 타임 라인(722)은 각 태스크(task)에 대한 설정과, 재생 동작에 따른 각 설정 및 재생 대상 지점(PT)에 대한 용이한 파악을 위해 사용자 인터페이스(UI)에 제공된다. 특히, 제2 타임 라인(722)은 시계열의 레이어 형태(즉, 시간에 따라 다수의 프레임들이 나열되는 형태)로 표시되며, 각 프레임은 소단위의 특정 시간에만 적용되거나 또는 해당 특정 시간부터 계속 적용되는 태스크 설정 부분을 나타낸다. 즉, 제2 타임 라인(722)의 특정 프레임의 해당 시간에 특정 태스크를 호출하도록 설정할 수 있다. 물론, 제1 및 제2 타임 라인(721, 722)는 동일한 타임 정보(타임 헤드)에 따른 시계열의 레이어이다.
이때, 태스크(task)는 단일 명령어 단위로 구분되는 호출자이다. 또한, 일련의 태스크들이 모여 태스크 번들(task bundle)을 형성한다. 특히, 태스크는 사용자의 입력에 따라 어느 특수 효과 장치(400)의 동작 제어에 대한 명령인 제1 태스크와, 어느 플레이어(300)의 동작 제어에 대한 명령인 제2 태스크를 포함한다. 그 외에도, 태스크는 제어 프로그램의 자체 API 호출 명령, 외부 함수 호출 명령, 딜레이를 위한 명령, Shared Value의 변경 또는 초기화를 위한 명령, 특정 태스크 번들 내에서 다른 태스크 번들을 호출하는 명령 등을 포함할 수 있다.
제1 태스크는 라이트 장치, 번개 장치, 음향 장치, 바람 장치, 포그 머신(fog machine), 스노우 머신(snow machine) 및 레인 머신(rain machine) 중 적어도 하나에 대해 해당 외부 환경 효과를 대한 제어 동작을 호출하는 명령일 수 있다. 즉, 제1 태스크는 해당 외부 환경 효과에 대한 시작, 효과 강도 조절, 또는 정지 등에 대한 명령일 수 있다.
제어부(550)는 제2 타임 라인(722)의 어느 시점에 설정된 제1 태스크 또는 제1 태스크를 포함하는 태스크 번들과, 재생 대상 지점(PT)의 현재 재생 시간을 전용의 연결 객체부(710)를 통해 해당 특수 효과 장치(400)로 전달한다. 이를 통해, 제어부(550)는 각 해당 시점에서의 제1 태스크 또는 제1 태스크를 포함하는 태스크 번들의 동작 수행(즉, 시계열적 동작 수행)을 제어할 수 있다.
제2 태스크는 타임 라인에 대한 제어 명령이거나, 인터랙션 이벤트(interaction event) 호출에 대한 명령일 수 있다.
이때, 타임 라인에 대한 제어 명령은 재생 대상 지점(PT)이 어느 시점에서 다른 시점으로 이동할 것에 대한 이동 명령(“Goto”라고도 지칭함), 재생 명령(즉, 재생 버튼이 입력되는 것과 같은 동작이 수행되는 명령, “”라고도 지칭), 정지 명령(정지 버튼이 입력되는 것과 같은 동작이 수행되는 명령, “”이라고 지칭) 등에 대한 명령일 수 있다. 또한, 이동 후 정지를 나타내는 “Go And Stop” 명령과, 이동 후 재생을 나타내는 “Go And Play”등과 같이 복수의 제어 동작이 포함된 명령일 수도 있다.
또한, 인터랙션 이벤트 호출은 어느 플레이어(300)에서 재생되는 컨텐츠에 정의된 특정 인터랙션을 호출(가령, 특정 컨텐츠의 등장, 변경 또는 사라짐 등을 호출)되는 것을 지칭한다. 특히, N 플레이어 또는 AR 플레이어의 경우, 일반 영상과 달리 실시간 렌더링 방식을 기반으로 개발되어 게임(game)과 유사게 원하는 시점에 자유롭게 상태를 조정할 수 있는 성격을 가지므로, 이러한 인터랙션 이벤트 호출은 방송이나 공연 중 분산된 미디어들을 통합 제어하는데에 유용하게 사용될 수 있다.
가령, 컨텐츠 상에 비가 오는 효과(이벤트명 Rain)나 번개효과(이벤트명 Lightning)가 미리 정의되어 있다고 가정하면, 제어부(550)의 제어 프로그램에서는 인터랙션 호출 기능을 통해 원하는 시점에 해당 효과를 시작할 수 있다.
이때, 인터랙션 이벤트 호출 설정 시, 단순한 호출(Start/Stop) 외에도 해당 인터랙션의 유형, 강도, 빈도 등의 다양한 옵션에 대한 설정이 가능하다. 가령, 비 효과의 경우에 비의 강도를 설정할 수 있고 번개 효과의 경우에 번개 강도나 지속 시간을 설정할 수 있다.
이러한 인터랙션은 컨텐츠를 제작하는 제작자가 자유롭게 정의할 수 있으며 모든 플레이어에는 해당 효과가 동일하게 정의되어 있어야 한다. 제어부(550)의 제어 프로그램에서는 동시에 여러 개의 플레이어에 대한 인터랙션 이벤트를 호출할 수 있으며, 이에 따라 대형 LED 벽체(100)에서의 디스플레이를 구성하는 여러 컨텐츠는 동시에 동일한 효과를 시각화할 수 있다.
제어부(550)는 제2 타임 라인(722)의 어느 시점에 설정된 제2 태스크 또는 제2 태스크를 포함하는 태스크 번들과, 재생 대상 지점(PT)의 현재 재생 시간을 전용의 연결 객체부(710)를 통해 해당 플레이어(300) 또는 타 합성 장치(600)로 전달한다. 이를 통해, 제어부(550)는 각 해당 시점에서의 제2 태스크 또는 제2 태스크를 포함하는 태스크 번들의 동작 수행(즉, 시계열적 동작 수행)을 제어할 수 있다.
한편, 제2 타임 라인(722)의 어느 시점에 태스크 번들에 대한 호출 설정도 가능하다. 이때, 태스크 번들은 특정 시점에 동시에 호출되어야 하는 태스크들을 하나의 단위로 묶는 개념이다. 즉, 태스크 번들은 제1 태스크, 제2 태스크 및 나머지 태스크 중에서 선택된 복수의 태스크를 동시에 호출하는 명령이다.
이러한 태스크 번들은 태스크 번들은 다양한 유형으로 디폴트(default)로 제공되는 제1 태스크 번들과, 제1 및 제2 태스크 중에서 그 조합이 사용자에 의해 선택되어 새로 정의되는 제2 태스크 번들로 구분될 수 있다.
이때, 제1 태스크 번들은 사전 정의된 범용 태스크 번들로서, 내부에는 여러 개의 태스크가 포함되나 이에 대해 사용자의 편집이 허용되지 않는다. 반면, 제2 태스크 번들은 사용자가 자유롭게 다양한 태스크의 배치를 구성하여 편집한 태스크 번들이다.
여러 플레이어(300)를 동시에 제어하거나 동일한 태스크의 조합이 여러 번 반복되어 사용되는 경우, 이를 하나의 꾸러미(Bundle)로 정의하여 단순하게 호출할 수 있는 기능이 바로 태스크 번들이다. 즉, 태스크 번들을 통해, 반복되는 플레이어(300)에 대한 제어와 복수 태스크의 호출을 단순화하여 처리할 수 있다.
특히, 제2 태스크 번들의 저작(생성)을 위해서는 여러 다른 종류의 명령어들의 조합을 정의하거나 순서를 편집해야 하므로, 단순한 구조와 함께 일관성 있는 UI가 제공된다. 이러한 태스크 번들(특히, 제2 태스크 번들)이 필요한 이유는 다음과 같으며, 본 발명의 태스크 번들은 해당 이유를 충족시킬 수 있다.
(1) 동시에 제어되어야 하는 미디어(즉, 플레이어)가 여러 개인 경우가 많다.
촬영장에는 렌더링 서버, 합성 장비, 라이트 장치, 시뮬레이터, 사운드 등 여러 장비들이 유기적으로 맞물려 하나의 장면을 구성하게 된다. 따라서, 제어 프로그램을 중심에 놓고 여러 유형의 미디어들을 연결하고 통합 제어할 때 모든 장비에 대한 명령을 일일이 정의하고 호출하게 될 경우, 제어 인터페이스가 상당히 복잡해질 수 있으며 불필요하게 중복된 작업을 반복하게 된다.
(2) 동시에 수행되어야 하는 명령의 종류가 여러가지이다.
미디어의 개수와 관계없이 수행되어야 하는 명령들이 여러 개인 경우도 있다. 가령, 제1 및 제2 타임 라인에서 재생 대상 지점(PT)이 03:00에 도달하면 재생 대상 지점(PT)을 05:00으로 보낸 이후 AR 플레이어의 폭발 Effect를 실행하고, 이어서 AR 플레이어의 메인 라이트 장치를 20% 낮추는 일련의 명령들이 동시에 호출되어야 하는 경우가 있다. 이처럼 일련의 동시적인 동작들을 동일 선상에 놓고 그 조합을 정의할 수 있는 인터페이스가 필요하다.
(3) 동일한 태스크 조합이 반복적으로 사용될 수 있어야 한다.
XR 촬영의 경우, 상황에 따라 타임라인의 이곳 저곳을 옮겨 다니며 이전의 연출을 다시 재현해야 하거나 특정 상황에 따라 출력되는 결과들을 약간씩 다르게 연출해야 경우가 많다. 따라서, 동시에 호출되어야 할 여러 종류의 명령들을 그때마다 새롭게 지정하여 수동으로 호출하는 것은 매우 어려운 일이다. 즉, 촬영 중 필요한 다양한 태스크들의 조합들을 미리 태스크 번들로 정의하여 필요한 시점에 해당 번들만 실행시키는 방식의 인터페이스가 필요하다.
특히, 제1 및 제2 태스크 번들에 대한 보다 명확한 구분을 위해, 도 5에 도시된 바와 같이, 제1 및 제2 태스크 번들은 서로 다른 제2 타임 라인(722)으로 구분되어 사용자 인터페이스(UI)에 표시되는 것이 바람직할 수 있다. 즉, 도 5에서, 'Built-in'의 제2 타임 라인(722)은 제1 태스크 번들의 타임 라인에 해당하며, 'User Defined'의 제2 타임 라인(722)은 제2 태스크 번들의 타임 라인에 해당한다.
가령, 도 6 및 도 8에 도시된 바와 같이, 적용 가능한 태스크 또는 태스크 번들의 종류에 대해서는 태스크 리스트(L1)를 통해 사용자 인터페이스(UI)에 별도로 표시될 수 있다. 이때, 사용자 입력에 따라 Task 리스트(L1)에서 선택된 특정 태스크 또는 태스크 번들은, 도 5 및 도 7에 도시된 바와 같이, 제2 타임 라인에서 사용자가 원하는 지점에 추가될 수 있다. 물론, 도 7의 Properties 윈도우(P2)를 통해, 추가된 태스크 또는 태스크 번들에 대한 조정에 대한 세부 설정(상세한 시간 지점에 대한 설정 등)이 가능하다.
한편, 응용 영역의 폭을 넓히기 위해, 태스크 또는 태스크 번들은 다양한 방식으로 호출될 수 있다. 기본적으로, 제2 타임 라인(722)에 호출자를 추가하여 특정 시점에 자동으로 호출되게 할 수 있다. 또한, 태스크 리스트(L1)의 항목에서의 클릭이나, 키보드 또는 외부 MIDI 장치의 기 설정된 키 입력에 의해 실시간으로 특정 태스크 또는 태스크 번들이 실행될 수도 있다. 또한, 제어 장치(500)에 접속한 단말 등을 이용하여 원격으로 특정 태스크 또는 태스크 번들이 실행될 수도 있다.
도 9는 제2 태스크 번들을 저작(생성) 과정에 대한 일 예를 나타내며, 도 10은 제2 태스크 번들을 저작(생성)하기 위해 제공되는 사용자 인터페이스(UI)에 대한 일 예를 나타낸다.
한편, 제2 태스크 번들을 저작하기 위한 인터페이스를 제공하기 위해, 다양한 명령들이 태스크라는 동일한 수준의 개념으로 정의된다. 또한, 제2 태스크 번들 저작 UI를 통해 일련의 명령 흐름을 단순한 방식으로 편집될 수 있어야 한다. 이때, 해당 번들이 호출되는 방식(키보드, MIDI, 타임 라인 등)도 구체적으로 정의될 수 있다.
특히, 태스크 번들의 핵심은 복잡하고 반복적인 과정을 단순하게 줄이는 것에 있다. 이러한 제2 태스크 번들을 생성하기 위해, 이해하기 쉬운 단순한 정보 구조와 직관적인 인터페이스를 제공하는 것이 중요하다. 이에 따라, 도 9 및 도 10에 도시된 바와 같이, 정보의 계층을 태스크와, 제2 태스크 번들이라는 2단계로 구분하고, 선형 노드 기반의 편집 UI를 제공할 수 있다. 이를 통해, 사용자는 이벤트의 흐름을 빠르게 이해하고 노드를 재구성(추가, 삭제, 순서 변경 등)할 수 있다. 이때, 각 노드는 좌측 상단 체크 박스를 통해 실행 여부를 선택할 수 있다. 또한, 노드의 기본 구조는 메시지, 파라미터 및 타깃으로 구성될 수 있으며, 노드 특성에 따라 조금씩 다르게 표시될 수 있다.
또한, Shared Value는 제어 프로그램에서 사용할 수 있는 일종의 변수이다. 가령, 화면에 표시되어야 하는 문구가 유동적인 경우(사람 이름, 스코어, 선거 결과 등), 사용자의 입력에 따라 Share Value에 해당 항목이 생성되면서 해당 항목의 값이 저장 또는 변경될 수 있다. 또한, 실시간으로 해당 값을 N 플레이어, AR 플레이어 등 게임 엔진으로 개발된 시각화 플레이어로 보내 변경된 문구를 화면에 표시할 수도 있다. 이와 같이 Share Value를 별도로 생성하여 관리하는 이유는 XR 촬영의 경우, 일반 영상과 달리 조건에 따라 표현을 달리하거나, 인터랙션 결과를 바꿀 수 있는 실시간 렌더링 기반의 컨텐츠를 사용하기 때문이다. 즉, 컨텐츠를 통제하는 본 발명의 제어 프로그램에서는 변경 가능한 옵션들을 Share Value로 관리하고 태스크를 통해 해당 값을 조작(값 변경, 초기화 등)할 수 있는 기능을 제공한다. 이를 통해 유연성 있는 인터랙션 제어가 가능하다.
한편, 어느 시점에서 태스크 또는 태스크 번들이 호출되어 실행되더라도, 해당 태스크 또는 태스크 번들은 제어 장치(500)의 제어부(550)에서 내부에서 명령들이 실행되는 것이므로, 사용자는 해당 태스크 또는 태스크 번들이 정상적으로 실행되었는지 확인하기 어렵다. 따라서, 특정 태스크 또는 태스크 번들이 호출되어 실행되는 경우, 사용자 인터페이스(UI)의 콘솔(console) 윈도우 등에 그 실행 완료 여부가 표시되는 것이 바람직할 수 있다. 특히, 해당 실행이 완료되는 경우, 태스크 리스트(L1)의 해당 태스크 또는 태스크 번들에 대한 항목이 특정 색상, 모양 등이 변경되도록 하여(가령, 빨간 색상이 2초간 표시 등), 해당 결과에 대한 사용자의 직관적 인식을 도울 수 있다. 또한, 그 실행 완료 여부에 따른 결과 데이터가 별도의 파일로 메모리(540)에 저장될 수도 있다.
다음으로, 주석부(723)는 사용자 인터페이스(UI)에서 제1 타임 라인(721) 또는 제2 타임 라인(722)의 어느 시점에 대한 상황 정보를 담은 말풍선을 표시하는 구성으로서, 해당 시점을 나타내는 부분에 표시될 수 있다. 가령, 제1 및 제2 타임 라인(721, 722)의 시간 정보가 표시되는 영역에 표시될 수 있다. 이를 통해, 사용자는 보다 쉽고 직관적으로 다양한 촬영 영역에 대한 구분이 가능하다.
도 5의 'C' 주변에 '시작'과 “3-1 백악기”이라는 주석부(723)가 각각 제1 및 제2 타임 라인(721, 722)의 시간 정보의 해당 시점에 표시된다. '시작' 등의 주석부(723)는 도 6의 Properties 윈도우(P3)를 통해, 그 주석 단어, 설정 시간 등에 대한 세부 설정이 가능하다.
주석부(723)는 정보를 제공하는 기능 외에도 제1 및 제2 타임 라인(721, 722) 상의 특정 지점을 지칭할 때 시간 대용으로 사용될 수도 있다. 이에 따라, 재생 대상 지점(PT)의 이동에 주석부(723)가 활용되기도 한다.
즉, 사용자 인터페이스(UI)에서 어느 한 주석부(723)가 선택(가령, 클릭 등)되는 경우, 재생 대상 지점(PT)이 해당 주석부(&23)의 시점으로 이동한다. 가령, “3-1 백악기”의 주석부(723)가 클릭되는 경우, 다른 시점에 있던 재생 대상 지점(PT)이 “3-1 백악기”의 주석부(723)에 해당하는 시점으로 이동한다.
또한, 주석부(723)에 대한 정보를 담은 주석 리스트(미도시)가 사용자 인터페이스(UI)에 별도로 표시될 수도 있다. 이 경우, 주석 리스트에서 어느 한 주석부(723)에 대한 정보가 선택되는 경우, 재생 대상 지점(723)이 해당 주석부(723)의 시점으로 이동한다. 가령, 주석 리스트에서 “시작”의 주석부(723)가 선택되는 경우, 다른 시점에 있던 재생 대상 지점(PT)이 “시작”의 주석부(723)에 해당하는 시점으로 이동한다.
특히, 제1 태스크는 재생 대상 지점(PT)을 어느 시점으로 이동할 것에 대한 이동 명령(Goto)를 포함하는데, 이동 명령(Goto)의 호출 시 어느 한 주석부(723)의 고유 ID가 참조되는 경우, 재생 대상 지점(PT)이 해당 고유 ID의 주석부(723)가 나타내는 시점으로 이동될 수 있다.
가령, Goto(시간) 대신 Goto(주석부 ID)가 사용될 수 있다. 이때, Goto(시간)는 해당 시간으로 재생 대상 지점(PT)을 이동시키는 명령이며, Goto(주석부 ID)는 해당 ID의 주석부(723)의 시점으로 재생 대상 지점(PT)을 이동시키는 명령이다. 이에 따라, 타임 라인의 내용 구성과 시간이 바뀌는 경우에도, 태스크에 대한 별도의 수정 없이 주석부(723)의 시간을 옮기는 것만으로 대응 가능해진다. 즉, 내용 변경 시에 편집 용이한 이점이 있다.
한편, LED 벽체(100)를 활용한 In Camera VFX 방식으로 사극 드라마 촬영(야외 장면)을 위한 시스템(10)의 동작에 대한 구체적인 예에 대해서 설명하도록 한다.
도 12는 사극 드라마 촬영(야외 장면)을 위한 시스템(10)의 일 예를 나타낸다.
먼저, 맑은 하늘을 배경으로 촬영하다가 극의 전개에 따라 점차 구름이 끼고 번개가 치는 궂은 날씨로 변화하는 장면의 촬영이 필요하다. 이러한 촬영을 위해, 도 12에 도시된 바와 같이, LED 벽체(100)와, LED 벽체(100)의 3개 소단위 디스플레이(110)(LED_1, LED_2, LED_3)에 대해 각각 실시간 렌더링을 담당하는 N 플레이어 3대가 배치된다.
도 13 및 도 14는 도 12에서 제어 프로그램의 설정에 대한 일 예를 나타내며, 도 15는 도 12에서 태스크 번들의 설정에 대한 일 예를 나타낸다. 특히, 도 14는 제1 제어 설정부에 대한 일 예를 나타낸다.
배경 무드의 변화를 표현하기 위해, 먼저 LED 벽체(100) 상에 표현되는 미디어 영상의 상태를 맑은 날씨에서 흐린 날씨로 변화시켜야 한다. 또한, 특정 시점에 번개가 치는 인터랙션 이벤트가 호출되어야 하며, 특수 효과 장치(400)인 라이트 장치, 번개 장치, 바람 장치 및 포그 머신 등도 특정 시점에 작동되어야 한다. 이를 위해, LED 벽체(100)의 시각화를 담당하는 3대의 N 플레이어들과 각 특수 효과 장치(400)는 제어부(550)의 제어 프로그램에 연결되어 통합 제어된다.
LED 벽체(100)에 표시되는 영상 내의 상태를 시간 흐름에 따라 변화시키기 위해, 도 13 및 도 14에 도시된 바와 같이, 제1 타임 라인(721) 상에 맑은 날씨, 흐린 날씨 등 주요 시점에 키 포인트를 만들어 LED 벽체(100)의 영상의 색감 및 대기의 상태(구름의 양/이동 속도, 포그 농도, 태양의 방향 등)를 조정할 수 있다.
입력된 키 포인트의 설정 값은 각 전용의 연결 객체부(710)를 통해 즉시 3대의 N 플레이어로 공유되며, 제어 프로그램의 타임 라인이 재생되는 시간에 맞추어 LED 벽체(100)의 영상은 맑은 날씨를 배경으로 한 장면에서 흐리고 번개가 내리치는 분위기로 전환된다.
LED 벽체(100)의 영상의 전환과 함께, 라이트 장치, 번개 장치, 바람 장치 및 포그 머신 등의 각 특수 효과 장치(400)도 동시에 작동시킬 경우, 극적인 분위기를 더욱 자연스럽게 연출할 수 있다. 이러한 연출의 경우, 종래에는 각 장치를 제어하는 별도의 인력들이 감독의 연출 사인에 맞추어 수동으로 동작 시키는 것이 일반적이다. 하지만, 이러한 종래 방식으로는 원하는 시점에 동시에 실행하는데 어려움이 있으며 재촬영 시 이전과 동일한 시점에 동작되기도 어렵다.
따라서, 본 발명에서는, 제어 프로그램을 통해 제어하되 전용의 연결 객체부(710)를 통해 각 특수 효과 장치(400)를 연결하면서, 태스크 번들을 통해 동시에 실행되어야 할 여러 장치들을 한 번에 제어할 수 있다.
이를 위해, 라이트 장치, 번개 장치, 바람 장치 및 포그 머신 등의 각 특수 효과 장치(400)에 대해 연결 객체부(710)를 생성하여 각각의 연결 방식(프로토콜)을 지정한다. 가령, 라이트 장치는 UDP기반의 아트넷으로 주로 제어할 수 있으며, 기타 장치들은 대부분 시리얼 통신으로 제어 가능하다.
이처럼 제어 프로그램에 등록된 다수의 특수 효과 장치(400)들은 각각 원하는 신호나 값을 전달하여 단독으로 제어 가능하다. 다만, 특정한 시점의 연출을 표현하기 위해서는 여러 특수 효과 장치(400)가 각각 동작 상태를 달리하여 한 번에 제어되는 것이 바람직할 수 있다. 이에 따라, 3개의 태스크 번들(SunMood_1, SunMood_2, SunMood_3)을 생성할 수 있다.
이때, SunMood_1은 맑은 날씨를 표현하기 위한 명령이며, CloudMood_1 및 CloudMood_2는 각기 상이한 궂은 날씨 표현을 위한 명령이다. 각 태스크 번들에 포함된 세부 명령의 구성은 도 15에 도시된 바와 같다.
참고로, 상술한 특수 효과 장치(400)들을 제어하는 것 외에도, N 플레이어에 정의된 특정 인터랙션을 호출하여 극적인 효과를 더할 수 있다. 가령, 인터랙션 1의 경우, 컨텐츠 상에 나뭇잎이 날리는 효과일 수 있고, 인터랙션 2는 번개음 사운드 실행의 효과일 수 있다.
이때, 상술한 태스크 번들은 디폴트(default)로 제공되는 태스크 번들에서 선택되어 생성되거나 디폴트 외에 사용자에 의해 별도로 선택되어 생성될 수 있다. 이와 같이 생성된 태스크 번들은 제어 프로그램의 제2 타임 라인 상에서 상태가 전환되는 주요 지점에 배치하여 시간에 따라 자동으로 호출되도록 할 수 있다.
촬영이 시작되면 재새 버튼 등의 입력에 따라 타임 라인이 동시에 재생되며 이와 같이 제1 및 제2 타임 라인 상에 배치된 키 포인트 및 태스크 번들에 의해 컨텐츠 및 촬영장에 배치된 장치들은 정해진 시점에 통합 제어된다.
물론, 연출자의 판단에 따라 호출되는 시점이나 옵션(강도, 빈도 등)을 즉각 수정하여 제어 프로그램에 반영할 수 있다. 특히, 종래 방식과 같이 여러 사람에 의한 수동 조작의 경우에 불필요한 시차나 실수의 가능성이 있으나, 타임 라인에 의해 자동 호출되는 본 발명의 방식은 언제나 동일한 촬영 환경 조건을 만들어 주는 이점이 있다.
한편, 제어 프로그램에서 가능한 다양한 설정에 대해 추가로 설명하도록 한다.
<제1 제어 설정부>
먼저, P1 또는 P1' 등의 상술한 제1 제어 설정부는 제1 타임 라인(721) 상에 추가한 Key point의 설정 값을 변경하도록 사용자에게 제공되는 인터페이스이다. 이에 따라, 제1 제어 설정부를 통해, 제1 타임 라인(721) 상에 추가된 각 Key point를 선택하고 색상 조정이나 날씨(대기)의 상태(가령, 태양의 위치, 포그 정도, 구름의 양) 등을 각기 다르게 설정할 수 있다. 이와 같이 시계열로 정의된 각 Key point에 대한 설정(변화)된 값이 해당 플레이어(300)를 통해 시각화 된다. 즉, 해당 플레이어(300)로 전달된 Key point의 데이터는 다시 시계열로 분리되어 제어 프로그램의 타임 라인과 동기화된 플레이어(300)의 타임 라인 진행에 따라 변경된 설정 값으로 표시된다.
색상 조정 및 대기 상태(하늘, 구름, 태양)는 타임 라인 상에 추가된 Key point를 통해 관리되며 Key point 데이터는 각 플레이어(300)와의 전용 연결을 담당하는 연결 객체부(710) 내부에 저장된다. 즉, 제어 프로그램의 연결 객체부(710)에 특정 플레이어(300)가 접속할 경우, 해당 플레이어(300)에 대한 전체 Key point의 설정 값이 네트워크 통신을 통해 해당 플레이어(300)로 전달되어 해당 설정 값의 구성이 제어 프로그램과 해당 플레어어(300) 간에 동기화된다. 이후, Key point의 위치가 변하거나 설정 값이 수정될 경우, 변경이 완료된 즉시 해당 정보만 해당 플레이어(300)로 전송되어 반영된다.
가령, 연결 객체부(710) 내의 Key point 데이터는 해당 플레이어(300)의 플러그인의 External Event클래스를 통해 ColorTone 매니져로 전달될 수 있다. 여기서 다시 플레이어(300) 자체 유형으로 변환된 Key point 데이터는 Key List 배열에 저장될 수 있다. Key point 데이터의 적용은 100msec로 설정된 타이머에 의해 주기적으로 반영될 수 있다. 예를 들어, 0.1초에 한 번씩 Key point에 있는 색상 보정 정보로 postprocess의 설정 값을 변경하고 대기 상태(하늘, 태양, 구름)의 정보는 UltraSkyManager로 보내 실시간 변경할 수 있다.
<제2 제어 설정부>
도 16은 제2 제어 설정부에 대한 일 예를 나타낸다.
다음으로, 도 16을 참조하면, 제2 제어 설정부는 제1 타임 라인 상의 키 포인트와 연결 객체부 간의 선택적인 연동이나, 각 연결 객체부(710)의 구체적인 상태나 모드를 설정하도록 사용자에게 제공되는 인터페이스이다. 여기서 다루는 값은 타임 라인 상의 Key point와 다르게 시계열로 관리되지 않는다. 즉, 제2 제어 설정부에서의 설정 값은 시간의 흐름에 따라 바뀌는 값이 아니며, 각 플레이어가 재생하는 구역에 대한 위치, 각도 및 렌즈 정보 등을 보정하는 제어 설정을 위한 것일 수 있다. 가령, In Camera VFX 촬영을 위한 N 플레이어의 경우, 플레이어 모드 선택, 프러스텀 사이즈, 조리개 값, 모션 블러 강도 등과 같이, 제2 제어 설정부는 촬영 중 사용자의 판단에 따라 각 플레이어 별로 다르게 설정해야 하는 값들을 주로 다룬다. 또한, 제2 제어 설정부는 Stage 창을 통해 가상 공간 속에서 트래킹 카메라의 현재 촬영 위치나 방향을 실시간으로 바꾸고 그 값을 프리셋으로 저장하는 기능도 제공할 수 있다. 또한, 제2 제어 설정부는 Free Cam이라는 고정 카메라 모드를 사용할 경우, 카메라의 시선 방향, 위치, 센서 크기 등을 실시간으로 변경하여 반사판용 LED 벽체(100)를 위한 시각화 용도로도 사용될 수 있다.
<제3 제어 설정부>
도 17은 제3 제어 설정부에 대한 일 예를 나타내며, 도 18은 렌즈 캘리브레이션의 과정에 대한 일 예를 나타낸다.
다음으로, 도 17을 참조하면, 제3 제어 설정부는 물리적 렌즈와 가상 렌즈를 동기화하기 위한 렌즈 캘리브레이션을 위한 인터페이스를 제공한다. 즉, 실제 공간에서 움직이고 있는 물리적인 카메라(200)의 위치, 각도, 렌즈 정보를 트래킹 장치를 통해 게임 컨텐츠로 전송하고 그것을 가상 현실 그래픽과 동기화시키는 것이 버추얼 프로덕션의 기본 기능이다. 이를 위해, 렌즈의 화각, 초점 거리, 왜곡률 등에 해당하는 정보를 실제 카메라(200)의 렌즈와 동일하게 맞추는 과정이 필요하다. 이에 따라, 도 18에 도시된 바와 같이, 가상 챠트를 표시해주는 챠트 뷰어 프로그램, 렌즈 캘리브레이션 인터페이스(제3 제어 설정부) 및 AR 플레이어가 필요하다. 캘리브레이션을 진행하는 순서는 별도의 대형 디스플레이(가령, 대형 TV 등)에 챠트 뷰어 프로그램을 통해 그리드(grid)를 표시한다. 해당 디스플레이의 실제 크기, 카메라 센서 사이의 거리 및 원하는 화각이 제3 제어 설정부의 캘리브레이션 UI에 입력되면, 자동으로 해당 디스플레이를 통해 해당 화각에 해당되는 크기의 챠트가 그려진다. 이때, AR 플레이어의 가상 공간 속에 그려지는 그리드의 크기와 챠트의 크기를 일치시켜 정확한 화각 수치를 정의할 수 있다. 또한, 각 화각 내에 구간을 나누어 포커스 설정 포인트를 생성하고 거리를 정의할 수 있으며, 포커스 거리마다 화각의 가중치를 부여할 수도 있다. 또한, 각 포커스 설정 포인트 마다 렌즈 왜곡을 보정할 수 있는 보정 값을 설정할 수도 있다.
도 11은 본 발명의 일 실시예에 따른 제어 방법의 동작 순서도를 나타낸다.
본 발명의 일 실시예에 따른 제어 방법은 제어 장치(500)의 제어부(550)에 의해 그 동작 수행이 제어될 수 있으며, 도 11에 도시된 바와 같이, S10 내지 S30을 포함한다.
S10은 제어부(550)가 서로 다른 미디어를 재생하는 외부의 다수 플레이어(300)와의 연결을 각각 전용으로 담당하는 다수의 연결 객체부(710)를 설정하는 단계이다. 물론, S10에서, 플레이어(300) 외에 특수 효과 장치(400) 또는 타 합성 장치(600)에 대한 전용의 연결 객체부(710)도 설정될 수 있다. 다만, 플레이어(300), 특수 효과 장치(400), 타 합성 장치(600) 및 연결 객체부(710)에 대해서는 이미 상술하였으므로, 이하 이들에 대한 상세한 설명은 생략하도록 한다.
이후, S20은 제어 설정부에 대한 제어 설정을 수행하는 단계이다. 가령, S20에서, 제어부(550)가 플레이어(300) 별로 구분되어 사용자 인터페이스(UI)에 표시되는 다수의 제1 타임 라인(721)에 대해, 사용자의 입력에 따라 제1 타임 라인(721)에서의 각 플레이어(300)에 대한 시계열적 제어 설정(즉, 제1 제어 설정부에 대한 제어 설정)을 수행할 수 있다. 물론, S20에서, 제1 타임 라인(721) 외에 제2 타임 라인(722)에 대한 시계열적 제어 설정도 수행될 수 있다. 또한, S20에서, 제1 제어 설정부 외에, 제1 또는 제2 제어 설정부 등에 대한 다른 제어 설정을 수행할 수도 있다. 다만, 제1 및 제2 타임 라인(721, 722)과, 이들에 대한 시계열적 제어 설정과, 제1 내지 제3 제어 설정부에 대한 제어 설정에 대해서는 이미 상술하였으므로, 이하 이들에 대한 상세한 설명은 생략하도록 한다.
이후, S30은 제어부(550)가 S20에서의 제어 설정과 제1 및 제2 타임 라인(721, 722)의 현재 재생 시간에 대한 정보를 전용의 연결 객체부(710)를 통해 해당 플레이어(300)로 전달함으로써, 해당 제어 설정 및 현재 재생 시간을 반영한 해당 플레이어(300)의 시계열적 동작을 제어하는 단계이다. 물론, S30에서, 제2 타임 라인(722)의 어느 시점에 설정된 제1 태스크, 제2 태스크, 제1 태스크를 포함하는 태스크 번들 또는 제2 태스크를 포함하는 태스크 번들과, 재생 대상 지점(PT)의 현재 재생 시간이 각각 전용의 연결 객체부(710)를 통해 해당 특수 효과 장치(400), 플레이어(300) 또는 타 합성 장치(600)로 전달될 수도 있다. 이 경우, 각 해당 시점에서의 제1 태스크, 제2 태스크, 제1 태스크를 포함하는 태스크 번들 또는 제2 태스크를 포함하는 태스크 번들의 동작 수행(즉, 시계열적 동작 수행)이 제어될 수 있다. 또한, S30에서, 제어부(550)는 제1 제어 설정부의 제어 설정 외에, 제1 또는 제2 제어 설정부 등의 제어 설정에 따른 동작을 제어할 수도 있다. 다만, 제1 및 제2 태스크, 이들에 대한 제어 설정 및 동작 수행에 대해서는 이미 상술하였으므로, 이하 이들에 대한 상세한 설명은 생략하도록 한다.
상술한 방법은 메모리(540)에 로드되어 제어부(550)의 제어에 따라 프로그램을 실행함으로써 실행될 수 있다. 이러한 프로그램은, 여러 가지 유형의 비일시적인 컴퓨터 판독 가능한 매체(non-transitory computer readable medium)의 메모리(540)에 저장될 수 있다. 비일시적인 컴퓨터 판독 가능한 매체는 여러 가지 유형의 실체가 있는 기록 매체(tangible storage medium)를 포함한다.
예를 들어, 비일시적인 컴퓨터 판독 가능한 매체는, 자기 기록 매체(예를 들면, 플렉시블 디스크, 자기 테이프, 하드디스크 드라이브), 광자기 기록 매체(예를 들면, 광자기 디스크), CD-ROM(read only memory), CD-R, CD-R/W, 반도체 메모리(예를 들면, 마스크 ROM, PROM(programmable ROM), EPROM(erasable PROM), 플래시 ROM, RAM(random access memory))을 포함하나, 이에 한정되는 것은 아니다.
또한, 프로그램은 여러 가지 유형의 일시적인 컴퓨터 판독 가능한 매체(transitory computer readable medium)에 의해 공급될 수도 있다. 예를 들어, 일시적인 컴퓨터 판독 가능한 매체는, 전기 신호, 광신호, 전자파를 포함할 수 있으나, 이에 한정되는 것은 아니다. 즉, 일시적인 컴퓨터 판독 가능한 매체는 전선, 광섬유 등의 유선 통신로 또는 무선 통신로를 통해 프로그램을 제어부(550)에 공급할 수 있다.
상술한 바와 같이 구성되는 본 발명은 버추얼 프로덕션의 영상 촬영을 위해 분절된 영상 촬영 기술과 별개의 장비들을 효과적으로 통합하여 일관성 있고 단순한 방식으로 제어하는 타임 라인 기반의 통합 연출 제어 기술을 제공할 수 있다. 이러한 본 발명은 다음과 같은 주요 특징을 갖는다.
(1) 컨텐츠 간 흐름을 동기화하여 제어
종래의 경우, 정해진 스케쥴이나 단순한 제어 신호를 받아 운영되므로, 서버와 플레이어 간 복잡한 제어 기능을 제공하지 않는다. 반면, 버추얼 프로덕션 기술이 활용되는 XR 촬영의 경우, AR 컨텐츠, LED 벽체용 실시간 컨텐츠, 일반 영상 등 여러 다른 유형의 미디어 컨텐츠가 동시에 표출되어 하나의 장면을 구성하게 된다. 이를 위해, 각 미디어 유형을 재생하는 다수의 렌더링 전자 장치(가령, PC)가 사용되는데, 본 발명은 이들에 대한 통합적인 동기화 및 제어가 가능하게 된다. 특히, 카메라 대수가 늘어나거나 큰 LED 해상도로 인해 여러 대의 플레이어가 사용될 경우에도, 본 발명은 각 장치 간 상태를 동기화되고 컨텐츠 타임 라인을 동일하게 제어하기 위한 기능을 제공할 수 있다. 특히, 본 발명은 여러 플레이어들의 타임 라인을 제어 프로그램의 타임 라인과 동기화하여 원하는 시점에 밀리세컨드(1000분의 1초) 수준으로 정교하게 통합 제어할 수 있다. 이를 통해, 버추얼 프로덕션 촬영장의 각 구성 요소가 조화롭게 동시에 운영되어 일련의 시나리오를 매끄럽게 촬영할 수 있다.
(2) 인터랙션이 가능한 실시간 컨텐츠(Realtime Content) 특성을 반영한 제어 방식 제공
XR 컨텐츠의 경우, 일반 영상과 마찬가지로 시간의 흐름에 따라 내용이 전개되는 시계열 컨텐츠를 위주로 한다. 다만, 실시간 렌더링이라는 특성에 따라 원하는 시점에 특정 내용을 실시간으로 바꿀 수 있는 게임과 같은 특성도 가진다. 가령, 특정 시점에 가상 공간 내의 날씨를 바꾸거나 폭발 효과를 호출할 수도 있다. 따라서, 각 플레이이의 메인 타임 라인을 동기화하고 제어하는 것을 넘어 원하는 시점에 특정 인터랙션 이벤트 호출의 기능도 필요로 하는데, 본 발명은 이러한 기능을 제공할 수 있다. 특히, 본 발명은 인터랙션 이벤트 호출에 대해, 타임 라인의 특정 시점에 명령을 심어 시계열로 호출되게 하거나, 키보드 또는 MIDI 장치 등을 통해 수동으로 즉시 실행되게 할 수 있다. 또한, 본 발명은 인터랙션 제어의 경우, 영상과 달리 단순 On/Off가 아닌 유형, 강도, 빈도 등 훨씬 다양한 옵션의 설정이 가능하다.
(3) 여러 유형 장치들의 대한 통합 제어 능력
XR 촬영에서는 여러 다른 유형 장치들이 동시에 제어되어야 튀거나 어색함 없이 영상을 생산할 수 없다. 다만, 제어해야 하는 대상이 많고 각각 유형이 달라 일일이 관리(연결, 동기화, 상태 모니터, 옵션 변경, 흐름제어 등)하는 것은 쉬운 일이 아니며 자칫 과정이 매우 복잡해질 수도 있다. 또한, 미디어를 재생하는 플레이어 외에도 Pixotope이나 Disguise 등과 같은 영상 합성 프로그램을 사용해야 하는 경우에도 동일하게 정교한 흐름 제어가 가능해야 한다. 또한, 그래픽의 타임 라인(장면)을 변경할 경우, 라이트 장치, 번개 장치, 음향 장치, 바람 장치, 포그 머신, 스노우 머신, 레인 머신 등의 특수 효과 장치들에 대한 동작도 동시에 제어해야만 효과적인 촬영이 가능해진다. 본 발명은 이러한 여러 유형 장치들을 쉽고 직관적이며 통합적으로 제어할 수 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
본 발명은 버추얼 프로덕션의 영상 촬영 관련 기술에 관한 것으로, 버추얼 프로덕션의 촬영 현장에서 복잡한 다수의 촬영 요소들을 쉽고 직관적이며 통합적으로 제어 가능한 사용자 인터페이스를 제공함으로써, 버추얼 프로덕션에 필요한 지식이 부족한 사용자라 하더라도 쉽게 운용 가능한 버추얼 프로덕션 관련 기술을 제공하므로, 산업상 이용가능성이 있다.

Claims (20)

  1. 이미지, 비디오 및 카메라 트래킹(camera tracking) 연동 영상 중 적어도 하나의 미디어가 발광 소자(light-emitting diode; LED) 벽체의 전방으로 표시되는 상태에서 상기 LED 벽체의 전방에 위치한 인물 또는 사물을 카메라로 촬영하는 버추얼 프로덕션(virtual production)의 영상 촬영에 대한 제어 장치로서,
    디스플레이; 및
    버추얼 프로덕션의 영상 촬영 제어를 위한 프로그램을 실행하며, 상기 프로그램의 사용자 인터페이스를 상기 디스플레이에 표시하는 적어도 하나의 프로세서;를 포함하며,
    상기 프로그램은,
    서로 다른 미디어를 재생하는 외부의 다수 플레이어와의 연결을 각각 전용으로 담당하는 다수의 연결 객체부; 및
    상기 플레이어 별로 구분되어 상기 사용자 인터페이스에 시계열의 레이어 형태로 표시되는 다수의 제1 타임 라인과, 사용자의 입력에 따라 상기 제1 타임 라인에서의 상기 각 플레이어에 대한 시계열적 제어 설정을 위한 제1 제어 설정부와, 제1 타임 라인 상의 키 포인트와 연결 객체부 간의 선택적인 연동이나 연결 객체부의 상세 상태 또는 모드에 대한 제어 설정을 위한 제2 제어 설정부를 각각 포함하는 설정부;를 포함하며,
    상기 적어도 하나의 프로세서는 상기 제어 설정과 상기 제1 타임 라인의 현재 재생 시간에 대한 정보를 상기 전용의 연결 객체부를 통해 해당 플레이어로 전달하여, 상기 제어 설정 및 현재 재생 시간을 반영한 상기 다수 플레이어의 시계열적 동작을 제어하는 장치.
  2. 제1항에 있어서,
    상기 제1 제어 설정부의 제어 설정은 사용자 입력에 따라 상기 제1 타임 라인 상의 어느 시점에서 어느 플레이어에서 재생되는 미디어에 대한 색상 조정 설정 또는 날씨 상황 설정을 포함하는 장치.
  3. 제1항에 있어서,
    상기 다수 플레이어는 상기 LED 벽체에 표시되는 미디어를 n개(단, n은 2이상의 자연수) 구역을 나눠 제어 신호에 따라 재생하는 각 플레이어를 포함하는 장치.
  4. 제3항에 있어서,
    상기 제2 제어 설정부는 각 플레이어가 재생하는 구역에 대한 위치, 각도 및 렌즈 정보를 보정하는 제어 설정이 가능한 장치.
  5. 제4항에 있어서,
    상기 제어 신호는 실제 카메라의 위치, 화각 및 포커스 거리를 가상 카메라에 투영하여 실제 카메라의 렌즈에 담기는 영역인 프러스텀을 다른 영역 보다 높은 해상도로 시각화하기 위한 제어 수치를 포함하는 장치.
  6. 제5항에 있어서,
    상기 제어 수치는 플레이어의 연결 여부의 체크 값, 플레이어와 연결된 렌즈 데이터의 키 값, 고정 카메라의 위치 값과 방향 값 및 트래킹 데이터 보정 값을 포함하는 장치.
  7. 제3항에 있어서,
    상기 설정부는 상기 n개 구역을 나눠 재생하는 n개 플레이어에 대한 각각의 상기 제1 타임 라인을 n개 포함하며,
    상기 적어도 하나의 프로세서는 n개의 상기 제1 타임 라인의 시간을 따라 재생되는 n개 구역의 각 미디어를 동기화하여 재생하는 장치.
  8. 제3항에 있어서,
    상기 다수 플레이어는 카메라 트래킹에 따라 연동되는 증강현실(augmented reality; AR)을 해당 카메라의 촬영 영상에 합성하거나 확장시키는 플레이어를 더 포함하는 장치.
  9. 제1항에 있어서,
    상기 다수의 연결 객체부는 외부 환경 요소를 지원하는 외부의 다수 특수 효과 장치와의 연결에 대해서도 각각 전용으로 담당하도록 마련되고,
    상기 설정부는 사용자의 입력에 따라 어느 특수 효과 장치의 동작 제어에 대한 명령인 제1 태스크(task)에 대한 어느 시점에서의 호출 설정이 가능하도록 상기 사용자 인터페이스에 시계열의 레이어 형태로 표시되는 제2 타임 라인을 더 포함하며,
    상기 적어도 하나의 프로세서는 상기 호출 설정을 상기 전용의 연결 객체부를 통해 해당 특수 효과 장치로 전달하여, 해당 시점에서의 상기 제1 태스크의 동작을 제어하는 장치.
  10. 제9항에 있어서,
    상기 특수 효과 장치는 라이트 장치, 번개 장치, 음향 장치, 바람 장치, 포그 머신(fog machine), 스노우 머신(snow machine) 및 레인 머신(rain machine) 중 적어도 하나를 포함하는 장치.
  11. 제9항에 있어서,
    상기 설정부는 사용자 입력에 따라 상기 제2 타임 라인 상의 어느 시점에서 어느 플레이어의 동작 제어에 대한 명령인 제2 태스크의 호출 설정이 가능하며,
    상기 적어도 하나의 프로세서는 상기 제2 태스크의 호출 설정을 상기 전용의 연결 객체부를 통해 해당 플레이어로 전달하여, 해당 시점에서의 상기 제2 태스크의 동작을 제어하는 장치.
  12. 제11항에 있어서,
    상기 설정부는 사용자의 입력에 따라 상기 제2 타임 라인 상에서 태스크 번들(task bundle)에 대한 어느 시점에서의 호출 설정이 가능하며,
    상기 태스크 번들은 상기 제1 및 제2 태스크 중에서 선택된 복수의 태스크를 동시에 호출하는 명령인 장치.
  13. 제12항에 있어서,
    상기 태스크 번들은 다양한 유형으로 디폴트(default)로 제공되는 제1 태스크 번들이거나 제1 및 제2 태스크 중에서 그 조합이 사용자에 의해 선택되어 새로 정의되는 제2 태스크 번들인 장치.
  14. 제13항에 있어서,
    상기 제1 및 제2 태스크 번들은 서로 다른 상기 제2 타임 라인으로 상기 사용자 인터페이스에 표시되는 장치.
  15. 제12항에 있어서,
    상기 태스크 번들이 실행되는 경우, 해당 실행 완료 여부가 상기 사용자 인터페이스에서 별도로 표시되는 장치.
  16. 제9항에 있어서,
    상기 설정부는 상기 제1 타임 라인 또는 상기 제2 타임 라인의 어느 시점에 대한 상황 정보를 담은 말풍선이 상기 사용자 인터페이스에서 해당 시점을 나타내는 부분에 표시되는 주석부를 더 포함하는 장치.
  17. 제16항에 있어서,
    상기 사용자 인터페이스는 상기 주석부에 대한 정보를 담은 주석 리스트를 표시하며,
    상기 주석 리스트에서 어느 한 주석부에 대한 정보가 선택되는 경우, 상기 설정부에서의 재생 대상 지점이 해당 주석부의 시점으로 이동하는 장치.
  18. 제16항에 있어서,
    상기 제1 태스크는 상기 설정부에서 재생 대상 지점을 어느 시점으로 이동할 것에 대한 이동 명령을 포함하며,
    상기 이동 명령의 호출 시 어느 한 주석부의 고유 ID가 참조되는 경우, 상기 설정부에서의 재생 대상 지점이 해당 고유 ID의 주석부가 나타내는 시점으로 이동하는 장치.
  19. 버추얼 프로덕션(virtual production)의 영상 촬영을 위한 시스템으로서,
    이미지, 비디오 및 카메라 트래킹(camera tracking) 연동 영상 중 적어도 하나의 미디어가 전방으로 표시되는 발광 소자(light-emitting diode; LED) 벽체;
    상기 LED 벽체에서 상기 적어도 하나의 미디어가 표시되는 상태에서 상기 LED 벽체의 전방에 위치한 인물 또는 사물을 촬영하는 카메라; 및
    상기 미디어의 재생을 제어하는 제어 장치;를 포함하며,
    상기 제어 장치는 버추얼 프로덕션의 영상 촬영 제어를 위한 프로그램을 실행하며, 상기 프로그램의 사용자 인터페이스를 디스플레이에 표시하도록 제어하고,
    상기 프로그램은,
    서로 다른 미디어를 재생하는 외부의 다수 플레이어와의 연결을 각각 전용으로 담당하는 다수의 연결 객체부; 및
    상기 플레이어 별로 구분되어 상기 사용자 인터페이스에 시계열의 레이어 형태로 표시되는 다수의 제1 타임 라인과, 사용자의 입력에 따라 상기 제1 타임 라인에서의 상기 각 플레이어에 대한 시계열적 제어 설정을 위한 제1 제어 설정부와, 제1 타임 라인 상의 키 포인트와 연결 객체부 간의 선택적인 연동이나 연결 객체부의 상세 상태 또는 모드에 대한 제어 설정을 위한 제2 제어 설정부를 각각 포함하는 설정부;를 포함하며,
    상기 제어 장치는 상기 제어 설정을 상기 전용의 연결 객체부를 통해 해당 플레이어로 전달하여, 상기 제어 설정에 따라 상기 다수 플레이어의 시계열적 동작을 제어하는 시스템.
  20. 이미지, 비디오 및 카메라 트래킹(camera tracking) 연동 영상 중 적어도 하나의 미디어가 발광 소자(light-emitting diode; LED) 벽체의 전방으로 표시되는 상태에서 상기 LED 벽체의 전방에 위치한 인물 또는 사물을 카메라로 촬영하는 버추얼 프로덕션(virtual production)의 영상 촬영에 대해 제어하는 장치에서 수행되는 방법으로서,
    서로 다른 미디어를 재생하는 외부의 다수 플레이어와의 연결을 각각 전용으로 담당하는 다수의 연결 객체부를 설정하는 단계;
    상기 플레이어 별로 구분되어 사용자 인터페이스에 시계열의 레이어 형태로 표시되는 다수의 제1 타임 라인에 대해, 사용자의 입력에 따라 상기 제1 타임 라인에서의 상기 각 플레이어에 대한 시계열적 제어 설정과, 제1 타임 라인 상의 키 포인트와 연결 객체부 간의 선택적인 연동이나 연결 객체부의 상세 상태 또는 모드에 대한 제어 설정을 수행하는 단계; 및
    상기 제어 설정과 상기 제1 타임 라인의 현재 재생 시간에 대한 정보를 상기 전용의 연결 객체부를 통해 해당 플레이어로 전달하여, 상기 제어 설정 및 현재 재생 시간을 반영한 상기 다수 플레이어의 시계열적 동작을 제어하는 단계;
    를 포함하는 방법.
PCT/KR2021/016139 2021-08-13 2021-11-08 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템 및 방법 WO2023017911A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/638,159 US11972167B2 (en) 2021-08-13 2021-11-08 Device, system, and method for video shooting in virtual production

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0107231 2021-08-13
KR1020210107231A KR102371031B1 (ko) 2021-08-13 2021-08-13 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템, 방법 및 프로그램

Publications (1)

Publication Number Publication Date
WO2023017911A1 true WO2023017911A1 (ko) 2023-02-16

Family

ID=80817416

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016139 WO2023017911A1 (ko) 2021-08-13 2021-11-08 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템 및 방법

Country Status (3)

Country Link
US (1) US11972167B2 (ko)
KR (1) KR102371031B1 (ko)
WO (1) WO2023017911A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102371031B1 (ko) * 2021-08-13 2022-03-07 주식회사 비브스튜디오스 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템, 방법 및 프로그램
US20230319226A1 (en) * 2022-04-04 2023-10-05 Rosco Laboratories Inc. System For Providing Dynamic Backgrounds In Live-Action Videography
KR102671917B1 (ko) * 2022-09-16 2024-06-03 김종열 버츄얼 프로덕션의 영상 촬영 시스템
KR102559913B1 (ko) * 2022-10-20 2023-07-26 주식회사 비브스튜디오스 가상 카메라를 이용한 카메라 움직임 구현 방법
KR102654323B1 (ko) * 2022-11-29 2024-04-04 주식회사 비브스튜디오스 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템
KR20240140626A (ko) 2023-03-17 2024-09-24 주식회사 메드픽쳐스 효과적인 cg 구현을 위해 dbss로 재메쉬화하는 방법
KR102677114B1 (ko) * 2023-12-14 2024-06-21 주식회사 백스포트 인카메라 시각 효과 기반의 실제 환경과 가상 환경의 조명 매칭 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150114016A (ko) * 2014-03-28 2015-10-12 주식회사 다림비젼 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치
KR20180052496A (ko) * 2016-11-10 2018-05-18 주식회사 다림비젼 가상 공연 스튜디오 시스템
KR20200142385A (ko) * 2019-06-12 2020-12-22 주식회사 디지포레 위치기반 증강현실 컨텐츠 공유 방법 및 장치
KR102218843B1 (ko) * 2019-11-19 2021-02-22 광운대학교 산학협력단 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336728A (ja) 1994-06-09 1995-12-22 Takayoshi Saito 仮想空間演出装置及びその利用法
US8004565B2 (en) * 2003-06-19 2011-08-23 Nvidia Corporation System and method for using motion vectors for object tracking
JP2006047478A (ja) 2004-08-02 2006-02-16 Murakami Shokai:Kk バーチャルリアリティ演出装置、バーチャルリアリティ演出制御装置及びバーチャルリアリティ演出制御プログラム
US20080118178A1 (en) * 2006-11-20 2008-05-22 Way Olan C Display systems and methods for eliminating mullions
KR100901111B1 (ko) 2007-10-31 2009-06-08 (주)한국인터넷소프트웨어 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
JP4788739B2 (ja) * 2008-06-09 2011-10-05 ソニー株式会社 端末装置、情報送信方法
US11625848B2 (en) * 2020-01-30 2023-04-11 Unity Technologies Sf Apparatus for multi-angle screen coverage analysis
US11176716B2 (en) * 2020-02-28 2021-11-16 Weta Digital Limited Multi-source image data synchronization
US11688079B2 (en) * 2020-03-31 2023-06-27 Nant Holdings Ip, Llc Digital representation of multi-sensor data stream
KR102243673B1 (ko) 2020-09-03 2021-04-22 심은용 대규모 불꽃 공연 가상 연출 시스템
KR102371031B1 (ko) * 2021-08-13 2022-03-07 주식회사 비브스튜디오스 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템, 방법 및 프로그램
US20230186550A1 (en) * 2021-12-09 2023-06-15 Unity Technologies Sf Optimizing generation of a virtual scene for use in a virtual display environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150114016A (ko) * 2014-03-28 2015-10-12 주식회사 다림비젼 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치
KR20180052496A (ko) * 2016-11-10 2018-05-18 주식회사 다림비젼 가상 공연 스튜디오 시스템
KR20200142385A (ko) * 2019-06-12 2020-12-22 주식회사 디지포레 위치기반 증강현실 컨텐츠 공유 방법 및 장치
KR102218843B1 (ko) * 2019-11-19 2021-02-22 광운대학교 산학협력단 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Samsung Electronics signs a partnership with CJ ENM to build a virtual studio", SAMSUNG NEWSROOM, 26 July 2021 (2021-07-26), XP093035234, Retrieved from the Internet <URL:https://news.samsung.com/kr/%EC%82%BC%EC%84%B1%EC%A0%84%EC%9E%90-cj-enm%EA%B3%BC-%EB%B2%84%EC%B6%94%EC%96%BC-%EC%8A%A4%ED%8A%9C%EB%94%94%EC%98%A4-%EA%B5%AC%EC%B6%95-%ED%8C%8C%ED%8A%B8%EB%84%88%EC%8B%AD-%EC%B2%B4%EA%B2%B0> [retrieved on 20230328] *

Also Published As

Publication number Publication date
US11972167B2 (en) 2024-04-30
KR102371031B1 (ko) 2022-03-07
US20240053943A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
WO2023017911A1 (ko) 버추얼 프로덕션의 영상 촬영을 위한 장치, 시스템 및 방법
WO2021210938A1 (ko) 원격지 연출 시스템 및 원격지 연출 방법
Zettl Television production handbook
Zettl Television production handbook
WO2017155236A1 (en) Configuration and operation of display devices including content curation
WO2019143095A1 (ko) 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버
WO2018034462A1 (en) Image display apparatus and method of operating the same
WO2019147064A1 (ko) 오디오 데이터를 송수신하는 방법 및 그 장치
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
CN113923377A (zh) 一种led环幕虚拟制片系统
WO2018124794A1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
WO2015142137A1 (ko) 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
WO2023234532A1 (ko) 버추얼 프로덕션의 데이터 기록 방법, 장치 및 시스템
Protzman Television studio technic
WO2016072538A1 (ko) 유저 인터페이스를 통한 카메라 장치의 동작 방법
CN116320363B (zh) 一种多角度虚拟现实拍摄方法及系统
WO2016010360A1 (ko) 몰입감을 향상시키는 노래방 시스템
WO2023236656A1 (zh) 互动画面的渲染方法、装置、设备、存储介质及程序产品
WO2022119119A1 (ko) 멀티채널 미디어 송수신 방법 및 시스템
WO2017179912A1 (ko) 삼차원 정보증강 비디오 씨쓰루 디스플레이 장치 및 방법, 렉티피케이션 장치
WO2024117473A1 (ko) 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템
WO2017065503A1 (ko) 분산형 멀티미디어 편집 시스템 및 편집방법
WO2024214919A1 (ko) 전자 장치 및 영상 매핑 방법
KR20050015737A (ko) 조명제어에 의한 사실적 영상합성 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17638159

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21953556

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21/06/2024)