WO2017209468A1 - 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법 - Google Patents

3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법 Download PDF

Info

Publication number
WO2017209468A1
WO2017209468A1 PCT/KR2017/005581 KR2017005581W WO2017209468A1 WO 2017209468 A1 WO2017209468 A1 WO 2017209468A1 KR 2017005581 W KR2017005581 W KR 2017005581W WO 2017209468 A1 WO2017209468 A1 WO 2017209468A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
content
command
generating
adjusting
Prior art date
Application number
PCT/KR2017/005581
Other languages
English (en)
French (fr)
Inventor
류제진
Original Assignee
(주)지니트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지니트 filed Critical (주)지니트
Publication of WO2017209468A1 publication Critical patent/WO2017209468A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the present invention relates to a chroma key synthesis system and method for providing a three-dimensional stereoscopic effect, and provides an effect such as the camera moves to shoot without moving the camera to produce a chroma key composite image having a more natural three-dimensional stereoscopic effect It relates to a technology for providing.
  • chroma key synthesis technology has recently been spreading to movies, Internet broadcasters, small and medium-sized production, in-house broadcasters, educational broadcasters, and private broadcasters.
  • cameras can be easily moved to show the content images and people that they want to express, but they can be taken with Internet broadcasters, small and medium-sized production, in-house broadcasters, and individual broadcasters. When the place is narrow, there is a problem in that the camera is not easy to move and the content image and the person to be expressed are not naturally displayed.
  • Korean Patent No. 10-1299796 “Modulation of Background Substitution Based on Camera Pose and Motion,” refers to a processor inside and outside the device dividing the foreground from the background of the image, thereby removing the original background, and storing the stored background image or video.
  • the replaced background discloses a method that changes according to the attitude and movement of the device as sensed by one or more sensors of the device.
  • the prior art includes a configuration in which one or more cameras of a mobile device acquires a depth image and the background changes according to the attitude and movement of the device.
  • the sensor recognizes the attitude and movement of the device including the camera using a sensor of the device. It can be applied only when it is possible, and if it is necessary to produce an image using only one fixed camera such as an existing studio, it was impossible to provide the effect of moving the camera.
  • An object of the present invention is to provide a chroma key composite image having a more natural three-dimensional stereoscopic effect by providing an effect such as the camera is moved and photographed without moving the camera.
  • an object side image is generated by using an object stereoscopic image
  • a deformation object image is generated by adjusting an angle at which an object is viewed according to a user moving command using the object side image to actually move the camera to the side and thus the side surface of the object.
  • the purpose is to provide an image, such as photographing.
  • the composition position of the content image adjusted by the position adjusting unit indicates an area shown in the composite image of the entire screen of the content image so that the background image can be moved according to the movement of the camera even when the background image fills the screen.
  • An object of the present invention is to provide an image in which an object is positioned where an actual background image is photographed.
  • the photographer or editor can freely set the distance between the background image and the object by generating the position information of the deformed object image and the content image based on the distance information between the object and the position in the 3D virtual space in which the content image is to be placed.
  • the purpose is to control the three-dimensional effects in the image according to the settings.
  • An object image extractor for extracting a background chroma back from the image input by the input unit, and extracting the object image of the object by removing the background chroma back, a command input unit for receiving a user command, and an input from the command input unit
  • a deformed object image generation unit configured to deform the object image according to a received movement command to generate a deformed object image;
  • a position adjuster for adjusting a combined position of the content image and the deformed object image according to the movement command, a synthesized position adjusted to the first object, the deformed object image as a second layer, and adjusted by the position adjuster And a synthesized image generator for generating a synthesized image.
  • the deformable object image generating unit may generate a side image of the object using stereoscopic shape information of the object, and adjust the angle at which the object is viewed using the side image according to the movement command to generate the deformed object image. It can consist of generating.
  • the deformation object image generating unit may be configured to generate three-dimensional shape information of the object based on the infrared sensor and the image sensor.
  • the modified object image generating unit may be configured to recognize the category of the object, and extract the three-dimensional shape information by estimating based on a normal shape of the recognized object category.
  • the synthesis position of the content image adjusted by the position adjusting unit may be configured to represent an area shown in the synthesis image of the entire screen of the content image.
  • the position adjusting unit may be configured to generate position information of the deformable object image and the content image based on distance information between the object and a position in a 3D virtual space in which the content image is to be disposed.
  • the command input unit may receive a position adjustment command for adjusting a position in the 3D virtual space in which the content image is to be arranged, and the position adjustment unit may receive position information of the deformable object image and the content image in response to the position adjustment command. It can be configured to generate.
  • a chroma key composite image having a more natural three-dimensional stereoscopic effect by providing an effect such as photographing by moving the camera without moving the camera.
  • an object side image is generated by using an object stereoscopic image
  • a deformation object image is generated by adjusting an angle at which an object is viewed according to a user moving command using the object side image to actually move the camera to the side. You can create an image like shooting a side.
  • the composition position of the content image adjusted by the position adjusting unit indicates an area shown in the composite image among the entire screens of the content image so that the background image can move according to the movement of the camera even when the background image fills the screen.
  • the image may be generated such that the object is located where the actual background image is captured.
  • the photographer or the editor freely sets the distance between the background image and the object by generating the position information of the deformed object image and the content image based on the distance information between the object and the position in the 3D virtual space where the content image is to be placed. You can control the three-dimensional effects in the image according to the settings.
  • FIG. 1 is a view showing the overall configuration of a chroma key synthesis system applying a chroma key synthesis system providing a three-dimensional stereoscopic effect according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of generating a deformed object image by deforming an object image according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a configuration of generating position information of a deformed object image and a content image based on information on a distance between positions on a 3D virtual space according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a screen for generating a synthesized image according to a synthesized position adjusted by a position adjusting unit according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a screen indicating an area shown in a composite image among the entire screens of a content image according to an embodiment of the present invention.
  • FIG. 6 is a flow chart showing the flow of chroma key synthesis method for providing a three-dimensional stereoscopic effect according to an embodiment of the present invention.
  • An object image extractor for extracting a background chroma back from the image input by the input unit, and extracting the object image of the object by removing the background chroma back, a command input unit for receiving a user command, and an input from the command input unit
  • a deformed object image generation unit configured to deform the object image according to a received movement command to generate a deformed object image;
  • a position adjuster for adjusting a combined position of the content image and the deformed object image according to the movement command, a synthesized position adjusted to the first object, the deformed object image as a second layer, and adjusted by the position adjuster And a synthesized image generator for generating a synthesized image.
  • the deformable object image generating unit may generate a side image of the object using stereoscopic shape information of the object, and adjust the angle at which the object is viewed using the side image according to the movement command to generate the deformed object image. It can consist of generating.
  • the deformation object image generating unit may be configured to generate three-dimensional shape information of the object based on the infrared sensor and the image sensor.
  • the modified object image generating unit may be configured to recognize the category of the object, and extract the three-dimensional shape information by estimating based on a normal shape of the recognized object category.
  • the synthesis position of the content image adjusted by the position adjusting unit may be configured to represent an area shown in the synthesis image of the entire screen of the content image.
  • the position adjusting unit may be configured to generate position information of the deformable object image and the content image based on distance information between the object and a position in a 3D virtual space in which the content image is to be disposed.
  • the command input unit may receive a position adjustment command for adjusting a position in the 3D virtual space in which the content image is to be arranged, and the position adjustment unit may receive position information of the deformable object image and the content image in response to the position adjustment command. It can be configured to generate.
  • the chroma key synthesizing system providing a three-dimensional stereoscopic effect comprises a central processing unit (CPU) and a memory (Memory) and is configured in the form of a server that can be connected to other terminals via a communication network such as the Internet. Can be.
  • the present invention is not limited by the configuration of the central processing unit and the memory.
  • the chroma key synthesis system for providing a three-dimensional stereoscopic effect according to the present invention may be physically configured as a single device, it may be implemented in a form dispersed in a plurality of devices, the present invention is such a physical device It is not limited by the configuration.
  • FIG. 1 is a view showing the overall configuration of a chroma key synthesis system applying a chroma key synthesis system providing a three-dimensional stereoscopic effect according to an embodiment of the present invention.
  • the chroma key synthesis system for providing a 3D stereoscopic effect includes an image storage unit 110, an image input unit 120, an object image extractor 130, a command input unit 140, and a deformed object image generation unit 150. ), The position adjusting unit 160, and the composite image generating unit 170.
  • the image storage unit 110 stores one or more content images.
  • the content image is an image file that can be selected as a background image or an image file that can express content that needs to be explained or delivered in a broadcast, and can be one or more of a video file, an image file, and a presentation file. Can be.
  • the image input unit 120 receives an image of photographing an object.
  • the object may be a person or an object appearing on the broadcast, and receives an image captured in the studio through a camera, and the studio is composed of a background chroma back and an object.
  • Background The chroma back is usually one of red, green and blue, but mainly blue screen.
  • the object image extractor 130 extracts a background chroma back from the image input from the image input unit 120, and extracts an object image of the object by removing the background chroma back.
  • the object image extractor 130 receives an image captured by the studio from the image input unit 120 and extracts an object image of an object except for a background chroma back that is a blue screen.
  • the command input unit 140 receives a user command.
  • the user may be a person who produces an image and may input a position movement command of the camera. Even if the position of the camera does not actually change, the position shift command can be input so that the camera can be moved to capture the studio. In addition, even if the position of the object does not change, a position shift command of the content image may be input to produce an effect such that the distance between the object and the content image becomes far or near.
  • the deformed object image generating unit 150 deforms the object image according to the movement command received from the command input unit 140 to generate the deformed object image.
  • a side image of the object may be generated using the three-dimensional shape information of the object, and the angle of the object may be adjusted using the side image of the object according to the movement command received from the command input unit 140.
  • the front side image of the object is partially photographed.
  • the image of the side is taken in the form of the compressed (distorted) shape of the actual side by the angle shown. If the three-dimensional shape of the object can be grasped, the image of the compressed (distorted) object is based on the three-dimensional shape information of the object. Some side images can be restored.
  • a part rotated may be generated by reconstructing the 3D model up to the visible part of the front image.
  • the deformed object image generating unit 150 may generate object stereoscopic shape information according to a command received from the command input unit 140 using a sensor for detecting an object such as an infrared sensor and an image sensor.
  • the modified object image generator 150 may recognize the category of the object and estimate and generate a normal shape based on the object category.
  • the object category may include a category of a person or an object that may be an object.
  • a person category may store, as category information, part information such as a face, a body, an arm, a leg, a hand, and a foot.
  • the object is a human
  • the object or the information required to generate the three-dimensional shape information may be recognized, and the three-dimensional shape information may be extracted by estimating the side surface of the object based on the category.
  • the position adjusting unit 160 adjusts the combined position of the content image and the deformable object image according to the movement command.
  • the synthesis position of the content image adjusted by the position adjusting unit 160 may represent an area shown in the synthesis image among the entire screens of the content image.
  • the specific regions 510 and 520 may be selected according to a user's command among the entire screens of the content image 501 to variously select the regions 511 and 521 shown in the composite image.
  • the position adjuster 160 may generate position information of the deformed object image and the content image based on distance information between the object and the position in the 3D virtual space in which the content image is to be placed.
  • the command input unit 140 may receive a position adjustment command for adjusting the position of the content image in the 3D virtual space and generate position information of the deformed object image and the content image in response to the position adjustment command.
  • the moving distance of the object may be calculated through the distance a, the position distance b between the camera and the content image, the moving distance d from the first camera to the second camera, and the moving distance d of the content image.
  • the present invention is mostly taken in the studio, but in this case, since the distance (ba) between the camera and the object does not change significantly, assuming a constant value (c), the moving distance (x) of the object is calculated as follows. do.
  • the content image is moved by d to the left, and the deformed object image is As long as you can go.
  • the composite image generator 170 sets the content image as the first layer, the deformed object image as the second layer, and generates the composite image according to the synthesized position adjusted by the position adjusting unit 160.
  • the order of the first layer and the second layer, which are layers for generating the synthesized image, may be changed by the synthesized image generator 170, and generate the synthesized image according to the synthesized position adjusted by the position adjuster 160.
  • FIG. 2 is a diagram illustrating an example of generating a deformed object image by deforming an object image according to an embodiment of the present invention.
  • the deformed object image generating unit 150 deforms the object image according to the movement command received from the command input unit 140 to generate the deformed object image.
  • a side image of the object may be generated using the three-dimensional shape information of the object, and the angle of the object may be adjusted using the side image of the object according to the movement command received from the command input unit 140.
  • the side view is partially photographed in the front image 221 of the object.
  • the image of the side is taken in a form in which the actual side is compressed (distorted) by the angle shown. If the three-dimensional shape 222 of the object can be grasped, it is compressed (distorted) based on the three-dimensional shape information of the object. It is possible to partially restore the side image of the object.
  • a part rotated may be generated by reconstructing the 3D model up to the visible part of the front image.
  • the deformed object image generating unit 150 extracts an object image from the object image extracting unit 130 using a sensor that detects an object such as an infrared sensor and an image sensor, and then generates a side image of the object and generates a command input unit 140. According to a command received from the user, the object viewing angle may be adjusted using the side image to generate the object three-dimensional shape information 211.
  • FIG. 3 is a diagram illustrating a configuration of generating position information of a deformed object image and a content image based on information on a distance between positions on a 3D virtual space according to an embodiment of the present invention.
  • the position adjuster 160 may generate position information of the deformed object image and the content image based on distance information between the object and the position in the 3D virtual space in which the content image is to be placed.
  • the command input unit 140 may receive a position adjustment command for adjusting the position of the content image in the 3D virtual space and generate position information of the deformed object image and the content image in response to the position adjustment command.
  • the position distance (a) of the object 320 and the content image, the camera and the content may be calculated based on the position distance b of the image, the moving distance d from the first camera to the second camera, and the moving distance d of the content image.
  • the present invention is mostly taken in the studio, but in this case, since the distance (ba) between the camera and the object does not change significantly, assuming a constant value (c), the moving distance (x) of the object is calculated as follows. do.
  • the content image is moved by d to the left, and the deformed object image is As long as you can go.
  • FIG. 4 is a diagram illustrating an example of a screen for generating a synthesized image according to a synthesized position adjusted by a position adjusting unit according to an embodiment of the present invention.
  • the object image 210 and the content image 420 are photographed by being placed in front of the screen 410 to be broadcast, when the position is adjusted by a user command, the three-dimensional shape information of the object is generated according to the user command. 211 and the content image 421 whose position is adjusted may be generated.
  • the content image is moved in the opposite direction as the camera position is moved, and the deformed object image may be moved based on the distance information between the positions in the 3D virtual space.
  • FIG. 5 is a diagram illustrating an example of a screen indicating an area shown in a composite image among the entire screens of a content image according to an embodiment of the present invention.
  • the position adjusting unit 160 adjusts the combined position of the content image and the deformable object image according to the movement command.
  • the synthesis position of the content image adjusted by the position adjusting unit 160 may represent an area shown in the synthesis image among the entire screens of the content image.
  • the specific regions 510 and 520 may be selected according to a user's command among the entire screens of the content image 501 to variously select the regions 511 and 521 shown in the composite image.
  • a part of the content image 501 may be selected and displayed on the synthesized image, and the angle or position of the 3D virtual space may be moved up and down by a user's command so that the object is located where the actual background image is captured. It can provide the same image as that.
  • an area shown in the synthesized image by first selecting the first specific region 510 of the content image 501 may be the first synthesized region 511, and then combining angles or positions according to a user command. May be adjusted to select the second specific region 520 so that the region shown in the composite image may represent the second composite region 521.
  • FIG. 6 is a flow chart showing the flow of chroma key synthesis method for providing a three-dimensional stereoscopic effect according to an embodiment of the present invention.
  • Step S601 stores one or more content images.
  • the content image is an image file that can be selected as a background image or an image file that can express content that needs to be explained or delivered in a broadcast, and can be one or more of a video file, an image file, and a presentation file. Can be.
  • Step S602 receives an image of photographing an object.
  • the object may be a person or an object appearing on the broadcast, and receives an image captured in the studio through a camera, and the studio is composed of a background chroma back and an object.
  • Background The chroma back is usually one of red, green and blue, but mainly blue screen.
  • step S603 a background chroma back is extracted from the image input in step S602, and an object image of the object is extracted by removing the background chroma back.
  • an image captured in the studio is input in operation S602, and an object image of an object except for a background chroma back, which is a blue screen, is extracted.
  • Step S604 receives a user command.
  • the user may be a person who produces an image and may input a position movement command of the camera. Even if the position of the camera does not actually change, the position shift command can be input so that the camera can be moved to capture the studio. have. In addition, even if the position of the object does not change, a position shift command of the content image may be input to produce an effect such that the distance between the object and the content image becomes far or near.
  • Step S605 transforms the object image according to the movement command input in step S604 to generate a deformed object image.
  • a side image of the object may be generated using the three-dimensional shape information of the object, and the angle at which the object is viewed may be adjusted using the object side image according to the movement command received in step S604.
  • object stereoscopic shape information may be generated according to a command received in operation S604 using a sensor that detects an object such as an infrared sensor and an image sensor.
  • the category of the object may be recognized, and a normal form may be estimated and generated based on the object category.
  • the object category includes a category of a person or an object that may be an object.
  • a person category stores information for each part such as a face, a body, an arm, a leg, a hand, and a foot.
  • the object or the information required to generate the three-dimensional shape information may be recognized, and the three-dimensional shape information may be extracted by estimating the side surface of the object based on the category.
  • Step S606 adjusts the combined position of the content image and the transformed object image according to the move command.
  • the synthesis position of the content image adjusted in step S606 may represent an area shown in the synthesis image among the entire screens of the content image.
  • the specific regions 510 and 520 may be selected according to a user's command among the entire screens of the content image 501 to variously select the regions 511 and 521 shown in the composite image.
  • position information of the deformed object image and the content image may be generated based on distance information between the object and the position in the 3D virtual space in which the content image is to be placed.
  • a position adjustment command for adjusting the position in the three-dimensional virtual space where the content image is to be placed is input in step S604, and position information of the deformed object image and the content image may be generated in response to the position adjustment command.
  • the position distance (a) of the object 320 and the content image, the camera and the content may be calculated based on the position distance b of the image, the moving distance d from the first camera to the second camera, and the moving distance d of the content image.
  • the present invention is mostly taken in the studio, in which case the distance between the camera and the object does not change significantly, so it is assumed to be a constant value (c).
  • the content image is moved by d to the left, and the deformed object image is As long as you can go.
  • the content image is the first layer
  • the deformation object image is the second layer
  • a composite image is generated according to the synthesis position adjusted in step S606.
  • the order of the first layer and the second layer, which are layers for generating the synthesized image, may be changed in step S607, and the synthesized image is generated according to the synthesized position adjusted in step S606.
  • the chroma key synthesis method for providing a three-dimensional stereoscopic effect may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Magneto-optical media and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention relates to a chroma key synthesizing system and method for providing a three-dimensional stereoscopic effect.
  • the present invention provides a chroma key synthesizing system having a more natural three-dimensional stereoscopic effect by providing an effect such as photographing by moving the camera without moving the camera. It is about a method.
  • one or more content images are stored, an image for receiving an image of an object is input, an background chroma back is extracted from the image input from the image input unit, and the background chroma back is removed.
  • Extracts the object image of the object receives a user command, deforms the object image according to the movement command received from the command input unit, generates a deformed object image, and synthesizes the content image and the deformed object image according to the movement command.
  • the deformation object image To adjust the content image to the first layer, the deformation object image to the second layer, and generate a composite image according to the synthesis position adjusted by the position adjusting unit.

Abstract

본 발명은 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법에 관한 것으로, 카메라가 이동하지 않고 카메라가 이동하여 촬영하는 것과 같은 효과를 제공하여 보다 자연스러운 3차원 입체 효과를 가진 크로마키 합성 시스템 및 방법에 관한 것이다. 보다 상세하게는 하나 이상의 콘텐츠 영상을 저장하고, 오브젝트를 촬영한 영상을 입력 받기 위한 영상을 입력하고, 영상 입력부에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 상기 오브젝트의 오브젝트 영상을 추출하고, 사용자 명령을 입력 받고, 명령 입력부에서 입력 받은 이동 명령에 따라 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하고, 이동 명령에 따라 콘텐츠 영상 및 변형 오브젝트 영상의 합성 위치를 조정하고, 콘텐츠 영상을 제1 레이어로, 변형 오브젝트 영상을 제2 레이어로하고, 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성 할 수 있도록 하는 기술이다.

Description

3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법
본 발명은 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법에 관한 것으로, 카메라가 이동하지 않고도 카메라가 이동하여 촬영하는 것과 같은 효과를 제공하여 보다 자연스러운 3차원 입체 효과를 가진 크로마키 합성 영상을 제공하기 위한 기술에 관한 것이다.
뉴스나 일기예보, 선거방송에서 시작된 크로마키 합성 기술이 최근에는 영화, 인터넷 방송국, 중소규모의 프로덕션, 사내방송국, 교육방송국, 개인방송국까지 확산되는 추세이다.
뉴스나 일기예보, 선거 방송의 경우 방송국에서 촬영하여 카메라의 이동이 용이하여 표현하고자 하는 콘텐츠 영상과 사람의 모습을 자연스럽게 나타낼 수 있지만, 인터넷 방송국, 중소규모의 프로덕션, 사내방송국 및 개인방송국과 같이 촬영 장소가 협소한 경우 카메라의 이동이 용이하지 않아 표현하고자 하는 콘텐츠 영상과 사람의 모습을 자연스럽게 나타내지 못하다는 문제점이 있다.
종래에는 한국등록특허 제10-1299796호 "카메라 자세와 움직임에 기초한 배경 대체의 변조"는 장치 내외부의 프로세서가 화상의 배경으로부터 전경을 분할하여 원래 배경이 제거되고, 저장된 배경 화상 또는 비디오가 원래의 배경을 대신하여 교체되고, 교체된 배경은 장치의 하나 이상의 센서에 의해 감지되는 장치의 자세와 움직임에 따라 변경되는 방법을 개시하고 있다.
위 선행기술은 모바일 장치의 하나 이상의 카메라가 깊이 화상을 취득하여 장치의 자세와 움직임에 따라 배경이 변경되는 구성을 포함하고 있는데, 장치의 센서를 이용하여 카메라가 포함된 장치의 자세와 움직임을 인식할 수 있는 경우에만 적용이 가능하며, 기존 스튜디오 등과 같이 고정된 1대의 카메라만 이용하여 영상을 제작해야 하는 경우에는 이와 같이 카메라가 이동하는 효과를 제공하는 것이 불가능하였다.
따라서 고정된 1대의 카메라를 이용하여 영상을 촬영하는 경우에, 카메라의 이동이 이루어지지 않아도 카메라의 이동이 이루어진 것과 같은 효과를 제공하기 위한 자연스러운 크로마키 합성 기술이 필요하다.
본 발명은 카메라가 이동하지 않고 카메라가 이동하여 촬영하는 것과 같은 효과를 제공하여 보다 자연스러운 3차원 입체 효과를 가진 크로마키 합성 영상을 제공하는 것을 목적으로 한다.
본 발명은 오브젝트 입체 영상을 이용하여 오브젝트 옆면 영상을 생성하고, 오브젝트 옆면 영상을 이용하여 사용자 이동 명령에 따라 오브젝트가 보이는 각도를 조정하여 변형 오브젝트 영상을 생성함으로써 실제로 카메라가 옆으로 이동하여 오브젝트의 옆면을 촬영하는 것과 같은 영상을 제공하는 것을 목적으로 한다.
본 발명은 위치 조정부에서 조정하는 콘텐츠 영상의 합성 위치가 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타냄으로써 배경영상이 화면을 가득 채운 경우에도 카메라의 이동에 따라 배경 영상이 이동할 수 있도록 하여 실제 배경 영상이 촬영된 곳에 오브젝트가 위치하는 것과 같은 영상을 제공하는 것을 목적으로 한다.
본 발명은 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성함으로써 촬영자 또는 편집자가 배경 영상과 오브젝트 사이의 거리를 자유롭게 설정할 수 있도록 하고 설정에 맞게 영상에서의 3차원 효과를 제어하는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템은 이상의 콘텐츠 영상을 저장하는 영상 저장부, 오브젝트를 촬영한 영상을 입력 받기 위한 영상 입력부, 상기 영상 입력부에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 상기 오브젝트의 오브젝트 영상을 추출하는 오브젝트 영상 추출부, 사용자 명령을 입력 받는 명령 입력부, 상기 명령 입력부에서 입력 받은 이동 명령에 따라 상기 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 변형 오브젝트 영상 생성부;
상기 이동 명령에 따라 상기 콘텐츠 영상 및 상기 변형 오브젝트 영상의 합성 위치를 조정하는 위치 조정부, 상기 콘텐츠 영상을 제1 레이어로, 상기 변형 오브젝트 영상을 제2 레이어로 하고, 상기 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성하는 합성 영상 생성부를 포함하여 구성된다.
또한, 상기 변형 오브젝트 영상 생성부는 상기 오브젝트의 입체 형상 정보를 이용하여 상기 오브젝트의 옆면 영상을 생성하고, 상기 이동 명령에 따라 상기 옆면 영상을 이용하여 상기 오브젝트가 보이는 각도를 조정하여 상기 변형 오브젝트 영상을 생성하는 것으로 구성될 수 있다.
또한, 상기 변형 오브젝트 영상 생성부는 적외선 센서 및 영상 센서를 기초로 상기 오브젝트의 입체 형상 정보를 생성하는 것으로 구성될 수 있다.
또한, 상기 변형 오브젝트 영상 생성부는 상기 오브젝트의 카테고리를 인식하고, 상기 인식된 오브젝트 카테고리의 통상의 형태를 기초로 추정하여 상기 입체 형상 정보를 추출하는 것으로 구성될 수 있다.
또한, 상기 위치 조정부에서 조정하는 상기 콘텐츠 영상의 합성 위치는 상기 콘텐츠 영상의 전체 화면 중 상기 합성 영상에 보여지는 영역을 나타내는 것으로 구성될 수 있다.
또한, 상기 위치 조정부는 상기 오브젝트와 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것으로 구성될 수 있다.
또한, 상기 명령 입력부는 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 입력 받고, 상기 위치 조정부는 상기 위치 조정 명령에 응답하여 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것으로 구성될 수 있다.
본 발명에 따르면 카메라가 이동하지 않고 카메라가 이동하여 촬영하는 것과 같은 효과를 제공하여 보다 자연스러운 3차원 입체 효과를 가진 크로마키 합성 영상을 생성할 수 있다.
본 발명에 따르면 오브젝트 입체 영상을 이용하여 오브젝트 옆면 영상을 생성하고, 오브젝트 옆면 영상을 이용하여 사용자 이동 명령에 따라 오브젝트가 보이는 각도를 조정하여 변형 오브젝트 영상을 생성함으로써 실제로 카메라가 옆으로 이동하여 오브젝트의 옆면을 촬영하는 것과 같은 영상을 생성할 수 있다.
본 발명에 따르면 위치 조정부에서 조정하는 콘텐츠 영상의 합성 위치가 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타냄으로써 배경 영상이 화면을 가득 채운 경우에도 카메라의 이동에 따라 배경 영상이 이동할 수 있도록 하여 실제 배경 영상이 촬영된 곳에 오브젝트가 위치하는 것과 같은 영상을 생성할 수 있다.
본 발명에 따르면 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성함으로써 촬영자 또는 편집자가 배경 영상과 오브젝트 사이의 거리를 자유롭게 설정할 수 있도록 하고 설정에 맞게 영상에서의 3차원 효과를 제어할 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템을 적용한 크로마키 합성 시스템의 전체 구성도를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 가상 공간상의 위치 사이의 거리를 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성하는 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성한 화면의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타내는 화면의 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 방법의 흐름을 도시한 순서도이다.
이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템은 이상의 콘텐츠 영상을 저장하는 영상 저장부, 오브젝트를 촬영한 영상을 입력 받기 위한 영상 입력부, 상기 영상 입력부에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 상기 오브젝트의 오브젝트 영상을 추출하는 오브젝트 영상 추출부, 사용자 명령을 입력 받는 명령 입력부, 상기 명령 입력부에서 입력 받은 이동 명령에 따라 상기 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 변형 오브젝트 영상 생성부;
상기 이동 명령에 따라 상기 콘텐츠 영상 및 상기 변형 오브젝트 영상의 합성 위치를 조정하는 위치 조정부, 상기 콘텐츠 영상을 제1 레이어로, 상기 변형 오브젝트 영상을 제2 레이어로 하고, 상기 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성하는 합성 영상 생성부를 포함하여 구성된다.
또한, 상기 변형 오브젝트 영상 생성부는 상기 오브젝트의 입체 형상 정보를 이용하여 상기 오브젝트의 옆면 영상을 생성하고, 상기 이동 명령에 따라 상기 옆면 영상을 이용하여 상기 오브젝트가 보이는 각도를 조정하여 상기 변형 오브젝트 영상을 생성하는 것으로 구성될 수 있다.
또한, 상기 변형 오브젝트 영상 생성부는 적외선 센서 및 영상 센서를 기초로 상기 오브젝트의 입체 형상 정보를 생성하는 것으로 구성될 수 있다.
또한, 상기 변형 오브젝트 영상 생성부는 상기 오브젝트의 카테고리를 인식하고, 상기 인식된 오브젝트 카테고리의 통상의 형태를 기초로 추정하여 상기 입체 형상 정보를 추출하는 것으로 구성될 수 있다.
또한, 상기 위치 조정부에서 조정하는 상기 콘텐츠 영상의 합성 위치는 상기 콘텐츠 영상의 전체 화면 중 상기 합성 영상에 보여지는 영역을 나타내는 것으로 구성될 수 있다.
또한, 상기 위치 조정부는 상기 오브젝트와 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것으로 구성될 수 있다.
또한, 상기 명령 입력부는 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 입력 받고, 상기 위치 조정부는 상기 위치 조정 명령에 응답하여 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것으로 구성될 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다.
본 발명에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템은 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있어, 본 발명은 이와 같은 물리적인 장치의 구성에 의하여 한정되지 아니한다.
도 1은 본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템을 적용한 크로마키 합성 시스템의 전체 구성도를 도시한 도면이다.
본 발명에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템은 영상 저장부(110), 영상 입력부(120), 오브젝트 영상 추출부(130), 명령 입력부(140), 변형 오브젝트 영상 생성부(150), 위치 조정부(160), 합성 영상 생성부(170)를 포함한다.
영상 저장부(110)는 하나 이상의 콘텐츠 영상을 저장한다. 콘텐츠 영상은 백그라운드 영상으로 선택할 수 있는 영상 파일이나 방송에서 설명이 필요하거나 전달하고자 하는 콘텐츠를 표현 할 수 있는 영상 파일로 동영상 파일, 이미지 파일 및 프레젠테이션 파일 중 하나 이상일 수 있으며, 제1 레이어로 선택될 수 있다.
영상 입력부(120)는 오브젝트를 촬영한 영상을 입력 받는다. 오브젝트는 방송에 나오는 사람 또는 물체일 수 있으며, 카메라를 통해 스튜디오에서 촬영된 영상을 입력 받으며, 스튜디오는 배경 크로마 백(chroma back)과 오브젝트로 구성된다. 배경 크로마 백(chroma back)은 주로 적색, 녹색, 청색 중 하나를 사용하게 되나 주로 청색인 블루스크린을 사용하게 된다.
오브젝트 영상 추출부(130)는 영상 입력부(120)에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 배경 크로마 백을 제거하여 오브젝트의 오브젝트 영상을 추출한다.
오브젝트 영상 추출부(130)는 스튜디오에서 촬영한 영상을 영상 입력부(120)에서 입력 받아 블루스크린인 배경 크로마백(chroma back)을 제외한 오브젝트의 오브젝트 영상을 추출한다.
명령 입력부(140)는 사용자 명령을 입력 받는다. 사용자는 영상을 제작하는 사람일 수 있으며, 카메라의 위치 이동 명령을 입력할 수 있다. 카메라의 위치가 실제로 변하지 않아도 카메라가 이동하여 스튜디오를 촬영하는 효과를 나타낼 수 있도록 위치 이동 명령을 입력할 수 있다. 또한, 오브젝트의 위치가 변하지 않아도 콘텐츠 영상의 위치 이동 명령을 입력하여 오브젝트와 콘텐츠 영상의 거리가 멀어지거나 가까워진 것 같은 효과를 나타낼 수 있다.
변형 오브젝트 영상 생성부(150)는 명령 입력부(140)에서 입력 받은 이동 명령에 따라 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성한다. 오브젝트의 입체 형상 정보를 이용하여 오브젝트의 옆면 영상을 생성하고, 명령 입력부(140)에서 입력 받은 이동 명령에 따라 오브젝트 옆면 영상을 이용하여 오브젝트가 보이는 각도를 조정할 수 있다.
고정된 카메라를 이용하여 오브젝트의 정면 영상만 촬영하는 경우에도, 오브젝트가 곡면으로 이루어져 있으면 오브젝트의 정면 영상에도 측면의 모습이 일부 촬영되게 된다. 이 때 측면의 영상은 보여지는 각도에 의해 실제 측면의 모습이 압축(왜곡)된 형태로 촬영되게 되는데, 오브젝트의 입체적인 형상을 파악할 수 있다면 오브젝트의 입체적인 형상 정보를 기초로 압축(왜곡)된 오브젝트의 측면 영상을 일부 복원할 수 있게 된다.
즉, 정면 영상에서 보이는 부분까지는 3D 모델로 복원하여 일부 회전된 영상을 생성할 수 있다.
변형 오브젝트 영상 생성부(150)는 적외선 센서 및 영상 센서와 같은 오브젝트를 감지하는 센서를 이용하여 명령 입력부(140)에서 입력 받은 명령에 따라 오브젝트 입체 형상 정보를 생성할 수 있다.
또한 변형 오브젝트 영상 생성부(150)는 오브젝트의 카테고리를 인식하고 오브젝트 카테고리를 기초로 통상의 형태를 추정하여 생성할 수 있다. 오브젝트 카테고리는 오브젝트가 될 수 있는 사람 또는 물체의 카테고리가 있으며, 사람을 예로 들면, 사람 카테고리에는 얼굴, 몸, 팔, 다리, 손, 발 등과 같은 부위별 정보가 카테고리 정보로 저장될 수 있다. 오브젝트가 사람인 경우 입체 형상 정보를 생성하는데 필요한 부위 또는 정보를 인식하고 카테고리를 기초로 오브젝트의 옆면을 추정하여 오브젝트 입체 형상 정보를 추출할 수 있다.
위치 조정부(160)는 이동 명령에 따라 콘텐츠 영상 및 변형 오브젝트 영상의 합성 위치를 조정한다. 위치 조정부(160)에서 조정하는 콘텐츠 영상의 합성 위치는 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타낼 수 있다. 예들 들면, 콘텐츠 영상(501)의 전체 화면 중 사용자의 명령에 따라 특정 영역(510, 520)을 선택하여 합성 영상에 보여지는 영역(511, 521)을 다양하게 선택할 수 있다.
위치 조정부(160)는 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다. 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 명령 입력부(140)에서 입력 받고, 위치 조정 명령에 응답하여 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 3차원 가상 공간상의 카메라 위치가 사용자 명령에 의해 제1 카메라(310)에서 제2 카메라(311)로 변경될 경우 오브젝트(320)와 콘텐츠 영상의 위치 거리(a), 카메라와 콘텐츠 영상의 위치 거리(b), 제 1 카메라에서 제2 카메라로의 이동 거리(d), 콘텐츠 영상 이동 거리(d)를 통해 오브젝트의 이동 거리를 계산할 수 있다. 이 때, 본 발명은 스튜디오에서 촬영되는 경우가 대부분인데 이 경우 카메라와 오브젝트 사이의 거리(b-a)는 큰 변동이 없으므로 일정한 값(c)으로 가정하면, 오브젝트의 이동 거리(x)는 아래와 같이 계산된다.
Figure PCTKR2017005581-appb-I000001
3차원 가상 공간상의 제1 카메라 위치가 사용자 명령에 의해 제2 카메라 위치로 오른쪽으로 d만큼 이동할 경우 콘텐츠 영상은 왼쪽으로 d만큼 이동, 변형 오브젝트 영상은
Figure PCTKR2017005581-appb-I000002
만큼 이동 할 수 있다.
합성 영상 생성부(170)는 콘텐츠 영상을 제1 레이어로, 변형 오브젝트 영상을 제2 레이어로 하고, 위치 조정부(160)에서 조정한 합성 위치에 따라 합성 영상을 생성한다.
합성 영상 생성부(170)에서 합성 영상을 생성하는 레이어인 제1 레이어, 2 레이어의 순서는 변경 될 수 있으며, 위치 조정부(160)에서 조정한 합성 위치에 따라 합성 영상을 생성한다.
도 2는 본 발명의 일실시예에 따른 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 일례를 도시한 도면이다.
변형 오브젝트 영상 생성부(150)는 명령 입력부(140)에서 입력 받은 이동 명령에 따라 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성한다. 오브젝트의 입체 형상 정보를 이용하여 오브젝트의 옆면 영상을 생성하고, 명령 입력부(140)에서 입력 받은 이동 명령에 따라 오브젝트 옆면 영상을 이용하여 오브젝트가 보이는 각도를 조정할 수 있다.
고정된 카메라를 이용하여 오브젝트의 정면 영상만 촬영하는 경우에도, 오브젝트가 곡면으로 이루어져 있으면 오브젝트의 정면 영상(221)에도 측면의 모습이 일부 촬영되게 된다. 이 때 측면의 영상은 보여지는 각도에 의해 실제 측면의 모습이 압축(왜곡)된 형태로 촬영되게 되는데, 오브젝트의 입체적인 형상(222)을 파악할 수 있다면 오브젝트의 입체적인 형상 정보를 기초로 압축(왜곡)된 오브젝트의 측면 영상을 일부 복원할 수 있게 된다.
즉, 정면 영상에서 보이는 부분까지는 3D 모델로 복원하여 일부 회전된 영상을 생성할 수 있다.
변형 오브젝트 영상 생성부(150)는 오브젝트 영상 추출부(130)에서 적외선 센서 및 영상 센서와 같은 오브젝트를 감지하는 센서를 이용하여 오브젝트 영상을 추출한 후, 오브젝트의 옆면 영상을 생성하고 명령 입력부(140)에서 입력 받은 명령에 따라 옆면 영상을 이용하여 오브젝트가 보이는 각도를 조정하여 오브젝트 입체 형상 정보(211)를 생성할 수 있다.
도 3은 본 발명의 일실시예에 따른 3차원 가상 공간상의 위치 사이의 거리를 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성하는 구성을 도시한 도면이다.
위치 조정부(160)는 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다. 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 명령 입력부(140)에서 입력 받고, 위치 조정 명령에 응답하여 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다.
예를 들어, 3차원 가상 공간상의 카메라 위치가 사용자 명령에 의해 제1 카메라(310)에서 제2 카메라(311)로 변경될 경우 오브젝트(320)와 콘텐츠 영상의 위치 거리(a), 카메라와 콘텐츠 영상의 위치 거리(b), 제 1 카메라에서 제2 카메라로의 이동 거리(d), 콘텐츠 영상 이동 거리(d)를 통해 오브젝트의 이동 거리를 계산할 수 있다. 이 때, 본 발명은 스튜디오에서 촬영되는 경우가 대부분인데 이 경우 카메라와 오브젝트 사이의 거리(b-a)는 큰 변동이 없으므로 일정한 값(c)으로 가정하면, 오브젝트의 이동 거리(x)는 아래와 같이 계산된다.
Figure PCTKR2017005581-appb-I000003
3차원 가상 공간상의 제1 카메라 위치가 사용자 명령에 의해 제2 카메라 위치로 오른쪽으로 d만큼 이동할 경우 콘텐츠 영상은 왼쪽으로 d만큼 이동, 변형 오브젝트 영상은
Figure PCTKR2017005581-appb-I000004
만큼 이동 할 수 있다.
도 4는 본 발명의 일실시예에 따른 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성한 화면의 일례를 도시한 도면이다.
방송이 되는 화면(410)을 기준으로 오브젝트 영상(210)과 콘텐츠 영상(420)이 정면으로 배치되어 촬영이 되었지만 사용자 명령에 의해 위치를 조정할 경우 사용자 명령에 따라 옆면이 생성된 오브젝트 입체 형상 정보(211)와 위치가 조정된 콘텐츠 영상(421)이 합성된 화면을 생성할 수 있다.
3차원 가상 공간상의 위치가 사용자 명령에 의해 이동할 경우 카메라 위치가 이동한 만큼의 반대 방향으로 콘텐츠 영상이 이동하며, 변형 오브젝트 영상은 3차원 가상공간상의 위치 사이의 거리 정보를 기초로 이동할 수 있다.
도 5는 본 발명의 일실시예에 따른 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타내는 화면의 일례를 도시한 도면이다.
위치 조정부(160)는 이동 명령에 따라 콘텐츠 영상 및 변형 오브젝트 영상의 합성 위치를 조정한다. 위치 조정부(160)에서 조정하는 콘텐츠 영상의 합성 위치는 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타낼 수 있다. 예들 들면, 콘텐츠 영상(501)의 전체 화면 중 사용자의 명령에 따라 특정 영역(510, 520)을 선택하여 합성 영상에 보여지는 영역(511, 521)을 다양하게 선택할 수 있다.
콘텐츠 영상(501)의 일부가 선택되어 합성 영상에 보여질 수 있으며, 사용자의 명령에 의해 3차원 가상공간의 각도 또는 위치가 상하로 이동이 모두 가능하여, 실제 배경 영상이 촬영된 곳에 오브젝트가 위치하는 것과 같은 영상을 제공할 수 있다.
예를 들면, 처음에는 콘텐츠 영상(501)의 제1 특정 영역(510)을 선택하여 합성 영상에 보여지는 영역이 제1 합성 영역(511)이 될 수 있으며, 이후 사용자 명령에 따라 합성 각도 또는 위치가 조정되어 제2 특정 영역(520)을 선택하여 합성 영상에 보여지는 영역이 제2 합성 영역(521)을 나타낼 수 있다.
도 6은 본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 방법의 흐름을 도시한 순서도이다.
단계 S601는 하나 이상의 콘텐츠 영상을 저장한다. 콘텐츠 영상은 백그라운드 영상으로 선택할 수 있는 영상 파일이나 방송에서 설명이 필요하거나 전달하고자 하는 콘텐츠를 표현 할 수 있는 영상 파일로 동영상 파일, 이미지 파일 및 프레젠테이션 파일 중 하나 이상일 수 있으며, 제1 레이어로 선택될 수 있다.
단계 S602는 오브젝트를 촬영한 영상을 입력 받는다. 오브젝트는 방송에 나오는 사람 또는 물체일 수 있으며, 카메라를 통해 스튜디오에서 촬영된 영상을 입력 받으며, 스튜디오는 배경 크로마 백(chroma back)과 오브젝트로 구성된다. 배경 크로마 백(chroma back)은 주로 적색, 녹색, 청색 중 하나를 사용하게 되나 주로 청색인 블루스크린을 사용하게 된다.
단계 S603는 단계 S602에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 배경 크로마 백을 제거하여 오브젝트의 오브젝트 영상을 추출한다.
단계 S603는 스튜디오에서 촬영한 영상을 단계 S602에서 입력 받아 블루스크린인 배경 크로마백(chroma back)을 제외한 오브젝트의 오브젝트 영상을 추출한다.
단계 S604는 사용자 명령을 입력 받는다. 사용자는 영상을 제작하는 사람일 수 있으며, 카메라의 위치 이동 명령을 입력할 수 있다. 카메라의 위치가 실제로 변하지 않아도 카메라가 이동하여 스튜디오를 촬영하는 효과를 나타낼 수 있도록 위치 이동 명령을 입력할 수 있다. 있다. 또한, 오브젝트의 위치가 변하지 않아도 콘텐츠 영상의 위치 이동 명령을 입력하여 오브젝트와 콘텐츠 영상의 거리가 멀어지거나 가까워진 것 같은 효과를 나타낼 수 있다.
단계 S605는 단계 S604에서 입력 받은 이동 명령에 따라 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성한다. 오브젝트의 입체 형상 정보를 이용하여 오브젝트의 옆면 영상을 생성하고, 단계 S604에서 입력 받은 이동 명령에 따라 오브젝트 옆면 영상을 이용하여 오브젝트가 보이는 각도를 조정할 수 있다.
단계 S605는 적외선 센서 및 영상 센서와 같은 오브젝트를 감지하는 센서를 이용하여 단계 S604에서 입력 받은 명령에 따라 오브젝트 입체 형상 정보를 생성할 수 있다.
오브젝트의 카테고리를 인식하고 오브젝트 카테고리를 기초로 통상의 형태를 추정하여 생성할 수 있다. 오브젝트 카테고리는 오브젝트가 될 수 있는 사람 또는 물체의 카테고리가 있으며, 사람을 예로 들면, 사람 카테고리에는 얼굴, 몸, 팔, 다리, 손, 발 등과 같은 부위별 정보가 저장되어 있다. 오브젝트가 사람인 경우 입체 형상 정보를 생성하는데 필요한 부위 또는 정보를 인식하고 카테고리를 기초로 오브젝트의 옆면을 추정하여 오브젝트 입체 형상 정보를 추출할 수 있다.
단계 S606는 이동 명령에 따라 콘텐츠 영상 및 변형 오브젝트 영상의 합성 위치를 조정한다. 단계 S606에서 조정하는 콘텐츠 영상의 합성 위치는 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타낼 수 있다. 예들 들면, 콘텐츠 영상(501)의 전체 화면 중 사용자의 명령에 따라 특정 영역(510, 520)을 선택하여 합성 영상에 보여지는 영역(511, 521)을 다양하게 선택할 수 있다.
단계 S606는 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다. 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 단계 S604에서 입력 받고, 위치 조정 명령에 응답하여 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다.
예를 들어, 3차원 가상 공간상의 카메라 위치가 사용자 명령에 의해 제1 카메라(310)에서 제2 카메라(311)로 변경될 경우 오브젝트(320)와 콘텐츠 영상의 위치 거리(a), 카메라와 콘텐츠 영상의 위치 거리(b), 제 1 카메라에서 제2 카메라로의 이동 거리(d), 콘텐츠 영상 이동 거리(d)를 통해 오브젝트의 이동 거리를 계산할 수 있다. 이 때, 본 발명은 스튜디오에서 촬영되는 경우가 대부분인데 이 경우 카메라와 오브젝트 사이의 거리는 큰 변동이 없으므로 일정한 값(c)으로 가정한다.
Figure PCTKR2017005581-appb-I000005
3차원 가상 공간상의 제1 카메라 위치가 사용자 명령에 의해 제2 카메라 위치로 오른쪽으로 d만큼 이동할 경우 콘텐츠 영상은 왼쪽으로 d만큼 이동, 변형 오브젝트 영상은
Figure PCTKR2017005581-appb-I000006
만큼 이동 할 수 있다.
단계 S607는 콘텐츠 영상을 제1 레이어로, 변형 오브젝트 영상을 제2 레이어로 하고, 단계 S606에서 조정한 합성 위치에 따라 합성 영상을 생성한다.
단계 S607에서 합성 영상을 생성하는 레이어인 제1 레이어, 제2 레이어의 순서는 변경 될 수 있으며, 단계 S606에서 조정한 합성 위치에 따라 합성 영상을 생성한다.
본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
본 발명은 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법에 관한 것으로, 카메라가 이동하지 않고 카메라가 이동하여 촬영하는 것과 같은 효과를 제공하여 보다 자연스러운 3차원 입체 효과를 가진 크로마키 합성 시스템 및 방법에 관한 것이다. 보다 상세하게는 하나 이상의 콘텐츠 영상을 저장하고, 오브젝트를 촬영한 영상을 입력 받기 위한 영상을 입력하고, 영상 입력부에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 상기 오브젝트의 오브젝트 영상을 추출하고, 사용자 명령을 입력 받고, 명령 입력부에서 입력 받은 이동 명령에 따라 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하고, 이동 명령에 따라 콘텐츠 영상 및 변형 오브젝트 영상의 합성 위치를 조정하고, 콘텐츠 영상을 제1 레이어로, 변형 오브젝트 영상을 제2 레이어로하고, 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성 할 수 있도록 하는 기술이다.

Claims (15)

  1. 하나 이상의 콘텐츠 영상을 저장하는 영상 저장부;
    오브젝트를 촬영한 영상을 입력 받기 위한 영상 입력부;
    상기 영상 입력부에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 상기 오브젝트의 오브젝트 영상을 추출하는 오브젝트 영상 추출부;
    사용자 명령을 입력 받는 명령 입력부;
    상기 명령 입력부에서 입력 받은 이동 명령에 따라 상기 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 변형 오브젝트 영상 생성부;
    상기 이동 명령에 따라 상기 콘텐츠 영상 및 상기 변형 오브젝트 영상의 합성 위치를 조정하는 위치 조정부; 및
    상기 콘텐츠 영상을 제1 레이어로, 상기 변형 오브젝트 영상을 제2 레이어로 하고, 상기 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성하는 합성 영상 생성부
    를 포함하는 크로마키 합성 시스템.
  2. 제1항에 있어서,
    상기 변형 오브젝트 영상 생성부는
    상기 오브젝트의 입체 형상 정보를 이용하여 상기 오브젝트의 옆면 영상을 생성하고,
    상기 이동 명령에 따라 상기 옆면 영상을 이용하여 상기 오브젝트가 보이는 각도를 조정하여 상기 변형 오브젝트 영상을 생성하는 것
    을 특징으로 하는 크로마키 합성 시스템.
  3. 제2항에 있어서,
    상기 변형 오브젝트 영상 생성부는
    적외선 센서 및 영상 센서를 기초로 상기 오브젝트의 입체 형상 정보를 생성하는 것
    을 특징으로 하는 크로마키 합성 시스템.
  4. 제2항에 있어서,
    상기 변형 오브젝트 영상 생성부는
    상기 오브젝트의 카테고리를 인식하고, 상기 인식된 오브젝트 카테고리의 통상의 형태를 기초로 추정하여 상기 입체 형상 정보를 추출하는 것
    을 특징으로 하는 크로마키 합성 시스템.
  5. 제1항에 있어서,
    상기 위치 조정부에서 조정하는 상기 콘텐츠 영상의 합성 위치는
    상기 콘텐츠 영상의 전체 화면 중 상기 합성 영상에 보여지는 영역을 나타내는 것
    을 특징으로 하는 크로마키 합성 시스템.
  6. 제1항에 있어서,
    상기 위치 조정부는
    상기 오브젝트와 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것
    을 특징으로 하는 크로마키 합성 시스템.
  7. 제6항에 있어서,
    상기 명령 입력부는
    상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 입력 받고,
    상기 위치 조정부는
    상기 위치 조정 명령에 응답하여 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것
    을 특징으로 하는 크로마키 합성 시스템.
  8. 하나 이상의 콘텐츠 영상을 저장하는 영상 저장하는 단계;
    오브젝트를 촬영한 영상을 입력 받기 위한 영상 입력하는 단계;
    상기 영상 입력하는 단계에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 상기 오브젝트의 오브젝트 영상을 추출하는 오브젝트 영상 추출하는 단계;
    사용자 명령을 입력 받는 명령 입력하는 단계;
    상기 명령 입력하는 단계에서 입력 받은 이동 명령에 따라 상기 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 변형 오브젝트 영상 생성하는 단계;
    상기 이동 명령에 따라 상기 콘텐츠 영상 및 상기 변형 오브젝트 영상의 합성 위치를 조정하는 위치 조정 하는 단계; 및
    상기 콘텐츠 영상을 제1 레이어로, 상기 변형 오브젝트 영상을 제2 레이어로 하고, 상기 위치 조정하는 단계에서 조정한 합성 위치에 따라 합성 영상을 생성하는 합성 영상 생성하는 단계
    를 포함하는 크로마키 합성 방법.
  9. 제8항에 있어서,
    상기 변형 오브젝트 영상 생성하는 단계는
    상기 오브젝트의 입체 형상 정보를 이용하여 상기 오브젝트의 옆면 영상을 생성하고,
    상기 이동 명령에 따라 상기 옆면 영상을 이용하여 상기 오브젝트가 보이는 각도를 조정하여 상기 변형 오브젝트 영상을 생성하는 것
    을 특징으로 하는 크로마키 합성 방법.
  10. 제9항에 있어서,
    상기 변형 오브젝트 영상 생성하는 단계는
    적외선 센서 및 영상 센서를 기초로 상기 오브젝트의 입체 형상 정보를 생성하는 것
    을 특징으로 하는 크로마키 합성 방법
  11. 제9항에 있어서,
    상기 변형 오브젝트 영상 생성하는 단계는
    상기 오브젝트의 카테고리를 인식하고, 상기 인식된 오브젝트 카테고리의 통상의 형태를 기초로 추정하여 상기 입체 형상 정보를 추출하는 것
    을 특징으로 하는 크로마키 합성 방법.
  12. 제8항에 있어서,
    상기 위치 조정하는 단계에서 조정하는 상기 콘텐츠 영상의 합성 위치는
    상기 콘텐츠 영상의 전체 화면 중 상기 합성 영상에 보여지는 영역을 나타내는 것을 특징으로 하는 크로마키 합성 방법.
  13. 제8항에 있어서,
    상기 위치 조정하는 단계는
    상기 오브젝트와 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것
    을 특징으로 하는 크로마키 합성 방법.
  14. 제13항에 있어서,
    상기 명령 입력하는 단계는
    상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 입력 받고,
    상기 위치 조정하는 단계는
    상기 위치 조정 명령에 응답하여 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것
    을 특징으로 하는 크로마키 합성 방법.
  15. 제8항 내지 제14항 중 어느 한 항에 기재된 방법을 실현시키기 위한 프로그램을 기록한 기록매체.
PCT/KR2017/005581 2016-06-03 2017-05-29 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법 WO2017209468A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0069549 2016-06-03
KR1020160069549A KR101697163B1 (ko) 2016-06-03 2016-06-03 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2017209468A1 true WO2017209468A1 (ko) 2017-12-07

Family

ID=57990443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/005581 WO2017209468A1 (ko) 2016-06-03 2017-05-29 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101697163B1 (ko)
WO (1) WO2017209468A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118483A (zh) * 2020-06-19 2020-12-22 中兴通讯股份有限公司 视频处理方法、装置、设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023141340A1 (en) * 2022-01-23 2023-07-27 Malay Kundu A user controlled three-dimensional scene

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326179A (ja) * 2003-04-21 2004-11-18 Sharp Corp 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体
JP2005165614A (ja) * 2003-12-02 2005-06-23 Canon Inc 画像合成装置および画像合成方法
KR20120137021A (ko) * 2011-06-10 2012-12-20 한남대학교 산학협력단 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
KR20140041998A (ko) * 2012-09-26 2014-04-07 주식회사 에이아이오코리아 영상합성기의 크로마키 피사체영상과 배경영상 합성장치 및 방법
KR20150101836A (ko) * 2014-02-27 2015-09-04 곽지민 인체 고속 입체 스캔 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253416B2 (en) 2008-06-19 2016-02-02 Motorola Solutions, Inc. Modulation of background substitution based on camera attitude and motion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326179A (ja) * 2003-04-21 2004-11-18 Sharp Corp 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体
JP2005165614A (ja) * 2003-12-02 2005-06-23 Canon Inc 画像合成装置および画像合成方法
KR20120137021A (ko) * 2011-06-10 2012-12-20 한남대학교 산학협력단 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
KR20140041998A (ko) * 2012-09-26 2014-04-07 주식회사 에이아이오코리아 영상합성기의 크로마키 피사체영상과 배경영상 합성장치 및 방법
KR20150101836A (ko) * 2014-02-27 2015-09-04 곽지민 인체 고속 입체 스캔 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118483A (zh) * 2020-06-19 2020-12-22 中兴通讯股份有限公司 视频处理方法、装置、设备和存储介质
WO2021254223A1 (zh) * 2020-06-19 2021-12-23 中兴通讯股份有限公司 视频处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
KR101697163B1 (ko) 2017-01-17

Similar Documents

Publication Publication Date Title
JP6918455B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2016048017A1 (en) Transmission of three-dimensional video
WO2018174535A1 (en) System and method for depth map
US20060120712A1 (en) Method and apparatus for processing image
WO2016048020A1 (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
WO2016000309A1 (zh) 基于穿戴设备的增强现实方法及系统
CN110636276B (zh) 视频拍摄方法、装置、存储介质及电子设备
KR102191050B1 (ko) 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2017213439A1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2017209468A1 (ko) 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법
WO2021096339A1 (ko) 이미지 변형 방법
WO2018124794A1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
JP2021119459A (ja) 生成装置、生成方法
CN106210701A (zh) 一种用于拍摄vr图像的移动终端及其vr图像拍摄系统
WO2020116740A1 (ko) 실시간 방송 편집 시스템 및 편집 방법
JP2020057329A (ja) ガイドシステム
WO2017026834A1 (ko) 반응형 영상 생성방법 및 생성프로그램
CN205946040U (zh) Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
WO2020080616A1 (ko) 인공 신경망에 기반한 영상 처리 방법 및 장치
CN205946041U (zh) 一种用于拍摄vr图像的移动终端及其vr图像拍摄系统
WO2021172841A1 (ko) 사진에서 피사체와 배경을 분리하는 전자 장치 및 방법
WO2016043401A1 (ko) 영상 처리 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806961

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17806961

Country of ref document: EP

Kind code of ref document: A1