KR101697163B1 - system and method for chroma-key composing for providing three-dimensional structure effect - Google Patents
system and method for chroma-key composing for providing three-dimensional structure effect Download PDFInfo
- Publication number
- KR101697163B1 KR101697163B1 KR1020160069549A KR20160069549A KR101697163B1 KR 101697163 B1 KR101697163 B1 KR 101697163B1 KR 1020160069549 A KR1020160069549 A KR 1020160069549A KR 20160069549 A KR20160069549 A KR 20160069549A KR 101697163 B1 KR101697163 B1 KR 101697163B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- content
- command
- distance
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000000694 effects Effects 0.000 title abstract description 25
- 239000002131 composite material Substances 0.000 claims abstract description 46
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000001308 synthesis method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Abstract
Description
본 발명은 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법에 관한 것으로, 카메라가 이동하지 않고도 카메라가 이동하여 촬영하는 것과 같은 효과를 제공하여 보다 자연스러운 3차원 입체 효과를 가진 크로마키 합성 영상을 제공하기 위한 기술에 관한 것이다.The present invention relates to a chroma key synthesis system and method for providing a three-dimensional stereoscopic effect, and more particularly, to a chroma key synthesizer system and method for providing a three-dimensional stereoscopic effect, To a technique for providing the same.
뉴스나 일기예보, 선거방송에서 시작된 크로마키 합성 기술이 최근에는 영화, 인터넷 방송국, 중소규모의 프로덕션, 사내방송국, 교육방송국, 개인방송국까지 확산되는 추세이다.Chromakey synthesis technology, which started from news, weather forecasts, and election broadcasting, is now spreading to movies, internet broadcasting, small and medium size productions, in-house broadcasting stations, educational broadcasting stations and private broadcasting stations.
뉴스나 일기예보, 선거 방송의 경우 방송국에서 촬영하여 카메라의 이동이 용이하여 표현하고자 하는 콘텐츠 영상과 사람의 모습을 자연스럽게 나타낼 수 있지만, 인터넷 방송국, 중소규모의 프로덕션, 사내방송국 및 개인방송국과 같이 촬영 장소가 협소한 경우 카메라의 이동이 용이하지 않아 표현하고자 하는 콘텐츠 영상과 사람의 모습을 자연스럽게 나타내지 못하다는 문제점이 있다.In the case of news, weather forecast, and election broadcasting, it is easy to move the camera by photographing at a broadcasting station, so that it is possible to naturally express the content image and the person's image to be expressed. However, in the case of an Internet broadcasting station, a small-scale production, When the place is narrow, the movement of the camera is not easy, and there is a problem in that it can not represent the image of the content and the figure of the person to be expressed naturally.
종래에는 한국등록특허 제10-1299796호 "카메라 자세와 움직임에 기초한 배경 대체의 변조"는 장치 내외부의 프로세서가 화상의 배경으로부터 전경을 분할하여 원래 배경이 제거되고, 저장된 배경 화상 또는 비디오가 원래의 배경을 대신하여 교체되고, 교체된 배경은 장치의 하나 이상의 센서에 의해 감지되는 장치의 자세와 움직임에 따라 변경되는 방법을 개시하고 있다. Conventionally, Korean Patent No. 10-1299796 entitled " Modification of background substitution based on camera posture and motion "indicates that the processor inside and outside the apparatus divides the foreground from the background of the image so that the original background is removed, Discloses a method in which the replaced and replaced background is changed in accordance with the attitude and movement of the device detected by one or more sensors of the device.
위 선행기술은 모바일 장치의 하나 이상의 카메라가 깊이 화상을 취득하여 장치의 자세와 움직임에 따라 배경이 변경되는 구성을 포함하고 있는데, 장치의 센서를 이용하여 카메라가 포함된 장치의 자세와 움직임을 인식할 수 있는 경우에만 적용이 가능하며, 기존 스튜디오 등과 같이 고정된 1대의 카메라만 이용하여 영상을 제작해야 하는 경우에는 이와 같이 카메라가 이동하는 효과를 제공하는 것이 불가능하였다.The prior art includes a configuration in which at least one camera of the mobile device acquires a deep image and the background is changed according to the attitude and movement of the device. The sensor of the device is used to recognize the position and the motion of the device including the camera It is impossible to provide the effect of moving the camera in the case where the image is to be produced using only one fixed camera such as a conventional studio.
따라서 고정된 1대의 카메라를 이용하여 영상을 촬영하는 경우에, 카메라의 이동이 이루어지지 않아도 카메라의 이동이 이루어진 것과 같은 효과를 제공하기 위한 자연스러운 크로마키 합성 기술이 필요하다.Therefore, when capturing an image using a fixed camera, a natural chroma key synthesis technique is needed to provide the same effect as that of moving the camera even if the camera is not moved.
본 발명은 카메라가 이동하지 않고 카메라가 이동하여 촬영하는 것과 같은 효과를 제공하여 보다 자연스러운 3차원 입체 효과를 가진 크로마키 합성 영상을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide a chroma key composite image having a more natural three-dimensional stereo effect by providing an effect such that a camera moves and photographs without moving a camera.
본 발명은 오브젝트 입체 영상을 이용하여 오브젝트 옆면 영상을 생성하고, 오브젝트 옆면 영상을 이용하여 사용자 이동 명령에 따라 오브젝트가 보이는 각도를 조정하여 변형 오브젝트 영상을 생성함으로써 실제로 카메라가 옆으로 이동하여 오브젝트의 옆면을 촬영하는 것과 같은 영상을 제공하는 것을 목적으로 한다.The present invention generates an object side image using an object stereoscopic image and generates a modified object image by adjusting an angle at which an object is viewed according to a user moving instruction using an object side image to actually move the camera to the side, And the like.
본 발명은 위치 조정부에서 조정하는 콘텐츠 영상의 합성 위치가 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타냄으로써 배경영상이 화면을 가득 채운 경우에도 카메라의 이동에 따라 배경 영상이 이동할 수 있도록 하여 실제 배경 영상이 촬영된 곳에 오브젝트가 위치하는 것과 같은 영상을 제공하는 것을 목적으로 한다.In the present invention, a composite position of a content image to be adjusted by a position adjustment unit is displayed in a synthesized image of a full screen of a content image, so that even when a background image fills the screen, a background image can be moved The object is to provide an image such that an object is located where the actual background image is photographed.
본 발명은 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성함으로써 촬영자 또는 편집자가 배경 영상과 오브젝트 사이의 거리를 자유롭게 설정할 수 있도록 하고 설정에 맞게 영상에서의 3차원 효과를 제어하는 것을 목적으로 한다.According to the present invention, the positional information of the modified object image and the content image is generated based on the distance information between the object and the position on the three-dimensional virtual space in which the content image is to be placed, so that the photographer or the editor can freely set the distance between the background image and the object And to control the three-dimensional effect in the image according to the setting.
이러한 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템은 이상의 콘텐츠 영상을 저장하는 영상 저장부, 오브젝트를 촬영한 영상을 입력 받기 위한 영상 입력부, 상기 영상 입력부에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 상기 오브젝트의 오브젝트 영상을 추출하는 오브젝트 영상 추출부, 사용자 명령을 입력 받는 명령 입력부, 상기 명령 입력부에서 입력 받은 이동 명령에 따라 상기 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 변형 오브젝트 영상 생성부;According to an aspect of the present invention, there is provided a chroma key combining system for providing a three-dimensional stereo effect, including an image storage unit for storing a content image, an image input unit for receiving an image of the object, An object image extracting unit for extracting a background chroma back from an image input from an input unit and extracting an object image of the object by removing the background chroma bag, a command input unit for inputting a user command, A transformed object image generation unit for transforming the object image according to a received movement command to generate a transformed object image;
상기 이동 명령에 따라 상기 콘텐츠 영상 및 상기 변형 오브젝트 영상의 합성 위치를 조정하는 위치 조정부, 상기 콘텐츠 영상을 제1 레이어로, 상기 변형 오브젝트 영상을 제2 레이어로 하고, 상기 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성하는 합성 영상 생성부를 포함하여 구성된다.A position adjusting unit which adjusts the position of the composite image of the content image and the deformed object image in accordance with the movement command, a position adjusting unit which positions the content image as a first layer, the deformed object image as a second layer, And a synthesized image generation unit for generating a synthesized image according to the generated image.
또한, 상기 변형 오브젝트 영상 생성부는 상기 오브젝트의 입체 형상 정보를 이용하여 상기 오브젝트의 옆면 영상을 생성하고, 상기 이동 명령에 따라 상기 옆면 영상을 이용하여 상기 오브젝트가 보이는 각도를 조정하여 상기 변형 오브젝트 영상을 생성하는 것으로 구성될 수 있다.The deformed object image generating unit may generate a side image of the object using the three-dimensional shape information of the object, adjust the angle of view of the object using the side image in accordance with the movement instruction, And the like.
또한, 상기 변형 오브젝트 영상 생성부는 적외선 센서 및 영상 센서를 기초로 상기 오브젝트의 입체 형상 정보를 생성하는 것으로 구성될 수 있다.In addition, the modified object image generation unit may be configured to generate three-dimensional shape information of the object based on an infrared sensor and an image sensor.
또한, 상기 변형 오브젝트 영상 생성부는 상기 오브젝트의 카테고리를 인식하고, 상기 인식된 오브젝트 카테고리의 통상의 형태를 기초로 추정하여 상기 입체 형상 정보를 추출하는 것으로 구성될 수 있다.The deformed object image generating unit may be configured to recognize the category of the object and extract the stereoscopic shape information by estimating based on the normal shape of the recognized object category.
또한, 상기 위치 조정부에서 조정하는 상기 콘텐츠 영상의 합성 위치는 상기 콘텐츠 영상의 전체 화면 중 상기 합성 영상에 보여지는 영역을 나타내는 것으로 구성될 수 있다.The composite position of the content image to be adjusted by the position adjustment unit may be configured to indicate an area of the composite image of the entire image of the content image.
또한, 상기 위치 조정부는 상기 오브젝트와 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것으로 구성될 수 있다.The position adjustment unit may be configured to generate positional information of the deformed object image and the content image based on distance information between the object and a position on the three-dimensional virtual space in which the content image is to be disposed.
또한, 상기 명령 입력부는 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 입력 받고, 상기 위치 조정부는 상기 위치 조정 명령에 응답하여 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것으로 구성될 수 있다.The command input unit receives a position adjustment command for adjusting a position on the three-dimensional virtual space in which the content video is to be placed, and the position adjustment unit adjusts the positional information of the deformed object video and the content video in response to the position adjustment command. As shown in FIG.
본 발명에 따르면 카메라가 이동하지 않고 카메라가 이동하여 촬영하는 것과 같은 효과를 제공하여 보다 자연스러운 3차원 입체 효과를 가진 크로마키 합성 영상을 생성할 수 있다.According to the present invention, it is possible to generate a chroma key composite image having a more natural three-dimensional stereo effect by providing the same effect as moving the camera without moving the camera.
본 발명에 따르면 오브젝트 입체 영상을 이용하여 오브젝트 옆면 영상을 생성하고, 오브젝트 옆면 영상을 이용하여 사용자 이동 명령에 따라 오브젝트가 보이는 각도를 조정하여 변형 오브젝트 영상을 생성함으로써 실제로 카메라가 옆으로 이동하여 오브젝트의 옆면을 촬영하는 것과 같은 영상을 생성할 수 있다.According to the present invention, the object side image is generated using the object stereoscopic image, and the object side image is used to adjust the angle of view of the object in accordance with the user movement instruction to generate the modified object image. It is possible to generate an image such as photographing a side surface.
본 발명에 따르면 위치 조정부에서 조정하는 콘텐츠 영상의 합성 위치가 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타냄으로써 배경 영상이 화면을 가득 채운 경우에도 카메라의 이동에 따라 배경 영상이 이동할 수 있도록 하여 실제 배경 영상이 촬영된 곳에 오브젝트가 위치하는 것과 같은 영상을 생성할 수 있다.According to the present invention, since the composite position of the content image to be adjusted by the position adjustment unit is displayed in the synthesized image of the full screen of the content image, even if the background image fills the screen, the background image can be moved Thereby generating an image such that an object is positioned where the actual background image is photographed.
본 발명에 따르면 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성함으로써 촬영자 또는 편집자가 배경 영상과 오브젝트 사이의 거리를 자유롭게 설정할 수 있도록 하고 설정에 맞게 영상에서의 3차원 효과를 제어할 수 있다.According to the present invention, the positional information of the modified object image and the content image is generated based on the distance information between the object and the position on the three-dimensional virtual space in which the content image is to be placed, thereby freely setting the distance between the background image and the object And control the three-dimensional effect in the image according to the setting.
도 1은 본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템을 적용한 크로마키 합성 시스템의 전체 구성도를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 3차원 가상 공간상의 위치 사이의 거리를 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성하는 구성을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성한 화면의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타내는 화면의 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 방법의 흐름을 도시한 순서도이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram illustrating an overall configuration of a chroma key combining system to which a chroma key combining system for providing a three-dimensional stereo effect according to an embodiment of the present invention is applied.
2 is a diagram illustrating an example of generating a modified object image by modifying an object image according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a configuration for generating positional information of a modified object image and a content image based on distance information between positions on a three-dimensional virtual space according to an embodiment of the present invention.
4 is a view showing an example of a screen in which a composite image is generated according to a composite position adjusted by a position adjustment unit according to an embodiment of the present invention.
5 is a view showing an example of a screen showing an area shown in a composite image of a full screen of a content image according to an embodiment of the present invention.
6 is a flowchart showing a flow of a chroma key synthesis method for providing a three-dimensional stereo effect according to an embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Further, in describing the embodiments of the present invention, specific numerical values are merely examples and the scope of the invention is not limited thereby.
본 발명에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템은 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있어, 본 발명은 이와 같은 물리적인 장치의 구성에 의하여 한정되지 아니한다.The chroma key synthesis system for providing a three-dimensional stereo effect according to the present invention is configured in the form of a server having a central processing unit (CPU) and a memory (memory) and being connectable to other terminals through a communication network such as the Internet . However, the present invention is not limited by the configuration of the central processing unit and the memory. Further, the chroma key combination system for providing a three-dimensional stereo effect according to the present invention may be physically configured as one device or may be implemented in a distributed manner in a plurality of devices, The present invention is not limited thereto.
도 1은 본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템을 적용한 크로마키 합성 시스템의 전체 구성도를 도시한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram illustrating an overall configuration of a chroma key combining system to which a chroma key combining system for providing a three-dimensional stereo effect according to an embodiment of the present invention is applied.
본 발명에 따른 3차원 입체 효과를 제공하는 크로마키 합성 시스템은 영상 저장부(110), 영상 입력부(120), 오브젝트 영상 추출부(130), 명령 입력부(140), 변형 오브젝트 영상 생성부(150), 위치 조정부(160), 합성 영상 생성부(170)를 포함한다.The chroma key combination system for providing a three dimensional stereo effect according to the present invention includes an
영상 저장부(110)는 하나 이상의 콘텐츠 영상을 저장한다. 콘텐츠 영상은 백그라운드 영상으로 선택할 수 있는 영상 파일이나 방송에서 설명이 필요하거나 전달하고자 하는 콘텐츠를 표현 할 수 있는 영상 파일로 동영상 파일, 이미지 파일 및 프레젠테이션 파일 중 하나 이상일 수 있으며, 제1 레이어로 선택될 수 있다.The
영상 입력부(120)는 오브젝트를 촬영한 영상을 입력 받는다. 오브젝트는 방송에 나오는 사람 또는 물체일 수 있으며, 카메라를 통해 스튜디오에서 촬영된 영상을 입력 받으며, 스튜디오는 배경 크로마 백(chroma back)과 오브젝트로 구성된다. 배경 크로마 백(chroma back)은 주로 적색, 녹색, 청색 중 하나를 사용하게 되나 주로 청색인 블루스크린을 사용하게 된다. The
오브젝트 영상 추출부(130)는 영상 입력부(120)에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 배경 크로마 백을 제거하여 오브젝트의 오브젝트 영상을 추출한다. The object
오브젝트 영상 추출부(130)는 스튜디오에서 촬영한 영상을 영상 입력부(120)에서 입력 받아 블루스크린인 배경 크로마백(chroma back)을 제외한 오브젝트의 오브젝트 영상을 추출한다.The object
명령 입력부(140)는 사용자 명령을 입력 받는다. 사용자는 영상을 제작하는 사람일 수 있으며, 카메라의 위치 이동 명령을 입력할 수 있다. 카메라의 위치가 실제로 변하지 않아도 카메라가 이동하여 스튜디오를 촬영하는 효과를 나타낼 수 있도록 위치 이동 명령을 입력할 수 있다. 또한, 오브젝트의 위치가 변하지 않아도 콘텐츠 영상의 위치 이동 명령을 입력하여 오브젝트와 콘텐츠 영상의 거리가 멀어지거나 가까워진 것 같은 효과를 나타낼 수 있다.The
변형 오브젝트 영상 생성부(150)는 명령 입력부(140)에서 입력 받은 이동 명령에 따라 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성한다. 오브젝트의 입체 형상 정보를 이용하여 오브젝트의 옆면 영상을 생성하고, 명령 입력부(140)에서 입력 받은 이동 명령에 따라 오브젝트 옆면 영상을 이용하여 오브젝트가 보이는 각도를 조정할 수 있다.The modified object image generation unit 150 generates a modified object image by modifying the object image according to the movement command received from the
고정된 카메라를 이용하여 오브젝트의 정면 영상만 촬영하는 경우에도, 오브젝트가 곡면으로 이루어져 있으면 오브젝트의 정면 영상에도 측면의 모습이 일부 촬영되게 된다. 이 때 측면의 영상은 보여지는 각도에 의해 실제 측면의 모습이 압축(왜곡)된 형태로 촬영되게 되는데, 오브젝트의 입체적인 형상을 파악할 수 있다면 오브젝트의 입체적인 형상 정보를 기초로 압축(왜곡)된 오브젝트의 측면 영상을 일부 복원할 수 있게 된다.Even when only the frontal image of the object is photographed by using the fixed camera, if the object is formed of a curved surface, the side image is partially photographed on the frontal image of the object. At this time, the side image is photographed in a compressed (distorted) form on the actual side by the viewing angle. If the three-dimensional shape of the object can be grasped, the compressed (distorted) object It is possible to partially restore the side image.
즉, 정면 영상에서 보이는 부분까지는 3D 모델로 복원하여 일부 회전된 영상을 생성할 수 있다.That is, it is possible to reconstruct a 3D model up to the portion seen from the frontal image to generate a partially rotated image.
변형 오브젝트 영상 생성부(150)는 적외선 센서 및 영상 센서와 같은 오브젝트를 감지하는 센서를 이용하여 명령 입력부(140)에서 입력 받은 명령에 따라 오브젝트 입체 형상 정보를 생성할 수 있다.The deformed object image generating unit 150 may generate the object solid shape information according to a command received from the
또한 변형 오브젝트 영상 생성부(150)는 오브젝트의 카테고리를 인식하고 오브젝트 카테고리를 기초로 통상의 형태를 추정하여 생성할 수 있다. 오브젝트 카테고리는 오브젝트가 될 수 있는 사람 또는 물체의 카테고리가 있으며, 사람을 예로 들면, 사람 카테고리에는 얼굴, 몸, 팔, 다리, 손, 발 등과 같은 부위별 정보가 카테고리 정보로 저장될 수 있다. 오브젝트가 사람인 경우 입체 형상 정보를 생성하는데 필요한 부위 또는 정보를 인식하고 카테고리를 기초로 오브젝트의 옆면을 추정하여 오브젝트 입체 형상 정보를 추출할 수 있다.In addition, the modified object image generation unit 150 can recognize the category of the object and generate the normal shape based on the object category. The object category includes a category of a person or an object that can be an object. For example, a person category may store category information such as face, body, arm, leg, hand, foot, When the object is a person, it is possible to recognize the part or information necessary for generating the three-dimensional shape information and extract the object three-dimensional shape information by estimating the side face of the object based on the category.
위치 조정부(160)는 이동 명령에 따라 콘텐츠 영상 및 변형 오브젝트 영상의 합성 위치를 조정한다. 위치 조정부(160)에서 조정하는 콘텐츠 영상의 합성 위치는 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타낼 수 있다. 예들 들면, 콘텐츠 영상(501)의 전체 화면 중 사용자의 명령에 따라 특정 영역(510, 520)을 선택하여 합성 영상에 보여지는 영역(511, 521)을 다양하게 선택할 수 있다.The
위치 조정부(160)는 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다. 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 명령 입력부(140)에서 입력 받고, 위치 조정 명령에 응답하여 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다.The
예를 들어, 도 3에 도시된 바와 같이, 3차원 가상 공간상의 카메라 위치가 사용자 명령에 의해 제1 카메라(310)에서 제2 카메라(311)로 변경될 경우 오브젝트(320)와 콘텐츠 영상의 위치 거리(a), 카메라와 콘텐츠 영상의 위치 거리(b), 제 1 카메라에서 제2 카메라로의 이동 거리(d), 콘텐츠 영상 이동 거리(d)를 통해 오브젝트의 이동 거리를 계산할 수 있다. 이 때, 본 발명은 스튜디오에서 촬영되는 경우가 대부분인데 이 경우 카메라와 오브젝트 사이의 거리(b-a)는 큰 변동이 없으므로 일정한 값(c)으로 가정하면, 오브젝트의 이동 거리(x)는 아래와 같이 계산된다.3, when the camera position on the three-dimensional virtual space is changed from the
3차원 가상 공간상의 제1 카메라 위치가 사용자 명령에 의해 제2 카메라 위치로 오른쪽으로 d만큼 이동할 경우 콘텐츠 영상은 왼쪽으로 d만큼 이동, 변형 오브젝트 영상은 
합성 영상 생성부(170)는 콘텐츠 영상을 제1 레이어로, 변형 오브젝트 영상을 제2 레이어로 하고, 위치 조정부(160)에서 조정한 합성 위치에 따라 합성 영상을 생성한다.The composite
합성 영상 생성부(170)에서 합성 영상을 생성하는 레이어인 제1 레이어, 2 레이어의 순서는 변경 될 수 있으며, 위치 조정부(160)에서 조정한 합성 위치에 따라 합성 영상을 생성한다.The order of the first layer and the second layer, which are the layers for generating a composite image in the composite
도 2는 본 발명의 일실시예에 따른 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 일례를 도시한 도면이다.2 is a diagram illustrating an example of generating a modified object image by modifying an object image according to an embodiment of the present invention.
변형 오브젝트 영상 생성부(150)는 명령 입력부(140)에서 입력 받은 이동 명령에 따라 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성한다. 오브젝트의 입체 형상 정보를 이용하여 오브젝트의 옆면 영상을 생성하고, 명령 입력부(140)에서 입력 받은 이동 명령에 따라 오브젝트 옆면 영상을 이용하여 오브젝트가 보이는 각도를 조정할 수 있다.The modified object image generation unit 150 generates a modified object image by modifying the object image according to the movement command received from the
고정된 카메라를 이용하여 오브젝트의 정면 영상만 촬영하는 경우에도, 오브젝트가 곡면으로 이루어져 있으면 오브젝트의 정면 영상(221)에도 측면의 모습이 일부 촬영되게 된다. 이 때 측면의 영상은 보여지는 각도에 의해 실제 측면의 모습이 압축(왜곡)된 형태로 촬영되게 되는데, 오브젝트의 입체적인 형상(222)을 파악할 수 있다면 오브젝트의 입체적인 형상 정보를 기초로 압축(왜곡)된 오브젝트의 측면 영상을 일부 복원할 수 있게 된다.Even if only the front image of the object is photographed using the fixed camera, if the object is formed of a curved surface, the side image is partially photographed on the
즉, 정면 영상에서 보이는 부분까지는 3D 모델로 복원하여 일부 회전된 영상을 생성할 수 있다.That is, it is possible to reconstruct a 3D model up to the portion seen from the frontal image to generate a partially rotated image.
변형 오브젝트 영상 생성부(150)는 오브젝트 영상 추출부(130)에서 적외선 센서 및 영상 센서와 같은 오브젝트를 감지하는 센서를 이용하여 오브젝트 영상을 추출한 후, 오브젝트의 옆면 영상을 생성하고 명령 입력부(140)에서 입력 받은 명령에 따라 옆면 영상을 이용하여 오브젝트가 보이는 각도를 조정하여 오브젝트 입체 형상 정보(211)를 생성할 수 있다.The transformed object image generating unit 150 extracts an object image using a sensor that senses an object such as an infrared sensor and an image sensor in the object
도 3은 본 발명의 일실시예에 따른 3차원 가상 공간상의 위치 사이의 거리를 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성하는 구성을 도시한 도면이다.FIG. 3 is a diagram illustrating a configuration for generating positional information of a modified object image and a content image based on distance information between positions on a three-dimensional virtual space according to an embodiment of the present invention.
위치 조정부(160)는 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다. 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 명령 입력부(140)에서 입력 받고, 위치 조정 명령에 응답하여 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다.The
예를 들어, 3차원 가상 공간상의 카메라 위치가 사용자 명령에 의해 제1 카메라(310)에서 제2 카메라(311)로 변경될 경우 오브젝트(320)와 콘텐츠 영상의 위치 거리(a), 카메라와 콘텐츠 영상의 위치 거리(b), 제 1 카메라에서 제2 카메라로의 이동 거리(d), 콘텐츠 영상 이동 거리(d)를 통해 오브젝트의 이동 거리를 계산할 수 있다. 이 때, 본 발명은 스튜디오에서 촬영되는 경우가 대부분인데 이 경우 카메라와 오브젝트 사이의 거리(b-a)는 큰 변동이 없으므로 일정한 값(c)으로 가정하면, 오브젝트의 이동 거리(x)는 아래와 같이 계산된다.For example, when the camera position on the three-dimensional virtual space is changed from the
3차원 가상 공간상의 제1 카메라 위치가 사용자 명령에 의해 제2 카메라 위치로 오른쪽으로 d만큼 이동할 경우 콘텐츠 영상은 왼쪽으로 d만큼 이동, 변형 오브젝트 영상은 
도 4는 본 발명의 일실시예에 따른 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성한 화면의 일례를 도시한 도면이다.4 is a view showing an example of a screen in which a composite image is generated according to a composite position adjusted by a position adjustment unit according to an embodiment of the present invention.
방송이 되는 화면(410)을 기준으로 오브젝트 영상(210)과 콘텐츠 영상(420)이 정면으로 배치되어 촬영이 되었지만 사용자 명령에 의해 위치를 조정할 경우 사용자 명령에 따라 옆면이 생성된 오브젝트 입체 형상 정보(211)와 위치가 조정된 콘텐츠 영상(421)이 합성된 화면을 생성할 수 있다.When the
3차원 가상 공간상의 위치가 사용자 명령에 의해 이동할 경우 카메라 위치가 이동한 만큼의 반대 방향으로 콘텐츠 영상이 이동하며, 변형 오브젝트 영상은 3차원 가상공간상의 위치 사이의 거리 정보를 기초로 이동할 수 있다.When the position on the three-dimensional virtual space is moved by a user command, the content image moves in a direction opposite to the direction in which the camera position is moved, and the modified object image can move based on the distance information between positions on the three-dimensional virtual space.
도 5는 본 발명의 일실시예에 따른 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타내는 화면의 일례를 도시한 도면이다.5 is a view showing an example of a screen showing an area shown in a composite image of a full screen of a content image according to an embodiment of the present invention.
위치 조정부(160)는 이동 명령에 따라 콘텐츠 영상 및 변형 오브젝트 영상의 합성 위치를 조정한다. 위치 조정부(160)에서 조정하는 콘텐츠 영상의 합성 위치는 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타낼 수 있다. 예들 들면, 콘텐츠 영상(501)의 전체 화면 중 사용자의 명령에 따라 특정 영역(510, 520)을 선택하여 합성 영상에 보여지는 영역(511, 521)을 다양하게 선택할 수 있다.The
콘텐츠 영상(501)의 일부가 선택되어 합성 영상에 보여질 수 있으며, 사용자의 명령에 의해 3차원 가상공간의 각도 또는 위치가 상하로 이동이 모두 가능하여, 실제 배경 영상이 촬영된 곳에 오브젝트가 위치하는 것과 같은 영상을 제공할 수 있다. A portion of the
예를 들면, 처음에는 콘텐츠 영상(501)의 제1 특정 영역(510)을 선택하여 합성 영상에 보여지는 영역이 제1 합성 영역(511)이 될 수 있으며, 이후 사용자 명령에 따라 합성 각도 또는 위치가 조정되어 제2 특정 영역(520)을 선택하여 합성 영상에 보여지는 영역이 제2 합성 영역(521)을 나타낼 수 있다.For example, an area displayed in the composite image by selecting the first
도 6은 본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 방법의 흐름을 도시한 순서도이다. 6 is a flowchart showing a flow of a chroma key synthesis method for providing a three-dimensional stereo effect according to an embodiment of the present invention.
단계 S601는 하나 이상의 콘텐츠 영상을 저장한다. 콘텐츠 영상은 백그라운드 영상으로 선택할 수 있는 영상 파일이나 방송에서 설명이 필요하거나 전달하고자 하는 콘텐츠를 표현 할 수 있는 영상 파일로 동영상 파일, 이미지 파일 및 프레젠테이션 파일 중 하나 이상일 수 있으며, 제1 레이어로 선택될 수 있다.Step S601 stores one or more content images. The content image may be a video file that can be selected as a background image or an image file that can express a content that needs to be explained or transmitted in broadcasting, and may be one or more of a video file, an image file, and a presentation file. .
단계 S602는 오브젝트를 촬영한 영상을 입력 받는다. 오브젝트는 방송에 나오는 사람 또는 물체일 수 있으며, 카메라를 통해 스튜디오에서 촬영된 영상을 입력 받으며, 스튜디오는 배경 크로마 백(chroma back)과 오브젝트로 구성된다. 배경 크로마 백(chroma back)은 주로 적색, 녹색, 청색 중 하나를 사용하게 되나 주로 청색인 블루스크린을 사용하게 된다. Step S602 receives the image of the object. An object can be a person or an object in a broadcast, receives an image shot in the studio through a camera, and the studio is made up of a background chroma back and an object. BACKGROUND [0002] A chroma back mainly uses one of red, green, and blue, but mainly uses a blue screen.
단계 S603는 단계 S602에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 배경 크로마 백을 제거하여 오브젝트의 오브젝트 영상을 추출한다. In step S603, a background chroma back is extracted from the input image in step S602, and an object image of the object is extracted by removing the background chroma back.
단계 S603는 스튜디오에서 촬영한 영상을 단계 S602에서 입력 받아 블루스크린인 배경 크로마백(chroma back)을 제외한 오브젝트의 오브젝트 영상을 추출한다.In step S603, the image taken in the studio is input in step S602, and the object image of the object other than the background chroma back which is the blue screen is extracted.
단계 S604는 사용자 명령을 입력 받는다. 사용자는 영상을 제작하는 사람일 수 있으며, 카메라의 위치 이동 명령을 입력할 수 있다. 카메라의 위치가 실제로 변하지 않아도 카메라가 이동하여 스튜디오를 촬영하는 효과를 나타낼 수 있도록 위치 이동 명령을 입력할 수 있다. 있다. 또한, 오브젝트의 위치가 변하지 않아도 콘텐츠 영상의 위치 이동 명령을 입력하여 오브젝트와 콘텐츠 영상의 거리가 멀어지거나 가까워진 것 같은 효과를 나타낼 수 있다.Step S604 receives a user command. The user can be a person who produces the image, and can input a position movement command of the camera. A position shift command can be inputted so that the camera moves and photographs the studio even if the position of the camera does not actually change. have. In addition, even if the position of the object does not change, a position movement command of the content image can be input to show an effect that the distance between the object and the content image is distant or close to each other.
단계 S605는 단계 S604에서 입력 받은 이동 명령에 따라 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성한다. 오브젝트의 입체 형상 정보를 이용하여 오브젝트의 옆면 영상을 생성하고, 단계 S604에서 입력 받은 이동 명령에 따라 오브젝트 옆면 영상을 이용하여 오브젝트가 보이는 각도를 조정할 수 있다.Step S605 modifies the object image in accordance with the movement command received in step S604 to generate a modified object image. The side view image of the object is generated using the three-dimensional shape information of the object, and the angle of view of the object can be adjusted using the side view image of the object in accordance with the movement instruction inputted in step S604.
단계 S605는 적외선 센서 및 영상 센서와 같은 오브젝트를 감지하는 센서를 이용하여 단계 S604에서 입력 받은 명령에 따라 오브젝트 입체 형상 정보를 생성할 수 있다.In step S605, object stereoscopic shape information may be generated in accordance with the command received in step S604 using a sensor for sensing an object such as an infrared sensor and an image sensor.
오브젝트의 카테고리를 인식하고 오브젝트 카테고리를 기초로 통상의 형태를 추정하여 생성할 수 있다. 오브젝트 카테고리는 오브젝트가 될 수 있는 사람 또는 물체의 카테고리가 있으며, 사람을 예로 들면, 사람 카테고리에는 얼굴, 몸, 팔, 다리, 손, 발 등과 같은 부위별 정보가 저장되어 있다. 오브젝트가 사람인 경우 입체 형상 정보를 생성하는데 필요한 부위 또는 정보를 인식하고 카테고리를 기초로 오브젝트의 옆면을 추정하여 오브젝트 입체 형상 정보를 추출할 수 있다.It is possible to recognize the category of the object and to generate it by estimating the normal form based on the object category. The object category includes a person or an object category that can be an object. For example, a person category stores information about a region such as a face, a body, an arm, a leg, a hand, and a foot. When the object is a person, it is possible to recognize the part or information necessary for generating the three-dimensional shape information and extract the object three-dimensional shape information by estimating the side face of the object based on the category.
단계 S606는 이동 명령에 따라 콘텐츠 영상 및 변형 오브젝트 영상의 합성 위치를 조정한다. 단계 S606에서 조정하는 콘텐츠 영상의 합성 위치는 콘텐츠 영상의 전체 화면 중 합성 영상에 보여지는 영역을 나타낼 수 있다. 예들 들면, 콘텐츠 영상(501)의 전체 화면 중 사용자의 명령에 따라 특정 영역(510, 520)을 선택하여 합성 영상에 보여지는 영역(511, 521)을 다양하게 선택할 수 있다.Step S606 adjusts the composite position of the content image and the transformed object image in accordance with the movement instruction. The composite position of the content image to be adjusted in step S606 may indicate an area that is displayed in the composite image of the entire screen of the content image. For example, the user can select
단계 S606는 오브젝트와 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다. 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 단계 S604에서 입력 받고, 위치 조정 명령에 응답하여 변형 오브젝트 영상 및 콘텐츠 영상의 위치 정보를 생성할 수 있다.Step S606 may generate position information of the transformed object image and the content image based on the distance information between the object and the position on the three-dimensional virtual space in which the content image is to be placed. A position adjustment command for adjusting the position on the three-dimensional virtual space in which the content image is to be placed may be input in step S604, and position information of the deformed object image and the content image may be generated in response to the position adjustment command.
예를 들어, 3차원 가상 공간상의 카메라 위치가 사용자 명령에 의해 제1 카메라(310)에서 제2 카메라(311)로 변경될 경우 오브젝트(320)와 콘텐츠 영상의 위치 거리(a), 카메라와 콘텐츠 영상의 위치 거리(b), 제 1 카메라에서 제2 카메라로의 이동 거리(d), 콘텐츠 영상 이동 거리(d)를 통해 오브젝트의 이동 거리를 계산할 수 있다. 이 때, 본 발명은 스튜디오에서 촬영되는 경우가 대부분인데 이 경우 카메라와 오브젝트 사이의 거리는 큰 변동이 없으므로 일정한 값(c)으로 가정한다.For example, when the camera position on the three-dimensional virtual space is changed from the
3차원 가상 공간상의 제1 카메라 위치가 사용자 명령에 의해 제2 카메라 위치로 오른쪽으로 d만큼 이동할 경우 콘텐츠 영상은 왼쪽으로 d만큼 이동, 변형 오브젝트 영상은 
단계 S607는 콘텐츠 영상을 제1 레이어로, 변형 오브젝트 영상을 제2 레이어로 하고, 단계 S606에서 조정한 합성 위치에 따라 합성 영상을 생성한다.In step S607, the content image is set as the first layer, the transformed object image is set as the second layer, and a composite image is generated in accordance with the synthesized position adjusted in step S606.
단계 S607에서 합성 영상을 생성하는 레이어인 제1 레이어, 제2 레이어의 순서는 변경 될 수 있으며, 단계 S606에서 조정한 합성 위치에 따라 합성 영상을 생성한다.In step S607, the order of the first layer and the second layer, which are layers for generating a composite image, can be changed, and a composite image is generated in accordance with the composite position adjusted in step S606.
본 발명의 일실시예에 따른 3차원 입체 효과를 제공하는 크로마키 합성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The chroma key synthesis method for providing a three-dimensional stereo effect according to an embodiment of the present invention may be implemented in a form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
101: 크로마키 합성 시스템
110: 영상 저장부 120: 영상 입력부
130: 오브젝트 영상 추출부 140: 명령 입력부
150: 변형 오브젝트 영상 생성부 160: 위치 조정부
170: 합성 영상 생성부101: Chromakey synthesis system
110: image storage unit 120: image input unit
130: Object image extracting unit 140:
150: Variant object image generation unit 160: Position adjustment unit
170:
Claims (15)
오브젝트를 촬영한 영상을 입력 받기 위한 영상 입력부;
상기 영상 입력부에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 상기 오브젝트의 오브젝트 영상을 추출하는 오브젝트 영상 추출부;
사용자 명령을 입력 받는 명령 입력부;
상기 명령 입력부에서 입력 받은 이동 명령에 따라 상기 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 변형 오브젝트 영상 생성부;
상기 이동 명령에 따라 상기 콘텐츠 영상 및 상기 변형 오브젝트 영상의 합성 위치를 조정하는 위치 조정부; 및
상기 콘텐츠 영상을 제1 레이어로, 상기 변형 오브젝트 영상을 제2 레이어로 하고, 상기 위치 조정부에서 조정한 합성 위치에 따라 합성 영상을 생성하는 합성 영상 생성부를 포함하고,
상기 위치 조정부는 상기 이동 명령을 기초로 상기 콘텐츠 영상의 이동 거리를 구하고, 상기 콘텐츠 영상의 이동 거리 및 상기 오브젝트와 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 오브젝트 이동 거리를 계산하고, 상기 콘텐츠 영상의 이동 거리 및 상기 오브젝트 이동 거리를 기초로 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것
을 포함하는 크로마키 합성 시스템.An image storage unit for storing one or more content images;
An image input unit for receiving an image of an object;
An object image extracting unit extracting a background chroma back from the image input from the image input unit and extracting an object image of the object by removing the background chroma bag;
A command input unit for receiving a user command;
A modified object image generation unit for generating a modified object image by modifying the object image according to a movement command received from the command input unit;
A position adjuster for adjusting a position of the composite image of the content image and the modified object image according to the movement command; And
And a synthesized image generation unit that generates the synthesized image in accordance with the synthesized position adjusted by the position adjustment unit, using the content image as a first layer, the deformed object image as a second layer,
Wherein the position adjustment unit obtains the movement distance of the content image based on the movement instruction and moves the object based on the movement distance of the content image and the distance information between the object and the position on the three- And generating positional information of the transformed object image and the content image based on the movement distance of the content image and the object movement distance
≪ / RTI >
상기 오브젝트 이동 거리는 아래 수학식의 x값으로 구해지는 것을 특징으로 하는 크로마키 합성 시스템.
[수학식]
(단, a는 상기 오브젝트와 상기 콘텐츠 영상의 위치 거리, b는 카메라와 상기 콘텐츠 영상의 위치 거리, c는 카메라와 상기 오브젝트 사이의 거리, d는 상기 이동 명령에 따른 콘텐츠 영상 이동 거리)The method according to claim 1,
Wherein the object moving distance is obtained by an x value in the following equation.
[Mathematical Expression]
(Where a is a distance between the object and the content image, b is a distance between the camera and the content image, c is a distance between the camera and the object, and d is a moving distance of the content image according to the move command)
상기 변형 오브젝트 영상 생성부는
상기 오브젝트의 입체 형상 정보를 이용하여 상기 오브젝트의 옆면 영상을 생성하고,
상기 이동 명령에 따라 상기 옆면 영상을 이용하여 상기 오브젝트가 보이는 각도를 조정하여 상기 변형 오브젝트 영상을 생성하는 것
을 특징으로 하는 크로마키 합성 시스템.The method according to claim 1,
The modified object image generation unit
A side image of the object is generated using the three-dimensional shape information of the object,
And generating the transformed object image by adjusting an angle at which the object is viewed using the side image in accordance with the movement command
And a chroma key synthesis system.
상기 변형 오브젝트 영상 생성부는
적외선 센서 및 영상 센서를 기초로 상기 오브젝트의 입체 형상 정보를 생성하는 것
을 특징으로 하는 크로마키 합성 시스템.The method of claim 3,
The modified object image generation unit
Dimensional shape information of the object based on an infrared sensor and an image sensor
And a chroma key synthesis system.
상기 위치 조정부에서 조정하는 상기 콘텐츠 영상의 합성 위치는
상기 콘텐츠 영상의 전체 화면 중 상기 합성 영상에 보여지는 영역을 나타내는 것
을 특징으로 하는 크로마키 합성 시스템.The method according to claim 1,
Wherein the composite position of the content image adjusted by the position adjustment unit is
A portion of the entire screen of the content image that is displayed in the composite image
And a chroma key synthesis system.
상기 명령 입력부는
상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 입력 받고,
상기 위치 조정부는
상기 위치 조정 명령에 응답하여 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것
을 특징으로 하는 크로마키 합성 시스템.The method according to claim 1,
The command input unit
Receiving a position adjustment command for adjusting a position on the three-dimensional virtual space in which the content video is to be placed,
The position-
And generating positional information of the modified object image and the content image in response to the position adjustment command
And a chroma key synthesis system.
오브젝트를 촬영한 영상을 입력 받기 위한 영상 입력하는 단계;
상기 영상 입력하는 단계에서 입력 받은 영상에서 배경 크로마 백(chroma back)을 추출하고, 상기 배경 크로마 백을 제거하여 상기 오브젝트의 오브젝트 영상을 추출하는 오브젝트 영상 추출하는 단계;
사용자 명령을 입력 받는 명령 입력하는 단계;
상기 명령 입력하는 단계에서 입력 받은 이동 명령에 따라 상기 오브젝트 영상을 변형하여 변형 오브젝트 영상을 생성하는 변형 오브젝트 영상 생성하는 단계;
상기 이동 명령에 따라 상기 콘텐츠 영상 및 상기 변형 오브젝트 영상의 합성 위치를 조정하는 위치 조정 하는 단계; 및
상기 콘텐츠 영상을 제1 레이어로, 상기 변형 오브젝트 영상을 제2 레이어로 하고, 상기 위치 조정하는 단계에서 조정한 합성 위치에 따라 합성 영상을 생성하는 합성 영상 생성하는 단계를 포함하고,
상기 위치 조정 하는 단계는 상기 이동 명령을 기초로 상기 콘텐츠 영상의 이동 거리를 구하고, 상기 콘텐츠 영상의 이동 거리 및 상기 오브젝트와 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 오브젝트 이동 거리를 계산하고, 상기 콘텐츠 영상의 이동 거리 및 상기 오브젝트 이동 거리를 기초로 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것을 포함하는 크로마키 합성 방법.Storing an image storing one or more content images;
Inputting an image for receiving an image of an object;
Extracting a background chroma back from the input image in the image input step and extracting an object image of the object by removing the background chroma back;
Inputting a command for receiving a user command;
Generating a transformed object image by transforming the object image according to a movement command received in the step of inputting the command to generate a transformed object image;
Adjusting a synthesized position of the content image and the modified object image according to the movement command; And
Generating a synthesized image by using the content image as a first layer and the transformed object image as a second layer and generating a synthesized image according to the synthesized position adjusted in the step of adjusting the position,
Wherein the position adjustment step includes a step of obtaining a movement distance of the content image based on the movement instruction and based on the movement distance of the content image and the distance information between the object and the position on the three- And generating positional information of the transformed object image and the content image based on the movement distance of the content image and the object movement distance.
상기 오브젝트 이동 거리는 아래 수학식의 x값으로 구해지는 것을 특징으로 하는 크로마키 합성 방법.
[수학식]
(단, a는 상기 오브젝트와 상기 콘텐츠 영상의 위치 거리, b는 카메라와 상기 콘텐츠 영상의 위치 거리, c는 카메라와 상기 오브젝트 사이의 거리, d는 상기 이동 명령에 따른 콘텐츠 영상 이동 거리)8. The method of claim 7,
Wherein the object moving distance is obtained by an x value in the following equation.
[Mathematical Expression]
(Where a is a distance between the object and the content image, b is a distance between the camera and the content image, c is a distance between the camera and the object, and d is a moving distance of the content image according to the move command)
상기 변형 오브젝트 영상 생성하는 단계는
상기 오브젝트의 입체 형상 정보를 이용하여 상기 오브젝트의 옆면 영상을 생성하고,
상기 이동 명령에 따라 상기 옆면 영상을 이용하여 상기 오브젝트가 보이는 각도를 조정하여 상기 변형 오브젝트 영상을 생성하는 것
을 특징으로 하는 크로마키 합성 방법.8. The method of claim 7,
The step of generating the transformed object image
A side image of the object is generated using the three-dimensional shape information of the object,
And generating the transformed object image by adjusting an angle at which the object is viewed using the side image in accordance with the movement command
≪ / RTI >
상기 변형 오브젝트 영상 생성하는 단계는
적외선 센서 및 영상 센서를 기초로 상기 오브젝트의 입체 형상 정보를 생성하는 것
을 특징으로 하는 크로마키 합성 방법.10. The method of claim 9,
The step of generating the transformed object image
Dimensional shape information of the object based on an infrared sensor and an image sensor
≪ / RTI >
상기 위치 조정하는 단계는
상기 오브젝트와 상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치 사이의 거리 정보를 기초로 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것
을 특징으로 하는 크로마키 합성 방법.8. The method of claim 7,
The step of adjusting the position
Generating positional information of the transformed object image and the content image based on distance information between the object and a position on the three-dimensional virtual space in which the content image is to be placed
≪ / RTI >
상기 명령 입력하는 단계는
상기 콘텐츠 영상이 배치될 3차원 가상 공간상의 위치를 조정하는 위치 조정 명령을 입력 받고,
상기 위치 조정하는 단계는
상기 위치 조정 명령에 응답하여 상기 변형 오브젝트 영상 및 상기 콘텐츠 영상의 위치 정보를 생성하는 것
을 특징으로 하는 크로마키 합성 방법.8. The method of claim 7,
The step of inputting the command
Receiving a position adjustment command for adjusting a position on the three-dimensional virtual space in which the content video is to be placed,
The step of adjusting the position
And generating positional information of the modified object image and the content image in response to the position adjustment command
≪ / RTI >
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160069549A KR101697163B1 (en) | 2016-06-03 | 2016-06-03 | system and method for chroma-key composing for providing three-dimensional structure effect |
| PCT/KR2017/005581 WO2017209468A1 (en) | 2016-06-03 | 2017-05-29 | Chroma-key synthesizing system and method for providing three dimensional stereoscopic effects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160069549A KR101697163B1 (en) | 2016-06-03 | 2016-06-03 | system and method for chroma-key composing for providing three-dimensional structure effect |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101697163B1 true KR101697163B1 (en) | 2017-01-17 |
Family
ID=57990443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160069549A KR101697163B1 (en) | 2016-06-03 | 2016-06-03 | system and method for chroma-key composing for providing three-dimensional structure effect |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101697163B1 (en) |
| WO (1) | WO2017209468A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023141340A1 (en) * | 2022-01-23 | 2023-07-27 | Malay Kundu | A user controlled three-dimensional scene |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112118483A (en) * | 2020-06-19 | 2020-12-22 | 中兴通讯股份有限公司 | Video processing method, device, equipment and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004326179A (en) * | 2003-04-21 | 2004-11-18 | Sharp Corp | Image processing device, image processing method, image processing program, and recording medium storing it |
| JP2005165614A (en) * | 2003-12-02 | 2005-06-23 | Canon Inc | Device and method for synthesizing picture |
| KR20120137021A (en) * | 2011-06-10 | 2012-12-20 | 한남대학교 산학협력단 | Authoring method of augmented reality base chroma-key using overlay layer |
| KR101299796B1 (en) | 2008-06-19 | 2013-08-26 | 모토로라 솔루션즈, 인크. | Modulation of background substitution based on camera attitude and motion |
| KR20140041998A (en) * | 2012-09-26 | 2014-04-07 | 주식회사 에이아이오코리아 | Method and apparatus for chromakey compositing of subject image and background image |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101616176B1 (en) * | 2014-02-27 | 2016-04-27 | 곽지민 | Full body high speed three dimesional scanning apparatus |
-
2016
- 2016-06-03 KR KR1020160069549A patent/KR101697163B1/en active IP Right Grant
-
2017
- 2017-05-29 WO PCT/KR2017/005581 patent/WO2017209468A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004326179A (en) * | 2003-04-21 | 2004-11-18 | Sharp Corp | Image processing device, image processing method, image processing program, and recording medium storing it |
| JP2005165614A (en) * | 2003-12-02 | 2005-06-23 | Canon Inc | Device and method for synthesizing picture |
| KR101299796B1 (en) | 2008-06-19 | 2013-08-26 | 모토로라 솔루션즈, 인크. | Modulation of background substitution based on camera attitude and motion |
| KR20120137021A (en) * | 2011-06-10 | 2012-12-20 | 한남대학교 산학협력단 | Authoring method of augmented reality base chroma-key using overlay layer |
| KR20140041998A (en) * | 2012-09-26 | 2014-04-07 | 주식회사 에이아이오코리아 | Method and apparatus for chromakey compositing of subject image and background image |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023141340A1 (en) * | 2022-01-23 | 2023-07-27 | Malay Kundu | A user controlled three-dimensional scene |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017209468A1 (en) | 2017-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3198866B1 (en) | Reconstruction of three-dimensional video | |
| EP3007038B1 (en) | Interaction with three-dimensional video | |
| US20230402067A1 (en) | Integration of audio into a multi-view interactive digital media representation | |
| EP2619761B1 (en) | Enriching digital photographs | |
| US20130215229A1 (en) | Real-time compositing of live recording-based and computer graphics-based media streams | |
| US9799136B2 (en) | System, method and apparatus for rapid film pre-visualization | |
| JP2015114716A (en) | Image data reproducing apparatus and image data generation apparatus | |
| KR20190045317A (en) | Image processing apparatus, image generation method, and computer program | |
| KR101538947B1 (en) | The apparatus and method of hemispheric freeviewpoint image service technology | |
| US11232626B2 (en) | System, method and apparatus for media pre-visualization | |
| JP2019054488A (en) | Providing apparatus, providing method, and program | |
| JP7237538B2 (en) | Information processing device, system including the same, information processing method, and program | |
| KR101392406B1 (en) | Method and Apparatus for Chromakey compositing of Subject Image and Background Image | |
| KR20130039522A (en) | Apparatus and method of creating 3 dimension panorama image | |
| KR101697163B1 (en) | system and method for chroma-key composing for providing three-dimensional structure effect | |
| KR101843018B1 (en) | System and Method for Video Composition | |
| KR101843025B1 (en) | System and Method for Video Editing Based on Camera Movement | |
| KR101773891B1 (en) | System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner | |
| KR102161437B1 (en) | Apparatus for sharing contents using spatial map of augmented reality and method thereof | |
| JP4130176B2 (en) | Image processing method and image composition apparatus | |
| KR102514702B1 (en) | A mobile terminal for generating a photographed image and a method for generating a photographed image | |
| US20180227569A1 (en) | Dynamic content modification of image and video based multi-view interactive digital media representations | |
| KR102145017B1 (en) | 3D virtual studio system, and 3D virtual studio image synthesis method | |
| KR102561903B1 (en) | AI-based XR content service method using cloud server | |
| KR102133735B1 (en) | Panorama chroma-key synthesis system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200113 Year of fee payment: 4 |