KR102354918B1 - 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 - Google Patents
합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 Download PDFInfo
- Publication number
- KR102354918B1 KR102354918B1 KR1020190110207A KR20190110207A KR102354918B1 KR 102354918 B1 KR102354918 B1 KR 102354918B1 KR 1020190110207 A KR1020190110207 A KR 1020190110207A KR 20190110207 A KR20190110207 A KR 20190110207A KR 102354918 B1 KR102354918 B1 KR 102354918B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- target object
- information
- image
- synthesis target
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 239000002131 composite material Substances 0.000 title claims description 27
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 111
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 111
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 36
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 32
- 235000013361 beverage Nutrition 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 235000013405 beer Nutrition 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 4
- 229910052709 silver Inorganic materials 0.000 description 4
- 239000004332 silver Substances 0.000 description 4
- 239000000571 coke Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 235000019520 non-alcoholic beverage Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Abstract
합성 영상을 생성하는 합성 영상 생성 장치 및 방법이 제공된다. 본 발명의 합성 영상 생성 방법은 입력 영상에 포함된 합성 대상 객체를 식별하는 단계, 상기 식별된 객체와 연관된 삽입 컨텐츠를 결정하는 단계, 및 상기 입력 영상 내 상기 객체의 영역에 상기 삽입 컨텐츠를 합성하여 출력 영상을 생성하는 단계를 포함할 수 있다.
Description
본 발명은 입력 영상에 다른 컨텐츠를 합성하여 합성 영상을 생성하는 방법, 사용자 디바이스, 서버 및 기록 매체에 관한 것이다. 구체적으로, 본 발명은 입력 영상에 포함된 하나 이상의 객체를 식별하고 연관된 컨텐츠를 결정한 후, 연관된 컨텐츠를 해당 객체 영역에 합성하여 합성 영상을 생성함으로써, 동일한 입력 영상으로부터 사용자에게 개인화된 다양한 맞춤형 영상을 제공할 수 있는 방법, 사용자 디바이스, 서버 및 그러한 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
두 개의 영상을 합성하여 새로운 영상을 생성하는 기술로서, 크로마키(Chroma key) 기법이 널리 알려져 있다. 크로마키 기법은, 단색판을 배경으로 합성할 피사체를 촬영한 후, 그 화면에서 배경색을 제거하면 피사체만 남게 되는 원리를 이용한다. 이때 배경이 되는 단색판을 크로마 백(chroma back)이라고 한다. 크로마 백은 대개 RGB(적색, 녹색, 청색) 중 한 색을 사용하게 되나 주로 청색이 많이 쓰인다. 그러나, 반드시 파란색 또는 초록색과 같이 정해진 색상만 사용할 수 있는 것은 아니며, 임의의 색을 크로마 백으로 사용할 수 있다.
종래의 크로마키 기법에 따르면, 크로마 백에 해당되어 원 영상으로부터 제거 또는 투명 처리되는 영역(이하, "크로마키 영역"이라 함)과 크로마키 영역에 합성될 삽입 컨텐츠(이하, "합성될 삽입 컨텐츠"라 함)의 사이에는 연관성이 존재하지 않는다. 따라서, 영상 내에 복수의 크로마키 영역이 존재하더라도 복수의 크로마키 영역의 각각에 서로 다른 연관된 컨텐츠를 자유롭게 합성하는데 한계가 존재한다.
본 발명은 입력 영상으로부터 개인화된 맞춤형 출력 영상을 생성하는 합성 영상 생성 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 입력 영상에 포함된 하나 이상의 객체를 식별하고, 연관된 컨텐츠를 이용하여 식별된 객체 영역을 합성함으로써 합성 영상을 생성하는 합성 영상 생성 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 입력 영상에 포함된 하나 이상의 크로마키 영역을 식별하고, 상기 크로마키 영역과 연관된 객체를 식별하고, 상기 객체와 연관된 컨텐츠를 이용하여 상기 객체 영역을 합성함으로써 합성 영상을 생성하는 합성 영상 생성 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 본 발명에 따른 합성 영상 생성 방법을 수행하는 합성 영상 생성 장치로서의 사용자 디바이스, 서버 또는 시스템을 제공하는 것을 목적을 한다.
본 발명은, 본 발명에 따른 합성 영상 생성 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자(이하, "통상의 기술자"라 함)에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양상에 따른, 적어도 하나의 프로세서를 포함하는 컴퓨터 장치에 의해 수행되는 합성 영상 생성 방법은, 입력 영상에 포함된 합성 대상 객체를 식별하는 단계, 상기 식별된 객체와 연관된 삽입 컨텐츠를 결정하는 단계, 및 상기 입력 영상 내 상기 객체의 영역에 상기 삽입 컨텐츠를 합성하여 출력 영상을 생성하는 단계를 포함할 수 있다.
본 발명에 따른 합성 영상 생성 방법에 있어서, 상기 입력 영상은 하나 이상의 크로마키 영역을 포함하고, 상기 합성 대상 객체를 식별하는 단계는, 상기 크로마키 영역을 검출별하는 단계, 및 상기 검출된 크로마키 영역과 연관된 객체를 상기 합성 대상 객체로서 식별하는 단계를 포함할 수 있다.
본 발명에 따른 합성 영상 생성 방법에 있어서, 상기 합성 대상 객체를 식별하는 단계는, 상기 검출된 크로마키 영역의 컬러키, 크기 또는 형태 중 적어도 하나에 기초하여 상기 합성 대상 객체를 식별할 수 있다.
본 발명에 따른 합성 영상 생성 방법은, 적어도 하나의 접근가능 컨텐츠를 대상 객체와 연관시키는 단계, 및 상기 접근가능 컨텐츠 각각에 대해 대상 객체와의 연관 정보를 포함하는 컨텐츠 정보를 상기 컴퓨터 장치에 저장하는 단계를 더 포함할 수 있다.
본 발명에 따른 합성 영상 생성 방법에 있어서, 상기 삽입 컨텐츠를 결정하는 단계는, 상기 컨텐츠 정보에 기초하여, 상기 접근가능 컨텐츠 중 상기 식별된 합성 대상 객체와 연관된 적어도 하나를 후보 컨텐츠로서 결정하는 단계, 및 사용자 프로파일 정보에 기초하여 상기 후보 컨텐츠 중 하나를 결정하는 단계를 포함할 수 있다.
본 발명에 따른 합성 영상 생성 방법에 있어서, 상기 사용자 프로파일 정보는 사용자의 개인 정보, 선호도 정보 또는 사용자의 이력 정보 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 합성 영상 생성 방법에 있어서, 상기 삽입 컨텐츠를 결정하는 단계는, 상기 컨텐츠 정보에 기초하여, 상기 접근가능 컨텐츠 중 상기 식별된 합성 대상 객체와 연관된 적어도 하나를 후보 컨텐츠로서 결정하는 단계, 상기 후보 컨텐츠를 디스플레이하는 단계, 상기 컴퓨터 장치의 사용자로부터 상기 후보 컨텐츠 중 하나에 대한 선택을 수신하는 단계, 및 상기 수신된 선택에 기초하여 상기 하나의 후보 컨텐츠를 상기 삽입 컨텐츠로 결정하는 단계를 포함할 수 있다.
본 발명에 따른 합성 영상 생성 방법에 있어서, 상기 출력 영상을 생성하는 단계는, 상기 합성 대상 객체의 영역에 기초하여 상기 삽입 컨텐츠를 변형하는 단계, 및 상기 합성 대상 객체의 영역에 상기 변형된 삽입 컨텐츠를 합성하는 단계를 포함할 수 있다.
본 발명에 따른 합성 영상 생성 방법에 있어서, 상기 삽입 컨텐츠를 변형하는 단계는 상기 합성 대상 객체의 영역에 상기 삽입 컨텐츠가 매칭되도록 상기 삽입 컨텐츠의 크기, 기울기 또는 형태 중 적어도 하나를 변형할 수 있다.
본 발명의 다른 양상에 따른, 합성 영상 생성 방법을 수행하는 사용자 디바이스는, 입력 영상을 획득하는 영상 수신부, 상기 입력 영상에 포함된 합성 대상 객체를 식별하는 객체 식별부, 상기 식별된 객체와 연관된 삽입 컨텐츠를 결정하는 컨텐츠 결정부, 상기 입력 영상 내 상기 객체의 영역에 상기 삽입 컨텐츠를 합성하여 출력 영상을 생성하는 컨텐츠 합성부, 및 상기 출력 영상을 디스플레이하는 디스플레이부를 포함할 수 있다.
본 발명에 따른 사용자 디바이스에 있어서, 상기 입력 영상은 하나 이상의 크로마키 영역을 포함하고, 상기 객체 식별부는, 상기 크로마키 영역을 검출하는 단계, 및 상기 검출된 크로마키 영역과 연관된 객체를 상기 합성 대상 객체로서 식별하는 단계를 수행할 수 있다.
본 발명에 따른 사용자 디바이스에 있어서, 상기 객체 식별부는, 상기 검출된 크로마키 영역의 컬러키, 크기 또는 형태 중 적어도 하나에 기초하여 상기 합성 대상 객체를 식별할 수 있다.
본 발명에 따른 사용자 디바이스는, 적어도 하나의 접근가능 컨텐츠를 대상 객체와 연관시키고, 상기 접근가능 컨텐츠 각각에 대해 대상 객체와의 연관 정보를 포함하는 컨텐츠 정보를 저장할 수 있다.
본 발명에 따른 사용자 디바이스에 있어서, 상기 컨텐츠 결정부는, 상기 컨텐츠 정보에 기초하여, 상기 접근가능 컨텐츠 중 상기 식별된 합성 대상 객체와 연관된 적어도 하나를 후보 컨텐츠로서 결정하고, 사용자 프로파일 정보에 기초하여 상기 후보 컨텐츠 중 하나를 결정할 수 있다.
본 발명에 따른 사용자 디바이스에 있어서, 상기 사용자 프로파일 정보는 사용자의 개인 정보, 선호도 정보 또는 사용자의 이력 정보 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 사용자 디바이스에 있어서, 상기 컨텐츠 결정부는, 상기 컨텐츠 정보에 기초하여, 상기 접근가능 컨텐츠 중 상기 식별된 합성 대상 객체와 연관된 적어도 하나를 후보 컨텐츠로서 결정하고, 상기 후보 컨텐츠를 디스플레이하고, 상기 사용자 디바이스의 사용자로부터 상기 후보 컨텐츠 중 하나에 대한 선택을 수신하고, 상기 수신된 선택에 기초하여 상기 하나의 후보 컨텐츠를 상기 삽입 컨텐츠로 결정할 수 있다.
본 발명에 따른 사용자 디바이스에 있어서, 상기 컨텐츠 합성부는, 상기 합성 대상 객체의 영역에 기초하여 상기 삽입 컨텐츠를 변형하고, 상기 합성 대상 객체의 영역에 상기 변형된 삽입 컨텐츠를 합성할 수 있다.
본 발명에 따른 사용자 디바이스에 있어서, 상기 컨텐츠 합성부는, 상기 합성 대상 객체의 영역에 상기 삽입 컨텐츠가 매칭되도록 상기 삽입 컨텐츠의 크기, 기울기 및 형태 중 적어도 하나를 변형할 수 있다.
본 발명의 또 다른 양상에 따른, 합성 영상 생성 방법을 수행하는 서버는, 입력 영상을 획득하는 영상 수신부, 상기 입력 영상에 포함된 합성 대상 객체를 식별하는 객체 식별부, 상기 식별된 객체와 연관된 삽입 컨텐츠를 결정하는 컨텐츠 결정부, 상기 입력 영상 내 상기 객체의 영역에 상기 삽입 컨텐츠를 합성하여 출력 영상을 생성하는 컨텐츠 합성부, 및 상기 출력 영상을 네트워크를 통해 사용자 디바이스로 전송하는 영상 전송부를 포함할 수 있다.
본 발명의 또 다른 양상에 따른 컴퓨터 판독 가능 기록 매체는, 본 발명에 따른 합성 영상 생성 방법을 실행하는 프로그램을 기록할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 발명에 따르면, 입력 영상으로부터 개인화된 맞춤형 출력 영상을 생성할 수 있다.
또한, 본 발명에 따르면, 입력 영상에 포함된 하나 이상의 객체를 식별하고, 연관된 컨텐츠를 이용하여 식별된 객체 영역을 합성함으로써 합성 영상을 생성할 수 있다.
또한, 본 발명에 따르면, 입력 영상에 포함된 하나 이상의 크로마키 영역을 식별하고, 상기 크로마키 영역과 연관된 객체를 식별하고, 상기 객체와 연관된 컨텐츠를 이용하여 상기 객체 영역을 합성함으로써 합성 영상을 생성할 수 있다.
또한, 본 발명에 따른 합성 영상 생성 방법을 수행하는 합성 영상 생성 장치로서의 사용자 디바이스, 서버 또는 시스템이 제공될 수 있다.
또한, 본 발명에 따른 합성 영상 생성 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 합성 영상 생성 방법이 사용될 수 있는 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 합성 영상 생성 방법을 수행하는 합성 영상 생성 장치의 일 실시예를 도시한 블록도이다.
도 3은 본 발명에 따른 입력 영상의 일 예를 도시한 도면이다.
도 4는 객체 식별부가 식별한 입력 영상 내의 객체들을 도시한 도면이다.
도 5는 입력 영상 내 식별된 각각의 객체 영역에 합성될 수 있는 후보 컨텐츠를 예시한 도면이다.
도 6은 식별된 객체 영역의 각각에 컨텐츠 결정부에서 결정된 컨텐츠를 합성함으로써 생성된 출력 영상의 일 예이다.
도 7은 본 발명에 따른 합성 영상 생성 방법을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 합성 영상 생성 방법을 수행하는 합성 영상 생성 장치의 일 실시예를 도시한 블록도이다.
도 3은 본 발명에 따른 입력 영상의 일 예를 도시한 도면이다.
도 4는 객체 식별부가 식별한 입력 영상 내의 객체들을 도시한 도면이다.
도 5는 입력 영상 내 식별된 각각의 객체 영역에 합성될 수 있는 후보 컨텐츠를 예시한 도면이다.
도 6은 식별된 객체 영역의 각각에 컨텐츠 결정부에서 결정된 컨텐츠를 합성함으로써 생성된 출력 영상의 일 예이다.
도 7은 본 발명에 따른 합성 영상 생성 방법을 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 통상의 기술자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
또한, 본 명세서에서 네트워크는 유무선 네트워크를 모두 포함하는 개념일 수 있다. 이때, 네트워크는 디바이스와 시스템 및 디바이스 상호 간의 데이터 교환이 수행될 수 있는 통신망을 의미할 수 있으며, 특정 네트워크로 한정되는 것은 아니다.
또한, 본 명세서에서 디바이스는 스마트폰, 태블릿 PC, 웨어러블 디바이스 및 HMD(Head Mounted Display)와 같이 모바일 디바이스뿐만 아니라, PC나 디스플레이 기능을 구비한 가전처럼 고정된 디바이스일 수 있다. 또한, 일 예로, 디바이스는 서버로 동작 가능한 컴퓨팅 디바이스, 차량 또는 IoT (Internet of Things) 디바이스일 수 있다. 즉, 본 명세서에서 디바이스는 본 발명에 따른 합성 영상 생성 방법을 수행할 수 있는 기기들을 지칭할 수 있으며, 특정 타입으로 한정되지 않는다.
또한, 본 명세서에서 "영상"은 정지 영상뿐만 아니라 동영상, 스트리밍 영상 등 사용자가 디바이스에 구비된 디스플레이를 통해 시각적으로 인식할 수 있는 모든 종류의 정보를 포함할 수 있다.
시스템 및 장치 구성
도 1은 본 발명의 일 실시예에 따른 합성 영상 생성 방법이 사용될 수 있는 시스템을 나타낸 도면이다.
본 발명에 따른 시스템은 네트워크(104)를 통해 연결된 하나 이상의 사용자 디바이스들(101, 102, 103)과 서버(110)를 포함할 수 있다.
각각의 사용자 디바이스들(101, 102, 103)은 클라이언트라 지칭될 수 있으며, 네트워크(104)를 통해 서버(110)에 접속하여 원하는 영상 또는 컨텐츠를 다운로드 받아 출력할 수 있다.
서버(110)는 서버(110)내 저장 공간 또는 별도의 데이터베이스에 방대한 양의 영상 및 컨텐츠를 저장할 수 있다. 또한, 서버(110)는 사용자를 식별할 수 있고, 사용자에 관한 정보, 영상 및 컨텐츠에 관한 정보 등 다양한 정보를 축적 및 저장할 수 있다.
예컨대, 사용자가 사용자 디바이스(101, 102, 103)를 통해 소정의 접속 정보(아이디와 패스워드)를 입력하여 서버(110)에 접속할 경우, 서버(110)는 사용자 디바이스(101, 102, 103)로부터 입력 받은 접속 정보를 통해 접속한 사용자를 식별할 수 있다.
식별된 사용자가 서버(110)에 접속하여 서비스를 이용한 이력은 사용자 이력 정보로서 서버(110)에 저장될 수 있다. 사용자 이력 정보로서, 예컨대, 검색 이력, 요청 이력, 재생 이력, 업로드 이력 등이 포함될 수 있다. 사용자는 서버(110)에 접속하여 자신의 성별, 생년월일, 연령, 건강 상태, 직업, 주소 등에 관한 정보들을 입력할 수 있으며, 이러한 정보들은 사용자의 개인 정보로서 서버(110)에 저장될 수 있다. 또한, 사용자는 자신의 취미, 관심 분야 등도 서버(110)에 직접 입력할 수 있으며, 이들 정보는 선호도 정보로서 서버(110)에 저장될 수 있다.
상기 사용자의 이력 정보, 개인 정보 및/또는 선호도 정보는 본 명세서에서 사용자 프로파일 정보로 통칭될 수 있다. 사용자 프로파일 정보의 일부 또는 전부는 사용자 디바이스(101, 102, 103) 및/또는 서버(110)에 저장될 수 있으며, 본 발명에 따른 합성 영상의 생성 방법에 이용될 수 있다.
본 발명에 따른 합성 영상 생성 방법은 다양한 종류의 장치에서 수행될 수 있다. 예컨대, 서버(110) 또는 사용자 디바이스(101, 102, 103)에서 모든 단계가 수행될 수도 있고, 일부 단계는 서버(110)에서, 일부 단계는 사용자 디바이스(101, 102, 103)에서 수행될 수도 있다.
본 발명에 따른 합성 영상 생성 방법은 서버(110)에서 수행될 수 있다.
구체적으로, 서버(110)는 사용자에게 전송할 영상을 결정할 수 있다. 사용자에게 전송할 영상은 사용자의 요청에 의해 결정될 수 있다. 또는, 서버(110) 또는 서비스 제공자의 요청에 의해 결정될 수 있다. 예컨대, 서비스 제공자의 요청에 의해 특정 요건에 해당하는 영상 또는 특정 영상이 사용자에게 전송될 영상으로 결정될 수도 있다. 서버(110)는, 사용자에게 전송할 영상을 입력 영상으로 하여 본 발명에 따른 합성 영상 생성 방법을 수행함으로써 합성 영상을 생성할 수 있다. 서버(110)는 네트워크(104)를 통해 생성된 합성 영상을 사용자 디바이스(101, 102, 103)에 전송하고, 사용자 디바이스(101, 102, 103)는 전송된 합성 영상을 출력할 수 있다.
합성 영상을 생성하기 위해, 사용자로부터의 입력이 필요하거나 또는 사용자 디바이스(101, 102, 103)에 저장된 정보를 조회할 필요가 있는 경우, 서버(110)는 네트워크(104)를 통해 사용자 디바이스(101, 102, 103)와 데이터를 주고받음으로써 필요한 정보를 획득할 수 있다. 예컨대, 영상 내 합성 대상 객체와 연관된 적어도 하나의 후보 컨텐츠들 중 합성될 하나의 삽입 컨텐츠를 결정하기 위해 사용자의 선택이 필요한 경우, 서버(110)는 사용자 디바이스(101, 102, 103)에 후보 컨텐츠들을 제공하고 사용자의 선택을 수신할 수 있다. 서버(110)는 수신된 사용자의 선택에 기초하여 이후의 단계를 수행할 수 있다. 이와 유사하게, 합성될 삽입 컨텐츠의 결정을 위해 사용자 프로파일 정보가 필요하고, 해당 정보가 사용자 디바이스(101, 102, 103)에 저장되어 있는 경우에도, 서버(110)는 필요한 정보를 사용자 디바이스(101, 102, 103)에게 요청하여 수신함으로써 이후의 단계를 수행할 수 있다.
본 발명에 따른 합성 영상 생성 방법은 클라이언트에서 수행될 수도 있다.
구체적으로, 사용자 디바이스(101, 102, 103)는 서버(110)로부터 전송된 영상을 수신할 수 있다. 전송된 영상은 사용자의 요청에 의해 결정될 수도 있고, 서버(110) 또는 서비스 제공자의 요청에 의해 결정될 수도 있음은 전술한 바와 같다. 사용자 디바이스(101, 102, 103)는 수신된 영상을 입력 영상으로 하여 본 발명에 따른 합성 영상 생성 방법을 수행함으로써 합성 영상을 생성할 수 있다. 사용자 디바이스(101, 102, 103)는 디스플레이부를 통해 생성된 합성 영상을 디스플레이함으로써 사용자로 하여금 합성 영상을 소비하게 할 수 있다.
합성 영상을 생성하기 위해, 서버(110)에 저장된 영상, 컨텐츠 또는 정보가 필요한 경우, 사용자 디바이스(101, 102, 103)는 네트워크(104)를 통해 서버(110)와 데이터를 주고받음으로써 필요한 영상, 컨텐츠 또는 정보를 획득할 수 있다. 예컨대, 영상 내 객체와 연관된 컨텐츠가 서버(110)에 저장되어 있을 경우, 사용자 디바이스(101, 102, 103)는 객체와 연관된 컨텐츠의 제공을 서버(110)에 요구하고 수신할 수 있다. 수신된 컨텐츠가 복수일 경우, 사용자 디바이스(101, 102, 103)는 복수의 컨텐츠들을 후보 컨텐츠로서 디스플레이부에 디스플레이하고, 사용자의 선택에 따라 또는 사용자의 이력 정보를 기초로 하나의 후보 컨텐츠를 합성될 삽입 컨텐츠로서 결정할 수 있다. 수신된 컨텐츠가 하나일 경우, 사용자 디바이스(101, 102, 103)는 수신된 컨텐츠를 합성될 삽입 컨텐츠로서 결정할 수 있다. 합성될 삽입 컨텐츠가 결정되면, 사용자 디바이스(101, 102, 103)는 이를 이용하여 합성 영상을 생성할 수 있다. 이와 유사하게, 합성될 삽입 컨텐츠의 결정을 위해 사용자 프로파일 정보가 필요하고, 해당 정보가 서버(110)에 저장되어 있는 경우에도, 사용자 디바이스(101, 102, 103)는 필요한 정보를 서버(110)에 요청하여 수신함으로써 이후의 단계를 수행할 수 있다.
본 발명에 따른 합성 영상 생성 방법의 일부 단계는 서버(110)에서 수행되고, 나머지 단계는 사용자 디바이스(101, 102, 103)에서 수행될 수도 있다.
예컨대, 본 발명에 따른 합성 영상 생성 방법의 단계들 중, 객체 식별 단계는 서버(110)에서 수행되고, 컨텐츠 결정 단계와 컨텐츠 합성 단계는 사용자 디바이스(101, 102, 103)에서 수행될 수 있다. 또는 객체 식별 단계와 컨텐츠 합성 단계는 서버(110)에서 수행되고, 컨텐츠 결정 단계는 사용자 디바이스(101, 102, 103)에서 수행될 수 있다. 서버(110)와 사용자 디바이스(101, 102, 103)의 각각에서 수행되는 단계는 상기의 예로 한정되지 않으며, 본 발명에 따른 합성 영상 생성 방법을 구성하는 임의의 단계가 서버(110) 또는 사용자 디바이스(101, 102, 103)에서 수행될 수 있다. 서버(110) 또는 사용자 디바이스(101, 102, 103)가 각각 어떤 단계를 수행할 지의 여부는 서버(110) 또는 사용자 디바이스(101, 102, 103)의 컴퓨팅 파워, 데이터 용량, 네트워크 환경 등을 고려하여 적응적으로 결정될 수도 있다.
도 2는 본 발명에 따른 합성 영상 생성 방법을 수행하는 합성 영상 생성 장치의 일 실시예를 도시한 블록도이다.
전술한 바와 같이, 본 발명에 따른 합성 영상 생성 방법은 사용자 디바이스 또는 서버에서 단독으로 수행될 수 있으므로, 도 2의 합성 영상 생성 장치(200)는 사용자 디바이스 또는 서버 내에 구비될 수 있다. 또한, 본 발명에 따른 합성 영상 생성 방법의 일부 단계는 서버에서, 나머지 단계는 사용자 디바이스에서 수행될 수도 있으므로, 도 2의 합성 영상 생성 장치(200)의 일부는 서버 내에, 나머지는 사용자 디바이스 내에 구비될 수 있다.
도 2에 도시된 바와 같이, 본 발명에 따른 합성 영상 생성 장치(200)는 영상 수신부(210), 객체 식별부(220), 컨텐츠 결정부(230) 및 컨텐츠 합성부(240)를 포함할 수 있다. 합성 영상 생성 장치(200)가 생성한 합성 영상은 출력 영상으로서 출력 영상 제공부(250)를 통해 사용자에게 제공될 수 있다. 합성 영상이 사용자 디바이스 내에서 생성된 경우, 출력 영상 제공부(250)는 출력 영상을 디스플레이하는 디스플레이부(260)일 수 있다. 디스플레이부(260)는 사용자 디바이스에 구비된 디스플레이 화면일 수 있다. 합성 영상이 서버 내에서 생성된 경우, 출력 영상 제공부(250)는 출력 영상을 사용자 디바이스에 전송하는 영상 전송부(270)일 수 있다. 영상 전송부(270)는 서버에 구비된 통신 모듈일 수 있다.
영상 수신부(210)는 합성의 대상이 되는 입력 영상을 수신할 수 있다. 사용자 디바이스 내에 구비된 영상 수신부(210)는 네트워크를 통해 서버 내 저장 공간 또는 별도의 데이터베이스에 저장된 영상을 입력 영상으로 수신할 수 있다. 또는 사용자 디바이스는 카메라와 같은 영상 획득 장치에 의해 새롭게 획득된 영상을 입력 영상으로 수신할 수도 있다. 서버 내에 구비된 경우에도 동일하게, 영상 수신부(210)는 서버 내 저장 공간 또는 별도의 데이터베이스에 저장된 영상을 입력 영상으로 수신할 수 있다.
도 3은 본 발명에 따른 입력 영상의 일 예를 도시한 도면이다.
도 3에 도시된 바와 같이, 입력 영상(300)은 디스플레이 화면(310), 캔음료(320), 자동차(330), 테이블(340), 사람(350) 등 다양한 객체를 포함할 수 있다. 입력 영상(300)은 메타데이터(metadata)로서 영상의 종류에 관한 정보, 영상 내 객체에 관한 정보 등을 포함할 수 있다. 예컨대, 영상의 종류에 관한 정보는 해당 입력 영상이 합성 대상이 되는 객체(이하, "합성 대상 객체"라 함)를 포함하는지 여부를 나타내는 정보일 수 있다. 예컨대, 입력 영상이 크로마키 영역을 포함하는지에 관한 정보가 영상의 종류에 관한 정보일 수 있다. 영상의 종류에 관한 정보에 기초하여 입력 영상에 대해 본 발명의 합성 영상 생성 방법을 수행할지 여부를 결정할 수 있다. 또한, 예컨대, 영상 내 객체에 관한 정보는 입력 영상에 포함된 객체의 위치, 종류, 크기, 영역 등에 관한 정보를 포함할 수 있다.
다시 도 2를 참조하면, 객체 식별부(220)는 입력 영상에 포함된 합성 대상 객체를 식별할 수 있다. 예컨대, 입력 영상에 포함된 합성 대상 객체는 입력 영상 별로 식별할 수 있다. 또 다른 예로, 입력 영상이 복수의 프레임으로 구성된 영상(예컨대, 동영상, 타임랩스 영상, 기타 복수의 이미지를 포함하는 영상 등)인 경우, 합성 대상 객체를 식별하기 위한 방법은 프레임 별로 수행되거나, 소정의 프레임 그룹 별로 수행되거나, 소정의 시간 간격(interval)을 두고 수행될 수 있다.
이 때, 입력 영상에 포함된 합성 대상 객체를 입력 영상 단위로 또는 프레임 단위로 식별하기 위해 다양한 방법이 적용될 수 있다. 예컨대, 전술한 바와 같이, 입력 영상 내 합성 대상 객체에 관한 정보가 메타데이터로서 포함되는 경우, 해당 메타데이터를 이용하여 입력 영상에 포함된 합성 대상 객체를 식별할 수 있다.
또 다른 예로, 입력 영상을 구성하는 각 프레임에 대한 메타데이터에 합성 대상 객체에 관한 정보가 포함될 수 있다. 예를 들어, 제10 프레임에 디스플레이 화면이 합성 대상 객체임을 나타내는 정보가 제10 프레임에 대한 메타데이터로서 포함될 수 있고, 객체 식별부(220)는 사물 인식 기술을 이용하여 제10 프레임의 이미지에 포함된 디스플레이 화면의 이미지 영역을 합성 대상 객체로 식별할 수 있다.
또는, 객체 식별부(220)는, 입력 영상에 포함된 크로마키 영역을 식별함으로써, 해당 입력 영상에 포함된 합성 대상 객체를 식별할 수 있다. 본 발명의 일 실시예에 따르면, 각 크로마키 영역은 합성 대상 객체와 연관되어 있으며, 크로마키 영역의 식별에 의해 연관된 합성 대상 객체를 식별할 수 있다.
크로마키 영역의 식별은 다양한 방법에 의해 수행될 수 있다. 전술한 바와 같이, 크로마키 영역은 해당 영역에 다른 컨텐츠가 합성되는 영역으로서, 용이하게 식별되거나 제거될 수 있도록 특수한 형태로 표현될 수 있다. 예컨대, 크로마키 영역은 소정의 컬러키에 의해 표현되고 식별될 수 있다. 통상, 크로마키 영역은 청색 계열의 색상으로 표현되나, 이에 한정되지 않으며, 녹색 계열, 적색 계열 등 소정의 색상에 의해 표현될 수 있다. 입력 영상이 복수의 크로마키 영역을 포함하는 경우, 복수의 크로마키 영역의 각각은 서로 다른 색상에 의해 표현될 수 있다.
예컨대, 입력 영상(300)에 포함된 합성 대상 객체들 중, 영상 합성의 대상이 되는 크로마키 영역은 디스플레이 화면(310), 캔음료(320) 및 자동차(330)의 3개의 객체 영역일 수 있다. 이 때, 3개의 크로마키 영역은 모두 동일 계열의 색상(예컨대, 청색 계열)으로 표현되고, 해당 컬러키를 이용하여 크로마키 영역을 식별할 수 있다. 또는 3개의 크로마키 영역은 둘 이상의 서로 다른 계열의 색상(예컨대, 청색 계열과 녹색 계열)으로 표현되고, 각각의 컬러키를 이용하여 크로마키 영역을 식별할 수도 있다. 크로마키 영역이 어떠한 계열의 색상으로 표현되었는지의 여부에 관한 정보 또는 컬러키에 관한 정보는 서버와 디바이스에서 기정의될 수도 있고, 서버에서 디바이스로 전송될 수도 있고, 입력 영상(300)의 메타데이터로서 포함될 수도 있다.
크로마키 영역의 식별에 이용되는 컬러키는 하나의 색상만을 지시하지 않으며, 해당 색상과 유사 범위로 표현될 수 있는 색상의 범위를 지시할 수 있다. 예컨대, 크로마 백으로서 청색이 사용되었을 때, 컬러키는 (R, G, B) = (0, 0, 255)인 경우만을 지시하지 않으며, (R, G, B) = (0~10, 0~10, 245~255)와 같이 색상의 범위를 지시할 수 있다. 이와 같이 함으로써, 보다 확실하기 크로마키 영역을 식별하고 제거할 수 있게 된다. 그러나, 색상의 범위가 너무 넓을 경우, 크로마키 영역이 아닌 영역을 크로마키 영역으로 잘못 식별할 수 있으므로, 유사 색상의 범위는 이를 고려하여 결정될 수 있다. 컬러키를 이용하여 영상 내 크로마키 영역을 식별한 후, 각각의 크로마키 영역 내 픽셀의 수 또는 면적은 소정의 임계값과 비교될 수 있다. 예컨대, 크로마키 영역의 면적이 소정의 임계값보다 작을 경우, 해당 영역은 크로마키 영역이 아닌 것으로 판정할 수 있다. 다시 말해, 보다 정확히 크로마키 영역을 식별하기 위해, 컬러키를 이용하여 식별된 복수의 크로마키 영역들 중 소정의 임계값 이상의 크기를 갖는 영역만을 크로마키 영역으로 최종 식별할 수 있다. 이 때, 소정의 임계값에 관한 정보는 서버와 디바이스에서 기정의될 수도 있고, 서버에서 디바이스로 전송될 수도 있고, 입력 영상(300)의 메타데이터로서 포함될 수도 있다.
복수의 크로마키 영역의 각각이 서로 다른 계열의 색상으로 표현되는 경우, 크로마키 영역의 각각에 대한 컬러키를 이용하여 해당 크로마키 영역과 연관된 합성 대상 객체를 식별할 수 있다. 예컨대, 표 1과 같이, 크로마키 영역을 표현하는 컬러키(색상)와 객체를 연관시키고, 이를 이용하여 합성 대상 객체를 식별할 수 있다.
| 컬러키 | 연관된 합성 대상 객체 |
| 청색 | 디스플레이 화면 |
| 녹색 | 캔음료 |
| 적색 | 자동차 |
예컨대, 입력 영상(300)에 청색 계열의 색상으로 표현된 크로마키 영역이 식별되는 경우, 해당 크로마키 영역에 해당하는 합성 대상 객체는 디스플레이 화면과 연관된 것으로 식별할 수 있다. 또한, 입력 영상(300)에 컬러키가 녹색을 지시하는 크로마키 영역이 식별되는 경우, 해당 크로마키 영역은 캔음료와 연관된 것으로 판단할 수 있다. 마찬가지로, 적색의 크로마 백을 이용한 크로마키 영역은 자동차와 연관된 영역으로 판단할 수 있다.본 발명의 다른 실시예에 따르면, 식별된 크로마키 영역의 크기 및 형태를 이용하여 해당 크로마키 영역과 연관된 합성 대상 객체를 식별할 수 있다. 예컨대, 표 2와 같이, 식별된 크로마키 영역의 형태와 객체를 연관 짓고, 이를 이용하여 합성 대상 객체를 식별할 수 있다.
| 형태 | 연관된 객체 |
| 사각형 | 디스플레이 화면 |
| 원통형 | 캔음료 |
예컨대, 식별된 크로마키 영역의 형태가 사각형일 때, 해당 크로마키 영역은 디스플레이 화면과 연관된 영역으로 판단할 수 있다. 만약 식별된 크로마키 영역이 원통형의 형태를 가지면, 해당 크로마키 영역과 연관된 객체는 캔음료인 것으로 식별할 수 있다.또한, 표 3과 같이, 식별된 크로마키 영역의 크기와 객체를 연관 짓고, 이를 이용하여 합성 대상 객체를 식별할 수 있다.
| 크기 (pixels) | 연관된 객체 |
| 350*200 | 대형 TV의 디스플레이 화면 |
| 100*60 | 노트북의 디스플레이 화면 |
| 50*30 | 휴대폰의 디스플레이 화면 |
예컨대, 입력 영상(300)에서 크기가 350*200 픽셀로 판단된 크로마키 영역은 대형 TV의 디스플레이 화면과 연관된 것으로 판단할 수 있다. 또한 입력 영상(300)에서 크기가 100*60 픽셀인 것으로 판단되면, 해당 크로마키 영역은 노트북의 디스플레이 화면과 연관 지을 수 있다. 입력 영상(300)에서 식별된 크로마키 영역의 크기가 50*30 픽셀인 것으로 식별되면, 해당 크로마키 영역과 연관된 객체는 휴대폰의 디스플레이 화면인 것으로 판단할 수 있다. 또는, 예컨대, 입력 영상(300)에서 크기가 350*200 픽셀 이상인 크로마키 영역은 대형 TV의 디스플레이 화면인 것으로 판단할 수 있다. 또한, 크기가 50*30 픽셀 이하인 크로마키 영역은 휴대폰의 디스플레이 화면으로 판단할 수 있다. 또한, 그 외의 크기를 갖는 크로마키 영역은 노트북의 디스플레이 화면으로 판단할 수 있다. 상기 각 객체에 대한 크로마키 영역의 크기는 전술한 예로 한정되지 않으며, 다양한 크기 또는 다양한 크기 범위로 설정될 수 있다.
표 3을 이용한 실시예에 있어서, 크로마키 영역의 크기에 대한 판단은 크로마키 영역의 실측 크기와 소정의 임계치를 이용하여 수행될 수 있다. 이 때, 임계치는 영상의 메타 데이터로서 제공되거나 기정의되거나 해당 영상 내 기준 객체의 크기를 고려하여 계산될 수 있다. 예컨대, 해당 영상에 사람이 포함되는 경우, 기준 객체는 사람일 수 있다.
식별된 크로마키 영역과 연관된 합성 대상 객체를 식별하기 위한 상기 방법들은 둘 이상이 서로 조합되어 수행될 수도 있다. 예컨대, 표 4와 같이, 컬러키와 크기, 형태의 조합과 합성 대상 객체를 연관 짓고, 이를 이용하여 합성 대상 객체를 식별할 수도 있다.
| 컬러키 | 형태 | 크기 | 연관된 객체 |
| 청색 | 사각형 | 350*200 | 대형 TV의 디스플레이 화면 |
| 100*60 | 노트북의 디스플레이 화면 | ||
| 50*30 | 휴대폰의 디스플레이 화면 | ||
| 원통형 | - | 캔음료 | |
| 녹색 | - | - | 자동차 |
즉, 크로마키 영역에 대한 컬러키가 청색이고 사각형의 형태를 가지면, 크로마키 영역의 크기에 기초하여 대형 TV, 노트북 또는 휴대폰 중 하나의 디스플레이 화면과 연관된 것으로 판단할 수 있다. 크로마키 영역에 대한 컬러키가 청색이고 원통형의 형태를 가지면, 해당 크로마키 영역은 캔음료인 것으로 식별할 수 있다. 크로마키 영역에 대한 컬러키가 녹색인 경우, 해당 크로마키 영역과 연관된 객체는 자동차로 식별할 수 있다.전술한 방법들 이외에도 영상에서 객체를 식별하는 다양한 방법이 적용될 수 있다. 예를 들어, CNN(Convolutional Neural Network)과 같은 딥러닝 기반의 인공 신경망을 이용하여 영상에 포함된 객체를 검출하고 분류하는 방법이 이용될 수도 있다.
입력 영상에 포함된 합성 대상 객체는, 입력 영상에 포함되는 각 프레임의 이미지를 분석함으로써 식별될 수 있다. 이때, 입력 영상에 포함된 합성 대상 객체를 식별하기 위한 상술한 방법이 각 프레임의 이미지에 포함되는 합성 대상 객체를 식별하기 위해서도 이용될 수 있다.
도 4는 객체 식별부가 식별한 입력 영상 내의 합성 대상 객체들을 도시한 도면이다.
예를 들어, 입력 영상(400)은 복수의 객체들 중, 디스플레이 화면(410), 캔음료(420) 및 자동차(430)를 합성 대상 객체로서 포함할 수 있다. 도 4는 입력 영상(400) 내에 포함된 객체들 중, 합성 대상 객체(410, 420, 430)를 식별한 결과를 도시한다.
다시 도 2를 참조하면, 컨텐츠 결정부(230)는 식별된 합성 대상 객체의 영역에 합성될 삽입 컨텐츠를 결정할 수 있다.
이때, 삽입 컨텐츠는 합성 영상 생성 장치(200)로부터 접근가능한 컨텐츠 중 하나일 수 있다. 본 발명에 따른 합성 영상 생성 장치(200)는, 합성 영상 생성 장치(200)에서 접근가능한 컨텐츠를 대상 객체와 연관시킬 수 있고, 접근가능 컨텐츠 각각에 대해 대상 객체와의 연관 정보를 포함하는 컨텐츠 정보를 저장할 수 있다. 표 5는 저장된 컨텐츠 정보의 일 예를 보여준다.
| Content ID | Content Type | Target Object | Content Provider | Content Route |
| Content 1 | mp4 | Display screen | LINE | http://line.me/videos/content1.mp4 |
| Content 2 | png | Can Drink | AAA | /images/png/content2 |
| Content 3 | jpeg | Car | BBB | /images/jpeg/content3 |
| … | … | … | … | … |
상기 표 5에서, Content ID(Identifier)는 합성 영상 생성 장치(200)로부터 접근가능한 컨텐츠의 식별자로서, 접근가능한 컨텐츠의 각각을 식별하기 위한 용도로 이용될 수 있다. Content Type은 해당 컨텐츠의 종류에 관한 정보를 포함할 수 있다. 예컨대, Content Type은 해당 컨텐츠가 동영상인지, 이미지인지를 나타내는 정보일 수 있다. 또는, Content Type은 해당 컨텐츠 파일의 확장자로 표현될 수 있다. 예컨대, Content Type으로서, mp4, avi, png, jpeg, tif 등과 같이 해당 컨텐츠 파일의 확장자를 저장할 수 있다. 이 경우, Content Type은 해당 컨텐츠 파일이 동영상인지 이미지인지 뿐만 아니라, 해당 컨텐츠 파일의 인코딩 방법도 나타낼 수 있다.
Target Object는 해당 컨텐츠와 연관된 대상 객체를 의미할 수 있다. 예컨대, Content 1은 디스플레이 화면과 연관된 컨텐츠일 수 있다. 또한, Content Provider는 해당 컨텐츠의 제공자를 의미할 수 있다.
Content Route는 해당 컨텐츠의 위치에 관한 정보를 포함할 수 있다. 예컨대, Content 1의 경우, Content Route로서 URL(universal resource locator)을 포함할 수 있다. 디스플레이 화면과 연관된 Content 1은 해당 URL에 접근함으로써 제공받을 수 있다. 이 경우, Content Provider는 해당 URL 위치의 컨텐츠를 변경함으로써, 사용자에게 제공될 컨텐츠를 용이하게 업데이트할 수 있으며, Content 1은 합성 영상 생성 장치(200)에 저장되지 않을 수 있다. 또는, 예컨대, Content 2 또는 Content 3의 경우와 같이, 해당 컨텐츠는 합성 영상 생성 장치(200) 내 저장 장치에 저장될 수 있으며, 이 경우, Content Route는 해당 컨텐츠의 저장 장치 내 저장 경로를 의미할 수 있다.
컨텐츠 정보는 상기 표 5에 예시한 정보 이외에 컨텐츠에 관한 다양한 정보를 포함할 수 있다. 예컨대, 동영상 컨텐츠의 경우, 해상도, 프레임 레이트(frame rate), 재생 시간 등의 정보를 포함할 수 있고, 이미지 컨텐츠의 경우, 해상도 등에 관한 정보를 포함할 수 있다.
또한, 컨텐츠 정보는, 사용자 프로파일 정보와 연관시켜 삽입 컨텐츠를 결정할 때 이용되는 항목으로서 컨텐츠 프로파일 정보를 포함할 수 있다. 예컨대, 해당 컨텐츠를 주로 소비하는 사용자에 대한 정보(연령, 성별, 선호도, 취미, 이력 등) 또는 각 컨텐츠가 주로 소비되는 환경에 대한 정보(계절, 날씨, 시간대, 지역 등) 등이 해당 컨텐츠의 컨텐츠 프로파일 정보로서 상기 표 5의 컨텐츠 정보에 포함될 수 있다. 컨텐츠 프로파일 정보는 추후 사용자 프로파일 정보 등과 비교됨으로써, 합성될 삽입 컨텐츠를 결정하는데 이용될 수 있다. 예컨대, 표 5에 있어서, Content 1이 어린이를 주 소비자로 한 애니메이션 영상인 경우, Content 1의 컨텐츠 프로파일 정보로서, 주 소비자를 "어린이"로 설정하여 저장할 수 있다. 추후, 사용자 프로파일 정보에 기초하여 합성 영상을 제공받을 사용자가 "어린이"로 식별될 경우, 컨텐츠 프로파일 정보에 기초하여 주 소비자가 "어린이"인 Content 1이 합성될 삽입 컨텐츠로서 결정될 수 있다. 유사하게, Content 2가 주로 소비되는 시간대가 밤인 경우, Content 2의 컨텐츠 프로파일 정보로서, 주 소비 시간대를 "밤"으로 설정하여 저장할 수 있다. 추후, 합성 영상이 제공되는 시점의 시간대가 "밤"으로 식별된 경우, 컨텐츠 프로파일 정보에 기초하여 주 소비 시간대가 "밤"인 Content 2가 합성될 삽입 컨텐츠로서 결정될 수 있다.
상기 표 5에는 대상 객체별로 하나의 컨텐츠를 예시하였으나, 이에 한정되지 않으며, 대상 객체별로 복수의 컨텐츠가 제공될 수 있다. 또한, 복수의 컨텐츠들에 관한 상기 정보는 동일하거나 일부 또는 전부 상이할 수 있다. 합성될 삽입 컨텐츠의 결정에 이용되는 컨텐츠 프로파일 정보는 하나 이상일 수 있으며, 컨텐츠 프로파일 정보에 기초하여 선택된 컨텐츠는 후보 컨텐츠로서 사용자에게 제공될 수 있다.
합성될 삽입 컨텐츠는 식별된 합성 대상 객체와 연관된 하나 이상의 후보 컨텐츠들로부터 하나의 후보 컨텐츠를 선택함으로써 결정될 수 있다. 예컨대, 식별된 합성 대상 객체와 연관된 하나 이상의 후보 컨텐츠들을 사용자에게 디스플레이할 수 있다. 사용자는 디스플레이된 후보 컨텐츠들을 보고, 하나의 후보 컨텐츠를 선택할 수 있다. 사용자의 선택을 수신하여, 선택된 후보 컨텐츠를 식별된 합성 대상 객체의 영역에 합성될 삽입 컨텐츠로서 결정할 수 있다.
사용자 디바이스 내에 구비된 컨텐츠 결정부(230)는 식별된 합성 대상 객체와 연관된 복수의 후보 컨텐츠들을 서버로부터 수신한 후 사용자에게 디스플레이할 수 있다. 서버 내에 구비된 컨텐츠 결정부(230)는 사용자 디바이스에 복수의 후보 컨텐츠들을 전송한 후 후보 컨텐츠들에 대한사용자의 선택을 수신할 수 있다.
상기 디스플레이될 후보 컨텐츠들 또는 합성될 삽입 컨텐츠는 사용자 프로파일 정보에 기초하여 결정될 수 있다. 예컨대, 캔음료(420)와 연관된 후보 컨텐츠들을 결정할 때, 사용자의 연령이 고려될 수 있다. 즉, 사용자가 미성년자인 경우, 후보 컨텐츠들은 비알코올 음료에 관한 컨텐츠들만으로 결정될 수 있다. 합성될 삽입 컨텐츠도 유사하게 결정될 수 있다. 예컨대, 캔음료(420)와 연관된 후보 컨텐츠들이 캔맥주 컨텐츠와 캔콜라 컨텐츠의 2개일 때, 사용자가 미성년자이면 합성될 삽입 컨텐츠는 캔콜라 컨텐츠로 결정될 수 있다. 사용자의 연령뿐만 아니라, 사용자의 성별, 주소와 같은 개인 정보, 취미, 관심 분야와 같은 선호도 정보, 검색 이력, 요청 이력, 재생 이력과 같은 이력 정보 등 전술한 사용자에 관한 다양한 사용자 프로파일 정보가 후보 컨텐츠들의 결정 및/또는 합성될 삽입 컨텐츠의 결정에 이용될 수 있다. 예컨대, 사용자가 재생한 이력이 있는 영상에 기초하여 후보 컨텐츠들 및/또는 합성될 삽입 컨텐츠를 결정할 수 있다. 이 때, 상기 재생 이력이 있는 영상과 관련된 영상이나 컨텐츠가 이용될 수 있다. 구체적인 예로, 사용자가 특정 장르의 영상을 가장 많이 재생한 경우, 해당 장르와 연관된 컨텐츠를 삽입 컨텐츠로 결정할 수 있다.
상기 디스플레이될 후보 컨텐츠들 또는 합성될 삽입 컨텐츠는 영상이 제공되는 시간, 장소, 계절, 날씨 등의 환경 정보에 기초하여 결정될 수 있다. 예컨대, 계절이 겨울인 경우, 캔음료(420)와 연관된 컨텐츠로서 통계적으로 겨울에 주로 마시는 음료에 관한 컨텐츠가 선택될 수 있다. 이때, 합성 영상 생성 장치(200)로부터 접근 가능한 각각의 컨텐츠에 대해 컨텐츠 속성이 컨텐츠 정보로 저장될 수 있고, 컨텐츠 속성은 통계적으로 겨울에 주로 마시는 음료인지 여부의 판단을 위해 이용될 수 있다.
상기 디스플레이될 후보 컨텐츠들 또는 합성될 삽입 컨텐츠는 관련 서비스를 제공하는 서비스 제공자의 선택에 의해 결정될 수도 있다.
상기 디스플레이될 후보 컨텐츠들 또는 합성될 삽입 컨텐츠는 상기 방법들 중 둘 이상을 조합한 방법에 의해 결정될 수도 있다.
도 5는 입력 영상 내 식별된 각각의 객체 영역에 합성될 수 있는 후보 컨텐츠를 예시한 도면이다.
구체적으로 도 5의 (a)는 디스플레이 화면의 객체 영역(410)에 합성될 수 있는 후보 컨텐츠들의 예이다. 예컨대, 스포츠 영상(511), 공연 영상(512), 애니메이션 영상(513) 등이 후보 컨텐츠로서 제공될 수 있다.
도 5의 (b)는 캔음료의 객체 영역(420)에 합성될 수 있는 후보 컨텐츠들의 예이다. 예컨대, 캔맥주 이미지(521), 캔콜라 이미지(522), 캔커피 이미지(523) 등이 후보 컨텐츠로서 제공될 수 있다.
도 5의 (c)는 자동차 객체 영역(430)에 합성될 수 있는 후보 컨텐츠들의 예이다. 예컨대, 청색 4도어 자동차 이미지(531), 은색 2도어 자동차 이미지(532), 적색 4도어 자동차 이미지(533) 등이 후보 컨텐츠로서 제공될 수 있다.
예컨대, 컨텐츠 결정부(230)는 전술한 다양한 방법과 기준에 따라 도 5에 도시된 후보 컨텐츠들로부터 객체 영역의 각각에 대해 합성될 삽입 컨텐츠를 결정할 수 있다.
다시 도 2를 참조하면, 컨텐츠 합성부(240)는 상기 결정된 삽입 컨텐츠를 입력 영상(400) 내 식별된 각 객체 영역에 합성함으로써 출력 영상을 생성할 수 있다.
도 6은 식별된 객체 영역의 각각에 컨텐츠 결정부(230)에서 결정된 삽입 컨텐츠를 합성함으로써 생성된 출력 영상의 일 예이다.
도 6의 출력 영상(600)은, 예컨대, 도 5에 도시된 예에서, 디스플레이 화면의 객체 영역(410)에 대해서는 스포츠 영상(511), 캔음료의 객체 영역(420)에 대해서는 캔맥주 이미지(521), 자동차의 객체 영역(430)에 은색 2도어 자동차 이미지(532)가 선택되고, 각 객체 영역에 합성됨으로써 생성된 영상이다. 예컨대, 디스플레이 화면의 객체 영역(410)에 대해서는, 사용자의 선호도 정보를 조회한 결과, 스포츠에 대한 사용자의 선호도가 가장 높다는 점을 이용하여 복수의 후보 컨텐츠들 중 스포츠 영상(511)이 합성될 삽입 컨텐츠로 결정될 수 있다. 또한, 캔음료의 객체 영역(420)에 대해서는, 사용자의 개인 정보를 조회한 결과, 사용자가 성인 남성이며, 맥주를 즐긴다는 점을 이용하여 캔맥주 이미지(521)를 합성될 삽입 컨텐츠로 결정할 수 있다. 또한, 자동차의 객체 영역(430)에 대해서는, 후보 컨텐츠로서 청색 4도어 자동차 컨텐츠(531), 은색 2도어 자동차 컨텐츠(532), 적색 4도어 자동차 컨텐츠(533) 등을 사용자에게 제공한 후, 사용자의 선택에 따라 은색 2도어 자동차 컨텐츠(532)를 합성될 삽입 컨텐츠로 결정할 수 있다.
객체 영역에 삽입 컨텐츠를 합성하는 방법은 다양할 수 있다. 예컨대, 합성 대상 객체의 윤곽선에 기초하여 식별된 객체의 영역을 규정하고, 객체 영역에 매칭되도록 삽입 컨텐츠를 변형할 수 있다. 예컨대, 합성될 삽입 컨텐츠가 객체 영역에 매칭되도록 삽입 컨텐츠의 크기, 기울기, 종횡비, 형태 등을 변경할 수 있다. 객체 영역에 매칭되도록 삽입 컨텐츠가 변형되면, 변형된 컨텐츠를 객체 영역의 위치에 합성할 수 있다.
이 때, 입력 영상이 복수의 프레임으로 구성된 영상(예컨대, 동영상, 타임랩스 영상, 기타 복수의 이미지를 포함하는 영상 등)인 경우, 합성 대상 객체의 영역에 합성될 삽입 컨텐츠의 결정은 프레임 별로 수행되거나, 소정의 프레임 그룹 별로 수행되거나, 소정의 시간 간격(interval)을 두고 수행될 수 있다. 예컨대, 합성 대상 객체가 캔음료인 경우, 삽입 컨텐츠는 프레임 별로 다르게 결정될 수 있다. 또는, 첫번째부터 n번째 프레임까지(제1 프레임 그룹)의 삽입 컨텐츠는 캔콜라 이미지이고, n번째 프레임 이후 m번째 프레임까지(제2 프레임 그룹)의 삽입 컨텐츠는 캔맥주 이미지일 수 있다. 또는 예컨대, 1초 간격으로 삽입 컨텐츠가 다르게 결정될 수 있다.
다시 도 2를 참조하면, 전술한 바와 같이, 출력 영상이 사용자 디바이스 내에서 합성된 경우, 사용자 디바이스의 디스플레이부(260)에 출력 영상을 디스플레이함으로써 사용자로 하여금 생성된 영상을 소비하도록 할 수 있다. 출력 영상이 서버 내에서 합성된 경우, 출력 영상은 서버의 영상 전송부(270)를 통해 네트워크에 연결된 사용자 디바이스에 전송됨으로써 사용자로 하여금 해당 영상을 소비하도록 할 수 있다.
합성 영상 생성 방법
도 7은 본 발명에 따른 합성 영상 생성 방법을 설명하기 위한 도면이다.
전술한 바와 같이, 본 발명에 따른 합성 영상 생성 방법은 사용자 디바이스 또는 서버에서 단독으로 수행될 수 있으므로, 도 7의 합성 영상 생성 방법은 사용자 디바이스 또는 서버가 단독으로 수행할 수 있다. 또한, 본 발명에 따른 합성 영상 생성 방법의 일부 단계는 서버에서, 나머지 단계는 사용자 디바이스에서 수행될 수도 있다. 또한, 도 7에 도시된 단계들 중 적어도 하나의 단계는 사용자 디바이스와 서버 간의 데이터 교환에 의해 수행될 수도 있다. 예컨대, 사용자의 선택이 필요한 경우, 컨텐츠 또는 사용자 프로파일 정보 등이 서버 또는 사용자 디바이스에 저장되어 있는 경우, 서버와 사용자 디바이스 간의 데이터 교환이 수행될 수 있음은 전술한 바와 같다.
S710 단계에서, 합성의 대상이 되는 입력 영상이 수신될 수 있다. 사용자 디바이스는 네트워크를 통해 서버 내 저장 공간 또는 별도의 데이터베이스에 저장된 영상을 입력 영상으로 수신하거나 또는 카메라와 같은 영상 획득 장치에 의해 새롭게 영상을 획득함으로써 S710 단계를 수행할 수 있다. 서버는 서버 내 저장 공간 또는 별도의 데이터베이스에 저장된 영상을 불러옴으로써 S710 단계를 수행할 수 있다. 본 발명에 따른 합성 영상 생성 방법의 입력 영상은 본 발명에 따른 합성 영상 생성 장치의 입력 영상과 동일하다. 따라서, 이하, 입력 영상에 관한 구체적인 설명은 생략한다.
S720 단계에서, 입력 영상에 포함된 영상 합성 대상 객체가 식별될 수 있다. 입력 영상에 포함된 합성 대상 객체를 식별하기 위한 다양한 방법은 객체 식별부(220)와 관련하여 이미 설명되었으며, 중복되는 설명은 생략한다.
S730 단계에서, 식별된 합성 대상 객체의 영역에 합성될 삽입 컨텐츠가 결정될 수 있다. 컨텐츠 결정부(230)와 관련하여 상기에서 설명된 내용은 S730 단계에 동일하게 적용될 수 있으며, 중복되는 설명은 생략한다.
예를 들어, 복수의 후보 컨텐츠들은 서버 내의 저장 공간 또는 서버 측 데이터베이스에 저장되어 있고, 합성될 삽입 컨텐츠가 복수의 후보 컨텐츠들로부터 사용자의 선택에 의해 결정되는 경우, S730 단계는 다음과 같이 수행될 수 있다.
본 발명에 따른 합성 영상 생성 방법이 사용자 디바이스에서 수행되는 경우, S720 단계에서 합성 대상 객체가 식별되면, 사용자 디바이스는 식별된 합성 대상 객체에 관한 정보를 서버로 전송할 수 있다. 서버는 식별된 합성 대상 객체에 관한 정보에 기초하여 복수의 후보 컨텐츠들을 식별한 후, 사용자 디바이스에 제공할 수 있다. 이후, 사용자 디바이스는 복수의 후보 컨텐츠들로부터 하나의 후보 컨텐츠를 선택함으로써 S730 단계를 수행할 수 있다.
본 발명에 따른 합성 영상 생성 방법이 서버에서 수행되는 경우, S720 단계에서 합성 대상 객체가 식별되면, 서버는 식별된 합성 대상 객체에 관한 정보에 기초하여 복수의 후보 컨텐츠들을 식별한 후, 사용자 디바이스에 제공할 수 있다. 이후, 서버는 복수의 후보 컨텐츠들로부터 하나의 후보 컨텐츠를 선택하는 사용자의 선택 정보를 사용자 디바이스로부터 수신함으로써 식별된 객체 영역에 합성될 삽입 컨텐츠를 결정하는 방식으로 S730 단계를 수행할 수 있다.
상기에서 사용자의 선택에 의해 복수의 후보 컨텐츠들로부터 하나의 후보 컨텐츠가 선택되는 경우를 예시하였으나, 이에 한정되지 않는다. 즉, 합성될 삽입 컨텐츠를 결정하기 이용되는 다양한 정보(사용자의 선택 정보, 사용자 프로파일 정보, 환경 정보, 서비스 제공자로부터의 정보 등)의 저장 위치에 따라 서버와 사용자 디바이스 간의 데이터 수수에 의해 S730 단계가 수행될 수 있다.
예를 들어, 복수의 후보 컨텐츠들은 서버 내의 저장 공간 또는 서버 측 데이터베이스에 저장되어 있고, 합성될 삽입 컨텐츠는 사용자 프로파일 정보에 기초하여 결정되며, 사용자 프로파일 정보는 사용자 디바이스에 저장되는 경우, S730 단계는 다음과 같이 수행될 수 있다.
본 발명에 따른 합성 영상 생성 방법이 사용자 디바이스에서 수행되는 경우, S720 단계에서 합성 대상 객체가 식별되면, 사용자 디바이스는 식별된 합성 대상 객체에 관한 정보를 서버로 전송할 수 있다. 서버는 식별된 합성 대상 객체에 관한 정보에 기초하여 복수의 후보 컨텐츠들을 식별한 후, 사용자 디바이스에 제공할 수 있다. 이후, 사용자 디바이스는 사용자 프로파일 정보에 기초하여 복수의 후보 컨텐츠들로부터 하나의 후보 컨텐츠를 선택함으로써 식별된 객체 영역에 합성될 삽입 컨텐츠를 결정하는 방식으로 S730 단계를 수행할 수 있다.
본 발명에 따른 합성 영상 생성 방법이 서버에서 수행되는 경우, S720 단계에서 합성 대상 객체가 식별되면, 서버는 식별된 합성 대상 객체에 관한 정보에 기초하여 복수의 후보 컨텐츠들을 식별한 후, 복수의 후보 컨텐츠들로부터 하나의 후보 컨텐츠를 선택하기 위한 사용자 프로파일 정보를 사용자 디바이스에 요청하여 수신함으로써 식별된 객체 영역에 합성될 삽입 컨텐츠를 결정하는 방식으로 S730 단계를 수행할 수 있다.
S740 단계에서, 입력 영상 내 식별된 각 객체 영역에 결정된 컨텐츠를 합성함으로써 출력 영상을 생성할 수 있다. 컨텐츠를 합성하기 위한 다양한 방법은 컨텐츠 합성부(240)와 관련하여 이미 설명되었으며, 중복되는 설명은 생략한다.
본 개시에 따르면, 입력 영상(300)으로부터 합성 대상 객체 별로 상이한 컨텐츠가 합성된 다양한 출력 영상(600)을 생성할 수 있다. 상기 합성될 삽입 컨텐츠는 사용자 별로 결정될 수 있다. 즉, 모든 사용자에게 동일한 영상을 제공하는 것이 아니라, 사용자의 선택, 사용자 프로파일 정보 등 사용자로부터 기인된 요인 또는 그 밖의 다양한 요인을 고려한 사용자 맞춤형 출력 영상을 생성할 수 있다. 이를 통해, 제작된 영상이 사용자에 미치는 영향을 극대화하거나 일정 수준으로 조절하는 것이 가능하다. 예컨대, 사용자 맞춤형 영상의 제공을 통해, 영상의 교육 효과, 광고 효과 등의 영상의 효과를 극대화할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 장치에 의해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 장치 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
Claims (20)
- 적어도 하나의 프로세서를 포함하는 컴퓨터 장치에 의해 수행되는 합성 영상 생성 방법으로서,
입력 영상에 포함된 합성 영역을 식별하여 상기 합성 영역과 연관된 객체로서 합성 대상 객체를 식별하는 단계;
상기 식별된 합성 대상 객체와 연관된 연관 정보에 기초하여 삽입 컨텐츠를 결정하는 단계; 및
상기 입력 영상 내 상기 식별된 합성 대상 객체의 영역에 상기 삽입 컨텐츠를 합성하여 출력 영상을 생성하는 단계를 포함하고,
상기 삽입 컨텐츠를 결정하는 단계는, 상기 컴퓨터 장치로부터 접근가능한 접근가능 컨텐츠의 컨텐츠 정보 및 컨텐츠 소비자의 사용자 프로파일 정보에 기초하여, 상기 삽입 컨텐츠를 결정하고,
상기 컨텐츠 정보는 상기 합성 대상 객체와의 연관 정보를 포함하는 합성 영상 생성 방법. - 제1항에 있어서,
상기 입력 영상은 상기 합성 영역으로서 하나 이상의 크로마키 영역을 포함하고,
상기 합성 대상 객체를 식별하는 단계는,
상기 크로마키 영역을 검출하는 단계; 및
상기 검출된 크로마키 영역과 연관된 객체를 상기 합성 대상 객체로서 식별하는 단계를 포함하는, 합성 영상 생성 방법. - 제2항에 있어서,
상기 합성 대상 객체를 식별하는 단계는,
상기 검출된 크로마키 영역의 컬러키, 크기 또는 형태 중 적어도 하나에 기초하여 상기 합성 대상 객체를 식별하는, 합성 영상 생성 방법. - 제1항에 있어서,
상기 접근가능 컨텐츠 중 적어도 하나를 대상 객체와 연관시키는 단계; 및
상기 접근가능 컨텐츠 각각에 대해 대상 객체와의 상기 연관 정보를 포함하는 상기 컨텐츠 정보를 상기 컴퓨터 장치에 저장하는 단계
를 더 포함하는 합성 영상 생성 방법. - 제4항에 있어서,
상기 삽입 컨텐츠를 결정하는 단계는,
상기 컨텐츠 정보에 기초하여, 상기 접근가능 컨텐츠 중 상기 식별된 합성 대상 객체와 연관된 적어도 하나를 후보 컨텐츠로서 결정하는 단계; 및
상기 사용자 프로파일 정보에 기초하여 상기 후보 컨텐츠 중 하나를 결정하는 단계를 포함하는, 합성 영상 생성 방법. - 제5항에 있어서,
상기 사용자 프로파일 정보는 사용자의 개인 정보, 선호도 정보 또는 사용자의 이력 정보 중 적어도 하나를 포함하는 합성 영상 생성 방법. - 제4항에 있어서,
상기 삽입 컨텐츠를 결정하는 단계는,
상기 컨텐츠 정보 및 상기 사용자 프로파일 정보에 기초하여, 상기 접근가능 컨텐츠 중 상기 식별된 합성 대상 객체와 연관된 적어도 하나를 후보 컨텐츠로서 결정하는 단계;
상기 후보 컨텐츠를 디스플레이하는 단계;
상기 컴퓨터 장치의 사용자로부터 상기 후보 컨텐츠 중 하나에 대한 선택을 수신하는 단계; 및
상기 수신된 선택에 기초하여 상기 하나의 후보 컨텐츠를 상기 삽입 컨텐츠로 결정하는 단계를 포함하는, 합성 영상 생성 방법. - 제1항에 있어서,
상기 출력 영상을 생성하는 단계는,
상기 합성 대상 객체의 영역에 기초하여 상기 삽입 컨텐츠를 변형하는 단계; 및
상기 합성 대상 객체의 영역에 상기 변형된 삽입 컨텐츠를 합성하는 단계를 포함하는, 합성 영상 생성 방법. - 제8항에 있어서,
상기 삽입 컨텐츠를 변형하는 단계는 상기 합성 대상 객체의 영역에 상기 삽입 컨텐츠가 매칭되도록 상기 삽입 컨텐츠의 크기, 기울기 또는 형태 중 적어도 하나를 변형하는, 합성 영상 생성 방법. - 합성 영상 생성 방법을 수행하는 사용자 디바이스로서,
입력 영상을 획득하는 영상 수신부;
상기 입력 영상에 포함된 합성 영역을 식별하여 상기 합성 영역과 연관된 객체로서 합성 대상 객체를 식별하는 객체 식별부;
상기 식별된 합성 대상 객체와 연관된 연관 정보에 기초하여 삽입 컨텐츠를 결정하는 컨텐츠 결정부;
상기 입력 영상 내 상기 식별된 합성 대상 객체의 영역에 상기 삽입 컨텐츠를 합성하여 출력 영상을 생성하는 컨텐츠 합성부; 및
상기 출력 영상을 디스플레이하는 디스플레이부를 포함하고,
상기 컨텐츠 결정부는, 상기 사용자 디바이스로부터 접근가능한 접근가능 컨텐츠의 컨텐츠 정보 및 컨텐츠 소비자의 사용자 프로파일 정보에 기초하여, 상기 삽입 컨텐츠를 결정하고,
상기 컨텐츠 정보는 상기 합성 대상 객체와의 연관 정보를 포함하는 사용자 디바이스. - 제10항에 있어서,
상기 입력 영상은 상기 합성 영역으로서 하나 이상의 크로마키 영역을 포함하고,
상기 객체 식별부는,
상기 크로마키 영역을 검출하고,
상기 검출된 크로마키 영역과 연관된 객체를 상기 합성 대상 객체로서 식별하는, 사용자 디바이스. - 제11항에 있어서,
상기 객체 식별부는,
상기 검출된 크로마키 영역의 컬러키, 크기 또는 형태 중 적어도 하나에 기초하여 상기 합성 대상 객체를 식별하는, 사용자 디바이스. - 제10항에 있어서,
상기 사용자 디바이스는,
상기 접근가능 컨텐츠 중 적어도 하나를 대상 객체와 연관시키고, 상기 접근가능 컨텐츠 각각에 대해 대상 객체와의 상기 연관 정보를 포함하는 상기 컨텐츠 정보를 저장하는, 사용자 디바이스. - 제13항에 있어서,
상기 컨텐츠 결정부는,
상기 컨텐츠 정보에 기초하여, 상기 접근가능 컨텐츠 중 상기 식별된 합성 대상 객체와 연관된 적어도 하나를 후보 컨텐츠로서 결정하고, 상기 사용자 프로파일 정보에 기초하여 상기 후보 컨텐츠 중 하나를 결정하는, 사용자 디바이스. - 제14항에 있어서,
상기 사용자 프로파일 정보는 사용자의 개인 정보, 선호도 정보 또는 사용자의 이력 정보 중 적어도 하나를 포함하는, 사용자 디바이스. - 제13항에 있어서,
상기 컨텐츠 결정부는,
상기 컨텐츠 정보 및 상기 사용자 프로파일 정보에 기초하여, 상기 접근가능 컨텐츠 중 상기 식별된 합성 대상 객체와 연관된 적어도 하나를 후보 컨텐츠로서 결정하고,
상기 후보 컨텐츠를 디스플레이하고,
상기 사용자 디바이스의 사용자로부터 상기 후보 컨텐츠 중 하나에 대한 선택을 수신하고,
상기 수신된 선택에 기초하여 상기 하나의 후보 컨텐츠를 상기 삽입 컨텐츠로 결정하는, 사용자 디바이스. - 제10항에 있어서,
상기 컨텐츠 합성부는,
상기 합성 대상 객체의 영역에 기초하여 상기 삽입 컨텐츠를 변형하고,
상기 합성 대상 객체의 영역에 상기 변형된 삽입 컨텐츠를 합성하는, 사용자 디바이스. - 제17항에 있어서,
상기 컨텐츠 합성부는,
상기 합성 대상 객체의 영역에 상기 삽입 컨텐츠가 매칭되도록 상기 삽입 컨텐츠의 크기, 기울기 또는 형태 중 적어도 하나를 변형하는, 사용자 디바이스. - 합성 영상 생성 방법을 수행하는 서버로서,
입력 영상을 획득하는 영상 수신부;
상기 입력 영상에 포함된 합성 영역을 식별하여 상기 합성 영역과 연관된 객체로서 합성 대상 객체를 식별하는 객체 식별부;
상기 식별된 합성 대상 객체와 연관된 연관 정보에 기초하여 삽입 컨텐츠를 결정하는 컨텐츠 결정부;
상기 입력 영상 내 상기 식별된 합성 대상 객체의 영역에 상기 삽입 컨텐츠를 합성하여 출력 영상을 생성하는 컨텐츠 합성부; 및
상기 출력 영상을 네트워크를 통해 사용자 디바이스로 전송하는 영상 전송부를 포함하고,
상기 컨텐츠 결정부는, 상기 서버로부터 접근가능한 접근가능 컨텐츠의 컨텐츠 정보 및 컨텐츠 소비자의 사용자 프로파일 정보에 기초하여, 상기 삽입 컨텐츠를 결정하고,
상기 컨텐츠 정보는 상기 합성 대상 객체와의 연관 정보를 포함하는 서버. - 합성 영상 생성 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체로서, 상기 방법은,
입력 영상에 포함된 합성 영역을 식별하여 상기 합성 영역과 연관된 객체로서 합성 대상 객체를 식별하는 단계;
상기 식별된 합성 대상 객체와 연관된 연관 정보에 기초하여 삽입 컨텐츠를 결정하는 단계; 및
상기 입력 영상 내 상기 식별된 합성 대상 객체의 영역에 상기 삽입 컨텐츠를 합성하여 출력 영상을 생성하는 단계를 포함하고,
상기 삽입 컨텐츠를 결정하는 단계는, 상기 기록 매체로부터 접근가능한 접근가능 컨텐츠의 컨텐츠 정보 및 컨텐츠 소비자의 사용자 프로파일 정보에 기초하여, 상기 삽입 컨텐츠를 결정하고,
상기 컨텐츠 정보는 상기 합성 대상 객체와의 연관 정보를 포함하는 컴퓨터 판독 가능 기록 매체.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190110207A KR102354918B1 (ko) | 2019-09-05 | 2019-09-05 | 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 |
| US17/008,821 US20210074044A1 (en) | 2019-09-05 | 2020-09-01 | Method, server, and recording medium for creating composite image |
| CN202010915607.8A CN112446819A (zh) | 2019-09-05 | 2020-09-03 | 合成影像生成方法、服务器以及记录介质 |
| JP2020149198A JP2021043969A (ja) | 2019-09-05 | 2020-09-04 | 合成画像生成方法、サーバー及びプログラム |
| KR1020220007890A KR20220013445A (ko) | 2019-09-05 | 2022-01-19 | 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190110207A KR102354918B1 (ko) | 2019-09-05 | 2019-09-05 | 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220007890A Division KR20220013445A (ko) | 2019-09-05 | 2022-01-19 | 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210028980A KR20210028980A (ko) | 2021-03-15 |
| KR102354918B1 true KR102354918B1 (ko) | 2022-01-21 |
Family
ID=74736753
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190110207A KR102354918B1 (ko) | 2019-09-05 | 2019-09-05 | 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 |
| KR1020220007890A KR20220013445A (ko) | 2019-09-05 | 2022-01-19 | 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220007890A KR20220013445A (ko) | 2019-09-05 | 2022-01-19 | 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210074044A1 (ko) |
| JP (1) | JP2021043969A (ko) |
| KR (2) | KR102354918B1 (ko) |
| CN (1) | CN112446819A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230342991A1 (en) * | 2022-04-21 | 2023-10-26 | Adobe Inc. | Machine learning-based chroma keying process |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000028518A2 (en) | 1998-11-09 | 2000-05-18 | Broadcom Corporation | Graphics display system |
| JP2001242848A (ja) | 2000-02-29 | 2001-09-07 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
| KR100981043B1 (ko) | 2009-12-22 | 2010-09-09 | 서성수 | 크로마키 기법을 이용한 원격강의 시스템 및 그 방법 |
| US20150054823A1 (en) | 2013-08-21 | 2015-02-26 | Nantmobile, Llc | Chroma key content management systems and methods |
| US20150077592A1 (en) | 2013-06-27 | 2015-03-19 | Canon Information And Imaging Solutions, Inc. | Devices, systems, and methods for generating proxy models for an enhanced scene |
| JP2019079339A (ja) | 2017-10-25 | 2019-05-23 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成システム、画像生成方法、およびプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2911707B1 (fr) * | 2007-01-22 | 2009-07-10 | Total Immersion Sa | Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video. |
| KR101225421B1 (ko) * | 2011-06-10 | 2013-01-22 | 한남대학교 산학협력단 | 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법 |
| KR101817145B1 (ko) * | 2016-04-12 | 2018-01-11 | (주)지니트 | 멀티 레이어 기반 크로마키 합성 시스템 및 방법 |
| US20210383579A1 (en) * | 2018-10-30 | 2021-12-09 | Pak Kit Lam | Systems and methods for enhancing live audience experience on electronic device |
-
2019
- 2019-09-05 KR KR1020190110207A patent/KR102354918B1/ko active IP Right Grant
-
2020
- 2020-09-01 US US17/008,821 patent/US20210074044A1/en not_active Abandoned
- 2020-09-03 CN CN202010915607.8A patent/CN112446819A/zh active Pending
- 2020-09-04 JP JP2020149198A patent/JP2021043969A/ja active Pending
-
2022
- 2022-01-19 KR KR1020220007890A patent/KR20220013445A/ko not_active IP Right Cessation
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000028518A2 (en) | 1998-11-09 | 2000-05-18 | Broadcom Corporation | Graphics display system |
| JP2001242848A (ja) | 2000-02-29 | 2001-09-07 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
| KR100981043B1 (ko) | 2009-12-22 | 2010-09-09 | 서성수 | 크로마키 기법을 이용한 원격강의 시스템 및 그 방법 |
| US20150077592A1 (en) | 2013-06-27 | 2015-03-19 | Canon Information And Imaging Solutions, Inc. | Devices, systems, and methods for generating proxy models for an enhanced scene |
| US20150054823A1 (en) | 2013-08-21 | 2015-02-26 | Nantmobile, Llc | Chroma key content management systems and methods |
| JP2019079339A (ja) | 2017-10-25 | 2019-05-23 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成システム、画像生成方法、およびプログラム |
| US20200312033A1 (en) | 2017-10-25 | 2020-10-01 | Sony Interactive Entertainment Inc. | Image generation device, image generation system, image generation method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220013445A (ko) | 2022-02-04 |
| US20210074044A1 (en) | 2021-03-11 |
| KR20210028980A (ko) | 2021-03-15 |
| CN112446819A (zh) | 2021-03-05 |
| JP2021043969A (ja) | 2021-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10136168B2 (en) | System and method for recognition of items in media data and delivery of information related thereto | |
| US11314828B2 (en) | Dynamic and personalized product placement in electronic files | |
| US8990690B2 (en) | Methods and apparatus for media navigation | |
| US8331760B2 (en) | Adaptive video zoom | |
| US9711182B2 (en) | System and method for identifying and altering images in a digital video | |
| JP2022161914A (ja) | 拡張現実において補完コンテンツを提示するためのシステムおよび方法 | |
| US20130133000A1 (en) | Video Interaction System | |
| US9363155B1 (en) | Automated audience recognition for targeted mixed-group content | |
| US10911814B1 (en) | Presenting content-specific video advertisements upon request | |
| KR20140118604A (ko) | 개인화된 증강 객체를 전송하는 서버 및 방법 | |
| US20160035392A1 (en) | Systems and methods for clipping video segments | |
| US11909988B2 (en) | Systems and methods for multiple bit rate content encoding | |
| US10499097B2 (en) | Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame | |
| WO2020135189A1 (zh) | 产品推荐方法、产品推荐系统及存储介质 | |
| KR20220013445A (ko) | 합성 영상 생성 방법, 사용자 디바이스, 서버 및 기록 매체 | |
| US20110267360A1 (en) | Stereoscopic content auto-judging mechanism | |
| CN101578859B (zh) | 基于编辑状态的图像数字处理 | |
| US20220264170A1 (en) | Systems and methods for dynamically adjusting quality levels for transmitting content based on context | |
| US11711485B2 (en) | Method and apparatus for overlaying themed imagery onto real-world objects in a head-mounted display device | |
| US20210011943A1 (en) | Systems and methods for recommending media assets based on objects captured in visual assets | |
| KR20130126203A (ko) | 클라이언트 단말기를 이용한 동영상 콘텐츠 공유 서비스 제공 시스템 및 방법 | |
| US20140189769A1 (en) | Information management device, server, and control method | |
| US20230412877A1 (en) | Systems and methods for recommending content items based on an identified posture | |
| KR20200059687A (ko) | 피사체의 상대크기에 기초한 광고용 가상객체 처리방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |