KR101856171B1 - Apparatus, method and computer program for generating contents - Google Patents

Apparatus, method and computer program for generating contents Download PDF

Info

Publication number
KR101856171B1
KR101856171B1 KR1020170020715A KR20170020715A KR101856171B1 KR 101856171 B1 KR101856171 B1 KR 101856171B1 KR 1020170020715 A KR1020170020715 A KR 1020170020715A KR 20170020715 A KR20170020715 A KR 20170020715A KR 101856171 B1 KR101856171 B1 KR 101856171B1
Authority
KR
South Korea
Prior art keywords
light source
content
area
illuminance value
consideration
Prior art date
Application number
KR1020170020715A
Other languages
Korean (ko)
Inventor
서현철
Original Assignee
주식회사 오비투유
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오비투유 filed Critical 주식회사 오비투유
Priority to KR1020170020715A priority Critical patent/KR101856171B1/en
Application granted granted Critical
Publication of KR101856171B1 publication Critical patent/KR101856171B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

An embodiment of the present invention discloses a method for generating content includes the following steps: receiving an image and an object by a content generating apparatus; generating the content by combining the image and the object by the content generating apparatus; determining a light source included in the content by analyzing the illumination values of pixels of the content by the content generating apparatus; determining an object area based on the combined object and the light source by the content generating apparatus; and changing an original color value of the object area to a color value reflecting the light source by the content generating apparatus. Accordingly, the present invention can generate new content by combining the object with the image which is stereoscopically captured.

Description

컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램{APPARATUS, METHOD AND COMPUTER PROGRAM FOR GENERATING CONTENTS}[0001] APPARATUS, METHOD AND COMPUTER PROGRAM FOR GENERATING CONTENTS [0002]

본 발명은 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램에 관한 것으로, 보다 구체적으로 영상에 객체를 추가한 컨텐츠를 영상에 원래 존재한 광원을 반영하여 보정하는 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to a content creating apparatus, a method, and a computer program, and more particularly, to a content creating apparatus, a method, and a computer program for correcting contents by adding an object to an image by reflecting a light source originally present in the image.

일반적으로 2D 기반의 동영상에 대한 저작/편집을 제공하거나 고가의 기계장치를 이용한 3D 객체 생성과 사용자 객체 추출/편집 기능을 제공하고 있다. 또한, 이들이 제공하는 저작 장치를 이용하기 위해서는 고도의 전문성이 요구되고 고가의 소프트웨어/하드웨어 장치를 구매하는 등의 어려움이 있기 때문에 일반 사용자들이 이들 장치를 이용하여 손쉽게 사용자 영상을 제작하는 것은 거의 불가능하다. Generally, it provides authoring / editing for 2D-based videos, and provides 3D object creation and user object extraction / editing using expensive mechanical devices. In addition, since it is difficult to use an authoring device provided by them and a high degree of expertise is required and an expensive software / hardware device is purchased, it is almost impossible for general users to easily make a user image using these devices .

국내 공개특허공보 제2015-0115694호Korean Patent Laid-Open Publication No. 2015-0115694

본 발명의 실시예들에 따르면, 입체적으로 촬영된 영상에 객체를 결합시켜 새로운 컨텐츠를 생성할 수 있는 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램이 제공될 수 있다. According to embodiments of the present invention, a content generation apparatus, a method, and a computer program capable of generating new content by combining objects with stereoscopically captured images can be provided.

또한, 본 발명의 실시예들에 따르면, 영상에 존재한 광원을 고려하여, 객체 및 객체 주변 영역의 픽셀값을 조절하는 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램이 제공될 수 있다. In addition, according to embodiments of the present invention, a content generation apparatus, a method, and a computer program for adjusting pixel values of an object and an area around an object in consideration of a light source existing in an image may be provided.

본 발명의 실시예들에 따른 컨텐츠 생성 방법은 컨텐츠 생성 장치가 영상 및 객체를 수신하는 단계; 상기 영상 및 상기 객체를 결합한 컨텐츠를 생성하는 단계; 상기 컨텐츠의 픽셀들의 조도값을 분석하여 상기 컨텐츠에 포함된 광원(light source)을 결정하는 단계; 상기 결합된 객체 및 광원을 기초로 객체 영역을 결정하는 단계; 및 상기 객체 영역의 원 컬러값을 상기 광원을 반영한 컬러값으로 변경하는 단계;를 포함할 수 있다. According to an embodiment of the present invention, there is provided a content generation method including: receiving a video and an object by a content generation apparatus; Generating content combining the image and the object; Determining a light source included in the content by analyzing an illuminance value of pixels of the content; Determining an object region based on the combined object and the light source; And changing the original color value of the object region to a color value reflecting the light source.

상기 광원을 결정하는 단계는 상기 컨텐츠에 포함되는 제1 프레임의 각 픽셀의 조도값을 제1 프레임의 제1 평균 조도값과 비교하는 단계; 상기 제1 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제1 영역을 추출하고, 상기 제1 영역 중에서 가장 높은 조도값을 가지는 지점을 제1 광원으로 결정할 수 있다. Wherein the step of determining the light source comprises: comparing an illuminance value of each pixel of the first frame included in the content with a first average illuminance value of the first frame; A first region including a set of pixels exceeding the first average illuminance value may be extracted and a point having the highest illuminance value among the first regions may be determined as the first light source.

상기 광원을 결정하는 단계는 상기 제1 프레임과 인접한 제2 프레임의 각 픽셀의 조도값을 제2 프레임의 제2 평균 조도값과 비교하고, 상기 제2 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제2 영역과 상기 제1 광원을 비교하여, 상기 제1 광원이 상기 제2 영역에 포함되는 경우에는 상기 제1 광원을 상기 컨텐츠의 광원으로 결정할 수 있다. Wherein the determining the light source comprises comparing a luminance value of each pixel of the second frame adjacent to the first frame with a second average luminance value of the second frame and including a set of pixels exceeding the second average luminance value And the first light source is determined as the light source of the contents when the first light source is included in the second area.

상기 객체 영역을 결정하는 단계는 상기 광원의 위치, 세기, 방향 중 적어도 하나 및 상기 객체를 고려하여 상기 광원에 의해 직접적인 영향을 받는 제1 객체 영역 및 상기 광원에 의해 간접적인 영향을 받는 제2 객체 영역을 결정할 수 있다. Wherein the step of determining the object region comprises the steps of: determining a first object region that is directly influenced by the light source in consideration of at least one of position, intensity, and direction of the light source and the object; The area can be determined.

상기 변경하는 단계는 상기 광원과의 실제 거리를 고려하여, 상기 광원과 거리가 가장 가까운 지점의 컬러값을 소정의 기준에 따라 변경할 수 있다. The changing step may change the color value at a position closest to the light source according to a predetermined reference, taking into consideration an actual distance to the light source.

본 발명의 실시예들에 따른 컨텐츠 생성 장치는 영상 및 객체를 수신하는 데이터 수신부; 상기 영상 및 상기 객체를 결합한 컨텐츠를 생성하는 컨텐츠 생성부; 상기 컨텐츠의 픽셀들의 조도값을 분석하여 상기 컨텐츠에 포함된 광원(light source)을 결정하는 광원 결정부; 상기 결합된 객체 및 광원을 기초로 객체 영역을 결정하는 영역 결정부; 및 상기 객체 영역의 원 컬러값을 상기 광원을 반영한 컬러값으로 변경하는 영역 보정부;를 포함할 수 있다. According to embodiments of the present invention, there is provided a content generation apparatus comprising: a data reception unit for receiving an image and an object; A content generation unit for generating content combining the image and the object; A light source determining unit for analyzing an illuminance value of pixels of the content to determine a light source included in the content; An area determination unit for determining an object area based on the combined object and the light source; And a region correcting unit for changing the original color value of the object region to a color value reflecting the light source.

상기 광원 결정부는 상기 컨텐츠에 포함되는 제1 프레임의 각 픽셀의 조도값을 제1 프레임의 제1 평균 조도값과 비교하고, 상기 제1 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제1 영역을 추출하고, 상기 제1 영역 중에서 가장 높은 조도값을 가지는 지점을 제1 광원으로 결정할 수 있다. Wherein the light source determining unit compares an illuminance value of each pixel of the first frame included in the content with a first average illuminance value of the first frame and determines a first region including a set of pixels exceeding the first average illuminance value, And a point having the highest illuminance value in the first area can be determined as the first light source.

상기 광원 결정부는 상기 제1 프레임과 인접한 제2 프레임의 각 픽셀의 조도값을 제2 프레임의 제2 평균 조도값과 비교하고, 상기 제2 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제2 영역과 상기 제1 광원을 비교하여, 상기 제1 광원이 상기 제2 영역에 포함되는 경우에는 상기 제1 광원을 상기 컨텐츠의 광원으로 결정할 수 있다. Wherein the light source determining unit compares the illuminance value of each pixel of the second frame adjacent to the first frame with the second average illuminance value of the second frame, The first light source may be determined as a light source of the content when the first light source is included in the second area.

상기 영역 결정부는 상기 광원의 위치, 세기, 방향 중 적어도 하나 및 상기 객체를 고려하여 상기 광원에 의해 직접적인 영향을 받는 제1 객체 영역 및 상기 광원에 의해 간접적인 영향을 받는 제2 객체 영역을 결정할 수 있다. The region determining unit may determine a first object region that is directly influenced by the light source and a second object region that is indirectly influenced by the light source in consideration of at least one of the position, intensity, and direction of the light source and the object have.

상기 영역 보정부는 상기 광원과의 실제 거리를 고려하여, 상기 광원과 거리가 가장 가까운 지점의 컬러값을 소정의 기준에 따라 변경할 수 있다. The area correcting unit may change a color value at a position closest to the light source in accordance with a predetermined reference, taking into consideration an actual distance to the light source.

본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 컨텐츠 생성 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다. A computer program according to an exemplary embodiment of the present invention may be stored in a medium using a computer to execute any one of the content generation methods according to an exemplary embodiment of the present invention.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다. In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium for recording a computer program for executing the method are further provided.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and the detailed description of the invention.

본 발명의 실시예들에 따른 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램은 입체적으로 촬영된 영상에 객체를 결합시켜 새로운 컨텐츠를 생성할 수 있다. The content generating apparatus, method, and computer program according to the embodiments of the present invention can create new content by combining objects in stereoscopically captured images.

또한, 본 발명의 실시예들에 따른 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램은 영상에 존재한 광원을 고려하여, 객체 및 객체 주변 영역의 픽셀값을 조절할 수 있다. In addition, the content generation apparatus, method, and computer program according to embodiments of the present invention can adjust pixel values of an object and an area around the object in consideration of a light source existing in the image.

도 1은 본 발명의 실시예들에 따른 컨텐츠 생성 장치의 블록도이다.
도 2는 본 발명의 실시예들에 따른 컨텐츠 생성 방법의 흐름도이다.
도 3은 컨텐츠 생성 장치에 의해 객체 영역이 조절된 결과물을 설명하기 위한 도면이다.
도 4는 컨텐츠 생성 장치에 의해 광원이 추론되는 과정을 설명하기 위한 도면이다. 1 is a block diagram of a content generation apparatus according to embodiments of the present invention.
2 is a flowchart of a content generation method according to embodiments of the present invention.
3 is a diagram for explaining an output result of an object area adjusted by a content generation apparatus.
4 is a diagram for explaining a process in which a light source is inferred by a content generation apparatus.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods of achieving them will be apparent with reference to the embodiments described in detail below with reference to the drawings. However, the present invention is not limited to the embodiments described below, but may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or corresponding components throughout the drawings, and a duplicate description thereof will be omitted .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. In the following embodiments, the terms first, second, and the like are used for the purpose of distinguishing one element from another element, not the limitative meaning.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는한, 복수의 표현을 포함한다. In the following examples, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서 상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. In the following embodiments, terms such as inclusive or possessed mean that a feature or element described in the specification is present, and does not exclude the possibility that one or more other features or components are added in advance.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다. If certain embodiments are otherwise feasible, the particular process sequence may be performed differently from the sequence described. For example, two processes that are described in succession may be performed substantially concurrently, and may be performed in the reverse order of the order described.

이하의 실시예에서, "회로"는, 예를 들어, 프로그램가능한 회로에 의해 실행되는 인스트럭션을 저장하는 하드와이어드 회로, 프로그램가능한 회로, 상태 머신 회로, 및/또는 펌웨어를 단독으로 또는 임의의 조합으로 포함할 수 있다. 애플리케이션은 호스트 프로세서 또는 다른 프로그램가능한 회로와 같은 프로그램가능한 회로 상에서 실행될 수 있는 코드 또는 인스트럭션으로서 구현될 수 있다. 본원의 임의의 실시예에서 사용되는 바와 같은, 모듈은,회로로서 구현될 수 있다. 회로는 집적 회로 칩과 같은 집적 회로로서 구현될 수 있다.In the following embodiments, the term "circuit" refers to any circuitry, circuitry, and / or circuitry, including, for example, hardwired circuitry, programmable circuitry, state machine circuitry, and / or firmware that stores instructions executed by a programmable circuit, either alone or in any combination . The application may be implemented as code or instructions that may be executed on a programmable circuit, such as a host processor or other programmable circuit. A module, as used in any of the embodiments herein, may be implemented as a circuit. The circuitry may be implemented as an integrated circuit, such as an integrated circuit chip.

이하의 실시예에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In the following embodiments, when a component is referred to as "comprising ", it means that it can include other components as well, without excluding other components unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

본 발명의 실시예들에 따른 컨텐츠 생성 장치는 간단한 조작으로 영상에 객체를 추가시켜 새로운 컨텐츠를 생성할 수 있다. The content generation apparatus according to the embodiments of the present invention can create new content by adding an object to a video by a simple operation.

본 발명의 실시예에 따른 컨텐츠 생성 장치는 영상에 원래 포함된 광원을 분석하여 A content generation apparatus according to an embodiment of the present invention analyzes a light source originally included in an image

도 1은 본 발명의 실시예에 따른 컨텐츠 생성 장치(110)을 나타내는 도면이다. 1 is a block diagram illustrating a content generation apparatus 110 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 컨텐츠 생성 장치(110)은 데이터 수신부(111), 컨텐츠 생성부(112), 영역 결정부(113), 광원 결정부(114), 영역 보정부(115)를 포함할 수 있다. 1, a content generation apparatus 110 according to an exemplary embodiment of the present invention includes a data receiving unit 111, a content generating unit 112, an area determining unit 113, a light source determining unit 114, (115).

데이터 수신부(111)는 영상 및 객체를 수신할 수 있다. 데이터 수신부(111)는 컨텐츠 생성 장치(110)와 전기적으로 연결된 입력 장치를 통해서 영상 및 객체를 수신하거나 네트워크로 연결된 외부의 장치로부터 수신 받을 수 있다. 객체는 형식에 제한이 없는 시각적 데이터이며, 컴퓨터 그래픽, 실사 이미지, 실사 영상 등 일 수 있다. The data receiving unit 111 can receive images and objects. The data receiving unit 111 may receive an image and an object through an input device electrically connected to the content generating device 110 or may receive an external device connected to the network. An object is visual data having no format limitation, and can be a computer graphic, a real image, a real image, and the like.

컨텐츠 생성부(112)는 영상과 대응되는 좌표계를 이용하여 객체를 영상에 추가할 수 있다. 예를 들어, 컨텐츠 생성부(112)는 영상에 포함된 지점들 및 지점들 사이의 거리를 고려하여 좌표계를 생성하고, 좌표계를 활용하여 영상에 객체를 추가할 수 있다. 컨텐츠 생성부(112)는 영상에 객체가 추가된 컨텐츠를 생성할 수 있다. The content generation unit 112 may add the object to the image using the coordinate system corresponding to the image. For example, the content generation unit 112 may generate a coordinate system in consideration of distances between points and points included in the image, and may add the object to the image using the coordinate system. The content generation unit 112 may generate content to which an object is added to an image.

광원 결정부(113)는 컨텐츠를 분석하여, 컨텐츠에 포함된 하나 이상의 광원을 결정할 수 있다. 광원 결정부(113)는 컨텐츠에 포함된 픽셀들의 조도값에 기초하여 광원을 결정할 수 있다. 광원 결정부(113)는 픽셀들의 조도값을 각각 산출하고, 기 설정된 임계 조도값을 초과하는 하나 이상의 픽셀들을 추출하고, 픽셀들을 기초로 광원을 결정할 수 있다. 광원 결정부(113)에 의해 하나 이상의 광원이 결정될 수 있으며, 각 광원의 조도값에 따라 광원의 세기를 산출할 수 있다. 광원 결정부(113)는 영상 전체를 분석할 수도 있으나, 소정의 시점의 프레임(정지 영상)을 분석하여 광원을 결정할 수 있다. 광원 결정부(113)는 이때, 제1 픽셀의 조도값을 제1 픽셀을 포함하는 임의의 영역의 평균 조도값과 비교하고, 평균 조도값을 초과하는 조도값을 가지는 제1 픽셀을 검색하는 방식으로, 광원을 추론할 수 있다. 이때, 광원 결정부(113)는 평균 조도값을 초과하는 복수의 지점들을 검색할 수 있는데, 복수의 지점들 중에서 소정의 기준을 만족하는 지점을 광원으로 결정할 수 있다. The light source determination unit 113 may analyze the content to determine one or more light sources included in the content. The light source determining unit 113 may determine the light source based on the illuminance values of the pixels included in the content. The light source determination unit 113 may calculate each of the illumination values of the pixels, extract one or more pixels exceeding a predetermined threshold illumination value, and determine the light source based on the pixels. One or more light sources may be determined by the light source determination unit 113, and the intensity of the light source may be calculated according to the illumination values of the respective light sources. The light source determination unit 113 may analyze the entire image, but may determine the light source by analyzing a frame (still image) at a predetermined point in time. The light source determination unit 113 compares the illuminance value of the first pixel with an average illuminance value of an arbitrary region including the first pixel and searches for a first pixel having an illuminance value exceeding the average illuminance value , The light source can be deduced. At this time, the light source determination unit 113 may search for a plurality of points exceeding the average illumination value, and a point that satisfies a predetermined criterion among the plurality of points may be determined as a light source.

광원 결정부(113)는 컨텐츠의 제1 프레임의 각 픽셀의 조도값을 제1 프레임의 제1 평균 조도값과 비교하고, 비교 결과 상기 제1 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제1 영역을 추출하고, 상기 제1 영역 중에서 가장 높은 조도값을 가지는 지점을 광원으로 추론, 결정할 수 있다. 광원 결정부(113)는 상기 광원의 신뢰성을 판단하기 위해서, 상기 제1 프레임과 인접한 제2 프레임의 각 픽셀의 조도값을 제2 프레임의 제2 평균 조도값과 비교하고, 비교 결과 상기 제2 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제2 영역을 추출할 수 있다. 상기 광원이 상기 제2 영역에 포함되는 경우, 상기 광원의 신뢰성이 높다고 판단하고, 상기 광원이 상기 제2 영역에 포함되지 않는 경우, 상기 광원의 신뢰성이 낮다고 판단할 수 있다. 광원 결정부(113)는 상기 광원의 신뢰성이 낮다고 판단되며, 다른 프레임들로부터 광원을 추론하는 과정을 추가적으로 수행할 수 있다. The light source determination unit 113 compares the luminance value of each pixel of the first frame of the content with the first average luminance value of the first frame, 1 region and deducing a point having the highest illuminance value among the first regions as a light source. The light source determination unit 113 compares the illuminance value of each pixel of the second frame adjacent to the first frame with the second average luminance value of the second frame to determine the reliability of the light source, A second region including a set of pixels exceeding the average illuminance value can be extracted. The reliability of the light source is determined to be high when the light source is included in the second area and the reliability of the light source is determined to be low when the light source is not included in the second area. The light source determination unit 113 may determine that the reliability of the light source is low and may further perform a process of inferring the light source from other frames.

영역 결정부(114)는 광원 및 객체를 기초로 조명 효과를 반영해야 하는 객체 영역들을 결정할 수 있다. 영역 결정부(114)는 광원의 위치, 세기, 방향, 객체의 위치, 재질 등을 고려하여 객체 영역들을 결정할 수 있다. 영역 결정부(114)는 광원에 의해 직접적인 영향을 받는 제1 객체 영역 및 광원에 의해 간접적인 영향을 받는 제2 객체 영역을 결정할 수 있다. 제1 객체 영역은 광원에 의해 밝아지는 영역이며, 제2 객체 영역은 광원 및 객체에 의해 어두워지는 영역일 수 있다. 이때, 제1 객체 영역은 객체만을 포함하게 되고, 제2 객체 영역은 객체를 포함하지 않지만, 객체 주변의 영역 중에서 광원과 반대 방향에 형성된 영역일 수 있다. 일반적으로 그림자가 생성되는 영역일 수 있다. The region determining unit 114 may determine object regions on which the illumination effect should be reflected based on the light source and the object. The region determining unit 114 may determine the object regions in consideration of the position, intensity, direction, object position, and material of the light source. The region determining unit 114 may determine a first object region directly affected by the light source and a second object region indirectly influenced by the light source. The first object region may be an area illuminated by the light source, and the second object region may be an area darkened by the light source and the object. In this case, the first object region includes only the object, the second object region does not include the object, but may be an area formed around the object in a direction opposite to the light source. Generally, it can be a region where shadows are generated.

영역 결정부(114)는 사용자로부터 입력된 입력을 고려하여 광원에 의해 영향을 받는 객체 영역들을 변경할 수 있다. 영역 결정부(114)는 광원 및 객체를 기초로 조명 효과를 반영해야 하는 객체 영역들을 결정하고, 사용자로부터의 입력된 입력에 따라 객체 영역들을 변경할 수 있다. The area determining unit 114 may change the object areas affected by the light source in consideration of the input from the user. The region determining unit 114 may determine object regions to reflect the illumination effect based on the light source and the object, and may change the object regions according to the input from the user.

영역 보정부(115)는 광원에 의한 조명 효과를 표현하기 위해서, 제1 객체 영역 및 제2 객체 영역의 컬러값을 조절할 수 있다. 영역 보정부(115)는 제1 객체 영역 중에서, 광원과의 거리가 가장 가까운 지점을 최광점으로 지정하고, 최광점을 중심으로 제1 객체 영역의 컬러값을 단계적으로 조절할 수 있다. 이때, 제1 객체 영역의 픽셀의 조도값이 단계적으로 낮아지게 된다. The area correcting unit 115 may adjust the color values of the first object area and the second object area to express a lighting effect by the light source. The region correcting unit 115 may designate a point closest to the light source as the brightest point among the first object regions and adjust the color value of the first object region stepwise around the brightest point. At this time, the illuminance value of the pixel of the first object area is gradually lowered.

영역 보정부(115)는 제1 객체 영역 및 객체의 형태, 재질 등을 고려하여 제1 객체 영역에 컬러값들을 조절할 수 있다. 영역 보정부(115)는 객체가 가지는 경계선의 모양을 고려하여, 컬러값을 조절할 수 있다. 구체적으로, 영역 보정부(115)는 객체가 곡선의 경계선을 가지는 경우, 곡선의 곡률에 따라 컬러값들이 순차적으로 변화하도록 할 수 있다. 영역 보정부(115)는 객체가 모서리를 가지는 경우, 모서리를 기준으로 컬러값들이 변화하도록 할 수 있다.The area correcting unit 115 may adjust the color values in the first object area in consideration of the first object area and the shape, material, etc. of the object. The area correcting unit 115 can adjust the color value in consideration of the shape of the boundary line of the object. Specifically, when the object has a boundary line of the curve, the area correcting unit 115 may cause the color values to change sequentially according to the curvature of the curve. The area correcting unit 115 may cause the color values to change with respect to the edge when the object has an edge.

영역 보정부(115)는 제2 객체 영역 중에서, 객체의 형태 및 객체의 경계, 객체의 주변에 존재하는 다른 객체와의 교선을 기초로 제2 객체 영역의 컬러값을 조절할 수 있다. 영역 보정부(115)는 제2 객체 영역 중에서 객체 및 다른 객체와의 교선의 근처를 가장 어두운 지점으로 결정하고, 가장 어두운 지점을 중심으로 컬러값을 단계적으로 조절할 수 있다. 이때, 제2 객체 영역의 픽셀의 조도값이 단계적으로 높아지게 된다. The region correcting unit 115 can adjust the color value of the second object region based on the intersection of the object shape and the boundary of the object and other objects existing around the object in the second object region. The area correcting unit 115 may determine the nearest point of intersection between the object and the other objects in the second object area as the darkest point and adjust the color value stepwise around the darkest point. At this time, the illuminance value of the pixel of the second object area is gradually increased.

도 2는 본 발명의 실시예들에 따른 컨텐츠 생성 방법의 흐름도이다. 2 is a flowchart of a content generation method according to embodiments of the present invention.

도 2를 참조하면, 본 발명의 실시예들에 따른 컨텐츠 생성 방법은 영상 및 객체를 수신하는 단계(S100), 영상 및 객체를 결합한 컨텐츠를 생성하는 단계(S200), 컨텐츠에 포함된 광원을 결정하는 단계(S300), 광원 및 객체를 고려하여 제1 객체 영역 및 제2 객체 영역을 결정하는 단계(S400), 광원 및 객체를 고려하여 상기 제1 및 제2 객체 영역의 컬러값을 조절하는 단계(S500)를 포함할 수 있다. Referring to FIG. 2, a content generation method according to embodiments of the present invention includes receiving an image and an object (S100), generating a content combining an image and an object (S200), determining a light source included in the content (S300), determining a first object region and a second object region in consideration of the light source and the object (S400), adjusting the color values of the first and second object regions in consideration of the light source and the object (S500).

S100에서는 컨텐츠 생성 장치(110)는 영상 및 객체를 수신할 수 있다. In S100, the content generation apparatus 110 can receive images and objects.

S200에서는 컨텐츠 생성 장치(110)는 영상의 적당한 위치에 객체를 추가한 컨텐츠를 생성할 수 있다. 컨텐츠 생성 장치(110)는 객체의 위치를 결정하기 위해서 영상과 대응되는 좌표계를 생성할 수 있다. 컨텐츠 생성 장치(110)는 영상에 포함된 임의의 지점들을 기준으로 좌표계를 생성할 수 있다. 이때, 컨텐츠 생성 장치(110)는 영상에 포함된 임의의 2개의 지점, 및 2개의 지점들 사이의 거리를 고려하여 좌표계 및 좌표계의 좌표 성분들을 생성할 수 있다. In S200, the content generation apparatus 110 may generate content in which an object is added to an appropriate position of an image. The content generation apparatus 110 may generate a coordinate system corresponding to the image to determine the position of the object. The content generation apparatus 110 may generate a coordinate system based on arbitrary points included in the image. At this time, the content generation apparatus 110 may generate the coordinate components of the coordinate system and the coordinate system in consideration of the arbitrary two points included in the image and the distance between the two points.

S300에서는 컨텐츠 생성 장치(110)는 컨텐츠를 분석하여 컨텐츠에 포함된 하나 이상의 광원을 결정할 수 있다. 컨텐츠 생성 장치(110)는 컨텐츠에 포함된 픽셀들의 조도값에 기초하여 광원을 결정할 수 있다. 컨텐츠 생성 장치(110)는 픽셀들의 조도값을 산출하고, 기 설정된 임계 조도값을 초과하는 하나 이상의 픽셀들을 추출하고, 추출된 픽셀들을 기초로 광원을 결정할 수 있다. 컨텐츠 생성 장치(110)는 소정의 시점의 프레임(frame, 정지 영상)을 분석하여 광원을 결정할 수 있다. 컨텐츠 생성 장치(110)는 제1 픽셀의 조도값을 제1 픽셀을 포함하는 인접 영역의 평균 조도값을 비교할 수 있다. 컨텐츠 생성 장치(110)는 제1 픽셀의 인접 영역의 평균 조도값을 초과하는 제1 픽셀을 검색할 수 있다. In S300, the content generation apparatus 110 may analyze the content to determine one or more light sources included in the content. The content generating apparatus 110 may determine the light source based on the illuminance value of the pixels included in the content. The content generation apparatus 110 may calculate the illuminance values of pixels, extract one or more pixels exceeding a predetermined threshold illuminance value, and determine a light source based on the extracted pixels. The content generation apparatus 110 can determine a light source by analyzing a frame at a predetermined time point (still image). The content generation apparatus 110 may compare the illuminance value of the first pixel with the average illuminance value of the adjacent region including the first pixel. The content generation apparatus 110 may search for a first pixel that exceeds an average illumination value of a neighboring region of the first pixel.

S400에서는 컨텐츠 생성 장치(110)는 광원 및 객체를 기초로 조명 효과를 반영해야 하는 객체 영역들을 결정할 수 있다. 컨텐츠 생성 장치(110)는 광원의 위치, 세기, 방향, 객체의 위치, 재질 등을 고려하여 객체 영역들을 결정할 수 있다. 컨텐츠 생성 장치(110)는 사용자로부터의 입력을 고려하여 광원에 의해 영향을 받는 객체 영역들을 변경할 수 있다. 컨텐츠 생성 장치(110)는 광원 및 객체를 기초로 조명 효과를 반영해야 하는 객체 영역들을 결정하고, 사용자로부터의 입력에 따라 객체 영역들을 변경할 수 있다. 사용자에 의해 객체 영역을 선택하고 드래그 또는 확장하는 입력이 수신되면, 객체 영역들은 조절되며, 객체 영역의 픽셀값(컬러값, 조도값 등)들도 함께 사용자로부터의 입력에 따라 낮아지거나 높아질 수 있다. In operation S400, the content generation apparatus 110 may determine object regions to which the lighting effect should be reflected based on the light source and the object. The content generation apparatus 110 may determine object regions in consideration of the position, intensity, direction, position and material of the light source. The content generation apparatus 110 may change the object regions affected by the light source in consideration of the input from the user. The content generation apparatus 110 may determine object regions that should reflect the lighting effect based on the light source and the object, and may change the object regions according to the input from the user. When an input for selecting and dragging or expanding an object region is received by the user, the object regions are adjusted, and the pixel values (color value, illumination value, etc.) of the object region can be lowered or increased according to the input from the user .

S500에서는 컨텐츠 생성 장치(110)는 광원에 의한 조명 효과를 표현하기 위해서, 제1 객체 영역 및 제2 객체 영역의 컬러값을 조절할 수 있다. 컨텐츠 생성 장치(110)는 제1 객체 영역 중에서, 광원과의 거리가 가장 가까운 지점을 최광점으로 지정하고, 최광점을 중심으로 제1 객체 영역의 컬러값을 단계적으로 조절할 수 있다. 이때 제1 객체 영역의 픽셀의 조도가 단계적으로 낮아지게 된다. In S500, the content generation apparatus 110 may adjust the color values of the first object region and the second object region to express a lighting effect by the light source. The content generation apparatus 110 may designate a point closest to the light source as the brightest point among the first object areas and adjust the color value of the first object area stepwise around the brightest point. At this time, the illuminance of the pixels of the first object area is gradually lowered.

또한, 컨텐츠 생성 장치(110)는 제1 객체 영역 및 객체의 형태, 재질 등을 고려하여 제1 객체 영역에 컬러값들을 조절할 수 있다. 또한, 컨텐츠 생성 장치(110)는 제1 객체 영역 및 객체의 형태, 재질 등을 고려하여 제1 객체 영역에 컬러값들 또는 컬러값들의 변화량을 조절할 수 있다. 예를 들어, 객체의 재질이 광택이 나는 소재인 경우, 컨텐츠 생성 장치(110)는 제1 객체 영역에서 컬러값들이 하강하는 2차원의 직선과 같이 부드럽게 낮아지도록 조절할 수 있다. 객체의 재질이 매끄럽지 않은 경우, 컨텐츠 생성 장치(110)는 제1 객체 영역에서 컬러값들이 계단식으로 낮아지도록 조절할 수 있다. In addition, the content generation apparatus 110 may adjust the color values in the first object region in consideration of the first object region and the shape, material, and the like of the object. In addition, the content generation apparatus 110 may adjust the amount of change of the color values or color values in the first object area in consideration of the first object area and the shape, material, etc. of the object. For example, if the material of the object is a glossy material, the content production apparatus 110 can smoothly lower the color values in the first object area as a two-dimensional straight line descending. If the material of the object is not smooth, the content generating apparatus 110 may adjust the color values in the first object area to be stepwise lowered.

또한, 컨텐츠 생성 장치(110)는 객체의 형태가 곡선인 경우, 객체가 휘어지는 정도, 곡률을 고려하여 제1 객체 영역의 컬러값들을 설정할 수 있다. 컨텐츠 생성 장치(110)는 객체의 형태가 곡선인 경우, 객체가 휘어지는 정도, 곡률을 고려하여 제1 객체 영역의 컬러값들 또는 컬러값들의 변화량을 설정할 수 있다. 휘어지는 정도가 완만한 경우에는 컨텐츠 생성 장치(110)는 제1 객체 영역의 컬러값들이 완만한 정도로 낮아질 수 있다. 휘어지는 정도가 급격한 경우에는 컨텐츠 생성 장치(110)는 제1 객체 영역의 컬러값들이 일반적인 변화량인 5 보다 더 큰 변화량으로 낮아질 수 있다. 컨텐츠 생성 장치(110)는 객체가 모서리를 가지는 형태인 경우, 모서리를 기준으로 컬러값들을 조절한다. 컨텐츠 생성 장치(110)는 모서리를 기준으로 광원과 반대 방향의 면을 제2 객체 영역으로 설정할 수도 있다.Also, when the shape of the object is a curve, the content generation apparatus 110 may set the color values of the first object region in consideration of the degree of bending of the object and the curvature. When the shape of the object is a curve, the content generation apparatus 110 may set the color values of the first object region or the change amounts of the color values in consideration of the degree of warping of the object and the curvature. When the degree of warping is gentle, the content generation apparatus 110 may lower the color values of the first object region to a gentle degree. If the degree of warping is abrupt, the content generation apparatus 110 may lower the color values of the first object region to a larger amount of change than the general change amount of 5. The content generation apparatus 110 adjusts color values based on an edge when the object has a shape having an edge. The content generation apparatus 110 may set a face opposite to the light source as a second object region with respect to an edge.

컨텐츠 생성 장치(110)는 제2 객체 영역 중에서, 객체의 형태 및 객체의 경계, 즉, 객체의 주변에 존재하는 다른 객체와의 교선(line of intersection)을 기초로 제2 객체 영역의 컬러값을 조절할 수 있다. 컨텐츠 생성 장치(110)는 제2 객체 영역 중에서 객체 및 다른 객체와의 교선의 근처를 가장 어두운 지점으로 결정하고 가장 어두운 지점을 중심으로 컬러값을 단계적으로 조절할 수 있다. 교선을 중심으로 광원과 마주보는 면의 조도는 단계적으로 밝아지고, 광원과 반대되는 방향의 면의 조도는 단계적으로 어두워질 수 있다. The content generation apparatus 110 generates a color value of a second object area based on a line shape of an object and a boundary of the object, that is, a line of intersection with another object existing in the vicinity of the object Can be adjusted. The content generation apparatus 110 may determine the nearest point of intersection of the object and other objects in the second object region as the darkest point and adjust the color value step by step around the darkest point. The illuminance of the surface facing the light source is gradually brighter and the illuminance of the surface in the direction opposite to the light source is gradually darkened around the crossing line.

도 3은 컨텐츠 생성 장치(110)에 의해 조명 효과가 부여되는 일 예를 설명하기 위한 도면이다. FIG. 3 is a diagram for explaining an example in which a lighting effect is given by the content generation apparatus 110. FIG.

도 3에 개시된 바와 같이, 컨텐츠 생성 장치(110)는 객체(object 1) 및 영상(video 1)을 결합한 컨텐츠를 생성할 수 있다. 컨텐츠 생성 장치(110)는 영상(video 1)에 포함된 픽셀들을 분석하여 획득된 광원(light)를 고려하여, 객체와 직접적으로 연관된 제1 객체 영역(Area 1) 및 객체와 직접적으로 연관되지 않은 제2 객체 영역(Area 2)를 결정할 수 있다. As shown in FIG. 3, the content generation apparatus 110 may generate content combining the object 1 and the video 1. The content generation apparatus 110 generates a first object area (Area 1) directly associated with an object and a second object area (Area 1) directly associated with the object, in consideration of a light obtained by analyzing pixels included in the video The second object area (Area 2) can be determined.

컨텐츠 생성 장치(110)는 제1 객체 영역, 객체의 재질, 형태를 고려하여 제1 객체 영역의 컬러값들을 조절할 수 있다. 컬러값들은 픽셀 단위로 조절되며, 객체의 재질, 형태를 고려하여 그라데이션(gradation) 될 수 있다. The content generation apparatus 110 may adjust the color values of the first object region in consideration of the material and the shape of the first object region and the object. The color values are adjusted on a pixel-by-pixel basis, and can be gradated in consideration of the material and shape of the object.

도 4는 컨텐츠 생성 장치(110)에 의해 광원을 결정하는 과정을 설명하기 위한 도면이다. FIG. 4 is a diagram for explaining a process of determining a light source by the content generation apparatus 110. FIG.

도 4에 개시된 바와 같이, 컨텐츠 생성 장치(110)는 소정의 시점의 프레임(frame 1)을 소정의 개수로 분할할 수 있다. 도 4(a)에 도시된 바와 같이, S1 내지 S16에 포함된 각 픽셀의 조도값을 평균 조도값과 비교하고, 평균 조도값을 초과하는 영역(Area)을 추출할 수 있다. 여기서 평균 조도값은 해당 영역 뿐만 아니라 주변 영역들의 픽셀들의 조도값들을 합산하여 산출하게 된다. As shown in FIG. 4, the content generation apparatus 110 may divide a frame (frame 1) at a predetermined time into a predetermined number. As shown in FIG. 4 (a), the illuminance values of the pixels included in S1 to S16 are compared with the average illuminance value, and an area (Area) exceeding the average illuminance value can be extracted. Here, the average roughness value is calculated by summing the roughness values of the pixels in the surrounding areas as well as the corresponding area.

컨텐츠 생성 장치(110)는 광원을 결정하기 위해서 조도값이 높은 영역(Area)에 포함된 픽셀들 중에서, 조도값이 가장 높은 지점(Light 2)을 광원으로 결정할 수 있다. The content generating apparatus 110 may determine, as a light source, a point (Light 2) having the highest illuminance value among pixels included in an area having a high illuminance value to determine a light source.

컨텐츠 생성 장치(110)는 추출된 광원이 정확한지 여부를 판단하는 과정을 추가적으로 수행할 수 있다. 컨텐츠 생성 장치(110)는 상기 결정된 지점(Light 2)를 상기 프레임(frame 1)과 인접한 프레임의 광원과 비교하는 과정을 더 수행할 수 있다. 인접한 프레임에 포함된 광원과의 비교를 통해 상기 광원(Light 2)의 조도값이 평균 조도값 또는 임계 조도값을 초과하지 않는다면, 상기 광원(Light 2)는 실제 광원이 아니라고 결정될 수 있으며, 컨텐츠 생성 장치(110)는 영상의 다른 시점의 프레임에 포함된, 평균 조도값을 초과하는 조도값을 가지는 영역을 추출하는 과정을 더 수행하게 된다. 컨텐츠 생성 장치(110)는 상기 영역으로부터 광원을 결정할 수 있다. The content generation apparatus 110 may further perform a process of determining whether the extracted light source is correct. The content generation apparatus 110 may further perform a process of comparing the determined point Light 2 with a light source of a frame adjacent to the frame 1. If the illuminance value of the light source (Light 2) does not exceed the average illuminance value or the threshold illuminance value through comparison with a light source included in an adjacent frame, it can be determined that the light source (Light 2) is not an actual light source, The apparatus 110 further performs a process of extracting an area having an illuminance value exceeding the average illuminance value included in the frame at another time point of the image. The content generation apparatus 110 can determine the light source from the area.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. The embodiments of the present invention described above can be embodied in the form of a computer program that can be executed on various components on a computer, and the computer program can be recorded on a computer-readable medium. At this time, the medium may be a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floptical disk, , A RAM, a flash memory, and the like, which are specifically configured to store and execute program instructions.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be designed and configured specifically for the present invention or may be known and used by those skilled in the computer software field. Examples of computer programs may include machine language code such as those produced by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as " essential ", " importantly ", etc., it may not be a necessary component for application of the present invention.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The use of the terms " above " and similar indication words in the specification of the present invention (particularly in the claims) may refer to both singular and plural. In addition, in the present invention, when a range is described, it includes the invention to which the individual values belonging to the above range are applied (unless there is contradiction thereto), and each individual value constituting the above range is described in the detailed description of the invention The same. Finally, the steps may be performed in any suitable order, unless explicitly stated or contrary to the description of the steps constituting the method according to the invention. The present invention is not necessarily limited to the order of description of the above steps. The use of all examples or exemplary language (e.g., etc.) in this invention is for the purpose of describing the present invention only in detail and is not to be limited by the scope of the claims, It is not. It will also be appreciated by those skilled in the art that various modifications, combinations, and alterations may be made depending on design criteria and factors within the scope of the appended claims or equivalents thereof.

110: 컨텐츠 생성 장치110:

Claims (11)

컨텐츠 생성 장치가 입체적으로 촬영된 영상 및 객체를 수신하는 단계;
상기 영상의 임의의 위치에 상기 객체를 추가한 컨텐츠를 생성하는 단계;
상기 컨텐츠의 픽셀들의 조도값을 분석하여 상기 영상에 포함된 광원(light source)을 결정하는 단계;
상기 객체의 위치, 상기 객체의 재질 중 적어도 하나 및 상기 광원의 위치, 상기 광원의 세기, 및 상기 광원의 방향 중 적어도 하나를 고려하여, 광원에 의해 밝아지는 제1 객체 영역, 및 광원에 의해 어두워지는 제2 객체 영역을 포함하는 객체 영역을 결정하는 단계; 및
상기 객체의 형태, 재질 중 적어도 하나를 고려하여 상기 제1 객체 영역의 컬러값들을 조절하고,
상기 객체의 형태, 상기 객체의 경계, 상기 객체의 주변에 존재하는 다른 객체와의 교선 중 적어도 하나를 고려하여, 상기 제2 객체 영역의 컬러값들을 변경하는 단계를 포함하는 컨텐츠 생성 방법.
Receiving a three-dimensionally photographed image and an object of the content generation apparatus;
Generating content by adding the object to an arbitrary position of the image;
Determining a light source included in the image by analyzing an illuminance value of pixels of the content;
A first object area illuminated by the light source in consideration of at least one of the position of the object, at least one of the material of the object and the position of the light source, the intensity of the light source, and the direction of the light source, Determining an object region including a second object region to be deleted; And
Adjusting color values of the first object area in consideration of at least one of a shape and a material of the object,
Changing color values of the second object area in consideration of at least one of a shape of the object, a boundary of the object, and a line of intersection with another object existing around the object.
제1항에 있어서,
상기 광원을 결정하는 단계는
상기 컨텐츠에 포함되는 제1 프레임의 각 픽셀의 조도값을 제1 프레임의 제1 평균 조도값과 비교하는 단계;
상기 제1 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제1 영역을 추출하고, 상기 제1 영역 중에서 가장 높은 조도값을 가지는 지점을 제1 광원으로 결정하는, 컨텐츠 생성 방법. The method according to claim 1,
The step of determining the light source
Comparing an illuminance value of each pixel of the first frame included in the content with a first average illuminance value of the first frame;
Extracting a first region including a set of pixels exceeding the first average illuminance value and determining a point having the highest illuminance value among the first regions as a first light source. 제2항에 있어서,
상기 광원을 결정하는 단계는
상기 제1 프레임과 인접한 제2 프레임의 각 픽셀의 조도값을 제2 프레임의 제2 평균 조도값과 비교하고, 상기 제2 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제2 영역과 상기 제1 광원을 비교하여, 상기 제1 광원이 상기 제2 영역에 포함되는 경우에는 상기 제1 광원을 상기 컨텐츠의 광원으로 결정하는, 컨텐츠 생성 방법. 3. The method of claim 2,
The step of determining the light source
A second area including a set of pixels exceeding the second average illuminance value, and a second area including a second area illuminance value of the second frame, One light source is compared and the first light source is determined as a light source of the content when the first light source is included in the second area. 제1항에 있어서,
상기 객체 영역을 결정하는 단계는
상기 광원의 위치, 세기, 방향 중 적어도 하나 및 상기 객체를 고려하여 상기 광원에 의해 직접적인 영향을 받는 제1 객체 영역 및 상기 광원에 의해 간접적인 영향을 받는 제2 객체 영역을 결정하는, 컨텐츠 생성 방법. The method according to claim 1,
The step of determining the object region
Determining a first object region that is directly influenced by the light source and a second object region that is indirectly influenced by the light source in consideration of at least one of the position, intensity, and direction of the light source and the object; . 제1항에 있어서,
상기 변경하는 단계는
상기 광원과의 실제 거리를 고려하여, 상기 광원과 거리가 가장 가까운 지점의 컬러값을 소정의 기준에 따라 변경하는, 컨텐츠 생성 방법.
The method according to claim 1,
The changing step
Wherein a color value at a point closest to the light source is changed in accordance with a predetermined reference in consideration of an actual distance to the light source.
입체적으로 촬영된 영상 및 객체를 수신하는 데이터 수신부;
상기 영상의 임의의 위치에 상기 객체를 추가한 컨텐츠를 생성하는 컨텐츠 생성부;
상기 컨텐츠의 픽셀들의 조도값을 분석하여 상기 영상에 포함된 광원(light source)을 결정하는 광원 결정부;
상기 객체의 위치, 상기 객체의 재질 중 적어도 하나 및 상기 광원의 위치, 상기 광원의 세기, 상기 광원의 방향 중 적어도 하나를 고려하여, 광원에 의해 밝아지는 제1 객체 영역, 및 광원에 의해 어두워지는 제2 객체 영역을 포함하는 객체 영역을 결정하는 영역 결정부; 및
상기 객체의 형태, 재질 중 적어도 하나를 고려하여 상기 제1 객체 영역의 컬러값들을 조절하고,
상기 객체의 형태, 상기 객체의 경계, 상기 객체의 주변에 존재하는 다른 객체와의 교선 중 적어도 하나를 고려하여, 상기 제2 객체 영역의 컬러값들을 변경하는 영역 보정부;를 포함하는 컨텐츠 생성 장치.
A data receiving unit for receiving three-dimensionally photographed images and objects;
A content generation unit for generating a content in which the object is added to an arbitrary position of the image;
A light source determining unit for analyzing an illuminance value of pixels of the content to determine a light source included in the image;
A first object area illuminated by the light source in consideration of at least one of the position of the object, at least one of the material of the object and the position of the light source, the intensity of the light source, and the direction of the light source, An area determination unit for determining an object area including a second object area; And
Adjusting color values of the first object area in consideration of at least one of a shape and a material of the object,
And a region correcting unit for changing color values of the second object region in consideration of at least one of a shape of the object, a boundary of the object, and a line intersecting with another object existing in the vicinity of the object, .
제6항에 있어서,
상기 광원 결정부는
상기 컨텐츠에 포함되는 제1 프레임의 각 픽셀의 조도값을 제1 프레임의 제1 평균 조도값과 비교하고, 상기 제1 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제1 영역을 추출하고, 상기 제1 영역 중에서 가장 높은 조도값을 가지는 지점을 제1 광원으로 결정하는, 컨텐츠 생성 장치. The method according to claim 6,
The light source determination unit
Comparing an illuminance value of each pixel of the first frame included in the content with a first average illuminance value of the first frame and extracting a first region including a set of pixels exceeding the first average illuminance value, And determines a point having the highest illuminance value among the first areas as a first light source. 제7항에 있어서,
상기 광원 결정부는
상기 제1 프레임과 인접한 제2 프레임의 각 픽셀의 조도값을 제2 프레임의 제2 평균 조도값과 비교하고, 상기 제2 평균 조도값을 초과하는 픽셀들의 집합을 포함하는 제2 영역과 상기 제1 광원을 비교하여, 상기 제1 광원이 상기 제2 영역에 포함되는 경우에는 상기 제1 광원을 상기 컨텐츠의 광원으로 결정하는, 컨텐츠 생성 장치.8. The method of claim 7,
The light source determination unit
A second area including a set of pixels exceeding the second average illuminance value, and a second area including a second area illuminance value of the second frame, And compares the first light source with the first light source and determines the first light source as the light source of the content when the first light source is included in the second area. 제6항에 있어서,
상기 영역 결정부는
상기 광원의 위치, 세기, 방향 중 적어도 하나 및 상기 객체를 고려하여 상기 광원에 의해 직접적인 영향을 받는 제1 객체 영역 및 상기 광원에 의해 간접적인 영향을 받는 제2 객체 영역을 결정하는, 컨텐츠 생성 장치. The method according to claim 6,
The area determining unit
Determining a first object region that is directly affected by the light source in consideration of at least one of the position, intensity, and direction of the light source and the object, and a second object region that is indirectly influenced by the light source; . 제6항에 있어서,
상기 영역 보정부는
상기 광원과의 실제 거리를 고려하여, 상기 광원과 거리가 가장 가까운 지점의 컬러값을 소정의 기준에 따라 변경하는, 컨텐츠 생성 장치. The method according to claim 6,
The region correcting unit
And changes a color value at a point closest to the light source in accordance with a predetermined reference, taking into consideration an actual distance to the light source. 컴퓨터를 이용하여 제1항 내지 제5항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable storage medium for executing the method of any one of claims 1 to 5 using a computer.
KR1020170020715A 2017-02-15 2017-02-15 Apparatus, method and computer program for generating contents KR101856171B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170020715A KR101856171B1 (en) 2017-02-15 2017-02-15 Apparatus, method and computer program for generating contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170020715A KR101856171B1 (en) 2017-02-15 2017-02-15 Apparatus, method and computer program for generating contents

Publications (1)

Publication Number Publication Date
KR101856171B1 true KR101856171B1 (en) 2018-07-13

Family

ID=62913611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170020715A KR101856171B1 (en) 2017-02-15 2017-02-15 Apparatus, method and computer program for generating contents

Country Status (1)

Country Link
KR (1) KR101856171B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101237374B1 (en) * 2011-09-28 2013-02-26 주식회사 피엘케이 테크놀로지 Image processing method for detecting traffic light
JP2015210538A (en) * 2014-04-23 2015-11-24 本田技研工業株式会社 Light source detector, headlight control system, and light source detection method
KR20160021607A (en) * 2014-08-18 2016-02-26 삼성전자주식회사 Method and device to display background image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101237374B1 (en) * 2011-09-28 2013-02-26 주식회사 피엘케이 테크놀로지 Image processing method for detecting traffic light
JP2015210538A (en) * 2014-04-23 2015-11-24 本田技研工業株式会社 Light source detector, headlight control system, and light source detection method
KR20160021607A (en) * 2014-08-18 2016-02-26 삼성전자주식회사 Method and device to display background image

Similar Documents

Publication Publication Date Title
CN106548455B (en) Apparatus and method for adjusting brightness of image
US10475237B2 (en) Image processing apparatus and control method thereof
EP3061071B1 (en) Method, apparatus and computer program product for modifying illumination in an image
US9008457B2 (en) Systems and methods for illumination correction of an image
KR101502362B1 (en) Apparatus and Method for Image Processing
US10298905B2 (en) Method and apparatus for determining a depth map for an angle
KR20190112894A (en) Method and apparatus for 3d rendering
JP2020155116A (en) Image processing method, device, and computer-readable recording medium
CN107622504B (en) Method and device for processing pictures
KR20170047167A (en) Method and apparatus for converting an impression of a face in video
US9100642B2 (en) Adjustable depth layers for three-dimensional images
JP2006012166A (en) Stereo three-dimensional reconstruction system and process based on color segmentation
US20140078170A1 (en) Image processing apparatus and method, and program
US20200380697A1 (en) Image processing device, imaging device, image processing method, and program
US20160180514A1 (en) Image processing method and electronic device thereof
US10210654B2 (en) Stereo 3D navigation apparatus and saliency-guided camera parameter control method thereof
JP2015146526A (en) Image processing system, image processing method, and program
US9280846B2 (en) Method, apparatus, and computer-readable recording medium for depth warping based occlusion culling
KR101125061B1 (en) A Method For Transforming 2D Video To 3D Video By Using LDI Method
JP2017091298A (en) Image processing device, image processing method and image processing program
JP2004133919A (en) Device and method for generating pseudo three-dimensional image, and program and recording medium therefor
CN110678905A (en) Apparatus and method for processing depth map
KR101856171B1 (en) Apparatus, method and computer program for generating contents
JP2016197377A (en) Computer program for image correction, image correction device, and image correction method
KR101682137B1 (en) Method and apparatus for temporally-consistent disparity estimation using texture and motion detection