KR20160138639A - Transforming method of content object data - Google Patents

Transforming method of content object data Download PDF

Info

Publication number
KR20160138639A
KR20160138639A KR1020150072721A KR20150072721A KR20160138639A KR 20160138639 A KR20160138639 A KR 20160138639A KR 1020150072721 A KR1020150072721 A KR 1020150072721A KR 20150072721 A KR20150072721 A KR 20150072721A KR 20160138639 A KR20160138639 A KR 20160138639A
Authority
KR
South Korea
Prior art keywords
element data
substitute
data
alternative object
information
Prior art date
Application number
KR1020150072721A
Other languages
Korean (ko)
Other versions
KR101936270B1 (en
Inventor
박용석
김현식
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020150072721A priority Critical patent/KR101936270B1/en
Publication of KR20160138639A publication Critical patent/KR20160138639A/en
Application granted granted Critical
Publication of KR101936270B1 publication Critical patent/KR101936270B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G06F17/30017—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The present invention relates to a transformation method of content object data. The transformation method of the present invention comprises: an alternative object determination step of determining an alternative object from an original image; a static element data extraction step of extracting static element data including standard point information, direction information, and scale information of the alternative object; a dynamic element data extraction step of extracting dynamic element data including movement information depending on the passage of time of the alternative object; an alternative object loading step of loading an alternative object for replacing the alternative object; a data addition step of adding the static element data and the dynamic element data to the alternative object; and an image synthesis step of synthesizing the original image from which the alternative object is deleted with the alternative object to which the static element data and the dynamic element data are added. According to the present invention, a plurality of users accessing networks can easily and conveniently search for object information data in content and convert the same by using a DLNA/UPnP-based content sharing system.

Description

콘텐츠 객체 데이터 변환방법{TRANSFORMING METHOD OF CONTENT OBJECT DATA}TECHNICAL FIELD [0001] The present invention relates to a content object data conversion method,

본 발명은 콘텐츠 객체 데이터 변환방법에 관한 것이다. 보다 구체적으로, 본 발명은 네트워크에 접속한 사용자들이 DLNA(Digital Living Network Alliance)/UPnP(Universal Plug and Play) 규격 기반의 다양한 콘텐츠에 포함된 객체에 대한 정보를 추출, 검색하고, 원하는 객체를 변환하는 방법에 관한 것이다.The present invention relates to a content object data conversion method. More specifically, the present invention relates to a method and apparatus for users connected to a network to extract and search information about objects included in various contents based on DLNA (Digital Living Network Alliance) / UPnP (Universal Plug and Play) .

스마트 기기와 소셜 네트워크 서비스의 활성화로 오늘날 사람들은 사진, 동영상 등 많은 콘텐츠를 생성하고 있으며 이를 저장 및 공유하고 있다.With the activation of smart devices and social network services, people today are creating, storing, and sharing many kinds of content, such as photos and videos.

이와 같이 생성되는 수많은 콘텐츠를 분류하고 찾는 것은 쉬운 일이 아니다.It is not easy to categorize and find so many of these generated content.

또한, 공유된 콘텐츠 내에 등장하는 객체들에 대한 정보 또는 관심 있는 객체에 대한 정보를 조회하고 사용자에 특화된 객체로 변환하는 작업 또는 영화, 드라마 등에 상품을 등장시켜 간접적으로 광고하는 마케팅기법의 하나인 PPL(Product Placement)이나 프로그램 연동형 광고인 CIP(Commercial In Program) 등에 적용하기 위해 콘텐츠 내의 일부 객체를 변환하는 작업은 어려운 상황이다.In addition, PPL, which is one of marketing techniques to inquire information about objects appearing in shared contents or information about interesting objects and convert them into objects specific to users, or to indirectly advertise products such as movies and dramas, It is difficult to translate some objects in the content in order to apply them to product placement (CIP) or program-linked advertisement (CIP).

최근 객체 변환을 위해 컴퓨터 그래픽(Computer Graphic, CG)을 이용한 방법이 제시되고 있으나, 전체 영상을 사람이 모니터링하여 수동으로 편집점을 확인해야 하기 때문에, 객체 변환시 편집점이 누락되어 대체되지 않는 부분이 발생 될 수 있고, CG 전문가에 의한 많은 투자 시간이 필요하며, 전문가의 투자 시간이 많이 필요한 만큼 영상의 CG 작업 비용의 부담이 매우 크고, CG로 수정한 부분이 부자연스러워 해당 영상의 품질 저하로 사용자의 불편함을 초래할 수 있다.Recently, a method using computer graphics (CG) has been suggested for object conversion. However, since a whole image must be monitored by a person to manually check an edit point, there is a part that is not replaced due to missing edit point And the investment cost of the CG work cost of the image is very large as much investment time of the expert is required because the investment time is required by the CG specialist and the part modified by the CG is unnatural, Which can cause discomfort.

대한민국 공개특허공보 제10-2008-0016616호(공개일자: 2008년 02월 21일, 명칭: 대체 영상/비디오 삽입을 위한 방법, 장치 및 시스템)Korean Patent Publication No. 10-2008-0016616 (Published Date: February 21, 2008, titled: Method, apparatus and system for substituting video / video) 대한민국 공개특허공보 제10-2014-0091422호(공개일자: 2014년 07월 21일, 명칭: 광고용 영상장치 및 그를 이용한 광고효과를 위한 컨텐츠 제공방법)Korean Patent Laid-Open Publication No. 10-2014-0091422 (public date: July 21, 2014, name: advertising image device and content providing method for advertisement effect using the same)

본 발명은 네트워크에 접속한 다수의 사용자가 DLNA/UPnP 기반의 콘텐츠 공유 시스템을 활용하여 콘텐츠 내의 객체정보 데이터를 쉽고 편리하게 검색하고 변환할 수 있는 콘텐츠 객체 데이터 변환방법을 제공하는 것을 기술적 과제로 한다.A technical object of the present invention is to provide a method of converting a content object data in which a plurality of users connected to a network can easily and conveniently search and convert object information data in contents using a DLNA / UPnP-based content sharing system .

이러한 기술적 과제를 해결하기 위한 본 발명에 따른 콘텐츠 객체 데이터 변환방법은 원 영상에서 대체 대상 객체를 결정하는 대체 대상 객체 결정단계, 상기 대체 대상 객체의 기준점 정보, 방향 정보 및 스케일 정보를 포함하는 정적 요소 데이터를 추출하는 정적 요소 데이터 추출단계, 상기 대체 대상 객체의 시간 경과에 따른 움직임 정보를 포함하는 동적 요소 데이터를 추출하는 동적 요소 데이터 추출단계, 상기 대체 대상 객체를 대체할 대체 객체를 로딩하는 대체 객체 로딩단계, 상기 대체 객체에 상기 정적 요소 데이터와 상기 동적 요소 데이터를 부가하는 데이터 부가단계 및 상기 대체 대상 객체가 삭제된 원 영상에 상기 정적 요소 데이터와 상기 동적 요소 데이터가 부가된 대체 객체를 합성하는 영상 합성단계를 포함한다.According to another aspect of the present invention, there is provided a method of transforming a content object data, the method comprising: a substitute object determining step of determining an substitute object in an original image; a static element including a reference point information, A dynamic element data extracting step of extracting dynamic element data including motion information according to a lapse of time of the substitute object, a substitute object for substituting the substitute object for substituting the substitute object, A data adding step of adding the static element data and the dynamic element data to the substitute object, and a substitute object adding the static element data and the dynamic element data to the original image from which the substitute object is deleted And an image synthesizing step.

본 발명에 따른 콘텐츠 객체 데이터 변환방법에 있어서, 상기 대체 객체 로딩단계에서는, 대체 객체들의 크기와 형상을 포함하는 메타데이터들이 저장되어 있는 데이터베이스를 검색하여 상기 대체 대상 객체를 대체할 대체 객체를 로딩하는 것을 특징으로 한다.In the method of converting a content object data according to the present invention, in the substituting object loading step, a database storing metadata including the size and shape of the substitute objects is searched to load a substitute object to be substituted for the substitute object .

본 발명에 따른 콘텐츠 객체 데이터 변환방법에 있어서, 상기 대체 객체 로딩단계에서는, 상기 데이터베이스에 상기 대체 대상 객체를 대체할 대체 객체에 대한 메타데이터가 저장되어 있지 않는 경우, 상기 대체 대상 객체를 대체할 대체 객체에 대한 메타데이터를 상기 데이터베이스에 신규 등록한 이후, 상기 대체 대상 객체를 대체할 대체 객체를 로딩하는 것을 특징으로 한다.In the method of transforming a content object data according to the present invention, in the substitute object loading step, when the metadata of the substitute object to be replaced with the substitute target object is not stored in the database, After the metadata for the object is newly registered in the database, the substitute object to be replaced with the substitute object is loaded.

본 발명에 따른 콘텐츠 객체 데이터 변환방법에 있어서, 상기 영상 합성단계 이후, 상기 영상 합성단계를 통해 변경된 메타데이터를 기초로 상기 데이터베이스를 갱신하는 DB 갱신단계를 더 포함하는 것을 특징으로 한다.The content object data conversion method according to the present invention may further include a DB updating step of updating the database based on the metadata modified through the image synthesis step after the image synthesis step.

본 발명에 따르면, 네트워크에 접속한 다수의 사용자가 DLNA/UPnP 기반의 콘텐츠 공유 시스템을 활용하여 콘텐츠 내의 객체정보 데이터를 쉽고 편리하게 검색하고 변환할 수 있는 콘텐츠 객체 데이터 변환방법이 제공되는 효과가 있다.According to the present invention, there is an effect that a plurality of users connected to a network can easily and conveniently search and convert object information data in contents using a DLNA / UPnP-based contents sharing system .

또한, 네트워크 상에 연결된 다수의 사용자에 의해 콘텐츠 내의 객체 정보 조회 및 변환시, 종래에 요구되던 컴퓨터 그래픽 등의 작업을 생략할 수 있기 때문에, 객체 변환에 필요한 시간 및 비용을 대폭 단축할 수 있는 효과가 있다.In addition, since it is possible to omit work such as computer graphics, which has been required in the past when a plurality of users connected to the network inquire and convert object information in content, it is possible to greatly reduce the time and cost required for object conversion have.

또한, 제작 완료된 콘텐츠의 사용자 또는 구매자의 요구사항에 맞추어 사용자 맞춤형 객체로도 간편하게 수정할 수 있으며, PPL(Product Placement) 또는 CIP(Commercial In Program) 등 적용시, 콘텐츠 제작 당시에 사용되었던 광고 제품을 실제 방영(상영) 시기에 맞는 신제품으로 손쉽게 대체가 가능한 효과가 있다.In addition, it is possible to easily modify the user-customized object according to the requirements of the user or purchaser of the completed content. Also, when the product placement (PPL) or the commercial in program (CIP) is applied, There is an effect that it can be easily replaced with a new product suitable for the period of time (screening).

도 1은 본 발명의 일 실시 예에 따른 콘텐츠 객체 데이터 변환방법이 수행되는 장치 구성의 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 콘텐츠 객체 데이터 변환방법을 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 있어서, 정적 요소 데이터를 추출하는 과정의 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 있어서, 동적 요소 데이터를 추출하는 과정의 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 있어서, 대체 객체 데이터베이스로부터 로딩되며, 대체 대상 객체를 대체할 대체 객체의 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 있어서, 로딩된 대체 객체에 정적 요소 데이터와 동적 요소 데이터를 부가하는 과정의 예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 있어서, 합성 영상의 예를 나타낸 도면이다.1 is a diagram illustrating an example of a configuration of an apparatus in which a method of converting a content object data according to an embodiment of the present invention is performed.
2 is a diagram illustrating a method of converting a content object data according to an embodiment of the present invention.
3 is a diagram for explaining an example of a process of extracting static element data according to an embodiment of the present invention.
4 is a diagram for explaining an example of a process of extracting dynamic element data according to an embodiment of the present invention.
5 is a diagram illustrating an example of an alternative object that is loaded from an alternative object database and is to be replaced with an alternative object, according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of a process of adding static element data and dynamic element data to a loaded substitute object, according to an embodiment of the present invention. Referring to FIG.
7 is a diagram illustrating an example of a composite image in an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 콘텐츠 객체 데이터 변환방법이 수행되는 장치 구성의 예를 나타낸 도면이다.1 is a diagram illustrating an example of a configuration of an apparatus in which a method of converting a content object data according to an embodiment of the present invention is performed.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 콘텐츠 객체 데이터 변환방법이 수행되는 장치는 데이터 에디터(data editor) 및 데이터 매니저(data manager)를 포함하여 구성되고, 데이터 에디터는 대체 대상 객체 결정부(10), 정적 요소 데이터 추출부(20), 동적 요소 데이터 추출부(30), 대체 객체 로딩부(40), 데이터 부가부(50) 및 영상 합성부(60)를 포함하여 구성되고, 데이터 매니저는 입력부(80), 검색부(90) 및 데이터베이스(70)를 포함하여 구성된다.Referring to FIG. 1, an apparatus in which a method of converting a content object data according to an embodiment of the present invention is implemented includes a data editor and a data manager, A static element data extracting unit 20, a dynamic element data extracting unit 30, a substitute object loading unit 40, a data adding unit 50 and an image synthesizing unit 60, The data manager includes an input unit 80, a search unit 90, and a database 70.

대체 대상 객체 결정부(10)는 원 영상에서 대체 대상 객체를 결정하는 기능을 수행한다.The replacement object determining unit 10 determines a replacement object in the original image.

정적 요소 데이터 추출부(20)는 결정된 대체 대상 객체의 기준점 정보, 방향 정보 및 스케일 정보를 포함하는 정적 요소 데이터를 추출하는 기능을 수행한다.The static element data extracting unit 20 extracts static element data including reference point information, direction information, and scale information of the determined replacement object.

동적 요소 데이터 추출부(30)는 결정된 대체 대상 객체의 시간 경과에 따른 움직임 정보를 포함하는 동적 요소 데이터를 추출하는 기능을 수행한다.The dynamic element data extracting unit 30 extracts dynamic element data including motion information of the determined replacement object over time.

대체 객체 로딩부(40)는 대체 대상 객체를 대체할 대체 객체를 로딩하는 기능을 수행한다.The substitute object loading unit 40 performs a function of loading a substitute object to replace the substitute object.

데이터 부가부(50)는 대체 대상 객체 결정부(10)에 의해 결정된 대체 객체에 정적 요소 데이터 추출부(20)에 의해 추출된 정적 요소 데이터와 동적 요소 데이터 추출부(30)에 의해 추출된 동적 요소 데이터를 부가하는 기능을 수행한다.The data adding unit 50 adds the static element data extracted by the static element data extracting unit 20 and the dynamic element data extracted by the dynamic element data extracting unit 30 to the substitute object determined by the substitute object determining unit 10 And performs the function of adding element data.

영상 합성부(60)는 대체 대상 객체가 삭제된 원 영상에 정적 요소 데이터와 동적 요소 데이터가 부가된 대체 객체를 합성하여 합성 영상을 생성하는 기능을 수행한다.The image synthesis unit 60 performs a function of generating a composite image by synthesizing the substitute object to which the static element data and the dynamic element data are added to the original image from which the substitute object is deleted.

데이터 매니저를 구성하는 입력부(80)는 사용자가 영상과 관련한 객체를 생성, 메타데이타를 입력하기 위한 수단이다.The input unit 80 constituting the data manager is a means for the user to create an object related to the image and to input the metadata.

데이터 매니저를 구성하는 검색부(90)는 객체를 데이터베이스(70)에서 검색하기 위한 수단이다.The search unit 90 constituting the data manager is a means for searching an object in the database 70. [

데이터베이스(70)에는 영상과 관련한 객체에 대한 메타데이터들을 포함하는 정보들이 저장되어 있다. 예를 들어, 메타데이터는 객체의 크기와 형상에 대한 정보들을 포함할 수 있다.In the database 70, information including metadata about an object related to an image is stored. For example, the metadata may include information about the size and shape of the object.

도 2는 본 발명의 일 실시 예에 따른 콘텐츠 객체 데이터 변환방법을 나타낸 도면이다.2 is a diagram illustrating a method of converting a content object data according to an embodiment of the present invention.

도 2를 추가적으로 참조하면, 본 발명의 일 실시 예에 따른 콘텐츠 객체 데이터 변환방법은 대체 대상 객체 결정단계(S10), 정적 요소 데이터 추출단계(S20), 동적 요소 데이터 추출단계(S30), 대체 객체 로딩단계(S40), 데이터 부가단계(S50), 영상 합성단계(S60) 및 DB 갱신단계(S70)를 포함하여 구성된다.2, the method of transforming a content object data according to an embodiment of the present invention includes an object object determination step S10, a static element data extraction step S20, a dynamic element data extraction step S30, A loading step S40, a data adding step S50, an image synthesizing step S60, and a DB updating step S70.

대체 대상 객체 결정단계(S10)에서는, 대체 대상 객체 결정부(10)가 원 영상에서 대체 대상 객체를 결정하는 과정이 수행된다. 예를 들어, 원 영상은 도시하지 않은 사용자 단말이 전송하는 영상이거나, 데이터 매니저를 구성하는 데이터베이스(70)에 저장된 영상일 수 있다.In the replacement target object determination step (S10), the replacement object determination unit 10 determines a replacement object in the original image. For example, the original image may be an image transmitted by a user terminal (not shown) or an image stored in a database 70 constituting a data manager.

정적 요소 데이터 추출단계(S20)에서는, 정적 요소 데이터 추출부(20)가 대체 대상 객체의 기준점 정보, 방향 정보 및 스케일 정보를 포함하는 정적 요소 데이터를 추출하는 과정이 수행된다.In the static element data extraction step S20, the static element data extraction unit 20 extracts static element data including reference point information, direction information, and scale information of the substitute object.

도 3은 본 발명의 일 실시 예에 있어서, 정적 요소 데이터를 추출하는 과정의 예를 설명하기 위한 도면이다. 도 3의 도면 부호 100은 원 영상에 포함된 대체 대상 객체이고, 도면 부호 110은 배경 영상이다.3 is a diagram for explaining an example of a process of extracting static element data according to an embodiment of the present invention. Reference numeral 100 in FIG. 3 denotes an object to be replaced included in the original image, and reference numeral 110 denotes a background image.

도 3을 추가적으로 참조하면, 정적 요소 데이터 추출단계(S20)에서는, 정적 요소 데이터 추출부(20)가 대체 대상 객체의 기준점 정보, 방향 정보, 스케일 정보를 추출한다. 기준점 정보와 방향 정보는 대체 대상 객체의 움직임이 있는 경우, 이를 데이터화하는 용도로 이용될 수 있다. 예를 들어, 속도는 느리지만, 명암/회전/스케일 변화에도 불변의 특징을 찾을 수 있는 알고리즘인 SIFT(Scale Invariant Feature Transform) 또는 SIFT의 느린 속도를 보완할 수 있는 알고리즘인 SURF(Speeded Up Robust Features)가 정적 요소 데이터에 대한 추출에 적용될 수 있다.3, in the static element data extraction step S20, the static element data extraction unit 20 extracts reference point information, direction information, and scale information of the substitute object. The reference point information and the direction information can be used for data conversion when there is motion of the object to be replaced. For example, you can use the Scale Invariant Feature Transform (SIFT) algorithm, which is a slower algorithm, but can also find invariant features in contrast / rotation / scale variation, or SURF (Speeded Up Robust Features ) Can be applied to extraction of static element data.

동적 요소 데이터 추출단계(S30)에서는, 동적 요소 데이터 추출부(30)가 대체 대상 객체의 시간 경과에 따른 움직임 정보를 포함하는 동적 요소 데이터를 추출하는 과정이 수행된다.In the dynamic element data extraction step S30, the dynamic element data extraction unit 30 extracts the dynamic element data including the motion information of the substitute object over time.

도 4는 본 발명의 일 실시 예에 있어서, 동적 요소 데이터를 추출하는 과정의 예를 설명하기 위한 도면이다.4 is a diagram for explaining an example of a process of extracting dynamic element data according to an embodiment of the present invention.

도 4를 추가적으로 참조하면, 동적 요소 데이터 추출단계(S30)에서는, 동적 요소 데이터 추출부(30)가 시간에 따른 대체 대상 객체의의 움직임(자취)를 데이터화하는 과정이 수행된다. 예를 들어, 이 단계에서는, 준비한 이미지와 편집할 영상 부분의 이질감을 줄이기 위하여, 편집할 영상 부분을 분석하여 빛의 각도, 영상의 해상도, 밝기, 명암, 조도 등의 정보를 추출하는 과정이 수행될 수 있다. 또한, 예를 들어, 동적 요소 데이터의 추출을 위하여, 학습 시간이 길지만, 찾기/학습/추적을 반복하면서 크기/밝기/각도 변화 등에도 추적이 가능한 알고리즘인 TLD(Tracking-Learning-Detection)가 적용될 수 있다. 그 외에도 히스토그램, 옵티칼 플로우(Optical Flow )기반의 영상 추적 방법이 적용될 수도 있다.4, in the dynamic element data extraction step S30, the dynamic element data extraction unit 30 performs a process of converting the motion (trace) of the replacement object over time. For example, in this step, a process of extracting information such as light angle, image resolution, brightness, contrast, and illumination is performed by analyzing the image portion to be edited in order to reduce the sense of heterogeneity between the prepared image and the edited image portion . Also, for example, TLD (Tracking-Learning-Detection), which is an algorithm capable of tracking a size / brightness / angle change while repeating searching / learning / tracking, is applied to extract dynamic element data . In addition, a histogram and an optical flow-based image tracking method may be applied.

대체 객체 로딩단계(S40)에서는, 대체 객체 로딩부(40)가 대체 대상 객체를 대체할 대체 객체를 로딩하는 과정이 수행된다.In the substitute object loading step S40, the substitute object loading unit 40 loads a substitute object to replace the substitute object.

도 5는 본 발명의 일 실시 예에 있어서, 대체 객체 데이터베이스(70)로부터 로딩되며, 대체 대상 객체를 대체할 대체 객체의 예가 개시되어 있다.5 illustrates an example of an alternate object that is loaded from the alternate object database 70 and replaces the alternate target object, in an embodiment of the present invention.

하나의 예로, 대체 객체 로딩단계(S40)는, 대체 객체들의 크기와 형상을 포함하는 메타데이터들이 저장되어 있는 데이터베이스(70)를 검색하여 대체 대상 객체를 대체할 대체 객체를 로딩하도록 구성될 수 있다.As an example, the substitute object loading step S40 may be configured to search the database 70 in which the metadata including the size and shape of the substitute objects are stored, and load the substitute object to replace the substitute target object .

다른 예로, 대체 객체 로딩단계(S40)는, 데이터베이스(70)에 대체 대상 객체를 대체할 대체 객체에 대한 메타데이터가 저장되어 있지 않는 경우, 대체 대상 객체를 대체할 대체 객체에 대한 메타데이터를 데이터베이스(70)에 신규 등록한 이후, 대체 대상 객체를 대체할 대체 객체를 로딩하도록 구성될 수 있다.As another example, if the metadata for the substitute object to be replaced with the substitute target object is not stored in the database 70, the substitute object loading step S40 may read the metadata about the substitute object to be replaced with the substitute target object, The replacement object may be configured to load the replacement object to replace the replacement object after newly registering the replacement object.

데이터 부가단계(S50)에서는, 데이터 부가부(50)가 로딩된 대체 객체에 정적 요소 데이터 추출부(20)에 의해 추출된 정적 요소 데이터와 동적 요소 데이터 추출부(30)에 의해 추출된 동적 요소 데이터를 부가하는 과정이 수행된다. 도 6은 로딩된 대체 객체에 정적 요소 데이터와 동적 요소 데이터를 부가하는 과정의 예를 개념적으로 개시하고 있다.In the data adding step S50, the static element data extracted by the static element data extracting unit 20 and the dynamic element data extracted by the dynamic element data extracting unit 30 are input to the substitute object loaded with the data adding unit 50, A process of adding data is performed. FIG. 6 conceptually shows an example of a process of adding static element data and dynamic element data to a loaded substitute object.

영상 합성단계(S60)에서는, 영상 합성부(60)가 대체 대상 객체가 삭제된 원 영상에 정적 요소 데이터와 동적 요소 데이터를 부가된 대체 객체를 합성하여 합성 영상을 생성하는 과정이 수행된다.In the image synthesis step S60, a process is performed in which the image synthesis unit 60 synthesizes the substitute object added with the static element data and the dynamic element data to the original image from which the substitute object is deleted, thereby generating a synthesized image.

도 7은 본 발명의 일 실시 예에 있어서, 영상 합성 과정의 예를 나타낸 도면이다. 도 3 및 도 7을 추가적으로 참조하면, 합성 영상에는 원영상에 포함된 배경 영상(110)은 그대로 유지되고 있으나, 삭제된 대체 대상 객체(100)를 대체 객체(200)가 대체하고 있는 것을 알 수 있다. FIG. 7 is a diagram illustrating an example of an image synthesis process in an embodiment of the present invention. 3 and 7, although the background image 110 included in the original image is maintained as it is in the composite image, it can be seen that the replacement object 200 is replacing the deleted replacement object 100 have.

DB 갱신단계(S70)에서는, 영상 합성단계(S60)를 통해 변경된 메타데이터를 기초로 데이터베이스(70)를 갱신하는 과정이 수행된다.In the DB updating step S70, a process of updating the database 70 based on the changed metadata through the image synthesizing step S60 is performed.

이상에서 상세히 설명한 바와 같이 본 발명에 따르면, 네트워크에 접속한 다수의 사용자가 DLNA/UPnP 기반의 콘텐츠 공유 시스템을 활용하여 콘텐츠 내의 객체정보 데이터를 쉽고 편리하게 검색하고 변환할 수 있는 콘텐츠 객체 데이터 변환방법이 제공되는 효과가 있다.As described above in detail, according to the present invention, a plurality of users connected to a network can easily and conveniently search and convert object information data in contents using a DLNA / UPnP-based contents sharing system Is provided.

또한, 네트워크 상에 연결된 다수의 사용자에 의해 콘텐츠 내의 객체 정보 조회 및 변환시, 종래에 요구되던 컴퓨터 그래픽 등의 작업을 생략할 수 있기 때문에, 객체 변환에 필요한 시간 및 비용을 대폭 단축할 수 있는 효과가 있다.In addition, since it is possible to omit work such as computer graphics, which has been required in the past when a plurality of users connected to the network inquire and convert object information in content, it is possible to greatly reduce the time and cost required for object conversion have.

또한, 제작 완료된 콘텐츠의 사용자 또는 구매자의 요구사항에 맞추어 사용자 맞춤형 객체로도 간편하게 수정할 수 있으며, PPL(Product Placement) 또는 CIP(Commercial In Program) 등 적용시, 콘텐츠 제작 당시에 사용되었던 광고 제품을 실제 방영(상영) 시기에 맞는 신제품으로 손쉽게 대체가 가능한 효과가 있다.In addition, it is possible to easily modify the user-customized object according to the requirements of the user or purchaser of the completed content. Also, when the product placement (PPL) or the commercial in program (CIP) is applied, There is an effect that it can be easily replaced with a new product suitable for the period of time (screening).

이상에서 본 발명에 대한 기술사상을 첨부된 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.While the present invention has been described in connection with what is presently considered to be preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. In addition, it is a matter of course that various modifications and variations are possible without departing from the scope of the technical idea of the present invention by anyone having ordinary skill in the art.

10: 대체 대상 객체 결정부
20: 정적 요소 데이터 추출부
30: 동적 요소 데이터 추출부
40: 대체 객체 로딩부
50: 데이터 부가부
60: 영상 합성부
70: 데이터베이스
80: 입력부
90: 검색부
100: 대체 대상 객체
110: 배경 이미지
200: 대체 객체
S10: 대체 대상 객체 결정단계
S20: 정적 요소 데이터 추출단계
S30: 동적 요소 데이터 추출단계
S40: 대체 객체 로딩단계
S50: 데이터 부가단계
S60: 영상 합성단계
S70: DB 갱신단계10: Substitute object determining unit
20: Static element data extracting unit
30: Dynamic element data extracting unit
40: Alternate object loading section
50:
60:
70: Database
80:
90:
100: object to be replaced
110: background image
200: Alternate object
S10: Substitute object determination step
S20: Static element data extraction step
S30: Dynamic element data extraction step
S40: Alternate object loading step
S50: Data addition step
S60: Image synthesis step
S70: DB update step

Claims (4)

콘텐츠 객체 데이터 변환방법에 있어서,
원 영상에서 대체 대상 객체를 결정하는 대체 대상 객체 결정단계;
상기 대체 대상 객체의 기준점 정보, 방향 정보 및 스케일 정보를 포함하는 정적 요소 데이터를 추출하는 정적 요소 데이터 추출단계;
상기 대체 대상 객체의 시간 경과에 따른 움직임 정보를 포함하는 동적 요소 데이터를 추출하는 동적 요소 데이터 추출단계;
상기 대체 대상 객체를 대체할 대체 객체를 로딩하는 대체 객체 로딩단계;
상기 대체 객체에 상기 정적 요소 데이터와 상기 동적 요소 데이터를 부가하는 데이터 부가단계; 및
상기 대체 대상 객체가 삭제된 원 영상에 상기 정적 요소 데이터와 상기 동적 요소 데이터가 부가된 대체 객체를 합성하는 영상 합성단계를 포함하는, 콘텐츠 객체 데이터 변환방법.A method of converting a content object data,
An object object determination step of determining an object object to be replaced in the original image;
A static element data extracting step of extracting static element data including reference point information, direction information and scale information of the substitute object;
A dynamic element data extracting step of extracting dynamic element data including motion information of the substitute object over time;
A replacement object loading step of loading a replacement object to replace the replacement object;
A data adding step of adding the static element data and the dynamic element data to the substitute object; And
And an image synthesis step of synthesizing the static element data and the substitute object added with the dynamic element data to the original image from which the substitution target object has been deleted. 제1항에 있어서,
상기 대체 객체 로딩단계에서는,
대체 객체들의 크기와 형상을 포함하는 메타데이터들이 저장되어 있는 데이터베이스를 검색하여 상기 대체 대상 객체를 대체할 대체 객체를 로딩하는 것을 특징으로 하는, 콘텐츠 객체 데이터 변환방법.The method according to claim 1,
In the alternative object loading step,
Searching a database storing metadata including the size and shape of the substitute objects, and loading a substitute object to replace the substitute object. 제2항에 있어서,
상기 대체 객체 로딩단계에서는,
상기 데이터베이스에 상기 대체 대상 객체를 대체할 대체 객체에 대한 메타데이터가 저장되어 있지 않는 경우, 상기 대체 대상 객체를 대체할 대체 객체에 대한 메타데이터를 상기 데이터베이스에 신규 등록한 이후, 상기 대체 대상 객체를 대체할 대체 객체를 로딩하는 것을 특징으로 하는, 콘텐츠 객체 데이터 변환방법.3. The method of claim 2,
In the alternative object loading step,
The method according to claim 1, further comprising the steps of: if the metadata of the substitute object to be replaced with the substitute object is not stored in the database, after the metadata of the substitute object to be substituted for the substitute object is newly registered in the database, The substitute object to be replaced is loaded. 제2항에 있어서,
상기 영상 합성단계 이후, 상기 영상 합성단계를 통해 변경된 메타데이터를 기초로 상기 데이터베이스를 갱신하는 DB 갱신단계를 더 포함하는 것을 특징으로 하는, 콘텐츠 객체 데이터 변환방법.
3. The method of claim 2,
Further comprising a DB updating step of updating the database based on the metadata modified through the image synthesis step after the image synthesis step.
KR1020150072721A 2015-05-26 2015-05-26 Transforming method of content object data KR101936270B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150072721A KR101936270B1 (en) 2015-05-26 2015-05-26 Transforming method of content object data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150072721A KR101936270B1 (en) 2015-05-26 2015-05-26 Transforming method of content object data

Publications (2)

Publication Number Publication Date
KR20160138639A true KR20160138639A (en) 2016-12-06
KR101936270B1 KR101936270B1 (en) 2019-01-08

Family

ID=57576577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150072721A KR101936270B1 (en) 2015-05-26 2015-05-26 Transforming method of content object data

Country Status (1)

Country Link
KR (1) KR101936270B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241435A (en) * 2019-12-31 2020-06-05 五八有限公司 Method and device for loading picture elements

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080016616A (en) 2005-06-08 2008-02-21 톰슨 라이센싱 Method, apparatus and system for alternate image/video insertion
KR20080063308A (en) * 2005-09-16 2008-07-03 플릭서, 인크. Personalizing a video
KR20130139782A (en) * 2012-06-11 2013-12-23 삼성전자주식회사 User terminal device, server device, system comprising them and method for providing advertisement service
KR20140091422A (en) 2013-01-11 2014-07-21 (주) 스카이미디어 display device and commercial content delivery methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080016616A (en) 2005-06-08 2008-02-21 톰슨 라이센싱 Method, apparatus and system for alternate image/video insertion
KR20080063308A (en) * 2005-09-16 2008-07-03 플릭서, 인크. Personalizing a video
KR20130139782A (en) * 2012-06-11 2013-12-23 삼성전자주식회사 User terminal device, server device, system comprising them and method for providing advertisement service
KR20140091422A (en) 2013-01-11 2014-07-21 (주) 스카이미디어 display device and commercial content delivery methods

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241435A (en) * 2019-12-31 2020-06-05 五八有限公司 Method and device for loading picture elements
CN111241435B (en) * 2019-12-31 2024-02-27 五八有限公司 Method and device for loading picture elements

Also Published As

Publication number Publication date
KR101936270B1 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
US20180341907A1 (en) Crowdsourcing techniques for processing product content
GB2569847A (en) Removing and replacing objects in images according to a directed user conversation
CN110516096A (en) Synthesis perception digital picture search
US20070124282A1 (en) Video data directory
US10013804B2 (en) Delivering virtualized content
CN105205782A (en) Super-resolution method and system, server, user equipment and method thereof
CN109242934B (en) Animation code generation method and equipment
US20190199939A1 (en) Suggestion of visual effects based on detected sound patterns
CN105745650A (en) Device and method for predicting skin age by using quantifying means
CN108038760B (en) Commodity display control system based on AR technology
Ambeth Kumar et al. IOT-based smart museum using wearable device
JP7051190B2 (en) Content embedding methods, devices, electronic devices, storage media, and programs
JP6603925B1 (en) Movie editing server and program
CN112269891A (en) Dynamic album generating method, server, display terminal and readable storage medium
CN113453027A (en) Live video and virtual makeup image processing method and device and electronic equipment
CN109241344B (en) Method and apparatus for processing information
KR101936270B1 (en) Transforming method of content object data
CN112565875B (en) Method, device, equipment and computer readable storage medium for automatically generating video
CN101385027A (en) Metadata generating method and device
WO2021059081A1 (en) Systems and methods for training a model using a few-shot classification process
CN113282770A (en) Multimedia recommendation system and method
US10445921B1 (en) Transferring motion between consecutive frames to a digital image
CN116389849A (en) Video generation method, device, equipment and storage medium
CN106803285B (en) AR book custom orientation generation method and device
Castro et al. Cognition inspired format for the expression of computer vision metadata

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant