KR101754524B1 - 2d 영상 내의 3d 요소의 추출 및 3d 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템 - Google Patents

2d 영상 내의 3d 요소의 추출 및 3d 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템 Download PDF

Info

Publication number
KR101754524B1
KR101754524B1 KR1020160018636A KR20160018636A KR101754524B1 KR 101754524 B1 KR101754524 B1 KR 101754524B1 KR 1020160018636 A KR1020160018636 A KR 1020160018636A KR 20160018636 A KR20160018636 A KR 20160018636A KR 101754524 B1 KR101754524 B1 KR 101754524B1
Authority
KR
South Korea
Prior art keywords
media content
existing
added
content
media
Prior art date
Application number
KR1020160018636A
Other languages
English (en)
Inventor
이희준
김선형
장기배
티투람 응우엔
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020160018636A priority Critical patent/KR101754524B1/ko
Application granted granted Critical
Publication of KR101754524B1 publication Critical patent/KR101754524B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

2D 영상 내의 3D 요소의 추출 및 3D 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법이 개시된다. 2D 영상 내의 3D 요소의 삽입을 기반으로 한 미디어 컨텐츠의 제작 방법은 미디어 컨텐츠 재생성 장치가 미디어 컨텐츠에 포함된 기존 객체를 대체하거나 기존 객체에 추가될 객체를 결정하는 단계, 미디어 컨텐츠 재생성 장치가 미디어 컨텐츠 상에서 상기 객체의 추가 또는 대체를 위한 위치를 결정하는 단계, 미디어 컨텐츠 재생성 장치가 객체를 3D 객체로 변환하는 단계, 미디어 컨텐츠 재생성 장치가 3D 객체의 객체 음영 및 객체 그림자를 결정하는 단계, 미디어 컨텐츠 재생성 장치가 3D 객체를 2D 객체로 변환하는 단계, 미디어 컨텐츠 재생성 장치가 미디어 컨텐츠에 상기 2D 객체의 추가 또는 대체를 위한 설정 정보를 추가하는 단계, 미디어 컨텐츠 재생성 장치가 2D 객체, 미디어 컨텐츠 및 설정 정보를 사용자 장치로 전송하는 단계를 포함할 수 있다.

Description

2D 영상 내의 3D 요소의 추출 및 3D 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템{Method and apparatus for producing contents based on extraction of 3D(dimension) element in 2D image and insertion of 3D element}
본 발명은 컨텐츠 생성 방법 및 장치에 관한 것으로서, 보다 상세하게는 2D 영상 내의 3D 요소의 추출 및 3D 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템에 관한 것이다.
인터넷의 보급과 이동 통신 기술의 발전으로 소비자들은 다양한 단말기를 이용하여 미디어 컨텐츠를 소비하고, 때로는 창조하고 있다. 특히 동영상 재생 장치를 통해 소비되는 미디어 컨텐츠는 과거 방송사나 미디어 회사가 주도하던 때와는 달리 개인 위주로 주도되고 있다.
그런데, 이러한 미디어 컨텐츠는 제공하는 사람의 취향이나 성향에 따라 제작 방향이 정해지게 되고, 창작자의 역량에 따라 상당한 수준의 차이가 있다. 따라서 소비자 각각의 요구나 사회적 동향, 최근 유행을 반영하지 못한 컨텐츠는 소비되지 않고 시장에서 외면되어 사장된다. 따라서, 소비자의 취향에 맞는 컨텐츠 또는 최신 흐름에 맞는 컨텐츠를 만들어 내는 것이 무엇보다 중요하다.
예를 들어, 동영상 UCC(user created contents)는 저렴하면서도 파급력을 가진 상업적 홍보 수단으로 사용되기도 하며 심지어는 공익 켐페인이나 대통령 선거에도 활용되는 모습을 보이기도 한다. 동영상 UCC 전문 업체뿐만 아니라 기존 포털 및 방송 3사는 동영상 UCC 컨텐츠 시장의 가능성을 크게 보고 서비스를 제공하고 있다.
KR 10-2008-0101442
본 발명의 일 측면은 2D 영상 내의 3D 요소의 추출 및 3D 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법을 제공한다.
본 발명의 다른 측면은 2D 영상 내의 3D 요소의 추출 및 3D 요소의 삽입을 기반으로 미디어 컨텐츠 제작 시스템을 제공한다.
본 발명의 일 측면에 따른 본 발명의 일 측면에 따른 2D(dimension) 영상 내의 3D 요소의 삽입을 기반으로 한 미디어 컨텐츠의 제작 방법은 미디어 컨텐츠 재생성 장치가 미디어 컨텐츠에 포함된 기존 객체를 대체하거나 상기 기존 객체에 추가될 객체를 결정하는 단계, 상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠 상에서 상기 객체의 추가 또는 대체를 위한 위치를 결정하는 단계, 상기 미디어 컨텐츠 재생성 장치가 상기 객체를 3D 객체로 변환하는 단계, 상기 미디어 컨텐츠 재생성 장치가 상기 3D 객체의 객체 음영 및 객체 그림자를 결정하는 단계, 상기 미디어 컨텐츠 재생성 장치가 상기 3D 객체를 2D 객체로 변환하는 단계, 상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠에 상기 2D 객체의 추가 또는 대체를 위한 설정 정보를 추가하는 단계, 상기 미디어 컨텐츠 재생성 장치가 상기 2D 객체, 상기 미디어 컨텐츠 및 상기 설정 정보를 사용자 장치로 전송하는 단계를 포함할 수 있다.
한편, 제1항에 있어서, 상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠 상에서 상기 객체의 추가 또는 대체를 위한 위치를 결정하는 단계는 상기 미디어 컨텐츠 재생성 장치가 상기 객체가 광고 컨텐츠인지, 비광고 컨텐츠인지 여부를 판단하는 단계, 상기 객체가 상기 광고 컨텐츠인 경우, 상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠에 포함된 다른 객체들과 중첩되지 않도록 상기 객체의 위치를 결정하는 단계, 상기 객체가 상기 비광고 컨텐츠이고, 상기 미디어 컨텐츠에 추가되는 객체인 경우, 상기 미디어 컨텐츠 재생성 장치가 상기 기존 객체 중 상기 객체와 상호 작용하는 적어도 하나의 기존 객체의 위치를 고려하여 상기 객체의 위치를 결정하는 단계와 상기 객체가 상기 비광고 컨텐츠이고, 상기 기존 객체 중 하나의 기존 객체를 대체하는 객체인 경우, 상기 미디어 컨텐츠 재생성 장치가 상기 하나의 기존 객체의 위치를 고려하여 상기 객체의 위치를 결정하는 단계를 포함할 수 있다.
또한, 상기 객체의 위치는 상기 미디어 컨텐츠 재생성 장치에 의해 상기 미디어 컨텐츠의 공간이 단순화되어 제1 도형으로 인식되고, 상기 미디어 컨텐츠 내의 상기 기존 객체가 단순화되어 제2 도형으로 인식되고, 상기 객체가 단순화되어 제3 도형으로 인식되어 결정될 수 있다.
또한, 상기 미디어 컨텐츠 재생성 장치가 상기 객체를 상기 3D 객체로 변환하는 단계는 상기 미디어 컨텐츠 재생성 장치가 데이터베이스를 기반으로 상기 객체에 대응되는 3D 데이터를 추출하는 단계와 상기 미디어 컨텐츠 재생성 장치가 상기 3D 데이터에 상기 객체의 특징 정보를 추가하여 상기 객체를 상기 3D 객체로 변환하는 단계를 포함할 수 있다.
또한, 상기 미디어 컨텐츠 재생성 장치가 상기 3D 객체의 상기 객체 음영 및 상기 객체 그림자를 결정하는 단계는 상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠의 상기 기존 객체의 음영 및 그림자에 대한 정보를 획득하는 단계와 상기 미디어 컨텐츠 재생성 장치가 상기 기존 객체의 상기 음영 및 상기 그림자에 대한 정보를 기반으로 상기 3D 객체의 상기 객체 음영 및 상기 객체 그림자를 결정하는 단계를 포함할 수 있다.
또한, 상기 미디어 컨텐츠 재생성 장치가 상기 3D 객체를 상기 2D 객체로 변환하는 단계는 상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠의 상기 기존 객체에 대한 카메라 촬상 방향을 결정하는 단계, 상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠의 상기 기존 객체의 축소 비율을 결정하는 단계, 상기 미디어 컨텐츠 재생성 장치가 상기 카메라 촬상 방향 및 상기 축소 비율을 기반으로 상기 3D 객체를 상기 2D 객체로 변환하는 단계를 포함할 수 있다.
또한, 상기 사용자 장치는 상기 미디어 컨텐츠의 프레임 정보가 상기 2D 객체의 삽입을 지시하는 경우, 상기 2D 객체를 상기 미디어 컨텐츠에 삽입하도록 구현될 수 있다.
본 발명의 또 다른 측면에 따른2D(dimension) 영상 내의 3D 요소의 삽입을 기반으로 한 미디어 컨텐츠의 제작 시스템은 미디어 컨텐츠에 포함된 기존 객체를 대체하거나 상기 기존 객체에 추가될 객체를 결정하고, 상기 미디어 컨텐츠 상에서 상기 객체의 추가 또는 대체를 위한 위치를 결정하고, 상기 객체를 3D 객체로 변환하고, 상기 3D 객체의 객체 음영 및 객체 그림자를 결정하거고, 상기 3D 객체를 2D 객체로 변환하고, 상기 미디어 컨텐츠에 상기 2D 객체의 추가 또는 대체를 위한 설정 정보를 추가하도록 구현되는 미디어 컨텐츠 재생성 장치와 상기 미디어 컨텐츠 재생성 장치가 상기 2D 객체, 상기 미디어 컨텐츠 및 상기 설정 정보를 수신하여 상기 미디어 컨텐츠에 상기 2D 객체가 포함된 재생성 미디어 컨텐츠를 출력하는 사용자 장치를 포함할 수 있다.
한편, 상기 미디어 컨텐츠 재생성 장치는 상기 객체가 광고 컨텐츠인지, 비광고 컨텐츠인지 여부를 판단하고, 상기 객체가 상기 광고 컨텐츠인 경우, 상기 미디어 컨텐츠에 포함된 다른 객체들과 중첩되지 않도록 상기 객체의 위치를 결정하고, 상기 객체가 상기 비광고 컨텐츠이고, 상기 미디어 컨텐츠에 추가되는 객체인 경우, 상기 기존 객체 중 상기 객체와 상호 작용하는 적어도 하나의 기존 객체의 위치를 고려하여 상기 객체의 위치를 결정하고, 상기 객체가 상기 비광고 컨텐츠이고, 상기 기존 객체 중 하나의 기존 객체를 대체하는 객체인 경우, 상기 하나의 기존 객체의 위치를 고려하여 상기 객체의 위치를 결정하도록 구현될 수 있다.
또한, 상기 객체의 위치는 상기 미디어 컨텐츠 재생성 장치에 의해 상기 미디어 컨텐츠의 공간이 단순화되어 제1 도형으로 인식되고, 상기 미디어 컨텐츠 내의 상기 기존 객체가 단순화되어 제2 도형으로 인식되고, 상기 객체가 단순화되어 제3 도형으로 인식되어 결정될 수 있다.
또한, 상기 미디어 컨텐츠 재생성 장치는 데이터베이스를 기반으로 상기 객체에 대응되는 3D 데이터를 추출하고, 상기 3D 데이터에 상기 객체의 특징 정보를 추가하여 상기 객체를 상기 3D 객체로 변환하도록 구현될 수 있다.
또한, 상기 미디어 컨텐츠 재생성 장치는 상기 미디어 컨텐츠의 상기 기존 객체의 음영 및 그림자에 대한 정보를 획득하고, 상기 기존 객체의 상기 음영 및 상기 그림자에 대한 정보를 기반으로 상기 3D 객체의 상기 객체 음영 및 상기 객체 그림자를 결정하도록 구현될 수 있다.
또한, 상기 미디어 컨텐츠 재생성 장치는 상기 미디어 컨텐츠의 상기 기존 객체에 대한 카메라 촬상 방향을 결정하고, 상기 미디어 컨텐츠의 상기 기존 객체의 축소 비율을 결정하고, 상기 카메라 촬상 방향 및 상기 축소 비율을 기반으로 상기 3D 객체를 상기 2D 객체로 변환하도록 구현될 수 있다.
또한, 상기 사용자 장치는 상기 미디어 컨텐츠의 프레임 정보가 상기 2D 객체의 삽입을 지시하는 경우, 상기 2D 객체를 상기 미디어 컨텐츠에 삽입하도록 구현될 수 있다.
본 발명의 실시예에 따른2D 영상 내의 3D 요소의 추출 및 3D 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템은 미디어 컨텐츠 내에 삽입된 객체를 변화시키거나, 미디어 컨텐츠 내에 새로운 객체를 추가시킴으로써 기존의 미디어 컨텐츠를 재활용하여 새로운 미디어 컨텐츠를 생성할 수 있다. 따라서, 사용자의 요구 및 취향에 따라 다양한 미디어 컨텐츠가 보다 간편하게 제작되어 소비될 수 있다.
도 1은 본 발명의 실시예에 따른 미디어 컨텐츠 생성 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 추가 미디어 컨텐츠의 삽입 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 추가 미디어 컨텐츠의 삽입 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 추가 미디어 컨텐츠의 삽입을 위한 컨텐츠 재생 시스템이 개시된다.
도 5는 본 발명의 실시예에 따른 미디어 컨텐츠 재생성 장치의 동작을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 프레임 정보 내에 객체 정보 삽입 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
미디어 컨텐츠를 기반으로 수익을 창출함에 있어서, 창조된 미디어 컨텐츠가 시간의 경과에 따라 유행에 뒤떨어져 미디어 컨텐츠를 기반으로 한 수익률이 감소할 수 있다. 기존의 경우, 미디어 컨텐츠를 제작하거나 새로운 컨텐츠를 미디어 컨텐츠의 생성 이후에 추가하거나 삭제하는 미디어 컨텐츠의 변경이 어려웠다.
구체적으로 미디어 컨텐츠의 변화를 위해서 미디어 컨텐츠 내의 전체적인 배경의 변화, 미디어 컨텐츠 내의 객체(예를 들어, 사람의 의상, 얼굴이나 머리 모양 등)에 대한 여러 가지 변화가 필요하다. 하지만, 이러한 변화를 2D 그래픽으로 처리하는 데는 한계가 있다.
본 발명의 실시예에 따른 2D 영상 내의 3D 요소의 추출 및 3D 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템에서는 네트워크(예를 들어, 인터넷)를 통해 다운로드 또는 스트리밍되는 미디어 컨텐츠에 새로운 컨텐츠(예를 들어, 광고 데이터 또는 컨텐츠 내 객체)를 추가하거나 변경하는 방법이 개시된다.
예를 들어, 본 발명의 실시예에 따르면, 미디어 컨텐츠를 제작하는 사용자가 미디어 컨텐츠를 제작함에 있어서 이미 생성된 미디어 컨텐츠에 새로운 미디어 컨텐츠를 추가하여 미디어 컨텐츠의 재생 순서(또는 진행 흐름)가 변경될 수 있다.
도 1은 본 발명의 실시예에 따른 미디어 컨텐츠 생성 방법을 나타낸 개념도이다.
도 1에서는 기존의 미디어 컨텐츠를 새롭게 생성하는 방법이 개시된다.
도 1의 (A)를 참조하면, 또는 미디어 컨텐츠 재생성 장치는 기존의 미디어 컨텐츠를 새로운 미디어 컨텐츠(또는 추가 미디어 컨텐츠)로 대체하여 미디어 컨텐츠를 재생성할 수 있다.
도 1의 (B)를 참조하면, 미디어 컨텐츠 재생성 장치는 기존의 미디어 컨텐츠에 새로운 미디어 컨텐츠(또는 추가 미디어 컨텐츠)를 추가하여 미디어 컨텐츠를 재생성할 수 있다. 이하, 추가 미디어 컨텐츠를 기반으로 재생성된 미디어 컨텐츠는 재생성 미디어 컨텐츠라는 용어로 표현될 수 있다. 추가 미디어 컨텐츠는 별도의 미디어 컨텐츠일 수도 있고, 기존의 미디어 컨텐츠에 추가될 객체일 수도 있다.
예를 들어, 사용자의 눈높이에 맞춘 과거에 제작된 미디어 컨텐츠가 실험과 탐험 등에 관련된 경우, 재생성 미디어 컨텐츠가 추가의 실험, 추가의 탐험에 관련된 추가 컨텐츠 요소(예를 들어, 추가 실험, 추가 장소 탐험 등)를 기반으로 재생성될 수 있다. 이를 통해 새로운 버전의 재생성 미디어 컨텐츠에 대한 배포가 가능할 수 있다.
또한, 기존의 미디어 컨텐츠가 플레이되는 동안 하단에서 광고되는 팝업 포맷의 광고 컨텐츠는 미디어 컨텐츠를 시청하는 사용자의 집중력을 떨어뜨리고 미디어 컨텐츠 또는 미디어 컨텐츠를 제공하는 운영 사이트에 반감을 가지게 할 수 있다.
이러한 문제를 해결하기 위해 미디어 컨텐츠 재생성 장치는 광고 컨텐츠를 미디어 컨텐츠에 자연스럽게 추가하여 재생성 미디어 컨텐츠를 생성할 수 있다. 예를 들어, 미디어 컨텐츠 내에 추가 미디어 컨텐츠로서 광고 컨텐츠가 자연스럽게 배치되도록 하여 사용자가 광고 컨텐츠에 의해 피로도를 느끼지 않고 미디어 컨텐츠에 집중하도록 할 수 있다. 또한, 미디어 컨텐츠 내의 객체인 벽면이나 바닥, 책상과 같은 면에 고정적인 형태 또는 움직이는 형태의 광고 컨텐츠가 배치되는 재생성 미디어 컨텐츠가 생성될 수 있다.
또는 미디어 컨텐츠 내의 객체인 책상 또는 바닥 등의 위에 특정 물체를 올리고 프레임에 따라 자연스럽게 좌에서 우, 아래에서 위와 같이 카메라의 이동 방향에 따라 추가 미디어 컨텐츠로서 광고 컨텐츠가 포함되도록 재생성 미디어 컨텐츠가 생성될 수 있다.
이뿐만 아니라, 미디어 컨텐츠 내의 출연자의 신체 일부 등과 같은 움직이는 객체의 옷이나 장식 등에 광고 컨텐츠를 삽입하여 추가 컨텐츠로서 간접 광고가 포함되는 재생성 미디어 컨텐츠가 생성될 수 있다.
본 발명의 다른 실시예에 따르면, 추가 미디어 컨텐츠가 광고 컨텐츠인 경우, 광고 컨텐츠를 추가하기 위해 미디어 컨텐츠 내의 글자를 인식해서 글자 뒤에 광고 컨텐츠를 추가하여 미디어 컨텐츠 내의 글자를 가리지 않도록 글자 뒤 또는 글자가 없는 곳에 광고 컨텐츠를 배치할 수 있다. 또한 광고 컨텐츠가 잠깐 보였다가 사용자의 광고 컨텐츠를 끄려는 움직임이 감지되면 자연스럽게 작아져, 로고나 제품의 3D(dimension) 모양으로 바뀌어 한쪽으로 이동했다가 사라질 수도 있다.
광고 컨텐츠로서 기존의 미디어 컨텐츠에 삽입된 객체는 PPL(product placement)로 사용이 가능하며, 사용자에 의한 마우스 포인터 등이 PPL로서 삽입된 광고 컨텐츠에 접근할 경우 광고 컨텐츠에 대응되는 상품을 판매하는 마켓으로 연계될 수 있다.
즉, 광고 컨텐츠를 미디어 컨텐츠에 삽입하여 재생성 미디어 컨텐츠를 생성함에 있어서, 재생성 미디어 컨텐츠를 시청하는 사용자가 크게 피곤해하지 않으면서, 광고 컨텐츠에 따른 광고 효과가 기존보다 향상 될 수 있다.
도 2는 본 발명의 실시예에 따른 추가 미디어 컨텐츠의 삽입 방법을 나타낸 개념도이다.
도 2에서는 기존의 미디어 컨텐츠에 추가 미디어 컨텐츠를 삽입하는 방법이 개시된다.
도 2를 참조하면, 미디어 컨텐츠 재생성 장치는 미디어 컨텐츠 내의 공간을 하나의 큰 박스로 인식하고 미디어 컨텐츠 내의 객체들을 하나의 큰 박스 내에 위치한 여러가지 작은 박스로 인식할 수 있다.
미디어 컨텐츠 재생성 장치는 하나의 큰 박스 내부에 들어있는 객체에 대응되는 작은 박스가 카메라 앵글의 변화에 따라 어떠한 방식으로 출력될지 여부를 예상할 수 있다.
미디어 컨텐츠 재생성 장치는 광고 컨텐츠와 같은 추가 미디어 컨텐츠를 미디어 컨텐츠에 삽입하기 위해 추가 미디어 컨텐츠에 대응되는 객체에 대한 3차원 스캐닝 및 모델링을 통해 객체를 실제 환경과 일치하도록 변환하여 미디어 컨텐츠에 자연스럽게 삽입할 수 있다. 2D 영상에서 카메라 또는 사용자의 시각 방향의 이동을 고려하여 추가 미디어 컨텐츠에 대응되는 객체가 기존의 미디어 컨텐츠에 삽입될 수 있다.
이러한 방식으로 기존의 미디어 컨텐츠에 삽입된 간접 광고 또는 직접 광고가 새로운 광고로 변하거나 기존의 미디어 컨텐츠 내의 객체(예를 들어, 의상, 출연진)이 다른 객체로 변할 수 있다.
논쟁에 따른 결론의 변화, 유행의 변화, 과학적 발견에 의해 지식의 변화, 출연진에 대한 개인적 취향 변화 등에 따라 기존의 미디어 컨텐츠 내의 객체를 추가 미디어 컨텐츠에 대응되는 객체로 변경시킴으로써 다양한 미디어 컨텐츠가 보다 빠르고 손쉽게 생성되어 사용자의 미디어 컨텐츠 제작 의지가 고취되고, 다른 미디어 컨텐츠보다 빠르게 미디어 컨텐츠 소비자의 취향에 따라 미디어 컨텐츠가 변화될 수 있다.
도 3은 본 발명의 실시예에 따른 추가 미디어 컨텐츠의 삽입 방법을 나타낸 개념도이다.
도 3에서는 기존의 미디어 컨텐츠에 추가 미디어 컨텐츠를 삽입하는 방법이 개시된다.
도 3을 참조하면, 기존의 미디어 컨텐츠인 2D 영상 안에 추가 미디어 컨텐츠로서 새로운 객체를 삽입하기 위해 기준점을 한 개 이상 잡거나 또는 입체 공간을 도형의 입체 구조물로 설정하고, 입체 구조물을 이루는 외곽선을 이용하거나, 투시하는 형태로 입체 공간과 추가 미디어 컨텐츠로서 삽입되는 새로운 객체가 매칭될 수 있다.
미디어 컨텐츠 재생성 장치는 이러한 방법을 통해 입체 구조 위에 달려있거나 바닥에 놓인 물체의 모양이 정면으로 봤을 때 어떤 형태일지 예측할 수 있다. 미디어 컨텐츠 재생성 장치는 삽입하고자 하는 추가 미디어 컨텐츠로서의 3D 객체의 사이즈와 방향을 카메라 이동과 연동하여 변경하여 사용자 시청시 이질감을 느끼지 않도록 재생성 미디어 컨텐츠를 생성할 수 있다.
또한, 미디어 컨텐츠 재생성 장치는 입체 구조물의 외형에서 선형 구조를 추출하고, 선형 구조를 데이터베이스로 만들어 빠르고 정확하게 접목할 수 있도록, AI(artificial intelligence) 인공 지능 프로그램을 이용하여, 미디어 데이터베이스 내에 들어 있는 각 동영상에서 입체 구조물의 선형 구조에 대한 정보를 수집할 수 있다.
구체적으로 삽입하고자 하는 추가 미디어 컨텐츠에 대응되는 객체의 3D 렌더링 관련 데이터가 추출되고, 추가 미디어 컨텐츠에 대응되는 3D 객체의 생성을 위한 광원과 빛의 조사 방향에 대한 정보가 명암의 차이, 빛의 광도 차이 등을 기반으로 획득될 수 있다. 광원과 빛의 조사 방향에 대한 정보를 기반으로 추가 미디어 컨텐츠로서 삽입되는 3D 객체에 대한 음영과 그림자 등이 결정될 수 있다. 3D 객체에 대한 음영과 그림자 등의 결정 후, 3D 객체는 2D 영상으로 변환되어 기존의 미디어 컨텐츠에 삽입될 수 있다. 삽입된 3D 객체의 미디어 컨텐츠로의 삽입 후 재생성 미디어 컨텐츠에서 3D 객체가 제대로 삽입되었는지 여부가 체크될 수 있다.
미디어 컨텐츠 재생성 장치는 미디어 컨텐츠에 대한 사용자 계층을 고려하여 적응적으로 추가 미디어 컨텐츠로서 3D 객체를 삽입할 수 있다.
미디어 컨텐츠 재생성 장치의 데이터베이스는 인간이나 벽, 바닥, 기본적 사물이나 공간에 대한 3D 데이터를 저장할 수 있다. 또한, 미디어 컨텐츠 재생성 장치의 데이터베이스는 여러가지 모양의 방, 다양한 모양의 건물, 다양한 형태의 거리, 각종 경기장, 실내 외의 다양한 객체 등에 대한 데이터를 단순화하여 저장할 수 있다. 이러한 데이터베이스에 저장된 3D 객체를 기반으로 추가 미디어 컨텐츠가 삽입되었을 때 추가 미디어 컨텐츠로 인한 사용자의 위화감이 작을 수 있다.
예를 들어, 교육 영상에서 컴퓨터에 대응되는 객체의 변경/추가, 요리 영상에 가전 제품에 대응되는 객체의 변경/추가, 게임 소개 영상에 게임 박스에 대응되는 객체의 변경/추가, 진행자의 신인 배우로 변경/추가 등과 같은 객체의 추가/변경이 추가 미디어 컨텐츠를 단순화하여 저장한 데이터베이스를 기반으로 수행될 수 있다.
또한, 본 발명의 실시예에 따르면, 사용자의 선택이나 집중도 등을 눈동자 움직임 등을 통해 확인하는 절차를 만들고, 재생성 미디어 컨텐츠에서 객체가 차지하는 위치를 결정할 수 있다.
미디어 컨텐츠 재생성 장치는 동영상 내의 진행자가 움직이면서 보이는 후면 배경을 추출하여, 후면 배경 세트 구성하고, 이 배경에 추가 미디어 컨텐츠로서 새로운 객체를 추가함으로써 진행자의 움직임에도 새로운 배경이 블루 스크린에 투사된 영상과 같은 모양으로 어색하지 않게 구성될 수 있다. 3D 영상 세트를 포개서 운영하는 컴퓨터의 입체 펙터가 카메라 앵글의 변화에 따라 움직이며, 미디어 컨텐츠 재생성 장치는 삽입된 3D 객체의 변화를 적용하여 그 영상을 매 프레임에 삽입해줄 수 있다. 또한, 미디어 컨텐츠 재생성 장치는 사용자의 취향, 성격, 직업, 스타일 등과 같은 사용자 정보 및 계정 정보 등에 대한 정보를 수집하고, 수집된 정보를 기반으로 방송을 보는 국가나 지역이나 계절이나 날씨, 사용자의 취향, 기분이나 필요에 따라 삽입되는 미디어 컨텐츠에 추가되는 3D 객체가 변화될 수 있다.
동영상 제작 과정이나 효과를 검증하는 단계에서 미디어 컨텐츠 재생성 장치는 캠을 통해 미디어 안의 사용자의 안구나 시각 이동을 확인하여, 영상 컨텐츠에 따른 시선의 이동을 추정할 수 있다. 미디어 컨텐츠 재생성 장치는 추정된 시선의 이동을 기반으로 추가되는 3D 객체를 조정, 변경하여 미디어 컨텐츠를 재생성할 수 있다.
미디어 컨텐츠 재생성 장치는 데이터 베이스에 저장된 3D 객체 중 시각적인 동일성을 갖는 도형이나 구조물을 기반으로 바닥이나 벽, 천장에 설치된 2D 물체의 영상을 180도 회전시켜 반대 방향에 같은 모양을 삽입하는 방법으로 삽입되는 물체와의 충돌이나 간섭 등을 간단히 확인할 수 있다. 미디어 컨텐츠 재생성 장치는 2D 영상에서 3D객체에 맞는 형태를 찾아내면, 미디어 내의 벽면이나 천정 등을 왜곡하여 새로운 컨텐츠를 제작할 수 있다.
서버 상에서 재생되고 삽입 방법이 확정되어 재생산된 미디어 컨텐츠가 아닌 경우 온라인 상에서 인터넷 환경에 따라 새롭게 추가되는 3D 객체는 미디어 컨텐츠의 재생에 방해가 될 수 있다. 따라서, 미디어 컨텐츠의 다운로드 속도에 따라 3D 객체의 크기나 파일의 용량을 변경하거나, 미디어 플레이어와 함께 미리 추가 미디어 컨텐츠인 3D 객체를 다운로드하여 사용자 장치에서 미디어 컨텐츠의 재생시 사용자 장치에서 추가 미디어 컨텐츠가 삽입되어 재생될 수 있다. 또는 미디어 플레이어 다운로드시 이미 다운로드된 광고 계약자의 데이터를 암호로 정하고 영상에 암호 운영키 만을 삽입하여 진행할 수 있다.
이와 같이 미디어 컨텐츠의 프레임 정보에는, 흐름에 맞춰 삽입된 3D 객체 또는 광고 컨텐츠를 삽입하기 위해 필요한 정보가 포함되고, 프레임에 삽입된 특정 신호를 기반으로 3D 객체, 광고 컨텐츠가 재생될 수 있다.
도 4는 본 발명의 실시예에 따른 추가 미디어 컨텐츠의 삽입을 위한 컨텐츠 재생 시스템이 개시된다.
도 4를 참조하면, 미디어 컨텐츠 재생 시스템은 미디어 컨텐츠 서비스 서버(400), 미디어 컨텐츠 재생성 장치(420), 데이터 베이스 서버(440), 사용자 장치(460)를 포함할 수 있다.
미디어 컨텐츠 서비스 서버(400)는 인터넷 또는 일정 통신망에 연결되어 미디어 컨텐츠를 다운로드 또는 스트리밍하는 서비스를 미디어 컨텐츠 재생성 장치(420), 사용자 장치(460)로 제공하기 위해 구현될 수 있다.
데이터베이스 서버(440)는 3D 객체와 2D 객체에 대한 샘플, 미디어 컨텐츠 등을 보관하도록 구현될 수 있다.
미디어 컨텐츠 재생성 장치(420)는 미디어 컨텐츠에 추가 미디어 컨텐츠를 추가하여 재생성 미디어 컨텐츠를 생성하기 위해 구현될 수 있다. 미디어 컨텐츠 재생성 장치(420)는 미디어 컨텐츠를 분석하여, 미디어 컨텐츠에 대응되는 장소나 객체의 종류를 확인할 수 있다. 또한, 미디어 컨텐츠 재생성 장치(420)는 데이터베이스 서버(440)에서 관련된 3D 객체를 불러내어 기준점을 잡는 기준점 설정 절차, 3D 객체들의 합성을 2D 객체로 변경하는 절차를 거쳐 촬영 상황과 같은 자연스런 결과 영상물을 만드는 절차를 수행할 수 있다.
미디어 컨텐츠 재생성 장치(420)는 사용자 장치(460)로 재생성 미디어 컨텐츠를 전송할 수 있다. 미디어 컨텐츠 재생성 장치(420)는 사용자 장치(460)로 재생성 미디어 컨텐츠를 전송시 추가된 미디어 컨텐츠에 대한 데이터는 별도로 전송할 수 있다. 사용자 장치(460)에서 구동되는 미디어 플레이어는 재생성 미디어 컨텐츠의 재생에 따라 미디어 컨텐츠와 추가된 미디어 컨텐츠를 오버랩하여 사용자에게 제공할 수 있다.
또한, 미디어 컨텐츠 재생성 장치(420)는 뒤쪽이 안 보이는 객체의 구성에 도형이나 구조물의 조합을 적절하게 생성하여 삽입하고자 하는 객체의 3D 데이터를 입체적으로 추출하여, 광원의 조사 방향이나 물건의 원근 배치 등을 적용하여 3D 객체를 미디어 컨텐츠에 자연스럽게 삽입할 수 있다.
미디어 컨텐츠 재생성 장치(420)는 꼭지점 및 선형 추출 방식을 통해 객체의 구조를 결정하고 구현 가능한 샘플 데이터와 매칭시킬 수 있다. 또한, 미디어 컨텐츠 재생성 장치(420)는 객체의 구도를 심플하게 추출하여 그 형태를 샘플 도형 안에서 재배치할 수 있다.
미디어 컨텐츠 재생성 장치(420)는 벽이나 공간의 의미를 두지 않고 도형의 형태로 인식함으로써 작은 샘플들과 같게 비교하여 객체에 대한 심플한 예상이 가능하도록 하고, 객체의 데이터베이스 서버(440)를 통해 추출 상황에서 인지된 객체를 공간 배치에 문제가 안되는 상황까지 제거하는 방법으로 단순화시켜, 추가하고자 하는 객체를 단순 비교하고 미디어 컨텐츠에 삽입할 수 있다.
사무실이나 콘서트 홀, 세미나 등의 공간을 단순한 입면체로 대체하면 그 안에 요소들이 사라지고 사진을 제 정리하면 각 요소들의 원 모양을 추출할 수 있다. 또한, 다른 객체가 삽입되는 경우, 사람의 신장 평균을 기준으로 하는 크기 정리 방법이 수행될 수 있다. 미디어 컨텐츠 재생성 장치(420)는 인종이나 직업군의 평균키를 정하거나 임의로 정하여, 이를 1 또는 평균키 값으로 설정하여 다른 객체가 추가 미디어 컨텐츠로서 추가될 경우, 객체의 삽입시의 크기가 결정될 수 있다.
또한, 미디어 컨텐츠 재생성 장치(420)는 광고를 동영상 내의 평면 또는 공간 안에 실제 있는 것처럼 배치하여, 간접 광고나 직접 광고 재설정이 가능하도록 할 수 있다. 미디어 컨텐츠 재생성 장치(420)는 3D 광고물을 2D의 미디어 컨텐츠에 삽입함에 있어서, 미디어 컨텐츠에 포함하여 전송하지 않고, 별도의 3D 광고물에 대응되는 값을 보내고, 3D 광고물을 다운로드한 스마트기기에서 직접 3D 광고물을 미디어 컨텐츠에 추가하여 재생할 수도 있다.
또한, 미디어 컨텐츠 재생성 장치(420)는 사용자의 스마트 기기의 캠으로 사용자의 성별이나 주변 인물들을 확인하여, 광고물의 종류나 광고 방법을 선택하거나 웹 서비스 내의 광고 변경 등에 사용할 수 있다.
또한, 미디어 컨텐츠 재생성 장치(420)는 다운로드된 컨텐츠의 재생에 관한 정보를 수집하고, 비주기적 인터넷 연결시 새로운 방향의 컨텐츠나 광고를 다운로드 받는 플레이어로부터 플레이 정보와 광고 접근에 대한 데이터를 전송할 수 있다.
또한, 미디어 컨텐츠 재생성 장치(420)는 사용자에 의해 결정되는 객체와 시스템에 의해 제공되는 광고 컨텐츠, 사진, 물건 등을 원본 컨텐츠에 없거나, 변경하고 싶은 목적물로 변경하여, 새로운 창작물인 재생성 미디어 컨텐츠를 생성하기 위한 목적물 삽입 수단을 포함할 수 있다.
미디어 컨텐츠 재생성 장치(420)는 사용자에 맞춤 목적물(객체)를 2D의 미디어 컨텐츠에 삽입하기 위해 2D 화면 요소에서 3D 요소를 추출하여 3D 화면으로 전환하고, 3D 화면을 기준으로 맞춤 목적물을 회전하거나 사이즈를 변환하여 3D 화면에 맞추어 구성하고, 이 결과물을 2D 요소로 원본 미디어 컨텐츠에 삽입 처리하는 방식으로 재생성 미디어 컨텐츠를 생성할 수 있다.
즉, 본 발명의 실시예에 따른 2D 영상 내의 3D 요소의 추출 및 3D 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템 본 발명은 동영상 내의 2차원적 배치를 3차원적 구성으로 변경하고, 이 변경 내용에 삽입하고자 하는 3차원 객체를 삽입하여 이를 2차원적인 동영상으로 재편집하여 재생성 미디어 컨텐츠를 생성함으로써 새로운 2차원 영상물을 생성할 수 있다. 자연광이나 조명 아래서 나타나거나 변화할 수 있는 음영, 물체의 원근에 따른 사물의 크기를 동영상의 진행에 맞추어 자연스럽게 삽입 진행할 수 있고, 이 영상물에 3D 객체를 넣는 간접 광고 방식이나, 미디어 컨텐츠의 일정 구역에 새로운 직접 광고 모델을 넣거나, 미디어 동영상 광고를 동영상 내에 삽입 후 재생되도록 하여, 앵커가 사회적인 물의를 일으키거나, 사망했을 경우 사람 자체를 바꾸거나, 미디어 제작시 배치해 놓은 조형물을 광고주의 의향에 따라 변경하는 등의 다양한 방식으로 새로운 미디어 컨텐츠를 제작할 수 있도록 하여, 새로운 수익 창출에 기여하고, 제작이 완료된 후 아쉬운 부분을 컨텐츠 제작 이후에 변경할 수 있다.
도 5는 본 발명의 실시예에 따른 미디어 컨텐츠 재생성 장치(420)의 동작을 나타낸 순서도이다.
도 5에서는 미디어 컨텐츠 재생성 장치(420)에서 객체를 삽입하기 위한 위치를 결정한다.
도 5를 참조하면, 미디어 컨텐츠 재생성 장치(420)는 객체의 타입을 결정할 수 있다(단계 S500).
객체의 타입은 광고 컨텐츠, 객체 추가 컨텐츠 및 객체 대체 컨텐츠 중 하나로 결정될 수 있다.
광고 컨텐츠는 광고로서 미디어 컨텐츠에 추가적으로 삽입되는 추가 미디어 컨텐츠일 수 있다.
객체 추가 컨텐츠는 비광고 객체로서 기존에 미디어 컨텐츠에 존재하지 않았던 추가적으로 삽입되는 객체일 수 있다.
객체 대체 컨텐츠는 비광고 객체로서 기존에 미디어 컨텐츠에 존재하였던 객체를 대체하는 객체일 수 있다.
미디어 컨텐츠 재생성 장치(420)는 객체의 타입에 따라 미디어 컨텐츠에 추가될 객체의 추가 위치나 기존 객체를 대체하기 위한 객체의 대체 위치를 결정할 수 있다(단계 S510).
객체가 광고 컨텐츠인 경우, 광고 컨텐츠인 객체가 기존의 미디어 컨텐츠 내에 위치한 다른 객체를 가리지 않도록 객체의 위치를 결정할 수 있다. 전술한 바와 같이 기존의 객체, 글자 등을 가리지 않고, PPL 형태의 객체로서 기존의 미디어 컨텐츠 내에 추가되도록 추가 위치가 결정될 수 있다.
객체가 객체 추가 컨텐츠인 경우, 기존 미디어 컨텐츠 내에 위치한 다른 객체와의 상호 작용을 고려하여 객체 추가 컨텐츠인 객체의 추가 위치가 결정될 수 있다. 예를 들어, 추가되는 객체가 미디어 컨텐츠 내의 다른 객체와 대화를 하는 객체인 경우, 다른 객체의 시선, 방향 등을 고려하여 객체의 추가 위치가 결정될 수 있다.
객체가 객체 대체 컨텐츠인 경우, 기존 미디어 컨텐츠 내에 위치한 대체되는 다른 객체의 위치를 고려하여 객체 대체 컨텐츠인 객체의 위치가 결정될 수 있다. 예를 들어, 대체되는 다른 객체의 미디어 컨텐츠 내의 위치를 고려하여 해당 위치에서 객체가 다른 객체를 대체하도록 객체의 위치가 결정될 수 있다.
미디어 컨텐츠 재생성 장치(420)는 미디어 컨텐츠에 추가될 또는 기존 객체를 대체하기 위한 객체(이하, 이 객체를 '추가/대체될 객체'라 함)를 3D 객체로 렌더링한다(단계 S520).
미디어 컨텐츠 재생성 장치(420)는 추가/대체될 객체의 추가/대체를 위해 3D 객체로 렌더링할 수 있다. 전술한 바와 같이 데이터베이스 서버(440)에는 다양한 객체의 3D 데이터가 저장되어 있을 수 있다. 미디어 컨텐츠 재생성 장치(420)는 추가/대체될 객체와 가장 유사한 객체의 3D 데이터를 기반으로 추가/대체될 객체의 추가 특징을 고려하여 추가/대체될 객체를 3D 객체로 렌더링할 수 있다. 미디어 컨텐츠 재생성 장치(420)는 기존의 미디어 컨텐츠에 포함된 기존 객체의 명암, 그림자 정보를 기반으로 추가/대체될 객체의 명암, 그림자에 대한 정보도 결정할 수 있다.
미디어 컨텐츠 재생성 장치(420)는 3D 객체로 렌더링된 추가/대체될 객체를 2D 객체로 변환한다(단계 S530).
미디어 컨텐츠 재생성 장치(420)는 기존의 2D 기반의 미디어 컨텐츠로 추가/대체될 객체를 추가하기 위해 3D 객체를 2D 객체로 변환할 수 있다.
미디어 컨텐츠 재생성 장치(420)는 기존 미디어 컨텐츠 내에 포함되어 있는 기존 객체들을 촬상한 카메라의 촬상 시점을 결정하고, 결정된 카메라의 촬상 시점에 맞도록 3D 객체를 2D 객체로 변환할 수 있다. 예를 들어, 기존의 미디어 컨텐츠의 촬상 각도가 카메라가 위에서 아래 방향으로 촬상을 한 각도인 경우, 카메라의 촬상 각도를 고려하여 3D 객체의 아래 면이 보이도록 3D 객체를 회전시킨 후 2D 객체로 변환할 수 있다. 다른 예로, 기존의 미디어 컨텐츠의 촬상 각도가 카메라가 오른쪽에서 왼쪽으로 촬상한 각도인 경우, 카메라의 촬상 각도를 고려하여 3D 객체의 오른쪽 면이 보이도록 3D 객체를 회전시킨 후 2D 객체로 변환할 수 있다.
미디어 컨텐츠 재생성 장치(420)는 변환된 2D 객체를 기존의 미디어 컨텐츠에 삽입하여 재생성 미디어 컨텐츠를 생성한다(단계 S540).
미디어 컨텐츠 재생성 장치(420)는 변환된 2D 객체를 기존의 미디어 컨텐츠에 삽입하여 재생성 미디어 컨텐츠를 생성할 수 있다. 미디어 컨텐츠 재생성 장치(420)는 재생성 미디어 컨텐츠의 생성 후 재생성 미디어 컨텐츠 상에 삽입된 객체의 존재를 확인하여 컨텐츠의 재생성 여부를 재확인할 수 있다.
미디어 컨텐츠 재생성 장치(420)가 상기 미디어 컨텐츠에 상기 2D 객체의 추가 또는 대체를 위한 설정 정보를 추가하고, 미디어 컨텐츠 재생성 장치(420)가 2D 객체, 미디어 컨텐츠 및 상기 설정 정보를 사용자 장치(460)로 전송할 수 있다. 사용자 장치(460)는 미디어 컨텐츠의 프레임 정보가 2D 객체의 삽입을 지시하는 경우, 2D 객체를 미디어 컨텐츠에 삽입하도록 구현될 수 있다.
도 6은 본 발명의 실시예에 따른 프레임 정보 내에 객체 정보 삽입 방법을 나타낸 개념도이다.
도 6를 참조하면, 미디어 컨텐츠를 구성하는 복수의 프레임 각각의 헤더 정보로 객체 삽입 정보가 포함될 수 있다.
객체 삽입 정보는 미디어 컨텐츠를 구성하는 프레임 상에서 추가/대체될 객체가 삽입될 위치에 대한 객체 삽입 위치 정보, 삽입될 추가/대체될 객체의 식별 정보 등을 포함할 수 있다.
미디어 컨텐츠를 재생하는 사용자 장치(460)는 프레임의 헤더에 포함되어 있는 객체 삽입 정보를 기반으로 별도로 수신한 추가 미디어 컨텐츠로서 변환된 2D 객체의 미디어 컨텐츠 내에 삽입하여 재생할지 여부를 결정할 수 있다.
이와 같은 2D 영상 내의 3D 요소의 추출 및 3D 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (4)

  1. 2D(dimension) 영상 내의 3D 요소의 삽입을 기반으로 한 미디어 컨텐츠의 제작 방법은,
    미디어 컨텐츠 재생성 장치가 미디어 컨텐츠에 포함된 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 객체를 결정하는 단계;
    상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠 상에서 상기 미디어 컨텐츠에 추가될 상기 객체의 추가 위치 또는 상기 기존 객체를 대체하기 위한 상기 객체의 대체 위치를 결정하는 단계;
    상기 미디어 컨텐츠 재생성 장치가 상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체와 가장 유사한 객체의 3D 데이터를 기반으로 상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체를 3D 객체로 렌더링하는 단계;
    상기 미디어 컨텐츠 재생성 장치가 상기 기존 객체를 촬상한 카메라의 촬상 각도를 고려하여 상기 3D 객체로 렌더링된 상기 객체를 2D 객체로 변환하는 단계
    상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠에 변환된 상기 2D 객체의 추가 또는 상기 기존 객체의 대체를 위한 설정 정보를 추가하는 단계; 그리고
    상기 미디어 컨텐츠 재생성 장치가 상기 2D 객체, 상기 미디어 컨텐츠 및 상기 설정 정보를 사용자 장치로 전송하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠 상에서 상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체의 추가를 위한 위치 또는 대체를 위한 위치를 결정하는 단계는,
    상기 미디어 컨텐츠 재생성 장치가 상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체가 광고 컨텐츠인지, 비광고 컨텐츠인지 여부를 판단하는 단계;
    상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체가 상기 광고 컨텐츠인 경우, 상기 미디어 컨텐츠 재생성 장치가 상기 미디어 컨텐츠에 포함된 다른 객체들과 중첩되지 않도록 상기 광고 컨텐츠인 상기 객체의 위치를 결정하는 단계;
    상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체가 상기 비광고 컨텐츠이고 상기 미디어 컨텐츠에 추가되는 객체인 경우, 상기 미디어 컨텐츠 재생성 장치가 상기 기존 객체 중 상기 비광고 컨텐츠이고 추가되는 객체인 상기 객체와 상호 작용하는 적어도 하나의 기존 객체의 위치를 고려하여 상기 비광고 컨텐츠이고 추가되는 객체인 상기 객체의 위치를 결정하는 단계; 및
    상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체가 상기 비광고 컨텐츠이고 상기 기존 객체 중 하나의 기존 객체를 대체하는 객체인 경우, 상기 미디어 컨텐츠 재생성 장치가 상기 하나의 기존 객체의 위치를 고려하여 상기 비광고 컨텐츠이고 기존 객체를 대체하는 객체인 상기 객체의 위치를 결정하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 미디어 컨텐츠 재생성 장치가 상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체를 상기 3D 객체로 렌더링는 단계는,
    상기 미디어 컨텐츠 재생성 장치가 데이터베이스 서버를 기반으로 상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체에 대응되는 3D 데이터를 추출하는 단계; 및
    상기 미디어 컨텐츠 재생성 장치가 상기 3D 데이터에 상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체의 특징 정보를 추가하여 상기 기존 객체를 대체하거나 상기 미디어 컨텐츠에 추가될 상기 객체를 상기 3D 객체로 변환하는 단계를 포함하는 것을 특징으로 하는 방법.
KR1020160018636A 2016-02-17 2016-02-17 2d 영상 내의 3d 요소의 추출 및 3d 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템 KR101754524B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160018636A KR101754524B1 (ko) 2016-02-17 2016-02-17 2d 영상 내의 3d 요소의 추출 및 3d 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160018636A KR101754524B1 (ko) 2016-02-17 2016-02-17 2d 영상 내의 3d 요소의 추출 및 3d 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101754524B1 true KR101754524B1 (ko) 2017-07-20

Family

ID=59443234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160018636A KR101754524B1 (ko) 2016-02-17 2016-02-17 2d 영상 내의 3d 요소의 추출 및 3d 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101754524B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976772B1 (ko) * 2017-11-01 2019-08-28 주식회사 위즈엑스퍼트 도형 생성 방법 및 장치
KR20210023634A (ko) * 2019-08-23 2021-03-04 주식회사 예간아이티 3d 컨텐츠에서 객체를 이용하여 광고 컨텐츠를 제공하는 광고 제공 방법 및 광고 제공 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101571283B1 (ko) * 2011-11-08 2015-12-01 한국전자통신연구원 그래픽 오브젝트를 이용한 증강 미디어 콘텐츠를 제공하기 위한 미디어 콘텐츠 송신 방법 및 장치, 및 수신 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101571283B1 (ko) * 2011-11-08 2015-12-01 한국전자통신연구원 그래픽 오브젝트를 이용한 증강 미디어 콘텐츠를 제공하기 위한 미디어 콘텐츠 송신 방법 및 장치, 및 수신 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
인터넷 블로그 "OpenGL 프로그래밍 기본", http://heart4u.co.kr/tblog/248, 2010.02.19.*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976772B1 (ko) * 2017-11-01 2019-08-28 주식회사 위즈엑스퍼트 도형 생성 방법 및 장치
KR20210023634A (ko) * 2019-08-23 2021-03-04 주식회사 예간아이티 3d 컨텐츠에서 객체를 이용하여 광고 컨텐츠를 제공하는 광고 제공 방법 및 광고 제공 장치
KR20210118037A (ko) * 2019-08-23 2021-09-29 주식회사 예간아이티 3d 컨텐츠에서 객체를 이용하여 광고 컨텐츠를 제공하는 광고 제공 방법 및 광고 제공 장치
KR102305852B1 (ko) * 2019-08-23 2021-09-29 주식회사 예간아이티 3d 컨텐츠에서 객체를 이용하여 광고 컨텐츠를 제공하는 광고 제공 방법 및 광고 제공 장치
KR102418455B1 (ko) * 2019-08-23 2022-07-08 주식회사 예간아이티 3d 컨텐츠에서 객체를 이용하여 광고 컨텐츠를 제공하는 광고 제공 방법 및 광고 제공 장치

Similar Documents

Publication Publication Date Title
KR101348521B1 (ko) 비디오의 개인화
Bustillo et al. A flexible platform for the creation of 3D semi-immersive environments to teach Cultural Heritage
TWI521456B (zh) 視頻內容感知之廣告放置
JP2022508674A (ja) ３ｄシーン拡張及び再構築のためのシステム及び方法
KR102319423B1 (ko) 컨텍스트 기반 증강 광고
DeCamp et al. An immersive system for browsing and visualizing surveillance video
JP2019526133A (ja) 拡張された仮想現実
US20130235045A1 (en) Systems and methods for creating and distributing modifiable animated video messages
US20030051255A1 (en) Object customization and presentation system
US20080007567A1 (en) System and Method for Generating Advertising in 2D or 3D Frames and Scenes
CN107590771A (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
US20190171869A1 (en) Creating videos with facial expressions
CN101563698A (zh) 个性化视频
US11581020B1 (en) Facial synchronization utilizing deferred neural rendering
KR20200136930A (ko) 디지털 장면을 생성하기 위한 방법, 시스템, 제조품 및 장치
KR20120099814A (ko) 증강현실 컨텐츠 서비스 시스템과 장치 및 그 방법
KR101754524B1 (ko) 2d 영상 내의 3d 요소의 추출 및 3d 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템
US11880945B2 (en) System and method for populating a virtual crowd in real time using augmented and virtual reality
KR20090000729A (ko) 웹 기반 사이버 모델 하우스 구현 시스템 및 그 방법
Rushton et al. Immersive architectural legacies: the construction of meaning in virtual realities
Maejima et al. Instant casting movie theater: the future cast system
WO2022009607A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN115631287A (zh) 一种虚拟舞台人物数字化展现系统
KR101221540B1 (ko) 인터랙티브 미디어 매핑 시스템 및 그 방법
Gkion et al. Museum interactive experiences through a 3D reconstruction of the Church of Santa Chiara

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant