KR20180016424A - 관람자 관계형 동영상 제작 장치 및 제작 방법 - Google Patents

관람자 관계형 동영상 제작 장치 및 제작 방법 Download PDF

Info

Publication number
KR20180016424A
KR20180016424A KR1020177037200A KR20177037200A KR20180016424A KR 20180016424 A KR20180016424 A KR 20180016424A KR 1020177037200 A KR1020177037200 A KR 1020177037200A KR 20177037200 A KR20177037200 A KR 20177037200A KR 20180016424 A KR20180016424 A KR 20180016424A
Authority
KR
South Korea
Prior art keywords
spectator
viewer
relational
person
images
Prior art date
Application number
KR1020177037200A
Other languages
English (en)
Other versions
KR102027670B1 (ko
Inventor
천솔지
하승현
Original Assignee
(주)잼투고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)잼투고 filed Critical (주)잼투고
Publication of KR20180016424A publication Critical patent/KR20180016424A/ko
Application granted granted Critical
Publication of KR102027670B1 publication Critical patent/KR102027670B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H04N13/0007—
    • H04N13/0018—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Abstract

본 발명은 관람자 관계형 동영상 제작 장치 및 제작방법에 관한 것으로, 보다 자세하게는 수신된 동영상들을 관람자와의 관계에 따라 합성하여 관람자에게 제공할 수 있는 관람자 관계형 동영상 제작 장치 및 제작방법에 관한 것이다.

Description

관람자 관계형 동영상 제작 장치 및 제작 방법
본 발명은 관람자 관계형 동영상 제작 장치 및 제작방법에 관한 것으로, 보다 자세하게는 수신된 동영상들을 관람자와의 관계에 따라 합성하여 관람자에게 제공할 수 있는 관람자 관계형 동영상 제작 장치 및 제작방법에 관한 것이다.
종래의 동영상 컨텐츠 제공 방법에 따르면, 관람자는 방송, 교육, 광고 등 다양한 목적으로 제작된 동영상 컨텐츠를 선택하고, 지상파 방송수신, 케이블 방송수신, 인터넷 동영상 서비스 검색 등의 다양한 수신 방법을 선택하여 원하는 동영상 컨텐츠를 제공받는다.
이러한 종래의 방법에 따르면, 관람자는 이미 제작된 동영상 중에서 어떠한 동영상을 볼 것인지를 선택할 뿐이며, 동영상의 내용을 사용자에 맞도록 재구성하여 개인화(personalized)된 형태의 동영상을 제공받지 못하는 문제점이 있다.
종래기술1인 미국공개특허공보 제2010/0262992호(2010.10.14 공개)에서는 이러한 문제점을 해결하기 위한 기술이 공개되어 있다. 종래기술1은 모든 컨텐츠 소비자에게 전송되기 위해 제작된 제1 컨텐츠에 다양한 종류의 제2 컨텐츠를 중첩하여 전송한다. 이때, 중첩되는 제2 컨텐츠는 식별된 컨텐츠 소비자의 속성에 따라 선별적으로 선택되며, 각각의 컨텐츠 소비자의 속성에 따라 선별적으로 선택된 제2 컨텐츠는 제1 컨텐츠에 중첩되어, 해당 컨텐츠 소비자에게 각각 전송되는 특징이 있다.
따라서, 종래기술1은 방송신호 등으로 전송되는 제1 컨텐츠에 컨텐츠 소비자의 속성을 반영하여 선택된 제2 컨텐츠가 중첩되어 해당 컨텐츠 소비자에게 전송되므로, 분류된 제2 컨텐츠 중에서 컨텐츠 소비자의 속성에 의해 선택된 제2 컨텐츠를 컨텐츠 소비자에게 제공할 수 있다.
그러나, 종래기술1의 제2 컨텐츠는 특정 컨텐츠 소비자에게 특화된 정보를 포함하는 컨텐츠이나 이는 부수적인 컨텐츠에 불과하며 주위적인 제1 컨텐츠는 모든 컨텐츠 사용자에게 제공될 공통 컨텐츠이기 때문에 제1 컨텐츠에 대한 컨텐츠 소비자의 만족도, 적합도, 선호도, 관련도 등이 전혀 고려되지 않은 문제점이 있다.
종래기술2인 미국등록특허공보 제9,112,926호(2015.08.18 등록)에서는 컨텐츠 소비자의 속성에 따라 컨텐츠를 추천하는 기술이 공개되어 있다. 종래기술2에서는 컨텐츠 소비자들에게 각각의 속성을 지정하고, 제1 컨텐츠 소비자와 제2 컨텐츠 소비자가 유사 속성의 컨텐츠 소비자로 선발되는 경우, 제2 컨텐츠 소비자가 소비한 컨텐츠 중에서 제1 컨텐츠 소비자가 소비하지 않은 컨텐츠가 존재하는 경우, 제1 컨텐츠 소비자에게 해당 컨텐츠를 추천한다.
즉, 종래기술2는 유사 속성 컨텐츠 소비자들 상호 간에 소비한 컨텐츠를 추천하는 기술이며, 종래기술1 보다 컨텐츠 소비자들의 입장에서는 추천 컨텐츠의 만족도, 적합도 등에서 우수할 수 있다.
그러나, 종래기술2는 제작 완료된 컨텐츠를 컨텐츠 소비자의 속성에 따라 추천 및 제공만 할 뿐이며, 컨텐츠 소비자의 속성을 반영하여 컨텐츠를 새롭게 생성하거나 편집하여 제공하지 못하기 때문에 컨텐츠 소비자에 따라 각각 유니크한 컨텐츠를 제공하지 못하는 문제점이 있다.
종래기술3인 미국등록특허공보 제8,934,661호(2015.01.13 공개)에서는 사회적 정보에 의한 포토앨범 생성 기술이 공개되어 있다. 종래기술3은 사회적 네트워크를 이용한 포토 큐레이션 기술로써, 소셜 네트워킹 시스템 내에 포함된 다수의 사진들과 사진들 내의 객체들에 대한 정보를 저장한다. 이후 컨텐츠 소비자가 해당 소셜 네트워킹 시스템에 접속하는 경우, 사진과 객체들에 대한 정보를 분석하고, 사진에 대한 스코어(score)를 계산하여 소셜 네트워킹 시스템에 접속한 컨텐츠 소비자에게 연관된 사진만을 큐레이션 하여 제공하는 기술이다.
즉, 종래기술3은 컨텐츠 소비자에게 적합한 컨텐츠(사진)를 컨텐츠 소비자의 사회적 정보에 따라 추출하여 제공할 수 있는 특징이 있기 때문에 컨텐츠 소비자는 컨텐츠를 소비함에 있어서의 편의성, 만족도, 적합도 등이 높을 수 있다.
그러나 종래기술3은 이미 제작된 컨텐츠를 컨텐츠 소비자의 소셜 네트워킹 정보를 이용하여 선별하고, 선별된 컨텐츠를 일괄적으로 제공만 할 뿐이며, 이미 제작된 컨텐츠가 컨텐츠 소비자의 소셜 네트워킹 정보에 따라 새롭게 가공(편집)되어 제공되지 않기 때문에 해당 컨텐츠 소비자에게 특화되어 개인화된 컨텐츠를 제공받지 못하는 문제점이 있다.
본 발명은 상기의 문제점을 해결하기 위한 것으로, 본 발명에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 컨텐츠 제공자들로부터 컨텐츠들을 수신하고, 관람자의 컨텐츠 제공 요청이 이루어지는 경우, 수신된 컨텐츠들 중에서 일부를 신규 컨텐츠로 제작(편집)하여 관람자에게 제공하기 위한 목적이 있다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 본 발명은 인물별 객체 영상이 추출된 컨텐츠의 컨텐츠 정보 중에서 관람자 정보와 매칭하는 컨텐츠의 인물별 객체 영상을 선택하고, 선택된 인물별 객체 영상을 신규 컨텐츠로 제작하여 관람자에게 제공할 수 있도록 함으로써, 컨텐츠를 제공받는 관람자에게 최적화된 컨텐츠를 제공하기 위한 다른 목적이 있다.
본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 컨텐츠에서 인물별 객체 영상을 추출하고, 관람자 정보에 부합하는 인물별 객체 영상을 선택 및 편집하여 신규 컨텐츠로 제작한 후 관람자에게 제공하기 위한 또 다른 목적이 있다.
본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 제공자가 전송한 컨텐츠의 컨텐츠 정보 중에서 컨텐츠의 인물 정보와 관람자의 사회적 관계 정보를 상호 비교하여, 관람자의 사회적 관계 정보에 부합하는 인물 정보의 컨텐츠를 선택하고, 선택된 하나 이상의 컨텐츠를 신규 컨텐츠로 제작하여 관람자에게 제공하기 위한 또 다른 목적이 있다.
본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 관람자의 컨텐츠 관람 몰입도를 향상시키기 위해 신규로 제작되는 컨텐츠에 포함되는 인물별 객체 영상들의 정보에 각각 가중치를 설정하고, 관람자의 사회적 관계 정보에 의해 선택되는 인물별 객체 영상들의 가중치 값의 합을 계산함으로써, 제작되는 컨텐츠 내에서 인물별 객체 영상들의 레이어 지정과 크기를 계산된 가중치에 따라 상이하게 조절하여 컨텐츠를 제작하는 또 다른 목적이 있다.
본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 복수의 컨텐츠들의 인물 정보와 관람자의 사회적 관계 정보의 비교에 따라 선택된 컨텐츠를 다른 인물별 객체 영상들과 편집하여 신규 컨텐츠로 제작함에 있어서, 해당 사회적 관계 정보의 가중치에 따라 하나 이상의 컨텐츠를 선택하고, 선택된 컨텐츠를 신규 컨텐츠의 배경화면으로 사용하기 위한 또 다른 목적이 있다.
본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 관람자로부터 컨텐츠를 요청하는 요청정보를 수신하는 경우, 요청정보에 포함된 사회적 관계정보에 매칭하는 인물별 객체 영상을 우선 선택하여 신규 컨텐츠의 제작에 포함하도록 하는 또 다른 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 관람자 관계형 동영상 제작 장치는, 하나 이상의 제공자 단말기로부터 동영상들을 수신하고, 관람자 단말기로부터 관람자 관계형 동영상을 요청하는 요청신호를 수신하는 수신부; 상기 동영상들에서 인물별 객체 영상들을 추출하는 객체 영상 추출부; 상기 동영상들 별로 인물 정보를 포함하는 각각의 동영상 메타 데이터를 이용하여 상기 인물별 객체 영상의 객체 태그를 각각 생성하는 객체 태그 생성부; 관람자들 별로 사회적 관계 정보를 포함하는 각각의 관람자 메타 데이터를 이용하여 관람자 태그들을 각각 생성하는 관람자 태그 생성부; 상기 인물별 객체 영상들, 상기 객체 태그들 및 상기 관람자 태그들을 저장하는 저장부; 상기 수신부가 상기 요청신호를 수신하는 경우, 상기 저장부에 저장된 상기 관람자 태그들 중에서 상기 관람자 단말기의 관람자에 해당하는 관람자 태그의 사회적 관계 정보와 상기 저장부에 저장된 상기 객체 태그들의 각 인물 정보를 비교하고, 상기 비교에 따라 상기 관람자 태그에 부합하는 하나 이상의 객체 태그들을 도출하여 관람자 관계 정보를 생성하는 관계 매칭부; 상기 저장부에 저장된 인물별 객체 영상들 중에서 상기 관람자 관계 정보에 연관되는 하나 이상의 인물별 객체 영상을 선택하고, 선택된 상기 하나 이상의 인물별 객체 영상을 포함하도록 합성하여 관람자 관계형 동영상을 제작하는 관람자 관계형 동영상 제작부; 및 제작된 상기 관람자 관계형 동영상을 상기 관람자 단말기로 제공하는 관람자 관계형 동영상 배포부;를 포함하여 구성되는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 저장부는 상기 수신부에서 수신한 상기 동영상들을 더 저장하는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관람자 관계형 동영상 제작부는 상기 저장부에 저장된 상기 동영상들 중에서 상기 관계 매칭부에서 생성된 상기 관람자 관계 정보에 연관되는 하나 이상의 동영상을 더 선택하여 상기 합성을 수행하되, 상기 하나 이상의 동영상은 상기 관람자 관계형 동영상의 배경 영상으로 사용되는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관람자 태그 생성부는 복수의 항목들을 포함하는 상기 관람자 태그들을 생성하고, 상기 복수의 항목들에 가중치를 부여하되 상기 사회적 관계 정보에 높은 가중치를 부여하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관계 매칭부는 상기 관람자 태그들의 상기 복수의 항목들 중 상기 객체 태그와 매칭되는 항목들의 상기 가중치를 적용한 합을 이용하여 상기 객체 태그들의 매칭 순위를 산출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관람자 관계형 동영상 제작부는 상기 매칭 순위가 임계범위 이내의 객체 태그들에 연관된 인물별 객체 영상들을 선택하여 상기 관람자 관계형 동영상을 제작하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관람자 관계형 동영상 제작부는 상기 객체 태그들의 상기 매칭 순위에 대응하여 상기 관람자 관계형 동영상의 화면 내에서 출력되는 상기 인물별 객체 영상들에게 각각 레이어(layer)를 지정하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관람자 관계형 동영상 제작부는 상기 매칭 순위를 이용하여 상기 인물별 객체 영상들의 출력 위치를 배치하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관람자 관계형 동영상 제작부는 상기 인물별 객체 영상들에게 배치된 상기 출력 위치에 대응하여 상기 인물별 객체 영상들의 각 크기(size)를 조정하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관계 매칭부는 상기 관람자 단말기로부터 수신된 상기 요청신호에 실시간 메타 데이터가 존재하는 경우, 상기 관람자 단말기의 상기 관람자에 해당하는 상기 관람자 메타 데이터에 상기 실시간 메타 데이터를 더 포함시키는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관계 매칭부는 상기 관람자 단말기의 상기 관람자에 해당하는 상기 실시간 메타 데이터를 이용하여 생성한 관람자 태그와 상기 저장부에 저장된 상기 객체 태그들의 상기 인물 정보를 비교한 후, 상기 비교에 따라 상기 관람자 태그에 부합하는 하나 이상의 객체 태그들을 도출하여, 상기 관람자 관계 정보에 더 포함시키는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관람자 관계형 동영상 제작부는 상기 관람자 관계 정보 중에서 상기 실시간 메타 데이터에 연관되는 하나 이상의 인물별 객체 영상들을 우선 선택하고, 우선 선택된 상기 하나 이상의 인물별 객체 영상들을 더 포함하여 상기 관람자 관계형 동영상을 제작하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치에 있어서, 상기 관람자 메타 데이터에 포함되는 상기 관람자의 상기 사회적 관계 정보는 상기 관람자의 사회 관계망 서비스(SNS, Social Network Service)에서 제공받는 것을 특징으로 한다.
본 발명에 따른 관람자 관계형 동영상 제작 방법은, (a) 수신부가 하나 이상의 제공자 단말기로부터 동영상들을 수신하는 단계; (b) 객체 영상 추출부가 상기 동영상들에서 인물별 객체 영상들을 추출하는 단계; (c) 객체 태그 생성부가 상기 동영상들 별로 인물 정보를 포함하는 각각의 동영상 메타 데이터를 이용하여 상기 인물별 객체 영상들의 객체 태그를 각각 생성하는 단계; (d) 관람자 태그 생성부가 관람자들 별로 사회적 관계 정보를 포함하는 각각의 관람자 메타 데이터를 이용하여 관람자 태그를 각각 생성하는 단계; (e) 저장부가 상기 인물별 객체 영상들, 상기 객체 태그들 및 상기 관람자 태그들을 저장하는 단계; (f) 수신부가 관람자 단말기로부터 관람자 관계형 동영상을 요청하는 요청신호를 수신하는 단계; (g) 관계 매칭부가 상기 저장부에 저장된 상기 관람자 태그들 중에서 상기 관람자 단말기의 관람자에 해당하는 관람자 태그의 사회적 관계 정보와 상기 저장부에 저장된 상기 객체 태그들의 각 인물 정보를 비교하고, 상기 비교에 따라 상기 관람자 태그에 부합하는 하나 이상의 객체 태그들을 도출하여 관람자 관계 정보를 생성하는 단계; (h) 관람자 관계형 동영상 제작부가 상기 저장부에 저장된 인물별 객체 영상들 중에서 상기 관람자 관계 정보에 연관되는 하나 이상의 인물별 객체 영상을 선택하고, 선택된 상기 하나 이상의 인물별 객체 영상을 포함하도록 합성하여 관람자 관계형 동영상을 제작하는 단계; 및 (i) 관람자 관계형 동영상 배포부가 제작된 상기 관람자 관계형 동영상을 상기 관람자 단말기로 제공하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (e) 단계에서 상기 저장부는 상기 수신부에서 수신한 상기 동영상들을 더 포함하여 저장하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 저장부에 저장된 상기 동영상들 중에서 상기 관계 매칭부에서 생성된 상기 관람자 관계 정보에 연관되는 하나 이상의 동영상을 더 선택하여 상기 합성을 수행하되, 상기 하나 이상의 동영상은 상기 관람자 관계형 동영상의 배경 영상으로 사용되는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (d) 단계에서 상기 관람자 태그 생성부는 상기 관람자 태그는 복수의 항목을 포함하여 생성되고, 상기 관람자 태그들의 각 항목에 가중치를 부여하되 상기 사회적 관계정보에 높은 가중치를 부여하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (g) 단계에서 상기 관계 매칭부는 상기 관람자 태그들의 상기 복수의 항목들 중 상기 객체 태그와 매칭되는 항목들의 상기 가중치를 적용한 합을 이용하여 상기 객체 태그들의 매칭 순위를 산출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는상기 매칭 순위가 임계범위 이내의 객체 태그들에 연관된 인물별 객체 영상들을 선택하여 상기 관람자 관계형 동영상을 제작하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 객체 태그들의 상기 매칭 순위에 대응하여 상기 관람자 관계형 동영상의 화면 내에서 출력되는 상기 인물별 객체 영상들에게 각각 레이어(layer)를 지정하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 매칭 순위를 이용하여 상기 인물별 객체 영상들의 출력 위치를 배치하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 인물별 객체 영상들에게 배치된 상기 출력 위치에 대응하여 상기 인물별 객체 영상들의 각 크기(size)를 조정하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (f) 단계에서 상기 관계 매칭부는 상기 관람자 단말기로부터 수신된 상기 요청신호에 실시간 메타 데이터가 존재하는 경우, 상기 관람자 단말기의 상기 관람자에 해당하는 상기 관람자의 메타 데이터에 상기 실시간 메타 데이터를 더 포함시키는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (g) 단계에서 상기 관계 매칭부는 상기 관람자 단말기의 상기 관람자에 해당하는 실시간 메타 데이터를 이용하여 생성한 관람자 태그와 상기 저장부에 저장된 상기 객체 태그들의 상기 인물 정보를 비교한 후, 상기 비교에 따라 상기 관람자 태그에 부합하는 하나 이상의 객체 태그들을 도출하여, 상기 관람자 관계 정보에 더 포함시키는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 관람자 관계 정보 중에서 상기 실시간 메타 데이터에 연관되는 하나 이상의 인물별 객체 영상들을 우선 선택하고, 우선 선택된 상기 하나 이상의 인물별 객체 영상들을 더 포함하여 상기 관람자 관계형 동영상을 제작하는 것을 특징으로 한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 방법에 있어서, 상기 (g) 단계에서 상기 관람자 메타 데이터에 포함되는 상기 관람자의 상기 사회적 관계 정보는 상기 관람자의 사회 관계망 서비스(SNS, Social Network Service)에서 제공받는 것을 특징으로 한다.
본 발명의 상기의 구성을 통해, 본 발명에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 컨텐츠 제공자들로부터 컨텐츠들을 수신하고, 관람자의 컨텐츠 제공 요청이 이루어지는 경우, 수신된 컨텐츠들 중에서 일부를 신규 컨텐츠로 제작(편집)하여 관람자에게 제공할 수 있는 효과를 제공한다.
본 발명의 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 인물별 객체 영상이 추출된 컨텐츠의 컨텐츠 정보 중에서 관람자 정보와 매칭하는 컨텐츠의 인물별 객체 영상을 선택하고, 선택된 인물별 객체 영상을 신규 컨텐츠로 제작하여 관람자에게 제공할 수 있도록 함으로써, 컨텐츠를 제공받는 관람자에게 최적화된 컨텐츠를 제공할 수 있는 다른 효과를 제공한다.
본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 컨텐츠에서 인물별 객체 영상을 추출하고, 관람자 정보에 부합하는 인물별 객체 영상을 선택 및 편집하여 신규 컨텐츠로 제작한 후 관람자에게 제공할 수 있는 또 다른 효과를 제공한다.
본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 제공자가 전송한 컨텐츠의 컨텐츠 정보 중에서 컨텐츠의 인물 정보와 관람자의 사회적 관계 정보를 상호 비교하여, 관람자의 사회적 관계 정보에 부합하는 인물 정보의 컨텐츠를 선택하고, 선택된 하나 이상의 컨텐츠를 신규 컨텐츠로 제작하여 관람자에게 제공할 수 있는 또 다른 효과를 제공한다.
본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 관람자의 컨텐츠 관람 몰입도를 향상시키기 위해 신규로 제작되는 컨텐츠에 포함되는 인물별 객체 영상들의 정보에 각각 가중치를 설정하고, 관람자의 사회적 관계 정보에 의해 선택되는 인물별 객체 영상들의 가중치 값의 합을 계산함으로써, 제작되는 컨텐츠 내에서 인물별 객체 영상들의 레이어 지정과 크기를 계산된 가중치에 따라 상이하게 조절하여 컨텐츠를 제작할 수 있는 또 다른 효과를 제공한다.
본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 복수의 컨텐츠들의 인물 정보와 관람자의 사회적 관계 정보의 비교에 따라 선택된 컨텐츠를 다른 인물별 객체 영상들과 편집하여 신규 컨텐츠로 제작함에 있어서, 해당 사회적 관계 정보의 가중치에 따라 하나 이상의 컨텐츠를 선택하고, 선택된 컨텐츠를 신규 컨텐츠의 배경화면으로 사용할 수 있는 또 다른 효과를 제공한다.
마지막으로, 본 발명의 다른 실시예에 따른 관람자 관계형 동영상 제작 장치 및 제작 방법에 따르면, 관람자로부터 컨텐츠를 요청하는 요청정보를 수신하는 경우, 요청정보에 포함된 사회적 관계정보에 매칭하는 인물별 객체 영상을 우선 선택하여 신규 컨텐츠의 제작에 포함할 수 있도록 하는 또 다른 효과를 제공한다.
도 1은 본 발명의 전체 개요를 나타내기 위한 구성도,
도 2는 본 발명의 컨텐츠 제작 형태를 나타내기 위한 구성도,
도 3은 본 발명에 따른 관람자 관계형 동영상 제작 장치를 나타내기 위한 구성도,
도 4는 본 발명에 따른 관람자 관계형 동영상 제작 방법을 나타내기 위한 순서도,
도 5는 본 발명의 일 구현 예에 따른 객체 태그를 나타내기 위한 예시도,
도 6은 본 발명의 일 구현 예에 따른 관람자 태그를 나타내기 위한 예시도,
도 7은 본 발명의 일 구현 예에 따른 제공자 동영상을 나타내기 위한 예시도,
도 8은 본 발명의 일 구현 예에 따라 제공자의 동영상에서 추출한 인물별 객체 영상을 나타내기 위한 예시도,
도 9는 본 발명의 일 구현 예에 따라 인물별 객체 영상에 레이어를 지정하여 관람자 관계형 동영상을 제작하는 것을 나타내기 위한 예시도,
도 10은 본 발명의 일 구현 예에 따라 관람자 태그의 사회적 관계에 대응하는 관람자 관계형 동영상을 제작하는 것을 나타내기 위한 예시도,
도 11은 본 발명의 일 구현 예에 따라 관람자 태그에 부합하는 객체 태그에 연관된 인물별 객체 영상을 객체 태그의 매칭 순위에 의해 관람자 관계형 동영상의 화면 내에서 위치 및 크기를 조절하는 것을 나타내기 위한 예시도,
도 12는 본 발명의 일 구현 예에 따라 관람자 태그에 부합하는 객체 태그에 연관된 인물별 객체 영상을 관람자 관계형 동영상의 배경화면으로 사용하는 것을 나타내기 위한 예시도,
도 13은 본 발명의 일 구현 예에 따라 관람자 태그에 부여된 가중치에 따라 관람자 태그에 부합되는 객체 태그의 가중치를 계산하는 것을 나타내기 위한 예시도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되어서는 안되며, 발명자는 자신의 발명을 최선의 방법으로 설명하기 위해 용어와 개념을 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형 예가 있을 수 있다.
명세서 전반에서 어떠한 부분이 어떤 구성요소를 “포함”한다는 기재는, 이에 대한 특별한 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 “..모듈”, “..부”, “..서버”, “..시스템” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 하나의 장치 또는 각각 다른 장치에 포함될 수 있다.
이하 첨부된 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 전체 개요를 나타내기 위한 구성도이다. 도 1에 도시된 바와 같이, 제공자들(A, B, C)은 동영상 컨텐츠를 각각의 제공자 단말기(미도시)를 통해 관람자 관계형 동영상 제작 장치(200)에 업로드하고, 각 관람자들(a, b, c)은 관계형 동영상 제작 장치(200)에서 제작된 관람자 관계형 동영상을 웹사이트(300)에 접속할 수 있는 각각의 관람자 단말기들(410, 420, 430)을 이용하여 제공받을 수 있다.
각 제공자들은 다양한 방법으로 동영상을 촬영할 수 있는데, 제공자 A와 같이 전문 비디오 카메라 등의 장비를 이용하여 동영상을 촬영할 수 있으며, 제공자 B와 같이 PC, 노트북 등에 구비된 카메라를 이용하여 동영상을 촬영할 수 있다. 또한, 최근 모바일 기기에 포함된 카메라의 촬영 품질이 향상되고 있어, 외부의 어떠한 장소에서라도 제공자 C와 같이 모바일 기기의 카메라를 이용하여 동영상을 촬영할 수 있다.
이에 따라 각 제공자들(A, B, C)은 네트워크를 통해 관람자 관계형 동영상 제작 장치(200)에 접속할 수 있는 제공자 단말기(미도시)를 이용하여 촬영된 또는 저장된 동영상을 관람자 관계형 동영상 제작 장치(200)에 업로드 한다.
이때 촬영되는 동영상은 제공자들이 직접 각각의 주제를 선정하여 촬영한 동영상일 수 있으며, 특정 이벤트에 대응하여 각 제공자들이 동일한 주제를 촬영한 동영상일 수 있다.
제공자들이 직접 각각의 주제를 선정하여 촬영한 동영상인 경우에는 제공자 별로 업로드 되는 동영상의 내용이 각기 상이하며, 특정 이벤트에 대응하여 촬영한 동영상인 경우에는 제공자 별로 업로드 되는 동영상의 내용은 동일하고, 동영상에 포함된 인물, 배경, 조명 등은 서로 상이할 수 있다.
예를 들어 특정 이벤트는 어느 하나의 노래를 부르는 것일 수 있으며, 각 제공자들은 해당 노래와 관련된 촬영을 통해 생성된 동영상을 관람자 관계형 동영상 제작 장치(200)로 업로드 할 수 있다.
한편, 제공자들(A, B, C)이 제공하는 동영상은 각 제공자의 제공자 단말기(미도시) 또는 제공자 단말기와 별도의 촬영 장비를 이용하여 촬영된 것이며, 촬영된 동영상은 해당 제공자들(A, B, C)의 제공자 단말기(미도시)를 통해 관람자 관계형 동영상 제작 장치(200)로 전송할 수 있다. 또한, 별도의 촬영 장비를 이용하여 촬영된 동영상을 제공자 단말기(미도시)를 이용하여 관계형 동영상 제작 장치(200)로 전송할 수 있다.
또한, 도 1에 제시된 전문 비디오 카메라, PC 또는 노트북 등에 구비된 카메라, 모바일 기기의 카메라 등은 실내 또는 실외 등의 촬영 장소 제약 없이 동영상을 촬영할 수 있다.
관람자들(a, b, c)은 관람자 관계형 동영상 제작 장치(200) 또는 관람자 관계형 동영상 제작 장치(200)에서 웹사이트(300) 등을 통해 제공하는 동영상을 각 관람자들(a, b, c)이 관람자 단말기들(410, 420, 430)을 이용하여 관람할 수 있다. 이때, 관람자들(a, b, c)이 관람하는 동영상은 관람자 관계형 동영상 제작 장치(200)에서 관람자들(a, b, c) 각각의 관람자 태그 중에서 ‘사회적 관계’ 정보에 부합하는 객체 태그에 연관된 인물별 객체 영상을 이용하여 제작된 동영상이다.
도 2는 본 발명의 컨텐츠 제작 형태를 나타내기 위한 구성도이다. 도 2에 도시된 바와 같이, 제공자들(A, B, C)은 촬영한 또는 저장된 동영상들(510, 520, 530)을 각각의 제공자 단말기(미도시)를 통해 관람자 관계형 동영상 제작 장치(200)에 업로드 하면, 관람자 관계형 동영상 제작 장치(200)는 해당 제공자들(A, B, C)의 각 동영상들(510, 520, 530)에서 인물별 객체 영상들(511, 521, 531)을 추출한다.
인물별 객체 영상들(511, 521, 531)은 각 동영상들(510, 520, 530)의 출연하는 인물을 포함하는 부분적인 객체 영상이며, 필요에 따라 인물별 객체 영상에는 동영상에 포함된 오디오 데이터를 더 포함할 수 있다.
각각의 인물별 객체 영상들(511, 521, 531)은 동영상에서 추출하고자 하는 객체만을 남기고 나머지 영상을 제외하는 것으로, 대표적인 인물별 객체 영상 추출방법으로는 크로마키(chroma-key) 방법을 예시할 수 있다.
추출된 인물별 객체 영상들(511, 521, 531)은 관람자 관계형 동영상 제작 장치(200)에 저장된다. 이후, 관람자들(a, b, c)의 각 관람자 단말기들(410, 420, 430)로부터 관람자 관계형 동영상을 요청하는 요청신호를 수신하는 경우, 관람자 관계형 동영상 제작 장치(200)는 요청신호를 전송한 관람자의 관람자 태그 중에서 ‘사회적 관계’ 정보에 부합하는 객체 태그에 연관된 하나 이상의 인물별 객체 영상들을 선택한다. 관람자 관계형 동영상 제작 장치(200)는 선택된 하나 이상의 인물별 객체 영상(511, 521, 531)들을 합성하여 각 요청신호를 전송한 관람자들(a, b, c)에 연관되는 관람자 관계형 동영상들(610, 620, 630)을 제작한다. 관람자 관계형 동영상 제작 장치(200)는 제작된 관람자 관계형 동영상들(610, 620, 630)을 각 관람자들(a, b, c)의 관람자 단말기(410, 420, 430)로 전송한다.
도 6의 관람자 태그를 참조하면, 관람자 a의 ‘사회적 관계’ 정보와 연관된 제공자는 제공자 G, 제공자 B, 제공자 C이고, 관람자 관계형 동영상 제작 장치(미도시)에 수신된 동영상은 제공자 A, 제공자 B, 제공자 C이므로 관람자 a의 ‘사회적 관계’ 정보에 따라 선택되는 인물별 객체 영상들은 인물별 객체 영상 002(521)와 인물별 객체 영상 003(531)이다. 따라서, 관람자 a가 관람자 관계형 동영상을 요청하는 경우, 인물별 객체 영상 002(521)와 인물별 객체 영상 003(531)을 합성하여 관람자 a를 위한 관람자 관계형 동영상(610)을 제작하여 관람자 a의 관람자 단말기(410)로 전송할 수 있다.
또한, 관람자 b의 ‘사회적 관계’ 정보와 연관된 제공자는 제공자 A 및 제공자 B이고, 선택되는 인물별 객체 영상들은 인물별 객체 영상 001(511)과 인물별 객체 영상 002(521)이며, 관람자 b가 관람자 관계형 동영상을 요청하는 경우, 인물별 객체 영상 001(511)와 인물별 객체 영상 002(521)를 합성하여 관람자 b를 위한 관람자 관계형 동영상(620)을 제작하여 관람자 단말기(420)로 전송할 수 있다.
또한, 관람자 c의 ‘사회적 관계’ 정보와 연관된 제공자는 제공자 A, B 및 C이고, 선택되는 인물별 객체 영상들은 인물별 객체 영상 001(511), 인물별 객체 영상 002(521)와 인물별 객체 영상 003(531)이며, 관람자 c가 관람자 관계형 동영상을 요청하는 경우, 인물별 객체 영상 001(511), 인물별 객체 영상 002(521)와 인물별 객체 영상 003(531)을 합성하여 관람자 c를 위한 관람자 관계형 동영상(630)을 제작하여 관람자 단말기(430)로 전송할 수 있다.
도 3은 본 발명에 따른 관람자 관계형 동영상 제작 장치를 나타내기 위한 구성도이다. 도 3에 도시된 바와 같이, 관람자 관계형 동영상 제작 장치(200)는 하나 이상의 제공자 단말기(110, 120, 130, 140)로부터 동영상들을 수신하고, 관람자 단말기로부터 관람자 관계형 동영상을 요청하는 요청신호를 수신하는 수신부(210), 상기 동영상들에서 인물별 객체 영상들을 추출하는 객체 영상 추출부(220), 상기 동영상들 별로 인물 정보를 포함하는 각각의 동영상 메타 데이터를 이용하여 상기 인물별 객체 영상의 객체 태그를 각각 생성하는 객체 태그 생성부(230), 관람자들 별로 사회적 관계 정보를 포함하는 각각의 관람자 메타 데이터를 이용하여 관람자 태그들을 각각 생성하는 관람자 태그 생성부(250), 상기 인물별 객체 영상들, 상기 객체 태그들 및 상기 관람자 태그들을 저장하는 저장부(240), 상기 수신부(210)가 상기 요청신호를 수신하는 경우, 상기 저장부(240)에 저장된 상기 관람자 태그들 중에서 상기 관람자 단말기(410, 420, 430, 440)의 관람자에 해당하는 관람자 태그의 사회적 관계 정보와 상기 저장부(240)에 저장된 상기 객체 태그들의 각 인물 정보를 비교하여, 상기 비교에 따라 상기 관람자 태그에 부합하는 하나 이상의 객체 태그들을 도출하여 관람자 관계 정보를 생성하는 관계 매칭부(260), 상기 저장부(240)에 저장된 인물별 객체 영상들 중에서 상기 관람자 관계 정보에 연관되는 하나 이상의 인물별 객체 영상들을 선택하고, 선택된 상기 하나 이상의 인물별 객체 영상들을 합성하여 관람자 관계형 동영상을 제작하는 관람자 관계형 동영상 제작부(270) 및 제작된 상기 관람자 관계형 동영상을 상기 관람자 단말기(410, 420, 430, 440)로 제공하는 관람자 관계형 동영상 배포부(280)를 포함한다.
수신부(210)는 제공자들(A, B, C, D) 의 제공자 단말기들(110, 120, 130, 140)이 각각 촬영하거나 보유한 동영상을 수신한다. 수신부(210)는 온라인을 통해 제공자 단말기들(110, 120, 130, 140)과 직접 연결되거나, 웹사이트 등을 통해 제공자 단말기들(110, 120, 130, 140)이 온라인을 통해 간접적으로 접속할 수 있는 환경을 제공한다. 이에 따라 제공자 단말기들(110, 120, 130, 140)은 수신부(210)로 동영상들을 전송하거나, 웹사이트에 접속한 상태에서 동영상을 수신부(210)로 전송할 수 있다.
수신부(210)가 제공자 단말기들(110, 120, 130, 140)로부터 동영상을 수신하는 경우, 수신되는 동영상들에는 각각의 제공자들(A, B, C, D)의 동영상 메타 데이터가 포함되어 있으며, 동영상과 별도로 제공자 단말기들(110, 120, 130, 140)로부터 동영상 메타 데이터를 수신할 수 있다. 또한, 관람자 관계형 동영상 제작 장치(200) 내의 저장부(240)에 제공자의 동영상 메타 데이터가 저장되어 있을 수 있다.
수신부(210)는 실시예에 따라 제공자 단말기들(110, 120, 130, 140)로부터 수신한 동영상들, 제공자의 동영상 메타 데이터 등을 저장부(240)에 저장하며, 관람자 단말기들(410, 420, 430, 440)로부터 수신한 관람자 관계형 동영상을 요청하는 요청신호에 포함된 각 관람자들(a, b, c, d)의 실시간 메타 데이터 등을 저장부(240)에 저장할 수 있다.
한편, 예컨대 관람자의 회원 정보, 개인 정보, 선호 정보, 사회적 관계 정보 등을 포함하는 관람자 메타 데이터도 저장부(240)에 저장되어 있다. 실시간 메타 데이터는 각 관람자들(a, b, c, d)로부터 관람자 단말기들(410, 420, 430, 440)에 각각 입력되거나 선택된 정보이며, 수신부(210)에서 수신한 요청신호에 실시간 메타 데이터가 포함된 경우, 해당 실시간 메타 데이터는 해당 관람자의 관람자 메타 데이터에 포함되어 저장부(240)에 저장될 수 있다.
수신부(210)에서 수신하는 동영상에는 오디오 데이터가 포함될 수 있으며, 동영상에 포함된 오디오 데이터는 동영상의 영상 데이터와는 별개의 파일로 이루어지거나, 동영상의 영상 데이터와 함께 인코딩 되어 영상 데이터와 오디오 데이터가 하나의 파일로 이루어질 수 있으며, 동영상의 오디오 데이터에는 특정 이벤트를 수행하면서 생성되는 공연자의 음성, 공연에 사용된 음향 등의 소리를 포함할 수 있다.
또한, 수신부(210)는 제공자 단말기들(110, 120, 130, 140)로부터 동영상들을 수신할 수 있으며, 관람자 단말기들(410, 420, 430, 440)로부터 관람자 관계형 동영상을 요청하는 요청신호(실시간 메타 데이터를 포함할 수 있음)를 수신하거나, 요청신호와는 별도로 전송되는 관람자들(a, b, c, d)의 각 실시간 메타 데이터를 수신할 수 있다. 이에 따라 수신부(210)는 제공자 단말기들(110, 120, 130, 140)과 관람자 단말기들(410, 420, 430, 440)로부터 전송되는 데이터를 모두 수신하도록 되어 있다.
그러나, 제공자 단말기들(110, 120, 130, 140)로부터 동영상들을 수신하는 제1 수신부(미도시)와 관람자 단말기들(410, 420, 430, 440)로부터 관람자 관계형 동영상을 요청하는 요청신호 또는 관람자들(a, b, c, d)의 각 실시간 메타 데이터 등을 수신하는 제2 수신부(미도시)로 각각 구분되어 구성될 수 있다.
도 3에서는 제공자 단말기들(110, 120, 130, 140)과 관람자 단말기들(410, 420, 430, 440)로부터 동영상들, 관람자 관계형 동영상을 요청하는 요청신호, 관람자들(a, b, c, d)의 각 실시간 메타 데이터 등을 모두 수신하는 하나의 수신부(210)가 도시되어 있다.
수신부(210)에 동영상을 전송하는 제공자들(A, B, C, D)은 관람자 관계형 동영상 제작 장치(200)를 운영하는 주체의 회원 또는 임의의 제공자이며, 모든 제공자는 각자가 사용하는 제공자 단말기(110, 120, 130, 140)를 사용하여 동영상을 전송할 수 있다.
또한, 관람자 관계형 동영상 제작 장치(200)에 관람자 관계형 동영상을 요청하는 관람자들(a, b, c, d)은 관람자 관계형 동영상 제작 장치(200)을 운영하는 주체의 회원 또는 임의의 관람자이며, 모든 관람자는 각자가 사용하는 관람자 단말기(410, 420, 430, 440)를 사용하여 관람자 관계형 동영상을 요청할 수 있다.
객체 영상 추출부(220)는 저장부(240)에 저장된 동영상에서 인물별 객체 영상을 추출하기 위한 구성이다. 동영상에는 인물, 사물, 배경화면 등의 다양한 객체가 촬영되어 있으며, 객체 영상 추출부(220)는 다양한 객체 중에서 필요한 객체인 인물을 선별적으로 선택하여 추출함으로써 인물별 객체 영상을 추출할 수 있다. 객체 영상 추출부(220)에서 동영상들로부터 추출되는 인물별 객체 영상들은 정지 영상(static image) 또는 동영상(motion pictures) 중 어느 하나 이상으로 이루어 질 수 있다. 인물별 객체 영상은 반드시 해당 인물을 식별할 수 있는 객체 영상에만 한정되지 않고, 해당 인물의 신체의 일부 또는 해당 인물의 소유물을 촬영한 객체 영상이 될 수 있다.
인물별 객체 영상은 하나의 객체가 선택되어 포함될 수 있으며, 필요에 따라 둘 이상의 객체들이 선택되어 복수의 객체들을 포함할 수 있다. 즉, 인물별 객체 영상 내에는 하나 또는 둘 이상의 객체가 포함되어 있을 수 있으며, 동영상에 포함된 둘 이상의 객체를 각각 개별적으로 선택하고 추출하여 둘 이상의 인물별 객체 영상을 생성할 수 있다.
객체 영상 추출부(220)에서 인물별 객체 영상을 추출하는 방법은 다양하게 수행될 수 있으나, 배경을 파란색(blue) 또는 초록색(green) 등의 색상으로 설정하고 촬영한 동영상을 수신하면, 동영상의 배경을 제거하고 인물별 객체 영상을 추출하는 크로마키(chroma-key) 방법을 사용하는 것이 바람직하다.
그러나 인물별 객체 영상을 추출하는 방법으로 크로마키(chroma-key)를 사용하기 위해서는 동영상의 배경을 크로마(chroma) 기법에서 키(key) 값의 색상으로 설정하고 촬영해야 하기 때문에 이러한 키(key) 값을 배경화면으로 하는 동영상에 대해서만 크로마키(chroma-key) 방법으로 인물별 객체 영상을 추출할 수 있다. 또한, 크로마 기술의 키(key) 값을 사용하여 촬영되지 않은 동영상의 경우에는 이미 공지된 다른 객체 추출 방법을 사용하여 인물별 객체 영상을 생성할 수 있다.
객체 영상 추출부(220)는 각각의 동영상들로부터 추출한 하나 이상의 인물별 객체 영상을 저장부(240)에 저장한다.
한편, 객체 영상 추출부(220)는 수신된 동영상에 포함된 오디오 데이터를 객체 오디오로 추출하여 인물별 객체 영상과 함께 저장부(240)에 저장할 수 있으며, 동영상과 별개의 파일로 존재하는 오디오 데이터가 수신된 경우에는 해당 오디오 데이터를 객체 오디오로 설정한 후, 인물별 객체 영상과 함께 저장부(240)에 저장할 수 있다.
객체 태그 생성부(230)는 저장부(240)에 저장된 동영상과 해당 동영상을 전송한 제공자의 동영상 메타 데이터를 이용하여 객체 태그를 생성한다.
각 제공자들(A, B, C, D)의 동영상 메타 데이터에는 동영상의 속성 정보, 동영상에 촬영된 인물 및 사물, 배경에 관한 동영상의 내용 정보, 제공자의 회원 정보, 동영상 제작자 정보 등이 포함될 수 있다. 관람자와의 사회적 관계를 매칭하기 위해 동영상 메타 데이터는 동영상에 촬영된 인물 정보를 포함한다. 이때 동영상의 속성 정보에는 동영상의 파일명, 크기, 파일형태(파일포맷), 촬영시간, 촬영위치, 영상장르, 재생시간, 이벤트 번호 등의 정보가 포함되며, 동영상의 내용 정보에는 동영상에 촬영된 인물(공연자), 사물, 배경 등에 대한 정보가 포함되며, 제공자의 회원 정보에는 회원 가입에 따른 제공자의 개인 정보를 비롯하여 사회적 관계에 대한 사회적 관계 정보, 선호도 정보(선호 장르), 거주지, 성별, 연령 등이 포함될 수 있다.
동영상의 내용 정보는 수신부(210)가 수신한 동영상을 분석하여 동영상에 촬영된 인물, 사물 또는 배경 등을 화면 검출 방식을 통해 식별하여 도출되는 인물, 사물 또는 배경에 대한 정보이며, 이러한 동영상 내용 정보는 제공자의 동영상 메타 데이터에 포함될 수 있다.
동영상의 속성 정보와 동영상의 내용 정보는 동영상 메타 데이터에 포함되며, 동영상 메타 데이터는 동영상 내에 포함되거나 별도의 데이터(또는 파일)로 존재할 수 있다.
제공자들(A, B, C, D)의 각 회원 정보는 동영상을 제공한 제공자의 개인 정보를 포함하고 있으며, 특히 제공자의 사회적 관계에 대한 정보가 포함될 수 있다. 사회적 관계 정보는 제공자의 SNS(Social Network Service), 휴대폰(Mobile Phone) 주소록, 저장부(240) 등에 저장된 제공자의 회원 정보 등의 서비스 또는 장치에 저장된 친구 목록 등을 포함한다.
객체 태그 생성부(230)는 이러한 동영상의 속성 정보, 내용 정보 및 제공자의 회원 정보를 포함하는 제공자의 동영상 메타 데이터를 사용하여 객체 태그를 생성한다. 이때, 동영상 내용 정보에 포함된 인물 정보는 객체 태그의 별도의 항목일 수도 있고 실시예에 따라서는 객체 태그의 ‘사회적 관계’ 정보에 포함될 수도 있다. 또한, 제공자의 사회적 관계에 대한 정보도 객체 태그의 ‘사회적 관계’ 정보에 포함된다.
각각의 인물별 객체 영상에 대응하여 생성되는 객체 태그는 도 5에 도시된 바와 같이, 다수의 항목으로 구분되며, 각각의 인물별 객체 영상에 따라 각 항목별로 정보를 포함하기도 하며, 정보가 포함되지 않을 수도 있다.
도 5는 본 발명의 일 구현 예에 따른 객체 태그를 나타내기 위한 예시도이다. 도 5에 도시된 바와 같이, 제공자들(A, B, C, D)이 각각 전송한 동영상들에서 추출한 각 인물별 객체 영상 001, 인물별 객체 영상 002, 인물별 객체 영상 003 및 인물별 객체 영상 004에 대한 각각의 객체 태그를 나타내고 있으며, 각 객체 태그의 항목은 동영상의 속성 정보를 통한 제공자, 재생시간, 파일 포맷 등의 정보를 포함하고 있고, 동영상의 내용 정보를 통한 공연자(복수의 인물 정보일 수 있다), 영상 장르 등의 정보를 포함하고 있고, 제공자의 회원 정보를 통해서는 사회적 관계, 거주지, 선호 장르, 성별, 연령 등의 정보를 포함하고 있다.
한편, 도 5에 도시된 객체 태그의 형태는 본 발명의 일실시예에 따라 나타내고 있으며, 이외에도 다양한 형태 및 항목을 이용하여 객체 태그를 생성할 수 있다.
저장부(240)는 하나 또는 복수로 구성될 수 있으며, 제공자 단말기들(110, 120, 130, 140)로부터 전송되는 동영상들을 저장하고, 저장된 동영상들로부터 추출한 인물별 객체 영상들을 저장하고, 각 인물별 객체 영상들에 대한 객체 태그들을 저장한다. 또한, 관람자 태그 생성부(250)에서 생성된 관람자 태그들도 함께 저장한다.
또한, 저장부(240)는 제공자들의 각 동영상 메타 데이터(제공자의 회원 정보를 포함)를 함께 저장할 수도 있다.
또한, 저장부(240)는 관람자 관계형 동영상 제작부(270)에서 제작된 관람자 관계형 동영상을 저장할 수 있다. 본 발명의 일실시예에서는 관람자 관계형 동영상 제작부(270)에서 제작된 관람자 관계형 동영상이 요청신호를 전송한 관람자 단말기로 제공(스트리밍 또는 다운로드 등)되면, 관람자 관계형 동영상 제작 장치(200) 내에서 삭제되는 것이 바람직하나, 필요에 따라 제작된 관람자 관계형 동영상을 저장부(240)에 저장할 수도 있다.
만약, 관람자 관계형 동영상 제작부(270)에서 제작된 관람자 관계형 동영상이 관람자 단말기(410, 420, 430, 440)로 제공된 이후, 저장부(240)에 저장되지 않는 경우에는 해당 관람자 관계형 동영상에 대한 제작 로그가 저장부(240)에 저장되며, 추후 동일한 동영상을 관람자 단말기(410, 420, 430, 440)에서 요청하는 경우에 저장부(240)에 저장된 관람자 관계형 동영상의 제작 로그를 이용하여 선택된 해당 인물별 객체 영상들을 재선택 하고, 재선택 되는 인물별 객체 영상들을 실시간 합성을 통해 관람자 관계형 동영상을 제작하여 관람자 단말기(410, 420, 430, 440)로 제공할 수 있다.
또한, 저장부(240)는 관람자 단말기들(410, 420, 430, 440)로부터 전송되는 관람자 관계형 동영상의 요청신호가 저장된다. 요청신호에는 관람자 관계형 동영상을 제작하기 위하여 인물별 객체 영상을 선택할 수 있는 관람자의 실시간 메타 데이터가 포함되어 있으므로 저장한 요청신호를 통해 관람자 관계형 동영상의 제작 로그가 생성될 수 있다.
한편, 저장부(240)는 각 관람자들(a, b, c, d)의 회원 정보를 포함하는 관람자들(a, b, c, d)의 관람자 메타 데이터 등을 저장하고, 관람자 관계형 동영상의 요청신호에 따라 해당 관람자의 관람자 메타 데이터를 이용하여 생성된 관람자 태그를 저장한다.
즉, 저장부(240)에 저장될 수 있는 정보는 동영상들, 인물별 객체 영상들, 객체 태그들, 각 제공자들(A, B, C, D)의 회원 정보, 제공자들(A, B, C, D)의 동영상 메타 데이터, 제작된 관람자 관계형 동영상, 관람자의 회원 정보, 관람자의 관람자 메타 데이터, 관람자 관계형 동영상의 요청 신호, 요청 신호에 포함된 관람자의 실시간 메타 데이터, 관람자 관계형 동영상의 제작 로그 등을 포함할 수 있다.
또한, 저장부(240)는 관람자 관계형 동영상을 제작할 때 포함될 수 있는 배경 화면, 배경 영상, 음향 오디오 등을 함께 저장할 수 있다. 즉, 관람자 관계형 동영상 제작부(270)에서 제작되는 관람자 관계형 동영상은 선택된 인물별 객체 영상만을 포함하여 제작되고 있으나, 필요에 따라서는 제작되는 관람자 관계형 동영상의 배경을 위해 정지 이미지인 배경 화면을 함께 추가하여 관람자 관계형 동영상을 제작하거나, 선택된 인물별 객체 영상의 배경을 위해 동적 이미지인 배경 영상을 함께 추가하여 관람자 관계형 동영상을 제작할 수 있다. 더욱이, 제작되는 관람자 관계형 동영상 내에서 음향 효과를 위한 음향 오디오를 더 포함하여 제작할 수 있다.
관람자 태그 생성부(250)는 관람자의 회원 정보 등을 포함하는 각 관람자들(a, b, c, d)의 관람자 메타 데이터를 이용하여 관람자 태그를 생성한다. 관람자 메타 데이터는 각 관람자들(a, b, c, d)의 회원 정보를 포함하여 저장부(240)에 저장된다. 또한, 각각의 관람자가 관람자 단말기들(410, 420, 430, 440)를 통해 관람자 관계형 동영상을 요청하는 요청신호를 생성하여 관람자 관계형 동영상 제작 장치(200)로 전송하는 경우, 해당 요청신호에 포함되어 또는 요청신호와는 별개로 전송되는 실시간 메타 데이터도 저장부(240)에 저장된 관람자 메타 데이터에 포함되어 저장될 수 있다.
즉, 각각의 관람자 단말기들(410, 420, 430, 440)을 통해 전송되는 실시간 메타 데이터는 각 관람자 단말기들(410, 420, 430, 440)을 통해 입력 또는 선택 중 어느 하나 이상을 통해 생성될 수 있다. 실시간 메타 데이터는 저장부(240)에 저장된 관람자 메타 데이터에 함께 저장되어, 관람자 태그의 생성에 사용된다. 한편, 실시간 메타 데이터를 포함하는 관람자 메타 데이터를 이용하여 관람자 태그를 생성하고, 생성된 관람자 태그와 객체 태그들을 비교하는 경우에는 실시간 메타 데이터를 이용하여 생성한 관람자 태그에 부합하는 하나 이상의 인물별 객체 영상들을 우선 선택함으로써, 관람자의 요구를 수용하도록 한다.
본 발명의 일 구현 예에서 관람자 태그는 저장부(240)에 저장된 관람자 메타 데이터를 이용하여 미리 생성되어 있다. 이후, 관람자 관계형 동영상을 요청하는 요청신호가 관람자 단말기로부터 수신되고, 요청신호에 실시간 메타 데이터가 포함된 경우, 해당 실시간 메타 데이터를 이용하여 관람자 태그를 추가적으로 생성하는 것이 바람직하다.
관람자 태그는 객체 태그들과 비교되어 관람자 관계형 동영상의 제작에 사용될 인물별 객체 영상들을 선택하기 위해 사용된다. 이에 따라 관람자 메타 데이터를 이용하여 생성되는 관람자 태그는 도 6에 도시된 바와 같이, 다수의 항목으로 구분되며, 각 관람자의 관람자 메타 데이터에 따라 관람자 태그의 각 항목이 정보를 포함하기도 하며, 정보가 포함되지 않을 수도 있다.
도 6은 본 발명의 일 구현 예에 따른 관람자 태그를 나타내기 위한 예시도이다. 도 6에 도시된 바와 같이, 관람자 a, 관람자 b, 관람자 c, 관람자 d에 대한 각각의 관람자 태그를 나타내고 있으며, 각 관람자 태그의 항목은 관람자의 회원 정보에 따라 사회적 관계, 거주지, 선호 장르, 성별, 연령 등의 정보를 포함하고 있다.
특히, 사회적 관계에 대한 정보는 관람자의 SNS(Social Network Service), 휴대폰(Mobile phone) 주소록, 저장부(240)에 저장된 관람자의 회원 정보 등의 서비스 또는 장치에 저장된 친구 목록 등을 포함할 수 있다.
한편, 도 6에 도시된 관람자 태그의 형태는 본 발명의 일실시예에 따라 나타내고 있으며, 이외에도 다양한 형태 및 항목을 이용하여 관람자 태그를 생성할 수 있다.
또한, 관람자들(a, b, c, d)이 각각의 관람자 단말기들(410, 420, 430, 440)를 통해 관람자 관계형 동영상을 요청하면서 각 관람자 단말기들(410, 420, 430, 440)에 실시간 메타 데이터를 입력 또는 선택하여 전송하는 경우, 관람자 태그 생성부(250)는 전송된 실시간 메타 데이터를 해당하는 관람자의 관람자 메타 데이터에 포함시키며, 관람자 태그와 객체 태그들을 비교할 때 실시간 메타 데이터를 이용하여 생성한 관람자 태그와 부합되는 하나 이상의 객체 태그들을 선택하고, 선택된 하나 이상의 객체 태그들과 연관된 하나 이상의 인물별 객체 영상들이 우선 선택된다. 실시간 메타 데이터의 예로는 관람자의 사회적 관계 정보에 포함되지 않은 인물을 추가하기 위한 인물 정보일 수 있다.
관계 매칭부(260)는 관람자 단말기들(410, 420, 430, 440)로부터 전송되는 관람자 관계형 동영상 요청신호에 대응하여 관람자 관계형 동영상을 제작하기 위한 인물별 객체 영상들을 선택한다. 인물별 객체 영상들의 선택은 관람자의 관람자 메타 데이터를 이용하여 생성되는 관람자 태그의 사회적 관계 정보와 객체 태그들의 인물 정보를 상호 비교하여 관람자 태그에 부합되는 하나 이상의 객체 태그에 연관된 하나 이상의 인물별 객체 영상들을 선택한다.
즉, 관람자 a의 관람자 단말기(410)에서 전송된 관람자 관계형 동영상을 요청하는 요청신호가 수신부(210)에 수신되면, 관계 매칭부(260)는 해당 관람자 a의 관람자 태그와 저장부(240)에 저장된 객체 태그들과 상호 비교하여 연관되는 하나 이상의 객체 태그들을 도출하고, 도출된 객체 태그들에 연관된 하나 이상의 인물별 객체 영상들을 선택한다.
이때 관람자 태그와 객체 태그들의 비교에 따라 선택하고자 하는 인물별 객체 영상들은 매칭 순위에 따라 선택되며, 매칭 순위는 다음과 같이 설정된다.
인물별 객체 영상들의 매칭 순위는 관람자 태그와 비교되는 객체 태그들 중에서 부합된 객체 태그들의 항목의 개수에 의해 설정될 수 있다. 또한, 관람자 태그의 각 항목에는 가중치(점수)가 부여되어 있으며, 관람자 태그에 부합하는 객체 태그는 부합된 항목의 수에 각 항목별 가중치를 적용한 합계에 의해 매칭 순위가 설정된다.
이에 따라, 관람자 태그와 비교된 객체 태그들은 관람자 태그와 부합되는 항목의 개수 또는 가중치 합계에 따라 매칭 순위가 설정되며, 해당 객체 태그에 연관된 인물별 객체 영상에도 매칭 순위가 부여된다.
한편, 관람자 태그의 각 항목에 따라 부여되는 가중치는 각 항목별로 상이하게 부여될 수 있는데, 예를 들어 관람자 단말기로부터 전송된 실시간 메타 데이터를 이용하여 생성된 관람자 태그의 항목은 가장 높은 가중치를 부여하여 부합되는 객체 태그 중 가장 높은 순위를 차지할 수 있도록 하거나, 관람자 태그의 항목 중에서 '사회적 관계'에 해당하는 항목에 높은 가중치를 부여하여 부합되는 객체 태그 중 가능 높은 순위를 차지할 수 있도록 할 수 있다.
만약, 관람자 태그에 부합하는 객체 태그가 존재하는 않는 경우에는 객체 태그들에 대한 매칭 순위를 부여할 수 없고, 관람자 관계형 동영상을 요청하는 관람자가 로그인을 하지 않거나, 익명 등의 방법으로 해당 관람자 관계형 동영상을 요청하는 경우에는 관람자 태그가 생성되지 않을 수 있으므로, 이러한 경우에는 저장부(240)에 저장된 각각의 인물별 객체 영상들 중에서 가장 많이 선택된 인물별 객체 영상들의 순위에 따라 인물별 객체 영상들을 선택하여 관람자 관계형 동영상으로 제작하고 관람자 단말기에 제공할 수 있으며, 필요에 따라서는 가장 최근에 선택된 인물별 객체 영상들을 선택하여 관람자 관계형 동영상으로 제작하여 제공할 수 있다.
관계 매칭부(260)는 선택된 인물별 객체 영상들에 대응하는 객체 오디오를 함께 선택할 수 있다. 이러한 실시예에 따르면, 객체 오디오는 제공자 단말기들(110, 120, 130, 140)로부터 전송된 오디오 데이터 또는 수신된 동영상들에 포함된 오디오 데이터이며, 객체 영상 추출부(220)에서 추출된다.
따라서, 제작되는 관람자 관계형 동영상에는 선택된 인물별 객체 영상들과 이에 대응하여 저장된 객체 오디오가 함께 선택되는 것이 바람직하다.
한편, 관계 매칭부(260)는 관람자 태그와 저장부(240)에 저장된 각각의 객체 태그들을 비교하고, 관람자 태그에 부합하는 동영상을 더 선택할 수 있다. 이에 따라, 관계 매칭부(260)에서 관람자 태그와 객체 태그들의 비교에 의해 선택된 것은 인물별 객체 영상들 이외에 선택된 인물별 객체 영상들과 함께 동영상을 더 포함할 수 있다.
관계형 동영상 제작부(270)는 관계 매칭부(260)에서 선택된 인물별 객체 영상을 포함하도록 합성하여 관람자 관계형 동영상으로 제작한다. 관람자 관계형 동영상은 선택된 인물별 객체 영상을 배경영상에 합성하거나 둘 이상의 인물별 객체 영상을 합성하는 방법으로 하나의 영상을 생성한다. 이를 통해 각각의 개별 동영상으로 촬영된 공연자 등이 인물별 객체 영상으로 추출되어 관람자 관계형 동영상에서 함께 공연하는 것으로 합성한 결과물을 얻을 수 있다. 합성은 관람자 단말기로부터 관람자 관계형 동영상을 요청하는 요청신호를 수신하는 경우, 선택된 인물별 객체 영상들을 이용하여 실질적으로 실시간 수행하는 것이 바람직하다.
관람자 관계형 동영상 제작부(270)는 관계 매칭부(260)에서 선택된 인물별 객체 영상들의 매칭 순위에 대응하여 인물별 객체 영상들이 출력되는 각각의 레이어(layer)를 지정할 수 있다. 관람자 관계형 동영상 내에는 다수의 인물별 객체 영상들이 포함되기 때문에 각각의 인물별 객체 영상들이 서로 중첩되는 문제가 발생할 수 있다. 이를 해결하기 위해서 인물별 객체 영상들에게 부여된 매칭 순위에 따라 최상위 매칭 순위의 인물별 객체 영상을 최상위 레이어(layer)를 지정하고, 차 순위 매칭 순위의 인물별 객체 영상을 차 순위 레이어(layer)를 지정하여, 각각의 매칭 순위의 인물별 객체 영상들에게 순차적으로 레이어(layer)를 지정한다.
이에 따라 관람자 관계형 동영상 제작부(270)는 매칭 순위에 따라 관람자 관계형 동영상의 프레임 내에서 각각의 인물별 객체 영상들의 레이어(layer) 지정과 출력 위치를 배치한다. 또한, 지정된 레이어(layer) 또는 배치된 출력 위치 중 어느 하나 이상에 따라 각 출력되는 인물별 객체 영상들에게 원근감이 필요한 경우 관람자 관계형 동영상 제작부(270)는 각각의 해당하는 인물별 객체 영상들의 크기(size)를 변화시킬 수 있다. 이후, 지정된 레이어(layer), 배치된 출력 위치와 변화된 크기(size)에 따라 인물별 객체 영상들을 실시간 합성하여 관람자 관계형 동영상으로 제작한다.
관람자 관계형 동영상 제작부(270)는 선택된 인물별 객체 영상들을 이용하여 관람자 관계형 동영상을 합성 하는 경우, 관계 매칭부(260)에서 함께 선택된 객체 오디오 데이터들을 이용하여 관람자 관계형 동영상을 제작할 수 있으며, 필요에 따라 관계 매칭부(260)에서 선택된 배경 화면, 배경 영상 중 어느 하나를 관람자 관계형 동영상의 배경에 적용할 수 있다. 더욱이, 관람자 관계형 동영상에 음향 효과가 필요한 경우에는 저장부(240)에 저장된 음향 오디오를 더 포함하여 관람자 관계형 동영상을 제작할 수 있다.
이때, 사용되는 배경 화면, 배경 영상 또는 음향 오디오 중 어느 하나 이상은 관람자의 선택에 따라 사용되거나, 미리 설정된 내용에 따라 관람자 관계형 동영상 제작부(270)에서 선택하여 사용되거나, 관계 매칭부(260)에서 관람자의 관람자 메타 데이터에 의해 생성된 관람자 태그와의 비교에 의해 부합되는 것이 선택되어 사용될 수 있다.
한편, 관람자 관계형 동영상 제작부(270)는 선택된 각 인물별 객체 영상들의 출력되는 위치를 결정하기 위해 매칭 순위를 적용할 수 있다. 즉, 관람자가 요청한 관람자 관계형 동영상에 포함되는 인물별 객체 영상들의 매칭 순위가 결정된 경우, 해당 인물별 객체 영상들의 매칭 순위 중 최상위 매칭 순위로부터 최하위 매칭 순위까지 또는 전체 매칭 순위 중 설정된 임계 순위 이내의 매칭 순위들의 인물별 객체 영상들 개수에 맞도록 각각의 인물별 객체 영상들의 레이어(layer)와 출력 위치가 미리 지정되어 있으며, 관람자 태그에 매칭되어 선택된 인물별 객체 영상들은 매칭 순위에 따라 미리 지정된 위치에 배치된다.
예를 들어, 관람자 태그에 부합되어 선택된 인물별 객체 영상이 세 개인 경우에 매칭 1순위 인물별 객체 영상은 화면의 가운데, 매칭 2순위 인물별 객체 영상은 화면의 오른쪽, 매칭 3순위 인물별 객체 영상은 화면의 왼쪽에 위치하도록 설정된 경우, 이에 대응하여 매칭되어 선택된 인물별 객체 영상들은 각각의 매칭 순위에 따라 해당 위치에 배치된다.
또한, 매칭되어 선택된 인물별 객체 영상이 다섯 개인 경우에 매칭 1순위 인물별 객체 영상은 화면의 가운데, 매칭 2순위 인물별 객체 영상은 화면의 오른쪽, 매칭 3순위 인물별 객체 영상은 화면의 왼쪽, 매칭 4순위 인물별 객체 영상은 화면의 뒷줄 오른쪽, 매칭 5순위 인물별 객체 영상은 화면의 뒷줄 왼쪽에 위치하도록 설정되어 있으며, 이에 대응하여 선택된 인물별 객체 영상들은 각각의 매칭 순위에 따라 해당 위치에 배치되며, 화면의 뒷줄에 배치되는 매칭 4순위 및 매칭 5순위의 인물별 객체 영상들은 앞줄의 인물별 객체 영상들과 비교하여 원근감이 있도록 하기 위해 인물별 객체 영상의 크기(size)를 작게 조절하여 선택된 인물별 객체 영상들이 출력되도록 한다.
이때, 관람자 관계형 동영상 제작부(270)가 인물별 객체 영상들을 통해 관람자 관계형 동영상을 제작함에 있어서, 배경 화면 또는 배경 영상이 포함되는 경우에는 해당 배경 화면 또는 배경 영상이 최하위 레이어(layer)에 위치하는 것이 바람직하다.
한편, 관람자 관계형 동영상 제작부(270)는 관계 매칭부(260)에서 관람자 태그에 부합하는 객체 태그에 연관된 동영상이 선택되는 경우, 선택된 인물별 객체 영상들을 비롯하여 선택된 동영상을 더 포함한 합성을 통해 관람자 관계형 동영상을 제작할 수 있다. 선택된 동영상을 더 포함하여 관람자 관계형 동영상을 제작하는 경우, 해당 선택된 동영상은 관람자 관계형 동영상의 배경 영상으로 사용된다. 즉, 저장부(240)에 저장된 동영상들은 배경 화면이 제거되거나, 객체들이 추출되지 않은 원본 동영상이기 때문에 배경 화면과 객체들을 모두 포함하고 있으므로, 해당 동영상을 배경 화면으로 사용하는 경우에는 별도의 배경 화면을 선택하지 않을 수 있다.
관람자 관계형 동영상 제작부(270)가 관람자들(a, b, c, d)의 각 관람자 단말기들(410, 420, 430, 440)로부터 관람자 관계형 동영상을 요청하는 요청신호 수신에 따라 관람자 관계형 동영상을 제작하는 경우, 관람자 태그와 객체 태그들을 비교하고, 인물별 객체 영상들을 선택하여 실질적 실시간으로 관람자 관계형 동영상을 제작할 수 있다.
동영상 배포부(280)는 관람자 단말기들(410, 420, 430, 440) 중 관람자 관계형 동영상을 요청한 관람자 단말기에게 관계형 동영상 제작부(270)에서 제작된 관람자 관계형 동영상을 제공한다.
동영상 배포부(280)에서 관람자 단말기로 관람자 관계형 동영상을 제공하는 방법은 파일 형태의 관람자 관계형 동영상을 다운로드 방식을 통해 제공할 수 있으며, 스트리밍 방식으로 실시간 제공할 수 있다.
이때, 해당 관람자 관계형 동영상을 제공받기 위한 관람자 단말기는 관계형 동영상 제작 장치(200)의 수신부(210)와 온라인으로 직접 연결되거나, 웹사이트 등을 통해 간접적으로 연결될 수 있다. 또한, 필요에 따라서 동영상 배포부(280)는 웹사이트가 구축되어 있을 수 있으며, 별도의 웹서버(300)를 운영하면서 동영상 배포부(280)가 관람자 관계형 동영상을 웹서버(300)의 웹사이트에 게시하면, 관람자 단말기가 해당 웹사이트(300)를 통해 관람자 관계형 동영상을 제공받을 수 있다.
즉, 동영상 배포부(280)에서 제공되는 관람자 관계형 동영상은 해당 관람자 관계형 동영상을 요청한 관람자 단말기(410)에게만 제공되며, 다른 관람자 단말기(420, 430, 440)에서 관람자 관계형 동영상을 요청하는 경우, 해당 다른 관람자의 관람자 태그에 의해 매칭되어 선택된 인물별 객체 영상들을 사용하여 제작된 관람자 관계형 동영상이 제공된다.
예를 들어, 관람자 단말기 a(410), 관람자 단말기 b(420), 관람자 단말기 c(430) 및 관람자 단말기 d(440)에서 각각 관람자 관계형 동영상을 요청하는 경우, 각 관람자 a, 관람자 b, 관람자 c 및 관람자 d의 각 관람자 태그를 객체 태그들과 비교하고, 비교 결과에 따라 관람자 태그에 부합하는 객체 태그들에 연관된 인물별 객체 영상들을 선택하여 관람자 관계형 동영상을 합성하여 각 관람자 관계형 동영상으로 제작하고, 이에 대응하여 동영상 배포부(280)는 제작된 각각의 관람자 관계형 동영상을 각각의 관람자 단말기 a(410), 관람자 단말기 b(420), 관람자 단말기 c(430) 및 관람자 단말기 d(440)로 제공한다.
즉, 동일한 이벤트에 대한 관람자 관계형 동영상을 복수의 관람자가 요청하는 경우에도 요청하는 관람자와 객체 태그들의 관계에 따라 관람자 관계형 동영상이 제작되기 때문에 제공되는 관람자 관계형 동영상은 관람자 별로 서로 동일하지 않은 특징이 있다.
한편, 동영상 배포부(280)는 관계형 동영상 제작부(270)에서 합성하여 제작되는 관람자 관계형 동영상을 실시간 스트리밍 방식으로 관람자 단말기(410, 420, 430, 440)에게 제공하거나, 관람자 단말기(410, 420, 430, 440)가 다운로드 받을 수 있도록 제공할 수 있다.
도 4는 본 발명에 따른 관람자 관계형 동영상 제작 방법을 나타내기 위한 순서도이다. 도 4에 도시된 바와 같이, 관람자 관계형 동영상 제작 장치(200)의 수신부(210)는 각각의 제공자 단말기들(110, 120, 130, 140)로부터 동영상들을 수신한다(S105).
각각의 동영상은 특정 이벤트를 대상으로 촬영되어 동영상 내의 공연자는 상이하나, 촬영 형태 및 배경화면 등은 동일한 동영상일 수 있다. 또한, 각각의 동영상은 전혀 다른 촬영 형태 및 배경화면 등을 포함하는 동영상일 수 있다.
만약 특정 이벤트를 대상으로 촬영된 동영상이며, 특정 이벤트가 예를 들어 노래인 경우에는 하나의 노래를 서로 다른 공연자가 각각 노래하는 것이며, 연기인 경우에는 동일한 주제의 공연을 서로 다른 공연자가 각각의 배역을 연기하는 것 등이다.
실시예에 따라서는 특정 이벤트에 참여하는 제공자 또는 공연자는 이벤트에 참여하면서 자신의 동영상을 합성하여 활용하는 것에 동의여부를 회신하도록 구성하여 동의가 완료된 동영상만이 인물별 객체 영상이 추출되고, 관람자의 관계에 따라 선택된 인물별 객체 영상이 실시간 합성되어 관람자 관계형 동영상으로 제작되도록 구성할 수 있다.
촬영된 동영상들은 각각의 제공자 단말기들(110, 120, 130, 140)을 통해 수신부(210)로 전송된다.
관람자 관계형 동영상 제작 장치(200)의 객체 영상 추출부(220)는 전송된 각 동영상들에서 인물별 객체 영상들을 추출한다(S110).
즉, 객체 영상 추출부(220)는 도 7(도 7은 본 발명의 일 구현 예에 따른 제공자 동영상을 나타내기 위한 예시도) 및 도 8(도 8은 본 발명의 일 구현 예에 따라 제공자의 동영상에서 추출한 인물별 객체 영상을 나타내기 위한 예시도)에서 나타낸 바와 같이, 각각의 동영상들(510, 520, 530, 540, 550, 560, 570)로부터 배경화면을 제거하고 관람자 관계형 동영상에 포함시킬 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)을 추출한다.
이후, 객체 태그 생성부(230)는 동영상에 포함된 또는 동영상과 별도로 수신된 동영상 메타 데이터를 이용하여 객체 태그를 생성한다(S115).
객체 태그는 각 제공자들(A, B, C, D)의 회원 정보, 전송한 동영상의 속성 정보, 동영상의 내용 정보 등을 이용하여 생성되며, 생성된 객체 태그들은 관람자 관계형 동영상을 요청하는 관람자의 관람자 태그와 비교되어 관람자 태그에 부합되는지 여부에 이용된다. 이에 따라 관람자 태그에 부합하는 객체 태그에 연관된 인물별 객체 영상이 선택될 수 있다.
객체 태그는 도 5에 도시된 바와 같이 구성되며, 필요에 따라 객체 태그의 항목은 추가되거나 제외될 수 있다.
다음으로 관람자 태그 생성부(250)는 저장부(240)에 저장된 관람자들(a, b, c, d)의 각 관람자 메타 데이터를 이용하여 관람자 태그를 생성한다(S120). 관람자 태그는 도 6에 도시된 바와 같이 구성되며, 필요에 따라 관람자 태그의 항목은 추가되거나 제외될 수 있다.
저장부(240)는 수신된 동영상들, 생성된 객체 태그들과 생성된 관람자 태그들을 저장한다(S125).
저장부(240)는 수신된 동영상들과 각각의 동영상들에서 추출된 인물별 객체 영상들이 상호 연계될 수 있도록 저장하는 것이 바람직하다.
즉, 저장부(240)는 수신부(210)가 제공자 단말기들(110, 120, 130, 140)로부터 수신한 동영상들(도 7의 510, 520, 530, 540)을 저장한다. 또한, 객체 영상 추출부(220)에서 수신한 동영상들(도 7의 510, 520, 530, 540)에서 추출한 인물별 객체 영상들(도 7의 511, 521, 531, 541)을 저장한다. 또한, 객체 태그 생성부(230)에서 생성한 객체 태그들(도 5 참조)을 저장한다. 또한, 관람자 태그 생성부(250)에서 생성한 관람자 태그들(도 6 참조)을 저장한다.
저장부(240)는 S125 단계에서 동영상들(도 7의 510, 520, 530, 540), 인물별 객체 영상들(도 7의 511, 521, 531, 541), 객체 태그들(도 5 참조) 및 관람자 태그들(도 6 참조)을 동시에 저장할 수 있으며, 각 단계에서의 동영상들(도 7의 510, 520, 530, 540), 인물별 객체 영상들(도 7의 511, 521, 531, 541), 객체 태그들(도 5 참조) 또는 관람자 태그들(도 6 참조)을 각각 저장할 수 있다.
수신부(240)가 관람자 단말기들(410, 420, 430, 440) 중 어느 하나의 관람자 단말기로부터 관람자 관계형 동영상을 요청하는 요청신호의 수신 여부를 판단한다(S130).
만약, 관람자 단말기들(410, 420, 430, 440)로부터 요청신호가 수신되지 않은 경우에는 제공자 단말기들(110, 120, 130, 140)로부터 전송되는 동영상들을 지속적으로 수신할 수 있다. 그러나 관람자 관계형 동영상 제작 장치(200)에 포함된 구성들이 관람자 관계형 동영상을 제작하기 위한 동작을 수행하는 도중에도 수신부(240)는 제공자 단말기들(110, 120, 130, 140)로부터 동영상을 동시에 수신할 수 있다.
이후, 관계 매칭부(260)는 요청신호를 전송한 관람자의 관람자 태그와 저장부(240)에 저장된 객체 태그들을 상호 비교함으로써, 관람자 단말기(410, 420, 430, 440)가 요청한 관람자 관계형 동영상을 제작하기 위해 관람자 태그에 부합하는 객체 태그들을 도출한다(S135). 특히 관람자 태그의 사회적 관계 정보와 객체 태그들의 인물 정보를 비교하는 방법으로 객체 태그들을 도출할 수 있다.
관람자 태그는 S120 단계에서 관람자 태그 생성부(250)가 저장부(240)에 저장된 각 관람자들의 관람자 메타 데이터를 이용하여 생성하는 것이 바람직하나, 필요한 경우에는 S130 단계에서 관람자로부터 요청신호가 수신된 이후에 해당 관람자의 관람자 메타 데이터를 이용하여 생성할 수 있다.
즉, 관람자 태그는 저장부(240)에 저장된 관람자들 각각의 관람자 메타 데이터를 이용하여 일괄적으로 미리 생성하여 저장부(240)에 저장하거나, 특정 관람자로부터 관람자 관계형 동영상을 요청하는 요청신호를 수신한 이후, 관람자 태그 생성부(250)에서 생성하여 저장부(240)에 저장할 수 있다.
한편, 관람자로부터 전송된 관람자 관계형 동영상을 요청하는 요청신호에 관람자의 실시간 메타 데이터가 포함된 경우, 관람자 태그 생성부(250)는 수신된 실시간 메타 데이터를 이용하여 추가적인 관람자 태그를 생성하고, 생성된 추가적인 관람자 태그를 저장부(240)에 저장된 해당 관람자의 관람자 태그에 포함시킨다. 이에 따라 실시간 메타 데이터에 의한 추가적인 관람자 태그가 생성된 경우에 객체 태그들과 비교되는 관람자 태그에는 추가적인 관람자 태그가 포함된다.
한편, S135 단계에서 관람자 태그와의 비교에 따라 도출되는 객체 태그들은 매칭 순위가 설정될 수 있다. 매칭 순위는 예컨대 두 가지 방법으로 설정될 수 있다. 첫 번째 방법은 관람자 태그와 객체 태그들의 비교에서 관람자 태그에 부합하는 항목의 개수에 따라 매칭 순위가 설정된다. 즉, 관람자 태그에 포함된 각 항목들에 부합하는 각각의 객체 태그의 항목의 개수에 따라 순차적으로 매칭 순위를 설정한다.
두 번째 방법은 관람자 태그에 가중치가 부여되고, 가중치가 부여된 관람자 태그에 부합하는 객체 태그들에게 적용된 가중치를 합산한 결과에 따라 매칭 순위를 설정한다. 예를 들어, 관람자 태그의 항목 중에서 ‘사회적 관계 정보’에 높은 가중치를 부여하고, 나머지 항목에 낮은 가중치를 부여하는 경우, ‘사회적 관계 정보’에 부합하는 객체 태그의 매칭 순위가 높게 설정될 수 있다.
또는, 관람자 태그의 항목 중 ‘사회적 관계 정보’에 부합하는 객체 태그들의 가중치가 높은 객체 태그의 매칭 순위를 높게 설정할 수 있다.
관계 매칭부(260)는 S135 단계에서 도출된 객체 태그들에 연관된 인물별 객체 영상들을 선택한다(S140).
관계 매칭부(260)에서 선택되는 인물별 객체 영상들은 객체 태그들의 매칭 순위에 의해 선택되며, 관람자 관계형 동영상 제작 장치(200)에서 기 설정한 매칭 순위 정책 또는 관람자가 요청한 요청 매칭 순위 정보에 따라 선택되는 인물별 객체 영상들의 개수가 지정되어 지정된 개수만큼의 인물별 객체 영상들이 선택되도록 구성할 수 있다.
실시예에 따라서는 관람자 태그에 부합하는 모든 객체 태그들에 연관된 인물별 객체 영상들을 선택하도록 구성할 수 있다.
한편, 관계 매칭부(260)는 필요에 따라 관람자 태그에 부합하는 객체 태그들 중에서 관람자 관계형 동영상에 사용될 동영상 또는 인물별 객체 영상을 선택할 수 있다. 동영상은 저장부(240)에 저장된 동영상들 중에서 관람자 태그에 부합하는 객체 태그들에 연관된 동영상 중에서 어느 하나 이상을 선택한다.
이때, 관계 매칭부(260)에서 선택하는 동영상은 매칭 순위가 가장 높은 객체 태그의 동영상을 선택할 수 있으며, 관람자 관계형 동영상을 요청한 관람자의 관람자 단말기로 동영상 선택 요청을 수행함에 따라 관람자로부터 지정된 동영상을 선택할 수 있다. 이때 관계 매칭부(260)가 관람자 단말기로 동영상 선택 요청을 수행하는 경우, 관계 매칭부(260)는 동영상 선택을 위한 후보 동영상들의 전부 또는 일부를 함께 관람자 단말기로 제공하여 관람자의 동영상 선택을 용이하게 할 수 있다.
관람자 관계형 동영상 제작부(270)는 S140 단계에서 선택된 인물별 객체 영상들을 이용하여 관람자 관계형 동영상을 제작한다(S145).
관람자 관계형 동영상 제작부(270)는 관람자 태그에 부합하는 객체 태그들과 연관된 인물별 객체 영상들을 선택하여 도 9 내지 도 12에서와 같이 관람자로부터 요청된 관람자 관계형 동영상을 제작한다.
도 9는 본 발명의 일 구현 예에 따라 인물별 객체 영상에 레이어를 지정하여 관람자 관계형 동영상을 제작하는 것을 나타내기 위한 예시도이다. 도 9의 (a)에 도시된 바와 같이, 관람자 관계형 동영상 제작 장치(200)의 수신부(210)에 수신된 동영상들(도 7 참조)은 객체 영상 추출부(220)에 의해 각각 동영상 속에서의 공연자 등의 객체가 추출되어 생성된 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)이 생성되고, 생성된 인물별 객체 영상들이 저장부(240)에 저장된다.
관람자 관계형 동영상 제작부(270)는 저장된 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)을 이용하여 관람자 관계형 동영상을 제작함에 있어서, 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571) 중에서 인물별 객체 영상 007(571), 인물별 객체 영상 002(521), 인물별 객체 영상 003(531), 인물별 객체 영상 001(511), 인물별 객체 영상 004(541), 인물별 객체 영상 005(551), 인물별 객체 영상 006(561) 순으로 매칭 순위가 산출되었다면, 해당 매칭 순위에 대응하여 각각의 인물별 객체 영상들을 계층(layer) 형태로 합성할 수 있다.
즉, 도 9의 (a)에서 매칭 순위가 가장 낮은 인물별 객체 영상 006(561)은 가장 낮은 레이어에 위치하며, 다음 순위의 인물별 객체 영상 005(551)는 인물별 객체 영상 006(561)의 상위 레이어에 위치하도록 하고, 이후 인물별 객체 영상 004(541)부터 인물별 객체 영상 007(571)까지 순차적으로 각각의 상위 레이어에 위치하도록 각각의 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)의 계층을 설정한다.
한편, 각각의 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)에 대한 계층이 설정된 이후, 각각의 인물별 객체 영상들이 관람자 관계형 동영상의 화면 내에서 출력될 위치를 배치하게 된다. 만약 각각의 인물별 객체 영상들이 화면 내에 적절하게 배치되지 않고 모두 화면의 가운데에 출력되는 경우에는 매칭 순위 제1 순위의 인물별 객체 영상 007(571)의 인물별 객체 영상이 화면의 제일 앞에서 출력되고, 나머지 이후 계층에 위치하는 제2 순위의 인물별 객체 영상 002(521) 내지 제7 순위의 인물별 객체 영상 006(561)은 인물별 객체 영상 007(571)에 의해 가려지게 되는 문제점이 있다.
따라서, 각각의 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)은 산출된 매칭 순위에 의해 계층이 설정되며, 각각 설정된 계층의 인물별 객체 영상들이 화면 내에서 출력되는 위치가 배치됨에 따라 도 9의 (b)에서와 같은 화면 구성의 관람자 관계형 동영상으로 제작된다.
이때, 각각의 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)에게 설정된 계층에 의해 인물별 객체 영상들의 원근감이 표현되어야 한다면, 도 9의 (b)에서와 같이 각 인물별 객체 영상들의 크기(size)를 변화시켜 레이어(layer)의 상위 계층으로부터 하위 계층까지 각 인물별 객체 영상의 크기를 변화시킬 수 있다. 그러나, 서로 다른 계층으로 설정된 각 인물별 객체 영상이라도 동일한 크기로 인물별 객체 영상의 크기(size)를 변화시키면, 관람자 관계형 동영상의 화면 내에서 동일한 선상에 위치하는 것과 같이 보일 수 있도록 할 수도 있다.
도 10은 본 발명의 일 구현 예에 따라 관람자 태그의 사회적 관계에 대응하는 관람자 관계형 동영상을 제작하는 것을 나타내기 위한 예시도이다. 도 10의 (a)에 도시된 바와 같이, 제공자 단말기들(110, 120, 130, 140)로부터 수신된 4개의 동영상들을 통해 추출된 각각의 인물별 객체 영상들(511, 521, 531, 541)은 저장부(240)에 저장된다.
이후, 수신부(210)가 관람자 a의 관람자 단말기(410)로부터 관람자 관계형 동영상을 요청하는 요청신호를 수신하는 경우, 요청신호에 대응하여 해당 관람자 a의 관람자 태그와 객체 태그들을 비교하고, 비교 결과에 따른 매칭 순위의 객체 태그들에 연관된 인물별 객체 영상들을 선택한다.
즉, 도 5와 도 6을 참조하여 보면, 제공자들(A, B, C, D)의 인물별 객체 영상들(511, 521, 531, 541)이 존재할 때, 관람자 a의 관람자 태그와 제공자들(A, B, C, D)의 객체 태그들을 비교함에 있어서, 관람자 a의 관람자 태그 중 ‘사회적 관계’ 항목에 부합하는 객체 태그들을 도출할 수 있다.
도 6을 참조하여 보면, 관람자 a의 ‘사회적 관계’ 항목에는 제공자 G, 제공자 B, 제공자 C의 순서로 사회적 관계가 형성되어 있다. 그러나, 인물별 객체 영상은 제공자 A, 제공자 B, 제공자 C 및 제공자 D의 인물별 객체 영상들로만 제작되기 때문에 제공자 G를 제외한 제공자 B와 제공자 C가 관람자 a의 사회적 관계에 부합하는 것으로 도출된다. 이에 따라 관람자 a의 관람자 관계형 동영상은 제공자 B와 제공자 C에 해당하는 각 인물별 객체 영상 002와 인물별 객체 영상 003을 이용하여 제작된다.
한편, 도 13(도 13은 본 발명의 일 구현 예에 따라 관람자 태그에 부여된 가중치에 따라 관람자 태그에 부합되는 객체 태그의 가중치를 계산하는 것을 나타내기 위한 예시도)을 참조하여 보면, 관람자 a와 제공자들(A, B, C, D)의 각 객체 태그들을 비교하여, 관람자 a의 관람자 태그들에 설정된 가중치가 계산되어 있다. 이때, 관람자 a의 관람자 태그 항목 중에서 ‘사회적 관계’ 항목의 가중치는 도 5와 도 6의 관람자 태그와 객체 태그들의 항목에 따라 제공자 A가 ‘0’, 제공자 B가 ‘3’, 제공자 C가 ‘3’, 제공자 D가 ‘0’으로 도출된다. 제공자 B와 제공자 C는 ‘사회적 관계’ 항목의 가중치 점수가 ‘3’으로 동일하나, 기재 순서에 따라 매칭 순위가 산출될 수 있다.
이에 따라 관람자 a의 관람자 태그와 객체 태그들의 ‘사회적 관계’ 항목 비교에 따른 매칭 순위는 제공자 B의 인물별 객체 영상 002(521)이 제1 순위이고, 인물별 객체 영상 003(531)이 제2 순위이며, 인물별 객체 영상 001(511)과 인물별 객체 영상 004(541)의 객체 태그들은 관람자 태그들에 부합되지 않았으나, 매칭 순위가 공동 제3 순위로 설정될 수 있다. 그러나 각각의 인물별 객체 영상들이 저장된 순서에 따라 매칭 순위를 제3 순위 및 제4 순위로 부여하여 매칭 순위를 산출할 수도 있다.
즉, 관람자 a와 사회적 관계가 형성되지 않은 인물별 객체 영상들의 관람자 관계형 동영상 화면 내 출력 위치가 중요하지 않는 경우에는 관람자 a와 관계가 형성되지 않은 인물별 객체 영상들의 매칭 순위는 공동 순위로 설정하여 인물별 객체 영상들의 배치를 랜덤(random)하게 수행할 수 있고, 매칭 순위가 부여 되지 않은 인물별 객체 영상들에게 화면 내 출력 위치를 지정해야 하는 경우에는 인물별 객체 영상들에게 부여된 식별 번호의 순서에 따라 매칭 순위를 부여하는 방법 또는 각각의 인물별 객체 영상들에게 랜덤한 매칭 순위를 부여하는 방법 등을 이용하여 각각의 인물별 객체 영상들에게 출력 위치를 배치하는 것이 바람직하다.
이에 따라, 도 10의 (b)에 도시된 바와 같이, 각 태그의 ‘사회적 관계’ 항목 비교에 따라 매칭 순위 제1 순위부터 공동 제3 순위까지의 4개의 각 인물별 객체 영상들에게 레이어(layer)가 순차적으로 지정되며, 매칭 순위 제1 순위의 인물별 객체 영상 002(521)는 실시간 합성되는 관람자 관계형 동영상에서 화면의 앞줄 좌측에 배치되고, 제2 순위의 인물별 객체 영상 003(531)은 화면의 앞줄 우측에 배치되고, 공동 제3 순위의 인물별 객체 영상 001(511)과 인물별 객체 영상 004(541) 중에서 인물별 객체 영상의 식별 번호가 빠른 인물별 객체 영상 001(511)이 화면의 뒷줄 좌측에 배치되고, 그 다음의 인물별 객체 영상 004(541)가 화면의 뒷줄 우측에 배치된다.
한편, 앞줄과 뒷줄에 각각 배치되는 인물별 객체 영상들에게 원근감을 주기 위하여 뒷줄에 배치되는 인물별 객체 영상 001(511) 및 인물별 객체 영상 004(541)의 크기를 앞줄의 인물별 객체 영상 002(521)와 인물별 객체 영상 003(531)의 크기보다 상대적으로 작게 하여 출력하는 것이 바람직하다. 각각 인물별 객체 영상들의 화면 배치는 관람자 관계형 동영상 제작부(270)에 미리 설정된 화면 구도에 대응하여 각 매칭 순위의 인물별 객체 영상을 배치한다.
또한, 도 10의 (c)에 도시된 바와 같이, 다른 실시예에 따른 화면 구도가 좌측의 앞줄부터 우측으로 각각 뒷줄에 배치되는 구조인 경우에는 화면에서 가장 잘 보일 수 있는 앞줄 좌측에는 매칭 순위 제1 순위의 인물별 객체 영상 002(521)를 배치하고, 제2 순위의 인물별 객체 영상 003(531)은 매칭 순위 제1 순위의 배치보다 뒷줄 우측에 배치하고, 제3위의 인물별 객체 영상 001(510)은 매칭 순위 제2위의 배치보다 뒷줄 우측에 배치하고, 제4 순위의 인물별 객체 영상 004(541)는 매칭 순위 제3 순위의 배치보다 뒷줄 우측에 배치함으로써, 화면의 우측으로 갈수록 배치되는 인물별 객체 영상의 크기가 작아지도록 원근감을 부여할 수 있다.
또한, 도 10의 (d)에 도시된 바와 같이, 매칭 순위에 따른 관람자 관계형 동영상에서 화면 내의 배치는 도 10의 (c)와 동일한 배치로 형성되나, 각각의 인물별 객체 영상들을 도 10의 (c)보다 확대함으로써, 각각의 인물별 객체 영상들을 더욱 상세하게 보이도록 관람자 관계형 동영상을 제작할 수 있다.
즉, 도 10의 (c)에서는 각각의 인물별 객체 영상들이 화면 내에서 모두(전신) 보일 수 있도록 인물별 객체 영상들(511, 521, 531, 541)의 크기가 조절되었으나, 도 10의 (d)는 각 인물별 객체 영상들(511, 521, 531, 541)의 공연자 모습이 전부 출력되지 않고 일부만 출력되도록 확대하여 배치하는 실시예를 나타내고 있다.
도 11은 본 발명의 일 구현 예에 따라 관람자 태그에 부합하는 객체 태그에 연관된 인물별 객체 영상을 객체 태그의 매칭 순위에 의해 관람자 관계형 동영상의 화면 내에서 위치 및 크기를 조절하는 것을 나타내기 위한 예시도이다. 도 11에 (a)에 도시된 바와 같이, 관람자 a가 4개의 인물별 객체 영상들(511, 521, 531, 541)을 이용하여 관람자 관계형 동영상을 요청하고, 이에 대응하여 관람자 관계형 동영상 제작 장치에서 해당 관람자 관계형 동영상을 제공(도 10 참조)한 이후에 추가적인 제공자들로부터 각각의 인물별 객체 영상들(551, 561, 571)을 수신할 수 있다.
관람자 a의 요청에 따라 추출된 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)을 합성하여 관람자 관계형 동영상을 제공할 수 있다. 도 11의 (a)에서는 3개의 인물별 객체 영상들(551, 561, 571)이 추가된 것을 나타내고 있으나, 관람자 관계형 동영상 제작 장치(200)에 업로드 된 동영상의 개수에 따라 추출되어 추가되는 인물별 객체 영상의 개수는 상이할 수 있다.
이에 따라, 도 11의 (b)에 도시된 바와 같이, 도 10에서 관람자 관계형 동영상을 요청한 관람자 a가 3개의 인물별 객체 영상들(551, 561, 571)이 추가된 이후에 관람자 관계형 동영상을 다시 요청하게 되면, 관람자 관계형 동영상 제작 장치(200)의 관계 매칭부(260)는 해당 관람자 a의 관람자 태그와 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)의 객체 태그들을 비교하여 부합되는 객체 태그들을 도출한다.
이때, 도 10의 실시예에서 관람자 a의 관람자 태그에 부합되지 않았던, 인물별 객체 영상 001(511)과 인물별 객체 영상 004(541)는 도 10의 실시예에서 해당 관람자의 관람자 관계형 동영상에 포함되었기 때문에 관람자 a와의 관계가 형성된 것으로 판단하여, 해당 인물별 객체 영상에 대응하는 객체 태그의 각 항목 중에서 '제공자', '공연자' 등의 데이터를 관람자 태그의 '사회적 관계'의 항목에 포함시킨다. 또한, '사회적 관계'의 항목 이외에도 포함되는 항목은 '이벤트 번호', '인물별 객체 영상 식별 번호' 등의 데이터가 포함될 수 있다.
이에 따라 도 11의 (b)에 도시된 것과 같이, 관람자 a의 관람자 태그가 업데이트된 상태에서 추가된 인물별 객체 영상 007(571)의 객체 태그가 관람자 태그에 부합되며, 도 10에서 관람자 태그에 부합되지 않았던 인물별 객체 영상 001(511)과 인물별 객체 영상 004(541)가 관람자 관계형 동영상에 포함된 이후, 새롭게 관람자 태그에 각 객체 태그가 부합되는 것으로 판단된다.
즉, 관람자 a의 관람자 태그의 항목 중 ‘사회적 관계’가 새롭게 형성되도록 한, 인물별 객체 영상 001(511)과 인물별 객체 영상 004(541)를 포함하여 전체 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)의 매칭 순위는 다음과 같이 산출된다. 관람자 a의 관람자 태그와 매칭 순위가 가장 높은 제1 순위는 인물별 객체 영상 007(571)이며, 제2 순위는 인물별 객체 영상 002(521)이며, 제3 순위는 인물별 객체 영상 003(531), 제4 순위는 인물별 객체 영상 001(511), 제5 순위는 인물별 객체 영상 004(541), 제6 순위는 매칭 관계가 형성되지 않은 인물별 객체 영상 005(551)와 인물별 객체 영상 006(561)이 공동으로 도출된다.
이에 따라, 매칭 순위 제1 순위부터 제7 순위까지의 각 인물별 객체 영상들에게 레이어(layer)가 순차적으로 지정되며, 매칭 순위 제1위의 인물별 객체 영상 007(571)은 실시간 합성되는 관람자 관계형 동영상에서 화면의 앞줄 가운데에 배치된다. 제2 순위의 인물별 객체 영상 002(521)는 앞줄 좌측에 배치된다. 제3 순위의 인물별 객체 영상 003(531)은 화면의 앞줄 우측에 배치된다. 제4 순위의 인물별 객체 영상 001(511)은 화면 가운데를 중심으로 화면의 뒷줄 두 번째 좌측에 배치된다. 제5 순위의 인물별 객체 영상 004(541)은 화면의 뒷줄 첫 번째 좌측에 배치된다. 공동 제6 순위인 인물별 객체 영상 005(551)와 인물별 객체 영상 006(561) 중에서 인물별 객체 영상의 번호가 빠른 인물별 객체 영상 005(551)가 화면의 뒷줄 첫 번째 우측에 배치되고, 그 다음의 인물별 객체 영상 006(561)이 화면의 뒷줄 두 번째 우측에 배치된다.
한편, 앞줄과 뒷줄에 각각 배치되는 인물별 객체 영상들에게 원근감을 주기 위하여 뒷줄에 배치되는 인물별 객체 영상 001(511), 인물별 객체 영상 004(541), 인물별 객체 영상 005(551) 및 인물별 객체 영상 006(561)의 크기를 앞줄의 인물별 객체 영상 007(571), 인물별 객체 영상 002(521)와 인물별 객체 영상 003(531)의 크기보다 상대적으로 작아지도록 한다. 각각 인물별 객체 영상들의 화면 배치는 관람자 관계형 동영상 제작부(270)에 미리 설정된 화면 구도에 대응하여 매칭 순위에 따른 인물별 객체 영상들을 배치한다.
이러한 매칭 순위에 의해 각각의 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)은 관람자 a가 요청한 관람자 관계형 동영상의 화면 내에 출력 위치가 배치되고 합성된다.
도 11의 (c)에 도시된 바와 같이, 매칭 순위에 따른 관람자 관계형 동영상에서 화면 내의 배치는 도 11의 (b)와 동일한 배치로 형성되나, 각각의 인물별 객체 영상들을 도 11의 (b) 보다 확대함으로써, 각각의 인물별 객체 영상들을 더욱 상세하게 보이도록 합성할 수 있다.
즉, 도 11의 (b)에서는 각각의 인물별 객체 영상들이 화면 내에서 모두(전신) 보일 수 있도록 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)의 크기가 조절되었으나, 도 11의 (c)는 각 인물별 객체 영상들(511, 521, 531, 541, 551, 561, 571)의 공연자의 모습이 전부 출력되지 않고 일부만 출력되도록 확대하여 배치하는 실시예를 나타내고 있다.
도 12는 본 발명의 일 구현 예에 따라 관람자 태그에 부합하는 객체 태그에 연관된 인물별 객체 영상을 관람자 관계형 동영상의 배경화면으로 사용하는 것을 나타내기 위한 예시도이다. 도 12에 도시된 바와 같이, 관람자의 관람자 관계형 동영상 요청에 따라 관계 매칭부(260)는 관람자의 관람자 태그와 객체 태그들을 비교하고, 비교 결과에 따라 관람자 태그에 부합하는 객체 태그들을 도출한다.
이때, 본 발명의 일 구현 예에 따르면 도출된 객체 태그들에 연관된 인물별 객체 영상들을 선택하여 관람자 관계형 동영상을 제작하는 것이 바람직하다. 그러나, 도 12에서 보는 바와 같이, 관람자 관계형 동영상 제작 장치(200)에 설정된 배경화면 정보 또는 관람자에 의해 배경화면 사용에 대한 요청이 발생하는 경우, 관람자 관계형 동영상 제작부(270)는 제공자들(A, B, C)이 전송한 각 동영상 중에 어느 하나 이상을 선택하여 배경화면으로 사용할 수 있다.
즉, 관람자의 관람자 태그에 부합하는 객체 태그들에 연관된 인물별 객체 영상을 선택함에 있어서, 어느 하나의 객체 태그는 연관된 인물별 객체 영상을 선택하는 것이 아니라, 연관된 동영상을 선택할 수 있다.
이에 따라, 관람자의 관람자 태그에 부합된 객체 태그들에 연관된 인물별 객체 영상 001(511), 인물별 객체 영상 003(531)과 제공자 B의 동영상이 선택된다.
관람자 관계형 동영상 제작부(270)는 선택된 인물별 객체 영상 001(511), 인물별 객체 영상 003(531)과 제공자 B의 동영상 중에서 제공자 B의 동영상은 해당 관람자 관계형 동영상의 배경화면으로 사용하며, 인물별 객체 영상 001(511)과 인물별 객체 영상 003(531)은 배경화면의 상위 레이어(layer)에 지정한 후, 관람자 관계형 동영상(710)을 제작한다.
마지막으로, 동영상 배포부(280)는 S145 단계에서 제작된 관람자 관계형 동영상을 해당 관람자의 관람자 단말기로 전송한다(S150).
동영상 배포부(280)에서 관람자 단말기들(410, 420, 430, 440)로 제공되는 관람자 관계형 동영상은 실시간 스트리밍 방식으로 제공되거나, 관람자 단말기들(410, 420, 430, 440)에 다운로드 될 수 있도록 제공될 수 있다. 또한, 각각의 방식으로 관람자 관계형 동영상을 제공받기 위한 관람자 단말기들(410, 420, 430, 440)은 동영상 배포부(280)에 직접 연결될 수 있으며, 동영상 배포부(280)에 구비된 웹사이트(미도시) 또는 별도로 위치하는 웹서버(미도시)에 구비된 웹사이트(미도시) 등에 접속하여 해당 관람자 관계형 동영상을 제공받을 수 있다.
한편, 관람자들(a, b, c, d)이 각각 보유한 관람자 단말기들(410, 420, 430, 440)을 통해 관람자 관계형 동영상을 요청하는 경우, 각각의 관람자 태그에 매칭하는 인물별 객체 영상들이 선택되며, 각각 다른 선택에 의한 인물별 객체 영상들은 각 관람자들(a, b, c, d)에게 매칭하는 관람자 관계형 동영상으로 제작된다.
본 발명에서 제공자 단말기들(110, 120, 130, 140)은 수신부(240)로 전송하는 동영상 이외에 서브 동영상을 더 전송할 수 있다. 제공자는 공연자의 공연을 수행하면서 메인 카메라를 통해 동영상을 촬영할 수 있으며, 동시에 메인 카메라와 함께 촬영하는 서브 카메라를 이용하여 서브 동영상을 촬영할 수 있다.
즉, 서브 동영상은 메인 카메라에 의해 촬영되는 동영상과 촬영 각도, 촬영 거리, 촬영 앵글 등의 조건을 상이하게 함으로써, 메인 촬영에 의해 제작되는 공연자의 모습이 다르게 보이게 촬영되는 결과물이며, 제공자 단말기들(110, 120, 130, 140)은 각각의 서브 동영상이 존재하는 경우, 관람자 관계형 동영상 제작 장치(200)로 해당 서브 동영상을 전송할 수 있다.
서브 동영상에는 오디오가 포함되어 있을 수 있으며, 오디오가 존재하지 않는 경우에는 메인 카메라에 의해 촬영되어 전송된 동영상에 포함된 오디오를 공유하여 함께 사용하여도 무방하다. 즉, 동일한 시간대에 동일한 공간에 다른 촬영 장치에 의해 촬영된 동영상과 서브 동영상은 서로 동일한 오디오를 포함하고 있으므로, 서브 동영상의 오디오는 생략하여도 무방하다.
한편, 객체 영상 추출부(220)는 수신된 동영상에 대응하는 서브 동영상이 존재하는 경우, 해당 서브 동영상의 서브 인물별 객체 영상을 추출하고, 저장부(240)에 저장한다. 서브 인물별 객체 영상은 대응하는 동영상을 이용하여 생성된 객체 태그를 함께 사용하며, 관계 매칭부(260)에서 관람자 태그와의 비교를 통한 인물별 객체 영상이 선택되고, 해당 선택된 인물별 객체 영상에 대응하는 서브 인물별 객체 영상이 존재하는 경우에는 해당 서브 인물별 객체 영상도 함께 선택되어 관계형 동영상 제작부(270)에서 제작하는 관람자 관계형 동영상에 포함된다.
본 명세서에서의 발명의 설명은 바람직한 실시예를 설명하는 것으로, 본 발명은 이러한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 이상의 실시예에 대한 다양한 변경과 수정이 가능하고, 본 발명의 기술적 사상은 이러한 다양한 변경과 수정을 모두 포함한다.

Claims (26)

  1. 하나 이상의 제공자 단말기로부터 동영상들을 수신하고, 관람자 단말기로부터 관람자 관계형 동영상을 요청하는 요청신호를 수신하는 수신부;
    상기 동영상들에서 인물별 객체 영상들을 추출하는 객체 영상 추출부;
    상기 동영상들 별로 인물 정보를 포함하는 각각의 동영상 메타 데이터를 이용하여 상기 인물별 객체 영상의 객체 태그를 각각 생성하는 객체 태그 생성부;
    관람자들 별로 사회적 관계 정보를 포함하는 각각의 관람자 메타 데이터를 이용하여 관람자 태그들을 각각 생성하는 관람자 태그 생성부;
    상기 인물별 객체 영상들, 상기 객체 태그들 및 상기 관람자 태그들을 저장하는 저장부;
    상기 수신부가 상기 요청신호를 수신하는 경우, 상기 저장부에 저장된 상기 관람자 태그들 중에서 상기 관람자 단말기의 관람자에 해당하는 관람자 태그의 사회적 관계 정보와 상기 저장부에 저장된 상기 객체 태그들의 각 인물 정보를 비교하고, 상기 비교에 따라 상기 관람자 태그에 부합하는 하나 이상의 객체 태그들을 도출하여 관람자 관계 정보를 생성하는 관계 매칭부;
    상기 저장부에 저장된 인물별 객체 영상들 중에서 상기 관람자 관계 정보에 연관되는 하나 이상의 인물별 객체 영상을 선택하고, 선택된 상기 하나 이상의 인물별 객체 영상을 포함하도록 합성하여 관람자 관계형 동영상을 제작하는 관람자 관계형 동영상 제작부; 및
    제작된 상기 관람자 관계형 동영상을 상기 관람자 단말기로 제공하는 관람자 관계형 동영상 배포부
    를 포함하는 관람자 관계형 동영상 제작 장치.
  2. 제 1 항에 있어서,
    상기 저장부는 상기 수신부에서 수신한 상기 동영상들을 더 저장하는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  3. 제 2 항에 있어서,
    상기 관람자 관계형 동영상 제작부는 상기 저장부에 저장된 상기 동영상들 중에서 상기 관계 매칭부에서 생성된 상기 관람자 관계 정보에 연관되는 하나 이상의 동영상을 더 선택하여 상기 합성을 수행하되, 상기 하나 이상의 동영상은 상기 관람자 관계형 동영상의 배경 영상으로 사용되는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  4. 제 1 항에 있어서,
    상기 관람자 태그 생성부는 복수의 항목들을 포함하는 상기 관람자 태그들을 생성하고, 상기 복수의 항목들에 가중치를 부여하되 상기 사회적 관계 정보에 높은 가중치를 부여하는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  5. 제 4 항에 있어서,
    상기 관계 매칭부는 상기 관람자 태그들의 상기 복수의 항목들 중 상기 객체 태그와 매칭되는 항목들의 상기 가중치를 적용한 합을 이용하여 상기 객체 태그들의 매칭 순위를 산출하는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  6. 제 5 항에 있어서,
    상기 관람자 관계형 동영상 제작부는 상기 매칭 순위가 임계범위 이내의 객체 태그들에 연관된 인물별 객체 영상들을 선택하여 상기 관람자 관계형 동영상을 제작하는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  7. 제 5 항에 있어서,
    상기 관람자 관계형 동영상 제작부는 상기 객체 태그들의 상기 매칭 순위에 대응하여 상기 관람자 관계형 동영상의 화면 내에서 출력되는 상기 인물별 객체 영상들에게 각각 레이어(layer)를 지정하는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  8. 제 5 항에 있어서,
    상기 관람자 관계형 동영상 제작부는 상기 매칭 순위를 이용하여 상기 인물별 객체 영상들의 출력 위치를 배치하는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  9. 제 8 항에 있어서,
    상기 관람자 관계형 동영상 제작부는 상기 인물별 객체 영상들에게 배치된 상기 출력 위치에 대응하여 상기 인물별 객체 영상들의 각 크기(size)를 조정하는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  10. 제 1 항에 있어서,
    상기 관계 매칭부는 상기 관람자 단말기로부터 수신된 상기 요청신호에 실시간 메타 데이터가 존재하는 경우, 상기 관람자 단말기의 상기 관람자에 해당하는 상기 관람자 메타 데이터에 상기 실시간 메타 데이터를 더 포함시키는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  11. 제 10 항에 있어서,
    상기 관계 매칭부는 상기 관람자 단말기의 상기 관람자에 해당하는 상기 실시간 메타 데이터를 이용하여 생성한 관람자 태그와 상기 저장부에 저장된 상기 객체 태그들의 상기 인물 정보를 비교한 후, 상기 비교에 따라 상기 관람자 태그에 부합하는 하나 이상의 객체 태그들을 도출하여, 상기 관람자 관계 정보에 더 포함시키는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  12. 제 11 항에 있어서,
    상기 관람자 관계형 동영상 제작부는 상기 관람자 관계 정보 중에서 상기 실시간 메타 데이터에 연관되는 하나 이상의 인물별 객체 영상들을 우선 선택하고, 우선 선택된 상기 하나 이상의 인물별 객체 영상들을 더 포함하여 상기 관람자 관계형 동영상을 제작하는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  13. 제 1 항에 있어서,
    상기 관람자 메타 데이터에 포함되는 상기 관람자의 상기 사회적 관계 정보는 상기 관람자의 사회 관계망 서비스(SNS, Social Network Service)에서 제공받는 것을 특징으로 하는 관람자 관계형 동영상 제작 장치.
  14. (a) 수신부가 하나 이상의 제공자 단말기로부터 동영상들을 수신하는 단계;
    (b) 객체 영상 추출부가 상기 동영상들에서 인물별 객체 영상들을 추출하는 단계;
    (c) 객체 태그 생성부가 상기 동영상들 별로 인물 정보를 포함하는 각각의 동영상 메타 데이터를 이용하여 상기 인물별 객체 영상들의 객체 태그를 각각 생성하는 단계;
    (d) 관람자 태그 생성부가 관람자들 별로 사회적 관계 정보를 포함하는 각각의 관람자 메타 데이터를 이용하여 관람자 태그를 각각 생성하는 단계;
    (e) 저장부가 상기 인물별 객체 영상들, 상기 객체 태그들 및 상기 관람자 태그들을 저장하는 단계;
    (f) 수신부가 관람자 단말기로부터 관람자 관계형 동영상을 요청하는 요청신호를 수신하는 단계;
    (g) 관계 매칭부가 상기 저장부에 저장된 상기 관람자 태그들 중에서 상기 관람자 단말기의 관람자에 해당하는 관람자 태그의 사회적 관계 정보와 상기 저장부에 저장된 상기 객체 태그들의 각 인물 정보를 비교하고, 상기 비교에 따라 상기 관람자 태그에 부합하는 하나 이상의 객체 태그들을 도출하여 관람자 관계 정보를 생성하는 단계;
    (h) 관람자 관계형 동영상 제작부가 상기 저장부에 저장된 인물별 객체 영상들 중에서 상기 관람자 관계 정보에 연관되는 하나 이상의 인물별 객체 영상을 선택하고, 선택된 상기 하나 이상의 인물별 객체 영상을 포함하도록 합성하여 관람자 관계형 동영상을 제작하는 단계; 및
    (i) 관람자 관계형 동영상 배포부가 제작된 상기 관람자 관계형 동영상을 상기 관람자 단말기로 제공하는 단계
    를 포함하여 이루어지는 관람자 관계형 동영상 제작 방법.
  15. 제 14 항에 있어서,
    상기 (e) 단계에서 상기 저장부는 상기 수신부에서 수신한 상기 동영상들을 더 포함하여 저장하는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  16. 제 15 항에 있어서,
    상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 저장부에 저장된 상기 동영상들 중에서 상기 관계 매칭부에서 생성된 상기 관람자 관계 정보에 연관되는 하나 이상의 동영상을 더 선택하여 상기 합성을 수행하되, 상기 하나 이상의 동영상은 상기 관람자 관계형 동영상의 배경 영상으로 사용되는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  17. 제 14 항에 있어서,
    상기 (d) 단계에서 상기 관람자 태그 생성부는 상기 관람자 태그는 복수의 항목을 포함하여 생성되고, 상기 관람자 태그들의 각 항목에 가중치를 부여하되 상기 사회적 관계정보에 높은 가중치를 부여하는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  18. 제 17 항에 있어서,
    상기 (g) 단계에서 상기 관계 매칭부는 상기 관람자 태그들의 상기 복수의 항목들 중 상기 객체 태그와 매칭되는 항목들의 상기 가중치를 적용한 합을 이용하여 상기 객체 태그들의 매칭 순위를 산출하는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  19. 제 18 항에 있어서,
    상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는상기 매칭 순위가 임계범위 이내의 객체 태그들에 연관된 인물별 객체 영상들을 선택하여 상기 관람자 관계형 동영상을 제작하는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  20. 제 18 항에 있어서,
    상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 객체 태그들의 상기 매칭 순위에 대응하여 상기 관람자 관계형 동영상의 화면 내에서 출력되는 상기 인물별 객체 영상들에게 각각 레이어(layer)를 지정하는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  21. 제 18 항에 있어서,
    상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 매칭 순위를 이용하여 상기 인물별 객체 영상들의 출력 위치를 배치하는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  22. 제 21 항에 있어서,
    상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 인물별 객체 영상들에게 배치된 상기 출력 위치에 대응하여 상기 인물별 객체 영상들의 각 크기(size)를 조정하는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  23. 제 14 항에 있어서,
    상기 (f) 단계에서 상기 관계 매칭부는 상기 관람자 단말기로부터 수신된 상기 요청신호에 실시간 메타 데이터가 존재하는 경우, 상기 관람자 단말기의 상기 관람자에 해당하는 상기 관람자의 메타 데이터에 상기 실시간 메타 데이터를 더 포함시키는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  24. 제 23 항에 있어서,
    상기 (g) 단계에서 상기 관계 매칭부는 상기 관람자 단말기의 상기 관람자에 해당하는 실시간 메타 데이터를 이용하여 생성한 관람자 태그와 상기 저장부에 저장된 상기 객체 태그들의 상기 인물 정보를 비교한 후, 상기 비교에 따라 상기 관람자 태그에 부합하는 하나 이상의 객체 태그들을 도출하여, 상기 관람자 관계 정보에 더 포함시키는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  25. 제 24 항에 있어서,
    상기 (h) 단계에서 상기 관람자 관계형 동영상 제작부는 상기 관람자 관계 정보 중에서 상기 실시간 메타 데이터에 연관되는 하나 이상의 인물별 객체 영상들을 우선 선택하고, 우선 선택된 상기 하나 이상의 인물별 객체 영상들을 더 포함하여 상기 관람자 관계형 동영상을 제작하는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
  26. 제 14 항에 있어서,
    상기 (g) 단계에서 상기 관람자 메타 데이터에 포함되는 상기 관람자의 상기 사회적 관계 정보는 상기 관람자의 사회 관계망 서비스(SNS, Social Network Service)에서 제공받는 것을 특징으로 하는 관람자 관계형 동영상 제작 방법.
KR1020177037200A 2015-07-03 2016-07-04 관람자 관계형 동영상 제작 장치 및 제작 방법 KR102027670B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20150095595 2015-07-03
KR1020150095595 2015-07-03
KR1020150106557 2015-07-28
KR20150106557 2015-07-28
PCT/KR2016/007199 WO2017007206A1 (ko) 2015-07-03 2016-07-04 관람자 관계형 동영상 제작 장치 및 제작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197025779A Division KR20190104466A (ko) 2015-07-03 2016-07-04 관람자 관계형 동영상 제작 장치 및 제작 방법

Publications (2)

Publication Number Publication Date
KR20180016424A true KR20180016424A (ko) 2018-02-14
KR102027670B1 KR102027670B1 (ko) 2019-10-01

Family

ID=57685367

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197025779A KR20190104466A (ko) 2015-07-03 2016-07-04 관람자 관계형 동영상 제작 장치 및 제작 방법
KR1020177037200A KR102027670B1 (ko) 2015-07-03 2016-07-04 관람자 관계형 동영상 제작 장치 및 제작 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197025779A KR20190104466A (ko) 2015-07-03 2016-07-04 관람자 관계형 동영상 제작 장치 및 제작 방법

Country Status (5)

Country Link
US (1) US11076206B2 (ko)
EP (1) EP3319332A4 (ko)
KR (2) KR20190104466A (ko)
CN (1) CN107736034A (ko)
WO (1) WO2017007206A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101773885B1 (ko) 2016-10-19 2017-09-01 (주)잼투고 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버
US10956495B2 (en) 2017-03-02 2021-03-23 Ricoh Company, Ltd. Analysis of operator behavior focalized on machine events
US10956494B2 (en) 2017-03-02 2021-03-23 Ricoh Company, Ltd. Behavioral measurements in a video stream focalized on keywords
US10708635B2 (en) 2017-03-02 2020-07-07 Ricoh Company, Ltd. Subsumption architecture for processing fragments of a video stream
US10943122B2 (en) 2017-03-02 2021-03-09 Ricoh Company, Ltd. Focalized behavioral measurements in a video stream
US10929685B2 (en) 2017-03-02 2021-02-23 Ricoh Company, Ltd. Analysis of operator behavior focalized on machine events
US10929707B2 (en) 2017-03-02 2021-02-23 Ricoh Company, Ltd. Computation of audience metrics focalized on displayed content
US10949705B2 (en) 2017-03-02 2021-03-16 Ricoh Company, Ltd. Focalized behavioral measurements in a video stream
US10956773B2 (en) 2017-03-02 2021-03-23 Ricoh Company, Ltd. Computation of audience metrics focalized on displayed content
US10713391B2 (en) * 2017-03-02 2020-07-14 Ricoh Co., Ltd. Tamper protection and video source identification for video processing pipeline
US10719552B2 (en) 2017-03-02 2020-07-21 Ricoh Co., Ltd. Focalized summarizations of a video stream
US10720182B2 (en) 2017-03-02 2020-07-21 Ricoh Company, Ltd. Decomposition of a video stream into salient fragments
US10949463B2 (en) 2017-03-02 2021-03-16 Ricoh Company, Ltd. Behavioral measurements in a video stream focalized on keywords
CN110336957B (zh) * 2019-06-10 2022-05-03 北京字节跳动网络技术有限公司 一种视频制作方法、装置、介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004537190A (ja) * 2001-04-12 2004-12-09 エーシーティーヴィー・インコーポレイテッド オブジェクト指向の視聴覚コンテンツのターゲットをユーザに設定するシステムおよび方法
KR20130000160A (ko) * 2011-06-22 2013-01-02 광주과학기술원 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
KR20150026727A (ko) * 2013-09-03 2015-03-11 한국전자통신연구원 편집형 영상 객체 생성 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL122194A0 (en) 1997-11-13 1998-06-15 Scidel Technologies Ltd Method and apparatus for personalized images inserted into a video stream
WO2007013652A1 (ja) * 2005-07-29 2007-02-01 Pioneer Corporation 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム
EP2043293A4 (en) * 2006-07-19 2011-01-19 Panasonic Corp MEDIUM DATA PROCESSING DEVICE AND MEDIUM DATA PROCESSING METHOD
US20100262992A1 (en) 2009-04-13 2010-10-14 Echostar Technologies L.L.C. Methods and apparatus for overlaying content onto a common video stream
KR101357260B1 (ko) 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
US9112926B2 (en) 2011-04-04 2015-08-18 Qualcomm, Incorporated Recommending mobile content by matching similar users
US8442265B1 (en) * 2011-10-19 2013-05-14 Facebook Inc. Image selection from captured video sequence based on social components
US8934661B2 (en) 2011-12-09 2015-01-13 Facebook, Inc. Automatic photo album creation based on social information
KR20130088493A (ko) * 2012-01-31 2013-08-08 삼성전자주식회사 Ｕｉ 제공 방법 및 이를 적용한 영상 수신 장치
RU2012119843A (ru) * 2012-05-15 2013-11-20 Общество с ограниченной ответственностью "Синезис" Способ отображения видеоданных на мобильном устройстве
EP2875459B1 (en) * 2012-07-20 2021-02-17 Intertrust Technologies Corporation Information targeting systems and methods
KR20140118604A (ko) 2013-03-29 2014-10-08 인텔렉추얼디스커버리 주식회사 개인화된 증강 객체를 전송하는 서버 및 방법
US20150067538A1 (en) * 2013-09-03 2015-03-05 Electronics And Telecommunications Research Institute Apparatus and method for creating editable visual object
JP6088468B2 (ja) * 2014-07-31 2017-03-01 富士フイルム株式会社 画像処理装置、画像処理方法、動画公開システム、動画公開方法、プログラムおよび記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004537190A (ja) * 2001-04-12 2004-12-09 エーシーティーヴィー・インコーポレイテッド オブジェクト指向の視聴覚コンテンツのターゲットをユーザに設定するシステムおよび方法
KR20130000160A (ko) * 2011-06-22 2013-01-02 광주과학기술원 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
KR20150026727A (ko) * 2013-09-03 2015-03-11 한국전자통신연구원 편집형 영상 객체 생성 장치 및 방법

Also Published As

Publication number Publication date
US11076206B2 (en) 2021-07-27
CN107736034A (zh) 2018-02-23
KR102027670B1 (ko) 2019-10-01
EP3319332A4 (en) 2018-11-21
US20180376224A1 (en) 2018-12-27
EP3319332A1 (en) 2018-05-09
KR20190104466A (ko) 2019-09-09
WO2017007206A1 (ko) 2017-01-12

Similar Documents

Publication Publication Date Title
KR102027670B1 (ko) 관람자 관계형 동영상 제작 장치 및 제작 방법
EP4000249B1 (en) Immersive event production and distribution
JP5920587B2 (ja) リアルタイム動画像収集・認識・分類・処理・配信サーバシステム
CN105765990B (zh) 通过分布式网络分布视频内容的方法、系统及计算机介质
US20120287233A1 (en) Personalizing 3dtv viewing experience
US10311917B2 (en) Systems and methods for featuring a person in a video using performance data associated with the person
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
CN111277849A (zh) 一种图像处理方法、装置、计算机设备以及存储介质
US11470297B2 (en) Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations
US20170048597A1 (en) Modular content generation, modification, and delivery system
US11670099B2 (en) Validating objects in volumetric video presentations
US10499097B2 (en) Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame
US20130251347A1 (en) System and method for portrayal of object or character target features in an at least partially computer-generated video
KR101843025B1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
US20220182721A1 (en) Generating personalized synthesized media
CN111183649A (zh) 服务器以及程序
KR102400733B1 (ko) 이미지에 내재된 코드를 이용한 컨텐츠 확장 장치
KR102262702B1 (ko) 샷 변화패턴을 이용한 동영상 생성 시스템
US11470404B2 (en) Consistent generation of media elements across media
US11985360B2 (en) Immersive event production and distribution
CN108882023B (zh) 视频处理方法及相关产品
KR20230096551A (ko) 360도 영상저작물의 유통서비스 제공 방법 및 그 장치
CN115777100A (zh) 基于计算机模拟元数据对视频模板的选择

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant