KR20080063308A - 비디오의 개인화 - Google Patents

비디오의 개인화 Download PDF

Info

Publication number
KR20080063308A
KR20080063308A KR1020087008768A KR20087008768A KR20080063308A KR 20080063308 A KR20080063308 A KR 20080063308A KR 1020087008768 A KR1020087008768 A KR 1020087008768A KR 20087008768 A KR20087008768 A KR 20087008768A KR 20080063308 A KR20080063308 A KR 20080063308A
Authority
KR
South Korea
Prior art keywords
actor
video
new
original
image
Prior art date
Application number
KR1020087008768A
Other languages
English (en)
Other versions
KR101348521B1 (ko
Inventor
블레이크 센프트너
리즈 랄스톤
마일즈 라이트우드
토드 시플레트
Original Assignee
플릭서, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 플릭서, 인크. filed Critical 플릭서, 인크.
Publication of KR20080063308A publication Critical patent/KR20080063308A/ko
Application granted granted Critical
Publication of KR101348521B1 publication Critical patent/KR101348521B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

부분적인 이미지 대체를 통하여 비디오를 개인화하기 위한 프로세스 및 장치가 개시된다. 개인화는 배우 이미지의 부분 또는 전체적 대체를 포함할 수 있다. 개인화는 오브젝트의 삽입 또는 대체와, 배경 및/또는 사운드트랙의 전체 또는 부분적 대체를 포함할 수 있다. 비디오 준비 프로세스는 개인화-준비 비디오의 라이브러리를 생성하는데 사용될 수 있다.
비디오, 비디오 개인화, 이미지 대체, 오브젝트, 배경, 사운드트랙

Description

비디오의 개인화{PERSONALIZING A VIDEO}
저작권 및 트레이드 드레스의 공지
본 특허 문헌의 개시 일부는 저작권 보호에 속하는 자료를 포함한다. 본 특허 문헌은 소유자의 트레이드 드레스(trade dress)이거나 그것이 될 수 있는 문제를 보여주거나 및/또는 기술할 수 있다. 저작권 및 트레이드 드레스 소유자는, 미국 특허 및 상표청 특허 파일 또는 기록에 나타나있는 한, 본 특허 개시의 팩시밀리 복사에 대한 반대는 없지만, 그렇지 않은 경우 무엇이든 모든 저작권 및 트레이드 드레스 권리를 보유하고 있다.
관련 출원 정보
본 특허는 이하의 우선권을 주장하며, 그 전체는 여기에 참고자료로 포함된다: "Facial image replacement"란 제하로 2005년 9월 16일 출원된 출원 번호 60/717,852호, "Customized product marketing images"란 제하로 2005년 9월 16일 출원된 출원번호 60/717,937호, 및 "Call and message notification"란 제하로 2005년 9월 16일 출원된 출원번호 60/717,938호.
본 개시는 부분적 이미지 대체(replacement)를 통하여 개인화된 비디오(personalized video)를 생성하기 위한 프로세스 및 장치에 관한 것이다.
디지털 이미지 기록, 저장 및 합성은 텔레비전, 동영상 및 비디오 게임에서 널리 사용된다. 디지털 비디오는 본질적으로, 주기적 간격으로 촬영된 장면(scene)인, 통상적으로 "프레임"이라 칭하는 일련의 디지털 사진이다. 디지털 비디오는 디지털 비디오 카메라를 사용하여 기록되거나, 아날로그 비디오 기록을 디지털화거나 동영상 필름 기록을 디지털화하여 생성될 수 있거나, 2D 또는 3D 컴퓨터 그래픽을 랜더링(rendering)함으로써, 또는 심지어 최종 디지털 비디오를 실현하기 위해 각종 요소의 아날로그 또는 디지털 합성으로 전술한 것들을 하이브리드 조합(hybrid combination)하여 생성될 수 있다. 시청자에게 매끄럽고, 연속적인 동작의 느낌을 주기 위해서, 디지털 또는 아날로그 비디오 이미지는 통상적으로, 초당 25, 30, 60 이상의 프레임으로 이루어진다. 하지만, 초당 프레임 수는 디지털 비디오를 식별하기 위한 한정 인자로서 간주 되어서는 안 된다. 일부 디지털 비디오 포맷은 N초당 겨우 1 프레임을 지원하며, 심지어, 결과적인 디지털 비디오의 최종 저장 크기의 저감화를 시도하면서 인지 동작 효과를 달성하기 위해 필요에 따라 가변 프레임률(frame rate)을 지원한다. 프레임률이 무엇이든 간에, 각각의 프레임은 복수의 수평 라인으로 분할될 수 있고, 각각의 라인은 통상적으로 라인당, 통상적으로 "픽셀(pixel)"이라 칭하는 복수의 화소(picture element)로 분할된다. 미국에서의 표준 방송 비디오 기록은 프레임당 525 라인을 갖고, HDTV 기록은 프레임당 1080 라인을 갖는다. 하지만, 본 기술의 목적을 위해, 용어 "디지털 비디오"는 넓은 의미에서, 순서대로 볼 때, 하나 이상의 세팅 내에서 시간 경과적 표현을 나타내는 일련의 이미지를 단순히 의미한다. 이미지의 수, 이미지의 표시 속도, 이미지의 치수는 무관하다. 그러나, 여전히 이미지는 라인 및 픽셀로 이루어지는 것으로서 통상적으로 인식되고, 심지어, 여기에 개시한 프로세스의 각종 단계를 통해서도, 필요에 따라 프레임당 라인 및 픽셀의 수는 각종 단계에 의해 요구되는 정밀도를 위해서 통계적으로 리샘플링될 수 있다.
따라서, 디지털 비디오의 각 프레임은 일부 전체 수의 픽셀을 포함하고, 각각의 픽셀은 이미지 각 부위의 휘도 및 컬러를 지시하는 일부 수의 비트 정보에 의해 표현된다. 디지털 비디오가 생성될 수 있는 복수의 방법에 있어서, 모두는 본질적으로, 라인 및 픽셀을 포함하는 일련의 프레임으로서 표현되는 일련의 이미지이다. 디지털 비디오를 비트 및 바이트로 표현하는 각종 수단이 존재하지만, 일부 수준에서, 모두는 프레임, 라인 및 픽셀로서 참조될 수 있다.
디지털 비디오는 프레임을 연속적으로 보기 위한 표시 매체를 필요로 한다. 표시 매체는 통상적으로는 TV, 컴퓨터 및 모니터, 휴대폰 또는 PDA(personal digital assistant)와 같은 전자 장치이다. 이들 장치는 디지털 비디오를 파일 형태로 수신하거나 소유하며, 그 프레임을 사용자에게 순서대로(in sequence) 표시한다. 사용자에게 디지털 비디오를 경험하게 하기 위한, 전자 장치가 아닌 다른 잠재적 표시 매체가 존재한다. 이들 매체의 예로는, 1) 신용/데빗 카드와 수집 스포츠 카드에서 발견되는 성질의 인쇄 홀로그램, 2) 화학적 및 기타 비-전자 이미지 인코딩 방법을 채용하는 디지털 페이퍼, 3) 단순한 인쇄 플립북(flipbook)이 있다.
도 1은 개인화된 디지털 비디오를 생성하기 위한 프로세스의 플로차트.
도 2는 도 1의 프로세스의 확장을 나타내는 도면.
도 3은 개인화된 비디오를 생성하기 위한 프로세스에서의 선택적 단계의 플로차트.
도 4는 개인화된 비디오를 생성하기 위한 프로세스에서의 선택적 단계의 플로차트.
도 5는 개인화된 비디오를 생성하기 위한 프로세스에서의 선택적 단계의 플로차트.
도 6은 개인화된 비디오를 생성하기 위한 프로세스에서의 선택적 단계의 플로차트.
도 7은 개인화된 비디오를 생성하기 위한 프로세스에서의 선택적 단계의 플로차트.
도 8은 개인화된 비디오를 제공하기 위한 다른 프로세스의 플로차트.
도 9는 개인화된 광고를 제공하기 위한 프로세스의 플로차트.
도 10은 컴퓨터 장치의 블록도.
도 11은 다른 컴퓨터 장치의 블록도.
본 설명에 걸쳐서, 도시한 실시예 및 예는 개시되거나 청구된 장치 및 방법에 대하여 제한적이라기보다는 예시적인 것으로 간주되어야 한다.
본 설명에 걸쳐서, "디지털 비디오 클립", "비디오 클립", "클립" 및 "디지털 비디오"는 모두, 이미지를 순차적으로 보여주기 위한 의도의 일련의 이미지의 디지털 인코딩을 나타낸다. 지속 기간에 대해 수반되는 제한은 없으며, 디지털 비디오가 표현될 수 있는 최종 매체에 대해서도 수반되는 제한이 없다. 디지털 비디오의 예는 비-한정적으로 현재 또는 고전의 영화나 텔레비전 쇼의 일부, 전체 필름 또는 TV 쇼, 광고, 뮤직 비디오, 또는 개인화를 위해 특수하게 제작된 특수 클립(예컨대, "셀리브리티 프렌드(celebrity friend)"에서 새로운 배우를 보여주기 위해 개인화될 수 있는 클립)을 포함한다. 디지털 비디오는 디지털 비디오 카메라를 사용하여 기록될 수 있거나, 아날로그 비디오 카메라 또는 필름 기록으로부터 디지털화될 수 있거나, DVD와 같은 디지털 매체로부터 검색될 수 있거나, 전술한 프로세스 및 여기에 기술하지 않은 다른 프로세스의 복합 프로세스에 의해서 생성될 수 있다.
개인화된 비디오의 생성은, 개인들이 오리지널 비디오의 참가자를 자신들, 그들의 친구, 그들의 가족 구성원, 또는 묘사하는 이미지를 갖는 실제나 가상의 임의의 개인들로 대체할 수 있도록, 비디오의 순차 변경을 전체적으로 허용하는 다중 필드의 조합이다. 오리지널 비디오에서의 참가자의 그러한 대체는, 비-한정적으로 얼굴의 대체, 시선의 프레이밍(framing)으로 인하여 및/또는 전체 대체된 개인들의 신체의 시선을 차단하는 비디오 시퀀스 내의 개인 및 물체의 폐색으로 인하여, 오리지널 비디오 내에서 가시적인 머리 및/또는 연결된 스킨의 일부의 대체, 비디오 시퀀스의 줄거리 내에서의 대체 캐릭터에 의해 묘사되는 배역에 의해 착용된 복장 및/또는 의상의 대체 등을 요구할 수 있다. 오리지널 비디오 내에서 묘사되는 줄거리의 내용에 따라서, 비디오 내의 참가자의 대체는 손, 팔, 다리 등의 그들의 기 타 가시적인 스킨의 일부를 포함할 수 있다.
또한, 원하는 대체는, 비디오 시퀀스 내의 오리지널 배우의 본질적인 제거와, 대체 개인의 완전히 합성된 버전("디지털 더블")에서 장면(scene) 내의 물체에 대한 그들의 그림자, 반사 및 가시적 영향의 제거와, 장면 내의 다른 물체에 대한 특정 그림자, 반사 및 기타 가시적 영향의 부가로 극단적으로 수행될 수 있다.
원하는 대체의 품질과, 오리지널 비디오의 줄거리에 대한 이러한 원하는 품질의 영향에 따라서, 대체 배우 해석의 본질적 요소와, 줄거리 내용 내의 의미가 변경될 수 있다. 예컨대, 비디오 내의 근육적이고 영웅적인 남성을 맵시 있는 여성으로 대체함으로써, 줄거리는 본질적으로 변경되지 않지만, 줄거리의 해석은 눈에 띄게 대폭 변경된다. 그러한 변경이 일어나기 위해서는, 얼굴 및 머리 부분의 대체는 그러한 결과를 달성하기에 충분하지 않고, 이러한 상황에서 오리지널 배우의 완전한 제거가 실행되고, 그들의 주요 움직임(motion)이 이차 저장 매체 내에서 유지되며, 맵시 있는 여성의 디지털 더블의 애니메이션(animation) 및 삽입을 위해 참조된다.
완전한 디지털 더블과 연결 스킨을 갖는 얼굴/헤드의 두 극단 사이는, 배우 대체가 실행될 수 있는 정도의 무한 범위에 있다. 이러한 무한 범위의 모든 예에서, 오리지널 비디오 내의 줄거리 및 배우의 본질적 행동은 변경되지 않을 수도 있음을 유념해야 한다.
특정 극장 시스템은 3차원(3D) 이미지의 환영(幻影)을 제공하기 위해 입체 영상 시스템을 사용한다. 이러한 시스템은 시청자의 눈 각각에 별도의 이미지 또 는 필름 2D 채널을 제공한다. 두 이미지 채널은 편광되거나 착색된 렌즈를 갖는 특수 유리에 의해서 시청자의 눈에서 분리되거나 공통의 표면에 제공될 수 있다. 각각의 이미지 채널이 적절한 눈에만 제공되도록, 기타 광학적 기술이 채용될 수 있다. 본 개시에서의 설명이 통상적인 2D 비디오를 개인화하는데 관한 것일지라도, 여기에 개시된 개인화 기술은 스테레오 3D 디스플레이 시스템의 두 이미지 채널에도 적용될 수 있다.
개인화된 비디오는 비-한정적으로 이하를 포함하는 가능한 포맷 범위로 제공될 수 있다.
(a) 비디오의 다운로드, 자유로운 교환, 및 거래를 허용하는 디지털 권리 관리 프리 포멧. 광고 애플리케이션에서, 제품 배치의 잠재적 존재로 인하여, 광고주는 가능한 한 여러 장소에서 개인화된 비디오가 교환되고, 거래되고, 표시되게 하는 것으로부터 이득을 얻을 수 있다.
(b) 특정 장치에서의 재생을 위한 개인화된 비디오의 구매와 같은, 특정 개인에 의해 다운로드 및 특정 장치상에서의 재생만을 허용하는 디지털 권리 관리 강화 포맷.
(c) 휴대폰, 컴퓨터 및 유사한 통신 및 연산 장치상에서 재생될 수 있는 3gp, 3gpp, mv4, gif 또는 다른 공중 또는 사설 디지털 비디오 또는 디지털 이미지 포맷. 이러한 예에서, 개인화된 비디오는 간단히 시청될 수 있거나, 비디오 링 톤, 대체 오디오 링 톤으로서 사용될 수 있거나, 장치 이용의 컨텍스트 내에서의 가상적 임의의 이벤트 통지를 위해 사용될 수 있다.
(d) 데빗/신용 카드상에서 발견될 수 있는 타입의 인쇄된 홀로그래픽 이미지. 이러한 예에서, 개인화된 비디오는 더 이상 디지털 이미지 포맷으로 존재하지 않으며, 일련의 포토그래픽 이미지로 변환되고, 홀로그램 내에서 이미지 시퀀스로 내장된다. 이러한 형태에서, 개인화된 비디오는 임의의 전자 시청 장치를 전혀 사용하지 않고 볼 수 있다.
(e) 이미지 및 이미지 시퀀스가 잠재적 비-전자 페이퍼 매체 내에 전자적으로 또는 화학적으로 인코딩되는 디지털 페이퍼 매체.
(f) 이미지 및 애니메이션이 내장되거나, 전송되거나, 다르게는 직물의 표면에 표시될 수 있도록, 의류, 가구 덮개, 및 직물의 기타 통상적 용도를 위한 직물이 직물 파이버에 내장된 LED, OLED, 또는 기타 발광 및 변환 기술을 갖는 디지털 섬유 매체.
몇몇 디지털 비디오 포맷은 디지털 비디오의 재생에 의해 트리거(trigger)되는 로직(logic)의 내장을 허용한다. 그러한 예에서, 그러한 로직은, 비디오가 재생될 때마다 카운터가 점진하도록 개인화된 비디오 내에 내장되는 것이 바람직할 수 있다. 유사하게, 논리적 트리거는 특정 제품 이미지, 로고, 또는 기타 이미지가 표시될 때 트리거되는 개인화된 비디오에 내장될 수 있다. 카운터는 인터넷 및/또는 개인화된 비디오가 시청 가능한 장치상에 위치될 수 있다. 다음에 새로운 비디오 또는 기타 정보의 검색을 위해 장치가 인터넷에 연결될 때와 같이, 카운터가 인터넷 상이 아닌 시청 장치 상에 위치될 때, 카운터 값을 그 값에 관심을 갖는 수단에 전송하는 일부 수단이 채용될 수 있다.
프로세스의 설명
비디오에 적용되는 프로세스 단계는, 화소별 또는 프레임별 기초로 디지털 비디오에 저장되는 실제 데이터를 변경 또는 조작하는 단계를 포함한다는 것을 기억해야만 한다. 본 설명에 걸쳐서, 이러한 개념의 과도한 반복을 피하기 위해서, 여기에서는, 포함되는 이미지의 일부 또는 동작의 관점에서 프로세스 단계를 기술한다. 예컨대, "오리지널 오브젝트를 새로운 오브젝트로 대체하는 단계"로서 기술한 단계는, 실제로는 오브젝트 자체가 아니라, 오히려 비디오에서 묘사되는 오브젝트의 이미지를 포함한다. "대체하는 단계" 동작은, 대체될 오리지널 오브젝트 이미지를 나타내는 각각의 비디오 프레임 내의 모든 픽셀을 식별하는 단계와, 그들 픽셀에 대한 디지털 데이터를, 1) 오브젝트 뒤의 배경을 나타내는 픽셀로 오리지널 오브젝트를 오버라이트 하고, 2) 새로운 배경 대체 이미지를 새로운 오브젝트의 이미지로 오버라이트 하는 두 단계 프로세스로 변경하는 단계를 포함할 수 있다. 데이터는 오리지널 데이터를 새로운 데이터로 오버라이트 함으로써 단일 단계로 변경될 수 있다. 두 단계 프로세스는, 대체 오브젝트의 형상이 오리지널 오브젝트와 상이할 잠재성이 있는 경우에 채용된다. 식별 및 변경 단계는 비디오의 모든 프레임마다 반복된다.
본 프로세스의 초기 설명은, 비디오의 오리지널 배우 중의 한 명의 이미지의 얼굴 부위를 새로운 배우의 얼굴 이미지로 치환함으로써 비디오가 개인화되는 경우의 예시적 케이스를 사용하여 이루어질 것이다. 본 명세서 내에서, 용어 "얼굴" 및 "안면"은 달리 언급하지 않는 한 귀, 목 및 기타 인접 스킨 영역의 가시적 부위를 포함하는 것으로 해석되어야만 한다. 전체 신체 치환까지 포함하여, 새로운 배우의 보다 큰 부위로 오리지널 배우의 대응하는 부위를 치환하는데 동일한 프로세스가 적용될 수 있다. 동일한 기본적 프로세스는, 치환되는 비디오의 부분이 증가함에 따라 처리 복잡도, 시간 및 비용이 증가하는 가능성의 범위에 걸쳐서 적용될 수 있다. 유사하게, 이러한 동일한 기본적 프로세스는 비디오 내의 복수의 오리지널 배우에 대하여 수행될 수 있고, 이는 복수의 새로운 배우를 묘사하는 개인화된 비디오의 결과를 낳는다.
도 1은 비디오의 오리지널 배우들의 한 사람의 안면 이미지의 적어도 일부를 새로운 배우의 얼굴의 이미지로 치환하는 방법에 의해 개인화된 비디오를 생성하는 프로세스의 플로차트이다. 적어도 하나의 2D 이미지가 제공될 수 있는 한, 새로운 배우는 개인화된 비디오를 원하는 개인, 그의 친구 또는 가족 구성원, 또는 실재 또는 가상의 임의의 기타 개인일 수 있다.
도 1에 도시한 프로세스는, 배우 모델링 프로세스(100)와, 비디오 준비 프로세스(200)와, 개인화 프로세스(300)로 분할된다. 프로세스(100 및 200)는 서로 독립적임을 유념해야 한다. 개인화 프로세스(300)는 준비된 비디오(프로세스(200)) 및 적어도 하나의 새로운 배우 모델(프로세스(100)) 양쪽의 결과를 필요로 한다. 임의의 특정 개인화된 비디오의 경우, 프로세스(200)는 반드시 수행되어야 한다. 임의의 특정 비디오의 경우, 프로세스(200)의 결과는 프로세스(100)로부터의 적어도 하나의 결과와 쌍을 이루고, 그것들은 개인화된 비디오를 생성하기 위해 함께 프로세스(300)를 통과하여 개인화된 비디오를 생성한다. 프로세스(200)는 비디오당 1회 실행되기만 하면 된다. 프로세스(100)는 새로운 배우당 1회 사용되기만 하면 된다. 따라서, 프로세스(200)에 의해서 비디오가 일단 준비되면, 그것은 임의의 수의 새로운 배우 모델과 쌍이 이루어져 그 배우와의 비디오의 개인화된 버젼을 생성할 수 있다. 마찬가지로, 배우 모델이 프로세스(100)에서 일단 생성되면, 그것은 임의 수의 준비된 비디오와 쌍을 이루어 배우를 특징짓는 상이한 개인화된 비디오를 생성할 수 있다.
비디오 준비 프로세스(200) 및 개인화 프로세스(300)는 거의 동시적으로 수행될 수 있고, 각각의 비디오 프레임에 대한 비디오 준비 프로세스는 동일한 프레임에 개인화 프로세스가 적용되기 전에 완료되어야 할 수 있다. 하지만, 프로세스(200)는 완료하는데 연장된 기간을 필요로 하는 인간의 노동 집약적 프로세스일 수 있다. 실시에서, 프로세스(200)는 프로세스(300)가 시작할 수 있기 이전에 완료되어야 할 수 있다.
도 1 및 후속 도면에서, 101과 199 사이의 참조 부호는 배우 모델링 프로세스(100) 내의 프로세스 단계를 지시한다. 또한, 배우 모델링 프로세스(100)의 선택적 확장을 지시하기 위해서, 참조 부호(100)에 문자 접미어가 부가될 수 있다(예컨대, 100A, 100B 등). 비디오 준비 프로세스(200) 및 개인화 프로세스(300)에 유사한 정의가 후속될 것이다.
배우 모델링 프로세스(100)는 새로운 배우의 하나 이상의 2차원(2D) 디지털 이미지에 더하여 관련 지원 정보를 수신하고, 단계(110)에서, 3차원 모델로 구성된 새로운 배우의 디지털 모델과, 선택적으로 인구 통계적(demographic) 프로파일 및 새로운 배우를 기술하는 기타 개인 정보를 포함하는 새로운 배우의 디지털 모델을 생성한다. 양 눈이 가시적이고 카메라로부터 30°이하로 회전한 상태에서, 바람직한 2D 이미지는, 우선적으로 새로운 배우의 얼굴, 그들 머리의 상부 및 저부, 양쪽 귀, 목의 부분을 캡쳐(capture) 한다. 카메라로부터 잠재적으로 30°초과한 회전으로 인하여, 얼굴 또는 머리 부위가 차단될 수 있는 경우, 사진 이미지의 분석으로부터 복구될 수 없는 정보를 공급하기 위해 통계 기준이 사용될 수 있다. 2D 이미지로부터 3D 모델을 생성하는 기술은 알려져 있고, 보안 시스템에 통상적인 안면 인식 기술뿐만 아니라 컴퓨터 비전(computer vision) 분야의 파생결과이다. 최소의 관련 지원 정보는 간단히 결과적인 새로운 배우 모델에 대한 이름이다. 부가적인 관련 지원 정보는 인구 통계적 프로파일 및/또는 새로운 배우를 기술하는 개인 정보를 포함할 수 있다. 이 정보는 사용자로부터 정보를 단순히 요구하거나, 및/또는 인구 통계적 정보 가입 서비스를 통하여 정보를 결정하거나, 및/또는 개인 미디어 서비스를 사용할 때의 사용자의 활동도를 관찰함으로써 그러한 정보를 추적 및 보유함으로써 얻어질 수 있다.
비디오 준비 프로세스(200)는 오리지널 배우의 위치, 배향 및 표정이 식별되고 추적되는 단계(210)에서 시작한다. 이러한 단계는 비디오의 각 프레임에 대한 부가적인 데이터를 전개 및 저장한다. 이러한 데이터는 비디오 프레임 내의 오리지널 배우의 얼굴의 위치와, 장면을 보고 있는 시뮬레이션된 디지털 카메라의 좌표 공간 내의 상대적인 크기와, 일부의 메트릭스 세트에 따라 정량화된 배우의 얼굴 표정과, 오리지널 배우의 배향, 또는 상대적인 머리 회전 및 기울임을 포함할 수 있다. 얼굴 위치 추적 및 배향 추정은 자동 이미지 처리 도구의 도움으로 디지털 아티스트에 의해 행해질 수 있다. 오리지널 배우의 표정은 비디오 이미지 내의 표정을 매치시키기 위해서 오리지널 또는 유사한 배우의 머리의 기준 3D 모델을 기하학적 모핑(morphing) 또는 변환함으로써 정량화될 수 있다. 새로운 배우의 이미지를 오리지널 배우의 표정과 매치시키도록, 새로운 배우의 머리의 3D 모델을 변환하기 위해, 유사한 변환이 후속적으로 단계(320)에서 적용될 수 있다.
귀, 코 및 기타 얼굴 특징부의 사이즈에서의 자연적인 변화성이 주어지면, 새로운 배우의 얼굴이 오리지널 배우의 얼굴을 정확히 대체하지 않을 수 있다. 여러 경우에, 현존 이미지 위에 새로운 배우의 이미지를 단순 위치시키는 것은 가시적인 오리지널 배우의 얼굴의 일부 잔여 픽셀을 남길 수 있다. 잔여 픽셀은 새로운 배우의 얼굴의 이미지를 왜곡시킬 수 있고, 특히 오리지널 배우와 새로운 배우 사이에 스킨 톤(skin tone)의 현저한 차이가 존재하는 경우에는 불만이 있을 수 있다. 각각의 비디오 프레임에의 새로운 배우의 이미지의 삽입과 동시에 잔여 픽셀을 검출하고 제거하는 것이 가능해질 수 있다. 하지만, 잔여 픽셀의 수 및 위치가 새로운 배우의 특징부 및 물리적 크기에 의존할 것이므로, 그러한 프로세스는 다른 새로운 배우에 대하여 비디오가 개인화될 때마다 반복되어야 할 수도 있다.
잔여 픽셀의 가능성 없이 오리지널 배우의 얼굴 이미지의 완전한 제거를 보장하기 위해서, 비디오 준비 프로세스(200)는, 오리지널 배우의 이미지의 적어도 주요 부위가 제거되고, 배우 뒤의 배경에 연속하는 이미지로 대체되는 단계(220)에 서 연속할 수 있다. 개인화의 의도로 생성된 비디오의 경우에, 배경 이미지는 오리지널 배우가 없는 장면을 기록함으로써 간단하게 제공될 수 있다. 기존의 비디오의 경우에, 오리지널 배우의 얼굴 이미지가 제거된 이미지 영역 내의 배경은 자동 비디오 처리 도구의 도움으로 디지털 아티스트에 의해 주변 장면으로부터 연속될 수 있다. 오리지널 배우의 얼굴 이미지를 제거하고 연속적인 배경 장면으로 다시 채우는 것으로, 잔여 픽셀을 제거하기 위한 추가적인 처리 없이 복수의 다른 새로운 배우에 사용하기 위한 비디오를 준비한다.
단계(220)에서 대체된 오리지널 배우의 주요 부위는 얼굴 및 인접 스킨 영역을 포함할 수 있다. 선택적으로, 주요 부위는 머리카락, 옷, 또는 전체 배우까지 포함하는 추가적인 부위를 포함할 수 있다. 적절한 환영(illusion)을 달성할 필요가 있는 경우, 배우의 그림자 및 반사 또한 제거 및 대체될 수 있다. 종종, 배우의 그림자는 확산하고, 반사면은 대체가 필요하지 않을 만큼 충분히 흐리다. 하지만, 예리한 그림자 또는 고광택 반사면이 존재하는 경우, 그림자 또는 반사는 단계(220)에서 대체될 필요가 있다. 단계(220)의 결과는 프로세스(300)에 사용되는 배경 이미지가 된다. 단계(220)는 모든 추가의 개인화된 이미지가 위에 위치되는 배경 이미지를 생성한다.
비디오는 한쪽 또는 양쪽의 손이나 팔과 같이 배경 이미지 또는 새로운 배우에 의해서 대체되지 않을 오리지널 배우의 가시적 스킨 영역을 포함할 수 있다. 단계(230)에서, 오리지널 배우의 가시적인 비-대체 스킨 영역은, 가능하게는 자동 이미지 처리 도구의 도움을 받은 디지털 아티스트에 의해서 식별될 수 있다. 비- 대체 스킨 영역은 오리지널 배우의 스킨에 대한 적절한 배색을 갖는 픽셀을 단순히 위치시킴으로써 식별될 수 있다. 비-대체 스킨 영역의 위치 및 범위를 정의하는 데이터가 비디오의 각 프레임마다 전개되고 저장될 수 있다. 단계(230)는, 스킨만의 프레임 세트가 단계(220)의 결과 위에 조합될 수 있게 해주는 매트 배경(matte background)과 함께, 스킨만의 다른 일련의 프레임을 생성할 수 있다. 단계(220 및 230 뿐만 아니라, 320 및 330)은 도 1에 도시한 것과 반대 순서로 일어날 수 있다.
비디오의 각 프레임은 3D 장면의 2D 이미지이다. 조명, 음영, 그림자, 반사는 장면의 깊이를 시청자에게 연관시키는 중요한 가시적 큐(cue)이다. 적절한 조명, 음영, 그림자 및 반사 효과의 재현 없이 치환되는 이미지의 임의의 부분은 오류 또는 위조로서 즉시 인식될 수 있다.
그리하여, 비디오 준비 프로세스는 장면 내에 오리지널 배우의 존재로 인하여 존재하는 조명, 음영, 그림자 및 반사의 식별 및 추적과 함께 단계(240)에서 계속될 수 있다. 이미지의 치환 부위에 이들 효과를 정확히 재현하기 위해서, 이하의 적어도 하나의 파라미터를 정의하는 데이터를 전개 또는 추정할 필요가 있다: 장면에 대한 카메라의 위치와, 장면 및 카메라에 대한 광원(들)의 수, 타입, 강도, 컬러 및 위치와, 장면 내의 오브젝트의 상대 깊이와, 임의의 가시적 반사면의 특성, 상태 위치 및 각도. 개인화의 의도로 기록되는 비디오의 경우, 이러한 데이터의 상당수가 비디오가 생성되는 동안 간단하게 측정되고 기록될 수 있다. 기존의 비디오의 경우, 이러한 데이터는 자동 비디오 처리 도구의 도움으로 디지털 아티스 트에 의해 이미지로부터 추정될 수 있다.
비디오 준비 프로세스(200) 내에서, 단계(210, 220, 230 및 240)는 디지털 아티스트가 디지털 비디오를 구성하는 이미지의 복수의 카피에 의해 이들 단계를 수행하게 함으로써 임의의 순서로 행해질 수 있다. 디지털 준비 프로세스(200)는 새로운 배우에 대한 임의의 정보 또는 데이터를 필요로 하지 않는다는 것을 유념하자. 그리하여 비디오 준비 프로세스는, 단계(210, 220, 230 및 240)에서 전개된 데이터가 저장되는 경우 각 비디오에 한 번만 행해져야 한다. 이러한 데이터는 비디오에의 일련의 상대 파일(companion file)로서 저장된다.
개인화 프로세스는, 새로운 배우의 이미지가 비디오에 삽입되는 단계(320)에서 시작한다. 새로운 배우의 이미지를 치환하기 위한 프로세스가 도 2에 추가적인 상세사항으로 도시된다. 단계(322)에서, 새로운 배우의 3D 모델은 비디오 준비 프로세스의 단계(210)로부터의 데이터에 의해 정의된 바와 같은 오리지널 배우의 배향 및 표정을 매치하도록 변환될 수 있다. 이러한 변환은 어느 한 순서로 몇몇 축에서의 회전 및 얼굴 표정의 기하학적 모핑의 모두를 포함할 수 있다. 3D 모델이 회전 및 모핑된 후에, 3D 모델의 2D 이미지는 단계(324)에서 전개 및 적절한 사이즈로 크기조정(scale)된다. 그 다음, 새로운 배우의 변환된 크기조정 2D 이미지는, 새로운 배우의 위치, 배향 및 표정이 이전에 제거된 오리지널 배우의 위치, 배향 및 표정과 실질적으로 매치하도록, 단계(326)에서 비디오에 삽입된다. 이와 관련해서, "실질적 매치"는, 비디오가 생성되었을 때 새로운 배우가 실제로 존재하였다는 확신적인 환영을 개인화된 비디오가 제공할 때 발생한다.
도 1을 재차 참조하면, 단계(330)에서, 오리지널 배우의 가시적 비-대체 스킨 영역은 새로운 배우의 스킨 외관과 매치하도록 변경된다. 스킨 외관은 컬러, 톤, 및 조직(texture)과 같은 인자를 포함할 수 있다. 이러한 변경은, 변경 후의 비-대체 영역의 평균 스킨 톤이 새로운 배우의 얼굴 영역의 평균 스킨 톤과 동일하면서, 오리지널 이미지에서 존재하는 변동을 방지하도록 행해질 수 있다.
단계(340)에서, 오리지널 비디오에 존재하는 조명, 음영, 그림자 및 반사가 재현된다. 이러한 프로세스는 새로운 배우 또는 이미지의 다른 대체 영역에 대한 조명 하이라이트(highlight) 및 음영을 재현하는 단계뿐만 아니라, 새로운 배우의 임의의 그림자 또는 반사를 재현하거나 변경하는 단계를 포함할 수 있다. 그리하여, 단계(340)는 바람직하게는 개인화 프로세스의 최종 단계로서 수행된다.
도 3은 새로운 배우를 정의하는 파라미터의 복합체인 새로운 하이브리드 배우 모델을 생성하는데 사용될 수 있는 선택적 프로세스(100A)의 플로 차트이다. 각각의 새로운 배우 모델은 3차원 구조와, 인구 통계적 프로파일과, 나이, 성, 신체 타입 등의 부가적 개인 정보를 포함한다. 모든 새로운 배우 모델은 모든 다른 새로운 배우 모델과 동일한 데이터 포맷으로 유지된다. 이는, 임의의 수의 새로운 배우가 사용자와, 수행된 사용자 제어 N-차원 변환 및 모핑에 의해 선택되게 허용한다. 조합 및 파라미터 모핑 프로세스(110A)는 사용자가 그들이 소유하는 임의 수의 새로운 배우 모델을 선택하게 허용하고, 새로운 배우를 정의하는 임의의 및/또는 모든 파라미터의 조합 또는 변환의 결과인 새로운 하이브리드 배우 모델을 생성한다. 이는, 개인이 자기 자신과, 그들의 동일한 성을 묘사하는 새로운 배우를 입력으로서 선택하게 허용하고, 3차원 구조 및 나이 파라미터의 모핑을 통하여, 자기 자신의 늙거나 젊은 버전을 생성한다. 유사하게, 이러한 프로세스는 자신과 유명인 사이의 상상 결과 또는 다른 가능한 하이브리드 조합을 생성하는데 사용될 수 있다.
오브젝트의 이미지를 개인화된 비디오에 부가하거나, 기존의 오브젝트의 이미지를 다른 오브젝트로 대체하는 것을 원할 수 있다. 예컨대, 스포츠 장비의 하나가 광적인 스포츠 팬을 위한 비디오를 추가로 개인화하기 위해 삽입될 수 있다. 다르게는, 개인화된 타깃 광고를 제공하기 위해 개인화된 비디오에 오브젝트가 배치되거나 재배치될 수 있다. 유사하게, 오브젝트는 특정 휴일, 시즌 또는 이벤트를 기념하도록 선택될 수 있다. 비디오에 부가되거나 치환될 오브젝트는 새로운 배우의 인구 통계적 정보 또는 새로운 배우와 관련되거나 무관한 기타 정보에 기초하여 선택될 수 있다.
도 4는 새로운 오브젝트를 비디오 내에 배치하기 위해, 비디오 준비 프로세스(200) 및 개인화 프로세스(300)에 각각 포함될 수 있는 선택적 프로세스(200A 및 300A)의 플로차트이다. 단계(250)에서, 오브젝트를 배치하기에 적합한 오브젝트 배치 장소가 식별되고 비디오의 프레임을 통하여 추적된다. 예컨대, 오브젝트 배치 장소는 테이블의 위 또는 바닥 위의 개방 공간일 수 있다. 특정 비디오 내에서 하나의 그러한 장소가 존재할 수 있거나, 장소가 없을 수 있거나, 복수의 장소가 식별되고 추적될 수 있다. 장면을 바라보는 실제 또는 시뮬레이션된 카메라에 대하여 장소가 고정적인 경우와, 오브젝트 배치 장소와 카메라 사이에서 배우 또는 다른 장면 요소가 이동하지 않는 경우에는, 오브젝트 배치 장소는 별 것 아닐 수 있다. 카메라가 장면에 대하여 이동하거나, 오브젝트 배치 장소 자체가 장면에 대하여, 예컨대, 배우의 손이 닿는 범위 내에서 이동하는 경우, 오브젝트 배치 장소의 추적은 더욱 복잡해진다.
새로운 오브젝트의 이미지는 단계(350)에서 장면에 부가된다. 단계(350)에서의 프로세스는, 새로운 오브젝트의 표정을 모핑할 필요가 없이, 단계(320)에서 전술한 프로세스와 유사하다. 새로운 오브젝트의 3D 모델은 카메라 각도와 매치하도록 필요에 따라 회전되며, 적절한 사이즈로 크기조정된다. 그 후, 2D 이미지는 회전 크기조정된 3D 모델로부터 전개되고, 비디오 이미지에 삽입된다.
단계(240A 및 340A)가 새로운 오브젝트의 이미지에 대한 조명, 음영 및 그림자 효과뿐만 아니라 새로운 오브젝트의 그림자 및 반사 효과와 관련된다는 것을 제외하면, 단계(240A 및 340A)는 본질적으로 단계(240 및 340)의 연속 및 확장이다. 단계(240A)에서, 이하의 파라미터의 적어도 하나를 정의하는 데이터가 전개될 것이다: 새로운 오브젝트에 대한 카메라의 위치와, 새로운 오브젝트 및 카메라에 대한 광원의 수, 타입, 강도, 컬러 및 장소와, 장면 내의 새로운 오브젝트의 상대적 깊이와, 임의의 가시적인 그림자 수신면 및/또는 반사면의 특성, 상대 위치 및 각도. 개인화의 의도로 생성된 비디오의 경우, 이러한 데이터의 상당수는 비디오가 생성되는 동안에 간단하게 측정 및 기록될 수 있다. 기존의 비디오의 경우, 이러한 데이터는 자동 비디오 처리 도구에 의해 지원된 디지털 아티스트에 의해서 이미지로부터 추정될 수 있다.
단계(340A)에서, 오리지널 비디오와 일치하는 조명, 음영, 그림자 및 반사가 부가될 것이다. 이러한 처리는 새로운 오브젝트에 대한 조명 및 음영 효과를 생성하는 단계뿐만 아니라, 그 새로운 오브젝트의 임의의 그림자 또는 반사를 생성 또는 변경하는 단계를 포함할 수 있다. 단계(340A)는 개인화 프로세스의 최종 단계로서 단계(340)와 함께 수행될 수 있다.
도 5는 비디오에서 오리지널 오브젝트를 대체 오브젝트로 각각 대체하기 위해, 비디오 준비 프로세스(200) 및 개인화 프로세스(300)에 포함될 수 있는 선택적 프로세스(200B 및 300B)의 플로차트이다. 단계(255)에서, 오리지널 오브젝트가 식별되고, 그 오리지널 오브젝트의 위치 및 배향이 비디오의 프레임을 통하여 추적된다. 예컨대, 오리지널 오브젝트는 테이블 위의 음료 캔 또는 시리얼 상자일 수 있다. 특정 비디오 내에서 하나의 오리지널 오브젝트가 존재할 수 있거나, 오리지널 오브젝트가 없을 수 있거나, 복수의 오리지널 오브젝트가 식별되고 추적될 수 있다. 장면을 바라보는 실제 또는 시뮬레이션된 카메라에 대하여 오리지널 오브젝트가 고정적인 경우와, 오리지널 오브젝트와 카메라 사이에서 배우 또는 다른 장면 요소가 이동하지 않는 경우에는, 오리지널 오브젝트의 추적은 별 것 아닌 것일 수 있다. 카메라가 오리지널 오브젝트에 대하여 이동하거나, 오리지널 오브젝트 자체가 장면에 대하여 이동하는 경우, 오리지널 위치 및 배향의 추적은 더욱 복잡해진다.
오리지널 오브젝트를 작은 대체 오브젝트로 대체하는 것은 배우의 얼굴의 대체에 대하여 전술한 것과 같이, 잔여 픽셀이 생기게 할 수 있다. 잔여 픽셀을 방 지하기 위해, 비디오 준비 프로세스(200B)는 단계(260)에 연속할 수 있고, 그 단계에서, 오리지널 오브젝트의 이미지의 적어도 일부는 오리지널 오브젝트 뒤의 배경 장면에 연속하는 이미지에 의해 제거 및 대체된다. 개인화 의도로 생성된 비디오의 경우, 배경 이미지는 오리지널 오브젝트없는 장면 버전을 생성함으로써 간단하게 제공될 수 있다. 기존의 비디오의 경우, 배경 장면은 자동 비디오 처리 도구의 도움으로 디지털 아티스트에 의해 주변 장면으로부터 연속적일 수 있다. 오리지널 오브젝트의 이미지를 제거하고 배경을 다시 채움으로서, 잔여 픽셀을 제거하기 위한 부가적인 처리 없이 복수의 상이한 대체 오브젝트와의 사용을 위한 비디오를 준비한다. 단계(260)의 프로세스는 하나의 12온스 표준 음료 캔을 다른 표준 음료 캔으로의 대체할 수 있는 것과 같은, 특정 경우에서는 요구되지 않을 수 있다.
대체 오브젝트의 이미지는 단계(350)에서 기술한 것과 본질적으로 동일할 수 있는 프로세스를 사용하여 단계(360)에서 장면에 부가된다. 대체 오브젝트의 3D 모델은 오리지널 오브젝트의 배향과 매치하도록 필요에 따라 회전될 수 있고 적절한 사이즈로 크기조정될 수 있다. 그 다음, 2D 이미지는 회전 크기조정된 3D 모델로부터 전개되고, 비디오 이미지에 삽입될 수 있다.
단계(240B 및 340B)가 새로운 오브젝트의 이미지에 대한 조명, 음영 및 그림자 효과뿐만 아니라 새로운 오브젝트의 그림자 및 반사 효과와 관련된다는 것을 제외하면, 단계(240B 및 340B)는 본질적으로 단계(240 및 340)의 연속 및 확장이다. 단계(240B)에서, 이하의 파라미터의 적어도 하나를 정의하는 데이터가 전개될 수 있다: 새로운 오브젝트에 대한 카메라의 위치와, 새로운 오브젝트 및 카메라에 대 한 광원의 수, 타입, 강도, 컬러 및 장소와, 장면 내의 새로운 오브젝트의 상대적 깊이와, 임의의 가시적인 그림자 수신면 및/또는 반사면의 특성, 상대 위치 및 각도. 개인화의 의도로 생성된 비디오의 경우, 이러한 데이터의 상당수는 비디오가 생성되는 동안에 간단하게 측정 및 기록된다. 기존의 비디오의 경우, 이러한 데이터는 자동 비디오 처리 도구에 의해 지원된 디지털 아티스트에 의해서 이미지로부터 추정될 수 있다.
단계(340B)에서, 오리지널 비디오와 일치하는 조명, 음영, 그림자 및 반사가 부가될 것이다. 이러한 처리는 새로운 오브젝트의 이미지에 걸쳐있는 그림자를 생성하는 단계뿐만 아니라, 그 새로운 오브젝트의 임의의 그림자 또는 반사를 생성 또는 변경하는 단계를 포함할 수 있다. 단계(340B)는 개인화 프로세스의 최종 단계로서 단계(340)와 함께 수행될 수 있다.
장면의 배경 또는 비디오가 생성되는 "세트(set)"를, 새로운 배우 자신의 장소와 관련된 장소, 새로운 배우의 인구 통계적 프로파일과 근접하게 매치하는 장소, 또는 일부 다른 장소를 묘사하는 다른 배경으로 대체하는 것을 원할 수 있다. 예컨대, 오리지널 비디오가 레스토랑에서 발생할 수 있지만, 개인화 후에, 레스토랑 배경은 특정 레스토랑 및/또는 레스토랑 체인, 또는 심지어 새로운 배우의 현재 장소 근처에 위치한 특정 레스토랑의 로고 및 식별 특징을 포함하는 유사한 레스토랑으로 대체될 수 있다. 유사하게, 배경 장면을 비디오에 삽입 또는 치환되는 새로운 오브젝트에 밀접하게 관련된 장면으로 대체하는 것을 원할 수 있다.
도 6은 오리지널 배경 장면의 적어도 일부를 새로운 배경 장면으로 대체하기 위해 비디오 준비 프로세스(200) 및 개인화 프로세스(300)에 포함될 수 있는 선택적 프로세스(200C 및 300C)의 플로차트이다. 단계(270)에서, 비디오 이미지는 각각의 전경(前景) 및 배경 장면 영역으로 분할될 수 있다. 배경 장면은 일반적으로 카메라로부터 가장 먼 이미지 부분이며, 통상적으로는 평탄 표면 또는 배경막(backdrop)일 수 있다. 전경 이미지 영역은 일반적으로 배경 면의 전방에 있는 임의의 것이며, 배우나 배우들, 대체될 수 있는 임의의 오브젝트, 및/또는 새로운 오브젝트가 이미지에 삽입될 수 있는 임의의 장소를 포함할 수 있다. 개인화를 위해 특별히 생성된 비디오의 경우, 전경/배경 분리는 배우 및 전경 오브젝트를 제거한 채 배경 장면을 기록함으로써, 또는 장면이 기록된 후에 배경 장소 및 환경이 삽입될 수 있도록 균일한 "그린 스크린(green screen)" 배경에 대하여 장면을 기록하는 공지된 기술에 의해 달성될 수 있다. 기존의 비디오의 경우, 배경 및 전경 이미지 영역은 자동 비디오 처리 도구의 도움으로 디지털 아티스트에 의해 분리될 수 있다.
단계(270)의 전 후에 일어날 수 있는 단계(265)에서, 카메라 장소가 결정되고 기록된다. 개인화를 위해 특별히 생성된 비디오의 경우, 장면은 각 프레임에서 카메라의 초점 길이 및 위치가 유지되게 하는 컴퓨터 제어하에 카메라 이동에 의해 기록될 수 있다. 이러한 방법은 공지되어 있고, 컴퓨터 그래픽을 비디오 기록에 통합시키는데 사용된다. 3차원 애니메이션 시스템을 통해 개인화를 위해 생성된 비디오의 경우에, 물리적 오브젝트의 아무런 "기록"도 일어나지 않는 경우, 합성 디지털 카메라의 초점 길이 및 위치 또한 유사하게 유지되고, 이는 결과적인 디지 털 비디오가 기록되는 비디오와 동일하게 처리되도록 해준다. 기존의 비디오의 경우, 장면이 원래 보였던 대로 카메라의 장소를 복구하기 위해 컴퓨터 비전 분석이 사용될 수 있다.
단계(370)에서, 오리지널 배경 장면의 적어도 일부는 새로운 배경 장면으로 대체될 수 있다. 새로운 배경 장면은 전경 이미지 영역 "뒤"에 위치되어야 하고, 전경 배우 및 오브젝트에 의한 임의의 쉐도우 캐스트(shadow cast) 하부에 위치되어야 한다.
오리지널 배우의 이미지가 새로운 배우의 이미지로 대체된 후에, 새로운 배우의 대화를 대체하는 개인의 특징적인 음질에 근접하게 변환 또는 대체하는 것을 또한 원할 수 있다. 대화를 대체하는 것은, 비디오와 동기하여 새로운 배우의 스피킹을 기록하는 것과 같이 간단히 행해질 수 있다. 하지만, 새로운 배우가 대화의 문구나 내용을 변경할 가능성이 없다면, 새로운 배우의 음성을 닮도록 오리지널 대화를 수정하는 것을 원할 수 있다. 추가적으로, 비-대화 배경 오디오 요소를 새로운 배우의 환경 또는 장소와 근접하게 매치하는 대체 요소로 수정하거나 대체하는 것을 원할 수 있다. 예컨대, 새로운 배우가 영국에 위치하는 경우, 미국의 폴리스 사이렌(police siren)의 사운드를 영국의 폴리스 사이렌의 사운드로 대체하는 것이 적절할 수 있다. 오리지널 비디오의 특징적인 오디오 배경이 새로운 배우에 적절한 특정적 오디오 배경으로 대체되도록, 적어도 일부의 배경 오디오 요소가 대체될 수 있다.
도 7은 오리지널 배우의 대화 또는 배경 오디오 요소를 수정하거나 대체하기 위해 배우 모델링 프로세스(100), 비디오 준비 프로세스(200) 및 개인화 프로세스(300)에 각각 포함될 수 있는 선택적 프로세스(100B, 200D 및 300D)의 플로차트이다. 단계(280 및 290)에서, 대체 또는 수정을 위해, 오리지널 배우의 대화를 분리하고 배경 오디오 요소를 분리하기 위하여, 비디오 사운드트랙(soundtrack)이 분석된다. 디지털 아티스트, 소프트웨어 프로세스 또는 그것의 조합은 오리지널 비디오의 사운드트랙을 검사하고, 그 사운드트랙을 구성하는 개별 트랙 및 사운드 요소를 식별할 수 있다.
단계(180)에서, 새로운 배우 음성 샘플이 수신되고, 공지된 기술을 사용하여 분석되어 새로운 배우의 음성을 특정하는 적어도 하나의 주요 속성(key attribute)을 추출한다. 주요 속성은 피치(pitch), 하모닉 컨텐츠(harmonic content), 또는 다른 속성일 수 있다. 오리지널 배우의 대화는 단계(380)에서 새로운 배우 음성의 적어도 하나의 주요 속성과 매치하도록 변환되어서, 그 변환된 대화는 대체 개인이 말하는 것처럼 들리게 된다.
단계(290)에서 분리된 배경 오디오 요소는 단계(390)에서 수정되고 대체될 수 있다. 부가적인 오디오 요소가 또한 단계(390)에서 부가될 수 있다. 대화 수정 프로세스(단계(180, 280, 380)) 및 배경 오디오 수정 프로세스(단계(290 및 390))는 상대적으로 독립적이며, 어느 것이나 다른 것 없이 수행될 수 있다.
전술한 바와 같이, 오리지널 배우의 대체는 오리지널 배우가 오리지널 비디오로부터 완전히 제거되도록 극단적으로 수행될 수 있고, 그들의 주요 움직임이 유지되고, 새로운 배우의 완전한 디지털 재구성은, 본질적인 프레임 대 프레임 보디 위치, 얼굴 표정, 삽입된 사람의 형태 및 재현된 장면 모두에 미치는 환경적인 조명 및 음영 영향과 함께, 오리지널 배우의 위치에서 치환될 수 있다. 이 경우, 비디오에 치환된 새로운 배우의 이미지가 새로운 배우의 특징적 표정, 걸음걸이, 달리기, 서있는 자세 또는 다른 개별적 특징을 갖도록, 새로운 배우에 대하여 참조 비디오 또는 3D 움직임 캡쳐 데이터와 같은 움직임 정보가 수집될 수 있다.
도 8은 개인화된 비디오를 생성 및 전달하기 위한 프로세스(400)의 플로차트를 도시한다. 전술한 단계(210, 220, 230 및 240)와 선택적인 단계(250, 240A, 255, 260, 240B, 265, 270, 280 및/또는 290)를 포함하는 비디오 준비 프로세스(200)는 비디오에 치환되거나 삽입될 새로운 배우 이미지 또는 제품 이미지의 임의의 진보한 지식 없이 완료될 수 있다. 오리지널 디지털 비디오(455)는 비디오 공급자(450)로부터 얻어질 수 있다. 오리지널 디지털 비디오(455)는 인터넷 또는 로컬 영역 네트워크와 같은 네트워크에 의해서 컴팩트 디스크 또는 디스켓과 같은 디지털 저장 매체 상의 비디오 준비 프로세스(200)에 전달될 수 있다. 오리지널 디지털 비디오(455)는 비디오 준비 프로세스(200)에 의해서 처리될 수 있고, 결과적인 준비된 디지털 비디오(465)는 개인화를 위해 준비된 적어도 하나의 비디오를 포함하는 비디오 라이브러리(470)에 저장될 수 있다.
유사하게, 단계(110) 및 선택적 단계(120, 130 및/또는 180)를 포함하는 배우 모델링 프로세스(100)는 새로운 배우의 이미지가 위치될 비디오의 지식 없이 완료될 수 있다. 2D 디지털 이미지 및 기타 정보(425)는 배우 모델링 프로세스(100)에 의해서 수신되고 처리되어, 배우 모델(435)이 된다. 2D 디지털 이미지(425)는 디지털 카메라, 디지털 비디오 리코더, 또는 카메라 장착 휴대전화와 같은 디지털 이미지 기록 장치(420)에 의해서 생성될 수 있다. 2D 디지털 이미지(425) 또한 통상적인 사진을 스캐닝함으로써 얻어질 수 있다. 2D 디지털 이미지(425)는 인터넷 또는 로컬 영역 네트워크와 같은 네트워크에 의해 컴팩트 디스크 또는 디스켓과 같은 디지털 저장 매체 상의 배우 모델링 프로세스(100)에 전달될 수 있다. 2D 디지털 이미지(425)는 나중의 개인화 요구를 위하여 이미지를 참조하는데 사용될 이름 또는 식별자가 수반될 수 있다. 2D 디지털 이미지(425)에는, 비-제한적으로 이미지에서 보이는 개인의 성별, 키, 무게, 나이, 일반적 신체 형상 및/또는 기타 물리적 특징과, 우편 번호, 국가 위치, 국적 또는 그 유사물과, 및/또는 랜덤하거나 특정한 단어 열을 말하는 개인의 오디오 샘플을 포함하는 추가 선택적 정보를 수반할 수 있다.
배우 모델은 개인화 프로세스(300)에 직접 전달될 수 있거나, 배우 모델 라이브러리(440)에 저장될 수 있다.
개인화된 비디오(410)의 요구자는 개인화 프로세스에 요구(415)를 전송한다. 요구자(410)는 자신의 이미지가 비디오에 치환될 새로운 배우이거나 새로운 배우가 아닐 수 있으며, 요구자(410)는 개인화된 비디오(490)를 전달하는 상대방일 수 있거나 상대방이 아닐 수 있으며, 그 요구자는 반드시 사람 사용자일 필요는 없고, 일부 기타 비-특정 소프트웨어 또는 기타 프로세스일 수 있다. 요구(415)는 인터넷 또는 일부 기타 네트워크를 통하여 전달될 수 있거나, 팩시밀리, 전화기 또는 메일과 같은 기타 수단에 의해 전달될 수 있다. 요구는 비디오 라이브러리(470)로 부터 검색되는 특정 비디오를 식별할 수 있다. 요구는 배우 모델 라이브러리(440)로부터 검색되는 배우 모델을 식별할 수 있다. 요구는 2D 디지털 이미지(425)를 포함할 수 있고, 이 경우 배우 모델링 프로세스(100)는 개인화 프로세스(300) 이전에 이미지에 대하여 수행될 것이다. 개인화 프로세스(300)는 선택된 준비된 디지털 비디오 및 3D 배우 모델을 검색하고, 요구된 개인화를 수행한다. 완성된 개인화 비디오(490)는 인터넷과 같은 네트워크에 의해 요구자(410) 또는 다른 상대방에게 전달될 수 있거나, 컴팩트 디스크 또는 디지털 비디오 디스크와 같은 저장 매체에 전달될 수 있다.
개인화 프로세스(300)는 복합 및/또는 나이-변환된 새로운 배우 모델, 하나 이상의 오브젝트의 대체 또는 추가, 배경 장면의 적어도 일부의 대체, 대화 수정, 및/또는 배경 사운드 요소의 수정 또는 부가를 포함할 수 있다. 선택적 개인화 단계는 요구자(410) 또는 광고주와 같은 다른 상대방으로부터의 요구에 응답하여 행해질 수 있거나, 요구자 또는 선택된 새로운 배우에 대한 인구 통계적 정보에 기반하여 자동으로 선택될 수 있다.
개인화된 비디오를 생성 및 전달하기 위한 프로세스(400)는 인터넷상의 하나 이상의 웹 사이트 인터페이스로서 구현될 수 있다. 이들 웹 사이트 인터페이스는 컴퓨터, 휴대 전화, PDA 또는 인터넷 브라우징 능력이 있는 기타 현재의 또는 미래의 장치를 통하여 접속될 수 있다. 프로세스(400)는 온라인 스토어, 클럽 또는 개별 맴버가 오락, 참조 또는 교육용으로 개인화된 비디오를 생성, 시청, 구매 또는 수신하는 것을 허용하는 기타 협회의 일부일 수 있다. 프로세스(400)는 자선 기금 에 기증하게 하는 장려, 및/또는 정치적 캠페인 및 이슈로서, 다운로드 및/또는 온라인 시청용으로 개인화된 비디오를 제공하는 기금 조성 웹 사이트의 일부일 수 있다.
도 9는 개인화된 비디오를 생성하기 위한 다른 프로세스(500)의 플로차트이다. 프로세스(500)는 도 8에 기술한 프로세스(400)와 유사하며, 3D 제품 모델링 프로세스(510), 제품 모델 라이브러리(520), 및 광고 전략 프로세스(530)가 부가되어 있다. 새로운 배우 또는 요구자에 대한 인구 통계적 정보(540)는 광고 전략 프로세스(530)에 제공되고, 그곳에서 개인화된 비디오에 삽입 또는 치환될 제품 모델 라이브러리(520)로부터의 하나 이상의 제품의 선택에 대한 결정이 이루어진다. 개인화된 비디오를 생성 및 전달하기 위한 프로세스(500)는 인터넷상의 하나 이상의 웹 사이트 인터페이스로서 구현될 수 있다. 이들 웹 사이트 인터페이스는 컴퓨터, 휴대 전화, PDA 또는 인터넷 브라우징 능력을 갖춘 임의의 기타 현재 또는 미래의 장치를 통해 접속될 수 있다. 프로세스(500)는 잠재적 소비자에게 광고주의 제품을 사용하는 그들 비디오를 제공하는 것과 같은 온-라인 광고 프로모션의 일부일 수 있다. 유사하게, 프로세스(500)는 온-라인 광고 캠페인에 투명적으로 삽입될 수 있어서, 인터넷 웹사이트를 브라우징하는 개인들은, 특정 요구 없이도 개인화된 비디오 광고를 수신할 수 있고, 및/또는 그들의 휴대 전화, 케이블 셋-톱 박스 또는 기타 주문형(on-demand) 오락 장치를 통하여 주문형 비디오 오락을 요구하는 개인들은 그들의 주문형 비디오 요구 내의 개인화된 비디오 광고를 수신할 수 있다.
장치의 설명
개인화된 비디오를 생성하기 위한 연산 장치(600)가 도 10의 블록도에 도시된다. 연산 장치(600)는 메모리(620) 및 저장 매체(630)와 통신하는 프로세서(610)를 포함할 수 있다. 저장 매체(630)는, 실행시 프로세서(610)가 개인화된 비디오를 생성하는데 필요한 프로세스를 수행하게 야기하는 지령을 유지할 수 있다. 연산 장치(600)는 인터넷 또는 로컬 영역 네트워크 또는 그 양쪽과 같은 네트워크(640)에의 인터페이스를 포함할 수 있다. 연산 장치(600)는 2D 디지털 이미지 및 기타 정보를 수신할 수 있고, 개인화된 비디오를 네트워크(640)를 통해 전달할 수 있다. 연산 장치(600)는 네트워크(640) 및 원격 퍼스널 컴퓨터(670), 또는 기타 네트워크 가능 장치를 통해 요구자(650) 및 디지털 이미지 소스(660)와 인터페이스할 수 있다. 연산 장치(600)는 네트워크(640) 또는 제 2 인터페이스에 의해 비디오 라이브러리(680)와 인터페이스할 수 있다. 네트워크(640), 컴퓨터(670), 요구자(650), 디지털 이미지 장치(660), 및 비디오 라이브러리(680)는 연산 장치(600)의 일부가 아님을 이해해야 한다.
연산 장치(600)는 이하의 물리적 유닛의 하나 이상을 포함하는 2 이상의 물리적 유닛 사이로 분할될 수 있다: 네트워크(640)와 인터페이스 하기 위한 웹 서버와, 비디오 라이브러리(680) 및 존재한다면 배우 모델 라이브러리 또는 제품 모델 라이브러리와 인터페이스하기 위한 파일 서버와, 전술한 바와 같은 개인화된 비디오 생성 프로세스의 적어도 일부를 수행하기 위한 전용 비디오/그래픽 처리 컴퓨터. 장치(600)가 다중 물리적 유닛 사이로 분할되는 경우, 각각의 물리적 유닛은 프로세서(610), 메모리(620), 및 저장 매체(630)의 일부를 유지할 수 있다. 부가 적이고 더 적은 유닛, 모듈, 또는 소프트웨어, 하드웨어 및 데이터 구조의 기타 구성이 여기에 기술한 프로세스 및 장치를 달성하기 위해 사용될 수 있다.
개인화된 비디오를 생성하기 위한 기타 연산 장치(700)가 도 11의 블록도에 도시된다. 연산 장치(700)는 메모리(720) 및 저장 매체(730)와 통신하는 프로세서(710)를 포함할 수 있다. 저장 매체(730)는, 실행시, 프로세서(710)가 개인화된 비디오를 생성하는데 필요한 프로세스를 수행하게 야기하는 지령을 유지할 수 있다. 연산 장치(700)는 키보드, 마우스 또는 기타 사람 인터페이스 수단과 같은 요구자(650)에 대한 인터페이스를 포함할 수 있다. 연산 장치(700)는 디지털 이미지 장치(660)에 대한 인터페이스를 또한 포함할 수 있고, 그 인터페이스를 통하여 이미지 장치(660)로부터 2D 디지털 이미지를 수신할 수 있다. 연산 장치(700)는 인터넷이나 로컬 영역 네트워크 또는 그 둘 다와 같은 네트워크(740)에 대한 인터페이스를 포함할 수 있다. 연산 장치(700)는 네트워크(740)와, 선택적으로, 원격 서버(750)에 의해 원격 비디오 라이브러리로부터 준비된 개인화가능 디지털 비디오를 수신할 수 있다. 그 후, 연산 장치(700)는 비디오를 개인화할 수 있다. 개인화된 비디오는 디스플레이 장치에 의해 사용자(650)에게 제공될 수 있고, 메모리(720) 또는 저장 매체(730)에 저장될 수 있다. 네트워크(740), 요구자(650), 디지털 이미지 장치(660), 서버(750) 및 비디오 라이브러리(760)는 연산 장치(700)의 일부가 아님을 유념해야 한다.
도 10 및 도 11의 연산 장치에서, 저장 매체(630 및 730)는 연산 장치에 포함되거나, 아니면 그것에 달리 결합 또는 장착되는 임의의 저장 장치 내의 임의의 저장 매체일 수 있다. 이들 저장 매체는, 예컨대, 하드 디스크, 플로피 디스크 및 테이프와 같은 자기 매체와, 컴팩트 디스크(CD-ROM 및 CD-RW) 및 디지털 휘발성 디스크(DVD 및 DVD±RW)와 같은 광학 매체와, 플래시 메모리 카드와, 임의의 기타 저장 매체를 포함한다. 여기에 사용된 바와 같이, 저장 장치는 저장 매체에의 기록 및/또는 그것으로부터의 판독을 허용하는 장치이다. 저장 장치는 하드 디스크 드라이브, DVD 드라이브, 플래시 메모리 장치 등을 포함한다.
여기에 사용된 바와 같은 연산 장치는, 퍼스널 컴퓨터, 서버 컴퓨터, 셋톱 박스, 비디오 게임 시스템, 퍼스널 비디오 리코더, 전화기, PDA, 휴대용 컴퓨터 및 랩탑 컴퓨터를 비-한정적으로 포함하며, 지령을 실행할 수 있는, 프로세서, 메모리 및 저장 장치를 갖춘 임의의 장치를 칭한다. 이들 연산 장치는 예컨대, 리눅스의 변종, 유닉스, MS-DOS, 마이크로소프트 윈도우즈, 팜 OS, 및 애플 맥 OS X 구동 시스템을 포함하는 임의의 구동 시스템을 실행할 수 있다.
연산 장치(600 또는 700)는 여기에 기술한 기능을 수행하는데 적합한 소프트웨어 및/또는 하드웨어를 포함할 수 있다. 따라서, 연산 장치(600)는 로직 어레이(logic arrary)와, 메모리와, 아날로그 회로와, 디지털 회로와, 소프트웨어와, 펌웨어와, 마이크로프로세서, 필드 프로그래머블 게이트 어레이(EPGA), 주문형 반도체(ASIC), 프로그래머블 로직 장치(PLD) 및 프로그래머블 로직 어레이(PLA)와 같은 프로세서의 하나 이상을 포함할 수 있다. 연산 장치(600)의 하드웨어 및 펌웨어 컴포넌트는 여기에 기술한 기능성 및 특징을 제공하기 위한 각종 특수 유닛, 회로, 소프트웨어 및 인터페이스를 포함할 수 있다. 프로세스, 기능성 및 특징은, 클라이언트 컴퓨터 상에서 구동하는 소프트웨어 내에 전체 또는 일부로 내장될 수 있고, 펌웨어, 애플리케이션 프로그램, 애플릿(예컨대, 자바 애플릿), 브라우저 플러그-인, COM 오브젝트, 동적 연결 라이브러리(DLL), 스크립, 하나 이상의 서브루틴, 또는 구동 시스템 컴포넌트 또는 서비스의 형태일 수 있다. 하드웨어 및 소프트웨어와 그것들의 기능은 일부 컴포넌트가 클라이언트 컴퓨터에 의해 수행되고 기타 컴포턴트는 기타 장치에 의해 수행되도록 분포될 수 있다.
결어
전술한 것은 한정적인 아닌 단순 설명적인 것이고, 예시적으로 제시되었다. 비록 예들을 도시하고 기술하였지만, 변화, 수정 및/또는 변경이 이루어질 수 있다는 것은 당업자에게 자명할 것이다.
여기에 제시한 많은 예들이 방법 행위 또는 시스템 요소의 특정 조합을 포함할지라도, 이들 행위 및 요소는 동일한 목적을 달성하기 위해 다른 방식으로 조합될 수 있다는 것을 이해해야 한다. 플로 차트와 관련하여, 추가적인 그리고 더 적은 단계가 취해질 수 있고, 도시한 바와 같은 단계는 여기에 기술한 방법을 달성하기 위해 조합되거나 추가로 정렬될 수 있다. 행위, 요소 및 특징은 단지 일 실시예와 연관하여 기술하였지만, 다른 실시예에서의 유사한 역할로부터 배제되도록 의도되지는 않는다.
청구의 범위에 언급된 임의의 수단-플러스-기능 제한에서, 수단은 언급한 기능을 수행하도록 여기에 기술한 수단에 한정되도록 의도되지 않으며, 언급한 기능을 수행하기 위한 임의의 수단, 현재 공지되거나 나중에 개발될 임의의 수단의 범 주를 커버하도록 의도된다.
여기에 사용된 바와 같이, 상세한 설명 또는 청구의 범위에서, "구비하는", "포함하는", "수반하는", "포함하는" 등은 제한이 없는 즉, 한정적이지 않고 포함하는 것으로 이해되어야 한다. 과도적인 문구인 "이루어지는", "본질적으로 이루어지는"은 각각, 청구의 범위에 대하여 배타적이거나 반(semi)-배타적인 과도적인 문구이다.
여기에 기술한 바와 같이, "및/또는"은 나열된 목록이 택일적인 것을 의미하지만, 그 택일은 나열한 목록의 임의의 조합을 또한 포함한다.

Claims (36)

  1. 오리지널 배우를 포함하는 전경(前景)과 오리지널 배경 장면(scene)을 구비하는 이미지를 포함하는 오리지널 디지털 비디오를 개인화하는 프로세스로서,
    상기 오리지널 배우의 위치, 배향 및 표정을 추적하는 단계와,
    상기 오리지널 배우의 적어도 주요 부위를 상기 배경 장면에 연속하는 이미지로 대체하는 단계와,
    상기 비디오에 새로운 배우를 삽입하는 단계 - 여기서, 상기 새로운 배우는 상기 오리지널 배우의 대체 부위의 상기 위치, 배향 및 표정과 실질적으로 매치함 - 와,
    상기 새로운 배우에 대하여 조명 및 음영 효과를 재현하는 단계와,
    상기 새로운 배우의 그림자 및 반사를 재현하는 단계를 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  2. 제 1 항에 있어서,
    대체되는 상기 오리지널 배우의 부위는 적어도 얼굴과, 귀 및 목의 가시적 부위를 포함하는 인접 스킨 영역을 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  3. 제 2 항에 있어서,
    상기 이미지는 대체되지 않은 상기 오리지널 배우의 적어도 하나의 스킨 영역 - 여기서, 상기 스킨 영역은 상기 새로운 배우의 스킨 외관과 상이한 스킨 외관을 가짐 - 을 포함하고,
    상기 프로세스는,
    상기 새로운 배우의 상기 스킨 외관과 매치하도록, 비(非)-대체 스킨 영역을 변경하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  4. 제 1 항에 있어서,
    상기 전체 오리지널 배우는 상기 배경 장면에 연속하는 이미지로 대체되는 것을 특징으로 하는 비디오 개인화 프로세스.
  5. 제 1 항에 있어서,
    상기 삽입하는 단계 이전에, 상기 새로운 배우를 포함하는 데이터에 조합 및 파라미터 모핑(morphing) 변환 프로세스를 적용하여, 하이브리드(hybrid) 새로운 배우를 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  6. 제 1 항에 있어서,
    상기 대체하는 단계는, 상기 오리지널 배우의 그림자 또는 반사를 대체하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  7. 제 1 항에 있어서,
    새로운 오브젝트(object)를 상기 비디오에 삽입하는 단계와,
    상기 새로운 오브젝트에 대하여 조명 및 음영 효과를 재현하는 단계와,
    상기 새로운 오브젝트의 그림자 및 반사를 재현하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  8. 제 7 항에 있어서,
    상기 새로운 오브젝트를 삽입하는 단계는 상기 새로운 오브젝트의 3D 모델을 사용하는 것을 특징으로 하는 비디오 개인화 프로세스.
  9. 제 7 항에 있어서,
    상기 새로운 오브젝트는 상기 새로운 배우와 관련된 인구 통계적 정보에 기초하여 선택되는 것을 특징으로 하는 비디오 개인화 프로세스.
  10. 제 1 항에 있어서,
    상기 오리지널 비디오는 위치 및 배향을 갖는 오리지널 오브젝트를 포함하고,
    상기 프로세스는,
    상기 오리지널 오브젝트의 적어도 일부를 상기 배경 장면에 연속하는 이미지로 대체하는 단계와,
    상기 비디오에 새로운 오브젝트를 삽입하는 단계 - 여기서, 상기 새로운 오브젝트는 상기 오리지널 오브젝트의 대체 부위의 위치 및 배향과 실질적으로 매치함 - 와,
    상기 새로운 오브젝트에 대하여 조명 및 음영 효과를 재현하는 단계와,
    상기 새로운 오브젝트의 그림자 및 반사를 재현하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  11. 제 10 항에 있어서,
    상기 새로운 오브젝트를 삽입하는 단계는 상기 새로운 오브젝트의 3D 모델을 사용하는 것을 특징으로 하는 비디오 개인화 프로세스.
  12. 제 10 항에 있어서,
    상기 새로운 오브젝트는 상기 새로운 배우와 관련된 인구 통계적 정보에 기초하여 선택되는 것을 특징으로 하는 비디오 개인화 프로세스.
  13. 제 1 항에 있어서,
    상기 오리지널 배경 장면의 적어도 일부를 새로운 배경 장면으로 치환하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  14. 제 1 항에 있어서,
    상기 비디오는 오리지널 배경 오디오 요소와, 상기 오리지널 배우가 말하는 대화로 분리할 수 있는 오디오 트랙을 포함하고,
    상기 프로세스는,
    상기 오리지널 배경 오디오 요소의 적어도 일부를 새로운 배경 오디오 요소로 치환하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  15. 제 1 항에 있어서,
    상기 비디오는 오리지널 배경 오디오 요소와, 상기 오리지널 배우가 말하는 대화로 분리할 수 있는 오디오 트랙을 포함하고,
    상기 프로세스는,
    상기 오리지널 오디오 트랙에 새로운 배경 오디오 요소를 부가하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  16. 제 1 항에 있어서,
    상기 비디오는 오리지널 배경 오디오 요소와, 상기 오리지널 배우가 말하는 대화로 분리할 수 있는 오디오 트랙을 포함하고,
    상기 프로세스는,
    새로운 배우 음성 샘플을 획득하는 단계와,
    상기 새로운 배우 음성 샘플을 분석하여 상기 새로운 배우 음성의 하나 이상의 기술적인(descriptive) 특징을 정의하는 단계와,
    상기 새로운 배우 음성의 하나 이상의 기술적인 특징을 사용하여 상기 오리지널 배우가 말하는 대화를 변환하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  17. 비디오를 개인화하기 위한 프로세스로서,
    복수의 준비된 비디오의 비디오 라이브러리(library)를 제공하는 단계 - 여기서, 상기 준비된 비디오의 각각은 비디오 준비 프로세스의 결과로서 생김 - 와,
    하나 이상의 새로운 배우 모델의 배우 모델 라이브러리를 제공하는 단계 - 여기서, 상기 모델의 각각은 배우 모델링 프로세스의 결과로서 생김 - 와,
    상기 비디오 라이브러리로부터 비디오를 선택하는 단계와,
    상기 배우 모델 라이브러리로부터 새로운 배우 모델을 선택하는 단계와,
    상기 선택된 새로운 배우 모델을 사용하여 상기 선택된 비디오의 개인화된 버전(version)을 생성하도록 개인화 프로세스를 적용하는 단계를 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  18. 제 17 항에 있어서,
    상기 비디오 준비 프로세스는,
    오리지널 배우를 포함하는 전경과 오리지널 배경 장면을 구비하는 이미지를 포함하는 비디오를 제공하는 단계와,
    상기 오리지널 배우의 위치, 배향 및 표정을 추적하는 단계와,
    상기 오리지널 배우의 적어도 주요 부위를 상기 배경 장면에 연속하는 이미지로 대체하는 단계와,
    상기 비디오 내의 조명, 음영, 그림자 및 반사를 식별하고 추적하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  19. 제 18 항에 있어서,
    상기 배우 모델링 프로세스는,
    새로운 배우의 적어도 하나의 2D 디지털 이미지 및 관련 지원 정보를 제공하는 단계와,
    상기 2D 디지털 이미지와, 3D 모델, 인구 통계적 프로파일 및 기타 개인 정보로 구성된 상기 관련 지원 정보로부터 상기 새로운 배우의 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  20. 제 18 항에 있어서,
    상기 개인화 프로세스는,
    상기 새로운 배우 모델을 사용하여 새로운 배우를 비디오에 삽입하는 단계 - 여기서, 상기 새로운 배우는 상기 오리지널 배우의 상기 대체 부위의 위치, 배향 및 표정과 실질적으로 매치함 - 와,
    상기 새로운 배우에 대하여 조명 및 음영 효과를 재현하는 단계와,
    상기 새로운 배우의 그림자 및 반사를 재현하는 단계를 더 포함하는 것을 특 징으로 하는 비디오 개인화 프로세스.
  21. 제 20 항에 있어서,
    상기 비디오는 대체되지 않은 상기 오리지널 배우의 적어도 하나의 스킨 영역 - 여기서, 상기 스킨 영역은 상기 새로운 배우의 스킨 외관과 상이한 스킨 외관을 가짐 - 을 포함하고,
    상기 프로세스는,
    상기 새로운 배우의 스킨 외관과 매치하도록 상기 비-대체 스킨 영역을 변경하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  22. 제 20 항에 있어서,
    상기 비디오 준비 프로세스는,
    상기 비디오 내의 오리지널 오브젝트의 위치 및 배향을 추적하는 단계와,
    상기 오리지널 오브젝트의 적어도 주요 부위를 상기 배경 장면에 연속하는 이미지로 대체하는 단계를 더 포함하고,
    상기 개인화 프로세스는,
    새로운 오브젝트를 상기 비디오에 삽입하는 단계 - 여기서, 상기 새로운 오브젝트의 위치 및 배향은 상기 오리지널 오브젝트의 위치 및 배향과 실질적으로 매치함 - 와,
    상기 새로운 오브젝트에 대하여 조명 및 음영 효과를 재현하는 단계와,
    상기 새로운 오브젝트의 그림자 및 반사를 재현하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  23. 제 20 항에 있어서,
    상기 비디오 준비 프로세스는,
    상기 비디오 내에 오브젝트를 배치하는데 적합한 장소의 위치 및 배향을 추적하는 단계를 더 포함하고,
    상기 개인화 프로세스는,
    상기 비디오에 새로운 오브젝트를 삽입하는 단계 - 여기서 상기 새로운 오브젝트의 위치 및 배향은 상기 장소의 위치 및 배향과 실질적으로 매치함 - 와,
    상기 새로운 오브젝트에 대하여 조명 및 음영 효과를 재현하는 단계와,
    상기 새로운 오브젝트의 그림자 및 반사를 재현하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  24. 제 20 항에 있어서,
    상기 선택된 비디오는 오리지널 배경 사운드트랙과, 상기 오리지널 배우가 말하는 대화로 분리가능한 오디오 트랙을 포함하고,
    상기 새로운 배우 모델링 프로세스는,
    새로운 배우 음성 샘플을 획득하는 단계와,
    상기 새로운 배우 음성을 분석하여 상기 새로운 배우 음성의 하나 이상의 기 술적인 특징을 정의하는 단계를 더 포함하고,
    상기 개인화 프로세스는,
    상기 새로운 배우 음성의 하나 이상의 기술적인 특징을 사용하여 상기 오리지널 배우가 말하는 대화를 모핑하는 단계를 더 포함하는 것을 특징으로 하는 비디오 개인화 프로세스.
  25. 오리지널 디지털 비디오의 개인화 버전을 생성하는 프로세스로서,
    상기 오리지널 비디오는 오리지널 배우의 이미지를 포함하고,
    상기 프로세스는,
    상기 오리지널 배우의 상기 이미지의 적어도 일부를 새로운 배우의 이미지로 대체하는 단계와,
    상기 비디오에 새로운 오브젝트의 이미지를 삽입하는 단계를 포함하는 것을 특징으로 하는 오리지널 디지털 비디오의 개인화 버전 생성 프로세스.
  26. 제 25 항에 있어서,
    상기 새로운 오브젝트의 상기 이미지는 상기 새로운 배우와 관련된 인구 통계적 정보에 기초하여 복수의 후보 오브젝트 이미지로부터 선택되는 것을 특징으로 하는 오리지널 디지털 비디오의 개인화 버전 생성 프로세스.
  27. 제 26 항에 있어서,
    상기 오리지널 비디오는 오리지널 오브젝트의 이미지를 더 포함하고,
    상기 오리지널 오브젝트의 이미지의 적어도 일부는 상기 새로운 오브젝트의 이미지로 대체되는 것을 특징으로 하는 오리지널 디지털 비디오의 개인화 버전 생성 프로세스.
  28. 오리지널 배우의 이미지를 포함하는 전경과 배경 장면을 구비하는 이미지를 포함하는 오리지널 디지털 비디오의 개인화된 버전을 생성하는 연산 장치로서,
    프로세서와,
    상기 프로세서에 결합된 메모리와,
    실행시, 상기 연산 장치가 동작을 수행하게 야기하는 지령이 저장된 저장 매체를 포함하며,
    상기 동작은 비디오를 개인화하는 단계를 포함하며,
    상기 비디오는 오리지널 배우의 이미지를 포함하는 이미지를 포함하고,
    상기 동작은,
    상기 오리지널 배우의 위치, 배향 및 표정을 추적하는 단계와,
    상기 오리지널 배우의 적어도 주요 부위를 상기 배경 장면에 연속하는 이미지로 대체하는 단계와,
    상기 비디오에 새로운 배우를 삽입하는 단계 - 여기서, 상기 새로운 배우는 상기 오리지널 배우의 대체 부위의 위치, 배향 및 표정과 실질적으로 매치함 - 와,
    상기 새로운 배우에 대하여 조명 및 음영 효과를 재현하는 단계와,
    상기 새로운 배우의 그림자 및 반사를 재현하는 단계를 더 포함하는 것을 특징으로 하는 연산 장치.
  29. 제 28 항에 있어서,
    네트워크에 대한 인터페이스를 더 포함하며,
    상기 연산 장치에 의해 수행되는 상기 동작은, 상기 삽입하는 단계 이전에, 상기 네트워크를 통하여 상기 새로운 배우의 2D 디지털 이미지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 연산 장치.
  30. 제 29 항에 있어서,
    상기 연산 장치에 의해 수행되는 상기 동작은, 상기 그림자 및 반사를 재현하는 단계 후에, 상기 네트워크를 통하여 상기 개인화된 비디오를 전송하는 단계를 더 포함하는 것을 특징으로 하는 연산 장치.
  31. 제 29 항에 있어서,
    복수의 비디오를 포함하는 하나 이상의 데이터베이스에 대한 인터페이스를 더 포함하는 것을 특징으로 하는 연산 장치.
  32. 제 31 항에 있어서,
    상기 치환하는 단계 이전에 상기 연산 장치에 의해 수행되는 상기 동작은,
    상기 네트워크를 통하여 상기 복수의 비디오 중 하나를 맞춤화(customize) 하기 위한 요구를 수신하는 단계와,
    상기 하나 이상의 데이터베이스로부터 상기 요구된 비디오를 검색하는 단계를 더 포함하는 것을 특징으로 하는 연산 장치.
  33. 제 31 항에 있어서,
    상기 치환하는 단계 이전에 상기 연산 장치에 의해서 수행되는 상기 동작은,
    상기 새로운 배우와 관련된 인구 통계적 정보에 기초하여 상기 복수의 비디오 중 하나를 선택하는 단계와,
    상기 하나 이상의 데이터베이스로부터 상기 선택된 비디오를 검색하는 단계를 더 포함하는 것을 특징으로 하는 연산 장치.
  34. 제 28 항에 있어서,
    디지털 이미지 장치에 대한 제 1 인터페이스를 더 포함하고,
    상기 연산 장치에 의해 수행되는 상기 동작은,
    상기 삽입하는 단계 이전에, 상기 인터페이스를 통하여 상기 새로운 배우의 2D 디지털 이미지를 수신하는 단계를 더 포함하는 것을 특징으로 하는 연산 장치.
  35. 제 35 항에 있어서,
    네트워크에 대한 제 2 인터페이스를 더 포함하고,
    상기 연산 장치에 의해 수행되는 상기 동작은,
    상기 치환하는 단계 이전에, 상기 네트워크를 통하여 상기 오리지널 비디오를 요구 및 수신하는 단계를 더 포함하는 것을 특징으로 하는 연산 장치.
  36. 프로세서에 의해서 실행시, 그 프로세서가 동작을 수행하게 야기하는 지령이 저장된 저장 매체로서,
    상기 동작은,
    비디오를 개인화하는 단계를 포함하고,
    상기 비디오는 오리지널 배우의 이미지를 포함하는 이미지를 포함하고,
    상기 동작은,
    오리지널 배우의 위치, 배향 및 표정을 추적하는 단계와,
    상기 오리지널 배우의 적어도 주요 부위를 상기 배경 장면에 연속하는 이미지로 대체하는 단계와,
    상기 비디오에 새로운 배우를 삽입하는 단계 - 여기서, 상기 새로운 배우는 상기 오리지널 배우의 대체 부위의 위치, 배향 및 표정과 실질적으로 매치함 - 와,
    상기 새로운 배우에 대하여 조명 및 음영 효과를 재현하는 단계와,
    상기 새로운 배우의 그림자 및 반사를 재현하는 단계를 더 포함하는 것을 특징으로 하는 저장 매체.
KR1020087008768A 2005-09-16 2006-09-14 비디오의 개인화 KR101348521B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US71793805P 2005-09-16 2005-09-16
US71793705P 2005-09-16 2005-09-16
US71785205P 2005-09-16 2005-09-16
US60/717,937 2005-09-16
US60/717,852 2005-09-16
US60/717,938 2005-09-16
PCT/US2006/036150 WO2007035558A2 (en) 2005-09-16 2006-09-14 Personalizing a video

Publications (2)

Publication Number Publication Date
KR20080063308A true KR20080063308A (ko) 2008-07-03
KR101348521B1 KR101348521B1 (ko) 2014-01-06

Family

ID=37889384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087008768A KR101348521B1 (ko) 2005-09-16 2006-09-14 비디오의 개인화

Country Status (7)

Country Link
US (3) US7460731B2 (ko)
EP (1) EP1941423A4 (ko)
JP (1) JP2009515375A (ko)
KR (1) KR101348521B1 (ko)
AU (1) AU2006292461A1 (ko)
CA (1) CA2622744C (ko)
WO (1) WO2007035558A2 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101397461B1 (ko) * 2012-12-13 2014-05-23 (유)어나더레인보우 실시간 영상 합성 및 방법
KR101453884B1 (ko) * 2012-12-10 2014-10-23 박수조 사용자 맞춤형 감성광고 기능을 구비한 스마트 ｔｖ
KR20160138639A (ko) * 2015-05-26 2016-12-06 전자부품연구원 콘텐츠 객체 데이터 변환방법
US10096340B2 (en) 2014-06-26 2018-10-09 Interdigital Ce Patent Holdings Method for processing a video scene and corresponding device
WO2019164373A1 (en) * 2018-02-23 2019-08-29 Samsung Electronics Co., Ltd. Electronic device displaying avatar motion-performed as per movement of facial feature point and method for operating same
KR20200024105A (ko) * 2018-08-27 2020-03-06 주식회사 쓰리디팩토리 컴퓨터 그래픽 합성 시스템 및 방법
KR20210119439A (ko) * 2019-01-18 2021-10-05 스냅 아이엔씨 템플릿-기반 개인화 비디오 생성 시스템 및 방법

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US8902971B2 (en) * 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US20090204475A1 (en) * 2005-07-01 2009-08-13 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional visual content
US8126190B2 (en) 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US9092928B2 (en) 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US20070263865A1 (en) * 2005-07-01 2007-11-15 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Authorization rights for substitute media content
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
KR101348521B1 (ko) 2005-09-16 2014-01-06 플릭서, 인크. 비디오의 개인화
US7823056B1 (en) 2006-03-15 2010-10-26 Adobe Systems Incorporated Multiple-camera video recording
US8098330B2 (en) * 2006-07-28 2012-01-17 International Business Machines Corporation Mapping of presentation material
US7623755B2 (en) 2006-08-17 2009-11-24 Adobe Systems Incorporated Techniques for positioning audio and video clips
US20080177507A1 (en) * 2006-10-10 2008-07-24 Mian Zahid F Sensor data processing using dsp and fpga
US7812998B2 (en) * 2006-11-01 2010-10-12 Jason Miers Method of making an animated flipbook
US20080117333A1 (en) * 2006-11-17 2008-05-22 Disney Enterprises, Inc. Method, System And Computer Program Product For Video Insertion
US20080177776A1 (en) * 2007-01-22 2008-07-24 Stallings Richard W Animation object shell system and method
US20080178074A1 (en) * 2007-01-22 2008-07-24 Stallings Richard W Data presentation system and method
EP2130381A2 (en) 2007-01-23 2009-12-09 Euclid Discoveries, LLC Computer method and apparatus for processing image data
US20080209326A1 (en) * 2007-02-26 2008-08-28 Stallings Richard W System And Method For Preparing A Video Presentation
US20080244755A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Authorization for media content alteration
KR100874962B1 (ko) * 2007-04-16 2008-12-19 (주)에프엑스기어 사용자지정 안면이미지가 반영된 영상 컨텐츠 제작 시스템
US20080270161A1 (en) * 2007-04-26 2008-10-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Authorization rights for substitute media content
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
US9767463B2 (en) * 2007-05-29 2017-09-19 Cfph, Llc On demand product placement
WO2008149367A2 (en) * 2007-06-06 2008-12-11 Seambi Ltd. Preparing and presenting a preview of video placement advertisements
US8452160B2 (en) 2007-06-20 2013-05-28 Sony Online Entertainment Llc System and method for portrayal of object or character target features in an at least partially computer-generated video
US20090003712A1 (en) * 2007-06-28 2009-01-01 Microsoft Corporation Video Collage Presentation
WO2009067560A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for generating 3d head models and for using the same
RU2460233C2 (ru) * 2007-12-17 2012-08-27 Инклуду Холдинг Ас Система вставки видео в режиме реального времени
US20090204639A1 (en) * 2008-02-11 2009-08-13 Microsoft Corporation Selective content replacement for media players
WO2010002921A1 (en) * 2008-07-01 2010-01-07 Yoostar Entertainment Group, Inc. Interactive systems and methods for video compositing
WO2010033233A1 (en) * 2008-09-18 2010-03-25 Screen Test Studios, Llc Interactive entertainment system for recording performance
CN102172026B (zh) 2008-10-07 2015-09-09 欧几里得发现有限责任公司 基于特征的视频压缩
US20100153847A1 (en) * 2008-12-17 2010-06-17 Sony Computer Entertainment America Inc. User deformation of movie character images
JP5232669B2 (ja) * 2009-01-22 2013-07-10 オリンパスイメージング株式会社 カメラ
US20100217613A1 (en) * 2009-02-26 2010-08-26 Brian Kelly Methods and apparatus for providing charitable content and related functions
CN101877223A (zh) * 2009-04-29 2010-11-03 鸿富锦精密工业（深圳）有限公司 影音编辑系统、方法及具有该影音编辑系统的电子设备
US20100333134A1 (en) * 2009-06-30 2010-12-30 Mudd Advertising System, method and computer program product for advertising
US9648372B2 (en) 2009-07-23 2017-05-09 Fmr Llc Inserting personalized information into digital content
US9294796B2 (en) * 2009-07-23 2016-03-22 Fmr Llc Inserting personalized information into digital content
JP5113142B2 (ja) * 2009-12-03 2013-01-09 有限会社 在宅福祉支援推進センター 映像劇提供システム
WO2011152841A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Replacement of a person or object in an image
US8802957B2 (en) * 2010-08-16 2014-08-12 Boardwalk Technology Group, Llc Mobile replacement-dialogue recording system
US8296456B2 (en) 2010-09-03 2012-10-23 United Video Properties, Inc. Systems and methods for displaying personalized media content
WO2012030584A2 (en) * 2010-09-03 2012-03-08 United Video Properties, Inc. Systems and methods for displaying personalized media content
US8724696B2 (en) * 2010-09-23 2014-05-13 Vmware, Inc. System and method for transmitting video and user interface elements
US9542975B2 (en) 2010-10-25 2017-01-10 Sony Interactive Entertainment Inc. Centralized database for 3-D and other information in videos
EP2447915A1 (en) * 2010-10-27 2012-05-02 Sony Ericsson Mobile Communications AB Real time three-dimensional menu/icon shading
US9172943B2 (en) 2010-12-07 2015-10-27 At&T Intellectual Property I, L.P. Dynamic modification of video content at a set-top box device
US9271035B2 (en) 2011-04-12 2016-02-23 Microsoft Technology Licensing, Llc Detecting key roles and their relationships from video
US10319409B2 (en) * 2011-05-03 2019-06-11 Idomoo Ltd System and method for generating videos
US20120310665A1 (en) * 2011-06-01 2012-12-06 Xerox Corporation Personalized medical record
US20120310666A1 (en) * 2011-06-01 2012-12-06 Xerox Corporation Personalized medical record
US9219945B1 (en) * 2011-06-16 2015-12-22 Amazon Technologies, Inc. Embedding content of personal media in a portion of a frame of streaming media indicated by a frame identifier
US8959082B2 (en) 2011-10-31 2015-02-17 Elwha Llc Context-sensitive query enrichment
US20130129313A1 (en) * 2011-11-18 2013-05-23 Mirror Brand Experiences Limited Personalized stereoscopic image generation
US9626798B2 (en) 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US20130182079A1 (en) * 2012-01-17 2013-07-18 Ocuspec Motion capture using cross-sections of an object
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8756627B2 (en) * 2012-04-19 2014-06-17 Jumpercut, Inc. Distributed video creation
US9378207B2 (en) 2012-06-29 2016-06-28 Nokia Technologies Oy Methods and apparatus for multimedia creation
US10237613B2 (en) 2012-08-03 2019-03-19 Elwha Llc Methods and systems for viewing dynamically customized audio-visual content
US10455284B2 (en) * 2012-08-31 2019-10-22 Elwha Llc Dynamic customization and monetization of audio-visual content
US9058757B2 (en) * 2012-08-13 2015-06-16 Xerox Corporation Systems and methods for image or video personalization with selectable effects
US9798712B2 (en) 2012-09-11 2017-10-24 Xerox Corporation Personalized medical record
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9514381B1 (en) * 2013-03-15 2016-12-06 Pandoodle Corporation Method of identifying and replacing an object or area in a digital image with another object or area
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
KR20140122054A (ko) * 2013-04-09 2014-10-17 삼성전자주식회사 2차원 이미지를 3차원 이미지로 변환하는 3차원 이미지 변환 장치 및 그 제어 방법
US20140308020A1 (en) * 2013-04-16 2014-10-16 Michael F. Seeger Marital aid
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
CA2911553C (en) 2013-05-06 2021-06-08 Noo Inc. Audio-video compositing and effects
US9877135B2 (en) * 2013-06-07 2018-01-23 Nokia Technologies Oy Method and apparatus for location based loudspeaker system configuration
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9443307B2 (en) 2013-09-13 2016-09-13 Intel Corporation Processing of images of a subject individual
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
GB2519112A (en) 2013-10-10 2015-04-15 Nokia Corp Method, apparatus and computer program product for blending multimedia content
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US20160300270A1 (en) * 2013-11-21 2016-10-13 Huawei Technologies Co., Ltd. Method and Apparatus for Embedding Advertisement into File, System and Terminal
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
WO2015138008A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9838661B2 (en) * 2014-05-30 2017-12-05 Lifetouch Inc. Photographic scene replacement system
US10755744B2 (en) * 2014-06-06 2020-08-25 Fuji Xerox Co., Ltd. Systems and methods for direct video retouching for text, strokes and images
GB2528100A (en) * 2014-07-10 2016-01-13 Nokia Technologies Oy Method, apparatus and computer program product for editing media content
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
US10034050B2 (en) 2015-03-31 2018-07-24 At&T Intellectual Property I, L.P. Advertisement generation based on a user image
EP3131064B1 (en) * 2015-08-13 2017-11-08 Nokia Technologies Oy Searching image content
US11138207B2 (en) 2015-09-22 2021-10-05 Google Llc Integrated dynamic interface for expression-based retrieval of expressive media content
US10474877B2 (en) * 2015-09-22 2019-11-12 Google Llc Automated effects generation for animated content
US11783524B2 (en) * 2016-02-10 2023-10-10 Nitin Vats Producing realistic talking face with expression using images text and voice
US10068612B2 (en) * 2016-04-08 2018-09-04 DISH Technologies L.L.C. Systems and methods for generating and presenting virtual experiences
US10951935B2 (en) 2016-04-08 2021-03-16 Source Digital, Inc. Media environment driven content distribution platform
US10397663B2 (en) 2016-04-08 2019-08-27 Source Digital, Inc. Synchronizing ancillary data to content including audio
US10991397B2 (en) 2016-10-14 2021-04-27 Genetec Inc. Masking in video stream
CN107920202B (zh) 2017-11-15 2020-02-21 阿里巴巴集团控股有限公司 基于增强现实的视频处理方法、装置及电子设备
US10789453B2 (en) * 2019-01-18 2020-09-29 Snap Inc. Face reenactment
US11288880B2 (en) 2019-01-18 2022-03-29 Snap Inc. Template-based generation of personalized videos
US11089238B2 (en) * 2019-01-18 2021-08-10 Snap Inc. Personalized videos featuring multiple persons
US11057576B2 (en) 2019-02-15 2021-07-06 Shutterfly, Llc System and method for automated detection and replacement of photographic scenes
US11245959B2 (en) 2019-06-20 2022-02-08 Source Digital, Inc. Continuous dual authentication to access media content
CN110784762B (zh) * 2019-08-21 2022-06-21 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置、设备及存储介质
CN111104964B (zh) * 2019-11-22 2023-10-17 北京永航科技有限公司 音乐与动作的匹配方法、设备及计算机存储介质
US10943371B1 (en) * 2020-03-31 2021-03-09 Snap Inc. Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application
US11259085B2 (en) * 2020-05-08 2022-02-22 At&T Intellectual Property I, L.P. Generating personalized synthesized media
CN112188116B (zh) * 2020-08-29 2021-11-30 上海量明科技发展有限公司 基于对象的视频合成方法、客户端及系统
CN112995418B (zh) * 2021-02-03 2023-04-07 咪咕音乐有限公司 视频彩铃播放方法、发送方法及相关设备
CN113242451A (zh) * 2021-05-07 2021-08-10 上海哔哩哔哩科技有限公司 视频生成方法及装置
CN113411655A (zh) * 2021-05-18 2021-09-17 北京达佳互联信息技术有限公司 口播视频生成方法、装置、电子设备及存储介质
CN113709370B (zh) * 2021-08-26 2023-05-09 维沃移动通信有限公司 图像生成方法、装置、电子设备及可读存储介质
CN115546366B (zh) * 2022-11-23 2023-02-28 北京蔚领时代科技有限公司 一种基于不同中之人驱动数字人的方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US6283858B1 (en) * 1997-02-25 2001-09-04 Bgk International Incorporated Method for manipulating images
KR100479613B1 (ko) * 1999-07-05 2005-03-30 엘지전자 주식회사 내용기반 이미지 검색의 자동 피드백을 통한 특징소 가중치 학습 제어방법
GB2354104A (en) * 1999-09-08 2001-03-14 Sony Uk Ltd An editing method and system
US7230653B1 (en) * 1999-11-08 2007-06-12 Vistas Unlimited Method and apparatus for real time insertion of images into video
US6826292B1 (en) * 2000-06-23 2004-11-30 Sarnoff Corporation Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation
US6535269B2 (en) * 2000-06-30 2003-03-18 Gary Sherman Video karaoke system and method of use
US6476826B1 (en) * 2000-08-22 2002-11-05 Vastvideo, Inc. Integrated system and method for processing video
US6954498B1 (en) * 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US20030007700A1 (en) * 2001-07-03 2003-01-09 Koninklijke Philips Electronics N.V. Method and apparatus for interleaving a user image in an original image sequence
JP2004046793A (ja) 2002-05-17 2004-02-12 Nintendo Co Ltd 画像処理システム
EP1370075B1 (en) * 2002-06-06 2012-10-03 Accenture Global Services Limited Dynamic replacement of the face of an actor in a video movie
US7460834B2 (en) * 2003-11-24 2008-12-02 Interdigital Technology Corporation Method and apparatus for utilizing a directional beam antenna in a wireless transmit/receive unit
GB2412802A (en) 2004-02-05 2005-10-05 Sony Uk Ltd System and method for providing customised audio/video sequences
KR101348521B1 (ko) * 2005-09-16 2014-01-06 플릭서, 인크. 비디오의 개인화

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101453884B1 (ko) * 2012-12-10 2014-10-23 박수조 사용자 맞춤형 감성광고 기능을 구비한 스마트 ｔｖ
KR101397461B1 (ko) * 2012-12-13 2014-05-23 (유)어나더레인보우 실시간 영상 합성 및 방법
US10096340B2 (en) 2014-06-26 2018-10-09 Interdigital Ce Patent Holdings Method for processing a video scene and corresponding device
KR20160138639A (ko) * 2015-05-26 2016-12-06 전자부품연구원 콘텐츠 객체 데이터 변환방법
WO2019164373A1 (en) * 2018-02-23 2019-08-29 Samsung Electronics Co., Ltd. Electronic device displaying avatar motion-performed as per movement of facial feature point and method for operating same
US11055889B2 (en) 2018-02-23 2021-07-06 Samsung Electronics Co., Ltd. Electronic device displaying avatar motion-performed as per movement of facial feature point and method for operating same
KR20200024105A (ko) * 2018-08-27 2020-03-06 주식회사 쓰리디팩토리 컴퓨터 그래픽 합성 시스템 및 방법
KR20210119439A (ko) * 2019-01-18 2021-10-05 스냅 아이엔씨 템플릿-기반 개인화 비디오 생성 시스템 및 방법

Also Published As

Publication number Publication date
JP2009515375A (ja) 2009-04-09
US20080019576A1 (en) 2008-01-24
US7460731B2 (en) 2008-12-02
US7974493B2 (en) 2011-07-05
WO2007035558A2 (en) 2007-03-29
AU2006292461A1 (en) 2007-03-29
AU2006292461A2 (en) 2008-08-28
US20100202750A1 (en) 2010-08-12
CA2622744A1 (en) 2007-03-29
EP1941423A2 (en) 2008-07-09
KR101348521B1 (ko) 2014-01-06
EP1941423A4 (en) 2010-06-30
US20090080855A1 (en) 2009-03-26
WO2007035558A3 (en) 2009-06-25
CA2622744C (en) 2014-09-16

Similar Documents

Publication Publication Date Title
KR101348521B1 (ko) 비디오의 개인화
Kietzmann et al. Deepfakes: Trick or treat?
TW544615B (en) Secure uniform resource locator system
Garrido et al. Vdub: Modifying face video of actors for plausible visual alignment to a dubbed audio track
RU2460233C2 (ru) Система вставки видео в режиме реального времени
US7859551B2 (en) Object customization and presentation system
CN101563698A (zh) 个性化视频
KR102319423B1 (ko) 컨텍스트 기반 증강 광고
US20160050465A1 (en) Dynamically targeted ad augmentation in video
US20080007567A1 (en) System and Method for Generating Advertising in 2D or 3D Frames and Scenes
US20100061695A1 (en) Method and apparatus for producing re-customizable multi-media
US11582519B1 (en) Person replacement utilizing deferred neural rendering
US11581020B1 (en) Facial synchronization utilizing deferred neural rendering
JP2018506198A (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
US20130251347A1 (en) System and method for portrayal of object or character target features in an at least partially computer-generated video
Langlotz et al. AR record&replay: situated compositing of video content in mobile augmented reality
Pan et al. RenderMe-360: a large digital asset library and benchmarks towards high-fidelity head avatars
Jones et al. Time-offset conversations on a life-sized automultiscopic projector array
KR101221540B1 (ko) 인터랙티브 미디어 매핑 시스템 및 그 방법
KR101754524B1 (ko) 2d 영상 내의 3d 요소의 추출 및 3d 요소의 삽입을 기반으로 미디어 컨텐츠 제작 방법 및 시스템
AU2009223616A1 (en) Photo realistic talking head creation, content creation, and distribution system and method
Hales Customising the Interactive Film
CN114501097A (zh) 在视频中插入数字内容
CN118014659A (zh) 一种电子宣传品生成和播放方法、系统及存储介质
Berghi et al. ForecasterFlexOBM: A MULTI-VIEW AUDIO-VISUAL DATASET FOR FLEXIBLE OBJECT-BASED MEDIA PRODUCTION

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170109

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee