KR101397461B1 - 실시간 영상 합성 및 방법 - Google Patents

실시간 영상 합성 및 방법 Download PDF

Info

Publication number
KR101397461B1
KR101397461B1 KR1020120145803A KR20120145803A KR101397461B1 KR 101397461 B1 KR101397461 B1 KR 101397461B1 KR 1020120145803 A KR1020120145803 A KR 1020120145803A KR 20120145803 A KR20120145803 A KR 20120145803A KR 101397461 B1 KR101397461 B1 KR 101397461B1
Authority
KR
South Korea
Prior art keywords
time
synthesized
frame
real
synthesis
Prior art date
Application number
KR1020120145803A
Other languages
English (en)
Inventor
박현우
진성민
Original Assignee
(유)어나더레인보우
주식회사 이노레드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (유)어나더레인보우, 주식회사 이노레드 filed Critical (유)어나더레인보우
Priority to KR1020120145803A priority Critical patent/KR101397461B1/ko
Application granted granted Critical
Publication of KR101397461B1 publication Critical patent/KR101397461B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예와 관련된 실시간 영상 합성 장치는 개인화 데이터를 외부 또는 내부 메모리로부터 추출하는 개인화 데이터 추출부와, 상기 동영상이 재생되면, 동영상 중 적어도 하나의 합성될 프레임의 메타 정보에 기초하여, 상기 추출된 개인화 데이터를 각각의 합성될 프레임에 맞게 변환하는 변환부 및 상기 변환부에서 변환된 개인화 데이터를 실시간으로 각각의 합성될 프레임에 합성하여 재생하는 합성부를 포함한다.

Description

실시간 영상 합성 및 방법{APPARATUS AND METHOD FOR COMPOSITING THE IMAGES IN REAL-TIME}
동영상에 포함된 일부 프레임과, 개인화 데이터를 재생 시작과 동시에 실시간으로 합성할 수 있는 기술에 관한 것이다.
최근 미디어 기술의 발달로 많은 영상들을 손쉽게 제작하거나 접할 수 있게 되었다. 더 나아가, 미디어 제작자들은 다수의 영상들을 서로 합성하는 기술에 대한 연구를 활발하게 진행하고 있으며, 이와 관련된 특허 출원을 진행하고 있다.
이와 관련되어 참조할 만한 내용은 '한국등록특허 번호 : 10-0968501, 출원인 : 장승구, 발명의 명칭 : 합성 동영상 제공 방법 및 시스템'에 개시되어 있다.
그러나, 이와 같은 기술은 단지 미리 저장된 두 개의 동영상을 합성하는 기술에 불과하므로, 개인화 데이터를 재생과 동시에 동영상에 실시간으로 합성하여 재생하지는 못하는 불편함이 있다.
동영상에 포함된 일부 프레임과, 개인화 데이터를 재생 시작과 동시에 실시간으로 합성할 수 있기 때문에, 개인화 데이터를 실시간으로 동영상에 합성하여 재생할 수 있는 기술에 관한 것이다.
본 발명의 일 실시예와 관련된 실시간 영상 합성 장치는 개인화 데이터를 외부 또는 내부 메모리로부터 추출하는 개인화 데이터 추출부와, 상기 동영상이 재생되면, 동영상 중 적어도 하나의 합성될 프레임의 메타 정보에 기초하여, 상기 추출된 개인화 데이터를 각각의 합성될 프레임에 맞게 변환하는 변환부 및 상기 변환부에서 변환된 개인화 데이터를 실시간으로 각각의 합성될 프레임에 합성하여 재생하는 합성부를 포함한다.
실시간 영상 합성 장치는 각각의 합성될 프레임에 대한 실시간 합성에 필요한 시간과, 각각의 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간을 비교하는 비교부를 더 포함할 수 있다.
본 발명의 또 다른 일 실시예와 관련된 실시간 영상 합성 방법은 개인화 데이터를 외부 또는 내부 메모리로부터 추출하는 단계와, 상기 동영상이 재생되면, 동영상 중 적어도 하나의 합성될 프레임의 메타 정보에 기초하여, 상기 추출된 개인화 데이터를 각각의 합성될 프레임에 맞게 변환하는 단계 및 상기 변환부에서 변환된 개인화 데이터를 실시간으로 각각의 합성될 프레임에 합성하여 재생하는 단계를 포함한다.
실시간 영상 합성 방법은 각각의 합성될 프레임에 대한 실시간 합성에 필요한 시간과, 각각의 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간을 비교하는 단계를 더 포함할 수 있다.
개시된 발명에 따르면 동영상에 포함된 메타 정보에 기초하여 개인화 데이터를 실시간으로 동영상에 합성함으로써, 개인화 데이터를 동영상에 용이하게 합성할 수 있다.
또한, 개인화 데이터를 실시간으로 동영상에 합성함으로써, 동영상을 재생하기 전에 미리 개인화 데이터 및 동영상을 모두 합성하여 파일로 생성할 필요가 없다.
도 1은 본 발명의 일 실시예와 관련된 실시간 영상 합성 장치에 대한 블록 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예에 따른 메타 정보를 입력하는 창을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 실시간 영상 합성 장치가 개인화 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 실시간 영상 합성 장치의 구동 방법을 설명하기 위한 도면이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 실시간 영상 합성 장치가 실시간으로 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 일 실시예에 따른 실시간 영상 합성 장치가 실시간으로 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예와 관련된 실시간 영상 합성 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 발명을 실시하기 위한 구체적인 내용에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예와 관련된 실시간 영상 합성 장치에 대한 블록 구성도(block diagram)이다.
도 1을 참조하면, 실시간 영상 합성 장치(100)는 메타 정보 추출부(110), 개인화 데이터 추출부(120), 비교부(130), 변환부(140) 및 합성부(150)를 포함한다.
메타 정보 추출부(110)는 동영상으로부터 각각의 합성될 프레임에 해당하는 메타 정보를 추출할 수 있다. 이하에서는 A 동영상은 A-1 프레임, A-2 프레임, A-3 프레임, A-4 프레임, … , A-N 프레임으로 구성되어 있고, 이 중 A-1 프레임 및 A-4 프레임이 합성될 프레임인 경우를 가정한다. 예를 들면, 메타 정보 추출부(110)는 A 동영상 중 A-1 프레임의 제 1 메타 정보 및 A-4 프레임의 제 2 메타 정보를 동영상으로부터 추출할 수 있다. 여기서, 메타 정보는 동영상 파일에 포함되어 구성될 수 있다.
개인화 데이터 추출부(120)는 개인화 데이터를 외부 또는 내부 메모리로부터 추출할 수 있다. 예를 들면, 외부 메모리는 소셜 네트워크 서버, 이메일 서버 등과 같은 개인화 데이터가 저장될 수 있는 외부 서버이거나 타 장치 내에 존재하는 메모리 등 일 수 있다. 내부 메모리는 실시간 영상 합성 장치(100)의 내부에 존재하는 메모리(미도시)일 수 있다. 외부 또는 내부 메모리는 본 예에 한정되지 않고 다양한 형태의 메모리일 수 있다. 예를 들면, 개인화 데이터는 사용자 이름 또는 별명, 사용자의 개인 사진 또는 동영상, 소셜네트워크 서비스를 이용하면서 업로드한 사용자 사진 또는 동영상, 문자 메시지를 통해 송수신한 사용자 사진 또는 동영상 등과 같은 다양한 개인 정보를 포함하는 데이터일 수 있다.
비교부(130)는 각각의 합성될 프레임에 대한 실시간 합성에 필요한 시간과, 각각의 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간을 비교할 수 있다. 여기서, 각각의 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간은 해당하는 합성될 프레임의 이전에 존재하는 합성에 사용되지 않는 프레임의 개수와 1개의 프레임에 사용되는 시간의 곱일 수 있다. 예를 들면, 총 5개의 프레임 중 3번째 프레임이 합성될 프레임인 경우, 3번째 프레임에 대한 실시간 합성에 사용할 수 있는 시간은 3번째 합성될 프레임의 이전에 존재하는 합성에 사용되지 않는 프레임('1번째 프레임 및 2번째 프레임')의 재생 시간일 수 있다. 재생 시간은 각 프레임의 재생시간의 합 또는, 프레임의 총개수 및 1개 프레임의 재생 시간의 곱 등으로 연산될 수 있다.
변환부(140)는 동영상이 재생되면, 동영상 중 적어도 하나의 합성될 프레임의 메타 정보에 기초하여, 추출된 개인화 데이터를 각각의 합성될 프레임에 맞게 변환할 수 있다. 예를 들면, 동영상 중 3번째 프레임이 합성될 프레임인 경우, 변환부(140)는 3번째 합성될 프레임의 메타 정보에 기초하여, 추출된 개인화 데이터를 3번째 합성될 프레임에 맞게 변환할 수 있다. 메타 정보는 합성될 프레임 중 개인화 데이터를 합성할 부분의 영상에 대한 정보를 포함할 수 있다. 예를 들면, 메타 정보는 영상의 모양 정보, 영상의 위치 정보, 영상의 뒤틀림 정보, 영상의 재질 정보, 영상의 색상 정보 및 영상의 텍스트 정보 등과 같은 다양한 정보일 수 있다. 영상의 텍스트 정보란 영상에 삽입되는 텍스트 정보 또는 영상에 삽입되는 음악의 가사 등과 같은 정보일 수 있다.
더 구체적으로 설명하면, 메타 정보가 합성될 프레임 중 개인화 데이터를 합성할 부분의 영상이 얼굴이며, 둥근 모양이고, 수직축을 기준으로 오른쪽으로 30도 기울어진 경우, 변환부(140)는 개인화 데이터 중 사용자 등에 의해서 설정된 사람(예를 들면, 철수, 영희 등)의 이미지 중 얼굴 부분만을 추출하고, 추출된 얼굴 부분의 이미지를 메타 정보에 따라 둥근 모양 및 수직축을 기준으로 오른쪽으로 30도 기울어지도록 변환할 수 있다. 이 외에도, 변환부(140)는 개인화 데이터의 색상 정보를 합성될 프레임의 색상 정보와 유사하게 변환하거나, 개인화 데이터의 재질을 합성될 프레임의 재질과 동하게 변환하는 등 다양한 방법으로 변환할 수 있다.
변환부(140)는 추출된 개인화 데이터 중 이미지 또는 텍스트를 메타 정보에 기초하여 합성될 프레임에 맞게 변환할 수 있다. 예를 들면, 변환부(140)는 개인화 데이터 중 사진과 같은 이미지를 메타 정보에 기초하여 합성될 프레임에 맞게 변환할 수 있다. 또 다른 예를 들면, 변환부(140)는 개인화 데이터 중 사용자의 이름('텍스트')을 합성될 프레임에 합성할 수 있다.
변환부(140)는 추출된 개인화 데이터에 기초하여 합성될 프레임에 맞는 TTS(text to speech) 정보를 생성할 수 있다. 예를 들면, 변환부(140)는 개인화 데이터 중 사용자의 이름('텍스트')에 기초하여 합성될 프레임에 삽입될 TTS(text to speech) 정보를 생성할 수 있다. 예를 들면, 합성될 프레임에 'A야 사랑해'라는 음성이 삽입되어 있고, 사용자의 이름이 영희인 경우, 변환부(140)는 '영희야 사랑해'라는 TTS(text to speech) 정보를 생성하고 합성될 프레임에 합성할 수 있다. 이에 따라, 동영상에서 사용자의 이름이 음성으로 출력되기 때문에, 사용자는 마치 자신이 동영상의 주인공이 된 것처럼 느낄 수 있다.
변환부(140)는 비교부(130)의 비교 결과 실시간 합성이 불가능한 경우, 실시간 합성에 필요한 시간과 실시간 합성에 사용할 수 있는 시간의 차이 값인 부족 시간에 해당하는 만큼만 미리 추출된 개인화 데이터를 변환할 수 있다. 실시간 합성이 불가능한 경우란 합성될 프레임에 대한 실시간 합성에 필요한 시간이, 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간보다 큰 경우를 의미할 수 있다. 예를 들면, 실시간 합성이 불가능한 경우란 합성될 프레임에 대한 실시간 합성에 필요한 시간은 3초이고, 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간은 1초인 경우를 의미할 수 있다. 이 경우, 변환부(140)는 부족 시간인 2초에 해당하는 만큼만 미리 추출된 개인화 데이터를 변환할 수 있다. 이와 같이, 부족 시간만큼을 미리 변환함으로써, 실시간 영상 합성이 끊김 없이 연속적으로 이루어질 수 있다.
합성부(150)는 변환부(140)에서 변환된 데이터를 실시간으로 각각의 합성될 프레임에 합성하여 재생할 수 있다. 예를 들면, 동영상 중 3번째 프레임이 합성될 프레임인 경우, 합성부(150)는 변환부(140)에서 3번째 합성될 프레임에 맞게 변환된 데이터를 실시간으로 3번째 합성될 프레임에 합성하여 재생할 수 있다. 또한, 동영상 중 5번째 프레임이 합성될 프레임인 경우, 합성부(150)는 변환부(140)에서 5번째 합성될 프레임에 맞게 변환된 데이터를 실시간으로 5번째 합성될 프레임에 합성하여 재생할 수 있다. 합성부(150)는 실시간 합성을 프레임별로 순차적으로 합성하거나 병렬적으로 합성할 수 있다.
실시간 영상 합성 장치는 동영상에 포함된 메타 정보에 기초하여 개인화 데이터를 실시간으로 동영상에 합성함으로써, 개인화 데이터를 동영상에 용이하게 합성할 수 있다.
또한, 실시간 영상 합성 장치는 개인화 데이터를 실시간으로 동영상에 합성함으로써, 동영상을 재생하기 전에 미리 개인화 데이터 및 동영상을 모두 합성하여 파일로 생성할 필요가 없다. 다시 말해, 실시간 영상 합성 장치는 사전에 동영상을 합성하는데 필요한 시간 및 합성이 완성된 파일을 저장하기 위한 시간 및 저장 공간을 최소화할 수 있다.
도 2는 본 발명의 일 실시예에 따른 메타 정보를 입력하는 창을 설명하기 위한 도면이다.
도 2를 참조하면, 사용자 또는 제작자 등은 동영상에 삽입할 메타 정보를 창(200)을 통해 입력할 수 있다. 예를 들면, 사용자 또는 제작자 등은 영상의 모양 정보(210), 영상의 위치 정보(220), 영상의 뒤틀림 정보(230), 영상의 재질 정보(240), 영상의 색상 정보(250) 및 영상의 텍스트 정보(260) 등과 같은 다양한 정보일 수 있다. 영상의 텍스트 정보란 영상에 삽입되는 텍스트 정보 또는 영상에 삽입되는 음악의 가사 등과 같은 정보일 수 있다. 구체적으로 예를 들면, 영상의 모양 정보(210)는 둥근 모양, 세모 모양, 네모 모양, 마름모 모양 등과 같이 개인화 데이터가 삽입될 영상 부분의 모양 정보를 포함할 수 있다. 영상의 위치 정보(220)는 X, Y 좌표값 등과 같이 개인화 데이터가 삽입될 영상 부분의 위치 정보를 포함할 수 있다. 영상의 뒤틀림 정보(230)는 X축 : 10도, Y축 : 30도, Z축 : 50도 등과 같이 개인화 데이터가 삽입될 영상 부분의 뒤틀림 정보를 포함할 수 있다. 영상의 재질 정보(240)는 나무 재질, 금속 재질 등과 같이 개인화 데이터가 삽입될 영상 부분의 재질 정보를 포함할 수 있다. 영상의 색상 정보(250)는 붉은색 계열, 푸른색 계열 등과 같이 개인화 데이터가 삽입될 영상 부분의 색상 정보를 포함할 수 있다. 색상 정보는 R, G, B 등과 같은 픽셀 값 정보를 포함할 수 있다. 메타 정보는 이외에도 개인화 데이터가 삽입될 영상 부분에 대한 다양한 정보를 포함할 수 있다. 이와 같이 입력된 메타 정보는 동영상 파일에 함께 삽입될 수 있다.
도 3은 본 발명의 일 실시예에 따른 실시간 영상 합성 장치가 개인화 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 1 및 도 3을 참조하면, 개인화 데이터 추출부(120)는 사용자가 설정한 주기 또는 사용자 명령('비주기적')에 따라 개인화 데이터를 외부 또는 내부에 존재하는 메모리(300), 소셜 네트워크 서버(310), 이메일 서버(320)로부터 수신할 수 있다. 개인화 데이터 추출부(120)는 사용자 등이 수신해도 된다고 설정한 개인화 데이터만을 수신할 수 있다. 예를 들면, 사용자가 SNS 서버(310)에서만 개인화 데이터를 수신하도록 설정한 경우, 개인화 데이터 추출부(120)는 SNS 서버(310)에서만 개인화 데이터를 수신한다. 본 실시예에서는 3개의 장치만을 설명하였으나 이외에도 개인화 데이터를 수신할 수 있는 장치는 다양하게 존재할 수 있다.
예를 들면, 개인화 데이터 추출부(120)는 외부 또는 내부에 존재하는 메모리(300), 소셜 네트워크 서버(310), 이메일 서버(320)에 저장된 사용자 이름 또는 별명, 사용자의 개인 사진 또는 동영상, 소셜네트워크 서비스를 이용하면서 업로드한 사용자 사진 또는 동영상, 문자 메시지를 통해 송수신한 사용자 사진 또는 동영상 등과 같은 다양한 개인 정보를 수신할 수 있다.
이에 따라, 개인화 데이터 추출부(120)는 사용자가 설정한 개인화 데이터 정보를 주기적 또는 비주기적으로 수신할 수 있다. 따라서, 사용자는 동영상을 합성하기 위해, 매번 개인화 데이터를 다양한 장치로부터 수신하지 않아도 된다.
도 4는 본 발명의 일 실시예에 따른 실시간 영상 합성 장치의 구동 방법을 설명하기 위한 도면이다.
도 1 및 도 4를 참조하면, 동영상은 제 1 프레임(400), 제 2 프레임(410), 제 3 프레임(420), 제 4 프레임(430), 제 5 프레임(440), 제 6 프레임(450), 제 7 프레임(460), 제 8 프레임(470), 제 9 프레임(480) 내지 제 N 프레임(490)을 포함한다. 이 중 제 1 프레임(400), 제 4 프레임(430), 제 6 프레임(450), 제 8 프레임(470)은 개인화 데이터가 합성될 프레임이라고 가정한다.
실시간 영상 합성 장치(100)는 동영상 중 합성될 프레임인 제 1 프레임(400), 제 4 프레임(430), 제 6 프레임(450), 제 8 프레임(470)에 개인화 데이터를 합성할 수 있다.
실시간 영상 합성 장치(100)는 동영상이 재생되면, 각각의 제 1 프레임(400), 제 4 프레임(430), 제 6 프레임(450), 제 8 프레임(470)의 메타 정보에 기초하여, 추출된 개인화 데이터를 각각의 제 1 프레임(400), 제 4 프레임(430), 제 6 프레임(450), 제 8 프레임(470)에 맞게 변환하고, 변환된 개인화 데이터를 각각의 제 1 프레임(400), 제 4 프레임(430), 제 6 프레임(450), 제 8 프레임(470)에 합성할 수 있다. 예를 들면, 실시간 영상 합성 장치(100)는 제 1 프레임(400)의 메타 정보에 기초하여, 추출된 개인화 데이터를 제 1 프레임(400)에 맞게 변환할 수 있다. 또한, 실시간 영상 합성 장치(100)는 제 4 프레임(430)의 메타 정보에 기초하여, 추출된 개인화 데이터를 제 4 프레임(430)에 맞게 변환할 수 있다. 이와 같은 과정을 반복하여, 실시간 영상 합성 장치(100)는 개인화 데이터를 합성될 프레임에 맞게 변환할 수 있다. 그 다음, 실시간 영상 합성 장치(100)는 개인화 데이터를 합성될 프레임(400, 430, 450, 470)에 맞게 변환할 수 있다.
실시간 영상 합성 장치(100)는 동영상이 재생되면, 실시간 합성에 사용할 수 있는 시간 동안에 개인화 데이터를 합성될 프레임에 맞게 변환하고 합성할 수 있다. 예를 들면, 실시간 영상 합성 장치(100)는 제 2 프레임(410) 및 제 3 프레임(420)이 재생되는 시간('실시간 합성에 사용할 수 있는 시간') 동안, 개인화 데이터를 제 4 프레임(430)에 맞게 변환하고, 변환된 개인화 데이터를 제 4 프레임(430)에 합성할 수 있다.
실시간 영상 합성 장치(100)는 실시간 합성이 불가능한 경우, 실시간 합성에 필요한 시간과 실시간 합성에 사용할 수 있는 시간의 차이 값인 부족 시간에 해당하는 만큼만 미리 추출된 개인화 데이터를 변환할 수도 있다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 실시간 영상 합성 장치가 실시간으로 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 1 및 도 5a를 참조하면, 실시간 영상 합성 장치(100)는 동영상이 재생되면, 동영상 중 합성될 프레임(500)의 메타 정보에 기초하여, 추출된 개인화 데이터를 합성될 프레임(500) 중 합성될 부분(501)에 맞게 변환할 수 있다. 이하에서는, 합성될 프레임(500) 중 합성될 부분(501)의 메타 정보가 얼굴이고, 마름모 모양이고, 수직축을 기준으로 오른쪽으로 30도 기울어진 경우를 가정한다. 메타 정보는 이 외에도 색상 정보, 재질 정보 등과 같이 다양할 수 있다.
도 1 및 도 5b를 참조하면, 실시간 영상 합성 장치(100)는 개인화 데이터 중 사용자 등에 의해서 설정된 사람의 이미지(510) 중 얼굴 부분의 이미지(511)만을 추출하고, 추출된 얼굴 부분의 이미지(511)를 메타 정보에 따라 마름모 모양 및 수직축을 기준으로 오른쪽으로 30도 기울어지도록 변환하여 변환된 이미지(520)를 생성한다.
도 1 및 도 5c를 참조하면, 실시간 영상 합성 장치(100)는 변환된 이미지(520)를 합성될 프레임(500)에 합성하여 합성된 프레임(530)을 생성하고, 합성된 프레임(530)을 재생할 수 있다. 예를 들면, 합성될 프레임(500)이 재생될 시각이 재생 시작 후 5초인 경우, 실시간 영상 합성 장치(100)는 재생 시각 전에 변환된 이미지(520)를 합성될 프레임(500)에 합성하여 합성된 프레임(530)을 생성하고, 합성된 프레임(530)을 재생 시작 후 5초에 재생할 수 있다.
도 6은 본 발명의 또 다른 일 실시예에 따른 실시간 영상 합성 장치가 실시간으로 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 1 및 도 6을 참조하면, 실시간 영상 합성 장치(100)는 개인화 데이터 중 사용자의 이름(610)을 합성될 프레임(600)에 합성할 수 있다.
실시간 영상 합성 장치(100)는 추출된 개인화 데이터에 기초하여 합성될 프레임에 맞는 TTS(text to speech) 정보를 생성할 수 있다. 예를 들면, 실시간 영상 합성 장치(100)는 개인화 데이터 중 사용자의 이름에 기초하여 합성될 프레임(600)에 삽입될 TTS(text to speech) 정보(620)를 생성할 수 있다. 예를 들면, 합성될 프레임(600)에 'HI, A! This song is about you!'라는 음악이 삽입되어 있고, 개인화 데이터 중 사용자의 이름이 'JULIE'인 경우, 실시간 영상 합성 장치(100)는 'HI, A! This song is about you!'라는 TTS(text to speech) 정보를 생성하고 합성될 프레임(600)에 합성할 수 있다.
실시간 영상 합성 장치(100)는 사용자의 이름(610) 및 TTS 정보(620)가 삽입된 합성된 프레임을 생성하고 재생할 수 있다. 예를 들면, 합성될 프레임(600)이 재생될 시각이 재생 시작 후 5초인 경우, 실시간 영상 합성 장치(100)는 재생 시각 전에 사용자의 이름(610) 및 TTS 정보(620)를 합성될 프레임(600)에 합성하여 합성된 프레임을 생성하고, 합성된 프레임을 재생 시작 후 5초에 재생할 수 있다.
이에 따라, 동영상에서 사용자의 이름이 음성으로 출력되기 때문에, 사용자는 마치 자신이 동영상의 주인공이 된 것처럼 느낄 수 있다.
도 7은 본 발명의 일 실시예와 관련된 실시간 영상 합성 방법을 설명하기 위한 흐름도이다.
도 1 및 도 7을 참조하면, 실시간 영상 합성 장치(100)는 개인화 데이터를 외부 또는 내부 메모리로부터 추출한다(700).
실시간 영상 합성 장치(100)는 동영상 재생 신호가 입력되었는지 여부를 반복적으로 판단한다(710).
동영상 재생 신호가 입력된 경우, 실시간 영상 합성 장치(100)는 합성될 프레임에 해당하는 메타 정보에 기초하여 개인화 데이터를 합성될 프레임에 맞게 변환한다(720). 실시간 영상 합성 장치(100)는 변환된 개인화 데이터를 합성될 프레임에 합성하고 재생할 수 있다(730).
또 다른 실시예에 따르면, 실시간 영상 합성 장치(100)는 동영상 재생 신호가 입력되었는지 여부를 반복적으로 판단하기 이전에, 동영상으로부터 각각의 합성될 프레임에 해당하는 메타 정보를 추출할 수 있다.
또 다른 실시예에 따르면, 실시간 영상 합성 장치(100)는 각각의 합성될 프레임에 대한 실시간 합성에 필요한 시간과, 각각의 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간을 비교할 수 있다. 비교 결과 실시간 합성이 불가능한 경우, 실시간 영상 합성 장치(100)는 실시간 합성에 필요한 시간과 실시간 합성에 사용할 수 있는 시간의 차이 값인 부족 시간에 해당하는 만큼만 미리 추출된 개인화 데이터를 변환할 수 있다.
실시간 영상 합성 방법은 동영상에 포함된 메타 정보에 기초하여 개인화 데이터를 실시간으로 동영상에 합성함으로써, 개인화 데이터를 동영상에 용이하게 합성할 수 있다.
또한, 실시간 영상 합성 방법은 개인화 데이터를 실시간으로 동영상에 합성함으로써, 동영상을 재생하기 전에 미리 개인화 데이터 및 동영상을 모두 합성하여 파일로 생성할 필요가 없다. 다시 말해, 실시간 영상 합성 장치는 사전에 동영상을 합성하는데 필요한 시간 및 합성이 완성된 파일을 저장하기 위한 시간 및 저장 공간을 최소화할 수 있다.
설명된 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
또한, 본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
100 : 실시간 영상 합성 장치
110 : 메타 정보 추출부
120 : 개인화 데이터 추출부
130 : 비교부
140 : 변환부
150 : 합성부

Claims (12)

  1. 개인 정보를 포함하는 데이터인 개인화 데이터를 외부 또는 내부 메모리로부터 추출하는 개인화 데이터 추출부;
    각각의 합성될 프레임에 대한 실시간 합성에 필요한 시간과, 각각의 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간을 비교하는 비교부;
    비교 결과 실시간 합성이 불가능한 경우, 실시간 합성에 필요한 시간과 실시간 합성에 사용할 수 있는 시간의 차이 값인 부족 시간에 해당하는 만큼만 미리 상기 추출된 개인화 데이터를 합성될 프레임의 메타 정보에 기초하여 각각의 합성될 프레임에 맞게 변환하고, 동영상이 재생되면 나머지 추출된 개인화 데이터를 합성될 프레임의 메타 정보에 기초하여 각각의 합성될 프레임에 맞게 변환하는 변환부; 및
    상기 변환부에서 변환된 개인화 데이터를 실시간으로 각각의 합성될 프레임에 합성하여 재생하는 합성부를 포함하는 실시간 영상 합성 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 각각의 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간은
    해당하는 합성될 프레임의 이전에 존재하는 합성에 사용되지 않는 프레임의 재생 시간인 실시간 영상 합성 장치.
  4. 제 1 항에 있어서,
    상기 변환부는,
    상기 추출된 개인화 데이터 중 이미지 또는 텍스트를 상기 메타 정보에 기초하여 합성될 프레임에 맞게 변환하는 실시간 영상 합성 장치.
  5. 제 1 항에 있어서,
    상기 변환부는,
    상기 추출된 개인화 데이터에 기초하여 합성될 프레임에 맞는 TTS(text to speech) 정보를 생성하는 실시간 영상 합성 장치.
  6. 제 1 항에 있어서,
    동영상으로부터 상기 각각의 합성될 프레임에 해당하는 메타 정보를 추출하는 메타 정보 추출부를 더 포함하는 실시간 영상 합성 장치.
  7. 실시간 영상 합성 장치의 실시간 영상 합성 방법에 있어서,
    개인 정보를 포함하는 데이터인 개인화 데이터를 외부 또는 내부 메모리로부터 추출하는 단계;
    각각의 합성될 프레임에 대한 실시간 합성에 필요한 시간과, 각각의 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간을 비교하는 단계;
    비교 결과 실시간 합성이 불가능한 경우, 실시간 합성에 필요한 시간과 실시간 합성에 사용할 수 있는 시간의 차이 값인 부족 시간에 해당하는 만큼만 미리 상기 추출된 개인화 데이터를 합성될 프레임의 메타 정보에 기초하여 각각의 합성될 프레임에 맞게 변환하고, 동영상이 재생되면 나머지 추출된 개인화 데이터를 합성될 프레임의 메타 정보에 기초하여 각각의 합성될 프레임에 맞게 변환하는 단계; 및
    변환된 개인화 데이터를 실시간으로 각각의 합성될 프레임에 합성하여 재생하는 단계를 포함하는 실시간 영상 합성 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 각각의 합성될 프레임에 대한 실시간 합성에 사용할 수 있는 시간은
    해당하는 합성될 프레임의 이전에 존재하는 합성에 사용되지 않는 프레임의 재생 시간인 실시간 영상 합성 방법.
  10. 제 7 항에 있어서,
    상기 변환하는 단계는,
    상기 추출된 개인화 데이터 중 이미지 또는 텍스트를 상기 메타 정보에 기초하여 합성될 프레임에 맞게 변환하는 단계를 포함하는 실시간 영상 합성 방법.
  11. 제 7 항에 있어서,
    상기 변환하는 단계는,
    상기 추출된 개인화 데이터에 기초하여 합성될 프레임에 맞는 TTS(text to speech) 정보를 생성하는 단계를 포함하는 실시간 영상 합성 방법.
  12. 제 7 항에 있어서,
    동영상으로부터 상기 각각의 합성될 프레임에 해당하는 메타 정보를 추출하는 단계를 더 포함하는 실시간 영상 합성 방법.
KR1020120145803A 2012-12-13 2012-12-13 실시간 영상 합성 및 방법 KR101397461B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120145803A KR101397461B1 (ko) 2012-12-13 2012-12-13 실시간 영상 합성 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120145803A KR101397461B1 (ko) 2012-12-13 2012-12-13 실시간 영상 합성 및 방법

Publications (1)

Publication Number Publication Date
KR101397461B1 true KR101397461B1 (ko) 2014-05-23

Family

ID=50894775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120145803A KR101397461B1 (ko) 2012-12-13 2012-12-13 실시간 영상 합성 및 방법

Country Status (1)

Country Link
KR (1) KR101397461B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100710600B1 (ko) * 2005-01-25 2007-04-24 우종식 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치
JP2007184869A (ja) * 2006-01-10 2007-07-19 Fujifilm Corp 画像処理装置、画像処理方法及び画像処理プログラム
KR20080063308A (ko) * 2005-09-16 2008-07-03 플릭서, 인크. 비디오의 개인화
KR101105916B1 (ko) * 2005-06-08 2012-01-17 톰슨 라이센싱 대체 영상/비디오 삽입을 위한 방법, 장치 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100710600B1 (ko) * 2005-01-25 2007-04-24 우종식 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치
KR101105916B1 (ko) * 2005-06-08 2012-01-17 톰슨 라이센싱 대체 영상/비디오 삽입을 위한 방법, 장치 및 시스템
KR20080063308A (ko) * 2005-09-16 2008-07-03 플릭서, 인크. 비디오의 개인화
JP2007184869A (ja) * 2006-01-10 2007-07-19 Fujifilm Corp 画像処理装置、画像処理方法及び画像処理プログラム

Similar Documents

Publication Publication Date Title
CN104732593B (zh) 一种基于移动终端的3d动画编辑方法
US8170239B2 (en) Virtual recording studio
KR20100002033A (ko) 영상 데이터 출력 방법 및 장치와, 영상 데이터 디스플레이방법 및 장치
CN109547841B (zh) 短视频数据的处理方法、装置及电子设备
CN104952471B (zh) 一种媒体文件合成方法、装置和设备
JP2012033243A (ja) データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
JP6641045B1 (ja) コンテンツ生成システム、及びコンテンツ生成方法
JP4725918B2 (ja) 番組画像配信システム、番組画像配信方法及びプログラム
JP2016091057A (ja) 電子機器
KR101571687B1 (ko) 동영상 이펙트 적용 장치 및 방법
KR100748059B1 (ko) 실시간 다층 동영상 합성보드
KR20090035254A (ko) 동영상 합성 및 실시간 피사체 추출을 통한 캐릭터 생성시스템
KR101397461B1 (ko) 실시간 영상 합성 및 방법
JP5310682B2 (ja) カラオケ装置
Jamil et al. Overview of JPEG Snack: a novel international standard for the snack culture
JP2005228297A (ja) 実物キャラクター型動画像情報物の制作方法，実物キャラクター型動画像情報物の再生方法，記録媒体
JP4387543B2 (ja) 動画像作成装置及びその制御方法及び記憶媒体
JP5777233B1 (ja) 動画生成装置及び動画生成方法
JP2019023747A (ja) 音合成装置、音合成方法、及びそのプログラム
JP2002290901A (ja) 視聴者映像記録再生装置
WO2017026387A1 (ja) 映像処理装置、映像処理方法および記録媒体
KR102685842B1 (ko) 발화 비디오 제공 장치 및 방법
EP4221191A1 (en) Media file generation device, media file playback device, media file generation method, media file playback method, program, and recording medium
JP4642685B2 (ja) 歌曲録音作品を随所で随時に再生できる通信カラオケシステム、カラオケ装置、方法
KR102155915B1 (ko) 동영상 녹음 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170512

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 5