KR101897692B1 - 프레임 분리 방식을 이용한 영상 합성 서버 - Google Patents

프레임 분리 방식을 이용한 영상 합성 서버 Download PDF

Info

Publication number
KR101897692B1
KR101897692B1 KR1020170147657A KR20170147657A KR101897692B1 KR 101897692 B1 KR101897692 B1 KR 101897692B1 KR 1020170147657 A KR1020170147657 A KR 1020170147657A KR 20170147657 A KR20170147657 A KR 20170147657A KR 101897692 B1 KR101897692 B1 KR 101897692B1
Authority
KR
South Korea
Prior art keywords
frame
composite
user data
synthesized
image
Prior art date
Application number
KR1020170147657A
Other languages
English (en)
Inventor
주진돈
여경일
Original Assignee
유한회사 이노레드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유한회사 이노레드 filed Critical 유한회사 이노레드
Application granted granted Critical
Publication of KR101897692B1 publication Critical patent/KR101897692B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명의 일 실시예와 관련된 프레임 분리 방식을 이용한 영상 합성 서버는, 사용자 데이터를 추출하는 데이터 추출부; 원본 영상을 합성프레임과 비합성프레임으로 분리하는 분리부; 상기 추출된 사용자 데이터를 상기 합성프레임 상의 합성영역에 맞게 변환하는 변환부; 및 상기 변환부에서 변환된 사용자 데이터와 상기 합성프레임을 합성하고, 합성이 완료된 상기 합성프레임을 상기 비합성프레임과 병합하여 합성 영상을 생성하는 합성부;를 포함한다.

Description

프레임 분리 방식을 이용한 영상 합성 서버{SERVER FOR COMPOSING IMAGE USING FRAME SEPARATING METHOD}
본 발명은 프레임 분리 방식을 이용한 영상 합성 서버에 관한 것이다.
최근 미디어 기술의 발달로 많은 영상들을 손쉽게 제작하거나 접할 수 있게 되었다. 더 나아가, 미디어 제작자들은 다수의 영상들을 서로 합성하는 기술에 대한 연구를 활발하게 진행하고 있으며, 이와 관련된 특허 출원을 진행하고 있다.
이와 관련되어 참조할 만한 내용은 '한국등록특허 번호 : 10-1397461'에 개시되어 있다.
그러나, 이와 같은 기술은 합성하고자 하는 영상의 위치정보와 기울기 정보를 일일이 입력해주어야 하고, 영상이 시작되는 시점부터 인코딩이 이루어져야 하므로 용량이 증가하거나 속도가 감소하여 영상이 원활히 재생하지 못하는 불편함이 있다.
본 발명의 일 목적은, 합성될 영역의 좌표를 자동으로 추출하여 마스크 이미지를 생성하고 이미지를 합성함으로써, 자연스럽고 매끄러운 합성 영상 기술을 제공하는 프레임 분리 방식을 이용한 영상 합성 서버에 관한 것이다.
또한, 합성프레임과 비합성프레임으로 분리하여 비합성프레임에 대해서는 기존의 최종 결과물 포맷으로 사전 인코딩 처리하고, 합성프레임에 대해서만 인코딩 처리하여 병합함으로써, 모든 프레임에 대해 인코딩하는 방식 대비 인코딩 처리속도가 빠를 뿐만 아니라 처리 용량도 현저히 감소시키는 기술을 제공하는 프레임 분리 방식을 이용한 영상 합성 서버에 관한 것이다.
또한, 합성 영역이 연속적으로 존재하는 합성 구간의 경우, 합성 구간의 첫번째 프레임에 사용되는 변환된 사용자 데이터를 나머지 합성 구간에 그대로 이용하여 합성함으로써, 프레임별로 미세하게 변하는 크기 및 기울기로 인한 흔들림을 방지할 수 있는 프레임 분리 방식을 이용한 영상 합성 서버에 관한 것이다.
본 발명의 일 실시예와 관련된 프레임 분리 방식을 이용한 영상 합성 서버는 사용자 데이터를 추출하는 데이터 추출부; 원본 영상을 합성프레임과 비합성프레임으로 분리하는 분리부; 상기 추출된 사용자 데이터를 상기 합성프레임 상의 합성영역에 맞게 변환하는 변환부; 및 상기 변환부에서 변환된 사용자 데이터와 상기 합성프레임을 합성하고, 합성이 완료된 상기 합성프레임을 상기 비합성프레임과 병합하여 합성 영상을 생성하는 합성부;를 포함할 수 있다.
상기 분리부는 상기 원본 영상의 프레임별로 상기 합성영역에 해당되는 색깔을 갖는 픽셀을 추출하고, 추출된 픽셀들의 크기가 설정된 크기보다 큰지를 판단하고, 설정된 크기보다 큰 픽셀들의 크기를 갖는 프레임을 합성프레임으로 분리하고, 설정된 크기보다 작은 픽셀들의 크기를 갖거나 추출된 픽셀이 없는 프레임을 비합성프레임으로 분리할 수 있다.
상기 합성프레임에 포함된 합성영역의 좌표를 자동으로 추출하는 좌표생성부;를 더 포함할 수 있다.
상기 좌표생성부는, 상기 합성영역을 포함하는 2차원 좌표인 제1좌표와 상기 제1좌표 내에서 상기 합성영역의 기울기를 나타내는 제2좌표를 생성할 수 있다.
상기 변환부는, 상기 제1좌표 맞춰 상기 추출된 사용자 데이터의 크기를 조절하여 배치하고, 상기 제2좌표에 맞춰 상기 추출된 사용자 데이터의 기울기를 조절하여 상기 합성 영역에 맞게 변환할 수 있다.
상기 합성영역의 모양에 대응하도록 마스크 이미지를 생성하는 마스크 이미지 생성부;를 더 포함할 수 있다.
상기 변환부는, 상기 마스크 이미지를 이용하여 상기 추출된 사용자 데이터를 상기 합성프레임 상의 합성영역에 맞게 변환할 수 있다.
상기 마스크 이미지 생성부는, 합성시 상기 합성영역 중 일부에 미합성 부분이 존재할 경우, 상기 미합성 부분 고려하여 마스크 이미지를 생성하고, 상기 변환부는, 상기 미합성 부분이 고려된 마스크 이미지를 이용하여 상기 추출된 사용자 데이터를 상기 합성프레임 상의 합성영역에 맞게 변환할 수 있다.
상기 변환부는, 상기 합성 영역에 원본영상의 배경 부분이 중첩되어 합성되어야 할 경우, 상기 추출된 사용자 데이터를 픽셀 평균 영상 방식을 이용하여 변환할 수 있다.
상기 마스크 이미지 생성부는, 상기 합성영역이 복잡한 모양으로 구성되는 경우, 상기 복잡한 모양을 고려하여 마스크 이미지를 생성하고, 상기 변환부는, 상기 복잡한 모양을 고려한 마스크 이미지를 이용하여 상기 추출된 사용자 데이터를 상기 합성프레임 상의 합성영역에 맞게 변환할 수 있다.
상기 비합성프레임을 기설정된 최종 결과물 포맷으로 사전에 인코딩 처리하고, 상기 합성프레임은 인코딩 처리하는 인코딩 처리부;를 더 포함할 수 있다.
상기 합성부는 상기 합성프레임이 연속적으로 존재하는 합성 구간이 포함될 경우, 상기 합성 구간의 첫번째 프레임의 합성영역에 맞게 변환된 사용자 데이터를 그대로 상기 합성 구간의 나머지 프레임의 합성영역의 합성에 사용하여 각 프레임별 합성영역의 미세한 차이로 인한 흔들림을 방지할 수 있다.
본 발명에 따르면, 프레임 분리을 통해 합성이 필요한 프레임에 대해서만 영상 합성을 수행하여 합성할 영상의 용량을 줄일 수 있고, 불필요한 연산량을 줄임으로써, 합성을 빠르게 수행할 수 있다.
또한, 합성프레임과 비합성프레임으로 분리하여 비합성프레임에 대해서는 기존의 최종 결과물 포맷으로 사전 인코딩 처리하고, 합성프레임에 대해서만 인코딩 처리하여 병합함으로써, 모든 프레임에 대해 인코딩하는 방식 대비 인코딩 처리속도가 빠를 뿐만 아니라 처리 용량도 현저히 감소시키는 기술을 제공하는 프레임 분리 방식을 이용한 영상 합성 서버에 관한 것이다.
또한, 합성 영역이 연속적으로 존재하는 합성 구간의 경우, 합성 구간의 첫번째 프레임에 사용되는 변환된 사용자 데이터를 나머지 합성 구간에 그대로 이용하여 합성함으로써, 프레임별로 미세하게 변하는 크기 및 기울기로 인한 흔들림을 방지할 수 있는 프레임 분리 방식을 이용한 영상 합성 서버에 관한 것이다.
도 1은 본 발명의 일 실시예와 관련된 프레임 분리 방식을 이용한 영상 합성 서버(100)를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 사용자 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 영상을 인코딩하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 제 1 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 5a 내지 도 5c는 본 발명의 제 2 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 6a 내지 도 6d는 본 발명의 제 3 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 제 4 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 8a 내지 도 8d는 제 5 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 합성부가 사용자 데이터를 합성하는 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 발명을 실시하기 위한 구체적인 내용에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예와 관련된 프레임 분리 방식을 이용한 영상 합성 서버(100)를 설명하기 위한 도면이다.
도 1을 참조하면, 프레임 분리 방식을 이용한 영상 합성 서버(100)는 데이터 추출부(110), 분리부(120), 좌표생성부(130), 마스크 이미지 생성부(140), 변환부(150), 인코딩 처리부(160), 및 합성부(170)를 포함할 수 있다.
데이터 추출부(110)는 사용자 데이터를 외부 또는 내부 메모리로부터 추출할 수 있다. 예를 들면, 외부 메모리는 소셜 네트워크 서버, 이메일 서버 등과 같은 사용자 데이터가 저장될 수 있는 외부 서버이거나 타 장치 내에 존재하는 메모리 등 일 수 있다. 내부 메모리는 프레임 분리 방식을 이용한 영상 합성 서버(100)의 내부에 존재하는 메모리(미도시)일 수 있다. 외부 또는 내부 메모리는 본 예에 한정되지 않고 다양한 형태의 메모리일 수 있다. 예를 들면, 사용자 데이터는 사용자 이름 또는 별명, 사용자의 개인 사진 또는 동영상, 소셜네트워크 서비스를 이용하면서 업로드한 사용자 사진 또는 동영상, 문자 메시지를 통해 송수신한 사용자 사진 또는, 동영상 등과 같은 다양한 개인 정보를 포함하는 데이터일 수 있다.
분리부(120)는 원본 영상을 합성프레임과 비합성프레임으로 분리할 수 있다.
여기서, 합성프레임이란, 사용자 데이터와 합성하고자 하는 합성 영역이 포함된 프레임이다. 여기서, 비합성프레임이란, 원본 영상에서 합성하고자 하는 합성 영역이 포함되지 않은 프레임('예를 들어, 합성이 필요없는 프레임')이다. 예를 들어, 원본 영상의 총 5개의 프레임 중 2번째 프레임과 4번째 프레임이 합성영역이 포함되어 있는 경우, 2번째 프레임과 4번째 프레임은 합성프레임이 되고, 1번째, 3번째, 및 5번째 프레임은 비합성프레임이 될 수 있다.
분리부(120)는 원본 영상의 프레임별로 합성영역에 해당되는 색깔을 갖는 픽셀을 추출하고, 추출된 픽셀들의 크기가 설정된 크기보다 큰지를 판단할 수 있다. 예를 들면, 합성 영역에 해당되는 색깔이 '녹색'인 경우, 분리부(120)는 프레임별로 '녹색'에 해당되는 픽셀을 추출하고, 추출된 픽셀들의 크기가 설정된 크기보다 큰지를 판단할 수 있다. 여기서, 설정된 크기는 사용자 등에 의해서 자유롭게 설정될 수 있다.
분리부(120)는 설정된 크기보다 큰 픽셀들의 크기를 갖는 프레임을 합성프레임으로 분리하고, 설정된 크기보다 작은 픽셀들의 크기를 갖거나 추출된 픽셀이 없는 프레임을 비합성프레임으로 분리할 수 있다. 예를 들면, 분리부(120)는 추출된 '녹색' 픽셀의 크기가 설정된 크기보다 큰 경우, 해당 프레임을 합성프레임으로 분리할 수 있다. 또한, 분리부(120)는 추출된 '녹색' 픽셀의 크기가 설정된 크기보다 작은 경우 또는 없는 경우, 해당 프레임을 비합성프레임으로 분리할 수 있다. 이에, 분리부(120)는 자동으로 합성 프레임 및 비합성 프레임을 분리할 수 있다.
좌표생성부(130)는 합성프레임에 포함된 합성영역의 좌표를 자동으로 생성할 수 있다. 좌표생성부(130)는 합성프레임 내의 합성영역의 위치를 나타내는 2차원 좌표인 제1좌표와, 합성영역이 기울어져 있는 경우, 제1좌표 내에서 합성영역의 기울기를 나타내는 제2좌표를 생성할 수 있다.
마스크 이미지 생성부(140)는 합성영역의 모양에 맞게 마스크 이미지를 생성할 수 있다. 마스크 이미지 생성부(140)는 합성 영역에 해당되는 픽셀을 1로 그 외의 픽셀을 0으로 처리하여 이진화된 마스크 이미지를 생성할 수 있다.
예를 들면, 마스크 이미지 생성부(140)는 합성영역의 모양이 대응하도록 흑백 마스크 이미지를 생성할 수 있다. 마스크 이미지 생성부(140)는 흑(黑) 영역은 제1좌표에 맞춰 생성하고, 백(白) 영역은 제2좌표에 맞춰 생성할 수 있다.
또 다른 예를 들면, 마스크 이미지 생성부(140)는 합성영역 중 일부가 가려져 미합성부분이 생기는 경우, 상기 미합성부분은 흑(黑) 영역으로 처리하고, 미합성 부분을 제외한 나머지 부분을 백(白) 영역으로 처리한 마스크 이미지를 생성할 수 있다.
또 다른 예를 들면, 마스크 이미지 생성부(140)는 합성영역의 모양이 복잡하게 구성되어 있는 경우, 합성프레임 전체를 흑(黑) 영역으로 처리하고, 합성영역의 복잡한 모양에 맞춰 백(白) 영역을 미세하게 조절하여 마스크 이미지를 생성할 수 있다.
변환부(150)는 추출된 사용자 데이터를 합성영역에 맞게 변환할 수 있다. 예를 들면, 변환부(150)는 합성영역의 모양이 기울기가 없는 평면적인 2차원의 사각형인 경우, 마스크 이미지를 생성하지 않고도 좌표생성부(130)에서 추출된 합성영역의 좌표에 맞춰 합성영역의 모양에 대응하도록 추출된 사용자 데이터를 변환할 수 있다.
또 다른 예를 들면, 변환부(150)는 합성영역에 대응하도록 형성된 마스크 이미지를 이용하여 흑(黑) 영역에 맞춰 추출된 사용자 데이터의 크기와 위치를 조절하고, 백(白) 영역에 맞춰 추출된 사용자 데이터의 기울기를 조절하여 원근감을 나타낼 수 있다.
또 다른 예를 들면, 변환부(150)는 마스크 이미지 생성부(140)에서 생성된 미합성부분이 고려된 마스크 이미지를 이용하여 미합성부분을 제외한 백(白) 영역에 맞춰 추출된 사용자 데이터를 변환하고, 미합성부분인 흑(黑)은 원본 영상이 유지되도록 할 수 있다.
또 다른 예를 들면, 변환부(150)는 합성영역에 원본 영상이 반사되도록 추출된 사용자 데이터를 변환할 수 있다. 구체적으로, 원본 영상의 배경이 합성영역과 중첩되어 합성되는 경우, 픽셀 평균 영상 방식을 이용하여 합성영역 상에 원본 영상이 겹쳐져 반사되는 형태를 가지도록 추출된 사용자 데이터를 변환할 수 있다.
또 다른 예를 들면, 변환부(150)는 마스크 이미지 생성부(140)에서 생성된 합성영역의 복잡한 모양을 고려한 마스크 이미지를 이용하여 백(白) 영역의 복잡한 모양에 맞춰 추출된 사용자 데이터를 변환할 수 있다.
인코딩(encoding)이란 데이터의 처리속도를 향상시키고 저장공간을 절약하기 위해 데이터를 변환하는 것이다.
인코딩 처리부(160)는 비합성프레임을 기설정되어있는 최종 결과물 포맷으로 사전에 인코딩 처리해줄 수 있다. 또한, 인코딩 처리부(160)는 소셜 무비 합성 알고리즘을 이용하여 합성프레임을 실시간으로 인코딩 처리할 수 있다. 여기서, 소셜 무비 합성 알고리즘이란 본 실시예의 도 4 내지 도 8에 기재된 인코딩 방식을 수행할 수 있는 프로그램을 의미한다. 이와 같이 비합성프레임에 대해서는 사전에 최종 결과물 포맷으로 인코딩을 해두고, 합성이 필요한 합성프레임에 대해서만 인코딩 처리를 할 수 있으므로, 전체 프레임에 대한 인코딩을 하는 방식 대비 불필요한 연산량을 줄여 합성 처리 시간을 절약할 수 있고, 처리 용량을 최소화할 수 있다.
합성부(170)는 변환부(150)에서 변환된 사용자 데이터와 합성프레임을 합성할 수 있다. 예를 들면, 원본 영상 중 2번째 프레임이 합성프레임인 경우, 합성부(170)는 변환부(150)에서 2번째 합성프레임의 합성영역에 맞게 변환된 사용자 데이터를 2번째 합성프레임의 합성영역에 합성할 수 있다. 또한, 원본 영상 중 4번째 프레임이 합성프레임인 경우, 합성부(170)는 변환부(150)에서 4번째 합성프레임의 합성영역에 맞게 변환된 데이터를 4번째 합성프레임에 합성할 수 있다. 이때, 합성부(170)는 합성프레임별로 순차적으로 합성하거나 병렬적으로 합성할 수 있다. 합성부(170)는 인코딩 처리가 완료된 합성프레임 및 이미 인코딩 처리된 비합성프레임을 병합하여 합성 영상을 생성할 수 있다.
합성부(170)는 합성프레임이 연속적으로 존재하는 합성 구간이 포함될 경우, 합성 구간의 첫번째 프레임의 합성영역에 맞게 변환된 사용자 데이터를 그대로 상기 합성 구간의 나머지 프레임의 합성영역의 합성에 사용하여 각 프레임별 합성영역의 미세한 차이로 인한 흔들림을 방지할 수 있다.
도 2는 본 발명의 일 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 사용자 데이터를 수신하는 방법을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 데이터 추출부(110)는 사용자가 설정한 주기 또는 사영자 명령('비주기적')에 따라 개인화 데이터를 외부 또는 내부에 존재하는 메모리(200), 소셜 네트워크 서버(210), 이메일 서버(220), 휴대 단말기(230)로부터 수신할 수 있다. 데이터 추출부(110)는 사용자 설정한 사용자 데이터만을 수신할 수 있다. 예를 들면, 사용자가 SNS 서버(210)에서만 사용자 데이터를 수신하도록 설정한 경우, 데이터 추출부(110)는 SNS 서버(210)에서만 사용자 데이터를 수신한다. 본 실시예에서는 4개의 장치만을 설명하였으나 이외에도 사용자 데이터를 수신할 수 있는 장치는 다양하게 존재할 수 있다.
예를 들면, 데이터 추출부(110)는 외부 또는 내부에 존재하는 메모리(200), 소셜 네트워크 서버(210), 이메일 서버(220), 휴대 단말기(230)에 저장된 사용자의 개인 사진, 동영상, 소셜 네트워크 서비스를 이용하면서 업로드한 사용자의 사진 또는 동영상, 문자 메시지를 통해 송수신한 사용자 사진 또는 동영상 등과 같은 다양한 개인정보를 수신할 수 있다.
도 3은 본 발명의 일 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 영상을 인코딩하는 방법을 설명하기 위한 도면이다.
도 1 및 도 3을 참조하면, 원본 영상은 제 1 프레임(300), 제 2 프레임(310), 제 3 프레임(320), 제 4 프레임(330), 제 5프레임(340)을 포함한다. 이 중 제 2 프레임(310)과 제 4 프레임(330)은 사용자 데이터가 합성되는 합성 영역을 포함하는 합성 프레임이라고 가정한다.
프레임 분리 방식을 이용한 영상 합성 서버(100)는 합성프레임인 제 2 프레임(310), 제 4 프레임(330)과, 비합성프레임인 제 1 프레임(300), 제 3 프레임(320), 제 5 프레임(340)을 분리할 수 있다. 예를 들어, 제 1 프레임(300)이 10초, 제 2 프레임(310)이 2초, 제 3 프레임(320)이 2초, 제 4 프레임(330)이 15초, 제 5 프레임(340)이 15초로 재생구간을 갖는다면, 비합성프레임인 제 1 프레임(300), 제 3 프레임(320), 제 5 프레임(340)에 대해서는 기설정되어 있는 최종 결과물 포맷으로 사전에 인코딩 처리를 하고, 분리된 합성프레임인 제 2 프레임(310)의 2초와 제 4 프레임(330)의 15초에 대해서만 인코딩 처리하여 인코딩 처리가 완료된 비합성프레임과 합성프레임을 병합할 수 있다.
도 4는 본 발명의 다른 일 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 1 및 도 4를 참조하면, 제 1 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)는 합성프레임(400)의 합성영역(410)이 기울기 없는 평면인 경우, 마스크 이미지를 생성하지 않고, 자동으로 추출된 좌표(430)를 기준으로 추출된 사용자 데이터의 위치와 크기를 조절하여 합성영역(410)에 맞게 변환하여 합성할 수 있다.
도 5a는 또 다른 일 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)가 합성영역을 포함하는 제1좌표와 합성영역의 기울기를 나타내는 제2좌표를 추출하는 모습을 나타내는 도면이다.
도 5b는 또 다른 일 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)가 제1좌표를 기준으로 사용자 데이터를 배치하는 모습을 나타내는 도면이다.
도 5c는 또 다른 일 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)가 제1좌표를 기준으로 배치된 사용자 데이터를 제2좌표를 기준으로 사용자 데이터의 기울기를 조절하는 모습을 나타내는 도면이다.
도 1 및 도 5a를 참조하면, 제 2 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)는 합성프레임(500)의 합성영역(510)에 기울기가 있는 경우, 합성 영역(510)에 대응되는 제1좌표(530) 및 제2좌표(550)을 추출할 수 있다.
제1좌표(530)는 합성영역(510)의 위치를 나타내는 사각형(노란색 사각형)의 꼭짓점인 네 좌표일수 있다. 이때, 제1좌표(530)는 제2좌표를 포함할 수 있다.
제2좌표(550)는 제1좌표(530) 내에 위치 할 수 있다. 이때, 제2좌표(550)는 합성영역(510)의 기울기를 나타내는 사각형(빨간색 사각형)의 꼭짓점인 네 좌표일 수 있다.
도 1 및 도 5b를 참조하면, 프레임 분리 방식을 이용한 영상 합성 서버(100)는 합성영역(510)을 포함하는 제1좌표(530)를 기준으로 추출된 사용자 데이터를 배치할 수 있다.
도 1 및 도 5c를 참조하면, 프레임 분리 방식을 이용한 영상 합성 서버(100)는 합성영역(510)의 기울기를 나타내는 제2좌표(550)를 기준으로 제1좌표(530)를 기준으로 배치된 사용자 데이터의 기울기를 조절하여, 최종적으로 합성영역(510)에 맞게 변환하여 합성할 수 있다.
도 6a는 제 3 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)의 미합성부분을 갖는 원본 영상을 나타내는 도면이다.
도 6b는 제 3 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)가 생성한 미합성부분을 갖는 원본 영상에 대한 마스크 이미지를 나타내는 도면이다.
도 1 및 도 6a 내지 도 6b를 참조하면, 제 3 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)는 합성프레임(600)의 합성영역(610)이 가려져 미합성부분(630)이 발생하는 경우, 미합성부분(630)은 흑(黑) 영역이고 미합성부분을 제외한 합성부분은 백(白) 영역인 마스크 이미지(650)를 생성할 수 있다.
도 6c는 제 3 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)가 원본 영상에 마스크 이미지를 배치하여 사용자 데이터의 영역을 조절하는 모습을 나타내는 도면이다.
도 1 및 도 6c를 참조하면, 프레임 분리 방식을 이용한 영상 합성 서버(100)는 합성프레임(600)에 마스크 이미지(650)를 배치하고, 추출된 사용자 데이터의 영역을 마스크 이미지(650)의 백(白) 영역에 맞게 조절할 수 있다.
도 6d는 제 3 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)가 원본 영상과 사용자 데이터의 합성을 완료한 최종 합성 영상을 나타내는 도면이다.
도 1 및 도 6d를 참조하면, 프레임 분리 방식을 이용한 영상 합성 서버(100)는 마스크 이미지(650)의 백(白) 영역에 맞게 조절된 사용자 데이터를 최종적으로 합성영역(610)과 합성할 수 있다.
도 7은 본 발명의 제 4 실시예에에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)가 영상을 합성하는 방법을 설명하기 위한 도면이다.
도 1 및 도 7을 참조하면, 제 4 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)는 사용자 데이터와 합성프레임의 배경 원본 영상(720)이 중첩되어 합성되어야 하는 경우, 선형 블렌딩(Linear Blending)을 사용하며 두 이미지의 행렬을 더할 때 가중치를 조절하여 더하기를 하는 기법인 픽셀 평균 영상 방식(730)을 이용하여 사용자 데이터와 합성프레임의 배경 원본 영상(720)을 중첩시킬 수 있다.
Figure 112017110554941-pat00001
이때, 픽셀 평균 영상 방식은 상기 공식을 이용할 수 있다. 상기 공식은 0에서 1까지 α를 변화시킴으로써 두 이미지 또는 영상 간에 일시적인 교차 디졸브(cross dissolve)를 수행하는 데 사용될 수 있다.
구체적으로, 프레임 분리 방식을 이용한 영상 합성 서버(100)는 사용자 데이터를 합성 영역(710)에 맞게 변환하고, 픽셀 평균 영상 방식을 이용하여 변환된 사용자 데이터와 합성프레임의 배경 원본 영상(720)을 중첩시켜 합성할 수 있다.
도 8a는 제 5 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)의 복잡한 모양을 갖는 합성영역을 포함하는 원본 영상을 나타내는 도면이다.
도 8b는 제 5 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)가 생성한 복잡한 모양을 갖는 합성영역을 포함하는 마스크 이미지를 나타내는 도면이다.
도 1 및 도 8a 내지 도 8b를 참조하면, 제 5 실시예에 따른 프레임 분리 방식을 이용한 영상 합성 서버(100)는 합성프레임(800)의 합성영역(810)이 복잡한 모양으로 형성되어 있는 경우, 합성영역(810)을 제외한 합성프레임(800)의 전체 영역이 흑(黑) 영역이고, 복잡한 모양의 합성영역(810)이 백(白) 영역인 마스크 이미지(850)를 생성할 수 있다. 예를 들면, 복잡한 모양이란 타원, 별, 꽃 모양과 같이 일반적인 형상이 아니거나, 기울기를 갖는 형상을 의미한다.
도 8c는 제 5 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)가 마스크 이미지에 맞춰 사용자 데이터의 영역과 기울기를 조절하는 모습을 나타내는 도면이다.
도 1 및 도 8c를 참조하면, 프레임 분리 방식을 이용한 영상 합성 서버(100)는 추출된 사용자 데이터를 백(白) 영역에 복잡한 모양에 맞춰 기울기와 영역을 조절할 수 있다.
도 8d는 제 5 실시예에 따른 프레임 분리 방식을 이용한 합성 서버(100)가 원본 영상과 사용자 데이터의 합성을 완료한 최종 합성 영상을 나타내는 도면이다.
도 1 및 도 8d를 참조하면, 프레임 분리 방식을 이용한 영상 합성 서버(100)는 기울기와 영역이 조절된 사용자 데이터를 최종적으로 합성영역(810)과 합성할 수 있다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 합성부가 사용자 데이터를 합성하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 합성부(170)는 동일한 사용자 데이터를 이용하는 합성프레임이 연속적으로 존재하는 합성 구간이 포함될 경우, 합성 구간의 첫번째 프레임의 합성영역에 맞게 변환된 사용자 데이터를 그대로 상기 합성 구간의 나머지 프레임의 합성영역의 합성에 사용하여 각 프레임별 합성영역의 미세한 차이로 인한 흔들림을 방지할 수 있다.
합성부(170)는 합성구간에 포함된 프레임이 3개인 경우, 첫번째 프레임의 합성 영역에 맞게 변환된 사용자 데이터를 두번째 프레임 및 세번째 프레임의 합성시에도 그대로 사용한다. 합성부(170)는 동일한 변환된 사용자 데이터를 사용하되, 변환된 사용자 데이터의 합성 위치 및 크기를 변화시켜 합성할 수 있다.
도 10을 참조하면, 합성 구간은 합성구간에 포함된 프레임이 3개(1000, 1010, 1020)를 포함할 수 있고, 각 프레임에 사용되는 사용자 데이터는 동일한 것을 사용한다.
합성부(170)는 첫번째 프레임(1000)의 합성 영역에 맞게 변환된 사용자 데이터를 이용하여 첫번째 프레임(100)에 대한 합성을 수행한다.
합성부(170)는 첫번째 프레임(1000)의 합성 영역에 맞게 변환된 사용자 데이터를 그대로 이용하여, 두번째 프레임(1010)의 합성 영역에 합성을 수행한다. 기존의 방식의 경우, 변환부(150)가 합성부(170)가 두번째 프레임(1010)의 합성 영역에 사용자 데이터를 합성하기 위해, 사용자 데이터를 변환하는 과정을 수행했다. 그러나, 본 발명의 실시예에 따르면, 변환부(150)는 두번째 프레임 별에 대한 사용자 데이터 변환을 수행하지 않고, 합성부(170)는 첫번째 프레임(1000)의 합성 영역에 맞게 변환된 사용자 데이터를 그대로 이용하여 두번째 프레임(1010)에 대한 합성을 수행한다.
합성부(170)는 두번째 프레임(1010)에 대한 합성 방식과 동일한 방식으로 세번째 프레임(1020)에 대한 합성을 수행한다.
이에, 본 발명에 따르면, 매 프레임에 대한 사용자 데이터를 변환하지 않고 첫번째 프레임에 사용된 사용자 데이터를 합성 구간이 종료될 때 까지 사용함으로써, 변환에 따른 시간을 없앨 수 있다.
또한, 본 발명에 따르면, 첫번째 프레임에 사용된 사용자 데이터를 합성 구간이 종료될 때 까지 사용함으로써, 매 프레임별로 변환을 수행하면서 발생할 수 있는 미세한 변환 왜곡('좌표, 기울기 등의 미세한 차이 발생')으로 인해 발생할 수 있는 합성 이미지의 흔들림 현상을 방지할 수 있다.
상기와 같이 설명된 프레임 분리 방식을 이용한 영상 합성 서버는 상기 설명된 실시예들의 구성과 방법에 한정되어 적용되는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
100 : 프레임 분리 방식을 이용한 영상 합성 서버
110 : 데이터 추출부 120 : 분리부
130 : 좌표생성부 140 : 마스크 이미지 생성부
150 : 변환부 160 : 인코딩 처리부
170 : 합성부
200 : 메모리 210 : 소셜 네트워크 서버
220 : 이메일 서버 230 : 휴대 단말기
300 : 제 1 프레임 310 : 제 2 프레임
320 : 제 3 프레임 330 : 제 4 프레임
340 : 제 5 프레임
400, 500, 600, 700, 800 : 합성프레임
410, 510, 610, 710, 810 : 합성영역
650, 850 : 마스크 이미지

Claims (11)

  1. 삭제
  2. 사용자 데이터를 추출하는 데이터 추출부;
    원본 영상의 프레임별로 합성영역에 해당되는 색깔을 갖는 픽셀을 추출하고, 추출된 픽셀들의 크기가 설정된 크기보다 큰지를 판단하고, 설정된 크기보다 큰 픽셀들의 크기를 갖는 프레임을 합성프레임으로 분리하고, 설정된 크기보다 작은 픽셀들의 크기를 갖거나 추출된 픽셀이 없는 프레임을 비합성프레임으로 분리하는 분리부;
    상기 추출된 사용자 데이터를 상기 합성프레임의 합성영역에 맞게 변환하는 변환부; 및
    상기 변환부에서 변환된 사용자 데이터와 상기 합성프레임을 합성하고, 합성이 완료된 상기 합성프레임을 상기 비합성프레임과 병합하여 합성 영상을 생성하는 합성부를 포함하는, 프레임 분리 방식을 이용한 영상 합성 서버.
  3. 사용자 데이터를 추출하는 데이터 추출부;
    원본 영상을 합성프레임과 비합성프레임으로 분리하는 분리부;
    상기 합성프레임에 포함된 합성영역의 좌표를 자동으로 추출하는 좌표생성부;
    상기 추출된 사용자 데이터를 상기 합성프레임의 합성영역에 맞게 변환하는 변환부; 및
    상기 변환부에서 변환된 사용자 데이터와 상기 합성프레임을 합성하고, 합성이 완료된 상기 합성프레임을 상기 비합성프레임과 병합하여 합성 영상을 생성하는 합성부를 포함하는, 프레임 분리 방식을 이용한 영상 합성 서버.
  4. 제3항에 있어서,
    상기 좌표생성부는,
    상기 합성영역을 포함하는 2차원 좌표인 제1좌표와 상기 제1좌표 내에서 상기 합성영역의 기울기를 나타내는 제2좌표를 생성하는, 프레임 분리 방식을 이용한 영상 합성 서버.
  5. 제4항에 있어서,
    상기 변환부는,
    상기 제1좌표에 맞춰 상기 추출된 사용자 데이터의 크기를 조절하여 배치하고, 상기 제2좌표에 맞춰 상기 추출된 사용자 데이터의 기울기를 조절하여 상기 합성 영역에 맞게 변환하는, 프레임 분리 방식을 이용한 영상 합성 서버.
  6. 사용자 데이터를 추출하는 데이터 추출부;
    원본 영상을 합성프레임과 비합성프레임으로 분리하는 분리부;
    합성영역의 모양에 대응하도록 마스크 이미지를 생성하는 마스크 이미지 생성부;
    상기 추출된 사용자 데이터를 상기 합성프레임의 합성영역에 맞게 변환하는 변환부; 및
    상기 변환부에서 변환된 사용자 데이터와 상기 합성프레임을 합성하고, 합성이 완료된 상기 합성프레임을 상기 비합성프레임과 병합하여 합성 영상을 생성하는 합성부를 포함하는, 프레임 분리 방식을 이용한 영상 합성 서버.
  7. 제6항에 있어서,
    상기 변환부는,
    상기 마스크 이미지를 이용하여 상기 추출된 사용자 데이터를 상기 합성프레임 상의 합성영역에 맞게 변환하는, 프레임 분리 방식을 이용한 영상 합성 서버.
  8. 제6항에 있어서,
    상기 마스크 이미지 생성부는,
    합성시 상기 합성영역 중 일부에 미합성 부분이 존재할 경우, 상기 미합성 부분 고려하여 마스크 이미지를 생성하고,
    상기 변환부는,
    상기 미합성 부분이 고려된 마스크 이미지를 이용하여 상기 추출된 사용자 데이터를 상기 합성프레임 상의 합성영역에 맞게 변환하는, 프레임 분리 방식을 이용한 영상 합성 서버.
  9. 제6항에 있어서,
    상기 변환부는,
    상기 합성 영역과 상기 합성 프레임의 배경 부분이 중첩되어 합성되어야 할 경우, 상기 추출된 사용자 데이터를 픽셀 평균 영상 방식을 이용하여 변환하는, 프레임 분리 방식을 이용한 영상 합성 서버.
  10. 제6항에 있어서,
    상기 마스크 이미지 생성부는,
    상기 합성영역이 복잡한 모양으로 구성되는 경우, 상기 복잡한 모양을 고려하여 마스크 이미지를 생성하고,
    상기 변환부는,
    상기 복잡한 모양을 고려한 마스크 이미지를 이용하여 상기 추출된 사용자 데이터를 상기 합성프레임 상의 합성영역에 맞게 변환하는, 프레임 분리 방식을 이용한 영상 합성 서버.
  11. 사용자 데이터를 추출하는 데이터 추출부;
    원본 영상을 합성프레임과 비합성프레임으로 분리하는 분리부;
    상기 추출된 사용자 데이터를 상기 합성프레임의 합성영역에 맞게 변환하는 변환부;
    상기 변환부에서 변환된 사용자 데이터와 상기 합성프레임을 합성하고, 합성이 완료된 상기 합성프레임을 상기 비합성프레임과 병합하여 합성 영상을 생성하는 합성부; 및
    상기 비합성프레임을 기설정된 최종 결과물 포맷으로 사전에 인코딩 처리하고, 상기 합성프레임은 실시간으로 인코딩 처리하는 인코딩 처리부;를 더 포함하는, 프레임 분리 방식을 이용한 영상 합성 서버.
KR1020170147657A 2017-05-17 2017-11-07 프레임 분리 방식을 이용한 영상 합성 서버 KR101897692B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170061160 2017-05-17
KR20170061160 2017-05-17

Publications (1)

Publication Number Publication Date
KR101897692B1 true KR101897692B1 (ko) 2018-10-29

Family

ID=64101572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170147657A KR101897692B1 (ko) 2017-05-17 2017-11-07 프레임 분리 방식을 이용한 영상 합성 서버

Country Status (1)

Country Link
KR (1) KR101897692B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101571687B1 (ko) * 2014-05-26 2015-11-25 이정빈 동영상 이펙트 적용 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101571687B1 (ko) * 2014-05-26 2015-11-25 이정빈 동영상 이펙트 적용 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101527672B1 (ko) 비디오 적응 및 재타겟팅을 위한 비디오 캡션 재-오버레이 시스템 및 방법
CN109983500B (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
US8570360B2 (en) Stereoscopic parameter embedding device and stereoscopic image reproducer
JP6062512B2 (ja) 撮像装置、情報処理システム、および画像データ送出方法
US20100079577A1 (en) Concealed regions complementing system of free viewpoint video images
US7774705B2 (en) Interactive design process for creating stand-alone visual representations for media objects
JP2016063325A (ja) 画像処理装置、画像処理方法及びプログラム
CN109314791B (zh) 用于呈现设备的生成流和合成视频的方法、设备和处理器可读介质
WO2019166008A1 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US8549400B2 (en) Techniques for encoding media objects to a static visual representation
EP1320074B1 (en) Method and apparatus for generating texture for a 3D facial model
WO2021193213A1 (ja) 情報処理装置、３ｄモデル生成方法およびプログラム
US20170163887A1 (en) Image processing apparatus, image processing method, and program
KR101897692B1 (ko) 프레임 분리 방식을 이용한 영상 합성 서버
KR101434897B1 (ko) 화상 처리 장치, 및 화상 처리 장치의 제어 방법
WO2020032113A1 (ja) 画像処理装置、３ｄデータ生成装置、制御プログラム及び記録媒体
JP2007005907A (ja) 画像処理方法、画像処理装置、画像処理プログラム及び記録媒体
WO2024053371A1 (ja) 情報処理システム、および情報処理システムの作動方法、並びにプログラム
WO2023195426A1 (ja) 復号装置、符号化装置、復号方法及び符号化方法
JP2004187000A (ja) 画像処理装置及び方法
KR20230129798A (ko) 원본 영상으로부터 객체 영상을 추출하는 장치, 방법 및 컴퓨터 프로그램
JP6577815B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20160038584A (ko) 촬영 영상 처리 장치 및 방법
CN114979765A (zh) 一种基于数据处理的视频合成方法和系统
CN115706793A (zh) 适用虚拟现实的影像传输方法、影像处理装置及影像生成系统

Legal Events

Date Code Title Description
GRNT Written decision to grant