KR101894956B1 - 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법 - Google Patents

실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법 Download PDF

Info

Publication number
KR101894956B1
KR101894956B1 KR1020170078552A KR20170078552A KR101894956B1 KR 101894956 B1 KR101894956 B1 KR 101894956B1 KR 1020170078552 A KR1020170078552 A KR 1020170078552A KR 20170078552 A KR20170078552 A KR 20170078552A KR 101894956 B1 KR101894956 B1 KR 101894956B1
Authority
KR
South Korea
Prior art keywords
special effect
scene
image
size
special
Prior art date
Application number
KR1020170078552A
Other languages
English (en)
Inventor
박홍규
김일환
Original Assignee
주식회사 미디어프론트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 미디어프론트 filed Critical 주식회사 미디어프론트
Priority to KR1020170078552A priority Critical patent/KR101894956B1/ko
Priority to JP2017144280A priority patent/JP2019009754A/ja
Application granted granted Critical
Publication of KR101894956B1 publication Critical patent/KR101894956B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

실시간 증강 합성 기술을 이용한 영상 생성 장치를 개시한다. 영상 생성 서버는 소셜 미디어 플랫폼에 등록된 사용자의 개인정보, 편집할 영상 컨텐츠 및 영상 컨텐츠 편집에 부가되는 특수효과인 특수효과를 포함하는 영상 편집 데이터를 저장하는 데이터베이스; 사용자에 의해 등록된 영상 컨텐츠를 구성하는 장면에 포함된 객체를 인식하여 장면에 부가될 특수효과를 추출하는 추출모듈; 장면을 구성하는 객체의 크기와 종류에 따라 추출된 특수효과의 장면으로의 세팅 위치를 검출하고, 세팅 위치에서 상기 특수효과의 크기를 산출하는 특수효과 조정 모듈; 및 특수효과 조정 모듈에 의해 세팅 위치와 크기가 조정된 특수효과를 반영한 장면을 디스플레이하고, 디스플레이 된 장면 중 하나를 선택 받아 저장하고, 선택된 장면으로 영상을 생성하는 디스플레이 모듈;을 포함한다.

Description

실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법 {SERVER AND METHOD FOR IMAGE GENERATION USING REAL-TIME ENHANCEMENT SYNTHESIS TECHNOLOGY}
영상 생성 장치 및 방법에 관한 것으로 구체적으로, 라이브 소셜 미디어 플랫폼 서비스에서 실시간 증강 합성 기술을 이용한 영상 생성 장치 및 방법에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
최근 동영상, 이미지, 비디오 클립 등 독자 창작 영상 컨텐츠(UCC, User Created Contents)에 대한 관심이 날로 커지고 있다. 실제로 동영상 플랫폼인 유트브(Youtube)에는 매일 새로운 독자 창작 영상이 업로드 된다. 최근에는 요리, 여행, 화장, 염색 방법 등 창작되는 동영상의 주제가 매우 다양해 지고 있는 추세이기 때문에, 동영상 촬영 후 편집 시, 단순히 배경 프레임을 삽입하는 것만으로는 완성된 영상의 품질을 높일 수 없다.
또한, 독자 창작 영상 컨텐츠의 공급이 증가하면서, 디지털 카메라나 캠코더로 촬영한 동영상을 PC로 다운받아 편집한 후 웹에 올려 공유하던 사용자들이 모바일 기기로 동영상을 촬영하고 모바일 기기에서 바로 편집하여 공유하고자 한다. 현재 일부 스마트 폰의 경우, 스마트 폰에서 찍은 동영상을 편집할 수 있는 동영상 편집기가 제공되고 있지만, 그 기능이 매우 제한적이고, 사용방법이 불편한 실정이다.
예컨대, Adobe Premire 등과 같은 PC 동영상 편집 어플리케이션은 PC와 같은 커다란 디스플레이와 마우스 인터페이스가 존재하는 환경에서는 적합하지만, 모바일 기기와 같은 한정된 디스플레이와 인풋 환경에서는 적당하지 않은 방식이다. 또한, Jumpcut 등과 같은 웹 동영상 편집 어플리케이션은 UI구성에 있어서, 미리보기 화면, 타임라인, 스토리 보드 패널, 효과 패널 등이 평면적으로 배열되어 있어, 모바일 기기와 같은 한정된 디스플레이에서는 적합하지 않은 UI 방식이다.
또한, 고가의 장비를 사용자가 휴대하지 않는 한 촬영되는 영상에서 사용자가 전달하고자 하는 특정 기호나 텍스트 등을 효과적으로 삽입할 수 없기 때문에, 다소 무미건조한 영상만이 생성되어 전달되므로 사용자 지향적인 영상 제작 환경이 부족하다고 할 수 있다. 예컨대 영상 통화의 경우, 발신자와 수신자 각각은 자신의 단말을 통하여 상대방의 영상과 자신의 뷰어 영상을 동시에 보게 된다. 이 때, 영상 통화 단말의 특정 어플리케이션을 구동시키지 않는 한 현재 화면 상태에서 사용자가 상대방에게 전달하고자 하는 텍스트, 기호 등을 자신의 영상과 함께 전송하기가 상당히 어렵게 구성되어있다.
더욱이, 특정 어플리케이션을 구동하는 경우에도 현재 자신의 영상 정보에 텍스트, 기호 등의 영상이 결합된 영상이 상대방에게 전달되는 것이 아니라 현재 영상 정보와 텍스트, 기호 등의 데이터가 이원적인 형태로 상대방에게 전달되고 각각 독립된 어플리케이션에 의해 사용자에게 제공된다.
1. 한국 특허공개 제10-2007-0125024호(2007.12.04) 2. 한국 특허공개 제10-2017-0002831호(2017.01.09)
자막, 효과, 배경, 표정, 캐릭터 등을 포함하는 특수효과를 동영상 컨텐츠에 따라 장면에 자동으로 삽입하여 스마트 단말 및 PC에서 고품질의 영상 컨텐츠를 생성할 수 있는 실시간 증강 합성 기술을 이용한 영상 생성 장치 및 방법을 제공한다.
실시예에 따른 실시간 증강 합성 기술을 이용한 영상 생성 서버는 소셜 미디어 플랫폼에 등록된 사용자의 개인정보, 편집할 영상 컨텐츠 및 영상 컨텐츠 편집에 부가되는 특수효과를 포함하는 영상 편집 데이터를 저장하는 데이터베이스; 사용자에 의해 등록된 영상 컨텐츠를 구성하는 장면에 포함된 객체를 인식하여 장면에 부가될 특수효과를 추출하는 추출모듈; 장면을 구성하는 객체의 크기와 종류에 따라 추출된 특수효과의 장면으로의 세팅 위치를 검출하고, 세팅 위치에서 특수효과의 크기를 산출하는 특수효과 조정 모듈; 특수효과 조정 모듈에 의해 세팅 위치와 크기가 조정된 특수효과를 반영한 장면을 디스플레이하고, 디스플레이 된 장면 중 하나를 선택 받아 저장하고, 선택된 장면으로 영상을 생성하는 디스플레이 모듈; 을 포함한다.
다른 실시예에 따른 영상 생성 장치에서의 영상 생성 방법은 (A) 데이터베이스에 소셜 미디어 플랫폼에 등록된 사용자의 개인정보, 편집할 영상 컨텐츠 및 영상 컨텐츠 편집에 필요한 특수효과를 포함하는 영상 편집 데이터를 저장하는 단계; (B) 아이템 관리 모듈에서 자막, 마스크, 이모티콘, 배경, 표정, 얼굴을 포함하는 특수효과를 구매하여 저장하는 단계; (C) 추출모듈에서 사용자에 의해 등록된 영상 컨텐츠를 구성하는 장면에 포함된 객체를 인식하여 장면에 부가될 특수효과를 추출하는 단계; (D) 특수효과 조정모듈에서 장면을 구성하는 객체의 크기와 종류에 따라 추출된 특수효과의 세팅 위치를 검출하고, 세팅 위치에서의 특수효과의 크기를 산출하는 단계; 및 (E) 디스플레이 모듈에서 특수효과 조정 모듈에 의해 세팅 위치와 크기가 조정된 특수효과를 반영한 복수개의 장면을 디스플레이하고, 디스플레이 된 장면 중 하나를 선택 받아 선택된 장면으로 동영상을 생성하는 단계; 를 포함한다.
다른 실시예에 따른 영상 생성 서버를 포함하는 실시간 증강 합성 기술을 이용한 영상 생성 시스템은 영상 생성 서버로부터 영상 생성에 필요한 일련의 프로그램을 분산방식으로 전달받는 스마트 단말; 을 더 포함하고, 스마트 단말은 영상 생성 서버를 통해 전달 받은 영상 생성 프로그램을 통해 영상을 구성하는 장면을 분석하여 분석 결과에 따라 장면 별 특수효과를 추출하고, 장면에 포함된 객체의 종류와 크기에 따라 추출된 특수효과의 세팅 위치와 크기를 조정하여 장면에 반영한다.
이상에서와 같은 영상 생성 장치 및 방법은, 동영상을 구성하는 장면에 포함된 객체를 분석하여 분석결과를 기반으로 객체 별로 알맞은 특수효과를 추출하고 특수효과의 위치와 크기를 자동 산출하여 장면에 반영함으로써, 동영상 편집을 보다 빠르고 쉽게 수행 할 수 있도록 한다.
또한, 스마트 단말에서 최적화된 UI(User Interface)를 제공함으로써, 사용자가 자신의 스마트 단말에서도 편리하게 동영상을 편집할 수 있도록 한다.
또한, 자막, 효과, 배경, 표정, 마스크, 소품, 캐릭터, 그림 등 다양한 특수효과를 생성하여 라이브러리에 등록 하고, 생성된 특수효과를 다른 사용자가 의해 구매하는 경우 수익을 창출할 수 있도록 한다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 실시예에 따른 영상 편집 시스템을 나타낸 도면
도 1b는 창작물(특수효과) 생성 디스플레이 실시예를 나타낸 도면
도 2a는 실시예에 따른 영상 편집 서버의 대략적인 구성을 나타낸 블록도
도 2b는 실시예에 따라 장면 컨텐츠에 따라 추출된 특수효과가 반영된 실시예를 나타낸 도면
도 3a는 실시예에 따른 영상편집서버(100)의 보다 구체적인 구성을 나타낸 도면
도 3b는 특수효과 적용 실시예를 나타낸 도면
도 4는 실시예에 따른 영상 편집 방법의 데이터 처리 흐름을 나타낸 흐름도
도 5 및 6은 실시예에 따른 특수효과 추출 및 적용 과정의 디스플레이 실시예를 나타낸 도면
도 7은 실시예에 따른 영상 편집 시스템에 등록된 크리에이터들이 생성한 다양한 특수효과 및 특수효과가 영상 장면에 적용된 예를 나타낸 도면
도 8은 실시예에 따라 크리에이터들에 의해 생성된 특수효과가 영상 편집 서버를 통해 배포 또는 판매되는 UI 디스플레이 실시예를 나타낸 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a는 실시예에 따른 영상 편집 시스템을 나타낸 도면이다.
실시예에 따른 영상 편집 시스템은 영상 편집 서버(100), 컨텐츠 라이브러리(200), 디지털 디바이스(300), 및 소프트웨어 공유 플랫폼(400)을 포함하여 구성될 수 있다.
영상 편집 서버(100)는 본 개시의 실시예에서 제공하는 영상 편집 프로그램을 개인 PC, 스마트 폰 등을 포함하는 디지털 디바이스로 분산방식으로 제공한다. 디지털 디바이스(300)는 영상 편집 서버(100)로부터 편집 프로그램을 전달받아, 이를 이용하여 동영상 편집을 수행한다. 도 1a에 도시된 바와 같이, 본 개시에서 제공하는 영상 편집 프로그램은 영상을 구성하는 화면을 분석하여 분석 결과에 따라 배경, 소품, 자막, 표정, 마스크, 특수 효과 등을 포함하는 각종 특수효과를 자동으로 추출하고 추출된 특수효과를 장면의 최적 위치에 세팅하는 기능을 제공한다. 이로써, 사용자들은 스마트폰에서도 최적화된 UI를 이용하여 동영상을 구성하는 장면 각각의 컨텐츠에 매칭된 특수효과를 편리하게 추가하여 특수효과가 삽입된 편집 영상(a)을 생성할 수 있다.
컨텐츠 라이브러리(200)는 디지털 디바이스(300)로부터 사용자가 직접 생성한 창작물(특수효과)를 전달받아 저장하고, 이를 영상 편집 시스템에 등록된 사용자들에게 팔거나 무료로 배포될 수 있도록 한다. 도 1b는 창작물(특수효과) 생성 디스플레이 실시예를 나타낸 도면이다. 도 1b에 도시된 바와 같이, 영상 편집 시스템에 등록된 사용자 중 창작물(특수효과)를 창작할 수 있는 크리에이터는 소품, 얼굴 표정 등 특수효과에 포함되는 디지털 컨텐츠를 생성하여 이를 컨텐츠 라이브러리(200)를 통해 배포하여 수익을 창출을 할 수 있다.
도 2a는 실시예에 따른 영상 편집 서버의 대략적인 구성을 나타낸 블록도이다.
도 2a를 참조하면, 영상 편집 서버(100)는 데이터베이스(110), 추출모듈(130), 특수효과 조정 모듈(150) 및 디스플레이 모듈(170)을 포함하여 구성될 수 있다.
본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예컨대, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
데이터베이스(110)는 영상 편집 시스템에 등록하기 위해 요구되는 사용자의 개인정보 및 편집할 영상 컨텐츠, 영상 편집 데이터 등 본 개시에 따른 영상 편집 기능을 제공하기 위해 필요한 일련의 데이터를 저장한다. 예컨대, 영상 편집 데이터에는 얼굴, 마스트, 소품, 캐릭터, 배경, 특수효과 등 다양한 특수효과가 포함될 수 있다. 또한, 데이터베이스(110)에는 장면에 포함된 객체 세부정보에 따라 특수효과를 매칭하여 저장한다. 예컨대, 객체 세부정보가 웃는 표정인 경우에는 꽃, 스마일, 환한 배경 등의 특수효과를 매칭하고, 객체 세부정보가 화난 표정에는 뿔, 번개 등의 특수효과를 객체 세부정보에 각각 매칭하여 저장할 수 있다.
추출모듈(130)은 편집할 영상 컨텐츠를 구성하는 장면을 분석하여, 분석 결과에 따라 장면에 포함될 특수효과를 추출한다. 예컨대, 추출모듈은 장면에 포함된 객체의 윤곽선 및 에지 인식으로 객체 종류를 파악하고 그 결과에 따라 특수효과를 추출 할 수 있다. 또한 추출모듈(130)은 사용자가 선택한 특수효과 히스토리 정보 및 인식된 객체의 종류에 따라 장면 별 특수효과를 추천할 수 있다.
특수효과 조정 모듈(150)은 장면을 구성하는 객체의 크기와 종류에 따라 추출모듈(130)에서 추출된 특수효과의 장면에서의 세팅 위치를 검출하고, 세팅 위치에서 객체 크기에 따라 특수효과의 크기를 산출한다. 특수효과 조정모듈(150)은 장면에 x, y, z 축을 설정하고 좌표를 생성하여, 객체의 크기와 종류에 따라 추출된 특수효과의 크기와 위치를 최적화 함으로써, 편집된 영상 품질을 향상시킬 수 있다.
디스플레이모듈(170)은 특수효과 조정 모듈에 의해 세팅 위치와 크기가 조정된 특수효과를 반영한 장면을 디스플레이하고, 디스플레이 된 장면 중 하나를 선택 받아 저장하여, 장면에 최적화된 특수효과가 적용된 편집 영상을 생성할 수 있도록 한다. 또한, 실시예에서 영상 생성 서버(100)는 마스크, 자막, 이모티콘, 배경, 표정, 얼굴을 포함하는 특수효과를 구매하여 저장하는 아이템관리모듈(도면 미도시) 을 더 포함할 수 있다.
도 2b는 실시예에 따라 장면 컨텐츠에 따라 추출된 특수효과가 반영된 실시예를 나타낸 도면이다.
도 2b에 도시된 바와 같이, 실시예에서는 특정 표정과 특정 특수효과를 매칭하여 편집이 필요한 장면에서, 특정 표정이 인식되는 경우 이에 매칭된 특수효과가 반영되도록 한다. 예컨대, 장면에서 객체가 사람으로 인지되고, 사람 객체의 에지 및 윤곽선 검출로 사람 객체의 웃는 표정이 인식되는 경우 웃는 표정에 매칭된 특수효과가 반영되도록 한다. 또 다른 예로, 눈을 감거나 찡그린 표정이 검출된 경우, 각각의 표정에 매칭된 특수효과가 장면에 반영되도록 할 수 있다.
도 3a는 실시예에 따른 영상편집서버(100)의 보다 구체적인 구성을 나타낸 도면이다.
도 3a를 참조하면, 영상편집서버(100)의 추출모듈(130)은 객체인식부(131) 및 특수효과 추출부(133)를 포함하여 구성될 수 있고, 특수효과 조정모듈(150)은 위치 설정부(151) 및 크기 산출부(153)을 포함하여 구성될 수 있고, 디스플레이모듈(170)은 시뮬레이션부(171) 및 영상 생성부(173)를 포함하여 구성될 수 있다.
추출모듈(130)의 객체 인식부(131)는 장면에 포함된 객체의 크기와 종류를 인식하고 인식된 객체가 사람일 경우 인식된 사람의 표정, 동작을 포함하는 세부정보를 인식한다. 예컨대, 객체 인식부(131)는 객체의 윤곽선 및 에지 검출 이후 특징점을 추출하여 추출된 특징점을 기반으로 사람 객체의 표정 및 모션을 포함하는 객체 세부정보를 인식 할 수 있다.
특수효과 추출부(133)는 인식된 객체의 세부정보에 대응하는 장면 별 특수효과를 추출한다. 예컨대, 객체 인식부(131)에서 인식된 사람 객체의 표정이 우는 표정인 경우, 상기 표정에 미리 매칭된 눈물, 구름, 비, 우는 표정의 캐릭터 등 객체 세부정보에 매칭된 특수효과를 추출 할 수 있다. 또한, 특수효과 추출부(133)는 객체 세부정보와 사용자 별 특수효과 이용 히스토리를 반영하여 사용자가 선호하는 특수효과를 추천할 수 있다.
특수효과 조정모듈(150)의 위치 설정부(151)는 추출된 특수효과 및 객체의 세부정보에 따라 장면에서 특수효과가 반영될 최적 위치를 설정한다. 예컨대, 위치 설정부(150)는 객체의 세부정보와 특수효과의 크기 및 종류를 고려하여 특수효과가 반영될 최적 위치를 설정할 수 있다. 구체적으로, 위치 설정부(150)는 모자, 헤어스타일 등의 특수효과일 경우, 객체 머리부분의 에지와 윤곽선이 특수효과(모자, 헤어스타일)의 에지와 윤곽선에 겹쳐지도록 객체의 최적위치를 설정 할 수 있다.
크기 산출부(153)는 설정된 위치에서 객체의 크기 및 종류를 고려한 특수효과의 최적 크기를 산출한다. 예컨대, 크기 산출부(153)는 장면에 포함된 객체의 크기와 특수효과의 크기 및 객체와 특수효과 크기의 비율 등을 기반으로 적용될 특수효과의 최적 크기를 연산할 수 있다.
디스플레이모듈(170)의 시뮬레이션부(171)는 영상을 구성하는 각 장면에 반영된 특수효과를 시뮬레이션 한다. 특수효과 시뮬레이션 이후, 특수효과가 적용된 장면 중 하나를 선택 받아 저장한다. 영상 생성부(173)는 저장된 장면을 이용해 특수효과가 적용된 영상 컨텐츠를 생성한다.
도 3b는 특수효과 적용 실시예를 나타낸 도면이다.
도 3b의 (a)에 도시된 바와 같이, 영상 편집 서버의 추출모듈(130)에서는 영상을 구성하는 장면에 포함된 객체의 윤곽선과 에지를 인식하고 객체가 사람의 얼굴로 인식될 경우, 얼굴에서의 특징점추출을 통해 표정을 인식할 수 있다. 이후 (b)도시된 바와 같이, 인식된 표정에 매칭되는 특수효과를 추출하고, (c)에 도시된 바와 같이, 특수효과가 적용될 최적 위치를 설정한다. 예컨대, 실시예에서는 객체를 포함하는 장면과 객체의 위치를 3축(x, y, z축) 좌표화한 이후, 특수효과의 최적 위치를 설정 할 수 있다. 위치 설정 이후, (d)에 도시된 바와 같이 특수효과의 최적 크기를 도출하여 장면에 적용한다. 실시예에서와 같이 본 개시를 통해 장면에 포함된 객체가 사람인 경우, 사람의 표정을 인식하여 인식된 표정에 미리 매칭된 특수효과를 추출하고, 객체의 크기에 따라 특수효과의 크기와 위치를 최적으로 조정하여 적용함으로써, 배경, 마스킹, 소품 등을 포함하는 특수효과를 각각의 장면에 정교하게 반영하여 편집된 동영상 품질을 향상시킬 수 있다.
이하에서는 본 개시에 따른 영상 편집 방법에 대해서 차례로 설명한다. 이하 영상 편집 방법의 작용(기능)은 영상 편집 서버 및 시스템상의 기능과 본질적으로 같은 것이므로 도 1 내지 도 3b와 중복되는 설명은 생략하도록 한다.
도 4는 실시예에 따른 영상 편집 방법의 데이터 처리 흐름을 나타낸 흐름도이다.
S410 단계에서는 스마트 단말 등 디지털 디바이스로 편집할 영상 데이터를 업로드 한다.
S420 단계에서는 추출모듈(130)에서 편집할 동영상을 구성하는 장면을 분석한다. 예컨대, 장면에 포함된 객체를 인식하고 인식된 객체가 사람일 경우, 사람객체의 모션, 표정 등 객체 세부정보를 검출한다.
S430 단계에서 추출모듈(130)에서 세부정보 검출 결과에 따라 사람객체에 적용될 특수효과를 추출한다. 예컨대, 사람객체의 표정이 웃는 표정으로 검출된 경우, 스마일, 꽃 배경, 기분 좋음 등의 자막과 같은 특수효과가 추출될 수 있다. 추출되는 특수효과는 사람객체의 표정 및 모션에 따라 미리 매칭되어 저장될 수 있다. 또한, 사용자 별 특수효과 사용 히스토리에 따라 선호하는 특수효과가 추천될 수 있다.
S440 단계에서는 특수효과 조정모듈(150)에서 장면을 구성하는 객체의 크기와 종류에 따라 추출된 특수효과의 장면으로의 세팅 위치를 검출하고, 세팅 위치에서의 특수효과의 크기를 산출한다.
S450 단계에서는 세팅 위치에서 특수효과가 적용된 복수개의 장면이 디스플레이 되고, 디스플레이 된 장면 중 하나를 선택 받아 저장한다.
S460 단계에서는 특수효과가 적용된 저장된 장면들을 이용해 동영상을 생성한다.
도 5 내지 도 8은 본 개시에 따른 영상 편집 서버에 의해 제공되는 편집 과정 및 동영상 결과물의 디스플레이 실시예이다.
도 5 및 6은 실시예에 따른 특수효과 추출 및 적용 과정의 디스플레이 실시예를 나타낸 도면이다.
도 5의 (a), (b)에 도시된 바와 같이, 스마트폰 또는 개인 PC에서 편집할 영상 파일을 열면, 영상을 구성하는 장면에 포함된 객체가 3차원으로 디스플레이 된다. 이후, (c)에 도시된 바와 같이 디스플레이 된 객체의 윤곽선과 에지를 검출하고, 특징점(1,2)을 검출해 객체의 표정을 인식한다. 그러면, (d)에 도시된 바와 같이, 인식된 표정에 따라 객체에 적용 가능한 특수효과(1)가 추출되어 디스플레이 되고, 장면에서 좌표축을 설정하여 추출된 특수효과(1) 의 최적 위치를 검출한다.
도 6에 도시된 또 다른 실시예를 설명하면, 도 6의 (e) 부분에 도시된 바와 같이, 특정 특수효과(1)를 불러오는 경우, 특수효과(1)의 최적 위치를 검출하기 위해, (f)에 도시된 바와 같이 객체를 포함하는 장면에 좌표를 설정하여 객체와 특수효과 종류에 따라 적용될 최적 위치가 연산된다. 이후, (g)에 도시된 바와 같이, 특정 객체가 적용될 최적 위치가 검출되어 특수효과가 세팅 된다. 이후, (h)에 도시된 바와 같이, 특수효과의 크기를 조정하고 세팅 위치를 보다 미세하게 조정하여 특수효과 반영을 완료한다.
도 7은 실시예에 따른 영상 편집 시스템에 등록된 크리에이터들이 생성한 다양한 특수효과 및 특수효과가 영상 장면에 적용된 예를 나타낸 도면이다.
도 7에 도시된 바와 같이, 동영상에 특수효과로 부가되는 특수효과는 이미지, 마스크, 표정, 배경, 자막, 소품, 캐릭터 등으로 매우 다양하게 연출 될 수 있고 동영상을 구성하는 객체의 표정과 모션, 사용언어, 크기 등 객체 세부정보에 따라 적절한 특수효과가 자동으로 추천되어 장면에 반영될 수 있다.
도 8은 실시예에 따라 크리에이터들에 의해 생성된 특수효과가 영상 편집 서버를 통해 배포 또는 판매되는 UI 디스플레이 실시예를 나타낸 도면이다.
도 8에 도시된 바와 같이, 크리에이터들은 직접 특수효과를 생성해 이를 영상 편집 시스템에 등록된 사용자들에게 판매 할 수 있고, 사용자들은 여러 특수효과 중 자신이 사용할 특수효과를 구매하여 자신의 동영상 편집에 이용할 수 있다.
이상에서와 같은 영상 생성 장치 및 방법은, 동영상을 구성하는 장면에 포함된 객체를 분석하여 분석결과를 기반으로 객체 별로 알맞은 특수효과를 추출하고 특수효과의 위치와 크기를 자동 산출하여 장면에 반영함으로써, 동영상 편집을 보다 빠르고 쉽게 수행 할 수 있도록 한다. 아울러, 스마트 단말에서 최적화된 UI를 제공함으로써, 사용자가 자신의 스마트 단말에서도 편리하게 동영상을 편집할 수 있도록 한다. 또한, 자막, 효과, 배경, 표정, 마스크, 소품, 캐릭터, 그림 등 다양한 특수효과를 생성하여 라이브러리에 등록 하고는 경우 생성된 특수효과를 다른 사용자가 의해 구매하는 경우 수익을 창출할 수 있다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.
110: 데이터베이스
130: 추출모듈
150: 특수효과 조정모듈
170: 디스플레이모듈

Claims (10)

  1. 실시간 증강 합성 기술을 이용한 영상 생성 서버에 있어서,
    소셜 미디어 플랫폼에 등록된 사용자의 개인정보, 편집할 영상 컨텐츠 및 상기 영상 컨텐츠 편집에 부가되는 효과인 특수효과를 포함하는 영상 편집 데이터를 저장하고 표정을 포함하는 장면에 포함된 객체 세부정보에 매칭된 특수효과를 저장하는 데이터베이스;
    상기 사용자에 의해 등록된 영상 컨텐츠를 구성하는 장면에 포함된 객체를 인식하고, 표정을 포함하는 상기 객체의 세부정보를 인식하고 객체 세부정보가 웃는 표정인 경우, 상기 객체 세부정보에 매칭된 꽃, 스마일, 환한 배경을 포함하는 특수효과를 추출하고, 객체 세부정보가 화난 표정인 경우, 상기 객체 세부정보에 매칭된 뿔, 번개를 포함하는 상기 장면에 부가될 특수효과를 추출하는 추출모듈;
    상기 장면을 구성하는 객체의 크기와 종류에 따라 상기 추출된 특수효과의 상기 장면으로의 세팅 위치를 검출하고, 상기 세팅된 위치에서 객체 및 특수효과의 크기 및 종류와 특수효과와 객체의 크기 비율에 따라 특수효과가 적용될 크기를 산출하는 특수효과 조정 모듈;
    상기 특수효과 조정 모듈에 의해 세팅 위치와 크기가 조정된 상기 특수효과를 반영한 장면을 디스플레이하고, 디스플레이 된 장면 중 하나를 선택 받아 저장하고, 상기 선택된 장면으로 영상을 생성하는 디스플레이 모듈; 을 포함하는 영상 생성 서버.
  2. 제 1항에 있어서, 상기 추출모듈은
    상기 장면에 포함된 객체의 크기와 종류를 인식하고 인식된 객체가 사람일 경우 객체의 에지 및 윤곽선 검출을 통해 상기 인식된 사람의 표정, 동작을 포함하는 객체 세부정보를 인식하는 객체 인식부; 및
    상기 인식된 객체 세부정보에 매칭된 장면 별 특수효과를 추출하는 특수효과 추출부; 를 포함하는 것을 특징으로 하는 영상 생성 서버.
  3. 삭제
  4. 제 1항에 있어서, 상기 영상 생성 서버는
    마스크, 자막, 특수효과, 이모티콘, 배경, 표정, 얼굴을 포함하는 특수효과를 구매하여 저장하는 아이템관리모듈; 을 더 포함하는 것을 특징으로 하는 영상 생성 서버.
  5. 제 1항에 있어서, 상기 추출모듈은
    사용자에 의해 선택된 특수효과 히스토리 정보 및 인식된 객체의 종류와 객체 세부정보에 따라 장면 별 특수효과를 추천하는 것을 특징으로 하는 영상 생성 서버.
  6. 데이터 베이스, 추출모듈, 특수효과 조정 모듈, 디스플레이 모듈, 아이템 관리 모듈을 포함하는 영상 생성 장치에서의 영상 생성 방법에 있어서,
    (A) 상기 데이터베이스에 소셜 미디어 플랫폼에 등록된 사용자의 개인정보, 편집할 영상 컨텐츠, 표정을 포함하는 장면에 포함된 객체 세부정보에 매칭된 특수효과 및 상기 영상 컨텐츠 편집에 필요한 특수효과를 포함하는 영상 편집 데이터를 저장하는 단계;
    (B) 상기 아이템 관리 모듈에서 자막, 마스크, 특수효과, 이모티콘, 배경, 표정, 얼굴을 포함하는 특수효과를 구매하여 저장하는 단계;
    (C) 상기 추출모듈에서 사용자에 의해 등록된 영상 컨텐츠를 구성하는 장면에 포함된 객체를 인식하여 상기 장면에 부가될 특수효과를 추출하는 단계;
    (D) 상기 특수효과 조정모듈에서 장면을 구성하는 객체의 크기와 종류에 따라 상기 추출된 특수효과의 세팅 위치를 검출하고, 상기 세팅 위치에서의 상기 특수효과의 크기를 산출하는 단계; 및
    (E) 상기 디스플레이 모듈에서 상기 특수효과 조정 모듈에 의해 세팅 위치와 크기가 조정된 상기 특수효과를 반영한 복수개의 장면을 디스플레이하고, 디스플레이 된 장면 중 하나를 선택 받아 선택된 장면으로 동영상을 생성하는 단계; 를 포함하고
    상기 (C) 추출모듈에서 사용자에 의해 등록된 영상 컨텐츠를 구성하는 장면에 포함된 객체를 인식하여 상기 장면에 부가될 특수효과를 추출하는 단계;는
    상기 사용자에 의해 등록된 영상 컨텐츠를 구성하는 장면에 포함된 객체를 인식하고, 표정을 포함하는 상기 객체의 세부정보를 인식하는 단계;
    객체 세부정보가 웃는 표정인 경우, 상기 객체 세부정보에 매칭된 꽃, 스마일, 환한 배경을 포함하는 특수효과를 추출하고, 객체 세부정보가 화난 표정인 경우, 상기 객체 세부정보에 매칭된 뿔, 번개를 포함하는 상기 장면에 부가될 특수효과를 추출하는 단계; 를 포함하는 것을 특징으로 하는 영상 생성 방법.
  7. 제 6항에 있어서, 상기 (C) 장면에 부가될 특수효과를 추출하는 단계;는
    상기 장면에 포함된 객체의 윤곽선 및 에지를 검출하여 크기와 종류를 인식하는 단계;
    상기 인식된 객체가 사람일 경우 상기 인식된 객체의 특징점을 검출하여 사람의 표정, 동작을 포함하는 세부정보를 인식하는 단계; 및
    상기 인식된 객체의 세부정보에 매칭된 장면 별 특수효과를 추출하는 단계; 를 포함하는 것을 특징으로 하는 영상 생성 방법.
  8. 제 6항 또는 7항에 있어서, 상기 (C) 장면에 부가될 특수효과를 추출하는 단계; 는
    사용자가 선택한 특수효과 히스토리 정보 및 인식된 객체의 종류에 따라 장면 별 특수효과를 추천하는 것을 특징으로 하는 영상 생성 방법.
  9. 영상 생성 서버를 포함하는 실시간 증강 합성 기술을 이용한 영상 생성 시스템에 있어서,
    상기 영상 생성 서버로부터 영상 생성에 필요한 일련의 프로그램을 분산방식으로 전달받는 스마트 단말; 을 더 포함하고,
    상기 스마트 단말은 상기 영상 생성 서버를 통해 전달 받은 영상 생성 프로그램을 통해 영상을 구성하는 장면을 분석하여 분석 결과에 따라 장면 별 특수효과를 추출하고, 상기 장면에 포함된 객체의 종류와 크기에 따라 추출된 특수효과의 세팅 위치와 크기를 조정하여 상기 장면에 반영하고
    상기 영상 생성 서버는
    소셜 미디어 플랫폼에 등록된 사용자의 개인정보, 편집할 영상 컨텐츠 및 상기 영상 컨텐츠 편집에 부가되는 특수효과인 특수효과를 포함하는 영상 편집 데이터를 저장하는 데이터베이스;
    상기 사용자에 의해 등록된 영상 컨텐츠를 구성하는 장면에 포함된 객체를 인식하고, 상기 객체의 세부정보를 인식하고 상기 객체 세부정보에 매칭된 특수효과를 추출하는 추출모듈;
    상기 장면을 구성하는 객체의 크기와 종류에 따라 상기 추출된 특수효과의 상기 장면으로의 세팅 위치를 검출하고, 상기 세팅 위치에서 상기 특수효과의 크기를 산출하는 특수효과 조정 모듈; 및
    상기 특수효과 조정 모듈에 의해 세팅 위치와 크기가 조정된 상기 특수효과를 반영한 장면을 디스플레이하고, 디스플레이 된 장면 중 하나를 선택 받아 저장하고, 상기 선택된 장면으로 영상을 생성하는 디스플레이 모듈; 을 포함하고
    상기 추출모듈;은
    객체 세부정보가 웃는 표정인 경우, 상기 객체 세부정보에 매칭된 꽃, 스마일, 환한 배경 을 포함하는 특수효과를 추출하고, 객체 세부정보가 화난 표정인 경우, 상기 객체 세부정보에 매칭된 뿔, 번개를 포함하는 상기 장면에 부가될 특수효과를 추출하는 것을 특징으로 하는 영상 생성 시스템.
  10. 삭제
KR1020170078552A 2017-06-21 2017-06-21 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법 KR101894956B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170078552A KR101894956B1 (ko) 2017-06-21 2017-06-21 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법
JP2017144280A JP2019009754A (ja) 2017-06-21 2017-07-26 リアルタイム増強合成技術を用いた映像生成サーバ、映像生成システム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170078552A KR101894956B1 (ko) 2017-06-21 2017-06-21 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법

Publications (1)

Publication Number Publication Date
KR101894956B1 true KR101894956B1 (ko) 2018-10-24

Family

ID=64132135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170078552A KR101894956B1 (ko) 2017-06-21 2017-06-21 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법

Country Status (2)

Country Link
JP (1) JP2019009754A (ko)
KR (1) KR101894956B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148006B1 (ko) * 2019-04-30 2020-08-25 주식회사 카카오 동영상에 특수 이펙트를 제공하는 방법 및 장치
WO2020256403A1 (ko) * 2019-06-19 2020-12-24 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20210089114A (ko) * 2020-06-28 2021-07-15 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 라이브 방송의 특수 효과 처리 방법, 장치 및 서버
CN113709521A (zh) * 2021-09-18 2021-11-26 物芯智能科技有限公司 一种根据视频内容自动匹配背景的系统
WO2021259301A1 (zh) * 2020-06-24 2021-12-30 北京字节跳动网络技术有限公司 直播互动方法、装置、可读介质及电子设备
US20220116548A1 (en) * 2020-10-13 2022-04-14 Grass Valley Canada Virtualized production switcher and method for media production
WO2022158819A1 (en) * 2021-01-20 2022-07-28 Samsung Electronics Co., Ltd. Method and electronic device for determining motion saliency and video playback style in video

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783187B (zh) * 2019-04-03 2023-12-22 京灯(广东)信息科技有限公司 一种亮化共享平台应用系统
JP7374430B2 (ja) * 2019-07-26 2023-11-07 株式会社オレンジテクラボ 動画像処理装置、動画像処理方法及び動画像処理プログラム
CN111147766A (zh) * 2019-11-21 2020-05-12 深圳壹账通智能科技有限公司 特效视频合成方法、装置、计算机设备和存储介质
CN111246307B (zh) * 2020-01-16 2021-01-22 腾讯科技（深圳）有限公司 一种虚拟礼物生成的方法、相关装置、设备及存储介质
CN112544070A (zh) * 2020-03-02 2021-03-23 深圳市大疆创新科技有限公司 视频的处理方法和装置
CN113382275B (zh) * 2021-06-07 2023-03-07 广州博冠信息科技有限公司 直播数据的生成方法、装置、存储介质及电子设备
CN116113990A (zh) * 2021-07-27 2023-05-12 株式会社达纳娱乐 表情符号生成装置
KR102695008B1 (ko) * 2021-07-27 2024-08-13 주식회사 다날엔터테인먼트 이모티콘 생성 장치
CN113744135A (zh) * 2021-09-16 2021-12-03 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115002336A (zh) * 2021-11-30 2022-09-02 荣耀终端有限公司 视频信息的生成方法、电子设备及介质
CN115760553A (zh) * 2022-11-04 2023-03-07 北京字跳网络技术有限公司 特效处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111100A (ja) * 2001-09-26 2003-04-11 Sanyo Electric Co Ltd 画像合成方法および装置
JP2008135923A (ja) * 2006-11-28 2008-06-12 Taiwan Mukojo Kagi Kofun Yugenkoshi リアルタイムに相互作用する映像の制作方法、映像の制作装置、および映像の制作システム
KR101707707B1 (ko) * 2012-12-14 2017-02-16 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306342A (ja) * 2000-04-20 2001-11-02 Victor Co Of Japan Ltd ネットワークでのデジタルデータのエフェクト処理方法およびシステム、エフェクトサーバおよびユーザ端末とデジタルデータのエフェクト処理プログラムを記録した記録媒体、エフェクトサーバおよびユーザ端末における処理プログラムを記録した記録媒体
JP2004112112A (ja) * 2002-09-13 2004-04-08 Sony Corp 情報処理装置
JP4973098B2 (ja) * 2006-09-28 2012-07-11 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5099647B2 (ja) * 2009-11-11 2012-12-19 Ｎｅｃビッグローブ株式会社 動画画像処理システム、サーバ、動画画像の処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111100A (ja) * 2001-09-26 2003-04-11 Sanyo Electric Co Ltd 画像合成方法および装置
JP2008135923A (ja) * 2006-11-28 2008-06-12 Taiwan Mukojo Kagi Kofun Yugenkoshi リアルタイムに相互作用する映像の制作方法、映像の制作装置、および映像の制作システム
KR101707707B1 (ko) * 2012-12-14 2017-02-16 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148006B1 (ko) * 2019-04-30 2020-08-25 주식회사 카카오 동영상에 특수 이펙트를 제공하는 방법 및 장치
US11563902B2 (en) 2019-04-30 2023-01-24 Kakao Corp. Method and apparatus for providing special effects to video
WO2020256403A1 (ko) * 2019-06-19 2020-12-24 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11895354B2 (en) 2020-06-24 2024-02-06 Beijing Bytedance Network Technology Co., Ltd. Live broadcast interaction method and apparatus, and readable medium and electronic device
WO2021259301A1 (zh) * 2020-06-24 2021-12-30 北京字节跳动网络技术有限公司 直播互动方法、装置、可读介质及电子设备
KR20210089114A (ko) * 2020-06-28 2021-07-15 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 라이브 방송의 특수 효과 처리 방법, 장치 및 서버
KR102504459B1 (ko) * 2020-06-28 2023-02-27 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 라이브 방송의 특수 효과 처리 방법, 장치 및 서버
US11722727B2 (en) 2020-06-28 2023-08-08 Baidu Online Network Technology (Beijing) Co., Ltd. Special effect processing method and apparatus for live broadcasting, and server
US11871138B2 (en) * 2020-10-13 2024-01-09 Grass Valley Canada Virtualized production switcher and method for media production
US20220116548A1 (en) * 2020-10-13 2022-04-14 Grass Valley Canada Virtualized production switcher and method for media production
WO2022158819A1 (en) * 2021-01-20 2022-07-28 Samsung Electronics Co., Ltd. Method and electronic device for determining motion saliency and video playback style in video
CN113709521B (zh) * 2021-09-18 2023-08-29 物芯智能科技有限公司 一种根据视频内容自动匹配背景的系统
CN113709521A (zh) * 2021-09-18 2021-11-26 物芯智能科技有限公司 一种根据视频内容自动匹配背景的系统

Also Published As

Publication number Publication date
JP2019009754A (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
KR101894956B1 (ko) 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법
US11094131B2 (en) Augmented reality apparatus and method
CN109819313B (zh) 视频处理方法、装置及存储介质
US20210264139A1 (en) Creating videos with facial expressions
CN113287118A (zh) 用于面部再现的系统和方法
TWI605712B (zh) 互動式媒體系統
KR102546016B1 (ko) 개인화된 비디오를 제공하기 위한 시스템들 및 방법들
CN111986076A (zh) 图像处理方法及装置、互动式展示装置和电子设备
EP3912136A1 (en) Systems and methods for generating personalized videos with customized text messages
CN111722775A (zh) 图像处理方法、装置、设备及可读存储介质
US20200234483A1 (en) Systems and methods for generating personalized videos with customized text messages
CN112862558B (zh) 产品详情页面的生成方法和系统、数据处理方法
CN113542624A (zh) 生成商品对象讲解视频的方法及装置
US20180114546A1 (en) Employing live camera feeds to edit facial expressions
CN113806570A (zh) 图像生成方法和生成装置、电子设备和存储介质
CN113453027B (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN111462279B (zh) 图像显示方法、装置、设备及可读存储介质
CN112749357A (zh) 基于分享内容的交互方法、装置和计算机设备
Jikadra et al. Video calling with augmented reality using WebRTC API
US11962860B1 (en) Systems and methods for generating avatar reactions during a live video broadcast
US11943564B2 (en) Providing video appearance adjustments within a video communication system
KR102414925B1 (ko) 제품 간접 광고 표시 장치 및 방법
US20240195941A1 (en) Illumination Adjustment In Video Communications
WO2018018076A1 (en) Creating videos with facial expressions
KR102239877B1 (ko) 3차원 vr 콘텐츠 제작 시스템

Legal Events

Date Code Title Description
GRNT Written decision to grant