KR102346691B1 - 비디오 회의에서의 배경 수정 - Google Patents

비디오 회의에서의 배경 수정 Download PDF

Info

Publication number
KR102346691B1
KR102346691B1 KR1020207031217A KR20207031217A KR102346691B1 KR 102346691 B1 KR102346691 B1 KR 102346691B1 KR 1020207031217 A KR1020207031217 A KR 1020207031217A KR 20207031217 A KR20207031217 A KR 20207031217A KR 102346691 B1 KR102346691 B1 KR 102346691B1
Authority
KR
South Korea
Prior art keywords
video
background
image
modified
images
Prior art date
Application number
KR1020207031217A
Other languages
English (en)
Other versions
KR20200125775A (ko
Inventor
빅터 샤부로프
유리 모나스티르신
Original Assignee
아바타 머저 서브 Ii, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/661,367 external-priority patent/US9232189B2/en
Application filed by 아바타 머저 서브 Ii, 엘엘씨 filed Critical 아바타 머저 서브 Ii, 엘엘씨
Priority to KR1020217043153A priority Critical patent/KR102417043B1/ko
Publication of KR20200125775A publication Critical patent/KR20200125775A/ko
Application granted granted Critical
Publication of KR102346691B1 publication Critical patent/KR102346691B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G06K9/00228—
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G06K2009/4666—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

실시간 비디오 처리 방법들 및 시스템들은 비디오 회의에서 배경의 영상 품질을 수정하는 데 사용될 수 있다. 하나의 예시적인 방법은 영상들의 시퀀스를 포함하는 비디오를 수신하는 단계, 영상들의 하나 이상의 영상들에서의 적어도 하나의 관심 객체(예컨대, 얼굴)를 식별하는 단계, 적어도 하나의 관심 객체의 특징 참조점들을 검출하는 단계, 및 비디오에서의 적어도 하나의 관심 객체를 추적하는 단계를 포함한다. 추적하는 단계는 가상 얼굴 메시를 영상들의 하나 이상의 영상들에서의 적어도 하나의 관심 객체에 정렬시키는 단계를 포함할 수 있다. 가상 얼굴 메시에 기초하여 적어도 하나의 관심 객체를 각각의 영상으로부터 분리시키는 것에 의해 영상들에서 배경이 식별된다. 블러링하는 것, 해상도, 색상들, 또는 다른 파라미터들을 변경하는 것에 의해 영상들의 각각의 영상에서 배경이 이어서 수정된다.

Description

비디오 회의에서의 배경 수정{BACKGROUND MODIFICATION IN VIDEO CONFERENCING}
우선권 주장
본 출원은 2015년 3월 18일자로 출원된 미국 출원 제14/661,367호의 계속 출원인, 2016년 1월 4일자로 출원된 미국 출원 제14/987,514호의 우선권의 이익을 주장하며, 이 미국 출원들 각각은 이로써 참조에 의해 그 전체가 원용된다.
본 개시내용은 일반적으로 비디오 회의에 관한 것으로, 보다 상세하게는, 비디오에서 참가자들을 식별하고 추적하는 것에 기초하여 비디오 스트림에서 장면 배경을 수정하는 시스템들 및 방법들에 관한 것이다.
오늘날, 비디오 회의(video conferencing) 및 비디오 통화(videophone call)는 원거리에 걸쳐 양방향 비디오 및 오디오 통신을 수행하기 위한 보편화된 도구들이다. 이 기술은 고속 네트워킹 솔루션들의 출현, 저렴한 하드웨어 컴포넌트들, 및 셀룰러 네트워크들의 설치로 인해 급속도로 발전해 왔다. 전형적으로, 비디오 회의는 두 명 이상의 개인들이, 참가자들이 말하고 있는 동안 서로를 볼 수 있는 비디오 채팅 애플리케이션들과 같은, 각종의 소프트웨어 애플리케이션들을 사용하여 서로 통신할 수 있게 한다. 비디오 채팅은 범용 컴퓨터들, 모바일 디바이스들, 및 텔레비전 시스템들 상에서 다운로드가능 소프트웨어 애플리케이션들 또는 웹 서비스들로서 이용가능할 수 있다. 비디오 회의를 위한 전통적인 하드웨어 요구사항들은, 양측에서, 입력 오디오 모듈(예컨대, 마이크로폰), 입력 비디오 모듈(예컨대, 비디오 카메라), 출력 오디오 모듈(예컨대, 스피커들), 출력 비디오 모듈(예컨대, 디스플레이 또는 프로젝터), 그리고 입력 및 출력 모듈들을 서로 연관시키고, 오디오 및 비디오 스트림들을 압축 및 압축 해제하며, 통신 네트워크를 통해 데이터 링크(data linkage)를 개시 및 유지하는 컴퓨팅 디바이스를 포함한다.
수년 동안 비디오 회의 솔루션들이 존재했지만, 비디오 스트리밍에 있어서 문제들이 있을 수 있고, 혼잡한 네트워크들의 경우에 특히 그렇다. 특정의 네트워크에서의 서비스 품질(QoS)이 상당히 떨어질 때, 비디오 회의가 적시에 비디오를 전달하는 데 어려움을 겪을 수 있고, 이는 원하지 않는 중단 또는 오디오 및 비디오 품질의 상당한 열화를 야기할 수 있다. 그에 따라, 본 기술분야에서 비디오 회의 기술을 개선시킬 필요가 여전히 있다.
일반적으로, 본 개시내용은 개인들의 얼굴들을 추적하고 얼굴들과 연관된 영상 부분들을 갖는 비디오 스트림을 나머지 비디오 영상보다 더 높은 품질로 전송하는 비디오 회의 기술에 관한 것이다. 다양한 실시예들에서, 이 기술은 장면 배경(scene background)을 (예를 들어, 블러링(blurring)에 의해) 수정하는 것 및 얼굴들과 연관된 전경(foreground)을 원본 품질로 유지하는 것을 가능하게 한다. 궁극적으로, 이것은 비디오 회의를 위해 필요한 네트워크 요구사항들의 감소를 가져오는데, 그 이유는 수정된 비디오가 보다 낮은 데이터 레이트(data rate)를 갖기 때문이다. 네트워크 혼잡 상태들에 따라, 이 기술은 비디오 회의 솔루션들을 개선시키는 것, 비디오 스트리밍의 중단 횟수를 감소시키는 것, 및 비디오 스트리밍의 열화를 방지하는 것을 가능하게 한다.
본 기술의 일 양태에 따르면, 실시간 비디오 처리를 위한 컴퓨터 구현 방법이 제공된다. 본 방법은 영상들의 시퀀스를 포함하는 비디오를 수신하는 단계, 영상들의 하나 이상의 영상들에서의 적어도 하나의 관심 객체(object of interest)를 식별하는 단계, 적어도 하나의 관심 객체의 특징 참조점(feature reference point)들을 검출하는 단계, 및 비디오에서의 적어도 하나의 관심 객체를 추적하는 단계를 포함할 수 있다. 추적하는 단계는 가상 얼굴 메시(virtual face mesh)(간단함을 위해, 본원에서 "메시(mesh)"라고도 지칭됨)를 생성하는 단계 및/또는 특징 참조점들에 기초하여 메시를 영상들의 하나 이상의 영상들에서의 적어도 하나의 관심 객체에 정렬시키는 단계를 포함할 수 있다. 게다가, 본 방법은 메시에 기초하여 적어도 하나의 관심 객체를 각각의 영상으로부터 분리시키는 것에 의해 영상들의 하나 이상의 영상들에서 배경을 식별하는 단계, 수정된 배경을 생성하기 위해 영상들의 각각의 영상에서 배경을 수정하는 단계, 및 적어도 하나의 관심 객체 및 수정된 배경을 포함하는 수정된 비디오를 생성하는 단계를 계속한다.
일부 실시예들에서, 수정된 배경은 수정된 비디오에서 제1 영상 품질을 갖고, 적어도 하나의 관심 객체는 수정된 비디오에서 제2 영상 품질을 가지며, 여기서 제1 영상 품질은 제2 영상 품질보다 더 낮다.
특정 실시예들에서, 배경을 식별하는 단계는 메시와 연관된 픽셀들을 제외한 영상 부분을 선택하는 단계를 포함할 수 있다. 배경을 수정하는 단계는: 블러링하는 단계, 하나 이상의 배경 색상들을 변경하는 단계, 배경 해상도를 변경하는 단계, 비디오 도트 밀도(video dot density)를 변경하는 단계, 포스터라이제이션(posterizaion)을 변경하는 단계, 및 배경의 픽셀화(pixelization)를 변경하는 단계 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 배경을 수정하는 단계는 배경 또는 그의 일부분을 미리 결정된 영상으로 대체하는 단계를 포함할 수 있다.
일부 실시예들에서, 적어도 하나의 관심 객체는 사람 얼굴 이외의 개인의 적어도 일부분을 포함한다. 다른 실시예들에서, 적어도 하나의 관심 객체는 사람 얼굴을 포함한다.
특정 실시예들에서, 특징 참조점들은 얼굴 랜드마크(facial landmark)들을 포함할 수 있다. 특정 실시예들에서, 특징 참조점들은 눈썹의 수직 위치, 눈의 수직 위치, 눈의 폭, 눈의 높이, 눈의 이격 거리, 코의 수직 위치, 코가 치켜 올라감(nose pointing up), 입의 수직 위치, 입의 폭, 턱의 폭, 윗입술 올라감(upper lip raiser), 턱 처짐(jaw drop), 입술 오무림(lip stretcher), 왼쪽 눈썹 내려감(left brow lowerer), 오른쪽 눈썹 내려감(right brow lowerer), 입 꼬리 처짐(lip corner depressor), 및 바깥쪽 눈썹 올라감(outer brow raiser)을 나타내는 점들 중 적어도 하나이다.
다른 부가의 실시예들에 따르면, 본 방법은 배경을 압축하는 단계를 추가로 포함할 수 있다. 본 방법은 수정된 비디오를 통신 네트워크를 통해 전송하는 단계를 추가로 포함할 수 있다. 또 다른 실시예들에서, 본 방법은 비디오의 배경을 블러링하라는 요청을 수신하는 단계를 추가로 포함할 수 있다.
일부 실시예들에서, 본 방법은 통신 네트워크와 연관된 QoS를 모니터링하는 단계, 및 모니터링하는 단계에 기초하여, 비디오의 배경을 블러링하라는 요청을 생성하는 단계를 추가로 포함할 수 있다. 다른 실시예들에서, 본 방법은 통신 네트워크를 통해 비디오를 전송하는 것과 연관된 네트워크 파라미터를 동적으로 모니터링하는 단계, 및 네트워크 파라미터가 미리 결정된 문턱값 미만이면, 비디오의 배경을 블러링하라는 요청을 생성하는 단계, 또는 네트워크 파라미터가 미리 결정된 문턱값 초과이면, 블러링 없이 비디오를 전송하라는 요청을 생성하는 단계를 추가로 포함할 수 있다. 네트워크 파라미터는 비트 레이트 또는 네트워크 대역폭을 포함할 수 있다.
특정 실시예들에서, 배경을 수정하는 단계는 배경을 점진적으로 블러링하는 단계를 포함하고, 여기서 점진적 블러링의 정도는 네트워크 파라미터에 의존한다. 특정 실시예들에서, 적어도 하나의 관심 객체를 식별하는 단계는 영상들에 Viola-Jones 알고리즘을 적용하는 단계를 포함할 수 있다. 특징 참조점들을 검출하는 단계는 적어도 하나의 관심 객체와 연관된 영상들의 구역들에 능동적 형상 모델(Active Shape Model)(ASM) 알고리즘을 적용하는 단계를 포함할 수 있다.
특정 실시예들에서, 본 방법은: 통신 네트워크와 연관된 QoS에 관련된 값을 동적으로 결정하는 단계; 결정하는 단계에 기초하여, QoS와 연관된 값이 제1 미리 결정된 범위 내에 있으면, 비디오의 배경만을 블러링하라는 제1 요청을 생성하는 단계; QoS와 연관된 값이 제2 미리 결정된 범위 내에 있으면, 비디오의 배경 및 사용자 얼굴을 제외한 비디오의 다른 부분들을 블러링하라는 제2 요청을 생성하는 단계; 및 QoS와 연관된 값이 제3 미리 결정된 범위 내에 있으면, 배경을 블러링하라는 요청을 생성하지 않는 단계를 포함할 수 있다. 여기서, 제1 범위는 제2 범위 및 제3 범위와 상이하고, 제2 범위는 제3 범위 및 제1 범위와 상이하다.
또 다른 실시예들에서, 배경을 식별하는 단계는: 적어도 하나의 관심 객체와 연관된 이진 마스크(binary mask)를 형성하는 단계, 각각의 영상에서 이진 마스크를 메시에 정렬시키는 단계, 및 이진 마스크를 반전시키는 것에 의해 반전된 이진 마스크(inverted binary mask)를 생성하는 단계를 포함할 수 있다. 이진 마스크를 형성하는 단계는: 영상들의 각각의 영상에서의 복수의 영상 섹션들의 그레이 값 강도(gray value intensity)를 결정하는 단계 - 복수의 영상 섹션들은 메시와 연관되어 있음 -; 영상 섹션들의 각각의 영상 섹션의 그레이 값 강도를 참조값과 비교함으로써 관심 객체와 연관된 객체 픽셀(object pixel)들을 결정하는 단계; 이진 모폴로지컬 클로징 알고리즘(binary morphological closing algorithm)을 객체 픽셀들에 적용하는 단계; 및 원하지 않는 픽셀 집합체(pixel conglomerate)들을 메시로부터 제거하는 단계를 포함할 수 있다. 이진 마스크를 메시에 정렬시키는 단계는 메시를 참조 그리드(reference grid)에 투영함으로써 메시를 복수의 참조 그리드 셀(reference grid cell)들로 분리시키는 단계; 참조 그리드 셀들에 대응하는 메시 요소(mesh element)들을 연관시키는 단계; 및 메시 요소들에 대응하는 영상들의 각각의 영상의 픽셀들을 결정하는 단계를 포함할 수 있다.
일부 실시예들에서, 본 방법은 영상들의 하나 이상의 영상들에서의 적어도 하나의 관심 객체와 연관된 영상 부분들을 수정하는 단계를 추가로 포함할 수 있다. 적어도 하나의 관심 객체와 연관된 영상 부분들을 수정하는 단계는 특징 참조점들에 기초할 수 있다. 적어도 하나의 관심 객체와 연관된 영상 부분들을 수정하는 단계는 색상, 색조(color tone), 비율(proportion), 및 해상도 중 적어도 하나를 변경하는 단계를 포함할 수 있다.
일부 실시예들에서, 본 방법은 적어도 하나의 관심 객체 및 특징 참조점들을 식별하는 단계에 기초하여 머리의 위치를 결정하는 단계; 머리의 위치에 기초하여 신체의 위치를 결정하는 단계; 및 영상들의 시퀀스에 걸쳐 신체의 위치를 추적하는 단계를 포함할 수 있다. 배경 블러링 또는 수정은 신체의 위치에 기초할 수 있다. 예를 들어, 신체의 추적이 영상들에 기초하여 실현가능하지 않지만 사용자 얼굴의 추적이 영상들에 기초하여 실현가능하면, 배경 블러링은 신체 위치의 근사화에 기초할 수 있다.
본 기술의 다른 양태에 따르면, 시스템이 제공된다. 예시적인 시스템은 적어도 하나의 프로세서, 및 적어도 하나의 프로세서에 의해 구현될 때, 앞서 기술된 방법 단계들을 수행하게 하는 프로세서 실행가능 코드들을 저장하는 메모리를 포함하는 컴퓨팅 디바이스를 포함한다.
본 기술의 다른 양태에 따르면, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 앞서 기술된 방법 단계들을 구현하게 하는 명령어들을 저장하고 있는 비일시적 프로세서 판독가능 매체가 제공된다.
부가의 목적들, 장점들, 및 신규 특징들이 일부는 이하의 상세한 설명에 기재될 것이고, 일부는 이하의 상세한 설명 및 첨부 도면들을 살펴볼 때 본 기술분야의 통상의 기술자에게 명백하게 될 것이며, 또는 예시적인 실시예들의 제조 또는 작동에 의해 알게 될 수 있다. 개념들의 목적들 및 장점들은 첨부된 청구항들에 특별히 언급된 방법들, 수단들, 및 조합들에 의해 실현되고 달성될 수 있다.
유사한 참조들이 유사한 요소들을 가리키고 있는 첨부 도면들의 도면들에, 실시예들이 제한이 아닌 예로서 예시되어 있다.
도 1a는 제1 예시적인 시스템 환경의 상위 레벨 블록도.
도 1b는 제2 예시적인 시스템 환경의 상위 레벨 블록도.
도 2는 제3 예시적인 시스템 환경의 상위 레벨 블록도.
도 3은 제4 예시적인 시스템 환경의 상위 레벨 블록도.
도 4는 본원에 기술되는 비디오 처리 방법들을 구현하기에 적당한 예시적인 시스템을 예시한 상위 레벨 블록도.
도 5는 다수의 랜드마크들(특징 참조점들)을 갖는 얼굴의 예시적인 영상을 나타낸 도면.
도 6은 CANDIDE-3 모델에 대응하는 예시적인 메시를 나타낸 도면.
도 7a는 예시적인 평균 얼굴(mean face)을 나타낸 도면.
도 7b는 도 8에 예시된 메시의 현재 상태 하에서의 예시적인 관측을 나타낸 도면.
도 8은 얼굴 및 얼굴에 정렬된 메시를 갖는 예시적인 영상을 나타낸 도면.
도 9는 실시간 비디오 처리를 위한 제1 예시적인 방법을 나타낸 프로세스 흐름도.
도 10은 실시간 비디오 처리를 위한 제2 예시적인 방법(900)을 나타낸 프로세스 흐름도.
도 11a는 일 예시적인 실시예에 따른 비디오 회의 참가자의 얼굴을 포함하는 원본 비디오 영상을 나타낸 도면.
도 11b는 일 예시적인 실시예에 따른 본원에 기술되는 바와 같은 비디오 처리 방법들을 사용하여 수정된 비디오 영상을 나타낸 도면.
이하의 상세한 설명은 상세한 설명의 일부를 형성하는 첨부 도면들에 대한 참조들을 포함한다. 도면들은 예시적인 실시예들에 따른 예시들을 나타내고 있다. 본원에서 "예들"이라고도 지칭되는 이 예시적인 실시예들이 본 기술분야의 통상의 기술자가 본 발명 요지를 실시할 수 있게 하기 위해 충분히 상세하게 기술된다.
실시예들이 결합될 수 있거나, 다른 실시예들이 이용될 수 있거나, 청구된 것의 범주를 벗어나지 않고 구조적, 논리적 및 동작적 변경들이 이루어질 수 있다. 따라서, 이하의 상세한 설명은 제한적인 의미로 해석되어서는 안되며, 범주는 첨부된 청구항들 및 그 등가물들에 의해 한정된다.
본 교시내용은 각종의 기술들을 사용하여 구현될 수 있다. 예를 들어, 본원에 기술되는 방법들은 컴퓨터 시스템 상에서 실행되는 소프트웨어로 또는 마이크로프로세서들 또는 다른 특수 설계된 ASIC(application-specific integrated circuit)들, 프로그램가능 로직 디바이스들, 또는 이들의 다양한 조합들의 조합을 이용하는 하드웨어로 구현될 수 있다. 상세하게는, 본원에 기술되는 방법들은 디스크 드라이브 또는 컴퓨터 판독가능 매체와 같은 일시적 또는 비일시적 저장 매체 상에 존재하는 일련의 컴퓨터 실행가능 명령어들에 의해 구현될 수 있다. 본원에 개시되는 방법들이 서버, 네트워크 디바이스, 범용 컴퓨터(예컨대, 데스크톱 컴퓨터, 태블릿 컴퓨터, 랩톱 컴퓨터), 게임 콘솔, 핸드헬드 게임 디바이스, 셀룰러폰, 스마트폰, 텔레비전 시스템, 차량용 컴퓨팅 디바이스(in-vehicle computing device) 등에 의해 구현될 수 있다는 것에 유의해야 한다.
1. 서론
본 기술은 캡처된 비디오 영상들에 제시된 개인들의 얼굴들을 식별하고 추적하는 것, 및 얼굴들 이외의 비디오 영상들의 부분들이 보다 낮은 품질을 갖도록 비디오를 수정하는 것을 가능하게 하는 비디오 회의 방법들 및 시스템들을 제공한다. 이것은 장면 배경을 블러링하는 것에 의해 달성될 수 있지만, 배경 해상도를 낮추거나 배경을 압축하는 것과 같은 다른 프로세스들이 또한 사용될 수 있다.
"비디오 회의"라는 용어는, 본원에서 사용되는 바와 같이, 두 명 이상의 사람들이 동시적인 양방향 비디오 및 오디오 전송들에 의해 통신할 수 있게 하는 원격통신 기술(telecommunication technology)을 지칭한다. 비디오 전송들은 비디오 프레임들이라고도 하는 복수의 비디오 영상들을 전달하는 것을 포함한다. 본 개시내용에서, "비디오 회의"라는 용어는, 그 중에서도 특히, "비디오 통화(videophone calling)", "비디오 전화(videotelephony)", "비디오 원격회의(video teleconferencing)" 및 "비디오 채팅"을 비롯한 다른 유사한 용어들을 포괄한다.
본 기술은 궁극적으로 혼잡 네트워크 환경들에서, 특히 네트워크 QoS가 일시적으로 또는 영구적으로 감소될 때, 비디오 회의 경험을 개선시키는 데 도움을 준다. 본 기술은 또한 비디오 회의에서의 중단 횟수를 줄이는 것은 물론 장면 배경을 어둡게 하여 프라이버시를 보호하는 것을 가능하게 한다.
이하에서 상세히 논의되는 바와 같이, 이 기술의 핵심 요소는 비디오 영상들에서 배경을 찾아내고 추적하는 것, 그리고 배경을 그래픽적으로(예컨대, 블러링에 의해) 변경하는 것에 의해, 또는 배경의 해상도, 비디오 도트 밀도, 컬러 밴딩(color banding)을 감소시킴으로써 배경의 품질을 변경하는 것에 의해, 또는 선택적으로 압축하는 것, 포스터라이제이션을 변경하는 것, 픽셀화를 변경하는 것, 스무딩하는 것(smoothing) 등에 의해 배경을 추가로 수정하는 것이다. 일부 실시예들에서, 배경은 로컬 메모리에 저장되어 있거나 비디오 회의 참가자에 의해 선택될 수 있는 미리 결정된 영상으로 완전히 대체될 수 있다. 원격회의 중에, 장면 배경은 전형적으로 개인의 움직임들로 인해 하나의 비디오 프레임으로부터 다른 비디오 프레임으로 바뀐다. 따라서, 각각의 비디오 프레임에 대한 배경을 정확하게 식별하는 것이 이 기술에서 중요한 요소들 중 하나이다.
본 개시내용의 다양한 실시예들에 따르면, (a) 비디오 영상들에서 개인들을 식별하는 것 및 (b) 식별된 개인들 이외의 영상 구역 전체를 고려하는 것을 통해 각각의 비디오 프레임에 대한 장면 배경들이 식별될 수 있다. 개인들은 각종의 비디오 처리 알고리즘들을 사용하여 식별되고 추적될 수 있다. 예를 들어, 비디오 영상들에서 얼굴을 찾아내는 것을 목표로 하는 Viola-Jones 알고리즘과 얼굴과 연관된 특징 참조점들을 검출하도록 설계된 ASM 알고리즘의 조합을 사용하여 개개의 얼굴들이 식별될 수 있다. 얼굴들이 찾아내어지면, 특징 참조점들에 기초한 메시가 생성되고 비디오 영상들에서의 개인들에 정렬될 수 있다. 게다가, 메시를 제외한, 비디오 영상 구역 전체를 선택하는 것은 장면 배경을 구성한다. 게다가, 장면 배경의 영상 품질이 얼굴들에 비해 감소되도록 - 이는 궁극적으로 데이터 레이트 저하를 가져옴 -, 배경이, 블러링하는 것, 스무딩하는 것, 해상도를 변경하는 것, 및 비디오 도트 밀도(즉, DPI(dots per inch))를 감소시키는 것과 같은, 임의의 의도된 방식으로 수정될 수 있다. 배경이 또한 미리 결정된 영상으로 대체될 수 있다. 일부 실시예들에서, 찾아낸 전경 또는 개인들의 얼굴들이 또한 그래픽적으로 수정할 수 있다. 예를 들어, 전경 또는 개인들의 얼굴들이 스무딩 또는 샤프닝(sharpen)될 수 있거나, 그들의 색상들이 변경될 수 있거나, 임의의 다른 수정들이 행해질 수 있다.
이 비디오 처리는, 본원에 기술되는 바와 같이, 비디오 스트림에 대해 실시간으로 구현될 수 있거나, 이전에 저장된 비디오 파일에 적용될 수 있다(프로그레시브 다운로드(progressive download) 솔루션들을 포함함). 더욱이, 일부 실시예들에서는, 비디오 처리가 각각의 비디오 영상에 개별적으로 적용되는 반면, 다른 실시예에서는, 비디오 처리가 비디오 전체에 적용될 수 있다. 또한 비디오 처리 단계들이, 특정의 시스템 아키텍처에 따라, 클라이언트측 또는 서버측 중 어느 하나에서 또는 둘 다에서 구현될 수 있다는 것에 유의해야 한다.
본 개시내용의 다양한 실시예들에 따르면, 배경 수정은 사용자 요청에 응답하여, 또는 미리 결정된 이벤트의 검출에 응답하여 개시될 수 있다. 예를 들어, 이 기술은, QoS, 비트 레이트, 또는 네트워크 대역폭과 같은, 하나 이상의 네트워크 파라미터들을 동적으로 모니터링할 수 있다. 이 파라미터들 중 하나가 미리 결정된 문턱값 아래로 떨어질 때, 비디오 스트리밍과 연관된 데이터 레이트를 감소시키기 위해 배경 수정이 개시될 수 있다.
일부 실시예들에서, 배경 수정의 정도는 현재 네트워크 파라미터들에 의존할 수 있다. 예를 들어, 네트워크의 상태가 나쁠수록, 배경의 품질이 낮아지고, 그 반대도 마찬가지이다. 환언하면, 배경 블러링, 스무딩, 해상도, 및 압축의 정도는 현재 네트워크 파라미터들에 의존할 수 있다. 주목할 만한 점은, 이 시나리오에서, 네트워크 상태들이 개선될 때, 배경 수정의 정도가 낮춰질 수 있거나, 배경이 전혀 수정되지 않은 채로 유지될 수 있다. 부가의 실시예들에서, 전경 수정(필요할 때)의 정도가 또한 현재 네트워크 파라미터들에 의존할 수 있다.
본 개시내용의 또 다른 실시예들에서, 배경의 수정은 다수의 단계들을 포함할 수 있다. 예를 들어, 배경 블러링에 부가하여, 배경 해상도가 변경될 수 있다. 대안적으로, 배경이 블러링된 후에, 배경이 또한 압축될 수 있다. 다른 예들에서, 블러링 이후에, 프로세스들 중에서도 특히, 배경이 또한 픽셀화(pixelate)될 수 있거나 그의 색상이 변경될 수 있다. 배경 수정 절차들의 임의의 조합이 2개, 3개 또는 그 이상의 개별 프로세스들을 포함할 수 있다는 것을 잘 알 것이다.
또한, 본 기술이 또한 식별된 개인들에 관련된 비디오 영상들의 부분들을 수정할 수 있다는 것에 유의해야 한다. 예를 들어, 개개의 얼굴들의 색상 파라미터들, 형상, 또는 비율들이 임의의 원하는 방식으로 수정될 수 있다. 또 다른 예에서, 개개의 얼굴들이 미리 결정된 영상들 또는 마스크들로 대체될 수 있다. 또 다른 예들에서, 개개의 얼굴들에 관련된 비디오 영상들의 부분들이 스무딩될 수 있다.
2. 컴퓨팅 환경
일반적으로, 비디오 회의는 클라이언트측, 서버측, 또는 둘 다에서 실행되는 하나 이상의 소프트웨어 애플리케이션들을 사용하여 구현될 수 있다. 일부 실시예들에서, 비디오 회의는 웹 서비스로서 또는 "클라우드" 솔루션으로서 구현될 수 있으며, 이는 비디오 회의가 웹사이트 또는 웹 인터페이스를 통해 회의 참가자들에게 이용가능하다는 것을 의미한다.
도 1a는 본 기술을 실시하는 데 적당한 제1 예시적인 "피어-투-피어(peer-to-peer)" 시스템 환경(100A)의 상위 레벨 블록도를 도시하고 있다. 이 도면에 도시된 바와 같이, 각각이 상이한 위치들에 있는 개별 개인들에 속하는, 적어도 2개의 클라이언트 디바이스들(110)이 있다. 클라이언트 디바이스들(110)은 사용자 디바이스, 단말, 컴퓨팅 디바이스(예컨대, 랩톱 컴퓨터, 태블릿 컴퓨터, 데스크톱 컴퓨터), 셀룰러폰, 스마트폰, PDA(personal digital assistant), 게임 콘솔, 리모콘, 멀티미디어 시스템, 텔레비전 시스템, 셋톱 박스, 인포테인먼트 시스템, 차량용 컴퓨팅 디바이스, 정보 키오스크 등을 지칭하지만, 이들로 제한되지는 않는다.
클라이언트 디바이스들(110) 각각은 비디오 채팅 애플리케이션(120)을 갖는다. 비디오 채팅 애플리케이션들(120)은 일반적으로, 본원에 기술되는 바와 같이, 제1 사용자와 제2 사용자 간의 비디오 회의를 가능하게 하고 비디오 처리를 제공하도록 구성된다. 이 목적들을 위해, 각각의 비디오 채팅 애플리케이션(120)은, 비디오의 데이터 레이트를 감소시키기 위해 비디오 영상들의 각각의 영상에서 배경 장면을 수정하도록 구성된, 비디오 처리 모듈(130)을 포함한다. 수정은 블러링하는 것, 압축하는 것, 해상도, 픽실레이션, 비디오 도트 밀도, 컬러 밴딩, 포스터라이제이션, 또는 픽셀화를 변경하는 것 등을 포함할 수 있다. 수정의 정도는 임의로 현재 네트워크 파라미터들에 의존할 수 있다. 비디오 채팅 애플리케이션들(120)은 소프트웨어, 미들웨어, 또는 펌웨어로서 구현될 수 있고, 개별 애플리케이션들일 수 있거나, 보다 큰 소프트웨어 애플리케이션들의 일부를 구성할 수 있다.
도면에 도시된 바와 같이 클라이언트 디바이스들(110)이 P2P(peer-to-peer) 네트워크에 연결되어, 그들이 서로 직접 비디오 원격회의를 할 수 있게 한다. 노드들 간의 데이터는, 예를 들어, TCP/IP(Transmission Control Protocol/Internet Protocol) 네트워크 통신 표준들을 사용하여 직접 교환될 수 있다. 일부 실시예들에서, P2P 네트워크는 2개 초과의 클라이언트 디바이스들(110)을 포함할 수 있다.
도 1b는 본 기술을 실시하는 데 적당한 제2 예시적인 시스템 환경(100B)의 상위 레벨 블록도를 도시하고 있다. 이 도면에 도시된 바와 같이, 클라이언트 디바이스들(110) 간의 통신은 통신 네트워크(140)를 통해 수행된다. 다양한 실시예들에서, 통신 네트워크(140)는 인터넷, 인트라넷, 셀룰러 네트워크, 근거리 네트워크, 원거리 네트워크, IEEE(Institute of Electrical and Electronics Engineers) 802.11 기반 네트워크, 블루투스 무선, 기타 중 하나 이상을 포함할 수 있다. 상기와 유사하게, 클라이언트 디바이스들(110) 간의 비디오 원격회의는, 예를 들어, TCP/IP 네트워크 통신 표준들을 사용하여 구현될 수 있다.
도 2는 본 기술을 실시하는 데 적당한 제3 예시적인 시스템 환경(200)의 상위 레벨 블록도를 도시하고 있다. 이 실시예에서, 비디오 처리 모듈(130)을 포함하는 서버(210)가 제공되는 반면, 클라이언트 디바이스들(110) 상의 비디오 채팅 애플리케이션들(120)이 비디오 처리 모듈(130)을 갖지 않는다. 그에 따라, 본원에 기술되는 바와 같은 배경 수정 및 다른 비디오 처리 방법들이 서버(210) 상에서 구현된다. 비디오 채팅 애플리케이션들(120)과 비디오 처리 모듈(130) 사이의 통신은 API(application programming interface) 코드들의 사용을 포함할 수 있다.
일부 실시예들에서, 클라이언트 디바이스들(110)이 오디오 및 비디오 캡처, 오디오 및 비디오 전달, 그리고 데이터 전송을 담당하도록, 클라이언트 디바이스들(110) 사이의 비디오 스트리밍은 서버(210)를 통해 이루어질 수 있다. 다른 실시예들에서, 서버(210)는 배경 수정만을 제공하는 반면, 클라이언트 디바이스들(110)은 나머지 통신 작업들을 구현한다.
도 3은 본 기술을 실시하는 데 적당한 제4 예시적인 시스템 환경(300)의 상위 레벨 블록도를 도시하고 있다. 이 예에서, 클라이언트 디바이스들(110)은 웹 브라우저들만 포함함으로써, 사용자들이 웹 호스팅 서버(310)에 의해 호스팅되는 미리 결정된 웹사이트를 방문할 수 있게 한다. 비디오 채팅 애플리케이션(120)은, 이 실시예에서, 서버(210)에 위치되고, 웹 호스팅 서버(310)에 의해 호스팅되는 웹사이트와 연관된 웹 서비스로서 구현된다. 따라서, 비디오 처리 및 배경 수정은, 본원에 기술되는 바와 같이, 완전히 서버측에서 수행된다.
3. 시스템 아키텍처 및 프로세스 개요
도 4는 본원에 기술되는 비디오 처리 방법들을 구현하기에 적당한 예시적인 시스템(400)을 예시한 상위 레벨 블록도이다. 상세하게는, 시스템(400)은 예시적인 클라이언트 디바이스(110)를 지칭한다. 시스템(400)의 모든 컴포넌트들이 로직 요소(logic element)들, 하드웨어 컴포넌트들, 소프트웨어(펌웨어) 컴포넌트들, 가상 컴포넌트들, 또는 이들의 조합을 포함할 수 있다는 것에 유의해야 한다. 시스템(400)은, 범용 컴퓨터, 네트워크 디바이스, 서버, 웹 서비스, 아파치 서버, 클라우드 컴퓨팅 서비스 등과 같은, 다양한 유형들의 디바이스들 및 시스템들 중 하나 이상의 통합된 부분을 포함하거나, 그에 관련되거나, 그를 구성할 수 있다. 게다가, 도 4에 도시된 모든 모듈들은 임의의 적당한 유선(wired), 와이어리스(wireless), 무선(radio), 전기, 또는 광학 표준들을 사용하여 동작가능하게 결합될 수 있다.
이 도면에 도시된 바와 같이, 시스템(400)은 다음과 같은 하드웨어 컴포넌트들: 적어도 하나의 프로세서(402), 메모리(404), 적어도 하나의 저장 디바이스(406), 적어도 하나의 입력 모듈(408), 적어도 하나의 출력 모듈(410), 및 네트워크 인터페이스(412)를 포함한다. 시스템(400)은 또한 임의적인 운영 체제(414) 및 비디오 채팅 애플리케이션(416)을 포함한다.
다양한 실시예들에서, 프로세서(402)는 기능을 구현하도록 그리고/또는 시스템(400) 내에서 실행하기 위한 명령어들을 처리하도록 구성된다. 예를 들어, 프로세서(402)는 메모리(404)에 저장된 명령어들 및/또는 저장 디바이스들(406)에 저장된 명령어들을 처리할 수 있다. 이러한 명령어들은 운영 체제(410) 및 비디오 채팅 애플리케이션(416)의 컴포넌트들을 포함할 수 있다. 시스템(400)은, 연산 작업(operational task)들을 서로 공유할 수 있는, 중앙 처리 유닛(CPU) 및 그래픽 처리 유닛(GPU)과 같은, 다수의 프로세서들(402)을 포함할 수 있다.
메모리(404)는 정보를 동작 중에 시스템(400) 내에 저장하도록 구성된다. 메모리(404)는, 일부 예시적인 실시예들에서, 비일시적 컴퓨터 판독가능 저장 매체 또는 컴퓨터 판독가능 저장 디바이스를 지칭한다. 일부 예들에서, 메모리(404)는 임시 메모리(temporary memory)이며, 이는 메모리(404)의 주요 목적이 장기 저장(long-term storage)이 아닐 수 있다는 것을 의미한다. 메모리(404)는 또한 휘발성 메모리를 지칭할 수 있으며, 이는 메모리(404)가 전력을 받지 않을 때 메모리(404)가 저장된 내용을 유지하지 않는다는 것을 의미한다. 휘발성 메모리들의 예들은 RAM(random access memory)들, DRAM(dynamic random access memory)들, SRAM(static random access memory)들, 및 본 기술분야에 공지된 다른 형태들의 휘발성 메모리들을 포함한다. 일부 예들에서, 메모리(404)는 프로세서(402)에 의해 실행하기 위한 프로그램 명령어들을 저장하는 데 사용된다. 메모리(404)는 또한 프로그램 실행 동안 정보를 일시적으로 저장하는 데 사용될 수 있다.
저장 디바이스(406)는 하나 이상의 일시적 또는 비일시적 컴퓨터 판독가능 저장 매체들 및/또는 컴퓨터 판독가능 저장 디바이스들을 포함할 수 있다. 일부 실시예들에서, 저장 디바이스(406)는 메모리(404)보다 더 많은 양의 정보를 저장하도록 구성될 수 있다. 저장 디바이스(406)는 정보의 장기 저장을 위해 추가로 구성될 수 있다. 일부 예들에서, 저장 디바이스(406)는 비휘발성 저장 요소들을 포함한다. 이러한 비휘발성 저장 요소들의 예들은 자기 하드 디스크들, 광학 디스크들, 솔리드 스테이트 디스크(solid-state disc)들, 플래시 메모리들, 여러 형태들의 EPROM(electrically programmable memory)들 또는 EEPROM(electrically erasable and programmable memory)들, 및 본 기술분야에 공지된 다른 형태들의 비휘발성 메모리들을 포함한다.
도 4를 여전히 참조하면, 시스템(400)은 사용자 입력들을 수신하기 위한 하나 이상의 입력 모듈들(408) 및 데이터를 사용자에게 전달하기 위한 하나 이상의 출력 모듈들(410)을 포함한다. 입력 모듈들(408)은 키보드, 트랙볼, 터치스크린, 마이크로폰, 비디오 카메라 또는 웹 카메라 등을 포함할 수 있다. 출력 모듈들(410)은, 디스플레이들, 모니터들, 프린터들, 터치스크린들, 스피커들 등을 비롯한, 비주얼(visual) 또는 오디오(audio) 채널들을 통해 데이터를 전달하기 위한 임의의 적절한 디바이스를 포함할 수 있다.
시스템(400)은 하나 이상의 통신 네트워크들(140)을 통해 외부 디바이스들, 서버들, 및 네트워크 시스템들과 통신하도록 구성된 네트워크 인터페이스(412)를 추가로 포함한다. 네트워크 인터페이스(412)는, 이더넷 카드, 광학 송수신기, 무선 주파수 송수신기, 또는 정보를 송신 및 수신할 수 있는 임의의 다른 유형의 디바이스와 같은, 네트워크 인터페이스 카드일 수 있다. 이러한 네트워크 인터페이스들의 다른 예들은 Bluetooth®, 3G(Third Generation), 4G(Fourth Generation), LTE(Long-Term Evolution), 및 WiFi® 무선들을 포함할 수 있다. 일부 실시예들에서, 네트워크 인터페이스(412)는 또한, 그 중에서도 특히, QoS, 비트 레이트, 네트워크 대역폭과 같은 다양한 네트워크 파라미터들을 측정하도록 구성될 수 있다.
운영 체제(414)는 시스템(400) 또는 그의 컴포넌트들의 하나 이상의 기능들을 제어할 수 있다. 예를 들어, 운영 체제 (414)는 비디오 채팅 애플리케이션(416)과 상호작용할 수 있고, 비디오 채팅 애플리케이션(416)과 프로세서(402), 메모리(404), 저장 디바이스(406), 입력 모듈들(408), 출력 모듈들(410), 및/또는 네트워크 인터페이스(412) 사이의 상호작용들을 추가로 용이하게 할 수 있다. 비디오 채팅 애플리케이션(416)은 다른 클라이언트 디바이스와의 양방향 오디오 및 비디오 통신을 구현하는 것에 의해 비디오 회의 서비스들을 제공하도록 구성된다. 비디오 채팅 애플리케이션(416)은 또한, 본원에 기술되는 바와 같이, 배경 블러링과 같은, 비디오 처리 방법들을 구현하도록 구성된다.
그에 따라, 도 4는 다음과 같이 동작할 수 있는 전형적인 비디오 회의 시스템을 도시하고 있다. 예를 들어, 비디오 영상들이 카메라(입력 모듈(408))로부터 비디오 채팅 애플리케이션(416)에 그리고 이어서 장면 배경을 블러링하기 위해 비디오 처리 모듈(418)에 입력된다. 게다가, 블러링된 배경(즉, 수정된 비디오)을 갖는 비디오 영상들이 인코더/디코더(420)에 의해 인코딩되고 네트워크 인터페이스(412)를 통해 다른 비디오 회의 참가자들에게 전송될 수 있다. 수신측 참가자들은, 유사한 시스템들(400)을 사용하여, 수정된 비디오를 네트워크 인터페이스(412)를 통해 수신하고, 이를, 배경이 블러링된 비디오를 복원하여 그들의 디스플레이들(출력 모듈(410)) 상에 디스플레이하기 위해, 인코더/디코더(420)를 사용해 디코딩한다.
4. 얼굴 검출
앞서 제공된 바와 같이, 본 비디오 처리 방법들은, 배경 블러링 처리와 같은, 비디오 영상 배경의 수정을 가능하게 한다. 그렇지만, 배경이 그래픽적으로 수정되기 전에, 배경이 식별되어야 한다. 이 목적들을 위해, 본 기술은 개인들의 식별에 그리고, 보다 구체적으로는, 비디오 영상들에 제시된 개개의 얼굴들에 초점을 맞추고 있다. 개개의 얼굴들이 식별되면, 식별된 개개의 얼굴들과 연관된 영상 부분을 제외한 영상 영역들의 선택에 기초하여 비디오 배경이 용이하게 결정될 수 있다. 따라서, 얼굴 식별 프로세스는 본 기술에서 가장 중요한 단계들 중 하나이다.
본 개시내용의 다양한 실시예들에 따르면, 영상에서의 얼굴은 Viola-Jones 알고리즘 및 ASM 알고리즘을 적용하여 식별될 수 있다. 상세하게는, Viola-Jones 알고리즘은 영상에서 얼굴 영역을 검출하기 위한 빠르고 매우 정확한 방법이다. 얼굴과 연관된 특징 참조점들을 찾아내기 위해 ASM 알고리즘이 이어서 얼굴 영역에 적용된다. 이 특징 참조점들은, 콧방울(ala), 인중(philtrum), 홍순(vermilion zone), 홍순 경계(vermilion border), 비순구(nasolabial sulcus), 구순 교차(labial commissure), 입술 결절(lip tubercle), 나지온(nasion), 눈의 외안각(outer canthus), 눈의 내안각(inner canthus), 및 귀의 이주(tragus)와 같은, 하나 이상의 얼굴 랜드마크들을 포함할 수 있다. 더욱이, 특징 참조점들은 눈썹의 수직 위치, 눈의 수직 위치, 눈의 폭, 눈의 높이, 눈의 이격 거리, 코의 수직 위치, 코가 치켜 올라감, 입의 수직 위치, 입의 폭, 턱의 폭, 윗입술 올라감, 턱 처짐, 입술 오무림, 왼쪽 눈썹 내려감, 오른쪽 눈썹 내려감, 입 꼬리 처짐, 및 바깥쪽 눈썹 올라감을 나타내는 얼굴점들 중 하나 이상을 포함할 수 있다. 도 5는 다수의 특징 참조점들이 예시되어 있는 얼굴의 예시적인 영상을 나타내고 있다.
일부 실시예들에서, 특징 참조점들을 찾아내는 것은 하나 이상의 미리 결정된 얼굴 랜드마크들을 찾아내는 것을 포함한다. 예를 들어, 미리 결정된 얼굴 랜드마크는 좌안 동공을 지칭할 수 있다. 랜드마크들의 세트는 얼굴 형상을 벡터들의 세트로서 정의할 수 있다.
게다가, ASM 알고리즘은 입력 영상에 제시된 얼굴의 위치 및 크기에 정렬된 평균 얼굴 형상에서 랜드마크들을 탐색하기 시작한다. ASM 알고리즘은 이어서 수렴(convergence)될 때까지 다음과 같은 2개의 단계들을 반복한다: (i) 각각의 점 주변의 영상 텍스처의 템플릿 매칭(template matching)에 의해 형상점(shape point)들의 위치들을 조정하는 것에 의해 임시 형상(tentative shape)을 제안하는 것, (ii) 임시 형상을 전체 형상 모델에 정합(conform)시키는 것. 형상 모델은 보다 강한 전체 분류기(overall classifier)를 형성하기 위해 약한 템플릿 매처(template matcher)들의 결과들을 풀링(pool)한다. 조악한 해상도로부터 미세한 해상도까지, 영상 피라미드에서의 각각의 레벨에서 탐색 전체가 반복된다. 따라서, 2개의 서브-모델 유형(sub-model type)들, 즉 프로파일 모델 및 형상 모델이 ASM을 구성한다.
프로파일 모델들(각각의 피라미드 레벨에서 각각의 랜드마크에 대해 하나씩)은 템플릿 매칭에 의해 각각의 특징 참조점의 대략적인 위치를 찾아내는 데 사용된다. 임의의 템플릿 매처가 사용될 수 있지만, 고전적인 ASM은 랜드마크에서 형상 경계(shape boundary)에 직교인 선(위스커(whisker)라고도 함)을 따라 영상을 샘플링하는 것에 의해 고정 길이 정규화된 그레이디언트 벡터(fixed-length normalized gradient vector)(프로파일이라고도 함)를 형성한다. 수동으로 랜드마크된 얼굴(manually landmarked face)들에 대해 훈련하는 동안, 각각의 랜드마크(특징 참조점)에서, 평균 프로파일 벡터(mean profile vector)
Figure 112020114913566-pat00001
및 프로파일 공분산 행렬(profile covariance matrix) Sg가 계산된다. 탐색하는 동안, 위스커를 따라 있는 랜드마크(특징 참조점)는 프로파일 g 가 평균 프로파일
Figure 112020114913566-pat00002
로부터 가장 낮은 마할라노비스 거리(Mahalanobis distance)를 갖는 픽셀로 옮겨진다.
Figure 112020114913566-pat00003
게다가, 형상 모델은 랜드마크들의 허용가능 성상도(constellation)들을 규정한다. 개인의 형상은 그의 형상 벡터
Figure 112020114913566-pat00004
에 의해 주어질 수 있고, 여기서 xi는 i번째 얼굴 랜드마크이다. 형상 모델은 형상
Figure 112020114913566-pat00005
을 생성하고, 여기서
Figure 112020114913566-pat00006
이며, 여기서,
Figure 112020114913566-pat00007
는 평균 형상(mean shape)이고, b는 파라미터 벡터이며, Φ는 정렬된 훈련 형상들의 점들의 프로파일 공분산 행렬 Sg의 선택된 고유벡터(eigenvector)들의 행렬이다. 표준의 주성분(principal component) 접근법을 사용하여, 모델은 고유값(eigenvalue)들 λi를 순서화하고 적절한 수의 대응하는 고유벡터들을 Φ에 유지하는 것에 의해 원하는 만큼의 변동(variation)들을 갖는다. 이 프로세스에서, ASM 전체에 대한 단일 형상 모델이 사용되지만, 이 모델이 각각의 피라미드 레벨에 대해 스케일링될 수 있다. 게다가, 수학식 2는 벡터 파라미터 b를 변화시킴으로써 다양한 형상들을 생성하는 데 사용된다. b의 요소들을 (모델 구축(model building) 동안 결정된) 한계들 내에 유지하는 것에 의해, 생성된 얼굴 형상들이 실물과 같도록 보장하는 것이 가능하다.
이와 달리, 제안된 형상 x가 주어지면, 본 방법은 수학식 2가 모델 형상
Figure 112020114913566-pat00008
를 사용해 x를 보다 잘 근사화할 수 있게 하는 파라미터 b를 계산할 수 있다. 이 방법은
Figure 112020114913566-pat00009
을 최소화하기 위해 반복 알고리즘을 추가로 사용할 수 있고, 여기서 T는 모델 공간을 영상 공간에 매핑하는 유사 변환(similarity transform)이다.
하나 이상의 실시예들에서, CANDIDE-3 정점들의 ASM에 의해 찾아낸 특징 참조점들의 가중 결합(weighted combination)들에의 매핑에 기초하여 CANDIDE-3 형상 및 초기 상태가 추정될 수 있다. CANDIDE-3은 사람 얼굴들의 모델 기반 코딩(model-based coding)을 위해 특별히 개발된 파라미터화된 3차원 얼굴 메시(parameterized three-dimensional face mesh)이다. 이는 적은 수의 폴리곤들(약 100개)을 포함하고 빠른 재구성을 가능하게 한다. CANDIDE-3은 형상 단위(Shape Unit)(SU)들, 동작 단위(Action Unit)(AU)들, 및 위치 벡터(position vector)에 의해 제어된다. SU들은 상이한 얼굴 형상들이 획득될 수 있도록 메시 형상(mesh shape)을 제어한다. AU들은 상이한 표정들이 획득될 수 있도록 얼굴 흉내(facial mimic)들을 제어한다. 위치 벡터는 3개의 (직교) 축들을 중심으로 한 회전(rotation)들 및 그 축들을 따라가는 평행이동(translation)들에 대응한다.
관측된 얼굴이 영상에서 정면으로 보이는(frontal viewed) 것으로 가정하면, 3개의 회전 파라미터들 중에서 요(yaw) 추정만이 필요하다. 이는 x-축의 양의 방향으로부터 우안 중심 특징점(right eye center feature point)과 좌안 중심 특징점(left eye center feature point)을 연결하는 벡터까지의 각도로서 구해질 수 있다. 관측된 얼굴이 중립적(neutral)이고 영상에서 정면으로 보이며 메시점(mesh point)들이 스케일링된 정사 투영(scaled orthographic projection)에 의해 영상 평면에 투영된다고 가정하면, 하기의 방정식 체계(equation system)가 생성될 수 있고:
Figure 112020114913566-pat00010
여기서
Figure 112020114913566-pat00011
은, 구해진 요 θ에 대응하는, 회전 행렬이고, bj는 j번째 SU 강도이며; x, y, z는 메시 평행이동 좌표(mesh translational coordinate)들이고; xi 및 yi는 i번째 메시 정점 모델 좌표(mesh vertex model coordinate)들이며; xi 및 yi는 특징 참조점들의 가중 결합들로서 획득되는 i번째 메시 정점 영상 좌표(mesh vertex image coordinate)들이고; Xij, Yij는 i번째 메시 정점 모델이 j번째 SU에 의해 어떻게 변화되는지를 나타내는 계수들이다. 전술한 바에 기초하여, 하기의 최소화가 이루어질 수 있다:
Figure 112020114913566-pat00012
이 선형 방정식 체계(linear equation system)의 해는
Figure 112020114913566-pat00013
이고, 여기서
Figure 112020114913566-pat00014
이다.
일부 실시예들에서, 추적 품질을 개선시키기 위해 Viola-Jones 알고리즘과 ASM 알고리즘이 사용될 수 있다. 얼굴 추적 프로세스들은, 빠른 움직임들 및/또는 조명 변동들과 같은, 일부 상황들 하에서 얼굴 위치를 상실할 수 있다. 추적 알고리즘을 재초기화하기 위해, 이 기술에서는, 이 경우에 ASM 알고리즘이 적용된다.
5. 얼굴 추적
본 개시내용의 다양한 실시예들에 따르면, 식별된 얼굴들의 추적은 비디오 영상들에서 얼굴들이 식별된 후의 중요한 단계이다. 개인들이 비디오 영상들의 각각의 비디오 영상에서 움직일 수 있기 때문에, 배경이 또한 개인들의 움직임에 따라 변한다. 얼굴 추적은 나중에 배경의 수정을 가능하게 하기 위해 각각의 비디오 영상(프레임)에 대한 배경 수정들을 추적하는 것을 가능하게 한다.
CANDIDE-3 모델은 얼굴 추적을 위해 사용될 수 있다. Jorgen Ahlberg, Candide-3 - an updated parameterized face, Technical report, Linkoping University, Sweden, 2001을 참조한다. 도 6은 도 5에 도시된 얼굴에 대해 생성된 CANDIDE-3 모델에 대응하는 예시적인 메시를 도시하고 있다.
하나 이상의 실시예들에서, CANDIDE-3 모델의 상태는 SU들의 강도 벡터, AU들의 강도 벡터 및 위치 벡터에 의해 기술될 수 있다. SU들은 머리와 얼굴의 다양한 파라미터들을 지칭한다. 예를 들어, 하기의 SU들: 눈썹의 수직 위치, 눈의 수직 위치, 눈의 폭, 눈의 높이, 눈의 이격 거리, 코의 수직 위치, 코가 치켜 올라감, 입의 수직 위치, 입의 폭, 및 턱의 폭이 사용될 수 있다. AU들은 다양한 얼굴 흉내들에 대응하는 얼굴 파라미터들을 지칭한다. 예를 들어, 하기의 AU들: 윗입술 올라감, 턱 처짐, 입술 오무림, 왼쪽 눈썹 내려감, 오른쪽 눈썹 내려감, 입 꼬리 처짐, 및 바깥쪽 눈썹 올라감이 사용될 수 있다.
도 6에 도시된 것과 같은, 메시의 상태는 6개의 좌표들: 요(yaw), 피치(pitch), 롤(roll), x, y 및 z(스케일)를 사용하여 기술될 수 있다. Dornaika 등의 접근법에 따라, 얼굴일 가능성이 가장 많은 영역을 관측하는 것에 의해 메시 상태가 결정될 수 있다. Dornaika F. & Davoine F., On appearance based face and facial action tracking. IEEE Trans. Circuits Syst. Video Technol. 16(9):1107-1124 (2006))를 참조한다. 각각의 메시 위치에 대해, 관측 오차(observation error)들이 계산될 수 있다. 관측 오차들은 현재 메시 상태 하에서의 영상과 평균 얼굴 사이의 차이를 나타내는 값을 지칭한다. 도 7a는 예시적인 평균 얼굴을 나타내고 있다. 도 7b는 도 8에 예시된 메시의 현재 상태 하에서의 표준 CANDIDE-3 상태 관측 쪽으로 워핑된 예를 도시하고 있다. 보다 구체적으로는, 도 8은 얼굴 및 얼굴에 정렬된 메시(810)를 갖는 예시적인 영상(800)을 도시하고 있다.
하나 이상의 실시예들에서, 고정된 크기(예컨대, 폭 = 40px, 높이 = 46px)를 갖는 사진으로서 모델링된 얼굴은 평균 얼굴이라고 지칭된다. 하나 이상의 실시예들에서, 관측 프로세스는 현재 CANDIDE-3 상태로부터 그의 표준 상태(standard state) 쪽으로의 워핑 프로세스로서 구현될 수 있고, 수학식 8에 의해 표기되며
Figure 112020114913566-pat00015
여기서 x는 평균 얼굴과 동일한 크기를 갖는 관측된 영상을 나타내고, y는 입력 영상을 나타내며, b는 CANDIDE-3 AU의 강도들 및 상태 파라미터들을 나타낸다. 원래의 알고리즘들에서 제안된 가우시안 분포는 정적 영상과 비교하여 보다 나쁜 결과들을 보여주었다. 따라서, 현재 관측과 평균 얼굴 사이의 차이는 다음과 같이 계산될 수 있다:
Figure 112020114913566-pat00016
로그 함수(logarithm function)는 추적을 보다 안정적이고 신뢰성 있게 만들 수 있다. 하나 이상의 실시예들에서, 오차를 최소화하기 위해 테일러 급수(Taylor series)가 사용될 수 있다. 그레이디언트 행렬(gradient matrix)은 수학식 10에 의해 주어진다.
Figure 112020114913566-pat00017
도함수들은 다음과 같이 계산될 수 있으며:
Figure 112020114913566-pat00018
여기서 qj는 1인 j번째 요소를 제외한 모든 요소들이 0인 벡터이다.
여기서, gij는 행렬 G의 요소이다. 이 행렬은 m*n 크기를 가지며, 여기서 m은 n보다 크다(예컨대, m은 약 1600이고, n은 약 14이다). 간단한 계산의 경우에, n*m개의 나눗셈 연산들이 완료될 필요가 있다. 나눗셈의 횟수를 줄이기 위해, 이 행렬이 2개의 행렬들의 곱: G = A * B로서 다시 쓰여질 수 있다. 여기서, 행렬 A는 G와 동일한 크기를 갖는다. 행렬 A의 각각의 요소는 수학식 12로서 표현될 수 있다:
Figure 112020114913566-pat00019
행렬 B는 n*n 크기를 갖는 대각 행렬이고, 그의 요소들은 다음과 같이 표현될 수 있다:
Figure 112020114913566-pat00020
행렬 G +는 다음과 같이 계산될 수 있고, 이는 궁극적으로 나눗셈들의 횟수를 감소시킨다:
Figure 112020114913566-pat00021
이 변환은 m*n + n3 대신에 n3개의 나눗셈들을 하는 것을 가능하게 한다.
이 방법에서 또 다른 최적화가 사용될 수 있다. 행렬 G + 가 생성되고 이어서Δb와 곱해지면, 이는 n2m개의 연산들을 가져오지만, 첫번째 AT와 Δb가 곱해지고 이어서 B-1(ATA)-1와 곱해지면, n*m + n3개의 연산들만이 있을 것이고, 이는, n<<m이기 때문에, 훨씬 더 낫다.
따라서, 비디오에서의 얼굴 추적은 특정의 얼굴과 연관된 찾아낸 특징 참조점들에 기초하는 CANDIDE-3 형상 및 초기 상태 추정 그리고 메시를 각각의 비디오 영상에서의 얼굴에 정렬시키는 것을 포함한다. 주목할 만한 점은, 이 프로세스가 얼굴뿐만 아니라 다른 개개의 부위들에도 적용될 수 있다. 환언하면, 비디오 회의 참가자의 위치확인(localization) 및 추적의 이 프로세스는 참가자의 얼굴, 그의 신체, 팔다리, 및/또는 다른 부위들 중 하나 이상을 위치확인 및 추적하는 것을 포함할 수 있다. 일부 실시예들에서, 제스처 검출 및 추적 프로세스들이 또한 적용될 수 있다. 이 경우에, 본 방법은 가상 골격(virtual skeleton) 및 이 신체 부위들에 정렬된 메시를 생성할 수 있다.
또한 ARM advanced SIMD(Single Instruction Multiple Data) extension(ARM Limited에 의해 제공되는 "NEON"이라고도 함)이 추적 성능을 향상시키기 위해 행렬들의 곱셈을 위해 사용될 수 있다는 것에 유의해야 한다. 또한, GPU(Graphics Processing Unit)가, 가능할 때마다, CPU(Central Processing Unit)에 부가하여 또는 그 대신에 사용될 수 있다. GPU의 높은 성능을 얻기 위해, 동작들이 특정의 방식으로 배열될 수 있다.
본 개시내용의 일부 실시예들에 따르면, 얼굴 추적 프로세스는 하기의 특징들을 포함할 수 있다. 첫째, 각각의 픽셀을 추적하기 위해 각각의 픽셀의 값을 그레이스케일로 변환(grayscale)하기 위해 로그가 적용될 수 있다. 이 변환은 추적 성능에 큰 영향을 미친다. 둘째, 그레이디언트 행렬 생성의 절차에서, 각각의 파라미터의 단차(step)는 메시 스케일(mesh scale)에 기초할 수 있다.
실패의 경우에 추적 알고리즘을 자동으로 재초기화하기 위해, 하기의 실패 기준이 사용될 수 있고:
Figure 112020114913566-pat00022
여기서
Figure 112020114913566-pat00023
는 유클리드 노름(Euclidean norm)이며, y t , b t 는 영상 번호 t에 의해 인덱싱된다.
6. 배경 식별 및 수정
앞서 개략적으로 기술된 바와 같이, 비디오 회의 참가자들의 얼굴들 또는 다른 부위들이 검출(식별)되면, 본 기술은 각각의 비디오 영상에서의 배경을 식별한다. 영상 구역 전체를 선택하는 것 및 식별된 얼굴들에 관련된 그 부분들을 생성된 메시들에 기초하여 제외하는 것을 포함하는 배경 식별을 위한 다양한 절차들이 사용될 수 있다. 다른 절차는 얼굴에 정렬된 이진 마스크를 형성하는 것 및 이어서 얼굴과 연관되지 않은 영상 구역들을 선택하기 위해 이진 마스크를 반전시키는 것을 포함할 수 있다. 각각의 비디오 영상에서 배경을 식별하는 것은 배경을 임의의 의도된 방식으로 수정하는 것을 가능하게 할 수 있다. 예를 들어, 수정이 블러링을 포함할 수 있지만, 배경 해상도, 비디오 도트 밀도, 컬러 밴딩을 변경하는 것, 또는 압축, 인코딩, 포스터라이제이션을 변경하는 것, 픽셀화를 변경하는 것 등과 같은 다른 수정 절차들이 또한 적용될 수 있다. 배경 수정은 사용자 지시들 또는 현재 네트워크 상태에 의존할 수 있다. 배경 식별 및 수정을 위한 이들 및 다른 실시예들은 예시적인 플로차트들을 참조하여 이하에서 기술된다.
도 9는 실시간 비디오 처리를 위한 제1 예시적인 방법(900)을 나타낸 프로세스 흐름도이다. 본 방법은 하드웨어(예컨대, 의사 결정 로직, 전용 로직, 프로그램가능 로직, 및 마이크로코드), 소프트웨어(범용 컴퓨터 시스템 또는 전용 머신 상에서 실행되는 소프트웨어 등), 또는 이 둘의 조합을 포함할 수 있는 처리 로직에 의해 수행될 수 있다. 하나의 예시적인 실시예에서, 처리 로직은 클라이언트 디바이스(110) 또는 서버(210)의 하나 이상의 컴포넌트들을 지칭한다. 방법(900)의 이하에서 언급되는 단계들이 도 9에 기술되고 도시된 것과 상이한 순서로 구현될 수 있다는 것에 유의해야 한다. 더욱이, 방법(900)은, 여기에 도시되어 있지는 않지만 본 개시내용으로부터 본 기술분야의 통상의 기술자에게는 명백할 수 있는, 부가의 단계들을 가질 수 있다. 방법(900)은 또한 이하에서 개략적으로 기술되고 도 9에 도시된 것보다 더 적은 수의 단계들을 가질 수 있다.
비디오 처리 방법(900)은 동작(905)에서 적어도 두 명의 사용자들 간의 비디오 회의를 구축하고 클라이언트 디바이스(110) 또는 서버(210)와 같은 컴퓨팅 디바이스에 의해 비디오를 수신하는 것으로 시작한다. 비디오는 컴퓨팅 디바이스에 동작가능하게 결합된 비디오 또는 웹 카메라에 의해 캡처될 수 있다. 일반적으로, 비디오는 비디오 영상들(비디오 프레임들이라고도 함)의 시퀀스를 포함하고, 비디오는 비디오 스트림((예컨대, 프로그레시브 다운로드로서) 컴퓨팅 디바이스에 계속하여 공급될 수 있다는 것을 의미함)으로서 수신될 수 있거나, 컴퓨팅 디바이스의 메모리에 저장될 수 있다. 비디오가 비디오 회의를 위해 캡처될 수 있지만, 꼭 그렇지는 않다.
임의적인 동작(910)에서, 컴퓨팅 디바이스는 데이터 레이트 또는 파일 크기를 변경하기 위해 비디오에서의 배경을 블러링(또는 다른 방식으로 수정)하라는 요청을 수신한다. 일 예에서, 요청이 비디오 회의 참가자들 중 하나와 같은 사용자에 의해 수동으로 생성될 수 있다. 다른 예에서, 요청이 변하는 네트워킹 상태들에 응답하여 자동으로 생성될 수 있다. 예를 들어, 컴퓨팅 디바이스는 하나 이상의 통신 네트워크들(140)과 연관된 QoS 또는 다른 파라미터들을 동적으로 모니터링할 수 있고, 모니터링의 결과들에 기초하여, 배경 블러링을 시작하라는 요청 또는 배경 블러링을 중지하라는 요청이 생성될 수 있다. 일 예에서, 네트워크 상태가 악화(데이터 전송 속도, 대역폭 또는 비트 레이트가 감소되는 것을 의미함)되거나, 오류들의 수가 증가되거나, 다른 파라미터가 변경될 때, 비디오 파일의 크기를 감소시키거나 데이터 레이트를 감소시켜 비디오 중단 또는 열화를 방지하기 위해 배경 블러링에 대한 요청이 생성된다.
동작(915)에서, 컴퓨팅 디바이스는 하나 이상의 비디오 영상들에서의 적어도 하나의 관심 객체를 식별하거나 검출한다. 앞서 논의된 바와 같이, 관심 객체는, 팔다리, 목, 팔, 가슴 등을 비롯한, 사용자의 얼굴 또는 사용자의 신체 부위들을 지칭할 수 있다. 식별은 Viola-Jones 알고리즘에 기초할 수 있지만, Kanade-Lucas-Tomasi(KLT) 알고리즘, CAMShift 알고리즘, 또는 임의의 다른 컴퓨터 비전 방법과 같은, 다른 알고리즘들이 또한 사용될 수 있다.
일부 다른 실시예들에서, 영상들의 하나 이상의 영상들에서의 적어도 하나의 관심 객체를 식별하는 것은 사용자 입력에 기초할 수 있다. 예를 들어, 사용자 입력은 적어도 하나의 관심 객체에 관련된 영상 구역과 연관된 데이터를 포함할 수 있다.
동작(920)에서, 컴퓨팅 디바이스는 적어도 하나의 관심 객체(예컨대, 얼굴)의 특징 참조점들을 검출한다. 특징 참조점들은 콧방울, 인중, 홍순, 홍순 경계, 비순구, 구순 교차, 입술 결절, 나지온, 눈의 외안각, 눈의 내안각, 귀의 이주, 눈썹의 수직 위치, 눈의 수직 위치, 눈의 폭, 눈의 높이, 눈의 이격 거리, 코의 수직 위치, 코가 치켜 올라감, 입의 수직 위치, 입의 폭, 턱의 폭, 윗입술 올라감, 턱 처짐, 입술 오무림, 왼쪽 눈썹 내려감, 오른쪽 눈썹 내려감, 입 꼬리 처짐, 및 바깥쪽 눈썹 올라감(이들로 제한되지 않음)과 같은 다양한 얼굴 랜드마크들을 포함할 수 있다. 특징 참조점들은 앞서 설명된 바와 같은 ASM 또는 확장 ASM 알고리즘들을 사용하여 결정될 수 있다. 그렇지만, EGM(exemplar-based graph matching) 알고리즘, CoE(consensus-of-exemplars) 알고리즘 등(이들로 제한되지 않음)을 비롯한, 얼굴 랜드마크 위치확인의 다른 절차들이 또한 사용될 수 있다.
동작(925)에서, 컴퓨팅 디바이스는 임의로 가상 얼굴 메시(간단함을 위해 "메시"라고 지칭됨)를 생성하거나 미리 결정된 메시를 사용하고, 특징 참조점들에 적어도 부분적으로 기초하여 메시를 적어도 하나의 관심 객체(예컨대, 얼굴)에 정렬시킨다. 영상들의 일부 영상들 또는 비디오 영상들의 각각의 비디오 영상에 대해 개별적으로 이 절차가 수행되며, 이는 궁극적으로 비디오에서 얼굴들을 동적으로 추적하는 것을 가능하게 한다. 앞서 논의된 바와 같이, 메시를 생성하고 정렬시키기 위해 CANDIDE-3 모델이 적용될 수 있다. CANDIDE-3은 전역 및 로컬 AU들의 계산에 기초하여 파라미터화된 얼굴 메시(마스크)를 생성하는 절차이다.
동작(930)에서, 컴퓨팅 디바이스는 각각의 비디오 영상에서 배경을 식별하거나 검출한다. 일반적으로, 배경은 각종의 프로세스들을 사용하여 식별될 수 있다. 하나의 예시적인 실시예에서, 메시에 기초하여 적어도 하나의 관심 객체를 각각의 영상으로부터 분리시키는 것에 의해 배경이 식별된다. 다른 예시적인 실시예에서, 메시의 외부에 위치된, 비디오 영상의 일부분을 선택하는 것에 의해 배경이 식별된다. 환언하면, 메시와 연관된 픽셀들을 제외한 (각각의 비디오 영상에 대한) 영상 부분을 선택하는 것에 의해 배경이 식별된다.
또 다른 예시적인 실시예에서, (a) 적어도 하나의 관심 객체와 연관된 이진 마스크를 형성하는 단계, (b) 각각의 영상에서 이진 마스크를 메시에 정렬시키는 단계, 및 (c) 이진 마스크를 반전시키는 것에 의해 반전된 이진 마스크를 생성하는 단계를 포함하는 프로세스에 의해 배경이 식별된다.
이진 마스크는 다음과 같이 형성될 수 있다. 첫째, 컴퓨팅 디바이스는 영상들의 각각의 영상에서 복수의 영상 섹션들의 그레이 값 강도(또는 평균 그레이 값 강도(mean gray value intensity))를 결정하고, 여기서 복수의 영상 섹션들은 메시와 연관되어 있다. 둘째, 컴퓨팅 디바이스는 영상 섹션들의 각각의 영상 섹션의 그레이 값 강도를 참조 값과 비교함으로써 관심 객체와 연관된 객체 픽셀들을 결정한다. 셋째, 컴퓨팅 디바이스는 이진 모폴로지컬 클로징 알고리즘을 객체 픽셀들에 적용한다. 넷째, 컴퓨팅 디바이스는 원하지 않는 픽셀 집합체들을 메시로부터 제거한다.
이진 마스크는, 예를 들어, 다음과 같이 메시에 정렬될 수 있다. 첫째, 컴퓨팅 디바이스는 메시를 참조 그리드에 투영함으로써 메시를 복수의 참조 그리드 셀들로 분리시킨다. 둘째, 컴퓨팅 디바이스는 참조 그리드 셀들에 대응하는 메시의 요소들을 연관시킨다. 셋째, 컴퓨팅 디바이스는 메시의 요소들에 대응하는 영상들의 각각의 영상의 픽셀들을 결정한다. 이 결정은 BFS(breadth-first search) 알고리즘을 적용하는 것에 의해 행해질 수 있다.
도 9를 여전히 참조하면, 동작(935)에서, 컴퓨팅 디바이스는 각각의 비디오 영상에서 식별된 배경을 수정한다. 수정은 가우시안 스무딩(Gaussian smoothing) 또는 렌즈 블러링 알고리즘(lens blurring algorithm)과 같은 블러링을 포함할 수 있다. 그렇지만, 배경 해상도를 변경하는 것, 비디오 도트 밀도를 변경하는 것, 색상들을 변경하는 것, 컬러 밴딩을 변경하는 것, 압축, 인코딩, 포스터라이제이션을 변경하는 것, 및 픽셀화를 변경하는 것과 같은 다른 수정들이 또한 사용될 수 있다. 일부 실시예들에서, (비디오 회의 참가자들의 프라이버시를 위해) 배경이 미리 결정된 영상으로 대체될 수 있다. 수정의 정도는 현재 네트워크 파라미터들에 의존할 수 있다. 예를 들어, 네트워크 비트 레이트가 작을수록, 보다 높은 정도의 블러링 또는 다른 수정 방법이 식별된 배경에 적용되며, 그 반대도 마찬가지이다.
앞서 논의된 바와 같이, 배경 수정은, 참가자들의 높은 영상 품질을 유지하면서, 배경과 연관된 영상 품질을 감소시키는 것을 목표로 한다. 환언하면, 수정된 배경은 수정된 비디오에서 제1 영상 품질을 갖고, 적어도 하나의 관심 객체는 수정된 비디오에서 제2 영상 품질을 가지며, 제1 영상 품질은 제2 영상 품질보다 더 낮다. 제1 영상 품질과 제2 영상 품질 간의 차이는, 컴퓨팅 디바이스에 의해 측정될 수 있는, 현재 네트워크 상태들 또는 네트워크 파라미터들에 의존할 수 있다.
임의적인 동작(940)에서, 컴퓨팅 디바이스는 배경 또는 수정된 배경을 압축하거나 인코딩할 수 있다. 압축은 하나 이상의 코덱들을 배경에 적용하는 것을 포함할 수 있다. 예를 들어, 배경의 압축을 위해 코덱 H264가 사용할 수 있다. 주목할 만한 점은, 일부 실시예들에서, 2개의 코덱들이 사용될 수 있고, 여기서 하나의 코덱은 배경에 적용되는 반면, 다른 코덱은 식별된 관심 객체들(예컨대, 얼굴들)에 적용된다는 것이다.
동작(945)에서, 컴퓨팅 디바이스는 수정된 배경과 관심 객체의 영상을 결합하는 것에 의해 수정된 비디오를 생성한다. 임의적인 동작(950)에서, 컴퓨팅 디바이스는 수정된 비디오를 통신 네트워크(140)를 통해 전송할 수 있다.
다른 부가의 실시예들에서, 방법(900)은 영상들의 각각의 영상에서의 적어도 하나의 관심 객체와 연관된 그 영상 부분들을 수정하는 임의적인 동작들을 추가로 포함할 수 있다. 적어도 하나의 관심 객체와 연관된 영상 부분들을 수정하는 단계는 특징 참조점들 또는 메시에 기초할 수 있다. 예를 들어, 적어도 하나의 관심 객체와 연관된 영상 부분들을 수정하는 단계는 색상, 색조, 비율, 및 해상도 중 적어도 하나를 변경하는 단계를 포함한다. 일부 실시예들에서, 적어도 하나의 관심 객체는 미리 결정된 영상으로 대체될 수 있다.
다른 추가의 실시예들에서, 방법(900)은 적어도 하나의 관심 객체 및 특징 참조점들을 식별하는 단계에 기초하여 사용자 머리의 위치를 결정하는 부가 단계; 머리의 위치에 기초하여 신체의 위치를 결정하는 부가 단계, 및 영상들의 시퀀스에 걸쳐 신체의 위치를 추적하는 부가 단계를 포함할 수 있다. 동작(935)에서의 배경 수정은 신체의 위치에 기초할 수 있다. 예를 들어, 신체를 추적하는 것이 영상들에 기초하여 실현가능하지 않지만 사용자 얼굴을 추적하는 것이 영상들에 기초하여 실현가능하면, 사용자 얼굴과 신체가 수정되지 않은 채로 있지만 비디오 영상들의 나머지 부분들이 수정되도록, 배경 수정이 신체 위치의 근사화에 기초할 수 있다.
도 10은 실시간 비디오 처리를 위한 제2 예시적인 방법(1000)을 나타낸 프로세스 흐름도이다. 본 방법은 하드웨어(예컨대, 의사 결정 로직, 전용 로직, 프로그램가능 로직, 및 마이크로코드), 소프트웨어(범용 컴퓨터 시스템 또는 전용 머신 상에서 실행되는 소프트웨어 등), 또는 이 둘의 조합을 포함할 수 있는 처리 로직에 의해 수행될 수 있다. 하나의 예시적인 실시예에서, 처리 로직은 클라이언트 디바이스(110) 또는 서버(210)의 하나 이상의 컴포넌트들을 지칭한다. 방법(1000)의 이하에서 언급되는 단계들이 도 10에 기술되고 도시된 것과 상이한 순서로 구현될 수 있다는 것에 유의해야 한다. 더욱이, 방법(1000)은, 여기에 도시되어 있지는 않지만 본 개시내용으로부터 본 기술분야의 통상의 기술자에게는 명백할 수 있는, 부가의 단계들을 가질 수 있다. 방법(1000)은 또한 이하에서 개략적으로 기술되고 도 10에 도시된 것보다 더 적은 수의 단계들을 가질 수 있다.
방법(1000)은 동작(1005)에서 클라이언트 디바이스(110) 또는 서버(210)와 같은 컴퓨팅 디바이스에 의해 비디오를 수신하는 것으로 시작한다. 비디오는 컴퓨팅 디바이스에 동작가능하게 결합된 비디오 또는 웹 카메라에 의해 캡처될 수 있다.
동작(1010)에서, 컴퓨팅 디바이스는 하나 이상의 통신 네트워크들(140)을 통해 비디오를 전송하는 것과 연관된 네트워크 파라미터(예컨대, QoS, 비트 레이트, 대역폭)를 동적으로 모니터링한다. 블록(1015)에서, 컴퓨팅 디바이스는 네트워크 파라미터의 현재 값이 미리 결정된 문턱값 미만인지를 결정한다. 네트워크 파라미터의 현재 값이 미리 결정된 문턱값 미만이면, 방법(1000)은 컴퓨팅 디바이스가 비디오에서의 배경을 수정하라는 요청을 생성하는 동작(1020)으로 진행한다. 본 방법은 이어서 도 10에 도시된 바와 같이 동작(1030)으로 진행한다.
그렇지 않고, 네트워크 파라미터의 현재 값이 미리 결정된 문턱값 초과이면, 방법(1000)은 컴퓨팅 디바이스가 수정들 없이 비디오를 전송하라는 요청(지시)을 생성하는 동작(1025)으로 진행한다. 이 경우에, 본 방법은 도 10에 도시된 바와 같이 동작(1040)으로 진행한다.
동작(1030)에서, 컴퓨팅 디바이스는 적어도 하나의 관심 객체를 식별하고, 적어도 하나의 관심 객체의 특징 참조점들을 검출하며, 메시를 적어도 하나의 관심 객체에 정렬시키고, 메시에 기초하여 비디오 영상들의 하나 이상의 비디오 영상들에서 배경을 식별하며, 각각의 비디오 영상에서의 배경을 수정한다. 이 절차들은 동작(915) 내지 동작(935)을 참조하여 앞서 기술된 것들을 반복할 수 있다.
보다 구체적으로, 관심 객체의 식별이 Viola-Jones 알고리즘에 기초할 수 있지만, KLT 알고리즘, CAMShift 알고리즘, 또는 임의의 다른 컴퓨터 비전 방법과 같은 다른 알고리즘들이 또한 사용될 수 있다. 일부 다른 실시예들에서, 영상들의 각각의 영상에서의 적어도 하나의 관심 객체를 식별하는 것은 사용자 입력에 기초할 수 있다. 특징 참조점들은 ASM 또는 확장 ASM 알고리즘들은 물론, EGM 알고리즘들, CoE(consensus-of-exemplars) 알고리즘들 등을 사용하여 결정될 수 있다. 메시는 CANDIDE-3 모델에 기초하여 생성될 수 있다. 메시에 기초하여 적어도 하나의 관심 객체를 각각의 영상으로부터 분리시키는 것에 의해, 메시와 연관된 픽셀들을 제외한 영상 부분을 선택하는 것에 의해, 또는 (a) 적어도 하나의 관심 객체와 연관된 이진 마스크를 형성하는 단계, (b) 각각의 영상에서 이진 마스크를 메시에 정렬시키는 단계, 및 (c) 이진 마스크를 반전시키는 것에 의해 반전된 이진 마스크를 생성하는 단계를 포함하는 프로세스에 의하는 것과 같은 각종의 프로세스들을 사용하여 배경이 식별될 수 있다.
배경 수정은 블러링하는 것, 배경 해상도를 변경하는 것, 비디오 도트 밀도를 변경하는 것, 색상들을 변경하는 것, 컬러 밴딩을 변경하는 것, 압축, 인코딩, 포스터라이제이션을 변경하는 것, 및 픽셀화를 변경하는 것을 포함할 수 있다. 수정의 정도는 현재 네트워크 파라미터들에 의존할 수 있다. 일부 실시예들에서, 배경 수정은 배경을 미리 결정된 영상 또는 비디오로 대체하는 것, 치환하는 것 또는 덮는 것을 포함할 수 있다. 미리 결정된 영상이 사용자에 의해 선택될 수 있거나, 컴퓨팅 디바이스의 메모리에 저장되어 있는 기본 영상(default image)이 사용될 수 있다.
일부 실시예들에서, 배경의 수정에 부가하여, 전경이 또한 수정될 수 있다. 일부 실시예들에서, 전경이 스무딩, 샤프닝될 수 있거나, 그의 색상들이 변경될 수 있다. 전경은 개인들의 영상들 및 어쩌면 배경에 존재하지 않는 다른 요소들을 포함할 수 있다. 다른 추가의 실시예들에서, 식별된 얼굴들(또는 관심 객체들)만이 스무딩, 샤프닝, 색상들을 변경하는 것 등에 의해 수정될 수 있다.
동작(1035)에서, 컴퓨팅 디바이스는 수정된 배경과 관심 객체의 영상을 결합하는 것에 의해 수정된 비디오를 생성한다. 임의적인 동작(1040)에서, 컴퓨팅 디바이스는 원본 또는 수정된 비디오를 통신 네트워크(140)를 통해 전송한다.
도 11a 및 도 11b는 배경 수정의 예시적인 결과를 나타내고 있다. 보다 구체적으로는, 도 11a는 비디오 회의 참가자의 얼굴을 포함하는 원본 비디오 영상을 나타내고 있다. 도 11b는 본원에 기술되는 바와 같은 비디오 처리 방법들 중 하나를 사용하여 수정된 비디오 영상을 나타내고 있다. 도 11b에 도시된 예에서, 파일 크기와 데이터 전송 속도를 감소시키기 위해 배경이 식별되고 블러링되었다.
실험들은 본원에 기술되는 비디오 처리 방법들이 개개의 얼굴들 이외의 모든 것이 블러링되면 약 53%까지, 그리고 전경 이외의 모든 것이 블러링되면 약 21%까지 비디오 데이터 레이트 또는 비디오 파일 크기를 감소시키는 것을 가능하게 한다는 것을 보여준다.
다른 부가의 실시예들에서, 동작(1015) 내지 동작(1025)이 다른 동작들로 대체될 수 있다. 보다 구체적으로는, 본 기술은 네트워크 파라미터의 특정 값에 기초하여 배경을 수정할 수 있다. 예를 들어, 동작(1015)에서, QoS와 연관된 네트워크 파라미터가 제1 미리 결정된 범위 내에 있다고 결정되면, 동작(1020)에서, (얼굴과 신체는 수정되지 않은 채로 유지하면서) 비디오의 배경만을 블러링하라는 제1 요청이 생성된다. 동작(1015)에서, QoS와 연관된 네트워크 파라미터가 제2 미리 결정된 범위 내에 있다고 결정될 때, 동작(1020)에서, 비디오의 배경 및 사용자 얼굴을 제외한 비디오의 다른 부분들을 블러링하라는 제2 요청이 생성된다. 게다가, 동작(1015)에서, QoS와 연관된 네트워크 파라미터가 제3 미리 결정된 범위 내에 있다고 결정될 때, 동작(1025)에서, 블러링하라는 요청이 생성되지 않거나 수정 없이 비디오를 전송하라는 제3 요청이 생성된다. 제1, 제2, 및 제3 범위들이 서로 상이하지만, 임의로 중첩될 수 있다는 것에 유의해야 한다.
7. 결론
따라서, 실시간 비디오 처리 방법들 및 시스템들이 기술되었다. 실시예들이 특정 예시적인 실시예들을 참조하여 기술되었지만, 본 출원의 보다 광의의 범주를 벗어남이 없이 이 예시적인 실시예들에 대해 다양한 수정들 및 변경들이 행해질 수 있다는 것이 명백할 것이다. 그에 따라, 명세서 및 도면들은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.

Claims (24)

  1. 실시간 비디오 처리를 위한 컴퓨터 구현 방법으로서,
    비디오 내의 적어도 하나의 객체의 참조점들을 검출하는 단계;
    상기 비디오 내의 상기 적어도 하나의 객체를 추적하는 단계 - 상기 추적하는 단계는 상기 참조점들에 적어도 부분적으로 기초하여 상기 비디오 내의 상기 적어도 하나의 객체에 가상 메시를 정렬시키는 단계를 포함함 -;
    상기 가상 메시에 적어도 부분적으로 기초하여 상기 비디오로부터 상기 적어도 하나의 객체를 분리하고, 상기 적어도 하나의 객체에 정렬된 이진 마스크를 형성하고, 상기 이진 마스크를 반전시켜 상기 적어도 하나의 객체와 연관되지 않은 관심 영역을 선택함으로써 상기 비디오 내의 배경을 식별하는 단계;
    상기 적어도 하나의 객체와 별개로 상기 비디오 내의 배경을 수정하여 수정된 배경을 생성하는 단계; 및
    상기 적어도 하나의 객체 및 상기 수정된 배경을 포함하는 수정된 비디오를 생성하는 단계
    를 포함하고, 상기 적어도 하나의 객체 및 상기 수정된 배경은 상이한 영상 품질들을 갖는 방법.
  2. 제1항에 있어서, 상기 수정된 배경은 제1 영상 품질을 갖고, 상기 적어도 하나의 객체는 상기 수정된 비디오에서 제2 영상 품질을 갖는 방법.
  3. 제2항에 있어서, 상기 제1 영상 품질은 상기 제2 영상 품질보다 낮은 방법.
  4. 제1항에 있어서, 상기 제1 영상 품질은 상기 제2 영상 품질보다 높은 방법.
  5. 제1항에 있어서, 상기 배경을 수정하는 것은 적어도 하나의 컬러 톤 또는 해상도를 변경하는 것을 포함하는 방법.
  6. 제1항에 있어서, 상기 배경을 수정하는 것은 배경 해상도를 변경하는 것을 포함하는 방법.
  7. 제1항에 있어서, 상기 배경을 수정하는 것은 비디오 도트 밀도를 변경하는 것을 포함하는 방법.
  8. 제1항에 있어서, 상기 배경을 수정하는 것은 상기 배경의 픽셀화(pixelization)를 변경하는 것을 포함하는 방법.
  9. 제1항에 있어서, 상기 배경을 수정하는 것은 상기 배경을 미리 결정된 영상으로 대체하는 것을 포함하는, 방법.
  10. 제1항에 있어서, 상기 적어도 하나의 객체는 사용자의 적어도 하나의 객체 신체 부분을 포함하는 방법.
  11. 제10항에 있어서, 상기 사용자의 상기 객체 신체 부분은 사람 얼굴, 팔, 목, 가슴 또는 다리를 포함하는 방법.
  12. 제1항에 있어서, 상기 수정된 비디오를 통신 네트워크를 통해 전송하는 단계를 더 포함하는 방법.
  13. 제1항에 있어서, 상기 비디오의 상기 배경을 블러링하라는 요청을 수신하는 단계를 더 포함하는 방법.
  14. 제1항에 있어서,
    통신 네트워크와 연관된 서비스 품질을 모니터링하는 단계; 및
    상기 모니터링하는 단계에 기초하여, 상기 비디오의 상기 배경을 블러링하라는 요청을 생성하는 단계
    를 더 포함하는 방법.
  15. 제1항에 있어서,
    통신 네트워크를 통해 상기 비디오를 전송하는 것과 연관된 네트워크 파라미터를 동적으로 모니터링하는 단계;
    상기 네트워크 파라미터가 미리 결정된 문턱값 미만인 것에 응답하여, 상기 비디오의 상기 배경을 블러링하라는 요청을 생성하는 단계; 및
    상기 네트워크 파라미터가 상기 미리 결정된 문턱값 초과인 것에 응답하여, 블러링 없이 상기 비디오를 전송하라는 요청을 생성하는 단계
    를 더 포함하는 방법.
  16. 제15항에 있어서, 상기 네트워크 파라미터는 비트 레이트 또는 네트워크 대역폭을 포함하는 방법.
  17. 제1항에 있어서,
    통신 네트워크와 연관된 서비스 품질과 관련된 값을 동적으로 결정하는 단계;
    상기 결정하는 단계에 기초하여, 상기 서비스 품질과 연관된 상기 값이 제1 미리 결정된 범위 내에 있는 것에 응답하여, 상기 비디오의 상기 배경을 블러링하라는 제1 요청을 생성하는 단계;
    상기 결정하는 단계에 기초하여, 상기 서비스 품질과 연관된 상기 값이 제2 미리 결정된 범위 내에 있는 것에 응답하여, 상기 비디오의 상기 배경 및 상기 적어도 하나의 객체를 제외한 상기 비디오의 다른 부분들을 블러링하라는 제2 요청을 생성하는 단계; 및
    상기 결정하는 단계에 기초하여, 상기 서비스 품질과 연관된 상기 값이 제3 미리 결정된 범위 내에 있는 것에 응답하여, 상기 배경을 블러링하라는 어떠한 요청도 생성되지 않게 하는 단계
    를 더 포함하고;
    상기 제1 범위는 상기 제2 범위 및 상기 제3 범위와 상이하고,
    상기 제2 범위는 상기 제3 범위 및 상기 제1 범위와 상이한 방법.
  18. 제1항에 있어서,
    영상들의 시퀀스를 포함하는 상기 비디오를 수신하는 단계; 및
    전경 객체의 형상 유닛 및 위치 벡터, 및 상기 형상 유닛의 강도 벡터를 검출하는 단계
    를 더 포함하고, 상기 형상 유닛은 상기 적어도 하나의 객체의 파라미터를 나타내고, 상기 위치 벡터는 3개의 축을 중심으로 한 회전 및 상기 축들을 따라가는 평행이동(translation)에 대응하고, 상기 검출하는 단계는 능동적 형상 모델(Active Shape Model) 알고리즘을 상기 적어도 하나의 객체와 연관된 상기 영상들의 영역들에 적용하는 단계를 포함하는 방법.
  19. 제1항에 있어서, 상기 비디오 내의 적어도 하나의 객체의 참조점들을 검출하는 단계는 상기 적어도 하나의 객체와 연관된 능동적 형상 모델 알고리즘을 적용하는 단계를 포함하는 방법.
  20. 제1항에 있어서,
    상기 적어도 하나의 객체와 연관된 이진 마스크를 생성하는 단계;
    상기 이진 마스크를 상기 가상 메시에 정렬하는 단계;
    상기 가상 메시를 참조 그리드에 투영하는 단계;
    상기 가상 메시를 복수의 참조 그리드 셀로 분리하는 단계;
    상기 복수의 참조 그리드 셀에 대응하는 복수의 가상 메시 요소를 연관시키는 단계
    를 더 포함하는 방법.
  21. 제1항에 있어서,
    복수의 영상 섹션의 그레이 값 강도를 결정하는 단계 - 상기 복수의 영상 섹션은 상기 가상 메시와 연관됨 -;
    상기 적어도 하나의 객체와 연관된 객체 픽셀들을 결정하는 단계;
    이진 모폴로지컬 클로징 알고리즘(binary morphological closing algorithm)을 상기 객체 픽셀들에 적용하는 단계; 및
    원하지 않는 픽셀 집합체(pixel conglomerate)들을 상기 가상 메시로부터 제거하는 단계
    를 더 포함하는 방법.
  22. 제21항에 있어서, 상기 적어도 하나의 객체와 연관된 객체 픽셀들을 결정하는 단계는 상기 영상 섹션들 각각의 상기 그레이 값 강도를 참조 값과 비교하는 단계를 포함하는 방법.
  23. 시스템으로서,
    프로세서; 및
    명령어들을 저장하는 메모리
    를 포함하고, 상기 명령어들은 상기 프로세서에 의해 실행될 때 상기 시스템으로 하여금:
    비디오 내의 적어도 하나의 객체의 참조점들을 검출하는 동작;
    상기 비디오 내의 상기 적어도 하나의 객체를 추적하는 동작 - 상기 추적하는 동작은 상기 참조점들에 적어도 부분적으로 기초하여 상기 비디오 내의 상기 적어도 하나의 객체에 가상 메시를 정렬시키는 동작을 포함함 -;
    상기 가상 메시에 적어도 부분적으로 기초하여 상기 비디오로부터 상기 적어도 하나의 객체를 분리하고, 상기 적어도 하나의 객체에 정렬된 이진 마스크를 형성하고, 상기 이진 마스크를 반전시켜 상기 적어도 하나의 객체와 연관되지 않은 관심 영역을 선택함으로써 상기 비디오 내의 배경을 식별하는 동작;
    상기 적어도 하나의 객체와 별개로 상기 비디오 내의 배경을 수정하여 수정된 배경을 생성하는 동작; 및
    상기 적어도 하나의 객체 및 상기 수정된 배경을 포함하는 수정된 비디오를 생성하는 동작
    을 포함하는 동작들을 수행하게 하고, 상기 적어도 하나의 객체 및 상기 수정된 배경은 상이한 영상 품질들을 갖는 시스템.
  24. 명령어들을 저장한 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    비디오 내의 적어도 하나의 객체의 참조점들을 검출하는 동작;
    상기 비디오 내의 상기 적어도 하나의 객체를 추적하는 동작 - 상기 추적하는 동작은 상기 참조점들에 적어도 부분적으로 기초하여 상기 비디오 내의 상기 적어도 하나의 객체에 가상 메시를 정렬시키는 동작을 포함함 -;
    상기 가상 메시에 적어도 부분적으로 기초하여 상기 비디오로부터 상기 적어도 하나의 객체를 분리하고, 상기 적어도 하나의 객체에 정렬된 이진 마스크를 형성하고, 상기 이진 마스크를 반전시켜 상기 적어도 하나의 객체와 연관되지 않은 관심 영역을 선택함으로써 상기 비디오 내의 배경을 식별하는 동작;
    상기 적어도 하나의 객체와 별개로 상기 비디오 내의 배경을 수정하여 수정된 배경을 생성하는 동작; 및
    상기 적어도 하나의 객체 및 상기 수정된 배경을 포함하는 수정된 비디오를 생성하는 동작
    을 포함하는 동작들을 수행하게 하고, 상기 적어도 하나의 객체 및 상기 수정된 배경은 상이한 영상 품질들을 갖는 비일시적 컴퓨터 판독가능 매체.
KR1020207031217A 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정 KR102346691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217043153A KR102417043B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US14/661,367 US9232189B2 (en) 2015-03-18 2015-03-18 Background modification in video conferencing
US14/661,367 2015-03-18
US14/987,514 2016-01-04
US14/987,514 US10116901B2 (en) 2015-03-18 2016-01-04 Background modification in video conferencing
KR1020197029221A KR102173786B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정
PCT/US2016/023046 WO2016149576A1 (en) 2015-03-18 2016-03-18 Background modification in video conferencing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197029221A Division KR102173786B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217043153A Division KR102417043B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정

Publications (2)

Publication Number Publication Date
KR20200125775A KR20200125775A (ko) 2020-11-04
KR102346691B1 true KR102346691B1 (ko) 2022-01-04

Family

ID=55755686

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020197029221A KR102173786B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정
KR1020217043153A KR102417043B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정
KR1020177029496A KR102031135B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정
KR1020207031217A KR102346691B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020197029221A KR102173786B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정
KR1020217043153A KR102417043B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정
KR1020177029496A KR102031135B1 (ko) 2015-03-18 2016-03-18 비디오 회의에서의 배경 수정

Country Status (5)

Country Link
US (2) US10116901B2 (ko)
EP (1) EP3272115B1 (ko)
KR (4) KR102173786B1 (ko)
CN (2) CN107637072A (ko)
WO (1) WO2016149576A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514947B1 (en) 2014-02-05 2022-11-29 Snap Inc. Method for real-time video processing involving changing features of an object in the video

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US10055821B2 (en) * 2016-01-30 2018-08-21 John W. Glotzbach Device for and method of enhancing quality of an image
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10552585B2 (en) * 2016-12-14 2020-02-04 Microsoft Technology Licensing, Llc Encoding optimization for obfuscated media
US10728494B2 (en) * 2017-02-20 2020-07-28 Disney Enterprises, Inc. Differential transformation of video
JP7002846B2 (ja) * 2017-03-03 2022-01-20 キヤノン株式会社 画像処理装置およびその制御方法
US10665266B2 (en) * 2018-03-23 2020-05-26 Gfycat, Inc. Integrating a prerecorded video file into a video
US10762702B1 (en) * 2018-06-22 2020-09-01 A9.Com, Inc. Rendering three-dimensional models on mobile devices
CN108777783A (zh) * 2018-07-09 2018-11-09 广东交通职业技术学院 一种图像处理方法及装置
US10785421B2 (en) * 2018-12-08 2020-09-22 Fuji Xerox Co., Ltd. Systems and methods for implementing personal camera that adapts to its surroundings, both co-located and remote
CN109618173B (zh) * 2018-12-17 2021-09-28 深圳Tcl新技术有限公司 视频压缩方法、装置和计算机可读存储介质
US11394888B2 (en) * 2019-01-18 2022-07-19 Snap Inc. Personalized videos
US11151794B1 (en) 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
US11258982B2 (en) 2019-08-16 2022-02-22 Logitech Europe S.A. Video conference system
US11088861B2 (en) 2019-08-16 2021-08-10 Logitech Europe S.A. Video conference system
US11038704B2 (en) * 2019-08-16 2021-06-15 Logitech Europe S.A. Video conference system
US11095467B2 (en) 2019-08-16 2021-08-17 Logitech Europe S.A. Video conference system
US11948276B2 (en) 2020-01-16 2024-04-02 Samsung Electronics Co., Ltd. Apparatus and method for enhancing videos
US10904488B1 (en) * 2020-02-20 2021-01-26 International Business Machines Corporation Generated realistic representation of video participants
US11481884B2 (en) 2020-06-04 2022-10-25 Nuro, Inc. Image quality enhancement for autonomous vehicle remote operations
KR102297262B1 (ko) * 2020-07-16 2021-09-03 한국과학기술연구원 하이브리드 해상도를 가진 영상 데이터 전송 방법 및 이를 이용한 하이브리드 해상도 영상 생성 방법
KR20220042677A (ko) 2020-09-28 2022-04-05 주식회사 엘지에너지솔루션 스페이서를 포함하는 전지 셀 지그, 이를 포함하는 전지 셀의 부피 측정 장치 및 이를 이용한 전지 셀의 부피 측정 방법
TWI757940B (zh) * 2020-10-29 2022-03-11 宏碁股份有限公司 視訊會議系統及其排除打擾的方法
US11838684B2 (en) * 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications
KR102284769B1 (ko) * 2021-01-28 2021-07-30 정진희 3d 컨텐츠를 제공하는 서버 및 그 동작 방법
US20220286641A1 (en) * 2021-03-02 2022-09-08 Lenovo (Singapore) Pte. Ltd. Background image adjustment in virtual meeting
KR20220126107A (ko) * 2021-03-08 2022-09-15 삼성전자주식회사 화상 회의를 제공하는 전자 장치 및 그 방법
US20230344957A1 (en) * 2022-04-26 2023-10-26 Zoom Video Communications, Inc. Video Stream Segmentation for Quality Retention During Reduced-Bandwidth Video Conferencing
US20230412785A1 (en) * 2022-06-17 2023-12-21 Microsoft Technology Licensing, Llc Generating parallax effect based on viewer position
WO2024077798A1 (en) * 2022-10-11 2024-04-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image data coding methods and systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327172A1 (en) * 2011-06-22 2012-12-27 Microsoft Corporation Modifying video regions using mobile device input

Family Cites Families (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4888713B1 (en) 1986-09-05 1993-10-12 Cdi Technologies, Inc. Surface detail mapping system
US5227863A (en) * 1989-11-14 1993-07-13 Intelligent Resources Integrated Systems, Inc. Programmable digital video processing system
US5359706A (en) 1991-11-07 1994-10-25 Thomas Sterling Image rotation using block transfers
US5479603A (en) 1993-07-21 1995-12-26 Xerox Corporation Method and apparatus for producing a composite second image in the spatial context of a first image
JP3194352B2 (ja) * 1995-05-05 2001-07-30 アグフア−ゲヴエルト・ナームローゼ・フエンノートシヤツプ 合成画像を再現する方法
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
EP0814611B1 (de) 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
USH2003H1 (en) 1998-05-29 2001-11-06 Island Graphics Corporation Image enhancing brush using minimum curvature solution
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US6252576B1 (en) 1998-08-06 2001-06-26 In-System Design, Inc. Hardware-efficient system for hybrid-bilinear image scaling
JP4151158B2 (ja) 1999-06-14 2008-09-17 ソニー株式会社 シーン記述生成装置及び方法
JP4394202B2 (ja) 1999-07-21 2010-01-06 株式会社バンダイナムコゲームス 画像生成システム及び情報記憶媒体
US6807290B2 (en) 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US6829391B2 (en) * 2000-09-08 2004-12-07 Siemens Corporate Research, Inc. Adaptive resolution system and method for providing efficient low bit rate transmission of image data for distributed applications
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
US6897977B1 (en) 2000-11-20 2005-05-24 Hall Aluminum Llc Lossy method for compressing pictures and video
US6768486B1 (en) 2001-05-18 2004-07-27 Autodesk, Inc. Modifying subobjects of geometry objects based on per-subobject objects
AUPR541801A0 (en) 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
KR100516638B1 (ko) * 2001-09-26 2005-09-22 엘지전자 주식회사 화상 통신 시스템
US7034820B2 (en) 2001-12-03 2006-04-25 Canon Kabushiki Kaisha Method, apparatus and program for processing a three-dimensional image
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
US7167519B2 (en) * 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
EP1370075B1 (en) 2002-06-06 2012-10-03 Accenture Global Services Limited Dynamic replacement of the face of an actor in a video movie
US20040037475A1 (en) * 2002-08-26 2004-02-26 Avinash Gopal B. Method and apparatus for processing annotated screen capture images by automated selection of image regions
JP4118749B2 (ja) 2002-09-05 2008-07-16 株式会社リコー 画像処理装置、画像処理プログラムおよび記憶媒体
KR100850460B1 (ko) 2002-10-10 2008-08-07 삼성테크윈 주식회사 디지털 카메라에서의 얼굴 영상 개선 방법
US7050078B2 (en) 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
KR100930711B1 (ko) * 2002-12-27 2009-12-09 주식회사 케이티 화상회의를 위한 객체 지향적 비균등 전송오류 보호방법
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US20040233223A1 (en) 2003-05-22 2004-11-25 Steven Schkolne Physical/digital input methodologies for spatial manipulations and entertainment
JP4388327B2 (ja) 2003-08-25 2009-12-24 オリンパス株式会社 顕微鏡像撮像装置及び顕微鏡像撮像方法
US20050073585A1 (en) * 2003-09-19 2005-04-07 Alphatech, Inc. Tracking systems and methods
US20070087352A9 (en) 2003-11-06 2007-04-19 Robert Fletterick Inhibitors for androgen antagonist refractory prostate cancer
US20050117798A1 (en) 2003-12-02 2005-06-02 Eastman Kodak Company Method and apparatus for modifying a portion of an image frame in accordance with colorimetric parameters
US7889209B2 (en) 2003-12-10 2011-02-15 Sensable Technologies, Inc. Apparatus and methods for wrapping texture onto the surface of a virtual object
US20050131744A1 (en) * 2003-12-10 2005-06-16 International Business Machines Corporation Apparatus, system and method of automatically identifying participants at a videoconference who exhibit a particular expression
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
US7415140B2 (en) 2004-01-27 2008-08-19 Seiko Epson Corporation Method of correcting deviation of detection position for human face, correction system, and correction program
US20050220346A1 (en) 2004-03-30 2005-10-06 Fuji Photo Film Co., Ltd. Red eye detection device, red eye detection method, and recording medium with red eye detection program
US7620242B2 (en) 2004-04-06 2009-11-17 Fujifilm Corporation Particular-region detection method and apparatus, and program therefor
US7227567B1 (en) * 2004-09-14 2007-06-05 Avaya Technology Corp. Customizable background for video communications
EP1672548A1 (en) 2004-12-20 2006-06-21 Dassault Systèmes Process and system for rendering an object in a view using a product lifecycle management database
JP4586712B2 (ja) 2005-02-03 2010-11-24 セイコーエプソン株式会社 印刷装置
US7801328B2 (en) 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US20060242183A1 (en) 2005-04-25 2006-10-26 Microsoft Corporation Declaratively extended hierarchical configuration system and method
US7830384B1 (en) 2005-04-27 2010-11-09 Image Metrics Limited Animating graphical objects using input video
US7522773B2 (en) * 2005-04-28 2009-04-21 Eastman Kodak Company Using time in recognizing persons in images
US7564476B1 (en) * 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
US7612794B2 (en) * 2005-05-25 2009-11-03 Microsoft Corp. System and method for applying digital make-up in video conferencing
US8332475B2 (en) 2005-08-22 2012-12-11 Triplay Communications Ltd. Messaging system and method
US7720283B2 (en) 2005-12-09 2010-05-18 Microsoft Corporation Background removal in a live video
US7945653B2 (en) 2006-10-11 2011-05-17 Facebook, Inc. Tagging digital media
US7567707B2 (en) 2005-12-20 2009-07-28 Xerox Corporation Red eye detection and correction
JP2007215151A (ja) 2006-01-12 2007-08-23 Canon Inc 撮像装置及びその制御方法及びプログラム
CN100375108C (zh) * 2006-03-02 2008-03-12 复旦大学 一种人脸特征点自动定位方法
US8026931B2 (en) 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects
US8230355B1 (en) 2006-03-22 2012-07-24 Adobe Systems Incorporated Visual representation of a characteristic of an object in a space
US8660319B2 (en) 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US8294823B2 (en) 2006-08-04 2012-10-23 Apple Inc. Video communication systems and methods
US20080077953A1 (en) 2006-09-22 2008-03-27 Objectvideo, Inc. Video background replacement system
JP4986642B2 (ja) 2007-01-31 2012-07-25 キヤノン株式会社 解析装置及びその制御方法
KR20080073933A (ko) 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
KR100853122B1 (ko) 2007-02-13 2008-08-20 주식회사 인스프리트 이동통신망을 이용한 실시간 대체 영상 서비스 방법 및시스템
US20080204992A1 (en) 2007-02-27 2008-08-28 Imation Corp. Data storage system including recessed USB port
US8290257B2 (en) 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
KR100871557B1 (ko) * 2007-04-27 2008-12-01 금오공과대학교 산학협력단 영상-기반 보안을 위한 얼굴 검출 및 판별 방법
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
US20090158170A1 (en) 2007-12-14 2009-06-18 Rajesh Narayanan Automatic profile-based avatar generation
CN101499128B (zh) * 2008-01-30 2011-06-29 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
JP5089453B2 (ja) 2008-03-24 2012-12-05 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法及びプログラム
JP4569670B2 (ja) * 2008-06-11 2010-10-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5203869B2 (ja) 2008-09-24 2013-06-05 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP5106335B2 (ja) 2008-09-24 2012-12-26 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN101753851B (zh) * 2008-12-17 2011-12-28 华为终端有限公司 背景更换的方法、虚拟场景合成的方法及相关系统和设备
IL196161A (en) 2008-12-24 2015-03-31 Rafael Advanced Defense Sys Download shadows from images within a video signal
US8295557B2 (en) 2009-01-12 2012-10-23 Arcsoft Hangzhou Co., Ltd. Face image processing method
US8898267B2 (en) 2009-01-19 2014-11-25 Netapp, Inc. Modifying information lifecycle management rules in a distributed system
US8320666B2 (en) 2009-08-14 2012-11-27 Genesis Group Inc. Real-time image and video matting
EP2474497A1 (en) 2009-09-03 2012-07-11 Mitsubishi Electric Corporation Control device for elevator
US8929614B2 (en) 2009-10-19 2015-01-06 Hewlett-Packard Development Company, L.P. Red eye detection aided by face detection
EP2494783A4 (en) 2009-10-30 2013-04-10 Agency Science Tech & Res METHOD, DEVICES AND COMPUTER READABLE MEDIA FOR PROCESSING A DIGITAL IMAGE
TWI434227B (zh) 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US9443227B2 (en) 2010-02-16 2016-09-13 Tigertext, Inc. Messaging system apparatuses circuits and methods of operation thereof
JP4852652B2 (ja) 2010-03-09 2012-01-11 パナソニック株式会社 電子ズーム装置、電子ズーム方法、及びプログラム
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
US8233789B2 (en) * 2010-04-07 2012-07-31 Apple Inc. Dynamic exposure metering based on face detection
TWI491974B (zh) 2010-05-12 2015-07-11 Hon Hai Prec Ind Co Ltd 圖像黑印查找系統及方法
US8692830B2 (en) 2010-06-01 2014-04-08 Apple Inc. Automatic avatar creation
WO2011155766A2 (ko) 2010-06-08 2011-12-15 엘지전자 주식회사 영상 처리 방법 및 그에 따른 영상 표시 장치
US8421873B2 (en) * 2010-07-30 2013-04-16 Hewlett-Packard Development Company, L.P. System comprising two lamps and an optical sensor
US8823739B2 (en) 2010-08-25 2014-09-02 International Business Machines Corporation Background replacement for videoconferencing
US8296456B2 (en) 2010-09-03 2012-10-23 United Video Properties, Inc. Systems and methods for displaying personalized media content
WO2012045188A1 (en) 2010-10-07 2012-04-12 Swisstom Ag Sensor device for electrical impedance tomography imaging, electrical impedance tomography imaging intrument and electrical impeance tomography method
US8494231B2 (en) 2010-11-01 2013-07-23 Microsoft Corporation Face recognition in video content
US9032314B2 (en) 2010-12-01 2015-05-12 Microsoft Technology Licensing, Llc Proposing visual display components for processing data
US20120167146A1 (en) 2010-12-28 2012-06-28 White Square Media Llc Method and apparatus for providing or utilizing interactive video with tagged objects
US20130274707A1 (en) 2010-12-30 2013-10-17 John Glyndwr Wilmot Three-Chambered Autoinjector
WO2012126135A1 (en) 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
CN108090940A (zh) * 2011-05-06 2018-05-29 西尔股份有限公司 基于文本的视频生成
JP2012238212A (ja) 2011-05-12 2012-12-06 Sony Corp 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
US8687039B2 (en) 2011-06-06 2014-04-01 Cisco Technology, Inc. Diminishing an appearance of a double chin in video communications
US10796494B2 (en) 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
CN103620646B (zh) * 2011-06-16 2019-06-04 皇家飞利浦有限公司 用于生成图像配准图的系统、方法及计算机可读介质
JP2013009073A (ja) 2011-06-23 2013-01-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及びサーバ
JP5773323B2 (ja) 2011-08-09 2015-09-02 インテル・コーポレーション 画像に基づくマルチビュー３ｄ顔生成
CN102446352B (zh) * 2011-09-13 2016-03-30 深圳万兴信息科技股份有限公司 视频图像处理方法及装置
JP5054252B1 (ja) 2011-11-04 2012-10-24 パナソニック株式会社 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
US9007427B2 (en) 2011-12-14 2015-04-14 Verizon Patent And Licensing Inc. Method and system for providing virtual conferencing
CN103999096B (zh) * 2011-12-16 2017-12-08 英特尔公司 用于视频数据背景区域的降低的图像质量
SE1250048A1 (sv) 2012-01-24 2013-07-25 Wesdyne Sweden Ab En bildförbättringsanordning för reduktion av brus i digitala bilder
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
US8810513B2 (en) 2012-02-02 2014-08-19 Kodak Alaris Inc. Method for controlling interactive display system
CN102665062B (zh) * 2012-03-16 2016-03-30 华为技术有限公司 一种使视频中目标物体图像稳定的方法及装置
KR20130120730A (ko) 2012-04-26 2013-11-05 한국전자통신연구원 변이 공간 영상의 처리 방법
GB2502986B (en) 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
US8982179B2 (en) 2012-06-20 2015-03-17 At&T Intellectual Property I, Lp Apparatus and method for modification of telecommunication video content
TWI563850B (en) 2012-09-07 2016-12-21 Hon Hai Prec Ind Co Ltd Spot detection system and method
US20140198177A1 (en) 2013-01-15 2014-07-17 International Business Machines Corporation Realtime photo retouching of live video
US9364147B2 (en) 2013-02-11 2016-06-14 Lifelens, Llc System, method and device for automatic noninvasive screening for diabetes and pre-diabetes
WO2014194439A1 (en) 2013-06-04 2014-12-11 Intel Corporation Avatar-based video encoding
US9892550B2 (en) 2013-10-08 2018-02-13 Here Global B.V. Photorealistic rendering of scenes with dynamic content
US10271010B2 (en) 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
US20150131924A1 (en) 2013-11-13 2015-05-14 Microsoft Corporation Creation of Rectangular Images from Input Images
EP2876605B1 (en) 2013-11-22 2016-04-06 Axis AB Gradient privacy masks
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US10283162B2 (en) 2014-02-05 2019-05-07 Avatar Merger Sub II, LLC Method for triggering events in a video
CN104378553A (zh) * 2014-12-08 2015-02-25 联想(北京)有限公司 一种图像处理方法及电子设备
US9232189B2 (en) * 2015-03-18 2016-01-05 Avatar Merger Sub Ii, Llc. Background modification in video conferencing
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327172A1 (en) * 2011-06-22 2012-12-27 Microsoft Corporation Modifying video regions using mobile device input

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514947B1 (en) 2014-02-05 2022-11-29 Snap Inc. Method for real-time video processing involving changing features of an object in the video

Also Published As

Publication number Publication date
WO2016149576A1 (en) 2016-09-22
KR102031135B1 (ko) 2019-10-11
EP3272115A1 (en) 2018-01-24
KR102173786B1 (ko) 2020-11-04
KR102417043B1 (ko) 2022-07-06
EP3272115B1 (en) 2022-10-26
KR20170128498A (ko) 2017-11-22
US10116901B2 (en) 2018-10-30
US20170019633A1 (en) 2017-01-19
KR20220003650A (ko) 2022-01-10
CN114900643A (zh) 2022-08-12
US11290682B1 (en) 2022-03-29
CN107637072A (zh) 2018-01-26
KR20190116566A (ko) 2019-10-14
KR20200125775A (ko) 2020-11-04

Similar Documents

Publication Publication Date Title
KR102346691B1 (ko) 비디오 회의에서의 배경 수정
US9232189B2 (en) Background modification in video conferencing
KR102380222B1 (ko) 비디오 회의에서의 감정 인식
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
US11006122B2 (en) Static video recognition
CN107646112B (zh) 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法
KR20210010517A (ko) 자세 교정
US10354125B2 (en) Photograph processing method and system
WO2024113779A1 (zh) 图像处理方法、装置及相关设备
CN113011271A (zh) 生成和处理图像的方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant