KR20210013371A

KR20210013371A - 비디오 스트림의 이미지 세그먼트화 및 수정

Info

Publication number: KR20210013371A
Application number: KR1020217002958A
Authority: KR
Inventors: 이고르 쿠드리아쇼브; 페디르 폴리아코브; 막심 구사로브
Original assignee: 스냅 인코포레이티드
Priority date: 2015-11-30
Filing date: 2016-11-29
Publication date: 2021-02-03
Also published as: US11663706B2; US11030753B2; US20220101536A1; US11961213B2; KR102516541B1; WO2017095807A1; US20200098114A1; KR102380029B1; CN108604378A; US10515454B2; KR102211641B1; CN116342622A; US20170262994A1; US10198819B2; CN108604378B; KR20220044608A; KR20230050469A; KR20180088436A; US20230252610A1; US20190206061A1

Abstract

클라이언트 디바이스를 이용해 비디오 스트림의 이미지를 세그먼트화하고, 관심 영역을 식별하고, 하나 이상의 이미지 내의 수정된 관심 영역을 생성하고, 제1 픽셀 세트 및 제2 픽셀 세트를 식별하고, 제1 픽셀 세트에 대한 컬러 값을 수정하기 위한 시스템들, 디바이스들, 매체들, 및 방법들이 제시된다.

Description

비디오 스트림의 이미지 세그먼트화 및 수정{IMAGE SEGMENTATION AND MODIFICATION OF A VIDEO STREAM}

우선권 주장

본 출원은 2015년 11월 30일자로 출원된 "IMAGE SEGMENTATION AND MODIFICATION OF A VIDEO STREAM"라는 명칭의 미국 특허 출원 제14/953,726호의 우선권의 이익을 주장하며, 이로써 그 각각의 우선권의 이익이 주장되며, 그 각각은 그 전체가 본 명세서에 인용에 의해 포함된다.

기술 분야

본 개시내용의 실시예들은 일반적으로 비디오 스트림의 자동화된 이미지 세그먼트화에 관한 것이다. 더 상세하게는, 본 개시내용은 비디오 스트림에 묘사된 얼굴 내의 식별된 관심 영역들의 이미지 세그먼트화를 위한 시스템들 및 방법들을 다루지만, 이들로 제한되지 않는다.

통신 애플리케이션들 및 디바이스들은 텍스트, 이미지, 사운드 레코딩, 및/또는 비디오 레코딩과 같은 다양한 매체를 이용하여 다수의 사용자들 사이의 통신을 제공할 수 있다. 예를 들어, 비디오 회의는 둘 이상의 개인이 소프트웨어 애플리케이션, 통신 디바이스, 및 통신 네트워크의 조합을 이용하여 서로 통신하는 것을 가능하게 한다. 통신 디바이스들은 비디오 스트림들을 레코딩하여 통신 네트워크를 통해 메시지들로서 전송할 수도 있다.

첨부된 도면들의 다양한 도면들은 본 개시내용의 예시적인 실시예를 예시할 뿐이고 그 범위를 제한하는 것으로서 간주되어서는 안 된다.
도 1은 일부 예시적인 실시예들에 따른, 네트워킹된 시스템을 예시하는 블록도이다.
도 2는 일부 예시적인 실시예들에 따른, 이미지 세그먼트화 시스템을 예시하는 도이다.
도 3은 일부 예시적인 실시예들에 따른, 비디오 스트림 내의 이미지들을 세그먼트화하고, 세그먼트화에 기초하여 비디오 스트림의 부분들을 수정하기 위한 예시적인 방법을 예시하는 흐름도이다.
도 4는 일부 예시적인 실시예들에 따른, 비디오 스트림의 하나 이상의 이미지 내의 관심 영역을 예시한다.
도 5는 일부 예시적인 실시예들에 따른, 관심 영역의 이진화된 이미지를 예시한다.
도 6은 일부 예시적인 실시예들에 따른, 비디오 스트림 내의 이미지들을 세그먼트화하고, 세그먼트화에 기초하여 비디오 스트림의 부분들을 수정하기 위한 예시적인 방법을 예시하는 흐름도이다.
도 7는 일부 예시적인 실시예들에 따른, 노이즈 픽셀들을 갖는 관심 영역의 이진화된 이미지를 예시한다.
도 8은 일부 예시적인 실시예들에 따른, 비디오 스트림에서 관심 객체를 추적하고 수정하기 위한 예시적인 방법을 예시하는 흐름도이다.
도 9는 일부 예시적인 실시예들에 따른, 관심 영역 내의 마킹된 픽셀들의 세트를 예시한다.
도 10은 일부 예시적인 실시예들에 따른, 예시적인 모바일 디바이스 및 모바일 운영 체제 인터페이스를 도시하는 사용자 인터페이스 도이다.
도 11은 일부 예시적인 실시예들에 따른, 머신 상에 설치될 수 있는 소프트웨어 아키텍처의 예를 예시하는 블록도이다.
도 12은 예시적인 실시예에 따른, 컴퓨터 시스템 형태의 머신의 도식적 표현을 나타내는 블록도로서, 그 안에서 머신으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하게 하기 위한 명령들의 세트가 실행될 수 있다.
본 명세서에서 제공된 표제들은 단지 편의를 위한 것이며 반드시 사용된 용어들의 범위 또는 의미에 영향을 미치지는 않는다.

이하의 설명은 개시내용의 실시예들의 예증이 되는 시스템들, 방법들, 기법들, 명령 시퀀스들, 및 컴퓨팅 머신 프로그램 제품들을 포함한다. 이하의 설명에서는, 설명의 목적을 위해, 많은 특정 상세사항이 본 발명의 주제의 다양한 실시예들에 대한 이해를 제공하기 위해 개시된다. 그러나, 본 기술분야의 통상의 기술자들에게는, 본 발명의 주제의 실시예들은 이러한 특정 상세사항 없이도 실시될 수 있다는 것이 명백할 것이다. 일반적으로, 공지된 명령 인스턴스들, 프로토콜들, 구조들 및 기법들은 반드시 상세하게 제시되지는 않는다.

통신 애플리케이션들 및 디바이스들이 2개의 디바이스 간의 양방향 비디오 통신을 제공하기 위해 존재하지만, 통신 세션 동안 비디오 스트림 내의 이미지들을 수정하는 것과 같은, 비디오 스트리밍에서의 문제들이 존재할 수 있다. 비디오를 편집하거나 수정하기 위해 일반적으로 허용되는 방법들은 비디오가 캡처되거나 비디오 통신이 수행될 때 비디오 또는 비디오 통신을 수정한다. 따라서, 본 기술분야에서는 여전히 디바이스들 간의 비디오 통신을 개선할 필요가 있다.

본 개시내용의 실시예들은 일반적으로 비디오 스트림의 자동화된 이미지 세그먼트화에 관한 것이다. 일부 실시예들은 비디오 스트림에 묘사된 얼굴 내의 식별된 관심 영역들의 이미지 세그먼트화에 관한 것이다. 예를 들어, 일 실시예에서, 디바이스 상에서 동작하는 애플리케이션이 디바이스에 의해 캡처된 비디오를 수신한다. 디바이스에 의해 캡처된 비디오는 모바일 디바이스들 사이의 비디오 회의 또는 비디오 채팅과 같은 비디오 스트림이다. 애플리케이션은 비디오 스트림 내 입과 입 안의 노출된 치아들을 식별한다. 애플리케이션은 비디오 스트림에 걸쳐 노출된 치아들을 추적한다. 디바이스의 카메라로부터 비디오 스트림을 수신하고 비디오 스트림을 다른 모바일 디바이스에 전송하는 동안, 애플리케이션은 비디오 스트림에서 치아들이 보일 때, 비디오 스트림에서 노출된 치아들을 수정한다. 애플리케이션은 치아들을 하얗게 함으로써 치아들을 수정한다. 애플리케이션을 실행하는 모바일 디바이스로부터 비디오 회의 스트리밍을 수신하는 모바일 디바이스는 비디오 채팅 중인 사람의 치아들을 하얗게 디스플레이한다. 애플리케이션은 또한 치아들의 컬러를 원하는 컬러로 변경하고, 컬러들 간에 로테이션하고, 다수의 컬러를 디스플레이할 수 있다.

상기한 것은 하나의 특정한 예이다. 본 개시내용의 다양한 실시예들은 비디오 스트림이 캡처되는 동안 디바이스에 의해 다른 디바이스에 전송된 비디오 스트림을 수정(예를 들어, 실시간으로 비디오 스트림을 수정)하기 위한 디바이스의 하나 이상의 프로세서에 의한 명령들 및 디바이스들에 관한 것이다. 비디오 스트림에 걸쳐 그리고 비디오 스트림을 포함하는 이미지 세트를 통해 관심 객체들을 식별하고 추적하는 이미지 세그먼트화 시스템이 설명된다. 다양한 예시적인 실시예들에서, 이미지 세그먼트화 시스템은 비디오 스트림에 묘사된 하나 이상의 얼굴 피처들을 식별하고 추적한다. 얼굴 피처들에 관하여 설명되었지만, 이미지 세그먼트화 시스템은 아래에 논의된 바와 같이 임의의 관심 객체를 추적할 수 있음을 이해해야 한다.

이미지 세그먼트화 시스템은 촬상 디바이스로부터 비디오 스트림을 수신하고 비디오 스트림의 이미지들 내에서 관심 객체의 대략적인 위치를 식별한다. 관심 객체 주변에서 관심 영역이 식별된다. 일부 실시예들에서, 관심 영역 외부의 이미지 데이터를 제거하기 위해 관심 객체를 포함하는 이미지들이 비디오 스트림의 부분에서 크로핑(crop)된다. 이미지 세그먼트화 시스템은 콘트라스트를 증가시키고 픽셀 값들을 조작하여 관심 영역 내의 관심 객체를 식별하고 관심 객체를 관심 영역의 다른 객체들, 형상들, 텍스처들, 또는 다른 피처들로부터 분리하기 위해 관심 영역에 대해 하나 이상의 이미지 처리 동작을 수행할 수 있다. 일단 관심 객체에 대해 특정한 픽셀들이 식별되면, 이미지 세그먼트화 시스템은 비디오 스트림의 다른 부분들에 걸쳐 관심 객체의 픽셀들을 추적할 수 있다. 일부 실시예들에서, 이미지 세그먼트화 시스템은 이미지 내의 다른 포인트들에 관련하여 관심 객체의 픽셀들의 상대적 위치를 식별하고, 관심 객체의 위치에 대응하는 픽셀들을 추적함으로써 비디오 스트림 내의 관심 객체의 값들을 수정한다. 이미지 세그먼트화 시스템은 관심 객체를 나타내는 픽셀들에 대한 컬러 값들을 변경함으로써 비디오 스트림 내의 관심 객체의 외관을 수정할 수 있다. 일부 예들에서, 이미지 세그먼트화 시스템은 관심 객체의 외관을 수정하기 위해 이미지 계층을 생성하여, 이미지 계층을 비디오 스트림 내의 이미지들 상에 오버레이한다.

도 1은 일 실시예에 따른, 네트워크를 통해 데이터를 교환하도록 구성된 클라이언트-서버 아키텍처를 갖는 네트워크 시스템(100)을 도시하는 네트워크 도이다. 예를 들어, 네트워크 시스템(100)은 클라이언트들이 네트워크 시스템(100) 내에서 통신하고 데이터를 교환하는 메시징 시스템일 수 있다. 데이터는 네트워크 시스템(100) 및 그의 사용자들과 연관된 다양한 기능들(예를 들어, 텍스트 및 미디어 통신의 전송 및 수신, 지리 위치의 결정 등) 및 양태들(예를 들어, 통신 데이터의 전달, 통신 세션의 수신 및 전송 표시 등)에 관련될 수 있다. 본 명세서에서는 클라이언트-서버 아키텍처를 갖는 것으로 예시되어 있지만, 다른 실시예들은, 피어-투-피어 또는 분산형 네트워크 환경와 같은 다른 네트워크 아키텍처들을 포함할 수 있다.

도 1에 도시된 바와 같이, 네트워크 시스템(100)은 소셜 메시징 시스템(130)을 포함한다. 소셜 메시징 시스템(130)은 일반적으로, 인터페이스 계층(124), 애플리케이션 로직 계층(126), 및 데이터 계층(128)으로 구성된 3-계층 아키텍처에 기초한다. 관련 컴퓨터 및 인터넷 관련 분야의 숙련된 기술자들에 의해 이해되는 바와 같이, 도 1에 도시된 각 모듈 또는 엔진은 실행가능한 소프트웨어 명령들의 세트 및 그 명령들을 실행하기 위한 대응하는 하드웨어(예를 들어, 메모리 및 프로세서)를 나타내어, 하드웨어 구현 모듈 또는 엔진을 형성하며, 명령들의 실행시에, 기능들의 특정한 세트를 수행하도록 구성된 특수 목적 머신의 역할을 한다. 불필요한 상세사항으로 본 발명의 주제를 모호하게 하는 것을 피하기 위해, 본 발명의 주제에 대한 이해를 전달하는 것과 밀접하지 않은 다양한 기능 모듈 및 엔진들은 도 1에서 생략되었다. 물론, 본 명세서에서 구체적으로 설명되지 않은 추가의 기능을 가능하게 하기 위해, 도 1에 예시된 것과 같은 소셜 메시징 시스템과 함께 추가의 기능 모듈들 및 엔진들이 이용될 수 있다. 게다가, 도 1에 도시된 다양한 기능 모듈들 및 엔진들은 단일 서버 컴퓨터 또는 클라이언트 디바이스 상에 존재할 수 있거나, 다양한 배열로 수 개의 서버 컴퓨터들 또는 클라이언트 디바이스들에 걸쳐 분산될 수 있다. 게다가, 비록 소셜 메시징 시스템(130)이 도 1에서는 3-계층 아키텍처를 갖는 것으로 도시되어 있지만, 본 발명의 주제는 결코 그러한 아키텍처로 제한되지 않는다.

도 1에 도시된 바와 같이, 인터페이스 계층(124)은, 클라이언트 애플리케이션(들)(112)을 실행하는 클라이언트 디바이스들(110), 및 제3자 애플리케이션(들)(122)을 실행하는 제3자 서버들(120)과 같은, 다양한 클라이언트 컴퓨팅 디바이스들 및 서버들로부터 요청들을 수신하는, 인터페이스 모듈들(예를 들어, 웹 서버)(140)로 구성된다. 수신된 요청들에 응답하여, 인터페이스 모듈(140)은 적절한 응답들을 네트워크(104)를 통해 요청 디바이스들에 전달한다. 예를 들어, 인터페이스 모듈(140)은, HTTP(Hypertext Transfer Protocol) 요청들, 또는 다른 웹 기반 API(Application Programming Interface) 요청들과 같은 요청들을 수신할 수 있다.

클라이언트 디바이스들(110)은, 매우 다양한 모바일 컴퓨팅 디바이스들 및 모바일-특유의 운영 체제들(예를 들어, IOS™, ANDROID™, WINDOWS® PHONE) 중 임의의 것을 포함하는 특정한 플랫폼을 위해 개발된 종래의 웹 브라우저 애플리케이션들 또는 애플리케이션들(또한 "앱들"이라고도 불림)을 실행할 수 있다. 게다가, 일부 예시적인 실시예들에서, 클라이언트 디바이스들(110)은 이미지 세그먼트화 시스템(160)의 모듈들이 클라이언트 디바이스(110)를 이미지 세그먼트화 시스템(160)의 동작들에 관하여 특정한 세트의 기능들을 수행하도록 구성하도록 이미지 세그먼트화 시스템(160)의 전부 또는 일부를 형성한다.

한 예에서, 클라이언트 디바이스들(110)은 클라이언트 애플리케이션(들)(112)을 실행하고 있다. 클라이언트 애플리케이션(들)(112)은 소셜 메시징 시스템(130)과 정보를 교환하기 위해 사용자(106)에게 정보를 제시하고 네트워크(104)를 통해 전달하는 기능을 제공할 수 있다. 게다가, 일부 실시예들에서, 클라이언트 디바이스들(110)은 이미지 세그먼트화 시스템(160)의 기능을 실행하여 비디오 스트림들의 캡처 동안 비디오 스트림들의 이미지들을 세그먼트화하고 비디오 스트림들을 전송한다(예를 들어, 비디오 스트림의 세그먼트화된 이미지에 기초하여 수정된 이미지 데이터와 함께).

클라이언트 디바이스들(110) 각각은 소셜 메시징 시스템(130), 다른 클라이언트 디바이스들, 및 제3자 서버들(120)에 액세스하기 위해 적어도 디스플레이 및 네트워크(104)와의 통신 능력을 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 디바이스(110)는, 원격 디바이스, 워크 스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 웨어러블 컴퓨터, 셀룰러 또는 모바일 폰, 개인 휴대 정보 단말기(PDA), 스마트폰, 태블릿, 울트라북, 넷북, 랩톱, 데스크톱, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍가능한 소비자 전자 기기, 게임 콘솔, 셋톱 박스, 네트워크 PC, 미니 컴퓨터 등을 포함하지만, 이들로 제한되지 않는다. 사용자(106)는, 사람, 머신, 또는 클라이언트 디바이스들(110)과 상호작용하는 다른 수단일 수 있다. 일부 실시예들에서, 사용자(106)는 클라이언트 디바이스들(110)을 통해 소셜 메시징 시스템(130)과 상호작용한다. 사용자(106)는 네트워크 환경의 부분이 아닐 수 있지만, 클라이언트 디바이스들(110)과 연관될 수 있다.

도 1에 도시된 바와 같이, 데이터 계층(128)은 정보 스토리지 저장소들 또는 데이터베이스들(134)로의 액세스를 가능하게 하는 데이터베이스 서버들(132)을 갖는다. 데이터베이스들(134)은 멤버 프로파일 데이터, 소셜 그래프 데이터(예를 들어, 소셜 메시징 시스템(130)의 멤버들 사이의 관계들), 이미지 수정 선호도 데이터, 액세스 가능성 데이터, 및 다른 사용자 데이터와 같은 데이터를 저장하는 스토리지 디바이스들이다.

개인은 소셜 메시징 시스템(130)에 등록하여 소셜 메시징 시스템(130)의 멤버가 될 수 있다. 일단 등록되고 나면, 멤버는 소셜 메시징 시스템(130) 상에서 소셜 네트워크 관계들(예를 들어, 친구, 팔로워, 또는 연락처)을 형성할 수 있고, 소셜 메시징 시스템(130)에 의해 제공되는 광범위한 애플리케이션들과 상호작용할 수 있다.

애플리케이션 로직 계층(126)은 다양한 애플리케이션 로직 모듈들(150)을 포함하며, 애플리케이션 로직 모듈들(150)은, 인터페이스 모듈들(140)과 함께, 데이터 계층(128) 내의 다양한 데이터 소스들 또는 데이터 서비스들로부터 검색된 데이터를 갖는 다양한 사용자 인터페이스들을 생성한다. 개개의 애플리케이션 로직 모듈들(150)은, 소셜 메시징 시스템(130)의 다양한 애플리케이션들, 서비스들 및 피처들과 연관된 기능을 구현하는 데 이용될 수 있다. 예를 들어, 소셜 메시징 애플리케이션은 애플리케이션 로직 모듈들(150)로 구현될 수 있다. 소셜 메시징 애플리케이션은, 클라이언트 디바이스들(110)의 사용자들이 텍스트와 사진 및 비디오와 같은 미디어 콘텐츠를 포함하는 메시지들을 송수신하기 위한 메시징 메커니즘을 제공한다. 클라이언트 디바이스(110)는 명시된 기간(예를 들어, 제한된 또는 무제한적인) 동안 소셜 메시징 애플리케이션으로부터의 메시지들에 액세스하여 볼 수 있다. 한 예에서, 특정한 메시지는, 특정한 메시지가 처음 액세스될 때 시작되는(예를 들어, 메시지 전송자에 의해 명시된) 미리 정의된 지속기간 동안 메시지 수신자에게 액세스될 수 있다. 미리 정의된 지속기간이 경과한 후에, 메시지는 삭제되고 더 이상 메시지 수신자에게 액세스될 수 없다. 물론, 다른 애플리케이션 및 서비스들은 그들 자신의 애플리케이션 로직 모듈들(150)에서 별개로 구현될 수 있다.

도 1에 예시된 바와 같이, 소셜 메시징 시스템(130)은 클라이언트 디바이스(110)에 의한 비디오 데이터의 캡처 동안 비디오 데이터를 식별, 추적, 및 수정할 수 있는 이미지 세그먼트화 시스템(160)의 적어도 부분을 포함할 수 있다. 유사하게, 클라이언트 디바이스(110)는 위에 설명된 바와 같이 이미지 세그먼트화 시스템(160)의 부분을 포함한다. 다른 예들에서, 클라이언트 디바이스(110)는 이미지 세그먼트화 시스템(160)의 전체를 포함할 수 있다. 클라이언트 디바이스(110)가 이미지 세그먼트화 시스템(160)의 부분(또는 전부)을 포함하는 예들에서, 클라이언트 디바이스(110)는 단독으로 동작하거나 또는 소셜 메시징 시스템(130)과 협력하여 본 명세서에 설명된 이미지 세그먼트화 시스템(160)의 기능을 제공할 수 있다.

일부 실시예들에서, 소셜 메시징 시스템(130)은 시청 시간 또는 시청 완료와 같은 삭제 트리거 이벤트 후에 콘텐츠(예를 들어, 비디오 클립들 또는 이미지들)가 삭제되는 단기적 통신을 가능하게 하는 단기적 메시지 시스템일 수 있다. 그러한 실시예들에서, 디바이스는 단기적 메시지의 생성, 전송, 수신, 또는 디스플레이 양태들 중 임의의 것의 맥락 내에서 본 명세서에서 설명된 다양한 모듈들을 이용한다. 예를 들어, 이미지 세그먼트화 시스템(160)을 구현하는 디바이스는 비디오 클립에 묘사된 입 안의 노출된 치아들의 세트와 같은 관심 객체를 식별, 추적 및 수정할 수 있다. 디바이스는 단기적인 메시지에 대한 콘텐츠의 생성의 일부로서 비디오 클립의 캡처 후에 이미지 처리 없이 비디오 클립의 캡처 동안 관심 객체를 수정할 수 있다.

도 2에서, 다양한 실시예들에서, 이미지 세그먼트화 시스템(160)은 독립형 시스템으로서 구현되거나 클라이언트 디바이스(110)와 함께 구현될 수 있고, 반드시 소셜 메시징 시스템(130)에 포함되는 것은 아니다. 이미지 세그먼트화 시스템(160)은 위치 모듈(210), 비디오 처리 모듈(220), 식별 모듈(230), 수정 모듈(240), 추적 모듈(250), 및 통신 모듈(260)을 포함하는 것으로 도시되어 있다. 모듈들(210-260)의 전부 또는 일부는, 예를 들어, 네트워크 결합, 공유된 메모리 등을 통해 서로 통신한다. 모듈들(210-260)의 각 모듈은 단일 모듈로서 구현되거나, 다른 모듈들 내에 결합되거나, 또는 다수의 모듈들로 더 세분될 수 있다. 예시적인 실시예들과 관련이 없는 다른 모듈들도 포함될 수 있지만, 도시되어 있지는 않다.

위치 모듈(210)은 이미지 세그먼트화 시스템(160) 내에서 찾는 동작들을 수행한다. 다양한 예시적인 실시예들에서, 위치 모듈(210)은 비디오 스트림의 이미지들(예를 들어, 비디오 스트림의 하나 이상의 프레임)에 의해 묘사된 관심 객체에 대한 위치들을 식별하고 제공한다. 일부 실시예들에서, 위치 모듈(210)은 얼굴 추적 모듈 또는 시스템의 부분일 수 있다. 일부 예들에서, 관심 객체가 얼굴의 부분인 경우, 위치 모듈(210)은 비디오 스트림 내의 하나 이상의 이미지에 묘사된 얼굴 및 얼굴 상에 묘사된 하나 이상의 얼굴 피처의 위치를 식별한다. 예를 들어, 위치 모듈(210)이 입 안의 노출된 치아들을 찾도록 구성되는 경우, 위치 모듈(210)은 이미지 내에 묘사된 얼굴을 식별하고, 얼굴 상의 입을 식별하고, 입을 포함하는 비디오 스트림의 이미지들의 부분 내에서 노출된 치아들을 식별할 수 있다.

적어도 일부 실시예들에서, 위치 모듈(210)은 관심 객체를 포함하는 하나 이상의 이미지 내의 관심 영역을 찾는다. 예를 들어, 위치 모듈(210)에 의해 식별된 관심 영역은 관심 객체가 나타나는 직사각형과 같은, 비디오 스트림 내의 이미지의 부분일 수 있다. 직사각형으로 참조되었지만, 관심 영역은 아래에 설명된 바와 같이 임의의 적합한 형상 또는 형상들의 조합일 수 있다. 예를 들어, 관심 영역은 원형, 다각형 또는 관심 객체를 포함하는 그리고 그와 유사하게 형상 및 크기가 설정된 윤곽(예를 들어, 입, 벽, 차량의 윤곽)으로 표현될 수 있다.

일부 실시예들에서, 위치 모듈(210)은 크로핑 기능들을 수행한다. 예를 들어, 이미지 내의 관심 영역을 결정한 후, 위치 모듈(210)은 이미지를 크로핑하여, 관심 영역 외부의 영역들을 고려으로부터 제거한다. 일부 예들에서, 크로핑 후에, 관심 영역은 이미지 세그먼트화 시스템(160)의 하나 이상의 다른 모듈에 의해 처리된다. 다른 모듈들에 의해 처리되는 경우, 위치 모듈(210)은 단독으로 또는 통신 모듈(260)과 협력하여 크로핑된 관심 영역을 하나 이상의 다른 모듈(예를 들어, 비디오 처리 모듈(220))에 전달한다.

비디오 처리 모듈(220)은 비디오 스트림 내의 하나 이상의 이미지 상에서 위치 모듈(210)에 의해 식별된 관심 영역 중 하나 이상에 대해 하나 이상의 비디오 처리 기능을 수행한다. 다양한 실시예들에서, 비디오 처리 모듈(220)은 비디오 스트림의 하나 이상의 이미지의 관심 영역을 이진 관심 영역으로 변환하는데, 여기서 각 픽셀은 2개의 값 중 하나를 갖는다. 아래 설명된 바와 같이, 비디오 처리 모듈(220)에 의해 생성된 이진 이미지는 이진화된 이미지 영역 내의 임의의 픽셀에 대해 0 또는 1의 2개의 가능한 값을 포함한다. 비디오 처리 모듈(220)은 묘사된 관심 객체를 콘트라스팅 컬러 이미지로서 나타내도록 관심 영역 또는 비디오의 하나 이상의 이미지를 변환할 수 있다. 예를 들어, 이진화된 이미지 내의 픽셀들은 흑색(예를 들어, 1의 값) 및 백색(예를 들어, 0의 값)만을 나타내는 것으로 변환될 수 있다. 본 개시내용은 흑색 및 백색 픽셀들로 구성된 콘트라스팅 이미지로서 설명되었지만, 비디오 처리 모듈(220)은 비디오 스트림의 하나 이상의 이미지의 관심 영역을 임의의 2개의 콘트라스팅 컬러(예를 들어, 적색 대 청색)로 변환할 수 있다. 일단 이진화되면, 비디오 처리 모듈(220)은 이진화된 관심 영역을 이미지 세그먼트화 시스템(160)의 하나 이상의 추가의 모듈에 전송하거나 달리 전달할 수 있다. 예를 들어, 비디오 처리 모듈(220)은, 단독으로 또는 통신 모듈(260)과 협력하여, 이진화된 관심 영역을 식별 모듈(230)에 전달할 수 있다.

일부 실시예들에서, 비디오 처리 모듈(220)은 제1 픽셀 세트 또는 제2 픽셀 세트에 의해 표현되는 관심 객체의 형상, 크기, 및 픽셀 영역을 유지하면서 제1 픽셀 세트과 제2 픽셀 세트 사이의 콘트라스트를 증가시키기 위해 관심 영역을 이진화하거나 반복적인 프로세스를 통해 이진화된 관심 영역을 생성하지 않고 제1 픽셀 세트와 제2 픽셀 세트 사이의 콘트라스트를 증가시키도록 관심 영역을 처리한다.

식별 모듈(230)은 비디오 처리 모듈(220)에 의해 수정된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별한다. 식별 모듈(230)은 제1 픽셀 세트와 제2 픽셀 세트 사이의 상이한 컬러 값들에 기초하여 또는 임계치 값과, 제1 픽셀 세트, 제2 픽셀 세트의 컬러 값들에서의 차이들의 조합에 기초하여 픽셀 세트들을 식별할 수 있다.

일부 실시예들에서, 식별 모듈(230)은 비디오 스트림의 이미지 세트 내의 제1 픽셀 세트를 마킹하여, 마킹된 픽셀들의 세트를 생성한다. 일부 예들에서, 식별 모듈(230)은 또한 비디오 스트림 또는 관심 영역의 이미지들 내의 참조 랜드마크 세트에 관하여 제1 픽셀 세트에 대한 위치를 식별한다. 식별 모듈(230)은 비디오 스트림 내의 제1 이미지 세트 및 제2 이미지 세트 중 하나 이상 내의 제1 픽셀 세트에 대한 컬러 값들을 식별한다. 제1 픽셀 세트가 마킹된 경우, 식별 모듈(230)은 추적 모듈(250)과 협력하여 마킹된 픽셀들에 대응하는 비디오 스트림의 제2 이미지 세트의 픽셀들을 식별하고 대응하는 픽셀들에 대한 컬러 값들을 식별할 수 있다.

수정 모듈(240)은 추적 모듈(250)의 추적에 기초하여, 비디오 스트림의 제2 이미지 세트 내의 관심 객체 또는 관심 객체의 부분에 대해 하나 이상의 수정을 수행할 수 있다. 예를 들어, 추적 모듈(250)은 비디오 스트림의 제2 이미지 세트 내에서 관심 객체의 부분들의 위치들을 식별하고 그 위치들을 수정 모듈(240)에 전달할 수 있다. 차례로, 수정 모듈(240)은 관심 객체의 부분들에 대해 하나 이상의 수정을 수행하여 비디오 스트림의 수정된 제2 이미지 세트를 생성할 수 있다. 그 후 수정 모듈(240)은 비디오 스트림이 캡처되는 동안 다른 클라이언트 디바이스, 소셜 메시징 시스템(130) 또는 클라이언트 디바이스(110)의 스토리지 디바이스로의 전송을 위해 비디오 스트림의 수정된 제2 이미지 세트를 통신 모듈(260)에 전달할 수 있다. 일부 실시예들에서, 수정 모듈(240)은 둘 이상의 클라이언트 디바이스 사이의 전이중 통신(full duplex communication)에서 비디오 스트림의 수정된 제2 이미지 세트의 전송을 위해 실시간으로 수정들을 수행할 수 있다. 예를 들어, 추적 모듈(250)이 식별 모듈(230)에 의해 식별된 마킹된 픽셀들 또는 랜드마크들을 추적하는 경우, 수정 모듈(240)은 비디오 스트림(예를 들어, 비디오 회의)의 제2 이미지 세트 내의 관심 객체의 컬러를 수정(예를 들어, 입 안의 노출된 치아들을 하얗게) 하여 비디오 스트림의 수정된 제2 이미지 세트를 생성할 수 있다. 수정 모듈(240)은 통신 모듈(260)과 협력하여, 비디오 스트림의 수정된 제2 이미지 세트를 클라이언트 디바이스(110)로부터 하나 이상의 다른 클라이언트 디바이스로 전송할 수 있다.

추적 모듈(250)은 식별 모듈(230)에 의해 생성된 데이터(예를 들어, 식별된 픽셀들, 마킹된 픽셀들, 랜드마크 참조 픽셀들)에 부분적으로 기초하여 관심 객체 및 관심 객체의 부분 중 적어도 하나를 추적한다. 일부 실시예들에서, 추적 모듈(250)은 비디오 스트림의 제2 이미지 세트의 하나 이상의 이미지 내의 대응하는 픽셀들을 식별하고 추적한다. 대응하는 픽셀들은 비디오 스트림의 제2 이미지 세트 내의 제1 픽셀 세트(예를 들어, 관심 객체)를 나타낸다. 일부 예들에서, 추적 모듈(250)은 식별된 랜드마크들에 기초하여 또는 랜드마크 세트로서 마킹된 픽셀들(예를 들어, 대응하는 픽셀들)을 추적한다. 예를 들어, 마킹된 픽셀들은 이진 마스크의 다른 랜드마크들에 관하여 식별된 위치들로 추적하기 위한 추가의 랜드마크 포인트들로서 이진 마스크에 포함될 수 있다. 추적 모듈(250)은 또한 관심 객체가 비디오 스트림의 제2 이미지 세트의 이미지 내에 디스플레이되는지에 기초하여 수정 모듈(240)로 하여금 픽셀들을 수정하거나 또는 수정을 삼가하게 하기 위해 관심 객체의 방해물들을 추적할 수 있다.

통신 모듈(260)은 다양한 통신 기능을 제공한다. 예를 들어, 통신 모듈(260)은 클라이언트 디바이스(110)의 입력으로부터 수신된 데이터를 나타내는 통신 데이터를 수신한다. 통신 데이터는 저장을 위해 또는 다른 사용자의 클라이언트 디바이스로의 전송을 위해 클라이언트 디바이스(110) 상에서 사용자에 의해 생성된 수정된 비디오 스트림을 나타낼 수 있다. 통신 모듈(260)은 통신 네트워크를 통해 클라이언트 디바이스들 사이의 통신 데이터의 전송을 야기할 수 있다. 통신 모듈(260)은, 데이터베이스 서버들(132), 클라이언트 디바이스들(110), 및 제3자 서버들(120)과 네트워크 통신을 교환한다. 통신 모듈(260)에 의해 검색된 정보는, 본 명세서에 설명된 기능을 가능하게 하기 위해 사용자와 연관된 데이터(예를 들어, 온라인 계정으로부터의 멤버 프로파일 데이터 또는 소셜 네트워크 서비스 데이터) 또는 다른 데이터를 포함한다. 일부 실시예들에서, 통신 모듈(260)은 위치 모듈(210), 비디오 처리 모듈(220), 식별 모듈(230), 수정 모듈(240), 및 추적 모듈(250) 중 하나 이상 사이의 통신을 야기한다.

도 3은 비디오 스트림의 부분들을 세그먼트화하고 세그먼트화에 기초하여 비디오 스트림의 부분들을 수정하기 위한 예시적인 방법(300)을 예시하는 흐름도를 도시한다. 방법(300)의 동작들은 이미지 세그먼트화 시스템(160)의 컴포넌트들에 의해 수행될 수 있으며, 예시의 목적으로 이하에서 설명된다.

동작(310)에서, 위치 모듈(210)은 비디오 스트림 내의 관심 객체의 대략적인 위치를 결정한다. 비디오 스트림은 이미지 세트를 포함한다. 일부 실시예들에서, 비디오 스트림의 이미지 세트는 제1 이미지 세트 및 제2 이미지 세트로 분할된다. 이들 예에서, 제1 이미지 세트는 이미지 세그먼트화 시스템(160)이 하나 이상의 이미지를 처리하고 관심 객체 및 비디오 스트림 내의 하나 이상의 참조 객체와 관심 객체 사이의 관계를 식별하는 비디오 스트림의 부분을 나타낸다. 제2 이미지 세트는 이미지 세그먼트화 시스템(160)이 관심 객체를 추적하는 비디오 스트림의 부분을 나타낸다. 이미지 세그먼트화 시스템(160)은 제2 이미지 세트 내의 추적된 관심 객체의 하나 이상의 양태를 수정할 수 있다.

다양한 예시적인 실시예들에서, 위치 모듈(210)은 미리 결정된 객체 또는 객체 유형을 식별하고 찾도록 구성된다. 예를 들어, 위치 모듈(210)은 비디오 스트림에 나타나는 벽, 차량, 얼굴 피처, 또는 임의의 다른 객체를 식별하고 찾도록 구성될 수 있다. 일부 예들에서, 위치 모듈(210)은 복수의 객체 유형으로부터 선택된 객체를 식별하도록 구성된다. 객체가 복수의 객체 유형으로부터 선택되는 경우, 이미지 세그먼트화 시스템(160)은 객체들의 리스트, 표, 또는 다른 세트로부터 객체를 선택하는 사용자 입력을 수신할 수 있다. 객체는 또한 이미지 세그먼트화 시스템(160)에 의해 자동으로 선택될 수 있다.

이미지 세그먼트화 시스템(160)이 복수의 객체 유형으로부터 객체를 선택하는 경우, 이미지 세그먼트화 시스템(160)은 비디오 스트림 내의 하나 이상의 객체를 복수의 객체의 멤버들로서 식별한다. 이미지 세그먼트화 시스템(160)은 위치, 두드러짐(prominence), 크기, 또는 임의의 다른 적합한 것에 기초하여 하나 이상의 객체로부터 관심 객체를 결정할 수 있다. 일부 예들에서, 이미지 세그먼트화 시스템(160)은 하나 이상의 객체 중 이미지의 중심에 근접하여 위치되는 객체를 선택함으로써 하나 이상의 객체로부터 관심 객체를 식별한다. 일부 실시예들에서, 이미지 세그먼트화 시스템(160)은 제1 이미지 세트의 복수의 이미지에서 객체의 위치에 기초하여 관심 객체를 식별한다. 예를 들어, 객체가 두드러지게(예를 들어, 이미지의 중심에 근접하여) 위치되고 제1 이미지 세트의 어떤 백분율 또는 수의 이미지들에서 검출되는 경우(예를 들어, 그 백분율 또는 수가 미리 결정된 임계치를 초과하는 경우), 이미지 세그먼트화 시스템(160)은 객체를 선택한다.

일부 실시예들에서, 위치 모듈(210)은 도 4에 도시된 바와 같이 비디오 스트림 내의(예를 들어, 비디오 스트림의 제1 이미지 세트 내의) 입(410)의 대략적인 위치를 결정한다. 위치 모듈(210)이 입을 결정하는 경우, 위치 모듈(210)은 얼굴 추적 동작 세트를 이용하여 이미지, 또는 이미지 세트 내에 묘사된 얼굴의 하나 이상의 랜드마크를 결정하고, 입을 나타내는 랜드마크들을 식별할 수 있다.

동작(320)에서, 위치 모듈(210)은 제1 이미지 세트의 하나 이상의 이미지 내의 관심 영역을 식별한다. 관심 영역은 관심 객체의 대략적인 위치를 포함하는 하나 이상의 이미지의 부분이다. 일부 예들에서, 관심 객체가 입인 경우, 관심 영역은 입(예를 들어, 입의 폭은 입의 각 모서리에 있는 이음매 사이에서 연장됨)과 입 주변의 얼굴의 부분을 포함하도록, 얼굴의 폭의 부분을 가로질러 연장되는, 이미지 또는 이미지 세트의 부분이다. 관심 영역은 또한 입(예를 들어, 입의 높이는 윗입술의 최상위 주홍색 경계와 아랫입술의 최하위 주홍색 경계 사이에 연장됨)과 입 주변의 얼굴의 부분을 포함하도록 얼굴의 높이의 부분을 가로질러 연장될 수 있다.

일부 실시예들에서, 관심 객체가 입인 경우, 도 4에 도시된 바와 같이, 관심 영역은 입(410)과 얼굴(420)의 부분을 둘러싸는, 구획된 영역이거나, 구획된 영역(400)에 의해 표현될 수 있다. 구획된 영역은 직사각형, 원, 타원, 또는 임의의 다른 적합한 구획 영역의 형상으로 이루어질 수 있다. 관심 객체인 입이 하나 이상의 얼굴 추적 동작을 통해 얼굴 랜드마크들을 이용하여 식별되는 경우, 관심 영역은 이미지의 미리 결정된 부분을 포함하거나 입에 대해 식별된 임의의 랜드마크로부터 미리 결정된 거리만큼 연장되는, 이미지, 또는 이미지 세트의 부분일 수 있다. 예를 들어, 관심 영역은 이미지, 또는 이미지 세트의 영역의 5, 15, 또는 20 퍼센트를 차지할 수 있다. 추가 예로서, 관심 영역은 10 내지 100 픽셀만큼 임의의 주어진 방향으로 연장될 수 있다. 본 개시내용의 실시예들은 이미지들의 측정들 및 백분율들을 제시하지만, 그 측정들 및 백분율들은 이미지의 양태들(예를 들어, 해상도, 크기, 픽셀 수) 중 하나 이상과 이미지를 묘사하는 디스플레이 디바이스의 하나 이상의 양태(예를 들어, 디스플레이 크기, 디스플레이 종횡비, 해상도)에 기초하여 더 높거나 더 낮을 수 있다는 것을 이해해야 한다. 예를 들어 관심 영역은 하나의 픽셀로부터 비디오 스트림의 제1 이미지 세트의 이미지의 영역의 전체까지 임의의 크기일 수 있다.

다양한 예들에서, 관심 영역은 단일 관심 영역 또는 복수의 관심 영역일 수 있다. 예를 들어, 위치 모듈(210)이 방의 대향 측면들 상의 한 쌍의 벽에 대해 관심 영역을 식별하는 경우, 위치 모듈(210)은 방의 제1 측면 상의 제1 벽에 대한 제1 관심 영역 및 방의 제2 측면 상의 제2 벽에 대한 제2 관심 영역을 식별한다.

동작(330)에서, 비디오 처리 모듈(220)은 수정된 관심 영역을 생성한다. 비디오 처리 모듈(220)은 관심 영역에 대해 하나 이상의 이미지 처리 기능을 수행함으로써 수정된 관심 영역을 생성한다. 일부 실시예들에서, 동작(330)은 수정된 관심 영역을 생성함에 있어 서브-동작 세트를 포함한다.

동작(332)에서, 비디오 처리 모듈(220)은 관심 영역 외부의 제1 이미지 세트의 하나 이상의 이미지의 하나 이상의 부분을 크로핑한다. 예를 들어, 관심 영역은 도 4에 도시된 관심 영역의 구획된 영역(400)으로 크로핑될 수 있다. 일부 실시예들에서, 하나 이상의 이미지를 크로핑함에 있어, 비디오 처리 모듈(220)은 관심 영역 외부에 나타나는 하나 이상의 이미지의 부분들을 제거함으로써 관심 영역을 분리한다. 예를 들어, 관심 영역이 관심 영역의 중심에 인접하여 위치되고 하나 이상의 이미지의 이미지의 15 퍼센트를 포함하는 경우, 비디오 처리 모듈(220)은 관심 영역 내에 구획되지 않은 이미지의 85 퍼센트를 제거한다.

다양한 예시적인 실시예들에서, 관심 영역의 구획된 영역 외부의 이미지 데이터를 제거하기 위해 하나 이상의 이미지를 크로핑한 후에, 비디오 처리 모듈(220)은 수정된 관심 영역을 생성하는 하나 이상의 동작을 수행하여 식별 모듈(230)이 수정된 관심 영역 내의 관심 객체를 관심 영역 내에 또한 위치하는 이미지, 또는 이미지 세트의 관련이 없는 형상들, 피처들, 텍스처들, 및 다른 양태들과 구별할 수 있게 한다. 일부 예들에서, 동작(334)에서, 비디오 처리 모듈(220)은 이진화에 의해 수정된 관심 영역을 생성한다. 이들 실시예에서, 비디오 처리 모듈(220)은 도 5에 도시된 바와 같이, 관심 영역(500)의 이진 이미지 버전을 생성한다. 비디오 처리 모듈(220)은 관심 영역의 이진 버전을 생성하기 위해 임의의 적합한 이진화 방법을 사용할 수 있다. 이진화 프로세스 후에, 수정된 관심 영역은 관심 객체를 제1 픽셀 세트로서 그리고 관심 영역의 다른 피처들을 제2 픽셀 세트로서 묘사할 수 있다. 수정된 관심 영역을 생성하기 위한 다른 동작들은 도 6에 관하여 아래에서 설명된다.

동작(340)에서, 식별 모듈(230)은 수정된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별한다. 다양한 실시예들에서, 식별 모듈(230)은 제1 픽셀 세트와 제2 픽셀 세트에 할당된 값들의 비교에 기초하여 제2 픽셀 세트와 구별되는 것으로서 제1 픽셀 세트를 식별한다. 식별 모듈(230)은 제1 값을 갖는 것으로서 제1 픽셀 세트를 그리고 제2 값을 갖는 것으로서 제2 픽셀 세트를 식별할 수 있다. 수정된 관심 영역이 1 또는 0의 픽셀 컬러 값들을 포함하여, 이진화되는 경우, 식별 모듈(230)은 1의 컬러 값(예를 들어, 제1 값)을 갖는 픽셀들로서 제1 픽셀 세트를 그리고 0의 컬러 값(예를 들어, 제2 값)을 갖는 픽셀들로서 제2 픽셀 세트를 식별한다.

수정된 관심 영역이 그레이스케일과 같은, 픽셀들에 대한 복수의 값을 포함하는 경우, 식별 모듈(230)은 미리 결정된 임계치에 기초하여 픽셀들에 대한 값 비교를 수행한다. 이들 예에서, 식별 모듈(230)은 픽셀의 값이 미리 결정된 임계치보다 위인 경우 제1 픽셀 세트에 포함되는 것으로서 픽셀들을 식별한다. 제2 픽셀 세트에 포함된 픽셀들은 미리 결정된 임계치 아래의 값을 갖는 것으로 식별된다. 예를 들어, 수정된 관심 영역 내의 픽셀에 대한 그레이스케일(예를 들어, 강도) 값들이 0 내지 256의 범위에 있는 경우, 식별 모듈(230)은 그 범위의 50 퍼센트보다 위의 값을 갖는 픽셀들을 제1 픽셀 세트에 포함되는 것으로서 식별할 수 있다. 일부 예들에서, 식별 모듈(230)은 픽셀 값이 그레이스케일의 상위 20 퍼센트(예를 들어, 204, 또는 그보다 위) 내에 있는 경우 제1 픽셀 세트에 있는 것으로서 픽셀들을 식별한다. 그레이스케일 강도 값들에 관하여 특정 값들이 제공되었지만, 값들은 이미지 및 이미지를 묘사하는 디스플레이 디바이스에 관하여 복수의 인자에 기초하여 수정될 수 있음을 이해해야 한다.

동작(350)에서, 수정 모듈(240)은 비디오 스트림의 제2 이미지 세트 내의 제1 픽셀 세트에 대한 컬러 값을 수정한다. 다양한 실시예들에서, 제1 픽셀 세트의 컬러 값은 제2 이미지 세트 내의 제1 컬러 값이다. 이들 예에서, 수정 모듈(240)은 제2 이미지 세트의 하나 이상의 이미지를 포함하는 이미지 데이터 내의 제1 픽셀 세트의 제1 컬러 값을 식별한다. 제1 픽셀 세트에 대한 제1 컬러 값을 식별하는 것에 응답하여, 수정 모듈(240)은 제1 컬러 값을 제1 컬러 값과 구별되는 제2 컬러 값으로 대체한다. 일단 수정 모듈(240)이 하나 이상의 이미지에서 제1 컬러 값을 제2 컬러 값으로 대체하면, 비디오 스트림 내의 제2 이미지 세트가 디스플레이될 때 관심 객체는 제2 컬러 값에 대한 컬러로서 나타난다.

일부 예들에서, 수정 모듈(240)은 제1 픽셀 세트에 대한 수정된 이미지 계층을 생성함으로써 제2 이미지 세트 내의 제1 픽셀 세트에 대한 컬러 값을 수정한다. 이들 실시예에서, 수정된 이미지 계층은 수정된 컬러 값을 갖는 제1 픽셀들로 생성된다. 수정 모듈(240)은 수정된 이미지 계층을 제2 이미지 세트의 적어도 부분(예를 들어, 제2 이미지 세트의 하나 이상의 이미지 또는 제2 이미지 세트의 이미지의 부분)에 적용한다. 수정 모듈(240)은 추적 모듈(250)과 협력하여 제2 이미지 세트 내의 제1 픽셀 세트의 위치를 수정된 이미지 계층과 정렬시킬 수 있다.

도 6은 비디오 스트림의 부분들을 세그먼트화하고 비디오 스트림의 하나 이상의 세그먼트화된 부분을 수정하기 위한 예시적인 방법(600)을 예시하는 흐름도이다. 방법(600)의 동작들은 이미지 세그먼트화 시스템(160)의 컴포넌트들에 의해 수행될 수 있다. 일부 예들에서, 방법(600)의 특정 동작들은 아래에서 더 상세히 설명되는 바와 같이 방법(300)의 하나 이상의 동작을 이용하여 또는 방법(300)의 하나 이상의 동작의 서브-동작들로서 수행될 수 있다.

다양한 예시적인 실시예들에서, 방법(600)은 초기에, 도 3에 관하여 위에 설명된 바와 같이, 동작(310 및 320)을 수행하는 이미지 세그먼트화 시스템(160)에 의해 수행된다. 이들 실시예에서, 이미지 세그먼트화 모듈은 관심 객체의 대략적인 위치를 결정하고 비디오 스트림의 제1 이미지 세트의 하나 이상의 이미지 내의 관심 영역을 식별한다.

동작(610)에서, 비디오 처리 모듈(220)은 관심 영역 내의 픽셀들을 그레이스케일을 따른 값들로 변환하여 그레이스케일 관심 영역을 생성한다. 그레이스케일 관심 영역은 픽셀들로부터 컬러 정보를 제거하는, 그레이스케일 변환의 결과이다. 임의의 주어진 픽셀에 대한 나머지 값은 강도 값이고, 여기서 약한 강도는 더 밝은 것으로 디스플레이되는 비교적 더 높은 강도보다 더 어두운 것으로 디스플레이된다. 그레이스케일 관심 영역 내에 디스플레이된 강도 값들의 범위는 하나 이상의 이미지와 연관된 인자들에 기초하여 달라질 수 있다. 일부 예들에서, 강도 값들은 0(예를 들어, 흑색으로 표현됨) 내지 65,536(예를 들어, 백색으로 표현됨)의 범위에 있을 수 있다. 강도 범위는 65,536보다 작은 것으로 제한되거나 그를 지나서 확장될 수 있다. 예를 들어 일부 예들에서 강도 범위는 0에서 256까지 확장된다. 비록 그레이스케일로의 변환에 관련하여 논의되었지만, 일부 실시예들에서, 관심 영역 내의 픽셀들은 그레이스케일 이외의 단일 채널로 변환될 수 있다. 일부 예들에서, 비디오 처리 모듈(220)은 관심 영역을 그레이스케일 관심 영역으로 변환하지 않고, 그레이스케일을 나타내는 강도 값들을 식별한다.

일부 예시적인 실시예들에서, 비디오 처리 모듈(220)은 수학식 1을 이용하여 픽셀들의 컬러 값들을 그레이스케일 값으로 변환한다:

위에 수학식 1에서 도시된 바와 같이, "g"는 픽셀에 대한 녹색 컬러 값이고 "r"은 픽셀에 대한 적색 컬러 값이고, "b"는 픽셀에 대한 청색 컬러 값이고, "v"는 결과적인 그레이스케일 값이다. 수학식 1을 사용하는 실시예들에서, 관심 영역 내의 각 픽셀은 컬러 값 세트를 갖는다. 컬러 값 세트는 삼중 항(triplet)으로 표현될 수 있다. 컬러 값 세트 내의 각 값은 지정된 컬러에 대한 채도 값을 나타낼 수 있다. 이들 실시예에서, 비디오 처리 모듈(220)은 관심 영역 내의 각 픽셀에 대해 수학식 1을 수행하여 각 픽셀에 대한 그레이스케일 값을 생성하고, 차례로, 관심 영역을 그레이스케일 관심 영역으로 수정한다.

다양한 실시예들에서, 비디오 처리 모듈(220)은 그레이스케일 관심 영역의 픽셀들을 식별하고 그레이스케일 내의 값들의 히스토그램을 생성한다. 값들의 히스토그램은 그레이스케일 관심 영역의 픽셀들과 연관된 강도 값들의 분포를 나타낼 수 있다.

동작(620)에서, 비디오 처리 모듈(220)은 그레이스케일 관심 영역 내의 히스토그램 값들을 등화하여 등화된 관심 영역을 생성한다. 히스토그램 값의 등화는 그레이스케일 관심 영역의 콘트라스트의 증가를 야기한다. 예를 들어, 관심 영역이 입과 노출된 치아들을 관심 객체로서 포함하는 경우, 히스토그램 등화는 치아들을 나타내는 픽셀들이 밝아지게 하고(예를 들어, 그레이스케일 값을 증가시키고) 입술, 잇몸, 및 얼굴 영역을 나타내는 픽셀들이 어두어지게 한다(예를 들어, 그레이스케일 값을 감소시킨다). 비디오 처리 모듈(220)은 팔레트 변경 또는 이미지 변경 히스토그램 등화 기법들을 채용하여 관심 영역 내의 픽셀들의 강도 값들을 조정하여, 그레이스케일 관심 영역의 전체 콘트라스트를 증가시키고 등화된 관심 영역을 생성한다.

동작(630)에서, 비디오 처리 모듈(220)은 등화된 관심 영역을 임계화(threshold)하여 이진화된 관심 영역을 생성한다. 이진화된 관심 영역 내의 제1 픽셀 세트는 제1 값을 갖는다. 이진화된 관심 영역 내의 제2 픽셀 세트는 제1 값과 구별되는 제2 값을 갖는다. 예를 들어, 일부 실시예들에서, 제1 값은 1일 수 있고 제2 값은 0일 수 있다. 일부 실시예들에서, 비디오 처리 모듈(220)은 오츠 임계화((Otsu thresholding)(예를 들어, 오츠의 방법)를 이용하여 등화된 관심 영역을 임계화한다. 이들 실시예에서, 비디오 처리 모듈(220)은 등화된 관심 영역에 대해 클러스터링-기반 이미지 임계화를 수행한다. 오츠 임계화 프로세스들은 비디오 처리 모듈(220)로 하여금 제2 픽셀 세트로부터 제1 픽셀 세트를 분리하는 이진화된 관심 영역을 생성하게 한다. 예를 들어, 임계화 이후에, 관심 영역은 제1 값(예를 들어, 백색 픽셀을 나타내는 1의 값)을 갖는 제1 픽셀 세트 및 제2 값(예를 들어, 흑색 픽셀을 나타내는 0의 값)을 갖는 제2 픽셀 세트를 갖는다. 오츠 임계화를 수행함에 있어서, 비디오 처리 모듈(220)은 제1 픽셀 세트와 제2 픽셀 세트를 분리하는 임계치를 계산할 수 있다. 그 후 비디오 처리 모듈(220)은 제1 픽셀 세트와 제2 픽셀 세트를 구별하기 위해 픽셀들에 대한 강도 값들(예를 들어, 그레이스케일 값들)에 임계치를 적용한다. 픽셀이 임계치보다 큰 강도 값을 갖는 경우, 비디오 처리 모듈(220)은 픽셀의 값을 1로 변환하여, 백색 픽셀을 생성한다. 픽셀이 임계치 아래의 강도 값을 갖는 경우, 비디오 처리 모듈(220)은 픽셀의 값을 0으로 변환하여, 흑색 픽셀을 생성한다. 결과적인 제1 픽셀 세트 및 제2 픽셀 세트는 이진 관심 영역을 형성한다.

일부 실시예들에서, 동작들(610, 620 및 630)은 수집된 이진화 동작에 의해 대체될 수 있다. 이진화 동작은 관심 영역 내의 픽셀 값들로부터 이진화 행렬(예를 들어, 관심 영역 또는 이미지 내의 각 픽셀에 대한 이진 값)을 계산한다. 예를 들어, 픽셀들의 컬러 값들이 적색, 녹색 및 청색 값들로 구성되는 경우, 이진화 동작은 관심 영역 또는 이미지에 대한 RGB 값들로부터 이진화 행렬을 계산한다. 일부 예들에서, 이진화 행렬은 픽셀의 이진 값을 1의 값 또는 0의 값으로서 마킹함으로써 생성된다. 이진화 동작은 적색[i][j] > 녹색[i][j] + 청색[i][j]/2이면 이진화[i][j] = 1이고, 그렇지 않으면 이진화[i][j] = 0인 것으로 결정할 수 있다. 일부 예들에서, 비디오 처리 모듈(220)은 적색 값이 녹색과 청색 값들의 합을 상수로 나눈 값보다 큰 것에 기초하여 이진화 행렬을 생성한다. 이진화 행렬에 대한 이진화된 픽셀 값들을 생성하기 위한 수학식들의 특정 예들이 설명되었지만, 이진화 행렬을 생성하기 위해 상이한 수학식들 또는 기준들이 사용될 수 있다는 것을 이해해야 한다.

동작(640)에서, 비디오 처리 모듈(220)은 제2 값을 갖는 복수의 세그먼트 중 둘 이상의 세그먼트 사이에 위치되고 제1 값을 갖는 하나 이상의 픽셀을 식별한다. 일부 예들에서, 제2 픽셀 세트는 도 7에 도시된 바와 같이 제1 값을 갖는 하나 이상의 픽셀(700)에 의해 인터럽트되는 복수의 세그먼트를 포함한다. 일부 예들에서 제1 값을 갖는 하나 이상의 픽셀로부터의 인터럽트는 노이즈, 조명 결함, 또는 제1 픽셀 세트와 제2 픽셀 세트 간의 다른 의도되지 않은 교차를 나타낸다. 비디오 처리 모듈(220)은 동일한 값을 갖는 다른 픽셀들에 관하여 노이즈 픽셀들의 위치 및 노이즈 픽셀들과 동일한 값을 갖는 픽셀들의 수에 기초하여 하나 이상의 노이즈 픽셀을 식별할 수 있다.

예를 들어, 비디오 처리 모듈(220)이 제2 값을 갖는 픽셀 세트 내의 제1 값을 갖는 잠재적인 노이즈 픽셀 세트를 식별하는 경우, 비디오 처리 모듈(220)은 노이즈 픽셀들의 수를 결정할 수 있다. 노이즈 픽셀들의 수가 미리 결정된 임계치(예를 들어, 값, 관심 영역의 백분율, 원본 이미지의 백분율) 아래인 경우, 비디오 처리 모듈(220)은 노이즈 픽셀들이 제1 픽셀 세트의 더 큰 그룹에 근접하는지(예를 들어, 이웃하는지 또는 연결되는지)를 결정할 수 있다.

동작(650)에서, 비디오 처리 모듈(220)은 식별된 하나 이상의 픽셀의 제1 값을 제2 값으로 대체한다. 비디오 처리 모듈(220)이 노이즈 픽셀들이 제1 픽셀 세트의 더 큰 그룹에 연결되지 않고, 미리 결정된 임계치 아래에 있는 것으로 결정하면, 비디오 처리 모듈(220)은 노이즈 픽셀들에 대한 값을 제2 픽셀 세트와 매칭하는 제2 값으로 변환한다.

일부 실시예들에서, 동작(650)을 수행함에 있어서, 비디오 처리 모듈(220)은 미리 결정된 오차 임계치보다 작은 수 또는 비율을 갖는 제1 픽셀 세트 내의 픽셀 그룹들을 식별한다. 예를 들어, 노이즈 픽셀들의 변환 후에 남아 있는 제1 픽셀 세트의 픽셀들이 입 안의 노출된 치아들을 나타내는 경우, 비디오 처리 모듈(220)은 제1 픽셀 세트의 서브세트들을 식별할 수 있다. 제1 픽셀 세트의 서브세트들은 제2 픽셀 세트의 부분에 의해 다른 서브세트로부터 분리되는 제1 값을 갖는 픽셀 세트일 수 있다. 예를 들어, 이진화된 관심 영역이 관심 객체로서 입 안의 노출된 치아들을 포함하는 경우, 픽셀 서브세트는 제2 픽셀 세트의 라인 또는 갭(예를 들어, 흑색 픽셀들)에 의해 다른 치아들로부터 분리되는 치아를 나타내는 픽셀 세트(예를 들어, 백색 픽셀들)이다. 제1 픽셀 세트의 서브세트가 오차 임계치 아래에 있는 경우, 서브세트는 이미지 세그먼트화 시스템(160)에 의한 고려로부터 제외된 제2 값으로 변환된다. 일부 실시예들에서, 오차 임계치는 원본 이미지의 영역의 백분율이다. 일부 예들에서 오차 임계치는 원본 이미지 영역의 0 내지 2 퍼센트이다. 예를 들어, 제1 픽셀 세트의 서브세트가 이미지의 전체 영역의 1 퍼센트 아래의 영역을 갖는 경우, 비디오 처리 모듈(220)은 서브세트를 제2 값으로 변환하거나 고려로부터 서브세트를 제거할 수 있다.

도 8은 이미지 세그먼트화 시스템(160)을 이용하여 비디오 스트림에서 관심 객체를 추적하고 수정하는 예시적인 방법(800)을 예시하는 흐름도를 도시한다. 방법(800)의 동작들은 이미지 세그먼트화 시스템(160)의 컴포넌트들에 의해 수행될 수 있다. 일부 예들에서, 방법(800)의 특정 동작들은 설명된 실시예 중 하나 이상에서의, 방법들(300 또는 600)의 하나 이상의 동작을 이용하여, 또는 아래에서 더 상세히 설명되는 바와 같이, 방법들(300 또는 600)의 하나 이상의 동작의 서브-동작들로서 수행될 수 있다.

다양한 예시적인 실시예들에서, 방법(800)은 초기에 동작들(310, 320, 및 330)에 의해 수행된다. 일부 예들에서, 동작(330)은 방법(600)의 동작들 중 하나 이상의 동작을 포함한다.

동작(810)에서, 식별 모듈(230)은 제1 픽셀 세트가 미리 결정된 임계치(예를 들어, 관심 임계치) 이상의 값을 갖는 것으로 결정한다. 일부 예시적인 실시예들에서, 동작(810)은 동작(340)의 서브-동작으로서 수행될 수 있다. 식별 모듈(230)은 동작(330 또는 630)에서 생성된 이진화된 관심 영역 내의 제1 픽셀 세트가 관심 임계치보다 큰 값을 갖는 것으로 결정할 수 있다. 일부 실시예들에서, 관심 임계치는 0.5 또는 1이다.

동작(820)에서, 식별 모듈(230)은 도 9에 도시된 바와 같이, 마킹된 픽셀들의 세트(900)를 생성하기 위해 비디오 스트림의 제2 이미지 세트 내의 제1 픽셀 세트를 마킹한다. 마킹된 픽셀들의 세트는 비디오 스트림의 제2 이미지 세트 내에서 추적될 픽셀들이다. 마킹된 픽셀들은 식별되어 마킹된 픽셀들과 하나 이상의 배향 포인트의 관계를 확립하도록 관심 포인트 세트에 포함될 수 있다. 일부 예들에서, 제1 픽셀 세트를 마킹하는 것은 하나 이상의 서브-동작을 포함한다.

동작(822)에서, 식별 모듈(230)은 제1 이미지 세트 내의 관심 객체의 하나 이상의 랜드마크에 관하여 제1 픽셀 세트에 대한 위치들을 식별한다. 제1 픽셀 세트가 관심 영역(예를 들어, 이진 관심 영역) 내에 묘사된 입 안의 노출된 치아들을 나타내는 실시예들에서, 식별 모듈(230)은 입을 나타내거나 그에 근접해 있는 얼굴 상의 얼굴 인식 랜드마크들에 관하여 제1 픽셀 세트의 위치들을 식별한다. 예를 들어, 제1 픽셀 세트는 얼굴 랜드마크 세트를 포함하는 얼굴의 이진 마스크 상의 랜드마크 포인트 세트로서 추가될 수 있다.

동작(824)에서, 식별 모듈(230)은 제1 이미지 세트 내의 제1 픽셀 세트의 컬러 값을 식별한다. 제1 이미지 세트가 추적을 위해 마킹된(예를 들어, 제1 이미지 세트에 묘사된 객체에 대한 참조 랜드마크 세트 내의 랜드마크 포인트 세트로서 식별된) 실시예들에서, 비디오 스트림의 제2 이미지 세트에서 식별 모듈(230)과 추적 모듈(250) 중 하나 이상은 제1 픽셀 세트에 대응하는 제2 이미지 세트의 하나 이상의 이미지 내의 대응하는 픽셀들을 식별한다. 일부 실시예들에서, 식별 모듈(230)과 추적 모듈(250)은 얼굴 추적을 위한 적당한 동작 세트로서, 하나 이상의 이미지 추적 동작을 이용하여 대응을 확립한다. 대응하는 픽셀들을 확립한 후, 식별 모듈(230)은 대응하는 픽셀들과 연관된 하나 이상의 컬러 값을 식별한다. 예를 들어, 식별 모듈(230)은 대응하는 픽셀들에 대한 적색 채널, 녹색 채널, 및 청색 채널에 대한 값들(예를 들어, 적색/녹색/청색(RGB) 값들)의 세트를 식별할 수 있다.

동작(830)에서, 추적 모듈(250)은 비디오 스트림의 제2 이미지 세트에 걸쳐 마킹된 픽셀들의 세트를 추적한다. 일부 실시예들에서, 마킹된 픽셀들을 추적하기 위해, 추적 모듈(250)은 마킹된 픽셀들 또는 제2 이미지 세트 내의 대응하는 픽셀들을 나타내는 랜드마크 랜드마크 포인트들을 추적한다. 추적 모듈(250)은 임의의 적합한 추적 동작들을 이용하여 비디오 스트림의 제2 이미지 세트 내의 이미지들에 걸쳐 마킹된 픽셀들의 묘사(예를 들어, 랜드마크들이 방해받는지), 위치, 및 배향의 변화들을 식별할 수 있다. 마킹된 픽셀들이 노출된 치아들을 나타내는 실시예들에서, 추적 모듈(250)은 비디오 스트림의 제2 이미지 세트에 걸쳐 치아들의 위치 및 배향의 변화들을 검출한다. 추적 모듈(250)은 또한 치아들(예를 들어, 마킹된 픽셀들)의 방해물을 검출 및 추적할 수 있는데, 여기서 입술, 손, 머리카락, 혀, 또는 다른 방해물들이 제2 이미지 세트의 하나 이상의 이미지 내에서 치아들을 혼란스럽게 만들고 치아들의 노출을 막는다.

동작(840)에서, 수정 모듈(240)은 제1 픽셀 세트에 대한 컬러 값이 마킹된 픽셀들에 근접하여 제시될 때 컬러 값을 수정한다. 다양한 실시예들에서, 수정 모듈(240)은 추적 모듈(250)로부터 대응하는 픽셀들(예를 들어, 마킹된 픽셀들 또는 랜드마크들에 근접한 또는 그 위치에 있는 이미지 내의 픽셀들)의 표시를 수신한다. 위에 설명된 바와 같이, 동작(350)과 관하여, 수정 모듈(240)은 제2 이미지 세트 내의 이미지들 내의 마킹된 픽셀들에 대한 컬러 값을 수정하거나 제2 이미지 세트 내의 이미지들에 이미지 계층을 적용하여 컬러를 수정할 수 있다.

추적 모듈(250)이 마킹된 픽셀들이 방해받은 것으로 결정하는 경우, 수정 모듈(240)은 제2 이미지 세트 내의 이미지들 내의 픽셀들의 컬러들을 수정하거나 이미지 계층을 적용하지 않는다. 예를 들어, 마킹된 픽셀들이 입 안의 노출된 치아들을 나타내는 경우, 추적 모듈(250)은 컬러 변경 명령을 수정 모듈(240)에 전달하여 수정 모듈(240)로 하여금 대응하는 픽셀들의 컬러 값을 수정하도록 트리거한다. 추적 모듈(250)이 이미지 내의 마킹된 픽셀들의 방해물을 검출하는 경우, 추적 모듈(250)은 이미지에 대한 컬러 변경 명령을 전송하지 않거나 또는 추적 모듈(250)이 후속 이미지에서 마킹된 픽셀들을 검출(예를 들어, 방해물이 더 이상 존재하지 않음을 검출)할 때까지 수정 모듈(240)이 이미지들의 수정을 기다리거나 중단하도록 하는 명령을 전송한다.

예들

본 명세서에 개시된 장치 및 방법들을 더 잘 예시하기 위해, 여기에 예들의 비제한적인 리스트가 제공된다:

1. 비디오 스트림의 부분들을 조작하기 위한 컴퓨터 구현 방법으로서, 클라이언트 디바이스의 하나 이상의 프로세서를 이용하여, 제1 이미지 세트 및 제2 이미지 세트를 포함하는 비디오 스트림 내의 입의 대략적인 위치를 결정하는 단계; 상기 클라이언트 디바이스에 의해, 상기 제1 이미지 세트의 하나 이상의 이미지 내의 관심 영역을 식별하는 단계 - 상기 관심 영역은 상기 입의 대략적인 위치를 포함하는 상기 하나 이상의 이미지의 부분임 -; 상기 클라이언트 디바이스에 의해, 수정된 관심 영역을 생성하는 단계; 상기 클라이언트 디바이스에 의해, 상기 수정된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별하는 단계; 및 상기 클라이언트 디바이스에 의해, 상기 비디오 스트림의 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 컬러 값을 수정하는 단계를 포함하는, 방법.

2. 예 1에 있어서, 상기 방법은 상기 관심 영역 외부의 상기 제1 이미지 세트의 하나 이상의 이미지의 하나 이상의 부분을 크로핑하는 단계를 추가로 포함하는, 방법.

3. 예 1 또는 예 2에 있어서, 상기 수정된 관심 영역을 생성하는 단계는 상기 관심 영역 내의 픽셀들을 그레이스케일을 따른 값들로 변환하여 그레이스케일 관심 영역을 생성하는 단계를 추가로 포함하는, 방법.

4. 예 1 내지 예 3 중 어느 하나 이상에 있어서, 상기 그레이스케일 관심 영역 내의 픽셀들은 상기 그레이스케일 내의 값들의 히스토그램을 포함하고 상기 수정된 관심 영역을 생성하는 단계는 상기 그레이스케일 관심 영역 내의 히스토그램 값들을 등화하여 등화된 관심 영역을 생성하는 단계를 추가로 포함하는, 방법.

5. 예 1 내지 예 4 중 어느 하나 이상에 있어서, 상기 수정된 관심 영역을 생성하는 단계는 상기 등화된 관심 영역을 임계화하여 이진화된 관심 영역을 생성하는 단계를 추가로 포함하고, 상기 이진화된 관심 영역 내의 상기 제1 픽셀 세트는 제1 값을 갖고 상기 이진화된 관심 영역 내의 상기 제2 픽셀 세트는 상기 제1 값과 구별되는 제2 값을 갖는, 방법.

6. 예 1 내지 예 5 중 어느 하나 이상에 있어서, 상기 제2 픽셀 세트는 상기 제1 값을 갖는 하나 이상의 픽셀에 의해 인터럽트되는 복수의 세그먼트를 포함하고 상기 이진화된 관심 영역을 생성하는 단계는 상기 제2 값을 갖는 복수의 세그먼트 중 둘 이상의 세그먼트 사이에 위치된 상기 제1 값을 갖는 하나 이상의 픽셀을 식별하는 단계; 및 상기 식별된 하나 이상의 픽셀의 제1 값을 상기 제2 값으로 대체하는 단계를 추가로 포함하는, 방법.

7. 예 1 내지 예 6 중 어느 하나 이상에 있어서, 상기 수정된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별하는 단계는 상기 제1 픽셀 세트가 미리 결정된 임계치보다 큰 값을 갖는 것으로 결정하는 단계; 및 마킹된 픽셀들의 세트를 생성하기 위해 상기 비디오 스트림의 제2 이미지 세트 내의 상기 제1 픽셀 세트를 마킹하는 단계를 추가로 포함하는, 방법.

8. 예 1 내지 예 7 중 어느 하나 이상에 있어서, 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트를 마킹하는 단계는 상기 제1 이미지 세트 내에 묘사된 얼굴의 하나 이상의 랜드마크에 관하여 상기 제1 픽셀 세트에 대한 위치들을 식별하는 단계; 및 상기 제1 이미지 세트 내의 상기 제1 픽셀 세트의 컬러 값을 식별하는 단계를 추가로 포함하는, 방법.

9. 예 1 내지 예 8 중 어느 하나 이상에 있어서, 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 컬러 값을 수정하는 단계는 상기 비디오 스트림의 제2 이미지 세트에 걸쳐 상기 마킹된 픽셀들의 세트를 추적하는 단계; 및 상기 제1 픽셀 세트에 대한 컬러 값이 상기 마킹된 픽셀들에 근접하여 제시될 때 상기 컬러 값을 수정하는 단계를 추가로 포함하는, 방법.

10. 비디오 스트림의 부분들을 조작하기 위한 시스템으로서, 하나 이상의 프로세서; 프로세서 실행가능 명령들을 실은 머신-판독가능 저장 매체를 포함하고, 상기 프로세서 실행가능 명령들은, 머신의 프로세서에 의해 실행될 때, 상기 머신으로 하여금 제1 이미지 세트 및 제2 이미지 세트를 포함하는 비디오 스트림 내의 입의 대략적인 위치를 결정하는 단계; 상기 제1 이미지 세트의 하나 이상의 이미지 내의 관심 영역을 식별하는 단계 - 상기 관심 영역은 상기 입의 대략적인 위치를 포함하는 상기 하나 이상의 이미지의 부분임 -; 수정된 관심 영역을 생성하는 단계; 상기 수정된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별하는 단계; 및 상기 비디오 스트림의 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 컬러 값을 수정하는 단계를 포함하는 동작들을 수행하게 하는, 시스템.

11. 예 10에 있어서, 상기 수정된 관심 영역을 생성하는 단계는 상기 머신으로 하여금 상기 관심 영역 내의 픽셀들을 그레이스케일을 따른 값들로 변환하여 그레이스케일 관심 영역을 생성하는 단계를 포함하는 동작들을 수행하게 하는, 시스템.

12. 예 10 또는 예 11에 있어서, 상기 그레이스케일 관심 영역 내의 픽셀들은 상기 그레이스케일 내의 값들의 히스토그램을 포함하고 상기 수정된 관심 영역을 생성하는 단계는 상기 머신으로 하여금 상기 그레이스케일 관심 영역 내의 히스토그램 값들을 등화하여 등화된 관심 영역을 생성하는 단계를 포함하는 동작들을 수행하게 하는, 시스템.

13. 예 10 내지 예 12 중 어느 하나 이상에 있어서, 상기 수정된 관심 영역을 생성하는 단계는 상기 머신으로 하여금 상기 등화된 관심 영역을 임계화하여 이진화된 관심 영역을 생성하는 단계를 포함하는 동작들을 수행하게 하고, 상기 이진화된 관심 영역 내의 상기 제1 픽셀 세트는 제1 값을 갖고 상기 이진화된 관심 영역 내의 상기 제2 픽셀 세트는 상기 제1 값과 구별되는 제2 값을 갖는, 시스템.

14. 예 10 내지 예 13 중 어느 하나 이상에 있어서, 상기 제2 픽셀 세트는 상기 제1 값을 갖는 하나 이상의 픽셀에 의해 인터럽트되는 복수의 세그먼트를 포함하고 상기 이진화된 관심 영역을 생성하는 단계는 상기 머신으로 하여금 상기 제2 값을 갖는 복수의 세그먼트 중 둘 이상의 세그먼트 사이에 위치된 상기 제1 값을 갖는 하나 이상의 픽셀을 식별하는 단계; 및 상기 식별된 하나 이상의 픽셀의 제1 값을 상기 제2 값으로 대체하는 단계를 포함하는 동작들을 수행하게 하는, 시스템.

15. 예 10 내지 예 14 중 어느 하나 이상에 있어서, 상기 수정된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별하는 단계는 상기 머신으로 하여금 상기 제1 픽셀 세트가 미리 결정된 임계치보다 큰 값을 갖는 것으로 결정하는 단계; 및 마킹된 픽셀들의 세트를 생성하기 위해 상기 비디오 스트림의 제2 이미지 세트 내의 상기 제1 픽셀 세트를 마킹하는 단계를 포함하는 동작들을 수행하게 하는, 시스템.

16. 예 10 내지 예 15 중 어느 하나 이상에 있어서, 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트를 마킹하는 단계는 상기 머신으로 하여금 상기 제1 이미지 세트 내에 묘사된 얼굴의 하나 이상의 랜드마크에 관하여 상기 제1 픽셀 세트에 대한 위치들을 식별하는 단계; 및 상기 제1 이미지 세트 내의 상기 제1 픽셀 세트의 컬러 값을 식별하는 단계를 포함하는 동작들을 수행하게 하는, 시스템.

17. 예 10 내지 예 16 중 어느 하나 이상에 있어서, 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 컬러 값을 수정하는 단계는 상기 머신으로 하여금 상기 비디오 스트림의 제2 이미지 세트에 걸쳐 상기 마킹된 픽셀들의 세트를 추적하는 단계; 및 상기 제1 픽셀 세트에 대한 컬러 값이 상기 마킹된 픽셀들에 근접하여 제시될 때 상기 컬러 값을 수정하는 단계를 포함하는 동작들을 수행하게 하는, 시스템.

18. 프로세서 실행가능 명령들을 실은 머신-판독가능 저장 매체로서, 상기 프로세서 실행가능 명령들은, 머신의 프로세서에 의해 실행될 때, 상기 머신으로 하여금 제1 이미지 세트 및 제2 이미지 세트를 포함하는 비디오 스트림 내의 입의 대략적인 위치를 결정하는 단계; 상기 제1 이미지 세트의 하나 이상의 이미지 내의 관심 영역을 식별하는 단계 - 상기 관심 영역은 상기 입의 대략적인 위치를 포함하는 상기 하나 이상의 이미지의 부분임 -; 수정된 관심 영역을 생성하는 단계; 상기 수정된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별하는 단계; 및 상기 비디오 스트림의 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 컬러 값을 수정하는 단계를 포함하는 동작들을 수행하게 하는, 머신-판독가능 저장 매체.

19. 예 18에 있어서, 상기 수정된 관심 영역 내의 상기 제1 픽셀 세트 및 상기 제2 픽셀 세트를 식별하는 단계는 상기 머신으로 하여금 상기 제1 픽셀 세트가 미리 결정된 임계치보다 큰 수정된 관심 영역 내의 값을 갖는 것으로 결정하는 단계; 및 마킹된 픽셀들의 세트를 생성하기 위해 상기 비디오 스트림의 제2 이미지 세트 내의 상기 제1 픽셀 세트를 마킹하는 단계를 포함하는 동작들을 수행하게 하는, 머신-판독가능 저장 매체.

20. 예 18 또는 예 19 중 어느 하나 이상에 있어서, 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 컬러 값을 수정하는 단계는 상기 머신으로 하여금 상기 제1 이미지 세트 내에 묘사된 얼굴의 하나 이상의 랜드마크에 관하여 상기 제1 픽셀 세트에 대한 위치들을 식별하는 단계; 상기 제1 이미지 세트 내의 상기 제1 픽셀 세트의 컬러 값을 식별하는 단계; 상기 비디오 스트림의 제2 이미지 세트에 걸쳐 상기 마킹된 픽셀들의 세트를 추적하는 단계; 및 상기 제1 픽셀 세트에 대한 컬러 값이 상기 마킹된 픽셀들에 근접하여 제시될 때 상기 컬러 값을 수정하는 단계를 포함하는 동작들을 수행하게 하는, 머신-판독가능 저장 매체.

본 장치 및 방법들의 이들 및 다른 예들 및 특징들이 위에 상세한 설명에서 부분적으로 제시되었다. 요약 및 예들은 본 주제의 비제한적인 예들을 제공하려고 의도된 것이다. 그것은 배타적인 또는 완전한 설명을 제공하려고 의도된 것은 아니다. 상세한 설명은 본 주제에 대한 추가 정보를 제공하기 위해 포함되었다.

모듈들, 컴포넌트들, 및 로직

본 명세서에서는 특정 실시예들이 로직 또는 다수의 컴포넌트, 모듈, 또는 메커니즘을 포함하는 것으로서 설명된다. 모듈들은 소프트웨어 모듈들(예를 들어, 머신-판독가능 매체 상에 구현된 코드) 또는 하드웨어 모듈을 구성할 수 있다. "하드웨어 모듈"은 특정 동작들을 수행할 수 있는 유형 유닛(tangible unit)이며, 특정 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적인 실시예들에서, 컴퓨터 시스템들(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하드웨어 모듈들(예를 들어, 적어도 하나의 하드웨어 프로세서, 프로세서, 또는 프로세서 그룹)은 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 본 명세서에서 설명된 특정 동작들을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.

일부 실시예들에서, 하드웨어 모듈은 기계적으로, 전자적으로, 또는 이들의 임의의 적합한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 특정 동작들을 수행하도록 영구적으로 구성되는 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 모듈은 FPGA(Field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 특수 목적 프로세서일 수 있다. 하드웨어 모듈은 또한 특정 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성되는 프로그램가능한 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 모듈은 범용 프로세서 또는 다른 프로그램가능한 프로세서 내에 포함된 소프트웨어를 포함할 수 있다. 기계적으로, 전용 및 영구적으로 구성된 회로로, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)로 하드웨어 모듈을 구현하려는 결정은, 비용 및 시간 고려사항에 의해 좌우될 수 있다는 것을 이해할 것이다.

따라서, "하드웨어 모듈"이라는 구문은, 특정 방식으로 동작하거나 본 명세서에서 설명된 특정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 물리결선(hardwired)), 또는 일시적으로 구성되는(예를 들어, 프로그램되는) 엔티티인 유형 엔티티(tangible entity)를 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용될 때, "하드웨어-구현된 모듈"이란 하드웨어 모듈을 말한다. 하드웨어 모듈들이 일시적으로 구성되는(예를 들어, 프로그램되는) 실시예들을 고려할 때, 하드웨어 모듈들 각각은 임의의 한 시점에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 모듈이 소프트웨어에 의해 특수 목적 프로세서가 되도록 구성된 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간들에서 (예를 들어, 상이한 하드웨어 모듈들을 포함하는) 각각 상이한 특수 목적 프로세서들로서 구성될 수 있다. 소프트웨어는 따라서, 예를 들어, 한 시점에서는 특정 하드웨어 모듈을 구성하고 상이한 시점에서는 상이한 하드웨어 모듈을 구성하도록 특정 프로세서 또는 프로세서들을 구성한다.

하드웨어 모듈들은 다른 하드웨어 모듈들에 정보를 제공하고 다른 하드웨어 모듈들로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신가능하게 결합된 것으로 간주될 수 있다. 다수의 하드웨어 모듈이 동시에 존재하는 경우, 통신은 하드웨어 모듈들 중 둘 이상의 하드웨어 모듈 사이에서 (예를 들어, 적절한 회로 및 버스를 통한) 신호 전송을 통해 달성될 수 있다. 다수의 하드웨어 모듈이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예들에서, 이러한 하드웨어 모듈들 사이의 통신은, 예를 들어, 다수의 하드웨어 모듈이 액세스하는 메모리 구조들 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈이 동작을 수행하고 그 동작의 출력을 통신가능하게 결합된 메모리 디바이스에 저장할 수 있다. 그 후, 추가 하드웨어 모듈이, 나중에, 메모리 디바이스에 액세스하여 저장된 출력을 검색 및 처리할 수 있다. 하드웨어 모듈들은 또한 입력 또는 출력 디바이스들과의 통신을 개시할 수 있고, 리소스(예를 들어, 정보의 집합체)에 대해 동작할 수 있다.

본 명세서에서 설명된 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, 관련 동작들을 수행하도록 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성되는 프로세서들에 의해 수행될 수 있다. 일시적으로 구성되는지 영구적으로 구성되는지에 관계없이, 그러한 프로세서들은 본 명세서에서 설명된 동작들 또는 기능들을 수행하도록 동작하는 프로세서-구현된 모듈들을 구성한다. 본 명세서에서 사용될 때, "프로세서-구현된 모듈"이란 프로세서들을 이용하여 구현된 하드웨어 모듈을 말한다.

유사하게, 본 명세서에서 설명된 방법들은 하드웨어의 한 예인 특정 프로세서 또는 프로세서들에 의해 적어도 부분적으로 프로세서-구현될 수 있다. 예를 들어, 방법의 동작들 중 적어도 일부는 프로세서들 또는 프로세서-구현된 모듈들에 의해 수행될 수 있다. 게다가, 프로세서들은 또한, "클라우드 컴퓨팅" 환경에서 또는 "서비스로서의 소프트웨어"(software as a service, SaaS)로서 관련 동작들의 수행을 지원하도록 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는, (프로세서들을 포함하는 머신의 예로서의) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이들 동작들은 네트워크(예를 들어, 인터넷)를 통해 그리고 적절한 인터페이스들(예를 들어, 애플리케이션 프로그램 인터페이스(API))을 통해 액세스 가능하다.

동작들 중 특정 동작의 수행은 단일 머신 내에 존재할 뿐만 아니라, 다수의 머신에 걸쳐 배치되는, 프로세서들 사이에 분산될 수 있다. 일부 예시적인 실시예들에서, 프로세서들 또는 프로세서-구현된 모듈들은 단일 지리적 위치(예를 들어, 가정 환경, 사무실 환경, 또는 서버 팜 내)에 위치한다. 다른 예시적인 실시예들에서, 프로세서들 또는 프로세서-구현된 모듈들은 다수의 지리적 위치에 걸쳐 분산된다.

응용들

도 10은 일부 실시예들과 일관된, 모바일 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® Phone, 또는 다른 모바일 운영 체제)를 실행하는 예시적인 모바일 디바이스(1000)를 예시한다. 일 실시예에서, 모바일 디바이스(1000)는 사용자(1002)로부터 촉각 데이터를 수신하도록 동작가능한 터치 스크린을 포함한다. 예를 들어, 사용자(1002)는 모바일 디바이스(1000)를 물리적으로 터치(1004)할 수 있고, 터치(1004)에 응답하여, 모바일 디바이스(1000)는, 터치 위치, 터치 힘, 또는 제스처 모션와 같은 촉각 데이터를 결정할 수 있다. 다양한 예시적인 실시예들에서, 모바일 디바이스(1000)는 애플리케이션을 시작하거나 모바일 디바이스(1000)의 다양한 양태를 관리하도록 동작가능한 홈 스크린(1006)(예를 들어 IOS™ 상의 Springboard)을 디스플레이한다. 일부 예시적인 실시예들에서, 홈 스크린(1006)은, 배터리 수명, 연결성, 또는 다른 하드웨어 상태들과 같은, 상태 정보를 제공한다. 사용자(1002)는 각각의 사용자 인터페이스 요소에 의해 점유된 영역을 터치함으로써 사용자 인터페이스 요소들을 활성화할 수 있다. 이러한 방식으로, 사용자(1002)는 모바일 디바이스(1000)의 애플리케이션들과 상호작용한다. 예를 들어, 홈 스크린(1006)에 포함된 특정 아이콘에 의해 점유된 영역을 터치하는 것은 그 특정 아이콘에 대응하는 애플리케이션의 시작을 야기한다.

모바일 디바이스(1000)는, 도 10에 도시된 바와 같이, 촬상 디바이스(1008)를 포함한다. 촬상 디바이스는 비디오 스트림 또는 하나 이상의 연속적인 이미지를 캡처할 수 있는 모바일 디바이스(1000)에 결합된 카메라 또는 임의의 다른 디바이스일 수 있다. 촬상 디바이스(1008)는 이미지 세그먼트화 시스템(160) 또는 선택가능한 사용자 인터페이스 요소에 의해 트리거되어, 비디오 스트림 또는 일련의 이미지들의 캡처를 개시하고, 비디오 스트림 또는 일련의 이미지들을, 본 개시내용에서 설명된 하나 이상의 방법에 따라 처리하기 위해, 이미지 세그먼트화 시스템에 전달할 수 있다.

네이티브 애플리케이션(예를 들어, Objective-C, Swift, 또는 IOS™ 상에서 실행되는 다른 적합한 언어로 프로그램된 애플리케이션들, 또는 ANDROID™ 상에서 실행되는 Java로 프로그램된 애플리케이션들), 모바일 웹 애플리케이션들(예를 들어, HTML5(Hypertext Markup Language-5)로 작성된 애플리케이션들) 또는 하이브리드 애플리케이션들(예를 들어, HTML5 세션을 시작하는 네이티브 쉘 애플리케이션)와 같은, ("앱"이라고도 하는) 많은 다양한 애플리케이션들이 모바일 디바이스(1000) 상에서 실행될 수 있다. 예를 들어, 모바일 디바이스(1000)는, 메시징 앱, 오디오 레코딩 앱, 카메라 앱, 북 리더 앱, 미디어 앱, 피트니스 앱, 파일 관리 앱, 위치 앱(location app), 브라우저 앱, 설정 앱, 연락처 앱, 전화 통화 앱, 또는 다른 앱들(예를 들어, 게임 앱, 소셜 네트워킹 앱, 바이오메트릭 모니터링 앱)을 포함한다. 다른 예들에서, 모바일 디바이스(1000)는, 일부 실시예들과 일관되어, 사용자들이 미디어 콘텐츠를 포함하는 단기적 메시지(ephemeral message)를 교환할 수 있게 하는 SNAPCHAT®와 같은 소셜 메시징 앱(1010)을 포함한다. 이 예에서, 소셜 메시징 앱(1010)은 본 명세서에서 설명된 실시예들의 양태들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 소셜 메시징 애플리케이션은 소셜 메시징 애플리케이션들에서 사용자들에 의해 만들어진 미디어의 단기적 갤러리를 포함한다. 이들 갤러리는 사용자에 의해 게시되고 사용자의 연락처들(예를 들어, "친구들")이 볼 수 있게 만들어진 비디오들 또는 사진들로 구성될 수 있다. 대안적으로, 소셜 메시징 애플리케이션의 관리자들에 의해 애플리케이션의 임의의 사용자로부터의 미디어로 구성된(그리고 모든 사용자에 의해 액세스 가능한) 공개 갤러리들이 만들어질 수 있다. 또 다른 실시예에서, 소셜 메시징 애플리케이션은 소셜 메시징 애플리케이션의 플랫폼 상의 게시자들에 의해 의해 생성되고 임의의 사용자들에 의해 액세스 가능한 기사들 및 다른 콘텐츠로 구성된 "잡지" 피처를 포함할 수 있다. 이들 환경 또는 플랫폼 중 임의의 것이 본 발명의 개념들을 구현하는 데 사용될 수 있다.

일부 실시예들에서, 단기적 메시지 시스템은 시청 시간 또는 시청 완료와 같은 삭제 트리거 이벤트 후에 삭제되는 단기적 비디오 클립들 또는 이미지들을 갖는 메시지들을 포함할 수 있다. 그러한 실시예들에서, 이미지 세그먼트화 시스템(160)을 구현하는 디바이스는 단기적 비디오 클립이 그 디바이스에 의해 캡처되고 있을 때 단기적 비디오 클립 내의 관심 객체를 식별, 추적, 및 수정하고, 단기적 메시지 시스템을 이용하여 단기적 비디오 클립을 다른 디바이스에 전송할 수 있다.

소프트웨어 아키텍처

도 11은 위에 설명된 디바이스들 상에 설치될 수 있는 소프트웨어(1102)의 아키텍처를 예시하는 블록도(1100)이다. 도 11은 소프트웨어 아키텍처의 비제한적 예일뿐이고, 본 명세서에서 설명된 기능을 가능하게 하기 위해 많은 다른 아키텍처들이 구현될 수 있다는 것을 이해할 것이다. 다양한 실시예들에서, 소프트웨어(1102)는, 프로세서(1210), 메모리(1230), 및 I/O 컴포넌트들(1250)을 포함하는 도 12의 머신(1200)과 같은 하드웨어에 의해 구현된다. 이 예시적인 아키텍처에서, 소프트웨어(1102)는 각 계층이 특정 기능을 제공할 수 있는 계층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어(1102)는, 운영 체제(1104), 라이브러리들(1106), 프레임워크들(1108), 및 애플리케이션들(1110)과 같은 계층들을 포함한다. 동작상, 애플리케이션들(1110)은, 일부 실시예들과 일관되게, 소프트웨어 스택을 통해 애플리케이션 프로그래밍 인터페이스(API) 호출들(1112)을 기동하고, API 호출들(1112)에 응답하여 메시지들(1114)을 수신한다.

다양한 구현들에서, 운영 체제(1104)는 하드웨어 리소스들을 관리하고 공통 서비스들을 제공한다. 운영 체제(1104)는 예를 들어 커널(1120), 서비스들(1122), 및 드라이버들(1124)을 포함한다. 커널(1120)은 일부 실시예들과 일관되게 하드웨어와 다른 소프트웨어 계층들 사이의 추상화 계층(abstraction layer)으로서 작용한다. 예를 들어, 커널(1120)은, 여러 기능 중에서도, 메모리 관리, 프로세서 관리(예를 들어, 스케쥴링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스들(1122)은 다른 소프트웨어 계층들에 대한 다른 공통 서비스들을 제공할 수 있다. 드라이버들(1124)은, 일부 실시예들에 따라, 기저 하드웨어를 제어하거나 그와 인터페이싱하는 것을 담당한다. 예를 들어, 드라이버들(1124)은, 디스플레이 드라이버, 카메라 드라이버, BLUETOOTH® 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, 범용 직렬 버스(USB) 드라이버), WI-FI® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.

일부 실시예들에서, 라이브러리들(1106)은 애플리케이션들(1110)에 의해 이용되는 하위-레벨 공통 공통 인프라스트럭처를 제공한다. 라이브러리들(1106)은, 메모리 할당 기능, 문자컬럼 조작 기능, 수학 기능 등과 같은 기능들을 제공할 수 있는 시스템 라이브러리들(1130)(예를 들어, C 표준 라이브러리)를 포함할 수 있다. 게다가, 라이브러리들(1106)은, 미디어 라이브러리(예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), PNG(Portable Network Graphics)와 같은 다양의 미디어 포맷의 프리젠테이션 및 조작을 지원하는 라이브러리들) 그래픽 라이브러리(예를 들어, 디스플레이 상에 그래픽 콘텐츠를 2차원(2D) 및 3차원(3D)으로 렌더링하는 데 이용되는 OpenGL 프레임워크), 데이터베이스 라이브러리(예를 들어, 다양한 관계형 데이터베이스 기능을 제공하는 SQLite), 웹 라이브러리(예를 들어, 웹 브라우징 기능을 제공하는 WebKit) 등과 같은 API 라이브러리들(1132)을 포함할 수 있다. 라이브러리들(1106)은 또한 많은 다른 API들을 애플리케이션들(1110)에 제공하는 매우 다양한 다른 라이브러리들(1134)을 포함할 수 있다.

프레임워크들(1108)은 일부 실시예에 따라 애플리케이션들(1110)에 의해 이용될 수 있는 하이-레벨 공통 인프라스트럭처를 제공한다. 예를 들어, 프레임워크들(1108)은, 다양한 그래픽 사용자 인터페이스(GUI) 기능, 하이-레벨 리소스 관리, 하이-레벨 위치 서비스 등을 제공한다. 프레임워크들(1108)은 애플리케이션들(1110)에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 있으며, 그 중 일부는 특정 운영 체제 또는 플랫폼 특유일 수 있다.

예시적인 실시예에서, 애플리케이션들(1110)은, 홈 애플리케이션(1150), 연락처 애플리케이션(1152), 브라우저 애플리케이션(1154), 북 리더 애플리케이션(1156), 위치 애플리케이션(1158), 미디어 애플리케이션(1160), 메시징 애플리케이션(1162), 게임 애플리케이션(1164), 및 제3자 애플리케이션(1166)과 같은 다른 애플리케이션들의 광범위한 모음을 포함한다. 일부 실시예들에 따르면, 애플리케이션들(1110)은 프로그램들에서 정의된 기능들을 실행하는 프로그램들이다. 객체 지향형 프로그래밍 언어(예를 들어, Objective-C, Java 또는 C++) 또는 절차형 프로그래밍 언어(예를 들어, C 또는 어셈블리 언어)와 같은 다양한 방식으로 구조화된 애플리케이션들(1110)을 생성하기 위해 다양한 프로그래밍 언어들이 이용될 수 있다. 특정 예에서, 제3자 애플리케이션(1166)(예를 들어, 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™, 또는 IOS™ 소프트웨어 개발 키트(SDK)를 이용하여 개발된 애플리케이션)은, IOS™, ANDROID™, WINDOWS® PHONE, 또는 다른 모바일 운영 체제와 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(1166)은 본 명세서에서 설명된 기능을 가능하게 하기 위해 운영 체제(1104)에 의해 제공되는 API 호출들(1112)을 기동할 수 있다.

예시적인 머신 아키텍처 및 머신-판독가능 매체

도 12는 머신-판독가능 매체(예를 들어, 비-일시적인 머신-판독가능 저장 매체)로부터 명령들(예를 들어, 프로세서 실행가능 명령들)을 판독하고 본 명세서에서 논의된 방법론들 ?O 임의의 것을 수행할 수 있는, 일부 실시예들에 따른, 머신(1200)의 컴포넌트들을 예시하는 블록도이다. 구체적으로는, 도 12는 예시적인 컴퓨터 시스템 형태의 머신(1200)의 도식적 표현을 나타내고, 그 안에서 머신(1200)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하게 하기 위한 명령들(1216)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행가능한 코드)이 실행될 수 있다. 대안적인 실시예들에서, 머신(1200)은 독립형 디바이스로서 동작하거나 다른 머신들에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1200)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 자격으로 동작하거나, 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1200)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(STB), 개인 휴대 정보 단말기(PDA), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 웨어러블 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 다른 스마트 디바이스들, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 머신(1200)에 의해 취해질 액션들을 명시하는 명령들(1216)을 순차적으로 또는 다른 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이들로 제한되지 않는다. 게다가, 단일 머신(1200)만이 예시되어 있지만, "머신"이라는 용어는 또한, 본 명세서에서 논의된 방법론들 중 임의의 것을 수행하기 위해 명령들(1216)을 개별적으로 또는 공동으로 실행하는 머신들(1200)의 집합체를 포함하는 것으로 간주되어야 한다.

다양한 실시예들에서, 머신(1200)은 버스(1202)를 통해 서로 통신하도록 구성될 수 있는, 프로세서(1210), 메모리(1230), 및 I/O 컴포넌트들(1250)을 포함한다. 예시적인 실시예에서, 프로세서(1210)(예를 들어, CPU(Central Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), RFIC(Radio-Frequency Integrated Circuit), 다른 프로세서, 또는 이들의 임의의 적합한 조합)는, 예를 들어, 명령들(1216)을 실행할 수 있는 프로세서(1212) 및 프로세서(1214)를 포함할 수 있다. "프로세서"이라는 용어는, 명령들을 동시에 실행할 수 있는 둘 이상의 독립된 프로세서("코어"이라고도 함)를 포함할 수 있는 멀티-코어 프로세서들을 포함하는 것을 의도한다. 도 12는 다수의 프로세서를 도시하지만, 머신(1200)은 단일 코어를 갖는 단일 프로세서, 다수의 코어를 갖는 단일 프로세서(예를 들어, 멀티-코어 프로세서), 단일 코어를 갖는 다수의 프로세서, 다수의 코어를 갖는 다수의 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.

일부 실시예들에 따르면, 메모리(1230)는 버스(1202)를 통해 프로세서들(1210)에 의해 액세스 가능한 메인 메모리(1232), 정적 메모리(1234), 및 스토리지 유닛(1236)을 포함한다. 스토리지 유닛(1236)은 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 것을 구현하는 명령들(1216)이 저장되는 머신-판독가능 매체(1238)를 포함할 수 있다. 명령들(1216)은 또한, 머신(1200)에 의한 그의 실행 동안에, 완전히 또는 적어도 부분적으로, 메인 메모리(1232) 내에, 정적 메모리(1234) 내에, 프로세서들(1210) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에) 또는 이들의 임의의 적합한 조합으로 존재할 수 있다. 따라서, 다양한 실시예들에서, 메인 메모리(1232), 정적 메모리(1234), 및 프로세서들(1210)은 머신-판독가능 매체(1238)로 간주된다.

본 명세서에서 사용될 때, "메모리"이라는 용어는 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 머신-판독가능 매체(1238)를 말하며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 및 캐시 메모리를 포함하는 것으로 간주될 수 있지만, 이들로 제한되지 않는다. 머신-판독가능 매체(1238)가 예시적인 실시예에서는 단일 매체인 것으로 도시되었지만, "머신-판독가능 매체"라는 용어는 명령들(1216)을 저장할 수 있는 단일 매체 또는 다수의 매체(예를 들어, 중앙 집중식 또는 분산형 데이터베이스, 또는 연관된 캐시들 및 서버들)를 포함할 수 있다. "머신-판독가능 매체"라는 용어는 또한, 명령들이, 머신(1200)의 프로세서들(예를 들어, 프로세서들(1210))에 의해 실행될 때, 머신(1200)으로 하여금 본 명세서에서 설명된 방법론들 중 임의의 것을 수행하게 하도록, 머신(예를 들어, 머신(1200))에 의한 실행을 위한 명령들(예를 들어, 명령(1216))를 저장할 수 있는 임의의 매체 또는 다수의 매체의 조합을 포함하는 것으로 간주되어야 한다. 따라서, "머신-판독가능 매체"란, 단일 스토리지 장치 또는 디바이스뿐만 아니라, 다수의 스토리지 장치 또는 디바이스를 포함하는 "클라우드-기반" 스토리지 시스템들 또는 스토리지 네트워크들을 말한다. 따라서 "머신-판독가능 매체"이라는 용어는 솔리드-스테이트 메모리(예를 들어, 플래시 메모리), 광학 매체, 자기 매체, 다른 비휘발성 메모리((예를 들어, 소거 가능 프로그램 가능 판독 전용 메모리(EPROM)), 또는 이들의 임의의 적합한 조합의 형태의 데이터 저장소들을 포함하지만, 이들로 제한되지 않는 것으로 간주되어야 한다. "머신-판독가능 매체"라는 용어는 구체적으로 비법정 신호(non-statutory signals) 그 자체는 제외한다.

I/O 컴포넌트들(1250)은, 입력을 수신하고, 출력을 제공하고, 출력을 생성하고, 정보를 전송하고, 정보를 교환하고, 측정치를 캡처는 등을 수행하는 매우 다양한 컴포넌트들을 포함한다. 일반적으로, I/O 컴포넌트들(1250)은 도 12에 도시되지 않은 많은 다른 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다. I/O 컴포넌트들(1250)은 단지 이하의 논의를 간소화하기 위해 기능에 따라 그룹화되어 있고, 이러한 그룹화는 어떠한 방식으로든 제한하는 것이 아니다. 다양한 예시적인 실시예들에서, I/O 컴포넌트들(1250)은 출력 컴포넌트들(1252) 및 입력 컴포넌트들(1254)을 포함한다. 출력 컴포넌트들(1252)은, 시각적 컴포넌트들(예를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 음극선관(CRT)과 같은 디스플레이), 음향 컴포넌트들(예를 들어, 스피커), 햅틱 컴포넌트들(예를 들어, 진동 모터), 다른 신호 생성기 등을 포함한다. 입력 컴포넌트들(1254)은, 영숫자 입력 컴포넌트들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광학 키보드, 또는 다른 영숫자 입력 컴포넌트), 포인트 기반 입력 컴포넌트들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기구), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치 또는 터치 제스처의 위치 및 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 컴포넌트), 오디오 입력 컴포넌트들(예를 들어, 마이크로폰) 등을 포함한다.

일부 추가의 예시적인 실시예들에서, I/O 컴포넌트들(1250)은, 매우 다양한 여러 컴포넌트들 중에서도, 바이오메트릭 컴포넌트들(1256), 모션 컴포넌트들(1258), 환경 컴포넌트들(1260), 또는 위치 컴포넌트들(1262)을 포함한다. 예를 들어, 바이오메트릭 컴포넌트들(1256)은, 표현들(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 신체 제스처, 또는 입 제스처)을 검출하고, 생체신호들(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)을 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계 기반 식별)하는 컴포넌트들을 포함한다. 모션 컴포넌트들(1258)은, 가속도 센서 컴포넌트들(예를 들어, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예를 들어, 자이로스코프) 등을 포함한다. 환경 컴포넌트들(1260)은, 예를 들어, 조명 센서 컴포넌트들(예를 들어, 광도계), 온도 센서 컴포넌트들(예를 들어, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트들, 압력 센서 컴포넌트들(예를 들어, 기압계), 음향 센서 컴포넌트들(예를 들어, 배경 노이즈를 검출하는 마이크로폰들), 근접 센서 컴포넌트들(예를 들어, 근처의 객체들을 검출하는 적외선 센서들), 가스 센서 컴포넌트들(예를 들어, 머신 후각 검출 센서들, 안전을 위해 위험한 가스의 농도를 검출하거나 대기 중의 오염 물질을 측정하는 가스 검출 센서들), 또는 주변의 물리적 환경에 대응하는 표시들, 측정치들, 또는 신호들을 제공할 수 있는 다른 컴포넌트들을 포함한다. 위치 컴포넌트들(1262)은, 위치 센서 컴포넌트들(예를 들어, GPS(Global Positioning System) 수신기 컴포넌트), 고도 센서 컴포넌트들(예를 들어, 고도계 또는 고도가 도출될 수 있는 기압을 검출하는 기압계), 배향 센서 컴포넌트들(예를 들어, 자력계) 등을 포함한다.

통신은 매우 다양한 기술들을 이용하여 구현될 수 있다. I/O 컴포넌트들(1250)은, 머신(1200)을 각각 결합(1282) 및 결합(1272)을 통해 네트워크(1280) 또는 디바이스들(1270)에 결합하도록 동작가능한 통신 컴포넌트(1264)를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1264)는, 네트워크 인터페이스 컴포넌트, 또는 네트워크(1280)와 인터페이스하기에 적합한 다른 디바이스를 포함한다. 추가 예들에서, 통신 컴포넌트들(1264)은 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, 근거리 무선 통신(NFC) 컴포넌트, BLUETOOTH® 컴포넌트(예를 들어, BLUETOOTH® Low Energy), WI-FI® 컴포넌트, 및 다른 양태들을 통해 통신을 제공하는 다른 통신 컴포넌트들을 포함한다. 디바이스들(1270)은, 다른 머신 또는 임의의 매우 다양한 주변 디바이스들(예를 들어, 범용 직렬 버스(USB)를 통해 결합된 주변 디바이스)일 수 있다.

게다가, 일부 실시예들에서, 통신 컴포넌트(1264)는 식별자들을 검출하거나 식별자들을 검출하도록 동작가능한 컴포넌트들을 포함한다. 예를 들어, 통신 컴포넌트들(1264)은, 무선 주파수 식별(RFID) 태그 판독기 컴포넌트들, NFC 스마트 태그 검출 컴포넌트들, 광학 판독기 컴포넌트들(예를 들어, 범용 제품 코드(UPC) 바 코드와 같은 일차원 바 코드, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra 코드, UCC RSS(Uniform Commercial Code Reduced Space Symbology) -2D 바 코드, 및 다른 광학 코드와 같은 다차원 바 코드를 검출하는 광학 센서), 음향 검출 컴포넌트들(예를 들어, 태깅된 오디오 신호를 식별하는 마이크로폰), 또는 이들의 임의의 적합한 조합을 포함한다. 게다가, 인터넷 프로토콜(IP) 지오-로케이션(geo-location)을 통한 위치, WI-FI® 신호 삼각측량을 통한 위치, 특정 위치를 나타낼 수 있는 BLUETOOTH® 또는 NFC 비컨 신호 검출을 통한 위치와 같은, 다양한 정보가 통신 컴포넌트(1264)를 통해 도출될 수 있다.

전송 매체

다양한 예시적인 실시예들에서, 네트워크(1280)의 부분들은, 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설망(VPN), 근거리 통신망(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 도시권 통신망(metropolitan area network, MAN), 인터넷, 인터넷의 부분, PSTN(Public Switched Telephone Network)의 부분, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, WI-FI® 네트워크, 다른 유형의 네트워크, 또는 둘 이상의 그러한 네트워크들의 조합일 수 있다. 예를 들어, 네트워크(1280) 또는 네트워크(1280)의 부분은 무선 또는 셀룰러 네트워크를 포함할 수 있고, 결합(1282)은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 유형의 셀룰러 또는 무선 결합을 포함할 수 있다. 이 예에서, 결합(1282)은, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G, 4G(fourth generation wireless) 네트워크, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준-설정 기구들에 의해 정의된 다른 것들을 포함한 3GPP(third Generation Partnership Project), 다른 장거리 프로토콜들, 또는 다른 데이터 전달 기술과 같은 다양한 유형의 데이터 전달 기술들 중 임의의 것을 구현할 수 있다.

예시적인 실시예들에서, 명령들(1216)은, 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트(1264)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 전송 매체를 이용하여 그리고 다수의 널리 공지된 전송 프로토콜들 중 임의의 하나(예를 들어, HTTP(Hypertext Transfer Protocol))를 이용하여 네트워크(1280)를 통해 전송되거나 수신될 수 있다. 유사하게, 다른 예시적인 실시예들에서, 명령들(1216)은 디바이스들(1270)에 대한 결합(1272)(예를 들어, 피어-투-피어 결합)을 통해 전송 매체를 이용하여 전송되거나 수신될 수 있다. "전송 매체"라는 용어는, 머신(1200)에 의한 실행을 위한 명령들(1216)을 저장, 인코딩 또는 운반할 수 있고, 그러한 소프트웨어의 전달을 가능하게 하는 디지털 또는 아날로그 통신 신호 또는 다른 무형 매체를 포함하는 임의의 무형 매체를 포함하는 것으로 간주되어야 한다.

게다가, 머신-판독가능 매체(1238)는 전파 신호를 구현하지 않는다는 점에서 비일시적(즉, 어떠한 일시적인 신호도 갖지 않는 것)이다. 그러나, 머신-판독가능 매체(1238)를 "비일시적"으로 라벨링하는 것은 그 매체가 이동 불가능하다는 것을 의미하는 것으로 해석되어서는 안 된다; 그 매체는 하나의 물리적 위치에서 다른 위치로 운반 가능한 것으로 간주되어야 한다. 게다가, 머신-판독가능 매체(1238)는 유형(tangible)이므로, 매체는 머신-판독가능 디바이스인 것으로 간주될 수 있다.

언어

본 명세서 전체를 통해, 복수의 인스턴스는 단일 인스턴스로서 설명된 컴포넌트들, 동작들, 또는 구조들을 구현할 수 있다. 방법들의 개개의 동작들이 별개의 동작들로서 예시되고 설명되지만, 개개의 동작들은 동시에 수행될 수 있고, 동작들이 예시된 순서로 수행될 필요는 없다. 예시적인 구성에서 별개의 컴포넌트들로서 제시된 구조 및 기능은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조 및 기능은 별개의 컴포넌트들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가, 및 개선은 본 명세서의 주제의 범위 내에 있다.

본 발명의 주제에 대한 개요가 특정 예시적인 실시예들을 참조하여 설명되었지만, 본 개시내용의 실시예들의 더 넓은 범위를 벗어나지 않으면서 이들 실시예들에 대한 다양한 수정 및 변경이 이루어질 수 있다. 본 발명의 주제의 그러한 실시예들은, 본 명세서에서, 개별적으로 또는 집합적으로, 단지 편의상 "발명"이라는 용어에 의해 언급될 수 있는데 사실상 하나보다 많은 개시내용이나 발명적 개념이 개시되어 있다면 본 출원의 범위를 임의의 단일 개시내용이나 발명적 개념으로 자발적으로 제한하려는 의도는 없다.

본 명세서에서 예시된 실시예들은 본 기술분야의 통상의 기술자들이 본 명세서에서 개시된 교시내용들을 실시할 수 있게 하도록 충분히 상세하게 설명되었다. 본 개시내용의 범위로부터 벗어나지 않고 구조적 및 논리적 치환과 변경이 이루어질 수 있도록 하는 다른 실시예들이 이용될 수 있고 본 개시내용으로부터 유도될 수 있다. 따라서, 상세한 설명은 제한적인 의미로 간주되어서는 안 되며, 다양한 실시예들의 범위는 첨부된 청구항들과 이러한 청구항들의 균등물의 전체 범위에 의해서만 정의된다.

본 명세서에서 사용될 때, "또는"이라는 용어는 포함적 또는 배타적 의미로 해석될 수 있다. 게다가, 본 명세서에서 단일 인스턴스로서 설명된 리소스들, 동작들, 또는 구조들에 대해 복수의 인스턴스가 제공될 수 있다. 게다가, 다양한 리소스들, 동작들, 모듈들, 엔진들, 및 데이터 저장소들 사이의 경계들은 다소 임의적이며, 특정 동작들은 특정 예시적인 구성들의 맥락에서 예시된 것이다. 기능의 다른 할당들이 구상되고 본 개시내용의 다양한 실시예들의 범위 내에 있을 수 있다. 일반적으로, 예시적인 구성들에서 별개의 리소스들로서 제시된 구조들 및 기능은 결합된 구조 또는 리소스로서 구현될 수 있다. 유사하게, 단일 리소스로서 제시된 구조들 및 기능들은 별개의 리소스들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가, 및 개선은 첨부된 청구항들에 의해 나타내어지는 본 개시내용의 실시예들의 범위 내에 있다. 따라서, 본 명세서 및 도면은 제한적인 의미라기보다는 예시적인 의미로 간주되어야 한다.

Claims

비디오 스트림의 부분들을 조작하기 위한 컴퓨터 구현 방법으로서,
클라이언트 디바이스에 의해, 얼굴을 포함하고 제1 이미지 세트 및 제2 이미지 세트를 포함하는 비디오 스트림 내의 입의 대략적인 위치를 결정하는 단계;
상기 클라이언트 디바이스에 의해, 상기 제1 이미지 세트의 하나 이상의 이미지 내의 복수의 픽셀을 포함하는 관심 영역을 식별하는 단계 - 상기 관심 영역은 상기 입의 대략적인 위치를 포함하는 상기 하나 이상의 이미지의 부분임 -;
상기 클라이언트 디바이스에 의해,
상기 관심 영역 내의 상기 복수의 픽셀의 각각의 픽셀에 대해,
상기 픽셀과 연관된 컬러 값 세트를 검색하는 동작;
상기 컬러 값 세트의 제1 부분의 제1 값을 상기 컬러 값 세트의 제2 부분의 제2 값과 비교함으로써 상기 픽셀에 대한 이진 값을 결정하는 동작;
상기 픽셀에 대한 상기 이진 값을 이진화 행렬에 저장하는 동작;
상기 이진화 행렬을 이용하여 상기 관심 영역 내의 상기 복수의 픽셀 내의 각각의 픽셀을 수정하여 이진화된 관심 영역을 생성하는 동작;
상기 클라이언트 디바이스에 의해, 상기 이진화된 관심 영역에서 상기 입 내에서 가시적인 치아 세트를 식별하는 동작;
상기 클라이언트 디바이스에 의해, 상기 이진화된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별하고, 상기 제1 픽셀 세트의 적어도 일부를 상기 얼굴의 이진 마스크 내의 랜드마크 포인트 세트로서 추가하는 동작 - 상기 제1 픽셀 세트는 상기 입 내의 상기 치아 세트에 대응함 -; 및
상기 치아 세트가 상기 제2 이미지 세트 내에서 보일 때, 상기 클라이언트 디바이스에 의해, 상기 비디오 스트림의 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 컬러 값을 수정하는 동작
을 포함하는 동작들을 수행함으로써 이진화 행렬을 생성하는 단계
를 포함하는, 방법.
제1항에 있어서,
상기 관심 영역 내의 상기 복수의 픽셀을 그레이스케일을 따른 값들로 변환하여 그레이스케일 관심 영역을 생성하는 단계를 더 포함하고, 상기 복수의 픽셀은, 각각의 픽셀에 대해, 고정된 강도 값을 상기 픽셀의 컬러 채도 값들의 삼중 항(triplet)의 몫과 곱함으로써 그레이스케일 값을 생성하는 것에 의해 그레이스케일로 변환되는, 방법.
제2항에 있어서, 상기 그레이스케일 관심 영역 내의 상기 픽셀들은 상기 그레이스케일 내의 값들의 히스토그램을 포함하고, 상기 방법은,
상기 그레이스케일 관심 영역 내의 상기 히스토그램 값들을 등화하여 등화된 관심 영역을 생성하는 단계를 더 포함하는, 방법.
제3항에 있어서,
상기 등화된 관심 영역을 임계화하여 상기 이진화된 관심 영역을 생성하는 단계를 더 포함하고, 상기 이진화된 관심 영역 내의 상기 제1 픽셀 세트는 제1 값을 갖고, 상기 이진화된 관심 영역 내의 상기 제2 픽셀 세트는 상기 제1 값과 구별되는 제2 값을 갖는, 방법.
제4항에 있어서, 상기 제2 픽셀 세트는 상기 제1 값을 갖는 하나 이상의 픽셀에 의해 인터럽트되는 복수의 세그먼트를 포함하고, 상기 이진화된 관심 영역을 생성하는 단계는,
상기 제2 값을 갖는 복수의 세그먼트 중 둘 이상의 세그먼트 사이에 위치된 상기 제1 값을 갖는 하나 이상의 픽셀을 식별하는 단계; 및
상기 식별된 하나 이상의 픽셀의 상기 제1 값을 상기 제2 값으로 대체하는 단계를 더 포함하는, 방법.
제4항에 있어서,
상기 제1 픽셀 세트가 미리 결정된 임계치보다 큰 값을 갖는 것으로 결정하는 단계; 및
상기 비디오 스트림의 제2 이미지 세트 내의 상기 제1 픽셀 세트를 마킹하여, 마킹된 픽셀들의 세트를 생성하는 단계를 더 포함하는, 방법.
제5항에 있어서, 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트를 마킹하는 단계는,
상기 제1 이미지 세트 내에 묘사된 얼굴의 하나 이상의 랜드마크에 관하여 상기 제1 픽셀 세트에 대한 위치들을 식별하는 단계; 및
상기 제1 이미지 세트 내의 상기 제1 픽셀 세트의 상기 컬러 값을 식별하는 단계를 더 포함하는, 방법.
제5항에 있어서, 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 상기 컬러 값을 수정하는 동작은,
상기 비디오 스트림의 상기 제2 이미지 세트에 걸쳐 상기 마킹된 픽셀들의 세트를 추적하는 동작; 및
상기 제1 픽셀 세트에 대한 컬러 값이 상기 마킹된 픽셀들에 근접하게 제시될 때 상기 컬러 값을 수정하는 동작을 더 포함하는, 방법.
비디오 스트림의 부분들을 조작하기 위한 시스템으로서,
하나 이상의 프로세서; 및
프로세서 실행가능 명령어들을 저장하는 비일시적 머신 판독가능 저장 매체
를 포함하고, 상기 명령어들은 머신의 프로세서에 의해 실행될 때, 상기 머신으로 하여금,
클라이언트 디바이스에 의해, 얼굴을 포함하고 제1 이미지 세트 및 제2 이미지 세트를 포함하는 비디오 스트림 내의 입의 대략적인 위치를 결정하는 동작;
상기 클라이언트 디바이스에 의해, 상기 제1 이미지 세트의 하나 이상의 이미지 내의 복수의 픽셀을 포함하는 관심 영역을 식별하는 동작 - 상기 관심 영역은 상기 입의 대략적인 위치를 포함하는 상기 하나 이상의 이미지의 부분임 -;
상기 클라이언트 디바이스에 의해,
상기 관심 영역 내의 상기 복수의 픽셀의 각각의 픽셀에 대해,
상기 픽셀과 연관된 컬러 값 세트를 검색하는 동작;
상기 컬러 값 세트의 제1 부분의 제1 값을 상기 컬러 값 세트의 제2 부분의 제2 값과 비교함으로써 상기 픽셀에 대한 이진 값을 결정하는 동작;
상기 픽셀에 대한 상기 연관된 이진 값을 이진화 행렬에 저장하는 동작;
상기 이진화 행렬을 이용하여 상기 관심 영역 내의 상기 복수의 픽셀 내의 각각의 픽셀을 수정하여 이진화된 관심 영역을 생성하는 동작;
상기 클라이언트 디바이스에 의해, 상기 이진화된 관심 영역에서 상기 입 내에서 가시적인 치아 세트를 식별하는 동작;
상기 클라이언트 디바이스에 의해, 상기 이진화된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별하고, 상기 제1 픽셀 세트의 적어도 일부를 상기 얼굴의 이진 마스크 내의 랜드마크 포인트 세트로서 추가하는 동작 - 상기 제1 픽셀 세트는 상기 입 내의 상기 치아 세트에 대응함 -; 및
상기 치아 세트가 상기 제2 이미지 세트 내에서 보일 때, 상기 클라이언트 디바이스에 의해, 상기 비디오 스트림의 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 컬러 값을 수정하는 동작
을 포함하는 동작들을 수행함으로써 이진화 행렬을 생성하는 동작
을 포함하는 동작들을 수행하게 하는, 시스템.
제9항에 있어서,
상기 관심 영역 내의 상기 복수의 픽셀을 그레이스케일을 따른 값들로 변환하여 그레이스케일 관심 영역을 생성하는 동작을 더 포함하고, 상기 복수의 픽셀은, 각각의 픽셀에 대해, 고정된 강도 값을 상기 픽셀의 컬러 채도 값들의 삼중 항(triplet)의 몫과 곱함으로써 그레이스케일 값을 생성하는 것에 의해 그레이스케일로 변환되는, 시스템.
제10항에 있어서, 상기 그레이스케일 관심 영역 내의 상기 픽셀들은 상기 그레이스케일 내의 값들의 히스토그램을 포함하고, 상기 동작들은,
상기 그레이스케일 관심 영역 내의 상기 히스토그램 값들을 등화하여 등화된 관심 영역을 생성하는 동작을 더 포함하는, 시스템.
제11항에 있어서,
상기 등화된 관심 영역을 임계화하여 상기 이진화된 관심 영역을 생성하는 동작을 더 포함하고, 상기 이진화된 관심 영역 내의 상기 제1 픽셀 세트는 제1 값을 갖고, 상기 이진화된 관심 영역 내의 상기 제2 픽셀 세트는 상기 제1 값과 구별되는 제2 값을 갖는, 시스템.
제12항에 있어서, 상기 제2 픽셀 세트는 상기 제1 값을 갖는 하나 이상의 픽셀에 의해 인터럽트되는 복수의 세그먼트를 포함하고, 상기 이진화된 관심 영역을 생성하는 동작은,
상기 제2 값을 갖는 복수의 세그먼트 중 둘 이상의 세그먼트 사이에 위치된 상기 제1 값을 갖는 하나 이상의 픽셀을 식별하는 동작; 및
상기 식별된 하나 이상의 픽셀의 상기 제1 값을 상기 제2 값으로 대체하는 동작을 더 포함하는, 시스템.
제12항에 있어서,
상기 제1 픽셀 세트가 미리 결정된 임계치보다 큰 값을 갖는 것으로 결정하는 동작; 및
상기 비디오 스트림의 제2 이미지 세트 내의 상기 제1 픽셀 세트를 마킹하여, 마킹된 픽셀들의 세트를 생성하는 동작을 더 포함하는, 시스템.
제14항에 있어서, 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트를 마킹하는 동작은,
상기 제1 이미지 세트 내에 묘사된 얼굴의 하나 이상의 랜드마크에 관하여 상기 제1 픽셀 세트에 대한 위치들을 식별하는 동작; 및
상기 제1 이미지 세트 내의 상기 제1 픽셀 세트의 상기 컬러 값을 식별하는 동작을 더 포함하는, 시스템.
제14항에 있어서, 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 상기 컬러 값을 수정하는 동작은,
상기 비디오 스트림의 상기 제2 이미지 세트에 걸쳐 상기 마킹된 픽셀들의 세트를 추적하는 동작; 및
상기 제1 픽셀 세트에 대한 컬러 값이 상기 마킹된 픽셀들에 근접하게 제시될 때 상기 컬러 값을 수정하는 동작을 더 포함하는, 시스템.
프로세서 실행가능 명령어들을 저장하는 비일시적 머신 판독가능 저장 매체로서,
상기 프로세서 실행가능 명령어들은 머신의 프로세서에 의해 실행될 때 상기 머신으로 하여금,
클라이언트 디바이스에 의해, 얼굴을 포함하고 제1 이미지 세트 및 제2 이미지 세트를 포함하는 비디오 스트림 내의 입의 대략적인 위치를 결정하는 동작;
상기 클라이언트 디바이스에 의해, 상기 제1 이미지 세트의 하나 이상의 이미지 내의 복수의 픽셀을 포함하는 관심 영역을 식별하는 동작 - 상기 관심 영역은 상기 입의 대략적인 위치를 포함하는 상기 하나 이상의 이미지의 부분임 -;
상기 클라이언트 디바이스에 의해,
상기 관심 영역 내의 상기 복수의 픽셀의 각각의 픽셀에 대해,
상기 픽셀과 연관된 컬러 값 세트를 검색하는 동작;
상기 컬러 값 세트의 제1 부분의 제1 값을 상기 컬러 값 세트의 제2 부분의 제2 값과 비교함으로써 상기 픽셀에 대한 이진 값을 결정하는 동작;
상기 픽셀에 대한 상기 연관된 이진 값을 이진화 행렬에 저장하는 동작;
상기 이진화 행렬을 이용하여 상기 관심 영역 내의 상기 복수의 픽셀 내의 각각의 픽셀을 수정하여 이진화된 관심 영역을 생성하는 동작;
상기 클라이언트 디바이스에 의해, 상기 이진화된 관심 영역에서 상기 입 내에서 가시적인 치아 세트를 식별하는 동작;
상기 클라이언트 디바이스에 의해, 상기 이진화된 관심 영역 내의 제1 픽셀 세트 및 제2 픽셀 세트를 식별하고, 상기 제1 픽셀 세트의 적어도 일부를 상기 얼굴의 이진 마스크 내의 랜드마크 포인트 세트로서 추가하는 동작 - 상기 제1 픽셀 세트는 상기 입 내의 상기 치아 세트에 대응함 -; 및
상기 치아 세트가 상기 제2 이미지 세트 내에서 보일 때, 상기 클라이언트 디바이스에 의해, 상기 비디오 스트림의 상기 제2 이미지 세트 내의 상기 제1 픽셀 세트에 대한 컬러 값을 수정하는 동작
을 포함하는 동작들을 수행함으로써 이진화 행렬을 생성하는 동작
을 포함하는 동작들을 수행하게 하는, 비일시적 머신 판독가능 저장 매체.
제17항에 있어서,
상기 관심 영역 내의 상기 복수의 픽셀을 그레이스케일을 따른 값들로 변환하여 그레이스케일 관심 영역을 생성하는 동작을 더 포함하고, 상기 복수의 픽셀은, 각각의 픽셀에 대해, 고정된 강도 값을 상기 픽셀의 컬러 채도 값들의 삼중 항(triplet)의 몫과 곱함으로써 그레이스케일 값을 생성하는 것에 의해 그레이스케일로 변환되는, 비일시적 머신 판독가능 저장 매체.
제18항에 있어서, 상기 그레이스케일 관심 영역 내의 상기 픽셀들은 상기 그레이스케일 내의 값들의 히스토그램을 포함하고, 상기 동작들은,
상기 그레이스케일 관심 영역 내의 상기 히스토그램 값들을 등화하여 등화된 관심 영역을 생성하는 동작을 더 포함하는, 비일시적 머신 판독가능 저장 매체.
제19항에 있어서,
상기 등화된 관심 영역을 임계화하여 상기 이진화된 관심 영역을 생성하는 동작을 더 포함하고, 상기 이진화된 관심 영역 내의 상기 제1 픽셀 세트는 제1 값을 갖고, 상기 이진화된 관심 영역 내의 상기 제2 픽셀 세트는 상기 제1 값과 구별되는 제2 값을 갖는, 비일시적 머신 판독가능 저장 매체.