KR20140091599A

KR20140091599A - 소셜 네트워킹 정보를 이용한 얼굴 인식

Info

Publication number: KR20140091599A
Application number: KR1020147016083A
Authority: KR
Inventors: 데이빗 해리 가르시아; 클레어 루크 세인트; 제니 위엔
Original assignee: 페이스북, 인크.
Priority date: 2011-11-15
Filing date: 2012-10-15
Publication date: 2014-07-21
Also published as: US9619694B2; US9087273B2; AU2012337301B2; US20150286856A1; US20130121540A1; WO2013074233A1; JP2014535122A; CA2855963C; US10133915B2; US20170068842A1; AU2012337301A1; JP5826947B2; CA2855963A1; KR101634701B1

Abstract

특정 실시예에서, 주 사용자와 관련된 하나 이상의 이미지들이 수신된다. 이미지(들)는 단일 이미지, 관련 이미지들의 시리즈, 또는 비디오 프레임들을 포함할 수 있다. 각 얼굴에 대하여 그 얼굴로 식별될 수 있는 하나 이상의 후보들이 선택된다. 각 후보는 소셜 네트워크 내에서 주 사용자와 연결될 수 있다. 검출된 얼굴과 관련된 각 후보에 대한 후보 점수가 결정된다. 마지막으로 승리 후보가 결정되고, 검출된 얼굴을 승리 후보로 식별하기 위한 제안이 제시된다. 일부 실시예들은 비디오가 모바일 장치에 의해 캡처됨에 따라 비디오 클립 상에서 동작할 수 있다. 일부 실시예들은 웹 사이트 상에 업로드되거나 열람됨에 따라 이미지들의 시리즈 상에서 동작할 수 있다.

Description

소셜 네트워킹 정보를 이용한 얼굴 인식{FACIAL RECOGNITION USING SOCIAL NETWORKING INFORMATION}

본 발명은 일반적으로 소셜 네트워킹 웹사이트 및 사용자들이 다른 사용자들과 연결을 형성할 수 있는 다른 시스템들에 관한 것으로, 좀 더 구체적으로 소셜 네트워크 상에 호스트되는 비디오, 사진 또는 다른 미디어에서의 얼굴 인식에 관한 것이다.

(사람, 기업체 및 다른 엔터티들을 포함하는) 사용자들 사이의 연결을 추적하고 가능하게 하는 소셜 네트워크 또는 소셜 유틸리티들이 최근 몇년 동안 유행하고 있다. 특히, 소셜 네트워킹 웹사이트들은 사용자들이 좀더 효율적이며 실시간으로 정보를 공유하고 소비할 수 있게 한다. 소셜 네트워킹 웹사이트는 또한 사용자들이 다른 사용자들과 그들을 연관시켜, 소셜 네트워킹 웹사이트의 사용자들 사이의 연결 웹을 생성할 수 있게 한다. 사용자들 사이의 이러한 연결은 사용자들의 정보 공유라는 관점에서 각 사용자에게 좀 더 관련성 있는 정보를 제공하기 위하여 웹사이트에 의해 영향을 받을 수 있다. 이미지에서의 얼굴 인식은 다수의 종래 방법들 중 하나에 의해 수행될 수 있다. 얼굴 인식을 위한 그러한 종래 방법들은 통상 소셜 네트워크를 통하여 이용가능한 수많은 추가 정보를 이용하지 않는다.

본 발명은 소셜 네트워크 정보를 이용한 얼굴 인식 방법을 제공하고자 하는 것이다.

특정 실시예는 소셜 네트워킹 시스템 및 종래의 고정된 것뿐 아니라 모바일 실시예들을 포함하는 관련 시스템들을 포함하는 소셜 네트워킹 환경에 관한 것이다. 소셜 네트워킹 시스템은 소셜 네트워킹 시스템의 사용자들에게 소셜 네트워킹 시스템의 다른 사용자들과 통신하고 상호작용할 수 있는 능력을 제공한다. 사용자들은 소셜 네트워킹 시스템에 가입한 후 그들이 연결되길 원하는 다수의 다른 사용자들과의 연결을 추가한다. 일단 소셜 네트워크의 회원이 되면, 사용자들은 그들 자신의 페이지 상에서 이미지 및 비디오를 열람하거나 포스팅하는 것에 의해, 또는 위치-기반 소셜 네트워킹 정보를 열람하고 포스팅하기 위해 모바일 장치들을 사용하는 것에 의해 소셜 네트워크 자체와 상호작용할 수 있다.

특정 실시예에서, 사용자는 그들의 소셜 네트워크에서 사람에 관한 실시간 얼굴 인식을 포함하는 사진 및/또는 비디오를 캡처할 수 있다. 비디오 클립 또는 관련 이미지들의 세트 내의 각 이미지들이 처리됨에 따라, 얼굴이 검출되고 추적된다. 이미지 내의 주어진 얼굴에 대하여, (이용가능하다면) 사용자의 소셜 네트워크로부터 얼굴 식별을 위한 서로 다른 잠재 후보들이 선택된다. 이미지 내의 얼굴 식별을 위한 각 후보는 신뢰 수준, 사용자 및 후보에 관한 관계 계수, 비디오 및/또는 이미지가 캡처된 때에 사용자에 대한 후보의 물리적 근접성 등을 포함하는 임의 개수의 인자들에 기초하여 점수화된다. 일련의 이미지 또는 비디오 프레임을 통하여 얼굴이 추적됨에 따라, 각 이미지 내의 개별 후보 점수들이 계산되어 전체 후보 점수로 통합된다.

일 실시예에서, 사용자가 그들의 모바일 장치를 사용하여 비디오를 캡처하거나 다시 말해 그들의 환경을 열람함에 따라, 사용자의 소셜 네트워크 내의 친구들에 해당할 수 있는 비디오 내의 임의의 검출된 얼굴들에 대한 식별 제안들을 제공하기 위하여 얼굴 인식은 실시간으로 수행된다. 일 실시예에서, 사용자가 컴퓨팅 장치 상에 이전에 캡처된 비디오를 열람하는 경우, 사용자의 소셜 네트워크 내의 친구들에 해당할 수 있는 비디오 내의 임의의 검출된 얼굴들에 대한 식별 제안들을 제공하기 위하여 비디오의 재생에 따라 얼굴 인식은 실시간으로 수행된다. 일부 실시예들은 예컨대, 일련의 관련 사진들을 포함하는 종래 사진들에 대한 실시간 얼굴 인식을 수행한다. 일부 실시예에서, 최소 임계수의 이미지 및/또는 비디오 프레임에서 얼굴이 검출되지 않으면, 식별 제안은 제공되지 않는다. 다른 실시예들은 본 명세서에 의해 용이하게 이해할 수 있으며, 이하에서 상세히 설명된다.

본 명세서 내용 중에 포함되어 있음.

도 1은 예시적인 소셜 네트워크의 구조를 나타낸다.
도 2는 소셜 네트워크와 관련된 이미지에 대하여 얼굴 인식 및 후보 점수화를 수행하기 위하여 사용될 수 있는 예시적인 서버를 나타낸다.
도 3은 이미지에서 검출된 얼굴에 대한 후보들이 선택되는 이미지의 예이다.
도 4a는 비디오 클립으로부터 일련의 프레임들에 대한 예시적인 실시예의 후보 점수화를 나타낸다.
도 4b는 은닉 마르코프 모델(hidden Markov model)에 기초한 예시적인 실시예에 대한 도면을 나타낸다.
도 5는 얼굴 인식을 수행하기 위한 예시적인 실시예의 프로세스 흐름을 나타낸다.
도 6은 비디오 클립을 사용한 얼굴 인식을 수행하기 위한 예시적인 실시예의 프로세스 흐름을 나타낸다.
도 7은 특정 실시예들을 수행하기 위한 예시적인 컴퓨터 시스템을 도시한다.
도면들을 단지 예시적인 목적으로 본 발명의 다양한 실시예들을 도시한다. 본 발명이 속하는 기술분야에서 통상의 기술을 가진 자는 하기의 논의를 통해 본 명서에 설명된 구조 및 방법의 대안적인 실시예들이 본 명세서에 개시된 발명의 원리로부터 벗어나지 않고 채용될 수 있음을 용이하게 인식할 수 있을 것이다.

도 1은 이미지 및/또는 비디오에 대한 얼굴 인식이 소셜 네트워크와 연관하여 구현될 수 있는 예시적인 환경(100)을 도시한다. 환경(100)은 서버(110), 네트워크(130) 및 사용자 장치들(140 및 150)을 포함한다. 소셜 네트워크 데이터 스토어(120)는 서버(110) 상에 위치하거나 서버(110)로부터 접속할 수 있다. 서버(110)는 사용자 활동을 모니터하고 이미지 및/또는 비디오가 캡쳐될 때 얼굴 인식을 수행한다. 데이터 스토어(120)는 소셜 네트워크의 사용자에 의해 접속되는 사용자 정보를 저장한다. 서버(110) 및 데이터베이스(120)는 본 명세서에서 추가로 논의된다. 네트워크(130)는 서버(110)와 사용자 장치들(140 및 150) 사이의 통신을 위한 매체를 제공한다. 네트워크(130)는 인터넷, 모바일 장치 캐리어 네트워크와 같은 무선 또는 유선 네트워크, 또는 서버와 클라이언트 사이의 통신을 위하여 사용될 수 있는 임의의 다른 네트워크일 수 있다.

일 실시예에서, 사용자 장치(140)는 서버(110)에 의해 모니터되고 있는 행동을 시작하는 사용자에 의해 사용된다. 사용자 장치(150)는 모니터되는 행동의 수신자에 의해 사용된다. 사용자 장치들(140 및 150)는 데스크탑 컴퓨터, 가령 모바일 폰과 같은 모바일 장치, 셀 폰, 스마트폰, 개인 휴대용 단말기, 노트북 컴퓨터, 태블릿 컴퓨터, 랩탑 컴퓨터, 카메라, 비디오 카메라, 휴대용 게임 콘솔과 같은 임의의 적절한 컴퓨팅 장치일 수 있다.

도 2는 소셜 네트워크와 연관하여 이미지에 대한 얼굴 인식 및 후보 점수화를 수행하기 위하여 사용될 수 있는 서버(110) 구조의 예시적인 실시예를 나타낸다. 일부 실시예에서, 서버(110)는 이미지 수신 모듈(210)을 포함한다. 이미지 수신 모듈(210)은 비디오 클립으로부터의 이미지, 디지털 또는 디지털화된 사진들, 및/또는 주 사용자에 의해 캡처, 업로딩 및/또는 스트리밍되거나 주 사용자에 기인한 다른 이미지들을 수신할 수 있다. 일부 실시예에서, 이미지 수신 모듈(210)은 캡처, 업로딩 및/또는 스트리밍된 이미지들을 저장할 수 있다.

일부 실시예에서, 서버(110)는 이미지 내의 얼굴을 검출 및/또는 추적하기 위하여 이미지 수신 모들(210)에 의해 수신된 이미지 상에서 동작하는 얼굴 검출 및 추적 모듈(220)을 포함한다. 이미지 내의 얼굴을 검출하고 비디오 클립과 같은 일련의 이미지에서 얼굴을 추적하기 위하여 임의의 종래 기술이 사용될 수 있다. 얼굴 검출 및 추적 모듈(220)은 얼굴 검출 및 추적 자체를 수행할 수 있거나, 그러한 기능들을 수행하는 다른 서버 또는 제3 서비스와 상호작용하는 인터페이스일 수 있다.

일부 실시예에서, 서버(110)는 얼굴 식별을 위한 후보들을 선택하기 위하여 얼굴 검출 및 추적 모듈(220)에 의해 검출된 얼굴들 상에 동작하는 인식 모듈(230)을 포함한다. 이미지 내의 얼굴 인식을 위하여 임의의 종래 기술이 사용될 수 있다. 일부 실시예에서, 후보들이 선택되는 사용자 풀(pool)은 주 사용자와 연결된 소설 네트워크의 사용자들의 세트를 포함한다. 일부 실시예에서, 후보들이 선택되는 사용자 풀은 주 사용자와 어느 정도 친밀도를 갖는(예컨대, 특정 그룹에 속하거나, 취미/관심을 공유하거나, 동일한 학교를 입학한) 소셜 네트워크의 사용자들의 세트를 포함한다. 일부 실시예에서, 후보들이 선택되는 사용자 풀은 또한 공인, 유명인 및/또는 다른 잘 알려진 사람을 포함할 수 있다. 인식 모듈(230)은 얼굴 인식 자체를 수행할 수 있거나, 그러한 기능을 수행하는 다른 서버 또는 제3 서비스와 상호작용하는 인터페이스일 수 있다. 일부 실시예에서, 얼굴 검출 및 추적 모듈(220) 및 인식 모듈(230)은 이러한 기능들 모두를 수행하는 다른 서버 또는 제3 서비스와 상호작용하는 단일 인터페이스를 포함할 수 있다.

서버(110)는 또한 후보 점수화 모듈(240)을 포함할 수 있다. 후보 점수화 모듈(240)은 하나 이상의 인자들 중 임의의 것을 포함하는 알고리즘에 기초하여 인식 모듈(230)에 의해 선택된 후보들을 점수화한다. 일부 실시예에서, 후보 점수화 모듈(240)을 위한 알고리즘은 소셜 네트워크 내에서 주 사용자와 연결된 각 후보에 대한 소셜 네트워킹 정보(예컨대, 사용자 신원 및 프로필, 이격도, 주 사용자와의 관계 계수)를 포함한다.

계수 점수는 임의 수의 변수들에 기초하여 계산될 수 있다. 예컨대, 임의의 두 사용자들 사이의 증가된 상호작용은 더 높은 계수 점수를 가져올 수 있으며, 두 사용자들이 가까운 실제 세계 친구임을 추론할 수 있게 한다. 마찬가지로, 많은 수의 상호 친구들은 계수 점수를 증가시킬 수 있다. 두 명 이상의 사용자들 사이에서 계수 점수를 계산하는 방법은 공지되어 있다. 계수 점수가 어떻게 계산되는지에 관계없이, 일단 후보 점수화 모듈(240)이 주 사용자와 각 후보자 사이에서 계수 점수를 획득하면, 후보 점수화 모듈(240)은 계수 점수를 알고리즘에 통합할 수 있다. 예컨대, 사용자들이 실제 세계에서 가까운 친구임을 가리키는 최소 임계값 위의 후보 점수를 갖는 후보는 주 사용자와 동일한 사진 속에 있을 확률이 높다. 일부 실시예에서, 계수 정보는 주 사용자로부터의 이격도가 최대 임계값 내에 있는 후보에 대하서만 검색된다. 일부 실시예에서, 주 사용자와 특정 관계 계수를 갖는 후보에 대한 정보만이 검색된다. 관계 계수의 추가 설명은 발명의 명칭이 "소셜 네트워킹 시스템 내의 문맥적 관계 친밀도 예측"인 2010년 12월 23일 출원된 미국출원번호 제12/978,265호에서 발견될 수 있으며, 그 내용이 전체적으로 참조로 통합된다.

일부 실시예에서, 후보 점수화 모듈(240)은 예컨대, 각 후보가 주어진 검출 얼굴의 가능한 식별로 선택되는 신뢰도의 레벨을 정량화하는 신뢰도 레벨과 같이, 인식 모듈(230)로부터 다른 정보를 통합할 수 있다. 일부 실시예에서, 최소 신뢰도 레벨로 선택된 후보자들에 대한 소셜 네트워킹 정보만이 검색된다. 일부 실시예에서, 특정 후보 선택을 위한 신뢰도 레벨이 특정 임계값(예컨대, 0.55)보다 높은 경우, 그 후보자의 점수가 특정 인자만큼 증가한다(예컨대, 0.55의 신뢰도 레벨이 0.70까지 증가한다).

일부 실시예에서, 서버(110)는 또한 후보 점수 레지스트리(250)를 포함할 수 있다. 후보 점수 레지스트리(250)는 각 후보에 대한 점수 추적을 유지하기 위하여 후보 점수화 모듈(240)에 의해 사용될 수 있다. 일부 실시예에서, 후보 점수화 모듈(240)을 위한 알고리즘은 이미지 내에서 검출된 각 얼굴에 대한 개별 이미지 점수를 결정하고- 그러한 이미지 점수는 후보 점수 레지스트리(250)에 저장될 수 있다. 비디오 클립 또는 거의 동일한 시간에 거의 동일한 위치에서 촬영된 일련의 스틸 사진과 같은 일련의 이미지들에 대하여, 후보 점수 레지스트리(250)는 개별 이미지 점수뿐 아니라 연관된 검출 얼굴들이 나타나는 모든 이미지에 관한 각 후보의 전체 점수도 저장할 수 있다. 일부 실시예에서, 후보 점수화 모듈(240)을 위한 알고리즘은 은닉 마르코프 모델에 기초한다.

일부 실시예에서, 서버(110)는 또한 소셜 네트워크 데이터 스토어(120)를 포함하며; 일부 실시예에서, 서버(110)는 소셜 네트워크 데이터 스토어(120)와 통신가능하게 연결되어 주 사용자와 연관된 프로필 정보 및 관계 정보에 접속한다. 서버(110)는 또한 신원이 확인된(예컨대, 태그 제안이 확인된) 얼굴을 갖는 이미지들을 저장하는 이미지 스토어(260)를 포함하거나 접속할 수 있다. 일부 실시예에서, 서버(110)는 얼굴을 정확하게 인식하고/하거나 검출된 얼굴에 대한 후보를 정확하게 점수화하기 위하여 기계 학습 기술 및 이미지 스토어(260)로부터의 이미지들을 사용하여 훈련된다. 서버(110)는 또한 애플리케이션, 모듈, 사용자 데이터 및/또는 다른 정보를 저장하기 위한 메모리(270)를 포함할 수 있다. 일부 실시예에서, 애플리케이션, 모듈 및/또는 데이터 스토어(120)는 여러 서버들(미도시) 상의 메모리에 상주할 수 있다.

도 3은 예시적인 실시예에서 얼굴 인식이 수행된 주 사용자에 의해 캡처된 사진(300)을 도시한다. 일부 실시예에서, 이미지(200)는 사진을 포함한다. 일부 실시예에서, 이미지(300)는 비디오 클립의 프레임을 포함한다. 예시적인 이미지(300)에서, 세 명의 개인(310, 320 및 330)에 대한 얼굴이 검색된다. 세 명의 개인(310, 320 및 330) 각각에 대하여, 이미지(300) 내의 영역들(315, 325 및 335) 각각에서 얼굴을 검출하도록 얼굴 검출이 성공적으로 수행된다.

하나의 예시적인 실시예에서, 이미지(300)의 영역(315)에서 검출된 얼굴에 대한 후보들이 인식되고 선택된다(후보들은 최소 이격도 내로 소셜 네트워크에서 주 사용자와 연결된 사용자 풀로부터 선택된다). 일부 실시예에서, 선택된 후보들의 수는 후보들의 최대 임계수로 제한된다. 다음으로 후보 점수화 알고리즘에 따라 세 명의 후보 "댄(Dan)", "밥(Bob)" 및 "빌(Bill)"에 대한 점수가 결정된다. 도 3에 도시된 바와 같이, 후보 "댄"에 대하여 0.72의 점수가 결정된다-후보 점수화 알고리즘은 예컨대, 얼굴 인식 및 후보 선택과 관련하여 결정된 신뢰도 레벨, 후보 "댄"과 주 사용자 사이의 관계 계수 및 다른 관련 인자들과 같은 다수의 인자들에 기초하여 점수를 결정할 수 있다.

후보 "댄"이 영역(315)에서 검출된 얼굴 식별을 위한 승자인지를 결정하기 위한 승자 후보 알고리즘은 또한 (1) "댄"이 이미지가 캡쳐될 때 주 사용자와 물리적으로 가까이 있는 것으로 결정되는지 여부, (2) 동일 위치에서 촬영된 다수의 고속 스틸 사진 또는 비디오의 프레임들과 같은 일련의 관련 이미지들에 대하여, "댄이 M개의 이미지 중 마지막 N개에서 승리 후보인지 여부, 여기서 N은 이미지들의 최소 임계수이며, M은 일련의 관련 이미지들의 전부 또는 일부 서브셋을 포함한다. (3) 후보 "댄"과 주 사용자 사이의 관계 계수, 및 (4) 다른 관련 인자들과 같은 다른 인자들을 고려할 수 있다. 일부 실시예에서, 예컨대, 일련의 관련 이미지들에 대하여, 검출된 얼굴이 M개의 이미지들 중 마지막 N개에서 승리 후보인 것으로 결정될 때까지 검출 얼굴에 대한 승리 후보가 결정된다.

일부 실시예에서, "더 오래된" 또는 덜 최근의 후보 점수가 만료될 수 있다. 예컨대, "댄"이 비디오 프레임들(1-5, 44-67 및 70-72)에서 검출된 주어진 얼굴에 대한 승리 후보인 것으로 결정되면, 프레임 1-5에서 댄이 승리한 얼굴은 프레임 77-90에 대한 승리 후보를 평가할 때 무시된다.

일부 실시예에서, 일련의 관련 이미지들에 대하여 Q개의 이미지들 중 마지막 P개에 대하여 검출된 얼굴에 대한 동일한 승리 후보가 선택되면, 동일 검출된 얼굴을 포함하는 일련의 관련 이미지들에서 임의의 후속 이미지가 동일한 승리 후보인 것으로 추정되며, 여기서 P는 임미지의 최대 임계수이며, Q는 일련의 관련 이미지들 모두 또는 일부 서브셋을 포함한다.

일부 실시예에서, 후보 점수화 알고리즘의 기능 및 승리 후보 알고리즘의 기능은 단일 프로세스로 통합되거나 단일 프로세스로 동작할 수 있다.

도 4a는 비디오 클립으로부터 세 개의 프레임 시리즈 상에 예시적인 실시예의 관련 이미지들의 시리즈로부터 개별 이미지 내의 후보 점수화의 예를 도시한다. 예에서 도시된 바와 같이, 각 프레임에서, 세 명의 후보("댄", "밥" 및 "빌")의 세트가 선택되고 점수화된다. 이 예에서, 세 개의 프레임 각각에서 동일한 세 후보들이 선택되나, 일부 실시예는 다른 세트의 후보들 및 다른 수의 후보들이 관련 이미지들의 시리즈에서 이미지들에 대하여 선택되게 할 수 있다. 프레임 1에서 후보 "댄"에 대한 점수는 0.72이다. 프레임 2에 대하여는 후보 "댄"에 대한 점수가 0.68까지 낮아지나 프레임 3에 대하여는 0.84까지 올라간다. 일부 실시예에서, 관련 이미지들의 시리즈에서 이미지들 사이의 후보 점수에 있어서 이러한 변동은 상술한 인자들에 기초할 수 있다. 일부 실시예에서, 후보 점수화 알고리즘은 또한 관련 이미지들의 시리즈에서 이전 이미지로부터의 후보의 점수들을 고려할 수 있다; 일부 실시예에서 후보 점수화 알고리즘은 관련 이미지들의 시리즈에서 바로 이전 이미지에서 결정된 후보 점수만을 고려할 수 있다.

도 4b는 은닉 마르코프 모델에 기초한 예시적인 실시예의 도표를 도시한다. 도 4b의 예에 도시된 바와 같이, 프레임 1은 먼저 얼굴이 검출되고 후보들 "댄", "밥" 및 "빌"이 선택 및 점수화되도록 처리된다. 도시된 바와 같이, 후보 점수화 알고리즘은 후보 "댄"에 대하여 0.72, 후보 "밥"에 대하여 0.34, 그리고 후보 "빌"에 대하여 0.26인 프레임 1에 대한 이미지-기반 후보 점수들을 생성한다. 다음으로 승리 후보 알고리즘은 추가 인자들을 적용하여 프레임 1에서 검출된 얼굴에 대한 승리 후보(W_F1)를 (0.78의 승리 후보 점수를 가지는) "댄"으로 결정한다. 일부 실시예에서, 각 이미지에 대한 승리 후보는 후보 점수 레지스트리(250)에 저장된다. 일부 실시예에서, 프레임 1에서 검출된 얼굴 식별을 위한 승리 후보로서 "댄"을 결정한 것은 프레임 2에 적용될 후보 점수화 알고리즘에 통합된다.

일부 실시예에서, 세 프레임 모두에서 검출된 얼굴에 대한 후보들을 분석한 후, "댄"이 시리즈들 내의 모든 이미지들에 대한 최종 승리 후보로 선택된다. 일부 실시예에서, 이전 이미지의 승리 후보가 현재 이미지에 대한 후보로 선택되는 경우, 후보 점수화 알고리즘은 현재 이미지에 관하여 그 후보의 점수를 증가시킨다. 일부 실시예에서, 최종 승리 후보는 관련 이미지들의 시리즈에서 각 이미지에 대한 각 후보의 점수를 저장하고 그 후 그들의 이미지-기반 점수들 모두의 각 후보에 대한 합을 결정하는 것에 의해 결정된다. 일부 실시예에서, 최종 승리 후보는 은닉 마르코프 모델 또는 임의의 다른 유사한 알고리즘을 사용하여 결정된다.

일부 실시예에서, 이전-식별된 얼굴을 구비한 관련 이미지들의 공지된 시리즈가 인식 모듈 및/또는 후보 점수화 알고리즘 및/또는 승리-후보 알고리즘을 훈련하기 위하여 사용될 수 있다.

도 5는 하나 이상의 실시예에 따라 얼굴 인식을 수행하는 예시적인 방법을 도시한다. 주 사용자와 연관된 하나 이상의 이미지들의 세트가 수신되거나 검색된다(510). 하나 이상의 이미지들에서 하나 이상의 얼굴들이 검출된다(520). 하나 이상의 이미지들이 관련 이미지들의 시리즈를 포함한다면, 각 검출된 얼굴은 관련 이미지들의 시리즈를 통하여 추적될 수 있다. 각 이미지 내의 각 검출된 얼굴에 대하여, 얼굴로 식별될 수 있는 하나 이상의 후보들의 세트가 선택된다(530). 얼굴과 연관된 각 후보에 대한 후보 점수가 결정된다(540). 일부 실시예에서, 각 후보의 점수는 이미지(300)가 디스플레이, 업로딩, 캡처 및/또는 스트리밍됨에 따라 실시간으로 결정된다. 다음으로 그 얼굴과 연관된 모든 후보들의 승리 후보가 결정된다(550). 마지막으로, 그 얼굴을 승리 후보로 태깅, 확인, 또는 영구적으로 식별하기 위한 제안이 제시된다(560). 일부 실시예에서, 승리 후보는 실시간으로 결정되며, 식별 및/또는 제안은 이미지(300)와 이미지와 관련하여 제시된다. 일부 실시예에서, 가장 높은 점수 후보들이 이미지(300)와 관련하여 가장 높은 점수 후보들 중 하나를 검출된 얼굴에 대한 정확한 식별로 태깅, 확인, 또는 영구적으로 식별하기 위한 옵션과 함께 제시된다.

도 6은 모바일 장치 상에 캡처된 비디오 클립 내의 얼굴 인식을 수행하는 예시적인 방법을 도시한다. 주 사용자와 관련된 이미지들(즉, 비디오 프레임들)이 모바일 장치에 설치된 카메라에 의해 캡처됨에 따라 모바일 장치 상에 수신된다(610). 관련 이미지들의 세트 내의 각 이미지에 대하여(620), 하나 이상의 얼굴이 검출되고/검출되거나 관련 이미지들의 세트에서 추적된다(622). 각 이미지에서 검출된 각 얼굴에 대하여, 얼굴로 식별될 수 있는 하나 이상의 후보들의 세트가 선택된다(624). 그 얼굴과 관련된 각 후보에 대한 후보 점수가 결정된다(626). 다음으로 후보들에 대한 후보 점수가 후보 점수 레지스트리에 저장된다(628). 만약 검출된 얼굴을 포함하는 최소 임계수의 이미지들이 분석되면(630), 승리 후보를 결정하기 위하여 각 후보에 대한 최종 점수가 계산된다(640). 후보 점수를 변경하고 호보들을 제거하기 위하여 각 후보와 주 사용자 사이의 관계 계수가 적용된다(650). 마지막으로, 각 얼굴에 대한 승리 후보가 결정되고(660), 그 얼굴을 승리 후보로 태깅, 확인, 또는 영구적으로 식별하기 위한 제안이 제시된다(670). 일부 실시예에서, 검출된 얼굴을 포함하는 최소 임계수의 이미지들이 분석될 때까지 임의의 그러한 제안은 제시되지 않을 수 있다.

특정 실시예에서, 도 5 및 6에 도시된 방법들은 도 2에 개시된 서버를 포함하는 시스템을 사용하여 수행될 수 있다. 특정 실시예에서, 도 5 및 6에 도시된 방법들은 모바일 장치를 사용하여 전체적으로 수행될 수 있다.

도 7은 예시적인 컴퓨터 시스템(700)을 도시한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(700)은 본 명세서에서 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(700)은 본 명세서에서 설명되거나 도시된 기능을 제공한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템(700) 상에서 실행되는 소프트웨어는 본 명세서에서 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나, 본 명세서에서 설명되거나 도시된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템(700)의 하나 이상의 부분들을 포함한다.

본 명세서는 임의의 적절한 수의 컴퓨터 시스템(700)을 고려한다. 본 명세서는 임의의 적절한 물리적 형태를 가지는 컴퓨터 시스템(700)을 고려한다. 예로서 제한없이, 컴퓨터 시스템(700)은 임베디드 컴퓨터 시스템, 시스템-온-칩(SOC), (예컨대, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)과 같은) 단일-보드 컴퓨터 시스템(SBC), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 인터랙티브 키오스크, 메인프레임, 컴퓨터 시스템들의 메시, 모바일 전화, 개인 휴대용 단말기, 서버, 태블릿 컴퓨터 시스템, 또는 이들 중 둘 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(700)은 하나 이상의 컴퓨터 시스템(700)을 포함할 수 있거나; 통합형이거나 분산형일 수 있거나; 다수의 위치에 걸쳐 있을 수 있거나; 다수의 기계들에 걸쳐 있을 수 이거나; 다수의 데이터센터들에 걸쳐 있을 수 있거나; 하나 이상의 네트워크에서 하나 이상의 클라우드 구성들을 포함할 수 있는 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(700)은 실질적으로 공간 또는 시간적 제한 없이 본 명세서에 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행할 수 있다. 예로서 제한없이, 하나 이상의 컴퓨터 시스템(700)은 본 명세서에 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 실시간 또는 일괄 모드로 수행할 수 있다. 하나 이상의 컴퓨터 시스템(700)은 적절한 경우 본 명세서에서 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 서로 다른 시간에 서로 다른 위치에서 수행할 수 있다.

특정 실시예에서, 컴퓨터 시스템(700)은 프로세서(702), 메모리(704), 저장 장치(706), 입출력(I/O) 인터페이스(708), 통신 인터페이스(710) 및 버스(712)를 포함한다. 본 명세서는 특정 배치의 특정 수의 특정 구성요소들을 갖는 특정 컴퓨터 시스템을 설명하고 도시하나, 본 명세서는 임의의 적절한 배치의 임의의 적절한 수의 임의의 적절한 구성요소들을 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.

특정 실시예에서, 프로세서(702)는 컴퓨터 프로그램을 이루는 명령어들과 같은 명령어들을 실행하기 위한 하드웨어를 포함한다. 예로서 제한없이, 명령어들을 실행하기 위하여 프로세서(702)는 내부 레지스터, 내부 캐시, 메모리(704) 또는 저장 장치(706)로부터 명령어를 검색(또는 패치)할 수 있으며; 명령어를 디코딩하고 실행하며; 그 후 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(704) 또는 저장 장치(706)에 기록한다. 특정 실시예에서, 프로세서(702)는 데이터, 명령어 또는 어드레스를 위한 하나 이상의 내부 캐시를 포함할 수 있다. 본 명세서는 특정 프로세서를 설명하고 도시하고 있으나, 본 명세서는 임의의 적절한 프로세서를 고려한다.

특정 실시예에서, 메모리(704)는 프로세서(702)가 실행하는 명령어 및 프로세서(702)가 동작하는 데이터를 저장하기 위한 주 메모리를 포함한다. 예로서 제한없이, 컴퓨터 시스템(700)은 저장 장치(706) 또는 (예컨대, 다른 컴퓨터 시스템(700)과 같은) 다른 소스로부터 메모리(704)로 명령어들을 로딩할 수 있다. 다음으로 프로세서(702)는 메모리(704)로부터 내부 레지스터나 내부 캐시로 그 명령어들을 로딩할 수 있다. 명령어들을 실행하기 위하여, 프로세서(702)는 내부 레지스터 또는 내부 캐시로부터 명령어들을 가져와서 그들을 디코딩할 수 있다. 명령어를 실행하는 동안 또는 실행한 후, 프로세서(702)는 (중간 결과이거나 최종 결과일 수 있는) 하나 이상의 결과를 내부 레지스터 또는 내부 캐시에 기록할 수 있다. 특정 실시예에서, 프로세서(702)는 (저장 장치(706) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(704)에서 단지 명령어만을 실행하며, (저장 장치(706) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(704)에서 단지 데이터만을 운영한다. (어드레스 버스 및 데이터 버스를 각각 포함할 수 있는) 하나 이상의 메모리 버스는 프로세서(702)를 메모리(704)에 결합시킬 수 있다. 하기에 기술되는 바와 같이, 버스(712)는 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예에서, 하나 이상의 메모리 관리 유닛(MMUs)은 프로세서(702)와 메모리(704) 사이에 상주하며, 프로세서(702)에 의해 요청되는 메모리(704)로의 접근을 용이하게 한다. 본 명세서는 특정 메모리를 설명하고 도시하나, 본 명세서는 임의의 적절한 메모리를 고려한다.

특정 실시예에서, 저장 장치(706)는 데이터용 또는 명령어용 대용량 저장 장치를 포함한다. 적절한 경우, 저장 장치(706)는 착탈식 또는 비-착탈식(또는 고정) 매체를 포함할 수 있다. 적절한 경우, 저장 장치(706)는 컴퓨터 시스템(700)의 내부 또는 외부에 있을 수 있다. 특정 실시예에서, 저장 장치(706)는 비휘발성, 고체-상태(solid-state) 메모리이다. 적절한 경우, 저장 장치(706)는 하나 이상의 저장 장치(706)를 포함할 수 있다. 본 명세서가 특정 저장 장치를 설명하고 도시하지만, 본 명세서는 임의의 적절한 저장 장치를 고려한다.

특정 실시예에서, I/O 인터페이스(708)는 컴퓨터 시스템(700)과 하나 이상의 I/O 장치 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 적절한 경우, 컴퓨터 시스템(700)은 하나 이상의 이들 I/O 장치를 포함할 수 있다. 하나 이상의 이들 I/O 장치는 사람과 컴퓨터 시스템(700) 사이의 통신을 가능하게 할 수 있다. 예로서 제한 없이, I/O 장치는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라(still camera), 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼(trackball), 비디오 카메라, 또 다른 적절한 I/O 장치 또는 이들의 2 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 명세서는 임의의 적절한 I/O 장치 및 이에 대한 적절한 I/O 인터페이스(708)를 고려한다. 적절한 경우, I/O 인터페이스(708)는 프로세서(702)가 하나 이상의 이들 I/O 장치를 구동할 수 있도록 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 적절한 경우, I/O 인터페이스(708)는 하나 이상의 I/O 인터페이스(708)를 포함할 수 있다. 본 명세서가 특정 I/O 인터페이스를 설명하고 도시하지만, 본 명세서는 임의의 적절한 I/O 인터페이스를 고려한다.

특정 실시예에서, 통신 인터페이스(710)는 컴퓨터 시스템(700)과 하나 이상의 다른 컴퓨터 시스템(700)이나 하나 이상의 네트워크 사이의 통신(가령, 예컨대 패킷-기반 통신)을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 통신 인터페이스(710)는 이더넷이나 다른 유선-기반 네트워크로 통신하기 위한 네트워크 인터페이스 제어장치(NIC)나 네트워크 어댑터 또는 가령 WI-FI 네트워크와 같이 무선 네트워크로 통신하기 위한 무선 NIC(WNIC)나 무선 어댑터를 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크 및 이에 대한 임의의 적절한 통신 인터페이스(710)를 고려한다. 본 명세서가 특정 통신 인터페이스를 설명하고 도시하지만, 본 명세서는 임의의 적절한 통신 인터페이스를 고려한다.

특정 실시예에서, 버스(712)는 컴퓨터 시스템(700)의 구성요소를 서로 연결하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 본 명세서가 특정 버스를 설명하고 도시하지만, 본 명세서는 임의의 적절한 버스나 인터커넥트를 고려한다.

본 명세서에서, 컴퓨터 판독가능한 저장매체에 대한 언급은 구조를 갖는 하나 이상의 비일시적, 유형의 컴퓨터 판독가능한 저장매체를 포함한다. 예로서 제한 없이, 컴퓨터 판독가능한 저장매체는 반도체 기반 또는 다른 집적회로(IC)(가령, 예컨대 FPGA(field-programmable gate array) 또는 ASIC(application-specific IC)), 하드 디스크, HDD, 하이브리드 하드 디스크(HHD), 광학 디스크, 광학 디스크 드라이브(ODD), 자기-광학 디스크, 자기-광학 드라이브, 플로피 디스크, 플로피 디스크 드라이브(FDD), 자기 테이프, 홀로그래픽 저장매체, 고체-상태 드라이브(SSD), RAM 드라이브, SECURE DIGITAL 카드, SECURE DIGITAL 드라이브, 또 다른 적절한 컴퓨터 판독가능한 저장매체 또는, 적절한 경우, 2 이상의 이들의 조합을 포함할 수 있다. 본 명세서에서, 컴퓨터 판독가능한 저장매체에 대한 언급은 미국연방법률(35 U.S.C.§101)하에 특허로 보호받을 수 없는 임의의 매체를 배제한다. 본 명세서에서, 컴퓨터 판독가능한 저장매체에 대한 언급은 미국연방법률(35 U.S.C.§101)하에 특허로 보호받을 수 없는 정도로의, (가령 전파하는 전기적 또는 전자기적 신호 그 자체와 같은) 신호 전송의 일시적 형태를 배제한다. 적절한 경우, 컴퓨터 판독가능한 비일시적 저장매체는 휘발성, 비휘발성 또는 휘발성과 비휘발성의 조합일 수 있다.

본 명세서는 임의의 적절한 저장 장치를 구현하는 하나 이상의 컴퓨터 판독가능한 저장매체를 고려한다. 특정 실시예에서, 컴퓨터 판독가능한 저장매체는 프로세서(702)의 하나 이상의 부분(가령, 예컨대 하나 이상의 내부 레지스터나 캐시), 메모리(704)의 하나 이상의 부분, 저장 장치(706)의 하나 이상의 부분 또는 적절한 경우 이들의 조합을 구현한다. 특정 실시예에서, 컴퓨터 판독가능한 저장매체는 RAM 또는 ROM을 구현한다. 특정 실시예에서, 컴퓨터 판독가능한 저장매체는 휘발성 또는 영구 메모리를 구현한다. 특정 실시예에서, 하나 이상의 컴퓨터 판독가능한 저장매체는 소프트웨어를 이용한다. 본 명세서에서, 소프트웨어에 대한 언급은 하나 이상의 애플리케이션, 바이트코드(bytecode), 하나 이상의 컴퓨터 프로그램, 하나 이상의 실행가능한 것들, 하나 이상의 명령어, 로직, 기계 코드, 하나 이상의 스크립트 또는 소스 코드를 포함할 수 있으며, 적절한 경우 그 역도 또한 같다. 특정 실시예에서, 소프트웨어는 하나 이상의 애플리케이션 프로그래밍 인터페이스(APIs)를 포함한다. 본 명세서는 임의의 적절한 프로그래밍 언어 또는 프로그래밍 언어들의 조합으로 기록되거나 표현되는 임의의 적절한 소프트웨어를 고려한다. 특정 실시예에서, 소프트웨어는 소스 코드 또는 객체 코드로 표현된다.

본 명세서에서, "또는"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 포괄적인 것이며 배타적인 것이 아니다. 따라서, 본 명세서에서 "A 또는 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A, B 또는 둘 모두"를 의미한다. 게다가, "및"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 공동 및 별개 모두이다. 따라서, 본 명세서에서 "A 및 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A 및 B가 공동이든 별개이든 상관없이 모두"를 의미한다.

본 명세서는 당업자가 이해할 수 있는 본 명세서의 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다. 마찬가지로, 적절한 경우, 첨부된 청구항들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 명세서의 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다. 게다가, 첨부된 청구범위에서 특정 기능을 수행하도록 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 할 수 있게 하거나, 동작할 수 있거나, 동작하는 장치나 시스템 또는 장치나 시스템의 구성요소에 대한 언급은 장치, 시스템 또는 구성요소가 그렇게 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 가능하거나, 동작할 수 있거나 동작하는 한, 장치, 시스템, 구성요소, 그 또는 그러한 특정 기능이 활성화되었는지, 턴온 되었는지, 잠금 해제되었는지 여부를 포함한다.

본 발명의 실시예에 대한 상술한 설명은 설명의 목적으로 제시된 것일 뿐; 완전하거나 개시된 정확한 형태로 본 발명을 제한하는 것으로 의도되지 않는다. 관련 기술분야에서 통상의 지식을 가진 자라면 상술한 개시의 관점에서 가능한 많은 변형과 변경이 가능함을 자명하게 이해할 수 있을 것이다. 예컨대, 상술한 실시예는 소셜 네트워크 시스템의 관점으로 설명되었으나, 본 발명이 임의의 전자 소셜 네트워크 서비스에, 그리고 심지어 웹사이트를 통하여 제공되지 않는 경우에도 사용될 수 있음은 당업자에게 자명할 것이다. 소셜 네트워킹 기능을 제공하는 임의의 컴퓨터-기반 시스템은 가령 그것이 이메일, 인스턴트 메시징 또는 사용자간 직접 통신의 다른 형태 및 사용자들 사이의 통신을 위한 임의의 다른 통신 기술에 의존한다 하더라도 본 발명에 따라 사용될 수 있다. 따라서 본 발명은 임의의 특정 타입의 통신 시스템, 네트워크, 프로토콜, 포맷 또는 애플리케이션으로 제한되지 않는다.

본 명세서의 일부분은 정보에 관한 동작들의 알고리즘과 기호 표시의 관점에서 본 발명의 실시예를 기술한다. 이들 알고리즘의 설명 및 표시는 발명의 요지를 다른 당업자에게 효율적으로 전달하기 위해 데이터 프로세스 기술분야에서 당업자에 의해 널리 사용된다. 기능적, 계산적 또는 논리적으로 기술되는 이들 동작은 컴퓨터 프로그램 또는 균등한 전기 회로, 마이크로코드 등에 의해 구현됨을 이해해야 한다. 게다가, 일반성을 잃지 않고, 동작들의 배치를 모듈들로 나타내는 것이 또한 간편하다는 점은 때때로 입증되었다. 기술된 동작들 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 이용될 수 있다.

본 명세서에 기술된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 모듈들 또는 소프트웨어 모듈들 단독으로, 또는 다른 장치들과의 조합으로 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터-판독가능한 매체를 구비하는 컴퓨터 프로그램 제품으로 구현되며, 이런 컴퓨터 프로그램 코드는 기술된 임의의 또는 모든 단계들, 동작들 또는 프로세스들을 수행하기 위한 컴퓨터 프로세서에 의해 실행될 수 있다.

또한, 본 발명의 실시예들은 본 명세서의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이런 장치는 필요한 목적을 위해 특히 구성될 수 있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 그러한 컴퓨터 프로그램은 컴퓨터 시스템 버스로 연결될 수 있는, 유형의(tangible) 컴퓨터 판독가능한 저장 매체 또는 전자식 명령어를 저장하는데 적합한 임의의 종류의 매체에 저장될 수 있다. 게다가, 명세서에 언급되는 임의의 컴퓨팅 시스템은 단일 프로세서를 포함할 수 있거나, 컴퓨팅 능력을 증가시키기 위해 다중 프로세서 설계를 이용하는 아키텍처일 수 있다.

상술한 프로세스 및 메커니즘이 매우 다양한 물리적 시스템에 의해 그리고 매우 다양한 네트워크 및 컴퓨팅 환경에서 구현될 수 있는 반면, 이하에서 설명될 서버 또는 컴퓨팅 시스템은 제한이 아닌 교시적인 목적을 위하여 예시적인 컴퓨팅 시스템 구조를 제공한다.

본 발명은 특정 실시예를 참조하여 설명되었다. 예컨대, 본 발명의 실시예들은 소셜 네트워크 시스템과 연결된 동작으로 설명되었으나, 본 발명은 이메일 호스팅 사이트와 같이 사용자 사이의 메시지 통신을 허용하는 임의의 통신 설비와 연결하여 사용될 수 있다. 다른 실시예들이 본 기술분야의 당업자에게 자명할 수 있다. 따라서, 본 발명은 첨부된 청구범위에 의해 지시된 경우를 제외하고 제한되는 것으로 의도되지 않는다.

마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 읽기 쉬운 지침상의 목적으로 선택되었으며, 발명의 요지를 상세히 기술하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 본 발명의 기술범위는 본 명세서에 의해서가 아니라 본 명세서를 기초로 출원된 임의의 청구범위들에 의해 한정되는 것으로 의도된다. 그래서, 본 발명의 실시예들에 관한 설명은 하기의 청구범위에 제시된 본 발명의 기술범위의 예시가 되나, 이에 제한되지 않아야 한다.

Claims

하나 이상의 컴퓨팅 시스템에 의해,
주 사용자와 연관되며, 적어도 하나의 이미지가 하나 이상의 검출된 얼굴을 포함하는 하나 이상의 이미지들을 수신하는 단계;
하나 이상의 얼굴들 각각에 대하여, 그 얼굴로 식별될 수 있는 하나 이상의 후보들을 선택하는 단계;
하나 이상의 얼굴들 각각에 대하여, 그 얼굴과 연관된 각 후보의 후보 점수를 결정하는 단계; 및
하나 이상의 얼굴들 각각에 대하여, 그 얼굴에 대한 후보 점수들에 기초하여 그 얼굴을 식별하기 위한 승리 후보를 결정하는 단계를 포함하며,
각 후보는 소셜 네트워크 내에서 주 사용자와 연결된 복수의 사용자들 중 하나에 해당하는 방법.
제 1 항에 있어서,
하나 이상의 후보들은 후보의 최대 수로 제한되는 것을 특징으로 하는 방법.
제 1 항에 있어서,
후보 점수를 결정하는 단계는,
얼굴과 연관된 후보의 개별 점수들의 세트를 결정하는 단계; 및
후보에 대한 개별 점수들에 기초하여 그 후보에 대한 후보 점수를 결정하는 단계를 포함하며,
각 개별 점수는 얼굴이 나타나는 하나 이상의 이미지들 중 하나와 관련하여 결정되는 것을 특징으로 하는 방법.
제 3 항에 있어서,
후보 점수는 최소 임계수의 개별 점수가 결정된 후에만 결정되는 것을 특징으로 하는 방법.
제 3 항에 있어서,
승리 후보를 결정하는 단계는 하나 이상의 이미지들의 서브셋에 기초하여 호부에 대한 후보 점수를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제 3 항에 있어서,
데이터 스토어에 얼굴과 연관된 후보에 대한 각 개별 점수를 저장하는 단계를 더 포함하는 방법.
제 1 항에 있어서,
얼굴이 나타나는 하나 이상의 이미지의 모든 이미지에서 승리 후보로서 얼굴 식별을 제시하는 단계를 더 포함하는 방법.
제 1 항에 있어서,
얼굴이 나타나는 하나 이상의 이미지들의 모든 이미지에서 얼굴을 식별하기 위하여 가장 높은 점수 후보들의 세트에서 하나를 선택하는 옵션을 제시하는 단계를 더 포함하는 방법.
제 1 항에 있어서,
단일 장면의 상당 부분이 하나 이상의 이미지 각각에 묘사되는 것을 특징으로 하는 방법.
제 1 항에 있어서,
하나 이상의 이미지는 비디오 클립으로부터의 프레임을 포함하는 것을 특징으로 하는 방법.
제 10 항에 있어서,
비디오 클립의 둘 이상의 프레임들에 나타나는 각 얼굴을 추적하는 단계를 더 포함하는 방법.
제 1 항에 있어서,
얼굴로 식별될 수 있는 후보를 선택하는 단계는 후보에 대한 신뢰도 레벨을 결정하는 단계를 포함하며, 후보 점수를 결정하는 단계는 그 후보에 대한 신뢰도 레벨에 기초하여 점수를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제 12 항에 있어서,
후보 점수를 결정하는 단계는 그 후보에 대한 최소 임계 신뢰도 레벨에 기초하여 점수를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
승리 후보를 결정하는 단계는 후보와 주 사용자 사이의 관계 계수에 기초하여 승리 후보를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
승리 후보를 결정하는 단계는 은닉 마르코프 모델(hidden Markov model)을 사용하는 단계를 포함하는 것을 특징으로 하는 방법.
프로세서; 및
프로세서에 의해 실행될 명령어들로 구성된 비일시적 기계-판독가능 매체를 포함하며,
상기 명령어들은 프로세서에 의해 실행될 때,
모바일 장치에 의해 캡처된 주 사용자와 관련되며, 적어도 하나가 하나 이상의 검출된 얼굴들을 포함하는 하나 이상의 이미지들을 수신하고;
하나 이상의 얼굴들 각각에 대하여, 그 얼굴로 식별될 수 있는 하나 이상의 후보들을 선택하며,;
하나 이상의 얼굴들 각각에 대하여, 그 얼굴과 연관된 각 후보의 후보 점수를 결정하고;
하나 이상의 얼굴들 각각에 대하여, 후보 점수에 기초하여 하나 이상의 승리 후보들을 결정하며;
하나 이상의 승리 후보들의 식별을 제시하기 위하여 정보를 전송하도록 구성되며,
각 후보는 소셜 네트워크 내에서 주 사용자와 연결된 복수의 사용자들 중 하나에 해당하며,
상기 정보는 하나 이상의 이미지들과 연관되어 실시간으로 제시되는 얼굴 인식 서버.
카메라;
스크린;
비일시적 기계-판독가능 저장 매체; 및
프로세서를 포함하며,
상기 프로세서는 명령어들에 의해,
상기 카메라를 사용하여 캡처되며, 적어도 하나가 하나 이상의 검출된 얼굴들을 포함하는 하나 이상의 이미지들을 수신하고;
소셜 네트워크 내에서 주 사용자와 연결된 소셜 네트워크의 복수의 사용자들과 연관된 정보에 접속하며;
하나 이상의 얼굴들 각각에 대하여, 그 얼굴로 식별될 수 있는 하나 이상의 후보들을 선택하고;
하나 이상의 얼굴들 각각에 대하여, 그 얼굴과 연관된 각 후보의 후보 점수를 결정하며;
하나 이상의 얼굴들 각각에 대하여, 후보 점수에 기초하여 하나 이상의 승리 후보들을 결정하고;
하나 이상의 얼굴들 각각에 대하여 그 얼굴을 하나 이상의 승리 후보들로 식별하기 위한 정보를 스크린 상에 디스플레이하도록 구성되고,
각 후보는 소셜 네트워크의 복수의 사용자들 중 하나에 해당하는 주 사용자와 연관된 모바일 장치.
제 17 항에 있어서,
소셜 네트워크의 복수의 사용자들과 연관된 정보는 모바일 장치 상에 위치한 데이터 스토어로부터 접속되는 것을 특징으로 하는 주 사용자와 연관된 모바일 장치.
제 17 항에 있어서,
소셜 네트워크의 복수의 사용자들과 연관된 정보는 소셜 네트워크와 연관된 데이터베이스로부터 네트워크를 통하여 접속되는 것을 특징으로 하는 주 사용자와 연관된 모바일 장치.
제 17 항에 있어서,
얼굴이 나타나는 하나 이상의 이미지들의 모든 이미지에서 승리 후보로서 얼굴 식별을 확인하기 위한 요청을 디스플레이하는 것을 더 포함하는 모바일 장치.