KR20160004405A - 온라인 소셜 네트워크 상의 이미지를 위한 태그 제안 - Google Patents

Abstract

일실시예에서, 방법은 적어도 제1 사람을 묘사하는 이미지에 접근하는 단계, 소셜 그래프에 접근하는 단계, 제1 세트의 사용자에 대해 소셜 그래프 친밀성을 결정하는 단계 및 각 사용자와 연관된 얼굴 인식 점수를 결정하는데, 각 사용자에 대한 얼굴 인식은 이미지와 비교되는 단계, 얼굴 인식 점수에 기반하여 이미지 내에 묘사된 제1 사람에 대한 하나 이상의 태그 제안을 생성하는 단계를 포함한다.

Description

온라인 소셜 네트워크 상의 이미지를 위한 태그 제안{TAG SUGGESTIONS FOR IMAGES ON ONLINE SOCIAL NETWORKS}

본 명세서는 일반적으로 온라인 소셜 네트워크 및 소셜 네트워킹 환경 내 컨텐츠의 접근에 관한 것이다.

소셜 네트워킹 웹사이트를 포함할 수 있는 소셜 네트워킹 시스템은 사용자들(가령, 개인들 또는 단체들)이 소셜 네트워킹 시스템과 상호작용하고, 소셜 네트워킹 시스템을 통해 서로 상호작용할 수 있게 해줄 수 있다. 소셜 네트워킹 시스템은 사용자로부터의 입력으로 사용자와 연관된 사용자 프로필을 생성하고 소셜 네트워킹 시스템에 저장할 수 있다. 사용자 프로필은 사용자의 인구학적 정보, 통신-채널 정보 및 개인 관심사에 대한 정보를 포함할 수 있다. 또한, 소셜 네트워킹 시스템은 사용자로부터의 입력으로 소셜 네트워킹 시스템의 다른 사용자들과의 사용자의 관계에 대한 기록을 생성하고 저장할 수 있을 뿐만 아니라 서비스(예컨대, 담벼락 게시물, 사진-공유, 이벤트 조직, 메시징, 게임 또는 광고)를 제공하여 사용자들 사이의 소셜 상호작용을 용이하게 할 수 있다.

소셜 네트워킹 시스템은 그것의 서비스에 관한 컨텐츠 또는 메시지를 하나 이상의 네트워크를 통해 사용자의 모바일이나 다른 컴퓨팅 장치로 송신할 수 있다. 또한, 사용자는 소셜 네트워킹 시스템 내의 사용자의 사용자 프로필과 다른 데이터에 접근하기 위해 사용자의 모바일이나 다른 컴퓨팅 장치에 소프트웨어 애플리케이션을 설치할 수 있다. 소셜 네트워킹 시스템은 가령 사용자와 연결된 다른 사용자들의 통합된 소식의 뉴스피드와 같이 사용자에게 디스플레이하도록 개인화된 세트의 컨텐츠 객체를 생성할 수 있다.

소셜 네트워킹 시스템은 그 사용자들이 다른 사람들에 의한 열람을 위해 디지털 미디어를 소셜 네트워킹 시스템으로 업로드 가능하게 할 수 있다. 디지털 미디어는 디지털 이미지, 디지털 비디오, 디지털 오디오, 컴퓨터 게임, 디지털 책, 디지털 텍스트, 다른 적절한 디지털 미디어 또는 이들의 임의의 조합을 포함할 수 있다. 소셜 네트워킹 시스템의 사용자는 소셜 네트워킹 시스템에서 그들의 계정과 관련된 파일(예컨대, 앨범)로 디지털 미디어(예컨대, 디지털 이미지)를 업로드할 수 있다. 소셜 네트워킹 시스템의 사용자는 디지털 미디어를 열람할 수 있고 디지털 미디어 내 지점 또는 영역을 선택하고 적절한 설명을 입력하여 그 지역을 태그함으로써 이미지의 위치를 선택하고 태그할 수 있다. 미디어 내 다수의 위치가 태그될 수 있다. 몇몇의 태그는 소셜 네트워킹 시스템의 특정 사용자 또는 컨텐츠 객체에 대응할 수 있다.

특정 실시예에서, 소셜 네트워킹 시스템은 이미지를 위한 태그 제안을 생성하기 위해 얼굴 인식 프로세스를 사용할 수 있다. 소셜 네트워킹 시스템은 이미지 내의 사람의 묘사와 같은 이미지 정보를 비교할 수 있고, 그 이미지 정보를 얼굴 특징의 세트와 비교하여 이미지에 묘사된 사람이 온라인 소셜 네트워크의 임의의 사용자의 얼굴 특징과 매치하는지 여부를 시도하고 예측할 수 있다. 이들 얼굴 특징은 예컨대 소셜 네트워킹 시스템에 의해 온라인 소셜 네트워크의 특정 사용자에 대해 그들 사용자가 태그된 다른 이미지를 분석함으로써 생성된 얼굴 표현일 수 있다. 따라서, 일반적인 태그 제안 알고리즘은 n이 온라인 소셜 네트워크의 특정 사용자의 얼굴 특징이고, i가 이미지 정보일 때 f(n,i)의 형태일 수 있다. 하지만, 수천 또는 어쩌면 수백만의 사용자의 얼굴 특징을 정렬하는 것은 효율적이지 않고 엉망인 예측이 될 수 있다. 태그 제안 알고리즘은 예컨대 소셜 그래프 정보, 타이프어헤드 정보 또는 온라인 소셜 네트워크에서 사용가능한 다른 적절한 정보와 같은 추가적인 정보를 사용함으로써 향상될 수 있다. 다시 말해, 태그 제안 알고리즘은 s가 온라인 소셜 네트워크에서 사용가능한 추가적인 정보일 때 f(n,i,s) 함수로 수정될 수 있다. 특정 실시예에서, 추가적인 정보는 예컨대, 소셜 그래프 친밀성 정보, 태그 내역 정보 또는 사용자 입력(예컨대 타이프어헤드 필드에 사용자에 의해 입력된 문자열)을 포함할 수 있다. 시간 가치축소(time-decay) 인자 또한 태그 제안 알고리즘에서 사용되는 하나 이상의 인자에 적용될 수 있다. 예를 들어, 시간 가치축소는 태그 내역 정보와 관련하여 고려될 수 있는데, 보다 최근의 태그가 태그 제안 알고리즘에서 보다 가중치를 받을 수 있다. 그 후 예측은 태그 제안으로서 사용자에게 전송되고, 사용자는 특정 사용를 위하여 이미지를 태그하기 위하여 선택할 수 있다. 태그 제안은 태그 라벨 필드에 사용자가 문자를 입력함에 따라 표시될 수 있는데, 태그 제안은 사용자가 필드에 문자를 더 입력함에 따라 타이프어헤드 기능을 사용하여 실시간으로 개선될 수 있다.

본 발명의 내용 중에 포함되어 있다.

도 1은 소셜 네트워킹 시스템과 관련된 네트워크 환경의 예시를 도시한다.
도 2는 소셜 그래프의 예시를 도시한다.
도 3은 태그를 가지는 사진의 예시를 도시한다.
도 4a 내지 4b는 소셜 그래프 정보를 사용한 얼굴 인식의 예시를 도시한다.
도 5는 소셜 그래프 정보를 사용하여 얼굴 인식을 수행하는 시스템의 예시를 도시한다.
도 6a 내지 6e는 태그 제안을 가지는 사진의 예시를 도시한다.
도 7은 얼굴 인식을 사용하여 태그를 제안하는 방법의 예시를 도시한다.
도 8은 컴퓨터 시스템의 예시를 도시한다.

시스템 개요

도 1은 소셜 네트워킹 시스템과 관련된 예시적인 네트워크 환경(100)을 도시한다. 네트워크 환경(100)은 네트워크(110)를 통해 서로 연결되는 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)을 포함한다. 도 1은 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 특정한 구성을 도시하지만, 본 명세서는 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 임의의 적절한 구성을 고려한다. 예로서 제한 없이, 2 이상의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)은 네트워크(110)를 우회하여 서로 직접적으로 연결될 수 있다. 또 다른 예로서, 2 이상의 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)은 전체적으로 또는 부분적으로 서로 물리적으로 또는 논리적으로 같은 장소에 배치될 수 있다. 게다가, 도 1은 특정한 수의 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 도시하지만, 본 명세서는 임의의 적절한 수의 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 고려한다. 예로서 제한 없이, 네트워크 환경(100)은 다수의 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 포함할 수 있다.

특정 실시예로, 사용자(101)는 소셜 네트워크 시스템(160)에서 상호작용하거나 통신하는 개인(사람 사용자), 엔티티(예컨대, 기업, 사업체 또는 제3자 애플리케이션) 또는 (예컨대, 개인들 또는 엔티티의) 그룹일 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크를 호스팅하는 네트워크-주소화 컴퓨팅 시스템일 수 있다. 소셜 네트워킹 시스템(160)은 예컨대 사용자 프로필 데이터, 컨셉 프로필 데이터, 소셜 그래프 정보 또는 온라인 소셜 네트워크에 관한 다른 적절한 데이터와 같은 소셜 네트워킹 데이터를 생성, 저장, 수신 및 송신할 수 있다. 소셜 네트워킹 시스템(160)은 직접 또는 네트워크(110)를 통해 네트워크 환경(100)의 다른 구성요소들에 의해 접근될 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 소셜 네트워킹 시스템(160)에 의해 로그되거나, 예컨대 적절한 개인정보 설정을 설정하여 다른 시스템(예컨대, 제3자 시스템(170))과 공유되는 행위를 하는 사용자(101)가 참여할 수 있거나 참여하지 못하게 해주는 인가 서버(authorization server)(또는 다른 임의의 적절한 구성요소)를 포함할 수 있다. 사용자의 개인정보 설정은 사용자와 연관된 어떤 정보가 로그될지, 사용자와 연관된 정보가 어떻게 로그될지, 사용자와 연관된 정보가 언제 로그될지, 사용자와 연관된 정보를 누가 로그할 수 있는지, 사용자와 연관된 정보가 누구와 공유될 수 있는지, 및 사용자와 연관된 정보가 어떤 목적으로 로그되거나 공유될 수 있는지 결정한다. 인증 서버는 블로킹, 데이터 해싱, 익명화 또는 다른 적절한 방법에 의하여 소셜 네트워킹 시스템(30)의 사용자의 하나 이상의 개인정보 설정을 강제하는데 사용될 수 있다. 인증 서버는 소셜 네트워킹 시스템(30)의 사용자의 하나 이상의 개인정보 설정을 강제하는데 사용될 수 있다. 사용자(101)의 개인정보 설정은 어떻게 사용자(101)와 연관된 특정 정보가 공유될 수 있는지 결정한다. 특정 실시예로, 제3자 시스템(170)은 네트워크-주소화 컴퓨팅 시스템일 수 있다. 제3자 시스템(170)은 직접 또는 네트워크(110)를 통해 네트워크 환경(100)의 다른 구성요소들에 의해 접근될 수 있다. 특정 실시예로, 하나 이상의 사용자(101)는 하나 이상의 클라이언트 시스템(130)을 사용하여 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)으로부터의 데이터에 접근하고, 그 데이터를 송신하며, 그 데이터를 수신할 수 있다. 클라이언트 시스템(130)은 직접, 네트워크(110)를 통해 또는 제3자 시스템을 통해 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)에 접근할 수 있다. 예로서 제한 없이, 클라이언트 시스템(130)은 소셜 네트워킹 시스템(160)을 통해 제3자 시스템(170)에 접근할 수 있다. 클라이언트 시스템(130)은 가령 개인용 컴퓨터, 랩톱 컴퓨터, 셀룰러 전화, 스마트폰 또는 태블릿 컴퓨터와 같은 임의의 적절한 컴퓨팅 장치일 수 있다.

본 명세서는 임의의 적절한 네트워크(110)를 고려한다. 예로서 제한 없이, 네트워크(110)의 하나 이상의 부분은 애드 혹 네트워크(ad hoc network), 인트라넷, 엑스트라넷, 가상 사설 네트워크(VPN), 근거리 네트워크(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 대도시 네트워크(MAN), 인터넷의 일부, 공중 전화망(PSTN)의 일부, 셀룰러 전화 네트워크, 또는 2 이상의 이들의 조합을 포함할 수 있다. 네트워크(110)는 하나 이상의 네트워크(110)를 포함할 수 있다.

링크(150)는 통신 네트워크(110)에 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)을 연결하거나 서로 연결할 수 있다. 본 명세서는 임의의 적절한 링크(150)를 고려한다. 특정 실시예에서, 하나 이상의 링크(150)는 하나 이상의 유선(가령, DSL(Digital Subscriber Line) 또는 DOCSIS(Data Over Cable Service Interface Specification)), 무선(가령, Wi-Fi 또는 WiMax(Worldwide Interoperability for Microwave Access)), 광학(가령, SONET(Synchronous Optical Network) 또는 SDH(Synchronous Digital Hierarchy)) 링크를 포함한다. 특정 실시예에서, 하나 이상의 링크(150) 각각은 애드혹 네트워크, 인트라넷, 익스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, 인터넷의 부분, PSTN의 부분, 셀룰러 기술-기반 네트워크, 위성 통신 기술-기반 네트워크, 다른 링크(150) 또는 이런 링크(150)의 2 이상의 조합을 포함한다. 링크(150)는 네트워크 환경(100) 전체에 걸쳐 반드시 동일할 필요는 없다. 하나 이상의 제1 링크(150)는 하나 이상의 면에서, 하나 이상의 제2 링크(150)와 다를 수 있다.

소셜 그래프

도 2는 예시적인 소셜 그래프(200)를 도시한다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어에 하나 이상의 소셜 그래프(200)를 저장할 수 있다. 특정 실시예로, 소셜 그래프(200)는 다수의 사용자 노드(202)나 다수의 컨셉 노드(204)를 포함할 수 있는 다수의 노드 및 노드를 연결하는 다수의 에지(206)를 포함할 수 있다. 도 2에 도시된 예시적인 소셜 그래프(200)는 훈시적 목적상 2차원 시각적 지도 표현으로 도시된다. 특정 실시예로, 소셜 네트워킹 시스템(160), 클라이언트 시스템(130) 또는 제3자 시스템(170)은 소셜 그래프(200) 및 적절한 애플리케이션에 대한 관련 소셜-그래프 정보에 접근할 수 있다. 소셜 그래프(200)의 노드 및 에지는 예컨대 데이터 스토어(가령, 소셜-그래프 데이터베이스)에 데이터 객체로서 저장될 수 있다. 이런 데이터 스토어는 소셜 그래프(200)의 노드 또는 에지의 하나 이상의 검색가능하거나 질의가능한 인덱스를 포함할 수 있다.

특정 실시예로, 사용자 노드(202)는 소셜 네트워킹 시스템(160)의 사용자에 해당할 수 있다. 예로서 제한 없이, 사용자는 개인(사람인 사용자), 엔티티(예컨대, 기업, 사업체 또는 제3자 애플리케이션) 또는 소셜 네트워킹 시스템(160)과 상호작용하거나 소셜 네트워킹 시스템에서 통신하는 (예컨대, 개인 또는 엔티티의) 그룹일 수 있다. 특정 실시예로, 사용자가 소셜 네트워킹 시스템(160)에서 계정을 등록하면, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)를 생성할 수 있고, 하나 이상의 데이터 스토어에 사용자 노드(202)를 저장할 수 있다. 적절한 경우, 본 명세서에 기술되는 사용자들 및 사용자 노드들(202)은 등록 사용자들 및 등록 사용자들과 관련된 사용자 노드들(202)을 말할 수 있다. 추가로 또는 대안으로, 본 명세서에 기술되는 사용자들 및 사용자 노드들(202)은 적절한 경우 소셜 네트워킹 시스템(160)에 등록되지 않은 사용자들을 말할 수 있다. 특정 실시예로, 사용자 노드(202)는 사용자가 제공한 정보 및 소셜 네트워킹 시스템(160)을 포함하는 다양한 시스템이 수집한 정보와 관련될 수 있다. 예로서 제한 없이, 사용자는 그들의 이름, 프로필 사진, 연락 정보, 생일, 성별, 혼인 여부, 가족 관계, 직장, 학력, 기호, 관심사 또는 다른 신상 정보를 제공할 수 있다. 특정 실시예로, 사용자 노드(202)는 사용자와 관련된 정보에 해당하는 하나 이상의 데이터 객체와 관련될 수 있다. 특정 실시예로, 사용자 노드(202)는 하나 이상의 웹페이지에 해당할 수 있다.

특정 실시예로, 컨셉 노드(204)는 컨셉에 해당할 수 있다. 예로서 제한 없이, 컨셉은 장소(가령, 예컨대, 영화관, 레스토랑, 명소 또는 도시); 웹사이트(가령, 예컨대, 소셜 네트워크 시스템(160)과 관련된 웹사이트 또는 웹-애플리케이션 서버와 관련된 제3자 웹사이트); 엔티티(가령, 예컨대, 사람, 사업체, 그룹, 스포츠 팀 또는 유명인사); 소셜 네트워킹 시스템(160) 또는 가령 웹-애플리케이션 서버와 같은 외부 서버에 위치할 수 있는 자원(가령, 예컨대, 오디오 파일, 비디오 파일, 디지털 사진, 텍스트 파일, 구조화된 문서 또는 애플리케이션); 물적 재산권 또는 지적 재산권(가령, 예컨대, 조각품, 미술품, 영화, 게임, 노래, 아이디어, 사진 또는 저서); 게임; 활동; 아이디어나 이론; 또 다른 적절한 컨셉; 또는 2 이상의 이런 컨셉들에 해당할 수 있다. 컨셉 노드(204)는 사용자에 의해 제공된 컨셉의 정보 또는 소셜 네트워킹 시스템(160)을 포함하는 다양한 시스템에 의해 수집된 정보와 관련될 수 있다. 예로서 제한 없이, 컨셉의 정보는 이름이나 제목; 하나 이상의 이미지(예컨대, 책의 커버 페이지의 이미지); 위치(예컨대, 주소 또는 지리적 위치); (URL과 관련될 수 있는) 웹사이트; 연락 정보(예컨대, 전화번호 또는 이메일 주소); 다른 적절한 컨셉 정보; 또는 이런 정보의 임의의 적절한 조합을 포함할 수 있다. 특정 실시예로, 각각의 컨셉 노드(204)는 컨셉 노드(204)와 관련된 정보에 해당하는 하나 이상의 데이터 객체와 관련될 수 있다. 특정 실시예로, 각각의 컨셉 노드(204)는 웹페이지에 해당할 수 있다.

특정 실시예로, 소셜 그래프(200)에서 노드는 ("프로필 페이지"라고 할 수 있는) 웹페이지를 표현하거나, 그 웹페이지로 표현될 수 있다. 프로필 페이지는 소셜 네트워킹 시스템(160)에 의해 호스트될 수 있거나, 접근될 수 있다. 또한, 프로필 페이지는 제3자 서버(170)와 관련된 제3자 웹사이트에 호스트될 수 있다. 예로서 제한 없이, 특정한 외부 웹페이지에 해당하는 프로필 페이지는 특정한 외부 웹페이지일 수 있고, 이런 프로필 페이지는 특정 컨셉 노드(204)에 해당할 수 있다. 프로필 페이지는 모든 또는 선택된 서브세트의 다른 사용자들에 의해 열람될 수 있다. 예로서 제한 없이, 사용자 노드(202)는 해당 사용자가 컨텐츠를 추가할 수 있고, 선언을 할 수 있으며, 그렇지 않으면 그들 자신을 표현할 수 있는 해당 사용자 프로필-페이지를 가질 수 있다. 또 다른 예로서 제한 없이, 컨셉 노드(204)는 특히 컨셉 노드(204)에 해당하는 컨셉과 관련하여 하나 이상의 사용자들이 컨텐츠를 추가할 수 있거나, 선언을 할 수 있거나, 그들 자신을 표현할 수 있는 해당 컨셉-프로필 페이지를 가질 수 있다.

특정 실시예로, 컨셉 노드(204)는 제3자 시스템(170)에 의해 호스팅된 제3자 웹페이지 또는 자원을 표현할 수 있다. 제3자 웹페이지 또는 자원은 다른 요소들 중에서 행위 또는 활동을 표현하는 (예컨대, JavaScript, AJAX 또는 PHP 코드로 구현될 수 있는) 컨텐츠, 선택가능하거나 다른 아이콘 또는 다른 상호작용가능한 객체를 포함할 수 있다. 예로서 제한 없이, 제3자 웹페이지는 가령 "좋아요", "체크인", "식사하기(eat)", "추천하기" 또는 다른 적절한 행위나 활동과 같은 선택가능한 아이콘을 포함할 수 있다. 제3자 웹페이지를 열람하는 사용자는 아이콘들 중 하나(예컨대, "식사하기")를 선택하여 행위를 수행할 수 있고, 클라이언트 시스템(130)이 사용자의 행위를 표시하는 메시지를 소셜 네트워킹 시스템(160)으로 전송하게 할 수 있다. 그 메시지에 응답하여, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)와 제3자 웹페이지 또는 자원에 해당하는 컨셉 노드(204) 사이의 에지(예컨대, "식사하기" 에지)를 생성할 수 있고, 하나 이상의 데이터 스토어에 에지(206)를 저장할 수 있다.

특정 실시예로, 소셜 그래프(200)에서 노드 쌍은 하나 이상의 에지(206)에 의해 서로 연결될 수 있다. 노드 쌍을 연결하는 에지(206)는 노드 쌍 사이의 관계를 표현할 수 있다. 특정 실시예로, 에지(206)는 노드 쌍 사이의 관계에 해당하는 하나 이상의 데이터 객체나 속성을 포함하거나 표현할 수 있다. 예로서 제한 없이, 제1 사용자는 제2 사용자가 제1 사용자의 "친구"라고 표시할 수 있다. 이런 표시에 응답하여, 소셜 네트워킹 시스템(160)은 "친구 요청"을 제2 사용자에게 전송할 수 있다. 제2 사용자가 "친구 요청"을 확인하면, 소셜 네트워킹 시스템(160)은 소셜 그래프(200)에서 제1 사용자의 사용자 노드(202)와 제2 사용자의 사용자 노드(202)를 연결하는 에지(206)를 생성할 수 있고, 하나 이상의 데이터 스토어에 소셜-그래프 정보로서 에지(206)를 저장할 수 있다. 도 2의 예에서, 소셜 그래프(200)는 사용자 "A"와 사용자 "B"의 사용자 노드(202)들 사이의 친구 관계를 표시하는 에지(206)를 그리고 사용자 "C"와 사용자 "B"의 사용자 노드(202) 사이의 친구 관계를 표시하는 에지를 포함한다. 본 명세서가 특정 사용자 노드(202)를 연결하는 특정 속성을 가진 특정 에지(206)를 기술하거나 도시하지만, 본 명세서는 사용자 노드(202)를 연결하는 임의의 적절한 속성을 가진 임의의 적절한 에지(206)를 고려한다. 예로서 제한 없이, 에지(206)는 친구관계, 가족관계, 사업이나 고용 관계, 팬 관계, 팔로어 관계, 방문자 관계, 구독자 관계, 상위/하위 관계, 호혜 관계, 비-상호 관계, 또 다른 적절한 타입의 관계 또는 2 이상의 이런 관계들을 표현할 수 있다. 게다가, 본 명세서는 일반적으로 노드들이 연결되는 것을 기술하지만, 본 명세서는 또한 사용자 또는 컨셉이 연결되는 것을 기술한다. 본 명세서에서, 사용자 또는 컨셉이 연결되는 것에 대한 언급은 적절한 경우 이들 사용자 또는 컨셉에 해당하는 노드가 하나 이상의 에지(206)에 의해 소셜 그래프(200)에서 연결되는 것을 말할 수 있다.

특정 실시예로, 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)는 컨셉 노드(204)와 관련된 컨셉에 대해 사용자 노드(202)의 사용자가 수행한 특정 행위 또는 활동을 표현할 수 있다. 예로서 제한 없이, 도 2에 도시된 바와 같이, 사용자는 컨셉을 "좋아요(like)", "참여했음(attended)", "실행했음(played)", "청취했음(listened)", "요리했음(cooked)", "근무했음(worked at)", 또는 "시청했음(watched)"을 할 수 있고, 이들 각각은 에지 타입이나 서브타입에 해당할 수 있다. 컨셉 노드(204)에 해당하는 컨셉-프로필 페이지는 예컨대 선택가능한 "체크인" 아이콘(가령, 예컨대, 클릭가능한 "체크인" 아이콘) 또는 선택가능한 "즐겨찾기에 추가(add to favorites)" 아이콘을 포함할 수 있다. 마찬가지로, 사용자가 이런 아이콘을 클릭한 후, 소셜 네트워킹 시스템(160)은 각각의 행위에 해당하는 사용자의 행위에 응답하여 "즐겨찾기" 에지 또는 "체크인" 에지를 생성할 수 있다. 또 다른 예로서 제한 없이, 사용자(사용자 "C")는 특정 애플리케이션(온라인 음악 애플리케이션인 SPOTIFY)을 사용하여 특정 노래("Imagine")를 들을 수 있다. 이 경우, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)와 노래 및 애플리케이션에 해당하는 컨셉 노드(204) 사이에 "청취했음(listened)" 에지(206) 및 "사용했음(used)" 에지(도 2에 도시)를 생성하여, 사용자가 그 노래를 들었고 그 애플리케이션을 사용했음을 표시할 수 있다. 게다가, 소셜 네트워킹 시스템(160)은 노래와 애플리케이션에 해당하는 컨셉 노드(204) 사이에서 "실행했음(played)" 에지(206)(도 2에 도시)를 생성하여 특정 노래가 특정 애플리케이션에 의해 실행되었음을 표시할 수 있다. 이 경우, "실행했음(played)" 에지(206)는 외부 오디오 파일(노래 "Imagine")에 대해 외부 애플리케이션(SPOTIFY)이 수행한 행위에 해당한다. 본 명세서는 사용자 노드(202)와 컨셉 노드(204)를 연결하는 특정 속성을 가진 에지(206)를 기술하지만, 본 명세서는 사용자 노드(202)와 컨셉 노드(204)를 연결하는 임의의 적절한 속성을 가진 임의의 적절한 에지(206)를 고려한다. 게다가, 본 명세서는 단일의 관계를 표현하는 사용자 노드(202)와 컨셉 노드(204) 사이의 에지를 기술하지만, 본 명세서는 하나 이상의 관계를 표현하는 사용자 노드(202)와 컨셉 노드(204) 사이의 에지를 고려한다. 예로서 제한 없이, 에지(206)는 사용자가 특정 컨셉에서 좋아요 하고 사용했음을 모두 표현할 수 있다. 대안으로, 또 다른 에지(206)는 사용자 노드(202)와 컨셉 노드(204) 사이(도 2에 도시된 바와 같이, 사용자 "E"에 대한 사용자 노드(202)와 "SPOTIFY"에 대한 컨셉 노드(204) 사이)의 각 타입의 관계(또는 다수의 단일 관계)를 표현할 수 있다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 소셜 그래프(200)에서 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)를 생성할 수 있다. 예로서 제한 없이, (가령, 예컨대, 사용자의 클라이언트 시스템(130)에 의해 호스팅되는 웹 브라우저 또는 특수목적 애플리케이션을 사용하여) 사용자가 컨셉-프로필 페이지를 열람하는 것은 사용자가 "좋아요" 아이콘을 클릭하거나 선택하여 컨셉 노드(204)가 표현한 컨셉을 좋아함을 나타낼 수 있는데, "좋아요" 아이콘은 사용자의 클라이언트 시스템(130)이 컨셉-프로필 페이지와 관련된 컨셉을 사용자가 좋아요 했다고 표시한 메시지를 소셜 네트워킹 시스템(160)으로 전송하게 할 수 있다. 그 메시지에 응답하여, 소셜 네트워킹 시스템(160)은 사용자와 컨셉 노드(204) 사이의 "좋아요" 에지(206)로 도시된 바와 같이 사용자와 관련된 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)를 생성할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어에 에지(206)를 저장할 수 있다. 특정 실시예로, 에지(206)는 특정 사용자 행위에 응답하여 소셜 네트워킹 시스템(160)에 의해 자동 형성될 수 있다. 예로서 제한 없이, 제1 사용자가 사진을 업로드하거나, 영화를 시청하거나, 노래를 듣는다면, 에지(206)는 제1 사용자에 해당하는 사용자 노드(202)와 이런 컨셉에 해당하는 컨셉 노드(204) 사이에 형성될 수 있다. 본 명세서는 특정 방식으로 특정 에지(206)를 형성하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 에지(206)를 형성하는 것을 고려한다.

소셜 그래프 친밀성 및 계수

특정 실시예로, 소셜 네트워킹 시스템(160)은 서로에 대해 다양한 소셜 그래프 엔티티의 소셜 그래프 친밀성(본 명세서에서는 "친밀성"이라고 할 수 있음)을 결정할 수 있다. 친밀성은 가령 사용자, 컨셉, 컨텐츠, 행위, 광고, 온라인 소셜 네트워크와 관련된 다른 객체 또는 이들의 임의의 적절한 조합과 같이 온라인 소셜 네트워크와 관련된 특정 객체들 사이의 관계의 세기 또는 관심도를 나타낼 수 있다. 또한, 친밀성은 제3자 시스템(170)이나 다른 적절한 시스템들과 관련된 객체에 대하여 결정될 수 있다. 각 사용자에 대한 소셜 그래프 엔티티, 주제 또는 컨텐츠의 타입에 대한 총 친밀성이 확립될 수 있다. 총 친밀성은 소셜 그래프 엔티티와 관련된 행위 또는 관계의 계속되는 점검에 기초하여 변할 수 있다. 본 명세서는 특정 방식으로 특정 친밀성을 결정하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 친밀성을 결정하는 것을 기술한다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 친밀성 계수(본 명세서에서는 "계수"라고 할 수 있음)를 사용하여 소셜 그래프 친밀성을 측정하거나 수량화할 수 있다. 계수는 온라인 소셜 네트워크와 관련된 특정 객체들 사이의 관계의 세기를 표현하거나 수량화할 수 있다. 또한, 계수는 사용자가 특정 행위를 수행할 예상 확률을 그 행위에 대한 사용자의 관심에 기초하여 측정하는 확률 또는 함수를 나타낼 수 있다. 이 방식으로, 사용자의 장래의 행위는 사용자의 이전의 행위들에 기초하여 예측될 수 있는데, 이때 계수는 적어도 부분적으로 사용자의 행위의 이력에 의해 계산될 수 있다. 계수는 온라인 소셜 네트워크의 내부 또는 외부에 있을 수 있는 임의의 수의 행위를 예측하는데 사용될 수 있다. 예로서 제한 없이, 이런 행위들은 가령 메시지를 송신하기, 컨텐츠를 게시하기 또는 컨텐츠에 대해 코멘트하기와 같은 다양한 타입의 통신들; 가령 프로필 페이지, 미디어 또는 다른 적절한 컨텐츠에 접근하거나 열람하는 것과 같은 다양한 타입의 관찰 행위들; 가령 동일한 그룹에 있기, 동일한 사진에 태그하기, 동일한 위치에 체크인하기 또는 동일한 이벤트에 참여하기와 같은 다양한 타입의 하나 이상의 소셜 그래프 엔티티에 대한 일치 정보(coincidence information); 또는 다른 적절한 행위들을 포함할 수 있다. 본 명세서는 특정 방식으로 친밀성을 측정하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 친밀성을 측정하는 것을 고려한다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 다양한 인자를 사용하여 계수를 계산할 수 있다. 이런 인자들은 예컨대 사용자 행위, 객체 사이의 관계 타입, 위치 정보, 다른 적절한 인자들 또는 이들의 임의의 조합을 포함할 수 있다. 특정 실시예로, 각기 다른 인자는 계수를 계산할 때 다르게 가중될 수 있다. 각 인자에 대한 가중치는 정적일 수 있거나, 가중치는 예컨대 사용자, 관계의 타입, 행위의 타입, 사용자의 위치 등에 따라 변할 수 있다. 인자들에 대한 평점(ratings)이 사용자에 대한 총 계수를 결정하는데 그 가중치에 따라 결합될 수 있다. 예로서 제한 없이, 특정 사용자 행위는 평점과 가중치 모두를 할당받을 수 있는 한편, 특정 사용자 행위와 관련된 관계는 평점 및 상관형 가중치(correlating weight)(예컨대, 그래서 총 가중치는 100%)를 할당받는다. 특정 객체에 대한 사용자의 계수를 계산하기 위해, 사용자의 행위에 할당된 평점은 예컨대 총 계수의 60%를 포함할 수 있는 한편, 사용자와 객체 사이의 관계는 총 계수의 40%를 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은, 예컨대 정보에 접근한 이후의 시간, 감쇠 인자(decay factors), 접근 빈도, 정보에 대한 관계 또는 정보에 접근한 객체에 대한 관계, 객체와 연결된 소셜 그래프 엔티티에 대한 관계, 사용자 행위의 단기적 또는 장기적 평균, 사용자 피드백, 다른 적절한 변수들 또는 이들의 임의의 조합과 같이, 계수를 계산하는데 사용되는 다양한 인자들에 대한 가중치를 결정할 때 다양한 변수를 고려할 수 있다. 예로서 제한 없이, 더 최근의 행위가 계수를 계산할 때 더 관련되도록, 계수는 특정 행위가 제공한 신호의 세기가 시간에 따라 감쇠하게 하는 감쇠 인자를 포함할 수 있다. 평점 및 가중치는 계수가 기반하는 행위의 계속되는 추적에 기초하여 연속적으로 업데이트될 수 있다. 임의의 타입의 프로세스 또는 알고리즘은 각 인자에 대한 평점 및 인자에 할당된 가중치를 할당, 결합, 평균화 등을 하는데 이용될 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 이력 행위 및 과거 사용자 응답 또는 다양한 옵션에 사용자를 노출시키고 응답을 측정하여 사용자로부터 파밍된(farmed) 데이터에 대하여 훈련되는 기계-학습 알고리즘을 사용하여 계수를 결정할 수 있다. 본 명세서는 특정 방식으로 계수를 계산하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 계수를 계산하는 것을 고려한다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 사용자의 행위에 기초하여 계수를 계산할 수 있다. 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크에서, 제3자 시스템(170)에서, 다른 적절한 시스템들에서 또는 이들의 임의의 조합에서 이런 행위들을 모니터할 수 있다. 임의의 적절한 타입의 사용자 행위들이 추적되거나 모니터될 수 있다. 일반적인 사용자 행위들은 프로필 페이지를 열람하기, 컨텐츠를 생성하거나 게시하기, 컨텐츠와 상호작용하기, 이미지(또는 다른 타입의 태그 내역 정보)에 태그하거나 태그되기, 그룹에 가입하기, 이벤트에의 참여를 목록화하고 확인하기, 위치에 체크인하기, 특정 페이지를 좋아하기, 페이지를 생성하기 및 소셜 행위를 용이하게 하는 다른 업무들을 수행하기를 포함한다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 특정 타입의 컨텐츠를 가진 사용자의 행위에 기초하여 계수를 계산할 수 있다. 컨텐츠는 온라인 소셜 네트워크, 제3자 시스템(170) 또는 다른 적절한 시스템과 관련될 수 있다. 컨텐츠는 사용자, 프로필 페이지, 게시물, 뉴스 소식, 헤드라인, 인스턴트 메시지, 채팅방 대화, 이메일, 광고, 사진, 비디오, 음악, 다른 적절한 객체들 또는 이들의 임의의 조합을 포함할 수 있다. 소셜 네트워킹 시스템(160)은 하나 이상의 행위들이 주제, 컨텐츠, 다른 사용자들 등에 대한 친밀성을 표시하는지를 결정하도록 사용자의 행위를 분석할 수 있다. 예로서 제한 없이, 사용자가 "커피" 또는 그 유사물에 관한 컨텐츠를 빈번히 게시할 수 있다면, 소셜 네트워킹 시스템(160)은 컨셉 "커피"에 대하여 사용자가 높은 계수를 가진다고 결정할 수 있다. 특정 행위 또는 행위 타입은 다른 행위들보다 더 높은 가중치 및/또는 평점을 할당받을 수 있으며, 이는 계산되는 총 계수에 영향을 줄 수 있다. 예로서 제한 없이, 제1 사용자가 제2 사용자에게 이메일 하는 경우, 그 행위에 대한 가중치 또는 평점은 제1 사용자가 제2 사용자에 대한 사용자 프로필 페이지를 단순히 열람한 경우보다 더 높을 수 있다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 특정 객체들 사이의 관계의 타입에 기초하여 계수를 계산할 수 있다. 소셜 그래프(200)를 참조하면, 소셜 네트워킹 시스템(160)은 계수를 계산할 때 특정 사용자 노드(202)와 컨셉 노드(204)를 연결하는 에지(206)의 수 및/또는 타입을 분석할 수 있다. 예로서 제한 없이, (2명의 사용자가 결혼했음을 표현하는) 배우자-타입 에지(spouse-type edge)로 연결되는 사용자 노드(202)는 친구-타입 에지로 연결되는 사용자 노드(202)보다 더 높은 계수를 할당받을 수 있다. 즉, 특정 사용자에 대한 행위 및 관계에 할당된 가중치에 따라, 총 친밀성은 사용자의 친구에 대한 컨텐츠보다 사용자의 배우자에 대한 컨텐츠에 대하여 더 높도록 결정될 수 있다. 특정 실시예로, 사용자가 또 다른 객체와 맺은 관계는 그 객체에 대한 계수를 계산할 때 사용자의 행위의 가중치 및/또는 평점에 영향을 줄 수 있다. 예로서 제한 없이, 사용자가 제1 사진에 태그되지만 단지 제2 사진만을 좋아한다면, 컨텐츠와 태그-타입(tagged-in-type) 관계를 가지는 것이 컨텐츠와 좋아요-타입 관계를 가지는 것보다 더 높은 가중치 및/또는 평점을 할당받을 수 있기 때문에, 소셜 네트워킹 시스템(160)은 사용자가 제2 사진보다 제1 사진에 대하여 더 높은 계수를 가진다고 결정할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 한 명 이상의 제2 사용자가 특정 객체와 맺은 관계에 기초하여 제1 사용자에 대한 계수를 계산할 수 있다. 즉, 다른 사용자들이 객체와 맺은 연결관계 및 계수는 그 객체에 대한 제1 사용자의 계수에 영향을 줄 수 있다. 예로서 제한 없이, 제1 사용자가 한 명 이상의 제2 사용자들과 연결되거나 그 제2 사용자들에 대한 높은 계수를 가지며, 이들 제2 사용자는 특정 객체와 연결되거나 그 특정 객체에 대한 높은 계수를 가진다면, 소셜 네트워킹 시스템(160)은 제1 사용자도 또한 그 특정 객체에 대해 상대적으로 높은 계수를 가져야 한다고 결정할 수 있다. 특정 실시예로, 계수는 특정 객체들 사이의 이격도를 기초로 할 수 있다. 더 낮은 계수는 제1 사용자가 소셜 그래프(200)에서 제1 사용자와 간접적으로 연결되는 사용자의 컨텐츠 객체에 대한 관심을 공유할 가능성이 감소함을 표현할 수 있다. 예로서 제한 없이, 소셜 그래프(200)에서 더 가까운(즉, 더 적은 이격도의) 소셜 그래프 엔티티들은 소셜 그래프(200)에서 더 멀리 떨어져 있는 엔티티들보다 더 높은 계수를 가질 수 있다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 위치 정보에 기초하여 계수를 계산할 수 있다. 서로 지리적으로 더 가까운 객체들은 더 먼 객체들보다 서로 더 관련이 있거나 더 관심이 있다고 간주될 수 있다. 특정 실시예로, 특정 객체에 대한 사용자의 계수는 사용자와 관련된 현재 위치(또는 사용자의 클라이언트 시스템(130)의 위치)에 대한 객체의 위치의 근접성을 기초로 할 수 있다. 제1 사용자는 제1 사용자와 더 가까운 다른 사용자들이나 컨셉들에 더 관심이 있을 수 있다. 예로서 제한 없이, 사용자가 공항으로부터는 1마일 그리고 주유소로부터는 2마일 떨어져 있다면, 소셜 네트워킹 시스템(160)은 사용자와 공항의 근접성에 기초하여 사용자가 주유소보다 공항에 대해 더 높은 계수를 가진다고 결정할 수 있다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 계수 정보에 기초하여 사용자에 대해 특정 행위를 수행할 수 있다. 계수는 사용자가 특정 행위를 수행할 것인지 여부를 그 행위에 대한 사용자의 관심에 기초하여 예측하는데 사용될 수 있다. 계수는 가령 광고, 검색 결과, 뉴스 소식, 미디어, 메시지, 알림 또는 다른 적절한 객체와 같이 사용자에게 임의의 타입의 객체들을 생성하거나 제시할 때 사용될 수 있다. 또한, 계수는 적절한 경우 이런 객체들을 순위화 및 순서화하는데 이용될 수 있다. 이 방식으로, 소셜 네트워킹 시스템(160)은 사용자의 관심 및 현재 상황과 관련이 있는 정보를 제공할 수 있고, 사용자들이 관심을 가질 이런 정보를 찾을 가능성을 증가시킨다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 계수 정보에 기초하여 컨텐츠를 생성할 수 있다. 컨텐츠 객체는 사용자에 특화된 계수에 기초하여 제공되거나 선택될 수 있다. 예로서 제한 없이, 계수는 사용자에 대한 미디어를 생성하는데 사용될 수 있는데, 이때 사용자는 사용자가 미디어 객체에 대해 높은 총 계수를 가지는 미디어를 제시받을 수 있다. 또 다른 예로서 제한 없이, 계수는 사용자에 대한 광고를 생성하는데 사용될 수 있는데, 이때 사용자는 사용자가 광고된 객체에 대해 높은 총 계수를 가지는 광고를 제시받을 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 계수 정보에 기초하여 검색 결과를 생성할 수 있다. 특정 사용자에 대한 검색 결과는 질의중인 사용자에 대하여 검색 결과와 관련된 계수에 기초하여 점수화되거나 순위화될 수 있다. 예로서 제한 없이, 더 높은 계수를 가진 객체에 해당하는 검색 결과는 더 낮은 계수를 가진 객체에 해당하는 결과보다 검색 결과 페이지에서 더 높게 순위화될 수 있다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 특정 시스템이나 프로세스로부터의 계수에 대한 요청에 응답하여 계수를 계산할 수 있다. 사용자가 소정의 상황에서 행할 수 있는(주제일 수 있는) 가능한 행위를 예측하기 위해, 임의의 프로세스는 사용자에 대해 계산된 계수를 요청할 수 있다. 또한, 요청은 계수를 계산하는데 사용되는 다양한 인자들에 대해 사용하도록 한 세트의 가중치를 포함할 수 있다. 이 요청은 온라인 소셜 네트워크에서 실행하는 프로세스로부터, (예컨대, API 또는 다른 통신 채널을 통해) 제3자 시스템(170)으로부터 또는 다른 적절한 시스템으로부터 비롯될 수 있다. 그 요청에 응답하여, 소셜 네트워킹 시스템(160)은 계수를 계산(또는 이미 계산되고 저장되었다면 계수 정보에 접근)할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 특정 프로세스에 대한 친밀성을 측정할 수 있다. (온라인 소셜 네트워크 내부와 외부 모두의) 다른 프로세스들은 특정 객체 또는 객체들의 세트에 대한 계수를 요청할 수 있다. 소셜 네트워킹 시스템(160)은 친밀성을 요청한 특정 프로세스와 관련이 있는 친밀성을 제공할 수 있다. 이 방식으로, 각 프로세스는 프로세스가 친밀성을 사용하는 다른 컨텍스트에 대하여 맞춤화되는 친밀성을 수신한다.

소셜 그래프 친밀성 및 친밀성 계수와 관련하여, 특정 실시예들은 참조로 각각 통합되는: 2006년 8월 11일자로 출원된 미국특허출원 제11/503093호, 2010년 12월 22일자로 출원된 미국특허출원 제12/976859호, 2010년 12월 22일자로 출원된 미국특허출원 제12/977027호, 2010년 12월 23일자로 출원된 미국특허출원 제12/978265호 및 2012년 10월 1일자로 출원된 미국특허출원 제13/632869호에 개시되는 하나 이상의 시스템, 컴포넌트, 구성요소, 기능, 방법, 동작 또는 단계를 이용할 수 있다.

타이프어헤드 프로세스( Typeahead Processes)

특정 실시예로, 하나 이상의 클라이언트-측 및/또는 백엔드(서버-측) 프로세스는 가령 소셜 네트워킹 시스템(160)에 의해 호스팅되거나 접근가능할 수 있는 (예컨대, 사용자-프로필 페이지, 컨셉-프로필 페이지, 검색-결과 웹페이지 또는 온라인 소셜 네트워크의 다른 적절한 페이지와 같은) 요청된 웹페이지와 함께 렌더링되는 입력 서식에 사용자가 현재 입력한 정보에 소셜 그래프 요소(예컨대, 사용자 노드(202), 컨셉 노드(204) 또는 에지(206))를 자동으로 매치하고자 하는 "타이프어헤드(typeahead)" 기능을 구현하고 이용할 수 있다. 특정 실시예로, 사용자가 선언문을 만들도록 텍스트를 입력중일 때, 타이프어헤드 기능은 선언문에 입력되는 텍스트 문자열을 소셜 그래프(200) 내 사용자, 컨셉, 에지 및 그에 해당하는 요소들에 해당하는 문자열(예컨대, 이름, 설명)을 매치하고자 한다. 특정 실시예로, 매치가 발견되는 경우, 타이프어헤드 기능은 기존의 소셜 그래프 요소의 소셜 그래프 요소에 대한 레퍼런스(가령, 예컨대, 노드 명/타입, 노드 ID, 에지 명/타입, 에지 ID 또는 다른 적절한 레퍼런스나 식별자)로 서식을 자동으로 채울 수 있다.

특정 실시예로, 사용자가 사용자의 프로필 페이지, 홈페이지 또는 다른 페이지의 다양한 섹션에 컨텐츠를 추가하거나 선언을 하는데 사용되는 서식으로 텍스트를 타이핑하거나 입력할 때, 타이프어헤드 프로세서는 (예컨대, 서버(162) 내) 소셜 네트워킹 시스템(160)에서(또는 내에서) 실행하는 하나 이상의 프런트엔드(frontend)(클라이언트-측) 및/또는 백엔트(서버-측) 타이프어헤드 프로세스(이하, 간단히 "타이프어헤드 프로세스"라고 함)와 함께 작동하여, 사용자의 텍스트 문자 입력시 사용자가 입력한 텍스트 문자와 가장 관련되거나 최상으로 매치한다고 결정되는 기존 소셜-그래프 요소의 이름에 해당하는 용어나 용어들 또는 기존 소셜-그래프 요소와 관련된 용어들로 서식을 자동-채움(auto-populate)하려고 상호작용하여 거의 즉각적으로 (사용자에게 나타난 대로) 시도할 수 있다. 소셜-그래프 데이터베이스 내 소셜-그래프 정보 또는 노드 및 에지와 관련된 정보를 포함하는 소셜-그래프 데이터베이스로부터 추출되고 인덱싱된 정보를 이용하면, 소셜-그래프 데이터베이스로부터의 정보와 함께 그리고 잠재적으로 소셜 네트워킹 시스템(160)에 위치하거나 그 내에서 실행하는 다양한 다른 프로세스, 애플리케이션 또는 데이터베이스와 함께 타이프어헤드 프로세스는 높은 정확도로 사용자의 의도된 선언을 예측할 수 있다. 그러나, 소셜 네트워킹 시스템(160)은 또한 사용자들이 그들 자신을 자유롭게 표현할 수 있게 하기를 그들이 원하는 본래 임의의 선언을 입력하는 자유를 사용자에게 제공할 수 있다.

특정 실시예로, 사용자가 텍스트 문자를 서식 박스 또는 다른 필드로 입력할 때, 타이프어헤드 프로세스는 사용자의 문자의 입력시 사용자의 선언에 입력된 문자열에 매치하는 기존 소셜-그래프 요소들(예컨대, 사용자 노드(202), 컨셉 노드(204) 또는 에지(206))을 식별하고자 할 수 있다. 특정 실시예로, 사용자가 문자를 서식 박스로 입력할 때, 타이프어헤드 프로세스는 입력된 텍스트 문자열을 판독할 수 있다. 각각의 키 누름(keystroke)이 이루어질 때, 프런트엔트-타이프어헤드 프로세스는 요청(또는 호출)으로서 입력된 문자열을 소셜 네트워킹 시스템(160) 내에서 실행하는 백엔드-타이프어헤드 프로세스로 송신할 수 있다. 특정 실시예로, 타이프어헤드 프로세스는 AJAX(비동기식 JavaScript 및 XML) 또는 다른 적절한 기술 및 특히 비동기식 기술을 통해 통신할 수 있다. 특정 실시예로, 요청은 결과의 신속한 동적인 송신 및 페치(fetching)를 가능하게 하는 XMLHTTPRequest (XHR)이거나 이를 포함할 수 있다. 특정 실시예로, 타이프어헤드 프로세스는 또한 사용자가 선언을 작성하고 있는 특정 페이지의 특정 섹션을 식별하는 섹션 식별자(section ID)를 그 요청 전에, 그 요청 후에 또는 그 요청과 함께 송신한다. 특정 실시예로, 사용자 ID 파라미터가 또한 송신될 수 있거나, 일부의 실시예로 사용자가 소셜 네트워킹 시스템(160)으로 로그인했음(또는 인증되었음)을 기초로 이미 "공지"되어 있다면 불필요할 수 있다.

특정 실시예로, 타이프어헤드 프로세스는 하나 이상의 매칭 알고리즘을 사용하여 매칭 소셜-그래프 요소를 식별하고자 할 수 있다. 특정 실시예로, 매치이나 매치들이 발견되는 경우, 타이프어헤드 프로세스는 예컨대 매칭 소셜-그래프 요소의 이름(이름 문자열) 또는 설명뿐 아니라 잠재적으로 매칭 소셜-그래프 요소와 관련된 다른 메타데이터를 포함할 수 있는 (AJAX 또는 다른 적절한 기술을 이용할 수 있는) 응답을 사용자의 클라이언트 장치(130)로 송신할 수 있다. 예로서 제한 없이, 사용자가 문자 "pok"를 질의 필드로 입력하면, 타이프어헤드 프로세스는 매치하는 기존 프로필 페이지 및 각각의 사용자 노드(202)나 컨셉 노드(204)(예컨대, "poker" 또는 "pokemon"으로 이름지어지거나 그 전용의 프로필 페이지)의 이름을 디스플레이하는 드롭-다운 메뉴를 디스플레이하며, 사용자가 이후 클릭하거나 선택함으로써 선택된 노드에 해당하는 매칭된 사용자나 컨셉 이름을 선언하는 요구를 확인할 수 있다. 또 다른 예로서 제한 없이, "poker"의 클릭시, 타이프어헤드 프로세스는 자동-채움하거나, 웹 브라우저(132)가 질의 필드를 선언 "poker"로 자동-채움할 수 있게 한다. 특정 실시예로, 타이프어헤드 프로세스는 드롭-다운 메뉴를 디스플레이하기보다는 상위-순위화된 매치의 이름이나 다른 식별자로 필드를 간단히 자동-채움할 수 있다. 이후, 사용자는 간단히 그들의 키보드에 "enter"를 키 입력하거나 자동-채움 선언을 클릭하여 자동-채움 선언을 확인할 수 있다.

타이프어헤드 프로세스에 대한 더 많은 정보는 참조로 각각 통합되는 2010년 4월 19일자로 출원된 미국특허출원 제12/763162호 및 2012년 7월 23일자로 출원된 미국특허출원 제13/556072호에서 확인할 수 있다.

디지털 이미지 & 이미지 태그하기

특정 실시예로, 소셜 네트워킹 시스템(160)은 사용자가 다른 사람에 의한 열람을 위해 소셜 네트워킹 시스템으로 디지털 이미지를 업로드 가능하게 할 수 있다. 디지털 이미지는 디지털 사진, 삽화, 지리적 지도, 스크린샷, 비디오, 다른 적절한 디지털 이미지 또는 이들의 임의의 조합을 포함할 수 있다. 사용자는 저장하거나 다른 사용자들과 공유하기 위해 온라인 소셜 네트워크에 의해 관리되는 서버로 하나 이상의 디지털 이미지를 업로드할 수 있다. 예컨대, 사용자는 클라이언트 시스템(130)에 저장되는 한 세트의 이미지를 선택할 수 있고, 소셜 네트워킹 시스템(160)과 네트워크 연결을 확립하고 온라인 소셜 네트워크로 그 이미지 세트를 업로드하도록 클라이언트 장치(130)에 지시할 수 있다. 사용자는 온라인 소셜 네트워크에서 사용자의 계정과 관련된 특정 파일이나 앨범으로 디지털 이미지를 업로드할 수 있다. 이후, 온라인 소셜 네트워크의 한 명 이상의 다른 사용자들은 소셜 네트워킹 시스템(160)을 통해 디지털 이미지를 열람할 수 있다. 사용자는 사용자의 개인정보 설정에 적어도 부분적으로 기반하여 하나 이상의 이미지를 비밀(private)로 지정(또는 그에 대한 접근을 제한)하거나, 온라인 소셜 네트워크의 임의의 다른 사용자들에게 하나 이상의 이미지에 대한 접근을 승인할 수 있다.

특정 실시예로, 제1 사용자와 관련된 한 세트의 이미지는 온라인 소셜 네트워크의 다른 사용자들이 열람가능할 수 있다. 예로서 제한 없이, 제2 사용자가 제1 사용자의 사용자 프로필을 방문한다면, 제1 사용자와 관련된 이미지 세트는 (예컨대, 제1 사용자의 승인 또는 개인정보 설정 및 제1 사용자와 제2 사용자 사이의 관계에 따라) 제2 사용자가 열람가능할 수 있다. 소셜 네트워킹 시스템의 사용자로의 이미지의 제시는 본 명세서에 참조로 통합되는 2012년 12월 14일자로 출원된 미국특허출원 제13/715636호에 더 상세히 논의된다. 특정 실시예로, 제1 사용자와 관련된 이미지는 일련의 앨범으로서 제2 사용자에게 제시될 수 있다. 예로서 제한 없이, 제2 사용자는 일련의 앨범을 포함하는 제1 사용자의 사용자 프로필과 관련된 웹페이지를 볼 수 있다. 웹페이지의 하단에서, 제2 사용자는 예컨대 제1 사용자와 관련된 추가 앨범, 다른 사용자와 관련된 앨범 또는 제2 사용자 자신의 사용자 프로필과 관련된 앨범과 같이 다른 앨범들을 브라우징하는 옵션을 볼 수 있다. 제2 사용자에게 제시되는 앨범은 예컨대 앨범의 제목, 앨범의 요약 설명 또는 앨범이나 그 사진들과 관련된 임의의 다른 정보와 같이 추가 정보를 포함할 수 있다. 특정 실시예로, 제2 사용자가 앨범상에서 (예컨대, 마우스로) "배회(hover)"하면, 제2 사용자는 앨범을 "좋아요"하거나 코멘트할 수 있다. 추가로, 특정 실시예로, 제2 사용자가 앨범 위를 배회하면, 앨범에서 처음부터 N개(예컨대, 5개)의 사진은 제2 사용자가 계속하여 앨범 위를 배회하는 동안 제2 사용자에게 제시되는 앨범의 대표 이미지로서 자동으로 순환될 수 있다. 제1 사용자는 또 다른 사용자가 앨범 위를 배회할 때 앨범 내 어느 사진들이 자동 순환으로 제시되는지를 결정할 수 있다.

특정 실시예로, 이미지는 특정 타입의 메타데이터와 관련될 수 있다. 이미지와 관련된 메타데이터는 (예컨대, 이미지의 소스인 카메라에 의해) 자동으로 생성될 수 있다. 이미지와 관련된 자동-생성된 메타데이터는 예컨대 이미지에 관한 정보를 포함할 수 있고, EXIF(Exchangeable Image File Format) 데이터로서 저장될 수 있다. 메타데이터는 가령 이미지가 찍힌 날짜와 시간, 이미지가 찍힌 위치(예컨대, GPS 좌표), 이미지에 적용된 압축, 카메라 모델 및 카메라 설정(예컨대, 해상도, 색 정보, 플래시 사용, 노출, 셔터 속도, 구경, 초점거리 또는 ISO 속도)과 같은 정보를 포함할 수 있다. 특정 실시예로, 이미지와 관련된 메타데이터는 자동 생성될 수 있지만 소셜 네트워킹 시스템(160)으로 업로드하기 전에 수동으로 편집(예컨대, 클라이언트 시스템(130)에서 사진 애플리케이션에 편집)될 수 있다. 다른 실시예로, 이미지와 관련된 메타데이터는 소셜 네트워킹 시스템으로 업로드하기 전에 (예컨대, 카메라 사용자에 의해 또는 클라이언트 시스템(130)의 사용자에 의해) 수동으로 생성될 수 있다.

특정 실시예로, 이미지는 특정 크기로 스케일링(scaled)될 수 있다. 때때로, 상대적으로 고해상도이므로 상대적으로 큰 크기의 이미지가 상대적으로 작은 영역에 디스플레이될 필요가 있다. 실제로, 이는, 비록 더 큰 스크린을 가진 다른 시스템에서도 동일한 요구가 또한 발생할 수 있지만, 가령 모바일 클라이언트 시스템(예컨대, 스마트폰, 모바일 전화, 태블릿 컴퓨터, 랩톱 컴퓨터)의 스크린과 같이 이미지가 디스플레이되는 장치의 스크린이 상대적으로 소형일 때 흔히 발생할 수 있다. 예로서 제한 없이, 클라이언트 시스템(130)의 뷰포트(viewport)에 의해 지원되는 해상도보다 더 큰 해상도를 가진 이미지는 전체 이미지가 뷰포트에 디스플레이될 수 있도록 줌아웃(즉, 스케일다운(scaled down))될 수 있다. 마찬가지로, 이미지는 단지 이미지의 일부만이 뷰포트에 디스플레이될 수 있도록 줌인(즉, 스케일업(scaled up))될 수 있다. 이미지가 디스플레이시 확대될 수 있도록 추가적인 줌인이 가능할 수 있다. 특정 실시예로, 모바일 장치의 디스플레이는 종종 이미지와는 다른 종횡비(예컨대, 길이에 대한 폭의 비율)를 가질 수 있다. 게다가, 모바일 장치의 디스플레이의 종횡비는 모바일 장치의 방위(orientation)(예컨대, 세로 모드(portrait mode) 또는 가로 모드(landscape mode))에 따라 다를 수 있다. 예컨대, 모바일 장치의 디스플레이 해상도는 가로 모드로 960 대 640 픽셀이거나 세로 모드로 640 대 960 픽셀일 수 있는 한편, 소셜 네트워킹 시스템(160)에 저장된 이미지는 많은 크기 및 종횡비(예컨대, 1920 대 1080 픽셀, 1064 대 1600 픽셀, 1600 대 1200 픽셀, 1200 대 1200 픽셀, 2592 대 1936 픽셀, 3264 대 2448 픽셀 등)를 가질 수 있다. 또한, 모바일 장치의 (다른 제조자로부터의) 다른 모델들은 다른 디스플레이 해상도 및 디스플레이 종횡비를 가질 수 있다. 특정 실시예로, 이미지는 뷰포트의 크기 또는 치수에 기반하여 하나 이상의 치수로 스케일링될 수 있다. 특정 실시예로, 스케일링되는 이미지가 뷰포트보다 더 "가로형"이라면(예컨대, 이미지의 종횡비가 뷰포트의 종횡비보다 더 크다면), 이미지는 뷰포트의 높이와 동일하도록 스케일링될 수 있다. 특정 실시예로, 스케일링되는 이미지가 뷰포트보다 더 "세로형"이라면(예컨대, 이미지의 종횡비가 뷰포트의 종횡비보다 더 작다면), 이미지는 뷰포트의 폭과 동일하도록 스케일링될 수 있다. 특정 실시예로, 이미지는 이미지가 특정 크기(예컨대, 뷰포트의 크기)로 잘리기 전에 스케일링될 수 있다.

도 3은 태그를 가진 예시적인 사진을 도시한다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 디지털 이미지의 태그를 가능하게 할 수 있다. 이미지를 게시한 사용자 또는 이미지에 접근한 온라인 소셜 네트워크의 다른 사용자들은 이미지 내 한 지점이나 영역을 선택하여 이미지의 위치를 선택하고 태그하도록 이미지를 열람할 수 있다. 또한, 태그하는 사용자는 이미지에 그려진 객체를 설명할 수 있는 태그의 설명(예컨대, 이미지에 그려진 사용자 또는 객체의 이름이나 다른 설명자)을 입력할 수 있다. 이미지 내에 있는 다수의 위치가 태그될 수 있다. 태그가 이미지 내 영역에 대응하는 경우, 태그는 디지털 이미지 위에 겹쳐지는 테두리 상자(border)로 표시될 수 있다. 예로서 제한 없이, 특정 이미지는 하나 이상의 사람을 묘사할 수 있다. 이미지에 묘사된 하나 이상의 사람은 온라인 소셜 네트워크의 특정 사용자에 대응하는 것으로 태그될 수 있다. 일반적으로, 사람의 얼굴을 묘사하는 이미지의 위치가 태그에 대응하는 것으로 선택될 수 있다. 특정 실시예로, 태그의 설명은 태그-라벨로서 이미지와 함께 디스플레이될 수 있다. 예로서 제한 없이, 도 3은 이미지에 태그되는 4명의 사용자를 가진 디지털 사진을 도시한다. 여기서, 사용자들 "Paul Thomas", "Kyle Smith", "Aashish K." 및 "Ashley Brown"은 사진에 태그된다. 도 3에 도시된 이미지는 이미지에 태그되지 않은 다른 3명도 묘사한다. 각 태그에 대응하는 태그-라벨은 이 경우 이미지에 그려진 사용자의 위치인 각 태그의 위치에 대응하는 이미지상에 렌더링된다. 도 3에서, 태그-라벨의 설명은 사용자가 이미지에 태그되는 위치 아래(즉, 이미지에 그려진 사용자의 얼굴 아래)에 인접하여 디스플레이되는 태그된 사용자의 이름이다. 본 명세서가 특정한 방법으로 특정한 이미지를 태그하는 것을 서술하나, 본 명세서는 임의의 적절한 방법으로 임의의 적절한 이미지를 태그하는 것을 고려한다.

특정 실시예로, 태그는 소셜 그래프(200)의 특정 에지(206)에 대응할 수 있다. 소셜 그래프(200)의 특정 노드는 이미지에 대응하는 컨셉 노드(204)와 태그-타입(tagged-in-type) 에지(206)로 연결될 수 있다. 이 방식으로, 특정 태그는 온라인 소셜 네트워크와 관련된 특정 사용자 또는 컨셉에 대응할 수 있다. 이후, 태그와 관련된 태그-라벨은 그 태그에 대응하는 소셜-그래프 엔티티와 관련된 이름 또는 다른 설명자일 수 있다. 특정 실시예로, 태그는 이미지와 관련된 메타데이터의 타입으로 간주될 수 있다. 예로서 제한 없이, 이미지가 소셜 네트워킹 시스템(160)의 한 명 이상의 사용자를 포함하는 사진이라면, 그 사진은 사진에 그려진 한 명 이상의 사용자의 이름 또는 식별자를 표시하는 메타데이터로 "태그"될 수 있다. 또 다른 예로서 제한 없이, 이미지가 특정 위치 또는 시간에 찍은 사진이라면, 그 사진은 (특정 실시예로, 소셜 그래프(200)에서 컨셉 노드(204)에 대응할 수 있는) 위치를 포함하는 메타데이터 또는 날짜나 시간 정보로 또한 태그될 수 있다. 마찬가지로, 이미지가 빌딩, 로그나 브랜드 또는 소셜 그래프(200)의 컨셉 노드(204)와 관련된 임의의 다른 컨셉을 포함하는 사진이라면, 그 사진은 대응하는 컨셉 노드의 식별자를 포함하는 메타데이터로 태그될 수 있다. 특정 실시예로, 이미지와 관련된 메타데이터는 소셜 네트워킹 시스템(160)에 의해 자동 생성될 수 있다. 예로서 제한 없이, 소셜 네트워킹 시스템(160)은 이미지를 업로드한 사용자의 식별자를 포함하는 메타데이터로 이미지를 자동 태그할 수 있다. 또 다른 예로서 제한 없이, 소셜 네트워킹 시스템(160)은 업로드된 이미지에서 하나 이상의 얼굴을 자동 검출할 수 있다. 이는 예컨대 얼굴-인식 알고리즘을 사용하여 이루어질 수 있다. 업로드된 이미지에서 검출된 얼굴에 기반하여, 소셜 네트워킹 시스템(160)은 소셜 네트워킹 시스템(160)의 한 명 이상의 사용자가 이미지에 존재하는지를 자동으로 결정하고 (사용자의 각각의 개인정보 설정에 따라) 이미지에 존재하는 사용자들의 식별자뿐 아니라 이미지에 대응하는 컨셉 노드(204)와 식별된 사용자의 사용자 노드(202)를 연결하는 생성된 태그-타입 에지(206)를 포함하는 메타데이터로 이미지를 태그할 수 있다. 또 다른 예로서 제한 없이, 소셜 네트워킹 시스템(160)은 업로드된 이미지에서 위치, 빌딩, 로고나 브랜드 또는 소셜 그래프의 컨셉 노드와 관련된 임의의 다른 컨셉을 (예컨대, 컴퓨터 비전 알고리즘을 사용하여) 자동으로 검출할 수 있다. 소셜 네트워킹 시스템(160)은 자동으로 검출된 아이템에 대응하는 소셜 그래프의 컨셉 노드의 식별자를 포함하는 메타데이터로 이미지를 자동 태그할 수 있다.

얼굴 인식을 사용한 태그 제안

특정 실시예에서, 소셜 네트워킹 시스템(160)은 이미지를 위한 태그 제안을 생성하기 위해 얼굴 인식 프로세스를 사용할 수 있다. 소셜 네트워킹 시스템(160)은 이미지 내의 사람의 묘사와 같은 이미지 정보를 비교하고, 그 이미지 정보를 얼굴 특징의 세트와 비교하여 이미지에 묘사된 사람이 온라인 소셜 네트워크의 임의의 사용자의 얼굴 특징과 매치하는지 여부를 시도하고 예측할 수 있다. 이들 얼굴 특징은 예컨대 소셜 네트워킹 시스템(160)에 의해 온라인 소셜 네트워크의 특정 사용자에 대해 그들 사용자가 태그된 다른 이미지를 분석함으로써 생성된 얼굴 표현일 수 있다. 따라서, 일반적인 태그 제안 알고리즘은 n이 온라인 소셜 네트워크의 특정 사용자의 얼굴 특징이고, i가 이미지 정보일 때 f(n,i)의 형태일 수 있다. 하지만, 수천 또는 어쩌면 수백만의 사용자의 얼굴 특징을 정렬하는 것은 효율적이지 않고 엉망인 예측이 될 수 있다. 태그 제안 알고리즘은 예컨대 소셜 그래프 정보, 타이프어헤드 정보 또는 온라인 소셜 네트워크에서 사용가능한 다른 적절한 정보와 같은 추가적인 정보를 사용함으로써 향상될 수 있다. 다시 말해, 태그 제안 알고리즘은 s가 온라인 소셜 네트워크에서 사용가능한 추가적인 정보일 때 f(n,i,s) 함수로 수정될 수 있다. 특정 실시예에서, 추가적인 정보는 예컨대, 소셜 그래프 친밀성 정보, 태그 내역 정보 또는 사용자 입력(예컨대 타이프어헤드 필드에 사용자에 의해 입력된 문자열)을 포함할 수 있다. 시간 가치축소(time-decay) 인자 또한 태그 제안 알고리즘에서 사용되는 하나 이상의 인자에 적용될 수 있다. 예로서 제한 없이, 시간 가치축소는 태그 내역 정보와 관련하여 고려될 수 있는데, 보다 최근의 태그가 태그 제안 알고리즘에서 보다 가중치를 받을 수 있다. 그 후 예측은 태그 제안으로서 사용자에게 전송되고, 사용자는 특정 사용를 위하여 이미지를 태그하기 위하여 선택할 수 있다. 태그 제안은 태그 라벨 필드에 사용자가 문자를 입력함에 따라 표시될 수 있는데, 태그 제안은 사용자가 필드에 문자를 더 입력함에 따라 타이프어헤드 기능을 사용하여 실시간으로 개선될 수 있다. 본 명세서가 특정한 방법으로 태그 제안을 생성하는 것을 서술하지만, 본 명세서는 임의의 방법으로 태그 제안을 생성하는 것을 고려한다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크와 관련된 제1 사용자로부터 온라인 소셜 네트워크와 관련된 이미지를 열람하려는 요청을 수신할 수 있다. 요청은 예컨대 제1 사용자와 관련된 클라이언트 시스템(130)으로부터 수신될 수 있다. 이런 요청에 응답하여, 소셜 네트워킹 시스템(160)은 이미지에 접근할 수 있다. 이미지는 온라인 소셜 네트워크와 관련된 복수의 객체에 대응하는 하나 이상의 태그를 각각 포함할 수 있다. 각 객체는 예컨대 특정한 소셜-그래프 엔티티(예컨대, 소셜 그래프(200)의 사용자 노드(202) 또는 컨셉 노드(204))에 대응할 수 있다. 각 태그는 이미지 내 특정 위치(예컨대, 지점 또는 영역)와 관련될 수 있다. 예로서 제한 없이, 도 3을 참고하면, 이미지는 사진에 태그되는 4명의 사용자: "Paul Thomas", "Kyle Smith", "Aashish K.", "Ashley Brown"을 가진 사진을 도시한다. 이런 사용자들 각각에 대한 태그는 이 경우 각 사용자의 얼굴이 그려진 사진의 영역인 사진의 특정 위치에 대응한다. 그들의 이름을 가진 태그-라벨은 단지 그들의 얼굴 아래에 디스플레이된다. 특정 실시예로, 태그 중 하나는 제1 사용자(즉, 요청중인 사용자)에 대응할 수 있다. 예로서 제한 없이, 이미지가 요청중인 사용자를 나타내면(예컨대, 혹시 제1 사용자가 도 3에서의 "Ashley Brown"이라면), 요청중인 사용자가 묘사된 위치는 요청중인 사용자에 대응하는 식별 정보(예컨대, 사용자의 이름이나 식별자)로 태그될 수 있다. 비록 본 명세서는 특정 방식으로 이미지를 요청하고 이미지에 접근하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 이미지를 요청하고 이미지에 접근하는 것을 고려한다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크의 하나 이상의 사용자에 대한 소셜-그래프 친밀성을 결정할 수 있다. 소셜-그래프 친밀성은 임의의 적절한 방식으로 결정될 수 있다. 특정 사용자와 이미지의, 또는 제1 사용자와 제2 사용자의 소셜 문맥의 관련성은 소셜 그래프(200)로부터 수집된 정보에 기반하여 결정될 수 있다. 예로서 제한 없이, 사용자에게 디스플레이하기 위해 이용가능한 이미지는 (예컨대, 사용자가 다른 사람의 프로필을 열람하고 있을 때): 사용자와 관련되거나 사용자를 묘사하거나, (특정 이격도 내 사용자와 연결되는 사용자들, 특정 그룹이나 단체 내 사용자들, 태그된 객체에 대응하는 노드와 이미지에 접근하는 사용자에 대응하는 사용자 노드(202) 사이의 이격도, 사용자와 특정 관심사나 친밀성을 공유하는 사용자들, 사용자와 유사한 프로필이나 타겟 신상정보 프로필을 가진 사용자들, 또는 동일한 시간에 동일한 위치에 있는 것으로 식별되는 사용자들로 제한될 수 있는) 소셜 그래프에서 사용자와 연결된 다른 사용자들과 관련되거나 이를 묘사하거나, 사용자가 팔로잉하는 특정 사용자나 컨셉과 관련되거나 이를 묘사하거나, 사용자가 참여한 이벤트와 관련되거나 이를 묘사하거나, 소셜 그래프에서 사용자와 연결된 이들이 초대받거나 참여한 이벤트와 관련되거나 이를 묘사하거나, 사용자가 자주 가는 위치나 사업체와 관련되거나 이를 묘사하거나, 특정 사용자를 묘사하는 다른 이미지를 열람하거나, 동일한 앨범 또는 이미지의 세트의 다른 이미지에 묘사되거나, 특정 사용자와 관련된 프로필 페이지에 접근하거나, 특정 사용자와 관련된 태그(또는 다른 적절한 태그 내역 정보)를 선택 또는 생성하거나, 다른 적절한 소셜 문맥 또는 이들의 임의의 조합의 소셜 문맥(들)을 가진 이미지들을 포함할 수 있다. 소셜 네트워킹 시스템(160)은 상기 열거된 하나 이상의 인자들 또는 상술한 임의의 다른 관련된 인자들에 기반하여 소셜-그래프 친밀성을 결정할 수 있다. 나아가, 소셜 그래프 친밀성의 결정은 상술한 하나 이상의 인자에 시간 가치축소를 더 고려하여, 예컨대 보다 최근의 행위가 소셜 그래프 친밀성을 계산할 때 보다 관련 있을 수 있다. 예로서 제한 없이, 소셜 그래프에서 사용자와 연결되는 이미지에서 묘사된 사용자의 수는 소셜 그래프 친밀성에 영향을 줄 수 있다. 또 다른 예로서, 사용자와 이미지에 묘사된 사용자들 사이의 연결 타입은 소셜-그래프 친밀성에 영향을 줄 수 있다. 또한, 소셜 네트워킹 시스템(160)은 사용자의 관심사에 적어도 부분적으로 기반하여 사용자와 이미지의 소셜 문맥(들)의 관련성을 결정할 수 있다. 관심 값은 이미지의 소셜 문맥이 사용자의 관심사와 관련된 카테고리 또는 카테고리들과 일치하는지 여부에 적어도 부분적으로 기반할 수 있다. 관심 값은 예컨대 이미지에 묘사된 사람, 위치, 객체 또는 행위가 사용자의 관심사와 관련된 카테고리 또는 카테고리들과 일치하는지 여부에 적어도 부분적으로 기반할 수 있다. 비록 본 명세서는 특정 방식으로 특정 사용자에 대한 소셜-그래프 친밀성을 결정하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 사용자에 대한 소셜-그래프 친밀성을 결정하는 것을 고려한다.

도 4a는 소셜 그래프 정보를 사용한 얼굴 인식의 예시를 도시한다. 얼굴 인식은 얼굴 대표(facial-representation) 생성과 뒤따르는 복수의 얼굴 대표의 비교를 포함할 수 있다. 소셜 그래프 정보를 사용한 얼굴 인식은 다차원 컨텍스트를 채용한 관계 매핑 기능의 사용을 포함할 수 있다. 특정 실시예에서, 소셜 네트워킹 시스템(160)은 이미지에 묘사된 적어도 1명의 사람이 알려져있을 때(예컨대, 이미지에 묘사된 적어도 1명의 사람이 태그됐을 때) 이미지에 대한 태그 제안을 제공할 수 있다.

예로서 제한 없이, 기능은 이미지(400)에 의해 표시된, 적어도 1명이 알려진, 복수의 사람들의 이미지를 포함하는 이미지와 시작함으로써 이해되고 시각화될 수 있다. 도 4에 도시된 예시에서, 이미지에 묘사된 한 사람, 여기선 John으로 라벨링된 사람이 알려져있다(예컨대, 이미지는 온라인 소셜 네트워크의 사용자 "John"에 대응하는 태그를 포함한다). 이미지에 묘사된 제2 사용자, 여기서 Unknown으로 라벨링된 사람은 알려져있지 않다(예컨대, 이 사람에 대응하는 태그가 없다). 이 예시에서, 이미지(400)에 의해 표시되는 사진을 찍은 사람 또한 알려져 있고, 온라인 소셜 네트워크의 "Greg"으로 식별됐다.

특정 실시예에서, 이미지에 묘사된 알려지지 않은 사람을 식별하기 위하여, 반복적 관계 맵이 생성되는데, 그 중에서도 이미지(400)에 포함된 시각적으로 지각되는 정보 및, 또한 추가적으로 이미지에 나타났거나 다르게 연관되는 상술한 사람과 관련 있는 비-시각적으로 지각되는 정보에 기반하여 생성된다. 특정 실시예에서, 비-시각적으로 지각되는 정보는 이미지 데이터에 첨부되거나 연관되는 메타 데이터를 포함할 수 있다. 이미지 데이터는 일반적으로 JPEG 또는 PNG 포맷으로 이미지를 포함하나, 임의의 적절한 이미지 포맷 또한 사용될 수 있다. 메타 데이터는 XML 또는 소셜 네트워킹 시스템(160)에서 도출되는 다른 적절한 포맷의 데이터뿐만 아니라 XML, EXIF 태그와 같은 이미지에 종래에 첨부되는 데이터, 또는 다른 일반적인 이미지 문맥 데이터일 수 있다. 일반적으로, 현재 예시에서, John과 Peter는 온라인 소셜 네트워크에서 유일하게 알려져 있고, 각각은 소셜 그래프(200)의 특정 사용자 노드(202)에 대응될 수 있다. 이미지(400)에 의해 표시되는 이미지를 포함하는 사진을 찍은 사람은 Greg으로 식별된다(예컨대, 이미지(400)의 이미지 데이터에 첨부되는 XML 데이터에 의하여). Greg은 또한 소셜 그래프(200)의 특정 사용자 노드(202)에 대응할 수 있다.

특정 실시예에서, 관계 맵의 생성은 이미지 내의 알려진 사람(들), 이 경우 John의 관계에 대한 정보를 포함하는 이전에 존재하는 반복적 관계 맵, 여기서 다이어그램(402)으로 표현되는 선도(precursor) 관계 맵으로 일컫는 관계 맵에서 시작할 수 있다. 관계 맵의 생성은 이미지(400)로부터의 정보, 예컨대 알려지지 않은 개인과 John이 함께 이미지에 나타나는 것을 채용할 수 있다. 선도 관계 맵 또한 소셜 네트워킹 시스템(160)으로부터 수신한 개인간(inter-personal) 관계 데이터, 예컨대 소셜 그래프(200)뿐만 아니라 다른 이미지의 분석에 기반한 특정 실시예의 관계 매핑 기능의 작업의 이전 사례에서 도출된 개인간 관계 데이터에 기반한다.

특정 실시예에서, 소셜 그래프 친밀성은 태그 내역 정보에 기반할 수 있다. 태그 내역 정보는 예컨대 특정 이미지에서 사용자들이 함께 태그된 것, 어떤 이미지에 특정 사용자들이 태그됐는지, 어떤 사용자가 이들 태그를 생성했는지, 특정 이미지의 태그 수, 태그 위치, 다른 적절한 태그 관련 정보 또는 그들의 임의의 조합을 설명하는 정보를 포함할 수 있다. 소셜 그래프(200)의 부분에 기반하거나 표시하는 다이어그램(402)는 남성 사용자 "John"이 남성 사용자 "Mike"와 연결된 여성 사용자 "Sharon"과 연결된 것을 표시한다. John은 또한 남성 사용자 "Peter"과도 연결된다. 관계 맵에 채용된 기호는 친밀성 계수로서 측정될 수 있는 두 사용자 간의 관계의 강도(예컨대 두 사용자 간의 소셜 그래프 친밀성)를 포함하여 다양한 파라미터를 표시한다. 도 4a에 도시된 예시에서, 사용자들 간의 연결에 삽입된 숫자는 두 사용자 간의 화살표 방향으로 표시되는 다른 사용자에 대한 사용자의 계산된 친밀성 계수이다. 도시된 예시에서 친밀성 계수가 높을수록 관계가 강하다. 예로서 제한 없이, 다이어그램(402)의 예시에서, John과 Sharon의 관계(85) 및 Sharon과 Mike의 관계(100) 덕분에 John과 Mike 간의 친밀성 계수는 Sharon을 거친 간접적 연결임에도 불구하고 상대적으로 높은 것으로 기대된다. 이 강도는 예컨대 Sharon이 Mike와 함께 및 별개로 John과 함께 복수의 이미지에 나타나는 것으로 증거가 될 수 있다. 다시 말해, Mike와 John이 이전에 함께 사진에 태그된 적이 없음에도 불구하고, 그들이 그들의 공통된 친구 Sharon과 이전 사진에 태그됐었기 때문에, 그들은 각각에 대해 상대적으로 약한 친밀성 계수를 가질 수 있다. 다른 예로서 제한 없이, John과 Peter 간의 관계는 직접 관계임에도 불구하고 상대적으로 약하다(10). 예를 들어 John과 Peter가 단 하나의 이미지에 함께 나타날 수 있고 그 이미지는 많은 다른 사람을 포함할 수 있다. 다시 말해, John과 Peter가 이전에 단일 사진에 함께 태그됐기 때문에, 그들은 서로에 대해 상대적으로 약한 친밀성 계수를 가질 수 있다. 본 명세서가 특정한 태그 내역 정보에 기반하여 특정한 방법으로 소셜 그래프 친밀성을 결정하는 것을 서술하지만, 본 명세서는 임의의 적절한 태그 내역 정보에 기반하여 임의의 적절한 방법으로 소셜 그래프 친밀성을 결정하는 것을 고려한다.

특정 실시예에서, 온라인 소셜 네트워크의 사용자에 제1 세트는 이미지에 묘사된 알려지지 않은 사람에 매칭될 수 있는 후보 사용자로 선택될 수 있다. 소셜 네트워킹 시스템(160)은 그 후 이미지에 묘사된 알려지지 않은 사람에 대한 얼굴 인식 점수를 각 후보 사용자에 대해 결정한다. 얼굴 인식 점수는 본 명세서에서 논의되는 다양한 인자에 기반하여 계산될 수 있다. 각 사용자에 대한 얼굴 인식 점수는 사용자가 이미지에 묘사된 알려지지 않은 사람과 매칭되는 확률을 측정할 수 있다. 사용자는 다양한 인자, 예컨대 소셜 그래프 정보 또는 태그 내역 정보에 기반하여 선택될 수 있다. 특정 실시예에서, 후보자의 리스트는 선도 관계 맵(예컨대 소셜 그래프(200))에 나타나는 사람들의 관계를 분석함으로써 우선순위화될 수 있다. 실제로, 선도 관계 맵은 수백만의 사람을 포함할 수 있다. 이 방식으로, 선도 관계 맵에 나타나는 사람들의 우선순위화가 실행될 수 있다. 이 우선순위화는 예컨대 이미지의 알려지지 않은 사람의 성별과 다른 성별의 사람을 제거하는 이미지 속성 필터링을 포함할 수 있다. 예로서 제한 없이, 도 4a를 참조하면, 다이어그래(402)에서 나타나는 사용자는 Mike와 Sharon이다. 이미지 속성 필터링은 Sharon을 제거하기 위해 사용되는데, 이미지 속성 인식이 이미지(400) 내의 알려지지 않은 사람은 남성이라고 가리키기 때문이다. 우선순위화 또한 사용자간 이격도에 기반할 수 있다. 소셜 그래프(200)의 다른 관련 노드의 임계 이격도 내의 사용자 노드(202)에 대응하는 사용자가 선택될 수 있다. 예로서 제한 없이, 이미지를 생성한 사용자, 또는 이미지에 태그된 하나 이상의 사용자에 대한 1도 또는 2도 연결이 선택될 수 있다. 유사하게, 이미지에 대응하는 컨셉 노드(204)의 임계 이격도 내의 사용자 노드(202)에 대응하는 사용자가 선택될 수 있다. 특정 실시예에서, 이미지 내의 알려진 사람과 적어도 기결정된 관계를 가지는 사용자가 선택될 수 있다. 예로서 제한 없이, 도 4a를 참조하면, 사용자 John이 이미 이미지(400)에 태그되었기 때문에, John과 기결정된 관계를 가지는 사용자가 선택되어 그들이 이미지(400)에 묘사된 알려지지 않은 사람과 매치하는지 여부를 보기 위해 분석될 수 있다. 특정 실시예에서, 소셜 네트워킹 시스템(160)은 이미지 내의 태그된 사용자와 일시적인 관계를 가지는 후보 사용자의 리스트를 이미지에 포함된 시각적으로 지각할 수 있는 정보뿐만 아니라 비-시각적으로 지각할 수 있는 정보에 기반하여 생성할 수 있다. 그러한 정보는 예컨대 소셜 그래프 정보, 태그 내역 정보, 이미지 메타 데이터, 이미지에 태그된 온라인 소셜 네트워크의 사용자, 이미지가 생성된 시간 및 지리적 위치(예컨대 디지털 사진이 찍힌 곳의 GPS 좌표), 이미지가 연관된 온라인 소셜 네트워크의 앨범, 이미지를 생성한 온라인 소셜 네트워크의 사용자, 이미지 내에 특정 태그를 생성한 사용자, 이미지 내의 각 태그의 생성으로부터의 시간, 기타 적절한 정보 또는 그들의 임의의 조합을 포함할 수 있다. 예로서 제한 없이, 소셜 네트워킹 시스템(160)은 이미지가 분석됨에 따라 같은 앨범의 다른 이미지에 나타나는(예컨대 태그된) 하나 이상의 사용자, 또는 동일한 시간에 동일한 지리적 위치에서 찍힌 다른 앨범에 나타난 사용자를 식별할 수 있다. 이들 사용자는 일반적으로 후보 사용자 의 최초 리스트에 있을 것이다. 본 명세서가 특정한 방법으로 얼굴 인식 분석을 위해 특정 사용자를 선택하는 것을 서술하지만, 본 명세서는 임의의 적절한 방법으로 얼굴 인식 분석을 위해 임의의 적절한 사용자를 선택하는 것을 고려한다.

특정 실시예에서, 소셜 네트워킹 시스템(160)은 하나 이상의 후보 사용자의 소셜 그래프 친밀성에 적어도 부분적으로 기반하여 얼굴 인식 점수를 계산할 수 있다. 그러므로, 우선순위화는 알리진 사람(예컨대, 사진에 태그된 사람 또는 사진을 생성한 사람)과 선도 관계 맵의 다양한 다른 사용자(예컨대 소셜 그래프(200)에서 그 사용자와 연결된 다른 사용자)간의 관계의 강도(예컨대, 소셜 그래프 친밀성 또는 계산된 친밀성 계수)에 의존할 수 있다. 우선순위화는 알려진 사람과 가장 간한 관계(예컨대 가장 강한 소셜 그래프 친밀성)을 가지는 사용자에게 보다 높은 우선순위(예컨대 보다 높은 얼굴 인식 점수)를 줄 수 있다. 예로서 제한 없이, 도 4a를 참조하면, Mike는 알려진 사용자 John에 대하여 보다 높은 친밀성 계수를 가지기 때문에 Peter보다 위에 우선순위화될 수 있다. 우선순위화는 가장 높은 우선순위를 가지는(예컨대 최고의 얼굴 인식 점수를 가지는) 사람의 이미지에 처음으로 얼굴 인식을 수행함으로써 작업 중에 식이 주어진다. 그러므로, 후보자의 풀이 수백만의 사람을 포함할 때, 우선순위화는 매우 중요하다. 특정 실시예에서, 그 태그 내역 정보는 분리되어 또는 결정된 소셜 그래프 친밀성의 일부로서 고려될 수 있다. 다시 말해, 얼굴 인식 점수를 계산할 때, 태그 내역 정보는 독립적인 신호로서, 또는 계산된 소셜 그래프 친밀성의 일부로서 고려될 수 있다. 본 명세서가 특정한 방법으로 얼굴 인식 점수를 계산하는 것을 서술하지만, 본 명세서는 임의의 적절한 방법으로 얼굴 인식 점수를 계산하는 것을 고려한다.

특정 실시예에서, 소셜 네트워킹 시스템(160)은 이미지 내의 사람의 묘사와 비교하여 온라인 소셜 네트워크의 사용자와 연관된 얼굴 대표에 적어도 부분적으로 기반하여 얼굴 인식 점수를 계산할 수 있다. 사용자와 연관된 얼굴 대표는 이미지와 비교될 수 있다(예컨대 이미지에 묘사된 사람의 얼굴과 비교한다). 완전히 종래의 것일 수 있는, 얼굴 대표 생성은 이미지 내의 알려지지 않은 사람에 수행될 수 있다. 얼굴 대표 결과는 이전에 생성된 후보 사용자의 얼굴 대표(소셜 네트워킹 시스템(160)에, 예컨대 각 후보 사용자와 연관된 각 사용자 프로필 정보와 연관되어 저장될 수 있다)와 상술한 우선순위화에 의해 세워진 순서에 따라 비교될 수 있다. 비교 결과는 두 상이한 얼굴 대표 간의 유사성을 묘사하는 척도일 수 있다. 비교는 중단될 수 있고 후보자는 결합된 우선순위/유사성 임계치가 주어진 후보자에 도달했을 때 선택될 수 있다. 우선순위/유사성 임계치는 후보 사용자의 얼굴 대표의 이미지에 묘사된 알려지지 않은 사람의 얼굴 대표와의 유사성을 고려할 수 있다. 후보 사용자의 우선순위는 상술한 우선순위화 및 후보 사용자의 얼굴 대표의 질을 표시하는 척도에 의해 세워진다. 이 척도는 다양한 인자, 예컨대 소셜 네트워킹 시스템(160)에 의해 분석된 후보 사용자의 이미지의 수 및 이전 사용자 피드백의 함수일 수 있다. 품질 척도 Qi의 예시는 다음 식으로 주어진다:

,

n은 얼굴 대표에 포함된 이미지 수이고, fp는 지금까지 사용자 피드백에 의해 표시된 거짓 긍정의 비율이고, tp는 지금까지 사용자 피드백에 의해 표시된 참 긍정의 비율이고, fn은 지금까지 사용자 피드백에 의해 표시된 거짓 부정의 비율이고, q는 얼굴 대표를 이루는 이미지를 표시하는 벡터의 변화의 가중치이다. 이미지에 묘사된 알려지지 않은 사람과 선택된 후보 사용자 간의 매치는 그 후 도 4a의 다이어그램(404)에 도시된 것과 같은 최초 수정된 간계 맵을 제공하기 위해 채용될 수 있다. 도 4a에 도시된 예시에서, 알려지지 않은 사람은 시험적으로 Mike로 인식되고 Mike와 John의 관계는 최초로 상대적으로 약한 관계로 표시된다(예컨대, 계산된 친밀성 계수가 낮다). Mike는 그 후 이미지를 열람하거나 게시하는 사용자에게 태그 제안으로서 전송될 수 있다. Greg 또한 Greg이 디지털 이미지(400)을 찍은 것에 기반하여 다이어그램(404)에 John과 약한 일방적 관계를 가지는 것으로 나타나는 것을 주의해야 한다. 만약 Mike인 것으로 보이는 사람의 이미지가 정말 Mike라고 확인하는 임의의 긍정적인 사용자 피드백이 소셜 네트워크를 통해 수신되면(예커댄, 사용자가 이미지에 Mike를 태그), 이 피드백은 이어지는 수정된 관계 맵(도시되지 않음)에 표현되는 바와 같이 Mike와 John 사이의 관계를 강하게 하는데 및 Mike의 얼굴 대표의 질을 가리키는 척도를 강하게 하는데 사용될 수 있다. 반대로, Mike인 것으로 보이는 사람의 이미지가 Mike가 아니라고 표시하는 부정적인 피드백의 수신(예컨대, 사용자가 이미지에 다른 사람을 태그)은 이어지는 수정된 관계 맵에 표현되는 바와 같이 Mike와 John 사이의 관계를 약하게 하는데 및 Mike의 얼굴 대표의 질을 가리퀴는 척도를 약하게 하는데 사용될 수 있다. 나아가 이것은 미래의 얼굴 대표 비교의 부정적인 예시로 쓰일 수 있다. 본 명세서가 특정 방법으로 이미지의 얼굴 인식을 수행하는 것을 서술하지만, 본 명세서는 임의의 적절한 방법으로 이미지의 얼굴 인식을 수행하는 것을 고려한다.

전술한 선도 관계 맵 또한 종래의 얼굴 대표 기술에 의해 생성된 얼굴 대표를 포함할 수 있다. 얼굴 대표는 벡터 형식일 수 있고, 맵의 각 사람을 식별한다. 얼굴 인식과 관련하여, 특정 실시예는 각각 참조로서 통합된 1992년 11월 17일에 발행된 미국특허 제5164992호, 2001년 9월 18일 발행된 미국특허 제6292575호 및 2011년 3월 31일 제출된 PCT 출원 제PCT/IL2011/000287호에 개시된 하나 이상의 시스템, 컴포넌트, 요소, 함수, 방법, 작업 또는 단계를 사용할 수 있다. 선도 관계 맵은 또한 맵의 각 사람이 남성 또는 여성인지 여부의 표시(도 4a 및 4b에 도시된 예시에서, 문자 M 및 F로 표시됨)를 포함할 수 있다. 이 표시는 다양한 소스, 예컨대 소셜 네트워킹 시스템(160)에 의해 제공되는 소셜 그래프 정보 또는 이미지 속성 인식 작업에 의해 제공될 수 있다. 예로서 제한 없이, 이미지 속성 분석은 알려지지 않은 개인이 남성 또는 여성인지 여부를 결정하기 위하여 이미지(400)에 적용될 수 있다. 추가적인 속성이 이미지 속성 인식에 의해 생성될 수 있고 선도 관계 맵 내에 포함될 수 있다. 이들은 안색(complexion), 눈색 및 머리색을 포함할 수 있다. 종래의 이미지 속성 인식은 성별 결정에서 90% 이상의 정확도를 가지는 것으로 알려져 있다. 이미지 속성 인식과 관련하여, 특정 실시예는 참조로서 통합된 2006년 1월 24일에 발행된 미국특허 제6990217호에 개시된 하나 이상의 시스템, 컴포넌트, 요소, 함수, 방법, 작업 또는 단계를 사용할 수 있다. 선도 관계 맵 및 후속 관계 맵은 또한 시각적 배경 분석으로부터의 정보를 포함할 수 있다. 특정 실시예에서, 얼굴 인식 점수는 적어도 부분적으로 추가적인 신호, 예컨대 기기 정보(예컨대, 어떤 기기에서 이미지가 생성됐는가, 다른 기기가 다른 사람을 촬영하기 위해 사용될 수 있는가), 또는 시간 및 위치 정보(사용자와 이미지 사진 양자)에 기반할 수 있다. 시간 및 위치 정보와 관련하여, 특정 실시예는 각각이 참조로서 통합된 미국특허출원 제12/763171호 및 미국특허출원 제13/042357호에 개시된 하나 이상의 시스템, 컴포넌트, 요소, 함수, 방법, 작업 또는 단계를 사용할 수 있다.

도 4b는 소셜 그래프 정보를 사용한 얼굴 인식의 다른 예시를 도시한다. 특정 실시예에서, 소셜 네트워킹 시스템(160)은 이미지에 묘사된 알려진 사람이 없을 때 이미지를 위한 태그 제안을 제공한다. 다시 말해, 소셜 네트워킹 시스템(160)은 이미지에 태그된 사람이 없을 때에도 이미지에 묘사된 알려지지 않은 사람을 식별하기 위해 시도한다. 예로서 제한 없이, 기능은 복수의 사람의 이미지를 포함하는 이미지(450)에 의해 표현되는 이미지에서 시작함으로써 이해되고 시각화될 수 있다. 이미지(450)에 의해 예시되는 본 예시에서, Unknown 1, Unknown 2 및 Unknown 3으로 라벨링된 3명의 사람이 여기 나타난다. 모두 알려져 있지 않다(예컨대 모두 태그되어 있지 않다). 이 예시에서, 소셜 네트워크 사이트에 이미지(450)로 표시된는 사진을 업로드한 사용자는 John으로 알려져 있다. 특정 실시예에서, 소셜 네트워킹 시스템(160)은 관계 매핑(상술한 바와 같이)을 채용하여 이미지 내의 하나 이상의 알려지지 않은 사람을 식별할 수 있다. 관계 맵의 생성은 이전에 존재한 반복적 관계 맵, 예컨대 다이어그램(404)와 동일한 다이어그램(452)로 표시되는 선도 관계 맵에서 시작할 수 있다. 이 선도 관계 맵은 이전에 분석된 이미지 내의 알려진 사람(들), 이 경우 John, Peter, Greg 및 Sharon의 관계에 대한 정보를 포함한다. 이 정보는 하나 이상의 온라인 소셜 네트워크로부터 수신한 개인간 관계 데이터(예컨대 소셜 그래프(200))뿐만 아니라 다른 이미지의 분석에 기반한 본 발명의 관계 매핑 기능의 작업의 이전 사례에서 도출된 개인간 관계 데이터에 기반할 수 있다.

다이어그램(452)는 남성 John이 남성 Mike와 강산 소셜 관계를 가지는 여성 Sharon과 강한 소셜 관계(예컨대 높은 친밀성 계수)를 가지는 것으로 알려져 있다는 것을 표시한다. John은 또한 남성 Peter, Greg 및 Mike와 약한 소셜 관계(예컨대 낮은 친밀성 계수)를 가지는 것으로 표시된다. 특정 실시예에서, 이미지(450)로 표시되는 사진을 업로드한 알려진 사용자 John과 적어도 기결정된 관계를 가지는 후보 사용자가 검색된다. 이것은 선도 관계 맵(452)에 나타나는 사용자, 또는 이들 사용자와 소셜 그래프(200)에서 연결된 사용자에서 시작함으로써 수행될 수 있다. 상술한 바와 같이, 소셜 네트워킹 시스템(160)은 그 후 아미지에 묘사된 알려지지 않은 사람을 위한 하나 이상의 태그 제안을 생성하기 위해 선도 관계 맵에 나타나는 선택된 사용자를 우선순위화한다. 이 예시에서, 우선순위화는 알려진 사용자 John과 다른 사용자간의 관계 맵(452) 내의 관계의 강도에 기반하고 알려진 사용자 John과 가장 강한 관계(예컨대 가장 높은 친밀성 계수)를 가지는 사용자에 보다 높은 우선순위를 줄 수 있다. 따라서 본 예시에서, John은 모두의 위에 우선순위화되는데, 그 자신과 가장 강한 관계를 가지기 때문이다. 다시 말해, John이 그 자신을 묘사하는 사진을 게시했을 가능성이 높다. Mike는 다음으로 높은 우선순위를 가지고, Sharon은 그녀의 성별에 기반하여 소셜 네트워킹 시스템(160)에 의해 제거될 수 있다. Mike 다음으로, Peter가 Greg보다 높은 우선순위를 가지는데, 그들의 관계 화살표에 같은 점수가 주어졌음에도 불구하고, John과 Greg의 관계는 단방향으로 알려졌기 때문이다.

특정 실시예에서, 우선순위화는 확실성 척도, 예컨대 전술한 바와 같은 얼굴 인식 점수에 기반할 수 있다. 예로서 제한 없이, 도 4b에 도시된 예시에서, John이 이미지(450) 내의 알려지지 않은 사람 중 하나일 가능성은 초기에는 특별히 높지 않을 수 있다. 이런 관점에서, 우선순위화 중단이 구현되어, John과 상대적으로 약한 관계를 가지는 Peter와 Greg이 후보자로 고려되지 않을 수 있다(그리고 이어서 태그 제안으로서 생성되지 않을 수 있다). 상술한 바와 같이, 우선순위화는 가장 높은 우선순위를 가지는 사람에 대해, John부터 시작하여 얼굴 인식을 처음에 수행함으로써 특정 실시예의 작업에서 식으로 주어질 수 있다. 다시 말해, 소셜 그래프 친밀성은 어떤 사용자에 이어서 얼굴 인식 분석을 수행할 것인지 결정하기 위한 임계치 인자로서 사용될 수 있다. 대안적으로, 소셜 그래프 친밀성은 얼굴 인식 점수를 계산할 때 얼굴 인식 분석의 측정과 함께 독립적인 신호로 사용될 수 있다. 얼굴 대표 생성은 이미지(450)의 알려지지 않은 사람에 대해 수행될 수 있다. 얼굴 대표 결과는 그 후 이전에 생성된 후보 사용자의 얼굴 대표와 상술한 우선순위화에 의해 세워진 순서에 따라 비교될 수 있다. 예로서 제한 없이, 얼굴 대표 생서은 이미지(450) 내의 알려지지 않은 세 이미지에 수행될 수 있다. 그 후 이미지(450)에 묘사된 알려지지 않은 3명의 얼굴 대표의 비교가 위에서 생성된 우선순위화된 리스트에 따라 수행될 수 있다. 각각에 대한 우선순위/유사성 임계치가 평가되고, 따라서 Unknown 1이 John으로 인식될 수 있고, Unknown 2와 Unknown 3은 아직 인식되지 않을 수 있다. Unknown 1을 John으로 인식하는데 뒤따라, 이미지의 남은 알려지지 않은 사람들을 인식하기 위해, 추가적인 우선순위화 반복이 소셜 네트워킹 시스템(160)에 의해 수행될 수 있다. 이 추가적인 우선순위화 반복에서, Unknown 1을 John으로 식별한 것은 John과 관계를 가지는 것(예컨대 소셜 그래프(200)에서 John과 연결된)으로 알려진 사용자들의 얼굴 인식 점수를 높이고, 그러므로 Peter가 후보자로 고려될 수 있다. Greg은 John과의 관계가 단방향이기 때문에 여전히 후보자로 고려되지 않을 수 있다. Mike는 Mike와 생성된 알려지지 않은 얼굴 대표의 이전 비교가 낮은 유사성 척도를 생성했기 때문 다시 고려되지 않을 수 있다. 새로운 우선순위 리스트는 이미지(450)에 이제 태그된 John과의 관계에 기반하여, Peter를 포함할 수 있다. 이미지(450)의 남은 알려지지 않은 사람의 얼굴 대표는 이전에 생성된 후보 사용자의 얼굴 대표와 수정된 우선순위화에 의해 세워진 순서에 따라 비교될 수 있다. 예로서 제한 없이, Unknown 2는 Peter로 인식되고, Unknown 3은 아직 인식되지 않을 수 있다. Unknown 2를 Peter로 인식하는데 뒤따라, 이미지의 마지막 알려지지 않은 사람을 인식하기 위하여, 추가적인 우선순위화 반복이 수행될 수 있다. 이 추가적인 우선순위화 반복에서, Unkwnon 2를 Peter로 식별한 것은 후보자 리스트의 생성의 두 시작점, 이미지(450)에 이제 태그된 John과 Peter 양자가 있음을 가리킬 수 있다. 두 후보자 리스트 서브셋은 그러므로 제공되고 가중치된 그래프 결합 기술을 사용하여 단일 우선순위화된 리스트를 생성하는데 사용될 수 있다. 이 단계에서 추가적인 관계 맵이 다이어그램(454)에 도시된 바와 같이 생성될 수 있다. 이 관계 맵에서, John과 Peter간의 표시된 관계가 강해졌다. Unknown 3, John과 Peter 사이의 관계 또한 이미지(450)에 기반하여 표시된다. Unknwon 3은 미래에 Unknwon 3의 얼굴 대표를 이어서 John과 또는 관계 맵(454)에 나타나는 다른 사용자와 관계를 가지는 것으로 표시되는 사람의 얼굴 대표와 비교함으로써 인식될 수 있다.

도 5는 소셜 그래프 정보를 사용하여 얼굴 인식을 수행하기 위한 시스템의 예시를 도시한다. 이 시스템은 소셜 네트워킹 시스템(160)의 서브 시스템 또는 독립적일 수 있다. 특정 실시예에서, 시스템은 하나 이상의 공공이 사용가능한 소셜 네트워크 API(application program interfaces)(500), 예컨대 FACEBOOK, MYSPACE, GOOGLE, FLICKR, TWITTER 또는 다른 적절한 시스템이 제공하는 API를 사용할 수 있다. 시스템은 상호작용적으로 API(500)과 예컨대, 애플리케이션에 내장되거나 로컬 앨범 인덱서(504)와 같은 단독 애플리케이션일 수 있는 위젯(502)를 통하여 통신할 수 있다. 시스템은 API(500)으로부터 스패머(spammer)에 의해 사용되는 것과 같은 크롤러(crawlers)(506), 예컨대 이미지 크롤러, 비디오 크롤러 도는 관계 크롤러를 통해 자동적으로 업데이트를 수신할 수 있다. 요소들(502, 504, 506)은 사용자 인터페이스 기능을 포함할 수 있다. 특정 실시예에서, 시스템은 API(500)를 포함하지 않고, 시스템은 대신 소셜 네트워킹 시스템(160)에 직접 접근, 예컨대 소셜 네트워킹 시스템(160) 내의 서브 시스템이 될 수 있다. 사용자 인터페이스 기능은 인식된 사람이 정말 지정된 사람인지 여부에 관한 긍정 또는 부정 피드백을 제공하기 위해 사용될 수 있다. 다시 말해, 사용자 인터페이스 기능은 특정 태그 제안이 맞는지 여부를 표시하는 피드백을 제공하기 위해 또는 사용자가 복수의 제안 중 한 제안을 선택할 수 있도록 하기 위해 사용될 수 있다. 이 피드백은 관계 매핑 조직 기능(510)에 통신되고 얼굴 대표, 결정된 소셜 그래프 친밀성 또는 결정된 얼굴 인식 점수를 강하게 또는 약하게 하는데 사용될 수 있다. 추가적인 사용자 인터페이스 기능은 생성된 관계 맵 또는 소셜 그래프(200)을 검색하도록 작동하는 검색 기능을 포함할 수 있다. 검색어는 예컨대 하나 이상의 문자를 포함하는 간단한 문자열, 유일하게 식별된 사람(예컨대 사용자 식별자), 사람의 추가적인 이미지, 다양한 사람간의 관계, 성별 또는 얼굴 대표 유사성과 같은 다른 시스템 생성 속성, 다른 적절한 검색어 또는 그들의 임의의 조합을 포함할 수 있다. 검색 기능은 사용자 인터페이스를 통하여 직접 또는 관계 매퍼(mapper)(522) 정보를 온라인 소셜 네트워크에 노출함으로써 간접적으로 제공될 수 있다. 특정 실시예에서, 단독 애플리케이션은 최종 사용자(end-user) 장치에서 실행되고 이미지 속성 분석, 얼굴 대표 생성 또는 얼굴 대표 비교의 일부 또는 전부를 수행하는 것을 포함할 수 있다. 로컬 앨범 인덱서(504)는 이미지 속성 분석, 얼굴 대표 생성 또는 앨굴 대표 비교 작업을 수행하고, 관계 매핑 조직 기능(510)과 통신하여 단일 개인의 복수의 이미지로부터 통합된 얼굴 대표를 생성할 수 있다. 특정 실시예에서, 관계 매핑 조직 기능은 API(500)로부터의 API에서 비롯된 정보 및 위젯(502), 로컬 앨범 인덱서(504) 또는 크롤러(506)와 같은 통신자를 통해 수신한 사용자 입력에 응답할 수 있고 시스템의 다양한 요소의 작업을 조직화할 수 있다. 특정 실시예에서, 시스템은 관계 맵 데이터베이스(524)와 인터페이스할 수 있는 관계 매퍼(522)와 인터페이스할 수 있는 기대 엔진(520)을 포함할 수 있다. 이들 요소는 얼굴 인식 기능(526) 및 속성 분석 기능(528)으로부터 이미지 분석 엔진(530)을 통해 기능(510)에 의해 획득한 정보를 사용할 수 있다. 비디오 분석 엔진(532)은 비디오 컨텐츠의 프레임의 시간 순서에 기반하여 정보를 제공하는 프레임간(interframe) 분석 기능(534)과 프레임내(intraframe) 분석 엔진(536)과 협력할 수 있다. 특정 실시예에서, 관계 매퍼(522) 기능은 소셜 그래프(200)(예컨대 관계 맵)에 대한 접근 및 소셜 그래프 정보, 예컨대 온라인 소셜 네트워크의 다양한 사용자들간의 관계의 강도에 관한 정보(예컨대, 소셜 네트워킹 시스템(160)에 의해 결정된 친밀성 계수의 데이터 스토어)에 대한 접근의 제공을 포함할 수 있다. 소셜 그래프(200)는 메모리에 적어도 부분적으로 저장될 수 있고 관계 데이터베이스(524)를 통해 지속적으로 사용가능할 수 있다. 본 명세서와 도 5가 특정 방법으로 얼굴 인식을 수행하기 위한 특정한 시스템을 서술하고 도시하지만, 본 명세서는 임의의 적절한 방법으로 얼굴 인식을 수행하기 위한 임의의 적절한 시스템을 고려한다.

특정 실시예에서, 소셜 네트워킹 시스템(160)은 이미지에 묘사된 알려지지 않은 사람에 대해 사용자의 제1 세트 내의 각 사용자에 대해 결정된 얼굴 인식 점수에 기반하여 하나 이상의 태그 제안을 제안할 수 있다. 각 태그 제안은 사용자의 제1 세트의 특정 사용자에 대응할 수 있다. 예로서 제한 없이, 기대 엔진(520)은 이미지, 그 연관된 데이터 및 소셜 네트워크 데이터에 나타나는 것으로 기대되는 사람들을 열거하는 후보자의 우선순위화된 리스트를 생성할 수 있다. 기대 엔진(520)은 소셜 그래프(200)에 접근하여 후보 사용자의 제1 세트를 식별할 수 있다. 다시 말해, 기대 엔진(520)은 이미지에 묘사된 알려지지 않은 사람에 대해 이전에 결정된 후보 사용자에 대한 얼굴 인식 점수에 기반하여 하나 이상의 태그 제안을 생성할 수 있다. 기대 엔진은 이미지에 포함된 시각적으로 지각되는 정보, 일반적으로 메타 데이터로서 사용가능한 비-시각적으로 지각되는 정보, 타이프어헤드 입력, 소셜 그래프 정보, 태그 내역 정보, 다른 적절한 정보 또는 그들의 임의의 조합에 기반한 알려진 사람과 시간적 연관을 가지는 후보 사용자의 리스트를 위하여 소셜 그래프(200)에 직접 또는 온라인 소셜 네트워크 API(500)을 통하여 접근할 수 있다. 이어서, 기대 엔진(520)은 관계 매퍼(522)와 인터페이스하여 및 이미지 분석 엔진(530)으로부터 제공된 이미지 속성 필터링을 사용함으로써 이미지에 나타나는 것으로 기대되는 후보자의 우선순위화를 수행할 수 있다. 우선순위화는 알려진 사람과 다른 사람간의 관계 맵에서의 관계의 강도에 의존하고 알려진 사람과 가장 강한 관계(예컨대, 가장 높은 소셜 그래프 친밀성/친밀성 계수)를 가지는 사람에게 보다 높은 우선순위를 줄 수 있다. 예를 들어, 우선순위화는 각 후보 사용자에 대해 결정된 소셜 그래프 친밀성 및 각 후보 사용자와 연관된 얼굴 대표에 부분적으로 기반하여 결정된 얼굴 인식 점수에 의존할 수 있다. 기대 엔진(520)은 관계 매퍼(522)에 의해 제공된 바와 같은 이미지 내의 알려진 사용자와 연관된 가중치된 그래프를 가중치된 그래프 결합 알고리즘을 사용하여 결합할 수 있다. 특정 실시예에서, 소셜 네트워킹 시스템(160)은 임계 얼굴 인식 점수보다 높은 얼굴 인식 점수를 가지는 사용자에 대해서만 태그 제안을 생성할 수 있다. 임계 점수보다 높은 얼굴 인식 점수를 가지는 사용자는 그 후 소셜 네트워킹 시스템(160)에 의해 인식되고 태그 제안으로서 생성될 수 있다. 본 명세서가 특정 방법으로 특정한 태그 제안을 생성하는 것을 서술하지만, 본 명세서는 임의의 적절한 방법으로 임의의 적절한 태그 제안을 생성하는 것을 고려한다.

도 6a 내지 6e는 태그 제안을 가지는 사진의 예시를 도시한다. 예로서 제한 없이, 도 6a를 참조하면, 사용자가 이미지에 접근할 때, 사용자는 이미지의 위치를 선택함으로써 이미지를 태그할 수 있다. 도 6a에 도시된 예시에서, 사용자는 이미지의 오른쪽에 묘사된 사람의 얼굴을 선택했다. 이제 도 6b를 참조하면, 사용자가 "누구인가요"라고 묻는 태그 라벨 필드를 선택할 때, 소셜 네트워킹 시스템(160)은 태그 라벨 필드 밑에 드롭 다운 메뉴에 태그 제안의 리스트를 생성함으로써 응답한다. 이들 태그 제안은 전술한 바와 같이 생성될 수 있다. 특정 실시예에서, 소셜 네트워킹 시스템(160)은 사용자에 의해 제공된 문자열에 부분적으로 기반하여 얼굴 인식 점수를 결정할 수 있다. 얼굴 인식 점수의 계산은 사용자 입력과 타이프어헤드 기능을 사용함으로써 향상될 수 있는데, 사용자가 태그 라벨 필드에 입력한 문자열은 문자열을 그 이름과 매칭시킴으로써 후보 사용자를 식별하는데 사용될 수 있다(유사하게, 후보 사용자는 문자열에 기반하여 그 이름이 매치되지 않는다면 필터링될 수 있다). 매칭된 사용자는 그 후 이미지를 열람하는 사용자에게 태그 제안으로 전송될 수 있는데, 사용자는 특정 사용자에 대해 이미지를 태그하기 위해 선택할 수 있다. 태그 제안은 태그 라벨 빌드에 사용자가 입력한 문자열로서 표시될 수 있고, 태그 제안은 사용자가 필드에 문자를 더 입력함에 따라 타이프어헤드 기능을 사용하여 실시간으로 수정될 수 있다. 특정 실시예에서, 소셜 네트워킹 시스템(160)은 클라이언트 시스템(130)의 제1 사용자가 이미지와 연관된 웹페이지의 그래픽 사용자 인터페이스에 문자열을 입력한대로 문자열의 하나 이상의 문자를 수신할 수 있다. 이후, 소셜 네트워킹 시스템은 문자열과 실질적으로 매칭되는 하나 이상의 노드를 소셜 그래프(200)에서 검색할 수 있다. 식별된 매칭된 노드에 기반하여, 소셜 네트워킹 시스템(160)은 클라이언트 시스템(130)에 디스플레이하기 위해 하나 이상의 태그 제안을 클라이언트 시스템(130)에 전송할 수 있다. 태그 제안은 사용자가 그래픽 사용자 인터페이스에 문자열을 입력함에 따라 제1 사용자에게 디스플레이될 수 있다. 태그 제안의 디스플레이는 제1 사용자가 그래픽 사용자 인터페이스에 자동 입력을 위하여 태그 제안 중 하나를 선택할 수 있게 한다. 예로서, 도 6c를 참조하면, 사용자가 문자 "ka"를 태그 라벨 필드에 입력할 때, 소셜 네트워킹 시스템(160)은 소셜 그래프(200)를 검색하여 문자열 "ka"와 실질적으로 매칭되는 이름을 가진 사용자를 식별할 수 있다. 문자 인식 비교 및 소셜 그래프 친밀성과 관련하여, 소셜 네트워킹 시스템(160)은 "ka"와 매칭하는 이름을 가지는 사용자에 대해 새로운 얼굴 인식 점수를 계산하고 그 후 그들 사용자를 순위매겨 태그 라벨 필드 밑의 드롭 다운 메뉴에 표시할 수 있다. 여기서, 사용자 "Kathy Chai", "Kathryn Downey", "Katie Smith" 및 다른 사람들이 이제 태그 제안으로서 생성된다. 도 6d를 참조하면, 사용자가 계속 문자, 여기선 "kath"를 입력함에 따라, 태그 제안은 다시 개선되고, 이제 사용자 "Katie Smith"가 팔터링되고 사용자 "Katherine Chao" 및 "Katherine Smith"가 태그 제안에 추가됐다. 특정 실시예에서, 소셜 네트워킹 시스템(160)은 태그 제안 중 하나의 선택을 제1 사용자로부터 수신할 수 있다. 이에 응답하여, 소셜 네트워킹 시스템(160)은 선택되ㄴ 태그 제안에 대응하는 특정한 사용자에 대응하는 태그를 생성할 수 있다. 예로서 제한 없이, 도 6d를 참조하면, 만약 사용자가 예컨대 "Kathy Chai"를 선택하면, 소셜 네트워킹 시스템(160)은 이미지의 그 위치에 사용자 "Kathy Chai"와 연관된 태그를 생성함으로써 응답할 수 있다. 나아가, 소셜 네트워킹 시스템(160)은 그 후 Kathy Chai에 대한 사용자 노드(202)와 이미지에 대한 컨셉 노드(204)를 연결하는 태그됨-타입 에지(206)를 생성할 수 있다. 특정 실시예에서, 사용자가 이미지 내의 특정 위치를 선택하여 태그할 때, 이미지의 선택된 부분은 이미지의 선택되지 않은 부분을 흐리게 함(obscuring)으로써 강조될 수 있다. 이미지의 선택되지 않은 부분은 예컨대 형체를 흐릿하게 하거나(dimming), 어둡게 하거나, 희게 하거나(whiting-out), 해칭하거나(hatching) 또는 다르게 이미지의 선택되지 않은 부분을 덜 분명하게 만듦으로써 흐려질 수 있다. 다시 말해, 이미지에 태그할 때, 이미지의 렌더링은 병경되어 사용자가 태그하도록 선택한 위치에 초점이 맞을 수 있다. 이것은 이미지에 태그하는 사용자가 이미지가 태그되는 위치 또는 영역을 보다 명확하게 볼 수 있도록 한다. 예로서 제한 없이, 도 6e를 참조하면, 사용자가 이미지의 오른쪽에 묘사된 특정한 사람의 얼굴을 선택하고 텍스트 "kath"를 입력할 때(도 6d에서처럼), 소셜 네트워킹 시스템(160)은 이미지를 재렌더링하여 이미지의 나머지를 어둡게 하고, 이미지의 선택된 위치와 드롭 다운 메뉴 주위의 영역을 어둡지 않게 남길 수 있다. 본 명세서가 특정 방법으로 이미지의 얼굴 인식을 수행하는 것을 서술하지만, 본 명세서는 임의의 적절한 방법으로 이미지의 얼굴 인식을 수행하는 것을 고려한다.

특정 실시예에서, 소셜 네트워킹 시스템(160)은 사용자에게 사용자가 이미지에 태그되었음을 알릴 수 있다. 만약 제1 사용자가 제2 사용자를 이미지에 태그했다면, 소셜 네트워킹 시스템(160)은 제2 사용자에게 사용자가 이미지에 태그되었음을, 예컨대 이메일, 메시지 또는 다르게 제2 사용자의 태그를 알릴 수 있다. 만약 이 제2 사용자가 이미지에 접근하면, 소셜 네트워킹 시스템(160)은 제2 사용자에 대한 하나 이상의 사용자의 얼굴 인식 점수를 계산함으로써 제2 사용자와 관련하여 전술한 얼굴 인식 프로세스를 반복할 수 있다. 다시 말해, 후보 사용자의 새로운 세트가 제2 사용자와 관련하여 식별될 수 있고, 이들 후보 사용자는 그 후 제2 사용자와 관련하여 계산된 얼굴 인식 점수를 가지고, 태그 제안의 새로운 세트가 생성되어 제2 사용자에게 디스플레이될 수 있다. 이것은 효과적으로 연쇄-태그 효과를 생성하거나 독려할 수 있는데, 예컨대 제1 사용자가 제2 사용자를 태그하고, 제2 사용자가 제3 사용자를 태그하는 등, 각 사용자가 그들이 태그됐음을 수신한다.

특정 실시예에서, 소셜 네트워킹 시스템(160)은 이미지에 태그된 각 사용자의 태그 라벨로 이미지를 렌더링할 수 있다. 태그 라벨은 태그와 연관된 객체의 설명을 포함할 수 있다. 예로서 제한 없이, 도 3을 참조하면, 이미지의 왼쪽에 묘사된 4사람에 대하여, 이미지는 이미지에 태그된 네 사용자에 대한 네 태그 라벨을 보여주도록 렌더링되는데, 즉 사용자 "Paul Thomas", "Kyle Smith", "Aashish K.", "Ashley Brown"에 대한 태그이다. 본 명세서가 특정 방법으로 특정한 이미지를 렌더링하는 것을 서술하지만, 본 명세서는 임의의 적절한 방법으로 임의의 적절한 이미지를 렌더링하는 것을 고려한다. 이미지 태그와 태그된 이미지 렌더링에 관하여 참조로서 통합된, 2013년 5월 15일 제출된 미국특허출원 제13/894640호에서 더 찾아볼 수 있다.

특정 실시예로, 소셜 네트워킹 시스템(160)은 제1 사용자에게 디스플레이하기 위해 제1 사용자와 관련된 브라우저 클라이언트로 렌더링된 이미지를 송신할 수 있다. 브라우저 클라이언트는 제1 사용자의 클라이언트 시스템(130)일 수 있다. 이미지는 클라이언트 시스템의 뷰포트(예컨대, 디스플레이)에 디스플레이될 수 있도록 렌더링될 수 있다. 각 태그와 관련된 태그-라벨은 태그와 관련된 위치에 인접한 영역에 이미지를 오버랩하도록 디스플레이될 수 있다. 특정 실시예로, 사용자는 태그를 선택(예컨대 클릭)하고 소셜 네트워킹 시스템(160)은 특정 방식으로, 예컨대 열람 사용자를 선택된 태그의 사용자 프로필 페이지로 리다이렉트함으로써 또는 선택된 태그를 확대함으로써 반응할 수 있다. 비록 본 명세서는 특정 방식으로 특정 이미지를 송신하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 이미지를 송신하는 것을 고려한다.

도 7은 얼굴 인식을 사용한 태그를 제안하는 방법(700)의 예시를 도시한다. 방법은 단계 710에서 시작할 수 있는데, 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크와 연관된 이미지에 접근할 수 있다. 이미지는 적어도 제1 사람을 묘사할 수 있고, 몇몇 경우에서 하나 이상의 제2 사람도 묘사할 수 있다. 이미지에 묘사된 하나 이상의 사람은 온라인 소셜 네트워킹 시스템의 대응하는 특정 사용자로서 태그될 수 있다. 단계 720에서, 소셜 네트워킹 시스템(160)은 복수의 노드와 노드를 연결하는 복수의 에지를 포함하는 소셜 그래프(200)에 접근할 수 있다. 소셜 그래프(200)는 이미지에 대응하는 제1 노드를 포함할 수 있다. 소셜 그래프(200)은 또한 각각 온라인 소셜 네트워크와 연관된 복수의 사용자에 대응하는 복수의 제2 노드를 포함할 수 있다. 두 노드 사이의 각 에지는 그들 사이의 1도의 이격도를 나타낼 수 있다. 단계 730에서, 소셜 네트워킹 시스템(160)은 복수의 사용자의 사용자의 제1 세트로부터의 각 사용자에 대한 소셜 그래프 친밀성을 결정할 수 있다. 소셜 그래프 친밀성은 이미지, 이미지를 게시한 사용자, 이미지에 태그된 다른 사용자, 온라인 소셜 네트워크의 임의의 다른 적절한 컨셉 또는 사용자 또는 그들의 임의의 조합에 대하여 결정될 수 있다. 소셜 그래프 친밀성은 다양한 인자에 기반하여 결정될 수 있다. 단계 740에서, 소셜 네트워킹 시스템(160)은 사용자의 제1 세트의 각 사용자에 대하여, 이미지에 묘사된 제1 사용자에 대하여 얼굴 인식 점수를 결정할 수 있다. 얼굴 인식 점수는 예컨대 사용자의 제1 세트의 각 사용자에 대하여 결정된 소셜 그래프 친밀성 또는 사용자의 제1 세트의 각 사용자와 연관된 얼굴 대표를 포함하는 다양한 인자에 기반할 수 있다. 각 사용자와 연관된 얼굴 대표는 얼굴 대표가 이미지에 묘사된 제1 사람과 얼마나 가깝게 매칭되는지 결정하기 위해 비교될 수 있다. 단계 750에서, 소셜 네트워킹 시스템(160)은 결정된 얼굴 인식 점수에 기반하여 이미지에 묘사된 제1 사람에 대한 하나 이상의 태그 제안을 생성할 수 있다. 각 태그 제안은 사용자의 제1 세트의 특정한 사용자에 대응한다. 특정 실시예는 적절한 경우 도 7의 방법의 하나 이상의 단계를 반복할 수 있다. 비록 본 명세서는 특정 순서로 발생하는 것으로서 도 7의 방법의 특정 단계들을 기술하고 도시하지만, 본 명세서는 임의의 적절한 순서로 발생하는 도 7의 방법의 임의의 적절한 단계들을 고려한다. 게다가, 비록 본 명세서는 도 7의 방법의 특정 단계를 수행하는 특정 컴포넌트, 장치 또는 시스템을 기술하고 도시하지만, 본 명세서는 도 7의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 컴포넌트, 장치 또는 시스템의 임의의 적절한 조합을 고려한다.

시스템과 방법

도 8은 예시적인 컴퓨터 시스템(800)을 도시한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(800)은 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(800)은 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(800)을 실행하는 소프트웨어는 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나, 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템들(800)의 하나 이상의 부분들을 포함한다. 본 명세서에서, 적절한 경우 컴퓨터 시스템에 대한 언급은 컴퓨팅 장치를 포함할 수 있고 그 역도 또한 동일하다. 게다가, 컴퓨터 시스템에 대한 언급은 적절한 경우 하나 이상의 컴퓨터 시스템을 포함할 수 있다.

본 명세서는 임의의 적절한 수의 컴퓨터 시스템(800)을 고려한다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(800)을 고려한다. 예로서 제한 없이, 컴퓨터 시스템(800)은 임베디드 컴퓨터 시스템, 시스템-온-칩(SOC), 단일-보드 컴퓨터 시스템(SBC)(예컨대, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 상호작용형 키오스크(kiosk), 메인 프레임, 컴퓨터 시스템 메쉬(mesh), 모바일 전화, 개인 정보 단말기(PDA), 서버, 태블릿 컴퓨터 시스템 또는 이들의 2 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(800)은 하나 이상의 컴퓨터 시스템(800)들을 포함할 수 있거나; 일체형 또는 분산형일 수 있거나; 다수의 위치에 걸쳐 있거나, 다수의 기계에 걸쳐 있거나; 다수의 데이터 센터에 걸쳐 있거나; 하나 이상의 네트워크에 하나 이상의 클라우드 성분을 포함할 수 있는 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실질적으로 공간적 또는 시간적 제한 없이 실행할 수 있다. 예로서 제한 없이, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 일괄 모드로 실행할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 다른 시기에 또는 다른 위치에서 실행할 수 있다.

특정 실시예로, 컴퓨터 시스템(800)은 프로세서(802), 메모리(804), 저장소(806), 입력/출력(I/O) 인터페이스(808), 통신 인터페이스(810) 및 버스(812)를 포함한다. 본 명세서가 특정 배열로 특정한 수의 특정 구성요소를 갖는 특정 컴퓨터 시스템을 기술하고 도시하지만, 본 명세서는 임의의 적절한 배열로 임의의 적절한 수의 임의의 적절한 구성요소를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.

특정 실시예로, 프로세서(802)는 가령 컴퓨터 프로그램을 구성하는 명령어와 같은 명령어를 실행하기 위한 하드웨어를 포함한다. 예로서 제한 없이, 명령어를 실행하기 위해, 프로세서(802)는 내부 레지스터, 내부 캐시, 메모리(804) 또는 저장소(806)로부터 명령어를 검색(또는 페치(fetch))할 수 있고; 명령어를 디코딩하고 실행한 후; 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(804) 또는 저장소(806)에 기록할 수 있다. 특정 실시예로, 프로세서(802)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 캐시를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 캐시들을 포함하는 프로세서(802)를 고려한다. 예로서 제한 없이, 프로세서(802)는 하나 이상의 명령어 캐시들, 하나 이상의 데이터 캐시들 및 하나 이상의 변환 색인 버퍼(translation lookaside buffers, TLBs)를 포함할 수 있다. 명령어 캐시에 저장된 명령어들은 메모리(804)나 저장소(806) 내 명령어들의 사본일 수 있고, 명령어 캐시는 프로세서(802)에 의한 이런 명령어들의 검색 속도를 높일 수 있다. 데이터 캐시 내의 데이터는 프로세서(802)에서 실행하는 다음 명령들에 의해 접근하거나 메모리(804)나 저장소(806)로 기록하기 위해 프로세서(802)에서 실행되는 이전 명령들의 결과; 또는 다른 적절한 데이터를 동작하는데 프로세서(802)에서 실행하는 명령어를 위한 메모리(804)나 저장소(806) 내의 데이터의 사본일 수 있다. 데이터 캐시는 프로세서(802)에 의한 판독 또는 기록 동작의 속도를 높일 수 있다. TLB들은 프로세서(802)에 의한 가상 주소 변환의 속도를 높일 수 있다. 특정 실시예로, 프로세서(802)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 레지스터를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 레지스터들을 포함하는 프로세서(802)를 고려한다. 적절한 경우, 프로세서(802)는 하나 이상의 산술 논리 유닛(ALUs)을 포함할 수 있거나; 멀티-코어 프로세서일 수 있거나; 하나 이상이 프로세서들(802)을 포함할 수 있다. 본 명세서가 특정 프로세서를 기술하고 도시하지만, 본 명세서는 임의의 적절한 프로세서를 고려한다.

특정 실시예로, 메모리(804)는 프로세서(802)가 실행하는 명령어 또는 프로세서(802)가 운영하는 데이터를 저장하기 위한 메인 메모리를 포함한다. 예로서 제한 없이, 컴퓨터 시스템(800)은 저장소(806)나 또 다른 소스(가령, 예컨대 또 다른 컴퓨터 시스템(800))에서 메모리(804)로 명령어를 로딩할 수 있다. 이후, 프로세서(802)는 메모리(804)에서 내부 레지스터나 내부 캐시로 명령어를 로딩할 수 있다. 명령어를 실행하기 위해, 프로세서(802)는 내부 레지스터나 내부 캐시로부터 명령어를 검색하고 이들을 디코딩할 수 있다. 명령어의 실행 중 또는 실행 후, 프로세서(802)는 (중간 결과 또는 최종 결과일 수 있는) 하나 이상의 결과를 내부 레지스터나 내부 캐시로 기록할 수 있다. 이후, 프로세서(802)는 하나 이상의 이런 결과를 메모리(804)에 기록할 수 있다. 특정 실시예로, 프로세서(802)는 (저장소(806) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(804)에서 단지 명령어만을 실행하며, (저장소(806) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(804)에서 단지 데이터만을 운영한다. (주소 버스 및 데이터 버스를 각각 포함할 수 있는) 하나 이상의 메모리 버스는 프로세서(802)를 메모리(804)로 연결할 수 있다. 하기에 기술되는 바와 같이, 버스(812)는 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예로, 하나 이상의 메모리 관리 유닛(MMUs)은 프로세서(802)와 메모리(804) 사이에 상주하며, 프로세서(802)에 의해 요청되는 메모리(804)로의 접근을 용이하게 한다. 특정 실시예로, 메모리(804)는 랜덤 액세스 메모리(RAM)를 포함한다. 적절한 경우, 이런 RAM은 휘발성 메모리일 수 있다. 적절한 경우, 이런 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 게다가, 적절한 경우, 이런 RAM은 단일 포트형 또는 다중-포트형 RAM일 수 있다. 본 명세서는 임의의 적절한 RAM을 고려한다. 적절한 경우, 메모리(804)는 하나 이상의 메모리(804)를 포함할 수 있다. 본 명세서가 특정 메모리를 기술하고 도시하지만, 본 명세서는 임의의 적절한 메모리를 고려한다.

특정 실시예로, 저장소(806)는 데이터용 또는 명령어용 대용량 저장소를 포함한다. 예로서 제한 없이, 저장소(806)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광디스크, 자기-광학 디스크, 자기 테이프, 범용 직렬 버스(USB) 드라이브 또는 이들의 2 이상의 조합을 포함할 수 있다. 적절한 경우, 저장소(806)는 착탈식 또는 비-착탈식(또는 고정) 매체를 포함할 수 있다. 적절한 경우, 저장소(806)는 컴퓨터 시스템(800)의 내부 또는 외부에 있을 수 있다. 특정 실시예로, 저장소(806)는 비휘발성, 고체-상태(solid-state) 메모리이다. 특정 실시예로, 저장소(806)는 읽기 전용 메모리(ROM)를 포함한다. 적절한 경우, 이런 ROM은 마스크-프로그램화된 ROM, 프로그램가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적 소거가능 PROM(EEPROM), 전기적 변경가능 ROM(EAROM), 플래시 메모리 또는 이들의 2 이상의 조합일 수 있다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 대용량 저장소(806)를 고려한다. 적절한 경우, 저장소(806)는 프로세서(802)와 저장소(806) 사이의 통신을 용이하게 하는 하나 이상의 저장소 제어 유닛을 포함할 수 있다. 적절한 경우, 저장소(806)는 하나 이상의 저장소(806)를 포함할 수 있다. 본 명세서가 특정 저장소를 기술하고 도시하지만, 본 명세서는 임의의 적절한 저장소를 고려한다.

특정 실시예로, I/O 인터페이스(808)는 컴퓨터 시스템(800)과 하나 이상의 I/O 장치 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 적절한 경우, 컴퓨터 시스템(800)은 하나 이상의 이들 I/O 장치를 포함할 수 있다. 하나 이상의 이들 I/O 장치는 사람과 컴퓨터 시스템(800) 사이의 통신을 가능하게 할 수 있다. 예로서 제한 없이, I/O 장치는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라(still camera), 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼(trackball), 비디오 카메라, 다른 적절한 I/O 장치 또는 이들의 2 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 명세서는 임의의 적절한 I/O 장치 및 이에 대한 적절한 I/O 인터페이스(808)를 고려한다. 적절한 경우, I/O 인터페이스(808)는 프로세서(802)가 하나 이상의 이들 I/O 장치를 구동할 수 있도록 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 적절한 경우, I/O 인터페이스(808)는 하나 이상의 I/O 인터페이스(808)를 포함할 수 있다. 본 명세서가 특정 I/O 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 I/O 인터페이스를 고려한다.

특정 실시예로, 통신 인터페이스(810)는 컴퓨터 시스템(800)과 하나 이상의 다른 컴퓨터 시스템(800)이나 하나 이상의 네트워크 사이의 통신(가령, 예컨대 패킷-기반 통신)을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 통신 인터페이스(810)는 이더넷이나 다른 유선-기반 네트워크로 통신하기 위한 네트워크 인터페이스 제어장치(NIC)나 네트워크 어댑터 또는 가령 WI-FI 네트워크와 같이 무선 네트워크로 통신하기 위한 무선 NIC(WNIC)나 무선 어댑터를 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크 및 이에 대한 임의의 적절한 통신 인터페이스(810)를 고려한다. 예로서 제한 없이, 컴퓨터 시스템(800)은 애드 혹 네트워크(ad hoc network), 개인 영역 네트워크(PAN), 근거리 네트워크(LAN), 광역 네트워크(WAN), 대도시 네트워크(MAN), 인터넷의 하나 이상의 부분 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 하나 이상의 이런 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템(800)은 무선 PAN(WPAN)(가령, 예컨대 BLUETOOTH WPAN), WI-FI 네트워크, WI-MAX 네트워크, 셀룰러 전화 네트워크(가령, 예컨대 GSM(Global System for Mobile Communication) 네트워크), 다른 적절한 무선 네트워크 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 적절한 경우, 컴퓨터 시스템(800)은 임의의 이들 네트워크에 대한 임의의 적절한 통신 인터페이스(810)를 포함할 수 있다. 적절한 경우, 통신 인터페이스(810)는 하나 이상의 통신 인터페이스(810)를 포함할 수 있다. 본 명세서가 특정 통신 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 통신 인터페이스를 고려한다.

특정 실시예로, 버스(812)는 컴퓨터 시스템(800)의 구성요소를 서로 연결하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 버스(812)는 AGP(Accelerated Graphics Port)이나 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCIe(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standard Association local) 버스, 다른 적절한 버스 또는 2 이상의 이런 버스의 조합을 포함할 수 있다. 적절한 경우, 버스(812)는 하나 이상의 버스(812)를 포함할 수 있다. 본 명세서가 특정 버스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 버스나 인터커넥트를 고려한다.

본 명세서에서, 컴퓨터-판독가능한 비-일시적 저장매체 또는 저장매체들은 하나 이상의 반도체 기반 또는 다른 집적회로(ICs)(가령, 예컨대 FPGAs(field-programmable gate arrays) 또는 ASICs(application-specific ICs)), 하드 디스크 드라이브(HDDs), 하이브리드 하드 디스크(HHDs), 광학 디스크, 광학 디스크 드라이브(ODDs), 자기-광학 디스크, 자기-광학 드라이브, 플로피 디스크, 플로피 디스크 드라이브(FDDs), 자기 테이프, 고체-상태 드라이브(SSDs), RAM-드라이브, SECURE DIGITAL 카드나 드라이브, 임의의 다른 적절한 컴퓨터-판독가능한 비-일시적 저장매체 또는, 적절한 경우, 2 이상의 이들의 임의의 적절한 조합을 포함할 수 있다. 적절한 경우, 컴퓨터-판독가능한 비-일시적 저장매체는 휘발성, 비휘발성 또는 휘발성과 비휘발성의 조합일 수 있다.

기타

본 명세서에서, "또는"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 포괄적인 것이며 배타적인 것이 아니다. 따라서, 본 명세서에서 "A 또는 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A, B 또는 둘 모두"를 의미한다. 게다가, "및"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 공동 및 별개 모두이다. 따라서, 본 명세서에서 "A 및 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A 및 B가 공동이든 별개이든 상관없이 모두"를 의미한다.

본 명세서의 범위는 당업자가 이해할 수 있는 본 명세서에 기술되거나 도시된 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다. 본 명세서의 범위는 본 명세서에 기술되거나 도시된 예시적인 실시예들로 국한되지 않는다. 게다가, 본 명세서는 특정 컴포넌트, 구성요소, 기능, 동작 또는 단계를 포함하는 것으로 본 명세서의 각각의 실시예들을 기술하고 도시하지만, 임의의 이런 실시예들은 당업자가 이해할 수 있는 본 명세서에 어디든 기술되거나 도시되는 임의의 컴포넌트, 구성요소, 기능, 동작 또는 단계의 임의의 조합이나 치환을 포함할 수 있다. 게다가, 첨부된 청구범위에서 특정 기능을 수행하도록 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 할 수 있게 하거나, 동작할 수 있거나, 동작하는 장치나 시스템 또는 장치나 시스템의 구성요소에 대한 언급은 장치, 시스템 또는 구성요소가 그렇게 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 가능하거나, 동작할 수 있거나 동작하는 한, 장치, 시스템, 구성요소, 그 또는 그러한 특정 기능이 활성화되었는지, 턴온 되었는지, 잠금 해제되었는지 여부를 포함한다.

Claims (20)

1. 컴퓨팅 장치에 의하여:
   온라인 소셜 네트워크와 연관된 이미지에 접근하는 단계;
   복수의 노드 및 노드를 연결하는 복수의 에지를 포함하는 소셜 그래프에 접근하는 단계;
   복수의 사용자 중 제1 세트의 사용자로부터의 각 사용자에 대해 소셜 그래프 친밀성을 결정하는 단계;
   사용자의 제1 세트의 각 사용자에 대하여, 이미지 내에 묘사된 제1 사람에 대한 얼굴 인식 점수를 결정하는 단계; 및
   결정된 얼굴 인식 점수에 기반하여 이미지 내에 묘사된 제1 사람에 대한 하나 이상의 태그 제안을 생성하는 단계를 포함하고,
   이미지는 적어도 제1 사람을 묘사하고,
   두 노드 사이의 각 에지는 그들 사이의 1도의 이격도를 나타내고, 노드는:
   이미지에 대응하는 제1 노드; 및
   각각 온라인 소셜 네트워크와 연관된 복수의 사용자에 대응하는 복수의 제2 노드를 포함하고,
   얼굴 인식 점수는:
   사용자의 제1 세트의 각 사용자에 대해 결정된 소셜 그래프 친밀성; 및
   사용자의 제1 세트의 각 사용자와 연관된 얼굴 대표로서, 이미지와 비교되는 각 사용자와 연관된 얼굴 대표에 적어도 부분적으로 기반하고,
   각 태그 제안은 사용자의 제1 세트의 특정 사용자에 대응하는 방법.
2. 청구항 1에 있어서,
   클라이언트 시스템에서 제1 사용자가 이미지와 연관된 웹페이지의 그래픽 사용자 인터페이스에 문자열을 입력함에 따라 문자열의 하나 이상의 문자를 수신하는 단계를 더 포함하는 방법.
3. 청구항 2에 있어서,
   소셜 그래프에서 문자열과 실질적으로 매칭되는 하나 이상의 제2 노드를 검색하는 단계를 더 포함하는 방법.
4. 청구항 2에 있어서,
   얼굴 인식 점수를 결정하는 단계는 문자열에 적어도 부분적으로 더 기반하는 방법.
5. 청구항 2에 있어서,
   제1 사용자가 그래픽 사용자 인터페이스에 문자열을 입력함에 따라 클라이언트 시스템에서 디스플레이하기 위하여 하나 이상의 태그 제안을 클라이언트 시스템에 전송하는 단계를 더 포함하고,
   태그 제안은 사용자에게 그래픽 사용자 인터페이스의 드롭 다운 메뉴로 디스플레이고, 태그 제안의 디스플레이는 그래픽 사용자 인터페이스로의 자동 입력을 위해 제1 사용자가 태그 제안 중 하나를 선택할 수 있게 하는 방법.
6. 청구항 1에 있어서,
   하나 이상의 태그 제안을 생성하는 단계는 임계 얼굴 인식 점수보다 높은 얼굴 인식 점수를 가지는 사용자의 제1 세트의 각 사용자를 식별하는 단계를 더 포함하고,
   각 식별된 사용자는 태그 제안 중 하나로서 생성되는 방법.
7. 청구항 1에 있어서,
   온라인 소셜 네트워크와 연관된 제1 사용자로부터 이미지를 열람하는 요청을 수신하는 단계; 및
   제1 사용자에게 디스플레이하기 위하여 클라이언트 시스템으로 이미지를 전송하는 단계를 더 포함하는 방법.
8. 청구항 1에 있어서,
   이미지와 연관된 페이지에 디스플레이하기 위하여 태그 제안을 전송하는 단계를 더 포함하고,
   태그 제안도 페이지에서 드롭-다운 메뉴에서 디스플레이되며,
   드롭 다운 메뉴는 제1 사용자가 태그 제안 중 하나를 선택할 수 있게 하는 방법.
9. 청구항 8에 있어서,
   제1 사용자로부터 태그 제안 중 하나의 선택을 수신하는 단계; 및
   선택된 태그 제안에 대응하는 특정한 사용자에 대응하는 태그를 생성하는 단계를 더 포함하는 방법.
10. 청구항 1에 있어서
    태그에 대한 태그 라벨을 가지는 이미지를 렌더링하는 단계를 더 포함하고,
    태그 라벨은 태그에 대응하는 특정한 사용자의 설명을 포함하는 방법.
11. 청구항 1에 있어서,
    각 사용자에 대한 얼굴 인식 점수는 사용자가 이미지에 묘사된 제1 사용자와 매칭될 확률을 측정하는 방법.
12. 청구항 1에 있어서,
    이미지는 각각 복수의 사용자 중 하나 이상의 제2 사용자에 대응하는 하나 이상의 태그를 포함하고, 사용자의 제1 세트로부터의 각 사용자에 대한 소셜 그래프 친밀성은 각각 사용자의 제1 세트로부터의 사용자에 대응하는 제2 노드 및 하나 이상의 제2 사용자에 대응하는 하나 이상의 제2 노드간의 이격도에 적어도 부분적으로 기반하는 방법.
13. 청구항 1에 있어서,
    이미지는 이미지의 제1 세트와 연관되고, 사용자의 제1 세트로부터의 각 사용자에 대한 소셜 그래프 친밀성은 이미지의 제1 세트의 다른 이미지의 태그 내역 정보에 적어도 부분적으로 기반하는 방법.
14. 청구항 1에 있어서,
    사용자의 제1 세트로부터의 각 사용자에 대한 소셜 그래프 친밀성은 적어도 부분적으로 이미지의 태그 내역 정보에 기반하는 방법.
15. 청구항 14에 있어서,
    태그 내역 정보는 이미지에 태그된 하나 이상의 사용자; 이미지의 각 태그를 생성한 사용자; 각 태그가 생성된 때로부터의 시간; 특정 사용자들이 함께 태그된 내역; 이미지와 연관된 지리적 위치; 또는 그들의 임의의 조합을 포함하는 방법.
16. 청구항 1에 있어서,
    사용자의 제1 세트로부터의 각 사용자에 대한 소셜 그래프 친밀성은 시간 가치축소 정보에 적어도 부분적으로 기반하는 방법.
17. 청구항 1에 있어서,
    사용자의 제1 세트로부터의 각 사용자에 대한 소셜 그래프 친밀성은 사용자에 대응하는 제2 노드와 제1 노드간의 이격도에 적어도 부분적으로 기반하는 방법.
18. 청구항 1에 있어서,
    이미지는 디지털 사진인 방법.
19. 소프트웨어를 포함하는 하나 이상의 컴퓨터 판독가능한 비-일시적 저장매체로서, 소프트웨어는 실행 시:
    온라인 소셜 네트워크와 연관된 이미지에 접근하고;
    복수의 노드 및 노드를 연결하는 복수의 에지를 포함하는 소셜 그래프에 접근하고;
    복수의 사용자 중 제1 세트의 사용자로부터의 각 사용자에 대해 소셜 그래프 친밀성을 결정하고;
    사용자의 제1 세트의 각 사용자에 대하여, 이미지 내에 묘사된 제1 사람에 대한 얼굴 인식 점수를 결정하고; 및
    결정된 얼굴 인식 점수에 기반하여 이미지 내에 묘사된 제1 사람에 대한 하나 이상의 태그 제안을 생성하도록 작동가능하고,
    이미지는 적어도 제1 사람을 묘사하고,
    두 노드 사이의 각 에지는 그들 사이의 1도의 이격도를 나타내고, 노드는:
    이미지에 대응하는 제1 노드; 및
    각각 온라인 소셜 네트워크와 연관된 복수의 사용자에 대응하는 복수의 제2 노드를 포함하고,
    얼굴 인식 점수는:
    사용자의 제1 세트의 각 사용자에 대해 결정된 소셜 그래프 친밀성; 및
    사용자의 제1 세트의 각 사용자와 연관된 얼굴 대표로서, 이미지와 비교되는 각 사용자와 연관된 얼굴 대표에 적어도 부분적으로 기반하고,
    각 태그 제안은 사용자의 제1 세트의 특정 사용자에 대응하는 컴퓨터 판독가능한 비-일시적 저장매체.
20. 하나 이상의 프로세서; 및 프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함하는 메모리를 포함하고, 프로세서는:
    온라인 소셜 네트워크와 연관된 이미지에 접근하고;
    복수의 노드 및 노드를 연결하는 복수의 에지를 포함하는 소셜 그래프에 접근하고;
    복수의 사용자 중 제1 세트의 사용자로부터의 각 사용자에 대해 소셜 그래프 친밀성을 결정하고;
    사용자의 제1 세트의 각 사용자에 대하여, 이미지 내에 묘사된 제1 사람에 대한 얼굴 인식 점수를 결정하고; 및
    결정된 얼굴 인식 점수에 기반하여 이미지 내에 묘사된 제1 사람에 대한 하나 이상의 태그 제안을 생성하는 명령어를 실행할 때 작동가능하고,
    이미지는 적어도 제1 사람을 묘사하고,
    두 노드 사이의 각 에지는 그들 사이의 1도의 이격도를 나타내고, 노드는:
    이미지에 대응하는 제1 노드; 및
    각각 온라인 소셜 네트워크와 연관된 복수의 사용자에 대응하는 복수의 제2 노드를 포함하고,
    얼굴 인식 점수는:
    사용자의 제1 세트의 각 사용자에 대해 결정된 소셜 그래프 친밀성; 및
    사용자의 제1 세트의 각 사용자와 연관된 얼굴 대표로서, 이미지와 비교되는 각 사용자와 연관된 얼굴 대표에 적어도 부분적으로 기반하고,
    각 태그 제안은 사용자의 제1 세트의 특정 사용자에 대응하는 시스템.

Images