KR101666967B1 - 공간 및 시간의 근접도에 기반한 얼굴 인식 - Google Patents

공간 및 시간의 근접도에 기반한 얼굴 인식 Download PDF

Info

Publication number
KR101666967B1
KR101666967B1 KR1020137027758A KR20137027758A KR101666967B1 KR 101666967 B1 KR101666967 B1 KR 101666967B1 KR 1020137027758 A KR1020137027758 A KR 1020137027758A KR 20137027758 A KR20137027758 A KR 20137027758A KR 101666967 B1 KR101666967 B1 KR 101666967B1
Authority
KR
South Korea
Prior art keywords
user
face
social networking
networking system
image
Prior art date
Application number
KR1020137027758A
Other languages
English (en)
Other versions
KR20140019807A (ko
Inventor
피드러 파파키포스
매튜 니콜라스 파파키포스
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20140019807A publication Critical patent/KR20140019807A/ko
Application granted granted Critical
Publication of KR101666967B1 publication Critical patent/KR101666967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

일실시예로, 소셜 네트워킹 시스템은 이미지 파일에 대한 하나 이상의 개인들의 시간 및 공간의 근접도를 기초로, 제1 사용자와 관련된 정지 영상 또는 비디오 시퀀스의 이미지 파일에서 하나 이상의 얼굴들을 매칭하는 하나 이상의 개인들을 결정하고, 매칭된 개인들을 제1 사용자에게 표시한다.

Description

공간 및 시간의 근접도에 기반한 얼굴 인식{FACE RECOGNITION BASED ON SPATIAL AND TEMPORAL PROXIMITY}
본 명세서는 일반적으로 얼굴 인식 및 소셜 네트워크 정보의 분석에 기반한 개인 식별에 관한 것이다.
소셜 네트워킹 웹사이트와 같은 소셜 네트워킹 시스템은 사용자들이 소셜 네트워킹 시스템과 상호작용하고, 소셜 네트워킹 시스템을 통해 서로 상호작용하도록 해준다. 소셜 네트워킹 시스템은 사용자와 관련하여 흔히 사용자 프로필이라 일컫는 레코드를 생성하고 저장할 수 있다. 사용자 프로필은 사용자의 인구학적 정보, 통신 채널 정보 및 개인 관심사를 포함할 수 있다. 또한, 소셜 네트워킹 시스템은 소셜 네트워킹 시스템에서 다른 사용자들과의 사용자의 관계(예컨대, 소셜 그래프)의 레코드를 생성하고 저장할 수 있을 뿐만 아니라 서비스(예컨대, 월-포스트, 사진 공유 또는 인스턴트 메시징)를 제공하여 소셜 네트워킹 시스템에서 사용자들 사이의 소셜 상호작용을 용이하게 할 수 있다. 예컨대, 소셜 네트워킹 웹사이트의 사용자는 소셜 네트워킹 웹사이트에 저장된 주소록에 접근하고, 주소록에서 연락처(contact)를 검색하며, 이메일을 통해 연락처에 연결할 수 있다.
특정 실시예들은 이미지 파일에 대한 하나 이상의 개인들의 시간 및 공간의 근접도를 기초로, 제1 사용자와 관련된 정지 영상(still image) 또는 비디오 시퀀스의 이미지 파일에서 하나 이상의 얼굴들을 매칭하는 하나 이상의 개인들을 결정하는 소셜 네트워킹 시스템에 관한 것이다.
본 명세서의 여러 기능, 태양 및 이점은 다음의 도면과 함께 하기의 발명의 상세한 설명에서 더 상세히 기술된다.
본 발명의 내용 중에 포함되어 있다.
도 1은 예시적인 소셜 네트워킹 시스템을 도시한다.
도 2는 시간 및 공간의 근접도에 기반한 얼굴 인식을 포함하는 개인 식별 프로세스의 예를 도시한다.
도 3은 모바일 전화에 의해 디스플레이되는 한 세트의 개인들을 포함하는 이미지의 예를 도시한다.
도 4는 이미지 파일에서 매칭하는 사용자들을 표시하는 사용자 인터페이스의 예를 도시한다.
도 4a는 이미지 파일에서 하나 이상의 식별된 얼굴의 매치를 표시하는 사용자 인터페이스의 예를 도시한다.
도 5는 예시적인 네트워크 환경을 도시한다.
도 6은 예시적인 컴퓨터 시스템을 도시한다.
도 7은 예시적인 모바일 장치 플랫폼을 도시한다.
이제, 본 발명은 첨부도면에 도시된 바와 같이 본 발명의 몇몇 실시예들을 참조하여 상세히 기술된다. 하기의 상세한 설명에서는, 본 명세서의 완전한 이해를 제공하기 위해 많은 특정한 세부사항이 제시된다. 그러나, 본 명세서는 특정한 세부사항들의 일부 또는 전부 없이도 실행될 수 있다는 점이 당업자에게 명백하다. 다른 예에서, 본 명세서를 불필요하게 모호하지 않게 하기 위해, 잘 알려진 공정 단계 및/또는 구조는 상세히 기술되지 않았다. 또한, 본 명세서는 특정한 실시예들과 함께 기술되나, 이런 설명이 본 명세서를 기술된 실시예들로 제한하려는 의도는 아니라는 점을 이해해야 한다. 이에 반해, 상세한 설명은 첨부된 청구항들에 의해 정의되는 바와 같이 본 명세서의 기술사상 및 범위 내에 포함될 수 있는 대안들, 변형들 및 균등물을 포함하도록 의도된다.
소셜 네트워킹 웹사이트와 같은 소셜 네트워킹 시스템은 사용자들이 소셜 네트워킹 시스템과 상호작용하고, 소셜 네트워킹 시스템을 통해 서로 상호작용하도록 해준다. 통상, 소셜 네트워킹 시스템의 등록된 사용자가 되기 위해, 엔티티, 인간 또는 비-인간은 소셜 네트워킹 시스템에 계정(account)을 등록한다. 그 이후, 등록된 사용자는 예컨대 올바른 로그인 ID나 사용자 이름 및 패스워드를 제공하여 계정을 통해 소셜 네트워킹 시스템으로 로그인할 수 있다. 본 명세서에서 사용되는 바와 같이, "사용자"는 이런 소셜 네트워크 환경과 또는 소셜 네트워크 환경에서 상호작용하거나 통신하는 개인(사람 사용자), 엔티티(예컨대, 기업, 비즈니스 또는 제 3의 애플리케이션) 또는 (예컨대, 개인들 또는 엔티티의) 그룹일 수 있다.
사용자가 소셜 네트워킹 시스템에 계정을 등록하는 경우, 소셜 네트워킹 시스템은 사용자와 관련하여 흔히 "사용자 프로필"이라고 하는 레코드를 생성하고 저장할 수 있다. 사용자 프로필은 사용자에 의해 제공되는 정보 및 사용자의 활동 또는 행위와 관련하여 소셜 네트워킹 시스템을 포함하는 다양한 시스템에 의해 수집된 정보를 포함할 수 있다. 예컨대, 사용자는 이름, 연락처, 생일, 성별, 혼인 여부, 가족 관계, 직장, 학력, 기호, 관심사 및 사용자 프로필에 포함될 수 있는 다른 인구학적 정보를 제공할 수 있다. 사용자는 사용자가 그의 친구라고 간주하는 소셜 네트워킹 시스템의 다른 사용자들을 식별할 수 있다. 사용자의 친구들 또는 일촌 컨택들(first-degree contacts)의 리스트는 사용자의 프로필에 포함될 수 있다. 소셜 네트워킹 시스템에서 연결은 양방향이거나 단지 한 방향일 수 있다. 예컨대, 밥(Bob)과 조(Joe)가 둘 다 사용자들이며 서로 연결되어 있다면, 밥과 조는 서로 간의 연결이다. 반면에, 밥은 샘(Sam)의 포스팅된 컨텐츠 아이템을 열람하기 위해 샘과 연결하고자 하나, 샘이 밥과의 연결을 선택하지 않는다면, 샘은 밥의 연결이나, 밥은 샘의 연결이 아닌 일방의 연결이 형성될 수 있다. 소셜 네트워킹 시스템의 일부 실시예는 연결이 하나 이상의 연결 레벨(예컨대, 친구들의 친구들)을 통해 간접적일 수 있도록 한다. 연결(connections)은 사용자, 예컨대 친구가 되고자 특정한 다른 사용자를 선택하는 사용자에 의해 명시적으로 추가될 수 있으나, 사용자들의 공통의 특성(예컨대, 동일한 교육기관의 졸업생인 사용자들)을 기초로 소셜 네트워킹 시스템에 의해 자동으로 생성될 수 있다. 사용자는 사용자가 흔히 방문하는 웹사이트나 웹페이지를 식별하거나 북마크(bookmark)할 수 있으며, 이들 웹사이트나 웹페이지는 사용자의 프로필에 포함될 수 있다.
사용자는 사용자가 계정을 등록한 때 또는 후속 시점에 사용자의 다양한 측면에 관한 정보(가령 연락처 및 관심사)를 제공할 수 있다. 또한, 사용자는 그 또는 그녀의 프로필 정보를 임의의 시기에 업데이트할 수 있다. 예컨대, 사용자가 이사하거나 전화번호를 변경하는 경우, 사용자는 연락처를 업데이트할 수 있다. 추가로, 사용자의 관심사는 시간이 지남에 따라 변할 수 있으며, 사용자는 때때로 프로필의 관심사를 업데이트할 수 있다. 또한, 가령 시스템상의 특정 정보에 접근하는 빈도와 같이, 소셜 네트워킹 시스템상에서 사용자의 활동은 사용자의 프로필에 포함될 수 있는 정보를 제공할 수 있다. 또한, 이런 정보는 사용자의 가장 최근의 활동을 반영하여 때때로 업데이트될 수 있다. 게다가, 다른 사용자들 또는 사용자의 소위 친구들이나 컨택들(contacts)도 또한 사용자의 프로필에 대한 업데이트에 영향을 주거나 업데이트하도록 하는 활동을 수행할 수 있다. 예컨대, 컨택은 친구로서 사용자를 추가할 수 있다(또는 친구로서 사용자를 삭제할 수 있다). 또한, 컨택은 통상 월-포스트로 알려진 사용자의 프로필 페이지에 메시지를 기록할 수 있다. 또한, 사용자는 사용자의 프로필 페이지로 포스팅되는 상태 메시지를 입력할 수 있다.
소셜 네트워킹 시스템은 일반적으로 개인들의 그룹들 사이의 관계를 모델링할 수 있는 소셜 그래프 정보를 관리할 수 있으며, 조금 아는 사이(casual acquaintances)에서 가까운 가족 관계(familial bonds)까지의 관계를 포함할 수 있다. 소셜 네트워크는 그래프 구조를 사용하여 표현될 수 있다. 그래프의 각 노드는 소셜 네트워크의 회원에 해당한다. 2개의 노드를 연결하는 에지는 2명의 사용자 사이의 관계를 나타낸다. 또한, 임의의 2개의 노드 사이의 이격도(degree of separation)는 한 노드에서 다른 노드로 그래프를 횡단하는데 필요한 홉들(hops)의 최소 개수로 정의된다. 2명의 사용자 사이의 이격도는 그래프에서 노드로 표현되는 2명의 사용자 사이의 관련성의 기준으로 간주될 수 있다.
소셜 네트워킹 시스템은 가령 사진 공유, 온라인 캘린더 및 이벤트와 같은 다양한 애플리케이션을 지원할 수 있다. 예컨대, 소셜 네트워킹 시스템은 또한 미디어 공유 능력(media sharing capabilities)을 포함할 수 있다. 예컨대, 소셜 네트워킹 시스템은 사용자가 사진 및 다른 멀티미디어 파일을, 가령 월 포스트나 사진 앨범에서 사용자의 프로필로 포스트할 수 있도록 해주며, 이런 사진 및 다른 멀티미디오 파일 모두는 소셜 네트워킹 시스템의 다른 사용자로 접근가능할 수 있다. 또한, 소셜 네트워킹 시스템은 사용자가 이벤트를 구성할 수 있도록 할 수 있다. 예컨대, 제 1 사용자는 이벤트의 시간과 날짜, 이벤트의 위치 및 이벤트로 초대된 다른 사용자들을 포함하는 속성을 갖는 이벤트를 구성할 수 있다. 초대받은 사용자들은 이벤트에 대한 초대를 수신하고, (가령 초대를 수락하거나 거절함으로써) 응답한다. 게다가, 소셜 네트워킹 시스템은 사용자가 개인용 캘린더를 관리할 수 있도록 할 수 있다. 이벤트와 유사하게, 캘린더 엔트리(calendar entries)는 시간, 날짜, 위치 및 다른 사용자들의 신원을 포함할 수 있다.
또한, 소셜 네트워킹 시스템은 개인정보 모델(privacy model)을 지원할 수 있다. 사용자는 다른 사용자 또는 제 3의 애플리케이션과 사용자의 정보를 공유하고자 할 수 있거나 공유하지 않으려고 할 수 있으며, 또는 사용자는 오직 특정 사용자 또는 제 3의 애플리케이션하고만 사용자의 정보를 공유하고자 할 수 있다. 사용자는 그의 정보가 사용자 프로필과 관련된 개인정보 설정을 통해 다른 사용자들 또는 제 3의 애플리케이션과 공유되는지 여부를 제어할 수 있다. 예컨대, 사용자는 사용자와 관련된 각각의 사용자 자료에 대한 개인정보 설정을 선택할 수 있고/있거나, 전역적으로 또는 사용자 프로필 정보의 카테고리 또는 타입에 적용되는 설정을 선택할 수 있다. 개인정보 설정은 사용자 자료에 접근할 수 있는 엔티티의 집합(예컨대, 다른 사용자들, 사용자의 연결들, 친구들의 친구들 또는 제 3의 애플리케이션)을 정의하거나 식별한다. 개인정보 설정은, 가령 소셜 네트워크에서 특정 엔티티(예컨대, 다른 사용자들), 사용자의 연결의 기정의된 그룹들, 특정 타입의 연결들, 모든 사용자의 연결들, 사용자의 연결들 중 모든 일촌 연결들, 전체의 소셜 네트워크 또는 (예컨대, 인터넷상에서 포스팅된 컨텐츠 아이템을 인덱싱 가능하고 검색가능하도록) 심지어 전체의 인터넷을 지정함으로써, 다양한 레벨의 세분화(granularity)로 지정될 수 있다. 사용자는 포스팅되는 모든 사용자 데이터에 대한 디폴트 개인정보 설정을 선택할 수 있다. 추가로, 사용자는 특정 엔티티가 사용자 자료 또는 특정 타입의 사용자 데이터를 열람하는 것을 구체적으로 배제할 수 있다.
소셜 네트워킹 시스템은 지리적 위치나 장소에 관한 정보의 데이터베이스를 관리할 수 있다. 장소는 가령 레스토랑, 바, 기차역, 공항 등과 같은 다양한 물리적 위치에 해당할 수 있다. 일부 장소는 가령 공항 내의 레스토랑 또는 게이트 위치와 같이, 장소를 포함하는 더 큰 지역에 해당할 수 있다. 하나의 구현으로, 다목적용으로 참조로 통합되는 미국특허출원번호 12/763,171에 기술되는 바와 같이, 각 장소는 소셜 그래프 또는 소셜 네트워킹 시스템에 의해 관리되는 다른 데이터 구조에서 허브 노드로서 관리될 수 있다. 소셜 네트워킹 시스템은 사용자가 가령 랩톱, 데스크톱 또는 모바일 장치와 같은 유선 또는 무선 스테이션에 의해 호스팅되는 클라이언트 애플리케이션(예컨대, 브라우저)을 사용하는 각 장소에 관한 정보에 접근할 수 있도록 할 수 있다. 예컨대, 소셜 네트워킹 시스템은 장소에 대한 정보를 요청하는 사용자들에게 웹페이지(또는 다른 구조화된 문서)를 제공할 수 있다. 사용자 프로필과 장소 정보 이외에, 소셜 네트워킹 시스템은 사용자에 대한 다른 정보를 추적하거나 관리할 수 있다. 예컨대, 소셜 네트워킹 시스템은 사용자의 위치를 기록하는 하나 이상의 위치-기반 서비스를 포함하는 지오-소셜 네트워킹 시스템 기능(geo-social networking system functionality)을 지원할 수 있다. 예컨대, 사용자는 사용자의 모바일 장치에 의해 호스팅되는 특수목적의 클라이언트 애플리케이션(또는 브라우저 클라이언트를 사용하는 웹 기반 또는 네트워크 기반 애플리케이션)을 사용하는 지오-소셜 네트워킹 시스템에 접근할 수 있다. 클라이언트 애플리케이션은 모바일 장치에 의해 지원되는 위성항법장치(GPS) 또는 다른 지리적 위치 기능에 자동으로 접근하고, 지오-소셜 네트워킹 시스템으로 사용자의 현재 위치를 보고할 수 있다. 또한, 클라이언트 애플리케이션은 사용자가 다양한 위치에서 체크인하고 이런 위치를 다른 사용자에게 통신할 수 있도록 해주는 지오-소셜 네트워킹 기능을 지원할 수 있다. 소정의 장소로의 체크인은 사용자가 한 장소에 물리적으로 위치할 때 발생할 수 있으며, 모바일 장치를 사용하여 그 장소에 사용자의 존재를 기록하도록 지오-소셜 네트워킹 시스템에 접근할 수 있다. 하기에 기술되는 바와 같이, 사용자는 사용자의 현재 위치에 인접한 기존의 장소 리스트에서 장소를 선택하거나 새로운 장소를 생성할 수 있다. 또한, 사용자는 소정의 장소로 체크인하는 경우 문자열로 코멘트를 제공할 수 있다. 또한, 사용자는 체크인과 관련하여 하나 이상의 다른 사용자들(가령 사용자의 친구들)을 식별할 수 있고, 이런 사용자들과 체크인을 또한 연관지을 수 있다. 다목적용으로 본 명세서에서 참조로 통합되는 미국특허출원번호 12/574,614는 제1 사용자가 소정의 장소에서 다른 사용자들을 체크인할 수 있도록 해주는 시스템을 기술한다. 코멘트와 사용자가 체크인했던 시간에 해당하는 시간 스탬프를 포함하는 엔트리는 다른 사용자들에게 디스플레이될 수 있다. 예컨대, 사용자의 체크인 활동의 레코드가 데이터베이스에 저장될 수 있다. 소셜 네트워킹 시스템은 소정의 장소에 사용자들의 체크인 활동과 관련된 하나 이상의 레코드를 선택할 수 있고, 소정의 장소에 해당하는 웹페이지(또는 다른 구조화된 문서)에서 이런 체크인 활동을 포함할 수 있다. 예컨대, 소셜 네트워킹 시스템은 장소에 해당하는 페이지를 요청하는 사용자의 친구들 또는 다른 소셜 컨택들과 관련된 체크인 활동을 선택할 수 있다. 다목적용으로 전체로서 참조로 통합되는 미국특허출원번호 12/858,718은 본 발명의 다양한 실시예들과 관련된 사용될 수 있는 예시적인 지오-소셜 네트워킹 시스템을 기술한다. 또한, 체크인 활동은 사용자 프로필 페이지에 그리고 소셜 네트워킹 시스템의 사용자에게 제공되는 뉴스 피드에 디스플레이될 수 있다.
도 1은 예시적인 소셜 네트워킹 시스템을 도시한다. 특정 실시예로, 소셜 네트워킹 시스템은 사용자 프로필 데이터베이스(101) 내에 사용자 프로필 데이터 및 소셜 그래프 정보를 저장할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템은 이벤트 데이터베이스(102) 내에 사용자 이벤트 데이터 및 캘린더 데이터를 저장할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템은 개인정보 정책 데이터베이스(103) 내에 사용자 개인정보 정책 데이터를 저장할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템은 위치 데이터베이스(104) 내에 지리적 데이터 및 위치 데이터를 저장할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템은 미디어 데이터베이스(105) 내에 미디어 데이터(예컨대, 사진 또는 비디오 클립)를 저장할 수 있다. 특정 실시예로, 데이터베이스들(101, 102, 103, 104 및 105)은 소셜 네트워킹 시스템의 전단(120)으로 동작가능하게 연결될 수 있다. 특정 실시예로, 전단(120)은 네트워크 클라우드(121)를 통해 클라이언트 장치(122)와 상호작용할 수 있다. 클라이언트 장치(122)는 일반적으로 컴퓨터 네트워크를 통해 (예컨대, 원격으로) 통신하기 위한 기능을 포함하는 컴퓨터 또는 컴퓨팅 장치이다. 클라이언트 장치(122)는 다른 적합한 컴퓨팅 장치들 가운데, 데스크톱 컴퓨터, 랩톱 컴퓨터, 개인 정보 단말기(PDA), 차량 내외 항법시스템, 스마트폰이나 다른 셀룰러폰 또는 모바일폰, 또는 모바일 게임장치일 수 있다. 클라이언트 장치(122)는 가령 웹 브라우저(예컨대, 마이크로소프트 윈도우 인터넷 익스플로러, 모질라 파이어폭스, 애플 사파리, 구글 크롬, 오페라, 오페라 미니 및 볼트(BOLT) 등)와 같은 하나 이상의 클라이언트 애플리케이션을 실행하여 컴퓨터 네트워크를 통해 컨텐츠에 접근하고 컨텐츠를 열람할 수 있다. 전단(120)은 사용자가 소셜 네트워킹 시스템에 접근할 수 있도록 해주는 웹 또는 HTTP 서버 기능뿐만 아니라 다른 기능을 포함할 수 있다. 네트워크 클라우드(121)는 일반적으로 클라이언트 장치(122)가 소셜 네트워킹 시스템에 접근할 수 있는 네트워크 또는 네트워크들의 집합(가령 인터넷이나 회사 인트라넷 또는 이들의 조합)을 나타낸다.
특정 실시예로, 위치 데이터베이스(104)는 체크인과 관련된 사용자의 현실 세계의 지리적 위치를 식별하는 지리적 위치 데이터를 저장할 수 있다. 예컨대, 컴퓨터에 연결된 인터넷의 지리적 위치는 컴퓨터의 IP 주소로 식별될 수 있다. 예컨대, Wi-Fi 및 GPS 능력이 탑재된 휴대전화(cell phone)의 지리적 위치는 기지국 삼각측량(cell tower triangulation), Wi-Fi 위치측정(Wi-Fi positioning) 및/또는 GPS 위치측정(GPS positioning)으로 식별될 수 있다.
특정 실시예로, 위치 데이터베이스(104)는 장소의 정보 베이스를 저장할 수 있는데, 각 장소는 명칭, 지리적 위치 및 메타 정보를 포함한다. 예컨대, 장소는 로컬 비즈니스, 관심 지점(예컨대, 캘리포니아, 샌프란시스코의 유니언 스퀘어), 대학, 도시 또는 국립공원일 수 있다. 예컨대, 장소(예컨대, 로컬 커피숍)의 지리적 위치는 주소, 한 세트의 지리적 좌표(위도 및 경도) 또는 다른 장소로의 참조(예컨대, "기차역 옆의 커피숍")일 수 있다. 예컨대, 넓은 면적을 갖는 장소(예컨대, 요세미티 국립공원)의 지리적 위치는 장소의 경계를 근사화한 모양(예컨대, 원 또는 다각형) 및/또는 그 모양의 중심점(즉, 기하학적 중심)일 수 있다. 예컨대, 장소의 메타 정보는 장소, 리뷰, 평가(ratings), 코멘트, 체크인 활동 데이터 등을 초기에 생성한 사용자임을 식별하는 정보를 포함할 수 있다. 장소는 시스템의 관리자에 의해 생성될 수 있고/있거나 시스템의 사용자에 의해 생성될 수 있다. 예컨대, 사용자는 클라이언트 애플리케이션에 접근하여 장소 명칭을 정의하고 지리적 위치를 제공함으로써 새로운 장소를 등록할 수 있고, 새로 생성된 장소가 위치 데이터베이스(104)에 등록되게 할 수 있다. 생성한 사용자 또는 다른 사용자들은 그 페이지에 대한 웹페이지에 접근할 수 있고, 가령 장소에 대한 리뷰, 코멘트 및 평가와 같은 추가 정보를 추가할 수 있다. 특정 실시예로, 위치 데이터베이스(104)는 사용자의 위치 데이터를 저장할 수 있다. 예컨대, 위치 데이터베이스(104)는 사용자의 체크인 활동을 저장할 수 있다. 예컨대, 사용자는 장소(예컨대, 새로운 레스토랑 또는 커피숍)를 생성할 수 있으며, 소셜 네트워킹 시스템이 위치 데이터베이스(104)에 사용자 생성 장소를 저장하도록 할 수 있다. 예컨대, 사용자는 장소에 대한 코멘트, 리뷰 또는 평가를 생성할 수 있고, 소셜 네트워킹 시스템이 위치 데이터베이스(104)에 그 장소에 대한 사용자의 코멘트, 리뷰 또는 평가를 저장하도록 할 수 있다. 예컨대, 특수목적용 클라이언트 애플리케이션은 사용자의 GPS 탑재 모바일 장치의 GPS 좌표를 보고하고 위치 데이터베이스(104)에 저장할 수 있다.
특정 실시예로, 소셜 네트워킹 시스템의 사용자는 하나 이상의 미디어 파일을 미디어 데이터베이스(105)로 업로드할 수 있다. 예컨대, 사용자는 사진이나 한 세트의 사진(흔히 사진 앨범이라 함) 또는 비디오 클립을 클라이언트 장치(122)(예컨대, 컴퓨터 또는 카메라폰)에서 미디어 데이터베이스(105)로 업로드할 수 있다. 특정 실시예로, 하나 이상의 미디어 파일은 각 미디어 파일과 관련된 메타데이터(흔히 "태그"라고 함)를 포함할 수 있다. 예컨대, 디지털 카메라로 찍힌 사진은 파일 크기, 해상도, 시간 스탬프, 카메라 제조사의 이름 및/또는 위치(예컨대, GPS) 좌표에 관한 메타데이터를 포함할 수 있다. 사용자는 업로드 과정에서 추가적인 메타데이터 값을 사진에 추가하거나 사진을 태그할 수 있다. 미디어 파일의 태그들의 일부 예는 제작자, 제목, 코멘트, 이벤트 명칭, 시간, 위치, 미디어 파일에 나오는 사람의 이름 또는 사용자 코멘트이다. 특정 실시예로, 사용자는 클라이언트 애플리케이션(예컨대, 사진 또는 비디오 편집기)을 사용하거나, 클라이언트 장치(122)에서 소셜 네트워킹 시스템으로 사용자의 하나 이상의 미디어 파일을 업로드하는 미디어 업로딩 툴(media uploading tool)의 그래픽 사용자 인터페이스에서 하나 이상의 태그를 입력하여 미디어 파일을 태그할 수 있다. 또한, 사용자는 소셜 네트워킹 시스템의 웹사이트에서 업로드 후 후속 시기에 미디어 파일을 태그할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템은 또한 미디어 파일로부터 메타데이터를 추출하고 미디어 데이터베이스(105)에 메타데이터를 저장할 수 있다. 사용자 또는 기계는 얼굴 인식 컴퓨터 소프트웨어를 사용하여, 얼굴 이미지를 기초로 미디어 파일에서 하나 이상의 개인들을 식별하고 태그할 수 있다. 본 명세서의 특정 실시예들은공간 및 시간의 근접도를 기초로 얼굴 인식을 향상시키고, 미디어 파일에서 하나 이상의 개인들을 식별함에 있어 사용자 경험을 향상시키는 방법을 기술한다. 다른 특정 실시예들은 개인들과 사용자에 대한 그들의 잠재적 소셜 관계의 식별을 도와주는데 사용될 수 있는 실시간 얼굴 인식 및 개인 식별을 제공한다.
도 2는 공간 및 시간의 근접도에 기반한 얼굴 인식을 포함하는 예시적인 개인 식별 프로세스를 도시한다. 도 2는 소셜 네트워킹 시스템에서 하나 이상의 컴퓨팅 장치들 및/또는 가령 모바일 전화나 랩톱과 같은 사용자의 장치에 의해 호스팅되는 개인 식별 프로세스로 구현될 수 있다. 예컨대, 본 명세서에 기술되는 모든 데이터 세트는 클라이언트 장치로 송신되는 결과를 처리하기 위한 소셜 네트워킹 시스템의 서버로 업로드될 수 있다. 다른 구현으로, 클라이언트 장치는 데이터를 수신할 수 있고, 본 명세서에 기술된 동작들을 수행할 수 있다. 다른 구현으로, 처리(processing)는 클라이언트와 서버 사이에 분산될 수 있다. 하나의 특정한 구현으로, 사용자가 이미지를 캡처하고 이미지를 소셜 네트워킹 시스템에 의해 호스팅되는 원격의 개인 식별 프로세스로 송신할 수 있도록 하는 클라이언트 애플리케이션에 제1 사용자가 접근할 때, 본 명세서에 기술된 처리는 초기화될 수 있다. 개인 식별 프로세스는 요청을 처리할 수 있고, 그 결과를 반환하여 제1 사용자가 실질적으로 실시간으로 이미지에서 캡처되는 하나 이상의 개인들을 잠재적으로 식별(또는 신원을 확인)할 수 있도록 할 수 있다. 특정 실시예로, 개인 식별 프로세스는 제1 사용자(201)와 관련된 이미지 파일에 접근할 수 있다. 특정 실시예로, 이미지 파일은 관련 메타데이터를 갖는 사진일 수 있다. 특정 실시예로, 이미지 파일은 관련 메타데이터를 갖는 비디오 클립일 수 있다. 예컨대, 이미지 파일은 제1 사용자의 클라이언트 장치(122)에 의해 찍힌 사진 또는 비디오 클립일 수 있다. 예컨대, 이미지 파일은 뷰파인더(viewfinder) 또는 제1 사용자의 카메라가 구비된 모바일 전화의 뷰파인더 사용자 인터페이스에서 디스플레이되는 정지 영상 또는 동영상일 수 있다. 예컨대, 이미지 파일은 제1 사용자의 클라이언트 장치(122), 셋톱 박스 또는 디지털 비디오 레코더에 의해 녹화되는 텔레비전 프로그램의 비디오 클립일 수 있다.
특정 실시예로, 개인 식별 프로세스는 이미지 파일(202)에서 하나 이상의 얼굴들을 식별할 수 있다. 특정 실시예로, 개인 식별 프로세스는 얼굴 인식의 애플리케이션 또는 매칭 점수를 반환하고 그 점수를 임계값과 비교하는 매칭 알고리즘을 기초로 얼굴과 개인 사이의 매치를 결정할 수 있다. 예컨대, 얼굴 인식 컴퓨터 소프트웨어는 잠재적 매치와 식별된 얼굴 사이의 상관 계수(correlation coefficient)를 계산할 수 있는데, 여기서 상관 계수는 0.0("전혀 상관되지 않음") 내지 1.0("완전한 매치") 사이의 범위에 있으며, 상관 계수가 0.8 보다 큰 경우 식별된 얼굴에 대한 매치를 결정할 수 있다. 적절한 인식 알고리즘은 주성분 분석(Principal Component Analysis), 선형 판별 분석(Linear Discriminate Analysis), 일래스틱 번치 그래프 매칭(Elastic Bunch Graph Matching), 은닉 마르코프 모델(Hidden Markov model) 및 신경 동기형 동적 링크 매칭(Neuronal Motivated Dynamic Link Matching)을 포함한다. 하나의 구현으로, 개인 식별 프로세스는 이미지 파일에서 식별된 얼굴들을 소셜 네트워킹 시스템에 의해 저장된 이미지에서 식별된 얼굴들과 비교한다.
특정 실시예로, 이미지 파일에서 각각의 식별된 얼굴에 대해, 개인 식별 프로세스는 잠재적 매치들의 리스트 또는 후보들의 리스트를 생성할 수 있다. 개인 식별 프로세스는 후보들의 리스트의 크기를 감소시킴으로써 얼굴 매칭의 정확도 및/또는 속도를 개선할 수 있다. 예컨대, 개인 식별 프로세스는 제1 사용자가 이미지 파일을 생성함과 동시에 제1 사용자와 동일한 위치에 있는 후보들만을 포함하여, 후보 리스트의 크기를 감소시킬 수 있다. 예컨대, 후보들의 리스트 및 제1 사용자는 동일한 이벤트(예컨대, "크리스마스 파티 2009")의 초청객일 수 있다. 일부의 구현으로, 후보들의 리스트는 또한 이미지를 업로드하는 사용자 사이의 분리도(degrees of separation)를 기초로 제한될 수 있다. 예컨대, 개인 식별 프로세스는 후보들의 풀(pool)을 사용자에 대한 2촌 이내의 분리도로 분리되는 사용자들로 제한할 수 있다. 특정 실시예로, 각각의 식별된 얼굴에 대해, 개인 식별 프로세스는 이미지 파일(203)에 대한 공간 및 시간의 근접도를 기초로 하나 이상의 매치들을 결정할 수 있다.
특정 실시예로, 개인 식별 프로세스는 이미지와 관련된 시간 및 위치 데이터를 결정할 수 있다. 특정 실시예로, 개인 식별 프로세스는 이미지 파일의 메타데이터로부터 이미지 파일의 시간 스탬프를 결정할 수 있다. 특정 실시예로, 개인 식별 프로세스는 이미지 파일의 메타데이터(예컨대, GPS 또는 다른 위치 좌표들)로부터 이미지 파일의 위치 데이터를 결정할 수 있다. 일부의 구현으로, 실시간 애플리케이션에 대하여, 개인 식별 프로세스는 이미지 파일의 업로딩과 동시에 및/또는 이미지 파일의 메타 데이터의 시간 근접도로(즉, 이미지 파일의 시간 스탬프에 매우 근접하여 또는 그 시간 스탬프와 중첩하여), 이미지 업로드 요청과 관련된 지리적 위치 데이터(예컨대, GPS 좌표들), 사용자 체크인 활동 데이터 및/또는 제1 사용자의 이벤트 데이터에 접근하여, 이미지 파일의 위치 데이터를 결정할 수 있다. 예컨대, 업로드 요청은 소셜 네트워킹 시스템이 요청하는 사용자의 지리적 위치를 결정할 수 있도록 하는 GPS 데이터를 포함할 수 있다. 일부의 구현으로, 개인 식별 프로세스는 위치 데이터베이스(104)에 접근하여, 이미지 파일과 관련된 시간 정보와 동시에 발생하는 제1 사용자의 위치 데이터 또는 체크인 활동 데이터를 결정할 수 있다. 예컨대, 개인 식별 프로세스는 이벤트 데이터베이스(102)에 접근하여, 이미지 파일과 동시에 발생하는 제1 사용자의 이벤트(따라서, 위치 데이터)를 결정할 수 있다. 특정 실시예로, 개인 식별 프로세스는 이미지 파일의 메타데이터에 접근하여, 이미지 파일과 관련된 이벤트 데이터를 결정하고 이벤트 데이터를 기초로 이미지 파일의 위치 데이터를 결정할 수 있다.
특정 실시예로, 개인 식별 프로세스는 하나 이상의 데이터 스토어에 접근하여, 이미지 파일과 관련된 시공간 정보와 공간 및 시간적으로 근접한 사용자들을 포함하는 후보들의 리스트를 생성할 수 있다. 일부의 구현으로, 개인 식별 프로세스가 이미지 파일이 이벤트(예컨대, "크리스마스 파티 2009") 동안 제1 사용자에 의해 선택되었다고 결정하면, 개인 식별 프로세스는 이벤트 데이터베이스(102)에 접근하고, 이벤트의 주최자 및 참여자(초청객 또는 회답(RSVP')한 사람)를 포함하는 후보들의 리스트를 생성할 수 있다. 예컨대, 개인 식별 프로세스는 이벤트 데이터베이스(102) 및 위치 데이터베이스(104)에 접근하고, 이벤트의 시간 구간 동안 이벤트의 위치의 500 피트 이내에 있었던 사용자들을 포함하는 후보들의 리스트를 생성할 수 있다. 예컨대, 제1 사용자의 이미지 파일이 (37°49'09.15" N, 122°28'45 11" W)의 GPS 좌표 및 2010년 10월 9일 3PM PT의 시간 스탬프를 가진다면, 얼굴 인식은 위치 데이터베이스(104)에 접근하여, 2010년 10월 9일 2:55 PM과 3:05 PM 사이에서 상기 GPS 좌표의 500 피트 이내에 있는 사용자들을 포함하는 후보들의 리스트를 생성할 수 있다. 후보의 위치 또는 사용자의 위치는 사용자의 체크인 활동 및/또는 위치 데이터(104)에 저장된 사용자의 GPS가 구비된 모바일 장치로 캡처된 사용자의 위치 데이터에 의해 (본 출원에서 앞서 기술된 바와 같이) 결정될 수 있다.
추가로, 개인 식별 프로세스는 제1 사용자와 임계 소셜 근접도 내에 있는 후보들만을 포함함으로써 후보들의 리스트의 크기를 더 줄일 수 있다. 일실시예로, 각각의 식별된 얼굴에 대해, 후보들의 리스트는 제1 사용자의 일촌 컨택인 한 세트의 사용자들로 제한된다. 다른 실시예로, 각각의 식별된 얼굴에 대해, 후보들의 리스트는 제1 사용자의 일촌 및 2촌 컨택들인 한 세트의 사용자들로 제한된다. 예컨대, 제1 사용자의 이미지 파일이 (37°49'09.15" N, 122°28'45 11" W)의 GPS 좌표 및 2010년 10월 9일 3PM PT의 시간 스탬프를 가진다면, 얼굴 인식은 사용자 프로필 데이터베이스(101) 및 위치 데이터베이스(104)에 접근하여, 또한 2010년 10월 9일 2:55 PM과 3:05 PM 사이에서 상기 GPS 좌표의 500 피트 이내에 있는 제1 사용자의 일촌 및 2촌 컨택들을 포함하는 후보들의 리스트를 생성할 수 있다. 상술한 예처럼, 소셜 그래프가 일촌 컨택들 간을 횡단할 때, 가령 시공간의 근접도와 같은 추가적인 매칭 속성을 필요로 하도록 정책들이 설정될 수 있다.
특정 실시예로, 각각의 식별된 얼굴에 대해, 개인 식별 프로세스는 이미지 파일과 관련된 메타데이터에 대한 임계 시공간의 근접도 내에 있는 사용자들을 포함하는 후보들의 리스트를 기초로 하나 이상의 매치들을 결정할 수 있다. 다른 실시예로, 각각의 식별된 얼굴에 대해, 개인 식별 프로세스는 이미지 파일과 관련된 메타데이터에 대한 시공간의 근접도 내에 있고, 이미지 파일을 업로드한 제1 사용자에 대한 소셜 근접도 내에 있는 사용자들을 포함하는 후보들의 리스트를 기초로 하나 이상의 매치들을 결정할 수 있다. 예컨대, 각각의 식별된 얼굴에 대해, 개인 식별 프로세스는 얼굴 인식 컴퓨터 소프트웨어를 사용하여, 식별된 얼굴과 이미지 파일에 대한 시공간 근접도 내에 있는 사용자들을 포함하는 후보들의 각 리스트 사이의 상관 계수를 계산할 수 있다. 하나의 구현으로, 얼굴 인식 컴퓨터 소프트웨어는 비교를 위해 하나 이상의 프로필 사진 또는 후보 사용자들과 관련된 다른 사진들에 접근할 수 있다. 하나의 구현으로, 개인 식별 프로세스는 상관 계수가 0.8보다 크다면 후보가 식별된 얼굴와 매치한다고 결정한다. 일부의 구현으로, 매칭이 하나 이상의 잠재적 매치를 산출하는 경우, 개인 식별 프로세스는 가장 높은 점수의 매치를 선택할 수 있거나 매치들 모두를 사용자에게 표시할 수 있다. 특정 실시예로, 개인 식별 프로세스는 이미지 파일에서 하나 이상의 매치들을 제1 사용자(204)에게 표시할 수 있다.
도 3은 모바일 전화에 의해 디스플레이되는 한 세트의 개인들을 포함하는 이미지의 예를 도시한다. 예컨대, 이미지(302)는 "크리스마스 파티 2009" 이벤트에서 제1 사용자의 모바일 전화(301)로 제1 사용자에 의해 찍힌 사진일 수 있다. 예컨대, 이미지(302)는 제1 사용자가 "크리스마스 파티 2009" 이벤트에서 모바일 전화의 카메라 기능을 활성화할 때, 제1 사용자의 모바일 전화에 의해 호스팅된 뷰파인더 사용자 인터페이스에서 디스플레이되는 정지 영상 또는 동영상일 수 있다. 개인 식별 프로세스는 모바일 전화(301) 또는 (이미지가 미디어 데이터베이스(105)를 업로드했다면) 미디어 데이터베이스(105)에 저장된 이미지(302)에 접근하고 이미지(302)에서 하나 이상의 얼굴들을 식별하며, 도 2에 도시된 바와 같이, 공간 및 시간의 근접도를 기초로 하나 이상의 식별된 얼굴들과 각각 매칭하는 하나 이상의 사용자들을 결정할 수 있다. 하나의 구현으로, 사용자는 대상 이미지에 캡처된 하나 이상의 사람들에 관한 정보를 수신하도록 소셜 네트워킹 시스템으로 실시간 요청을 송신할 수 있다.
도 4는 이미지 파일에서 매칭하는 사용자들을 표시하는 예시적인 사용자 인터페이스를 도시한다. 예컨대, 사용자는 소셜 네트워킹 시스템에 대한 실시간 식별 요청과 관련하여 캡처된 이미지를 업로드하는 모바일 장치에 호스팅되는 클라이언트 애플리케이션을 사용할 수 있다. 그 응답은 사용자가 이미지에서 캡처된 대상 사용자의 이름을 기억하는데 어려움이 있는 경우, 사용자가 하나 이상의 사용자들의 이름(및 가령 관계 상태 정보와 같은 가능한 다른 정보)을 볼 수 있도록 한다. 다른 구현으로, 제1 사용자는 체크인 프로세스 흐름의 일부로서 이미지를 캡처할 수 있고, 개인 식별 기능을 사용하여 이미지 내에 캡처되고 식별된 다른 사용자들을 체크인할 수 있다. 특정 실시예로, 개인 식별 프로세스는 하나 이상의 데이터 스토어에 접근하고 매칭하는 사용자 또는 식별된 얼굴과 매칭하는 사용자와 관련된 정보를 표시할 수 있다. 특정 실시예로, 개인 식별 프로세스는 이미지 파일을 오버래핑하는 프레임에서 매칭하는 사용자와 관련된 정보를 표시할 수 있다. 예컨대, 도 4에서, 개인 식별 프로세스는 매칭된 얼굴을 식별하는 박스(401)를 표시하고, 사진(402)을 오버레잉하는 프레임에서 매칭하는 사용자와 관련된 정보를 표시할 수 있다. 예컨대, 개인 식별 프로세스는 사용자 프로필 데이터베이스(101)에 접근하고, 매칭하는 사용자에 대한 사용자 프로필 정보(예컨대, 이름, 프로필 사진), 소셜 그래프 정보(예컨대, "함께 아는 친구 5명") 및/또는 제휴 정보(예컨대, "USC '05")를 표시할 수 있다. 특정 실시예로, 매칭하는 사용자와 관련된 정보를 디스플레이하는 프레임은 하나 이상의 선택가능한 아이콘을 포함할 수 있다. 예컨대, 아이콘은 문자열, 사진 또는 지리적 아이콘일 수 있다. 예컨대, 제1 사용자는 아이콘을 선택하여 개인 식별 프로세스가 사진과 매칭하는 사용자를 태그하거나 친구 초대를 매칭하는 사용자에게 송신할 수 있도록 할 수 있다. 특정 실시예로, 개인 식별 프로세스는 옵션을 표시하여 소셜 네트워킹 시스템에 이미지 파일을 저장할 수 있다. 예컨대, 개인 식별 프로세스는 선택가능한 문자열 "이 사진을 게시하기"를 표시할 수 있고, 선택되는 경우, 개인 식별 프로세스가 미디어 데이터베이스(105)에 이미지 파일을 저장하고 이미지 파일을 제1 사용자의 프로필 페이지로 게시할 수 있도록 한다. 도 4a는 이미지 파일에서 하나 이상의 식별된 얼굴의 매치를 표시하는 예시적인 사용자 인터페이스를 도시한다. 도 4a의 예에서, 개인 식별 프로세스는 식별된 얼굴에 대한 박스(403), 및 2명의 매칭하는 사용자들과 관계되는 사용자 프로필 정보(예컨대, 이름, 프로필 사진) 및 소셜 그래프 정보(예컨대, "함께 아는 친구 7명")를 포함하는 프레임(404)을 디스플레이할 수 있다. 예컨대, 제1 사용자는 2개의 매치들 중 하나를 선택하여(예컨대, 이름 또는 프로필 사진을 두드려서) 매치를 확인할 수 있다.
다양한 구현들이 가능하다. 제1 사용자의 클라이언트 장치(122), 셋톱 박스 또는 디지털 비디오 레코더에 의해 녹화된 텔레비전 프로그램의 비디오 클립의 예에서, 개인 식별 프로세스는 비디오 클립에 대해 시간적 및/또는 공간적 근접도 내에 있는 하나 이상의 텔레비전 프로그램 내의 배우들로 고려사항을 제한함으로써 후보들의 리스트의 크기를 감소시킬 수 있다. 특정 실시예로, 개인 식별 프로세스는 비디오 클립의 시간 및 위치 데이터를 결정할 수 있다. 예컨대, 개인 식별 프로세스는 비디오 클립의 메타데이터로부터 비디오 클립의 시간 및/또는 위치 데이터를 결정할 수 있다. 예컨대, 개인 식별 프로세스는 비디오 클립의 시간 스탬프를 결정할 수 있다. 예컨대, 개인 식별 프로세스는 클라이언트 장치(122)(예컨대, GPS가 구비된 모바일 전화) 또는 셋톱 박스(예컨대, 특정 케이블 또는 위성 텔레비전 프로그램 제공자에 의한 특정 텔레비전 마켓용 셋톱 박스)의 위치 데이터를 기초로 비디오 클립의 위치 데이터를 결정할 수 있다. 특정 실시예로, 개인 식별 프로세스는 텔레비전 프로그래밍(예컨대, 젬스타(Gemstar) TV 가이드)의 데이터 스토어에 접근하고, 비디오 클립과 동일한 지리적 위치(예컨대, 뉴욕시)에서 시청자에게 동시에 전송되는 하나 이상의 텔레비전 프로그램을 식별할 수 있다. 다른 실시예로, 개인 식별 프로세스는 오디오 매칭 프로그램을 적용하여, 비디오 클립의 오디오 부분을 기초로 비디오 클립과 관련된 하나 이상의 텔레비전 프로그램들을 식별할 수 있다. 특정 실시예로, 개인 식별 프로세스는 하나 이상의 데이터 스토어에 접근하고, 하나 이상의 텔레비전 프로그램들 내의 배우들을 포함하는 후보들의 리스트를 생성할 수 있다. 특정 실시예로, 비디오 클립에서 각각의 식별된 얼굴에 대하여, 개인 식별 프로세스는 후보들의 리스트를 기초로 이미지 파일에서 하나 이상의 얼굴 매치들을 결정할 수 있다. 특정 실시예로, 개인 식별 프로세스는 이미지 파일에서 하나 이상의 매치들을 제1 사용자에게 표시할 수 있다. 예컨대, 개인 식별 프로세스는 제1 사용자에게 비디오 클립을 오버레잉하는 프레임에서 매칭된 배우의 이름, 팬 페이지로의 링크를 표시할 수 있다. 다른 실시예로, 개인 식별 프로세스는 소셜 네트워킹 시스템의 제1 사용자의 월 포스트에 게시하고, 제1 사용자가 시청중인 하나 이상의 텔레비전 프로그램을 나타낼 수 있다. 일부 실시예로, 개인 식별 프로세스는 제1 사용자가 시청중인 하나 이상의 텔레비전 프로그램을 기초로 제1 사용자에게 타겟팅된 광고를 전달할 수 있다.
상술한 실시예가 다양한 네트워크 구성에서 구현될 수 있는 한편, 하기에는 훈시적인 목적이나 이에 제한되지 않는 예시적인 네트워크 환경을 도시한다. 도 5는 예시적인 네트워크 환경(500)을 도시한다. 네트워크 환경(500)은 하나 이상의 서버(520) 및 하나 이상의 클라이언트(530)를 서로 결합하는 네트워크(510)를 포함한다. 또한, 네트워크 환경(500)은 하나 이상의 서버(520)에 연결된 하나 이상의 데이터 저장소(540)를 포함한다. 특정 실시예는 네트워크 환경(500)에서 구현될 수 있다. 예컨대, 소셜 네트워킹 시스템 전단(frontend)(120)은 하나 이상의 서버(520)에 의해 호스팅된 소프트웨어 프로그램에 기록될 수 있다. 예컨대, 이벤트 데이터베이스(102)는 하나 이상의 저장소(540)에 저장될 수 있다. 특정 실시예로, 네트워크(510)는 인트라넷, 엑스트라넷, 가상 사설 네트워크(VPN), 근거리 네트워크(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 대도시 네트워크(MAN), 인터넷의 일부나 또 다른 네트워크(510), 또는 2 이상의 이런 네트워크(510)들의 조합이다. 본 명세서는 임의의 적합한 네트워크(510)를 고려한다.
하나 이상의 링크(550)는 서버(520)나 클라이언트(530)를 네트워크(510)와 연결한다. 특정 실시예로, 하나 이상의 링크(550)는 하나 이상의 유선, 무선 또는 광 링크(550)를 각각 포함한다. 특정 실시예로, 하나 이상의 링크(550)는 인트라넷, 엑스트라넷, VPN, LAN, WLAN, WAN, MAN, 인터넷의 일부나 또 다른 링크(550), 또는 2 이상의 이런 링크(550)들의 조합을 각각 포함한다. 본 명세서는 서버(520)와 클라이언트(530)를 네트워크(510)와 연결하는 임의의 적합한 링크(550)를 고려한다.
특정 실시예로, 각 서버(520)는 일체형 서버(unitary server)일 수 있거나, 다수의 컴퓨터 또는 다수의 데이터센터에 걸쳐 있는 분산형 서버일 수 있다. 서버(520)는 예로써 제한 없이, 웹서버, 뉴스 서버, 메일 서버, 메시지 서버, 광고 서버, 파일 서버, 애플리케이션 서버, 교환 서버, 데이터베이스 서버 또는 프록시 서버와 같이, 다양한 타입일 수 있다. 특정 실시예로, 각 서버(520)는 서버(520)에 의해 구현되거나 지원되는 적절한 기능을 수행하기 위한 하드웨어, 소프트웨어 또는 임베디드 논리 소자 또는 2 이상의 이런 소자들의 조합을 포함할 수 있다. 예컨대, 웹서버는 일반적으로 웹페이지를 포함하는 웹사이트 또는 웹페이지의 특정 요소를 호스팅할 수 있다. 더 상세하게, 웹서버는 HTML 파일이나 다른 파일 타입을 호스팅할 수 있거나, 요청시 파일을 동적으로 생성하거나 구축하고 이를 클라이언트(530)로부터의 HTTP 또는 다른 요청에 응답하여 클라이언트(530)로 통신할 수 있다. 메일 서버는 일반적으로 전자 메일 서비스를 다양한 클라이언트(530)에게 제공할 수 있다. 데이터베이스 서버는 일반적으로 하나 이상의 데이터 스토어에 저장되는 데이터를 관리하기 위한 인터페이스를 제공할 수 있다.
특정 실시예로, 하나 이상의 데이터 저장소(540)는 하나 이상의 링크(550)를 통해 하나 이상의 서버(520)로 통신가능하게 연결될 수 있다. 특정 실시예로, 데이터 저장소(540)는 다양한 타입의 정보를 저장하는데 사용될 수 있다. 특정 실시예로, 데이터 저장소(540)에 저장된 정보는 특정 데이터 구조에 따라 조직화될 수 있다. 특정 실시예로, 각 데이터 저장소(540)는 관계형 데이터베이스일 수 있다. 특정 실시예는 서버(520)나 클라이언트(530)가 데이터 저장소(540)에 저장된 정보를, 예컨대 검색, 수정, 추가 또는 삭제와 같이, 관리할 수 있도록 하는 인터페이스를 제공할 수 있다.
특정 실시예로, 각 클라이언트(530)는 하드웨어, 소프트웨어 또는 임베디드 논리 소자 또는 2 이상의 이런 소자들의 조합을 포함하고, 클라이언트(530)에 의해 구현되거나 지원되는 적절한 기능을 수행할 수 있는 전자식 장치일 수 있다. 예로써 제한 없이, 클라이언트(530)는 데스크톱 컴퓨터 시스템, 노트북 컴퓨터 시스템, 넷북 컴퓨터 시스템, 휴대용(handheld) 전자식 장치 또는 모바일 전화일 수 있다. 본 명세서는 임의의 적절한 클라이언트(530)를 고려한다. 클라이언트(530)는 클라이언트(530)에서의 네트워크 사용자가 네트워크(530)에 접근할 수 있도록 할 수 있다. 클라이언트(530)는 그 사용자가 다른 클라이언트(530)에서의 다른 사용자들과 통신할 수 있도록 할 수 있다.
클라이언트(530)는, 가령 MICROSOFT INTERNET EXPLORER, GOOGLE CHROME 또는 MOZILLA FIREFOX와 같은 웹 브라우저(532)를 가질 수 있고, 가령 TOOLBAR 또는 YAHOO TOOLBAR와 같은 하나 이상의 애드-온(add-ons), 플러그-인(plug-ins) 또는 다른 확장부(extensions)를 가질 수 있다. 클라이언트(530)에서의 사용자는 URL(Uniform Resource Locator) 또는 웹 브라우저(532)에 대한 다른 주소를 서버(520)로 입력할 수 있고, 웹 브라우저(532)는 하이퍼텍스트 전송 프로토콜(HTTP) 요청을 생성하고 HTTP 요청을 서버(520)로 통신할 수 있다. 서버(520)는 HTTP 요청을 수락하고, HTTP 요청에 응답하여 하나 이상의 하이퍼텍스트 마크업 언어(HTML) 파일을 클라이언트(530)로 통신할 수 있다. 클라이언트(530)는 사용자에게 표시하기 위해 서버(520)로부터 HTML 파일에 기초한 웹페이지를 제공할 수 있다. 본 명세서는 임의의 적절한 웹페이지 파일을 고려한다. 예로써 제한 없이, 웹페이지는 특정한 필요에 따라 HTML 파일, 확장형 하이퍼텍스트 마크업 언어(XHTML) 파일 또는 확장형 마크업 언어(XML) 파일로부터 렌더링할 수 있다. 또한, 이런 페이지는, 예로써 제한 없이 JAVASCRIPT, JAVA, MICROSOFT SILVERLIGHT, 가령 AJAX(비동기식 JAVASCRIPT 및 XML)와 같은 마크업 언어와 스크립트의 조합과 같은 스크립트를 실행할 수 있다. 본 명세서에서, 웹페이지로의 참조는 (브라우저가 웹페이지를 렌더링하는데 사용될 수 있는) 하나 이상의 해당 웹페이지 파일을 포함하며, 적절한 경우, 그 역도 또한 같다.
도 6은 본 발명의 일부 실시예로 사용될 수 있는 예시적인 컴퓨터 시스템(600)을 도시한다. 본 명세서는 임의의 적절한 수의 컴퓨터 시스템(600)을 고려한다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(600)을 고려한다. 예로써 제한 없이, 컴퓨터 시스템(600)은 임베디드 컴퓨터 시스템, 시스템-온-칩(SOC), 단일-보드 컴퓨터 시스템(SBC)(예컨대, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 태블릿 컴퓨터 시스템, 상호작용형 키오스크(kiosk), 메인 프레임, 컴퓨터 시스템 메쉬(mesh), 모바일 전화, 개인 정보 단말기(PDA), 서버 또는 이들의 2 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(600)은 하나 이상의 컴퓨터 시스템(600)들을 포함할 수 있거나; 일체형 또는 분산형일 수 있거나; 다수의 위치에 걸쳐 있거나, 다수의 기계에 걸쳐 있거나; 하나 이상의 네트워크에 하나 이상의 클라우드 성분을 포함할 수 있는 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(600)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실질적으로 공간적 또는 시간적 제한 없이 실행할 수 있다. 예로써 제한 없이, 하나 이상의 컴퓨터 시스템(600)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 일괄 모드로 실행할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(600)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 다른 시기에 또는 다른 위치에서 실행할 수 있다.
특정 실시예로, 컴퓨터 시스템(600)은 프로세서(602), 메모리(604), 저장소(606), 입력/출력(I/O) 인터페이스(608), 통신 인터페이스(610) 및 버스(612)를 포함한다. 본 명세서가 특정 배열로 특정한 수의 특정 구성요소를 갖는 특정 컴퓨터 시스템을 기술하고 도시하지만, 본 명세서는 임의의 적절한 구성으로 임의의 적절한 수의 임의의 적절한 구성요소를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예로, 프로세서(602)는 가령 컴퓨터 프로그램을 구성하는 명령어와 같은 명령어를 실행하기 위한 하드웨어를 포함한다. 예로서 제한 없이, 명령어를 실행하기 위해, 프로세서(602)는 내부 레지스터, 내부 캐시, 메모리(604) 또는 저장소(606)로부터 명령어를 검색(또는 페치(fetch))할 수 있고; 명령어를 디코딩하고 실행한 후; 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(604) 또는 저장소(606)에 기록할 수 있다. 특정 실시예로, 프로세서(602)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 캐시를 포함할 수 있다. 적절한 경우, 본 명세서는 임의의 적절한 수의 임의의 적절한 내부 캐시를 포함하는 프로세서(602)를 고려한다. 예로써 제한 없이, 프로세서(602)는 하나 이상의 명령어 캐시, 하나 이상의 데이터 캐시 및 하나 이상의 변환 참조 버퍼(translation look-aside buffers, TLBs)를 포함할 수 있다. 명령어 캐시에서 명령어는 메모리(604) 또는 저장소(606)에서 명령어의 사본일 수 있고, 명령어 캐시는 프로세서(602)에 의해 이들 명령어의 검색 속도를 높일 수 있다. 데이터 캐시에서 데이터는 프로세서(602)에서 실행하는 이어지는 명령어에 의해 접근하거나 메모리(604)나 저장소(606)로 기록하기 위해 프로세서(602)에서 실행된 이전 명령어의 결과를 운영하거나; 다른 적절한 데이터를 운영하도록 프로세서(602)에서 실행하는 명령어를 위한 메모리(604)나 저장소(606) 내의 데이터의 사본일 수 있다. 데이터 캐시는 프로세서(602)에 의한 읽기 또는 쓰기 동작의 속도를 높일 수 있다. TLB들을 프로세서(602)에 대한 가상-주소 변환의 속도를 높일 수 있다. 특정 실시예로, 프로세서(602)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 레지스터를 포함할 수 있다. 적절한 경우, 본 명세서는 임의의 적절한 수의 임의의 적절한 내부 레지스터를 포함하는 프로세서(602)를 고려한다. 적절한 경우, 프로세서(602)는 하나 이상의 산술 논리 유닛(ALUs)을 포함할 수 있거나; 멀티-코어 프로세서일 수 있거나; 하나 이상의 프로세서(602)를 포함할 수 있다. 본 명세서가 특정 프로세서를 기술하고 도시하지만, 본 명세서는 임의의 적절한 프로세서를 고려한다.
특정 실시예로, 메모리(604)는 프로세서(602)가 실행하는 명령어 또는 프로세서(602)가 운영하는 데이터를 저장하기 위한 메인 메모리를 포함한다. 예로써 제한 없이, 컴퓨터 시스템(600)은 저장소(606)나 또 다른 소스(가령, 예컨대 또 다른 컴퓨터 시스템(600))에서 메모리(604)로 명령어를 로딩할 수 있다. 이후, 프로세서(602)는 메모리(604)에서 내부 레지스터나 내부 캐시로 명령어를 로딩할 수 있다. 명령어를 실행하기 위해, 프로세서(602)는 내부 레지스터나 내부 캐시로부터 명령어를 검색하고 이들을 디코딩할 수 있다. 명령어의 실행 중 또는 실행 후, 프로세서(602)는 (중간 결과 또는 최종 결과일 수 있는) 하나 이상의 결과를 내부 레지스터나 내부 캐시로 기록할 수 있다. 이후, 프로세서(602)는 하나 이상의 이런 결과를 메모리(604)에 기록할 수 있다. 특정 실시예로, 프로세서(602)는 (저장소(606) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(604)에서 단지 명령어만을 실행하며, (저장소(606) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(604)에서 단지 데이터만을 운영한다. (주소 버스 및 데이터 버스를 각각 포함할 수 있는) 하나 이상의 메모리 버스는 프로세서(602)를 메모리(604)로 연결할 수 있다. 하기에 기술되는 바와 같이, 버스(612)는 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예로, 하나 이상의 메모리 관리 유닛(MMUs)은 프로세서(602)와 메모리(604) 사이에 상주하며, 프로세서(602)에 의해 요청되는 메모리(604)로의 접근을 용이하게 한다. 특정 실시예로, 메모리(604)는 랜덤 액세스 메모리(RAM)를 포함한다. 적절한 경우, 이런 RAM은 휘발성 메모리일 수 있다. 적절한 경우, 이런 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 게다가, 적절한 경우, 이런 RAM은 단일 포트형 또는 다중-포트형 RAM일 수 있다. 본 명세서는 임의의 적절한 RAM을 고려한다. 적절한 경우, 메모리(604)는 하나 이상의 메모리(602)를 포함할 수 있다. 본 명세서가 특정 메모리를 기술하고 도시하지만, 본 명세서는 임의의 적절한 메모리를 고려한다.
특정 실시예로, 저장소(606)는 데이터용 또는 명령어용 대용량 저장소를 포함한다. 예로써 제한 없이, 저장소(606)는 HDD, 플로피 디스크 드라이브, 플래시 메모리, 광디스크, 자기-광학 디스크, 자기 테이프, 범용 직렬 버스(USB) 드라이브 또는 이들의 2 이상의 조합을 포함할 수 있다. 적절한 경우, 저장소(606)는 착탈식 또는 비-착탈식(또는 고정) 매체를 포함할 수 있다. 적절한 경우, 저장소(606)는 컴퓨터 시스템(600)의 내부 또는 외부에 있을 수 있다. 특정 실시예로, 저장소(606)는 비휘발성, 고체-상태(solid-state) 메모리이다. 특정 실시예로, 저장소(606)는 읽기 전용 메모리(ROM)를 포함한다. 적절한 경우, 이런 ROM은 마스크-프로그램화된 ROM, 프로그램가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적 소거가능 PROM(EEPROM), 전기적 변경가능 ROM(EAROM), 플래시 메모리 또는 이들의 2 이상의 조합일 수 있다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 대용량 저장소(606)를 고려한다. 적절한 경우, 저장소(606)는 프로세서(602)와 저장소(606) 사이의 통신을 용이하게 하는 하나 이상의 저장소 제어 유닛을 포함할 수 있다. 적절한 경우, 저장소(606)는 하나 이상의 저장소(606)를 포함할 수 있다. 본 명세서가 특정 저장소를 기술하고 도시하지만, 본 명세서는 임의의 적절한 저장소를 고려한다.
특정 실시예로, I/O 인터페이스(608)는 컴퓨터 시스템(600)과 하나 이상의 I/O 장치 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 적절한 경우, 컴퓨터 시스템(600)은 하나 이상의 이들 I/O 장치를 포함할 수 있다. 하나 이상의 이들 I/O 장치는 사람과 컴퓨터 시스템(600) 사이의 통신을 가능하게 할 수 있다. 예로써 제한 없이, I/O 장치는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라(still camera), 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼(trackball), 비디오 카메라, 또 다른 적절한 I/O 장치 또는 이들의 2 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 명세서는 임의의 적절한 I/O 장치 및 이에 대한 적절한 I/O 인터페이스(608)를 고려한다. 적절한 경우, I/O 인터페이스(608)는 프로세서(602)가 하나 이상의 이들 I/O 장치를 구동할 수 있도록 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 적절한 경우, I/O 인터페이스(608)는 하나 이상의 I/O 인터페이스(608)를 포함할 수 있다. 본 명세서가 특정 I/O 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 I/O 인터페이스를 고려한다.
특정 실시예로, 통신 인터페이스(610)는 컴퓨터 시스템(600)과 하나 이상의 다른 컴퓨터 시스템(600)이나 하나 이상의 네트워크 사이의 통신(가령, 예컨대 패킷-기반 통신)을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로써 제한 없이, 통신 인터페이스(610)는 이더넷이나 다른 유선-기반 네트워크로 통신하기 위한 네트워크 인터페이스 제어장치(NIC)나 네트워크 어댑터 또는 가령 WI-FI 네트워크와 같이 무선 네트워크로 통신하기 위한 무선 NIC(WNIC)나 무선 어댑터를 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크 및 이에 대한 임의의 적절한 통신 인터페이스(610)를 고려한다. 예로써 제한 없이, 컴퓨터 시스템(600)은 애드 혹 네트워크(ad hoc network), 개인 영역 네트워크(PAN), 근거리 네트워크(LAN), 광역 네트워크(WAN), 대도시 네트워크(MAN), 인터넷의 하나 이상의 부분 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 하나 이상의 이런 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로써, 컴퓨터 시스템(600)은 무선 PAN(WPAN)(가령, 예컨대 BLUETOOTH WPAN), WI-FI 네트워크(가령, 예컨대 802.11a/b/g/n WI-FI 네트워크, 802.11s 메쉬 네트워크), WI-MAX 네트워크, 셀룰러폰 네트워크(가령, 예컨대 GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data Rates for GSM Evolution) 네트워크, UMTS(Universal Mobile Telecommunications System) 네트워크, LTE(Long Term Evolution) 네트워크), 다른 적절한 무선 네트워크 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 적절한 경우, 컴퓨터 시스템(600)은 임의의 이들 네트워크에 대한 임의의 적절한 통신 인터페이스(610)를 포함할 수 있다. 적절한 경우, 통신 인터페이스(610)는 하나 이상의 통신 인터페이스(610)를 포함할 수 있다. 본 명세서가 특정 통신 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시예로, 버스(612)는 컴퓨터 시스템(600)의 구성요소를 서로 연결하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로써 제한 없이, 버스(612)는 AGP(Accelerated Graphics Port)이나 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCI-X(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standard Association local) 버스, UART(Universal Asynchronous Receiver/Transmitter) 인터페이스, I2C(Inter-Integrated Circuit) 버스, SPI(Serial Peripheral Interface) 버스, SD(Secure Degital) 메모리 인터페이스, MMC(MultiMediaCard) 메모리 인터페이스, MS(Memory Stick) 메모리 인터페이스, SDIO(Secure Digital Input Output) 인터페이스, McBSP(Multi-channel Buffered Serial Port) 버스, USB(Universal Serial Bus) 버스, GPMC(General Purpose Memory Controller) 버스, SDRC(SDRAM Controller) 버스, GPIO(General Purpose Input/Output) 버스, S-Video(Separate Video) 버스, DSI(Display Serial Interface) 버스, AMBA(Advanced Microcontroller Bus Architecture) 버스, 또 다른 적절한 버스 또는 2 이상의 이런 버스의 조합을 포함할 수 있다. 적절한 경우, 버스(612)는 하나 이상의 버스(612)를 포함할 수 있다. 본 명세서가 특정 버스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 버스나 인터커넥트를 고려한다.
상술한 클라이언트측 기능은 실행시 프로그램가능한 프로세서가 상술한 동작을 구현하도록 하는 컴퓨터 판독가능한 저장매체에 저장된 일련의 명령어로 구현될 수 있다. 클라이언트 장치(122)가 다양한 다른 하드웨어 및 컴퓨팅 시스템으로 구현될 수 있는 한편, 도 7은 다양한 특정 실시예에 따라 클라이언트 또는 모바일 장치의 예시적인 컴퓨팅 플랫폼의 주요 구성요소의 개략도를 도시한다. 특정 실시예로, 컴퓨팅 플랫폼(702)은 제어장치(704), 메모리(706) 및 입출력 서브시스템(710)을 포함할 수 있다. 특정 실시예로, 제어장치(704)는 명령어를 실행하고 컴퓨팅 플랫폼과 관련된 동작을 수행하도록 구성된 하나 이상의 프로세서 및/또는 하나 이상의 마이크로컨트롤러를 포함할 수 있다. 다양한 실시예로, 제어장치(704)는 하나 이상의 집적회로 및 인쇄회로기판을 포함하는 단일-칩, 다중 칩 및/또는 다른 전기 부품으로 구현될 수 있다. 제어장치(704)는 명령어용, 데이터용 또는 컴퓨터 주소용 임시 로컬 저장을 위한 캐시 메모리 유닛을 선택적으로 포함할 수 있다. 예로써, 메모리로부터 검색된 명령어를 사용하여, 제어장치(704)는 컴퓨팅 플랫폼(702)의 구성요소들 사이의 입출력 데이터의 수신 및 조정을 제어할 수 있다. 예로써, 제어장치(704)는 예컨대 2D/3D 그래픽 프로세싱, 이미지 프로세싱 또는 비디오 프로세싱과 같은, 컴퓨팅 플랫폼(702)의 특정 처리작업 전용 하나 이상의 프로세서 또는 하나 이상의 제어장치를 포함할 수 있다.
적절한 운영 시스템과 함께 제어장치(704)는 컴퓨터 코드의 형태로 명령어를 실행하고 데이터를 생성 및 사용하도록 동작할 수 있다. 예로써 제한 없이, 운영 시스템은 윈도우 기반(Windows-based) 운영 시스템, 맥 기반(Mac-based) 운영 시스템, 유닉스나 리눅스 기반(Unix or Linux-based) 운영 시스템, 심비안 기반(Symbian-based) 운영 시스템 또는 다른 적절한 운영 시스템일 수 있다. 운영 시스템, 다른 컴퓨터 코드 및/또는 데이터는 제어장치(704)와 동작가능하게 연결되는 메모리(706) 내에 물리적으로 저장될 수 있다.
메모리(706)는 하나 이상의 저장매체를 포함할 수 있고, 일반적으로 컴퓨팅 플랫폼(702)에 의해 사용되는 컴퓨터 코드(예컨대, 소프트웨어 및/또는 펌웨어) 및 데이터를 저장할 장소를 제공할 수 있다. 예로써, 메모리(706)는 읽기 전용 메모리(ROM) 및/또는 랜덤 액세스 메모리(RAM)를 포함하는 다양한 유형의(tangible) 컴퓨터 판독가능한 저장매체를 포함할 수 있다. 본 기술분야에서 널리 공지된 바와 같이, ROM은 데이터 및 명령어를 단방향으로 제어장치(704)에 전달하도록 작동하며, RAM은 양방향 방식으로 데이터 및 명령어를 전달하는데 통상 사용된다. 또한, 메모리(706)는 예로써, 하드 디스크 드라이브(HDDs), 고체-상태 드라이브(SSDs), 플래시 메모리 카드(예컨대, Secured Digital 또는 SD 카드, 임베디드 멀티미디어카드 또는 eMMD 카드) 또는 제어장치(704)와 양방향으로 연결되는 다른 적절한 메모리 형식의 형태로 하나 이상의 고정식 저장장치를 포함할 수 있다. 또한, 정보는 필요한 경우 컴퓨팅 플랫폼(702)으로 로딩되거나 설치되는 하나 이상의 착탈식 저장매체에 상주할 수 있다. 예로써, 임의의 다수의 적절한 메모리 카드(예컨대, SD 카드)가 임시로 또는 영구적으로 컴퓨팅 플랫폼(702)에 로딩될 수 있다.
입출력 서브시스템(710)은 제어장치(704)와 동작가능하게 연결되는 하나 이상의 입출력 장치를 포함할 수 있다. 예컨대, 입출력 서브시스템은 키보드, 마우스, 하나 이상의 버튼, 썸 휠(thumb wheel) 및/또는 디스플레이(예컨대, 액정 디스플레이(LCD), 발광 다이오드(LED), 간섭 변조기 디스플레이(IMOD) 또는 임의의 다른 적절한 디스플레이 기술)를 포함할 수 있다. 일반적으로, 입력 장치는 외부 세계로부터 컴퓨팅 플랫폼(702)으로 데이터, 명령어 및 응답을 전달하도록 구성된다. 디스플레이는 일반적으로 컴퓨팅 플랫폼(702)의 사용자와 모바일 장치를 실행하는 운영 시스템 또는 애플리케이션(들) 사이의 사용이 용이한 시각적 인터페이스를 제공하는 그래픽 사용자 인터페이스(GUI)를 디스플레이하도록 구성된다. 일반적으로, GUI는 프로그램, 파일 및 그래픽 이미지를 갖는 동작 옵션을 표시한다. 동작 중, 사용자는 관련 기능 및 작업을 개시하기 위해 디스플레이 상에 디스플레이되는 다양한 그래픽 이미지를 선택하고 활성화할 수 있다. 또한, 입출력 서브시스템(710)은 가령 터치 패드 및 터치 스크린과 같은 터치 기반 장치를 포함할 수 있다. 터치 패드는 사용자의 터치-기반 입력을 감지하는 표면을 포함하는 입력 장치이다. 마찬가지로, 터치 스크린은 사용자 터치 입력의 존재 및 위치를 감지하는 디스플레이이다. 또한, 입출력 시스템(710)은 가령 2개 또는 3개의 손가락 터치와 같은 하나 이상의 터치 입력의 존재, 위치 및 움직임을 식별할 수 있는 듀얼 터치나 멀티 터치 디스플레이 또는 터치 패드를 포함할 수 있다.
특정 실시예로, 컴퓨팅 플랫폼(702)은 컴퓨팅 플랫폼(702)의 다양한 기능을 용이하게 하도록 제어장치(704)와 동작가능하게 연결되는 오디오 서브시스템(712), 카메라 서브시스템(712), 무선 통신 서브시스템(716), 센서 서브시스템(718) 및/또는 유선 통신 서브시스템(720)을 추가로 포함할 수 있다. 예컨대, 오디오 신호를 처리하도록 구성된 스피커, 마이크로폰 및 코덱 모듈을 포함하는 오디오 서브시스템(712)은 가령 음성 인식, 음성 복제, 디지털 레코딩 및 전화 기능과 같은 음성-이용가능한 기능을 용이하게 하는데 이용될 수 있다. 예컨대, 광학 센서(예컨대, 전하 결합 소자(charged coupled device, CCD) 또는 상보성 금속 산화막 반도체(CMOS) 이미지 센서)를 포함하는 카메라 서브시스템(712)은 가령 레코딩 사진 및 비디오 클립과 같은 카메라 기능을 용이하게 하는데 이용될 수 있다. 예컨대, 유선 통신 서브시스템(720)은 파일 전송용 범용 직렬 버스(USB) 포트 또는 근거리 네트워크(LAN)로의 연결용 이더넷 포트를 포함할 수 있다.
무선 통신 서브시스템(716)은 예컨대 무선 PAN(WPAN)(가령, 예컨대 BLUETOOTH WPAN, 적외선 PAN), WI-FI 네트워크(가령, 예컨대 802.11a/b/g/n WI-FI 네트워크, 802.11s 메쉬 네트워크), WI-MAX 네트워크, 셀룰러폰 네트워크(가령, 예컨대 GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data Rates for GSM Evolution) 네트워크, UMTS(Universal Mobile Telecommunications System) 네트워크 및/또는 LTE(Long Term Evolution) 네트워크)와 같은, 하나 이상의 무선 네트워크상에서 동작하도록 설계될 수 있다. 추가로, 무선 통신 서브시스템(716)은 컴퓨팅 플랫폼(702)이 다른 무선 장치용 기지국(base station)으로서 구성될 수 있도록, 호스팅 프로토콜을 포함할 수 있다.
센서 서브시스템(718)은 추가 입력을 제공하고 컴퓨팅 플랫폼(702)의 다중 기능을 용이하게 하는 하나 이상의 센서 장치를 포함할 수 있다. 예컨대, 센서 서브시스템(718)은 위치 측정용 GPS 센서, 고도 측정용 고도계(altimeter), 모바일 장치의 방위결정용 모션 센서(motion sensor), 카메라 서브시스템(714)을 갖는 촬영기능용 광센서, 주변온도 측정용 온도 센서 및/또는 보안 애플리케이션용 생체인식 센서(예컨대, 지문인식장치)를 포함할 수 있다.
특정 실시예로, 컴퓨팅 플랫폼(702)의 다양한 구성요소는 (하드웨어 및/또는 소프트웨어를 포함하는) 하나 이상의 버스로 서로 동작가능하게 연결될 수 있다. 예로써 제한 없이, 하나 이상의 버스는 AGP(Accelerated Graphics Port)이나 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCI-X(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standard Association local) 버스, UART(Universal Asynchronous Receiver/Transmitter) 인터페이스, I2C(Inter-Integrated Circuit) 버스, SPI(Serial Peripheral Interface) 버스, SD(Secure Degital) 메모리 인터페이스, MMC(MultiMediaCard) 메모리 인터페이스, MS(Memory Stick) 메모리 인터페이스, SDIO(Secure Digital Input Output) 인터페이스, McBSP(Multi-channel Buffered Serial Port) 버스, USB(Universal Serial Bus) 버스, GPMC(General Purpose Memory Controller) 버스, SDRC(SDRAM Controller) 버스, GPIO(General Purpose Input/Output) 버스, S-Video(Separate Video) 버스, DSI(Display Serial Interface) 버스, AMBA(Advanced Microcontroller Bus Architecture) 버스, 또 다른 적절한 버스 또는 2 이상의 이런 버스의 조합을 포함할 수 있다. 추가로, 컴퓨팅 플랫폼(702)은 전원(732)에 의해 전력을 공급받을 수 있다.
본 명세서에서, 컴퓨터 판독가능한 저장매체에 대한 언급은 구조를 갖는 하나 이상의 비일시적, 유형의 컴퓨터 판독가능한 저장매체를 포함한다. 예로써 제한 없이, 컴퓨터 판독가능한 저장매체는 반도체 기반 또는 다른 집적회로(IC)(가령, 예컨대 FPGA(field-programmable gate array) 또는 ASIC(application-specific IC)), 하드 디스크, HDD, 하이브리드 하드 디스크(HHD), 광학 디스크, 광학 디스크 드라이브(ODD), 자기-광학 디스크, 자기-광학 드라이브, 플로피 디스크, 플로피 디스크 드라이브(FDD), 자기 테이프, 홀로그래픽 저장매체, 고체-상태 드라이브(SSD), RAM 드라이브, SECURE DIGITAL 카드, SECURE DIGITAL 드라이브, MMC(MultiMediaCard) 카드, eMMC(embedded MMC) 카드, 또 다른 적절한 컴퓨터 판독가능한 저장매체 또는, 적절한 경우, 2 이상의 이들의 조합을 포함할 수 있다. 본 명세서에서, 컴퓨터 판독가능한 저장매체에 대한 언급은 미국연방법률(35 U.S.C.§101)하에 특허로 보호받을 수 없는 임의의 매체를 배제한다. 본 명세서에서, 컴퓨터 판독가능한 저장매체에 대한 언급은 미국연방법률(35 U.S.C.§101)하에 특허로 보호받을 수 없는 정도로의, (가령 전파하는 전기적 또는 전자기적 신호 그 자체와 같은) 신호 전송의 일시적 형태를 배제한다.
본 명세서는 임의의 적절한 저장소를 구현하는 하나 이상의 컴퓨터 판독가능한 저장매체를 고려한다. 특정 실시예로, 컴퓨터 판독가능한 저장매체는 프로세서(602)의 하나 이상의 부분(가령, 예컨대 하나 이상의 내부 레지스터나 캐시), 메모리(604)의 하나 이상의 부분, 저장소(606)의 하나 이상의 부분 또는 적절한 경우 이들의 조합을 구현한다. 특정 실시예로, 컴퓨터 판독가능한 저장매체는 RAM 또는 ROM을 구현한다. 특정 실시예로, 컴퓨터 판독가능한 저장매체는 휘발성 또는 지속성 메모리를 구현한다. 특정 실시예로, 하나 이상의 컴퓨터 판독가능한 저장매체는 소프트웨어를 이용한다. 본 명세서에서, 소프트웨어에 대한 언급은 하나 이상의 애플리케이션, 바이트코드(bytecode), 하나 이상의 컴퓨터 프로그램, 하나 이상의 실행가능한 것들, 하나 이상의 명령어, 로직, 기계어, 하나 이상의 스크립트 또는 소스 코드를 포함할 수 있으며, 적절한 경우 그 역도 또한 같다. 특정 실시예로, 소프트웨어는 하나 이상의 애플리케이션 프로그래밍 인터페이스(APIs)를 포함한다. 본 명세서는 임의의 적절한 프로그래밍 언어 또는 프로그래밍 언어들의 조합으로 기록되거나 표현되는 임의의 적절한 소프트웨어를 고려한다. 특정 실시예로, 소프트웨어는 소스 코드 또는 객체 코드로 표현된다. 특정 실시예로, 소프트웨어는 예컨대 C, Perl, JavaScript 또는 이들의 적절한 확장형과 같은 고차원(higher-level) 프로그래밍 언어로 표현된다. 특정 실시예로, 소프트웨어는 가령 어셈플리 언어(또는 기계어)와 같은 저차원(lower-level) 프로그래밍 언어로 표현된다. 특정 실시예로, 소프트웨어는 JAVA로 표현된다. 특정 실시예로, 소프트웨어는 하이퍼텍스트 마크업 언어(HTML), 확장형 마크업 언어(XML) 또는 다른 적절한 마크업 언어로 표현된다.
본 명세서는 당업자가 이해할 수 있는 본 명세서의 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다. 마찬가지로, 적절한 경우, 첨부된 청구항들은 당업자가 이해할 수 있는 본 명세서의 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다.

Claims (20)

  1. 하나 이상의 컴퓨터 장치에 의하여, 제1 사용자와 관련된 이미지 파일에 접근하는 단계;
    하나 이상의 컴퓨터 장치에 의하여, 이미지 파일에 해당하는 이미지에서 얼굴을 검출하는 단계;
    하나 이상의 컴퓨터 장치에 의하여, 제1 사용자 및 복수의 제2 사용자와 연관된 소셜 네트워킹 시스템에 접근하는 단계; 및
    하나 이상의 컴퓨터 장치에 의하여, 제2 사용자 중에 얼굴과 매치될 하나 이상의 후보를 결정하는 단계를 포함하고,
    소셜 네트워킹 시스템은 복수의 노드 및 노드를 연결하는 에지를 포함하는 그래프를 포함하고,
    적어도 하나의 노드는 제1 사용자에 대응되고,
    각각의 제2 사용자에 대하여, 적어도 하나의 노드는 제2 사용자에 대응되고,
    결정은:
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 이미지와 연관된 시간 및 장소와의 제2 사용자의 시간 및 공간의 근접도와, 임계 시간 및 공간의 근접도의 비교; 및
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 제2 사용자 및 제1 사용자 간의 이격도와, 임계 이격도의 비교에 적어도 부분적으로 기반하는 방법.
  2. 제 1 항에 있어서,
    제1 사용자가 얼굴과 매치시키기 위하여 후보를 제1 사용자에게 표시하는 단계를 더 포함하는 방법.
  3. 제 1 항에 있어서,
    제2 사용자 중에 얼굴과 매치될 하나 이상의 후보를 결정하는 단계는 얼굴-인식 알고리즘의 얼굴에의 적용에 더 기반하는 방법.
  4. 제 2 항에 있어서,
    제1 사용자가 얼굴과 매치시키기 위하여 후보를 제1 사용자에게 표시하는 단계는:
    하나 이상의 후보와 연관된 정보를 위한 하나 이상의 데이터 스토어에 접근하는 단계;
    하나 이상의 후보와 연관된 정보를 포함하는 하나 이상의 프레임을 생성하는 단계; 및
    이미지를 적어도 부분적으로 오버레이하는 하나 이상의 프레임을 디스플레이하는 단계를 포함하는 방법.
  5. 제 4 항에 있어서,
    하나 이상의 프레임은 하나 이상의 선택가능한 아이콘을 포함하는 방법.
  6. 제 1 항에 있어서,
    이미지 파일은:
    사진 및 디지털 방식의 관련 메타데이터; 및
    비디오 및 디지털 방식의 관련 메타데이터를 포함하는 방법.
  7. 제 3 항에 있어서,
    제2 사용자 중에 얼굴과 매치될 하나 이상의 후보를 결정하는 단계는:
    제2 사용자의 서브셋을:
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 이미지와 연관된 시간 및 장소와의 제2 사용자의 시간 및 공간의 근접도와, 임계 시간 및 공간의 근접도의 비교; 및
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 제2 사용자 및 제1 사용자 간의 이격도와, 임계 이격도의 비교에 기반하여 식별하는 단계; 및
    얼굴-인식 알고리즘에 의하여, 이미지의 얼굴을 서브셋 내의 제2 사용자의 얼굴과 비교하는 단계를 포함하는 방법.
  8. 하나 이상의 프로세서; 및
    프로세서와 연결되고 프로세서에 의해 실행가능한 명령어를 포함하는 메모리를 포함하고, 프로세서는 명령어를 실행시:
    제1 사용자와 관련된 이미지 파일에 접근하고;
    이미지 파일에 해당하는 이미지에서 얼굴을 검출하고;
    제1 사용자 및 복수의 제2 사용자와 연관된 소셜 네트워킹 시스템에 접근하고; 및
    제2 사용자 중에 얼굴과 매치될 하나 이상의 후보를 결정하도록 작동가능하고,
    소셜 네트워킹 시스템은 복수의 노드 및 노드를 연결하는 에지를 포함하는 그래프를 포함하고,
    적어도 하나의 노드는 제1 사용자에 대응되고,
    각각의 제2 사용자에 대하여, 적어도 하나의 노드는 제2 사용자에 대응되고,
    결정은:
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 이미지와 연관된 시간 및 장소와의 제2 사용자의 시간 및 공간의 근접도와, 임계 시간 및 공간의 근접도의 비교; 및
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 제2 사용자 및 제1 사용자 간의 이격도와, 임계 이격도의 비교에 적어도 부분적으로 기반하는 시스템.
  9. 제 8 항에 있어서,
    프로세서는 명령어를 실행시 제1 사용자가 얼굴과 매치시키기 위하여 후보를 제1 사용자에게 표시하도록 더 작동가능한 시스템.
  10. 제 8 항에 있어서,
    제2 사용자 중에 얼굴과 매치될 하나 이상의 후보를 결정하는 것은 얼굴-인식 알고리즘의 얼굴에의 적용에 더 기반하는 시스템.
  11. 제 9 항에 있어서,
    제1 사용자가 얼굴과 매치시키기 위하여 후보를 제1 사용자에게 표시하는 것은:
    하나 이상의 후보와 연관된 정보를 위한 하나 이상의 데이터 스토어에 접근하는 것;
    하나 이상의 후보와 연관된 정보를 포함하는 하나 이상의 프레임을 생성하는 것; 및
    이미지를 적어도 부분적으로 오버레이하는 하나 이상의 프레임을 디스플레이하는 것을 포함하는 시스템.
  12. 제 11 항에 있어서,
    하나 이상의 프레임은 하나 이상의 선택가능한 아이콘을 포함하는 시스템.
  13. 제 8 항에 있어서,
    이미지 파일은:
    사진 및 디지털 방식의 관련 메타데이터; 및
    비디오 및 디지털 방식의 관련 메타데이터를 포함하는 시스템.
  14. 제 10 항에 있어서,
    제2 사용자 중에 얼굴과 매치될 하나 이상의 후보를 결정하는 것은:
    제2 사용자의 서브셋을:
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 이미지와 연관된 시간 및 장소와의 제2 사용자의 시간 및 공간의 근접도와, 임계 시간 및 공간의 근접도의 비교; 및
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 제2 사용자 및 제1 사용자 간의 이격도와, 임계 이격도의 비교에 기반하여 식별하는 것; 및
    얼굴-인식 알고리즘에 의하여, 이미지의 얼굴을 서브셋 내의 제2 사용자의 얼굴과 비교하는 것을 포함하는 시스템.
  15. 하나 이상의 비-일시적 컴퓨터-판독가능한 저장 매체로서, 실행시:
    제1 사용자와 관련된 이미지 파일에 접근하고;
    이미지 파일에 해당하는 이미지에서 얼굴을 검출하고;
    제1 사용자 및 복수의 제2 사용자와 연관된 소셜 네트워킹 시스템에 접근하고; 및
    제2 사용자 중에 얼굴과 매치될 하나 이상의 후보를 결정하도록 작동가능한 소프트웨어를 포함하고,
    소셜 네트워킹 시스템은 복수의 노드 및 노드를 연결하는 에지를 포함하는 그래프를 포함하고,
    적어도 하나의 노드는 제1 사용자에 대응되고,
    각각의 제2 사용자에 대하여, 적어도 하나의 노드는 제2 사용자에 대응되고,
    결정은:
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 이미지와 연관된 시간 및 장소와의 제2 사용자의 시간 및 공간의 근접도와, 임계 시간 및 공간의 근접도의 비교; 및
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 제2 사용자 및 제1 사용자 간의 이격도와, 임계 이격도의 비교에 적어도 부분적으로 기반하는 비-일시적 컴퓨터-판독가능한 저장 매체.
  16. 제 15 항에 있어서,
    소프트웨어는 실행시 제1 사용자가 얼굴과 매치시키기 위하여 후보를 제1 사용자에게 표시하도록 더 작동가능한 비-일시적 컴퓨터-판독가능한 저장 매체.
  17. 제 15 항에 있어서,
    제2 사용자 중에 얼굴과 매치될 하나 이상의 후보를 결정하는 것은 얼굴-인식 알고리즘의 얼굴에의 적용에 더 기반하는 비-일시적 컴퓨터-판독가능한 저장 매체.
  18. 제 16 항에 있어서,
    제1 사용자가 얼굴과 매치시키기 위하여 후보를 제1 사용자에게 표시하는 것은:
    하나 이상의 후보와 연관된 정보를 위한 하나 이상의 데이터 스토어에 접근하는 것;
    하나 이상의 후보와 연관된 정보를 포함하는 하나 이상의 프레임을 생성하는 것; 및
    이미지를 적어도 부분적으로 오버레이하는 하나 이상의 프레임을 디스플레이하는 것을 포함하는 비-일시적 컴퓨터-판독가능한 저장 매체.
  19. 제 18 항에 있어서,
    하나 이상의 프레임은 하나 이상의 선택가능한 아이콘을 포함하는 비-일시적 컴퓨터-판독가능한 저장 매체.
  20. 제 17 항에 있어서,
    제2 사용자 중에 얼굴과 매치될 하나 이상의 후보를 결정하는 것은:
    제2 사용자의 서브셋을:
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 이미지와 연관된 시간 및 장소와의 제2 사용자의 시간 및 공간의 근접도와, 임계 시간 및 공간의 근접도의 비교; 및
    소셜 네트워킹 시스템에 의해 표시된 바와 같은 제2 사용자 및 제1 사용자 간의 이격도와, 임계 이격도의 비교에 기반하여 식별하는 것; 및
    얼굴-인식 알고리즘에 의하여, 이미지의 얼굴을 서브셋 내의 제2 사용자의 얼굴과 비교하는 것을 포함하는 비-일시적 컴퓨터-판독가능한 저장 매체.
KR1020137027758A 2011-03-29 2012-03-08 공간 및 시간의 근접도에 기반한 얼굴 인식 KR101666967B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/074,743 US9317530B2 (en) 2011-03-29 2011-03-29 Face recognition based on spatial and temporal proximity
US13/074,743 2011-03-29
PCT/US2012/028225 WO2012134756A2 (en) 2011-03-29 2012-03-08 Face recognition based on spatial and temporal proximity

Publications (2)

Publication Number Publication Date
KR20140019807A KR20140019807A (ko) 2014-02-17
KR101666967B1 true KR101666967B1 (ko) 2016-10-17

Family

ID=46927309

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137027758A KR101666967B1 (ko) 2011-03-29 2012-03-08 공간 및 시간의 근접도에 기반한 얼굴 인식

Country Status (8)

Country Link
US (3) US9317530B2 (ko)
JP (1) JP6030117B2 (ko)
KR (1) KR101666967B1 (ko)
CN (1) CN103477350B (ko)
BR (1) BR112013024048A2 (ko)
CA (1) CA2829079C (ko)
MX (1) MX342076B (ko)
WO (1) WO2012134756A2 (ko)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9143573B2 (en) * 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
WO2009116049A2 (en) 2008-03-20 2009-09-24 Vizi Labs Relationship mapping employing multi-dimensional context including facial recognition
US9210313B1 (en) 2009-02-17 2015-12-08 Ikorongo Technology, LLC Display device content selection through viewer identification and affinity prediction
US10706601B2 (en) 2009-02-17 2020-07-07 Ikorongo Technology, LLC Interface for receiving subject affinity information
US9727312B1 (en) 2009-02-17 2017-08-08 Ikorongo Technology, LLC Providing subject information regarding upcoming images on a display
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
US8630494B1 (en) 2010-09-01 2014-01-14 Ikorongo Technology, LLC Method and system for sharing image content based on collection proximity
US8824748B2 (en) 2010-09-24 2014-09-02 Facebook, Inc. Auto tagging in geo-social networking system
US9317530B2 (en) 2011-03-29 2016-04-19 Facebook, Inc. Face recognition based on spatial and temporal proximity
US8625860B2 (en) * 2011-04-01 2014-01-07 Intel Corporation Adaptive face recognition using online learning
US20120265703A1 (en) * 2011-04-13 2012-10-18 Verizon Patent And Licensing Inc. Ad hoc social networking
US9721388B2 (en) * 2011-04-20 2017-08-01 Nec Corporation Individual identification character display system, terminal device, individual identification character display method, and computer program
US8631084B2 (en) * 2011-04-29 2014-01-14 Facebook, Inc. Dynamic tagging recommendation
US9305024B2 (en) 2011-05-31 2016-04-05 Facebook, Inc. Computer-vision-assisted location accuracy augmentation
WO2012169135A1 (en) * 2011-06-08 2012-12-13 Sony Corporation Information processing device, information processing method and computer program product
US20120314916A1 (en) * 2011-06-13 2012-12-13 Reagan Inventions, Llc Identifying and tagging objects within a digital image
JP5995520B2 (ja) * 2011-06-14 2016-09-21 キヤノン株式会社 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法
US9342817B2 (en) * 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
US9195679B1 (en) 2011-08-11 2015-11-24 Ikorongo Technology, LLC Method and system for the contextual display of image tags in a social network
JP5852370B2 (ja) * 2011-08-31 2016-02-03 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
US8533266B2 (en) 2012-02-14 2013-09-10 Google Inc. User presence detection and event discovery
US8510381B1 (en) 2012-02-14 2013-08-13 Google Inc. Sharing electronic resources with users of nearby devices
US9894116B2 (en) * 2012-04-12 2018-02-13 Intel Corporation Techniques for augmented social networking
JP5959923B2 (ja) * 2012-04-26 2016-08-02 キヤノン株式会社 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
US20130329061A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data
US9626381B2 (en) * 2012-06-19 2017-04-18 International Business Machines Corporation Photo album creation based on social media content
US10038885B2 (en) 2012-10-17 2018-07-31 Facebook, Inc. Continuous capture with augmented reality
US20140108501A1 (en) * 2012-10-17 2014-04-17 Matthew Nicholas Papakipos Presence Granularity with Augmented Reality
US10032233B2 (en) 2012-10-17 2018-07-24 Facebook, Inc. Social context in augmented reality
EP2915132A4 (en) * 2012-10-31 2016-06-29 Google Inc COMPARISON OF IMAGES PROCESS
US11823499B2 (en) * 2012-11-14 2023-11-21 Golan Weiss Methods and systems for enrollment and authentication
US9245312B2 (en) * 2012-11-14 2016-01-26 Facebook, Inc. Image panning and zooming effect
US9235321B2 (en) 2012-11-14 2016-01-12 Facebook, Inc. Animation sequence associated with content item
CN103970804B (zh) * 2013-02-06 2018-10-30 腾讯科技（深圳）有限公司 一种信息查询方法及装置
US20140321720A1 (en) * 2013-04-30 2014-10-30 International Business Machines Corporation Managing social network distance in social networks using photographs
US10158921B2 (en) * 2013-07-03 2018-12-18 Telefonaktiebolaget Lm Ericsson (Publ) IM client and method performed thereby for providing a subscriber of an IPTV service provider with information
WO2015017865A1 (en) 2013-08-02 2015-02-05 Shoto, Inc. Discovery and sharing of photos between devices
US20150074206A1 (en) * 2013-09-12 2015-03-12 At&T Intellectual Property I, L.P. Method and apparatus for providing participant based image and video sharing
US12008838B2 (en) 2013-09-17 2024-06-11 Cloudspotter Technologies, Inc. Private photo sharing system, method and network
US10460151B2 (en) 2013-09-17 2019-10-29 Cloudspotter Technologies, Inc. Private photo sharing system, method and network
WO2015061696A1 (en) * 2013-10-25 2015-04-30 Peep Mobile Digital Social event system
US9628986B2 (en) 2013-11-11 2017-04-18 At&T Intellectual Property I, L.P. Method and apparatus for providing directional participant based image and video sharing
CN104639823A (zh) * 2013-11-14 2015-05-20 索尼公司 图像形成方法、装置以及电子设备
US20150142891A1 (en) * 2013-11-19 2015-05-21 Sap Se Anticipatory Environment for Collaboration and Data Sharing
US9569656B2 (en) * 2013-12-06 2017-02-14 Google Inc. Local real-time facial recognition
US10243753B2 (en) 2013-12-19 2019-03-26 Ikorongo Technology, LLC Methods for sharing images captured at an event
US10121060B2 (en) * 2014-02-13 2018-11-06 Oath Inc. Automatic group formation and group detection through media recognition
WO2015139026A2 (en) 2014-03-14 2015-09-17 Go Tenna Inc. System and method for digital communication between computing devices
US9639741B2 (en) 2014-04-14 2017-05-02 International Business Machines Corporation Facial recognition with biometric pre-filters
KR102240263B1 (ko) * 2014-08-06 2021-04-14 오드컨셉 주식회사 얼굴의 시각적 정보를 이용한 관계망 연결 시스템 및 연결방법
CN105447044A (zh) 2014-09-02 2016-03-30 阿里巴巴集团控股有限公司 一种确定用户关系的方法及装置
US11429657B2 (en) * 2014-09-12 2022-08-30 Verizon Patent And Licensing Inc. Mobile device smart media filtering
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US10032042B1 (en) * 2014-12-10 2018-07-24 Morphotrust Usa, Llc Digital identification enrollment
CN104640060B (zh) * 2015-01-28 2019-08-23 惠州Tcl移动通信有限公司 一种数据共享的方法及其系统
US10628593B2 (en) 2015-04-17 2020-04-21 Dropbox, Inc. Collection folder for collecting file submissions and recording associated activities
US20160364397A1 (en) * 2015-06-11 2016-12-15 Qualcomm Incorporated System and Methods for Locally Customizing Media Content for Rendering
US9872061B2 (en) 2015-06-20 2018-01-16 Ikorongo Technology, LLC System and device for interacting with a remote presentation
US9563643B2 (en) * 2015-06-25 2017-02-07 Intel Corporation Automatic metatagging in images
JP6785305B2 (ja) * 2015-07-15 2020-11-18 １５ セカンズ オブ フェイム，インコーポレイテッド 顔認識及びコンテキストビデオストリームで個人を識別するためのビデオ解析技術のための装置及び方法
WO2017009851A2 (en) * 2015-07-16 2017-01-19 Pomvom Ltd. Coordinating communication and/or storage based on image analysis
US10863003B2 (en) 2015-09-10 2020-12-08 Elliot Berookhim Methods, devices, and systems for determining a subset for autonomous sharing of digital media
US9934424B2 (en) 2015-10-05 2018-04-03 International Business Machines Corporation Automated relationship categorizer and visualizer
KR20180105636A (ko) * 2015-10-21 2018-09-28 15 세컨즈 오브 페임, 인크. 얼굴 인식 애플리케이션들에서 긍정 오류를 최소화하기 위한 방법들 및 장치
US9934397B2 (en) 2015-12-15 2018-04-03 International Business Machines Corporation Controlling privacy in a face recognition application
US10713966B2 (en) 2015-12-31 2020-07-14 Dropbox, Inc. Assignments for classrooms
US10043102B1 (en) * 2016-01-20 2018-08-07 Palantir Technologies Inc. Database systems and user interfaces for dynamic and interactive mobile image analysis and identification
US10497014B2 (en) * 2016-04-22 2019-12-03 Inreality Limited Retail store digital shelf for recommending products utilizing facial recognition in a peer to peer network
US10305977B2 (en) * 2016-08-05 2019-05-28 International Business Machines Corporation Social network image filtering
US10055871B2 (en) 2016-10-12 2018-08-21 International Business Machines Corporation Applying an image overlay to an image based on relationship of the people identified in the image
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
US10282598B2 (en) 2017-03-07 2019-05-07 Bank Of America Corporation Performing image analysis for dynamic personnel identification based on a combination of biometric features
EP3410330B1 (en) * 2017-05-31 2021-07-21 Mastercard International Incorporated Improvements in biometric authentication
KR102299847B1 (ko) 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
US10652592B2 (en) 2017-07-02 2020-05-12 Comigo Ltd. Named entity disambiguation for providing TV content enrichment
US10268234B2 (en) 2017-08-07 2019-04-23 Apple Inc. Bracket assembly for a multi-component vision system in an electronic device
US11445094B2 (en) 2017-08-07 2022-09-13 Apple Inc. Electronic device having a vision system assembly held by a self-aligning bracket assembly
US10996713B2 (en) 2017-08-07 2021-05-04 Apple Inc. Portable electronic device
US10880465B1 (en) 2017-09-21 2020-12-29 IkorongoTechnology, LLC Determining capture instructions for drone photography based on information received from a social network
US20190147046A1 (en) * 2017-11-16 2019-05-16 Facebook, Inc. Systems and methods for providing personalized context-aware information
CN107992822B (zh) * 2017-11-30 2020-04-10 Oppo广东移动通信有限公司 图像处理方法和装置、计算机设备、计算机可读存储介质
US10387487B1 (en) 2018-01-25 2019-08-20 Ikorongo Technology, LLC Determining images of interest based on a geographical location
US11328153B1 (en) 2018-04-25 2022-05-10 Snap Inc. Secure biometric metadata generation
US20190349517A1 (en) * 2018-05-10 2019-11-14 Hanwha Techwin Co., Ltd. Video capturing system and network system to support privacy mode
US10963677B2 (en) 2018-07-23 2021-03-30 The Mitre Corporation Name and face matching
US10936856B2 (en) 2018-08-31 2021-03-02 15 Seconds of Fame, Inc. Methods and apparatus for reducing false positives in facial recognition
US20200177531A1 (en) * 2018-12-03 2020-06-04 International Business Machines Corporation Photo sharing in a trusted auto-generated network
US10910854B2 (en) 2019-02-11 2021-02-02 Alfi, Inc. Methods and apparatus for a tablet computer system incorporating a battery charging station
US10784696B1 (en) 2019-02-11 2020-09-22 Alfi, Inc. Methods and apparatus for a tablet computer system incorporating a battery charging station
US11010596B2 (en) 2019-03-07 2021-05-18 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition systems to identify proximity-based connections
JP2020173680A (ja) * 2019-04-12 2020-10-22 京セラドキュメントソリューションズ株式会社 電子機器及び画像判断プログラム
CN110085299B (zh) * 2019-04-19 2020-12-08 合肥中科离子医学技术装备有限公司 一种图像识别去燥方法、系统及图像库
US11341186B2 (en) * 2019-06-19 2022-05-24 International Business Machines Corporation Cognitive video and audio search aggregation
US11250266B2 (en) * 2019-08-09 2022-02-15 Clearview Ai, Inc. Methods for providing information about a person based on facial recognition
US11283937B1 (en) 2019-08-15 2022-03-22 Ikorongo Technology, LLC Sharing images based on face matching in a network
WO2021076523A1 (en) * 2019-10-13 2021-04-22 eConnect, Inc. Intelligent visual human behvior prediction
JP7567908B2 (ja) * 2019-10-25 2024-10-16 日本電気株式会社 逐次的なカスケード顔認識
CN111064658B (zh) * 2019-12-31 2022-04-19 维沃移动通信有限公司 显示控制方法及电子设备
US11341351B2 (en) 2020-01-03 2022-05-24 15 Seconds of Fame, Inc. Methods and apparatus for facial recognition on a user device
CN112131942B (zh) * 2020-08-19 2022-05-17 深圳云天励飞技术股份有限公司 场所的属性分类方法、装置、电子设备及存储介质
JP7436338B2 (ja) * 2020-09-28 2024-02-21 Kddi株式会社 情報処理システム、端末、サーバ及びプログラム
CN112381448B (zh) * 2020-11-30 2023-10-13 深圳云天励飞技术股份有限公司 基于人脸时空特征的教学质量评估方法、装置及电子设备
ES2923102A1 (es) * 2021-03-12 2022-09-23 Univ Castilla La Mancha Dispositivo tactil para la obtencion de informacion de un usuario, sistema que integra dicho dispositivo y procedimiento de utilizacion de dicho sistema
US11822596B2 (en) * 2021-04-30 2023-11-21 Hewlett-Packard Development Company, L.P. Digital image file metadata characteristics

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009116049A2 (en) 2008-03-20 2009-09-24 Vizi Labs Relationship mapping employing multi-dimensional context including facial recognition
WO2010078553A2 (en) 2009-01-05 2010-07-08 Apple Inc. Organizing digital images by correlating faces

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890581B2 (en) * 1996-12-16 2011-02-15 Ip Holdings, Inc. Matching network system for mobile devices
US7634662B2 (en) 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US20060018522A1 (en) 2004-06-14 2006-01-26 Fujifilm Software(California), Inc. System and method applying image-based face recognition for online profile browsing
US8078396B2 (en) * 2004-08-31 2011-12-13 Meadow William D Methods for and apparatus for generating a continuum of three dimensional image data
US7606168B2 (en) * 2005-01-28 2009-10-20 Attenex Corporation Apparatus and method for message-centric analysis and multi-aspect viewing using social networks
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7809192B2 (en) 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US20070098303A1 (en) 2005-10-31 2007-05-03 Eastman Kodak Company Determining a particular person from a collection
KR100802915B1 (ko) 2006-06-01 2008-02-14 (주) 엘지텔레콤 태그기반 사진파일 관리방법
JP4891691B2 (ja) 2006-07-31 2012-03-07 ヤフー株式会社 位置情報を付加されたデータを検索する方法およびシステム
JP4228320B2 (ja) 2006-09-11 2009-02-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2008044524A1 (fr) 2006-10-10 2008-04-17 Nikon Corporation Programme de classification d'image, appareil de classification d'image et caméra électronique
US8085995B2 (en) * 2006-12-01 2011-12-27 Google Inc. Identifying images using face recognition
US7739304B2 (en) 2007-02-08 2010-06-15 Yahoo! Inc. Context-based community-driven suggestions for media annotation
KR100796044B1 (ko) 2007-02-08 2008-01-21 (주)올라웍스 인물 이미지에 대한 태깅 방법
CN100580691C (zh) * 2007-03-16 2010-01-13 上海博康智能信息技术有限公司 综合利用人脸及人体辅助信息的交互式人脸识别系统及方法
US7860525B2 (en) * 2007-04-25 2010-12-28 Nokia Corporation System, method, and computer program product for service and application configuration in a network device
US20080270425A1 (en) 2007-04-27 2008-10-30 James Cotgreave System and method for connecting individuals in a social networking environment based on facial recognition software
WO2008134595A1 (en) * 2007-04-27 2008-11-06 Pelago, Inc. Determining locations of interest based on user visits
JP2009113279A (ja) 2007-11-05 2009-05-28 Seiko Epson Corp 画像処理装置、画像処理方法及びそのプログラム
KR101618735B1 (ko) 2008-04-02 2016-05-09 구글 인코포레이티드 디지털 영상 컬렉션에 자동 얼굴 인식 기능을 통합하는 방법 및 장치
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8302015B2 (en) 2008-09-04 2012-10-30 Qualcomm Incorporated Integrated display and management of data objects based on social, temporal and spatial parameters
US20100191728A1 (en) 2009-01-23 2010-07-29 James Francis Reilly Method, System Computer Program, and Apparatus for Augmenting Media Based on Proximity Detection
US9288540B2 (en) * 2009-03-25 2016-03-15 Eloy Technology, Llc System and method for aggregating devices for intuitive browsing
US8320617B2 (en) * 2009-03-27 2012-11-27 Utc Fire & Security Americas Corporation, Inc. System, method and program product for camera-based discovery of social networks
US20100309225A1 (en) 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
US8670597B2 (en) 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
CN101668176A (zh) * 2009-09-25 2010-03-10 北京酷联天下科技有限公司 一种基于人际社交图的多媒体内容点播与分享方法
US8126903B2 (en) * 2009-12-21 2012-02-28 Sap Ag Computer implemented method for allocating drivers and passengers sharing a trip
US9405772B2 (en) 2009-12-02 2016-08-02 Google Inc. Actionable search results for street view visual queries
CN102713905A (zh) 2010-01-08 2012-10-03 瑞典爱立信有限公司 用于媒体文件的社会标签的方法和设备
US8392411B2 (en) * 2010-05-20 2013-03-05 Google Inc. Automatic routing of search results
US8824748B2 (en) 2010-09-24 2014-09-02 Facebook, Inc. Auto tagging in geo-social networking system
US20120213404A1 (en) * 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
US9317530B2 (en) 2011-03-29 2016-04-19 Facebook, Inc. Face recognition based on spatial and temporal proximity
US8631084B2 (en) 2011-04-29 2014-01-14 Facebook, Inc. Dynamic tagging recommendation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009116049A2 (en) 2008-03-20 2009-09-24 Vizi Labs Relationship mapping employing multi-dimensional context including facial recognition
WO2010078553A2 (en) 2009-01-05 2010-07-08 Apple Inc. Organizing digital images by correlating faces

Also Published As

Publication number Publication date
AU2012238085A1 (en) 2013-09-26
US20160171291A1 (en) 2016-06-16
CA2829079C (en) 2016-10-11
WO2012134756A3 (en) 2012-12-27
WO2012134756A2 (en) 2012-10-04
JP2014518573A (ja) 2014-07-31
US20190108389A1 (en) 2019-04-11
CN103477350A (zh) 2013-12-25
MX342076B (es) 2016-09-13
US10162999B2 (en) 2018-12-25
CA2829079A1 (en) 2012-10-04
MX2013011249A (es) 2013-10-17
US20120250950A1 (en) 2012-10-04
US9317530B2 (en) 2016-04-19
BR112013024048A2 (pt) 2016-12-13
JP6030117B2 (ja) 2016-11-24
CN103477350B (zh) 2018-04-06
KR20140019807A (ko) 2014-02-17

Similar Documents

Publication Publication Date Title
KR101666967B1 (ko) 공간 및 시간의 근접도에 기반한 얼굴 인식
US10129393B2 (en) Caller identification using communication network information
US10346447B2 (en) Automated location check-in for geo-social networking system
US10282154B2 (en) Graphical user interface for map search
KR101502043B1 (ko) 지오-소셜 인자에 기반한 컨텐츠 서피싱
US9292518B2 (en) Auto-tagging in geo-social networking system
US20170308251A1 (en) User Interface with Media Wheel Facilitating Viewing of Media Objects
AU2012238085B2 (en) Face recognition based on spatial and temporal proximity

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant