KR20150070358A - 증강 현실의 존재성과 관련된 방법 - Google Patents

증강 현실의 존재성과 관련된 방법 Download PDF

Info

Publication number
KR20150070358A
KR20150070358A KR1020157012905A KR20157012905A KR20150070358A KR 20150070358 A KR20150070358 A KR 20150070358A KR 1020157012905 A KR1020157012905 A KR 1020157012905A KR 20157012905 A KR20157012905 A KR 20157012905A KR 20150070358 A KR20150070358 A KR 20150070358A
Authority
KR
South Korea
Prior art keywords
user
information
users
image
social networking
Prior art date
Application number
KR1020157012905A
Other languages
English (en)
Inventor
매튜 니콜라스 파파키포스
마이클 존 매켄지 토크스비
에릭 청
윤 킨 왕
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20150070358A publication Critical patent/KR20150070358A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

일 실시예로, 방법은 폐쇄 공간 내에 위치한 다수의 사용자들 부근에 관한 정보를 수신하는 단계; 상기 정보에 적어도 부분적으로 근거하여 부근 내의 각 사용자를 식별하는 단계; 및 상기 정보에 적어도 부분적으로 근거하여 상기 폐쇄 공간 내의 각 사용자의 위치를 결정하는 단계를 포함하며, 상기 정보는 부근의 적어도 일부의 하나 이상의 이미지 또는 하나 이상의 소리를 포함하며, 사용자의 수동적인 입력 없이 각 클라이언트 컴퓨팅 장치의 하나 이상의 센서로 자동으로 사용자들의 다수의 클라이언트 컴퓨팅 장치에 의해 부근으로부터 획득된다.

Description

증강 현실의 존재성과 관련된 방법{METHOD RELATING TO PRESENCE GRANULARITY WITH AUGMENTED REALITY}
본 발명은 일반적으로 증강 현실에 관한 것이다. 특히, 본 발명은 방법, 컴퓨터-판독가능한 비-일시적 저장매체 및 시스템에 관한 것이다.
증강 현실(AR)은 가상 현실(VR)의 확장으로 고려되며, 사람의 감각 및 기술을 향상시키기 위하여 실제 환경에 가상 현실을 증강하는 것에 관한 것이다. AR은 컴퓨터-생성 감각 입력에 의해 증강된 요소들을 가지는 실제의(live), 직접 또는 간접의(direct or indirect), 물리적 관점의 실제 환경이다.
본 발명은 일반적으로 증강 현실에 관한 것이다.
본 발명에 따른 실시예들은 방법, 컴퓨터 판독가능 비일시적 저장매체 및 시스템에 관한 첨부된 특허청구범위에 개시되며, 여기서 한 청구범위 카테고리, 예컨대 방법에 언급된 임의의 특징은 다른 청구범위 카테고리, 예컨대, 시스템 또는 매체에도 역시 청구될 수 있다.
특정 실시예들은 사용자 주변의 개별 사람을 식별한 후 식별된 개인에 대한 정보를 사용자에게 제공한다. 사람은 음성 인식 또는 얼굴 인식과 같은 다양한 기술들을 사용하여 식별될 수 있다. 사람의 음성 또는 얼굴은 사용자의 신체 또는 사용자 및 사람이 위치한 방에 부착된 오디오/시각 장치들에 의해 캡처될 수 있다. 식별된 개인에 관한 정보는 개인의 소셜 프로필로부터 검색될 수 있다. 정보는 사용자에게 (예컨대, 모바일 장치에) 디스플레이되거나 사용자에게 말해질 수 있다(예컨대, 사용자의 귀에 속삭여질 수 있다).
특정 실시예들은 사용자 주변의 개별 사람을 식별한 다음 소셜 정보에 근거하여 식별된 개인들을 필터링할 수 있다. 사람은 음성 인식 또는 얼굴 인식과 같은 다양한 기술을 사용하여 식별될 수 있다. 사람의 음성 또는 얼굴은 사용자의 신체 또는 사용자 및 사람이 위치한 방에 부착된 오디오/시각 장치들에 의해 캡처될 수 있다. 식별된 개인에 관한 소셜 정보는 개인의 소셜 프로필로부터 검색될 수 있다. 식별된 개인들은 특정 카테고리(예컨대, 미혼인 여성, 특정 직업을 가진 사람, 공통 관심사를 공유하는 사람 등)로 그룹화될 수 있다. 특정 카테고리에 속하는 사람들이 사용자에게 보여질 수 있다(예컨대, 사용자에게 디스플레이되거나 말해질 수 있다).
특정 실시예들은 사용자 주변의 개별 사람들을 식별한 후 사용자에게 관심을 가지는 사람(관심-사람)을 수동으로 선택할 것을 요구하지 않고, 사용자가 관심-사람을 자동으로 식별할 수 있다. 사람은 음성 인식 또는 얼굴 인식과 같은 다양한 기술들을 사용하여 식별될 수 있다. 사람의 음성 또는 얼굴은 사용자의 신체 또는 사용자 및 사람이 위치한 방에 부착된 오디오/시각 장치들에 의해 캡처될 수 있다. 관심-사람은 사용자의 행위에 근거하여 식별될 수 있다. 예컨대, 사용자는 사람을 응시하거나 사람 옆에 잠시 동안 서 있거나 사람과의 대화에 참여할 수 있다. 이는 그 사람을 사용자가 특히 관심을 가지는 사람으로 식별되게 한다. 관심-사람에 관한 정보(예컨대, 소셜 정보)는 사용자에게 보여질 수 있다. 관심-사람에 관한 소셜 정보는 그 사람의 소셜 프로필로부터 검색될 수 있다. 그 정보는 사용자에게 (예컨대, 모바일 장치 상에) 디스플레이되거나 사용자에게 말해질 수 있다(예컨대, 사용자의 귀에 속삭여질 수 있다).
특정 실시예들은 좀 더 세밀한 수준으로 사람의 존재를 결정할 수 있다. 위성 위치확인 시스템(GPS) 및 체크인 정보는 시스템이 특정 영역들(예컨대, 빌딩 내의 특정 룸)이 아닌 대략적인 영역(예컨대, 빌딩 옆)에서 사용자의 존재를 결정할 수 있게 한다. 사용자들의 그룹이 한 영역 내(예컨대, 룸 안)에 위치될 때, 각 사용자의 모바일 장치는 그/그녀 주변의 사람에 관한 정보(예컨대, 음성 기록 또는 얼굴 이미지들)을 서버에 전송할 수 있다. 서버는 (예컨대, 음성 인식 또는 얼굴 인식을 통하여) 사람들을 식별한 후 각 사용자의 특정 위치뿐 아니라 다수 사용자들의 상대 위치를 결정할 수 있다. 서버는 사용자를 다른 사용자에게 안내하는 안내 정보를 전송하거나 사용자에게 다른 사용자가 룸 안에 있음을 말해줄 수 있다.
특정 실시예들은 사용자 주변의 오디오/시각 정보를 연속적으로 캡처할 수 있다. 사용자는 오디오/시각 정보를 연속적으로(예컨대, 2초당 1 프레임) 캡처하는 오디오/시각 기록 장치를 착용할 수 있다. 캡처된 오디오/시각 정보는 서버에 업로드되고 처리될 수 있다. 예컨대, 관심있는 오디오/시각 세그먼트들이 사용자의 타임라인에 게시되거나 사용자의 추후 열람을 위하여 저장될 수 있다. 특정 실시예로, 사용자는 특정 시간에 또는 특정 이벤트 동안 일어났던 오디오/시각 정보를 질의할 수 있다. 특정 실시예로, 오디오/시각 정보는 오픈 그래프(Open Graph)로 게시되거나 소셜 네트워킹 시스템과 연관된 소셜 그래프로 게시될 수 있다.
본 명세서 내에 포함되어 있음
도 1은 소셜 네트워킹 시스템과 연관된 예시적인 소셜 네트워크 환경을 도시한다.
도 2는 예시적인 소셜 그래프를 도시한다.
도 3은 제 1 사용자가 제2 사용자 가까이에 있는 경우 제2 사용자에게 소셜 네트워킹 시스템으로부터 검색된 제1 사용자에 관한 정보를 제공하는 예시적인 방법을 도시한다.
도 4는 제1 사용자가 제2 사용자 가까이에 있는 경우 제2 사용자에게 소셜 네트워킹 시스템으로부터 검색된 제1 사용자 그룹에 관한 정보를 제공하는 예시적인 방법을 도시한다.
도 6은 닫힌 공간 내의 개별 사용자들의 특정 위치를 결정하는 예시적인 방법을 도시한다.
도 7은 사용자 주변의 오디오/시각 정보를 연속적으로 캡처하는 예시적인 방법을 도시한다.
도 8은 예시적인 컴퓨티 시스템을 도시한다.
증강 현실(AR)은 사람의 감각 및 기술을 향상시키기 위하여 가상 정보로 실제 환경을 증강하는 것에 관한 것이다. 특정 실시예로, 그 정보는 소셜 네트워킹 시스템으로부터 검색될 수 있다.
도 1은 소셜 네트워킹 시스템과 연관된 예시적인 네트워크 환경(100)을 도시한다. 네트워크 환경(100)은 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 네트워크(110)에 의해 서로 연결된 제3자 시스템(170)을 포함한다. 비록 도 1은 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 특정 배치를 도시하지만, 본 명세서는 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)의 임의의 배치를 고려한다. 예로서 제한없이, 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170) 중 2 이상이 네트워크(110)를 바이패스하여 서로 직접 연결될 수 있다. 다른 예로서, 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170) 중 2 이상은 전체적으로 또는 부분적으로 서로 물리적으로 또는 논리적으로 동일 위치에 있을 수 있다. 게다가, 비록 도 1은 특정 수의 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 도시하지만, 본 명세서는 임의 적절한 수의 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 고려한다. 예로서 제한없이, 네트워크 환경(100)은 다수의 사용자(101), 클라이언트 시스템(130), 소셜 네트워킹 시스템(160), 제3자 시스템(170) 및 네트워크(110)를 포함할 수 있다.
특정 실시예로, 사용자(101)는 소셜 네트워킹 시스템(160)과 상호작용하거나 소셜 네트워킹 시스템(160)을 통하여 통신하는 개인(인간 사용자), 엔터티(예컨대, 기업, 사업체, 제3자 애플리케이션), 또는 그룹(개인 또는 기업인)일 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 온라인 소셜 네트워크를 호스트하는 네트워크-처리가능한 컴퓨팅 시스템일 수 있다. 소셜 네트워킹 시스템(160)은 예컨대 사용자-프로필 데이터, 컨셉-프로필 데이터, 소셜-그래프 정보 또는 온라인 소셜 네트워크에 관한 다른 적절한 데이터와 같은 소셜 네트워킹 데이터를 생성, 저장, 수신 및 전송할 수 있다. 소셜 네트워킹 시스템(160)은 직접적으로 또는 네트워크(110)를 통해 네트워크 환경(100)의 다른 구성요소들에 의해 접속될 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 사용자(101)가 소셜 네트워킹 시스템(160)에 의해 기록되거나 예컨대 가령 적절한 개인정보를 설정하는 것에 의해 다른 시스템(예컨대, 제3자 시스템(170))과 공유되는 그들의 행위에 참여하게 하거나 참여하지 않게 하는 인증 서버를 포함할 수 있다. 특정 실시예로, 제3자 시스템(170)은 다양한 소프트웨어 애플리케이션들을 호스트할 수 있는 네트워크-처리가능한 컴퓨팅 시스템일 수 있다. 제3자 시스템(170)은 예컨대, 가령 제3자 애플리케이션과 연관된 데이터와 같은 다양한 유형의 데이터를 생성, 저장, 수신 및 전송할 수 있다. 제3자 시스템(170)은 직접적으로 또는 네트워크(110)를 통해 네트워크 환경(100)의 다른 구성요소들에 의해 접속될 수 있다. 특정 실시예로, 하나 이상의 사용자(101)는 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)에 접속하고, 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)에 데이터를 전송하며, 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)으로부터 데이터를 수신하기 위하여 하나 이상의 클라이언트 시스템(130)을 사용할 수 있다. 클라이언트 시스템(130)은 직접, 네트워크(110)를 통하여, 또는 제3자 시스템(170)을 통하여 소셜 네트워킹 시스템(160) 또는 제3자 시스템(170)에 접속할 수 있다. 예로서 제한없이, 클라이언트 시스템(130)은 소셜 네트워킹 시스템(160)을 통하여 제3자 시스템(170)에 접속할 수 있다. 클라이언트 시스템(130)은 예컨대, 개인 컴퓨터, 랩탑 컴퓨터, 셀룰러 전화, 스마트폰, 또는 태블릿 컴퓨터와 같은 임의의 적절한 컴퓨팅 장치일 수 있다.
특정 실시예로, 클라이언트 시스템(130)은 GPS 수신기, 컴파스 또는 자이로스코프와 같은 위치, 방향 지향성을 결정하기 위한 기능을 포함할 수 있는 스마트폰, 태블릿 컴퓨터 또는 랩탑 컴퓨터와 같은 모바일 컴퓨팅 장치일 수 있다. 그러한 장치는 또한 BLUETOOTH 통신, 근거리 통신(NFC), 또는 적외선(IR) 통신이나 WLAN(wireless local area network) 또는 셀룰러-전화 네트워크를 구비한 통신 등과 같이 무선통신을 위한 기능을 포함할 수 있다. 그러한 장치는 또한 하나 이상의 카메라, 스캐너, 터치스크린, 마이크로폰 또는 스피커를 포함할 수 있다. 모바일 장치는 또한 게임, 웹 브라우저 또는 소셜 네트워킹 애플리케이션과 같은 소프트웨어 애플리케이션들을 실행할 수 있다. 소셜 네트워킹 애플리케이션으로, 사용자는 그들의 소셜 네트워크에서 다른 사용자들과 연결, 통신 및 정보를 공유할 수 있다.
본 명세서는 임의의 적절한 네트워크(110)를 고려한다. 예로서 제한없이, 네트워크(110)의 하나 이상의 부분은 애드혹 네트워크, 인트라넷, 익스트라넷, 가상 사설 네트워크(VPN), 근거리 네트워크(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 대도시 네트워크(MAN), 인터넷의 일부, 공중 전화망(PSTN)의 일부, 셀룰러 전화 네트워크 또는 이들 중 2 이상의 조합을 포함할 수 있다. 네트워크(110)는 하나 이상의 네트워크(110)를 포함할 수 있다.
링크(150)는 클라이언트 시스템(130), 소셜 네트워킹 시스템(160) 및 제3자 시스템(170)을 통신 네트워크(110)에 연결하거나 서로 연결할 수 있다. 본 명세서는 임의의 적절한 링크(150)를 고려한다. 특정 실시예로, 하나 이상의 링크(150)는 하나 이상의 유선라인(가령, 예컨대, 디지털 가입자 라인(DSL) 또는 DOCSIS(Data Over Cable Service Interface Specification)), 무선(가령, 예컨대, Wi-Fi 또는 WiMAX(Worldwide Interoperability for Microwave Access)) 또는 광학(가령, 예컨대, 동기식 광학 네트워크(Synchronous Optical Network, SONET) 또는 동기식 디지털 계층(Synchronous Digital Hierarchy, SDH)) 링크를 각각 포함한다. 특정 실시예로, 하나 이상의 링크(150)는 애드 혹 네트워크, 인트라넷, 엑스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, 인터넷의 일부, PSTN의 일부, 셀룰러 기술-기반 네트워크, 위성 통신 기술-기반 네트워크, 또 다른 링크(150) 또는 2 이상의 이런 링크(150)의 조합을 각각 포함한다. 링크(150)는 네트워크 환경(100)을 통해 반드시 동일할 필요는 없다. 하나 이상의 제1 링크(150)는 하나 이상의 측면에서 하나 이상의 제2 링크(150)와 다를 수 있다.
특정 실시예로, 다향한 유형의 데이터 또는 정보가 소셜 네트워킹 시스템(160)에 저장될 수 있다. 예컨대, 소셜 네트워킹 시스템(160)의 각 사용자는 사용자 프로필을 가질 수 있으며, 사용자 프로필에는 사용자에 관한 정보(예컨대, 인구학적 정보, 교육, 직업, 취미 등)가 저장될 수 있다. 또한, 사용자들 사이의 소셜 연결, 사용자 활동, 사용자 포스팅 및 업로드(예컨대, 이미지) 및 다른 유형의 정보 또한 소셜 네트워킹 시스템(160)에 저장될 수 있다. 특정 실시예에서, 소셜 네트워킹 시스템(160)의 정보는 임의 수의 노드와 에지를 가지는 그래프 구조로 저장될 수 있다. 그래프는 부분적으로 무엇보다 소셜 정보를 저장하기 위하여 사용되기 때문에 소셜 그래프 또는 오픈 그래프로 언급될 수 있다.
도 2는 예시적인 소셜 그래프(200)를 도시한다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어에 하나 이상의 소셜 그래프(200)를 저장할 수 있다. 특정 실시예로, 소셜 그래프(200)는 다수의 사용자 노드(202) 또는 다수의 컨셉 노드(204)를 포함할 수 있는 다수의 노드들 및 노드들을 연결하는 다수의 에지(206)를 포함할 수 있다. 도 2에 도시된 예시적인 소셜 그래프(200)는 훈시적 목적으로 2차원 시각 맵 표현으로 도시된다. 특정 실시예로, 소셜 네트워킹 시스템(160), 클라이언트 시스템(130) 또는 제3자 시스템(170)은 적절한 애플리케이션에 대한 소셜 그래프(200) 및 관련 소셜 그래프 정보에 접속할 수 있다. 소셜 그래프(200)의 노드 및 에지는 예컨대, 데이터 스토어(가령 소셜 그래프 데이터베이스)에 데이터 객체로 저장될 수 있다. 그러한 데이터 스토어는 소셜 그래프(200)의 노드 또는 에지의 하나 이상의 검색가능한 또는 질의가능한 인덱스를 포함할 수 있다.
특정 실시예로, 사용자 노드(202)는 소셜 네트워킹 시스템(160)의 사용자에 해당할 수 있다. 예로서 제한없이, 사용자는 소셜 네트워킹 시스템(160)과 상호작용하거나 소셜 네트워킹 시스템(160)을 통하여 통신하는 개인(인간 사용자), 엔터티(기업체, 사업체 또는 제3자 애플리케이션, 또는 그룹(개인 또는 엔터티의 그룹)일 수 있다. 특정 실시예로, 사용자가 소셜 네트워킹 시스템(160)에 계정을 등록하는 경우, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)를 생성하고, 하나 이상의 데이터 스토어에 그 사용자 노드(202)를 저장할 수 있다. 본 명세서에 기술되는 사용자 및 사용자 노드(202)는 적절한 경우 등록된 사용자와 연관된 등록된 사용자 및 사용자 노드(202)를 말할 수 있다. 추가로 또는 대안으로, 본 명세서에 기술되는 사용자 및 사용자 노드(202)는 적절한 경우 소셜 네트워킹 시스템(160)에 등록되지 않은 사용자를 언급할 수 있다. 특정 실시예로, 사용자 노드(202)는 사용자에 의해 제공된 정보 또는 소셜 네트워킹 시스템(160)을 포함하는 다양한 시스템에 의해 수집된 정보와 연관될 수 있다. 예로서 제한없이, 사용자는 그 또는 그녀의 이름, 프로필 사진, 연락처 정보, 생일, 성멸, 결혼 상태, 가족 사항, 이력, 학력 배경, 선호, 관심사 또는 다른 인구학적 정보를 제공할 수 있다. 특정 실시예로, 사용자 노드(202)는 사용자와 연관된 정보에 해당하는 하나 이상의 데이터 객체와 연관될 수 있다. 특정 실시예로, 사용자 노드(202)는 하나 이상의 웹페이지에 해당할 수 있다.
특정 실시예로, 컨셉 노드(204)는 컨셉에 해당할 수 있다. 예로서 제한없이, 컨셉은 장소(예컨대, 영화관, 레스토랑, 랜드마크 또는 도시); 웹사이트(예컨대, 소셜 네트워킹 시스템과 연관된 웹사이트 또는 웹 애플리케이션 서버와 연관된 제3자 웹사이트); 엔터티(예컨대, 사람, 사업체, 그룹, 스포츠팀 또는 유명인사); 소셜 네트워킹 시스템(160) 내나 웹 애플리케이션 서버와 같은 외부 서버 상에 위치할 수 있는 자원(예컨대, 오디오 파일, 비디오 파일, 디지털 사진, 텍스트 파일, 구조화된 문서 또는 애플리케이션); 부동산 또는 지적 재산(예컨대, 조각, 그림, 영화, 게임, 노래, 아이디어, 사진 또는 문학작품); 게임; 활동; 아이디어나 이론; 임의의 적절한 컨셉; 또는 2 이상의 그러한 컨셉들에 해당할 수 있다. 컨셉 노드(204)는 사용자에 의해 제공된 컨셉의 정보 또는 소셜 네트워킹 시스템(160)을 포함하는 다양한 시스템에 의해 수집된 정보와 연관될 수 있다. 예로서 제한없이, 컨셉 정보는 이름 또는 타이틀; 하나 이상의 이미지(예컨대, 책의 커버 페이지 이미지); 위치(예컨대, 주소 또는 지리적 위치); (URL과 연관될 수 있는) 웹사이트; 연락처 정보(예컨대, 전화번호 또는 이메일 주소); 다른 적절한 정보; 또는 그러한 정보의 임의의 적절한 조합을 포함할 수 있다. 특정 실시예로, 컨셉 노드(204)는 컨셉 노드(204)와 연관된 정보에 해당하는 하나 이상의 데이터 객체와 연관될 수 있다. 특정 실시예로, 컨셉 노드(204)는 하나 이상의 웹페이지에 해당할 수 있다.
특정 실시예로, 소셜 그래프(200) 내의 노드는 ("프로필 페이지"로 언급될 수 있는) 웹 페이지를 표현하거나 웹 페이지에 의해 표현될 수 있다. 프로필 페이지는 소셜 네트워킹 시스템(160)에 의해 호스트되거나 소셜 네트워킹 시스템(160)에 접속가능할 수 있다. 프로필 페이지는 제3자 서버(170)와 연관된 제3자 웹사이트 상에 호스트될 수 있다. 예로서 제한없이, 특정 외부 웹페이지에 해당하는 프로필 페이지는 특정 외부 웹페이지일 수 있으며, 프로필 페이지는 특정 컨셉 노드(204)에 해당할 수 있다. 프로필 페이지는 다른 사용자들 전부 또는 선택된 서브세트에 의해 열람가능할 수 있다. 예로서 제한없이, 사용자 노드(202)는 해당하는 사용자-프로필 페이지를 가질 수 있으며, 사용자-프로필 페이지에서 해당 사용자는 컨텐츠를 추가하거나, 선언을 하거나, 그 또는 그녀 자신을 표현할 수 있다. 다른 예로서 제한없이, 컨셉 노드(204)는 해당 컨셉-프로필 페이지를 가질 수 있으며, 컨셉-프로필 페이지 내에서 하나 이상의 사용자는 특히 컨셉 노드(204)에 해당하는 컨셉과 관련된 컨텐츠를 추가하거나, 선언을 하거나, 그들을 표현할 수 있다.
특정 실시예로, 컨셉 노드(204)는 제3자 웹페이지 또는 제3자 시스템(170)에 의해 호스트되는 자원을 표현할 수 있다. 제3자 웹페이지 또는 자원은 무엇보다 컨텐츠, 선택가능하거나 다른 아이콘, 또는 행위 또는 활동을 나타내는 (예컨대, JavaScript, AJAX 또는 PHP 코드들로 구현될 수 있는) 다른 상호작용가능한 객체를 포함할 수 있다. 예로서 제한없이, 제3자 웹페이지는 "좋아요", "체크인", "먹기", "추천하기" 또는 다른 적절한 행위 또는 활동과 같은 선택가능한 아이콘을 포함할 수 있다. 제3자 웹페이지를 열람하는 사용자는 아이콘들 중 하나(예컨대, "먹기")를 선택하는 것에 의해 행위를 수행할 수 있으며, 이 행위는 클라이언트 시스템(130)이 소셜 네트워킹 시스템(160)으로 사용자의 행위를 나타내는 메시지를 전송하게 한다. 이 메시지에 응답하여, 소셜 네트워킹 시스템(160)은 사용자에 해당하는 사용자 노드(202)와 제3자 웹페이지 또는 자원에 해당하는 컨셉 노드(204) 사이의 에지(예컨대, "먹기" 에지)를 생성하고 에지(206)를 하나 이상의 데이터 스토어에 저장할 수 있다.
특정 실시예로, 소셜 그래프(200) 내의 한 쌍의 노드는 하나 이상의 에지(206)에 의해 서로 연결될 수 있다. 한 쌍의 노드를 연결하는 에지(206)는 한 쌍의 노드 사이의 관계를 표현할 수 있다. 특정 실시예로, 에지(206)는 하나 이상의 데이터 객체 또는 한 쌍의 노드 사이의 관계에 해당하는 객체를 포함하거나 표현할 수 있다. 예로서 제한없이, 제1 사용자는 제2 사용자가 제1 사용자의 "친구"임을 지시할 수 있다. 이 지시에 응답하여, 소셜 네트워킹 시스템(160)은 제2 사용자에게 "친구 요청"을 전송할 수 있다. 제2 사용자가 "친구 요청"을 확인하면, 소셜 네트워킹 시스템(160)은 소셜 그래프(200) 내의 제2 사용자의 사용자 노드(202)에 제1 사용자의 사용자 노드(202)를 연결하는 에지(206)를 생성하고 그 에지를 하나 이상의 데이터 스토어(24) 내의 소셜-그래프 정보로서 저장할 수 있다. 도 2의 예에서, 소셜 그래프(200)는 사용자 "A" 및 "B"의 사용자 노드(202) 사이의 친구 관계를 나타내는 에지(206) 및 사용자 "C" 및 "B"의 사용자 노드(202) 사이의 친구 관계를 나타내는 에지를 포함한다. 본 명세서는 특정 사용자 노드들(202)을 연결하는 특정 속성을 가진 특정 에지(206)를 기술하거나 도시하지만, 본 명세서는 사용자 노드들(202)을 연결하는 임의의 적절한 속성을 가진 임의의 적절한 에지(206)를 고려한다. 예로서 제한없이, 에지(206)는 친구관계, 가족관계, 사업 또는 고용 관계, 팬 관계, 팔로어 관계, 방문자 관계, 가입자 관계, 감독/종속 관계, 상호 관계, 비-상호 관계, 다른 적절한 유형의 관계 또는 2 이상의 그러한 관계들을 표현할 수 있다. 게다가, 본 명세서는 일반적으로 노드가 연결되는 것을 기술하지만, 본 명세서는 사용자 또는 컨셉이 연결되는 것 또한 기술한다. 본 명세서에서, 연결되는 사용자 또는 컨셉에 대한 언급은 적절한 경우, 하나 이상의 에지(206)에 의해 소셜 그래프(200)에서 연결된 이들 사용자 또는 컨셉에 해당하는 노드를 말할 수 있다.
특정 실시예로, 사용자 노드(202)와 컨셉 노드(204) 사이의 에지(206)는 사용자 노드(202)와 연관된 사용자에 의해 컨셉 노드(204)와 연관된 컨셉을 대하여 수행된 특정 행위 또는 활동을 표현할 수 있다. 예로서 제한없이, 도 2에 도시된 바와 같이, 사용자는 각각 에지 유형 또는 서브유형에 해당할 수 있는 컨셉을 "좋아함", "참여함", "재생함", "들음", "요리", "근무함" 또는 "관람함"일 수 있다. 컨셉 노드(204)에 해당하는 컨셉-프로필 페이지는 예컨대, 선택가능한 "체크인" 아이콘(가령, 클릭가능한 "체크인" 아이콘) 또는 선택가능한 "즐겨찾기 추가" 아이콘을 포함할 수 있다. 마찬가지로, 사용자가 이들 아이콘을 클릭한 후, 소셜 네트워킹 시스템(160)은 각각의 행위에 해당하는 사용자의 행위에 응답하여 "즐겨찾기" 에지 또는 "체크인" 에지를 생성할 수 있다. 예로서 제한없이, 사용자(사용자 "C")는 특정 애플리케이션(온라인 음악 애플리케이션인 SPOTIFY)을 사용하여 특정 노래("Ramble On")을 들을 수 있다. 이 경우, 소셜 네트워킹 시스템(160)은 사용자가 그 노래를 듣거나 그 애플리케이션을 사용했음을 나타내기 위하여 (도 2에 도시된 바와 같이) 사용자에 해당하는 사용자 노드(202)와 노래 및 애플리케이션에 해당하는 컨셉 노드들(204) 사이에 "들음" 에지(206) 및 "사용함" 에지를 생성할 수 있다. 게다가, 소셜 네트워킹 시스템(160)은 (도 2에 도시된 바와 같이) 특정 노래가 특정 애플리케이션에 의해 재생되었음을 가리키기 위하여 노래 및 애플리케이션에 해당하는 컨셉 노드들(204) 사이에 "재생함" 에지(206)를 생성할 수 있다. 이 경우, "재생함" 에지는 외부 오디오 파일(노래 "Imagine") 상에 외부 애플리케이션(SPOTIFY)에 의해 수행되었던 행위에 해당한다. 본 명세서는 사용자 노드(202)와 컨셉 노드(204)를 연결하는 특정 속성을 가지는 특정 에지(206)를 기술하지만, 본 명세서는 사용자 노드(202)와 컨셉 노드(204)를 연결하는 임의의 적절한 속성을 가진 임의의 적절한 에지(206)를 고려한다. 게다가, 본 명세서는 사용자 노드(202)와 컨셉 노드(204) 사이에 단일 관계를 나타내는 에지를 기술하지만, 본 명세서는 사용자 노드(202)와 컨셉 노드(204) 사이의 하나 이상의 관계를 나타내는 에지들을 고려한다. 예로서 제한없이, 에지(206)는 사용자가 특정 컨셉을 좋아한 것 및 특정 컨셉에서 사용한 것 모두를 나타낼 수 있다. 대안으로, 다른 에지(206)는 (도 2에서 사용자 "E"에 대한 사용자 노드(202) 및 "SPOTIFY"에 대한 컨셉 노드(204) 사이에 도시된 바와 같이) 사용자 노드(202)와 컨셉 노드(204) 사이에 각 유형의 관계(또는 다수의 단일 관계들)을 나타낼 수 있다.
특정 실시예로, 소셜 네트워킹 시스템(160)은 소셜 그래프(200) 내의 사용자 노드(202) 및 컨셉 노드(204) 사이의 에지(206)를 생성할 수 있다. 예로서 제한없이, (예컨대, 웹 브라우저 또는 사용자의 클라이언트 시스템(130)에 의해 호스트되는 전용 애플리케이션에 의하여) 컨셉-프로필 페이지를 열람하는 사용자는 "좋아요" 아이콘을 클릭하거나 선택하는 것에 의하여 그 또는 그녀가 컨셉 노드(204)에 의해 표현되는 컨셉을 좋아하고 있음을 나타낼 수 있으며, 이는 사용자의 클라이언트 시스템(130)이 컨셉-프로필 페이지와 연관된 컨셉을 사용자가 "좋아함"을 가리키는 메시지를 소셜 네트워킹 시스템(160)에 전송하게 할 수 있다. 이 메시지에 응답하여, 소셜 네트워킹 시스템(160)은 사용자와 컨셉 노드(204) 사이에 "좋아요" 에지(206)에 의하여 도시된 바와 같이, 사용자와 연관된 사용자 노드(202)와 컨셉 노드(204) 사이에 에지(206)를 생성할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(160)은 하나 이상의 데이터 스토어에 에지(206)를 저장할 수 있다. 특정 실시예로, 에지(206)는 특정 사용자 행위에 응답하여 소셜 네트워킹 시스템(160)에 의하여 자동으로 형성될 수 있다. 예로서 제한없이, 제1 사용자가 사진을 업로드하거나, 영화를 보거나, 노래를 들으면, 제1 사용자에 해당하는 사용자 노드(202)와 이들 컨셉에 해당하는 컨셉 노드들(204) 사이에 에지(206)가 생성될 수 있다. 본 명세서는 특정 방식으로 특정 에지(206)를 형성하는 것을 기술하지만, 본 명세서는 임의의 적절한 방식으로 임의의 적절한 에지들(206)을 형성하는 것을 고려한다.
소셜 네트워킹 시스템(160)으로부터 이용가능한 정보는 특정 개인들을 위한 현실을 증강하기 위하여 사용될 수 있다. 예컨대, 특정 그룹의 사람들이 한 장소에 함께 모여 있다고 가정해 보자. 그것은 미팅, 사교파티(가령, 생일파티, 결혼) 또는 사교 모임, 이벤트(가령 콘서트, 스포츠 경기)일 수 있다. 개별 사람에 관한 정보를 서로에게 제공하는 것이 도움이 될 수 있다. 일부 경우에, 사람이 소셜 네트워킹 시스템(160)의 사용자라면, 그 사람에 대한 정보는 소셜 네트워킹 시스템(160)으로부터(예컨대, 소셜 네트워킹 시스템(106)의 그 사람의 사용자 프로필 또는 소셜 그래프(200)로부터) 검색될 수 있다.
도 3은 제1 사용자가 제2 사용자 가까이에 있는 경우, 제1 사용자에 관한 정보를 제2 사용자에게 제공하기 위한 예시적인 방법(300)을 도시한다. 도 3에 도시된 단계들은 서로 다른 제1 사용자들에 관한 정보를 제2 사용자에게 제공하기 위하여 반복될 수 있음을 주지하라. 적어도 제1 사용자 및 제2 사용자를 포함하는 사용자들의 그룹이 한 장소에 함께 모여있다고 가정하자. 그 장소는 빌딩이나 집 내의 방일 수 있거나, 사업체 건물(가령, 클럽, 레스토랑, 샵), 공공 장소(가령, 거리 코너, 공원) 등일 수 있다. 본 명세서는 사람이 모일 수 있는 임의의 적절한 장소를 고려한다. 또 제1 사용자가 제2 사용자 가까이에 있다고 가정해 보자. "가까이"라는 단어는 제1 사용자와 제2 사용자가 서로 반드시 옆에 있어야 함을 의미하는 것은 아니다. 대신, 제2 사용자가 제1 사용자에게 공간적으로 가까운 곳에 있거나 제2 사용자가 제1 사용자의 존재를 인식할 수 있는 것(예컨대, 떨어져 있더라도 제2 사용자가 제1 사용자를 보거나 들을 수 있는 것)으로 충분하다.
단계 310에서, 특정 실시예는 제1 사용자의 개인정보 설정을 조건으로, 제1 사용자를 식별할 수 있다. 예컨대, 제1 사용자는 제1 사용자의 개인정보 설정이 제1 사용자가 식별에 동의함을 나타내는 경우에만 식별된다. 사용자를 식별하는 다른 방법들이 있으며, 본 명세서는 사람을 식별하기 위한 임의의 적절한 기술들을 고려한다.
일부 구현으로, 제1 사용자는 얼굴 인식을 통하여 식별될 수 있다. 이 경우, 제1 사용자의 얼굴 이미지는 다시 한번 제1 사용자의 개인정보 설정을 조건으로, 시각 기록 장치(예컨대, 카메라 또는 비디오 리코더)로 촬영될 수 있다(즉, 제1 사용자의 이미지는 제1 사용자의 개인정보 설정이 제1 사용자가 그의 이미지가 촬영되는 것을 동의했음을 가리키는 경우에만 촬영될 수 있다). 제1 사용자의 얼굴 이미지는 처리되어 제1 사용자의 신원을 결정하기 위하여 공지된 신원을 가지는 사람들의 이미지와 비교된다. 예컨대, 제1 사용자가 소셜 네트워킹 시스템(160)의 회원이라면, 제1 사용자의 얼굴 이미지는 소셜 네트워킹 시스템(160)으로 전송되어 소셜 네트워킹 시스템(160)의 프로필 또는 다른 이미지(예컨대, 사용자 앨범으로부터의 이미지)와 비교될 수 있다. 매칭이 발견되면, 프로필 이미지가 제1 사용자의 얼굴 이미지외 매칭된 사용자의 이름이 제1 사용자의 이름이 될 것이다.
일부 구현으로, 제1 사용자는 음성 인식을 통하여 식별될 수 있다. 이 경우, 제1 사용자의 음성 기록은 제1 사용자의 개인정보 설정을 조건으로, 오디오 기록 장치(예컨대, 음성 또는 비디오 리코더, 마이크로폰)로 촬영될 수 있다(즉, 제1 사용자의 음성은 제1 사용자의 개인정보 설정이 제1 사용자가 그의 음성이 기록되는 것에 동의했음을 나타내는 경우에만 기록된다). 제1 사용자의 음성 기록은 처리되어 제1 사용자의 신원을 결정하기 위하여 공지된 신원을 가지는 사람의 음성 기록들과 비교될 수 있다. 예컨대, 제1 사용자가 소셜 네트워킹 시스템(160)의 회원이라면, 제1 사용자의 음성 기록은 소셜 네트워킹 시스템(160)으로 전송되어 소셜 네트워킹 시스템(160)의 사용자들의 음성 기록들과 비교될 수 있다. 매칭이 발견되면, 음성 기록이 제1 사용자의 음성 기록과 매칭되는 사용자의 이름이 제1 사용자의 이름이 될 것이다.
얼굴 또는 음성 인식 결과를 더 향상시키기 위하여, 일부 구현으로, 소셜 그래프(200)에 저장된 정보, 특히 소셜 네트워킹 시스템(160)의 사용자들 사이의 소셜 연결 및 체크인 정보가 사용될 수 있다. 제2 사용자가 소셜 네트워킹 시스템(160)의 회원이라고 가정해 보자. 제1 사용자의 얼굴 이미지를 공지된 신원을 가지는 사람들의 이미지와 비교하거나 제1 사용자의 음성 기록을 공지된 신원을 가지는 사람들의 음성 기록과 비교하는 경우, 검색 풀(즉, 제1 사용자의 신원을 위하여 검색될 공지된 신원을 가지는 사람들)은 예로서 제한없이: (1) 제2 사용자의 친구들(즉, 소셜 그래프(200)에 따라 제2 사용자와 직접 연결되는 소셜 네트워킹 시스템(160)의 사용자들), (2) 제2 사용자의 친구의 친구들(즉, 소셜 그래프(200)에 따라 하나의 다른 사용자를 통하여 제2 사용자에게 간접적으로 연결된 소셜 네트워킹 시스템(160)의 사용자들), (3) 제2 사용자와 동일한 위치에 체크인한 소셜 네트워킹 시스템(160)의 사용자들, (4) 제2 사용자가 있는 곳과 다른 일부 다른 위치에 체크인하지 않거나 제2 사용자가 있는 위치로부터 다소 떨어진 곳에 최근 체크인하지 않았던 제2 사용자의 친구들(예컨대, 제2 사용자가 과거 2시간 내에 있었던 위치로부터 60마일 이상 떨어진 어딘가에 체크인 한 적이 없는 제2 사용자의 친구들), (5) 음성 또는 얼굴 인식 알고리즘이 좀 더 정확한 결과를 제공할 수 있는 공지된 신원 및 좋은 형상 정보(예컨대, 좋은 오디오 기록 또는 얼굴 이미지)를 가진 사람들, 또는 (6) 상술한 사람들의 임의의 조합으로 제한될 수 있다. 다른 적용가능한 조건이 또한 검색 풀을 제한하기 위하여 사용될 수 있다. 또한, 사용자의 개인정보를 보호하기 위하여, 검색 풀은 그러한 상황에서 그들이 자동으로 인식되는 것을 금지하는(즉, 신원 인식 결과로부터 그들을 제거하는) 개인정보 규칙을 설정한 사람들을 배제할 수 있다.
사용자를 식별하기 위하여, 사용자의 얼굴 이미지 또는 사용자의 음성 기록을 확보하기 위한 서로 다른 방법들이 있으며, 본 명세서는 사용자의 얼굴 이미지 또는 음성 기록을 획득하기 위한 임의의 적절한 기술들을 고려한다. 예로서, 제2 사용자는 오디오 또는 시각 기록 장치를 가질 수 있으며, (예컨대, 제1 사용자가 제2 사용자를 마주하고 있는 동안) 제1 사용자의 얼굴 이미지를 촬영하거나, (예컨대, 제1 사용자가 말하고 있는 동안) 제1 사용자의 음성을 기록하거나, 둘 모두를 하기 위하여 그러한 장치를 사용할 수 있다. 오디오/시각 기록 장치(예컨대, 카메라, 마이크로폰)는 임의의 형태를 가질 수 있으며, 본 명세서는 임의의 적절한 오디오/시각 기록 장치들을 고려한다. 예컨대, 기록 장치는 스마트폰, 보석 조각(예컨대, 팬던트, 브로치), 손목시계, 또는 제1 사용자가 가지고 있거나 착용하는 안경에 통합되어 눈에 띄지 않을 수 있다. 예로서, 제1 사용자 및 제2 사용자가 집 또는 빌딩의 방과 같은 밀폐된 공간에 있다면, 방 주변(예컨대, 방의 벽이나 천정)에 설치된 오디오/시각 기록 장치들이 있을 수 있다. 각 기록 장치는 그 장치에 가까이 인접한 사용자들의 오디오/시각 기록을 취할 수 있다. 모든 경우에, 시각 기록 장치는 광각 이미지를 취하기 위하여 어안렌즈를 포함할 수 있다.
일부 구현으로, 제1 사용자는 제1 사용자의 개인정보 설정을 조건으로 제1 사용자가 가지고 있는 모바일 장치를 통하여 식별될 수 있다. 예로서, 제1 사용자가 스마트폰을 가지고 있는 경우, 스마트폰의 위치는 (예컨대, 삼각측정법을 통하여) 무선신호에 의해 또는 GPS 센서 데이터에 의해 결정될 수 있다. 제1 사용자의 위치는 제1 사용자의 스마트폰의 위치로부터 도출될 수 있다. 일부 경우에, 제1 사용자가 소셜 네트워킹 시스템(160)의 회원이라면, 제1 사용자가 가지고 있는 스마트폰의 전화번호가 소셜 네트워킹 시스템(160)으로 전송되어 소셜 네트워킹 시스템(160)의 (예컨대, 사용자 프로필에서 발견되는) 사용자들의 셀룰러 전화번호와 비교될 수 있다. 매칭이 발견되면, 셀룰러 전화번호가 제1 사용자의 스마트폰의 전화번호와 매칭되는 사용자의 이름이 대부분의 경우 제1 사용자의 이름이 될 것이다. 다른 경우에, 제1 사용자가 가지고 있는 스마트폰의 전화번호는 전화번호의 소유자의 이름을 결정하기 위하여 적절한 전화 회사 기록에 대하여 조사될 수 있으며, 대부분의 경우, 그 전화번호 소유자의 이름이 제1 사용자의 이름이 될 것이다. 다른 예로, 제1 사용자가 고유 식별자를 가지는 블루투스 장치(예컨대, 헤드폰)를 가지고 있는 경우, 블루투스 장치가 제1 사용자를 식별하기 위하여 사용될 수 있다. 대부분의 경우, 블루투스 장치의 공지된 소유자의 이름이 제1 사용자의 이름이 될 것이다.
일부 구현으로, 제1 사용자는 제1 사용자의 개인정보 설정을 조건으로, 모임 동안 소셜 네트워킹 시스템(160)과 관련하여 제1 사용자가 수행한 행위를 통하여 식별될 수 있다. 예컨대, 제1 사용자가 모임에 도착하자마자 소셜 네트워킹 시스템(160)으로 "체크인" 행위를 수행한다면, 그것은 제1 사용자가 그 모임에 참석했음을 가리킨다. 이 정보는 제1 사용자를 식별하기 위한 다른 유용한 정보(예컨대, 동일 모임에서 제1 사용자의 소셜 연결인 다른 사용자들에 의해 수행된 "체크인" 행위)와 교차-참조될 수 있다.
제1 사용자가 정확하게 식별되는 것을 보장하기 위하여, 특정 실시예는 적절한 식별 방법들의 조합을 채용할 수 있다. 예컨대, 제1 사용자는 얼굴 인식 및 음성 인식 모두를 통하여, 음성 인식 및 제1 사용자가 가지고 있는 모바일 장치 모두를 통하는 것 등에 의해 식별될 수 있다.
일부 구현으로, 제1 사용자의 식별은 소셜 네트워킹 시스템(160)의 컴퓨팅 장치(예컨대, 서버)에 의해 수행될 수 있다. 이 경우, 정보(예컨대, 제1 사용자의 얼굴 이미지 또는 음성 기록, 제1 사용자가 가지고 있는 모바일 장치의 식별자)는 소셜 네트워킹 시스템(160)으로 전송되고, 다음으로 소셜 네트워킹 시스템(160)은 제1 사용자를 식별한다. 다른 실시예로, 제1 사용자의 식별은 제2 사용자의 모바일 장치에 의해 수행될 수 있다. 예컨대, 제2 사용자의 스마트폰은 제1 사용자의 얼굴 이미지를 캡처하여 얼굴 인식을 수행하거나, 제1 사용자의 음성을 기록하여 음성 인식을 수행할 수 있다. 필요하다면, 제2 사용자의 스마트폰은 식별을 돕기 위하여 소셜 네트워킹 시스템(160)으로부터의 적절한 정보를 획득할 수 있다.
제1 사용자의 신원(예컨대, 소셜 네트워킹 시스템(160)에서의 이름, 사용자 식별자(ID))이 결정되면, 단계 320에서 특정 실시예는 소셜 네트워킹 시스템(160)으로부터 제1 사용자에 관한 정보를 검색할 수 있다. 일부 구현으로, 제1 사용자에 관한 정보는 제1 사용자의 배경, 직종, 직업, 취미, 관심사, 결혼상태 등과 같이 소셜 네트워킹 시스템(160)의 제1 사용자의 프로필로부터 검색될 수 있다. 일부 구현으로 제1 사용자에 관한 정보는 소셜 네트워킹 시스템의 소셜 그래프 또는 오픈 그래프(예컨대, 소셜 그래프(200))로부터 검색될 수 있다. 예컨대, 제1 사용자의 소셜 연결(예컨대, 친구, 가족), (예컨대, 제1 사용자와 소셜 네트워킹 시스템(160)의 다른 사용자들 사이의) 소셜 상호작용, 온라인 활동(예컨대, 통신, 포스트, 파일 업로드, 웹사이트 방문 등), 또는 모바일 활동(예컨대, 체크인, 전화 호출, 텍스트 등)이 소셜 그래프(200)로부터 검색될 수 있다.
제1 사용자의 개인정보를 보호하기 위하여, 일부 구현으로, 제1 사용자에 관한 정보는 (예컨대, 친구 연결에 기초하여) 일반 공중이나 제2 사용자에게 접속가능한 특정 정보에 접속이 인증된 경우에만 소셜 네트워킹 시스템(160)으로부터 검색된다. 제2 사용자가 접속을 인증받지 못한 정보(예컨대, 개인 정보)는 검색되지 않는다. 제1 사용자에 관한 특정 정보가 제2 사용자에게 접속가능하다는 것은 소셜 네트워킹 시스템(160)의 제1 사용자의 계정에 특정된 개인정보 설정에 기초하여 결정될 수 있다.
단계 330에서, 특정 실시예는 (예컨대, 제1 사용자와 제2 사용자가 모두 모임에 있는 경우) 제1 사용자에 관한 정보를 제2 사용자에게 제공한다. 사용자에게 정보를 제공하기 위한 서로 다른 방법들이 존재하며, 본 명세서는 사용자에게 정보를 제공하기 위한 임의의 적절한 기술들을 고려한다.
일부 구현으로, 제1 사용자에 관한 정보는 제2 사용자가 가지고 있는 모바일 장치(예컨대, 스마트폰)의 스크린 상에 디스플레이될 수 있다. 예컨대, 그 정보는 제1 사용자의 얼굴 이미지와 함께 제시될 수 있다. 일부 구현으로, 제1 사용자에 관한 정보는 (예컨대, 제2 사용자가 착용하고 있는 이어폰 또는 제2 사용자가 가지고 있는 모바일 장치의 스피커를 통하여) 제2 사용자에게 속삭여질 수 있다. 소리의 크기는 제1 사용자만이 제1 사용자에 관한 정보를 들을 수 있도록 충분히 낮을 수 있다.
(예컨대, 사교모임이나 전문모임에서) 다수의 사용자들이 함께 모이는 경우, 사용자들이 식별된 후 (예컨대, 사용자들 사이의 유사성에 근거하여) 분류될 수 있다. 도 4는 제1 사용자가 제2 사용자 가까이에 있을 때 제1 사용자 그룹에 관한 정보를 제2 사용자에게 제공하기 위한 예시적인 방법(400)을 도시한다. 하나 이상의 제1 사용자들 및 제2 사용자를 포함하는 사용자들의 그룹이 한 장소에 함께 모여있다고 가정해 보자. 다시 한번, 그 장소는 빌딩이나 집 내의 방, 사업소(예컨대, 클럽, 레스토랑, 샵), 공공장소(예컨대, 길 모서리, 공원) 등일 수 있다. 본 명세서는 사람들이 모일 수 있는 임의의 적절한 장소를 고려한다. 또한 제1 사용자가 제2 사용자 가까이에 있다(즉, 제2 사용자가 제1 사용자를 보거나 들을 수 있기 때문에 제2 사용자가 제1 사용자의 존재를 인식하고 있다)고 가정해 보자.
단계 410에서, 특정 실시예는 각 제1 사용자의 개인정보 설정을 조건으로 제2 사용자 가까이에 있는 각각의 제1 사용자를 식별할 수 있다. 특정 실시예로, 각 제1 사용자는 도 3의 단계 310과 관련하여 상술한 것과 유사한 기술을 사용하여 식별될 수 있다.
각 제1 사용자의 신원(예컨대, 이름, 소셜 네트워킹 시스템(160)에서의 사용자 ID)이 결정되면, 단계 420에서, 특정 실시예는 소셜 네트워킹 시스템(160)으로부터 각 제1 사용자에 관한 정보를 검색할 수 있다. 특정 실시예로, 각 제1 사용자에 관한 정보는 도 3의 단계 320과 관련하여 상술한 것과 유사한 기술들을 사용하여 검색될 수 있다.
단계 430에서, 특정 실시예는 제1 사용자의 개인정보 설정을 조건으로, 제1 사용자에 관한 정보에 근거하여 제1 사용자들을 하나 이상의 그룹으로 분류할 수 있다(즉, 각 제1 사용자에 관한 특정 정보는 제1 사용자의 개인정보 설정이 각 제 1 사용자의 공공 정보와 같이 그 정보가 사용될 수 있음을 가리키는 경우에만 제1 사용자들을 분류하기 위하여 사용된다). 사용자들의 그룹을 분류하기 위한 서로 다른 방법들이 있으며, 본 명세서는 사용자 분류를 위한 임의의 적절한 기술들을 고려한다.
일부 구현으로, 제1 사용자들은 제1 사용자들 사이의 유사성 또는 제1 사용자와 제2 사용자 사이의 유사성에 근거하여 분류될 수 있다. 예로서, 제1 사용자들은 각 제1 사용자의 개인정보 설정을 조건으로, 그들의 직업(예컨대, 엔지니어, 의사, 법률가, 선생님 등), 그들의 취미(예컨대, 스탬프 수집, 사진, 요리, 항해 등), 그들의 성별(예컨대, 여성, 남성), 그들의 관계 상태(예컨대, 미혼, 결혼, 이혼 등), 그들의 나이 그룹 등에 근거하여 분류될 수 있다. 예로서, 제1 사용자들은 각 제1 사용자의 개인정보 설정을 조건으로, 그들이 제2 사용자와 일부 공통 관심사를 공유하는지 여부(예컨대,제2 사용자가 낚시를 좋아한다면, 역시 낚시를 좋아하는 모든 제1 사용자들이 함께 그룹화될 수 있다), 그들이 제2 사용자와 동일 회사에서 근무하는지 여부, 그들이 제2 사용자와 동일 대학에 다녔는지 여부, 그들이 제2 사용자와 동일한 나이 그룹에 속하는지 여부 등에 근거하여 분류될 수 있다. 세번째 예로서, 제1 사용자들은 제1 사용자 및 제2 사용자와 연관된 친밀성 또는 계수값에 근거하여 분류될 수 있다. 일부 구현으로, 친밀성 값은 각각의 제1 사용자와 제2 사용자 사이에 계산될 수 있으며, 각각의 제1 사용자와 제2 사용자 사이의 관계를 측정한다. 일부 구현으로, 친밀성 값은 각 제1 사용자와 주제 사이뿐 아니라 제2 사용자와 동일 주제 사이에 계산될 수 있다. 친밀성은 본 명세서에 전체로서 참조로 통합된 미국특허출원 제11/503,093에 좀 더 상세히 기술된다.
일부 구현으로, 제1 사용자들은 제2 사용자에 의해 특정된 조건에 근거하여 분류될 수 있다. 예로서, 제2 사용자가 모임에서 데이트 상대를 찾고자 한다면, 제2 사용자는 여성, 25세 내지 35세 사이, 미혼이거나 이혼한, 및 로맨틱한 관계를 추구하는데 관심이 있는 것과 같은 조건을 특정할 수 있다. 다음으로, 이러한 조건을 만족하는 모든 제1 사용자들이 동일 그룹으로 분류될 수 있다. 다른 예로서, 제2 사용자(예컨대, 여자 사업가)가 모임에서 전문적 네트워크를 구축하기를 원한다면, 제2 사용자는 최고 경영자 또는 경영이나 경제에서 석박사 학위를 가지는 것과 같은 조건을 특정할 수 있다. 다음으로, 이러한 조건을 만족하는 모든 제1 사용자들이 동일 그룹으로 분류될 수 있다. 세번째 예로서, 제2 사용자가 테니스를 칠 파트너를 구하는데 관심이 있다면, 제2 사용자는 테니스에 관심이 있거나, 적어도 일주일에 한번 테니스를 치거나, 중급 이상의 테니스 선수와 같은 조건을 특정할 수 있다. 역시, 이러한 조건을 만족하는 모든 제1 사용자들이 동일 그룹으로 분류될 수 있다.
단계 440에서, 특정 실시예들은 특정 그룹에 속하는 특정 제1 사용자들을 제2 사용자에게 통지할 수 있다. 단계 440은 서로 다른 그룹으로부터의 제1 사용자들을 제2 사용자에게 통지하기 위하여 반복될 수 있음을 주지하라. 특정 실시예로, 제2 사용자에게는 도 3의 단계 330과 관련하여 상술한 것과 유사한 기술들을 사용하여 통지될 수 있다. 예로서, 그룹으로부터 각 제1 사용자의 이름 및 이미지가 제2 사용자의 모바일 장치(예컨대, 스마트폰)의 스크린에 디스플레이되어 제2 사용자가 가까이에 있는 실제 사람을 식별하고 각 이름과 얼굴을 매칭하는데 이미지를 사용할 수 있다. 다른 예로서, 그룹으로부터 각 제1 사용자의 이름 및 간략한 설명이 (제2 사용자가 착용한 이어폰을 통하여) 제2 사용자에게 속삭여질 수 있다.
일부 구현으로, 각 제1 사용자 또는 그룹으로부터 선택된 제1 사용자들에 관한 정보(예컨대, 소셜 네트워킹 시스템(160)으로부터의 정보)가 제2 사용자에게 제공될 수 있다. 예로서, 모임이 나이트클럽에서 이루어지고, 제2 사용자가 데이트 상대를 구하는 것에 관심이 있다고 가정해 보자. 제2 사용자에 의해 특정된 데이트 조건을 만족하는 제1 사용자의 이름 및 이미지가 제2 사용자에게 제시될 수 있다. 이들 이미지를 살펴본 후에, 제2 사용자는 3명의 특정 제1 사용자에게 특히 관심을 가질 수 있다. 그러면, 이들 3명의 제1 사용자 각각에 관한 추가 정보(예컨대, 직업, 관심, 취미, 학력 등)가 제2 사용자에게 제시될 수 있으며, 제2 사용자는 이들 중에서 선택할 수 있다. 다른 예로서, 제2 사용자가 영향력 있는 위치에 있는 사람을 만나는데 관심이 있다고 가정해 보자. 제2 사용자에 의해 특정된 전문가 네트워킹 조건(예컨대, 최고 경영자들)을 만족하는 제1 사용자들의 이름 및 이미지가 제2 사용자에게 제시될 수 있다. 또한, 이 제1 사용자들 각각에 대하여, 제1 사용자가 현재 근무하고 있는 회사, 제1 사용자가 그 회사에서 보유하고 있는 현재 지위, 제1 사용자의 학력 및 경력 등과 같은 제1 사용자에 관한 정보가 제2 사용자에게 제시될 수 있으며, 제2 사용자는 연락할 특정 제1 사용자를 결정할 수 있다.
(예컨대, 사교모임 또는 전문가 모임에) 다수의 사용자들이 함께 모여 있는 경우, 한 사용자가 다른 사용자에게 특별히 관심이 있을 수 있으며, 그 다른 사용자에 관한 추가 정보를 발견하고자 할 수 있다. 도 5는 제2 사용자의 행동에 근거하여 제2 사용자가 특히 관심을 가지는 제1 사용자를 자동으로 식별하기 위한 예시적인 방법(500)을 도시한다. 도 5오 도시된 방법들은 제2 사용자가 특히 관심을 가지는 서로 다른 제1 사용자들을 식별하기 위하여 반복될 수 있음을 주지하라. 하나 이상의 제1 사용자 및 제2 사용자를 포함하는 사용자들의 그룹이 한 장소에 함께 모여 있다고 가정해 보자. 예컨대, 그 장소는 빌딩이나 집 안의 방, 사업소(예컨대, 클럽, 레스토랑, 샵), 공공장소(예컨대, 길 모서리, 공원) 등일 수 있다. 본 명세서는 사람들이 모일 수 있는 임의의 적절한 장소를 고려한다. 또한 제1 사용자가 제2 사용자 가까이에 있다(즉, 제2 사용자가 제1 사용자를 보거나 들을 수 있기 때문에 제2 사용자가 제1 사용자의 존재를 인식하고 있다)고 가정해 보자.
단계 510에서, 특정 실시예는 각 제1 사용자의 개인정보 설정을 조건으로 제2 사용자 가까이에 있는 각 제1 사용자를 식별할 수 있다. 특정 실시예로, 각 제1 사용자는 도 3의 단계 310과 관련하여 상술한 것과 유사한 기술을 사용하여 식별될 수 있다.
단계 520에서, 특정 실시예는 제2 사용자의 행동에 기초하여 제2 사용자가 특히 관심이 있을 수 있는 특정 제1 사용자를 식별할 수 있다. 다시 말해, 제2 사용자는 어떤 제1 사용자가 제2 사용자가 관심을 가지는 사람임을 (예컨대, 컴퓨팅 시스템에) 지시하기 위한 특정 목적으로 명시적인 행위를 수행할 필요가 없다. 대신, 제2 사용자가 특히 관심이 있을 수 있는 제1 사용자는 제2 사용자의 행동을 통하여 암묵적으로 식별된다. 사용자가 관심을 가지는 사람을 식별하기 위하여 사용될 수 있는 서로 다른 사용자 행동들이 있으며, 본 명세서는 임의의 적용가능한 사용자 행동들을 고려한다.
일부 구현으로, 모임에서 개별 사용자들의 위치가 결정된다(도 6과 관련한 아히의 설명에서 기술됨). 제2 사용자가 임계 기간(예컨대, 1분) 동안 특정 제1 사용자와 가까운 곳(예컨대, 옆)에 남아있는 경우(예컨대, 서있거나 앉아있는 경우), 제1 사용자는 제2 사용자가 특히 관심을 가지는 것으로 식별될 수 있다. 예컨대, 제2 사용자가 가지고 있는 모바일 장치는 가속도계를 포함할 수 있으며, 가속도계는 모바일 장치 및 따라서 제2 사용자의 적절한 가속을 측정하기 위하여 사용될 수 있다. 이는 제2 사용자가 임의의 주어진 순간에 움직이고 있거나 여전히 남아있는지를 결정하기 위하여 사용될 수 있다. 따라서, 제2 사용자가 특정 제1 사용자의 옆에 위치하여 임계 시간 동안 거기에 남아있다면, 제1 사용자는 제2 사용자가 특히 관심을 가지는 사람으로 자동으로 식별될 수 있다.
일부 구현으로, (예컨대, 망막 추적을 통하여) 제2 사용자의 눈의 움직임이 추적될 수 있다. 눈 추적은 응시점이나 그 사람의 머리에 상대적인 눈의 움직임을 측정하는 프로세스이다. 눈의 위치와 움직임을 측정하는 다양한 눈 추적 장치들이 있으며, 본 명세서는 임의의 적용가능한 눈 추적 장치들을 고려한다. 예로서, 제2 사용자는 내장된 거울 또는 자기장 센서를 가진 특수 컨택트 렌즈를 착용할 수 있다. 컨택트 렌즈의 움직임에 근거하여 눈의 움직임이 측정될 수 있다. 다른 예로서, 제2 사용자는 비디오 카메라 또는 광학 센서를 구비한 안경을 착용할 수 있다. 안경으로부터 반사된 빛(예컨대, 적외선)은 비디오 카메라 또는 광학 센서에 의해 감지되고, 반사에서의 변화에 근거하여 눈의 회전이 추적된다. 제2 사용자가 임계 기간(예컨대, 30초) 동안 특정 제1 사용자를 쳐다보는 경우, 그 제1 사용자는 제2 사용자가 관심을 가지는 사람으로 식별될 수 있다. 대안으로, 제2 사용자가 특정 제1 사용자를 쳐다보는 동안 임계 횟수(예컨대, 연속적으로 3번) 만큼 그 또는 그녀의 눈을 가리는 경우, 제1 사용자는 제2 사용자가 특히 관심을 가지는 사람으로 식별될 수 있다.
일부 구현으로, 제2 사용자는 오디오 기록 장치를 포함하는 모바일 장치를 가지고 있을 수 있다. 오디오 기록 장치는 제2 사용자 주변의 소리를 연속적으로 캡처한다. 제2 사용자가 임계 기간(예컨대, 30초) 동안 특정 제1 사용자와의 대화에 참여하거나 특정 제1 사용자에게 말하는 경우, 그 제1 사용자는 제2 사용자가 특히 관심을 가지는 사람으로 식별될 수 있다. 대안으로, 제2 사용자가 특정 제1 사용자의 옆에 서있거나 앉아있는 동안 기정의된 단어(예컨대, 정보)를 말하는 경우, 그 제1 사용자는 제2 사용자가 특히 관심을 가지는 사람으로 식별될 수 있다.
제2 사용자가 특히 관심을 가지는 특정 제1 사용자를 식별하는 정확성을 향상시키기 위하여, 특정 실시예는 적절한 식별 방법들의 조합을 채용할 수 있다. 예컨대, 제1 사용자는, 제2 사용자가 제1 사용자를 임계 기간 동안 응시하고 기정의된 단어를 말하는 경우, 또는 제2 사용자가 임계 기간 동안 제1 사용자 옆에 서 있고 임계 횟수만큼 눈을 깜빡이는 경우 식별될 수 있다.
제2 사용자가 특히 관심을 가지는 특정 제1 사용자가 자동으로 식별되면, 단계 530에서 특정 실시예는 소셜 네트워킹 시스템(160)으로부터 특정 제1 사용자에 관한 정보를 검색할 수 있다. 특정 실시예로, 특정 제1 사용자에 관한 정보는 도 3의 단계 320과 관련하여 상술한 것과 유사한 기술을 사용하여 검색될 수 있다.
단계 540에서, 특정 실시예는 제2 사용자가 특히 관심을 가지는 특정 제1 사용자에 관한 정보를 제2 사용자에게 제공할 수 있다. 특정 실시예로, 특정 제1 사용자에 관한 정보는 도 3의 단계 330과 관련하여 상술한 것과 유사한 기술을 사용하여 제공될 수 있다. 예컨대, 특정 제1 사용자에 관한 정보는 제2 사용자의 모바일 장치(예컨대, 스마트폰)의 스크린에 디스플레이되거나 (예컨대, 제2 사용자가 착용한 이어폰을 통하여) 제2 사용자에게 소리로 통신될 수 있다.
특정 제1 사용자에 관한 정보는 예컨대, 제2 사용자가 특정 제1 사용자와 교제하는 것을 도울 수 있다. 제2 사용자가 현재 모임 이전에 특정 제1 사용자를 만난 적이 없고 특정 제1 사용자에게 그 또는 그녀 자신을 소개하기를 원한다고 가정해 보자. 만약 제2 사용자가, 특정 제1 사용자가 스포츠 특히 골프에 관심이 있는 것을 안다면, 제2 사용자는 특정 제1 사용자와 대화를 할 때 대화 주제로서 "골프"를 선택할 수 있다.
도 3, 4 및 5에 도시된 방법에 있어서, 특정 실시예들은 특정 제1 사용자 또는 사용자들(예컨대, 제2 사용자가 특히 관심을 가지는 제1 사용자 또는 특정 그룹으로부터의 제1 사용자들)과 제2 사용자 사이의 연관 또는 연결이 존재함을 고려할 수 있다. 그러한 연관 또는 연결에 근거하여 추천 또는 광고가 제2 사용자에게 제공될 수 있다. 예컨대, 제1 사용자 모두가 제2 사용자와 공통 관심사(예컨대, 테니스)를 공유한다면, 제1 사용자에 의해 선호되는 테니스 장비(예컨대, 옷, 공, 라켓)의 브랜드가 제2 사용자에게 추천될 수 있다.
특정 실시예로, 도 4 내지 6에 도시된 프로세스들은 다수의 사용자들에게 대칭적으로 적용될 수 있다. 예컨대, 사용자 X 및 Y가 모두 이벤트에 참석하는 동안, (도 3의 단계 310과 관련하여 상술한 것과 유사한 기술들을 사용하여) 사용자 X 및 Y 모두가 식별되고 사용자 X 및 Y 모두에 관한 정보가 (예컨대, 소셜 네트워킹 시스템(160)으로부터) 검색될 수 있다. 그 후, 사용자 X에 관한 정보는 사용자 Y에게 제공되는 반면, 사용자 Y에 관한 정보는 사용자 X에게 제공될 수 있다.
특정 실시예로, 도 4 내지 6에 도시된 프로세서들을 다수의 사용자들에게 비대칭적으로 적용될 수 있다. 예컨대, 사용자 X 및 Y가 모두 이벤트에 참석하는 동안, (도 3의 단계 310과 관련하여 상술한 것과 유사한 기술들을 사용하여) 사용자 X 및 Y 모두가 식별되고 사용자 X 및 Y 모두에 관한 정보가 (예컨대, 소셜 네트워킹 시스템(160)으로부터) 검색될 수 있다. 그 후, 사용자 X 및 Y 모두에 관한 정보는 사용자 Z에게 제공되는 반면, 사용자 Z에 관한 정보는 사용자 X 또는 사용자 Y에게 제공되지 않는다. 예컨대, 사용자 Z는 이벤트의 호스트일 수 있다. 다음으로, 사용자 Z는 (예컨대, 그들 각자의 정보에 근거하여) 사용자 X 및 Y를 서로에게 소개시킬지 여부를 결정할 수 있다. 이는 (그들의 정보를 전혀 모르는 사람에게 제공하지 않는 것에 의하여) 사용자 X 및 Y의 개인정보를 보호하는 것을 도울 수 있다.
현재 사용자의 모바일 장치의 GPS 좌표 또는 사용자의 체크인과 같은 다양한 유형의 정보들이 주어진 시간에 사용자의 대략적인 위치를 결정하기 위하여 사용될 수 있다. 예컨대, 사용자의 체크인은 사용자가 빌딩(예컨대, 레스토랑, 오피스 빌딩 또는 쇼핑몰 등) 내부에 있음을 가리킬 수 있으나, 사용자가 어떤 방에 있는지 또는 사용자가 주어진 시간에 위치한 방에서의 특정 위치를 말해주지는 않는다. 도 6은 밀폐 공간 내에서 개별 사용자의 특정 위치를 결정하기 위한 예시적인 방법(600)을 도시한다. 사용자들의 그룹이 밀폐 공간 내에 모여있다고 가정해 보자. 본 명세서는 사람이 모일 수 있는 임의의 적절한 밀폐 공간을 고려한다. 특정 실시예로, 밀폐 공간은 건물 내의 하나의 방과 같이 가려진 밀폐 공간이다.
단계 610에서, 특정 실시예는 각 사용자의 개인정보 설정을 조건으로, 밀폐 공간 내에 위치한 사용자들에 관한 정보를 수신한다. 밀폐 공간 내부의 사용자들에 관한 정보를 수집하는 다양한 방법들이 있으며, 본 명세서는 밀폐 공간 내부의 사용자들에 관한 정보를 수집하기 위한 임의의 적용가능한 기술들을 고려한다.
일부 구현으로, 사용자들 중 일부 또는 모두는 시각 기록 장치를 포함하는 모바일 장치를 가지고 있을 수 있다. 예컨대, 시각 기록 장치는 스마트폰, 보석 조각(예컨대, 팬던트, 브로치), 손목시계, 또는 사용자가 가지고 있거나 착용한 안경에 통합되어 눈에 띄지 않을 수 있다. 일부 경우에, 시각 기록 장치는 광각 이미지(예컨대, 파노라마 또는 반구형 이미지)를 촬영할 수 있는 광각 렌즈(예컨대, 어안렌즈)를 가질 수 있다. 사용자는 그러한 시각 기록 장치로 밀폐 공간 내부의 다른 사용자들의 다양한 사진들을 촬영하여, 그 사진들을 예컨대 소셜 네트워킹 시스템(160)으로 전송할 수 있다. 또한, 다수의 사용자들이 밀폐 공간 주변의 다수의 사진들을 촬영하여, 이 사진들을 소셜 네트워킹 시스템(160)으로 전송할 수 있다.
일부 구현으로, 밀폐 공간 주변(예컨대, 방의 벽이나 천정)에 설치된 시각 기록 장치들이 있을 수 있다. 이 시각 기록 장치들은 밀폐 공간의 개별 영역들의 사진을 촬영하여 이 사진들을 소셜 네트워킹 시스템(160)에 전송할 수 있다.
일부 구현으로, 소셜 네트워킹 시스템(160)은 개별 사용자들이 가지고 있는 시각 기록 장치뿐 아니라 밀폐 공간 주변에 설치된 시각 기록 장치들에 의해 촬영된 사진들을 수신할 수 있다.
서로 다른 사진들이 밀폐 공간 내부의 서로 다른 사용자들을 캡처할 수 있다. 예컨대, 일부 사진들은 몇명의 사용자들(예컨대, 1명, 2명 또는 3명의 사용자)만을 캡처할 수 있는 반면, 다른 사진들은 한 번에 많은 사용자들을 캡처할 수 있다. 동일 사용자가 다수의 사진에 캡처될 수 있다. 일부 사진은 밀폐 공간 주변의 배경을 캡처할 수 있다.
단계 620에서, 특정 실시예들은 다양한 사진에 캡처된 개별 사용자들을 식별할 수 있다. 특정 실시예로, 개별 사용자는 도 3의 단계 310과 관련하여 상술한 것과 유사한 기술들을 사용하여 식별뒬 수 있다. 좀 더 구체적으로, 일부 구현으로, 사용자들은 얼굴 인식을 통하여 식별될 수 있다. 이 경우, 사진에 캡처된 각 특정 사용자의 얼굴 이미지는 적절한 컴퓨터 소프트웨어(예컨대, 이미지 프로세싱 소프트웨어)를 사용하여 처리될 수 있다. 예컨대, 사용자가 소셜 네트워킹 시스템(160)의 회원이라면, 사용자의 얼굴 이미지는 소셜 네트워킹 시스템((160)의 사용자들의 프로필 또는 다른 이미지들(예컨대, 사용자 앨범으로부터의 이미지)과 비교될 수 있다. 일부 구현으로, 검색 툴은 얼굴 인식 결과를 향상시키거나 사용자의 개인정보를 보호하기 위하여, 도 3의 단계 310과 관련하여 상술한 바와 같이 소셜 네트워킹 시스템(160)의 특정 사용자들로 제한될 수 있다. 매칭이 발견되면, 프로필 이미지가 사용자의 얼굴 이미지와 매칭되는 사용자의 이름이 제1 사용자의 이름이 될 것이다.
단계 630에서, 특정 실시예는 밀폐 공간 내의 각 사용자의 특정 위치를 결정할 수 있다. 일부 구현으로, 개별 사용자들의 위치는 사진에 포함되거나 사진과 연관된 정보로부터 추론될 수 있다 예로서, 제1 사용자가 제2 사용자 및 제3 사용자가 나란히 서있는 사진을 촬영하였다고 가정해 보자. 이 사진은 제2 사용자가 제3 사용자의 오른쪽에 위치하고 있는 반면 제3 사용자가 제2 사용자의 왼편에 위치하고 있음을 가리킨다. 또한, 사진의 각도에 근거하여, 제1 사용자가 제2 사용자 및 제3 사용자 모두의 약 4피트 앞에 위치하고 있음이 결정될 수 있다. 다른 예로서, 제4 사용자가 제2 사용자, 제5 사용자 및 제6 사용자의 사진을 촬영했다고 가정해 보자. 이 사진에서, 제5 사용자 및 제6 사용자는 모두 제2 사용자의 오른쪽에 위치하고 있다. 제2 사용자가 제3 사용자의 오른쪽에 위치하고 있기 때문에, 이는 제5 사용자 및 제6 사용자가 제3 사용자의 오른쪽에 위치하고 있음을 암시한다. 또한, 제2 사용자, 제5 사용자 및 제6 사용자와 관련하여 제4 사용자의 위치를 결정하기 위하여 사진의 각도가 사용될 수 있다. 따라서 밀폐 공간 내의 개별 사용자들의 특정 위치를 결정하기 위하여 다수의 사진으로부터 추출된 정보가 조합되거나 삽입될 수 있다.
특정 실시예는 밀폐 공간의 맵을 구성한 후 맵 상에 밀폐 공간 내부의 각 사용자의 위치를 나타낼 수 있다. 사용자는 밀폐 공간 주변을 움직일 수 있기 때문에, 사용자들의 위치는 필요에 따라 업데이트될 수 있다. 일부 구현으로, 사진은 (예컨대, 사용자가 가지고 있거나 밀폐 공간 주변에 설치된 시각 기록 장치들에 의해) 밀폐 공간 내에서 연속적으로 촬영되어 소셜 네트워킹 시스템(160)으로 전송될 수 있다. 사용자들의 위치는 가장 최근의 사진들로부터 반복적으로 추론될 수 있다.
개별 사용자들의 위치를 가진 맵은 밀폐 공간 내부의 사용자들에게 도움을 제공할 수 있다 .예컨대, 제1 사용자가 밀폐 공간 내에서 제2 사용자의 위치를 결정하고자 한다고 가정해 보자. 그러나, 밀폐 공간은 빛이 잘 들어오지 않거나 복잡하기 때문에, 제1 사용자는 제2 사용자를 쉽게 볼 수 없을 수 있다. 이 경우 제2 사용자의 현재 위치가 표시된 밀폐 공간의 맵이 제1 사용자에게 제공될 수 있으며(예컨대, 제1 사용자의 모바일 장치로 전송되거나 장치 상에 디스플레이되어), 따라서 제1 사용자는 제2 사용자를 찾기 위하여 이 정보를 사용할 수 있다. 대안으로, 제1 사용자를 제2 사용자에게 안내하기 위한 방향이 제1 사용자에게 주어질 수 있다(예컨대, 이어폰을 통하여 제1 사용자에게 말해질 수 있다).
사용자는 오디오/시각 기록 장치들을 가지고 있을 수 있으며, 사용자가 매일을 살아감에 따라 오디오/시각 기록 장치는 사용자 주변의 오디오/시각 정보를 연속적으로 캡처할 수 있다. 기록 장치는 사용자가 가지고 있는 모바일 장치나 사용자가 착용하고 있는 옷이나 악세서리(예컨대, 보석, 안경, 시계)에 포함될 수 있다. 도 7은 사용자 주변의 오디오/시각 정보를 연속적으로 캡처하기 위한 예시적인 방법(700)을 도시한다. 도 7에 도시된 방법은 서로 다른 사용자들에 대하여 유사하게 반복될 수 있음을 주지하라.
단계 710에서, 오디오/시각 기록 장치는 사용자가 매일 생활함에 따라 사용자 주변의 오디오/시각 정보를 연속적으로 캡처할 수 있다. 예로서, 기록 장치는 이미지 프레임들을 주기적으로(예컨대, 1분당 1개의 이미지 또는 5분당 1개의 이미지) 캡처할 수 있다. 다른 예로서, 기록 장치는 비디오를 캡처할 수 있다. 일부 구현으로, 기록 속도(예컨대, 분당 캡처된 프레임의 수와 같이 몇몇 특정 기간 당 캡처된 이미지 프레임의 수)는 필요에 따라 변할 수 있다. 예컨대, 사용자 주변에 매우 적은 활동들이 있으며 따라서 시간에 따라 매우 적게 변화한다면, 이미지는 낮은 속도(예컨대, 10분당 1개의 이미지)로 기록될 수 있다. 사용자 주변에 활동이 거의 없다면, 이미지는 기록될 필요가 없다. 그러나, 사용자 주변에 많은 활동들이 있으면(예컨대, 가속도계 또는 카메라에 의해 지시된 일부 갑작스러운 움직임들), 이미지들은 고속(예컨대, 2초당 1개의 이미지)으로 기록될 수 있다. 따라서, 기록 속도는 사용자 주변의 활동이나 이동 또는 움직임의 양에 근거하여 자동으로 또는 사용자에 의해 조정될 수 있다. 많은 움직임은 높은 기록 속도를 야기하는 반면, 적은 움직임은 낮은 기록 속도를 야기할 수 있다.
일부 구현으로, 캡처된 오디오/시각 정보는 추가 분석을 위하여 서버(예컨대, 소셜 네트워킹 시스템(160)의 서버)로 전송될 수 있다. 대안으로, 일부 구현으로, 캡처된 오디오/시각 정보는 사용자의 소유 장치에 의해 처리될 수 있다. 일부 구현으로, 캡처된 오디오/시각 정보와 연관하여, 정보가 캡처되는 시간을 가리키는 타입스탬프들이 존재할 수 있다.
단계 720에서, 특정 실시예는 오디오/시각 기록 장치에 의해 캡처된 오디오/시각 정보로부터 오디오/시각 세그먼트들을 추출할 수 있다. 실제로, 사람의 일상은 항상 흥미롭거나 의미있는 활동들로 채워지지는 않는다. 예컨대, 일상적인 근무 시간 동안, 사용자는 그 또는 그녀의 사무실에서 일하면서 시간을 소비할 수 있으며, 이 경우, 기록 장치에 의해 캡처된 정보는 별 의미가 없을 수 있다(예컨대, 대부분의 이미지들이 컴퓨터 앞에서 일하는 사용자를 포함할 수 있다). 한편, 저녁이나 주말에, 사용자는 친구 또는 친척들과 교제하거나, 콘서트 또는 스포츠 경기에 참석하거나, 영화를 보거나 할 수 있으며, 이 경우, 기록 장치에 의해 캡처된 정보는 이들 활동과 관련되고 따라서 사용자에게 좀 더 관심있는 정보일 수 있다. 오디오/시각 정보를 처리하는 것에 의하여, 특정 기간을 커버하거나 사용자의 일상에서 특정 이벤트와 관련된 오디오/시각 세그먼트들이 추출될 수 있다. 예로서, 사용자가 콘서트에 간 경우, 아티스트 또는 저작권자의 허락을 조건으로, 콘서트를 커버하는 세그먼트가 추출될 수 있다. 다른 예로서, 사용자가 휴가를 가진다면, 휴가를 커버하는 하나 이상의 세그먼트들이 추출될 수 있다. 세번째 예로서, 사용자가 며칠 동안 방문한 친척을 호스트했다면, 사용자가 방문한 친척과 보낸 기간을 커버하는 하나 이상의 세그먼트들이 추출될 수 있다.
단계 730에서, 특정 실시예는 소셜 네트워킹 시스템(160)에서 사용자의 타임라인에 오디오/시각 세그먼트들을 포스트할 수 있다. 일부 구현으로, 타임라인은 사용자가 태어난 년도, 달 또는 시간으로부터 시작하여 계속 나아가는 사용자의 삶의 가상 표현이다. 타임라인을 따라 사용자의 삶의 특정 날짜나 기간에 해당하는 특정 지점들이 존재할 수 있다. 사용자의 삶에서 일어나는 의미있는 이벤트들이 적절한 그리고 해당 지점들에서 타임라인 상에 표현될 수 있다. 예컨대, 타임라인 상의 한 지점은 사용자가 고등학교를 졸업한 날을 표시할 수 있는 반면, 타임라인 상의 다른 지점은 사용자가 대학교를 졸업한 날을 표시할 수 있다. 사용자가 휴가를 보내는 시간에 대응하는 타임라인 상의 지점들이 있을 수 있다. 마찬가지로, 오디오 시각 세그먼트들이 타임라인을 따라 적절한 지점에 디스플레이될 수 있으며, 이 지점들은 오디오/시각 세그먼트들에 의해 각각 커버되는 기간에 해당한다.
특정 실시예로, 오디오/시각 세그먼트들은 소셜 네트워킹 시스템(160)의 소셜 그래프(200)에 포스팅될 수 있다. 각 오디오/시각 세그먼트들은 소셜 그래프(200) 내의 노드에 의해 표현될 수 있으며, 이 노드는 사용자를 나타내는 노드에 연결된다. 사용자와 오디오/시각 세그먼트 사이의 관계는 사용자와 오디오/시각 세그먼트를 각각 나타내는 두 개의 노드를 연결하는 에지로 표시될 수 있다.
특정 실시예로, 오디오/시각 세그먼트들은 (예컨대, 소셜 네트워킹 시스템(160)에 의해) 저장될 수 있다. 따라서, 사용자는 특정 세그먼트를 검색하고 검토할 수 있다. 일부 구현으로, 사용자는 사용자의 살의 특정 기간 또는 이벤트를 커버하는 오디오/시각 세그먼트들을 요청하는 질의를 전송할 수 있다. 소셜 네트워킹 시스템(160)은 다음으로 적절한 세그먼트나 세그먼트들을 위치결정하여 사용자에게 전송할 수 있다. 일부 구현으로, 사용자는 세그먼트 자체 대신에 오디오/비디오 세그먼트에서 발견될 수 있는 특정 정보를 요청하는 질의를 전송할 수 있다. 예로서, 사용자가 몇년 전에 친구와 스포츠 경기를 관람했으나 그 친구가 누구인지 기억나지 않는다면, 사용자는 스포츠 경기에서의 그 친구의 신원을 요청할 수 있다. 소셜 네트워킹 시스템(160)은 스포츠 경기를 커버하는 적절한 오디오/시각 세그먼트를 위치시키며, (예컨대, 개별 이미지를 처리하고 얼굴 또는 음성 인식을 수행하는 것에 의하여) 그 친구를 식별하며, 사용자에게 그 친구의 이름을 전송할 수 있다. 다른 예로서, 사용자는 기간을 특정하여 그 기간 동안 발생한 이벤트들을 요청하는 질의를 전송할 수 있다. 소셜 네트워킹 시스템(160)은 그 기간을 커버하는 적절한 오디오/시각 세그먼트 또는 세그먼트들을 위치시키고, 이벤트들을 식별하며, 사용자에게 그 이벤트의 타이틀을 전송할 수 있다.
특정 실시예는 적절한 경우, 도 3 내지 7의 방법들의 하나 이상의 단계들을 반복할 수 있다. 본 명세서는 도 3 내지 7의 방법들의 특정 단계들이 특정 순서로 일어나는 것을 기술하고 도시하지만, 본 명세서는 도 3 내지 7의 방법의 임의의 적절한 단계들이 임의의 적절한 순서로 일어나는 것을 고려한다. 게다가, 본 명세서는 도 3 내지 7의 방법의 특정 단계들을 수행하는 특정 구성요소, 장치 또는 시스템을 기술하고 도시하지만, 본 명세서는 도 3 내지 7의 방법의 임의의 적절한 단계들을 수행하는 임의의 적절한 구성요소, 장치 또는 시스템의 임의의 적절한 조합을 고려한다.
도 8은 예시적인 컴퓨터 시스템(800)을 도시한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(800)은 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예로, 하나 이상의 컴퓨터 시스템들(800)에서 실행하는 소프트웨어는 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나, 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템들(800)의 하나 이상의 부분들을 포함한다. 본 명세서에서, 컴퓨터 시스템에 대한 참조는 적절한 경우 컴퓨팅 장치를 포함할 수 있다. 게다가, 컴퓨터 시스템에 대한 참조는 적절한 경우 하나 이상의 컴퓨터 시스템을 포함할 수 있다.
본 명세서는 임의의 적절한 수의 컴퓨터 시스템(800)을 고려한다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(800)을 고려한다. 예로서 제한 없이, 컴퓨터 시스템(800)은 임베디드 컴퓨터 시스템, 시스템-온-칩(SOC), 단일-보드 컴퓨터 시스템(SBC)(예컨대, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 상호작용형 키오스크(kiosk), 메인 프레임, 컴퓨터 시스템의 메쉬(mesh), 모바일 전화, 개인 정보 단말기(PDA), 서버, 태블릿 컴퓨터 시스템 또는 이들의 2 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(800)은 하나 이상의 컴퓨터 시스템(800)들을 포함할 수 있거나; 일체형 또는 분산형일 수 있거나; 다수의 위치에 걸쳐 있거나; 다수의 기계에 걸쳐 있거나; 다수의 데이터센터에 걸쳐 있거나; 하나 이상의 네트워크에 하나 이상의 클라우드 성분을 포함할 수 있는 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실질적으로 공간적 또는 시간적 제한 없이 실행할 수 있다. 예로서 제한 없이, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 일괄 모드로 실행할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템(800)은 본 명세서에 기술되거나 도시되는 하나 이상의 방법의 하나 이상의 단계를 서로 다른 시간에 또는 서로 다른 위치에서 실행할 수 있다.
특정 실시예로, 컴퓨터 시스템(800)은 프로세서(802), 메모리(804), 저장장치(806), 입출력(I/O) 인터페이스(808), 통신 인터페이스(810) 및 버스(812)를 포함한다. 본 명세서가 특정 배열로 특정한 수의 특정 구성요소를 갖는 특정 컴퓨터 시스템을 기술하고 도시하지만, 본 명세서는 임의의 적절한 구성으로 임의의 적절한 수의 임의의 적절한 구성요소를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예로, 프로세서(802)는 가령 컴퓨터 프로그램을 구성하는 명령어와 같은 명령어를 실행하기 위한 하드웨어를 포함한다. 예로서 제한 없이, 명령어를 실행하기 위해, 프로세서(802)는 내부 레지스터, 내부 캐시, 메모리(804) 또는 저장장치(806)로부터 명령어를 검색(또는 페치(fetch))할 수 있고; 명령어를 디코딩하고 실행한 후; 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(804) 또는 저장장치(806)에 기록할 수 있다. 특정 실시예로, 프로세서(802)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 캐시를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 캐시들을 포함하는 프로세서(802)를 고려한다. 예로서 제한 없이, 프로세서(802)는 하나 이상의 명령어 캐시들, 하나 이상의 데이터 캐시들 및 하나 이상의 변환 색인 버퍼(translation lookaside buffers, TLBs)를 포함할 수 있다. 명령어 캐시 내 명령어들은 메모리(804)나 저장장치(806) 내 명령어들의 사본일 수 있고, 명령어 캐시는 프로세서(802)에 의한 이런 명령어들의 검색 속도를 높일 수 있다. 데이터 캐시 내 데이터는 프로세서(802)에서 실행하는 명령어들이 동작하는 메모리(804) 또는 저장장치(806) 내의 데이터의 사본; 프로세서(801)에서 실행하는 연속적인 명령들에 의해 접근하거나 메모리(804)나 저장장치(806)로 기록하기 위해 프로세서(802)에서 실행되는 이전 명령들의 결과; 또는 다른 적절한 데이터의 사본일 수 있다. 데이터 캐시는 프로세서(802)에 의한 판독 또는 기록 동작의 속도를 높일 수 있다. TLB들은 프로세서(802)에 의한 가상 주소 변환의 속도를 높일 수 있다. 특정 실시예로, 프로세서(802)는 데이터용, 명령어용 또는 주소용 하나 이상의 내부 레지스터를 포함할 수 있다. 본 명세서는 적절한 경우 임의의 적절한 수의 임의의 적절한 내부 레지스터들을 포함하는 프로세서(802)를 고려한다. 적절한 경우, 프로세서(802)는 하나 이상의 산술 논리 유닛(ALUs)을 포함할 수 있거나; 멀티-코어 프로세서일 수 있거나; 하나 이상의 프로세서들(802)을 포함할 수 있다. 본 명세서가 특정 프로세서를 기술하고 도시하지만, 본 명세서는 임의의 적절한 프로세서를 고려한다.
특정 실시예로, 메모리(804)는 프로세서(802)가 실행하는 명령어 또는 프로세서(802)가 운영하는 데이터를 저장하기 위한 메인 메모리를 포함한다. 예로서 제한 없이, 컴퓨터 시스템(800)은 저장장치(806)나 또 다른 소스(가령, 예컨대 또 다른 컴퓨터 시스템(800))로부터의 명령어를 메모리(804)에 로딩할 수 있다. 이후, 프로세서(802)는 메모리(804)에서 내부 레지스터나 내부 캐시로 명령어를 로딩할 수 있다. 명령어를 실행하기 위해, 프로세서(802)는 내부 레지스터나 내부 캐시로부터 명령어를 검색하고 이들을 디코딩할 수 있다. 명령어의 실행 중 또는 실행 후, 프로세서(802)는 (중간 결과 또는 최종 결과일 수 있는) 하나 이상의 결과를 내부 레지스터나 내부 캐시로 기록할 수 있다. 이후, 프로세서(802)는 하나 이상의 이런 결과를 메모리(804)에 기록할 수 있다. 특정 실시예로, 프로세서(802)는 (저장장치(806) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(804)에서 단지 명령어만을 실행하며, (저장장치(806) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터나 내부 캐시에서 또는 메모리(804)에서 단지 데이터만을 운영한다. (주소 버스 및 데이터 버스를 각각 포함할 수 있는) 하나 이상의 메모리 버스는 프로세서(802)를 메모리(804)로 연결할 수 있다. 하기에 기술되는 바와 같이, 버스(812)는 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예로, 하나 이상의 메모리 관리 유닛(MMUs)은 프로세서(802)와 메모리(804) 사이에 상주하며, 프로세서(802)에 의해 요청되는 메모리(804)로의 접근을 용이하게 한다. 특정 실시예로, 메모리(804)는 랜덤 액세스 메모리(RAM)를 포함한다. 적절한 경우, 이런 RAM은 휘발성 메모리일 수 있다. 적절한 경우, 이런 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 게다가, 적절한 경우, 이런 RAM은 단일 포트형 또는 다중-포트형 RAM일 수 있다. 본 명세서는 임의의 적절한 RAM을 고려한다. 적절한 경우, 메모리(804)는 하나 이상의 메모리(804)를 포함할 수 있다. 본 명세서가 특정 메모리를 기술하고 도시하지만, 본 명세서는 임의의 적절한 메모리를 고려한다.
특정 실시예로, 저장장치(806)는 데이터용 또는 명령어용 대용량 저장장치를 포함한다. 예로서 제한 없이, 저장장치(806)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광디스크, 자기-광학 디스크, 자기 테이프, 범용 직렬 버스(USB) 드라이브 또는 이들의 2 이상의 조합을 포함할 수 있다. 적절한 경우, 저장장치(806)는 착탈식 또는 비-착탈식(또는 고정) 매체를 포함할 수 있다. 적절한 경우, 저장장치(806)는 컴퓨터 시스템(800)의 내부 또는 외부에 있을 수 있다. 특정 실시예로, 저장장치(806)는 비휘발성, 고체-상태(solid-state) 메모리이다. 특정 실시예로, 저장장치(806)는 읽기 전용 메모리(ROM)를 포함한다. 적절한 경우, 이런 ROM은 마스크-프로그램화된 ROM, 프로그램가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적 소거가능 PROM(EEPROM), 전기적 변경가능 ROM(EAROM), 플래시 메모리 또는 이들의 2 이상의 조합일 수 있다. 본 명세서는 임의의 적절한 물리적 형태를 취하는 대용량 저장장치(806)를 고려한다. 적절한 경우, 저장장치(806)는 프로세서(802)와 저장장치(806) 사이의 통신을 용이하게 하는 하나 이상의 저장장치 제어 유닛을 포함할 수 있다. 적절한 경우, 저장장치(806)는 하나 이상의 저장장치(806)를 포함할 수 있다. 본 명세서가 특정 저장장치를 기술하고 도시하지만, 본 명세서는 임의의 적절한 저장장치를 고려한다.
특정 실시예로, I/O 인터페이스(808)는 컴퓨터 시스템(800)과 하나 이상의 I/O 장치 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 적절한 경우, 컴퓨터 시스템(800)은 하나 이상의 이들 I/O 장치를 포함할 수 있다. 하나 이상의 이들 I/O 장치는 사람과 컴퓨터 시스템(800) 사이의 통신을 가능하게 할 수 있다. 예로서 제한 없이, I/O 장치는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라(still camera), 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼(trackball), 비디오 카메라, 또 다른 적절한 I/O 장치 또는 이들의 2 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 명세서는 임의의 적절한 I/O 장치 및 이에 대한 임의의 적절한 I/O 인터페이스(808)를 고려한다. 적절한 경우, I/O 인터페이스(808)는 프로세서(802)가 하나 이상의 이들 I/O 장치를 구동할 수 있도록 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 적절한 경우, I/O 인터페이스(808)는 하나 이상의 I/O 인터페이스(808)를 포함할 수 있다. 본 명세서가 특정 I/O 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 I/O 인터페이스를 고려한다.
특정 실시예로, 통신 인터페이스(810)는 컴퓨터 시스템(800)과 하나 이상의 다른 컴퓨터 시스템(800)이나 하나 이상의 네트워크 사이의 통신(가령, 예컨대 패킷-기반 통신)을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 통신 인터페이스(810)는 이더넷이나 다른 유선-기반 네트워크로 통신하기 위한 네트워크 인터페이스 제어장치(NIC)나 네트워크 어댑터 또는 가령 WI-FI 네트워크와 같이 무선 네트워크로 통신하기 위한 무선 NIC(WNIC)나 무선 어댑터를 포함할 수 있다. 본 명세서는 임의의 적절한 네트워크 및 이에 대한 임의의 적절한 통신 인터페이스(810)를 고려한다. 예로서 제한 없이, 컴퓨터 시스템(800)은 애드 혹 네트워크(ad hoc network), 개인 영역 네트워크(PAN), 근거리 네트워크(LAN), 광역 네트워크(WAN), 대도시 네트워크(MAN), 인터넷의 하나 이상의 부분 또는 2 이상의 이런 네트워크들의 조합과 통신할 수 있다. 하나 이상의 이런 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템(800)은 무선 PAN(WPAN)(가령, 예컨대 BLUETOOTH WPAN), WI-FI 네트워크, WI-MAX 네트워크, 셀룰러폰 네트워크(가령, 예컨대 GSM(Global System for Mobile Communication) 네트워크), 다른 적절한 무선 네트워크 또는 2 이상의 이런 네트워크들의 조합으로 통신할 수 있다. 적절한 경우, 컴퓨터 시스템(800)은 임의의 이들 네트워크에 대한 임의의 적절한 통신 인터페이스(810)를 포함할 수 있다. 적절한 경우, 통신 인터페이스(810)는 하나 이상의 통신 인터페이스(810)를 포함할 수 있다. 본 명세서가 특정 통신 인터페이스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시예로, 버스(812)는 컴퓨터 시스템(800)의 구성요소를 서로 연결하는 하드웨어, 소프트웨어 또는 이들 모두를 포함한다. 예로서 제한 없이, 버스(812)는 AGP(Accelerated Graphics Port)이나 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCIe(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standard Association local) 버스, 또 다른 적절한 버스 또는 2 이상의 이런 버스의 조합을 포함할 수 있다. 적절한 경우, 버스(812)는 하나 이상의 버스(812)를 포함할 수 있다. 본 명세서가 특정 버스를 기술하고 도시하지만, 본 명세서는 임의의 적절한 버스나 인터커넥트를 고려한다.
본 명세서에서, 컴퓨터-판독가능한 비-일시적 저장매체 또는 저장매체들은 하나 이상의 반도체 기반 또는 다른 집적회로(ICs)(가령, 예컨대 FPGAs(field-programmable gate arrays) 또는 ASICs(application-specific ICs)), 하드 디스크 드라이브(HDDs), 하이브리드 하드 디스크(HHDs), 광학 디스크, 광학 디스크 드라이브(ODDs), 자기-광학 디스크, 자기-광학 드라이브, 플로피 디스크, 플로피 디스크 드라이브(FDDs), 자기 테이프, 고체-상태 드라이브(SSDs), RAM-드라이브, SECURE DIGITAL 카드나 드라이브, 임의의 다른 적절한 컴퓨터-판독가능한 비-일시적 저장매체 또는, 적절한 경우, 2 이상의 이들의 임의의 적절한 조합을 포함할 수 있다. 적절한 경우, 컴퓨터-판독가능한 비-일시적 저장매체는 휘발성, 비휘발성 또는 휘발성과 비휘발성의 조합일 수 있다.
본 명세서에서, "또는"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 포괄적인 것이며 배타적인 것이 아니다. 따라서, 본 명세서에서 "A 또는 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A, B 또는 둘 모두"를 의미한다. 게다가, "및"은 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, 공동 및 별개 모두이다. 따라서, 본 명세서에서 "A 및 B"는 명시적으로 다르게 지시하거나 문맥상 달리 지시되지 않는 한, "A 및 B가 공동이든 별개이든 상관없이 모두"를 의미한다.
본 명세서의 범위는 당업자가 이해할 수 있는 본 명세서에 기술되거나 도시된 예시적인 실시예들에 대한 모든 변화, 치환, 변형, 대체 및 변경을 포함한다. 본 명세서의 범위는 본 명세서에 기술되거나 도시된 예시적인 실시예들로 국한되지 않는다. 게다가, 본 명세서는 특정 컴포넌트, 구성요소, 기능, 동작 또는 단계를 포함하는 것으로 본 명세서의 각각의 실시예들을 기술하고 도시하지만, 임의의 이런 실시예들은 당업자가 이해할 수 있는 본 명세서에 어디든 기술되거나 도시되는 임의의 컴포넌트, 구성요소, 기능, 동작 또는 단계의 임의의 조합이나 치환을 포함할 수 있다. 게다가, 첨부된 청구범위에서 특정 기능을 수행하도록 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 할 수 있게 하거나, 동작할 수 있거나, 동작하는 장치나 시스템 또는 장치나 시스템의 구성요소에 대한 언급은 장치, 시스템 또는 구성요소가 그렇게 설계되거나, 배치되거나, 할 수 있거나, 구성되거나, 가능하거나, 동작할 수 있거나 동작하는 한, 장치, 시스템, 구성요소, 그 또는 그러한 특정 기능이 활성화되었는지, 턴온 되었는지, 잠금 해제되었는지 여부를 포함한다.

Claims (14)

  1. 서버 컴퓨팅 장치에 의해, 폐쇄 공간 내에 위치한 다수의 사용자들 부근에 관한 정보를 수신하는 단계;
    서버 컴퓨팅 장치에 의해, 상기 정보에 적어도 부분적으로 근거하여 부근 내의 사용자들 중 각 사용자 또는 적어도 일부를 식별하는 단계; 및
    서버 컴퓨팅 장치에 의해, 상기 정보에 적어도 부분적으로 근거하여 상기 폐쇄 공간 내의 사용자들 중 각 사용자 또는 적어도 일부의 위치를 결정하는 단계를 포함하며,
    상기 정보는 부근의 적어도 일부의 하나 이상의 이미지 또는 하나 이상의 소리를 포함하며, 사용자의 수동적인 입력 없이 각 클라이언트 컴퓨팅 장치의 하나 이상의 센서로 자동으로 사용자들의 다수의 클라이언트 컴퓨팅 장치에 의해 부근으로부터 획득되는 방법.
  2. 제 1 항에 있어서,
    상기 정보는 특히 사용자의 신체 또는 모바일 클라이언트 장치 내에 있거나, 폐쇄 공간 내에 부착 또는 배치된 센서(들)로서, 바람직하게는 카메라 또는 비디오 기록 장치와 같은 시각 장치에 의해 캡처된, 부근의 적어도 일부의 비디오 및/또는 부근의 적어도 일부의 스틸 이미지를 포함하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 정보는 사용자의 얼굴을 포함하는 이미지(들), 특히 비디오 및/또는 스틸 이미지를 포함하며, 이 정보에 적어도 부분적으로 근거하여 부근 내의 사용자를 식별하는 것은 사람들에 대하여 저장된 데이터 또는 그들의 얼굴, 특히 소셜 네트워킹 시스템의 데이터베이스와 비교하는 것을 포함하는 얼굴 인식 기술을 포함하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 정보는 사용자의 신체 또는 모바일 클라이언트 장치 내에 있거나 폐쇄 공간 내에 부착 또는 배치된 센서(들)로서 특히 오지오 장치에 의해 캡처된 사용자의 음성을 포함하는 소리를 포함하며, 이 정보에 적어도 부분적으로 근거하여 부근 내의 사용자를 식별하는 것은 사람들에 대하여 저장된 데이터 또는 그들의 음성, 특히 소셜 네트워킹 시스템의 데이터베이스와 비교하는 것을 포함하는 음성 인식 기술을 포함하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    제1 사용자에게 폐쇄 공간 내의 제2 사용자의 위치 및/또는 신원을 통지하는 단계; 및/또는
    제1 사용자를 제2 사용자에게 안내하기 위하여 제1 사용자의 클라이언트 컴퓨팅 장치로 안내 정보를 전송하는 단계를 더 포함하는 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    폐쇄 공간 내의 하나의 사용자 또는 각 사용자의 위치를 결정하는 단계는 예컨대, 사용자의 모바일 클라이언트 컴퓨팅 장치인 모바일 장치에 의해 예컨대, 삼각측량법, 측정인 GPS 및/또는 무선 신호 및/또는 소셜 네트워킹 시스템 또는 무선 네트워크에서 사용자의 체크인 정보를 포함하는 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 정보에 적어도 부분적으로 근거하여 폐쇄 공간 내의 각 사용자의 위치를 결정하는 단계는 그들 주변 또는 인근의 다른 사용자들에 관한 사용자의 모바일 장치의 정보를 수집하는 단계를 포함하며, 특히 제1 사용자의 모바일 장치를 사용한 얼굴 또는 음성 인식에 의해 식별된 사용자들이 제1 사용자 인근에 있는 것으로 추측되며, 그에 의하여 그러한 사용자들 또는 사용자들의 그룹의 적어도 상대적인 위치를 결정하는 단계를 포함하는 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    서버 컴퓨팅 장치에 의해 상기 정보에 적어도 부분적으로 근거하여 폐쇄 공간 내의 각 사용자의 위치를 결정하는 단계는 적어도 하나의 이미지, 하나의 사용자, 특히 적어도 하나의 다른 사용자, 바람직하게는 적어도 2명의 다른 사용자들의 모바일 장치에 의해 캡처된 사진 또는 비디오와 같은 스틸 이미지 내에 포함되거나 그 이미지와 연관된 정보를 추론하는 단계를 포함하는 방법.
  9. 제 8 항에 있어서,
    상기 이미지는 이미지 내의 다수의 사용자들의 상대적인 위치, 예컨대 나란히 서 있는 2명 이상의 사용자들의 오른쪽 왼쪽 위치에 대하여 평가되거나 분석되는 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 이미지는 이미지의 각도에 근거하여 거리를 계산하는 것에 의하여, 이미지에 캡처된 사용자들에 상대적인 이미지를 캡처하는 사용자의 상대적인 위치에 대하여 평가되거나 분석되는 방법.
  11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
    각 이미지 상에 나타난 다수의 사용자들의 상대적인 위치를 추출하기 위하여 다수의 이미지가 평가되거나 분석되며, 특히 폐쇄 공간 내의 개별 사용자들의 특정 위치를 결정하기 위하여 다수의 사진으로부터 추출된 정보가 결합되거나 추론되는 방법.
  12. 실행시 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 수행하도록 동작하는 소프트웨어를 포함하는 하나 이상의 컴퓨터-판독가능한 비-일시적 저장매체.
  13. 폐쇄 공간 내에 위치한 복수의 사용자들의 부근에 관한 정보를 수신하는 서버 컴퓨팅 장치;
    부근으로부터의 정보를 사용자의 수동입력 없이 자동으로 획득하는 사용자들의 복수의 클라이언트 컴퓨팅 장치;
    각 클라이언트 컴퓨팅 장치의 하나 이상의 센서들;
    특히 서버 컴퓨팅 장치 내의 하나 이상의 프로세서들; 및
    프로세서들에 의해 실행가능한 명령어들을 포함하며 프로세서들에 결합된 메모리를 포함하며,
    상기 정보는 부근의 적어도 일부의 하나 이상의 이미지 또는 하나 이상의 소리를 포함하며,
    상기 프로세서들은,
    제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행하며/수행하거나,
    상기 정보에 적어도 부분적으로 근거하여 부근 내의 각 사용자를 식별하며;
    바람직하게는 상기 정보에 적어도 부분적으로 근거하여 폐쇄 공간 내의 각 사용자의 위치를 결정하는 명령어들을 실행하도록 동작하는 시스템.
  14. 제 13 항에 있어서,
    센서는 모바일 장치 및/또는 클라이언트 컴퓨팅 장치 및/또는 폐쇄 공간 내의 오디오 및/또는 시각 장치를 포함하는 시스템.
KR1020157012905A 2012-10-17 2013-10-17 증강 현실의 존재성과 관련된 방법 KR20150070358A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/654,186 US20140108501A1 (en) 2012-10-17 2012-10-17 Presence Granularity with Augmented Reality
US13/654,186 2012-10-17
EP13188926.3A EP2722811A1 (en) 2012-10-17 2013-10-16 Method relating to presence granularity with augmented reality
EP13188926.3 2013-10-16
PCT/US2013/065437 WO2014062918A1 (en) 2012-10-17 2013-10-17 Method relating to presence granularity with augmented reality

Publications (1)

Publication Number Publication Date
KR20150070358A true KR20150070358A (ko) 2015-06-24

Family

ID=49382304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157012905A KR20150070358A (ko) 2012-10-17 2013-10-17 증강 현실의 존재성과 관련된 방법

Country Status (11)

Country Link
US (2) US20140108501A1 (ko)
EP (2) EP3418967A1 (ko)
JP (1) JP6397416B2 (ko)
KR (1) KR20150070358A (ko)
CN (1) CN104718765A (ko)
AU (2) AU2013331185B2 (ko)
BR (1) BR112015008326A2 (ko)
CA (1) CA2886948A1 (ko)
IL (2) IL238150B (ko)
MX (1) MX352442B (ko)
WO (1) WO2014062918A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10032233B2 (en) * 2012-10-17 2018-07-24 Facebook, Inc. Social context in augmented reality
EP3295696A1 (en) * 2015-05-11 2018-03-21 Deutsche Telekom AG In-device privacy control mechanism for wearable smart devices
US9635167B2 (en) 2015-09-29 2017-04-25 Paypal, Inc. Conversation assistance system
CN107154890B (zh) * 2016-03-02 2020-09-18 腾讯科技(深圳)有限公司 社交网络中添加联系人的方法、装置及系统
US10089071B2 (en) 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
US10506109B2 (en) * 2016-06-21 2019-12-10 Canon Kabushiki Kaisha Information processing apparatus, method of controlling the same, and non-transitory computer-readable storage medium
JP2018025855A (ja) 2016-08-08 2018-02-15 ソニーモバイルコミュニケーションズ株式会社 情報処理サーバ、情報処理装置、情報処理システム、情報処理方法、およびプログラム
CN106981000B (zh) 2016-10-13 2020-06-09 阿里巴巴集团控股有限公司 基于增强现实的多人线下交互、点餐方法及系统
CN106600334A (zh) * 2016-12-20 2017-04-26 惠州Tcl移动通信有限公司 基于ar的信息交互控制方法、应用程序及ar智能设备
CN107302492A (zh) * 2017-06-28 2017-10-27 歌尔科技有限公司 社交软件的交友请求方法、服务器、客户端装置和系统
US10497368B2 (en) * 2017-08-15 2019-12-03 Lenovo (Singapore) Pte. Ltd. Transmitting audio to an identified recipient
US10841651B1 (en) 2017-10-10 2020-11-17 Facebook, Inc. Systems and methods for determining television consumption behavior
CN107748879A (zh) * 2017-11-16 2018-03-02 百度在线网络技术(北京)有限公司 用于获取人脸信息的方法及装置
CN108038143A (zh) * 2017-11-28 2018-05-15 上海与德科技有限公司 一种房屋信息获取方法、装置、设备及存储介质
US10782986B2 (en) * 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US10755487B1 (en) * 2018-05-22 2020-08-25 Facebook, Inc. Techniques for using perception profiles with augmented reality systems
CN110581771B (zh) * 2018-06-07 2022-02-25 连株式会社 利用网络消息服务以处理费用拆分的方法、计算装置可读存储介质以及计算装置
CN110061904B (zh) * 2019-04-10 2022-03-01 北京小米智能科技有限公司 获取社交信息的方法、装置、系统、电子设备及存储介质
US11089439B2 (en) * 2019-07-02 2021-08-10 Charles Hohman Systems and methods for real-world networking using augmented reality interface

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7739231B2 (en) * 2006-08-28 2010-06-15 Manyworlds, Inc. Mutual commit people matching process
US20080086458A1 (en) * 2006-09-15 2008-04-10 Icebreaker, Inc. Social interaction tagging
US7917154B2 (en) * 2006-11-01 2011-03-29 Yahoo! Inc. Determining mobile content for a social network based on location and time
US20090003662A1 (en) * 2007-06-27 2009-01-01 University Of Hawaii Virtual reality overlay
JP4966896B2 (ja) * 2008-03-24 2012-07-04 ローレルバンクマシン株式会社 行動管理装置
US10217085B2 (en) * 2009-06-22 2019-02-26 Nokia Technologies Oy Method and apparatus for determining social networking relationships
JP2013500519A (ja) * 2009-07-23 2013-01-07 エフエムアール エルエルシー 位置基準の情報読出し及び分析
US8670597B2 (en) * 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
JP5434569B2 (ja) * 2009-12-22 2014-03-05 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8416997B2 (en) * 2010-01-27 2013-04-09 Apple Inc. Method of person identification using social connections
JP5526860B2 (ja) * 2010-02-24 2014-06-18 沖電気工業株式会社 空間情報可視化システム
US20110238755A1 (en) * 2010-03-24 2011-09-29 Hameed Khan Proximity-based social networking
KR101141223B1 (ko) * 2010-06-29 2012-05-04 한국과학기술원 상황 기반 소셜 네트워크를 이용한 사용자 상황 인지 모바일 마이크로블로깅 서비스 시스템 및 제공방법
JP2012058838A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
US9317530B2 (en) * 2011-03-29 2016-04-19 Facebook, Inc. Face recognition based on spatial and temporal proximity
US20130018659A1 (en) * 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US20130156274A1 (en) * 2011-12-19 2013-06-20 Microsoft Corporation Using photograph to initiate and perform action
US20130294594A1 (en) * 2012-05-04 2013-11-07 Steven Chervets Automating the identification of meeting attendees

Also Published As

Publication number Publication date
US20140108501A1 (en) 2014-04-17
JP6397416B2 (ja) 2018-09-26
BR112015008326A2 (pt) 2017-07-04
JP2016506549A (ja) 2016-03-03
AU2013331185B2 (en) 2017-08-03
MX2015004848A (es) 2015-12-09
EP2722811A1 (en) 2014-04-23
IL238150B (en) 2018-02-28
CA2886948A1 (en) 2014-04-24
US20190220933A1 (en) 2019-07-18
MX352442B (es) 2017-11-24
CN104718765A (zh) 2015-06-17
EP3418967A1 (en) 2018-12-26
IL257408A (en) 2018-03-29
AU2013331185A1 (en) 2015-05-28
AU2017254967A1 (en) 2017-11-23
WO2014062918A1 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
US20180300822A1 (en) Social Context in Augmented Reality
US20190220933A1 (en) Presence Granularity with Augmented Reality
US20140108530A1 (en) Person of Interest in Augmented Reality
US20180316900A1 (en) Continuous Capture with Augmented Reality
CN106605418B (zh) 使用基于位置的服务的移动客户端的电力管理
US8774452B2 (en) Preferred images from captured video sequence
CA2829079C (en) Face recognition based on spatial and temporal proximity
US8442265B1 (en) Image selection from captured video sequence based on social components
US11568660B1 (en) System and method for improving localization and object tracking
US9530067B2 (en) Method and apparatus for storing and retrieving personal contact information
US20200380299A1 (en) Recognizing People by Combining Face and Body Cues
US20130104080A1 (en) Automatic Photo Capture Based on Social Components and Identity Recognition
US20140108529A1 (en) Person Filtering in Augmented Reality
CN108293073B (zh) 沉浸式临场感
US10567844B2 (en) Camera with reaction integration
US10157307B2 (en) Accessibility system
US11647147B2 (en) User-specific customization of video conferences using multimodal biometric characterization
KR20210096695A (ko) 개선된 상호작용 및 컬래버레이션을 위한 가상 공간, 혼합 현실 공간 및 결합된 혼합 현실 공간
US11195336B2 (en) Framework for augmented reality applications
US10462622B2 (en) Managing delivery of messages to non-stationary mobile clients
US20240135701A1 (en) High accuracy people identification over time by leveraging re-identification

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application