KR20220070292A - 자동화된 안경류 디바이스 공유 시스템 - Google Patents

자동화된 안경류 디바이스 공유 시스템 Download PDF

Info

Publication number
KR20220070292A
KR20220070292A KR1020227014277A KR20227014277A KR20220070292A KR 20220070292 A KR20220070292 A KR 20220070292A KR 1020227014277 A KR1020227014277 A KR 1020227014277A KR 20227014277 A KR20227014277 A KR 20227014277A KR 20220070292 A KR20220070292 A KR 20220070292A
Authority
KR
South Korea
Prior art keywords
image
capture
options
automatic
sharing
Prior art date
Application number
KR1020227014277A
Other languages
English (en)
Inventor
앤드류 바토우
매튜 하노버
리차드 좡
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20220070292A publication Critical patent/KR20220070292A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C3/00—Special supporting arrangements for lens assemblies or monocles
    • G02C3/003—Arrangements for fitting and securing to the head in the position of use
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00—Constructions of non-optical parts
    • G02C5/14—Side-members
    • G02C5/146—Side-members having special front end
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N5/2257—
    • H04N5/23206—
    • H04N5/23216—
    • H04N5/23222—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

안경류를 포함하는 웨어러블 디바이스들과 같은 휴대용 전자 디바이스에 의해 일련의 미가공 이미지들을 캡처하고 스마트 폰과 같은 클라이언트 모바일 디바이스에 의해 이러한 미가공 이미지의 프로세싱의 프로세스를 자동화하기 위한 시스템, 디바이스, 매체 및 방법이 설명되며, 이러한 자동화는 네트워크로의 업로드 및 타깃 청중에게 보내기의 프로세스를 포함한다. 일부 구현들에서, 사용자는 동반 디바이스 상에서 이미지들을 캡처하기 전에 클라이언트 디바이스 상에서 프로파일 설정을 선택하여, 동반 디바이스가 이미지들을 캡처한 경우, 시스템이 동반 디바이스에 의해 캡처된 이미지들을 자동으로 프로세싱할 때 프로파일 설정을 따른다.

Description

자동화된 안경류 디바이스 공유 시스템
[0001] 본 출원은, 2019년 9월 30일자로 출원되고 발명의 명칭이 "자동화된 안경류 디바이스 공유 시스템(AUTOMATED EYEWEAR DEVICE SHARING SYSTEM)"인 미국 실용 출원 제16/587,158호에 대한 우선권을 주장하며, 그 내용은 인용에 의해 본원에 완전히 포함된다.
[0002] 본 개시내용에서 제시된 예들은 안경류와 같은 동반 및 웨어러블 디바이스를 포함하는 휴대용 전자 디바이스들에 관한 것이다. 더욱 구체적으로, 그러나 제한의 방식이 아닌 본 개시내용은 이러한 휴대용 전자 디바이스들에 의해 일련의 미가공 이미지를 캡처하고 네트워크로 업로드하고 타깃 청중으로 보내는 것을 포함하여, 스마트 폰과 같은 클라이언트 모바일 디바이스에 의해 이러한 미가공 이미지를 자동으로 프로세싱하기 위한 시스템 및 방법을 설명한다.
[0003] 모바일 디바이스들(예를 들어, 스마트폰, 태블릿 및 랩탑) 및 동반 및 웨어러블 디바이스들(예를 들어, 스마트 안경, 디지털 안경류, 모자류, 헤드기어, 및 머리 장착형 디스플레이)를 포함하는 오늘날 이용 가능한 많은 유형의 컴퓨터 및 전자 디바이스들은 하나 이상의 이미지들(예를 들어, 스틸 사진 및 비디오)을 캡처하기 위한 하나 이상의 카메라들뿐만 아니라 디바이스의 위치, 배향, 모션 및 진행 방향에 대한 정보를 수집하기 위한 내부 센서들도 포함한다. 이러한 디바이스들은 이미지들을 다른 디바이스들로 전송할 수 있다.
[0004] 개시된 다양한 구현의 특징들은 첨부 도면을 참조하는 이하의 상세한 설명으로부터 쉽게 이해될 것이다. 설명 및 도면의 여러 뷰의 각각의 요소에 참조 번호가 사용된다. 복수의 유사한 요소들이 존재하는 경우, 동일한 요소들에는 하나의 참조 번호가 할당되고, 추가된 소문자가 특정 요소를 참조한다.
[0005] 도면에 도시된 다양한 요소들은 달리 나타내지 않는 한 축척대로 도시되지 않는다. 다양한 요소들의 치수는 명확성을 위해 확대되거나 축소될 수 있다. 몇몇 도면이 하나 이상의 구현을 도시하고 단지 예로서 제시되며 제한적인 것으로 해석되어서는 안 된다. 도면에는 이하의 그림이 포함된다.
[0006] 도 1a는 일부 예들에 따른 네트워킹된 시스템을 예시하는 블록도이다.
[0007] 도 1b는 일부 예들에 따른 클라이언트 및 동반(예를 들어, 웨어러블) 디바이스들을 포함하는 네트워킹된 시스템을 예시하는 블록도이다.
[0008] 도 2a 및 도 2b는 이미지 캡처, 구성 및 공유 시스템에서 이용되는 안경류 디바이스의 예시적인 하드웨어 구성들의 정면도 및 평면도이다.
[0009] 도 3은 다양한 네트워크를 통해 연결된 안경류 디바이스, 모바일 디바이스 및 서버 시스템을 포함하는 예시적인 이미지 캡처, 구성 및 공유 시스템의 기능 블록도이다.
[0010] 도 4는 도 3의 이미지 캡처, 구성 및 공유 시스템의 모바일 디바이스에 대한 예시적인 하드웨어 구성의 도식적 표현이다.
[0011] 도 5는 이미지를 캡처하고 자동으로 공유하기 위한 예시적인 단계의 흐름도이다.
[0012] 다양한 구현 및 상세 사항이 예를 참조하여 설명되며: 휴대용 전자 디바이스로 일련의 미가공 이미지 세그먼트를 캡처하고 네트워크로 업로드하고 타깃 청중으로 보내는 프로세스를 포함하여 스마트 폰과 같은 클라이언트 모바일 디바이스에 의해 이러한 미가공 이미지 세그먼트를 프로세싱하는 프로세스를 자동화하기 위한 이미지 및 비디오 캡처 및 공유 시스템이 제공된다.
[0013] 사용자가 동반 디바이스로 캡처된 이미지를 모바일 디바이스와 동기화 시 즉시 공유하기를 원하거나 즉시 또는 거의 즉시 공유하기를 선택할 수 있는 때가 있을 수 있다. 이는 예를 들어 사용자가 운전하는 동안 발생할 수 있거나, 캡처된 순간에 이미지를 단지 수동으로 프로세싱하는 것처럼 느끼지 않을 수 있다. 이러한 경우, 사용자가 이미지에 주의를 기울일 수 있을 때쯤에는 그 순간이 지나갔기 때문에(이미지가 오래되거나 쓸모없게 됨) 사용자는 캡처된 이미지를 공유하지 않고 끝낼 수 있다. 본원의 예들에 따른 자동화된 이미지 캡처, 구성 및 공유 시스템은 이 문제와 다른 문제들을 해결한다. 또한 사용자가 더 많이 공유하고 해당 순간에 더 많이 살(live) 수 있기 때문에, 이는 또한 동반(예를 들어, 안경류) 디바이스 사용자의 참여를 높일 수 있다.
[0014] 이하의 상세한 설명은 본 개시내용에 제시된 예들을 예시하는 시스템, 방법, 기술, 명령 시퀀스 및 컴퓨팅 머신 프로그램 제품을 포함한다. 개시된 주제 및 관련 교시에 대한 철저한 이해를 제공하기 위해 많은 상세 사항 및 예들이 포함된다. 그러나, 관련 기술 분야의 통상의 기술자는 이러한 상세 사항 없이 관련 교시를 어떻게 적용하는지를 이해할 수 있다. 개시된 주제의 양상은 관련 교시가 다양한 방식으로 적용되거나 실시될 수 있기 때문에 설명된 특정 디바이스, 시스템 및 방법으로 제한되지 않는다. 본원에서 사용되는 용어 및 명명법(nomenclature)은 단지 특정 양상을 설명하기 위한 것이며 한정하려는 의도가 아니다. 일반적으로, 잘 알려진 명령 인스턴스, 프로토콜, 구조 및 기술이 반드시 상세하게 나타내어지지는 않는다.
[0015] 본원에 사용되는 "이미지" 또는 "이미지들"과 같은 용어는 사진과 같은 적어도 하나의 단일 이미지, 또는 비디오, 시간 간격(time-lapse) 사진 등과 같은 관련 이미지의 적어도 하나의 컬렉션 또는 시리즈를 포함한다.
[0016] 본원에 사용되는 "커플링된", "연결된" 또는 "페어링된(paired)"이라는 용어는 하나의 시스템 요소에 의해 생성되거나 공급되는 전기 또는 자기 신호들이 다른 커플링된, 연결된 또는 페어링된 시스템 요소에 전달되는 링크 등을 포함하는 임의의 논리적, 광학적, 물리적 또는 전기적 연결을 지칭한다. 달리 설명되지 않는 한, 커플링된, 연결된 또는 페어링된 요소들 또는 디바이스들 반드시 서로 직접 연결될 필요는 없으며, 이들 중 하나 이상이 전기 신호들을 수정, 조작 또는 전달할 수 있는 중간 구성 요소들, 요소들 또는 통신 매체에 의해 분리될 수 있다. "페어링된"이라는 용어는 종종(항상 그런 것은 아니지만) "본딩"을 의미하기도 하며, 이는 페어링이 발생한 후 장기 키의 교환이며 장래의 사용을 위해 이러한 키를 저장하며, 즉 디바이스 간 영구적인 보안을 생성한다. "상에(on)"라는 용어는 요소에 의해 직접 지원되거나 요소에 통합되거나 그렇지 않으면 요소에 의해 지원되는 다른 요소를 통해 해당 요소에 의해 간접적으로 지원되는 것을 의미한다.
[0017] 임의의 도면에 도시된 것과 같은 3차원 카메라를 통합하는 안경류 디바이스, 관련 구성 요소 및 임의의 완전한 디바이스의 배향은 단지 예시에 의해, 예시 및 논의의 목적으로 제공된다. 동작에서, 안경류 디바이스는 안경류 디바이스의 특정 애플리케이션에 적합한 임의의 다른 방향, 예를 들어, 위, 아래, 옆 또는 임의의 다른 방향으로 배향될 수 있다. 또한, 본원에서 사용되는 범위에서, 전방, 후방, 안쪽으로, 바깥쪽으로, 쪽으로, 좌측, 우측, 측방향, 길이 방향, 위, 아래, 상위, 하위, 꼭대기, 바닥 및 측면, 수평, 수직 및 대각선과 같은 임의의 방향 용어는 단지 예로서 사용되며, 본원에서 달리 설명되는 구성된 3차원 카메라의 구성 요소 또는 임의의 3차원 카메라의 방향 또는 배향을 제한하지 않는다.
[0018] 예들의 추가 목적, 이점 및 신규 특징들은 부분적으로 이하의 설명에서 제시될 것이고, 부분적으로 아래의 및 첨부 도면을 검토할 때 본 기술 분야의 통상의 기술자에게 명백해질 것이며 또는 예들의 생성 또는 동작에 의해 학습될 수 있다. 본 주제의 목적 및 이점은 첨부된 청구항에서 특히 지적된 방법, 수단 및 조합에 의해 실현되고 달성될 수 있다.
[0019] 광범위하게 다양한 가시광 카메라들이 모바일 전화 및 전자 안경류 디바이스(예를 들어, 스마트 안경)와 같은 웨어러블 디바이스를 포함하는 휴대용 전자 디바이스에 통합된다. 스테레오 카메라는 2개의 렌즈를 갖거나 각각 자체 이미지 센서 또는 필름 프레임을 갖는, 함께 작동하는 2개의 카메라를 포함한다. 스테레오 카메라는, 렌즈가 떨어져 있기 때문에 약간 다른 관점에서 촬영한 동일한 장면의 2개의 이미지를 캡처한다. 렌즈 사이의 이격 거리는 인간의 양안시(binocular vision)를 더 잘 시뮬레이팅하기 위해 사람의 눈 사이의 거리에 근접하게 크기가 정해질 수 있다. 스테레오 카메라는 약간 다른 관점에서 촬영한 동일한 장면의 2개의 개별 이미지를 캡처한다.
[0020] 이제 첨부 도면에 예시되고 아래에서 논의되는 예들에 대해 상세히 참조한다.
[0021] 도 1a는 네트워크를 통해 데이터를 교환하도록 구성된 클라이언트-서버 아키텍처를 갖는 하나의 예에서 채용될 수 있는 네트워크 시스템(100)을 도시하는 네트워크 다이어그램이다. 이러한 네트워크 시스템은 클라이언트 디바이스(110) 상에 표시될 가상 객체에 대한 정보, 파사드(facade) 모델을 생성하는 데 사용되는 거리 뷰 데이터, 및 증강 현실 시스템(160)에 의해 사용되는 결과적인 파사드 모델을 전달하는 데 사용될 수 있다. 일부 예들에서, 네트워크 시스템(100)은 클라이언트가 네트워크 시스템(100) 내에서 데이터를 전달하고 교환하는 메시징 시스템일 수 있다. 데이터는 네트워크 시스템(100) 및 그 사용자와 연관된 다양한 기능(예를 들어, 텍스트 및 미디어 통신 송수신, 지오로케이션(geolocation) 결정 등) 및 양상에 관한 것일 수 있다. 본원에서는 클라이언트-서버 아키텍처로 예시되지만, 다른 예들은 피어-투-피어(peer-to-peer) 또는 분산형 네트워크 환경과 같은 다른 네트워크 아키텍처를 포함할 수 있다.
[0022] 도 1a에 도시된 바와 같이, 네트워크 시스템(100)은 소셜 메시징 시스템(130)을 포함한다. 소셜 메시징 시스템(130)은 일반적으로 인터페이스 계층(interface layer)(124), 애플리케이션 로직 계층(application logic layer)(126) 및 데이터 계층(data layer)(128)으로 구성된 3-계층 아키텍처에 기초한다. 관련 컴퓨터 및 인터넷 관련 기술 분야의 통상의 기술자에 의해 이해되는 바와 같이, 도 1a에 도시된 각각의 모듈 또는 엔진은 실행 가능한 소프트웨어 명령의 세트와 명령을 실행하기 위한 대응 하드웨어(예를 들어, 메모리 및 프로세서)를 나타낸다. 본원에 설명된 주제를 불필요한 상세 사항으로 모호하게 하는 것을 피하기 위해, 설명된 주제의 이해를 전달하는 것과 관련이 없는 다양한 기능 모듈 및 엔진은 도 1a에서 생략되었다. 추가 기능 모듈 및 엔진은 도 1a에 예시된 바와 같이 본원에서 구체적으로 설명되지 않는 추가 기능을 용이하게 하기 위해 소셜 메시징 시스템과 함께 사용될 수 있다. 또한, 도 1a에 도시된 다양한 기능 모듈 및 엔진은 단일 서버 컴퓨터 상에 상주하거나 다양한 배열로 여러 서버 컴퓨터에 걸쳐 분산될 수 있다. 또한, 소셜 메시징 시스템(130)이 도 1a에 3-계층 아키텍처로 도시되어 있지만, 본 주제는 이러한 아키텍처에 결코 제한되지 않는다.
[0023] 도 1a에 도시된 바와 같이, 인터페이스 계층(124)은 클라이언트 애플리케이션(112)을 실행하는 클라이언트 디바이스(110) 및 제3자 애플리케이션(122)을 실행하는 제3자 서버(120)와 같은 다양한 클라이언트-컴퓨팅 디바이스 및 서버로부터 요청을 수신하는 인터페이스 모듈(예를 들어, 웹 서버)(140)로 구성된다. 수신된 요청에 응답하여, 인터페이스 모듈(140)은 네트워크(104)를 통해 요청 디바이스에 적절한 응답을 전달한다. 예를 들어, 인터페이스 모듈(140)은 하이퍼텍스트 트랜스퍼 프로토콜(HTTP: Hypertext Transfer Protocol) 요청 또는 다른 웹-기반 애플리케이션 프로그래밍 인터페이스(API: Application Programming Interface) 요청과 같은 요청을 수신할 수 있다.
[0024] 클라이언트 디바이스(110)는 임의의 광범위하게 다양한 모바일 컴퓨팅 디바이스 및 모바일-특정 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® PHONE)를 포함하도록 특정 플랫폼에 대해 개발된 통상의 웹 브라우저 애플리케이션 또는 애플리케이션(또한 "앱(apps)"이라고 칭함)을 실행할 수 있다. 예에서, 클라이언트 디바이스(110)는 클라이언트 애플리케이션(112)을 실행하고 있다. 클라이언트 애플리케이션(112)은 사용자(106)에게 정보를 제공하고 소셜 메시징 시스템(130)과 정보를 교환하기 위해 네트워크(104)를 통해 통신하는 기능을 제공할 수 있다. 각각의 클라이언트 디바이스(110)는 소셜 메시징 시스템(130)에 액세스하기 위해 네트워크(104)와의 통신 기능 및 디스플레이를 적어도 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 디바이스(110)는 원격 디바이스, 워크 스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 기기, 핸드-헬드 디바이스, 무선 디바이스, 휴대용 디바이스, 웨어러블 컴퓨터, 셀룰러 또는 모바일 전화, 퍼스널 디지털 어시스턴트(PDA: personal digital assistant), 운전자 헤드업 디스플레이(HUD: heads up display)를 갖는 자동차 컴퓨팅 디바이스, 스마트 폰, 태블릿, 울트라북, 넷북, 랩탑, 데스크탑, 다중-프로세서 시스템, 마이크로프로세서-기반 또는 프로그래밍 가능한 소비자 전자 기기, 게임 콘솔, 셋-탑 박스, 네트워크 퍼스널 컴퓨터(PC), 미니-컴퓨터 등을 포함하지만 이에 제한되지 않는다. 사용자(106)는 사람, 기계, 또는 클라이언트 디바이스(110)와 상호 작용하는 다른 수단을 포함할 수 있다. 일부 예들에서, 사용자(106)는 클라이언트 디바이스(110)를 통해 소셜 메시징 시스템(130)과 상호 작용한다.
[0025] 도 1a에 도시된 바와 같이, 데이터 계층(128)은 정보 저장 저장소 또는 데이터베이스(134)에 대한 액세스를 용이하게 하는 하나 이상의 데이터베이스 서버(132)를 갖는다. 데이터베이스(134)는 클라이언트 디바이스(110)에 의해 생성되고 소셜 메시징 시스템(130)으로 전송되는 외부 영역의 이미지 세트와 같은 데이터; 건물을 포함하는 이미지로부터 생성된 파사드 데이터 세트; 이미지와 매칭되는 맵 데이터 및 지오로케이션에 대한 파사드 데이터; 및 이러한 다른 데이터를 저장하는 저장 디바이스이다. 일 예에서, 데이터베이스는 거리에서 캡처된 이미지를 저장하고 이러한 이미지를 맵 데이터와 연관시킨다. 이러한 예의 일부 구현은 사람을 포함하는 높이 초과의 이미지 데이터만 저장하는 예와 같이, 이미지로부터 사람을 제거하기 위해 필터 또는 이미지 자르기를 사용할 수 있다. 데이터베이스(134)는 또한 회원 프로파일 데이터, 소셜 그래프 데이터(예를 들어, 소셜 메시징 시스템(130)의 회원 간의 관계) 및 다른 사용자 데이터와 같은 데이터를 저장할 수 있다.
[0026] 개인은 소셜 메시징 시스템(130)에 등록하여 소셜 메시징 시스템(130)의 회원이 될 수 있다. 일단 등록되면, 회원은 소셜 메시징 시스템(130) 상에서 소셜 네트워크 관계(예를 들어, 친구, 팔로워, 또는 연락처)를 형성할 수 있고, 소셜 메시징 시스템(130)에 의해 제공되는 광범위한 애플리케이션과 상호 작용할 수 있다.
[0027] 애플리케이션 로직 계층(126)은 인터페이스 모듈(140)과 함께 데이터 계층(128)의 다양한 데이터 소스 또는 데이터 서비스로부터 검색된 데이터로 다양한 사용자 인터페이스를 생성하는 다양한 애플리케이션 로직 모듈(150)을 포함한다. 개별 애플리케이션 로직 모듈(150) 증강 현실 시스템(160)의 양상을 포함하는 소셜 메시징 시스템(130)의 다양한 애플리케이션들, 서비스들 및 특징들과 연관된 기능을 구현하는 데 사용될 수 있다. 예를 들어, 소셜 메시징 애플리케이션은 애플리케이션 로직 모듈(150) 중 하나 이상으로 구현될 수 있다. 소셜 메시징 애플리케이션은 클라이언트 디바이스(110)의 사용자가 사진 및 비디오와 같은 미디어 컨텐츠 및 텍스트를 포함하는 메시지를 전송 및 수신하기 위한 메시징 메커니즘을 제공한다. 소셜 메시징 애플리케이션은 또한 사진 및 비디오를 가상 객체와 통합하는 컨텐츠 및 증강 현실 디스플레이를 제공하기 위한 메커니즘을 포함할 수 있다. 클라이언트 디바이스(110)는 증강 현실 디스플레이를 제공할 수 있고 또한 사용자가 특정 기간(예를 들어, 제한 또는 무제한) 동안 소셜 메시징 애플리케이션으로부터 메시지에 액세스하고 이를 볼 수 있게 할 수 있다. 일 예에서, 특정 메시지가 처음으로 액세스될 때 시작되는 사전 정의된 지속 시간(예를 들어, 메시지 전송자에 의해 지정) 동안 특정 메시지가 메시지 수신자에 대해 액세스 가능하다. 사전 정의된 지속 시간이 경과한 후, 메시지는 삭제되고 메시지 수신자에 대해 더 이상 액세스 가능하지 않다. 유사하게, 증강 현실 컨텐츠가 사전 정의된 지속 시간 동안 제공될 수 있다. 다른 애플리케이션 및 서비스는 자체 애플리케이션 로직 모듈(150)에서 별도로 구현될 수 있다.
[0028] 도 1a에 예시된 바와 같이, 소셜 메시징 시스템(130) 또는 클라이언트 애플리케이션(112)은 증강 현실 이미지를 생성하기 위한 기능을 제공하는 증강 현실 시스템(160)을 포함할 수 있다. 일부 예들에서, 증강 현실 시스템(160)은 클라이언트 디바이스(110) 상에서 독립형 시스템으로서 구현될 수 있고 소셜 메시징 시스템(130)에 반드시 포함되지는 않는다. 다른 예들에서, 클라이언트 디바이스들(110)은 증강 현실 시스템(160)의 일부를 포함한다(예를 들어, 증강 현실 시스템(160)의 일부는 독립적으로 또는 클라이언트 애플리케이션(112)에 포함될 수 있음). 클라이언트 디바이스들(110)이 증강 현실 시스템(160)의 일부를 포함하는 예들에서, 클라이언트 디바이스들(110)은 단독으로 또는 특정 애플리케이션 서버에 포함되거나 소셜 메시징 시스템(130)에 포함된 증강 현실 시스템(160)의 일부와 함께 작동할 수 있다.
[0029] 도 1b는 특정 예들과 함께 사용될 수 있는 대안적인 네트워크 시스템(101)을 예시한다. 네트워크 시스템(101)은 인터페이스 모듈(140), 애플리케이션 로직 모듈(150), 데이터베이스 서버(132) 및 데이터베이스(134)를 갖는 소셜 메시징 시스템(130)뿐만 아니라 네트워크 시스템(100)에서와 같이 클라이언트 애플리케이션(112)을 동작시키는 클라이언트 디바이스(110)도 포함한다. 그러나, 네트워크 시스템(101)은 클라이언트 디바이스(110)에 연결된 클라이언트 동반 디바이스(114)를 추가로 포함한다. 클라이언트 동반 디바이스(114)는 안경, 바이저(visor), 시계 또는 다른 네트워크 가능 아이템과 같은 웨어러블 디바이스일 수 있다. 클라이언트 동반 디바이스는 또한 클라이언트 디바이스(110)와 같은 다른 디바이스를 통해 네트워크(104)와 같은 네트워크에 액세스하는 본원에 설명된 임의의 디바이스일 수 있다. 클라이언트 동반 디바이스(114)는 이미지 센서들(116), 무선 입력 및 출력(I/O)(117) 및 디스플레이(118)를 포함한다. 클라이언트 동반 디바이스(114)는 하나 이상의 프로세서, 배터리 및 메모리를 포함할 수 있지만 제한된 프로세싱 및 메모리 리소스를 가질 수 있다. 이러한 예들에서, 소셜 메시징 시스템(130)에 사용되는 클라이언트 디바이스(110) 또는 서버 컴퓨팅 디바이스는 클라이언트 동반 디바이스(114)에 대한 원격 프로세싱 및 메모리 리소스를 제공하기 위해 네트워크 연결을 통해 사용될 수 있다. 일 예에서, 예를 들어, 클라이언트 동반 디바이스(114)는 도 2a의 안경(200)과 같은 한 쌍의 네트워크 가능 안경일 수 있다. 이러한 안경은 임의의 센서 기반 위치 결정 시스템을 포함하지 않을 수 있으므로, 초기 위치 추정을 수행하는 본원에 설명된 방법은 안경에 무선으로 연결된 클라이언트 디바이스(110)의 위치를 추정할 수 있다. 그러나, 안경(200)은 이미지 센서들(116)를 사용하여 이미지를 수집하고 디스플레이(118)를 통해 증강 현실 정보를 생성하고 사용자에게 제시하기 위한 기초로서 해당 이미지를 사용한다. 따라서, 이미지에 추가된 임의의 가상 객체 및 이미지의 관점은 클라이언트 동반 디바이스(114)(예를 들어, 안경(200))의 위치에 기초하여 추적될 필요가 있다. 이러한 예에서, 초기 위치는 글로벌 포지셔닝 시스템(GPS: global positioning system) 또는 네트워크 강화 위치 서비스를 사용하여 클라이언트 디바이스(110) 위치에 기초할 수 있다. 그런 다음, 클라이언트 디바이스(110), 소셜 메시징 시스템(130) 또는 둘 모두에서 동작하는 이미지 기반 위치 시스템(161)은 클라이언트 동반 디바이스(114)의 위치를 결정하기 위해 클라이언트 디바이스(110)의 초기 위치에 의해 식별된 파사드 데이터와 함께 이미지 센서들(116)로부터의 이미지 데이터를 사용할 수 있다. 일부 예들에서, 무선 I/O(117) 시스템의 범위가 낮기 때문에, 시스템은 클라이언트 디바이스(110)의 위치가 양쪽 디바이스에 가까운 건물에 대한 파사드 데이터가 동일한 클라이언트 동반 디바이스(114)의 충분히 가까운 거리 내에 있는 것으로 가정할 수 있다.
[0030] 일 예에서, 클라이언트 디바이스(110)는 스마트폰과 같은 모바일 디바이스이고, 동반 디바이스(114)는 안경류 디바이스이다. 도 2a 및 도 2b는 예시적인 안경류 디바이스(200)의 정면 및 상부 사시도를 나타낸다. 일반적인 개요로서, 안경류 디바이스(200)는 프레임(210) 및 하나 이상의 패널(220)을 포함한다. 이하의 단락은 안경류 디바이스(200)의 추가 상세 사항을 제시한다.
[0031] 프레임(210)은 각각의 개구를 정의하는 한 쌍의 테두리(212)를 포함한다. 테두리(212)에 의해 정의된 개구는 사용자가 안경류 디바이스(200)를 착용할 때 사용자의 눈 앞에 있다. 테두리(212)는 도 2a에 도시된 바와 같이 자신들의 각각의 개구들을 완전히 포위하거나 둘러쌀 수 있거나, 각각의 개구를 부분적으로만 포위하거나 둘러쌀 수 있다.
[0032] 프레임(210)은 테두리(212) 사이를 연결하는 브릿지(214), 및 각각의 테두리(212)로부터 연장되는 한 쌍의 아암(216)을 추가로 포함할 수 있다. 브릿지(214)는 사용자가 안경류 디바이스(200)를 착용할 때 사용자의 코 상부의 제자리에 있다. 아암(216)은 사용자의 머리 측면을 따라 연장되고, 사용자가 안경류 디바이스(200)를 착용할 때 사용자의 귀에 놓일 수 있다. 아암(216)은 테두리(212)에 단단히 연결될 수 있거나, 힌지를 통해 테두리(212)에 연결되어 아암(216)을 접을 수 있게 할 수 있다.
[0033] 패널(220)은 프레임(210)의 테두리(212)에 의해 정의된 개구 중 각각의 개구 내에 위치된다. 패널(220)은 사용자가 안경류 디바이스(200)를 착용할 때 사용자의 눈 앞의 영역을 덮는다.
[0034] 패널(220) 중 적어도 하나는 디스플레이에 커플링된 도파관일 수 있다. 또한, 이 예에서, 프레임(210)의 부분, 예를 들어, 테두리(212), 브릿지 (214) 또는 다리(216)는 예를 들어, 광원, 제어기 또는 전원을 포함하는 디스플레이의 구성 요소를 지지하거나 하우징할 수 있다. 도파관은 예를 들어, 회절형, 홀로그래픽형 또는 반사형일 수 있다. 도파관으로서 패널(220)을 형성하기 위한 적절한 재료는 본원의 설명으로부터 알려질 것이다.
[0035] 하나의 패널(220)만이 디스플레이에 커플링되는 경우, 다른 패널(220)은 임의의 다른 형태를 취하거나 생략될 수 있다. 대안적인 패널(220)은 투명, 반투명 또는 착색된 재료를 포함하거나 이로 구성될 수 있고, 원하는 경우 렌즈의 형태를 취할 수 있다.
[0036] 도 2a는 2개의 개별 시점으로부터 장면에 대한 이미지 정보를 캡처할 수 있는 2개의 카메라(218)를 추가로 도시한다. 좌측 및 우측 가시광 카메라들(218)은 좌측 및 우측 청크들(chunks)(224) 상에 위치될 수 있다. 좌측 및 우측 가시광 카메라들(218)은 가시광 범위 파장에 민감하다. 캡처된 2개의 이미지는 3D 안경으로 보기 위해 스크린 상으로 3차원 디스플레이를 투사하는 데 사용될 수 있다.
[0037] 안경류 디바이스(200)는 깊이 이미지와 같은 이미지를 제시하기 위한 이미지 디스플레이를 갖는 광학 어셈블리(180)를 포함할 수 있다.
[0038] 안경류 디바이스(200)는 도 2b에 도시된 예에서 디바이스의 각각의 측면 상의, 예를 들어, 청크(224) 상의 버튼(222)을 포함하는 사용자 입력을 획득하기 위한 하나 이상의 구조를 포함한다. 이러한 입력 구조는 물리적 버튼, 터치-감지 표면 등을 포함하는 광범위하게 다양한 수단에 의해 실시될 수 있고 이러한 입력 구조의 위치 및 크기는 도 2b에 도시된 위치 및 크기로 제한되지 않는다는 것이 이해된다. 또한, 2개의 버튼이 도 2b에 도시되어 있지만, 더 많거나 더 적은 입력 구조가 있을 수 있다는 것이 이해된다.
[0039] 가시광 카메라들(218)의 예들은 고해상도 상보형 금속-산화물-반도체(CMOS: complementary metal-oxide-semiconductor) 이미지 센서 및 640p(예를 들어, 총 0.3 메가픽셀에 대해 640 x 480 픽셀), 720p 또는 1080p의 해상도가 가능한 디지털 VGA 카메라(비디오 그래픽 어레이)를 포함한다. 가시광 카메라들(218)의 다른 예들은 고화질(HD: high-definition) 스틸 이미지를 캡처하고 이를 1642 x 1642 픽셀(또는 그 이상)의 해상도로 저장하고; 고화질 비디오를 높은 프레임 레이트(예를 들어, 초 당 30 내지 60 프레임 이상)로 기록하고 1216 x 1216 픽셀(또는 그 이상)의 해상도로 기록을 저장할 수 있다.
[0040] 안경류 디바이스(200)는 메모리에 저장하기 위해 이미지 프로세서에 의해 디지털화된 지오로케이션 데이터와 함께 가시광 카메라들(218)로부터의 이미지 센서 데이터를 캡처할 수 있다. 각각의 가시광 카메라들(218)에 의해 캡처된 좌측 및 우측 미가공 이미지는 2차원 공간 영역에 있으며, 수평 위치에 대한 X-축 및 수직 위치에 대한 Y-축을 포함하는 2차원 좌표계 상의 픽셀의 매트릭스를 포함한다. 각각의 픽셀은 컬러 속성 값(예를 들어, 적색 픽셀 광 값, 녹색 픽셀 광 값 및 청색 픽셀 광 값); 및 위치 속성(예를 들어, X-축 좌표 및 Y-축 좌표)을 포함한다.
[0041] 3차원 프로젝션으로서 나중에 표시하기 위해 스테레오 이미지를 캡처하기 위해, 이미지 프로세서(912)(도 3에 도시)는 시각 이미지 정보를 수신하고 저장하기 위해 가시광 카메라들(218)에 커플링될 수 있다. 각각의 이미지에 대한 타임스탬프가 인간의 양안시를 시뮬레이팅하기 위해 스테레오 카메라로서 역할을 하는 가시광 카메라들(218)의 동작을 제어하는 이미지 프로세서(912) 또는 다른 프로세서에 의해 추가될 수 있다. 각각의 이미지 쌍의 타임스탬프는 이미지가 3차원 투사의 일부로서 함께 표시될 수 있게 한다. 3차원 투사는 가상 현실(VR: virtual reality) 및 비디오 게임을 포함한 다양한 컨텍스트에서 바람직한 몰입형의 실제와 같은 경험을 생성한다.
[0042] 생성된 깊이 이미지는 3차원 공간 영역에 있으며 수평 위치(예를 들어, 길이)에 대한 X 축, 수직 위치(예를 들어, 높이)에 대한 Y 축 및 깊이(예를 들어, 거리)에 대한 Z 축을 포함하는 3차원 위치 좌표계 상의 정점 매트릭스를 포함할 수 있다. 각각의 정점은 컬러 속성(예를 들어, 적색 픽셀 광 값, 녹색 픽셀 광 값 및 청색 픽셀 광 값); 위치 속성(예를 들어, X 위치 좌표, Y 위치 좌표 및 Z 위치 좌표); 텍스처 속성 및 반사율 속성을 포함할 수 있다. 텍스처 속성은 깊이 이미지의 정점 영역에서 컬러 또는 강도의 공간적 배열과 같은 깊이 이미지의 인지된 텍스처를 정량화한다.
[0043] 청크(224) 내부에는 가시광 카메라들(218), 마이크로폰(들), 저전력 무선 회로(예를 들어, 블루투스(Bluetooth)™를 통한 근거리 네트워크 통신용), 고속 무선 회로(예를 들어, WiFi를 통한 무선 근거리 통신망 통신용)에 대한 제어기를 포함하는 PCB 또는 가요성 PCB와 같은 다양한 상호 연결된 회로 보드가 배치될 수 있다.
[0044] 도 3은 안경류 디바이스(200), 모바일 디바이스(890), 및 인터넷과 같은 다양한 네트워크(995)를 통해 연결된 서버 시스템(998)을 포함하는 예시적인 이미지 캡처, 구성 및 공유 시스템(1000)의 기능 블록도이다. 시스템(1000)은 도시된 바와 같이, 안경류 디바이스(200)와 모바일 디바이스(890) 사이의 저전력 무선 연결(925) 및 고속 무선 연결(937)을 포함한다.
[0045] 안경류 디바이스(200)는 본원에 설명된 바와 같이 스틸 이미지를 캡처할 수 있는 하나 이상의 가시광 카메라들(218)를 포함한다. 카메라들(218)은 고속 회로(930)에 대한 직접 메모리 액세스(DMA: direct memory access)를 가질 수 있다. 한 쌍의 카메라들(218)은 본원에 설명된 바와 같이, 스테레오 카메라로서 기능할 수 있다. 카메라들(218)은 적색, 녹색 및 청색(RGB) 이미징된 장면의 텍스처-매핑된 이미지인 3차원(3D) 모델로 렌더링될 수 있는 초기-깊이 이미지를 캡처하는 데 사용될 수 있다. 디바이스(200)는 또한 디바이스(200)에 대한 객체의 위치를 추정하기 위해 적외선 신호들을 사용하는 깊이 센서(213)를 포함할 수 있다. 일부 예들에서 깊이 센서(213)는 하나 이상의 적외선 방출기(들)(215) 및 적외선 카메라(들)(217)를 포함한다.
[0046] 안경류 디바이스(200)는 각각의 광학 어셈블리(180A, 180B)의 2개의 이미지 디스플레이(하나는 좌측과 연관되고 하나는 우측과 연관됨)를 추가로 포함할 수 있다. 안경류 디바이스(200)는 또한 이미지 디스플레이 구동기(942), 이미지 프로세서(912), 저전력 회로(920) 및 고속 회로(930)를 포함한다. 각각의 광학 어셈블리(180A, 180B)의 이미지 디스플레이는 스틸 이미지 및 비디오를 포함하는 이미지를 표시하기 위한 것이다. 이미지 디스플레이 구동기(942)는 표시되는 이미지를 제어하기 위해 각각의 광학 어셈블리(180A, 180B)의 이미지 디스플레이에 커플링된다. 안경류 디바이스(200)는 사용자로부터 2차원 입력 선택을 수신하기 위한 사용자 입력 디바이스(222)(예를 들어, 버튼, 터치 센서 또는 터치패드)를 추가로 포함한다.
[0047] 안경류 디바이스(200)에 대해 도 3에 도시된 구성 요소는 도 2에 도시된 예의 테두리 또는 안경 다리에 위치된 하나 이상의 회로 보드, 예를 들어, PCB 또는 가요성 PCB 상에 위치된다. 대안적으로 또는 추가적으로, 도시된 구성 요소들은 안경류 디바이스(200)의 청크들, 프레임들, 힌지들 또는 브릿지에 위치될 수 있다. 좌측 및 우측 가시광 카메라들(218)은 상보형 금속-산화물-반도체(CMOS) 이미지 센서, 전하-결합 디바이스, 렌즈 또는 알려지지 않은 객체들의 장면들의 비디오 또는 스틸 이미지를 포함하는 데이터를 캡처하는 데 사용될 수 있는 임의의 다른 각각의 가시 또는 광 캡처 요소들과 같은 디지털 카메라 요소들을 포함할 수 있다.
[0048] 도 3에 도시된 예에서, 고속 회로(930)는 고속 프로세서(932), 메모리(934) 및 고속 무선 회로(936)를 포함한다. 예에서, 이미지 디스플레이 구동기(942)는 고속 회로(930)에 커플링되고 각각의 광학 어셈블리(180A, 180B)의 좌측 및 우측 이미지 디스플레이를 구동하기 위해 고속 프로세서(932)에 의해 동작된다. 고속 프로세서(932)는 고속 통신 및 안경류 디바이스(200)에 필요한 임의의 일반 컴퓨팅 시스템의 동작을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(932)는 고속 무선 회로(936)를 사용하여 무선 근거리 네트워크(WLAN: wireless local area network)에 대한 고속 무선 연결(937) 상의 고속 데이터 전송을 관리하는 데 필요한 프로세싱 리소스를 포함한다. 특정 예들에서, 고속 프로세서(932)는 LINUX 운영 체제 또는 안경류 디바이스(200)의 이러한 다른 운영 체제와 같은 운영 체제를 실행하고 운영 체제는 실행을 위해 메모리(934)에 저장된다. 임의의 다른 책임에 추가하여, 고속 프로세서(932)는 고속 무선 회로(936)와의 데이터 전송을 관리하는 데 사용되는 안경류 디바이스(200)에 대한 소프트웨어 아키텍처를 실행한다. 특정 예들에서, 고속 무선 회로(936)는 본원에서 Wi-Fi라고도 칭하는 전기 전자 학회(IEEE: Institute of Electrical and Electronic Engineers) 802.11 통신 표준을 구현하도록 구성된다. 다른 예들에서, 다른 고속 통신 표준이 고속 무선 회로(936)에 의해 구현될 수 있다.
[0049] 저전력 회로(920)는 저전력 프로세서(922) 및 저전력 무선 회로(924)를 포함한다. 안경류 디바이스(200)의 저전력 무선 회로(924) 및 고속 무선 회로(936)는 근거리 트랜시버(블루투스™) 및 무선 광역, 로컬 또는 광역 네트워크 트랜시버(예를 들어, 셀룰러 또는 WiFi)를 포함할 수 있다. 저전력 무선 연결(925) 및 고속 무선 연결(937)을 통해 통신하는 트랜시버를 포함하는 모바일 디바이스(890)는 네트워크(995)의 다른 요소들과 마찬가지로 안경류 디바이스(200)의 아키텍처의 상세 사항을 사용하여 구현될 수 있다.
[0050] 메모리(934)는 무엇보다도 좌측 및 우측 가시광 카메라들(218), 적외선 카메라(들)(217)), 이미지 프로세서(912)에 의해 생성된 카메라 데이터, 및 각각의 광학 어셈블리(180A, 180B)의 이미지 디스플레이 상에 이미지 디스플레이 구동기(942)에 의한 표시를 위해 생성된 이미지를 포함하는 다양한 데이터 및 애플리케이션을 저장할 수 있는 임의의 저장 디바이스를 포함한다. 메모리(934)가 고속 회로(930)와 통합된 것으로 도시되어 있지만, 다른 예들에서, 메모리(934)는 안경류 디바이스(200)의 독립적인 독립형 요소일 수 있다. 이러한 특정 예들에서, 전기적 라우팅 라인이 이미지 프로세서(912) 또는 저전력 프로세서(922)로부터 메모리(934)로의, 고속 프로세서(932)를 포함하는 칩을 통한 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(932)는 메모리(934)와 관련된 판독 또는 기록 동작이 필요할 때마다 저전력 프로세서(922)가 고속 프로세서(932)를 부팅하도록 메모리(934)의 어드레싱을 관리할 수 있다.
[0051] 도 3의 예에 도시된 바와 같이, 안경류 디바이스(200)의 고속 프로세서(932)는 카메라 시스템(가시광 카메라들(218)), 이미지 디스플레이 구동기(942), 사용자 입력 디바이스(222) 및 메모리(934)에 커플링될 수 있다. 도 4에 도시된 바와 같이, 모바일 디바이스(890)의 CPU(830)는 카메라 시스템(870), 모바일 디스플레이 구동기(882), 사용자 입력 계층(user input layer)(891) 및 메모리(840A)에 커플링될 수 있다. 안경류 디바이스(200)는 안경류 디바이스(200)의 프로세서(932)에 의한 메모리(934)의 이미지 구성 시스템(500)의 실행으로부터 발생하는 본원에 설명된 임의의 기능의 전부 또는 서브세트를 수행할 수 있다. 모바일 디바이스(890)는 모바일 디바이스(890)의 CPU(830)에 의해 플래시 메모리(840A)에서 이미지 구성 시스템(500)의 실행으로부터 발생하는 본원에 설명된 임의의 기능의 전부 또는 서브세트를 수행할 수 있다. 기능은 안경류 디바이스(200)가 이미지를 캡처하고, IMU 데이터를 모으고, 센서 데이터를 수집하고, 모바일 디바이스(890)는 계산, 컴퓨팅 및 결합 기능을 수행하도록 이미지 구성 시스템(500)에서 분할될 수 있다.
[0052] 서버 시스템(998)은, 예를 들어, 프로세서, 메모리, 및 네트워크(995)를 통해 안경류 디바이스(200) 및 모바일 디바이스(890)와 통신하기 위한 네트워크 통신 인터페이스를 포함하는 서비스 또는 네트워크 컴퓨팅 시스템의 일부로서의 하나 이상의 컴퓨팅 디바이스일 수 있다.
[0053] 안경류 디바이스(200)의 출력 구성 요소들은 상술한 바와 같이 각각의 렌즈 또는 광학 어셈블리(180A, 180B)와 연관된 좌측 및 우측 이미지 디스플레이(예를 들어, 액정 디스플레이(LCD: liquid crystal display), 플라즈마 디스플레이 패널(PDP: plasma display panel), 발광 다이오드(LED: light emitting diode) 디스플레이, 프로젝터 또는 도파관과 같은 디스플레이)와 같은 시각적 요소들을 포함할 수 있다. 안경류 디바이스(200)는 사용자향 표시자(예를 들어, LED, 라우드스피커 또는 진동 액추에이터) 및 외향 신호(예를 들어, LED, 라우드스피커)를 포함할 수 있다. 각각의 광학 어셈블리(180A, 180B)의 이미지 디스플레이는 이미지 디스플레이 구동기(942)에 의해 구동된다. 일부 예시적인 구성들에서, 안경류 디바이스(200)의 출력 구성 요소는 가청 요소들(예를 들어, 라우드스피커들), 촉각 구성 요소들(예를 들어, 햅틱 피드백을 생성하기 위한 진동 모터와 같은 액추에이터) 및 다른 신호 생성기들과 같은 추가 표시자를 추가로 포함한다. 예를 들어, 디바이스(200)는 사용자향 표시자들의 세트 및 외향 신호들의 세트를 포함할 수 있다. 사용자향 표시자들의 세트는 디바이스(200)의 사용자가 보거나 아니면 감지하도록 구성된다. 예를 들어, 디바이스(200)는 사용자가 볼 수 있도록 위치된 LED 디스플레이, 사용자가 들을 수 있는 소리를 생성하도록 위치된 라우드스피커 또는 사용자가 느낄 수 있는 햅틱 피드백을 제공하는 액추에이터를 포함할 수 있다. 외향 신호들의 세트는 디바이스(200) 부근의 관찰자에 의해 보이거나 아니면 감지되도록 구성된다. 유사하게, 디바이스(200)는 관찰자에 의해 감지되도록 구성되고 위치된 LED, 라우드스피커 또는 액추에이터를 포함할 수 있다.
[0054] 도 2b에 버튼(222)으로 도시되어 있지만, 안경류 디바이스(200)의 입력 구성 요소들은 영숫자 입력 구성 요소(예를 들어, 영숫자 입력, 포토-광 키보드, 또는 다른 영숫자-구성 요소들을 수용하도록 구성된 터치 스크린 또는 터치패드), 포인터-기반 입력 구성 요소(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기구), 촉각 입력 구성 요소(예를 들어, 터치 또는 터치 제스처, 또는 다른 촉각-구성 요소들의 위치, 힘 또는 둘 모두를 감지하는 버튼 스위치, 터치 스크린 또는 터치패드) 및 오디오 입력 구성 요소(예를 들어, 마이크로폰) 등이거나 이를 포함할 수 있다. 모바일 디바이스(890) 및 서버 시스템(998)은 영숫자, 포인터-기반, 촉각, 오디오 및 다른 입력 구성 요소를 포함할 수 있다.
[0055] 일부 예들에서, 안경류 디바이스(200)는 도 3에 도시된 바와 같이 센서 어레이(980)를 포함한다. 센서 어레이(980)의 요소들은 가시광 카메라(들)(218), 사용자 입력 디바이스(222)(예를 들어, 버튼, 터치 스크린 또는 터치패드, 버튼 스위치), 마이크로폰(993)(예를 들어, 2개 이상의 마이크로폰의 어레이), 깊이 센서(213) 및 관성 측정 유닛(972)이라고 칭하는 모션-감지 구성 요소의 집합을 포함한다. 모션-감지 구성 요소는 종종 마이크로칩의 일부가 되기에 충분히 작은 미세한 이동 부품을 갖는 마이크로-전자-기계 시스템(MEMS: micro-electro-mechanical system)일 수 있다.
[0056] 일부 예시적인 구성에서 관성 측정 유닛(IMU: inertial measurement unit)(972)은 가속도계(974), 자이로스코프(976) 및 자력계(978)를 포함한다. 가속도계(974)는 3개의 직교 축(x, y, z)에 대한 디바이스(200)의 선형 가속(중력으로 인한 가속을 포함)을 감지한다. 자이로스코프(976)는 3개의 회전 축(피치(pitch), 롤(roll), 요(yaw))에 대한 디바이스(200)의 각속도를 감지한다. 가속도계(974) 및 자이로스코프(976)는 함께 6개의 축(x, y, z, 피치, 롤, 요)에 대한 디바이스에 대한 위치, 배향 및 모션 데이터를 제공할 수 있다. 자력계(978)는 자북(magnetic north)에 대한 디바이스(200)의 진행 방향을 감지한다. 디바이스(200)의 위치는 GPS 수신기와 같은 위치 센서들, 상대 위치 좌표를 생성하기 위한 하나 이상의 트랜시버들, 고도 센서들 또는 기압계들 및 다른 배향 센서들에 의해 결정될 수 있다. 이러한 위치 결정 시스템 좌표는 또한 저전력 무선 회로(924) 또는 고속 무선 회로(936)를 통해 모바일 디바이스(890)로부터 무선 연결(925, 937)을 통해 수신될 수 있다.
[0057] IMU(972)는 구성 요소로부터 미가공 데이터를 수집하고 디바이스(200)의 위치, 배향 및 모션에 대한 유용한 값의 수를 컴퓨팅하는 프로그래밍 또는 디지털 모션 프로세서를 포함하거나 이와 협력할 수 있다. 예를 들어, 가속도계(974)로부터 수집된 가속도 데이터는 적분되어 각각의 축(x, y, z)에 대한 속도를 얻고; 다시 적분되어 (선형 좌표, x, y 및 z에서) 디바이스(200)의 위치를 획득할 수 있다. 자이로스코프(976)로부터의 각속도 데이터는 (구면 좌표에서) 디바이스(200)의 위치를 획득하기 위해 적분될 수 있다. 이러한 유용한 값을 컴퓨팅하기 위한 프로그래밍은 메모리(934)에 저장되고 안경류 디바이스(200)의 고속 프로세서(932)에 의해 실행될 수 있다.
[0058] 안경류 디바이스(200)는 생체 측정 센서들, 특수 센서들 또는 안경류 디바이스(200)와 통합된 디스플레이 요소들과 같은 추가적인 주변 센서를 선택적으로 포함할 수 있다. 예를 들어, 주변 디바이스 요소들은 출력 구성 요소들, 모션 구성 요소들, 위치 구성 요소들 또는 본원에 설명된 이러한 다른 임의의 요소를 포함하는 임의의 I/O 구성 요소들을 포함할 수 있다. 예를 들어, 생체 측정 센서들은 표현들(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 신체 제스처 또는 눈 추적)을 검출하거나, 생체 신호들(예를 들어, 혈압, 심장 박동, 체온, 땀 또는 뇌파)를 측정하거나 사람을 식별(예를 들어, 음성, 망막, 얼굴 특징, 지문 또는 뇌전도 데이터와 같은 전기 생체 신호들에 기반한 식별)하기 위한 구성 요소들을 포함할 수 있다.
[0059] 도 3에 도시된 바와 같이, 이미지 캡처, 구성 및 공유 시스템(1000)은 네트워크를 통해 안경류 디바이스(200)에 커플링된 모바일 디바이스(890)와 같은 컴퓨팅 디바이스를 포함한다. 본원에 설명된 바와 같이, 안경류 디바이스(200)의 센서 어레이(980)는 일련의 미가공 이미지 세그먼트를 캡처하기 위한 하나 이상의 가시광 카메라들(218), 안경류 디바이스(200)의 위치, 배향 및 모션에 대한 데이터를 수집하기 위한 관성 측정 유닛(972)을 포함한다.
[0060] 이미지 캡처, 구성 및 공유 시스템(1000)은 잠재적으로 이미지 구성 시스템(500)의 명령을 포함하는 명령을 저장하기 위한 메모리 및 명령을 실행하기 위한 프로세서를 추가로 포함한다. 시스템(1000)은 안경류 디바이스(200)(도 3)의 메모리(934) 또는 모바일 디바이스(890)(도 4)의 메모리 요소들(840A, 840B)를 이용할 수 있다. 또한, 시스템(1000)은 안경류 디바이스(200)(도 3)의 프로세서 요소들(932, 922) 또는 모바일 디바이스(890)(도 4)의 중앙 처리 장치(CPU)(830)를 이용할 수 있다. 또한, 시스템(1000)은 서버 시스템(998)(도 3)의 메모리 및 프로세서 요소들을 추가로 이용할 수 있다. 이러한 양상에서, 이미지 캡처, 구성 및 공유 시스템(1000)의 메모리 및 프로세싱 기능은 안경류 디바이스(200) 및 모바일 디바이스(890) 또는 서버 시스템(998)에 걸쳐 공유되거나 분산될 수 있다.
[0061] 모바일 디바이스(890)는 저전력 무선 연결(925) 및 고속 무선 연결(937) 모두를 사용하여 안경류 디바이스(200)와 연결할 수 있는 스마트폰, 태블릿, 랩탑 컴퓨터, 액세스 포인트, 또는 이러한 임의의 다른 디바이스일 수 있다. 모바일 디바이스(890)는 서버 시스템(998) 및 네트워크(995)에 연결된다. 네트워크(995)는 유선 및 무선 연결의 임의의 조합을 포함할 수 있다.
[0062] 도 4는 예시적인 모바일 디바이스(890)의 상위 레벨 기능 블록도이다. 모바일 디바이스(890)는 본원에 설명된 기능의 전부 또는 서브세트를 수행하기 위한 프로그래밍을 포함하는 플래시 메모리(840A)를 포함한다. 모바일 디바이스(890)는 적어도 2개의 가시광 카메라들(중첩 시야를 갖는 제1 및 제2 가시광 카메라들) 또는 적어도 하나의 가시광 카메라 및 실질적으로 중첩 시야를 갖는 깊이 센서를 포함하는 카메라(870)를 포함할 수 있다. 플래시 메모리(840A)는 카메라(870)를 통해 생성된 복수의 이미지 또는 비디오를 추가로 포함할 수 있다.
[0063] 도시된 바와 같이, 모바일 디바이스(890)는 이미지 디스플레이(880), 이미지 디스플레이(880)를 제어하기 위한 모바일 디스플레이 구동기(882) 및 제어기(884)를 포함한다. 도 4의 예에서, 이미지 디스플레이(880)는 이미지 디스플레이(880)에 의해 사용되는 스크린 위에 적층되거나 그렇지 않으면 스크린에 통합되는 사용자 입력 계층(891)(예를 들어, 터치스크린)을 포함한다.
[0064] 사용될 수 있는 터치스크린 유형의 모바일 디바이스의 예들은 스마트 폰, 퍼스널 디지털 어시스턴트(PDA), 태블릿 컴퓨터, 랩탑 컴퓨터 또는 다른 휴대용 디바이스를 포함한다(그러나 이에 제한되지는 않음). 그러나, 터치스크린 유형 디바이스의 구조 및 동작은 예시의 방식으로 제공되며; 본원에 설명된 주제 기술은 이에 제한되는 것으로 의도되지 않는다. 이 논의의 목적을 위해, 도 4는 그에 따라 (손, 스타일러스 또는 다른 도구에 의한 터치, 멀티-터치 또는 제스처 등에 의해) 입력을 수신하기 위한 터치스크린 입력 계층(891) 및 컨텐츠를 표시하기 위한 이미지 디스플레이(880)를 포함하는 사용자 인터페이스를 갖는 예시적인 모바일 디바이스(890)의 블록도 예시를 제공한다.
[0065] 도 4에 도시된 예에서, 모바일 디바이스(890)는 광역 무선 모바일 통신 네트워크를 통한 디지털 무선 통신을 위해 WWAN XCVR로 도시된 적어도 하나의 디지털 트랜시버(XCVR)(810)를 포함한다. 모바일 디바이스(890)는 또한 NFC, VLC, DECT, ZigBee, 블루투스™ 또는 WiFi를 통한 근거리 네트워크 통신을 위한 근거리 XCVR(820)과 같은 추가적인 디지털 또는 아날로그 트랜시버를 포함한다. 예를 들어, 근거리 XCVR(820)은 IEEE 802.11에 따른 Wi-Fi 표준 중 하나와 같이 무선 로컬 영역 네트워크에서 구현되는 하나 이상의 표준 통신 프로토콜과 호환되는 유형의 임의의 이용 가능한 2-웨이 무선 로컬 영역 네트워크(WLAN) 트랜시버의 형태를 취할 수 있다.
[0066] 모바일 디바이스(890)의 위치 결정을 위한 위치 좌표를 생성하기 위해, 모바일 디바이스(890)는 글로벌 포지셔닝 시스템(GPS) 수신기를 포함할 수 있다. 대안적으로 또는 추가적으로, 모바일 디바이스(890)는 위치 결정을 위한 위치 좌표를 생성하기 위해 근거리 XCVR(820) 및 WWAN XCVR(810) 중 어느 하나 또는 둘 모두를 이용할 수 있다. 예를 들어, 셀룰러 네트워크, Wi-Fi 또는 블루투스™ 기반 위치 결정 시스템은 특히 조합하여 사용될 때 매우 정확한 위치 좌표를 생성할 수 있다. 이러한 위치 좌표는 XCVR(810, 820)을 통해 하나 이상의 네트워크 연결을 통해 안경류 디바이스로 송신될 수 있다.
[0067] 트랜시버(810, 820)(즉, 네트워크 통신 인터페이스)는 현대 모바일 네트워크에 의해 이용되는 다양한 디지털 무선 통신 표준 중 하나 이상을 따른다. WWAN 트랜시버(810)의 예들은 코드 분할 다중 액세스(CDMA: Code Division Multiple Access) 및 예를 들어, 제한 없이 3GPP 유형2(또는 3GPP2)를 포함하는 3세대 파트너십 프로젝트(3GPP: 3rd Generation Partnership Project) 네트워크 기술 및 때로는 "4G"로 지칭되는 LTE에 따라 동작하도록 구성된 트랜시버를 포함한다(그러나, 이에 제한되지 않음). 예를 들어, 트랜시버(810, 820)는 모바일 디바이스(890)로/로부터의 디지털화된 오디오 신호들, 스틸 이미지 및 비디오 신호들, 디스플레이를 위한 웹 페이지 정보뿐만 아니라 웹-관련 입력 및 다양한 유형의 모바일 메시지 통신을 포함하는 정보의 2-웨이 무선 통신을 제공한다.
[0068] 모바일 디바이스(890)는 도 4의 CPU(830)로서 도시된 중앙 처리 장치(CPU)로서 기능하는 마이크로프로세서를 추가로 포함한다. 프로세서는 하나 이상의 프로세싱 기능, 통상적으로 다양한 데이터 프로세싱 기능을 수행하도록 구성되고 배열된 요소들을 갖는 회로이다. 이산 로직 구성 요소가 사용될 수 있지만, 예들은 프로그래밍 가능한 CPU를 형성하는 구성 요소를 이용한다. 마이크로프로세서는 예를 들어, CPU의 기능을 수행하기 위해 전자 요소들을 통합하는 하나 이상의 집적 회로(IC) 칩을 포함한다. 예를 들어, CPU(830)는 모바일 디바이스 및 다른 휴대용 전자 디바이스에서 오늘날 일반적으로 사용되는 ARM 아키텍처를 사용하는 축소 명령 세트 컴퓨팅(RISC: Reduced Instruction Set Computing)과 같은 임의의 알려지거나 이용 가능한 마이크로프로세서 아키텍처에 기초할 수 있다. 물론, 프로세서 회로의 다른 배열이 CPU(830) 또는 스마트폰, 랩탑 컴퓨터 및 태블릿의 프로세서 하드웨어를 형성하는 데 사용될 수 있다.
[0069] CPU(830)는 예를 들어, CPU(830)에 의해 실행 가능한 명령 또는 프로그래밍에 따라 다양한 동작을 수행하도록 모바일 디바이스(890)를 구성함으로써 모바일 디바이스(890)에 대한 프로그래밍 가능한 호스트 제어기로서의 역할을 한다. 예를 들어, 이러한 동작은 모바일 디바이스의 다양한 일반적인 동작뿐만 아니라 모바일 디바이스의 애플리케이션에 대한 프로그래밍과 관련된 동작도 포함할 수 있다. 프로세서가 하드와이어드(hardwired) 로직을 사용하여 구성될 수 있지만, 모바일 디바이스의 통상적인 프로세서들은 프로그래밍을 수행하여 구성되는 일반적인 프로세싱 회로이다.
[0070] 모바일 디바이스(890)는 프로그래밍 및 데이터를 저장하기 위한 메모리 또는 저장 시스템을 포함한다. 예에서, 메모리 시스템은 필요에 따라 플래시 메모리(840A), 랜덤-액세스 메모리(RAM)(840B) 및 다른 메모리 구성 요소를 포함할 수 있다. RAM(840B)은 예를 들어, 작업 데이터 프로세싱 메모리와 같이 CPU(830)에 의해 처리되는 명령 및 데이터에 대한 단기 저장소로서의 역할을 한다. 플래시 메모리(840A)는 통상적으로 장기 저장을 제공한다.
[0071] 따라서, 모바일 디바이스(890)의 예에서, 플래시 메모리(840A)는 CPU(830)에 의한 실행을 위한 프로그래밍 또는 명령을 저장하는 데 사용된다. 디바이스의 유형에 따라, 모바일 디바이스(890)는 특정 애플리케이션이 실행되는 모바일 운영 체제를 저장하고 실행한다. 모바일 운영 체제의 예들은 Google Android, Apple iOS(iPhone 또는 iPad 디바이스용), Windows Mobile, Amazon Fire OS, RIM BlackBerry OS 등을 포함한다.
[0072] 다시 도 3을 참조하면, 예시적인 이미지 구성 및 공유 시스템(1000)은 네트워크(995)를 통해 모바일 디바이스(890)에 커플링된 안경류 디바이스(200)를 포함한다. 메모리(934)는 이미지 구성 시스템(500) 및 캡처 및 프로세싱을 위한 하나 이상의 프로파일을 포함한다. 일 예에서, 캡처 프로파일(510) 및 프로세싱 프로파일(520)이 있다. 일 예에서, 사용자는 도 5의 단계 710에 의해 도시된 바와 같이, 안경류 디바이스(200)와 같은 동반 디바이스에 의한 이미지의 캡처 전에 모바일 디바이스(890)와 같은 클라이언트 디바이스 상에서 프로파일을 캡처하고 프로세싱하기 위해 다양한 파라미터를 설정할 수 있다.
[0073] 일 예에서, 사용자는 또한 도 5의 단계 720에 의해 도시된 바와 같이 하나 이상의 자동 공유 프로파일에 대한 옵션을 선택할 수 있다. 하나 이상의 자동 공유 프로파일은 전송 및 청중 옵션에 대한 개별 프로파일 또는 통합 프로파일을 포함할 수 있으며, 이는 도 5의 2개의 연결된 블록(730 및 732)의 도시의 의도이다. 따라서, 도 5 및 본원에서 일반적으로 사용되는 "전송 프로파일" 및 "청중 프로파일"이라는 용어는 2개의 개별 프로파일을 포함할 수 있지만, 달리 표시되지 않는 한, 2개의 개별 프로파일을 필요로 하지 않으며 단일 자동 공유 프로파일의 일부일 수 있음이 이해된다.
[0074] 자동 공유 프로파일은 수동 및 자동 공유 기능을 실행하기 위해 안경류(200)(도 2b에 도시)의 하나 이상의 입력 구조 버튼(222)을 할당하기 위한 옵션을 포함할 수 있다. 예를 들어, 2개의 입력 구조를 갖는 안경류 디바이스(200)의 경우(이 예에서는 2개의 버튼(222)으로 표시) 프로파일은 자동 전송 기능 없이 표준 사진/비디오 처리에 하나의 버튼(222)을 할당하고 연결될 때 클라이언트(모바일 디바이스)를 통해 캡처된 이미지를 자동으로 공유하기 위해 다른 버튼(222)을 할당할 수 있다. 대안적으로, 캡처 프로파일과 같은 다른 프로파일은 수동 및 자동 공유 기능을 실행하기 위해 안경류(200)의 하나 이상의 입력 구조 버튼(222)을 할당하기 위한 옵션을 포함할 수 있다. 이러한 후자의 배열은 임의의 캡처된 새로운 이미지가 모바일 디바이스(890)와 동기화될 때까지(770) 설정이 확립되는 한, 안경류 디바이스(200)에 의한 이미지의 캡처(760) 전에 자동 공유 프로파일을 모바일 디바이스(890)에 설정하거나 업로드할 필요가 없는 예(아래의 다음 단락에서 예로서 추가적으로 논의함)를 추가로 가능하게 한다.
[0075] 예를 들어, 본 기술 분야의 통상의 기술자는 자동 공유 프로파일(들)이 도 5의 예에서 안경류 디바이스(200)와의 (선택적인) 페어링/동기화(740) 전에 바람직한 예에서 모바일 디바이스(890)에 확립될 수 있지만, 안경류 디바이스(200)가 이미지를 캡처(760)하고 모바일 디바이스(890)와 동기화(770)시키기 전인 한, 자동 공유 프로파일(들)은 사실상 언제든지 모바일 디바이스(890)에 확립될 수 있음을 이해할 것이다. 즉, 자동 공유 프로파일(들)은 모바일 디바이스(890)가 동기화(770) 시에 프로파일 파라미터를 자동으로 정확하고 시기 적절하게 실행할 수 있도록 새로운 이미지와의 동기화(770)가 발생할 때까지 모바일 디바이스(890)에 확립되어야 한다. 이러한 예에서 프로파일을 사전에 설정할 필요가 없는 것은 도 5의 페어링/동기화(740)가 선택적인 것으로 나타나는 하나의 원인이다.
[0076] 일 예에서, 전송 프로파일(730)은 전송 특징에 대한 자동화 레벨에 대한 옵션을 포함한다. 예를 들어, 제1 옵션은 단순히 디폴트 또는 가장 최근 선택된(last) 자동화 레벨을 적용하는 것일 수 있다. 제2 옵션은 클라이언트가 연결 시 이미지를 자동으로 전송하고 공유해야 하는 것을 특정하는 것일 수 있다. 제3 옵션은 짧은(예를 들어, X초) 지연 후 자동으로 전송 및 공유하여 포스트를 검토, 수정 및 취소하는 옵션을 실행하는 제한된 기간을 사용자에게 제공하는 것이다. 제4 옵션은 사용자에 의한 검토를 위해 보류하여 포스트를 검토, 수정 및 취소하는 옵션을 실행할 무기한의 기간을 사용자에게 허용하는 것이다. 물론, 본 기술 분야의 통상의 기술자는 다양한 자동 전송 옵션이 구상되거나 포함될 수 있고 다른 자동 전송 옵션이 포함된다는 것을 이해할 것이다.
[0077] 일 예에서, 청중 프로파일(732)은 자동으로 공유될 새로운 이미지와 일단 동기화(770)되면, 모바일 디바이스(890)가 포스트를 적절하게 보낼 수 있도록 공유를 위한 청중을 확립하기 위한 옵션을 포함한다. 예를 들어, 제1 옵션은 단순히 디폴트 또는 가장 최근 선택된 청중을 적용하는 것일 수 있다. 제2 옵션은 포스트를 사용자의 가장 최근 챗(chat)으로 보내는 것일 수 있다. 제3 옵션은 포스트를 사용자의 "스토리(story)"와 같은 보다 일반적인 청중에게 보내는 것일 수 있다. 본 기술 분야의 통상의 기술자는 상이한 프로그램 및 모바일 앱이 "나의 스토리(My Story)", 또는 "우리의 스토리(Our Story)" 또는 심지어 "스토리" 유형이 아닌 다른 청중과 같은 사용자 스토리의 다양한 치환을 제공할 수 있음을 이해할 것이며, 이들 모두는 이 예의 범위 내에 있다.
[0078] 위에서 언급한 바와 같이, 일 예에서, 프로세서(932)에 의한 이미지 구성 시스템(500)의 명령의 실행은 캡처 프로파일(510)에 따라 미가공 이미지 세그먼트의 시리즈(540)를 캡처하고 시리즈(540)의 각각의 이미지 세그먼트와 연관된 데이터 세트(572)를 수집하도록 안경류 디바이스(200)를 구성한다. 이러한 예에서, 캡처 프로파일(510)은 입력 구조(들)(222)에 대한 할당 데이터를 가질 수 있다. 예를 들어, 프로파일은 자동화된 공유 없이 사진/비디오(750)의 표준 캡처를 실행하기 위해 하나의 버튼(222)을 할당하고 자동화된 공유(752)로 사진/비디오 캡처를 실행하기 위해 다른 버튼(222)을 할당하도록 안경류(200)에 할당하거나 지시할 수 있다. 그러나, 본 기술 분야의 통상의 기술자는 사용자가 표준 캡처(750) 대 자동 공유를 위한 캡처(752) 사이에서 선택할 수 있도록 예를 들어, (예를 들어, 버튼 오래 누르기, 버튼 2회 누르기, 터치 표면의 조작, 마이크에 대한 오디오 명령 등에 의해) 단일 입력 구조를 프로그래밍 방식으로 구성하는 다양한 방식이 있으므로, 2개의 버튼을 가질 필요가 없음을 이해할 것이다. 따라서, 도 2는 안경류 디바이스(200)가 2개의 입력 구조(222)를 갖는 예를 도시하지만, 다른 개수 및 유형의 입력 구조(222)가 포함될 수 있다.
[0079] 일 예에서, 시스템은 안경류 디바이스(200)의 제1 프로세서 및 모바일 디바이스(890)와 같은 클라이언트 디바이스의 제2 프로세서를 포함하고, 모바일 디바이스(890)의 제2 프로세서는 안경류 디바이스(200)의 제1 프로세서와 동기화되고, 모바일 디바이스(890)의 제2 프로세서는 네트워크를 통해 적어도 하나의 이미지를 공유한다. 이러한 구성의 추가 예에서, 모바일 디바이스(890)의 제2 프로세서는 공유 프로파일을 안경류 디바이스(200)에 의해 캡처된 이미지에 적용한 다음, 공유 프로파일의 자동 공유 옵션 및 자동 청중 옵션에 따라 이미지를 공유한다. 다른 예에서, 시스템은 안경류 디바이스(200)와 같은 단일 휴대용 전자 디바이스에 완전히 구현되어, 안경류 디바이스(200) 상의 단일 프로세서는 자동 공유 옵션 및 자동 청중 옵션으로 공유 프로파일을 설정하고, 이미지를 캡처하고, 공유 프로파일의 자동 공유 옵션 및 자동 청중 옵션을 적용하고, 네트워크를 통해 이미지를 공유하는 것을 포함하는 기능을 수행하도록 구성될 수 있다.
[0080] 모바일 디바이스(890)와 같은 클라이언트 디바이스를 포함하는 일 예에서, 안경류 디바이스(200)는 캡처 시 이미지의 궁극적인 배치에 대해 알 수 없다(agnostic). 이러한 구성은, 위에서 언급한 바와 같이, 안경류 디바이스(200)가 이미지를 캡처하고 모바일 디바이스(890)와 동기화(770)시키기 전인 한 사실상 언제든지 모바일 디바이스(890)에 자동 공유 프로파일(들)이 확립될 수 있기 때문에 적용될 수 있다. 이러한 상황에서, 모바일 디바이스(890)가 자동 공유 프로파일(들), 및 동기화(770) 시점까지 (자동 공유와 관련하여 어떤 입력 디바이스(222)가 사용되었는지 또는 어떻게 사용되었는지와 같이) 캡처에 관한 안경류 디바이스(200)로부터의 임의의 데이터로 장비되어 있는 한, 안경류 디바이스(200)는 이미지가 캡처될 때 입력 구조(222)의 할당에 대해 알 수 없을 수 있으며, 그에 따라, 모바일 디바이스(890)는 자동 공유 프로파일에 따라 새로운 이미지를 핸들링할 수 있다.
[0081] 각각의 데이터 세트(572)는 IMU(972)에 의해 수집된 카메라 배향에 대한 정보를 포함한다. 일부 구현에서, 각각의 데이터 세트(572)는 각각의 비디오 세그먼트의 각각의 그리고 모든 이미지 또는 프레임과 연관된 카메라 배향에 대한 정보를 포함한다.
[0082] 일 구현에 따르면, 이미지 세그먼트의 시리즈(540)가 캡처된 후, 모바일 CPU(830)에 의한 이미지 구성 시스템(500)의 명령의 계속적인 실행은 캡처 및 프로세싱을 위한 하나 이상의 프로파일에 따라 이미지 세그먼트의 시리즈(540)를 프로세싱하도록 모바일 디바이스(890)를 구성한다. 캡처 및 프로세싱 프로파일(710)에 따른 이미지 세그먼트의 프로세싱은 도 5의 단계 780으로 도시되어 있다.
[0083] 일 예에서, 캡처 및 프로세싱(710)을 위한 하나 이상의 프로파일은 공유 전에 적어도 하나의 "효과"를 적용하기 위한 선택된 옵션을 포함한다. 효과(들)는 필터들, 토닝(toning), 경계(들), 캡션(들), 위치 태그(들), 증강 현실 특징들 같은 시각적 효과 및 음악, 노이즈들 또는 기록된 오디오(피치(pitch) 등)의 변경과 같은 오디오 효과일 수 있다.
[0084] 캡처 및 프로세싱(710)을 위한 하나 이상의 프로파일은 자동 공유 프로파일(들)(720)과 분리되거나 공유 프로파일(들)(720)의 구성 요소인 부분을 포함할 수 있다. 예에 따르면, 캡처 및 프로세싱(710)을 위해 하나 이상의 프로파일에 의해 식별된 옵션은 캡처(752) 후 이미지에 자동으로 적용된다. 3개의 예에서, 효과는 캡처 시 동반 디바이스(200)에 의해 적용될 수 있고(760), 효과는 구성 시스템의 동기화 및 실행 시 클라이언트 디바이스(890)에 의해 적용될 수 있거나(780), 2개의 임의의 조합일 수 있다.
[0085] 일 예에서, 프로세싱 옵션 및 명령은 별도의 프로세싱 프로파일(520)에 포함된다. 일부 예시적인 구성에서 프로세싱 프로파일(520)은 안정화 설정을 포함한다. 예시적인 안정화 설정은 아니오(No)(프로세싱 중 안정화를 수행하지 않음), 예(Yes) 및 사용자 지정(Custom)(사용자가 특정 유형의 안정화를 선택)을 포함한다. 디폴트 안정화 설정은 예(Yes)로 설정될 수 있고 (1) 각각의 특정 이미지 세그먼트와 연관된 데이터 세트(572)에 기초하여 각각의 미가공 이미지 세그먼트와 연관된 카메라 배향(585)을 계산하고, (2) 계산된 카메라 배향(들)(585)에 기초하여 안정화된 출력 경로(590)를 계산하고, (3) 이미지 구성(600)을 생성하기 위해 안정화된 출력 경로(590)에 따라 이미지 세그먼트의 시리즈(540)를 조합하는 명령을 포함할 수 있다.
[0086] 캡처 및 프로세싱을 위한 하나 이상의 프로파일, 예를 들어, 캡처 프로파일(510)은 안경류 디바이스(200) 상의 카메라(들)(218)가 미가공 비디오 세그먼트의 시리즈(540)를 캡처하는 방식 및 시기를 결정하는 조건 또는 변수의 세트를 포함한다. 일 예에서, 캡처 프로파일(510)은 시작 조건, 세그먼트 지속 시간, 일시 정지 지속 시간(세그먼트 사이) 및 세그먼트의 양을 포함한다. 예를 들어, 캡처 프로파일(510)은 오후 9시 18분과 동일한 시작 조건, 6초의 세그먼트 지속 시간, 20초의 일시 정지 지속 시간 및 10개의 세그먼트의 양을 포함할 수 있다. 이러한 캡처 프로파일에 따르면, 안경류 디바이스(200) 상의 비디오 카메라들(218)는 오후 9시 18분에 시작하여 각각의 세그먼트 사이에 20초의 일시 정지로 10개의 6초 비디오 세그먼트를 캡처할 것이다. 이러한 예시적인 캡처 프로파일(510)은 이미지 캡처에 앞서 해당 조건이 설정되고 변경되지 않는 한 고정된 캡처 프로파일로 지칭될 수 있다.
[0087] 안경류 디바이스(200)의 관성 측정 유닛(IMU: inertial measurement unit)(972)은 캡처 동안 안경류 디바이스(200)의 위치, 배향 및 모션에 대한 정보를 수집한다. 이미지 구성 시스템(500)은 각각의 이미지 세그먼트를 캡처하는 프로세스 동안 IMU(972)로부터 데이터를 수집하도록 안경류 디바이스(200)를 구성한다. IMU(972)로부터의 각각의 데이터 세트는 캡처되는 미가공 비디오 세그먼트의 적어도 하나의 이미지 또는 프레임과 연관된다. 일부 구현에서, 안경류 디바이스(200)는 제1 미가공 비디오 세그먼트의 각각의 그리고 모든 제1 프레임과 연관된 IMU(972)로부터 제1 데이터 세트를 수집할 것이다. IMU(972)로부터 수집된 데이터 세트(들)(572)는 도 3에 도시된 바와 같이 메모리(934)에 저장될 수 있다.
[0088] 메모리(934)에 저장된 각각의 데이터 세트(572)에 대해, 이미지 구성 시스템(500)은 카메라 배향(585)을 계산하도록 모바일 디바이스(890)를 구성한다. 모바일 디바이스(890)에 의해 계산된 카메라 배향(들)(585)은 도 4에 도시된 바와 같이 메모리(840A)에 저장될 수 있다.
[0089] 구성 시스템(500)은 비디오에 대한 안정화된 출력 경로(590)를 컴퓨팅하도록 모바일 디바이스(890)를 구성하며, 이는 도 5의 블록(780)의 범위 내에 있는 것으로 생각되는 다양한 잠재적 기능 중 하나이지만, 본원에 설명되거나 본 기술 분야의 통상의 기술자에게 알려진 다른 구성 기능이 또한 포함될 수 있다.
[0090] 일부 예시적인 구현에서, 이미지 구성 시스템(500)의 명령의 실행은 캡처 프로파일(510)에 따라 센서 어레이(980)에 의해 수집된 정보를 포함하는 센서 데이터(580)를 수집하도록 안경류 디바이스(200)를 구성한다. 센서 어레이(980)는 카메라(들)(218), 버튼 또는 터치패드와 같은 사용자 입력 디바이스(222), 마이크로폰(993), 깊이 센서(213) 및 관성 측정 유닛(IMU)(972)을 포함한다. 이 예에서, 캡처 프로파일(510)은 반응성 캡처 프로파일이며; 고정된 조건 세트 대신, 조건은 센서 어레이(980)로부터 실시간으로 수집된 센서 데이터(580)에 반응한다. 예를 들어, 반응성 캡처 프로파일은 센서 데이터(580)가 시작 입력을 포함할 때 기록을 시작하도록 구성된 반응성 시작 조건을 포함할 수 있다. 시작 입력은 센서 어레이(980)의 마이크로폰(993)에 의해 수신된 가청 시작 커맨드, (버튼 또는 터치패드 상의 탭 또는 탭 패턴과 같은) 입력 디바이스(222)에 의해 수신된 물리적 시작 커맨드, 착용자에 의해 이루어지고 카메라(들)(218)에 의해 캡처된 시작 제스처, IMU(972)에 의해 수집된 데이터 세트(572)에 의해 표시된 바와 같은 안경류 디바이스(200)의 선택 배향(수직, 수평, 한동안 정지) 또는 카메라(들)(218)에 의해 캡처된 선택 조명 조건일 수 있다. 안경류 디바이스(200)의 선택 배향은 위치 구성 요소 및 시간 구성 요소를 포함할 수 있다. 예를 들어, 선택 배향은 최소 기간 동안(예를 들어, 임계값을 초과하여 이동하지 않고 몇 초 동안) 유지되는 (예를 들어, 얼굴 상의) 실질적으로 수평인 위치를 포함할 수 있다. 유사하게, 선택 배향은 최소 기간 동안 유지되는 실질적으로 수직 위치(예를 들어, 주머니에서, 셔츠 칼라에 매달려 있음)를 포함할 수 있다.
[0091] 일부 예들에서 프로세싱 프로파일(520)은 안정화 설정(예를 들어, 특정 안정화 알고리즘의 사용자 지정 선택, 아니오, 예), 간격 효과(존재하는 경우 세그먼트 사이에 적용하기 위한 시각적 효과, 예를 들어, 잘라내기, 디졸브(dissolve), 페이드(fade), 와이프(wipe)), 시각적 계층(visual layer)(예를 들어, 토닝(toning), 컬러 워시(color washs), 경계, 프레임, 오버레이 요소들), 오디오 계층(audio layer)(예를 들어, 침묵, 주변 소리, 음악 사운드트랙, 음성 해설) 및 (기록 속도에 대한) 재생 속도를 포함한다. 각각의 설정은 사용자가 각각의 설정을 조정할 수 있게 하는 사용자 인터페이스와 함께 디폴트 설정을 포함할 수 있다. 예를 들어, 프로세싱 프로파일(520)은 디폴트로 안정화 설정에 대해 예, 간격 효과에 대해 잘라내기(비디오 구성(600)이 세그먼트 간에 끊김이 없게 됨), 시각적 계층에 대해 없음(토닝 또는 추가된 요소들 없음), 오디오 계층에 대해 침묵, 및 재생 속도에 대해 2X를 포함할 수 있다.
[0092] 관련 양상에서, 프로세싱 프로파일(520)은 하나 이상의 반응성 설정; 즉, 제1 또는 제2 데이터 세트 또는 제1 또는 제2 카메라 배향 또는 안정화된 출력 경로에 따라 변하는 설정일 수 있다. 예를 들어, 제1 데이터 세트 내의 정보는 특정 안정화 알고리즘이 데이터에 매우 적합하다고 제안할 수 있다. 안정화된 출력 경로에 포함된 정보는 특정 재생 속도가 재생 중 비디오 구성에 매우 적합하다고 제안할 수 있다.
[0093] 클라이언트 디바이스, 예를 들어, 모바일 디바이스(890)를 동반 디바이스, 예를 들어, 안경류 디바이스(200)와 동기시킬 때(770), 자동 공유 프로파일은 모바일 디바이스(890)에 의해 새로 캡처된(752) 이미지에 적용된다. 이러한 방식으로, 790에서, 전송 프로파일 옵션(730) 및 청중 프로파일 옵션(732)이 캡처된 이미지들에 적용되어, 모바일 디바이스(890) 또는 다른 클라이언트 디바이스가 프로파일(들)에 의해 정의된 옵션들에 따라 공유 또는 포스팅(800)할 수 있다.
[0094] 따라서, 사용자는 캡처를 위한 동반 디바이스와 공유를 위한 클라이언트 디바이스를 사용하여 이미지 캡처, 구성 및 공유를 자동화할 수 있으며, 하나 또는 두 디바이스가 구성에 참여한다.
[0095] 안경류 디바이스(200), 모바일 디바이스(890) 및 서버 시스템(998)에 대해 본원에 설명된 이미지 캡처, 구성 및 공유 기능 중 임의의 것은 본원에 설명된 바와 같이 하나 이상의 컴퓨터 소프트웨어 애플리케이션 또는 프로그래밍 명령 세트로 구현될 수 있다. 일부 예들에 따르면, "기능", "기능들", "애플리케이션", "애플리케이션들", "명령", "명령들" 또는 "프로그래밍"은 프로그램에 정의된 기능을 실행하는 프로그램(들)이다. 객체-지향 프로그래밍 언어(예를 들어, Objective-C, Java 또는 C++) 또는 절차적 프로그래밍 언어(예를 들어, C 또는 어셈블리어)와 같은 다양한 방식으로 구조화된 하나 이상의 애플리케이션을 생성하기 위해 다양한 프로그래밍 언어가 채용될 수 있다. 특정 예에서, 제3자 애플리케이션(예를 들어, 특정 플랫폼의 공급업체가 아닌 엔티티에 의한 ANDROID™ 또는 IOS™ 소프트웨어 개발 키트(SDK: software development kit)를 사용하여 개발된 애플리케이션)은 IOS™, ANDROID™, WINDOWS® 폰, 또는 다른 모바일 운영 체제와 같은 모바일 운영 체제에서 실행되는 모바일 소프트웨어를 포함할 수 있다. 이 예에서, 제3자 애플리케이션은 본원에 설명된 기능을 용이하게 하기 위해 운영 체제에서 제공되는 API 콜(call)을 호출할 수 있다.
[0096] 따라서, 기계-판독 가능 매체는 유형의(tangible) 저장 매체의 많은 형태를 취할 수 있다. 비휘발성 저장 매체는 예를 들어, 도면에 도시된 클라이언트 디바이스, 매체 게이트웨이, 트랜스코더 등을 구현하는 데 사용될 수 있는 임의의 컴퓨터 디바이스 등의 임의의 저장 디바이스와 같은, 예를 들어, 광학 또는 자기 디스크를 포함한다. 휘발성 저장 매체는 이러한 컴퓨터 플랫폼의 메인 메모리와 같은 동적 메모리를 포함한다. 유형의 전송 매체는 동축 케이블; 컴퓨터 시스템 내의 버스를 포함하는 와이어를 포함하는 구리 와이어 및 광섬유를 포함한다. 반송파 전송 매체는 전기 또는 전자기 신호들, 또는 무선 주파수(RF) 및 적외선(IR) 데이터 통신 중에 생성되는 것과 같은 음향 또는 광파의 형태를 취할 수 있다. 따라서, 일반적인 형태의 컴퓨터-판독 가능 매체는 예를 들어, 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD 또는 DVD-ROM, 임의의 다른 광학 매체, 펀치 카드 페이퍼 테이프, 구멍 패턴을 갖는 임의의 다른 물리적 저장 매체, RAM, PROM 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령을 운송하는 반송파, 이러한 반송파를 운송하는 케이블 또는 링크, 또는 컴퓨터가 프로그래밍 코드나 데이터를 판독할 수 있는 임의의 다른 매체를 포함한다. 이러한 형태의 컴퓨터 판독 가능 매체 중 다수는 실행을 위해 프로세서에 하나 이상의 명령의 하나 이상의 시퀀스를 전달하는 데 관련될 수 있다.
[0097] 바로 위에 언급된 경우를 제외하고, 언급되거나 예시된 어떤 것도 청구항에서 인용되는지에 관계없이, 임의의 구성 요소, 단계, 특징, 객체, 혜택, 이점 또는 동등물의 공용에 대한 전용을 유발하는 것으로 의도되지 않으며 이와 같이 해석되어서는 안된다.
[0098] 본원에서 사용된 용어 및 표현은 특정 의미가 본원에 달리 제시된 경우를 제외하고는 각각의 대응하는 조사 및 연구 영역과 관련하여 이러한 용어 및 표현에 부여된 통상적인 의미를 갖는다는 것이 이해될 것이다. 제1 및 제2 등과 같은 관계 용어는 이러한 엔티티 또는 액션 간의 임의의 이러한 실제 관계 또는 순서를 반드시 요구하거나 암시하지 않고 하나의 엔티티 또는 액션을 다른 엔티티 또는 액션과 구별하기 위해 단독으로 사용될 수 있다. "포함하다(comprise)", "포함하는(comprising)", "포괄하다(include)", "포괄하는(including)" 또는 이들의 임의의 다른 변형과 같은 용어는 요소들 또는 단계들의 목록을 포함하거나 포괄하는 프로세스, 방법, 항목 또는 장치가 단지 해당 요소들 또는 단계들 만을 포함하는 것이 아니라 이러한 프로세스, 방법, 항목 또는 장치에 명시적으로 열거되지 않거나 내재되지 않은 다른 요소들 또는 단계들도 포함할 수 있는 비배타적 포괄을 포함하는 것으로 의도된다. "어느(a)" 또는 "어떤(an)"이 선행하는 요소는 추가 제약 없이 해당 요소를 포함하는 프로세스, 방법, 항목 또는 장치에서 추가적인 동일한 요소들의 존재를 배제하지 않는다.
[0099] 달리 명시되지 않는 한, 후속하는 청구항을 포함하여 본 명세서에 제시된 임의의 그리고 모든 측정치, 값, 등급, 위치, 크기, 사이즈 및 다른 사양은 근사적이며 정확하지 않다. 이러한 양은 이러한 관련된 기능 이러한 양이 속하는 기술 분야에서 통상적인 것과 일치하는 합리적인 범위를 갖도록 의도된다. 예를 들어, 달리 명시하지 않는 한, 파라미터 값 등은 명시된 양에서 ±10%만큼 달라질 수 있다.
[00100] 또한, 상술한 상세한 설명에서, 본 개시내용의 간소화를 목적으로 다양한 예들에서 다양한 특징들이 함께 그룹화됨을 알 수 있다. 본 개시내용의 이러한 방법은 청구된 예들이 각 청구항에서 명시적으로 인용된 것보다 더 많은 특징들을 필요로 한다는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 이하의 청구항이 반영하는 바와 같이, 보호되어야 할 주제는 개시된 임의의 단일 예의 모든 특징들보다 적게 있다. 따라서, 이하의 청구항은 이에 의해 상세한 설명에 통합되며, 각 청구항은 별도로 청구된 주제로서 그 자체로 존재한다.
[00101] 이상에서 최상의 모드로 간주되는 것과 다른 예들을 설명했지만, 그 안에서 다양한 수정이 이루어질 수 있고 본원에 개시된 주제는 다양한 형태들 및 예들에서 구현될 수 있으며, 본원에서 그 중 일부만 설명된 수많은 애플리케이션에 적용될 수 있음이 이해된다. 이는 본 개념의 진정한 범위에 속하는 임의의 그리고 모든 수정 및 변형을 주장하는 것은 이하의 청구항에 의해 의도된다.

Claims (20)

  1. 이미지 캡처 및 공유 시스템으로서,
    안경류(eyewear) 디바이스 － 상기 안경류 디바이스는:
    측면(lateral side)에 안경 다리(temple)가 연결되어 있는 프레임;
    적어도 하나의 이미지를 캡처하도록 구성된 카메라; 및
    적어도 하나의 공유 명령을 수신하도록 구성된 사용자 입력 디바이스를 포함함 －;
    상기 카메라 및 상기 사용자 입력 디바이스에 커플링된 메모리 및 프로세서; 및
    상기 메모리 내의 프로그래밍(programming)을 포함하고,
    상기 프로세서에 의한 상기 프로그래밍의 실행은:
    자동 전송 옵션(automatic send option)들 및 자동 청중 옵션(automatic audience option)들을 포함하는 공유 프로파일을 확립하고;
    적어도 하나의 이미지를 캡처하고;
    캡처 후 상기 자동 전송 옵션들 및 상기 자동 청중 옵션들을 상기 적어도 하나의 이미지에 자동으로 적용하고; 그리고
    상기 자동 전송 옵션들 및 상기 자동 청중 옵션들에 따라 네트워크를 통해 상기 적어도 하나의 이미지를 공유하는
    기능들을 포함하는 기능들을 수행하도록 상기 시스템을 구성하는,
    이미지 캡처 및 공유 시스템.
  2. 제1항에 있어서,
    상기 안경류 디바이스는 상기 적어도 하나의 이미지의 캡처를 실행하기 위한 적어도 2개의 입력 구조들을 갖는,
    이미지 캡처 및 공유 시스템.
  3. 제2항에 있어서,
    상기 입력 구조들 중 적어도 2개는 버튼들인,
    이미지 캡처 및 공유 시스템.
  4. 제2항에 있어서,
    상기 입력 구조들 중 적어도 2개는 상기 안경류 디바이스의 상기 안경 다리에 인접하게 위치되는,
    이미지 캡처 및 공유 시스템.
  5. 제2항에 있어서,
    상기 적어도 2개의 입력 구조들 중 제1 입력 구조는 표준 공유를 위한 상기 적어도 하나의 이미지의 캡처를 실행하도록 할당되고, 그리고 상기 적어도 2개의 입력 구조들 중 제2 입력 구조는 상기 자동 전송 옵션들 및 상기 자동 청중 옵션들에 따라 네트워크를 통한 공유를 위해 상기 적어도 하나의 이미지의 캡처를 실행하도록 할당되는,
    이미지 캡처 및 공유 시스템.
  6. 제2항에 있어서,
    적어도 하나의 효과(effect)가 상기 이미지에 자동으로 적용되고 상기 공유 프로파일의 상기 자동 전송 옵션들 및 상기 자동 청중 옵션들에 따라 공유되는,
    이미지 캡처 및 공유 시스템.
  7. 제2항에 있어서,
    상기 프로세서는 상기 안경류 디바이스의 제1 프로세서 및 클라이언트 디바이스의 제2 프로세서를 포함하고, 상기 제2 프로세서는 상기 제1 프로세서와 동기화되고, 상기 제2 프로세서는 상기 네트워크를 통해 상기 적어도 하나의 이미지를 공유하는,
    이미지 캡처 및 공유 시스템.
  8. 제7항에 있어서,
    상기 클라이언트 디바이스는 상기 공유 프로파일의 상기 자동 전송 옵션들 및 상기 자동 청중 옵션들에 따라 상기 네트워크를 통해 공유된 이미지에 자동으로 효과를 적용하는,
    이미지 캡처 및 공유 시스템.
  9. 이미지 캡처 및 공유 방법으로서,
    자동 전송 옵션들 및 자동 청중 옵션들을 포함하는 공유 프로파일에 대한 옵션들을 수신하는 단계;
    적어도 하나의 이미지를 캡처하는 단계;
    캡처 후 상기 자동 전송 옵션들 및 상기 자동 청중 옵션들을 상기 적어도 하나의 이미지에 자동으로 적용하는 단계; 및
    상기 자동 전송 옵션들 및 상기 자동 청중 옵션들에 따라 네트워크를 통해 상기 적어도 하나의 이미지를 공유하는 단계를 포함하는,
    이미지 캡처 및 공유 방법.
  10. 제9항에 있어서,
    상기 적어도 하나의 이미지는 안경류 디바이스에 의해 캡처되는,
    이미지 캡처 및 공유 방법.
  11. 제10항에 있어서,
    상기 적어도 하나의 이미지는 상기 안경류 디바이스에 의해 캡처되고,
    상기 방법은,
    상기 안경류 디바이스를 클라이언트 디바이스와 동기화시키는 단계,
    상기 안경류 디바이스로부터 상기 클라이언트 디바이스로 상기 적어도 하나의 이미지를 전송하는 단계, 및
    상기 클라이언트 디바이스를 통해, 상기 캡처된 적어도 하나의 이미지를 상기 네트워크를 통해 자동으로 공유하는 단계를 더 포함하는,
    이미지 캡처 및 공유 방법.
  12. 제11항에 있어서,
    상기 클라이언트 디바이스는, 상기 안경류 디바이스로부터 상기 적어도 하나의 이미지의 수신 시 상기 공유 프로파일의 상기 자동 전송 옵션들에 따라 상기 적어도 하나의 이미지를 상기 네트워크를 통해 즉시 공유하는,
    이미지 캡처 및 공유 방법.
  13. 제11항에 있어서,
    상기 클라이언트 디바이스는, 상기 공유 프로파일의 상기 자동 전송 옵션들에 따라 검토, 수정 또는 취소 중 적어도 하나를 수행하기 위한 사용자 명령을 수신하기 위해, 동기화된 이미지들을 공유하는 것을 사전 결정된 시간 동안 지연시키는,
    이미지 캡처 및 공유 방법.
  14. 제13항에 있어서,
    상기 사전 결정된 시간은 사용자가 특정하는,
    이미지 캡처 및 공유 방법.
  15. 제11항에 있어서,
    상기 클라이언트 디바이스는, 상기 공유 프로파일의 상기 자동 전송 옵션들에 따라 검토, 수정 또는 취소 중 적어도 하나를 수행하기 위한 사용자-실행 입력 옵션을 수신하기 위해, 무기한의 기간을 포함하는 보류(hold) 이후, 동기화된 이미지들을 공유하는,
    이미지 캡처 및 공유 방법.
  16. 제11항에 있어서,
    상기 클라이언트 디바이스는 상기 공유 프로파일의 상기 자동 청중 옵션들에 따라 이미지들을 가장 최근의 친구 또는 그룹에게 자동으로 보내는,
    이미지 캡처 및 공유 방법.
  17. 제11항에 있어서,
    상기 클라이언트 디바이스는 상기 공유 프로파일의 상기 자동 청중 옵션들에 따라 자동으로 이미지들을 사용자의 스토리(story)에 보내는,
    이미지 캡처 및 공유 방법.
  18. 제9항에 있어서,
    프로파일에 의해 식별된 옵션들에 따라 적어도 하나의 효과가 상기 이미지에 자동으로 적용되는,
    이미지 캡처 및 공유 방법.
  19. 명령들을 포함하는 비-일시적인 컴퓨터 판독 가능 매체로서,
    상기 명령들은 프로세서에 의해 실행될 때, 전자 시스템으로 하여금:
    자동 전송 옵션들 및 자동 청중 옵션들을 포함하는 공유 프로파일에 대한 옵션들을 수신하게 하고;
    전자 안경류 디바이스에서 캡처된 이미지를 수신하게 하고;
    상기 자동 전송 옵션들 및 상기 자동 청중 옵션들을 상기 이미지에 자동으로 적용하게 하고; 그리고
    상기 자동 전송 옵션들 및 상기 자동 청중 옵션들에 따라 네트워크를 통해 상기 이미지를 공유하게 하는,
    비-일시적인 컴퓨터 판독 가능 매체.
  20. 제19항에 있어서,
    상기 프로세서는 상기 안경류 디바이스의 제1 프로세서 및 클라이언트 디바이스의 제2 프로세서를 포함하고, 상기 제2 프로세서는 상기 제1 프로세서와 동기화되고, 상기 제2 프로세서는 상기 적어도 하나의 이미지를 상기 네트워크를 통해 공유하는,
    비-일시적인 컴퓨터 판독 가능 매체.
KR1020227014277A 2019-09-30 2020-09-23 자동화된 안경류 디바이스 공유 시스템 KR20220070292A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/587,158 2019-09-30
US16/587,158 US11297224B2 (en) 2019-09-30 2019-09-30 Automated eyewear device sharing system
PCT/US2020/052176 WO2021067090A1 (en) 2019-09-30 2020-09-23 Automated eyewear device sharing system

Publications (1)

Publication Number Publication Date
KR20220070292A true KR20220070292A (ko) 2022-05-30

Family

ID=75162365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227014277A KR20220070292A (ko) 2019-09-30 2020-09-23 자동화된 안경류 디바이스 공유 시스템

Country Status (5)

Country Link
US (2) US11297224B2 (ko)
EP (1) EP4042705A4 (ko)
KR (1) KR20220070292A (ko)
CN (1) CN114503059A (ko)
WO (1) WO2021067090A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11297224B2 (en) * 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
US11195259B2 (en) * 2019-12-04 2021-12-07 Samsung Electronics Co., Ltd. Apparatus and method for dynamic multi-camera rectification using depth camera
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
CN117916693A (zh) * 2021-09-02 2024-04-19 斯纳普公司 用于电子眼镜设备的基于扫描的消息收发
US20230068730A1 (en) * 2021-09-02 2023-03-02 Snap Inc. Social connection through distributed and connected real-world objects
WO2023034032A1 (en) * 2021-09-02 2023-03-09 Snap Inc. Snapshot messages for indicating user state
US20230177136A1 (en) * 2021-12-08 2023-06-08 Qualcomm Incorporated Auto-pairing rotation vector
US11949527B2 (en) 2022-04-25 2024-04-02 Snap Inc. Shared augmented reality experience in video chat

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228449B2 (ja) * 1999-02-15 2009-02-25 ブラザー工業株式会社 インターネットファクシミリ装置
JP5245257B2 (ja) * 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
JP4462320B2 (ja) * 2007-10-09 2010-05-12 コニカミノルタビジネステクノロジーズ株式会社 画像送信装置、画像送信方法、及び画像送信プログラム
US20090144657A1 (en) * 2007-11-30 2009-06-04 Verizon Laboratories Inc. Method and system of sharing images captured by a mobile communication device
US8531394B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglasses transceiver
US20150009309A1 (en) * 2011-07-08 2015-01-08 Google Inc. Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
US20190331914A1 (en) * 2011-07-20 2019-10-31 Google Llc Experience Sharing with Region-Of-Interest Selection
KR101253348B1 (ko) 2011-08-12 2013-04-23 이형호 휴대용 촬영기능 및 네트워크를 이용한 신변보호 안경
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
KR20140000110U (ko) 2012-06-29 2014-01-08 밍추언 황 인터페이스 전송처리 기능을 가진 안경
US20150355463A1 (en) * 2013-01-24 2015-12-10 Sony Corporation Image display apparatus, image display method, and image display system
US10142496B1 (en) * 2013-01-26 2018-11-27 Ip Holdings, Inc. Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality
KR20140128489A (ko) 2013-04-25 2014-11-06 (주)세이엔 영상 인식과 터치 인터페이스를 이용한 스마트 안경 및 그의 제어 방법
GB2515563A (en) * 2013-06-28 2014-12-31 F Secure Corp Media sharing
US20150113367A1 (en) * 2013-10-17 2015-04-23 International Business Machines Corporation Image transitioning and error detection for online presentations
JP6929644B2 (ja) * 2013-12-31 2021-09-01 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 注視によるメディア選択及び編集のためのシステム並びに方法
US10423760B2 (en) * 2014-04-29 2019-09-24 Vik Moharir Methods, system and apparatus for transcribing information using wearable technology
US9668217B1 (en) * 2015-05-14 2017-05-30 Snap Inc. Systems and methods for wearable initiated handshaking
US9823477B1 (en) * 2016-05-02 2017-11-21 Futurewei Technologies, Inc. Head mounted display content capture and sharing
CN109791346B (zh) * 2016-09-27 2021-04-20 斯纳普公司 眼镜装置模式指示
US10911720B2 (en) 2017-01-13 2021-02-02 Antunes Nuno System and method of acquisition, registration and multimedia management
US10740388B2 (en) * 2017-01-24 2020-08-11 Microsoft Technology Licensing, Llc Linked capture session for automatic image sharing
JP2019191675A (ja) * 2018-04-19 2019-10-31 セイコーエプソン株式会社 透過型頭部装着型表示装置、支援システム、表示制御方法、およびコンピュータープログラム
US10970029B2 (en) * 2018-10-15 2021-04-06 Symphony Communication Services Holdings Llc Dynamic user interface and module facilitating content sharing in a distributed computing environment
US11330094B2 (en) * 2019-03-29 2022-05-10 Snap Inc. Eyewear with customizable notifications
US11320667B2 (en) * 2019-09-27 2022-05-03 Snap Inc. Automated video capture and composition system
US11297224B2 (en) * 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
CN110868639B (zh) * 2019-11-28 2021-03-12 北京达佳互联信息技术有限公司 视频合成方法及装置

Also Published As

Publication number Publication date
EP4042705A1 (en) 2022-08-17
US11297224B2 (en) 2022-04-05
WO2021067090A1 (en) 2021-04-08
US20210099639A1 (en) 2021-04-01
EP4042705A4 (en) 2023-11-08
US11563886B2 (en) 2023-01-24
CN114503059A (zh) 2022-05-13
US20220159178A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
US11563886B2 (en) Automated eyewear device sharing system
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
US10643394B2 (en) Augmented reality
US11024083B2 (en) Server, user terminal device, and control method therefor
US11320667B2 (en) Automated video capture and composition system
KR102653796B1 (ko) 3차원 깊이 비디오들 및 이미지들에서 쇼크웨이브들의 생성
CN113228688B (zh) 在计算设备上创建壁纸图像的系统和方法
US11422380B2 (en) Eyewear including virtual scene with 3D frames
KR20240009975A (ko) 아이웨어 디바이스 동적 전력 구성
US11960652B2 (en) User interactions with remote devices
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US11900058B2 (en) Ring motion capture and message composition system
US20230126025A1 (en) Context-sensitive remote eyewear controller
US11483569B1 (en) Device with dynamic transcode throttling
KR20240047482A (ko) 분산되고 연결된 실세계 객체들을 통한 소셜 연결
US11902534B2 (en) Device with dynamic transcode throttling
US11733789B1 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device
US20240077934A1 (en) Virtual ar interfaces for controlling iot devices using mobile device orientation sensors
KR20240049836A (ko) 전자 안경류 디바이스들에 대한 스캔 기반 메시징
KR20240034852A (ko) 전자 디바이스 및 가상 머신 오퍼레이팅 시스템
KR20240051260A (ko) 사용자 상태를 나타내기 위한 스냅샷 메시지들
CN117501702A (zh) 具有动态转码节流的设备