KR20190005208A - 핸드헬드 디바이스 내의 에지 카메라 어셈블리를 수반하는 시스템 및 방법 - Google Patents

핸드헬드 디바이스 내의 에지 카메라 어셈블리를 수반하는 시스템 및 방법 Download PDF

Info

Publication number
KR20190005208A
KR20190005208A KR1020187035335A KR20187035335A KR20190005208A KR 20190005208 A KR20190005208 A KR 20190005208A KR 1020187035335 A KR1020187035335 A KR 1020187035335A KR 20187035335 A KR20187035335 A KR 20187035335A KR 20190005208 A KR20190005208 A KR 20190005208A
Authority
KR
South Korea
Prior art keywords
image
image sensor
user
housing
communication device
Prior art date
Application number
KR1020187035335A
Other languages
English (en)
Inventor
아모스 코헨
Original Assignee
스마트 써드-아이 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/220,418 external-priority patent/US20170323159A1/en
Application filed by 스마트 써드-아이 리미티드 filed Critical 스마트 써드-아이 리미티드
Publication of KR20190005208A publication Critical patent/KR20190005208A/ko

Links

Images

Classifications

    • H04M1/72522—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G1/00—Hand manipulated computing devices
    • G06G1/16—Hand manipulated computing devices in which a straight or curved line has to be drawn through related points on one or more families of curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H04N5/2252—
    • H04N5/2257—
    • H04N5/2258—
    • H04N5/23293—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

사용자의 전방의 환경의 실시간 이미지를 캡쳐 및 디스플레이하기 위한 시스템 및 방법이 개시된다. 일 구현형태에서, 상향 디스플레이면 및 마주보는 하면을 가지는, 모바일 디바이스를 위한 케이스가 제공된다. 케이스는 하우징 및 모바일 디바이스가 하우징에 의해 보관되면 하면에 대해 고정된 둔각으로 배향되도록 구성되는 적어도 하나의 광축을 가지는 이미지 센서를 포함할 수 있다. 이미지 센서는, 하우징이 사용자가 보행하는 평면에 대해 예각으로 보행 사용자에 의해 홀딩되면, 적어도 하나의 광축이 일반적으로 사용자의 보행 방향을 바라보게 하도록 배향될 수 있다. 케이스는 적어도 하나의 이미지 센서로부터, 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 전달하기 위한 회로부를 더 포함할 수 있다.

Description

핸드헬드 디바이스 내의 에지 카메라 어셈블리를 수반하는 시스템 및 방법
관련 출원들에 대한 상호 참조
본 출원은 2016 년 5 월 7 일에 출원된 미국 가특허 출원 번호 제 62/333,197 호; 2016 년 7 월 27 일에 출원된 미국 특허 출원 번호 제 15/220,418 호; 2016 년 11 월 23 일에 출원된 미국 가특허 출원 번호 제 62/425,741 호; 및 2016 년 12 월 15 에 출원된 미국 가특허 출원 번호 제 62/434,695 호에 대한 우선권을 주장한다. 앞선 출원들 모두는 그들의 전체로서 원용에 의해 본 명세서에 포함된다.
본 발명은 일반적으로 핸드헬드 모바일 통신 디바이스에서의 이미지 캡쳐에 관한 것이고, 특히 사용자의 전방의 환경의 실시간 이미지를 캡쳐 및 디스플레이하기 위한 시스템 및 방법에 관한 것이다.
모바일 통신 디바이스는 현대인의 매일의 일상에서 주로 사용된다. 비록 처음에는 사람들 사이에 음성 통신을 제공하기 위한 통신 디바이스로서 고안되었지만, 모바일 통신 디바이스는 사람의 서로간의 그리고 온라인 데이터 서비스와의 상호작용, 통신, 및 활동에 중심적인 역할이 되었다. 사용자의 시선이 모바일 통신 디바이스의 스크린을 향해 지향되면, 사용자는 주변 환경으로부터는 분리되는 것이 공통적인 상황이다.
많은 사람들이 다른 활동을 하면서, 예컨대 거리에서 걸으면서 그들의 모바일 통신 디바이스를 사용하기 때문에, 이러한 상황은 위험하다. 예를 들어, 모바일 통신 디바이스에 텍스트를 입력하면서 거리를 걷고 있는 사람들이 가로등, 물웅덩이에 빠지거나, 심지어는 다가오는 차량과 부딪치는 것이 목격되고 있다. 사용자가 모바일 디바이스 스크린을 보통 바라보는 각도 때문에, 사용자의 주변의 시야는 그들의 보행 방향에 있는 장애물을 골라낼 만큼 믿을만하지 않을 수 있다.
더욱이, 개인용 모바일 통신 디바이스는 오늘날에는 증강 현실을 생성하는 데에 사용되고 있다. 일부 경우에, 모바일 통신 디바이스에 설치된 앱들은 디바이스의 GPS 및 카메라를 사용하여 콘텐츠를 환경에 대한 사용자의 실시간 뷰 위에 중첩시킬 수 있다. 이러한 앱들은 실세계와 가상 세계 양자 모두에 근원을 둔 복합 프리젠테이션을 생성할 수 있다. 하나의 예는 "포켓몬 고(Pokㅹmon Go)" 앱인데, 이것은 전 세계적인 신드롬이 되었고 2016 년에 가장 많이 사용되고 가장 많은 수익을 가져다 준 모바일 웹 중 하나가 되었다. 그러나, 모바일 통신 디바이스 내의 카메라의 현재의 배치 때문에, 사용자의 전방의 환경을 캡쳐하기 위해서는 모바일 통신 디바이스를 수직으로 홀딩해야 한다. 이러한 자세는 긴 시간 기간 동안 사용될 경우 불편하고, 걷는 동안 사용하기에는 적합하지 않다.
개시된 디바이스 및 방법은, 모바일 통신 디바이스의 자연적인 홀딩 각도와 잘 맞으며 앞서 간략하게 설명된 문제점 중 적어도 일부를 해결하는, 이미지 캡쳐를 위한 새로운 방법을 제공하는 것에 직결된다.
본 발명에 따른 실시예는 핸드헬드 모바일 통신 디바이스에서의 이미지 캡쳐를 위한 디바이스 및 방법을 제공한다. 일 실시예에서, 상향 디스플레이면 및 마주보는 하면을 가지는 핸드헬드 모바일 통신 디바이스를 위한 이미지 캡쳐 케이스가 제공된다. 이미지 캡쳐 케이스는 핸드헬드 모바일 통신 디바이스의 적어도 일부를 둘러싸기 위한 하우징을 포함할 수 있다. 이미지 캡쳐 케이스는, 상기 하우징 내에 탑재되고, 상기 핸드헬드 모바일 통신 디바이스가 상기 하우징에 의해 보관되면 상기 하면에 대해 고정된 둔각으로 배향되도록 구성되는 적어도 하나의 광축을 가지는 적어도 하나의 이미지 센서를 더 포함할 수 있는데, 상기 적어도 하나의 이미지 센서는, 상기 하우징이 보행 사용자(walking user)가 보행하는 평면에 대해 예각으로 상기 사용자에 의해 홀딩되면, 상기 적어도 하나의 광축이 일반적으로 상기 사용자의 보행 방향을 바라보도록 배향된다. 이미지 캡쳐 케이스는 적어도 하나의 이미지 센서로부터, 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 전달하기 위한 회로부를 더 포함할 수 있다.
개시된 다른 실시예에 따르면, 핸드헬드 모바일 통신 디바이스가 제공된다. 핸드헬드 모바일 통신 디바이스는, 케이스, 상기 케이스의 제1 면 상의 상향 디스플레이면, 및 상기 케이스의 마주보는 제2 면 상의 상기 디스플레이면에 마주보는 하면을 포함할 수 있다. 핸드헬드 모바일 통신 디바이스는, 상기 케이스 내에 탑재되고, 상기 하면에 대해 고정된 둔각으로 배향되도록 구성되는 적어도 하나의 광축을 가지는 적어도 하나의 이미지 센서를 더 포함할 수 있는데, 상기 적어도 하나의 이미지 센서는, 상기 케이스가 보행 사용자(walking user)가 보행하는 평면에 대해 예각으로 상기 사용자에 의해 홀딩되면, 상기 적어도 하나의 광축이 일반적으로 상기 사용자의 보행 방향을 바라보도록 배향된다. 핸드헬드 모바일 통신 디바이스는, 상기 적어도 하나의 이미지 센서로부터, 상기 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 이송하기 위한 회로부를 더 포함할 수 있다.
개시된 다른 실시예에 따르면, 상향 디스플레이면 및 마주보는 하면을 가지는 핸드헬드 모바일 통신 디바이스를 위한 착탈식 케이스가 제공된다. 케이스는 핸드헬드 모바일 통신 디바이스의 적어도 일부를 둘러싸기 위한 하우징을 포함할 수 있다. 케이스는, 상기 핸드헬드 모바일 통신 디바이스가 상기 하우징에 거치되면 상기 핸드헬드 모바일 통신 디바이스 내의 포트와 전기적 연결을 이루기 위한 커넥터를 더 포함할 수 있다. 또한, 케이스는, 상기 하우징 내에 탑재되고, 상기 핸드헬드 모바일 통신 디바이스가 상기 하우징에 의해 보관되면 상기 하면에 대해 고정된 둔각으로 배향되도록 구성되는 적어도 하나의 광축을 가지는 적어도 하나의 이미지 센서를 더 포함할 수 있는데, 상기 적어도 하나의 이미지 센서는, 상기 하우징이 보행 사용자(walking user)가 보행하는 평면에 대해 예각으로 상기 사용자에 의해 홀딩되면, 상기 적어도 하나의 광축이 일반적으로 상기 사용자의 보행 방향을 바라보도록 배향된다. 케이스는 적어도 하나의 이미지 센서로부터, 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 전달하기 위한 회로부를 더 포함할 수 있다.
개시된 다른 실시예에 따르면, 사용자가 디스플레이된 정보와 상호작용하는 동안 상기 사용자의 전방 환경의 실시간 뷰를 제공하기 위한 모바일 디바이스가 제공된다. 모바일 디바이스는, 일반적으로 중앙 축면(axial plane)을 가지는 하우징, 상기 하우징의 제1 면 상의 터치-감응 디스플레이, 상기 제1 면에 반대인 상기 하우징의 제2 면 상의 후면, 및 상기 제1 면과 상기 제2 면 사이의 주변 에지면을 포함할 수 있다. 모바일 디바이스는, 상기 하우징 내에 고정되고 상기 하우징의 제1 면, 상기 하우징의 제2 면, 및 상기 중앙 축면 각각에 상대적으로 비-직교 각도인 고정된 광축을 가지는 적어도 하나의 이미지 센서를 더 포함할 수 있다.
개시된 다른 실시예에 따르면, 터치-감응 디스플레이를 가지는 모바일 디바이스를 위한 착탈식 케이스가 제공된다. 케이스는 상기 모바일 디바이스의 적어도 일부를 둘러싸기 위한 하우징을 포함할 수 있고, 상기 하우징은 제1 면, 상기 제1 면에 반대인 제2 면, 상기 제1 면 및 제2 면을 상호연결하고 일반적으로 중앙 축면을 가지는 주변 에지면을 가진다. 케이스는, 상기 모바일 디바이스가 상기 하우징에 거치되면 상기 모바일 디바이스 내의 포트와 전기적 접촉을 이루기 위한 커넥터를 더 포함할 수 있다. 케이스는, 상기 하우징 내에 고정되고 상기 하우징의 제1 면, 상기 하우징의 제2 면, 및 상기 중앙 축면 각각에 상대적으로 비-직교 각도인 고정된 광축을 가지는 적어도 하나의 이미지 센서를 더 포함할 수 있다. 케이스는 적어도 하나의 이미지 센서로부터, 터치-감응 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 전달하기 위한 회로부를 더 포함할 수 있다.
개시된 다른 실시예에 따르면, 순방향 이동 경로를 가로지르는 동안 아래를 바라보는 사용자에게 증강 현실을 제공하도록 구성되는 핸드헬드 통신 디바이스가 제공된다. 핸드헬드 통신 디바이스는 상면, 하면, 및 측면 에지를 포함하는 하우징, 상기 상면에 위치된 터치-감응 디스플레이, 및 적어도 하나의 프로세서를 포함할 수 있다. 핸드헬드 통신 디바이스는, 상기 터치-감응 디스플레이가 아래를 바라보는 사용자의 얼굴을 마주보면서 상기 핸드헬드 통신 디바이스가 상기 사용자의 손 안에 홀딩되면, 상기 이미지 센서의 광축이 일반적으로 상기 이동 경로의 방향에서 연장되게 하는 배향으로 상기 하우징 내에 고정되게 임베딩된 이미지 센서를 더 포함할 수 있다. 적어도 하나의 프로세서는, 상기 이미지 센서로부터 이미지 스트림을 획득하고; 획득된 이미지 스트림에서 사용자의 이동 경로에 있는 물체를 식별하며; 식별된 물체에 대한 정보를 룩업하고; 상기 터치-감응 디스플레이 상에 실시간으로, 식별된 물체를 포함하는 획득된 이미지 스트림을 제공하며; 상기 터치-감응 디스플레이 상에 식별된 물체와 연관된 시각적 표시자를 제공하도록 프로그램될 수 있다.
개시된 다른 실시예에 따르면, 터치-감응 디스플레이를 포함하는 핸드헬드 통신 디바이스를 위한 착탈식 케이스가 제공된다. 케이스는 하면, 상면, 및 이들 사이의 에지를 가지는 하우징을 포함할 수 있다. 케이스는, 상기 터치-감응 디스플레이가 아래를 바라보는 사용자의 얼굴을 마주보면서 상기 핸드헬드 통신 디바이스가 상기 케이스에 보관되고 상기 아래를 바라보는 사용자의 손 안에 홀딩되면, 상기 적어도 하나의 이미지 센서의 광축이 일반적으로 상기 이동 경로의 방향에서 연장되게 하는 배향으로 상기 하우징 내에 임베딩된 적어도 하나의 이미지 센서를 더 포함할 수 있다. 케이스는 상기 핸드헬드 통신 디바이스가 상기 케이스에 거치되면 상기 핸드헬드 통신 디바이스의 포트와 결속하도록 구성되는, 상기 하우징 내의 커넥터, 및 상기 케이스 내에 임베딩되고, 상기 적어도 하나의 이미지 센서와 상기 커넥터 사이에서 연장되고 상기 적어도 하나의 이미지 센서와 상기 커넥터를 연결함으로써, 상기 적어도 하나의 이미지 센서로부터 상기 핸드헬드 통신 디바이스로의 실시간 이미지 스트리밍을 가능하게 하는 적어도 하나의 도관을 더 포함할 수 있다. 또한, 케이스는 시각적 표시자를 상기 실시간 이미지 스트림 상에 오버레이하기 위한 적어도 하나의 프로세서를 포함할 수 있다.
개시된 다른 실시예에 따르면, 핸드헬드 통신 디바이스의 터치-감응 디스플레이를 아래로 바라보면서 순방향 이동 경로를 가로지르는 사용자에게 증강 현실을 제공하는 방법이 제공된다. 이러한 방법은, 이미지 센서로부터 이미지 스트림을 획득하는 단계 - 상기 이미지 센서는, 상기 터치-감응 디스플레이가 아래를 바라보는 사용자의 얼굴을 마주보면서 상기 핸드헬드 통신 디바이스가 사용자의 손 안에 홀딩되면, 상기 이미지 센서의 광축이 일반적으로 상기 이동 경로의 방향에서 연장되게 하는 배향으로 상기 핸드헬드 통신 디바이스의 하우징 내에 고정되게 임베딩됨 -; 획득된 이미지 스트림에서 상기 사용자의 이동 경로에 있는 물체를 식별하는 단계; 식별된 물체에 대한 정보를 룩업하는 단계; 상기 터치-감응 디스플레이 상에 실시간으로, 식별된 물체를 포함하는 획득된 이미지 스트림을 제공하는 단계; 및 상기 터치-감응 디스플레이 상에 식별된 물체와 연관된 시각적 표시자를 제공하는 단계를 포함할 수 있다.
개시된 다른 실시예에 따르면, 상향 디스플레이면 및 마주보는 하면을 가지는 핸드헬드 모바일 디바이스를 위한 이미지 캡쳐 케이스가 제공된다. 이미지 캡쳐 케이스는 핸드헬드 모바일 디바이스의 적어도 일부를 둘러싸기 위한 하우징을 포함할 수 있다. 이미지 캡쳐 케이스는, 상기 하우징 내에 탑재되고, 제1 방향에서 연장되는 제1 광축 및 상기 제1 방향과 다른 제2 방향에서 연장되는 제2 광축을 가지는 적어도 하나의 이미지 센서를 더 포함할 수 있는데, 상기 제1 광축은 상기 핸드헬드 모바일 디바이스가 상기 하우징에 의해 보관되면 상기 하면에 대해 고정된 둔각으로 배향되도록 구성된다. 이미지 캡쳐 케이스는 적어도 하나의 이미지 센서로부터, 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 전달하기 위한 회로부를 더 포함할 수 있다.
개시된 다른 실시예에 따르면, 핸드헬드 모바일 통신 디바이스가 제공된다. 핸드헬드 모바일 통신 디바이스는 디스플레이, 및 자신의 상면을 따라 디스플레이를 보관하기 위한 것이고, 상기 상면에 반대 하면을 가지는 하우징을 포함할 수 있는데, 에지는 상기 상면과 상기 하면 사이에 위치된다. 핸드헬드 모바일 통신 디바이스는, 상기 상면 내에 임베딩되고 상기 상면에서 멀어지는 제1 방향으로 연장되는 제1 광축을 가지는 적어도 하나의 제1 이미지 센서; 상기 하면 내에 임베딩되고 상기 하면에서 멀어지는 제2 방향으로 연장되는 제2 광축을 가지는 적어도 하나의 제2 이미지 센서; 및 상기 에지 내에 적어도 부분적으로 임베딩되고 상기 에지에서 멀어지는 제3 방향으로 연장되는 제3 광축을 가지는 적어도 하나의 제3 이미지 센서를 더 포함할 수 있는데, 상기 제1 광축, 상기 제2 광축, 및 상기 제3 광축은 서로로부터 발산한다. 핸드헬드 모바일 통신 디바이스는, 상기 적어도 하나의 제1 이미지 센서, 상기 적어도 하나의 제2 이미지 센서 및 상기 적어도 하나의 제3 이미지 센서로부터 이미지 데이터를 수신하고, 상기 디스플레이 상에, 상기 적어도 하나의 제1 이미지 센서, 상기 적어도 하나의 제2 이미지 센서, 및 상기 적어도 하나의 제3 이미지 센서로부터의 이미지 데이터의 제공을 가능하게 하기 위한, 상기 하우징 내의 적어도 하나의 프로세서를 더 포함할 수 있다.
개시된 다른 실시예에 따르면, 상부 디스플레이면 및 마주보는 하면을 가지는 모바일 디바이스를 위한 이미지 캡쳐 케이스가 제공된다. 이미지 캡쳐 케이스는 상기 모바일 디바이스의 적어도 일부를 둘러싸기 위한 하우징을 포함할 수 있는데, 상기 하우징은 상측, 하측, 및 상기 상측과 상기 하측을 상호연결하는 에지를 가진다. 이미지 캡쳐 케이스는 상기 에지 내에 임베딩된 복수 개의 이미지 센서를 더 포함할 수 있는데, 상기 복수 개의 이미지 센서 각각은 광축을 가지고, 상기 모바일 디바이스가 상기 하우징에 의해 보관되면 각각의 광축이 상기 상부 디스플레이면 및 상기 하면에 수직인 축으로부터 발산한다. 이미지 캡쳐 케이스는 상기 복수 개의 이미지 센서로부터 디스플레이로 이미지 데이터를 전달하기 위한 회로부를 더 포함할 수 있다.
개시된 다른 실시예에 따르면, 모바일 통신 디바이스에서 사용되도록 구성되는 컴퓨터-판독가능 매체가 제공된다. 컴퓨터-판독가능 매체는, 프로세서에 의하여 실행되면 상기 프로세서가: 상기 모바일 통신 디바이스 내의 적어도 하나의 센서로부터 상기 모바일 통신 디바이스가 순방향 운동 중이라는 제1 표시를 수신하는 단계; 상기 모바일 통신 디바이스 내의 적어도 하나의 센서로부터 상기 모바일 디바이스 내의 이미지 센서가 이미지 캡쳐를 위해 배향된다는 제2 표시를 수신하는 단계; 및 상기 제1 표시 및 상기 제2 표시 양자 모두에 응답하여, 순방향 경로 이미지의 실시간 프리젠테이션이 상기 모바일 디바이스의 디스플레이 상에 자동으로 제공되게 하는 단계를 포함하는 단계들을 수행하게 하는 명령을 포함할 수 있다.
개시된 다른 실시예에 따르면, 모바일 통신 디바이스에서 사용되도록 구성되는 컴퓨터-판독가능 매체가 제공된다. 컴퓨터-판독가능 매체는, 프로세서에 의하여 실행되면 프로세서가, 사용자가 이동 경로를 따라 이동하면 상기 모바일 통신 디바이스와 연관된 적어도 하나의 이미지 센서로부터 상기 사용자의 환경을 나타내는 이미지 데이터를 수신하는 단계; 상기 이미지 데이터로부터 상기 모바일 통신 디바이스 상에서의 실시간 디스플레이를 위한 가시 범위 윈도우를 선택하는 단계 - 상기 가시 범위 윈도우는 상기 사용자의 이동 경로에 대응함 -; 및 대화형 사용자 애플리케이션 윈도우와 동시에 상기 디스플레이 상에 범위 윈도우를 제공하고, 상기 디스플레이 상의 프리젠테이션으로부터 상기 가시 범위 윈도우 밖의 이미지 데이터를 생략하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함할 수 있다.
개시된 다른 실시예에 따르면, 모바일 디바이스에서 사용되도록 구성되는 컴퓨터-판독가능 매체가 제공된다. 컴퓨터-판독가능 매체는, 프로세서에 의해 실행되면 상기 프로세서가, 상기 모바일 디바이스와 연관된 적어도 하나의 이미지 센서로부터 사용자가 이동 경로를 따라 이동할 때 상기 사용자의 환경을 나타내는 이미지 데이터를 수신하는 단계; 적어도 하나의 센서로부터 사용자가 수반된 활동을 반영하는 정보를 수신하는 단계; 메모리 내에서 복수 개의 활동의 표시자 및 각각의 활동과 연관된 가시 범위 윈도우에 액세스하는 단계; 상기 모바일 통신 디바이스 상에서의 실시간 디스플레이를 위한 가시 범위 윈도우를 선택하는 단계 - 선택된 가시 범위 윈도우는 사용자가 현재 수반되는 활동과 연관됨 -; 및 선택된 가시 범위 윈도우를 상기 모바일 디바이스의 디스플레이에 적용하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함할 수 있다.
개시된 다른 실시예에 따르면, 모바일 통신 디바이스에서 사용되도록 구성되는 컴퓨터-판독가능 매체가 제공된다. 컴퓨터-판독가능 매체는, 프로세서에 의해 실행되면 상기 프로세서가, 상기 모바일 통신 디바이스와 연관된 적어도 하나의 이미지 센서로부터 사용자가 이동 경로를 따라 이동할 때 상기 사용자의 환경으로부터의 실시간 이미지 스트림을 수신하는 단계; 상기 모바일 통신 디바이스의 터치 스크린 디스플레이 상에 실시간 이미지 스트림을 제공하는 단계; 상기 모바일 통신 디바이스의 터치 스크린 디스플레이 상기 실시간 이미지 스트림과 동시에 대화형 사용자 애플리케이션을 제공하는 단계; 상기 터치 스크린 디스플레이를 사용하는 사용자가 상기 실시간 이미지 스트림과 연관된 지역을 터치하게 하고, 상기 실시간 이미지 스트림 중 적어도 하나의 프레임이 상기 대화형 사용자 애플리케이션으로 전달되게 하는 단계; 및 상기 적어도 하나의 프레임을 수반하는 동작을 상기 대화형 사용자 애플리케이션에서 실행하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함할 수 있다.
개시된 다른 실시예에 따르면, 가로축들((transverse axes)을 따라 캡쳐된 양방향 비디오 스트림을 디스플레이하기 위한 핸드헬드 통신 디바이스가 제공된다. 핸드헬드 통신 디바이스는 상면, 하면, 및 측면 에지를 가지는 하우징을 포함할 수 있다. 핸드헬드 통신 디바이스는 상기 상면에 위치된 터치-감응 스크린; 및 적어도 하나의 프로그래밍된 프로세서를 더 포함할 수 있다. 핸드헬드 통신 디바이스는 상기 핸드헬드 통신 디바이스가 상기 터치-감응 스크린을 시청하는 사용자의 손에 홀딩될 때 상기 사용자의 얼굴을 캡쳐하도록 구성되는 방식으로, 상기 상면에서 멀어지는 제1 방향으로 연장되는 제1 광축을 가지는 제1 이미지 센서, 및 상기 측면 에지 내에 적어도 부분적으로 임베딩되고, 상기 핸드헬드 통신 디바이스가 상기 터치-감응 스크린을 시청하는 사용자의 손에 홀딩될 때 상기 사용자의 이동 경로를 캡쳐하도록 구성되는 방식으로, 상기 측면 에지에서 멀어지는 제2 방향으로 연장되는 제2 광축을 가지는 제2 이미지 센서를 더 포함할 수 있고, 제1 방향은 제2 방향을 가로지른다. 적어도 하나의 프로세서는: 상기 제1 이미지 센서로부터 상기 사용자의 얼굴의 제1 실시간 이미지 스트림을 획득하고; 상기 제2 이미지 센서로부터 상기 사용자의 이동 경로의 제2 실시간 이미지 스트림을 획득하며; 상기 터치-감응 디스플레이 상에 실시간으로, 상기 사용자의 얼굴 및 상기 사용자의 이동 경로의 양방향 프리젠테이션을 제공하도록 프로그램될 수 있다.
개시된 다른 실시예에 따르면, 순방향 이동 경로를 가로지르는 동안 아래를 바라보는 사용자에게 방향 유도를 제공하도록 구성되는 핸드헬드 모바일 통신 디바이스가 제공된다. 핸드헬드 모바일 통신 디바이스는 상면, 하면, 및 측면 에지를 가지는 하우징을 포함할 수 있다. 핸드헬드 모바일 통신 디바이스는 상면 내에 위치된 터치-감응 디스플레이, GPS 칩, 및 적어도 하나의 프로세서를 더 포함할 수 있다. 핸드헬드 모바일 통신 디바이스는, 상기 터치-감응 디스플레이가 아래를 바라보는 사용자의 얼굴을 마주보면서 상기 핸드헬드 모바일 디바이스가 상기 사용자의 손 안에 홀딩되면, 상기 이미지 센서의 광축이 일반적으로 상기 이동 경로의 방향에서 연장되게 하는 배향으로 상기 하우징 내에 고정되게 임베딩된 이미지 센서를 더 포함할 수 있다. 적어도 하나의 프로세서는: 방향 유도 애플리케이션으로부터 목적지까지의 일련의 회전 방향을 수신하고; 상기 사용자가 상기 터치-감응 디스플레이가 상기 사용자의 얼굴을 마주보면서 상기 사용자가 상기 순방향 경로를 가로지를 때 상기 터치-감응 디스플레이 상에, 상기 이미지 센서로부터의 실시간 이미지 스트림을 디스플레이하며; 상기 GPS 칩으로부터의 위치 정보를 사용하여, 상기 터치-감응 디스플레이 상에 상기 실시간 이미지 스트림의 디스플레이와 동시에 회전 방향의 적어도 하나의 시각적 표시자를 디스플레이하도록 프로그램될 수 있다.
개시된 다른 실시예에 따르면, 핸드헬드 이동 전화를 위한 착탈식 케이스가 제공된다. 케이스는 하우징 및 상기 하우징 내에 임베딩된 적어도 하나의 이미지 센서를 포함할 수 있다. 케이스는, 상기 핸드헬드 모바일 디바이스가 상기 케이스에 거치되면 상기 핸드헬드 모바일 디바이스의 포트와 결속하도록 구성되는, 상기 하우징 내의 커넥터를 더 포함할 수 있다. 케이스는, 상기 케이스 내에 임베딩되고, 상기 적어도 하나의 이미지 센서와 상기 커넥터 사이에서 연장되고 상기 적어도 하나의 이미지 센서와 상기 커넥터를 연결함으로써, 상기 핸드헬드 모바일 디바이스가 상기 케이스에 거치되면 상기 적어도 하나의 이미지 센서로부터 상기 핸드헬드 통신 디바이스로의 실시간 이미지 스트리밍을 가능하게 하는 적어도 하나의 도관을 더 포함할 수 있다.
개시된 다른 실시예에 따르면, 이동 전화의 에지 내에 임베딩된 복수 개의 이미지 센서로부터 집합된 이미지 데이터를 사용하는, 스트리트 뷰 맵의 크라우드 소싱된 생성(crowd-sourced generation)을 위한 시스템이 제공된다. 시스템은 적어도 하나의 프로세서를 포함할 수 있고, 상기 적어도 하나의 프로세서는: 지리적 영역의 스트리트 뷰 맵을 유지하고 - GPS 좌표는 상기 스트리트 뷰 맵 상의 위치와 연관됨 -; 복수의 사용자의 복수 개의 이동 전화기의 에지 내에 임베딩된 복수 개의 이미지 센서로부터, 스트리트 뷰 이미지를 수신하며; 복수 개의 이동 전화기 각각으로부터, 수신된 스트리트 뷰 이미지 각각과 연관된 GPS 위치를 수신하고; 수신된 스트리트 뷰 이미지와 연관된 GPS 위치가 상기 스트리트 뷰 맵 상의 GPS 위치에 대응하면, 상기 복수 개의 이미지 센서로부터의 수신된 스트리트 뷰 이미지로 상기 스트리트 뷰 맵을 업데이트하도록 구성된다.
개시된 다른 실시예에 따르면, 이동 전화의 에지 내에 임베딩된 복수 개의 이미지 센서로부터 집합된 이미지 데이터를 사용하는, 스트리트 뷰 맵의 크라우드 소싱된 생성(crowd-sourced generation)을 위한 방법이 제공된다. 이러한 방법은, 지리적 영역의 스트리트 뷰 맵을 유지하는 단계 - GPS 좌표는 상기 스트리트 뷰 맵 상의 위치와 연관됨 -; 복수의 사용자의 복수 개의 이동 전화기의 에지 내에 임베딩된 복수 개의 이미지 센서로부터, 스트리트 뷰 이미지를 수신하는 단계; 복수 개의 이동 전화기 각각으로부터, 수신된 스트리트 뷰 이미지 각각과 연관된 GPS 위치를 수신하는 단계; 수신된 스트리트 뷰 이미지와 연관된 GPS 위치가 상기 스트리트 뷰 맵 상의 GPS 위치에 대응하면, 상기 복수 개의 이미지 센서로부터의 수신된 스트리트 뷰 이미지로 상기 스트리트 뷰 맵을 업데이트하는 단계를 포함할 수 있다.
개시된 다른 실시예에 따르면, 모바일 통신 디바이스에서 사용되도록 구성되는 컴퓨터-판독가능 매체가 제공된다. 컴퓨터-판독가능 매체는, 프로세서에 의해 실행되면 상기 프로세서가, 제1 방향에서 연장되는 제1 광축을 가지는 제1 이미지 센서로부터 제1 실시간 이미지 스트림을 수신하는 단계; 상기 제1 방향과 다른 제2 방향에서 연장되는 제2 광축을 가지는 제2 이미지 센서로부터 제2 실시간 이미지 스트림을 수신하는 단계; 상기 제1 실시간 이미지 스트림으로부터 상기 모바일 통신 디바이스 상에서 디스플레이되기 위한 가시 범위 윈도우를 결정하는 단계; 상기 모바일 통신 디바이스의 디스플레이 상에, 결정된 가시 범위 윈도우에 대응하는 실시간 프로젠테이션을 제공하는 단계; 및 상기 디스플레이와의 사용자의 상호작용에 응답하여, 상기 가시 범위 윈도우를 조절하는 단계를 포함하는 단계들을 수행하게 하는 명령을 포함할 수 있고, 상기 조절하는 단계는, 상기 제1 실시간 이미지 스트림으로부터 새로운 가시 범위 윈도우를 선택하는 것, 및 상기 제2 실시간 이미지 스트림으로부터 새로운 가시 범위 윈도우를 선택하는 것 중 적어도 하나를 포함한다.
개시된 다른 실시예에 따르면, 비-일시적 컴퓨터-판독가능 저장 매체는 적어도 하나의 프로세서에 의해 실행되고 본 명세서에서 설명되는 방법들 중 임의의 것을 수행하는 프로그램 명령을 저장할 수 있다.
앞선 일반적 설명 및 후속하는 상세한 설명 모두가 예시적이고 오직 설명만을 위한 것이며, 청구항을 한정하는 것이 아니다.
본 발명에 통합되고 그 일부를 이루는 첨부 도면들이 개시된 다양한 실시예들을 예시한다. 도면에서:
도 1a 는 모바일 통신 디바이스를 바라보면서 보행하는 사용자의 제1 시점으로부터의 개략도이다;
도 1b 는 도 1a 에 도시되는 사용자의 제2 시점으로부터의 개략도이다;
도 2a 는 본 발명에 따르는 제1 예시적인 디바이스의 제1 시점으로부터의 개략도이다;
도 2b 는 도 2a 에 도시되는 제1 예시적인 디바이스의 제2 시점으로부터의 개략도이다;
도 3a 는 본 발명에 따르는 제2 예시적인 디바이스의 제1 시점으로부터의 개략도이다;
도 3b 는 도 3a 에 도시되는 제2 예시적인 디바이스의 제2 시점으로부터의 개략도이다;
도 4a 는 도 2a 에 도시되는 제1 예시적인 디바이스와 연관된 에지 카메라 어셈블리의 가시 범위의 개략도이다;
도 4b 는 도 3a 에 도시되는 제2 예시적인 디바이스와 연관된 에지 카메라 어셈블리의 가시 범위의 개략도이다;
도 5 는 도 2a 에 도시되는 제1 예시적인 디바이스와 연관된 복수 개의 이미지 센서가 있는 에지 카메라 어셈블리의 가시 범위의 개략도이다;
도 6 은 본 발명의 실시예에 따른 에지 카메라 어셈블리의 광축의 각도를 도시하는 개략도이다;
도 7 은 모바일 통신 디바이스에 내장된 카메라의 다른 광축에 상대적인, 에지 카메라 어셈블리의 광축의 배향을 나타내는 개략도이다;
도 8 은 도 3a 에 도시되는 제2 예시적인 디바이스의 모바일 디바이스의 주축들에 상대적인, 에지 카메라 어셈블리의 광축의 배향을 나타내는 개략도이다;
도 9 는 도 3a 에 도시되는 제2 예시적인 디바이스에 내장된 카메라의 다른 가시 범위에 상대적인, 에지 카메라 어셈블리의 가시 범위를 나타내는 개략도이다;
도 10 은 도 3a 에 도시되는 제2 예시적인 디바이스와 연관된 에지 카메라 어셈블리의 회로부를 예시하는 기능 블록도이다;
도 11 은 도 2a 에 도시되는 제1 예시적인 디바이스와 연관된 에지 카메라 어셈블리의 회로부를 예시하는 기능 블록도이다;
도 12a, 도 12b, 도 12c, 및 도 12d 는 개시된 실시예에 따라 사용자에게 증강 현실을 제공하기 위한 예시적인 방법의 흐름도들이다;
도 13a, 도 13b, 도 13c, 도 13d, 도 13e, 및 도 13f 는 개시된 실시예에 따른 에지 카메라 어셈블리의 예시적인 사용예의 개략도이다;
도 14 는 개시된 실시예에 따른 에지 카메라 어셈블리의 하나의 예시적인 사용예의 개략도이다;
도 15 는 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다;
도 16 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다;
도 17 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다;
도 18 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다;
도 19 는 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다;
도 20 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다;
도 21 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다; 그리고
도 22 는 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다.
후속하는 상세한 설명은 첨부 도면들을 참조한다. 가능한 곳이라면 어디서든, 동일한 참조 번호들이 도면과 후속하는 상세한 설명에서 동일하거나 유사한 부분들을 참조하는데 사용될 것이다. 본 발명은 설명된 실시예 및 예들로 한정되지 않는다. 그 대신에, 적합한 범위는 첨부된 청구항에 의해 규정된다.
개시된 실시예는 모바일 통신 디바이스의 디스플레이 상의 실시간 이미지 제공을 위하여 사용자의 전방 환경의 이미지를 캡쳐하도록 구성되는 에지 카메라 어셈블리를 수반할 수 있다. 본 명세서에서 사용될 때, "모바일 통신 디바이스"라는 용어는, 아닌 무선 네트워크와 통신할 수 있는, 무선 통신 칩셋, 스마트 폰, 태블릿, 스마트워치, 사용자 장비(UE), 개인 휴대용 단말기, 등을 포함하지만 이것으로 한정되는 것은 아닌, 디스플레이를 가진 임의의 휴대용 디바이스를 지칭한다. "핸드헬드 모바일 통신 디바이스", "핸드헬드 모바일 디바이스", "모바일 통신 디바이스", 및 "모바일 디바이스"라는 용어가 간략화를 위해 사용될 수 있고, 위에 열거된 다양한 디바이스 중 임의의 것을 지칭할 수 있다는 것에 주의한다.
개시된 에지 카메라 어셈블리는 모바일 통신 디바이스와 결합되거나 그 일부분일 수 있는, 이미지 캡쳐 능력을 가진 시스템을 포함할 수 있다. 에지 카메라 어셈블리는 하우징, 이미지 센서, 및 이미지 센서로부터 이미지 데이터를 전송하기 위한 회로부를 포함할 수 있다. 개시된 실시예에 따르면, 이미지 센서는 모바일 통신 디바이스와 연관된 케이스의 상측 및 하측을 상호연결하는 에지면 내에 배치될 수 있다. 본 발명의 제1 양태에서, 모바일 통신 디바이스용 착탈식 케이스가 제공된다. 이러한 양태에서, 에지 카메라 어셈블리는 모바일 통신 디바이스로부터 분리가능하지만, 모바일 통신 디바이스가 케이스에 거치되면 상기 모바일 통신 디바이스와 결속되도록 구성될 수 있다. 본 발명의 제2 양태에서, 모바일 통신 디바이스가 제공된다. 이러한 양태에서, 에지 카메라 어셈블리는 상기 모바일 통신 디바이스의 새시와 일체형일 수 있다.
본 발명의 두 개의 양태는 이미지 캡쳐 케이스("케이싱(casing)"이라고도 알려져 있음)를 수반할 수 있다. "케이싱"이라는 용어는 본 명세서에서 에지 카메라 어셈블리의 컴포넌트를 차폐하기 위한 임의의 보호 요소를 지정하기 위해 사용된다. 케이스는 요구되는 형상으로 몰딩된 탄성 재료(예컨대 열가소성 고무, 합성 플라스틱, 폴리우레탄, 금속 등)로 구성될 수 있다. 제1 접근법에서, 이미지 캡쳐 케이스는 에지 카메라 어셈블리 및 모바일 통신 디바이스 양자 모두를 보호하는 착탈식 케이스일 수 있다. 제2 접근법에서, 이미지 캡쳐 케이스는 모바일 통신 디바이스 내에 통합될 수 있고 디바이스의 커버로서의 역할을 한다.
본 발명의 실시예에 따른 이미지 캡쳐 케이스는 모바일 통신 디바이스의 적어도 일부를 둘러싸기 위한 하우징을 포함할 수 있다. "하우징"이라는 용어는 모바일 통신 디바이스 또는 모바일 통신 디바이스의 컴포넌트의 적어도 일부를 수용하도록 설계된 임의의 구조체 또는 엔클로저를 폭넓게 포함한다. 일 예에서, 하우징은 사용자의 손 안에 파지될 수 있는, 폭 및/또는 두께보다 실질적으로 더 긴 길이를 가지는 기다란 부분을 가질 수 있다. 하우징은 정방형, 직사각형, 라운드된 직사각형, 또는 파지될 수 있는 임의의 다른 정규 또는 비정규적 형상인 단면을 가질 수 있다. 이러한 구조는 사용 중에 반복가능하고 일관적인 파지가 가능하게 할 수 있다. 본 명세서 및 첨부된 청구항에서 사용될 때, "상부" "상단", "하부", "하단", "전면", "후면", 및 "후방"이라는 용어는 하우징의 기다란 부분이 수평으로 배향되고 모바일 통신 디바이스의 디스플레이 면이 상향을 바라볼 때 하우징의 부분 또는 위치를 가리킨다.
일부 실시예들에서, 에지 카메라 어셈블리는 하우징 내에 탑재되거나 임베딩된 이미지 센서를 포함할 수 있다. "하우징 내에 탑재됨" 및 "하우징 내에 임베딩됨"이라는 용어는, 이미지 센서가 하우징 내에 전체적으로 또는 부분적으로 캡슐화되어 있다는 것을 의미한다. 이미지 센서는 근-적외선, 적외선, 가시광선, 및 자외선 스펙트럼의 광신호를 검출하고 전기 신호로 변환할 수 있는 디바이스일 수 있다. 전기 신호는 이미지 데이터를 생성하기 위하여 사용될 수 있다. "이미지 데이터"라는 용어는 근-적외선, 적외선, 가시광선, 및 자외선 스펙트럼에 속하는 광신호로부터 취출된 임의의 형태의 데이터(예를 들어, 정보, 이미지, 및/또는 비디오 스트림)를 포함한다. 에지 카메라 어셈블리와 연관된 이미지 센서의 예들은 디지털 카메라, 폰 카메라, 반도체 전하-결합 디바이스(CCD), 상보적 금속-산화물-반도체(CMOS) 내의 액티브 픽셀 센서, 또는 N-타입 금속-산화물-반도체(NMOS, Live MOS)를 포함할 수 있다. 에지 카메라 어셈블리와 연관된 이미지 센서는 90°보다 큰, 120°보다 큰, 또는 180°보다 큰, 또는 약 360°인 가시 범위를 가질 수 있다. 또한, 에지 카메라 어셈블리와 연관된 이미지 센서는 640 x 480, 1024 x 768, 1280 x 960 의 해상도, 또는 임의의 다른 적합한 해상도를 가질 수 있다.
본 발명에 따르면, 이미지 센서는, 하우징이 보행 사용자에 의해 홀딩되면 이미지 센서의 광축이 일반적으로 사용자의 보행 방향에서 연장될 수 있도록, 하우징 내에 탑재(또는 임베딩)될 수 있다. 본 명세서에서 사용될 때, "광축"이라는 용어는, 카메라의 가시 범위의 중심으로부터 이미지 센서의 중심까지 빛이 전파되는 경로를 규정하는 가상선을 나타낸다. 본 발명에서, "일반적으로 사용자의 보행 방향에서 연장된다(지향한다)"라는 용어는, 에지 카메라 어셈블리의 가시 범위가 사용자의 보행 방향에 대응하는 사용자의 환경의 섹터를 커버한다는 것을 폭넓게 의미한다. 일 예에서, 에지 카메라 어셈블리는 넓은 가시 범위를 가지는 240-도 어안 렌즈와 연관될 수 있다. 다른 예에서, 에지 카메라 어셈블리의 가시 범위는 도 1b 에 도시된다. 양자 모두의 예에서, 이미지 센서가 사용자의 보행 방향과 대응하는 섹터를 캡쳐하기 때문에, 이것은 이미지 센서의 광축이 일반적으로 사용자의 보행 방향에서 연장된다는 것을 의미한다.
에지 카메라 어셈블리는 캡쳐된 이미지 데이터를 이미지 센서로부터 이송하기 위한 회로부를 포함할 수 있다. 개시된 실시예에 따르면, 이미지 데이터는 모바일 통신 디바이스 상의 실시간 디스플레이에 디스플레이될 수 있다. 본 명세서에서 사용될 때, "실시간"이라는 용어는 일반적으로 이미지를 캡쳐하는 것과 캡쳐된 이미지를 디스플레이하는 것 사이에 관찰될만한 레이턴시가 없다는 것을 의미한다. 본 명세서에서 사용될 때, "회로부"라는 용어는 다음 전부를 가리킨다: (a) 아날로그 및/또는 디지털 회로부로만 이루어진 구현형태와 같은 하드웨어형 회로 구현형태(예를 들어, 유선, 전기적 접속); (b) 장치가 다양한 기능을 수행하게 하도록 함께 동작하는 회로, 소프트웨어 및/또는 펌웨어의 조합(예를 들어, 프로세서, 디지털 신호 프로세서, 소프트웨어, 및 메모리의 조합); 및 (c) 소프트웨어 또는 펌웨어가 물리적으로 존재하지는 않더라도 동작을 위해서 소프트웨어 또는 펌웨어를 요구하는 회로(예를 들어, 마이크로프로세서 또는 마이크로프로세서의 일부). 제1 접근법에서, 회로부는 모바일 통신 디바이스가 착탈식 케이스에 거치되면 모바일 통신 디바이스의 일부와 결속하도록 구성되는 커넥터를 포함할 수 있다. 제2 접근법에서 회로부는 모바일 통신 디바이스의 일부인 프로세서를 포함할 수 있다.
개시된 실시예에 따르면, 에지 카메라 어셈블리는, 이미지 데이터를 이미지 센서로부터 수신하고, 순방향 경로 이미지가 모바일 통신 디바이스의 디스플레이 상에 제공되도록 제공되게 하는 적어도 하나의 프로세서를 포함하거나 이것과 통신할 수 있다. 적어도 하나의 프로세서는 입력 또는 입력들에 논리 연산을 수행하는 전기 회로를 가지는 임의의 물리적 디바이스를 구성할 수 있다. 예를 들어, 적어도 하나의 프로세서는 하나 이상의 집적 회로, 마이크로칩, 마이크로콘트롤러, 및 마이크로프로세서를 포함할 수도 있는데, 이들은 중앙 처리 유닛(central processing unit; CPU), 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(digital signal processor; DSP), 필드 프로그램가능 게이트 어레이(field programmable gate array; FPGA), 또는 명령을 실행하거나 논리 연산을 수행하기에 적합한 다른 회로의 전부 또는 일부를 포함할 수 있다. 적어도 하나의 프로세서에 의해 실행되는 명령은, 예를 들어 제어기에 통합되거나 그 안에 임베딩되는 메모리로 미리-로드될 수 있거나, 별개의 메모리에 저장될 수 있다. 메모리는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크, 광학적 디스크, 자기적 매체, 플래시 메모리, 다른 영구적인 고정형 또는 휘발성 메모리, 또는 명령을 저장할 수 있는 임의의 다른 메커니즘을 포함할 수 있다. 일 실시예에서, 메모리는 복수 개의 활동의 표시자 및 각각의 활동과 연관된 연관 가시 범위 윈도우를 저장하도록 구성된다. 이러한 실시예는 도 20 을 참조하여 상세히 후술된다.
일부 실시예들에서, 적어도 하나의 프로세서는 두 개 이상의 프로세서를 포함할 수 있다. 각각의 프로세서는 유사한 구조를 가질 수 있고, 또는 프로세서는 전기적으로 서로 연결되거나 분리되는 상이한 구조를 가질 수 있다. 예를 들어, 프로세서는 별개의 회로이거나 단일 회로 내에 통합될 수 있다. 두 개 이상의 프로세서가 사용되는 경우, 프로세서는 독립적으로 또는 협동하여 동작하도록 구성될 수 있다. 프로세서는 전기적으로, 자기적으로, 광학적으로, 음향학적으로, 기계적으로, 또는 이들이 상호작용하게 하는 다른 수단에 의해 커플링될 수 있다. 개시된 실시예에서, 적어도 하나의 프로세서는 모바일 통신 디바이스의 디스플레이 상에 순방향 경로 이미지의 실시간 프리젠테이션이 이루어지게 할 수 있다. 본 발명에 따르면, "실시간 프리젠테이션"이라는 용어는 이미지 센서가 이미지를 캡쳐하는 시간으로부터 이미지가 모바일 통신 디바이스 상에 디스플레이될 때까지의 작은 지연을 망라할 수 있다. 예를 들어, 지연은 약 0.1 초보다 작고, 약 0.05 초보다 작으며, 또는 약 0.01 초보다 작을 수 있다.
도 1a 는 사용자(100)가 케이스(104)를 포함하는 모바일 디바이스(102)를 바라보면서 보행하는 상황을 예시한다. 본 발명의 실시예에 따르면, 모바일 디바이스(102) 또는 케이스(104) 중 하나가 에지 카메라 어셈블리를 포함할 수 있다. 에지 카메라 어셈블리는 사용자(100)가 방향(106)에서 이동 경로를 따라 이동할 때 사용자(100)의 환경을 나타내는 이미지 데이터를 캡쳐할 수 있다. 사용자(100)의 유효 가시 범위는 가시 범위(108)에 의해 표현되고, 예시적인 에지 카메라 어셈블리의 가시 범위는 가시 범위(110)로 표현된다. 에지 카메라 어셈블리를 사용하면, 사용자(100)는 자신의 이동 경로에 따라 위치된 물체(112)와 부딪치는 것을 피할 수 있다. 일 실시예에서, 에지 카메라 어셈블리는 사용자에게 장애물이 가까워진다는 것을 디바이스 스크린 상에 보여주는 이미지 제공을 초래할 수 있다. 다른 실시예에서, 에지 카메라 어셈블리는 에지 카메라 어셈블리와 일체형이거나 기능적으로 연관된 처리 회로에서 실행 중인 장애물 검출 알고리즘에 응답하여 경고 또는 통지를 트리거링할 수 있다.
도 1b 는 도 1a 에 도시된 것과 동일한 상황을 상면도 관점으로 예시한다. 위에서 논의된 바와 같이, 모바일 디바이스(102)가 케이스(104)에 거치되면 에지 카메라 어셈블리의 광축은 일반적으로 보행 방향(106)을 바라본다. 도 1b 는 가시 범위(110)의 수평 성분이 보행 방향(106)에 대응하는 사용자의 환경의 섹터를 커버한다는 것을 보여준다. 가시 범위(110)의 수평 성분의 각도 범위는 도 1b 에서 예를 들어 각도 α로 표현된다. 일부 실시예들에서, 가시 범위(110)의 수평 성분의 각도 범위는, 예를 들어 40°보다 높고, 65°보다 높고, 90°보다 높고, 120°보다 높고, 또는 180°보다 높을 수 있다. 또는, 가시 범위(110)의 수평 성분의 각도 범위는, 예를 들어 160° 미만, 110° 미만, 70° 미만, 또는 45° 미만일 수 있다. 본 발명에 따르면, 모바일 디바이스(102)는, 물체(112)가 사용자의 이동 경로에 따라 위치된다는 표시를 포함하는 순방향 경로의 실시간 프리젠테이션(114)을 디스플레이할 수 있다. 다른 실시예들에서, 더욱 상세하게 후술되는 바와 같이, 모바일 디바이스(102)는 순방향 경로의 실시간 프리젠테이션(114) 상에 오버레이 콘텐츠를 디스플레이할 수 있다.
도 2a 및 도 2b 는 본 발명의 제1 양태를 예시한다. 구체적으로 설명하면, 도 2a 및 도 2b 는 모바일 디바이스(102)와 선택적으로 연결되고 분리가능한 착탈식 케이스(104)와 통합된 에지 카메라 어셈블리를 예시한다. 에지 카메라 어셈블리는 상면(202), 마주보는 하면(204), 및 상면(202)과 하면(204) 사이에 위치되는 에지면(206)을 가지는 하우징(200)을 포함한다. 에지면(206)은 하면(204)으로부터 상향 연장될 수 있다. "에지면"("에지" 또는 "주변 에지(peripheral edge)"라고도 알려짐)은 본 명세서에서 상면(202) 및 하면(204)을 상호연결하는 주변 영역을 가리키기 위해 사용된다. 일부 실시예들에서, 에지면(206)은 평평하고 하우징(200)의 주면에 대해서 직각일 수 있다. 또는, 에지면은 상면(202) 및 하면(204)에 대해서 다소 다른 각도일 수 있고, 다소 휘어질 수도 있다. 도 3a 및 도 3b 는 에지면이 도 2a 및 도 2b 에 도시된 것과 다르게 형성된 다른 실시예를 도시한다. 본 발명에 따르면, 에지 카메라 어셈블리는 회로부(208) 및 이미지 센서(210)를 더 포함할 수 있다. 오직 예시를 위하여, 회로부(208) 및 이미지 센서(210)는 하우징(200)과 별개로 도시된다. 사실상, 일부 실시예에 따르면, 이미지 센서(210)는 에지면(206) 내에 고정되거나 임베딩되어, 그 광축이 상면(202) 및 하면(204)에 대해 수직이 아닌 각도로 고정되게 틸트되게 할 수 있다. 예를 들어, 이미지 센서(210)는 하면(204)으로부터 연장되는 돌출부 내에 고정되어 위치될 수 있다.
에지 카메라 어셈블리는 모바일 디바이스(102)의 추가 이미지 센서의 광축이 통과하게 하도록 구성되는 개구(예를 들어, 애퍼쳐(212))를 포함할 수 있다. 모바일 디바이스(102)의 추가 이미지 센서는 하우징(200) 내에 탑재된 이미지 센서(210)와 별개일 수 있다. 일부 실시예들에서, 착탈식 케이스(104)는 이미지 센서(210)에 급전하고 및/또는 모바일 디바이스(102)에 전력을 제공하도록 구성되는, 하우징(200) 내의 배터리(미도시)를 포함할 수 있다. 따라서, 착탈식 케이스(104)는 배터리를 무선 충전하기 위한 수신기를 더 포함할 수 있다. 또는, 회로부(208)는 모바일 디바이스(102) 내의 배터리로부터 이미지 센서(210)로 전력을 이송하도록 구성될 수 있다. 다른 실시예들에서, 에지 카메라 어셈블리는 이미지 센서(210)와 연관된 광축의 방향에서 실질적으로 조준된 방향성 마이크로폰(미도시)을 더 포함할 수 있다.
본 발명의 제1 양태에 따르면, 에지 카메라 어셈블리는 회로부(208)의 부품이거나 회로부와 연관되는 커넥터(214) 및 적어도 하나의 도관(216)을 더 포함할 수 있다. 일부 실시예들에서, 커넥터(214)는 모바일 디바이스(102)가 케이스(104)에 거치되면 모바일 디바이스(102)의 포트와 결속되도록 구성될 수 있다. 더욱이, 도관(216)은 이미지 센서(210)와 커넥터(214) 사이에 연장하고 이들을 전기적으로 연결함으로써, 이미지 센서(210)로부터 모바일 디바이스(102)로의 실시간 이미지 스트리밍이 가능해지게 할 수 있다. 착탈식 케이스(104)의 일 구성에서, 이미지 센서(210)는 커넥터(214)에 반대인 에지면(206)의 부분에 위치되어, 도관(216)이 이미지 센서(210) 및 커넥터(214) 사이에서 하우징(200)을 가로지를 수 있게 할 수 있다. 본 발명에 따르면, 회로부(208)는 데이터를 모바일 디바이스(102)로 인터페이싱하고 전달하기 위한 인터페이스 회로(미도시)를 더 포함할 수 있다. 전송된 데이터는 이미지 센서(210)에 의해 획득된 이미지, 비디오 데이터, 또는 3D 스캔 데이터를 포함할 수 있다. 일부 실시예들에서, 회로부(208)는 유선 연결을 통해 이미지 데이터를 이송하도록 구성된다. 예를 들어, 인터페이스 회로는 USB, 마이크로-USB, HDMI, 마이크로-HDMI, 파이어와이어(Firewire), 애플(Apple) 등의 유선 표준을 따를 수 있다. 다른 실시예들에서, 회로부(208)는 이미지 데이터를 무선 연결을 통해 이송하도록 구성된다. 예를 들어, 인터페이스 회로는 블루투스, WiFi, NFC, 지그비, 등과 같은 무선 표준을 준수할 수 있다.
도 2b 는 제2 시점으로부터 바라본 본 발명의 제1 양태의 다른 예시도이다. 도 2b 에 도시되는 시점은 착탈식 케이스(104)의 면 배향으로부터 나온다. 이러한 예시도에서, 모바일 디바이스(102)는 케이스(104)에 거치된다; 그러므로 에지 카메라 어셈블리는 이미지 센서(210)로부터 모바일 디바이스(102)로의 실시간 이미지 스트리밍이 가능해지게 한다. 일부 실시예들에서, 회로부(208)는 이미지 센서(210)가 모바일 디바이스(102)에 의해 제어될 수 있게 한다. 예를 들어, 이미지 센서(210)는 모바일 디바이스(102) 내의 센서에 의해 검출된 가속도에 응답하여 활성화될 수 있다.
도 3a 및 도 3b 는 본 발명의 제2 양태를 도시한다. 구체적으로 설명하면, 도 3a 및 도 3b 는 모바일 디바이스(102)에 통합된 에지 카메라 어셈블리를 예시한다. 본 발명의 제2 양태에 따르면, 에지 카메라 어셈블리는 하우징(200)(상면(202), 하면(204), 및 에지면(206)을 가짐), 회로부(208)(미도시), 및 이미지 센서(210)를 더 포함한다. 도 3a 및 도 3b 에서 도시되는 바와 같이, 에지면(206)은 상면(202) 및 하면(204)에 수직이 아닌 각도로 구부려질 수 있다. 일부 실시예들에서, 모바일 디바이스(102)는 이미지 센서(210)에 의해 캡쳐된 실시간 이미지 스트림을 제공하기 위한 터치-감응 디스플레이(300)를 포함할 수 있다. 또한, 터치-감응 디스플레이(300)와 회로부(208)는 함께, 예를 들어 사용자(100)로부터의 입력을 검출할 수 있다. 모바일 디바이스(102)는 전력원 및 회로부(208) 사이의 인터페이스일 수 있는 포트(302)를 더 포함할 수 있다. 일 실시예에서, 포트(302)는 모바일 디바이스(102)의 배터리를 충전하기 위하여 사용될 수 있다. 다른 실시예에서, 포트(302)는 모바일 디바이스를 다른 전기 디바이스와 연결시키기 위하여 사용될 수 있다. 예를 들어, 에지 카메라 어셈블리가 착탈식 케이스(104) 내에 통합되면, 포트(302)는 이미지 센서(210) 및 모바일 디바이스(102) 사이에 통신 채널을 형성하기 위하여 사용될 수 있다.
본 발명에 따르면, 에지 카메라 어셈블리는 모바일 디바이스(102)가 이미지 센서(210)로부터 사용자(100)의 환경에서 나온 실시간 이미지 스트림을 수신하고, 상기 터치-감응 디스플레이(300) 상에 대화형 사용자 애플리케이션 윈도우(306)와 동시에 실시간 이미지 스트리밍 윈도우(304)를 제공하게 할 수 있다. 다른 앱들과 나란히 이미지를 제공하기에는 터치-감응 디스플레이(300) 상에 제한된 공간만이 존재하기 때문에, 네비게이션을 위해서 사용되는 디스플레이 실면적이 효율적으로 사용되어야 한다. 일 실시예에서, 모바일 디바이스(102)는 처음에 터치-감응 디스플레이(300)의 약 50% 상에 대화형 사용자 애플리케이션 윈도우(306)를 제공하고 터치-감응 디스플레이(300)의 약 50% 상에 실시간 이미지 스트리밍 윈도우(304)를 제공할 수 있다. 다른 실시예에서, 모바일 디바이스(102) 처음에 터치-감응 디스플레이(300)의 적어도 약 60% 상에 대화형 사용자 애플리케이션 윈도우(306)를 제공하고 터치-감응 디스플레이(300)의 최대 40% 상에 실시간 이미지 스트리밍 윈도우(304)를 제공할 수 있다. 다른 실시예에서, 모바일 디바이스(102) 처음에 터치-감응 디스플레이(300)의 적어도 약 70% 상에 대화형 사용자 애플리케이션 윈도우(306)를 제공하고 터치-감응 디스플레이(300)의 최대 30% 상에 실시간 이미지 스트리밍 윈도우(304)를 제공할 수 있다. 사용자(100)는 대화형 사용자 애플리케이션 윈도우(306) 및 실시간 이미지 스트리밍 윈도우(304) 사이의 비율을 변경하기 위한 입력을 제공할 수 있다(예를 들어, GUI 피쳐(308)를 사용). 예를 들어, 사용자(100)는 대화형 사용자 애플리케이션 윈도우(306) 및 실시간 이미지 스트리밍 윈도우(304) 사이의 비율을, 실시간 이미지 스트리밍 윈도우(304)가 터치-감응 디스플레이(300)의 약 100%를 커버하도록 변경할 수 있다. 다른 실시예에서, 모바일 디바이스(102)는 사용자(100)가, 실시간 이미지 스트리밍 윈도우(304)에 제공될 이미지 데이터로부터 가시 범위를 선택하게 할 수 있다. 모바일 디바이스(102)는 처음에 사용자(100)의 이동 경로와 대응하는 것으로 추정되는 가시 범위를 디스플레이할 수 있다(예를 들어, 이미지 데이터 내의 물체를 식별하는 이미지 처리 알고리즘을 사용함). 하지만 일부 경우에, 사용자(100)는 실시간 이미지 스트리밍 윈도우(304) 상에 제공된 가시 범위를 변경하고 싶을 수 있다. 이러한 실시예는 도 15 를 참조하여 더욱 상세히 후술된다.
여러 타입의 모바일 디바이스(102)는, 상면(202)을 가로지르도록 지향된 광축을 가지는 제1 추가 이미지 센서(310)(즉, 셀피 카메라) 및 하면(204) 아래에 임베딩되며 하면(204)을 가로지르도록 지향된 광축을 가지는 제2 추가 이미지 센서(312)(즉, 후면 카메라)를 더 포함할 수 있다. 본 발명에 따르면, 모바일 디바이스(102)는 회로부(208)를 통해서, 이미지 센서(210), 제1 추가 이미지 센서(310), 및 제2 추가 이미지 센서(312)로부터 이미지 데이터를 수신할 수 있다. 일 실시예에서, 사용자(100)는, 실시간 이미지 스트리밍 윈도우(304)가 이미지 센서(210), 제1 추가 이미지 센서(310), 또는 제2 추가 이미지 센서(312)로부터의 이미지 데이터를 제공할 수 있도록, 이미지 센서들 사이에서 전환할 수 있다. 이러한 실시예는 도 16 을 참조하여 더욱 상세히 후술된다. 다른 실시예에서, 모바일 디바이스(102)는 상기 터치-감응 디스플레이(300) 상에: 이미지 센서(210), 제1 추가 이미지 센서(310), 및 제2 추가 이미지 센서(312) 중 적어도 두 개의 이미지 센서로부터의 동시 이미지 제공이 이루어지게 할 수 있다. 동시 이미지 제공은, 이미지 센서(210)에 의해 캡쳐된 이미지 데이터와 제2 추가 이미지 센서(312)에 의해 캡쳐된 이미지 데이터를 종합하여, 종합된 이미지가 상기 터치-감응 디스플레이(300) 상에 디스플레이될 수 있게 함으로써 달성될 수 있다. 또는, 동시 이미지 제공은 상이한 이미지 센서로부터의 이미지들을 각각의 윈도우에서 스트리밍하는 것을 포함할 수 있다. 이러한 실시예는, 모바일 디바이스(102)가 터치-감응 디스플레이(300) 상에 실시간으로, 사용자(100)의 얼굴 및 사용자(100)의 전방 환경의 양방향 프리젠테이션을 제공하게 한다. 양방향 프리젠테이션은 공유되거나 온라인으로 포스팅될 수 있다. 이러한 실시예는 도 17 을 참조하여 더욱 상세히 후술된다.
도 4a 및 도 4b 는 본 발명의 제1 및 제2 양태에 따른 에지 카메라 어셈블리의 시점 예시도들이다. 이들 도면 양자 모두는 모바일 디바이스(102)가 터치-감응 디스플레이(300)가 아래를 바라보는 사용자(100)의 얼굴(402)을 마주보면서 사용자(100)의 손(400) 안에 홀딩될 때의 이미지 센서(210)의 예시적인 가시 범위(110)를 도시한다. 도시된 바와 같이, 가시 범위(110)는 일반적으로 이동 경로의 방향에서 연장될 수 있다. 일 예에서, 가시 범위(110)는 사용자의 직립 신체의 수직 축에 상대적으로 20 내지 80 도 사이의 섹터를 캡쳐할 수 있다. 본 발명의 양자 모두의 양태에 따르면, 가시 범위(110)의 방향은 조절될 수 있다. 예를 들어, 가시 범위(110)는 모바일 디바이스(102)의 배향을 물리적으로 변경하거나 모바일 디바이스(102)에 상대적인 이미지 센서(210)의 애퍼쳐의 상대 방향을 물리적으로 변경함으로써 조절될 수 있다. 일부 실시예들에서, 이미지 센서(210)의 물리적 배향은 수동으로 또는 전기기계 액츄에이터를 사용해서도 변경될 수 있다. 또는, 가시 범위(110)는 하나 이상의 이미지 센서(210)로부터의 출력의 여과(filtration)를 변경함으로써 디지털적으로 조절될 수 있다.
도 5 는 본 발명의 제1 양태에 따른 에지 카메라 어셈블리의 시점 예시도이다. 이러한 예시도에서, 에지 카메라 어셈블리는 에지면(206) 내에 임베딩된 복수 개의 이미지 센서(210)를 포함한다. 각각의 이미지 센서(210)(예를 들어, 210A 및 210B)는 광학기(예컨대 렌즈, 필터 등) 및 선택적으로 조명기와 연관될 수 있다. 구조화된 광 조명기를 포함하는 실시예는 대응하는 3D 디코더를 포함할 수 있는데, 이것은 에지 카메라 어셈블리에 의해 이미징되는 물체 상의 점들에 대한 깊이 정보를 제공할 수 있다. 일부 실시예들에서, 복수 개의 이미지 센서(210) 각각은 연관된 가시 범위(예를 들어, 가시 범위(110A) 및 가시 범위(110B))를 가지고, 복수 개의 이미지 센서(210) 중 적어도 하나의 가시 범위는 복수 개의 이미지 센서(210) 중 다른 것의 가시 범위와 중첩한다. 또한, 에지 카메라 어셈블리는 중첩하는 이미지 센서(210) 중 적어도 두 개로부터 이미지 정보를 수신하고, 적어도 두 개의 중첩하는 이미지 센서(210)로부터의 이미지 정보를 통합하기 위하여 프로세서와 연관될 수 있다. 예를 들어, 프로세서는 적어도 두 개의 중첩 이미지 센서(210)로부터의 이미지 정보를 이어붙일 수 있다. 모바일 디바이스(102)는 또한, 터치-감응 디스플레이(300) 상에 적어도 두 개의 중첩 이미지 센서(210)로부터의 통합된 이미지 정보를 제공할 수 있다. 다른 실시예들에서, 모바일 디바이스(102)는 적어도 두 개의 중첩 이미지 센서(210)로부터 획득된 이미지 데이터를 사용하여 가상 삼차원 이미지를 구성할 수 있다.
복수 개의 이미지 센서(210)를 사용하면 더 큰 가시 범위(110)가 캡쳐되고 더 많은 정보가 획득될 수 있다. 예를 들어, 도 5 에 예시된 입체 배치구성은 에지 카메라 어셈블리에 의해 캡쳐된 물체(예를 들어, 물체(112)) 상의 점들에 대한 깊이 정보를 제공할 수 있다. 비록 두 개의 이미지 센서(210)만이 도시되지만, 당업자는 예컨대 세 개의 이미지 센서(210), 네 개의 이미지 센서(210) 등, 세 개 이상의 이미지 센서(210)가 사용될 수 있다는 것을 이해할 것이다. 따라서, 복수 개의 이미지 센서(210)의 결합된 가시 범위는 180°보다 클 수 있고, 예를 들어 약 240°, 약 300°, 또는 약 360°이다. 하우징(200) 내의 복수 개의 이미지 센서(210)에는 많은 수의 가능한 배치구성이 존재할 수 있다. 예를 들어, 제1 구성에서, 에지 카메라 어셈블리는: 우측 상단 코너의 지역에 있는 제1 센서, 및 좌측 상단 코너의 지역에 있는 제2 센서인 두 개의 이미지 센서(210)를 포함할 수 있다. 제2 구성에서, 에지 카메라 어셈블리는: 상단 에지에 있는 제1 센서, 우측 상단 코너의 지역에 있는 제2 센서, 및 좌측 상단 코너의 지역에 있는 제3 센서인 세 개의 이미지 센서(210)를 포함할 수 있다. 제3 구성에서, 에지 카메라 어셈블리는, 상단 에지 부분의 외향측(outward side)을 적어도 부분적으로 바라보는 광학 시야를 가지는 제1 이미지 센서(210), 우측 에지 부분의 외향(outward)을 적어도 부분적으로 바라보는 광학 시야를 가지는 제2 이미지 센서(210), 및 좌측 에지 부분의 외향을 적어도 부분적으로 바라보는 광학 시야를 가지는 제3 이미지 센서(210)를 포함할 수 있다.
도 6 은 에지 카메라 어셈블리의 광축의 각도를 도시하는 개략도이다. 앞선 개시 내용에 따르면, 에지 카메라 어셈블리는 모바일 디바이스(102) 또는 착탈식 케이스(104) 내에 통합될 수 있다. 일 실시예에서, 하우징(200) 내에 탑재된 이미지 센서(210)는 하면(204)에 대해 고정된 둔각으로 배향되도록 구성되는 적어도 하나의 광축(600)을 가질 수 있다. 둔각은 90°보다 크지만 180°보다 작은 각도이다. 도 6 에서, 광축(600)의 둔각은 각도 β로 표현된다. 위에서 논의된 바와 같이, 이미지 센서(210)는 에지면(206) 내에 고정되거나 임베딩될 수 있어서, 광축(600)도 역시 고정될 수 있다. 다르게 말하면, 사용자(100)는 모바일 디바이스(102)를 파손하지 않는 한 광축(600)의 물리적 배향을 변경할 수 없다. 일 실시예에서, 하우징(200)은 이미지 센서(210)를 보유하기 위한 적어도 하나의 채널(미도시)을 내부에 포함할 수 있고, 채널의 축은 모바일 디바이스(102)가 하우징(200)에 의해 보관되면 하면(204)의 부분에 대해 둔각으로 하우징(200)으로부터 연장된다. 일부 예들에서, 각도 β는 약 150°(즉, 145° 내지 155°중 임의의 값), 약 160(즉, 155 내지 165 중 임의의 값), 또는 약 170(즉, 165 내지 175 중 임의의 값)일 수 있다.
통상적으로, 하우징(200)이 보행 사용자(100)에 의해 홀딩되면 이것은 사용자(100)가 보행하는 평면(602)에 대해 예각이다. 예각은 0°보다 크지만 90°보다 작은 각도이다. 도 6 에서, 하우징(200)의 홀딩 각도는 각도 γ로 표현된다. 본 발명에 따르면, 이미지 센서(210)는, 하우징(200)이 홀딩 각도 γ로 홀딩되면 적어도 하나의 광축(600)이 일반적으로 보행 방향(106)을 바라보도록 배향될 수 있다. 각도 β와 반대로, 각도 γ는 고정되지 않는다. 사용자(100)가 걸으면, 하우징(200)의 홀딩 각도는 일정하게 변할 수 있다. 그러나, 통상적으로 모바일 디바이스(102)가 보행 사용자(100)에 의해 홀딩되면 홀딩 각도 γ는 0° 내지 90°을 유지한다. 예를 들어, 홀딩 각도 γ는 약 25°(즉, 20° 내지 30°중 임의의 값), 약 35°(즉, 30° 내지 40°중 임의의 값), 또는 약 45°(즉, 40° 내지 50° 중 임의의 값)일 수 있다. 홀딩 각도 γ의 성질이 변하기 때문에, 광축(600)의 방향은 정확한 보행 방향(106)과 나란하지 않을 수 있다. 하지만, 전술된 바와 같이, 가시 범위(110)가 보행 방향(106)에 대응하는 사용자의 환경의 선정의된 부분(예를 들어, 섹터)을 커버하면, 적어도 하나의 광축(600)은 일반적으로 보행 방향(106)을 바라보는 것으로 간주된다.
도 7 은 모바일 디바이스(102)에 내장된 카메라의 다른 광축에 상대적인, 광축(600)의 배향을 나타내는 개략도이다. 본 발명에 따르면, 모바일 디바이스(102)는, 상면(202)에서 멀어지는 제1 방향으로 바라보는 제1 추가 광축(700)을 가지는 제1 추가 이미지 센서(310), 및 하면(204)에서 멀어지는 제2 방향으로 연장되는 제2 추가 광축(702)을 가지는 제2 추가 이미지 센서(312)를 포함할 수 있다. 제1 추가 이미지 센서(310)는 제2 추가 이미지 센서(312)의 면에 반대인 하우징(200)의 면 내에 임베딩될 수 있다. 통상적으로, 제1 추가 광축(700) 및 제2 추가 광축(702)은 실질적으로 서로 반대여서, 이들 사이의 각도는 약 180°이다. 본 발명의 실시예에 따르면, 에지면(206) 내에 적어도 부분적으로 임베딩된 이미지 센서(210)의 광축(600)은 에지면(206)에서 멀어지는 적어도 하나의 제3 방향으로 연장된다. 도 7 에 도시된 바와 같이, 광축(600), 제1 추가 광축(700), 및 제2 추가 광축(702)은 서로로부터 발산할 수 있다. 구체적으로 설명하면, 광축(600) 및 제1 추가 광축(700)은 서로에 대해 둔각으로 배향될 수 있다. 광축(600)과 제1 추가 광축(700) 사이의 각도는 각도 δ에 의해 표현된다. 일부 예들에서, 각도 δ는 약 110°(즉, 100° 내지 120° 중 임의의 값)일 수 있다. 이와 유사하게, 광축(600) 및 제2 추가 광축(702)은 서로에 대해 예각으로 배향될 수 있다. 광축(600)과 제2 추가 광축(702) 사이의 각도는 각도 ε에 의해 표현된다. 일부 예들에서, 각도 ε는 약 40°(즉, 30° 내지 50° 중 임의의 값)일 수 있다.
도 8 은 모바일 디바이스(102)의 주축들에 상대적인 광축(600)의 배향을 예시한다. 본 명세서에서, "주축(principal axes)"이라는 용어는 그 주위에 관성 모멘트가 최대인 모바일 디바이스(102) 내의 세 개의 상호적으로 수직 축들을 가리킨다. 간결하고 명확하게 설명하기 위하여, 실시예는 모바일 디바이스(102)가 실질적으로 균질한 질량 분포를 가지고 질량 중심이 대칭 중심(800)과 일치한다고 가정한다. 주축들은 수평 축(즉, X-축), 세로축(즉, Y-축), 및 측방향 축(즉, Z-축)을 포함할 수 있다. 모바일 디바이스(102)의 주축들의 세트는 또한 세 개의 중앙 축면(axial plane), 즉 X-Y 평면, X-Z 평면, 및 Y-Z 평면을 규정한다.
도 8 에 도시된 바와 같이, 모바일 디바이스(102)는 제1 이미지 센서(210A) 및 제2 이미지 센서(210B)를 포함할 수 있고, 이들 각각은 주변 에지면(206) 내에 고정되거나 임베딩될 수 있다. 제1 추가 이미지 센서(310)(및 제2 추가 이미지 센서(312))와 반대로, 제1 이미지 센서(210A) 및 제2 이미지 센서(210B)는 하우징(200)의 제1 면(예를 들어, 상면(202)), 하우징의 제2 면(예를 들어, 하면(204)), 및 중앙 축면(예를 들어, X-Y 평면, X-Z 평면, 및 Y-Z 평면) 각각에 상대적으로 비-직교 각도인 고정된 광축을 가질 수 있다. 특히, 제1 이미지 센서(210A)는 중앙 축면 X-Y에 상대적으로 비-직교 각도 ζ1인 광축(600A)과 연관되고, 제2 이미지 센서(210B)는 중앙 축면 Y-Z에 상대적으로 비-직교 각도 ζ2인 광축(600B)과 연관된다. 일 예에서, 광축(600A)은 중앙 축면 X-Y에 상대적으로 약 5° 내지 약 80°의 각도 ζ1으로 틸팅될 수 있다. 다른 예에서, 광축(600B)은 중앙 축면 Y-Z에 상대적으로 약 10° 내지 약 70° 의 각도 ζ2로 틸팅될 수 있다. 일 실시예에서, 이미지 센서(210A 및 210B) 각각의 가시 범위(110)의 수평 및/또는 수직 성분은 60°보다 크거나, 75°보다 크거나, 90°보다 크거나, 또는 105°보다 클 수 있다. 따라서, 제1 이미지 센서(210A)의 가시 범위는 제2 이미지 센서(210B)의 가시 범위와 부분적으로 중첩할 수 있다.
도 9 는 모바일 디바이스(102)에 내장된 카메라의 다른 가시 범위에 상대적인 시야 범위(110)를 나타내는 개략도이다. 본 발명에 따르면, 모바일 디바이스(102)는 착탈식 케이스(104)를 사용할 경우 적어도 하나의 이미지 센서(210)를 포함할 수 있다(또는 적어도 하나의 이미지 센서(210)와 연관될 수 있다). 적어도 하나의 이미지 센서(210)는 주변 에지면(206)으로부터 제1 방향에서 연장되는 적어도 하나의 광축(600)을 가질 수 있다. 모바일 디바이스(102)는, 하우징(200) 내에 임베딩되고 상면(202)으로부터 제2 방향에서 연장되는 광축(700)을 가지는 제1 추가 이미지 센서(310) 및 하우징(200) 내에 임베딩되고 하면(204)으로부터 제3 방향에서 연장되는 광축(702)을 가지는 제2 추가 이미지 센서(312)를 포함할 수 있다. 도시된 바와 같이, 제1 추가 이미지 센서(310)는 가시 범위(900)와 연관될 수 있고 제2 추가 이미지 센서(312)는 가시 범위(902)와 연관될 수 있다. 위에서 도 6 을 참조하여 언급된 바와 같이, 광축(600)은 하면(204)에 대해 고정된 둔각으로 배향될 수 있다. 또한, 위에서 도 7 을 참조하여 언급된 바와 같이, 광축(600)은 제1 추가 광축(700)에 대해 고정된 둔각으로 그리고 제2 추가 광축(702)에 대해 고정된 예각으로 배향된다.
일 실시예에서, 가시 범위(110)는 제2 추가 이미지 센서(312)의 가시 범위(902)와 부분적으로 중첩한다. 착탈식 케이스 실시형태에서, 가시 범위(110)는 모바일 디바이스(102)가 케이스(104)에 거치되면 제2 추가 이미지 센서(312)의 가시 범위(902)와 부분적으로 중첩한다. 이미지 센서(210)가 모바일 디바이스(102)와 통합되면, 가시 범위(110)는 제2 추가 이미지 센서(312)의 가시 범위(902)와 일정하게 부분 중첩할 수 있다. 모바일 디바이스(102)는 적어도 하나의 이미지 센서(210) 및 제2 추가 이미지 센서(312)로부터의 이미지 데이터를 이어붙이도록 구성되는, 하우징(200) 내의 적어도 하나의 프로세서를 포함할 수 있다. 구체적으로 설명하면, 적어도 하나의 프로세서는 적어도 하나의 이미지 센서(210) 및 제2 추가 이미지 센서(312)로부터 이미지 데이터를 수신하고, 이미지 센서들(210 및 312)의 상대 위치를 고려하고 상이한 이미지 내에서의 픽셀의 변위를 매핑하는 스티칭 알고리즘을 적용할 수 있다. 스티칭 알고리즘은 두 개(또는 그 이상)의 이미지를 결합시키기 위하여 사용될 수 있다. 예를 들어, 스티칭 알고리즘은 두 개의 이미지들 사이에서 중첩 영역을 식별하는 것, 이미지 데이터 내의 키 포인트를 검출하고 매칭하는 것, 투영 표면을 선택하는 것, 등을 포함할 수 있다. 또는, 적어도 하나의 프로세서는 이미지 센서(즉, 210, 310, 및 312) 각각으로부터 이미지 데이터를 수신하여, 터치-감응 디스플레이(300) 상에 적어도 하나의 이미지 센서(210), 제1 추가 이미지 센서(310), 및 제2 추가 이미지 센서(312)로부터 수신된 이미지 데이터의 적어도 일부를 제공되게 하도록 구성될 수 있다. 일 예에서, 적어도 하나의 프로세서는 적어도 하나의 이미지 센서(210), 제1 추가 이미지 센서(310), 및 제2 추가 이미지 센서(312) 중 적어도 두 개로부터 이미지 데이터를 동시에 수신하고, 이미지 센서들 중 적어도 두 개로부터 터치-감응 디스플레이(300) 상에 동시 이미지 제공이 초래되게 할 수 있다. 동시 이미지 제공의 예가 도 17 에 제공된다.
도 10 은 도 3a 에 도시되는 제2 예시적인 디바이스와 연관된 에지 카메라 어셈블리의 기능 블록도이다. 본 발명에 따르면, 모바일 디바이스(102)는 처리 디바이스(1005), 네트워크 인터페이스(1015), 메모리 인터페이스(1002), 및 주변 인터페이스(1004)를 포함할 수 있다. 이러한 컴포넌트는 분리되거나 하나 이상의 집적 회로에 통합될 수 있다. 모바일 디바이스(102) 내의 다양한 컴포넌트는 하나 이상의 통신 버스 또는 신호 라인에 의해 커플링될 수 있다.
센서, 디바이스, 및 서브시스템이 주변 인터페이스(1004)에 커플링되어 다수의 기능이 가능해지게 할 수 있다. 예를 들어, 이미지 센서(210), 제1 추가 이미지 센서(310), 제2 추가 이미지 센서(312), 및 포지셔닝 시스템(예를 들어, GPS 수신기)(1014)이 주변 인터페이스(1004)에 커플링될 수 있다. 깊이 센서, 동작 센서, 광 센서, 근접 센서, 온도 센서, 및 생체측정 센서와 같은 다른 센서(1016)도 주변 인터페이스(1004)에 연결되어 관련된 기능을 구현할 수 있다.
통신 기능은 네트워크 인터페이스(1015)를 통해서 가능해질 수 있는데, 이것은 무선 주파수 수신기 및 송신기 및/또는 광학(예를 들어, 적외선) 수신기 및 송신기에 연결된 이더넷 포트일 수 있다. 네트워크 인터페이스(1015)의 특정 디자인 및 구현형태는 모바일 디바이스(102)가 작동하도록 의도되는 통신 네트워크(들)에 따라 달라진다. 예를 들어, 일부 실시예들에서, 모바일 디바이스(102)는 GSM 네트워크, GPRS 네트워크, EDGE 네트워크, Wi-Fi 또는 WiMax 네트워크, 및 Bluetooth® 네트워크에서 동작하도록 설계된 네트워크 인터페이스(1015)를 포함한다.
I/O 시스템(1020)은 터치 스크린 제어기(1021), 오디오 제어기(1022), 및/또는 다른 입력 제어기(들)(1023)을 포함할 수 있다. 터치 스크린 제어기(1021)는 터치-감응 디스플레이(300)에 커플링될 수 있다. 터치-감응 디스플레이(300) 및 터치 스크린 제어기(1021)는, 예를 들어 용량성, 저항성, 적외선, 및 표면 음향 파 기술 및 터치-감응 디스플레이(300)와의 하나 이상의 접촉점을 결정하기 위한 다른 근접 센서 어레이 또는 다른 요소를 비한정적으로 포함하는 복수 개의 터치 감도 기술 중 임의의 것을 사용하여, 접촉, 이동 또는 파괴를 검출할 수 있다. 또한, 터치-감응 디스플레이(300)는 예를 들어 가상 또는 소프트 버튼 및/또는 키보드를 구현하기 위해서 사용될 수 있다.
오디오 제어기(1022)는 스피커(1026) 및 마이크로폰(1028)에 연결되어, 음성 인식, 음성 모사, 디지털 기록, 및 화상 전화 기능과 같은 음성-가능 기능이 구현되게 할 수 있다. 다른 입력 제어기(들)(1023)는 하나 이상의 버튼, 로커 스위치, 엄지-휠, 적외선 포트, USB 포트, 및/또는 스타일러스와 같은 포인터 디바이스와 같은 다른 입력/제어 디바이스(1030)에 커플링될 수 있다.
메모리 인터페이스(1002)는 메모리 디바이스(1010)에 커플링될 수 있다. 메모리 디바이스(1010)는 하나 이상의 자기 디스크 저장 디바이스, 하나 이상의 광학 저장 디바이스, 및/또는 플래시 메모리(예를 들어, NAND, NOR)와 같은 고속 랜덤 액세스 메모리 및/또는 비-휘발성 메모리를 포함할 수 있다. 메모리 디바이스(1010)는, 안드로이드, iOS, RTXC Quadros, Linux, WINDOWS와 같은 운영 체제(1032), 또는 VXWorkS와 같은 임베딩된 운영 체제를 저장할 수 있다. 운영 체제(1032)는 기본적인 시스템 서비스들을 핸들링하기 위한 그리고 하드웨어 의존적 태스크들을 수행하기 위한 명령을 포함할 수 있다.
또한, 메모리 디바이스(1010)는 하나 이상의 추가적 디바이스, 하나 이상의 컴퓨터 및/또는 하나 이상의 서버와 통신할 수 있게 하는 통신 명령(1034)을 저장할 수 있다. 메모리 디바이스(1010)는, 그래픽 사용자 인터페이스 처리를 구현하기 위한 그래픽 사용자 인터페이스 명령(1036); 센서-관련 처리 및 기능을 구현하기 위한 센서 처리 명령(1038); 전화-관련 프로세스 및 기능을 구현하기 위한 전화 명령(1040); 전자-메시징 관련 프로세스 및 기능을 구현하기 위한 메시징 명령(1042); 웹 브라우징-관련 프로세스 및 기능을 구현하기 위한 웹 브라우징 명령(1044); 매체 처리-관련 프로세스 및 기능을 구현하기 위한 매체 처리 명령(1046); GPS 및 네비게이션-관련 프로세스 및 명령을 구현하기 위한 GPS/네비게이션 명령(1048); 카메라 명령(1050) 및/또는 다른 프로세스 및 기능을 구현하기 위한 다른 소프트웨어 명령(1052)을 포함할 수 있다.
본 발명에 따르면, 모바일 디바이스(102)가 터치-감응 디스플레이(300)가 아래를 바라보는 사용자의 얼굴(100)을 마주보면서 사용자(100)의 손에 홀딩되면, 이미지 센서(210)의 가시 범위(110)는 일반적으로 이동 경로의 방향에서 연장될 수 있다. 그러므로 이미지 센서(210)는 이동 경로의 방향에 따른 이미지 스트림을 획득할 수 있다. 일부 실시예들에서, 센서 처리 명령(1038)은 처리 디바이스(1005)가 이미지 센서(210)로부터 이미지 스트림을 획득하게 하는 명령을 포함한다. 일 실시예에서, 매체 처리 명령(1046)은 처리 디바이스(1005)가 획득된 이미지 스트림에서 사용자(100)의 이동 경로에 있는 물체를 식별하게 하는 명령을 포함할 수 있다. 식별된 물체는, 예를 들어 사람, 판매 시설, 또는 소화전일 수 있다. 또한, 본 발명의 일 실시예에 따르면, 통신 명령(1034)은 처리 디바이스(1005)가 식별된 물체에 대한 정보를 룩업하게 하는 명령을 포함한다. 예를 들어, 처리 디바이스(1005)는 식별된 물체가 사람인 경우 그 사람의 이름을 룩업할 수 있다. 식별된 물체가 판매 시설인 예의 경우, 처리 디바이스(1005)는 판매 시설에서 입수가능한 제품 또는 서비스에 대한 세부사항을 룩업할 수 있다.
일부 실시예들에서, 처리 디바이스(1005)는 터치-감응 디스플레이(300) 상에, 실시간으로, 식별된 물체를 포함하는 획득된 이미지 스트림을 제공할 수 있다. 더 나아가, 처리 디바이스(1005)는 터치-감응 디스플레이(300) 상에, 식별된 물체와 연관된 하나 이상의 시각적 표시자를 제공할 수 있다. "시각적 표시자"라는 용어는 디스플레이된 아이템 또는, 예를 들어 텍스트, 아이콘, 그래픽과 같은 콘텐츠의 표현을 의미한다. 예를 들어, 식별된 물체가 판매 시설인 경우, 시각적 표시자는 판매 시설의 명칭 및 판매 시설의 판매 제품을 나타내는 아이콘을 포함할 수 있다. 일부 실시예들에서, 시각적 표시자는 상거래 청약에 대한 정보, 예를 들어 예시된 판매 시설에서 진행중인 판매에 대한 정보를 표현할 수 있다. 시각적 표시자는 획득된 실시간 이미지 스트림 상에 오버레이될 수 있다. 예를 들어, 예시적인 판매 시설에서 진행중인 판매를 나타내는 시각적 표시자는 판매 시설에 대응하는 실시간 이미지 스트림의 부분 위에 오버레이될 수 있다. 일부 실시예들에서, 시각적 표시자의 오버레이 도중에 오프셋이 추가되어 이미지 스트림 내의 관심 영역을 가리지 않게 할 수 있다. 더 나아가, 시각적 표시자는, 터치-감응 디스플레이(300)와 상호작용하면 더 많은 정보가 이용가능하다는 것의 표시를 포함할 수 있다. 예를 들어, 클릭할 수 있는 링크이다. 상호작용의 검출에 응답하여, 처리 디바이스(1005)는 동작을 실행하도록 더 프로그래밍될 수 있다. 예를 들어, 클릭가능한 링크 상에서의 터치-검출에 응답하여, 처리 디바이스(1005)는 터치-감응 디스플레이(300) 상에 예시적인 판매 시설에서 진행중인 판매의 세부 사항을 디스플레이할 수 있다.
일부 실시예들에서, 다른 소프트웨어 명령(1052)은 사용자(100)가 식별된 물체와의 충돌 코스에 있는지 여부를 처리 디바이스(1005)가 결정하게 하는 명령을 포함한다. 일 예로서, 처리 디바이스(1005)는 사용자(100)가 획득된 이미지 스트림에서 식별된 소화전과의 충돌 코스에 있다고 결정할 수 있다. 충돌의 결정에 응답하여, 처리 디바이스(1005)는 충돌 코스의 경고를 생성할 수 있다. 경고는 터치-감응 디스플레이(300) 상의 시각적 표시자, 스피커(1026)를 사용한 오디오 경고, 다른 입력/제어 디바이스(1030)에 포함된 촉각 액츄에이터를 사용한 촉각적 경고, 또는 두 개 이상의 경고 시스템의 조합을 사용하여 사용자(100)에게 제공될 수 있다. 이러한 경고에 응답하여, 사용자(100)는 소화전과의 충돌을 피하도록 회피 동작을 취할 수 있다.
일부 실시예들에서, 처리 디바이스(1005)는 터치-감응 디스플레이(300)의 제1 부분 상에 식별된 물체를 포함하는 실시간 이미지 스트림을 디스플레이할 수 있고, 터치-감응 디스플레이(300)의 제2 부분 상에, 실시간 이미지 스트림과 동시에 대화형 사용자 애플리케이션을 디스플레이할 수 있다. 처리 디바이스(1005)는 처음에 터치-감응 디스플레이(300)의 약 50% 상에 식별된 물체를 포함하는 실시간 이미지 스트림을 제공하고, 터치-감응 디스플레이(300)의 약 50% 상에는 대화형 사용자 애플리케이션을 제공할 수 있다. 다른 실시예에서, 처리 디바이스(1005)는 처음에 터치-감응 디스플레이(300)의 적어도 약 60% 상에 식별된 물체를 포함하는 실시간 이미지 스트림을 제공하고, 터치-감응 디스플레이(300)의 최대 약 40% 상에는 대화형 사용자 애플리케이션을 제공할 수 있다. 사용자(100)는, 터치-감응 디스플레이(300) 상의 GUI 피쳐를 사용하여, 식별된 물체 및 대화형 사용자 애플리케이션을 포함하는 실시간 이미지 스트림을 변경하기 위한 입력을 제공할 수 있다. 대화형 사용자 애플리케이션의 일 예는 메시징 애플리케이션이다. 사용자(100)는 메시지를 전송하고 수신하며 다른 사용자와 통신하기 위하여 메시징 애플리케이션을 사용할 수 있다. 일부 실시예들에서, 매체 처리 명령(1046)은 사용자(100)가 처리 디바이스(1005)를 사용하여 획득된 이미지 스트림으로부터 어떤 이미지를 선택하게 하는 명령을 포함한다. 예를 들어, 이미지 센서(210)로부터의 이미지 스트림 내에서 예시적인 판매 시설이 획득된다. 더 나아가, 메시징 명령(1042)은 사용자(100)가 메시징 애플리케이션을 통해, 선택된 이미지를 처리 디바이스(1005)를 사용하는 다른 사용자에게 전송할 수 있게 하는 명령을 포함할 수 있다.
일부 실시예들에서, GPS/네비게이션 명령(1048)은 처리 디바이스(1005)가 포지셔닝 시스템(1014)으로부터 획득된 위치 정보를 사용하여 목적지까지의 회전 방향을 생성하게 하는 명령을 포함한다. 사용자(100)가 터치-감응 디스플레이가 사용자의 얼굴에 마주한 상태로 순방향 경로를 횡단할 때, 처리 디바이스(1005)는 터치-감응 디스플레이(300) 상에 이미지 센서(210)로부터의 실시간 이미지 스트림을 디스플레이할 수 있다. 처리 디바이스(1005)는 포지셔닝 시스템(1014)으로부터 획득된 위치 정보를 사용하여 회전 방향과 연관된 적어도 하나의 시각적 표시자를 실시간 이미지 스트림의 디스플레이와 동시에 터치-감응 디스플레이 상에 디스플레이할 수 있다. 회전 방향은 목적지까지의 이동 루트와 연관될 수 있다. 일부 실시예들에서, 시각적 표시자는 이동 루트에 따른 장소에 대한 정보를 포함할 수 있다. 구체적으로 설명하면, 처리 디바이스(1005)는 이동 루트로부터 제1 미리 결정된 거리 내에 및/또는 사용자(100)의 현재의 위치로부터 제2 미리 결정된 거리 내에 위치한 장소들과 연관된 시각적 표시자를 제공할 수 있다. 제2 미리 결정된 거리는 제1 미리 결정된 거리보다 클 수 있다. 예를 들어, 처리 디바이스(1005)는 이동 루트로부터 300 미터 내에 그리고 사용자(100)의 현재의 위치로부터 500 미터 내에 위치한 장소들과 연관된 시각적 표시자를 제공할 수 있다. 다른 실시예들에서, 포지셔닝 시스템(1014)은 나침반을 포함하고, GPS/네비게이션 명령(1048)은 처리 디바이스(1005)가 나침반으로부터 획득된 방향 정보(위치 정보에 추가하여)를 사용하여 회전 방향과 연관된 시각적 표시자를 디스플레이하게 하는 명령을 더 포함한다. 시각적 표시자는 회전 방향을 나타내는 표현, 나침반의 표현, 다음 회전까지의 거리를 나타내는 숫자, 판매 시설의 명칭, 또는 도로명을 포함할 수 있다.
일부 실시예들에서, GPS/네비게이션 명령(1048)은 처리 디바이스(1005)가 포지셔닝 시스템(1014)으로부터 위치 정보를 수신하게 하는 명령을 포함한다. 사용자(100)가 터치-감응 디스플레이가 사용자의 얼굴에 마주한 상태로 순방향 경로를 횡단할 때, 처리 디바이스(1005)는 터치-감응 디스플레이(300) 상에 이미지 센서(210)로부터의 실시간 이미지 스트림을 디스플레이할 수 있다. 더 나아가, 처리 디바이스(1005)는 포지셔닝 시스템(1014)으로부터 획득된 위치 정보를 사용하여 터치-감응 디스플레이(300) 상에 적어도 하나의 시각적 표시자를 디스플레이할 수 있다. 일 예로서, 처리 디바이스(1005)는 포지셔닝 시스템(1014)으로부터 획득된 위치 정보를 사용하여 사용자(100) 근처에 위치된 레스토랑과 연관된 시각적 표시자를 디스플레이할 수 있다. 실시간 이미지 스트림 및 시각적 표시자는 터치-감응 디스플레이(300)의 상이한 부분에 디스플레이될 수 있다. 일부 실시예들에서, 시각적 표시자는 실시간 이미지 스트림 상에 오버레이될 수 있다. 일 실시예에서, GPS/네비게이션 명령(1048) 및 다른 소프트웨어 명령(1052)은, 처리 디바이스(1005)가 대화형 사용자 애플리케이션 윈도우(306)에 제공된 대화형 사용자 애플리케이션으로부터 유도된 정보에 기초하여 증강 현실 콘텐츠(예를 들어, 시각적 표시자)를 실시간 이미지 스트리밍 윈도우(304) 상에 생성하게 할 수 있다. 구체적으로 설명하면, 대화형 사용자 애플리케이션은 메시징 애플리케이션일 수 있고, 정보는 의미-기초 텍스트 인식, 벡터 공간 분석, 규칙-기초 분석, 통계적 분석과 같은 언어 분석(linguistic analysis) 기법 또는 다른 공지된 기법을 사용하여 유도될 수 있다. 예를 들어, 정보는 사용자(100)가 배고프다는 것과 같은, 사용자(100), 의 상태에 대한 표시를 포함할 수 있다. 그 이후에, 처리 디바이스(1005)는 실시간 이미지 스트림 상에 오버레이된, 사용자(100)의 지역에 있는 식당과 연관된 하나 이상의 시각적 표시자를 제공할 수 있다.
도 11 은 도 2a 에 도시되는 제1 예시적인 디바이스와 연관된 에지 카메라 어셈블리의 기능 블록도이다. 본 발명에 따르면, 착탈식 케이스(104)는 센서 유닛(1110)을 포함할 수 있다. 센서 유닛(1110)은 깊이 센서 및 이미지 센서(210), 센서 광학기(1112), 및 센서 구동 회로(1114)를 포함할 수 있다. 센서 유닛(1110)은 조명기(1122), 연관된 조명 광학기(1124), 및 조명기 구동 회로(1120)를 더 포함할 수 있다. 조명기(1122)는, 예를 들어 플래시 광원 또는 구조화된 광원일 수 있다. 센서 유닛(1110)은 제어기(1116) 및 인터페이스(1118)를 더 포함할 수 있다. 제어기(1116)는 센서 구동 회로(1114) 및 조명기 구동 회로(1120)를 제어한다. 이러한 실시예에 따르면, 에지 카메라 어셈블리는 제어 회로(1132), 위치 기초 서비스 회로(1134), 및 이미지 처리 회로(1136)를 더 포함할 수 있다. 제어 회로(1132), 위치 기초 서비스 회로(1134), 및 이미지 처리 회로(1136) 중 하나 이상은 착탈식 케이스의 일부로서 제공될 수 있고 또는 모바일 디바이스(102)의 모바일 디바이스 회로(1150)에 통합될 수 있다. 제어기(1116)는 인터페이스(1118)를 통해 제어 회로(1132)와 통신할 수 있다. 모바일 디바이스(102)의 사용자 인터페이스는 터치-감응 디스플레이(300), 스피커(1026), 및 촉각 액츄에이터(1142)를 포함한다. 당업자는, 착탈식 케이스(104)와 연관된 에지 카메라 어셈블리가 모바일 디바이스(102)와 연관된 에지 카메라 어셈블리에 대해서 전술된 기능들 모두를 실행할 수 있다는 것을 이해할 것이다.
도 12a 는 본 발명의 예시적인 실시예에 따른, 사용자(100)에게 증강 현실을 제공하기 위한 예시적인 방법(1200)을 나타낸다. 일 실시예에서, 방법(1200)의 단계들 중 적어도 일부는 도 10 에 도시된 모바일 디바이스(102)에 의해 수행될 수 있다. 다른 실시예에서, 방법(1200)의 단계들 중 적어도 일부는 도 11 에 도시된 센서 유닛(1110)에 의해 수행될 수 있다. 후속하는 발명을 실시하기 위한 구체적인 내용에서, 예를 들기 위하여 도 10 및 도 11 의 특정한 구성 요소들을 참조한다. 그러나, 다른 구현형태들이 가능하고 예시적인 방법을 구현하기 위하여 다른 컴포넌트들이 이용될 수 있다는 것이 이해될 것이다.
단계 1202 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 이미지 센서(210)로부터의 이동 경로의 방향에 따라 이미지 스트림을 획득할 수 있다. 단계 1204 에서, 처리 디바이스(1005)(또는 이미지 처리 회로(1136))는 획득된 이미지 스트림에서 사용자(100)의 이동 경로에 있는 물체를 식별할 수 있다. 식별된 물체는, 예를 들어 사람, 판매 시설, 또는 버스 정류장일 수 있다. 단계 1206 에서, 처리 디바이스(1005)(또는 모바일 디바이스 회로(1150))는 식별된 물체에 대한 정보를 룩업할 수 있다. 일 예에서, 식별된 물체가 사람이면, 처리 디바이스(1005)는 메모리 디바이스(1010)에서 사람의 이름을 룩업할 수 있다. 다른 예에서, 식별된 물체가 버스 정류장이면, 처리 디바이스(1005)는 도착 예정인 다음 버스에 대한 세부사항을 룩업할 수 있다. 일 실시예에서, 식별된 물체에 대한 정보를 룩업하는 단계는, 원격 서버로 식별된 물체를 포함하는 이미지를 전송하는 것을 포함할 수 있고, 원격 서버는 식별된 물체에 대한 정보를 취출한다. 단계 1208 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 상기 터치-감응 디스플레이(300) 상에, 식별된 물체를 포함하는 획득된 이미지 스트림을 실시간으로 제공할 수 있다. 단계 1210 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 터치-감응 디스플레이(300) 상에 식별된 물체와 연관된 시각적 표시자를 제공할 수 있다. 예를 들어, 식별된 물체가 판매 시설인 경우, 시각적 표시자는 판매 시설의 명칭 및 판매 시설의 판매 제품을 나타내는 아이콘을 포함할 수 있다. 일부 실시예들에서, 시각적 표시자는 상거래 청약에 대한 정보, 예를 들어 예시된 판매 시설에서 진행중인 판매에 대한 정보를 표현할 수 있다. 시각적 표시자는 획득된 실시간 이미지 스트림 상에 오버레이될 수 있다. 예를 들어, 예시적인 판매 시설에서 진행중인 판매를 나타내는 시각적 표시자는 판매 시설에 대응하는 실시간 이미지 스트림의 부분 위에 오버레이될 수 있다.
도 13a 내지 도 13c 는 개시된 실시예에 따른 에지 카메라 어셈블리의 하나의 예시적인 사용예의 개략도이다. 도 13a 에서 획득된 이미지 스트림(1312)은 터치-감응 디스플레이(300) 상에 디스플레이된다. 시각적 표시자(1314)(이러한 예에서는 초콜릿 키친을 나타냄)가 획득된 이미지 스트림(1312) 상에 오버레이될 수 있다. 더 나아가, 시각적 표시자는, 터치-감응 디스플레이(300)와 상호작용하면 더 많은 정보가 이용가능하다는 것의 표시(예를 들어, 아이콘(1316))를 포함할 수 있다. 아이콘(1316)에 대응하는 터치 상호작용에 응답하여, 식별된 물체에 대한 추가적인 세부사항이 터치-감응 디스플레이(300) 상에 디스플레이될 수 있다. 예를 들어, 추가적인 세부사항(1322)은 도 13b 에서 아이콘(1316)과의 터치-상호작용에 응답하여 디스플레이된다. 또한, 세부사항(1322)은 터치-감응 디스플레이(300)(예를 들어, 아이콘(1324))와 추가적으로 상호작용하면 보행 유도가 이용가능해진다는 표시를 포함할 수 있다. 아이콘(1324)에 대응하는 터치 상호작용에 응답하여, 맵(1332)(도 13c 에 도시된 바와 같음)이 대화형 사용자 애플리케이션 윈도우(306) 상에 디스플레이된다. 이러한 예에서, 맵은 사용자(100) 위치로부터 초콜릿 키친까지의 루트를 포함할 수 있다.
도 12b 는 사용자(100)가 식별된 물체와 충돌하는 것을 피하기 위한 본 발명의 예시적인 실시예에 따른 예시적인 방법(1220)을 나타낸다. 일 실시예에서, 방법(1220)의 단계들 전부는 도 10 에 도시된 모바일 디바이스(102)에 의해 수행될 수 있다. 다른 실시예에서, 방법(1220)의 단계들 전부는 도 11 에 도시된 센서 유닛(1110)에 의해 수행될 수 있다. 후속하는 발명을 실시하기 위한 구체적인 내용에서, 예를 들기 위하여 도 10 및 도 11 의 특정한 구성 요소들을 참조한다. 그러나, 다른 구현형태들이 가능하고 예시적인 방법을 구현하기 위하여 다른 컴포넌트들이 이용될 수 있다는 것이 이해될 것이다.
단계 1222 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 이미지 센서(210)로부터의 이동 경로의 방향에 따라 이미지 스트림을 획득할 수 있다. 단계 1224 에서, 처리 디바이스(1005)(또는 이미지 처리 회로(1136))는 획득된 이미지 스트림에서 사용자(100)의 이동 경로에 있는 물체를 식별할 수 있다. 식별된 물체는, 예를 들어 가로등일 수 있다. 단계 1226 에서, 처리 디바이스(1005)(또는 이미지 처리 회로(1136))는 사용자(100)가 식별된 물체와의 충돌 코스에 있는지 여부를 결정할 수 있다. 일 예로서, 처리 디바이스(1005)는 사용자(100)가 획득된 이미지 스트림 내에서 식별된 가로등과의 충돌 코스에 있다고 결정할 수 있다. 단계 1228 에서, 처리 디바이스(1005)는 충돌 코스의 경고를 생성할 수 있다. 경고는 터치-감응 디스플레이(300) 상의 시각적 표시자, 스피커(1026)를 사용한 오디오 경고, 다른 입력/제어 디바이스(1030)에 포함된 촉각 액츄에이터를 사용한 촉각적 경고, 또는 두 개 이상의 경고 시스템의 조합을 사용하여 사용자(100)에게 제공될 수 있다. 이러한 경고에 응답하여, 사용자(100)는 가로등과의 충돌을 피하도록 회피 동작을 취할 수 있다. 다른 실시예에서, 이미지 처리 회로(1136)는 사용자(100)가 식별된 물체와의 충돌 코스에 있는지 여부를 결정할 수 있다. 충돌의 결정에 응답하여, 제어 회로(1132)는 충돌 코스의 경고를 생성할 수 있다. 이러한 경고는 터치-감응 디스플레이(300) 상의 시각적 표시자, 스피커(1026)를 사용한 오디오 경고, 촉각 액츄에이터(1142)를 사용한 촉각적 경고, 또는 두 개 이상의 경고 시스템의 조합을 사용하여 사용자(100)에게 제공될 수 있다.
도 13d 는 개시된 실시예에 따른 에지 카메라 어셈블리의 하나의 예시적인 사용예의 개략도이다. 도 13d 에서 획득된 이미지 스트림(1312)은 터치-감응 디스플레이(300) 상에 디스플레이된다. 이러한 예에서, 시각적 표시자(1342)는 사용자(100)가 가로등과의 충돌 코스에 있다는 경고이다. 도시된 바와 같이, 시각적 표시자(1342)는 대화형 사용자 애플리케이션 윈도우(306) 상에 디스플레이되어 사용자(100)가 확실히 경고에 주의하도록 할 수 있다.
도 12c 는 본 발명의 예시적인 실시예에 따른, 사용자(100)에게 증강 현실을 제공하기 위한 예시적인 방법(1240)을 나타낸다. 일 실시예에서, 방법(1240)의 단계들 전부는 도 10 에 도시된 모바일 디바이스(102)에 의해 수행될 수 있다. 다른 실시예에서, 방법(1240)의 단계들 전부는 도 11 에 도시된 센서 유닛(1110)에 의해 수행될 수 있다. 후속하는 발명을 실시하기 위한 구체적인 내용에서, 예를 들기 위하여 도 10 및 도 11 의 특정한 구성 요소들을 참조한다. 그러나, 다른 구현형태들이 가능하고 예시적인 방법을 구현하기 위하여 다른 컴포넌트들이 이용될 수 있다는 것이 이해될 것이다. 단계 1242 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 이미지 센서(210)로부터의 이동 경로의 방향에 따라 이미지 스트림을 획득할 수 있다. 단계 1244 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 포지셔닝 시스템(1014)(또는 위치 기초 서비스 회로(1134))로부터 위치 정보를 획득할 수 있다. 일 예로서, 위치 정보는 사용자(100)의 위치 정보, 목적지까지의 이동 루트와 연관된 위치 정보를 포함할 수 있다. 단계 1246 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 상기 터치-감응 디스플레이(300) 상에, 획득된 이미지 스트림을 실시간으로 제공할 수 있다. 단계 1248 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 터치-감응 디스플레이(300) 상에, 시각적 표시자를 실시간 이미지 스트림의 디스플레이와 동시에 제공할 수 있다. 일 예에서, 이러한 실시예에서 시각적 표시자는 회전 방향과 연관될 수 있다. 다른 예에서, 이러한 실시예에서 시각적 표시자는 사용자(100) 근처에 위치된 장소와 연관될 수 있다.
도 13e 는 개시된 실시예에 따른 에지 카메라 어셈블리의 하나의 예시적인 사용예의 개략도이다. 획득된 이미지 스트림(1312)은 터치-감응 디스플레이(300)의 일부 상에 디스플레이된다. 더 나아가, 목적지까지의 회전 방향을 나타내는 시각적 표시자(1352)는 획득된 이미지 스트림(1312)의 상단에 오버레이된다.
도 12d 는 본 발명의 예시적인 실시예에 따른, 사용자(100)에게 증강 현실을 제공하기 위한 예시적인 방법(1260)을 나타낸다. 이러한 방법(1260)은, 예를 들어 획득된 이미지 스트림을 게임 그래픽과 결합함으로써 증강 현실을 제공하는 게임에서 사용될 수 있다. 일 실시예에서, 방법(1260)의 단계들 전부는 도 10 에 도시된 모바일 디바이스(102)에 의해 수행될 수 있다. 다른 실시예에서, 방법(1260)의 단계들 전부는 도 11 에 도시된 센서 유닛(1110)에 의해 수행될 수 있다. 후속하는 발명을 실시하기 위한 구체적인 내용에서, 예를 들기 위하여 도 10 및 도 11 의 특정한 구성 요소들을 참조한다. 그러나, 다른 구현형태들이 가능하고 예시적인 방법을 구현하기 위하여 다른 컴포넌트들이 이용될 수 있다는 것이 이해될 것이다. 단계 1262 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 이미지 센서(210)로부터의 이동 경로의 방향에 따라 이미지 스트림을 획득할 수 있다. 단계 1264 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 상기 터치-감응 디스플레이(300) 상에, 획득된 이미지 스트림을 실시간으로 제공할 수 있다. 단계 1266 에서, 처리 디바이스(1005)(또는 제어 회로(1132))는 터치-감응 디스플레이(300) 상에 시각적 표시자를 제공할 수 있다. 예시적인 게임에서, 시각적 표시자는 획득된 이미지 스트림의 위에 오버레이된 게임 캐릭터일 수 있다.
도 13e 는 개시된 실시예에 따른 에지 카메라 어셈블리의 하나의 예시적인 사용예의 개략도이다. 획득된 이미지 스트림(1312)은 터치-감응 디스플레이(300)의 일부 상에 디스플레이된다. 더 나아가, 게임 캐릭터를 나타내는 시각적 표시자(1362)는 획득된 이미지 스트림(1312)의 위에 오버레이된다. 게임 캐릭터는 대화형 사용자 애플리케이션 윈도우(306) 상에 디스플레이된 애플리케이션과 연관될 수도 연관되지 않을 수도 있다.
도 14 는 개시된 실시예에 따른 에지 카메라 어셈블리의 하나의 예시적인 사용예의 개략도이다. 이러한 예에서, 에지 카메라 어셈블리는 이미지를 실행중인 애플리케이션에 "끌어다 놓기"하는 것을 가능하게 한다. 구체적으로 설명하면, 에지 카메라 어셈블리는 모바일 디바이스(102)에서 사용되도록 구성되는 컴퓨터-판독가능 매체와 연관될 수 있다. 컴퓨터-판독가능 매체는, 처리 디바이스(1005)에 의해 실행되면 처리 디바이스(1005)가: 사용자(100)가 이동 경로를 따라 이동하면 적어도 하나의 이미지 센서(210)로부터 사용자(100)의 환경으로부터의 실시간 이미지 스트림을 수신하는 단계; 터치-감응 디스플레이(300) 상에 실시간 이미지 스트림을 제공하는 단계; 및 터치-감응 디스플레이(300) 상에 실시간 이미지 스트림과 동시에 대화형 사용자 애플리케이션을 제공하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함한다. 예를 들어, 모바일 디바이스(102)는 대화형 사용자 애플리케이션 윈도우(306)와 동시에 실시간 이미지 스트리밍 윈도우(304)를 제공할 수 있다. 이러한 실시예에서 단계들은: 터치-감응 디스플레이(300)를 사용하는 사용자(100)가 실시간 이미지 스트림과 연관된 지역을 터치하고, 실시간 이미지 스트림의 적어도 하나의 프레임(1400)이 대화형 사용자 애플리케이션으로 전송되게 하는 단계; 및 이러한 적어도 하나의 프레임(1400)을 수반하는 대화형 사용자 애플리케이션에서 동작을 실행하는 단계를 더 포함한다.
관련된 실시예에서, 대화형 사용자 애플리케이션은 메시징 애플리케이션일 수 있고, 명령은 메시지를 원격 수신자에게 전송하는 것을 포함하는데, 메시지는 적어도 하나의 프레임(1400)을 포함한다. 일 실시예에서, 적어도 하나의 프레임(1400)은 적어도 하나의 이미지 센서(210)에 의해 캡쳐된 단일 프레임, 예를 들어 이미지일 수 있다. 다른 실시예에서, 적어도 하나의 프레임(1400)은 캡쳐된 다수의 프레임, 예를 들어 적어도 하나의 이미지 센서(210)에 의해 캡쳐된 라이브 비디오 스트림일 수 있다. 이러한 실시예의 제안된 구현형태에서, 터치는 실시간 스트림과 연관된 지역(예를 들어, 이미지 스트리밍 윈도우(304))으로부터 대화형 사용자 애플리케이션과 연관된 지역(예를 들어, 대화형 사용자 애플리케이션 윈도우(306))으로의 끌어다놓기 동작 이후에 적어도 하나의 프레임(1400)을 선택하기 위해서 GUI 피쳐(1402)를 누르는 것을 포함할 수 있다. 또한, 명령은, 실시간 스트림을 버퍼링하는 단계 및 실시간 이미지 스트림의 버퍼링된 부분이 메시징 애플리케이션을 통해 송신되게 하는 방식으로 사용자(100)가 상기 터치-감응 디스플레이(300)와 상호작용하게 하는 단계를 더 포함할 수 있다.
도 15 는 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다. 모바일 디바이스(102)의 홀딩 배향이 사람마다 다를 수 있기 때문에, 각각의 사용자의 가시 범위의 관련된 부분도 역시 달라진다. 그러므로, 본 발명의 다른 실시예에서, 사용자(100)의 직접 경로(immediate path)의 이미지가 터치-감응 디스플레이(300) 상에 제공되게 하도록, 모바일 디바이스(102)의 각도 배향을 정정하는 조절가능한 윈도우를 제공하기 위한 방법이 제공된다. 조절가능한 윈도우는 또한, 사용자(100)가 실시간 이미지 스트리밍 윈도우(304)에서 바라보는 가시 범위를 선택하는 자유를 가지게 한다. 예를 들어, 실시간 이미지 스트리밍 윈도우(304) 상의 핀치 제스처를 사용하거나 특정 GUI 피쳐를 사용하면, 사용자(100)는 제공될 이미지 데이터를 선택할 수 있다. 이미지 데이터의 선택은 수신된 이미지 데이터를 크롭하는 것으로 간주될 수 있다. 구체적으로 설명하면, 에지 카메라 어셈블리는 모바일 디바이스(102)에서 사용되도록 구성되는 컴퓨터-판독가능 매체와 연관될 수 있다. 컴퓨터-판독가능 매체는, 처리 디바이스(1005)에 의해 실행되면 처리 디바이스(1005)가, 사용자(100) 이동 경로(1500)를 따라 이동하면 적어도 하나의 이미지 센서(210)로부터 사용자(100)의 환경을 나타내는 이미지 데이터를 수신하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함한다. 이미지(1502)는 이미지 센서(210)로부터 수신되는 이미지 데이터의 일 예이다.
이러한 단계는 모바일 디바이스(102) 상에서의 실시간 디스플레이를 위한 이미지 데이터로부터 가시 범위 윈도우(1504)를 선택하는 것을 포함할 수 있다. 가시 범위 윈도우(1504)를 선택하는 것은, 사용자가 가시 범위 윈도우를 선택하게 하는 제어부로부터 사용자 입력을 검출함으로써, 사용자(100)에 의해 수동으로 실행될 수 있다. 또는, 선택하는 것은 모바일 디바이스(102)의 각도 배향을 검출하는 것 및 각도 배향에 기초하여 가시 범위 윈도우(1504)를 자동으로 조절하는 것을 포함할 수 있다. 또한, 선택하는 것은, 사용자(100)가 이동 경로(1500)를 따라 이동할 때 모바일 디바이스(102)의 이동 패턴을 검출하는 것 및 모바일 디바이스(102)의 이동을 보상하도록 가시 범위 윈도우(1504)를 자동으로 조절하는 것을 포함할 수 있다. 일 예에서, 선택된 가시 범위 윈도우(1504)는 이동 경로(1500)에 대응할 수 있다. 이러한 단계는, 터치-감응 디스플레이(300) 상에 대화형 사용자 애플리케이션 윈도우(306)와 동시에 선택된 가시 범위 윈도우(1504)를 제공하는 것, 및 터치-감응 디스플레이(300) 상의 프리젠테이션으로부터 가시 범위 윈도우 밖의 이미지 데이터를 생략하는 것을 더 포함할 수 있다. 본 발명에 따르면, 이러한 명령은 가시 범위 윈도우(1504)를 실시간으로 조절하는 것을 더 포함할 수 있다.
도 16 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다. 이러한 예에서, 에지 카메라 어셈블리는 모바일 디바이스(102)가 간단한 제스쳐를 사용하여 세 개(또는 그 이상)의 카메라 입력들 사이에서 스위치하게 한다. 구체적으로 설명하면, 에지 카메라 어셈블리는 하나 이상의 이미지 센서(210)를 포함할 수 있고, 모바일 디바이스(102)에서 사용되도록 구성되는 컴퓨터-판독가능 매체와 연관될 수 있다. 컴퓨터-판독가능 매체는, 처리 디바이스(1005)에 의해 실행되면 처리 디바이스(1005)가: 제1 이미지 센서(예를 들어, 제1 광축(예를 들어, 제1 방향에서 연장되는 광축(600))을 가지는 이미지 센서(210)로부터 제1 실시간 이미지 스트림(1600)을 수신하는 단계; 제2 이미지 센서(예를 들어, 제2 광축(예를 들어, 제1 방향과 다른 제2 방향에서 연장되는 광축(700))을 가지는 제1 추가 이미지 센서(310))로부터 제2 실시간 이미지 스트림(1602)을 수신하는 단계; 및 제3 이미지 센서(예를 들어, 제3 광축(예를 들어, 제1 방향과 제2 방향과 다른 제3 방향에서 연장되는 광축(702))을 가지는 제2 추가 이미지 센서(312))로부터 제3 실시간 이미지 스트림(1604)을 수신하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함한다. 앞선 논의에서, 이러한 방법은 모바일 디바이스(102)와 연관된 세 개 모두의 이미지 센서(210)로부터 이미지 데이터를 수신하는 단계를 포함한다; 그러나, 당업자는 이러한 실시예가 더 적은 카메라를 가지고도 동작할 것이라는 것을 이해할 것이다.
이러한 단계는: 모바일 디바이스(102) 상에 디스플레이하기 위한 제1 실시간 이미지 스트림(1602)으로부터 가시 범위 윈도우를 결정하는 단계; 터치-감응 디스플레이(300) 상에 결정된 가시 범위 윈도우(예를 들어, 선택된 가시 범위 윈도우(1504))에 대응하는 실시간 프리젠테이션을 제공하는 단계; 및 터치-감응 디스플레이(300)와의 사용자의 상호작용에 응답하여 가시 범위 윈도우(1504)를 조절하는 단계를 포함할 수 있는데, 조절하는 것은: 제1 실시간 이미지 스트림(1600)으로부터 새로운 가시 범위 윈도우(1504)를 선택하는 것; 새로운 가시 범위 윈도우(1504)를 제2 실시간 이미지 스트림(1602)으로부터 선택하는 것; 및 새로운 가시 범위 윈도우(1504)를 제3 실시간 이미지 스트림(1604)으로부터 선택하는 것 중 적어도 하나를 포함한다. 일 실시예에서, 가시 범위 윈도우(1504)를 조절하는 것은 디스플레이 상에서의 연속 동작을 포함한다. 연속 동작은 두 개의 별개의 방향에 따를 수 있고, 제1 방향에 따른 제1 이동은 실시간 이미지 스트림의 가시 범위 윈도우를 변경시키고, 제2 방향에 따른 제2 이동은 실시간 이미지 스트림의 소스를 변경시킨다.
도 17 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다. 이러한 예에서, 에지 카메라 어셈블리는 모바일 디바이스(102)가 가로지르는 광축을 따라서 캡쳐된 양방향 이미지 데이터를 제공, 저장, 및/또는 공유할 수 있게 한다. 예를 들어, 사용자(100)의 전방 환경의 비디오가 사용자의 얼굴의 이미지와 동시에 캡쳐될 수 있다. 구체적으로 설명하면, 에지 카메라 어셈블리는 가로축들에 따라서 캡쳐된 양방향 비디오 스트림을 디스플레이하기 위하여 모바일 디바이스(102)와 연관될 수 있다. 모바일 디바이스(102)는 상면(202), 하면(204), 및 측면 에지(예를 들어, 에지면(206)을 가지는 하우징(200)을 포함할 수 있다. 모바일 디바이스(102)는 상면(202)에 위치된 터치-감응 디스플레이(300), 모바일 디바이스(102)가 터치-감응 디스플레이(300)를 시청하는 사용자(100)의 손에 홀딩되면 사용자(100)의 얼굴을 캡쳐하도록 구성되는 방식으로, 상면(202)에서 멀어지는 제1 방향으로 연장되는 제1 광축을 가지는 제1 이미지 센서(예를 들어, 제1 추가 이미지 센서(310))를 더 포함할 수 있다. 모바일 디바이스는, 모바일 디바이스(102)가 터치-감응 디스플레이(300)를 시청하는 사용자(100)의 손에 홀딩되면 사용자(100)의 이동 경로(1500)를 캡쳐하도록 구성되는 방식으로, 측면 에지에 적어도 부분적으로 임베딩되고 측면 에지로부터 멀어지는 제2 방향에서 연장되는 제2 광축을 가지는 제2 이미지 센서(예를 들어, 이미지 센서(210))를 더 포함할 수 있는데, 제1 방향은 제2 방향을 가로지른다. 모바일 디바이스(102)는 적어도 하나의 프로세서(예를 들어, 처리 디바이스(1005))를 더 포함할 수 있는데, 프로세서는: 제1 이미지 센서로부터 사용자(100)의 얼굴의 제1 실시간 이미지 스트림을 획득하고; 제2 이미지 센서로부터 이동 경로(1500)의 제2 실시간 이미지 스트림을 획득하며; 실시간으로 터치-감응 디스플레이(300) 상에, 사용자(100)의 얼굴 및 이동 경로(1500)의 양방향 프리젠테이션을 제공하도록 프로그램된다.
관련된 실시예에서, 양방향 프리젠테이션은 제1 이미지 스트림을 위한 제1 윈도우(1700) 및 제2 이미지 스트림을 위한 제2 윈도우(1702)를 포함할 수 있다. 실시간 이미지 스트리밍 윈도우(304)에 관련된 앞선 논의에 추가하여, 제1 윈도우(1700) 및 제2 윈도우(1702) 중 적어도 하나는 터치-감응 디스플레이(300)와의 상호작용을 통하여 크기가 조절될 수 있다. 예를 들어, 제2 윈도우(1702)는 터치-감응 디스플레이(300)의 약 15%, 30%, 또는 50%일 수 있다. 또한, 제1 윈도우(1700) 및 제2 윈도우(1702) 중 적어도 하나의 위치는 터치-감응 디스플레이와의 터치 상호작용을 통해 이동될 수 있다. 관련된 다른 실시예에서, 적어도 하나의 프로세서는 양방향 프리젠테이션을 규정된 시간 기간동안 저장하고, 실시간 양방향 프리젠테이션을 원격 수신자에게 무선으로 통신하며, 실시간 양방향 프리젠테이션을 서버에 무선으로 업로드하고, 및/또는 양방향 프리젠테이션이 대화형 사용자 애플리케이션으로 전달되게 할 수 있다. 또한, 적어도 하나의 프로세서는, 양방향 프리젠테이션과 연관된 지역으로부터 대화형 사용자 애플리케이션과 연관된 지역으로의 끌어다놓기 동작이 식별되면 양방향 프리젠테이션을 전달할 수 있다.
도 18 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다. 이러한 예에서, 에지 카메라 어셈블리를 자기-활성화하기 위한 방법이 제공된다. 예를 들어, 처리 디바이스(1005)가 모바일 디바이스(102)가 적절한 배향에서(예컨대 홀딩을 표시하는 틸트각에서) 순방향 이동 중이라는 신호를 수신하면, 처리 디바이스(1005)는 에지 카메라 어셈블리를 자동으로 활성화하고 이미지 데이터가 터치-감응 디스플레이(300) 상에 나타나게 할 수 있다. 구체적으로 설명하면, 에지 카메라 어셈블리는 모바일 디바이스(102)에서 사용되도록 구성되는 컴퓨터-판독가능 매체와 연관될 수 있다. 컴퓨터-판독가능 매체는 처리 디바이스(1005)에 의해 실행되면 처리 디바이스(1005)가 후속하는 단계들을 수행하게 하는 명령을 포함한다. 단계 1800 은 모바일 디바이스(102) 내의 적어도 하나의 센서로부터 모바일 디바이스(102)가 순방향 운동 중이라는 제1 표시를 수신하는 것을 포함한다. 일 실시예에서, 적어도 하나의 센서는 가속도계를 포함할 수 있고, 제1 표시는 가속도에 관련된 척도를 포함한다. 예를 들어, 제1 표시는 미리 결정된 시간 기간보다 더 오랫동안 식별된 약 1 km/h 내지 약 35 km/h의 속도 이다. 단계 1804 는 모바일 디바이스(102) 내의 적어도 하나의 센서로부터 모바일 디바이스(102) 내의 이미지 센서가 이미지 캡쳐를 위해 배향된다(예를 들어, 이미지 센서(210))는 제2 표시를 수신하는 것을 포함한다. 일 실시예에서, 적어도 하나의 센서는 틸트를 검출하는 센서를 포함하는데, 제2 표시는 모바일 디바이스(102)의 틸트각에 대응한다. 예를 들어, 틸트각은 모바일 통신 디바이스의 사용자가 보행하는 표면에 상대적으로 약 0° 내지 약 45°일 수 있다. 또는, 적어도 하나의 센서는 근접 센서를 포함할 수 있고, 제2 표시는 적어도 하나의 이미지 센서(210)가 가로막히지 않는지 여부를 반영한다. 단계 1806 에서 그리고 제1 표시 및 제2 표시 양자 모두에 응답하여, 이러한 방법은 순방향 경로 이미지의 실시간 프리젠테이션이 자동으로 터치-감응 디스플레이(300) 상에 제공되게 하는 것을 포함한다.
관련된 실시예에서, 명령은, 모바일 디바이스(102)의 속도가 미리 결정된 임계를 초과하는 것으로 검출되면, 모바일 디바이스(102)의 틸트각이 미리 결정된 범위 내에 있으면, 모바일 디바이스(102)의 속도가 미리 결정된 임계 아래에 속하는 것으로 검출되면, 및/또는 모바일 디바이스(102)의 속도가 미리 결정된 임계를 초과하는 것으로 검출되면 자동 캡쳐가 이루어지게 하도록 구성된다. 또한, 명령은 사용자(100)가 이미지 캡쳐를 위한 미리 결정된 임계를 선택하게 하도록 구성되는데, 미리 결정된 임계는 모바일 디바이스(102)의 속도 및 배향 중 적어도 하나를 포함한다. 일 실시예에서, 명령은, 터치-감응 디스플레이(300)가 액티브 상태인지 여부를 검출하는 것, 및 순방향 경로 이미지의 실시간 프리젠테이션이 액티브 디스플레이의 검출의 조합에 응답하여 그리고 제1 표시 및 제2 표시 양자 모두에 응답하여 자동으로 터치-감응 디스플레이(300) 상에 제공되게 하는 것을 더 포함한다. 다른 실시예에서, 명령은, 모바일 디바이스(102)의 배터리 상태가 미리 정의된 임계보다 높은지 여부를 결정하는 것, 및 배터리 상태가 미리 정의된 임계 보다 높다는 결정의 조합에 응답하여 그리고 제1 표시 및 제2 표시 양자 모두에 응답하여 순방향 경로 이미지의 실시간 프리젠테이션이 자동으로 터치-감응 디스플레이(300) 상에 제공되게 하는 것을 더 포함한다.
도 19 는 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다. 이러한 예에서, 에지 카메라 어셈블리는 하나의 이미지 센서가 두 방향으로부터 이미지 데이터를 캡쳐하기 위해 사용될 수 있도록 모바일 디바이스(102)의 케이스 내에 통합된다. 도 19 에 도시된 바와 같이, 다중-방향성 카메라가 모바일 디바이스(102)의 베젤 내에 임베딩될 수 있다. 구체적으로 설명하면, 이미지 캡쳐 케이스가 이러한 실시예에서 제공된다. 이미지 캡쳐 케이스는 상향 디스플레이면(예를 들어, 터치-감응 디스플레이(300)) 및 마주보는 하면(예를 들어, 하면(204))을 포함할 수 있다. 이미지 캡쳐 케이스는 모바일 디바이스(102)의 적어도 일부를 둘러싸기 위한 하우징(200), 이미지 센서(210), 및 이미지 센서(210)로부터, 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 이송하기 위한 회로부를 포함할 수 있다. 이러한 실시예에서, 이미지 센서(210)는 하우징(200) 내에 탑재되고, 제1 방향에서 연장되는 제1 광축 및 제1 방향과 다른 제2 방향에서 연장되는 제2 광축을 가질 수 있는데, 제1 광축은 모바일 디바이스(102)가 하우징(200)에 의해 보관되면 하면에 대해 고정된 둔각으로 배향되도록 구성된다. 이러한 실시예에 따르면, 이미지 센서(210)는, 이미지 센서(210)가 주변 에지로부터 연장되는 제1 방향 및 상향 디스플레이면으로부터 연장되는 제2 방향에서 이미지 데이터를 캡쳐할 수 있게 하도록 하우징(200) 내에 임베딩된 광학 장치(1900)와 연관될 수 있다. 제1 구성에서, 제1 광축과 제2 광축 사이의 각도는 둔각일 수 있다. 제2 구성에서, 제1 광축과 제2 광축 사이의 각도는 예각일 수 있다. 이러한 각도들의 예가 도 6 내지 도 9 를 참조하여 전술되었다.
도 20 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다. 이러한 예에서, 에지 카메라 어셈블리는 모바일 디바이스(102)가 사용자(100)의 활동에 기초하여 가시 범위 윈도우(1504)를 변경하게 한다. 예를 들어, 자전거 상에 탑재된 모바일 디바이스는 걷고 있는 사용자의 가시 범위와는 다른 가시 범위 윈도우를 요구할 수 있다. 이러한 실시예에서, 사용자의 활동을 검출하고 검출된 활동에 기초하여 가시 범위 윈도우를 변경하기 위한 방법이 제공된다. 구체적으로 설명하면, 에지 카메라 어셈블리는 모바일 디바이스(102)에서 사용되도록 구성되는 컴퓨터-판독가능 매체와 연관될 수 있다. 컴퓨터-판독가능 매체는, 처리 디바이스(1005)에 의하여 실행되면 처리 디바이스(1005)가: 사용자(100)가 이동 경로(1500)를 따라 이동하면 이미지 센서(210)로부터 사용자(100)의 환경을 나타내는 이미지 데이터를 수신하는 단계; 및 적어도 하나의 센서로부터 사용자(100)가 수반된 활동을 반영하는 정보를 수신하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함한다. 활동을 반영하는 정보는 속도의 표시, 가속도의 표시, 및/또는 모바일 디바이스(102)의 틸트각의 표시를 포함할 수 있다. 복수 개의 활동은: 걷기(2000), 자전거 타기(2002), 차량 운전(2004), 모터사이클 타기(2006), 및 세그웨이, 스쿠터, 호버보드 등의 임의의 다른 전동 차량을 타는 것 중 적어도 두 가지를 포함할 수 있다. 이러한 실시예의 단계들은: 메모리에서 복수 개의 활동의 표시자 및 각각의 활동과 연관된 연관 가시 범위 윈도우를 선택하는 단계; 모바일 디바이스(102) 상에서의 실시간 디스플레이를 위한 가시 범위 윈도우(1504)를 선택하는 단계 - 선택된 가시 범위 윈도우는 사용자(100)가 현재 관련되는 활동과 연관됨 -; 및 선택된 가시 범위 윈도우를 모바일 통신 디바이스의 디스플레이에 적용하는 단계를 더 포함한다. 일 실시예에서, 가시 범위 윈도우(1504)를 선택하는 것은, 이미지 인식 알고리즘을 실행하여 가시 범위 윈도우(1504)로부터 사용자(100)의 경로와 연관된 경계를 벗어나는 이미지 데이터를 제외하는 것을 수반할 수 있다.
도 21 은 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다. 현재, 온라인 맵 서비스(예를 들어, 구글 맵 스트리트 뷰)는 이미 오래 지난 이미지를 제공한다. 이것은, 온라인 맵을 보유한 회사가 스트리트 뷰 이미지를 수 개월 또는 수 년 마다 한 번씩만 캡쳐할 수 있기 때문이다. 그러나, 에지 카메라 어셈블리가 있는 모바일 디바이스(102)를 계속 사용하는 사용자의 커뮤니티는 그들 주위의 이미지를 계속 캡쳐할 수 있다. 이러한 정보는, 온라인 맵 서비스를 거리뷰로 훨씬 더 빈번하게 업데이트하고 및/또는 사용자의 커뮤니티의 환경의 3D 스캐닝 인덱스를 크라우드-소싱하기 위해 사용될 수 있다. 일 예에서, 모바일 디바이스(102)의 에지 내에 임베딩된 복수 개의 이미지 센서(210)로부터 집합된 이미지 데이터를 사용한, 스트리트 뷰 맵 및/또는 3D 스캐닝 인덱스의 크라우드 소싱된 생성을 위한 시스템이 제공된다. 시스템은 지리적 영역의 스트리트 뷰 맵 및/또는 3D 스캐닝 인덱스를 유지하도록 구성되는 처리 디바이스(1005)를 포함하는데, GPS 좌표는 스트리트 뷰 맵 및/또는 3D 스캐닝 인덱스 상의 위치와 연관된다. 처리 디바이스(1005)는: 복수의 사용자(100)의 복수 개의 모바일 디바이스(102)의 에지 내에 임베딩된 복수 개의 이미지 센서(210)로부터 이미지 데이터(예를 들어, 실시간으로, 또는 추후에 수신될 수 있는 스트리트 뷰 이미지)를 수신하고; 복수 개의 모바일 디바이스(102) 각각으로부터 수신된 이미지 데이터와 연관된 GPS 위치를 수신하도록 더 구성된다. 그 이후에, 처리 디바이스(1005)는, 수신된 스트리트 뷰 이미지와 연관된 GPS 위치가 스트리트 뷰 맵 및/또는 3D 스캐닝 인덱스 상의 GPS 위치에 대응하면 스트리트 뷰 맵 및/또는 3D 스캐닝 인덱스를 복수 개의 이미지 센서로부터의 수신된 이미지 데이터로써 업데이트할 수 있다.
관련된 실시예에서, 처리 디바이스(1005)는 모바일 디바이스(102)가 개인 정보를 가리도록 스트리트 뷰 이미지를 변경한 후에 복수 개의 이동 전화로부터 스트리트 뷰 이미지를 수신할 수 있다. 예를 들어, 처리 디바이스(1005)는 복수의 사용자(100)와 연관된 메타데이터 정보 없이 복수 개의 모바일 디바이스(102)로부터 스트리트 뷰 이미지를 수신할 수 있다. 처리 디바이스(1005)는 특정한 관심 위치 및/또는 관심 영역의 이미지 도 요청할 수 있다. 또한, 처리 디바이스(1005)는 스트리트 뷰 이미지 각각과 연관된 타임 스탬프를 수신하고, 다수의 중첩하는 스트리트 뷰 이미지가 다수의 사용자(100)로부터 수신되는 경우, 최근 스트리트 뷰 이미지로 맵을 업데이트할 수 있다. 또한, 처리 디바이스(1005)는 다수의 사용자(100)로부터 수신된 다수의 중첩 스트리트 뷰 이미지를 통합하고, 통합된 스트리트 뷰 이미지로 맵을 업데이트할 수 있다. 후속하는 예는 이러한 실시예의 하나의 구현형태를 도시하는 도 21 에 도시된다. 이러한 예에서, 서버(2100)는, 데이터베이스 내의 상점(2102)의 현재의 스트리트 뷰 이미지가 업데이트되지 않는다고 결정할 수 있다. 그러면 서버(2100)는 상점(2102)의 업데이트된 이미지를 요청하는 표시를 모바일 디바이스(102)로 전송한다. 이미지 센서(210)를 사용하여, 사용자 개입이 없이 그리고 하나의 대안에서는 사용자 지식도 없이 모바일 디바이스(102)는 상점(2102)의 이미지를 캡쳐할 수 있다. 스트리트 뷰 이미지는 네트워크(2104)를 통하여 서버(2100)로 전송되고 그 이후에 온라인 맵 서비스(2108)에 업로드된다.
도 22 는 개시된 실시예에 따른 에지 카메라 어셈블리의 다른 예시적인 사용예의 개략도이다. 본 발명에 따르면, 이미지 센서(210)에 의해 캡쳐된 이미지 데이터와 상호작용할 수 있는 대화형 사용자 애플리케이션에 사용자(100)가 액세스하기 위한 편리한 방법을 제공하기 위한 컴퓨터-구현 방법이 제공된다. 일 예에서, 사용자(100)가 실시간 이미지 스트리밍 윈도우(304)에 위치된 GUI 피쳐(2200)를 누르면 다수의 대화형 사용자 애플리케이션과 연관된 복수 개의 아이콘(예를 들어, 아이콘(2202))이 실시간 이미지 스트리밍 윈도우(304)에 제공될 수 있다. 사용자(100)는 실시간 이미지 스트리밍 윈도우(304)에 어떤 아이콘을 디스플레이할지를 선택하는 옵션을 가질 수 있다. 일 실시예에서, 사용자(100)가 여러 대화형 사용자 애플리케이션과 연관된 아이콘 중 하나를 누른 후에, 대응하는 대화형 사용자 애플리케이션이 대화형 사용자 애플리케이션 윈도우(306)에서 열릴 수 있다. 이미지 센서(210)에 의해 캡쳐된 이미지 데이터와 상호작용하는 대화형 사용자 애플리케이션의 하나의 예가 도 14 를 참조하여 전술된다.
앞선 설명은 예를 들기 위해서 제공된 것이다. 이것은 망라적인 것이 아니고 개시된 구체적인 형태 또는 실시예로 한정되지 않는다. 개시된 실시예들의 상세한 설명과 실시를 고려하면, 변경예와 적응예들이 당업자에게 명백하게 떠오를 것이다. 또한, 비록 개시된 실시예의 양태들이 메모리에 저장되는 것으로 기술되지만, 당업자는 이러한 양태들이 다른 타입의 컴퓨터-판독가능 매체, 예컨대 이차 저장 디바이스, 예를 들어 하드 디스크 또는 CD ROM, 또는 다른 형태의 RAM 또는 ROM, USB 매체, DVD, 블루-레이, 또는 다른 광학적 드라이브 매체에도 저장될 수 있다는 것을 이해할 것이다.
상세한 설명과 개시된 방법에 기초한 컴퓨터 프로그램은 숙련된 개발자들의 기술에 속한다. 다양한 프로그램 또는 프로그램 모듈이 당업자에게 알려져 있는 기법 중 임의의 것을 사용하여 생성될 수 있고, 또는 현존 소프트웨어와 연계하여 설계될 수 있다. 예를 들어, 프로그램 섹션 또는 프로그램 모듈은 .Net 프레임워크, .Net 콤팩트 프레임워크(및 관련된 언어, 예컨대 비쥬얼 베이직, C, 등), 자바, C++, 객체지향-C, HTML, HTML/AJAX 조합, XML, 또는 포함된 자바 애플릿이 있는 HTML에서, 또는 이를 이용하여 설계될 수 있다.
더욱이, 예시적인 실시예들이 본 명세서에서 설명되었지만, 균등물 요소, 수정, 생략, 조합(예를 들어, 다양한 실시예들에 걸친 양태의 조합), 적응 및/또는 개조를 가지는 임의의 그리고 모든 실시예들의 범위가 본 발명에 기초하여 당업자들에게 이해될 것이다. 청구항의 한정은 청구항에서 채용된 언어에 기초하여 넓게 해석되어야 하고, 본 명세서에 또는 본 출원의 심사 중에 기술되는 예들로 한정되어서는 안 된다. 예들은 배타적이지 않은 것으로 해석되어야 한다. 더욱이, 개시된 방법의 단계들은, 단계들의 순서를 바꾸는 것 및/또는 단계를 삽입 또는 삭제하는 것을 포함하여 임의의 방식으로 변경될 수 있다. 그러므로, 명세서와 예들은 오직 예시인 것으로 여겨져야 하고, 참 범위 및 기술적 사상은 후속하는 청구항 및 그들의 균등물들의 전체 범위에 의해서 표시될 것이 의도된다.

Claims (180)

  1. 상향 디스플레이면 및 마주보는 하면을 가지는 핸드헬드 모바일 통신 디바이스를 위한 이미지 캡쳐 케이스로서,
    상기 핸드헬드 모바일 통신 디바이스의 적어도 일부를 둘러싸기 위한 하우징;
    상기 하우징 내에 탑재되고, 상기 핸드헬드 모바일 통신 디바이스가 상기 하우징에 의해 보관되면 상기 하면에 대해 고정된 둔각으로 배향되도록 구성되는 적어도 하나의 광축을 가지는 적어도 하나의 이미지 센서 - 상기 적어도 하나의 이미지 센서는, 상기 하우징이 보행 사용자(walking user)가 보행하는 평면에 대해 예각으로 상기 사용자에 의해 홀딩되면, 상기 적어도 하나의 광축이 일반적으로 상기 사용자의 보행 방향을 바라보도록 배향됨 -; 및
    상기 적어도 하나의 이미지 센서로부터, 상기 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 이송하기 위한 회로부를 포함하는, 이미지 캡쳐 케이스.
  2. 제 1 항에 있어서,
    상기 하우징은, 상기 핸드헬드 모바일 통신 디바이스의 추가 이미지 센서의 광축이 통과하게 하도록 구성되는 애퍼쳐를 내부에 포함하고,
    상기 추가 이미지 센서는 상기 하우징 내에 탑재된 상기 적어도 하나의 이미지 센서와 별개인, 이미지 캡쳐 케이스.
  3. 제 1 항에 있어서,
    상기 하우징은 상기 적어도 하나의 이미지 센서를 보유하기 위한 적어도 하나의 채널을 내부에 포함하고,
    상기 채널의 축은, 상기 핸드헬드 모바일 통신 디바이스가 하우징에 의해 보관되면 상기 하면의 일부에 대해 둔각으로 상기 하우징으로부터 연장되는, 이미지 캡쳐 케이스.
  4. 제 1 항에 있어서,
    상기 하우징은 주변 에지를 포함하고,
    상기 적어도 하나의 이미지 센서는 상기 주변 에지 내에 임베딩되는, 이미지 캡쳐 케이스.
  5. 제 1 항에 있어서,
    상기 이미지 캡쳐 케이스는 상기 핸드헬드 모바일 통신 디바이스에 통합되는, 이미지 캡쳐 케이스.
  6. 제 5 항에 있어서,
    상기 핸드헬드 모바일 통신 디바이스는, 상기 디스플레이면의 평면을 가로질러 지향되는 광축을 가지는 제1 추가 이미지 센서 및 상기 하면 아래에 임베딩된 제2 추가 이미지 센서를 더 포함하는, 이미지 캡쳐 케이스.
  7. 제 6 항에 있어서,
    상기 이미지 캡쳐 케이스는 적어도 하나의 프로세서를 더 포함하고, 상기 적어도 하나의 프로세서는,
    상기 회로부를 통해, 상기 적어도 하나의 이미지 센서, 상기 제1 추가 이미지 센서, 및 상기 제2 추가 이미지 센서로부터 이미지 데이터를 수신하고,
    상기 적어도 하나의 이미지 센서, 상기 제1 추가 이미지 센서, 및 상기 제2 추가 이미지 센서 중 적어도 두 개로부터 상기 디스플레이면 상에 동시 이미지 제공이 일어나게 하도록 구성되는, 이미지 캡쳐 케이스.
  8. 제 1 항에 있어서,
    상기 이미지 캡쳐 케이스는 상기 핸드헬드 모바일 통신 디바이스에 선택적으로 연결 및 분리가능하도록 구성되는, 이미지 캡쳐 케이스.
  9. 제 8 항에 있어서,
    상기 이미지 캡쳐 케이스는, 상기 핸드헬드 모바일 통신 디바이스가 상기 하우징에 거치되면 상기 핸드헬드 모바일 통신 디바이스 내의 포트와 전기적 콘택을 이루기 위한 커넥터를 더 포함하는, 이미지 캡쳐 케이스.
  10. 제 8 항에 있어서,
    상기 이미지 캡쳐 케이스는, 상기 적어도 하나의 이미지 센서에 급전하도록 구성되는 상기 하우징 내의 배터리를 더 포함하는, 이미지 캡쳐 케이스.
  11. 제 8 항에 있어서,
    상기 회로부는 전력 상기 핸드헬드 모바일 통신 디바이스 내의 배터리로부터 상기 적어도 하나의 이미지 센서로 전달하도록 더욱 구성되는, 이미지 캡쳐 케이스.
  12. 제 1 항에 있어서,
    상기 이미지 캡쳐 케이스는, 상기 적어도 하나의 이미지 센서와 연관된 상기 적어도 하나의 광축의 방향으로 실질적으로 조준된 방향성 마이크로폰을 더 포함하는, 이미지 캡쳐 케이스.
  13. 제 1 항에 있어서,
    상기 핸드헬드 모바일 통신 디바이스는 이동 전화 및 태블릿 중 적어도 하나인, 이미지 캡쳐 케이스.
  14. 핸드헬드 모바일 통신 디바이스로서,
    케이스;
    상기 케이스의 제1 면 상의 상향 디스플레이면;
    상기 케이스의 마주보는 제2 면 상의 상기 디스플레이면에 마주보는 하면;
    상기 케이스 내에 탑재되고, 상기 하면에 대해 고정된 둔각으로 배향되도록 구성되는 적어도 하나의 광축을 가지는 적어도 하나의 이미지 센서 - 상기 적어도 하나의 이미지 센서는, 상기 케이스가 보행 사용자(walking user)가 보행하는 평면에 대해 예각으로 상기 사용자에 의해 홀딩되면, 상기 적어도 하나의 광축이 일반적으로 상기 사용자의 보행 방향을 바라보도록 배향됨 -; 및
    상기 적어도 하나의 이미지 센서로부터, 상기 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 이송하기 위한 회로부를 포함하는, 핸드헬드 모바일 통신 디바이스.
  15. 제 14 항에 있어서,
    상기 핸드헬드 모바일 통신 디바이스는,
    상기 케이스의 제1 면 내에 임베딩되고, 상기 디스플레이면에서 멀어지는 제1 방향으로 바라보는 제1 추가 광축을 가지는 제1 추가 이미지 센서; 및
    상기 케이스의 제2 면 내에 임베딩되고 상기 하면에서 멀어지는 제2 방향으로 연장되는 제2 추가 광축을 가지는 제2 추가 이미지 센서를 더 포함하고,
    상기 적어도 하나의 이미지 센서는 상기 디스플레이면과 상기 하면 사이에 위치되는 상기 케이스의 에지 내에 적어도 부분적으로 임베딩되고,
    상기 적어도 하나의 이미지 센서의 상기 적어도 하나의 광축은 상기 에지에서 멀어지는 적어도 하나의 제3 방향으로 연장되며,
    상기 적어도 하나의 광축, 상기 제1 추가 광축, 및 상기 제2 추가 광축은 서로로부터 발산하는, 핸드헬드 모바일 통신 디바이스.
  16. 제 15 항에 있어서,
    상기 적어도 하나의 광축 및 상기 제2 추가 광축은 서로에 대해 예각으로 배향되는, 핸드헬드 모바일 통신 디바이스.
  17. 제 15 항에 있어서,
    상기 적어도 하나의 광축 및 상기 제1 추가 광축은 서로에 대해 둔각으로 배향되는, 핸드헬드 모바일 통신 디바이스.
  18. 상향 디스플레이면 및 마주보는 하면을 가지는 핸드헬드 모바일 통신 디바이스를 위한 착탈식 케이스로서,
    상기 핸드헬드 모바일 통신 디바이스의 적어도 일부를 둘러싸기 위한 하우징;
    상기 핸드헬드 모바일 통신 디바이스가 상기 하우징에 거치되면 상기 핸드헬드 모바일 통신 디바이스 내의 포트와 전기적 접속을 이루기 위한 커넥터;
    상기 하우징 내에 탑재되고, 상기 핸드헬드 모바일 통신 디바이스가 상기 하우징에 의해 보관되면 상기 하면에 대해 고정된 둔각으로 배향되도록 구성되는 적어도 하나의 광축을 가지는 적어도 하나의 이미지 센서 - 상기 적어도 하나의 이미지 센서는, 상기 하우징이 보행 사용자(walking user)가 보행하는 평면에 대해 예각으로 상기 사용자에 의해 홀딩되면, 상기 적어도 하나의 광축이 일반적으로 상기 사용자의 보행 방향을 바라보도록 배향됨 -; 및
    상기 적어도 하나의 이미지 센서로부터, 상기 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 이송하기 위한 회로부를 포함하는, 착탈식 케이스.
  19. 제 18 항에 있어서,
    상기 적어도 하나의 이미지 센서의 가시 범위는 180 도보다 큰, 착탈식 케이스.
  20. 제 18 항에 있어서,
    상기 적어도 하나의 이미지 센서는 복수 개의 이미지 센서를 포함하고,
    상기 복수 개의 이미지 센서 중 적어도 하나의 이미지 센서의 가시 범위는 상기 복수 개의 이미지 센서 중 다른 이미지 센서의 가시 범위와 중첩하는, 착탈식 케이스.
  21. 사용자가 디스플레이된 정보와 상호작용하는 동안 상기 사용자의 전방 환경의 실시간 뷰를 제공하기 위한 모바일 디바이스로서,
    일반적으로 중앙 축면(axial plane)을 가지는 하우징;
    상기 하우징의 제1 면 상의 터치-감응 디스플레이;
    상기 제1 면에 반대인 상기 하우징의 제2 면 상의 후면;
    상기 제1 면과 상기 제2 면 사이의 주변 에지면; 및
    상기 하우징 내에 고정되고 상기 하우징의 제1 면, 상기 하우징의 제2 면, 및 상기 중앙 축면 각각에 상대적으로 비-직교 각도인 고정된 광축을 가지는 적어도 하나의 이미지 센서를 포함하는, 모바일 디바이스.
  22. 제 21 항에 있어서,
    상기 적어도 하나의 이미지 센서는 적어도 부분적으로 상기 주변 에지면 내에 임베딩되는, 모바일 디바이스.
  23. 제 21 항에 있어서,
    상기 적어도 하나의 이미지 센서의 고정된 광축은 상기 중앙 축면에 상대적으로 약 5° 내지 약 80°의 각도에서 틸팅되는, 모바일 디바이스.
  24. 제 21 항에 있어서,
    상기 적어도 하나의 이미지 센서의 고정된 광축은 상기 중앙 축면에 상대적으로 약 10° 내지 약 70°의 각도에서 틸팅되는, 모바일 디바이스.
  25. 제 21 항에 있어서,
    상기 적어도 하나의 이미지 센서의 가시 범위는 60°보다 큰, 모바일 디바이스.
  26. 제 21 항에 있어서,
    상기 모바일 디바이스는,
    상기 하우징 내에 임베딩되고 상기 제1 면에서 멀어지는 제1 방향으로 연장되는 제1 추가 광축을 가지는 제1 추가 이미지 센서; 및
    상기 하우징 내에 임베딩되고 상기 제2 면에서 멀어지는 제2 방향으로 연장되는 제2 추가 광축을 가지는 제2 추가 이미지 센서를 더 포함하고,
    상기 적어도 하나의 이미지 센서의 광축은 상기 제1 추가 광축에 대해 고정된 둔각 및 상기 제2 추가 광축에 대해 고정된 예각으로 배향되는, 모바일 디바이스.
  27. 제 26 항에 있어서,
    상기 적어도 하나의 이미지 센서의 가시 범위는 제2 추가 이미지 센서의 가시 범위와 부분적으로 중첩하는, 모바일 디바이스.
  28. 제 27 항에 있어서,
    상기 모바일 디바이스는,
    상기 적어도 하나의 이미지 센서 및 상기 제2 추가 이미지 센서로부터의 이미지 데이터를 이어붙이도록 구성되는, 상기 하우징 내의 적어도 하나의 프로세서를 더 포함하는, 모바일 디바이스.
  29. 제 26 항에 있어서,
    상기 모바일 디바이스는 상기 하우징 내의 적어도 하나의 프로세서를 더 포함하고, 상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 이미지 센서, 상기 제1 추가 이미지 센서, 및 상기 제2 추가 이미지 센서로부터 이미지 데이터를 수신하고;
    상기 터치-감응 디스플레이 상에, 상기 적어도 하나의 이미지 센서, 상기 제1 추가 이미지 센서, 및 상기 제2 추가 이미지 센서로부터 수신된 이미지 데이터의 적어도 일부가 제공되게 하도록 구성되는, 모바일 디바이스.
  30. 제 29 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 이미지 센서, 상기 제1 추가 이미지 센서, 및 상기 제2 추가 이미지 센서 중 적어도 두 개로부터 이미지 데이터를 동시에 수신하고;
    상기 이미지 센서들 중 적어도 두 개로부터 상기 터치-감응 디스플레이 상에 동시 이미지 제공이 초래되게 하도록 더 구성되는, 모바일 디바이스.
  31. 제 21 항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 주변 에지면 내에 고정되게 배치된 제1 이미지 센서 및 제2 이미지 센서를 포함하는, 모바일 디바이스.
  32. 제 31 항에 있어서,
    상기 제1 이미지 센서의 가시 범위는 상기 제2 이미지 센서의 가시 범위와 부분적으로 중첩하는, 모바일 디바이스.
  33. 제 21 항에 있어서,
    상기 적어도 하나의 이미지 센서는 제1 방향에서 연장되는 제1 광축 및 상기 제1 방향과 다른 제2 방향에서 연장되는 제2 광축을 가지는 이미지 센서를 포함하고,
    상기 제1 광축은 상기 제1 면에 대해 고정된 둔각으로 배향되도록 구성되는, 모바일 디바이스.
  34. 제 33 항에 있어서,
    상기 제1 방향은 상기 주변 에지면으로부터 연장되고, 상기 제2 방향은 상기 제1 면으로부터 연장되는, 모바일 디바이스.
  35. 터치-감응 디스플레이를 가지는 모바일 디바이스를 위한 착탈식 케이스로서,
    상기 모바일 디바이스의 적어도 일부를 둘러싸기 위한 하우징 - 상기 하우징은 제1 면, 상기 제1 면에 반대인 제2 면, 상기 제1 면 및 제2 면을 상호연결하고 일반적으로 중앙 축면을 가지는 주변 에지면을 가짐 -;
    상기 모바일 디바이스가 상기 하우징에 거치되면 상기 모바일 디바이스 내의 포트와 전기적 접촉을 이루기 위한 커넥터;
    상기 하우징 내에 고정되고, 상기 하우징의 제1 면, 상기 하우징의 제 2 면, 및 중앙 축면 각각에 상대적으로 비-직교 각도인 고정된 광축을 가지는 적어도 하나의 이미지 센서; 및
    상기 적어도 하나의 이미지 센서로부터, 터치-감응 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 이송하기 위한 회로부를 포함하는, 착탈식 케이스.
  36. 제 35 항에 있어서,
    상기 회로부는, 대화형 사용자 애플리케이션 윈도우와 동시에 상기 모바일 디바이스의 사용자의 전방의 환경의 실시간 뷰를 상기 터치-감응 디스플레이 상에 제공하기 위하여, 상기 적어도 하나의 이미지 센서로부터 상기 이미지 데이터를 이송하도록 구성되는, 착탈식 케이스.
  37. 제 35 항에 있어서,
    상기 회로부는 상기 이미지 데이터를 무선 연결을 통해 이송하도록 구성되는, 착탈식 케이스.
  38. 제 35 항에 있어서,
    상기 회로부는 상기 이미지 데이터를 유선 연결을 사용하여 이송하도록 구성되는, 착탈식 케이스.
  39. 제 35 항에 있어서,
    상기 하우징은, 상기 모바일 디바이스 내에 임베딩된 추가 이미지 센서를 노출시키기 위한 개구를 내부에 포함하는, 착탈식 케이스.
  40. 제 39 항에 있어서,
    상기 적어도 하나의 이미지 센서의 가시 범위는 상기 모바일 디바이스 내에 임베딩된 상기 추가 이미지 센서의 가시 범위와 중첩하는, 착탈식 케이스.
  41. 순방향 이동 경로를 가로지르는 동안 아래를 바라보는 사용자에게 증강 현실을 제공하도록 구성되는 핸드헬드 통신 디바이스로서,
    상면, 하면, 및 측면 에지를 포함하는 하우징;
    상기 상면에 위치된 터치-감응 디스플레이;
    상기 터치-감응 디스플레이가 아래를 바라보는 사용자의 얼굴을 마주보면서 상기 핸드헬드 통신 디바이스가 상기 사용자의 손 안에 홀딩되면, 이미지 센서의 광축이 일반적으로 상기 이동 경로의 방향에서 연장되게 하는 배향으로 상기 하우징 내에 고정되게 임베딩된 상기 이미지 센서; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 이미지 센서로부터 이미지 스트림을 획득하고;
    획득된 이미지 스트림에서 사용자의 이동 경로에 있는 물체를 식별하며;
    식별된 물체에 대한 정보를 룩업하고;
    상기 터치-감응 디스플레이 상에 실시간으로, 식별된 물체를 포함하는 획득된 이미지 스트림을 제공하며;
    상기 터치-감응 디스플레이 상에 식별된 물체와 연관된 시각적 표시자를 제공하도록 프로그램되는, 핸드헬드 통신 디바이스.
  42. 제 41 항에 있어서,
    상기 시각적 표시자는 아이콘 또는 단어를 포함하는, 핸드헬드 통신 디바이스.
  43. 제 41 항에 있어서,
    상기 시각적 표시자는 상거래 청약에 대한 정보를 포함하는, 핸드헬드 통신 디바이스.
  44. 제 41 항에 있어서,
    상기 물체는 사람이고 룩업 정보는 사람의 이름을 포함하는, 핸드헬드 통신 디바이스.
  45. 제 41 항에 있어서,
    상기 물체는 판매 시설(sales establishment)이고, 상기 정보는 상기 판매 시설에서 이용가능한 제품 또는 서비스에 대한 세부사항을 포함하는, 핸드헬드 통신 디바이스.
  46. 제 41 항에 있어서,
    상기 적어도 하나의 프로세서는, 사용자가 상기 물체와의 충돌 코스에 있는지 여부를 결정하고, 충돌 코스의 경고를 생성하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  47. 제 46 항에 있어서,
    상기 경고는 촉각적 경고, 시각적 경고, 오디오, 또는 이들의 조합 중 적어도 하나를 포함하는, 핸드헬드 통신 디바이스.
  48. 제 41 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 터치-감응 디스플레이의 제1 부분 상에, 식별된 물체를 포함하는 획득된 실시간 이미지 스트림을 제공하고, 상기 터치-감응 디스플레이의 제2 부분에서, 획득된 실시간 이미지 스트림과 동시에 대화형 사용자 애플리케이션을 제공하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  49. 제 48 항에 있어서,
    상기 대화형 사용자 애플리케이션은 메시징 애플리케이션이고,
    상기 적어도 하나의 프로세서는,
    사용자가 획득된 이미지 스트림 중 적어도 하나의 이미지를 상기 메시징 애플리케이션을 통하여, 실시간으로 전송하게 하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  50. 제 41 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 시각적 표시자를 실시간 이미지 스트림 상에 오버레이하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  51. 제 41 항에 있어서,
    상기 시각적 표시자는, 상기 터치-감응 디스플레이와 상호작용하면 더 많은 정보가 이용가능하다는 표시를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 시각적 표시자와의 사용자의 상호작용에 응답하여 동작을 실행하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  52. 제 41 항에 있어서,
    상기 핸드헬드 통신 디바이스는 GPS 칩을 더 포함하고,
    상기 적어도 하나의 프로세서는,
    방향 유도 애플리케이션으로부터 목적지까지의 일련의 회전 방향(turn-by-turn direction)을 수신하고;
    터치-감응 디스플레이가 사용자의 얼굴과 마주보면서 사용자가 순방향 경로를 가로지르면, 상기 터치-감응 디스플레이 상에, 상기 이미지 센서로부터의 상기 획득된 실시간 이미지 스트림을 디스플레이하며;
    상기 GPS 칩으로부터 획득된 위치 정보를 사용하여, 상기 획득된 실시간 이미지 스트림의 디스플레이와 동시에, 상기 회전 방향과 연관된 적어도 하나의 시각적 표시자를 상기 터치-감응 디스플레이 상에 디스플레이하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  53. 제 52 항에 있어서,
    상기 핸드헬드 통신 디바이스는 나침반을 더 포함하고,
    상기 적어도 하나의 프로세서는, 상기 GPS 칩으로부터 획득된 위치 정보 및 상기 나침반으로부터 획득된 방향 정보를 사용하여 상기 적어도 하나의 시각적 표시자를 디스플레이하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  54. 제 52 항에 있어서,
    상기 회전 방향은 이동 루트와 연관되고,
    상기 적어도 하나의 시각적 표시자는 이동 루트에 따른 장소에 대한 정보를 포함하는, 핸드헬드 통신 디바이스.
  55. 제 52 항에 있어서,
    상기 적어도 하나의 시각적 표시자는 화살표, 나침반의 표현, 다음 회전까지의 거리를 나타내는 숫자, 판매 시설의 명칭, 및 도로명 중 적어도 하나를 포함하는, 핸드헬드 통신 디바이스.
  56. 터치-감응 디스플레이를 포함하는 핸드헬드 통신 디바이스를 위한 착탈식 케이스로서,
    하면, 상면, 및 이들 사이의 에지를 가지는 하우징;
    상기 터치-감응 디스플레이가 아래를 바라보는 사용자의 얼굴을 마주보면서 상기 핸드헬드 통신 디바이스가 상기 케이스에 보관되고 상기 아래를 바라보는 사용자의 손 안에 홀딩되면, 적어도 하나의 이미지 센서의 광축이 일반적으로 이동 경로의 방향에서 연장되게 하는 배향으로 상기 하우징 내에 임베딩된 상기 적어도 하나의 이미지 센서;
    상기 핸드헬드 통신 디바이스가 상기 케이스에 거치되면 상기 핸드헬드 통신 디바이스의 포트와 결속하도록 구성되는, 상기 하우징 내의 커넥터;
    상기 케이스 내에 임베딩되고, 상기 적어도 하나의 이미지 센서와 상기 커넥터 사이에서 연장되고 상기 적어도 하나의 이미지 센서와 상기 커넥터를 연결함으로써, 상기 적어도 하나의 이미지 센서로부터 상기 핸드헬드 통신 디바이스로의 실시간 이미지 스트리밍을 가능하게 하는 적어도 하나의 도관(conduit); 및
    시각적 표시자를 상기 실시간 이미지 스트림 상에 오버레이하기 위한 적어도 하나의 프로세서를 포함하는, 착탈식 케이스.
  57. 제 56 항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 커넥터에 반대인 에지의 일부 내에 임베딩되고,
    상기 적어도 하나의 도관은 상기 이미지 센서와 상기 커넥터 사이에서 상기 하우징을 가로지르는, 착탈식 케이스.
  58. 핸드헬드 통신 디바이스의 터치-감응 디스플레이를 아래로 바라보면서 순방향 이동 경로를 가로지르는 사용자에게 증강 현실을 제공하는 방법으로서,
    이미지 센서로부터 이미지 스트림을 획득하는 단계 - 상기 이미지 센서는, 상기 터치-감응 디스플레이가 아래를 바라보는 사용자의 얼굴을 마주보면서 상기 핸드헬드 통신 디바이스가 사용자의 손 안에 홀딩되면, 상기 이미지 센서의 광축이 일반적으로 상기 이동 경로의 방향에서 연장되게 하는 배향으로 상기 핸드헬드 통신 디바이스의 케이스 내에 고정되게 임베딩됨 -;
    획득된 이미지 스트림에서 상기 사용자의 이동 경로에 있는 물체를 식별하는 단계;
    식별된 물체에 대한 정보를 룩업하는 단계;
    상기 터치-감응 디스플레이 상에 실시간으로, 식별된 물체를 포함하는 획득된 이미지 스트림을 제공하는 단계; 및
    상기 터치-감응 디스플레이 상에 식별된 물체와 연관된 시각적 표시자를 제공하는 단계를 포함하는, 증강 현실 제공 방법.
  59. 제 58 항에 있어서,
    상기 케이스는 상기 핸드헬드 모바일 통신 디바이스에 통합되는, 증강 현실 제공 방법.
  60. 제 58 항에 있어서,
    상기 케이스는 상기 핸드헬드 모바일 통신 디바이스로부터 분리가능한, 증강 현실 제공 방법.
  61. 상향 디스플레이면 및 마주보는 하면을 가지는 핸드헬드 모바일 디바이스를 위한 이미지 캡쳐 케이스로서,
    핸드헬드 모바일 디바이스의 적어도 일부를 둘러싸기 위한 하우징;
    상기 하우징 내에 탑재되고, 제1 방향에서 연장되는 제1 광축 및 상기 제1 방향과 다른 제2 방향에서 연장되는 제2 광축을 가지는 적어도 하나의 이미지 센서 - 상기 제1 광축은 상기 핸드헬드 모바일 디바이스가 상기 하우징에 의해 보관되면 상기 하면에 대해 고정된 둔각으로 배향되도록 구성됨 -; 및
    상기 적어도 하나의 이미지 센서로부터, 상기 디스플레이면 상에서의 실시간 디스플레이를 위해 이미지 데이터를 전송하기 위한 회로부를 포함하는, 이미지 캡쳐 케이스.
  62. 제 61 항에 있어서,
    상기 이미지 캡쳐 케이스는 상기 핸드헬드 모바일 디바이스로부터 분리가능한, 이미지 캡쳐 케이스.
  63. 제 61 항에 있어서,
    상기 이미지 캡쳐 케이스는 상기 핸드헬드 모바일 디바이스에 통합되는, 이미지 캡쳐 케이스.
  64. 제 61 항에 있어서,
    상기 하우징은 주변 에지를 포함하고, 상기 제1 방향은 상기 주변 에지로부터 연장되며, 상기 제2 방향은 상기 상향 디스플레이면으로부터 연장되는, 이미지 캡쳐 케이스.
  65. 제 61 항에 있어서,
    상기 제1 광축과 상기 제2 광축 사이의 각도는 둔각인, 이미지 캡쳐 케이스.
  66. 제 61 항에 있어서,
    상기 제1 광축과 상기 제2 광축 사이의 각도는 예각인, 이미지 캡쳐 케이스.
  67. 제 61 항에 있어서,
    에지 내에 임베딩된 복수 개의 이미지 센서가 상기 하우징의 상측과 하측을 상호연결하는, 이미지 캡쳐 케이스.
  68. 제 61 항에 있어서,
    상기 핸드헬드 모바일 디바이스는 이동 전화 및 태블릿 중 적어도 하나인, 이미지 캡쳐 케이스.
  69. 제 61 항에 있어서,
    상기 회로부는 상기 이미지 데이터를 무선 연결을 통해 이송하도록 구성되는, 이미지 캡쳐 케이스.
  70. 제 61 항에 있어서,
    상기 회로부는 상기 이미지 데이터를 유선 연결을 사용하여 이송하도록 구성되는, 이미지 캡쳐 케이스.
  71. 핸드헬드 모바일 통신 디바이스로서,
    디스플레이;
    자신의 상면을 따라 디스플레이를 보관하기 위한 것이고, 상기 상면에 반대인 하면을 가지는 하우징 - 에지가 상기 상면과 상기 하면 사이에 위치됨 -;
    상기 상면 내에 임베딩되고 상기 상면에서 멀어지는 제1 방향으로 연장되는 제1 광축을 가지는 적어도 하나의 제1 이미지 센서;
    상기 하면 내에 임베딩되고 상기 하면에서 멀어지는 제2 방향으로 연장되는 제2 광축을 가지는 적어도 하나의 제2 이미지 센서;
    상기 에지 내에 적어도 부분적으로 임베딩되고 상기 에지에서 멀어지는 제3 방향으로 연장되는 제3 광축을 가지는 적어도 하나의 제3 이미지 센서 - 상기 제1 광축, 상기 제2 광축, 및 상기 제3 광축은 서로로부터 발산함 -; 및
    상기 적어도 하나의 제1 이미지 센서, 상기 적어도 하나의 제2 이미지 센서 및 상기 적어도 하나의 제3 이미지 센서로부터 이미지 데이터를 수신하고, 상기 디스플레이 상에, 상기 적어도 하나의 제1 이미지 센서, 상기 적어도 하나의 제2 이미지 센서, 및 상기 적어도 하나의 제3 이미지 센서로부터의 이미지 데이터의 제공을 가능하게 하기 위한, 상기 하우징 내의 적어도 하나의 프로세서를 포함하는, 핸드헬드 모바일 통신 디바이스.
  72. 제 71 항에 있어서,
    상기 제3 광축 및 상기 제2 광축은 서로에 대해 예각으로 배향되는, 핸드헬드 모바일 통신 디바이스.
  73. 제 71 항에 있어서,
    상기 제3 광축 및 상기 제1 광축은 서로에 대해 둔각으로 배향되는, 핸드헬드 모바일 통신 디바이스.
  74. 제 71 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 제1 이미지 센서, 상기 적어도 하나의 제2 이미지 센서, 및 상기 적어도 하나의 제3 이미지 센서 중 적어도 두 개로부터 이미지 정보를 동시에 수신하고;
    상기 이미지 센서들 중 적어도 두 개로부터 상기 디스플레이 상에 동시 이미지 제공이 초래되게 하도록 구성되는, 핸드헬드 모바일 통신 디바이스.
  75. 제 74 항에 있어서,
    상기 동시 이미지 제공은, 적어도 두 개의 이미지 센서로부터 이미지를 동시에 스트리밍하는 것을 포함하는, 핸드헬드 모바일 통신 디바이스.
  76. 제 71 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 제2 이미지 센서 및 상기 적어도 하나의 제3 이미지 센서에 의해 캡쳐된 이미지 데이터를 종합하고(aggregate), 종합된 이미지를 상기 디스플레이 상에 디스플레이하도록 더 프로그램되는, 핸드헬드 모바일 통신 디바이스.
  77. 제 71 항에 있어서,
    상기 하우징은, 상기 적어도 하나의 제3 이미지 센서에 상대적으로 마주보는 위치에 있는 적어도 하나의 제4 이미지 센서를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 적어도 하나의 제1 이미지 센서, 상기 적어도 하나의 제2 이미지 센서, 상기 적어도 하나의 제3 이미지 센서, 및 상기 적어도 하나의 제4 이미지 센서로부터의 이미지 데이터가 상기 디스플레이 상에 제공되게 할 수 있는, 핸드헬드 모바일 통신 디바이스.
  78. 제 71 항에 있어서,
    상기 디스플레이는 터치-감응식인, 핸드헬드 모바일 통신 디바이스.
  79. 상부 디스플레이면 및 마주보는 하면을 가지는 모바일 디바이스를 위한 이미지 캡쳐 케이스로서,
    상기 모바일 디바이스의 적어도 일부를 둘러싸기 위한 하우징 - 상기 하우징은 상측, 하측, 및 상기 상측과 상기 하측을 상호연결하는 에지를 가짐 -;
    상기 에지 내에 임베딩된 복수 개의 이미지 센서 - 상기 복수 개의 이미지 센서 각각은 광축을 가지고, 상기 모바일 디바이스가 상기 하우징에 의해 보관되면 각각의 광축이 상기 상부 디스플레이면 및 상기 하면에 수직인 축으로부터 발산함 -; 및
    상기 복수 개의 이미지 센서로부터 디스플레이로 이미지 데이터를 전달하기 위한 회로부를 포함하는, 이미지 캡쳐 케이스.
  80. 제 79 항에 있어서,
    상기 이미지 캡쳐 케이스는 상기 모바일 디바이스에 통합되는, 이미지 캡쳐 케이스.
  81. 제 80 항에 있어서,
    상기 모바일 디바이스는,
    상기 하우징의 상측으로부터 멀어지게 연장되는 광축을 가지는 제1 추가 이미지 센서 및 상기 하면 내에 임베딩된 제2 추가 이미지 센서를 더 포함하는, 이미지 캡쳐 케이스.
  82. 제 80 항에 있어서,
    상기 하우징의 상측은 상면과 실질적으로 일치하는, 이미지 캡쳐 케이스.
  83. 제 79 항에 있어서,
    상기 이미지 캡쳐 케이스는 상기 모바일 디바이스로부터 분리가능한, 이미지 캡쳐 케이스.
  84. 제 83 항에 있어서,
    상기 이미지 캡쳐 케이스는, 상기 모바일 디바이스가 상기 하우징에 거치되면 상기 모바일 디바이스 내의 포트와 전기적 연결을 이루기 위한 커넥터를 포함하는, 이미지 캡쳐 케이스.
  85. 제 83 항에 있어서,
    상기 하우징은, 하면 내에 임베딩된 추가 이미지 센서를 노출시키기 위한 개구를 내부에 포함하는, 이미지 캡쳐 케이스.
  86. 제 79 항에 있어서,
    상기 복수 개의 이미지 센서 각각은 연관된 가시 범위를 가지고,
    상기 복수 개의 이미지 센서 중 적어도 하나의 이미지 센서의 가시 범위는 상기 복수 개의 이미지 센서 중 다른 이미지 센서의 가시 범위와 중첩하는, 이미지 캡쳐 케이스.
  87. 제 86 항에 있어서,
    상기 모바일 디바이스는, 중첩 이미지 센서들 중 적어도 두 개로부터 이미지 정보를 수신하고, 적어도 두 개의 중첩 이미지 센서로부터의 이미지 정보를 통합하기 위한 적어도 하나의 프로세서를 더 포함하는, 이미지 캡쳐 케이스.
  88. 제 87 항에 있어서,
    통합하는 것은, 상기 적어도 두 개의 중첩 이미지 센서로부터의 이미지 정보를 이어붙이는 것을 포함하는, 이미지 캡쳐 케이스.
  89. 제 86 항에 있어서,
    상기 모바일 디바이스는, 상기 적어도 두 개의 중첩 이미지 센서로부터의 통합된 이미지 정보를 상기 디스플레이 상에 제공하도록 구성되는 적어도 하나의 프로세서를 더 포함하는, 이미지 캡쳐 케이스.
  90. 제 86 항에 있어서,
    상기 모바일 디바이스는, 상기 적어도 두 개의 중첩 이미지 센서로부터의 이미지 정보를 사용하여 가상 삼차원 이미지를 구축하도록 구성되는 적어도 하나의 프로세서를 더 포함하는, 이미지 캡쳐 케이스.
  91. 제 79 항에 있어서,
    상기 복수 개의 이미지 센서는 두 개의 이미지 센서를 포함하고, 제1 이미지 센서는 상기 하우징의 우상단 모서리 지역에 있고, 제2 이미지 센서는 상기 하우징의 좌상단 모서리 지역에 있는, 이미지 캡쳐 케이스.
  92. 제 79 항에 있어서,
    상기 복수 개의 이미지 센서는 세 개의 이미지 센서를 포함하고, 제1 이미지 센서는 상기 하우징의 상단 에지에 있고, 제2 이미지 센서는 상기 하우징의 우상단 모서리 지역에 있으며, 제3 이미지 센서는 상기 하우징의 좌상단 모서리 지역에 있는, 이미지 캡쳐 케이스.
  93. 제 79 항에 있어서,
    상기 에지 내에 임베딩된 복수 개의 이미지 센서는, 상단 에지 부분의 외향측(outward side)을 적어도 부분적으로 바라보는 광학 시야를 가지는 제1 이미지 센서, 우측 에지 부분의 외향(outward)을 적어도 부분적으로 바라보는 광학 시야를 가지는 제2 이미지 센서, 및 좌측 에지 부분의 외향을 적어도 부분적으로 바라보는 광학 시야를 가지는 제3 이미지 센서를 포함하는, 이미지 캡쳐 케이스.
  94. 제 79 항에 있어서,
    상기 회로부는 상기 이미지 데이터를 무선 연결을 통해 이송하도록 구성되는, 이미지 캡쳐 케이스.
  95. 제 79 항에 있어서,
    상기 회로부는 상기 이미지 데이터를 유선 연결을 사용하여 이송하도록 구성되는, 이미지 캡쳐 케이스.
  96. 모바일 통신 디바이스에서 사용되도록 구성되는 컴퓨터-판독가능 매체로서, 프로세서에 의하여 실행되면 상기 프로세서가:
    상기 모바일 통신 디바이스 내의 적어도 하나의 센서로부터 상기 모바일 통신 디바이스가 순방향 운동 중이라는 제1 표시를 수신하는 단계;
    상기 모바일 통신 디바이스 내의 적어도 하나의 센서로부터 상기 모바일 디바이스 내의 이미지 센서가 이미지 캡쳐를 위해 배향된다는 제2 표시를 수신하는 단계; 및
    상기 제1 표시 및 상기 제2 표시 양자 모두에 응답하여, 순방향 경로 이미지의 실시간 프리젠테이션이 상기 모바일 디바이스의 디스플레이 상에 자동으로 제공되게 하는 단계를 포함하는 단계들을 수행하게 하는 명령을 포함하는, 컴퓨터-판독가능 매체.
  97. 제 96 항에 있어서,
    상기 명령은, 순방향 경로 이미지의 실시간 프리젠테이션 중에, 추가적인 비-이미지 정보를 상기 디스플레이 상에 디스플레이하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  98. 제 96 항에 있어서,
    상기 적어도 하나의 센서는 가속도계를 포함하고, 상기 제1 표시는 가속도에 관련된 척도를 포함하는, 컴퓨터-판독가능 매체.
  99. 제 96 항에 있어서,
    상기 제1 표시는 미리 결정된 시간 기간 동안 측정된 약 2 km/h 내지 약 35 km/h의 속도인, 컴퓨터-판독가능 매체.
  100. 제 96 항에 있어서,
    상기 적어도 하나의 센서는 틸트를 검출하는 센서를 포함하고,
    상기 제2 표시는 상기 모바일 디바이스의 틸트각에 대응하는, 컴퓨터-판독가능 매체.
  101. 제 96 항에 있어서,
    틸트각은 상기 모바일 통신 디바이스의 사용자가 걷는 면에 상대적으로 약 0° 내지 약 45°인, 컴퓨터-판독가능 매체.
  102. 제 96 항에 있어서,
    상기 적어도 하나의 센서는 근접 센서를 포함하고,
    상기 제2 표시는 상기 적어도 하나의 이미지 센서가 가로막히지 않는지(unobstructed) 여부를 반영하는, 컴퓨터-판독가능 매체.
  103. 제 96 항에 있어서,
    상기 명령은, 상기 모바일 디바이스의 속도가 미리 결정된 임계를 초과하는 것으로 검출되면 자동 캡쳐를 야기하도록 구성되는, 컴퓨터-판독가능 매체.
  104. 제 96 항에 있어서,
    상기 명령은, 상기 모바일 디바이스의 틸트각이 미리 결정된 범위 안이면 자동 캡쳐를 야기하도록 구성되는, 컴퓨터-판독가능 매체.
  105. 제 96 항에 있어서,
    상기 명령은, 상기 디바이스의 속도가 미리 결정된 임계 아래로 떨어지는 것으로 검출되면 자동 이미지 캡쳐를 중단하도록 구성되는, 컴퓨터-판독가능 매체.
  106. 제 96 항에 있어서,
    상기 명령은, 상기 모바일 디바이스의 속도가 미리 결정된 임계를 초과하는 것으로 검출되면 자동 이미지 캡쳐를 중단하도록 구성되는, 컴퓨터-판독가능 매체.
  107. 제 96 항에 있어서,
    상기 명령은, 사용자가 이미지 캡쳐를 위한 미리 결정된 임계를 선택하게 하도록 구성되고,
    상기 미리 결정된 임계는 속도 및 모바일 디바이스 배향 중 적어도 하나를 포함하는, 컴퓨터-판독가능 매체.
  108. 제 96 항에 있어서,
    상기 명령은,
    상기 디스플레이가 액티브 상태인지 검출하는 단계, 및
    액티브 디스플레이의 검출의 조합에 응답하고 상기 제1 표시 및 상기 제2 표시 양자 모두에 응답하여, 상기 순방향 경로 이미지의 실시간 프리젠테이션이 상기 모바일 디바이스의 디스플레이 상에 자동으로 제공되게 하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  109. 제 96 항에 있어서,
    상기 명령은,
    상기 모바일 통신 디바이스의 배터리 상태가 미리 정의된 임계보다 높은지 여부를 결정하는 단계, 및
    상기 배터리 상태가 미리 정의된 임계보다 높다는 결정의 조합에 응답하고 상기 제1 표시 및 상기 제2 표시 양자 모두에 응답하여, 상기 순방향 경로 이미지의 실시간 프리젠테이션이 상기 모바일 디바이스의 디스플레이 상에 자동으로 제공되게 하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  110. 모바일 통신 디바이스에서 사용되도록 구성되는 컴퓨터-판독가능 매체로서,
    프로세서에 의하여 실행되면 프로세서가,
    사용자가 이동 경로를 따라 이동하면 상기 모바일 통신 디바이스와 연관된 적어도 하나의 이미지 센서로부터 상기 사용자의 환경을 나타내는 이미지 데이터를 수신하는 단계;
    상기 이미지 데이터로부터 상기 모바일 통신 디바이스 상에서의 실시간 디스플레이를 위한 가시 범위 윈도우를 선택하는 단계 - 상기 가시 범위 윈도우는 상기 사용자의 이동 경로에 대응함 -; 및
    대화형 사용자 애플리케이션 윈도우와 동시에 상기 디스플레이 상에 범위 윈도우를 제공하고, 상기 디스플레이 상의 프리젠테이션으로부터 상기 가시 범위 윈도우 밖의 이미지 데이터를 생략하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함하는, 컴퓨터-판독가능 매체.
  111. 제 110 항에 있어서,
    상기 명령은, 상기 디스플레이의 절반보다 많은 면적 상에 대화형 사용자 애플리케이션 윈도우를, 그리고 상기 디스플레이의 절반보다 적은 면적 상에 상기 가시 범위 윈도우를 제공하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  112. 제 110 항에 있어서,
    상기 명령은, 상기 디스플레이의 적어도 약 70%의 면적 상에 대화형 사용자 애플리케이션 윈도우를, 그리고 상기 디스플레이의 최대 약 30%의 면적 상에 상기 가시 범위 윈도우를 제공하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  113. 제 112 항에 있어서,
    상기 명령은, 사용자의 입력에 응답하여 상기 대화형 사용자 애플리케이션 윈도우와 가시 범위 윈도우 사이의 비율을 변경하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  114. 제 110 항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 모바일 통신 디바이스 내에 임베딩되는, 컴퓨터-판독가능 매체.
  115. 제 110 항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 모바일 통신 디바이스의 케이스 내에 임베딩되는, 컴퓨터-판독가능 매체.
  116. 제 110 항에 있어서,
    상기 선택하는 단계는, 사용자가 상기 가시 범위 윈도우를 선택하게 하는 사용자 입력을 제어부(control)로부터 검출하는 것을 포함하는, 컴퓨터-판독가능 매체.
  117. 제 110 항에 있어서,
    상기 선택하는 단계는, 상기 모바일 통신 디바이스의 각도 배향을 검출하고, 상기 각도 배향에 기초하여 상기 가시 범위를 자동으로 조절하는 것을 포함하는, 컴퓨터-판독가능 매체.
  118. 제 110 항에 있어서,
    상기 명령은 더 나아가, 상기 프로세서가 상기 가시 범위를 실시간으로 조절하게 하는, 컴퓨터-판독가능 매체.
  119. 제 118 항에 있어서,
    상기 실시간으로 조절하는 것은, 상기 모바일 통신 디바이스의 배향에서의 검출된 변화에 응답하여 자동으로 발생하는, 컴퓨터-판독가능 매체.
  120. 제 118 항에 있어서,
    상기 실시간으로 조절하는 것은, 상기 디스플레이 상의 제어부와 사용자의 상호작용에 응답하여 수동으로 발생하는, 컴퓨터-판독가능 매체.
  121. 제 110 항에 있어서,
    상기 선택하는 단계는, 상기 모바일 통신 디바이스의 각도 배향을 검출하고, 상기 각도 배향에 기초하여 상기 가시 범위를 자동으로 조절하는 것을 포함하는, 컴퓨터-판독가능 매체.
  122. 제 110 항에 있어서,
    상기 선택하는 단계는, 상기 사용자가 상기 이동 경로를 따라 이동할 때 상기 모바일 통신 디바이스의 이동 패턴을 검출하고, 상기 모바일 통신 디바이스의 이동을 보상하도록 상기 가시 범위를 자동으로 조절하는 것을 포함하는, 컴퓨터-판독가능 매체.
  123. 모바일 통신 디바이스에서 사용되도록 구성되는 컴퓨터-판독가능 매체로서,
    프로세서에 의해 실행되면 상기 프로세서가,
    상기 모바일 통신 디바이스와 연관된 적어도 하나의 이미지 센서로부터 사용자가 이동 경로를 따라 이동할 때 상기 사용자의 환경을 나타내는 이미지 데이터를 수신하는 단계;
    적어도 하나의 센서로부터 사용자가 수반된 활동을 반영하는 정보를 수신하는 단계;
    메모리 내에서 복수 개의 활동의 표시자 및 각각의 활동과 연관된 가시 범위 윈도우에 액세스하는 단계;
    상기 모바일 통신 디바이스 상에서의 실시간 디스플레이를 위한 가시 범위 윈도우를 선택하는 단계 - 선택된 가시 범위 윈도우는 사용자가 현재 수반되는 활동과 연관됨 -; 및
    선택된 가시 범위 윈도우를 상기 모바일 통신 디바이스의 디스플레이에 적용하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함하는, 컴퓨터-판독가능 매체.
  124. 제 123 항에 있어서,
    상기 활동을 반영하는 정보는 속도의 표시를 포함하는, 컴퓨터-판독가능 매체.
  125. 제 123 항에 있어서,
    상기 활동을 반영하는 정보는 가속도의 표시를 포함하는, 컴퓨터-판독가능 매체.
  126. 제 123 항에 있어서,
    상기 활동을 반영하는 정보는 상기 모바일 통신 디바이스의 틸트각의 표시를 포함하는, 컴퓨터-판독가능 매체.
  127. 제 123 항에 있어서,
    가시 범위를 선택하는 단계는, 상기 가시 범위 윈도우로부터 상기 사용자의 경로와 연관된 경계를 벗어나는 이미지 데이터를 제외하기 위한 이미지 인식을 수반하는, 컴퓨터-판독가능 매체.
  128. 제 123 항에 있어서,
    복수 개의 활동은 보행, 자전거 타기, 차량 운전, 및 모터사이클 타기 중 적어도 두 가지를 포함하는, 컴퓨터-판독가능 매체.
  129. 모바일 통신 디바이스에서 사용되도록 구성되는 컴퓨터-판독가능 매체로서,
    프로세서에 의해 실행되면 상기 프로세서가,
    상기 모바일 통신 디바이스와 연관된 적어도 하나의 이미지 센서로부터 사용자가 이동 경로를 따라 이동할 때 상기 사용자의 환경으로부터의 실시간 이미지 스트림을 수신하는 단계;
    상기 모바일 통신 디바이스의 터치 스크린 디스플레이 상에 실시간 이미지 스트림을 제공하는 단계;
    상기 모바일 통신 디바이스의 터치 스크린 디스플레이 상기 실시간 이미지 스트림과 동시에 대화형 사용자 애플리케이션을 제공하는 단계;
    상기 터치 스크린 디스플레이를 사용하는 사용자가 상기 실시간 이미지 스트림과 연관된 지역을 터치하게 하고, 상기 실시간 이미지 스트림 중 적어도 하나의 프레임이 상기 대화형 사용자 애플리케이션으로 전달되게 하는 단계; 및
    상기 적어도 하나의 프레임을 수반하는 동작을 상기 대화형 사용자 애플리케이션에서 실행하는 단계를 포함하는 단계를 수행하게 하는 명령을 포함하는, 컴퓨터-판독가능 매체.
  130. 제 129 항에 있어서,
    상기 대화형 사용자 애플리케이션은 메시징 애플리케이션이고,
    상기 명령은 메시지를 원격 수신자에게 전송하는 단계를 더 포함하며, 상기 메시지는 상기 적어도 하나의 프레임을 포함하는, 컴퓨터-판독가능 매체.
  131. 제 129 항에 있어서,
    상기 터치는 상기 실시간 스트림과 연관된 지역으로부터 상기 대화형 사용자 애플리케이션과 연관된 지역으로의 끌어다놓기(drag and drop) 동작을 포함하는, 컴퓨터-판독가능 매체.
  132. 제 129 항에 있어서,
    상기 적어도 하나의 프레임은 단일 프레임 캡쳐인, 컴퓨터-판독가능 매체.
  133. 제 129 항에 있어서,
    상기 명령은 실시간 이미지 스트림의 다수의 프레임이 상기 대화형 사용자 애플리케이션으로 전달되게 하고, 상기 다수의 프레임은 비디오 클립인, 컴퓨터-판독가능 매체.
  134. 제 130 항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 터치 스크린 디스플레이에 대해 둔각인 광축을 가지는, 컴퓨터-판독가능 매체.
  135. 제 129 항에 있어서,
    상기 명령은,
    실시간 스트림을 버퍼링하는 단계 및
    실시간 이미지 스트림의 버퍼링된 부분이 메시징 애플리케이션을 통해 송신되게 하는 방식으로 사용자가 상기 터치 스크린과 상호작용하게 하는 단계를 더 포함하는, 컴퓨터-판독가능 매체.
  136. 가로축들(transverse axes)을 따라 캡쳐된 양방향 비디오 스트림을 디스플레이하기 위한 핸드헬드 통신 디바이스로서,
    상면, 하면, 및 측면 에지를 가지는 하우징;
    상기 상면에 위치된 터치-감응 스크린;
    상기 핸드헬드 통신 디바이스가 상기 터치-감응 스크린을 시청하는 사용자의 손에 홀딩될 때 상기 사용자의 얼굴을 캡쳐하도록 구성되는 방식으로, 상기 상면에서 멀어지는 제1 방향으로 연장되는 제1 광축을 가지는 제1 이미지 센서;
    상기 측면 에지 내에 적어도 부분적으로 임베딩되고, 상기 핸드헬드 통신 디바이스가 상기 터치-감응 스크린을 시청하는 사용자의 손에 홀딩될 때 상기 사용자의 이동 경로를 캡쳐하도록 구성되는 방식으로, 상기 측면 에지에서 멀어지는 제2 방향으로 연장되는 제2 광축을 가지는 제2 이미지 센서 - 상기 제1 방향은 상기 제2 방향을 가로지름(transverse) -; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 제1 이미지 센서로부터 상기 사용자의 얼굴의 제1 실시간 이미지 스트림을 획득하고;
    상기 제2 이미지 센서로부터 상기 사용자의 이동 경로의 제2 실시간 이미지 스트림을 획득하며;
    상기 터치-감응 디스플레이 상에 실시간으로, 상기 사용자의 얼굴 및 상기 사용자의 이동 경로의 양방향 프리젠테이션을 제공하도록 프로그램되는, 핸드헬드 통신 디바이스.
  137. 제 136 항에 있어서,
    상기 제2 이미지 센서는 상기 하면으로부터 연장되는 돌출부 내에 위치되는, 핸드헬드 통신 디바이스.
  138. 제 136 항에 있어서,
    상기 양방향 프리젠테이션은 상기 제1 이미지 스트림에 대한 제1 윈도우 및 상기 제2 이미지 스트림에 대한 제2 윈도우를 포함하는, 핸드헬드 통신 디바이스.
  139. 제 136 항에 있어서,
    상기 제1 윈도우 및 상기 제2 윈도우 중 적어도 하나는 상기 터치-감응 디스플레이와의 터치 상호작용을 통해 크기가 조절가능한, 핸드헬드 통신 디바이스.
  140. 제 139 항에 있어서,
    상기 제1 윈도우 및 상기 제2 윈도우 중 적어도 하나의 위치는 상기 터치-감응 디스플레이와의 터치 상호작용을 통해 이동가능한, 핸드헬드 통신 디바이스.
  141. 제 136 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 양방향 프리젠테이션을 정의된 시간 기간 동안 저장하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  142. 제 136 항에 있어서,
    상기 적어도 하나의 프로세서는 실시간 양방향 프리젠테이션을 원격 수신자에게 무선으로 통신하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  143. 제 136 항에 있어서,
    상기 적어도 하나의 프로세서는 실시간 양방향 프리젠테이션을 서버에 무선으로 업로드하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  144. 제 136 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 양방향 프리젠테이션이 대화형 사용자 애플리케이션으로 전달되게 하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  145. 제 144 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 양방향 프리젠테이션과 연관된 지역으로부터 상기 대화형 사용자 애플리케이션과 연관된 지역으로의 끌어다놓기 동작이 식별되면 상기 양방향 프리젠테이션을 전달하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  146. 순방향 이동 경로를 가로지르는 동안 아래를 바라보는 사용자에게 방향 유도를 제공하도록 구성되는 핸드헬드 모바일 통신 디바이스로서,
    상면, 하면, 및 측면 에지를 포함하는 하우징;
    상기 상면에 위치된 터치-감응 디스플레이;
    상기 터치-감응 디스플레이가 아래를 바라보는 사용자의 얼굴을 마주보면서 상기 핸드헬드 모바일 디바이스가 상기 사용자의 손 안에 홀딩되면, 이미지 센서의 광축이 일반적으로 상기 이동 경로의 방향에서 연장되게 하는 배향으로 상기 하우징 내에 고정되게 임베딩된 상기 이미지 센서;
    GPS 칩; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    방향 유도 애플리케이션으로부터 목적지까지의 일련의 회전 방향을 수신하고;
    상기 사용자가 상기 터치-감응 디스플레이가 상기 사용자의 얼굴을 마주보면서 상기 사용자가 상기 순방향 경로를 가로지를 때 상기 터치-감응 디스플레이 상에, 상기 이미지 센서로부터의 실시간 이미지 스트림을 디스플레이하며;
    상기 GPS 칩으로부터의 위치 정보를 사용하여, 상기 터치-감응 디스플레이 상에 상기 실시간 이미지 스트림의 디스플레이와 동시에 회전 방향의 적어도 하나의 시각적 표시자를 디스플레이하도록 프로그램되는, 핸드헬드 통신 디바이스.
  147. 제 146 항에 있어서,
    상기 핸드헬드 통신 디바이스는 나침반을 더 포함하고,
    상기 적어도 하나의 프로세서는, 상기 GPS 칩으로부터 획득된 위치 정보 및 상기 나침반으로부터 획득된 방향 정보를 사용하여, 상기 적어도 하나의 시각적 표시자를 디스플레이하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  148. 제 146 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 터치-감응 디스플레이 상에 상기 실시간 이미지 스트림 및 상기 적어도 하나의 시각적 표시자와 함께, 대화형 사용자 애플리케이션을 동시에 디스플레이하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  149. 제 148 항에 있어서,
    상기 대화형 사용자 애플리케이션은 메시징 애플리케이션인, 핸드헬드 통신 디바이스.
  150. 제 148 항에 있어서,
    상기 사용자는, 메시징 애플리케이션을 통해 실시간으로 적어도 하나의 이미지를 상기 실시간 이미지 스트림으로부터 전송할 수 있게 되는, 핸드헬드 통신 디바이스.
  151. 제 146 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 시각적 표시자를 실시간 이미지 스트림 상에 오버레이하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  152. 제 146 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 적어도 하나의 시각적 표시자와의 사용자의 상호작용에 응답하여 동작을 실행하도록 더 프로그램되는, 핸드헬드 통신 디바이스.
  153. 제 146 항에 있어서,
    상기 적어도 하나의 시각적 표시자는 화살표를 포함하는, 핸드헬드 통신 디바이스.
  154. 제 146 항에 있어서,
    상기 적어도 하나의 시각적 표시자는 나침반의 표시를 포함하는, 핸드헬드 통신 디바이스.
  155. 제 146 항에 있어서,
    상기 적어도 하나의 시각적 표시자는 다음 회전까지의 거리를 나타내는 숫자를 포함하는, 핸드헬드 통신 디바이스.
  156. 제 146 항에 있어서,
    상기 적어도 하나의 시각적 표시자는 도로명을 포함하는, 핸드헬드 통신 디바이스.
  157. 제 146 항에 있어서,
    상기 적어도 하나의 시각적 표시자는 이동 루트를 따른 장소들의 정보를 포함하는, 핸드헬드 통신 디바이스.
  158. 핸드헬드 이동 전화를 위한 착탈식 케이스로서,
    하우징;
    상기 하우징 내에 임베딩된 적어도 하나의 이미지 센서;
    상기 핸드헬드 모바일 디바이스가 상기 케이스에 거치되면 상기 핸드헬드 모바일 디바이스의 포트와 결속하도록 구성되는, 상기 하우징 내의 커넥터; 및
    상기 케이스 내에 임베딩되고, 상기 적어도 하나의 이미지 센서와 상기 커넥터 사이에서 연장되고 상기 적어도 하나의 이미지 센서와 상기 커넥터를 연결함으로써, 상기 핸드헬드 모바일 디바이스가 상기 케이스에 거치되면 상기 적어도 하나의 이미지 센서로부터 상기 핸드헬드 통신 디바이스로의 실시간 이미지 스트리밍을 가능하게 하는 적어도 하나의 도관을 포함하는, 착탈식 케이스.
  159. 제 158 항에 있어서,
    상기 착탈식 케이스는 상기 하우징 내에 배터리를 더 포함하는, 착탈식 케이스.
  160. 제 159 항에 있어서,
    상기 배터리는, 상기 하우징 내의 이미지 센서에 전력을 공급하고 상기 핸드헬드 이동 전화에 전력을 제공하도록 구성되는, 착탈식 케이스.
  161. 제 159 항에 있어서,
    상기 착탈식 케이스는 상기 배터리를 무선 충전하기 위한 수신기를 더 포함하는, 착탈식 케이스.
  162. 제 158 항에 있어서,
    상기 하우징은 하면 및 상기 하면으로부터 상향 연장하는 에지를 가지고,
    상기 이미지 센서는 상기 에지 내에 임베딩되는, 착탈식 케이스.
  163. 제 162 항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 커넥터에 반대인 상기 에지의 일부 내에 위치되고,
    상기 적어도 하나의 도관은 상기 이미지 센서와 상기 커넥터 사이에서 상기 하우징을 가로지르는, 착탈식 케이스.
  164. 제 158 항에 있어서,
    상기 하우징 내의 적어도 하나의 이미지 센서는 상기 핸드헬드 이동 전화에 의해 제어되도록 구성되는, 착탈식 케이스.
  165. 제 164 항에 있어서,
    상기 케이스 내의 적어도 하나의 이미지 센서는 상기 핸드헬드 이동 전화 내의 센서에 의해 검출된 가속도에 응답하여 활성화되도록 구성되는, 착탈식 케이스.
  166. 이동 전화의 에지 내에 임베딩된 복수 개의 이미지 센서로부터 집합된 이미지 데이터를 사용하는, 스트리트 뷰 맵의 크라우드 소싱된 생성(crowd-sourced generation)을 위한 시스템으로서,
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    지리적 영역의 스트리트 뷰 맵을 유지하고 - GPS 좌표는 상기 스트리트 뷰 맵 상의 위치와 연관됨 -;
    복수의 사용자의 복수 개의 이동 전화의 에지 내에 임베딩된 복수 개의 이미지 센서로부터, 스트리트 뷰 이미지를 수신하며;
    복수 개의 이동 전화 각각으로부터, 수신된 스트리트 뷰 이미지 각각과 연관된 GPS 위치를 수신하고;
    상기 스트리트 뷰 맵 상의 GPS 위치에 대응하는, 수신된 스트리트 뷰 이미지와 연관된 GPS 위치에 대하여, 상기 복수 개의 이미지 센서로부터의 수신된 스트리트 뷰 이미지로 상기 스트리트 뷰 맵을 업데이트하도록 구성되는, 스트리트 뷰 맵 생성 시스템.
  167. 제 166 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 이동 전화가 개인 정보를 가리도록 상기 스트리트 뷰 이미지를 변경한 후에, 상기 복수 개의 이동 전화로부터 상기 스트리트 뷰 이미지를 수신하도록 더 구성되는, 스트리트 뷰 맵 생성 시스템.
  168. 제 166 항에 있어서,
    상기 적어도 하나의 프로세서는, 복수의 사용자와 연관된 메타데이터 정보가 없이 상기 복수 개의 이동 전화로부터 상기 스트리트 뷰 이미지를 수신하도록 더 구성되는, 스트리트 뷰 맵 생성 시스템.
  169. 제 166 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 스트리트 뷰 이미지를 실시간으로 수신하도록 더 구성되는, 스트리트 뷰 맵 생성 시스템.
  170. 제 166 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 스트리트 뷰 이미지 각각과 연관된 타임 스탬프를 수신하고, 다수의 중첩하는 스트리트 뷰 이미지가 다수의 사용자로부터 수신되는 경우, 최근 스트리트 뷰 이미지로 맵을 업데이트하도록 더 구성되는, 스트리트 뷰 맵 생성 시스템.
  171. 제 166 항에 있어서,
    상기 적어도 하나의 프로세서는, 다수의 사용자로부터 수신된 다수의 중첩하는 스트리트 뷰 이미지를 통합하고, 통합된 스트리트 뷰 이미지로 맵을 업데이트하도록 더 구성되는, 스트리트 뷰 맵 생성 시스템.
  172. 이동 전화의 에지 내에 임베딩된 복수 개의 이미지 센서로부터 집합된 이미지 데이터를 사용하는, 스트리트 뷰 맵의 크라우드 소싱된 생성(crowd-sourced generation)을 위한 방법으로서,
    지리적 영역의 스트리트 뷰 맵을 유지하는 단계 - GPS 좌표는 상기 스트리트 뷰 맵 상의 위치와 연관됨 -;
    복수의 사용자의 복수 개의 이동 전화의 에지 내에 임베딩된 복수 개의 이미지 센서로부터, 스트리트 뷰 이미지를 수신하는 단계;
    복수 개의 이동 전화 각각으로부터, 수신된 스트리트 뷰 이미지 각각과 연관된 GPS 위치를 수신하는 단계; 및
    상기 스트리트 뷰 맵 상의 GPS 위치에 대응하는, 수신된 스트리트 뷰 이미지와 연관된 GPS 위치에 대하여, 상기 복수 개의 이미지 센서로부터의 수신된 스트리트 뷰 이미지로 상기 스트리트 뷰 맵을 업데이트하는 단계를 포함하는, 스트리트 뷰 맵 생성 방법.
  173. 제 172 항에 있어서,
    상기 복수 개의 이미지 센서는 상기 이동 전화를 위한 복수 개의 착탈식 케이스와 연관되는, 스트리트 뷰 맵 생성 방법.
  174. 제 172 항에 있어서,
    상기 복수 개의 이미지 센서는 상기 이동 전화의 에지면에 위치되는, 스트리트 뷰 맵 생성 방법.
  175. 모바일 통신 디바이스에서 사용되도록 구성된 컴퓨터-판독가능 매체로서,
    프로세서에 의해 실행되면 상기 프로세서가,
    제1 방향에서 연장되는 제1 광축을 가지는 제1 이미지 센서로부터 제1 실시간 이미지 스트림을 수신하는 단계;
    상기 제1 방향과 다른 제2 방향에서 연장되는 제2 광축을 가지는 제2 이미지 센서로부터 제2 실시간 이미지 스트림을 수신하는 단계;
    상기 제1 실시간 이미지 스트림으로부터 상기 모바일 통신 디바이스 상에서 디스플레이되기 위한 가시 범위 윈도우를 결정하는 단계;
    상기 모바일 통신 디바이스의 디스플레이 상에, 결정된 가시 범위 윈도우에 대응하는 실시간 프로젠테이션을 제공하는 단계; 및
    상기 디스플레이와의 사용자의 상호작용에 응답하여, 상기 가시 범위 윈도우를 조절하는 단계를 포함하는 단계들을 수행하게 하는 명령을 포함하고,
    상기 조절하는 단계는, 상기 제1 실시간 이미지 스트림으로부터 새로운 가시 범위 윈도우를 선택하는 것, 및 상기 제2 실시간 이미지 스트림으로부터 새로운 가시 범위 윈도우를 선택하는 것 중 적어도 하나를 포함하는, 컴퓨터-판독가능 매체.
  176. 제 175 항에 있어서,
    상기 제1 광축과 상기 제2 광축 사이의 각도는 둔각인, 컴퓨터-판독가능 매체.
  177. 제 175 항에 있어서,
    상기 제1 광축과 상기 제2 광축 사이의 각도는 예각인, 컴퓨터-판독가능 매체.
  178. 제 175 항에 있어서,
    상기 명령은,
    상기 제1 방향 및 제2 방향과 다른 제3 방향으로 연장되는 제3 광축을 가지는 제3 이미지 센서로부터 제3 실시간 이미지 스트림을 수신하는 단계를 더 포함하고,
    상기 조절하는 단계는, 상기 제1 실시간 이미지 스트림으로부터 새로운 가시 범위 윈도우를 선택하는 것, 상기 제2 실시간 이미지 스트림으로부터 새로운 가시 범위 윈도우를 선택하는 것, 및 상기 제3 실시간 이미지 스트림으로부터 새로운 가시 범위 윈도우를 선택하는 것 중 적어도 하나를 포함하는, 컴퓨터-판독가능 매체.
  179. 제 175 항에 있어서,
    상기 가시 범위 윈도우를 조절하는 단계는, 상기 디스플레이 상의 연속 동작을 포함하는, 컴퓨터-판독가능 매체.
  180. 제 179 항에 있어서,
    상기 연속 동작은 두 개의 별개의 방향에 따르고,
    제1 방향에 따른 제1 이동은 실시간 이미지 스트림의 가시 범위 윈도우를 변경시키고, 제2 방향에 따른 제2 이동은 실시간 이미지 스트림의 소스를 변경시키는, 컴퓨터-판독가능 매체.
KR1020187035335A 2016-05-07 2017-05-04 핸드헬드 디바이스 내의 에지 카메라 어셈블리를 수반하는 시스템 및 방법 KR20190005208A (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662333197P 2016-05-07 2016-05-07
US62/333,197 2016-05-07
US15/220,418 2016-07-27
US15/220,418 US20170323159A1 (en) 2016-05-07 2016-07-27 Methods Circuits Devices Assemblies Systems and Associated Machine Executable Code For Obstacle Detection
US201662425741P 2016-11-23 2016-11-23
US62/425,741 2016-11-23
US201662434695P 2016-12-15 2016-12-15
US62/434,695 2016-12-15
PCT/IB2017/000629 WO2017195034A1 (en) 2016-05-07 2017-05-04 Systems and methods involving edge camera assemblies in handheld devices

Publications (1)

Publication Number Publication Date
KR20190005208A true KR20190005208A (ko) 2019-01-15

Family

ID=60266399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187035335A KR20190005208A (ko) 2016-05-07 2017-05-04 핸드헬드 디바이스 내의 에지 카메라 어셈블리를 수반하는 시스템 및 방법

Country Status (8)

Country Link
US (3) US10171714B2 (ko)
EP (1) EP3453169A4 (ko)
JP (1) JP2019520012A (ko)
KR (1) KR20190005208A (ko)
CN (1) CN109792505A (ko)
CA (1) CA3023391A1 (ko)
IL (1) IL262737A (ko)
WO (1) WO2017195034A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017200155A1 (de) * 2017-01-09 2018-07-12 Ford Motor Company Motorangetriebener Einkaufstrolley
US11032403B2 (en) * 2018-03-22 2021-06-08 Daniel L C Leung Method to aid the walking-while-texting smart phone user navigate around obstacles in the forward path
ES1215110Y (es) * 2018-06-08 2018-09-26 Castillo Fernando Perez Dispositivo de visualizacion y alerta para telefonos moviles
US20200073210A1 (en) * 2018-08-30 2020-03-05 Daniel Lai Chow Leung Method to help navigate users of mobile communication devices by re-directed camera views
US11095762B2 (en) 2018-10-23 2021-08-17 International Business Machines Corporation Display device with camera embedded beneath screen
US11500451B2 (en) * 2019-04-02 2022-11-15 Verizon Patent And Licensing Inc. System and method for augmented reality via data crowd sourcing
USD949159S1 (en) * 2019-06-02 2022-04-19 Apple Inc. Display screen or portion thereof with graphical user interface
KR20200144196A (ko) 2019-06-17 2020-12-29 삼성전자주식회사 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
US20200045240A1 (en) * 2019-10-12 2020-02-06 Adam Diamond Hood with Multiple Cameras
US11967041B2 (en) * 2021-05-18 2024-04-23 Microsoft Technology Licensing, Llc Geospatial image processing for targeted data acquisition
US20230037461A1 (en) * 2021-08-09 2023-02-09 Sam Salemnia Case for a cellular phone configured to enable the cellular phone to capture 360-degree field-of-view images
WO2023057665A1 (es) * 2021-10-08 2023-04-13 Yague Hernanz Ricardo Sistema y aplicación para visualizar la realidad exterior mientras se utilizan teléfonos y dispositivos móviles

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2010A (en) * 1841-03-18 Machine foe
US20070206087A1 (en) * 2006-03-06 2007-09-06 Chou Hsieh C Camera module and mobile phone using the same
CN101465891B (zh) * 2007-12-19 2012-05-30 鸿富锦精密工业（深圳）有限公司 移动通讯装置
KR101527014B1 (ko) * 2008-12-02 2015-06-09 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8917632B2 (en) * 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
US8447070B1 (en) * 2010-04-19 2013-05-21 Amazon Technologies, Inc. Approaches for device location and communication
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
US20120088555A1 (en) * 2010-10-12 2012-04-12 Jianzhong Hu Wireless charging equipment for mobile phones
WO2012083989A1 (en) * 2010-12-22 2012-06-28 Sony Ericsson Mobile Communications Ab Method of controlling audio recording and electronic device
US20120188391A1 (en) * 2011-01-25 2012-07-26 Scott Smith Array camera having lenses with independent fields of view
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
CN103167223A (zh) * 2011-12-09 2013-06-19 富泰华工业（深圳）有限公司 具有广角拍摄功能的移动装置及其影像撷取方法
US9325818B2 (en) * 2011-12-09 2016-04-26 Charles J. Kulas Dedicated processor for camera functions in host devices
US20130231157A1 (en) * 2012-03-02 2013-09-05 Jeffrey Chung Cellular phone with camera at front edge area
US9961249B2 (en) * 2012-09-17 2018-05-01 Gregory Thomas Joao Apparatus and method for providing a wireless, portable, and/or handheld, device with safety features
US20140078275A1 (en) * 2012-09-17 2014-03-20 Gregory Thomas Joao Apparatus and method for providing a wireless, portable, and/or handheld, device with safety features
US9672431B2 (en) * 2012-11-09 2017-06-06 Analog Devices Global Object detection
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
EP2854428B1 (en) * 2013-02-08 2018-06-06 SK Planet Co., Ltd. Terminal for providing instant messaging service
US20140228073A1 (en) * 2013-02-14 2014-08-14 Lsi Corporation Automatic presentation of an image from a camera responsive to detection of a particular type of movement of a user device
US9292045B2 (en) * 2013-02-15 2016-03-22 Apple Inc. Apparatus and method for automatically activating a camera application based on detecting an intent to capture a photograph or a video
KR102032347B1 (ko) * 2013-02-26 2019-10-15 삼성전자 주식회사 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법
EP2992507B1 (en) * 2013-05-02 2018-07-25 Qualcomm Incorporated Methods for facilitating computer vision application initialization
WO2014193990A1 (en) * 2013-05-28 2014-12-04 Eduardo-Jose Chichilnisky Smart prosthesis for facilitating artificial vision using scene abstraction
US20150085184A1 (en) * 2013-09-25 2015-03-26 Joel Vidal Smartphone and tablet having a side-panel camera
US9451062B2 (en) 2013-09-30 2016-09-20 Verizon Patent And Licensing Inc. Mobile device edge view display insert
US8730299B1 (en) * 2013-11-27 2014-05-20 Dmitry Kozko Surround image mode for multi-lens mobile devices
US20140327775A1 (en) * 2013-12-04 2014-11-06 Kyu Hwang Cho Mirrorless Driving of Automotive Vehicle Using Digital Image Sensors and Touchscreen
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9654675B2 (en) * 2014-03-25 2017-05-16 Kessler Optics & Photonics Solutions Ltd. Optical attachment for deviating field of view
KR20160024002A (ko) * 2014-08-21 2016-03-04 삼성전자주식회사 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치
KR102178892B1 (ko) * 2014-09-15 2020-11-13 삼성전자주식회사 정보 제공 방법 및 그 전자 장치
US10220798B2 (en) * 2016-02-29 2019-03-05 Thomas A. Lowell Self leveling steering wheel mount assembly for electronic cell phone device having side camera
US10084897B2 (en) * 2016-09-15 2018-09-25 Johnson Sainvil Electronic device housing with removable camera

Also Published As

Publication number Publication date
US20190075224A1 (en) 2019-03-07
US20200366816A1 (en) 2020-11-19
US20180124293A1 (en) 2018-05-03
WO2017195034A1 (en) 2017-11-16
EP3453169A4 (en) 2019-09-18
CA3023391A1 (en) 2017-11-16
IL262737A (en) 2018-12-31
EP3453169A1 (en) 2019-03-13
CN109792505A (zh) 2019-05-21
JP2019520012A (ja) 2019-07-11
US10171714B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
US20200366816A1 (en) System and methods involving edge camera assemblies in handheld devices
US9311883B2 (en) Recalibration of a flexible mixed reality device
US10444930B2 (en) Head-mounted display device and control method therefor
CA2913650C (en) Virtual object orientation and visualization
KR102025544B1 (ko) 착용식 비디오 장치 및 이를 구비하는 비디오 시스템
KR101430614B1 (ko) 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법
WO2019037489A1 (zh) 地图显示方法、装置、存储介质及终端
JP6263098B2 (ja) 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法
KR20170130602A (ko) 증강 현실 및/또는 가상 현실에서의 터치 스크린 호버 검출
JPWO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20140090159A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
KR20130137064A (ko) 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
EP3506082B1 (en) Audio rendering for augmented reality
KR20190030746A (ko) 증강된/가상의 현실 환경에서의 가상 캐릭터들의 배치를 위한 시스템 및 방법
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
US10771707B2 (en) Information processing device and information processing method
JP2016045874A (ja) 情報処理装置、情報処理方法、及びプログラム
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
WO2016130462A1 (en) Removable face shield for augmented reality device
CN113590070A (zh) 导航界面的显示方法、装置、终端及存储介质
CN109791432A (zh) 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间
US20170300121A1 (en) Input/output device, input/output program, and input/output method
CN204166478U (zh) 头戴式智能设备
JP6686319B2 (ja) 画像投影装置及び画像表示システム
WO2018213129A1 (en) Enhancing information in a three-dimensional map