KR20130039720A - 시각 장애인들을 지원하는 증강 현실 파노라마 - Google Patents

시각 장애인들을 지원하는 증강 현실 파노라마 Download PDF

Info

Publication number
KR20130039720A
KR20130039720A KR1020127024974A KR20127024974A KR20130039720A KR 20130039720 A KR20130039720 A KR 20130039720A KR 1020127024974 A KR1020127024974 A KR 1020127024974A KR 20127024974 A KR20127024974 A KR 20127024974A KR 20130039720 A KR20130039720 A KR 20130039720A
Authority
KR
South Korea
Prior art keywords
augmented reality
data
panorama
remote
objects
Prior art date
Application number
KR1020127024974A
Other languages
English (en)
Other versions
KR101487944B1 (ko
Inventor
오랑 디알라메
더글라스 밀러
찰스 블랑샤르
티모씨 씨. 도르세이
제레미 엠. 수돌
Original Assignee
아이피플렉 홀딩스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이피플렉 홀딩스 코포레이션 filed Critical 아이피플렉 홀딩스 코포레이션
Publication of KR20130039720A publication Critical patent/KR20130039720A/ko
Application granted granted Critical
Publication of KR101487944B1 publication Critical patent/KR101487944B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/008Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72481User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for visually impaired users
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01Constructive details
    • A61H2201/0157Constructive details portable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5048Audio interfaces, e.g. voice or music controlled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • A61H2201/5092Optical sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

원격 사용자에게 실시간 객체 인식을 제공하기 위해 제공된 시스템과 방법이 존재한다. 시스템은 카메라, 네트워크를 통해 휴대용 통신 디바이스로부터 멀리 떨어지며 그리고 휴대용 통신 디바이스에 의해 접근가능한 적어도 하나의 클라이언트-서버 호스트 디바이스, 그리고 클라이언트-서버 호스트 디바이스 또는 디바이스들에 의해 접근가능한 인식 데이터베이스를 포함한다. 클라이언트-서버 호스트 디바이스 또는 디바이스들에 상주하는 인식 애플리케이션은 휴대용 통신 디바이스의 원격 사용자에게 휴대용 통신 디바이스를 이용하여 캡처된 시각 이미지의 실시간 객체 인식을 제공하기 위해 인식 데이터베이스를 활용할 수 있다. 일 실시예에서, 시력 보조수단은 파노라마가 디바이스의 센서 데이터로부터 구성되는 휴대용 통신 디바이스의 시각 장애 사용자와 증강 현실 파노라마를 공유한다.

Description

시각 장애인들을 지원하는 증강 현실 파노라마{AUGMENTED REALITY PANORAMA SUPPORTING VISUALLY IMPARIRED INDIVIDUALS}
본 출원은 2011년 2월 24일 출원된 일련번호 61/307,675, 그리고 2010년 2월 26일 출원된 61/339,071을 갖는 미합중국 임시 출원들에 대해 우선권의 이익을 주장한다. 본 명세서에서 논의된 이들 및 모든 다른 외부 자료들은 인용에 의해 전체적으로 포함된다. 포함된 참고문헌내 용어의 정의 또는 이용이 일치하지 않거나 본 명세서에 제공된 그러한 용어의 정의에 반하는 경우에는, 본 명세서에 제공된 그러한 용어의 정의가 적용되고 참고문헌내 그러한 용어의 정의가 적용되지 않는다.
본 발명이 분야는 장애인들에 도움이 되는 기술들이다.
컴퓨터 비전, 기계 비전, 또는 달리 명명되던지, 자동화된 객체 인식을 제공하는 시스템들은 전통적으로 산업 및 군용 애플리케이션들에서 구현을 위한 상당한 관심의 주제였다. 기후 패턴들, 계절 변화들, 그리고 하루 동안에 걸친 일광의 변화에 의해 발생된 빛과 그림자의 변화들과 같은 환경 요인들의 결과로서, 객체 인식을 제공하는 임의의 시스템에 의해 마주치는 진행중인 도전 과제들 중 하나는 동일한 객체, 그리고 심지어 동일한 시각으로부터 보여진 동일 객체에 의해 제공되는 이미지들에 있어서 가변성(variability)이다. 이들 및 다른 중요한 기술적 도전 과제들을 해소하기 위해, 신뢰할 수 있는 객체 인식을 제공하는 대부분의 시스템들은 이들의 실행을 위해 실질적인 컴퓨팅 자원들을 요구하는 하나 또는 이상의 복잡한 알고리즘들을 활용한다. 결과적으로, 객체 인식을 성취하기 위해 많은 종래의 접근법들은 상당한 지연 후에만 관심 객체의 식별을 제공할 수 있으며, 객체 이미지들의 처리를 위해 비용이 많이들고 복잡한 컴퓨팅 플랫폼을 요구하거나, 또는 둘 다의 단점들로 어려움을 겪을 수 있다. 여전히, 2005년 1월 5일 출원된 "Digital Object Recognition Audio-Assistant for the Visually Impaired"란 명칭의 Fink 등에 의해 출원 공개된 미합중국 특허출원 공개 제 2005/0208457 호에서 논의된 바와 같이 객체 인식을 제공하기 위해 몇몇 노력이 있었다.
불행하게도, 종래의 최신 기술에 비추어, 객체 인식 시스템들은, 예를 들어, 맹인들 또는 시각 장애인들과 같은 감각 장애로 고통받는 사람들에게 특별한 혜택을 제공할 수 있다. 원칙적으로, 시각 장애인의 시력은 그러한 기능을 제공하는 전자 보조 타입 디바이스의 객체 인식 능력에 의해 효과적으로 향상될 수 있다. 그러나, 전자 디바이스가 시각 장애인에 가장 유익하도록 객체 인식을 제공하기 위해서는, 디바이스는 적어도 3개의 기준들을 다루어야 한다. 그러한 기준들 중 하나는 전자 시력 향상을 제공하는 디바이스가 휴대가능한 것이 바람직하다는 것이며, 그렇게 함으로써 시각 장애인은 원할 때 디바이스를 손쉽게 운반할 수 있다. 그러한 기준들 중 하나는 시각 장애 사용자가 디바이스의 객체 인식 기능을 활성화시키고 제어할 수 있게 하는 유연하고 사용자 친화적인 인터페이스를 제공하는 것이 바람직하다는 것이다. 더욱이, 시각 장애인의 안전을 또한 보호하면서 시각 장애인에게 가장 힘을 실어주기 위해, 객체 인식을 제공하는 디바이스가 매우 신뢰할 수 있게 실시간으로 객체 인식을 제공하는 것이 바람직하며, 따라서 시각 장애 사용자가 그들의 현재 환경의 특징들을 사로잡을 수 있도록 한다.
그러나, 상기 논의된 바와 같이, 객체 인식을 성취하기 위해 종래의 접근법들에 의해 요구된 컴퓨팅 자원들은 종종 상당하다. 그러한 컴퓨팅 출력 요구는 심지어 상대적으로 완화된 성능 표준들 하에서 단일 휴대용 디바이스의 자원들을 상당히 초과할 수 있다. 기껏해야 휴대용 디바이스들은 2005년 4월 1일 출원된 "Gesture Processing with Low Resolution Images with High Resolution Processing for Optical Character Recognition for a Reading Machine"이란 명칭의 Kurzeil 등에 허여된 미합중국 특허 제 7,627,142 호에서 논의된 바와 같이 캐릭터 인식에 대해 최소한의 지원을 제공한다. 사용자의 개인 안전과 객체 인식 기능을 제공하는 시스템을 효율은 객체들의 식별이 매우 신뢰할 수 있어야 하며 실시간으로 제공되는 것을 요구하며, 요구된 컴퓨팅 자원들은 단일 휴대용 전자 디바이스로부터 활용할 수 있는 것을 훨씬 능가한다.
시각 장애 사용자들을 도와주기 위한 하나의 가능한 방법은 원격 보조수단(remote assistant)과 상호작용하는 단계를 포함한다. 이상적으로 원격 보조수단은 시각 장애 사용자의 전체 환경과 상호작용할 수 있어야 한다. 시각 장애 사용자와 원격 보조수단 사이의 상호작용을 가능하게 하도록 하기 위해 다른 노력이 발표되었다. 2007년 4월 6일 출원된 "System and Method for Assisting a Visually Impaired Individual"이란 명칭으로 Espenlaub에 허여된 미합중국 특허 제 7,864,991 호는 보조수단의 상황에 관해 시청각 정보를 무선으로 전송하는 시각 장애인을 논의한다. 그 다음 보조수단은 상황에 대해 솔루션으로 다시 응답할 수 있다. 불행하게도, 보조수단은 시각장애인의 주변 환경의 완전한 시야를 완성하기에 부족하다.
다른 예는 2006년 8월 4일 출원된 "Communications Device for Visually Impaired Persons"란 명칭의 Gallick의 미합중국 특허출원 공개 제 2008/0043934 호를 포함하며, 이는 원격 보조수단이 디바이스와 사람의 상호작용을 관측할 수 있는 곳에서 시각 장애인에게 표면 센서들을 갖는 디바이스를 제공하는 것을 논의한다.
보다 진보된 노력은 2008년 2월 4일 출원된 "System and Method for Tele-presence"란 명칭의 Gowda의 미합중국 특허출원 공개 제 2008/0198222 호를 포함하며, 이는 약간 더 원격 보조의 개념을 취한다. Gowda는 시각 장애 주체가 주체에 도움을 주기 위해 가이드가 주체의 환경에 관한 다양한 정보를, 가능한 한 주체가 객체를 향하도록 함으로써 이용할 수 있는 가이드와 연결될 수 있다는 것을 가리킨다. 여전히, 보조수단은 주체에 의해 제공된 시야에 제한되며 또한 환경에 관한 추가적인 데이터를 획득하는 능력이 부족하다.
흥미롭게도, 기껏해야, 시각 장애인들에 도움을 주기 위해 증강 현실 시스템을 활용하기 위한 제한된 노력만이 안내되었다. 그럼에도 불구하고 이해되어야 할 것은 원격 보조수단은 시간 장애인의 환경 및 자신의 객체들을 나타내는 증강 현실 파노라마와 상호작용할 수 있다는 것이다. 증강 현실 파노라마는 개인의 스마트폰, 또는 주변 데이터의 다른 소스들을 통해 수집된 센서 데이터에 기초하여 구축될 수 있다. 보조수단은 객체들, 또는 다른 양상의 증강 현실 파노라마와 상호작용하거나, 개인을 돕거나 또는 환경에 관한 다른 정보를 얻기 위해 개인의 스마트폰으로 디바이스 커맨드들을 다시 전송한다.
전후 관계에 반대되는 영향을 주지 않는 한, 본 명세서에 설명된 모든 범위들은 이들의 종점들의 포함인 것으로서 해석되어야 하며, 그리고 개방형 범위들은 상업적으로 실용적인 값들을 포함하는 것으로 해석되어야 한다. 유사하게, 값들의 모든 리스트들은 전후 관계가 반대되지 않는 한 중간값의 포함으로서 간주되어야 한다.
따라서, 시각 장애인들을 위한 원격 보조에 대한 필요성이 여전히 존재한다.
발명의 요지는 시각 장애인이 시력 보조수단으로부터 도움을 얻을 수 있는 장치, 시스템들 그리고 방법들을 제공한다. 발명의 요지의 일 양상은 원격 환경 및 원격 환경의 객체들의 모델을 나타내는 증강 현실 파노라마를 구성할 수 있는 파노라믹 엔진(panoramic engine)을 포함하는 증강 현실 엔진을 포함한다. 파노라마는 시각 장애인에 가까운 원격 시각 장애인의 스마트폰 또는 다른 모바일 감지 디바이스로부터 수집된 주변 센서 데이터에 적어도 부분적으로 기초하여 구성될 수 있다. 바람직하게는 주변 센서 데이터는 사람의 원격 환경을 반영하고, 가능한 한 이미지들, 비디오, 오디오, 가속, 방향(orientation), 위치, 주행 거리 측정(odometry), 또는 다른 센서 데이터와 연관된 데이터를 포함한다. 시력 보조수단은 원격 시각 장애인에게 도움이 되는 피드백을 제공하기 위해 증강 현실 파노라마 그리고 자신의 객체들과 상호작용시키기 위해 시력 보조수단 인터페이스를 활용한다. 보조수단 인터페이스는 원격의 사람의 감지 디바이스의 통합된 현재 시야를 갖는 증강 현실 파노라마를 제공한다. 시력 보조수단, 인간 또는 자동화 장치는 원격 시각 장애인의 경험들을 공유하고 하나 이상의 디바이스 커맨드들이 사람의 스마트폰으로 다시 전송되도록 하는 증강 현실 파노라마내 객체들과 상호작용한다. 디바이스 커맨드들은 대응하는 현실-세계의 객체들에 관련한 추가적인 정보를 캡처하도록 스마트폰, 또는 다른 모바일 감지 디바이스에 명령할 수 있다. 예들 들어, 디바이스 커맨드들은 하나 이상의 객체들에 가까움을 표시하는 시각 장애인에게 햅틱 또는 가청 피드백을 제공하거나, 또는 추가적인 데이터를 획득하기 위해 하나 이상의 적용가능한 객체 인식 알고리즘들 또는 루틴들의 선택을 컨트롤할 수 있다.
몇몇 실시예들에서, 증강 현실 파노라마는 증강 현실내 객체들이 다중 타입들의 감각 데이터, 가능한 한 시각 데이터, 햅틱 데이터, 운동감각 데이터, 가청 데이터, 또는 다른 타입들의 감각 데이터를 포함하는 다중-모드 파노라믹 데이터를 포함한다. 객체들은 논-비저블 데이터(non-visible data)를 포함하는 메타데이터에 의해 또한 태그될 수 있다. 논-비저블 데이터 예는 햅틱 메타데이터 태그들, 오디오 메타데이터 태그들, 또는 시각 장애 사용자에 도움을 주기 위해 보조수단으로 활용될 수 있는 다른 타입들의 태그들을 포함한다. 다양한 메타데이터 태그들 또는 논-비저블 태그들이 디바이스 커맨드들의 형태로 원격 시각 장애인의 디바이스에 다시 전송될 수 있다. 따라서, 시각 장애인은 논-비저블 피드백에 기초하여 그들 자신의 개인 환경을 통해 똑바로 걸을 수 있다.
발명의 요지의 다양한 목적들, 특징들, 양상들 및 장점들은 유사한 번호들이 유사한 컴포넌트들을 나타내는 첨부 도면들과 함께 바람직한 실시예들의 후속하는 상세한 설명으로부터 보다 분명해질 것이다.
도 1은, 본 발명의 일 실시예에 따라서, 실시간 객체 인식 및 향상된 시력을 제공하기 위한 시스템을 도시한다.
도 2는, 본 발명의 다른 실시예에 따라서, 실시간 객체 인식 및 향상된 시력을 제공하기 위한 시스템을 도시한다.
도 3은, 본 발명의 일 실시예에 따라서, 도 1에서, 인식 애플리케이션(124)에 의해 발생된 예시적인 디스플레이가 캡처되는 시각 프레임을 도시한다.
도 4는, 본 발명의 일 실시예에 따라서, 실시간 객체 인식 및 향상된 시력을 제공하기 위한 시스템의 기능적인 개요를 도시한다.
도 5는, 본 발명의 일 실시예에 따라서, 실시간 객체 인식 및 향상된 시력을 제공하기 위한 방법을 나타내는 흐름도이다.
도 6은 시각 장애인에게 향상된 시력을 제공할 수 있는 다른 시스템을 도시한다.
도 7은 원격 환경의 증강 현실 파노라마를 제공하도록 구성된 가능한 시력 보조수단 인터페이스를 도시한다.
주목해야 할 것은, 비록 이어지는 상세한 설명이 컴퓨터/서버 기반 증강 현실 엔진들에 대해 이루어졌지만, 적절한 다양한 대안적인 구성들이 또한 고려되며 서버들, 인터페이스들, 시스템들, 데이터베이스들, 엔진들, 어댑터들, 컨트롤러들, 또는 개별적으로 또는 집합적으로 동작하는 다른 타입들의 컴퓨팅 디바이스들을 포함하는 다양한 컴퓨팅 디바이스들을 활용할 수 있다는 것이다. 사람은 컴퓨팅 디바이스들은 유형적이고, 비-일시적인 컴퓨터 판독가능 저장 매체(예를 들어, 하드 드라이브, 솔리드 스테이트 드라이브, RAM, 플래시, ROM 등)에 저장된 소프트웨어 명령들을 실행하도록 구성된 프로세서를 포함하는 것을 이해해야 한다. 소프트웨어 명령들은 바람직하게는 개시 장치에 대하여 이하 논의된 바와 같이 역할들, 책임감들, 또는 다른 기능을 제공하기 위해 컴퓨팅 디바이스를 구성한다. 특히 바람직한 실시예들에서, 다양한 서버들, 시스템들, 데이터베이스들, 또는 인터페이스들은 가능한 한 HTTP, HTTPS, AES, 공공-사적 키 교환들, 웹 서비스 API들, 알려진 금융 거래 프로토콜들, 또는 다른 전자 정보 교환 방법들에 기초하여 표준화된 프로토콜들 또는 알고리즘들을 이용한 데이터를 교환한다. 데이터 교환들은 바람직하게는 패킷-교환망, 인터넷, LAN, WAN, VPN, 또는 다른 타입의 패킷 교환 망을 통해 된다.
사람은 개시된 기법들은 시각 장애인을 돕기 위해 원격 감지 디바이스들을 구성하는 단계를 포함하는 많은 유익한 기술적 효과들을 제공한다는 것을 이해해야 한다. 예를 들어, 증강 현실 엔진은 원격 시각 장애인의 스마트폰으로 디바이스 커맨드들을 발행하기 위해 원격 시력 보조수단에 의해 활용될 수 있다. 커맨드들은 시각 장애인을 위한 가이던스(guidance)를 제공하도록 폰에 명령할 수 있다.
본 명세서에 이용된 바와 같이, 그리고 전후 관계가 반대되지 않는 한, 용어 "~에 결합되는(coupled to)"는 (서로 결합되는 2개의 엘리먼트들이 서로 접촉하는)직접적인 결합과 (적어도 하나의 추가적인 엘리먼트들이 2개의 엘리먼트들 사이에 위치되는)간접적인 결합 둘 다를 포함하기 위한 것이다. 따라서, 용어들 "~에 결합되는(coupled to)"과 "~와 결합되는(coupled with)"은 동의어로 이용된다.
본 출원은 실시간 객체 인식과 시력 향상을 제공하는 시스템과 방법에 관한 것이다. 후속하는 상세한 설명은 본 발명의 구현에 관련된 특정 정보를 포함한다. 당업자는 본 발명이 본 출원에서 특별히 논의된 것과 다른 방식으로 구현될 수 있다는 것을 인식할 것이다. 더욱이, 본 발명의 특정한 상세한 설명들의 몇몇은 발명을 모호하게 하지 않기 위해 논의되지 않았다. 본 출원에 기술되지 않는 특정한 상세한 설명은 당업자의 지식내에 존재한다. 본 출원에서 도면들과 이들의 수반하는 상세한 설명은 단지 본 발명의 예시적인 실시예들에 관한 것이다. 간결함을 유지하기 위해, 본 발명의 원리들을 이용하는 본 발명의 다른 실시예들은 본 출원에 특별히 기술되지 않으며 본 도면들에 의해 특정하게 예시되지 않는다. 염두에 두어야 할 것은, 달리 언급되지 않는 한, 도면들 중에서 유사 또는 대응하는 엘리먼트들은 유사 또는 대응하는 참조 번호들로 표시될 수 있다는 것이다.
본 발명자들은 컴퓨터 중개 객체 인식을 제공하기 위한 종래의 접근법들이 종종 보다 적은 최적의 이용 경험을 가져온다는 것을 인식하였다. 더욱이, 본 발명자들은 시각 장애에 대해 시력을 향상시키는 접근법의 일부로서 미묘한 차이가 있으며 복잡한 객체 인식 솔루션의 구현을 위한 기술에서 극심한 필요성을 인식하였다. 본 출원은 유연하고, 강력하며, 그리고 증강 시력에 통합되는 접근법의 일부로서 객체, 얼굴, 문맥, 그리고 환경 인식을 정확하고 편리하게 제공하도록 구성된 사용자 응답 솔루션들을 제공하는 것에 관한 시스템들과 방법들을 개시한다. 일 실시예에서, 예를 들어, 본 발명의 개념들에 따른 시스템과 방법은 얼굴 특징들을 포함하고 이들의 특징들을 갖는 사람의 실시간 인식을 제공하는 시각적 이미지를 캡처하는 것을 가능하게 할 수 있다. 더욱이, 일 실시예에서, 본 발명의 개념들에 따른 시스템과 방법은 위치에 따라서 원격 사용자에게 내비게이션 정보를 제공할 수 있을 뿐 아니라 환경적 특징들을 포함하고 위치의 실시간 인식을 제공하는 시각적 이미지를 캡처하는 것을 가능하게 할 수 있다.
본 출원에 의해 개시된 많은 이득들 중 하나는 디바이스들, 시스템들, 그리고 방법들이 모바일 사용자에게 실시간 시력 보조, 정보, 그리고 접근가능한 인터페이스들을 통한 통신을 제공하는 것이다. 일 실시예에서, 예를 들어, 증강 현실 및 향상된 시력 서비스들은 사용자의 퍼스널 컴퓨터(PC)에 연결되고/되거나 다른 중압집중 또는 분산 컴퓨팅 및 통신 서비스들에 연결된 카메라-구동 휴대용 통신 디바이스를 이용하여 제공될 수 있다.
예를 들어, 본 명세서에 구현된 시스템들은, 예를 들어, 시력 보조수단 또는 저해상도 비디오 분석을 위해 너무 멀리 존재할 수 있는 객체들, 랜드마크들, 특수 태그들, 텍스트, 신호들, 또는 바코드들을 검출하고, 인식하며 그리고 실시간으로 추적하는 것을 허용하는 자동화된 컴퓨터 시력 엔진과 실시간으로 통신하기 위해 시각 장애 사용자가 모바일 전화 또는 개인 휴대 정보 단말기(PDA)와 같은 카메라-구동 휴대용 통신 디바이스를 활용하는 것을 허용한다. 본 시스템의 실시예들은 매우 높은 속도들, 예를 들어, 대략 초당 5 내지 10프레임들(fps), 또는 그 이상의 속도로 고해상도 이미지 인식을 제공한다. 본 발명의 일 실시예에 따라서, 이와 같은 성능은 사용자의 PC의 처리 전력을 타진함으로써 가능하게 된다.
몇몇 실시예들에서, 객체 또는 환경적 인식 처리의 결과들은 TTS(text-to-speech) 또는 사전녹음된 태그들을 이용하여 크게 발음될 수 있다. 즉, 객체들은 실시간으로 객체의 또렷한 음성 인식을 제공함으로써 식별될 수 있다. 처리 및 인식은 본 발명의 실시예들에 의해 분산되거나, 또는 통해 접근가능한 인식을 이용해 진행될 수 있다. 예를 들어, 이들 데이터베이스들은 대부분의 사용자들에 공통인 많은 디폴트 엔트리들을 포함할 수 있다. 몇몇 실시예들에서, 인식 데이터베이스들이 개방적일 수 있으며, 따라서 사용자에게 개인적으로 중요한 정보의 추가적인 레이어들이, 사용자의 PC에 저장 자원 로컬로 저장되거나, 또는 중앙 공유 커뮤니티 데이터베이스에 액세스될 수 있다.
또렷한 음성 인식에 더하여, 하이퍼링크들, 이미지들, 2차원(2D) 및 3차원(3D) 그래픽들 등과 같은 그래픽 엘리먼트들이 낮은 지연시간 및 높은 프레임 속도로 실시간으로 비디오 스트림내 특징들에 부착 및 등록될 수 있다. 더욱이, 음성 인식과 제스처 인식이 조합될 때, 촉각 및 음성 이용가능 터치 스크린 인터페이스들뿐만 아니라 그래픽들을 이용한 접근가능한 인터페이스들의 구현은 시각 장애, 노인, 그리고 통신 또는 인지 장애들을 갖는 다른 사람들과 같은 장애가 있는 사용자들의 넓은 스펙트럼에 의해 이용을 가능하게 한다.
특수 태그들은 사용자가 시스템이 달리 인식할 수 없는 다양한 객체들 또는 랜드마크들에 태그들을 간단히 부착할 수 있도록 하는 시스템에서 사전훈련될 수 있다. 이러한 태그 접근법은 다양한 객체 인식 알고리즘들, 예를 들어, 스케일-불변 특징 변환 알고리즘들(SIFTs), 스피드 업 로버스트 특징 알고리즘들(SURFs), 또는 다른 보다 간단한 컬러 또는 형상 기반 기법들에 대해 최적으로서 식별된 이미지들과 같이 실시간으로 비디오의 분석을 통해 인식가능한 특징들을 이용할 수 있다. 사용자가 하나 이상의 장면들내 하나 이상의 객체들에서 휴대용 통신 디바이스 카메라를 가리킴에 따라서, 객체들은 하나 이상의 객체들을 식별하기 위해 실시간으로 시스템에 의해 자동적으로 분석될 수 있다. 시스템은 그래픽적으로 또는 오디오 및 촉각 인터페이스들을 통해 휴대용 통신 디바이스의 디스플레이내 식별된 객체(들)에 관한 연결된 정보 또는 행동 옵션들을 제공하도록 더 구성될 수 있다. 예를 들어, 사용자에 의한 사전 입력들로서 존재하는 것들뿐만 아니라, 객체들, 텍스트, 전화번호들, 이메일들, SMS 접촉들 또는 거리 표지판들의 인식에 기초하여 발생되는 링크들은 추가적인 정보 레이어들에 접근하기 위해, 또는 통신들 또는 위치 기반 서비스들을 개시하기 위한 보다 많은 사용자 옵션들을 가져올 수 있다.
본 발명의 실시예들은 하이브리드 피어-투-피어(P2P)와 중앙 처리 아키텍처를 구현하며, 이에 의해 카메라 구동 휴대용 통신 디바이스의 한계들을 넘어서는 처리, 전력 그리고 메모리 자원들의 이용을 가능하게 하는 동시에, 중앙 호스트 구현들과 연관된 비용들을 피한다. 예를 들어, 사용자 PC 또는 PC들의 클러스터에 대한 처리를 위해 고해상도 이미지들내로부터 레이어되고 인코드된 압축 비디오를 전달하고 선택적인 관심 영역들을 캡처함으로써, 비디오 이미지들은 휴대용 통신 디바이스 독자의 처리 능력을 달리 넘어서는 분석의 깊이를 수신할 수 있다. 이러한 방식으로, 예를 들어, 객체들, 랜드마크들, 텍스트, 바코드들, 그리고 얼굴들이 분석되고 실시간으로 인식될 수 있다.
본 발명의 일 실시예에 따르면, 리모트 프레전스(remote presence) 및 향상된 시력 서비스들이 원격 보조수단에 휴대용 통신 디바이스에 의해 캡처된 이미지들 또는 라이브 비디오의 디스플레이를 통해 원격 보조 및 트레이닝을 허용한다. 게다가, 예를 들어, PC를 통해 휴대용 통신 디바이스에 연결된, 원격 보조수단은, 원격으로, 인커밍 이미지들에 기초하여 휴대용 통신 디바이스를 이용한 고해상도 이미지들을 취할 수 있다. 게다가, PC를 이용한 원격 보조수단은 분산 처리 특징들과 시스템에 의해 제공된 배열되고 레이어된 인코딩을 이용함으로써 거의 실시간으로 파노라마들을 생성할 수 있으며, 점진적으로 보다 높은 해상도 및 인커밍 이미지들 또는 비디오 프레임들의 등록 및 자동 스티칭에 기초하여 형성된 알파 혼합 파노라마를 허용한다.
그 다음 이와 같은 파노라마들은 라이브 인커밍 비디오의 포지션에 기초하여 팬 틸트 및 줌될 수 있으며, 모바일 사용자 또는 이들의 원격 보조수단들이 장면의 보다 높은 해상도를 획득하도록 하며 이에 의해, 예를 들어, 보다 먼 거리를 보거나, 또는 정상적인 시력을 가진 사람들조차 할 수 없는 신호 체계들 읽거나, 또는 사전 이미지들을 액세스함으로써 어둠에서 볼 수 있도록 향상된 시력 능력들을 갖는 것을 허용한다. 원격 보조를 위한 라이브 증강 현실은, 예를 들어 지리 정보 시스템(GIS)에 의해 모바일 사용자의 실시간 포지션 정보에 접근하는 동안 원격 보조수단이 라이브 양방향 오디오/비디오 통신들로 존재할 수 있는 곳에서 가능하게 될 수 있다.
휴대용 통신 디바이스를 활용하거나, 또는 원격으로 사용자에 대한 트레이닝을 수행할 수 있는 시력 보조수단의 도움으로, 개인 트레이닝은 모바일 사용자가 시스템의 하나 이상의 데이터베이스들내로 객체들을 트레인하는 것을 허용한다. 중앙 제공 데이터베이스들에 대한 액세스뿐만 아니라, 이와 같은 데이터베이스들의 커뮤니티 공유는 전술한 실시간 성능을 가능하게 하기 위해 휴대용 통신 디바이스/PC 기반 시스템에 로컬 데이터베이스의 생성을 허용한다. 시스템의 실시예들은, 예를 들어, 추가적인 전자 제품 카탈로그 정보 또는 다른 사용자 발생 정보를 액세스하도록 범용 제품 코드(UPC) 바 코드 검출 및 인식을 위해 구성될 수 있다. 시스템의 실시예들은 본 명세서에 개시된 실시간 인식 엔진 및 분산 구조가 지원하는 이미지와 특징 데이터베이스와 이와 같은 정보를 더 연관시킨다. 모바일 사용자는 접근가능한 인터페이스들을 통해 관심 객체의 이미지들을 취할 수 있으며 그 다음 모바일 사용자 또는 이들의 원격 시력 보조수단은 고해상도 사진을 캡처하기 위해 수동으로 그리고/또는 초기의 시력 특징들을 이용하여 바코드를 위치시킬 수 있다. 그 다음 관심 영역, 예들 들어, UPC 바코드를 포함하는 영역은 바코드가 그와 같이 인식되는 PC 기지국으로 전송될 수 있으며, 그리고 UPC 데이터베이스는 국부적으로 또는 네트워크를 통해 액세스된다.
전술한 바와 같이, (하이퍼링크들과 같은)그래픽 오버레이 엘리먼트들의 활용뿐만 아니라, 실시간 검출, 인식, 추적을 위해 요구된 높은 프레임 속도 비디오와 빠른 고해상도 사진 분석을 위해 필요한 처리 자원들은 적절히 구성된 카메라-구동 휴대용 통신 디바이스와 사용자의 또는 소셜 네트워크 PC를 연결함으로써 효율적이고 신뢰할 수 있게 획득될 수 있다. 이와 같은 연결은 이와 같은 자원 공유를 인가하는 휴대용 통신 디바이스들, PC들, 또는 PC들의 클러스터들에 의한 처리를 지원하는 인터넷 프로토콜(IP) 기반 오버레이 네트워크를 통해 제공될 수 있으며, 여기서 이와 같은 분산 구조는 서비스들의 여분의 중앙 호스트 세트에 의해 보강된다. 예를 들어, 휴대용 통신 디바이스와 모바일 인터넷 디바이스(MID) 또는 노트북에 의해 공유된 디바이스-대-디바이스 네트워크들을 가능하게 하는 로컬 서버들은 기술된 분산 라이브 비디오 및 고해상도 이미지 인식 처리를 위한 독립형 시스템을 가져올 수 있다.
일 실시예에서, 휴대용 통신 디바이스와 PC(들) 사이에 분산된 초기의 시력 시스템은 텍스트, 바 코드들, 숫자들, 컬러 등과 같은 정보를 포함할 것 같은 영역들뿐만 아니라 저해상 비디오를 분석하고 객체들과 장면들을 인식하기 위해 이용될 수 있다. 예를 들어, 모바일 사용자 선택들, 모바일 사용자 로케이션, 그리고 시각뿐만 아니라 이러한 초기의 시력 시스템의 결과들은 IP 오버레이 네트워크를 통해 이미지 캡처 및 전달 함수들을 효율적으로 컨트롤하기 위해 이용될 수 있다. 그 다음 이미 수신되고 분석된, 그러나 휴대용 통신 디바이스로부터 고해상도 이미지 전달을 요구하는 비디오 또는 보다 낮은 해상 이미지들의 이들의 영역들을 식별하기 위해 추정 관심 영역들은 이미지 캡처 컨트롤들과 통신될 수 있다. 그 다음 이들 고해상도 이미지들은 PC(들)로 운반하기 위해 우선순위가 매겨질 수 있다. 디코드된 이미지들과 비디오는 또한 백-엔드 인식 및 동적 데이터베이스 발생 엔진들에 또한 관련될 수 있다. 상기 발생된 큐들에 기초하여 동적으로 재편되는 데이터베이스들은 인식 성능에 상당한 영향을 끼칠 수 있다.
전술한 바와 같이, 휴대용 통신 디바이스로부터 실시간 비디오의 분석, 그리고 객체 인식은 텍스트, 바코드, 또는 다른 양호한 특징 영역들에 대한 비디오의 동시 분석이 수행되는 동안 SIFTS와 SURFS와 같은 알고리즘들을 이용하여 수행될 수 있다. 텍스트 또는 바코드와 같은 양호한 특징들의 검출은 광학 텍스트 인식(OCR)과 같은 기법들을 위해 관심 영역(들)의 고해상도 이미지의 우선순위화를 촉발하기 위해 이용될 수 있다. 일 실시예에서, 객체 인식 분석과 특별히 양호한 특징의 분석의 결과들이 조합되며, 따라서 심지어 최적 OCR보다 적은 분석이 인식 성능을 향상시키기 위해 이용될 수 있다.
본 발명자들은 사용자들이 그들의 개인적인 트레이닝 데이터베이스를 제출할 수 있는 위키 타입 커뮤니티 데이터베이스를 고려한다. 이들 커뮤니티 데이터베이스들은 UPC 및 전자 제품 카탈로그 번호들과 정보를 이용하여 정상화되고/되거나, 사용자 발생 및 리뷰 데이터 베이스들에 의해 주석이 달릴 수 있다. 데이터베이스 엔트리들은, 예를 들어, 비디오 컨텐츠, 고해상도 이미지들 또는 관심 영역들, 로케이션들, 시간 정보, 텍스트, 그리고 오디오를 포함할 수 있다. 게다가, 데이터베이스 엔트리는, 전술하고 이하 보다 상세히 기술된 바와 같이, 팬-틸트-줌(PTZ) 시퀀스들에 의해 태그되고, 주석이 달리거나 낭독된 파노라마를 포함할 수 있다. 본 시스템의 실시예들에서 접근가능한 인터페이스들로 구성된 휴대용 통신 디바이스들의 포함은 모바일 사용자 또는 그들의 시력 원격 보조수단이 동적으로 그들의 휴대용 통신 디바이스와 기지국 PC로 하나 이상의 데이터베이스 엔트리들을 직접적으로 다운로드할 수 있게 한다.
본 발명의 실시예들은 넓은 다양한 특정 사용자들을 위해 구현될 수 있다. 예를 들어, 헬스케어 및 응급 케어 인터페이스들은 응급 개인 응답 및 원격 환자 모니터링 서비스들과 호환성을 통해서 뿐만 아니라 음성 발음 터치 스크린과 음성 및 제스처 인식 인터페이스들을 통해 인에이블될 수 있다. 게다가, 본 발명의 실시예들은 3G 또는 4G 모바일 네트워크 데이터 품질을 검출하고 신뢰할 수 있는 스트리밍과 잠재적으로 손실이 있는 실시간 데이터 전달 사이를 전환하도록 구성될 수 있다. 더욱이, 본 발명의 실시예들은 원격의료 및/또는 원격 보조와 같은 중요한 애플리케이션들에서 증가된 리던던시와 신뢰성을 위해, 기존의 PDA들, 스마트폰들, 또는 MID들에 추가된 주변장치들을 통해, 3G 및/또는 4G 및 그 이상, 회로 교환 GSM, 그리고 공중 전화 교환망(PSTN) 표준들과 같은 다중 네트워크 연결들을 이용하도록 구성될 수 있다. 몇몇 실시예들에서, 뷰 파인더로서 비디오 컨텐트의 이용, 그리고 원격 고해상도 이미지 캡처(예를 들어, 원격 카메라맨 기증)는 약물 섭취 모니터링 및/또는 원격 검사 및 현장 복구들과 같은 리모트 프레전스 기능들에 대해 특히 가치가 있을 수 있다. 대안적으로, 안전한 방식으로 오디오/비디오 컨텐트 및 위치 데이터 레코딩은 원격 사람들에 의해 이용된 멀티미디어 위치-기반 서비스(LBS) 타임카드와 함께 이용될 때 가치를 더할 수 있다.
도 1은 본 발명의 일 실시예에 따라서, 실시간 객체 인식 및 향상된 시력을 제공하기 위한 시스템(100)을 도시한다. 도 1에 도시된 바와 같이, 시스템(100)은 휴대용 통신 디바이스(110), 클라이언트-서버 호스트 디바이스(120), 그리고 클라이언트-서버 호스트 디바이스(120), 그리고 중앙 호스트 서버(130)를 포함한다. 주목해야 할 것은 휴대용 통신 디바이스(100), 클라이언트-서버 호스트 디바이스(120), 그리고 중앙 호스트 서버(130)의 조합이 개념적인 명료성을 위해 도시되었으며 결코 제한되도록 하기 위한 것이라는 것이다. 예들 들어, 일 실시예에서, 시스템(100)은 휴대용 디바이스(11) 및 하나 이상의 클라이언트-서버 호스트 디바이스(12)를 포함하지만 중앙 호스트 서버(130)를 생략하는 반면에, 다른 실시예에서, 시스템(100)은 휴대용 디바이스(11)와 중앙 호스트 서버(130)를 포함하지만 클라이언트-서버 호스트 디바이스(120)를 생략할 수 있다. 게다가, 종래 기술에 알려진 바와 같이, 휴대용 통신 디바이스(110), 클라이언트-서버 호스트 디바이스(120) 및 중앙 호스트 서버(130)의 각각의 동작은 각각의 디바이스 또는 서버내 (도시되지 않은) 메모리에 저장된 소프트웨어를 실행하는 각각의 디바이스 또는 서버에 위치된 마이크로프로세서 또는 (도시되지 않은)중앙 처리 유닛에 의해 수행된다.
도 1에 도시된 바와 같이, 클라이언트-서버 호스트 디바이스(120)와 중앙 호스트 서버(130)는 휴대용 디바이스(11)로부터 멀리 떨어져 있다. 카메라(112)가 장착되는, 휴대용 디바이스(11)는 각각의 네트워크 통신 링크들(102 및 104)을 이용하는 클라이언트 서버 호스트 및/또는 중앙 호스트 서버(130)를 액세스하도록 구성된다. 게다가, 클라이언트-서버 호스트 디바이스(120)와 중앙 호스트 서버(130) 둘 다 존재하는 실시예들에서, 네트워크 통신 링크(106)는 이들 시스템 엘리먼트들 사이의 통신을 중재할 수 있다. 본 발명의 다양한 실시예들에서, 네트워크 통신 링크들(102, 104, 및 106)은 동일한 네트워크들, 또는 상이한 네트워크들을 통해 통신들에 대응할 수 있다. 예를 들어, 네트워크 통신 링크(102)는 Wi-Fi 또는 WiMAX와 같은 국지적인 네트워크를 통해 통신들에 대응할 수 있으며, 네트워크 통신 링크(104)는 데이터 밴드 통신들을 지원하는 무선 모바일 캐리어 네트워크에 대응할 수 있으며, 그리고 네트워크 통신 링크(106)는, 인터넷과 같은, 패킷 네트워크를 통해 데이터 전달에 대응할 수 있다.
휴대용 디바이스(110)는 카메라(112)와 인식 애플리케이션(114)의 모바일 버전을 포함하도록 도시된다. 휴대용 디바이스(11)는, 예를 들어, 카메라 장착 스마트폰 또는 개인 휴대 정보 단말기(PDA)를 포함할 수 있다. 카메라(112)는 비디오 카메라 및/또는 스틸 카메라를 포함할 수 있으며, 그리고 고해상도 비디오 및/또는 스틸 이미지를 캡처할 수 있다. 도 1의 실시예에 따르면, 인식 애플리케이션(114)의 모바일 버전은, 예를 들어, HTC Windows 모바일 스마트폰들 또는 다른 적절히 구성된 모바일 통신 디바이스들에서 실행될 수 있다. 이와 같은 디바이스들은 미합중국에서 그리고 국제적으로 운영되고 있는 실질적으로 모든 모바일 통신 프로바이더들에 의해 제공된다. 인식 애플리케이션(114)의 모바일 버전은 통신 및 트레이닝 목적들을 위해 원격 보조수단 또는 전형적으로 트레이닝 및 실시간 객체 인식을 수행하는 모바일 사용자의 가정내 PC와 같은 모바일 사용자의 기지국 클라이언트-서버 호스트 디바이스(120)에 모바일 사용자가 연결될 수 있도록 하는 접근가능한 인터페이스들을 제공하도록 구성될 수 있다. 클라이언트-서버 호스트 디바이스(120)는 또한 모바일 사용자의 트레이닝과 데이터베이스 관리 필요성들을 손쉽게 관리하기 위해 모바일 사용자와 원격 보조수단 둘 다 허용하는 접근가능한 인터페이스들을 가질 수 있다.
도 1에 더 도시된 바와 같이, 본 실시예에 따르면, 클라이언트-서버 호스트 디바이스(120)는 인식 애플리케이션(124)과 인식 데이터베이스(126)를 포함한다. 비록 인식 데이터베이스(126)가 클라이언트-서버 호스트 디바이스(120)에 상주하는 것으로 도시되지만, 그것은 케이스가 필요하지 않다. 그 보다는, 본 발명의 개념들은 네트워크 통신 링크(106)를 통해 클라이언트-서버 호스트 디바이스에 의해, 또는 (도 1에 또한 도시되지 않은)P2P 네트워크 연결을 통해 클라이언트-서버 호스트 디바이스(120)에 의해 접근할 수 있는 (도 1에 도시되지 않은) 다른 클라이언트-서버 호스트 디바이스에 상주하는 인식 데이터베이스(126)를 통해 접근 가능한 인식 데이터베이스(136)와 같은 클라이언트-서버 호스트 디바이스(120)에 의해서만 접근가능한 시스템의 변화들을 통해 구현될 수 있다. 클라이언트-서버 호스트 디바이스(120)에 상주하는 인식 애플리케이션(114)은 휴대용 통신 디바이스(110)를 이용하여 캡처된 시각 이미지의 실시간 객체 인식을 휴대용 통신 디바이스(110)의 원격 모바일 사용자에게 제공하기 위해 인식 데이터베이스들(126 및 136) 둘 중 어느 하나를 활용하도록 구성된다.
중앙 호스트 서버(130)는 다른 특징들과 마찬가지로 인식 애플리케이션(134), 인식 데이터 베이스(136)의 서버 버전을 포함하는 것으로 도시된다. 중앙 호스트 서버(130)에 의해 제공된 서비스들이 도 1에 또한 표현되며, 그리고 클라이언트-서버 호스트 디바이스(120)와 인식 애플리케이션(114)의 모바일 버전간의 통신을 설정하는 안전 수단을 포함할 수 있다. 개시된 네트워크 구조의 P2P 운반들은 과중한 대역폭 호스팅에 대한 필요성을 제거하며, 따라서 시스템(100)의 사용자들에 대해 경제적인 클라이언트-서버 구성을 허용한다. 그럼에도 불구하고, 본 발명자들은, 클라이언트-서버 호스트 디바이스(120)와 같은, 이들 자신의 개인 기지국 컴퓨터들, 예를 들어, 인식 애플리케이션(124)에서 실행하는 컴퓨터(들)를 활용할 없을 때 사용자들에 의한 액세스를 위해, 중앙 호스트 서버(130)와 같은, 중앙 호스트 서버들의 이용을 또한 고려한다.
인식 애플리케이션(134)의 중앙 호스트 서버 버전은, 예를 들어, 이는 휴대용 통신 디바이스(110)가 인식 애플리케이션(124)뿐만 아니라 인식 애플리케이션(134)의 서버 버전을 실행하는 노트북 또는 PC에 연결될 수 있는 실질적으로 자급 구성을 가능하게 하는 클라이언트-서버 호스트 디바이스(120)상에서 동작하도록 또한 구성될 수 있다. 이것은 휴대용 통신 디바이스와 PC 또는 노트북 사이의 P2P Wi-Fi 연결을 통해 달성될 수 있다. 이와 같은 구성은 사용자들이 모바일 캐리어 데이터-밴드 커버리지 이슈들 또는 비용 절감 목적들을 다루는 것을 허용하지만, 모바일 사용자가 두 시스템들을 운반하는 것을 요구할 것이다. 가정 환경들에서, 이것은 매우 실용적인 시스템 구성일 수 있다.
시스템(100)은 퍼스널 클라우드 컴퓨팅 모델의 전제를 또한 구현하며 이에 의해 모바일 사용자는 원격 인식 또는 트레이닝 엔진으로서 그들 소유의 노트북 또는 PC의 처리 전력을 탭 한다. 본 실시예에 따르면, 사용자는, 클라이언트-서버로서, 그들 소유의 PC, 또는 가족 구성원 또는 친구의 PC를 선택할 수 있는 동시에, 또한 중앙 호스트 서버(130)에 의해 제공된 중앙 호스트 옵션들에 접근하며, 이의 이용은 사용자에 대해 몇몇 추가된 금융 비용과 연관될 수 있다. 기술된 구성은 높은 사용자 활용성을 제공하는 유연한 시스템을 가져온다.
도 2에 도시된 바와 같이, 본 발명의 몇몇 실시예들은 도 1의 휴대용 통신 디바이스(110), 그리고 클라이언트-서버 호스트 디바이스(120) 및/또는 호스트 서버(130) 사이에서 상호작용할 수 있도록 상표가 붙은 iVisitTM 네트워킹과 같은 하이브리드 분산/중앙집중 컴퓨팅 플랫폼을 활용한다. 본 발명의 일 실시예에 따라서, 도 2는 클라이언트-서버 호스트 디바이스(220) 및/또는 중앙 호스트 서버(230)와 통신하는 휴대용 통신 디바이스들(210a 및 210b)을 포함하는 시스템(200)을 도시한다. 주목해야 할 것은 휴대용 통신 디바이스들(210a 및 210b), 클라이언트-서버 호스트 디바이스들(220), 그리고 중앙 호스트 서버(230)는 도 1내 휴대용 통신 디바이스(110), 클라이언트-서버 호스트 디바이스(120), 그리고 중앙 호스트 서버(130)에 각각 대응한다는 것이다.
도 2에 도시된 바와 같이, 일례에서, 휴대용 통신 디바이스(210a)와 같은 휴대용 통신 디바이스는 중앙 호스트 서버(230)뿐만 아니라 복수의 클라이언트-서버 호스트 디바이스들(220)과 통신할 수 있다. 대안적으로, 휴대용 통신 디바이스(210a)는 복수의 클라이언트-서버 호스트 디바이스들(220)과 통신할 수 있지만, 중앙 호스트 서버(230)로부터 일시적으로 차단될 수 있다. 이들 상황들 중 하나에서, 중앙 호스트 서버(230) 및/또는 복수의 클라이언트-서버 디바이스들(220)은, 예를 들어, 휴대용 통신 디바이스(210a)를 이용해 캡처된 시각 이미지를 처리하는 분산 컴퓨팅 플랫폼을 제공하도록 구성된다. 도 2에 더 도시된 바와 같이, 다른 예에서, 휴대용 통신 디바이스(210b)와 같은, 휴대용 통신 디바이스는 중앙 호스트 서버(230)와 단독으로 통신할 수 있다. 그러한 상황에서, 예를 들어, 인식 애플리케이션(134)의 서버 버전을 실행하고 인식 데이터베이스(136)를 활용하는, 중앙 호스트 서버(230)는 휴대용 통신 디바이스(210b)를 이용해 캡처된 시각 이미지를 처리하기 위한 컴퓨팅 플랫폼을 제공하도록 구성될 수 있다.
iVisit에 의해 제공된 특징들에 대한 소개로, iVisit(www.ivisit.com)은 IP 비디오 컨퍼런싱의 분야에서 선구자들 중 하나이며 20억분을 초과하고 일일 4백만 다운로드를 초과하는 최초의 인터넷 IP 비디오 컨퍼런싱 서비스들 중 하나를 운영하였다. 상업적으로 활용가능한 서비스들에 따라서, iVisit는 현재 자신의 고유의 P2P 네트워크 아키텍쳐를 이용하여 무료로 월마다 2000만분을 초과하는 다자간 비디오 컨퍼런싱을 호스트한다. iVisit는 휴대용 통신 디바이스들과 PC들에서 작업하는 IP 네트워크들을 통해 스케일러블 클라이언트-서버 플랫폼과 호스트 서비스들을 개발하고 운영하였다. iVisit는 800k가 넘는 사용자들과 현장 서버 소프트웨어(on-premises server software)에 의해 그들 소유의 서비스들을 운영하는 50개가 넘는 클라이언트-서버 라이센시들이 등록하였다. 본 발명의 실시예들에서 이용하기 위해 구성된 모바일 클라이언트들의 최근 고려된 베타 버전들은 완전한 듀플렉스 비디오 통화들(즉, 14fps에서 160×120 해상도)을 증명하는 윈도우즈 휴대용 통신 디바이스들에 지원된다. 이와 같은 성능은 이상적인 네트워크 성능 조건들 하에서 EV-DO Rev.A를 통해 Windows Mobile PDA들에 대해 입증되었다. 더욱이, 320×240의 Wi-Fi 해상도들은 PDA 폰들에 라이브 비디오 컨퍼런싱을 위한 풀 스크린 모드들을 지원할 수 있다.
도 1을 다시 한번 참조하면, 클라이언트-서버 호스트 디바이스(120)와 휴대용 통신 디바이스(110)는 통합 다자간 오디오/비디오 컨퍼런싱, 프리젠테이션, 그리고 데스크탑 공유, 위치-기반 서비스들, 푸시-투-톡, 메시징, 그리고 그 이상을 제공하도록 구성될 수 있다. Windows Mobile의 베타 버전들, iPhone, PC, 그리고 Mac 구성 클라이언트들은, 무선 네트워크들 또는 디바이스들에 대한 어떠한 부정적인 영향을 피하는 동시에, 라이브 및 저장 & 포워드 통신들에 대해 탁월한 성능을 증명하였다. 24시간의 대기 시간들과 2시간을 초과하는 활성 비디오 통화가 보다 높은 성능 휴대용 통신 디바이스들에 지원될 수 있다. 하이브리드 중앙/분산 매체 운반들, 적응 대역폭 관리, 레이어된 멀티-비트 속도 비디오 및 오디오 인코딩의 구현은 3G 및 4G 애플리케이션 서비스들, 그리고 그 이상에 대한 플랫폼을 약속하는 본 발명의 실시예들을 또한 만들 수 있다. 간단히 표현하자면, 본 접근법의 확장성은 본 명세서에 개시된 실시간 객체 인식과 시력 향상 기능이 실용적이도록 허용한다. 본 발명자들은 본 명세서에 개시된 발명이 고정-모바일 플랫폼을 통해 약 10fps 프레임 속도로 실시간 객체 인식을 현재 수행할 수 있는 유일한 솔루션을 제공한다.
고정 광대역을 지원하는 것에 더하여, 본 발명의 실시예들은 Wi-Fi, WiMAX 및 임의의 3G 모바일 네트워크를 통해 라이브 비디오를 지원한다. WiMAX가 시골 환경들에서 채택을 보여주는 이상적인 광대역 솔루션들이기 때문에, WiMAX에 대한 지원은 시골 및 서비스가 충분하지 못한 영역들에 이르는 것을 허용할 것이다. 대략 10kbps 데이터 속도를 허용하는 상당히 일관된 연결이 활용가능하면, 비동기 비디오 메시징은 1X 네트워크들을 통해 또한 발생한다. 보다 높은 대역폭은 휴대용 통신 디바이스들의 처리 한계들에 도달될 때까지 비디오 품질을 향상시키거나, 개시된 분산 매체 운반들을 활용하는 사용자들의 증가된 수들을 지원하기 위해 이용될 수 있다. 본 발명의 실시예들은 사용자들의 실질적인 수가 PC 클라이언트들에 있을 수 있으며, 그리고 이들의 처리 전력과 높은 대역폭을 지원하기 위한 능력에 기초하여 보다 높은 품질일 수 있는 이들 PC 사용자들 사이의 통신을 허용할 것이라는 것을 또한 고려한다. 예를 들어, 크고 고선명(HD) 비디오 포맷들이 ATOM/SnapDragon, Core Duo, 또는 유사한 프로세서들을 구비한 PC들, 노트북들, 또는 MID들에서만 인에이블 될 수 있다.
본 발명의 실시예들에 이용하기에 적합한 오디오 및 비디오 운반들은 고속 및 효율적인 사용자 데이터그램 프로토콜(User Datagram Protocol : UDP)을 통해 구축될 수 있다. 본 발명의 실시예들에 따르면, 대역폭 이용을 최적화하기 위해 클라이언트의 대역폭 요구조건들은 카메라, 조명, 움직임, 그리고 비디오-윈도우 크기를 자동적으로 조절할 수 있다. 시스템(100)의 클라이언트 및 호스트 서버 기반 서비스들은 간단한 기반시설 확장들로 수만 동시 사용자들에서부터 수백만 동시 사용자들까지 허용하도록 연장될 수 있다. 더욱이, 본 시스템의 실시예들을 통해 일어나는 통신들은 암호화될 수 있으며 HIPPA(Health Insurance Portability and Accountability Act)를 준수하도록 한다. 개시된 실시예들은 사설 LAN, WAN, 또는 VPN을 통해 안전하게 동작할 수 있다. 사설 도메인에 액세스하는 권한을 가진 사용자들만이 그러한 도메인 기지국 서버를 통해 다른 사용자들과 통신할 수 있다. 몇몇 실시예들에서, 인증은 첨단 암호화 표준(Advanced Encryption Standard : AES) 암호화를 이용한 커버러스형 티켓들(Kerberos-like tickets)에 기초한다.
본 발명의 실시예들에 의해 인에이블된, 다자간 비디오 통화들은, 예를 들어, 음성 및 청각 장애에 대한 진찰들, 통역, 또는 해석 서비스들을 허용한다. 사용자 옵션 메뉴 아래의 간단한 "add to call" 버튼은 사용자들이 통화에 합류하도록 추가적인 사용자들을 초대할 수 있도록 한다. "join meeting" 기능은 콜-인 컴퍼런스 브리지와 유사하게 작용할 수 있다. 이들 P2P 비디오 컨퍼런싱 서비스들은 제품 출시시에 지원되거나, 사용자들에 대한 추가적인 업셀(up-sell)로서, 또는 기본 패키지의 일부로서 지원될 수 있다.
본 발명의 실시예들은 통화들 또는 메시징 도중에 고해상도 사진들 "찍어 보내(snap and send)"도록 허용한다. 이들 이미지 전달들 동안, 비디오 컨퍼런싱이 영향을 받을 수 있다. 그러나, "찍어 보내기" 기능은 통화들 도중에 또는 메시지들과 레코딩들 도중에 오디오/비디오 주석 사진들로서 전송될 수 있는 매우 고품질 이미지들의 분산을 가능하게 한다. 게다가, 본 발명의 몇몇 실시예들은 통합 글로벌 포지셔닝 시스템(GPS)과 지도 서비스들을 포함한다. 예를 들어, 이들 옵션들은 권한이 있는 그룹들, 접촉 리스트들, 또는 특별한 개인들에 대해 모바일 사용자의 GPS 포지션의 통신을 가능하게 한다. 라이브 또는 녹화된 GPS 포지션들은 업로드되고 지도들 위에 표시될 수 있으며, 이는, 차례로, 다양한 다른 위치 기반 서비스들을 가능하게 한다. 예를 들어, 이와 같은 연결된 위치 기반 서비스들은 "Follow Me" 또는 "Friend Finder" 타입 서비스들 또는 기업을 위해 기업차량 관리(fleet management) 및 원격 근무자 관리 애플리케이션들(remote workforce management applications)을 가능하게 하기 위해 이용될 수 있다.
전술한 바와 같이, 예를 들어, 본 발명의 몇몇 실시예들은, 시각 장애 원격 사용자들과 같은, 초보자, 노인, 또는 감각 장애 사용자들에 의한 접근성의 편의를 위해 구성된 특징들을 포함한다. 이들은 새로운 접근가능한 터치 스크린 인터페이스들, (전력, 네트워크 상태, 인커밍 통화들 또는 메시지들과 같은)새로운 접근가능한 휴대용 통신 디바이스 상태 표시들의 추가를 포함한다. 노인 및/또는 초보 시력 장애 사용자들을 위해, 하나 이상의 원격 시력 보조수단들에 대한 접촉 정보는 시스템이 단일 버튼 푸시 또는 다른 입력에 응답하여 자동으로 메시지를 전송할 수 있도록 프로그램될 수 있다. 보다 많은 앞선 사용자들을 위해, 사용자를 위한 오디오 메뉴들의 형태로 옵션들의 그리드(grid)를 발음하는 방향 키들과 접근가능한 터치 스크린 인터페이스들은 계층적 오디오 메뉴 선택들을 통해 모든 시스템 기능들에 대한 액세스를 허용한다. 녹음된 인간 목소리들이 소음이 있는 환경에서 모바일 사용자들에 의해 보다 성공적이고 분별성을 갖는 이들 발음들을 위해 이용될 수 있다.
몇몇 실시예들에서, 적절한 텍스트-대-음성 엔진(text-to-speech engine)(예를 들어, Accapela)와 조합된 키보드 인터페이스들인 시스템을 보다 접근가능하게 만들기 위해 이용될 수 있다. 스피커 독립 이름 다이얼링(Speaker independent name dialing : SIND)과 음성 커맨드들은 음성 구동 인터페이스들을 가능하게 하기 위해 또한 이용될 수 있다. 예를 들어, Nokia Video Connectivity Cable(CA-75U) 또는 무선 LAN/UpnP를 통해 호환가능한 TV에 직접 연결은 디지털 확대 애플리케이션들을 인에이블할 수 있다.
시스템의 몇몇 실시예들에서 이용된 인식 애플리케이션(124)은 트레이닝 처리동안 원격 보조수단에 의한 상당한 컨트롤을 허용할 것이다. 이와 같은 컨트롤은, 예를 들어, 트레이닝동안 모바일 카메라의 해상도를 선택하기 위한 원격 능력, 검출되는 특징들을 삭제하기 위한 능력, 검출되고 인식된 객체에 범위와 방향 정보를 알리기 위한 능력, 그리고 앞서 검출된 객체가 더 이상 톤(tone)을 이용한 시야에 존재하지 않는다는 것을 신속히 발음하기 위한 능력과 같은 특징들을 망라한다. 예를 들어, 시스템은 원격 보조수단이, 발광 다이오드(LED) 카메라 플래시 또는 "손전등(flashlight)" 애플리케이션과 같은, 대부분의 카메라 구동 휴대용 통신 디바이스들에 활용할 수 있는 광 특징들을 컨트롤하는 것을 허용할 뿐만 아니라, 광 조건들에 관한 모바일 사용자를 통지하도록 또한 구성된다.
하나 이상의 원격 시력 보조수단들에 의한 원격 트레이닝이 휴대용 통신 디바이스(110)의 시각 장애 모바일 사용자에 의한 독립적인 이용을 위한 시스템을 구성하는 수단일 수 있기 때문에, 트레이닝 데이터베이스를 동기화시키는 것이 중요할 수 있다. 메타 태깅 접근법은 각각의 데이터베이스 엔트리가 트레이닝을 위한 범위 입력을 각각 갖는 이미지들의 다중 예를 갖는 것을 허용한다. 결과적으로, 시스템의 범위를 확장하고 다른 케이스에 존재하는 것보다 다양한 거리들에서 객체들로부터 보다 정확한 범위 추정치를 얻는 것이 가능하다. 고해상도 이미지들은 보다 큰 거리들에서 보다 작은 객체들을 인식하기 위해 이용될 수 있다. 현재 사용자들이 전송될 이와 같은 데이터를 기다릴 수 있다면 보다 긴 거리들로부터 객체들의 검출과 인식을 허용해야 하는 5백만 화소 카메라 휴대용 통신 디바이스들이 시장에 존재한다. 가정에서 이용하기 위한 Wi-Fi는 이러한 모드를 보다 실용적으로 만들 수 있다.
도 3은, 본 발명의 일 실시예에 따라서, 기본적인 컴퓨터 스킬들을 갖는 원격 보조수단에 의해 이용하기에 적합한 접근가능한 사용자 인터페이스를 포함하는, 도 1내, 인식 애플리케이션(124)에 의해 발생된 예시적인 디스플레이가 캡처되는 시각 프레임을 도시한다. 인터페이스(324)는 시력 보조수단 인터페이스로 고려될 수 있다. 2개의 터치 버튼 푸시에 기초하여 모바일 사용자는 오디오 및 일방향 비디오 연결을 갖는 원격 보조수단에 연결될 수 있으며, 시스템을 트레인하기 위해 원격 보조수단이 원격 카메라맨으로서 행동하는 것을 허용한다. 예를 들어, 원격 보조 수단은 관심 객체를 시야로 가져오기 위해 오디오 커맨드들로 휴대용 통신 디바이스(110)의 모바일 사용자에게 우선 명령할 수 있으며, 소형 뷰잉 윈도우(322)내 휴대용 통신 디바이스(110)로부터 라이브 비디오를 이용한다. 일단 관심 객체가 전체 시야내에 있으면, 원격 보조수단은 비디오의 프레임을 레코드하거나, 또는 고해상도 이미지, 예를 들어, 캡처된 시각 이미지(325)를 요청하기 위해 캡처 이미지 버튼들(Capture Image buttons)(323a 또는 323b) 중 하나를 누를 수 있다. 그 다음 원격 보조수단은 시스템이 인식 모드일 때 객체를 발음하기 위해 이용될 수 있는 텍스트 상세설명 필드(Text Description field)(328)에 객체 ID를 입력할 수 있다.
본 발명의 몇몇 실시예들은, 내비게이션 로컬라이제이션, 맵핑, 그리고 시각 서빙을 지원하기 위해 모바일 로봇들에서 이용되는 것들과 유사한, 예들 들어 SIFTS와 같은, 객체 인식 알고리즘들을 구현한다. 일반적으로, 객체 인식 알고리즘들은 평면이고, 텍스처된 객체들에 적용될 때 최상으로 수행된다. 알고리즘들은 또한 평면이고, 텍스처된 구조들로 구성된 3-차원 객체들, 또는 약간 구부러진 컴포넌트들로 구성된 3-차원 객체들을 확실히 인식한다. 객체 인식 알고리즘들의 장점은 이들이 광 조건들, 폐색들, 그리고 방향이 극적으로 변하는 실제 환경들에서 신뢰할 수 있는 인식을 제공할 수 있다는 것이다. 그러나, 사람의 얼굴과 같은 3-차원 변형가능한 객체들은 전형적으로 로버스트 방식으로 다루어지지 않는다.
많은 객체 인식 알고리즘들은 일대일 입증 시나리오들과 작은 데이터베이스들에서 높은 인식 성능을 달성할 수 있다. 이와 같은 일대일 시나리오들은 또한 매칭을 위해 그리고 트레이닝 세트로서 이용될 다중 이미지들을 보다 쉽게 허용하며, 시스템이 객체의 광 및 방향에 있어서 변화들에 대해 보다 강건해질 수 있도록 허용한다. 그러나, 예를 들어, 그러한 동일한 알고리즘들은 그림자에 속하는 객체를 식별하려고 시도할 때, 매우 큰 데이터베이스들과 비교할 때, 그리고 데이터베이스가 매우 유사한 객체들(예를 들어, 다이어트 코크 병(Diet Coke bottle)과 클래식 코크 병(Classic Coke Bottle))을 포함할 때 약 80% 내지 95%까지 떨어질 수 있다. 기술된 결함들에 대한 여러 해결책들은 본 발명의 개념들에 의해 망라된다.
하나의 이와 같은 해결책은, 예를 들어, OCR과 객체 인식 알고리즘들의 퓨전과 같은, 이미지 처리 알고리즘들의 통합을 포함한다. 다이어트 코크와 클래식 코크간의 구별, 또는 빌딩과 거리 신호체계들의 인식은 다른 객체들에 대해 매우 유사한 패턴들을 가질 수 있거나 단독으로 객체 인식 알고리즘들에 대해 충분히 구별되는 특징들을 나타낼 수 없을 수 있는 객체들을 증명한다. 유사성 문제들 또는 충분히 구별되는 특징들 부족으로 인해 고생하는 많은 객체들은 텍스트를 포함할 것이다. 결론적으로, 전술한 많은 도전들이 다양한 퓨전 전략들을 이용하여 다루어질 수 있다.
OCR은 전형적으로 판독될 텍스트 전체에 걸쳐서 약 3백만화소 이미지들 또는 약 100-200dpi를 요구한다. 본 시스템은 객체 인식을 지원하며, 그리고 OCR을 위해 요구된 해상도를 얻기 위해 3백만화소 이미지 캡처 모드로 자동 전환하도록 라이브 비디오 모드를 위해 구성될 수 있다. 예를 들어, 휴대용 통신 디바이스 카메라의 디지털 줌은 추정된 객체 인식 기반 범위 측정들에 기초하여 조절될 수 있다.
다양한 객체 라벨들 위 텍스트를 판독하기 위해 OCR의 이용에 더하여, UPC 바코드들은 입증의 다른 수단으로서 이용될 수 있다. 제품들 위 바코드들은 라이브 비디오 분석 모드 중 검출될 수 있으며 그 다음 시스템은 보다 높은 해상도 스틸 이미지를 캡처하기 위해 스틸 이미지 모드로 전환할 수 있다. 고해상도 스틸 이미지는 UPC 데이터베이스들에 대한 입증을 위해 UPC 바코드의 판독을 가능하게 할 수 있다. 더욱이, 일대일 입증 시나리오들에서 트레이닝을 위해 다중 이미지들을 활용하는 것이 가능할 수 있으며, 이에 의해 광 조건들 및/또는 방향들의 범위에 걸쳐서 객체 인식을 가능하게 한다. 예를 들어, 빌딩 입구들과 같은 특정한 고정 구조 객체들 위해, 접하게 될 수 있는 상이하지만 반복가능한 광 조건들을 나타내는, 상이한 시각에 상이한 방향들로부터 트레이닝 이미지들을 캡처하는 것이 가능할 수 있다. 또한 주목해야 할 것은 초점 그룹 상호작용들에 기초하여 90% 아래 인식 속도들조차도 시각 장애 모바일 사용자들에게 의미있는 값일 수 있다.
인간들은 약 135×200도의 시야를 갖지만, 전형적인 컴팩트 카메라는 단지 약 35×40도의 시야를 갖는다. 결론적으로, 본 발명의 실시예들은 라이브 비디오로부터 자동 파노라마 발생을 제공하는 특징들을 포함하거나 또는 보다 높은 해상도 이미지들이, 원격 보조수단과 같은, 원격 클라이언트-서버 호스트 디바이스 사용자들에 대해 실질적인 값일 수 있다. 예들 들어, 파노라마 특징은 시각 장애 모바일 사용자들을 위해, 카메라 포인팅 이슈들로 인한 사인 검출 및 인식에 대한 이미지 크로핑 문제들(image cropping problems)을 극복할 뿐만 아니라, 원격 보조수단들에 대한 터널 시력 문제(tunnel vision problem)를 극복하기 위해 이용될 수 있다.
파노라마들을 발생하기 위한 하나의 솔루션은 보통 카메라를 이용하여 많은 이미지들을 캡처하고 매우 넓은 시야, 예를 들어, 360도까지의 시야를 갖는 합성 이미지를 형성하기 위해 개별적인 이미지들을 함께 스티치함으로써 현재 이용하는 자동-스티치 기법을 이용한다. 자동 스티칭의 결과들은 모바일 사용자 또는 원격 보조수단이 임의의 방향으로 볼 수 있도록 허용하는 컴퓨터 그래픽 모델로서 보여질 수 있다. 대안적으로, 이미지들은 360도 사진을 제공하기 위해 구 또는 실린더의 표면에 맵핑될 수 있다.
본 발명의 몇몇 실시예들에서, 클라이언트-서버 호스트 디바이스 인식 애플리케이션(124)은, 예들 들어, 약 5fps, 약 8fps, 또는 약 10fps의 속도들로 손실없이 비디오 프레임들을 수신하도록 구성된다. 그들 비디오 프레임들은 적절한 시퀀스로 존재할 것으로 기대될 수 있다. 결과적으로, 이미지 등록을 수행하도록 구성된 자동-스티치 소프트웨어 모듈들은 이들이 수신됨에 따라서 라이브 이미지 시퀀스들을 처리하도록 구현될 수 있다. 적어도 하나의 자동-스티치 구현은 새로운 파노라마들로서 인식될 이산 장면 변화들을 허용한다. 본 발명의 실시예들에 포함된 클라이언트-서버 호스트 디바이스 인식 애플리케이션(124)의 몇몇 버전들은 이와 같은 장면 변화들이 검출되었을 때 새로운 파노라마를 자동적으로 개시하도록 구성될 수 있다. 게다가, 원격 보조수단은, 예를 들어, 수동으로 또는 모바일 사용자 포지션에 기초하여 파노라마들 사이를 전후로 내비게이트하도록 허용될 수 있다.
이미지들의 SIFT 등록은 멀티-밴드 블렌딩보다 시간 소모가 적다. 결론적으로, 몇몇 실시예들에서, 최초 디스플레이 순수 결과들과 완전하지 않은 파노라마들이 유익할 수도 있으며, 그 다음 추가적인 이미지들로서 도착시 이들을 채우는 것이 유익할 수도 있다는 것이 입증될 수 있다. 예들 들어, 라이브 비디오 데이터는 SIFT 등록 모듈에 의해 분석될 수 있으며, 시스템이 휴대용 통신 디바이스 카메라가 가리킨다고 생각하는 파노라마 부분 위에 디스플레이될 수 있는 그래픽 오버레이를 제공한다. 시력 보조수단으로부터 원격 요청들에 기초하여, 또는 관심 영역의 위치를 식별하기 위해 자동 이미지 파싱(automatic image parsing)에 응답하여, 본 시스템은 파노라마의 임의의 부분의 보다 높은 해상도 이미지들을 취할 수 있다. 레이어된 인코딩은 보다 높은 이미지들의 추가 레이어들이 관심 영역들을 위해 전송되도록 허용하기 위해 이용될 수 있으며, 시스템의 데이터 전달 프로파일을 감소시킨다.
이미지 분석 알고리즘들은 위치 특정 특징들을 신뢰할 수 있게 인식하며 SIFT 방법들을 이용하는 이미지의 방향 및 거리 기반 랜드마크들을 결정하는데 있어서 매우 유망하다는 것을 보여준다. SIFT 방법들은 휘도 및 명암, 그리고 다른 변신들에서 임의의 회전들, 스케일링, 변화들 하에서 어수선한 이미지들의 작은 부분들을 효율적으로 매치시키기 위해 로컬 불변 특징들을 상관시키도록 이용될 수 있다. 이미지는 전형적으로 작은 오버래핑 섹션들로 쪼개지며, 이의 각각은 가능한 변신들에 불변이 방식으로 기술된다. 그 다음, 각각의 섹션은 개별적으로 매치될 수 있으며, 그리고 매칭 조각들이 재조립된다. 기술된 처리 시퀀스는 1초보다 적은 동안 수행될 수 있으며, 심지어 이미지를 큰 데이터베이스에 매칭할 때조차 수행될 수 있다.
SIFT 알고리즘들은 실내 환경에 있어서 모바일 사용자의 글로벌 로컬라이제이션의 문제에 또한 적용될 수 있다. 예를 들어, SIFT 랜드마크들은 시간에 걸쳐서 데이터베이스내에 캡처될 수 있으며, 시스템이 로컬라이제이션을 위해 3D 랜드마크들을 이용하도록 허용하는 환경의 3D 맵의 발생을 가져온다. 주행 기록계는 3D 글로벌 로컬라이제이션 결과들의 탐색을 감소시키기 위해 이용될 수 있지만, 시스템은 단독으로 위치 기반 SIFT 특징들을 완전히 찾을 수 있다. 본 발명의 실시예들에 대하여, 발명자들은 시각 장애 모바일 사용자들이 입증의 수단으로서 그들의 의도된 루트를 따라서 랜드마크들을 액세스할 필요가 있을 수 있다는 것, 또는 그들이 종점 목적지를 식별하고 위치할 필요가 있을 수 있다는 것을 고려한다. 그들의 필요성들은 매우 엉성한 지도들을 이용하여 충족될 수 있다. 게다가, 예를 들어, 루트 제한, 대략적인 GPS 포지션의 추정, 또는 무선 네트워크들로부터 얻을 수 있는 위치 기반 서비스들(LBS)과 같은 스트림라이닝 기법들의 구현을 통해, 관련있는 랜드마크 데이터베이스의 탐색 공간이 감소될 수 있으며, 주행 기록기에 대한 필요성을 제거한다.
더욱이, 2D 맵은 몇몇 시각 장애 모바일 사용자 애플리케이션들에 대해 충분할 수 있다. 예를 들어, 랜드마크들은 2D 맵과 로컬라이제이션을 허용하는 GIS 데이터로 태그될 수 있다. 대안적으로, 이와 같은 랜드마크들은 GIS 데이터베이스와 상관관계가 없을 수 있지만 루트 랜드마크들과 목적지들의 1D 표시에 대한 진행을 보고할 수 있다. 예를 들어, 비록 GIS 데이터로 태그되지 않지만, SIFT 랜드마크들은 블록 위 집으로 터미널 가이던스를 위해 유용한 상대적인 범위 및 방향 정보를 제공할 수 있다. SIFT 특징들은 노이즈 및 폐색들에 대해 가장 강하지만, 광, 반사들에 있어서 예측 불허의 변화에 특히 민감할 수 있는 랜드마크들이 존재할 수 있거나, 그렇지 않다면 독특하기 위한 충분한 SIFT 특징들이 부족하다. 이들 예들에서, 텍스트 신호 체계 검출과 OCR이 랜드마크 또는 장면 인식을 증강하기 위해 이용될 수 있다.
전술한 바와 같이, 텍스트 및 신호 체계 인식은 본 발명의 몇몇 실시예들의 특징들이다. 그러나, 시각 장애 모바일 사용자들에 대해, 무분별한 자동화된 텍스트 또는 신호 체계 인식은 정보 과부하의 상당한 리스크를 생성한다. 그들의 필요성들 또는 관심들과 일관된 텍스트 또는 신호 체계에 초점을 맞추기 위해 무관한 시각 이미지를 차단할 수 있는 시력 사용자와 달리, 시각 장애인은 이와 같은 초기 구분들을 할 수 없다. 결과적으로, 예를 들어, 본 시스템의 실시예들은 신호 체계의 "주문형(on-demand)" 인식과 특정한 내비게이션 도움들과 안전 특징들을 포함한다.
조작되지 않은 설정들에서 "주문형" 특징들을 자동적으로 검출하고 판독하는 능력은, "주문형" 텍스트 자체의 특성들에 있어서 가변성뿐만 아니라, 환경 조건들에 있어서 실질적인 가변성으로 인해, 매우 어렵다. 본 시스템의 실시예들은 강력한 분류기들의 튜너블 캐스케이드(tunable cascade)를 이용하여 구현된 "주문형" 인식 기능성을 포함하고, 비디오 스트림, 그리고 고해상도 스틸 이미지들에 대해 매우 높은 정확성과 함께 실시간으로 동작한다. 예를 들어, 실시간으로 160×120, 320×240 또는 640×480 비디오 스트림들을 분석하는 클라이언트-서버 호스트 디바이스 인식 애플리케이션(124)은 초기 검출된 영역들을 넘어서는 가능한 관심 영역 텍스트를 확장할 수 있으며 그 다음 OCR 또는 다른 향상된 검출 및 인식 알고리즘들을 위해 이용될 수 있는 백만화소 또는 보다 큰 고해상도 스틸 캡처 및 송신을 개시한다.
관심 영역들 텍스트가 이미지의 경계들을 넘어서는 상황들에 있어서 검출기는 모바일 사용자에게 방향성 스캐닝 가이던스를 제공하여야 하며, 다른 고해상도 이미지가 캡처되고 클라이언트-서버 호스트 디바이스 인식 애플리케이션(124)으로 전송되며 인접한 영역 이미지로 스티치 되도록 허용하고, 이에 의해 우연히 크롭된 이미지들의 문제를 극복한다. 이와 같은 접근법의 하나의 목적은 시각 장애 모바일 사용자를 위한 자동화된 시스템 보조를 가능하게 하고, 적절한 관심 영역들이 스캔되고 미완성(예를 들어, 과도하게 크롭된) 텍스트 영역들이 OCR 엔진으로 제출되지 않도록 보장하는 것을 돕는데 있다. 그러한 목적을 위해, 클라이언트-서버 호스트 디바이스 인식 애플리케이션(124)은 관심 텍스트 사인의 방향을 결정하며, 그리고 사인 또는 텍스트 영역에 대하여 그들의 포지션을 변화시키기 위해 모바일 사용자를 위한 가이던스를 제공하도록 구성될 수 있다.
게다가, 클라이언트-서버 호스트 디바이스 인식 애플리케이션(124)은 텍스트 영역들, 원거리 랜드마크들, 또는 사인들을 성공적으로 인식하기 위해 필요한 최저 해상도 이미지들을 결정할 수 있다. 예를 들어, 이와 같은 관심 영역들은 클라이언트-서버 호스트 디바이스 기반 원격 보조수단에 의해 보다 빨리 증가하는 해상도 향상을 허용하기 위해 레이어된 방식으로 인코드될 수 있다. 그 다음 이들 관심 영역들은, 예를 들어, ABBYY 상용 엔진과 같은, 정교하게 완성된 OCR 엔진 위에 2진화되고 건네질 수 있다. 결과들은 이들이 완전 단어들, 또는 구문들을 만들었다는 것을 확실하게 하기 위해 분석될 수 있으며 의미없는 결과들이 이와 같이 식별되고 버려질 수 있다.
주목해야 할 것은 트레이닝 및 테스팅 데이터가 "주문형" 텍스트 및 신호 체계 인식을 위해 요구될 것이라는 것이다. 그러한 트레이닝 데이터는, 예시적인 스티치된 파노라마들뿐만 아니라, 프록시의 집합 데이터 세트, 시뮬레이션 비디오 스트림들 및 이미지들을 포함할 수 있으며, 그리고 원하는 텍스트 영역들의 식별을 위해 비디오, 이미지들, 및/또는 파노라마들의 수동 라벨링을 포함할 수 있다. 예들 들어, 트레이닝은 큰 트레이닝 세트들의 어셈블리를 위한 적극적인 학습을 포함할 수 있으며, PC/넷북 클라이언트 기반 원격 보조수단들이 모바일 사용자와 협력으로 데이터를 캡처하고 라벨할 수 있도록 추가적인 인터페이스들을 활용할 수 있다.
일 실시예에서, 구현은 성능을 위해 C++로 최적화될 수 있다. 본 발명의 몇몇 실시예들에서 구현된 인식 알고리즘들은 고해상도 메가픽셀 이미지들을 패치들로 분할함으로써 고해상도 메가픽셀 이미지들에 대해 작동되며, 다양한 스케일들로 이들을 분석한다. 결과적으로 그러한 실시예들은 라이브 비디오 스트림 해상도들과 보다 높은 메가픽셀 해상도들 둘 다를 처리하도록 구성된다.
다음은 본 발명의 시스템의 실시예들의 특징들, 성능들, 그리고 본 발명의 시스템의 실시예들의 장점들의 몇몇을 요약한다. 시스템의 실시예들은 카메라 구동 휴대용 통신 디바이스(110)(예를 들어, 스마트폰, PDA)로부터 원격 클라이언트-서버 호스트 디바이스(120)로 30fps에서 160×120, 15fps에서 320×240; 그리고 5fps에서 640×480의 비디오 송신 속도들을 지원한다. 예를 들어, Wi-Fi를 통해 클라이언트-서버 호스트 디바이스(120)로 고해상도 이미지 전달은 대략 2초보다 적은 동안 전달된 1백만화소, 그리고 대략 8초보다 적은 동안 5백만화소들에 대응하는 속도들로 지원될 수 있으며, 3.5G 모바일 네트워크를 통해 400kbps 업스트림 대역폭을 가정한다. 더욱이, 자동 파노라마 생성 모드에 있어서, 전달 속도들은 대략 36초동안 1백만화소, 그리고 대략 3분 동안 5백만 화소 이미지들에 대응할 수 있다. 라이브 비디오 1+메가픽셀 파노라마들에 기초하여 거의 실시간 저해상도 파노라마 생성은 3.5G 네트워크들을 통해 대략 2초 내지 수분들 정도의 작은 범위인 시간 간격들 동안 발생될 수 있다. 라이브, 저해상도 파노라마들로부터 1+메가픽셀 파노라마들로 이행은 자동화된 시력 향상 시스템 또는 시간에 걸쳐서 개선된 해상도에 접근하는 클라이언트-서버 호스트 디바이스 기반 원격 보조수단을 제공하는, 배경 동작으로서, 점진적으로 수행될 수 있다.
자동화된 모드들에 대해 관심 영역들만이 추출되고 라이브 파노라마들의 이전 SIFT 알고리즘 분석에 기초하여 전달되도록 시스템들이 구성될 수 있다. 예를 들어, 본 발명의 실시예들은 20fps에서 160×120, 10fps에서 320×240; 그리고 5fps에서 640×480을 달성하기 위해, 1.5GHz 펜티엄 프로세서를 이용하는, 수백의 엔트리들의 데이터세트에 대한 SIFT 분석을 위해 구성될 수 있다. 원거리 객체들을 위해, 보다 높은 해상도들이 요구되며, 이는 랜드만크의 범위에 따라서 시스템들 성능을 저하시킬 것이다. 텍스트 및 신호 체계 검출은 15fps에 대해 대략 2의 검출 속도들, 그리고 2fps에 대해 대략 1의 인식 속도들로 라이브 비디오 이미지들에 기초하여 수행될 수 있다. 관심 영역 커맨드는 15fps에 대해 대략 1의 속도로 PC/넷북으로부터 휴대용 통신 디바이스로 전송될 수 있다. 포인팅 커맨드들은 대략 2초동안 발해질 수 있다. 1 메가픽셀 이미지 캡처 및 송신은 Wi-Fi를 통해 대략 2초동안 수행되거나, 또는 3,5G 네트워크를 통해 대략 36초동안 수행될 수 있다. 관심 메가픽셀 영역 크로핑은 데이터 크기 및 송신 속도에 있어서 5 내지 10 배 개선을 가져올 수 있다. OCR은 대략 1 내지 2초, 게다가 사인 컨텐트의 텍스트-대-음성 발음을 실행하기 위해 요구된 시간동안 수행될 수 있다.
가까운 랜드마크들의 SIFT 특징들과 객체들은 낮은 해상도들에서 조차 인식될 수 있으며, 따라서 실시간으로 인식될 수 있으며, 상기 인용된 시스템 비디오 송신 및 백 엔드 이미지 인식 속도들을 가정한다. SIFT들은 랜드마크를 인식하고 자신의 범위 및 방향을 결정할 수 있다. 본 발명의 실시예들에 구현된 트레이닝 데이터세트들은 다중 범위들과 방향들을 이용하여 랜드마크들을 나타내도록 구성될 수 있다. 그러나, 원거리 객체들은 보다 높은 해상도 이미지들을 요구할 수 있으며 압축 아티팩트들(compression artifacts)이 부족할 수 있다. 결론적으로, 그러한 원거리 객체들은 전형적으로 3.5G 모바일 네트워크를 통해 전송하도록 느려진다. 텍스트 신호 체계의 성공적인 OCR은 거의 항상 전형적인 거리들에서 주어진 메가픽셀 이미지 해상도들과 모바일 사용자들에 의해 부딪히는 텍스트 크기를 요구할 것이다. 클라이언트-서버 호스트 디바이스 구성은 휴대용 통신 디바이스에서 클라이언트-서버 호스트 디바이스 인식 애플리케이션(124)으로 Wi-Fi 연결의 이용을 가능하게 함으로써 모바일 네트워크 지연들을 극복할 수 있지만, 3.5G 모바일 네트워크들을 통해 인식 및 데이터 송신을 빠르게 하기 위해 다른 방법들이 지능형 멀티-해상도 비디오 및 장면 캡처, 인코딩, 그리고 송신을 위해 이용될 수 있다.
다양한 해상도들에서 실시간 비디오는, 전술한 바와 같이, 휴대용 통신 디바이스에 의해 제공될 수 있다. 실시간 비디오는 자동화된 시력 향상 시스템, 클라이언트-서버 호스트 디바이스 기반 원격 보조수단, 또는 모바일 사용자 또는 휴대용 통신 디바이스(110)에 의해 개별적으로 요청될 수 있다. 휴대용 통신 디바이스들, 클라이언트-서버 호스트 디바이스(예들 들어, PC/넷북) 기반 원격 보조수단들, 또는 시력 향상 시스템의 모바일 사용자들은 파노라마 생성을 또한 개시할 수 있으며, 이는 라이브 비디오를 디스플레이하고 앞서 기술된 SIFT 자동-스티치 방법들을 이용하는 파노라마에서 타일링을 별도로 시작할 수 있다. 라이브 비디오의 포지션/투시가 자신을 둘러싸는 파노라마에 관하여 중심을 이루도록 조절될 수 있다. 자동 스티치 SIFT 매칭 및 등록 스테이지는 전형적으로 상당한 처리 시간을 요구하지 않으며, 휴대용 통신 디바이스로부터 수신될 때 비디오 이미지들이 시퀀스될 수 있도록 주어지면, 파노라마 생성이 클라이언트-서버 호스트 디바이스(120)에 대해 거의 실시간일 수 있다.
블렌딩과 컬러 정정은 보다 오래 걸릴 수 있으며 전형적으로 배경에서 발생할 것이다. 모바일 사용자 또는 클라이언트-서버 호스트 디바이스 기반 원격 보조수단이 고해상도(예를 들어, 메가픽셀) 파노라마들을 선택하는 경우들에서, 시스템은 자신들의 주변들을 스캐닝하는 동안 모바일 사용자를 가이드하는 동안 라이브 비디오 파노라마들을 보여주도록 구성될 수 있으며, 자동적으로 스캔동안 선택된 포인트들에서 모바일 사용자의 고해상도 이미지들 또는 클라이언트-서버 호스트 디바이스 기반 보조수단의 선택을 취한다. 이들 고해상도 이미지들은 피라미드 방식으로 인코드될 수 있으며, 따라서 가산 스트림(additive stream)이 배경에서 전송될 수 있으며, 이에 의해 클라이언트-서버 호스트 디바이스 기반 원격 보조수단을 위한 해상도의 점진적인 향상이 가능하게 된다. 자동화된 시력 향상 모드들에서, 이러한 라이브 비디오들은, 예를 들어, 이미지 구문 해석을 위한 인식 데이터베이스(126/136) 및 트레인된 검출기들, 그리고 가까운 랜드마크 인식을 위한 동일한 저해상도 SIFT 방법들을 활용한, 휴대용 통신 디바이스(10)의 모바일 사용자로 부터 멀리 떨어진 클라이언트-서버 호스트 디바이스(120)를 실시간으로 분석할 수 있다. 그러한 분석의 결과들은 실시간으로 활용가능한 해상도들에서 인식가능한 랜드마크들을 결정하기 위해 이용될 수 있는 반면에, 텍스트 신호 체계 검출기들은 관심 영역의 텍스트가 시야내에 있을 때 실시간으로 사용자를 또한 촉발할 수 있다. 그 다음 모바일 사용자는 휴대용 통신 디바이스 카메라의 목적을 조절하기 위해 텍스트 검출기들에 의해 촉발될 수 있으며, 그리고 시력 향상 시스템은 절단된 사인들 또는 랜드마크들을 가장 잘 피하기 위해 결정된 투시도로부터 고해상도 이미지를 취할 수 있다.
다양한 관심 영역 확장 전략들은, 라이브 비디오들과 구성된 파노라마들의 분석에 기초하여, 모바일 사용자에게 카메라 조준 큐들(camera aiming cues)을 제공하기 위해 이용될 수 있다. 그 다음 모바일 사용자는 메가픽셀 이미지를 찍기 위해 시력 향상 시스템에 안정되게 휴대용 통신 디바이스 카메라를 유지하도록 트레인될 수 있다. 이러한 고해상도 이미지들은 첨가 스트림이 배경에서 전송될 수 있으며 OCR 인식 백엔드를 위해 해상도를 점진적으로 향상시키기 위해 처리될 수 있도록 피라미드 방식으로 다시 인코드될 수 있다. 몇몇 실시예들에서, 식별된 관심 영역의 인식을 위해 가장 필요할 것 같은 해상도를 결정하기 위해 보다 낮은 해상도 검출기들이 활용될 수 있다. 그러나, 자동화된 디폴트 환경들은 모바일 사용자 및/또는 클라이언트-서버 호스트 디바이스 기반 원격 보조수단에 의한 수동 입력들에 따라서 중단될 수 있으며, 사용자들이 그들의 시거리(viewing distance)의 선택에 적합한 해상도를 선택하는 것을 가능하게 한다.
도 4는, 본 발명의 일 실시예에 따라서, 기술된 시력 향상 시스템의 기능적 개요를 도시한다. 시력 향상 시스템(400)은 휴대용 통신 디바이스(410)에 의해 제공된 기능, 클라이언트-서버 호스트 디바이스(420)에 의해 제공된 기능, 그리고 그러한 시스템 노드들 사이의 연관성을 포함한다. 도 1을 다시 참조하면, 도 4에서, 휴대용 통신 디바이스(410)와 클라이언트-서버 호스트 디바이스(420)에 의해 제공된 기능은, 도 1에서, 휴대용 통신 디바이스(110)에 대한 인식 애플리케이션(114)과 클라이언트-서버 호스트 디바이스(120)에 대한 인식 애플리케이션(124)의 모바일 버전의 동작에 각각 대응한다는 것을 알 수 있다. 상기 개략적으로 설명된 접근법은 인간 주변 및 중심 시력에 대응하도록 설계되며, 따라서 시각 장애에 대해 그러한 신경생리적인 시스템의 증강을 가능하도록 설계된다. 예들 들어, 기술된 저해상도 라이브 비디오 분석은 일반적인 형상들과 랜드마크들을 이해하기 위해 주변 시력을 이용하기 위한 시력 장애인의 능력에 대응한다는 것을 알 수 있는 반면에, 중심 시력의 보다 높은 예민함은 텍스트, 원거리 객체들, 또는 세부 사항을 갖는 영역들을 판독하고 인식하기 위해 요구된다. 본 발명의 실시예들에서, 관심 영역 검출은 고해상도 인식에 보다 많은 시간 소모를 위해 자원들을 투입하기에 앞서 라이브 비디오 또는 저해상도 파노라마를 이용해 수행될 수 있다.
본 발명의 몇몇 실시예들에 따르면, 공간 및 시간 레이어된 비디오와 스틸 이미지 인코딩 및 디코딩은, 예들 들어, H263+ 비디오 코덱과 같은, 비디오 코덱들의 성능을 향상시키기 위해 구현될 수 있다. 피라미드 방식 인코드된 프로그레시브 해상도 알고리즘들은 광대역과 전화 연결들의 이질적인 혼합을 최적으로 지원하기 위해 구현될 수 있다. 예를 들어, 점-대-점 환경에서, 매체 전송 속도는 점-대-점 경로를 통해 활용가능한 용량을 최적으로 활용하기 위해 연속적으로 조절될 수 있다. 그러한 접근법은, 경로를 공유하는 다른 트래픽에 과도한 영향을 끼치지 않고, 시스템이 최적의 사용자 경험을 운반하도록 허용한다. 다중 수신인들이 존재할 때, 각각의 수신인이 임의의 주어진 순간에서 수신할 수 있는 데이터의 양에 있어서 변화가 존재할 것이라는 것은 거의 확실하다. 이것은 큰 그룹 컨퍼런싱 환경에서 광대역 대 전화 사용자들의 이질적인 혼합으로 인해 존재할 수 있거나, 단순히 네트워크 정체 및/또는 지연들로 인해 존재할 수 있다. 전송자가 모든 클라이언트 노드들에게 동일한 데이터를 보내려고 한다면, 전송자는 최저 용량 수신 노드를 목표로 하는 사이를 전형적으로 선택해야 하며, 이에 의해 보다 나은 장착 수신기들의 경험이 저하되거나, 적게 장착된 수신기들로의 경로들이 과부하 걸릴 것이라는 지식과 함께 보다 높은 속도로 전송한다.
이러한 문제를 해소하기 위해, 본 발명의 실시예들은, 디코드된 비디오의 완전성을 유지하는 동안, 상이한 속도 데이터 스트림들을 발생하도록 선택적으로 포워드될 수 있는, 다중 레이어들에서 비디오를 인코드하도록 구성된다. 이와 같은 레이어링은 상이한 프레임 속도들이 단일 스트림으로부터 선택될 수 있도록 허용하는 H.263+에 대해 수정들을 통해 성취될 수 있다. 본 접근법은 대략 6 대 1(6:1) 비율(예를 들어, 비디오가 60kbps에서 인코드되면, 비디오는 10kbps에서 60kbps까지의 범위의 데이터 속도들로 수신자들에게 제공될 수 있다)내에서 변하는 데이터 속도들을 지원하도록 구성된다. 결과적으로, 상이한 수신자들은 동일한 공간 품질을 갖지만, 상이한 프레임 속도들로 비디오를 수신할 수 있다. 유사한 인코딩 체계들이 상이한 공간 레이어들을 지원하기 위해 또한 구현될 수 있다. 따라서, 예를 들어, 한 수신자는 160×120 해상도에서 비디오를 수신할 수 있는 반면에, 다른 수신자들은 320×240 해상도를 허용하는 추가적인 향상 레이어를 수신한다.
본 발명의 실시예들은 새로운 복제 및 포워딩 프로토콜(Replication and Forwarding Protocol : RTP)을 포함하지만, 이는 라우팅 능력에 있어서 여러 상당한 진전들을 제공한다. 예를 들어 인터넷을 통해, 중앙 호스트 서버에 동시에 접근하는 상황들에서 PC/넷북 클라이언트-서버 자원들에 대한 분산 처리 및 액세스는 활용할 수 없거나 바람직하지 않으며, 비디오 및 이미지들이, 예들 들어 무선 LAN과 같은, 디바이스들 사이에 전달될 수 있는 자족 클러스터들의 인에이블먼트를 요구한다. 이를 이루기 위해, P2P 매체 운반들을 이용하는 자족 클라이언트-서버 구조가 (1)각각의 매체 소스를 독립적으로 처리하기 위해 효율적으로 이용될 수 있으며, 따라서 데이터 복제는 클러스터의 상이한 멤버들에 대해 네트워크내 상이한 포인트들에서 발생할 수 있으며, 그리고 (2)가변 깊이들의 분산 트리들을 생성하기 위해 데이터 복제의 다중 포인트들의 캐스케이딩을 가능하게 하기 위해 효율적으로 이용될 수 있다.
전술한 바와 같이 2개의 진전들과 함께, 본 시스템 구조의 일 실시예는 각각의 매체 근원 노드(media origination node)가 복제 및 포워딩 노즈와 함께 위치되도록 구성된다. 사실상, 각각의 클라이언트(예들 들어, 모바일 클라이언트 또는 PC/넷북 클라이언트-서버)는 그러한 클라이언트에서 발생된 매체에 대해 매체 분산 서버로서 작용할 수 있다. 그러한 접근법은 복제의 이와 같은 대안적인 포인트들이 분산 라우팅 트리들을 통해 활용가능해질 때에는 언제나 데이터 복제의 포인트(들)이 발생원 노드(originating source node)로부터 쉽게 멀어질 수 있는 것과 같은 방식으로 대칭적인 P2P 분산 모델을 지원한다.
라우팅 능력들에서 이러한 변화들에 더하여, 시스템 RFP의 실시예들은 현실 세계 배치에 있어서 핵심적일 수 있는 운반 레벨 서비스들을 지원하도록 설계된다. 예를 들어, 그들은 다운스트림 노드가 데이터를 성공적으로 수신할 수 있는 것보다 높은 속도로 다운스트림 노드가 데이터를 보내지 않는다는 것을 보장하기 위해 홉-바이-홉 흐름 컨트롤/정체 회피(hop-by-hop flow control/congestion avoidance)를 포함할 수 있다. 더욱이, 시스템 RFP의 실시예들은, 발생원 노드로부터 재송신을 어쩔수 없이 요구하지 않고, 확실하게 운반되어야 하는 데이터의 승인 및 재전송을 위한 시설을 포함한다. 따라서, 본 시스템 RFP의 실시예들은 전통적인 애플리케이션 레벨 분산 서버들과 네트워크 레벨 멀티캐스트 솔루션 사이의 하이브리드로서 보여질 수 있다. IP 멀티캐스트와 마찬가지로, 개시된 RFP는 임의의 수의 복제 포인트들을 갖는 분산 트리들의 생성을 허용할 수 있다. 그러나, IP 멀티캐스트와 달리, 개시된 RFP는 1-대-임의의-N 라우팅 컨텍스트에서 풀기 어려운 핵심 운반 레벨 문제들을 또한 다룰 수 있다. 현재 배치되고 테스트된 기본적인 운반 능력들과 함께, 본 명세서에서 발명자들은 매체 발생 클라이언트 바깥쪽에 위치된 RFP 노드들(예를 들어, 소스 노드)을 이용한 분산 체계들 중 3개의 추가적인 실시예들을 개시한다.
하나의 이와 같은 실시예는 고속 네트워크 연결을 갖는 중심 위치 RFP가 스타 토폴로지(star topology)내 컨퍼런스 클러스터의 모든 멤버들을 위해 복제 서비스들을 제공하는 "컨퍼런스 서버(Conference Server)"로서 특징지워질 수 있다. 제 2 실시예는 수신자들의 클러스터 근처에 위치된 전용 RFP 노드가 그러한 클러스터를 향하는 모든 매체들을 위해 복제 서비스들을 제공하는 "로컬 프록시/캐시(local proxy/cache)"로서 특징지워질 수 있다. 예를 들어, 캠퍼스 또는 LAN에 위치된 RFP 노드는 모든 로컬 수신자들에 복제 서비스들을 제공할 수 있다. 제 3 실시예는 최종 사용자 클라이언트들이 동일한 스트림을 수신하는 다른 클라이언트들을 위해 복제 및 포워딩 서비스들을 수행하는 동적 P2P 모델의 형태를 취한다.
도 5는, 본 발명의 일 실시예에 따라서, 실시간 객체 인식 및 향상된 시력을 제공하기 위한 방법의 단계들을 기술하는 흐름도(500)를 도시한다. 특정한 세부 내용들과 특징들은 당업자에게 분명한 흐름도(500)의 바깥쪽에 남겨졌다. 예들 들어, 단계는, 기술에 알려진 바와 같이, 하나 이상의 서브단계들을 포함하거나 또는 특수 장비 또는 재료들을 포함할 수 있다. 흐름도(500)에 표시된 단계들(510 내지 550)은 본 방법의 일 실시예를 기술하기에 충분한 반면에, 다른 실시예들은 흐름도(500)에 도시된 단계들과 다른 단계들을 활용할 수 있거나, 또는 보다 많은 단계, 또는 보다 적은 단계들을 포함할 수 있다.
도 1과 관련하여 흐름도(500)의 단계(510)를 참조하면, 단계(510)는 카메라를 포함하는 휴대용 통신 디바이스에 의해 객체의 시각 이미지를 캡처하는 단계를 포함한다. 단계(510)는 카메라(112)를 포함하는 휴대용 통신 디바이스(110)를 이용하여 수행될 수 있다. 특정한 예로서, 휴대용 통신 디바이스(110)는 고해상도 이미지를 캡처할 수 있는 비디오 카메라를 포함하는 스마트폰인 것으로 간주한다. 그러한 예에서, 단계(510)는 고해상도 비디오 카메라를 이용한 스마트폰 슈팅 비디오의 사용자에 대응할 수 있다.
흐름도(500)의 방법은 단계(520)와 함께 지속되며, 단계(520)는 네트워크를 통해 적어도 하나의 클라이언트-서버 호스트 디바이스로 시각 이미지를 전송하는 단계를 포함한다. 단계(520)는 클라이언트-서버 호스트 디바이스(120)로 캡처된 시각 이미지를 전송하기 위해 네트워크 통신 링크(102)를 이용하는 휴대용 통신 디바이스(110)에 의해 수행될 수 있다. 몇몇 실시예들에서, 도 2에 예를 위해 도시된 바와 같이, 예를 들어, 휴대용 통신 디바이스(110)는 P2P 네트워크를 통해 복수의 클라이언트-서버 호스트 디바이스들에 연결될 수 있다.
이제 단계(530)를 참조하면, 도 5에서, 흐름도(500)의 단계(530)는 객체 인식 데이터를 발생하기 위해 클라이언트-서버 호스트 디바이스에 대한 인식 애플리케이션을 이용한 시각 이미지를 처리하는 단계를 포함한다. 일 실시예에서, 단계(530)는 클라이언트-서버 호스트 디바이스(120)상의 인식 애플리케이션(124)에 의해 수행될 수 있다. 더욱이, 도 2를 참조하면, 일 실시예에서, 음성인식 애플리케이션(124)을 각각 실행하는 복수의 클라이언트-서버 호스트 디바이스(220)는 단계(530)에서 수행된 처리를 위한 분산 컴퓨팅 플랫폼으로서 제공될 수 있다. 대안적으로, 일 실시예에서, 처리는 중앙 호스트 서버(130)에 의해 서버 버전 인식 애플리케이션(134)을 이용하여 수행될 수 있다. 전술한 바와 같이, 단계(530)의 처리는 SIFT 알고리즘, SURF 알고리즘, 그리고 OCR 중 하나 또는 그 이상을 이용하여 수행될 수 있다.
흐름도(500)의 단계(540)로 이동하면, 단계(540)는 네트워크를 통해 휴대용 통신 디바이스에 의해 적어도 하나의 클라이언트-서버 호스트 디바이스로부터 객체 인식 데이터를 수신하는 단계를 포함한다. 도 1로부터 알 수 있는 바와 같이, 단계(540)는 네트워크 통신 링크(102)를 통해 인식 애플리케이션(124)에 의해 발생된 객체 인식 데이터의 휴대용 통신 디바이스(110)에 의한 수신에 대응할 수 있다.
흐름도(500)의 단계(550)에서, 객체는 실시간으로 휴대용 통신 디바이스(110)의 원격 사용자에 대해 식별된다. 단계(550)는 휴대용 통신 디바이스(110)를 이용하여 수행된다. 일 실시예에서, 휴대용 통신 디바이스(110)는 인식 애플리케이션(114)의 모바일 버전을 포함할 수 있으며, 이는 실시간으로 객체의 발음된 음성 식별을 제공, 및/또는 시각 장애 원격 사용자에 의한 본 방법의 이용을 가능하게 하도록 구성된 인터페이스를 포함할 수 있다. 일 실시예에서, 시각 이미지는 환경적 특징들을 포함하며 객체를 식별하는 단계는 위치의 식별을 포함한다. 그러한 나중 실시예에서, 본 방법은 식별된 위치에 따라서 원격 사용자에게 내비게이션 정보를 제공하는 단계를 더 포함할 수 있다.
도 6에서, 도 1과 도 2에 대해 참조로서 기술된 시스템과 유사한, 시스템(600)은 증강 현실 엔진(660)과 상호작용을 통해 시각 장애인(605)에게 향상된 감각 능력들을 제공한다. 증강 현실 엔진(660)은, 자신의 객체들을 포함하는, 원격 환경(635)의 증강 현실 파노라마를 구성하며, 이는 보조수단 인터페이스(650)를 통해 시력 보조수단에 직접적으로 제공된다. 증강 현실 파노라마와 상호작용하는 시각 장애인(605)만을 갖는 대신에, 시력 보조수단은 또한 후속 논의에서 기술되는 바와 같이 시각 장애인(605)을 도와주기 위해 증강 현실 파노라마와 직접적으로 상호작용한다.
후속 논의는 시력 보조수단의 투시도로부터 제공된다. 따라서, 시각 장애인(605)과 원격 환경(635)은 시력 보조수단과 관련하여 멀리 떨어진 것으로 간주된다. 용어 "원격(remote)"은 시력 보조수단이 물리적인 보조를 불가능하게 만들기에 충분한, 전형적으로 약 50미터를 초과하는, 거리만큼 시각 장애인(605)으로부터 물리적으로 분리된다는 것을 완곡히 표시하기 위해 이용된다. 예를 들어, 시각 장애인(605)은 보조수단 인터페이스(650)로부터 상이한 컨티넌트(continent)에 위치될 수 있다. 따라서, 시력 보조수단은 시각 장애인(605)으로부터 지리적으로 분리될 수 있다.
시각 장애인(605)은 하나 이상의 센서들을 통해 주변 센서 데이터를 캡처하기 위해 모바일 감지 디바이스(610)를 활용한다. 전술한 바와 같이, 모바일 감지 디바이스(610)는 스마트폰 또는 다른 타입들의 휴대용 디바이스들을 포함할 수 있다. 다른 휴대용 디바이스들의 예들은 글래스들, 단일 목적 디바이스들, 또는 네트워크(615)를 통해 데이터를 획득하고 전송하도록 구성된 다른 컴퓨팅 디바이스들을 포함할 수 있다. 모바일 감지 디바이스(610)는 센서 데이터를 획득할 수 있는 적어도 하나의 센서, 바람직하게는 카메라를 포함한다. 모바일 감지 디바이스(610)는 가속도계들, 마이크로폰들, 자력계들, 바이오-센서들, 바코드 판독기들, RFID 판독기들, 주행 기록계들, GPS, 라디오들, 또는 다른 타입들의 센서들을 포함하는 다른 타입들의 센서들을 포함할 수 있다. 몇몇 실시예들에서, 센서들은 시각 장애인(605)의 물리적인 웰빙에 관한 데이터; 예를 들어 혈압, 신경 활동, 심장 속도, 심박동수, 체온, 호흡률, 관류 데이터(perfusion data), 또는 다른 건강 측정기준을 획득하기 위해 구성된 하나 이상의 상호연결된 바이오-센서들의 개인 영역 센서 웹들을 또한 포함할 수 있다. 모바일 감지 디바이스(610)는 자신의 센서들의 각각으로부터 데이터를 획득하며 증강 현실 엔진(660)으로 네트워크(615)를 통해 운반하기 위한 센서 데이터를 준비한다.
몇몇 실시예들에서, 모바일 감지 디바이스(610)는 보조 어댑터(assistive adapter)(612)를 통해 자신의 의도된 목적을 넘어서는 능력들을 획득하도록 구성될 수 있다. 보조 어댑터(612)는 하나 이상의 커플링 인터페이스들, 유선 또는 무선(예를 들어, Bluetooth 또는 802.15x, USB, 무선 USB, Firewire, PCLe, Light Peak, RS-232, Zigbee, eSATA, Ethernet 등)을 통해 모바일 감지 디바이스(610)와 결합한다. 어댑터(612)는 모바일 감지 디바이스(610)내에 존재하지 않는 추가적인 센서들을 포함할 수 있다. 예를 들어, iPhoneTM은 RFID 판독기가 부족하다. 어댑터(612)는 RFID 판독기가 무선 RFID 데이터를 캡처할 수 있는, 예를 들어 IDBLUETM 판독기(URL www.idblue.com)가 개시된 요지와 함께 이용하기 위해 적용될 수 있는 USB 연결을 통해 iPhone과 결합하도록 구성된 RFID 판독기를 포함할 수 있다. 게다가, 어댑터(612)는 와이드 밴드 통신(예를 들어, WiMAX, WiGIG, 애드혹 네트워킹(ad-hoc networking), UWB, WirelessHD 등), 에코 위치 능력들, 햅틱 피드백 액츄에이터들(예를 들어, 바이브레이터들, 점자 인터페이스(Braille Interface) 등), 향상된 오디오 출력들/입력들(예들 들어, 스테레오, 필터들 등), 또는 다른 향상된 능력들을 가능한 한 포함하는 다른 타입들의 향상된 능력들을 제공할 수 있다.
가능한 한 어댑터(612) 또는 다른 외부 센서들과 협력하여, 모바일 감지 디바이스(610)는 바람직하게는 원격 환경(635)을 대표하는 주변 센서 데이터, 특히, 현재의 시야(FoV)(630)를 획득하도록 구성된다. 센서 데이터는 모바일 감지 디바이스(610)가 시각 장애인(605)으로부터 직접적인 행동없이 연속적으로 자신의 센서들로부터 데이터를 획득하도록 구성될 수 있는 시야내 고려된 주변 센서 데이터일 수 있다. 주변 센서 데이터는, 심지어 센서-바이-센서(sensor-by-sensor)에 기초하여 능동적으로 수집되거나 수동적으로 수집될 수 있다. 능동적으로 수집된 센서 데이터는 시각 장애인(605)의 커맨드 또는 시력 보조수단의 커맨드하에 수집된 데이터를 포함하는 것으로 간주된다. 수동적으로 수집된 센서 데이터는 센서들이 활성인 동안 간단히 수집된 데이터를 포함한다. 예들 들어, 모바일 감지 디바이스(610)는 모바일 감지 디바이스(610)가 원격 환경(635)에서 환경들에 관계없이 주변 센서 데이터를 획득하는 "수집(collect)" 모드에서 모든 센서들을 가질 수 있다.
원격 환경(635)을 대표하는 주변 센서 데이터는 모바일 감지 디바이스(610) 또는 어댑터(612)를 넘어서는 다른 데이터 소스들에 의해 또한 수집될 수 있다. 예를 들어, 공공 접근가능한 라이브 카메라 피드들은 증강 현실 엔진(660)이 이와 같은 "외부" 주변 데이터를 증강 현실 파노라마의 구성에 통합하는 곳에서 또한 액세스될 수 있다. 시스템(600)내 다른 데이터 소스들은 정부 데이터베이스(예를 들어, 지리적 서베이들 등), 군용 또는 민간 차량들(예들 들어, 드론들, 비행기들, 자동차들 등), 지방자치단체 센서들(예를 들어, 경찰 무선, 라이브 고속도로 카메라 피드들, 소방서들 등), 보안 에이전시들, 위성들, Google?StreetViewTM, 또는 주변 센서 데이터의 다른 소스들, 공공 또는 민간을 포함할 수 있다.
주변 센서 데이터는 증강 현실 엔진(660)이 원격 디바이스 인터페이스(622), 파노라믹 엔진(620), 파노라믹 데이터베이스(624), 또는 객체 인식 모듈(626)을 포함할 수 있는 네트워크(615)를 통해 증강 현실 엔진(660)으로 전송된다. 네트워크(615)는 인터넷, 셀 네트워크들, WAN, LAN, VPN, PAN, 또는 다른 타입들의 네트워크들을 포함하는, 하나 이상의 네트워킹 기반시설들, 유선 또는 무선을 포함할 수 있다는 것을 이해해야 한다. 원격 디바이스 인터페이스(622)는 다양한 원하는 방법들에 따라서 모바일 감지 디바이스(61)로부터 주변 센서 데이터를 수신하도록 구성될 수 있다. 몇몇 실시예들에서, 원격 디바이스 인터페이스(622)는 모바일 감지 디바이스(610)에 접근가능한 URL 또는 웹 서비스들 API를 제공하는 웹 서버를 포함할 수 있다. 다른 실시예들에서, 원격 디바이스 인터페이스(622)는 하나 이상의 소유 프로토콜들을 지원하는 전용 통신 링크들을 포함할 수 있다. 예들 들어, 모바일 감지 디바이스(610)는 원격 디바이스 인터페이스(622)(예들 들어, 도 1의 인식 애플리케이션(124 또는 134))으로서 동작하는 보조 애플리케이션과 직접적으로 통신하도록 구성된 인스톨된 애플리케이션(예를 들어, 도 1의 인식 애플리케이션(114))을 가질 수 있다.
개시된 기반시설이 피어-투-피어 방식으로 동작할 수 있다는 것을 상기할 수 있다(도 2를 참조). 유사한 방식으로, 파노라믹 엔진(620)은 네트워크를 통해 서로 결합된 다중 컴포넌트들을 포함할 수 있다. 예를 들어, 피어들(620A)은, 가능한 한 시력 보조수단으로부터 멀리 떨어진 컴퓨터들, 또는 심지어 시각 장애인(605)에 관하여 로컬 또는 원격인 네트워크(615) 위에 배치된 하나 이상의 분리된 컴퓨팅 디바이스들을 나타낼 수 있다. 추가적으로, 피어들(620A)은 가능한 한 Google, Saleforce?, Microsoft?, Amazon?, 또는 다른 서비스들에 의해 제공된 클라우드-기반 시스템들에 기초하여, 클라우드 컴퓨팅 아키텍처의 하나 이상의 노드들에 걸쳐서 분산될 수 있다. 피어들(620A)의 각각은, 적어도 몇몇 레벨로서, 캡처된 주변 센서 데이터내에 객체 인식에 대한 지원을 제공할 수 있다. 예를 들어 객체 등록 모듈(626)의 하나 이상은 피어들(620A)의 각각이 전술한 바와 같이 상이한 객체 인식 또는 등록 책임을 갖는 피어들(620A) 사이에 분산될 수 있다. 예를 들어, 피어들(620A)을 통해 통신 경로들은 각각의 피어(620A)가 피라미드 인코딩/디코딩 체계에 따라서 상이한 이미지 해상도들에서 등록 정보를 제공하는 피어들(620A)을 통해 통신 경로들이 구성될 수 있다(도 4를 참조). 다른 실시예들에서, 파노라믹 엔진(620)은 원격 시각 장애 사람에게 서비스를 제공하는 네트워크-기판 서버로서 동작하는 단일 컴퓨팅 디바이스를 나타낼 수 있다.
파노라믹 엔진(620)은, 바람직하게는 센서 데이터가 현재의 시야(FoV)와 관련한 정보를 포함하는 모바일 감지 디바이스(610)로부터 주변 센서 데이터를 획득한다. FoV(630)는 원격 환경(635)의 일부에 대한 데이터의 현재의 수집을 나타낸다. 용어 "현재(current)"는 FoV(630)가, 대기 시간에 종속하는 센서 데이터의 실질적으로 실시간 표현을 나타내는 개념을 전하기 위함이다. 현재의 개념에 포함되는 것으로 간주된 수용가능한 대기 시간들은 1분보다 적은, 보다 바람직하게는 10초보다 적은, 보다 더 바람직하게는 1초보다 적은, 또는 심지어 보다 더욱 더 바람직하게는 0.25초보다 적을 수 있다.
FoV(630)은 모바일 감지 디바이스(610)와 연관된 센서들로부터 획득된 이미지 데이터(예를 들어, 스틸들, 비디오 등) 및 포지션 데이터에 의해 표현될 수 있다. 파노라믹 엔진(620)은, 가능한 한 방향 데이터를 포함하는, 이미지 데이터와 포지션 데이터를 보조수단 인터페이스(650)를 통해 시력 보조수단으로 표현하기 위해 만들어진 FoV로 변환된다. 더욱이 파노라믹 엔진(620)은, 주변 센서 데이터에 적어도 부분적으로 기초하여, 원격 환경(635)의 모델, 그리고 이의 연관된 객체들을 나타내는 증강 현실 파노라마를 구성하도록 구성된다. 증강 현실 파노라마는 통합된 현재의 FoV(630)를 또한 포함할 수 있다. 전술한 바와 같이, 파노라믹 엔진(620)은 시각 데이터 이외에도 다른 타입들의 주변 데이터를 증강 현실 파노라마로 또한 통합할 수 있으며 따라서 증강현실 파노라마가 다양한 데이터를 포함할 수 있다.
파노라믹 엔진(620)이 주변 데이터를 수집, 아니면 획득할 때, 파노라믹 엔진(620)은 시각 데이터, 오디오 데이터, 햅틱 데이터, 운동감각 데이터, 메타데이터 데이터 또는 다른 타입들의 데이터를 포함하는 다양한 파노라마를 생성하기 위해 함께 데이터를 스티치한다. 시각 데이터는 이미지들을 조합하기 위해, SIFT들 등록을 통해 가능한, 객체 특징들을 인식하는 것을 포함하는 다양하고 적절한 기법들을 이용하여 함께 스티치될 수 있다. 발명의 요지와 함께 이용하기에 적합할 수 있는 이미지 데이터로부터 파노라마들을 구성하기 위한 하나의 적절한 방법은 2005년 7월 28일 출원된 Baudish 등에 허여된 미합중국 특허 제 7,424,218 호에 기술된 방법들을 포함한다.
증강 현실 파노라마를 구성할 때, 파노라믹 엔진(620)은 또한 상이한 타입들의 데이터를 함께 스티치할 수 있다. 예를 들어, 거리내 객체들이 서비스의 가입자들에 의해 활용된 하나 이상의 모바일 감지 디바이스(610)로부터 수신된 이미지 데이터로부터 수집될 수 있는 반면에 거리의 기본 이미지는 Google StreetView로부터 수집될 수 있다. 다른 객체들이 일시적(예를 들어, 보다 낮은 좌측 코너내 신문 기계)일 수 있는 반면에 몇몇 객체들은 영구적(예를 들어, 가로등)일 수 있다. 이와 같은 객체들은 증강 현실 파노라마를 형성하기 위해 다른 데이터와 겹쳐질 수 있다. 더욱이, 주변 센서 데이터내 오디오 데이터는 마찬가지로 객체들에 의해 구속될 수 있다. 승용차 또는 트럭이 통과하는 것을 고려한다. 차량으로부터의 사운드는 오디오 또는 이미지 데이터(예를 들어, 포지션, 방향, 크기, 형상, 구조(make), 모델 등)에 의해 표현된 객체들과 연관된 공통 속성들 또는 특징들을 비교하는 것을 통해 차량의 이미지에 자동적으로 구속될 수 있다.
파노라믹 엔진(620)은 또한 바람직하게는 원격 환경(635)의 센서 범위내 객체들을 식별하도록 구성될 수 있다. 객체들은, 이미지 데이터, 오디오 데이터, 무선 데이터(예를 들어, Wi-Fi, RFID 등) 또는 다른 타입들의 데이터를 포함하는, 상이한 양태들(modalities), 또는 양태들의 조합을 통해 식별될 수 있다. 예를 들어, 이미지 데이터내 객체들은, 가능한 한 2001년 11월 5일 출원된 "Imange Capture and Identification System and Process"란 명칭의 Boncyk 등에 허여된 미합중국 특허 제 7,016,532 호에 기술된 기법들에 기초하여, SIFT 특징들을 통해 결정될 수 있다. 어떻게 객체들이 식별되는지에 관계없이, 파노라믹 객체들은, 파노라믹 데이터베이스(624)내 다른 파노라믹 파라미터들과 함께, 저장될 수 있다. 객체들은 속성들을 포함하는 관리가능한 데이터 객체들로서 저장될 수 있다. 속성들은 객체 특징들, 이름들, 메타데이터, 시간 스탬프들, 위치들, 렌더링 명령들, 또는 다른 정보를 포함할 수 있다.
증강 현실 파노라마는 임시 정보를 포함할 수 있거나, 또는 동적 구조로 고려될 수 있다는 것을 주목해야 한다. 파노라마의 포지션들은 히스토리컬 주변 센서 데이터를 대표하는 히스토리컬 부분들을 포함할 수 있다. 히스토리컬 부분들은 현재의 주변 센서 데이터가 수집될 때 갱신될 수 있다. 파노라마가 히스토리컬 컨텐트를 갖는 시야에서, 통찰력있는 독자는 증강 현실 파노라마가 원격 환경(635)내 시각 부분(605)의 경험들을 동결 또는 심지어 플레이백하거나 또는 원격 환경(635)의 부분들을 플레이백하기 이해 타임-시프트될 수 있다. 원격 환경(635)의 가상 "블랙-박스" 증강 현실로서 증강 현실 파노라마를 고려할 수 있다.
파노라믹 엔진(620)은 원하거나 요구하면 구성된 증강 현실 파노라마내 컨텐트를 또한 여과할 수 있다. 몇몇 시나리오들에서, 주변 센서 데이터는 공공보다는 사적으로 간주될 수 있다. 사적 데이터는 시각 장애인(605), 또는 적절한 인증을 가정하는 다른 권한이 있는 개인의 관리 또는 컨트롤, 또는 허가 레벨들하에 있을것으로 생각되는 데이터를 나타낸다. 주변 데이터가 사적 데이터를 포함할 수 있는 시야에서; 증강 현실 파노라마는 시각 장애인(605), 또는 이들의 권한이 있는 시력 보조수단과 연관된 이름이 들어간 파노라마를 포함할 수 있다. 원한다면, 증강 현실 파노라마는 사적 센서 데이터의 함수로서 여과된 부분들을 포함할 수 있다. 예들 들어, 시각 장애인(605)이 ATM 머신의 키패드와 상호작용할 때, 파노라믹 엔진(620)은 키패드에 시력 보조수단의 가시성(visibility)을 여과, 디더(dither), 아니면 모호하게 할 수 있다.
비록 증강 현실 파노라마가 보조수단 인터페이스(650)를 통해 시력 보조수단에 프리젠테이션하기 위해 구성된다고 하더라도, 증강 현실 파노라마는 시각 장애인(605)과 함께 공유된 증강 현실 파노라마가 또한 고려될 수 있다. 파노라믹 엔진(620)은 적절한 조치를 취하도록 모바일 감지 디바이스(610)에 명령하는 디바이스 커맨드들의 형태로 객체 정보를 모바일 감지 디바이스(610)에 다시 제공할 수 있다. 조치들은 시각 장애인(605)에게 객체들의 가까움(예를 들어, 청력 또는 햅틱 피드백), 조절 센서 획득 속도들, 필터 센서 데이터를 통지하는 것을 포함하거나, 아니면 증강 현실 파노라마 정보를 제공하기 위해 파노라믹 엔진(620)으로부터 원격 모바일 감지 디바이스(610)를 컨트롤 한다. 이와 같은 시나리오에서, 시력 보조수단과 시각 장애인(605) 둘 다는 구성된 증강 현실 파노라마를 공유한다. 추가적인 조치들은 또한 현실 세계의 객체들(예를 들어, 자동판매기들, 의료 디바이스들, 가판대들, 프린터들 등)과 상호작용하도록 모바일 감지 디바이스(610)에게 명령하는 것을 포함할 수 있다.
도 3과 유사하게, 도 7은 파노라믹 엔진이 구성된 증강 현실 파노라마(770)를 시력 보조수단에 제공하는 시력 보조수단 인터페이스(750)를 제공한다. 도시된 예에서, 보조수단 인터페이스(750)는 가능한 한 데스크탑 컴퓨터상에서 실행하는 2D 데스크탑 애플리케이션으로서 예시된다. 여전히, 다른 실시예들에서, 인터페이스(750)는 웹 페이지, 4π 입체호도법 시야를 제공하는 헬멧 또는 챔버, 또는 다른 바람직한 인터페이스내, 안경 또는 다른 적절한 뷰잉 장비를 통해 3D 인터페이스로서, 모바일 디바이스에 제공될 수 있다. 시력 보조수단은 원격 시력 장애인에게 자동 또는 수동 보조를 제공하기 위해 보조수단 인터페이스(750)를 활용한다.
비록 증강 현실 파노라마(770)가 시각 장애인이 현재 자신을 발견하는 원격 환경의 평탄한 2D 이미지로서 제공된다고 하더라도, 증강 현실 파노라마(770)는 원격 환경의 디지털 모델을 나타내며 환경내 객체들의 모델들을 포함하는 것을 이해하여야 한다. 증강 현실 파노라마(770)내에 제공된 객체들은 보조수단이 원하는 만큼 객체 정보를 갱신할 수도 있도록 허용하는 상호작용적인 객체들로 간주된다. 더욱이, 상기 암시된 바와 같이, 증강 현실 파노라마(770)는 환경의 3D 디지털 모델로 간주될 수 있으며, 이는 임시 컴포넌트들을 또한 포함할 수 있다. 따라서, 증강 현실 파노라마(770)는 원격 환경의 4D 모델로 간주될 수 있다.
증강 현실 파노라마(770)는 하나 이상의 주변 데이터 소스들로부터 수신된 함께 스티치된 정보를 나타낸다. 증강 현실 파노라마(770)는, 앞서 수신된 주변 센서 데이터를 반영하는 히스토리컬 부분들 뿐만 아니라, 현재의, 갱신된 부분들 둘 다를 포함할 수 있다. 바람직하게는 증강 현실 파노라마(770)는, 가능한 한 표시된 바와 같이 증강 현실 파노라마(770) 위에 겹쳐지는, 통합된 현재의 FoV(730)을 포함하고, 여기서 FoV(730)는 원격 시각 장애인에 의해 이용중인 모바일 감지 디바이스에 의해 캡처된 현재의 FoV에 실질적으로 대응한다.
전술한 바와 같이, 원격 환경으로부터 센서 데이터의 획득과 증강 현실 파노라마(770)의 부분들의 프리젠테이션 사이에 지연시간이 존재할 수 있다. 지연시간은, 심지어 과립상태(granularity)의 다양한 레벨에서 조차도, 파노라마의 하나 이상의 부분들에 의해 제공될 수 있다. 이러한 예에서, FoV(730)에 대해 지연 시간이 제공된다. 여전히, 지연시간은 증강 현실 파노라마(770)의 현재 부분들, 증강 현실 파노라마(770)의 히스토리컬 부분들, 또는 증강 현실 파노라마(770)내 객체들에 대해 제공될 수 있다. 지연시간 정보를 제공하는 것은 시력 보조수단이 모델의 진부하거나 최신의 부분들이 어떻게 존재하는지의 이해를 얻을 수 있기 때문에 유익한 것으로 간주되며, 이는 원격 환경에서 시각 장애인에 도움을 줄 때 유용할 수 있다.
시력 보조수단은, 가능한 한 하나 이상의 파노라마 커맨드들(753)을 통해, 원할 때 증강 현실 파노라마(770)와 상호작용할 수 있다. 증강 현실 파노라마(770)가 방금전 이미지 보다 복잡한 원격 환경의 모델과 자신의 객체들을 나타내는 시야에서; 보조수단은 시각 장애인으로부터 떨어져 증강 현실 파노라마(770) 근처를 내비게이트할 수 있다. 예를 들어, 보조수단은 길에 장애물들이 없는지를 판단하기 위해, 증강 현실 파노라마(770)가 추가적인 센서 데이터에 기초하여 부분들을 포함하는 것으로 가정하는, 시각 장애인의 앞에 비유적으로 걷도록 증강 현실 파노라마(770)내로 줌될 수 있다. 다른 파노라마 커맨드들(753)은 팬, 타일, 회전(rotate), 필터, 타임 시프트를 포함할 수 있으며, 아니면 증강 현실 파노라마(770)의 프리젠테이션을 조절할 수 있다.
증강 현실 파노라마(770)는, 가능한 한 도시된 바와 같이 리스트 포맷으로 제공된, 하나 이상의 증강 현실 객체들을 포함한다. 증강 현실 객체(752)는, 가능한 한 FoV(730)내 그러한 객체들과 FoV(730) 바깥의 객체들에 의해, 원하는 바와 같이, 분리될 수 있다. 조직이 증강 현실 파노라마(770)내 객체들이 다른 것들 보다 일시적으로 관련될 것 같은 시력 보조수단을 제공하기 때문에 이와 같은 체계에 따라서 객체들을 분리하는 것은 유익하다고 간주된다. FoV(730)의 바깥쪽 증강 현실 객체들(752)(예를 들어, 신문 자동판매기)은 오래된 데이터에 기초하여 진부할 수 있다.
증강 현실 파노라마(770)는 증강 현실 객체들(752)에 관련된 추가적인 정보를 또한 제공할 수 있다. 증강 현실 객체들(752)의 각각은 원하는 바와 같이 연관된 속성들 또는 메타데이터에 의해 또한 제공될 수 있다. 예를 들어, 태그(761)는 객체에 할당된 속성들 또는 메타데이터를 표시하기 위해 완곡하게 예시된다. 객체 정보는 원하는 바와 같이 많은 상이한 체계들에 따라서 제공될 수 있다. 예시적인 객체 정보는 객체 이름들, 객체 로케이션들, 객체 갱신들의 시간-스탬프들, 관련 특징들 또는 객체 랜드마크들(예를 들어, SIFT 등록, 모서리들, 코너들 등), 메타데이터 할당들, 객체 치수들, 컬러들, 또는 증강 현실 객체들(752)에 구속될 수 있는 다른 타입들의 정보를 포함한다.
증강 현실 파노라마(770) 생성에 책임이 있는 파노라믹 엔진은 증강 현실 책체들(752)와 자동 덧붙인 이들의 객체 속성들을 갖는 증강 현실 파노라마(770)를 또한 자동 덧붙일 수 있다. 증강 현실 객체들(752)은 이들의 특징들(예를 들어, SIFT 등록 랜드마크들, 위치들, 컬러들 등)에 의해 인식됨에 따라서, 엔진은 객체에 속성을 바인드할 수 있다. 도시된 예에서, 자동 덧붙여지는 속성의 하나의 타입은 FoV(730)의 근원에서 다양한 객체들까지의 상대적인 거리들을 포함한다. 최근에 파노라믹 엔진이 어떻게 주변 센서 데이터를 수집하였는지에 따라서, 몇몇 거리들은 다른 거리들보다 정확할 수 있다. 예를 들어, FoV(730)내 증강 현실 객체들(752)은 이들이 수집된 데이터의 낮은 지연시간으로 인해 동적으로 움직이는 객체들이면 보다 정확한 거리들을 가질 것인데 반해, FoV(730) 바깥쪽의 객체들은 연관된 진부한 데이터를 가질 수 있으며, 이는 덜 정확한 거리 추정치를 가져올 수 있다.
인간 시력 보조수단은 또한 증강 현실 객체들(752)을 수동으로 관리할 수 있다는 것을 명심해야 한다. 예들 들어, 보조수단 인터페이스(750)는 또한 보조수단이 증강 현실 객체들(752)을 관리할 수 있도록 허용하는 하나 이상의 객체 커맨드들을 인간 시력 보조수단에 제공할 수 있다. 고려된 객체 커맨드들은 추가, 삭제, 할당 메타데이터, 갱신, 선택, 필터, 저장을 포함할 수 있거나, 아니면 객체들을 관리할 수 있다. 가로등이 아직 식별되지 않았거나 증강 현실 파노라마(770)내에 자동 덧붙여지지 않았다는 시나리오를 고려한다. 시력 보조수단은 마우스 포인터를 이용하여 가도등의 윤곽을 추적하고 객체로서 가로등을 생성하거나 추가하도록 파노라믹 엔진에 명령할 수 있다. 게다가 원하는 바와 같이 보조수단은 하나 이상의 메타태그들을 객체에 할당할 수 있거나, 또는 파노라믹 엔진은 정의된 객체의 특징들 또는 등록 랜드마크들을 갖는 보조수단으로부터 입력을 상관시키는 것에 기초하여 메타태그들을 객체들(예를 들어, 위치들, 컬러, 형상 등)을 또한 할당할 수 있다. 그 다음 다른 시나리오는 시각 장애인의 디바이스에 전송될 수 있는 증강 현실 파노라마(770)내에 가상 진로 포인트 객체들(virtual way point objects)을 배치하는 시력 보조수단을 포함할 수 있다. 사람은 대응하는 현실 세계를 내비게이트하기 위해 진로 포인트 객체들로부터 오디오 및 햅틱 피드백(즉, 디바이스 커맨드들)을 이용할 수 있다.
FoV(730)는 주변 센서 데이터내에 수시된 모바일 감지 디바이스 포지션 정보의 함수로서 증강 현실 파노라마(770)내에 통합될 수 있다. 보다 바람직한 실시예들에서, 파노라믹 엔진은 원격 감지 디바이스가 증강 현실 파노라마(770)내 증강 현실 객체들(752)과 관련하여 현재 포지션되는 이해를 얻는 것을 보장하기 위해 증강 현실 파노라마(770) 위에 FoV(730)를 겹친다. FoV(730)의 포지션과 방향은 주변 센서 데이터내 수신된 대응하는 데이터로부터 결정될 수 있다. 몇몇 실시예들에서, 포지션 데이터는 GPS 좌표들을 포함할 수 있으며, 그리고 방향 데이터는 가속도계 데이터 또는 자력계 데이터로부터 획득될 수 있다. FoV(730)의 배치는 자신의 포지션을 정정, 조절, 또는 개선하기 위해 데이터의 다중 다양성들을 조합함으로써 개선될 수 있다. 둘 이상의 다양성들을 조합하는 것은 보다 정확한 배치를 제공하는 것으로 간주된다. 예를 들어, 객체 특징들(예를 들어, 객체 랜드마크들, SIFT 등록 랜드마크 등)은 객체 랜드마크들에 관하여 삼각측량에 의해 FoV(730)의위치를 정정하기 위해 GPS 데이터와 조합될 수 있다. 더욱이, 가능한 한 진폭, 주파수, 또는 위상 정보(예를 들어, 에코 위치, 도플러 등)를 포함하는, 오디오 데이터는 객체들 또는 FoV(730)의 위치를 결정하기 위해 이미지 데이터 또는 심지어 가속도계 데이터와 조합될 수 있다. 가속도계 데이터는 속도를 결정하기 위해 한 차례 또는 커버된 거리를 결정하기 위해 두 차례 통합될 수 있으며, 그 다음 위치들 또는 방향 결정에 있어서 에러들을 감소시키기 위해 GPS 정보 또는 다른 데이터 타입들과 조합될 수 있다. 요약하면, FoV(730)의 배치는 적어도 2개의 센서 데이터 타입들에 기초하여 정정될 수 있다. 센서 데이터 타입들은 GPS 위치, 이미지 등록 데이터, 가속도계 데이터, 자력계 데이터, 무선 데이터(예를 들어, Wi-Fi 포지셔닝, RFID 데이터, 무선 삼각측량 등), 주행 거리 측정 데이터, 오디오 데이터(예를 들어, 사운드들, 에코 위치 등), 또는 다른 타입들의 데이터를 포함할 수 있다. 시력 보조수단이 증강 현실 파노라마(770)를 통해 네비게이트함에 따라서, 비록 보조가 자신의 시야를 회전시킨다고 하더라도 Fov(730)가 증강 현실 파노라마(770)에 대하여 자신의 적절한 포지션 또는 방향을 유지할 수 있다는 것을 주목해야 한다. 따라서, 보조수단 인터페이스(750)가 예시된 바와 같이 분리적으로 FoV(730)를 또한 제공할 수 있다는 것이 고려된다.
증강 현실 객체들(752)은 겹쳐진 태그(761)로 완곡히 표시된 바와 같이 증강 현실 파노라마(770)내에 하이라이트될 수 있다. 하이라이팅 증강 현실 객체들(752)은 다양한 방법들을 통해 달성될 수 있다. 몇몇 실시예들에서, 객체들은 하이라이트된 윤곽들, 아이콘들, 또는 증강 현실 객체들(752)이 증강 현실 파노라마(770)에 존재한다는 것을 예시하는 다른 표시기들을 포함한다. 특히 바람직한 표시기는 증강 현실 파노라마(770)의 히스토리컬 부분들과 증강 현실 파노라마(770)의 최근 갱신된 부분들 사이의 차이들을 표시하는 하이라이트를 포함한다. 이와 같은 접근법은 원격 시각 장애인이 증강 현실 객체들(752)이 시프트되거나 변할 수 있는 동적 환경에 진입할 때 유용하다. 예를 들어, 보다 낮은 우측 코너내 신문 자동판매기는 태그(761)의 존재에 의해 표시된 바와 같이 거리위에 새로이 배치될 수 있다.
간략히 전술한 바와 같이, 시력 보조수단은 태그 커맨드들(754)을 통해 증강 현실 파노라마(770)내 증강 현실 객체들(752)에 메타데이터로서, 예를 들어, 메타태그들, 태그(761)를 또한 할당할 수 있다. 태그들은 시각 태그 또는 비-시각 태그를 포함할 수 있다. 가시 태그(visible tag)는 시력 보조수단에 보여질 수 이는 아이콘 또는 다른 표시기로서 표시될 수 있으며 객체의 속성들의 명부(listing)를 제공할 수 있다. 비-시각 태그들은 청력 또는 심지어 햅틱 메타데이터를 포함할 수 있으며, 이는 원격 시각 장애인에게 객체를 식별시키기 위해 이용될 수 있다는 것을 또한 이해하여야 한다. 고려된 태그 커맨드들은 객체 태그들을 생성, 삭제, 수정, 움직임, 저장, 필터링, 아니면 관리하는 것을 포함하는 많은 상이한 태그 관리 조치들을 포함할 수 있다. 객체들에 메타태그들을 할당하는 것은 특정 클라이언트로 증강 현실 파노라마(770)를 표시하는 방향으로 상당한 유연성을 제공한다.
시력 보조수단 또는 시각 장애인이 공유된 증강 현실 파노라마(770)와 상호작용함에 따라서, 증강 현실 객체(752)는 전술한 바와 같이 동적으로 갱신될 수 있다. 많은 증강 현실 객체들(752)은 공공 객체들로 간주될 수 있으며, 이는 다른 클라이언트 또는 서비스 가입자들로부터 다른 증강 현실 파노라마들에 통합될 수 있다는 것을 상기해야 한다. 따라서, 증강 현실 파노라마(770) 또는 이의 증강 현실 객체들(752)은, 사적인 관심들에 따라서, 다중 사용자들 사이에 공유될 수 있다. 더욱이, 증강 현실 파노라마(770)는 증강 현실 파노라마(770)의 공유되거나 공공 활용가능하거나 또는 갱신가능한 양상들을 반영하는 WiKi 부분들을 포함하는 것으로 또한 간주될 수 있다. 예를 들어 WiKi형 부분들은 주석들, 객체들, 개정들, 또는 다른 사용자-제출 증강 현실 컨텐트를 포함할 수 있다.
예시적인 목적들을 위해 증강 현실 파노라마(770)는, 적어도 본 예에 대해, 얼굴 데이터가 사적인 데이터로 간주되는 증강 현실 파노라마(770)내 사람이 빈 얼굴로 표시된 바와 같이 여과된 부분들을 제공한다. 비록 사적인 이미지 데이터가 획득된다고 하더라도, 파노라믹 엔진은 사적인 데이터의 특징들(예를 들어, 얼굴들, 보안 아이템 등)을 재조직화하고 제거할 수 있거나, 아니면 사적인 관심들에 대한 사적인 데이터를 모호하게 할 수 있다. 증강 현실 파노라마(770)는 요구된 바와 같이 또는 구성된 바와 같이 다른 타입들의 여과된 부분들을 포함할 수 있다. 여과된 부분들의 이용들 예는 홈 환경을 모호하게 하고, 특정한 개인들을 모호하게 하며, 안전 입력들을 모호하게 하거나, 또는 사적으로 고려된 다른 아이템들을 고려하는 것을 포함할 수 있다. 불명료화는 오디오 데이터, 위치 데이터, 목적지들, 움직임의 속도, 또는 다른 정보를 포함하는 다른 타입들의 데이터에 또한 적용될 수 있다. 파노라믹 엔진은 객체 특징들(예를 들어, SIFT 등록, 오디오 시그너쳐들 등)과 객체들을 상관시킬 수 있다. 특징들이 필터링 기준을 충족할 때, 객체들은 증강 현실 파노라마내에 모호해질 수 있다.
시력 보조수단은 원격 장애인에게 도움을 줄 수 있는 많은 옵션들을 갖는다. 하나의 옵션은 간단히 스마트폰을 통해 사람과 음성 통신 링크를 설정하는 것을 포함한다. 시력 보조는 사람의 현재 환경들을 논의하고 언어 보조를 제공할 수 있다. 보다 바람직한 접근법들은 디바이스의 동작을 컨트롤하기 위해 원격 모바일 감지 디바이스로 하나 이상의 디바이스 커맨드들(751)을 전송하기 위해 보조수단 인터페이스(750)를 이용하는 것을 포함한다. 디바이스 커맨드들(751)은 증강 현실 객체들(752)과 연관된 추가적인 객체 정보를 캡처하도록 또는 증강 현실 파노라마(770)내 객체들이 식별되도록 모바일 감지 디바이스에 명령하는 명령들의 넓은 범위를 포함할 수 있다.
디바이스 커맨드들(751)은 보조수단의 요구조건들 또는 바람들에 따라 많은 상이한 형태들을 취할 수 있다. 예시적인 커맨드들은 비디오를 위한 데이터 획득 프레임 속도를 변화시키는 것, 캡처 이미지들의 해상도를 조절하는 것, 오디오 캡처를 위한 샘플링 속도 변화, 교환된 데이터의 압축 또는 암호 파라미터들을 조절하는 것, 원격 감지 디바이스와 파노라믹 엔진 사이의 통신 경로를 변경하는 것, 디바이스에 하나 또는 하나의 액츄에이터들(예를 들어, 가중 플런저들, 바이브레이터들, 점자 패드들 등), 객체 근접을 나타내는 가청 신호들을 방출하거나, 또는 다른 컨트롤 커맨드들을 포함할 수 있다. 따라서, 시력 보조수단은 원격 시각 장애인을 도와줄 뿐만 아니라 증가 현실 파노라마(770)를 향상시키기 위해 원격 감지 디바이스를 컨트롤 할 수 있다. 시각 장애인이 신문을 구매하기를 원하는 시나리오를 고려한다. 시력 보조수단은 시각 장애인이 신문 자동판매기에 가까워짐에 따라서 디바이스가 진동하거나 사운드들을 방출하도록 하는 디바이스 커맨드들(751)을 디바이스에 발할 수 있다.
도 1에 대하여 논의된 바와 같이, 객체 인식 기술의 양상들은 원격 감지 디바이스 또는 애드-온 어댑터내에 배치될 수 있다. 디바이스-기반 인식 애플리케이션이 디바이스에 가깝게 또는 심지어 디바이스내에 상주될 수 있는 시야에서, 디바이스 커맨드들(751)은 애플리케이션의 동작을 컨트롤하거나 관리하기 위해 인식 애플리케이션을 향해 명령하는 높은 레벨 명령들을 또한 포함할 수 있다. 예를 들어, 보조수단은 원격 환경에 관한 추가적인 정보 또는 원격 환경내 객체들을 캡처하기에 보다 적합한 하나 이상의 인식 알고리즘들의 동작을 토글하도록 디바이스에 명령할 수 있다. 하나의 알고리즘은 얼굴 인식 또는 객체 인식보다 OCR에 보다 적합할 수 있다. 원격 시각 장애인이 돈을 갖고 작업하는 시나리오를 고려한다. 시력 보조수단은, 가능한 한 추가적인 처리 전력을 요구하는 포괄적인 객체 인식 알고리즘보다 지리적 위치(예를 들어, 나라)에 기초하여, 통화를 식별하도록 맞추어진 인식 알고리즘을 활용하도록 원격 디바이스에 명령할 수 있다. 이와 같은 접근법은 선택된 알고리즘들이 현재의 환경들을 위한 다른 알고리즘들보다 효율적으로 활용될 수 있는 현실-세계 객체들을 갖는 최적화된 상호작용들을 위해 제공된다.
비록 상기 논의가 인간 오퍼레이터로서 보조수단을 참조한다고 하더라도, 파노라믹 엔진 또는 보조수단 인터페이스(750)의 부분들 조차도 자동화된 시력 보조수단으로서 또한 동작할 수 있다는것을 이해하여야 한다. 원격 시각 장애인과 증강 현실 파노라마(770) 사이의 많은 상호작용들이 자동화될 수 있다. 전술한 바와 같이, 자동화된 방식으로 동작될 때 보조수단 인터페이스(750)는 증강 현실 파노라마(770)내 알려진 또는 발견된 객체들까지 상대적인 거리들을 표시하는 시각 장애인에게 피드백될 수 있다. 이와 같은 실시예들에서, 보조수단 인터페이스(750)는 모듈이 하나 이상의 애플리케이션 프로그램 인터페이스들을 통해 시각 장애인에게 다시 권고안들을 제공하는 전문가 시스템으로서 동작하는 파노라믹 엔진내 모듈로서 동작할 수 있다. 더욱이, 시각 장애인 또는 인간 시력 보조수단은 현실-세계를 통해 시각 장애인의 움직임에 기초하여 자동화된 응답들 또는 조치들을 프로그램적으로 구성될 수 있으며, 이는 증강 현실 파노라마(770)내 객체 특징들(예를 들어, SIFT 등록, 오디오 시그너처들, 텍스처들 등)에 종속하는 기준에 기초하여 조치들을 트리거한다.
따라서, 본 출원은 유연하고, 강력하며, 그리고, 객체, 얼굴, 컨텍스트, 또는, 특히 공유된 증강 현실 파노라마내, 시력을 증강시키기 위한 통합된 접근법의 일부로서 환경적 인식을 정확하고 편리하게 제공하도록 구성된 사용자 응답 솔루션들을 제공하는 것에 관한 시스템들 및 방법들을 개시한다. 본 출원에 의해 개시된 많은 유익함들은 모바일 사용자에게 실시간 시력 보조, 정보, 또는 접근가능한 인터페이스들을 통한 통신을 제공하기 위한 디바이스들, 시스템들, 그리고 방법들이다. 예를 들어, 증강 현실 또는 향상된 시력 서비스들은 사용자의 퍼스널 컴퓨터(PC)에 연결된 카메라-구동, 또는 센서-구동, 휴대용 통신 디바이스 및/또는 다른 중앙 집중 또는 분산 컴퓨팅 및 통신 서비스들을 이용하여 제공될 수 있다.
이미 기술된 것들 이외에 많은 보다 많은 변경들이 본 명세서내 발명적 개념들을 벗어남이 없이 가능하다는 것이 당업자에게 분명해질 것이다. 따라서,발명의 요지는 첨부된 청구항들의 범주내를 제외하고는 제한되지 않는다. 더욱이, 명세서와 청구항들 둘 다 해석에 있어서, 모든 용어들은 문맥에 일관된 가장 넓은 가능한 방식으로 해석되어야 한다. 특히, 용어들 "포함한다(omprises)" 그리고 "포함하는(comprising)"은 비-배타적인 방식으로 엘리먼트들, 컴포넌트들, 또는 단계들을 지칭하는 것으로 해석되어야 하며, 참조된 엘리먼트들, 컴포넌트들, 또는 단계들이 존재할 수 있거나, 또는 활용되거나, 또는 명시적으로 참조되지 않는 다른 엘리먼트들, 컴포넌트들, 또는 단계들과 조합된다는 것을 표시한다. 명세서 청구항들은 A,B,C...그리고 N으로 이루어진 그룹으로부터 선택된 무엇인가의 적어도 하나를 지칭하며, 텍스트는, A+N, 또는 B+N 등이 아닌, 그룹으로부터 하나의 엘리먼트만을 요구하는 것으로서 해석되어야 한다.

Claims (23)

  1. 증강 현실 엔진(augmented reality engine)으로서,
    네트워크를 통해 원격 모바일 감지 디바이스로부터 주변 센서 데이터를 수신하도록 구성된 원격 디바이스 인터페이스 ― 상기 주변 센서 데이터는 시각 장애인의 원격 환경을 반영하고 현재의 시야 및 디바이스 포지션 데이터를 포함함 ―;
    상기 디바이스 포지션의 함수로서 증강 현실 파노라마로 통합된 현재의 시야를 갖는 상기 주변 센서 데이터에 적어도 부분적으로 기초하여, 상기 원격 환경의 모델과 상기 원격 환경의 객체들 중 몇몇을 나타내는 상기 증강 현실 파노라마를 구성하도록 구성된 파노라믹 엔진; 및
    시력 보조수단 인터페이스(sighted assistant interface)를 포함하고,
    상기 시력 보조수단 인터페이스는,
    상기 통합된 현재의 시야를 갖는 상기 증강 현실 파노라마를 시력 보조수단에 시각적으로 제공하고, 그리고,
    상기 원격 디바이스 인터페이스를 통해, 상기 증강 현실 파노라마에서 상기 객체들과 연관된 추가적인 객체 데이터를 캡처하도록 상기 모바일 감지 디바이스에 명령하는 디바이스 커맨드들을 상기 원격 모바일 감지 디바이스로 전송하도록 구성되는,
    증강 현실 엔진.
  2. 제 1 항에 있어서,
    상기 현재의 시야는 상기 원격 감지 디바이스에 의해 캡처된 이미지 데이터를 포함하는,
    증강 현실 엔진.
  3. 제 1 항에 있어서,
    상기 증강 현실 파노라마는 다중-모드 파노라믹 데이터(muti-modal panoramic data)를 포함하는,
    증강 현실 엔진.
  4. 제 3 항에 있어서,
    상기 다중-모드 파노라믹 데이터는 햅틱 데이터를 포함하고,
    상기 디바이스 커맨드들은, 상기 시각 장애인에 가까운 상기 원격 환경 내에 있고 상기 증강 현실 파노라마 내의 상기 객체들에 대응하는 현실-세계의 객체들과 연관된 햅틱 피드백 명령들을 포함하는,
    증강 현실 엔진.
  5. 제 1 항에 있어서,
    상기 모바일 감지 디바이스는 스마트 폰을 포함하는,
    증강 현실 엔진.
  6. 제 1 항에 있어서,
    상기 증강 현실 파노라마는 상기 시각 장애인과 연관된 개인화된 파노라마를 포함하는,
    증강 현실 엔진.
  7. 제 6 항에 있어서,
    상기 개인화된 파노라마는 상기 시각 장애인의 관리 하에 사적인 주변 센서 데이터를 포함하는,
    증강 현실 엔진.
  8. 제 7 항에 있어서,
    상기 개인화된 파노라마는 상기 사적인 주변 센서 데이터의 함수로서 여과된 부분들을 포함하는,
    증강 현실 엔진.
  9. 제 1 항에 있어서,
    상기 증강 현실 파노라마는 히스토리컬 주변 센서 데이터를 나타내는 히스토리컬 부분들을 포함하는,
    증강 현실 엔진.
  10. 제 9 항에 있어서,
    상기 증강 현실 파노라마는 상기 현재의 시야에 기초하여 상기 히스토리컬 부분들과 상기 증강 현실 파노라마의 최근 갱신된 부분들 사이의 차이들을 표시하는 하이라이트된 객체들을 포함하는,
    증강 현실 엔진.
  11. 제 1 항에 있어서,
    상기 증강 현실 파노라마는 공적으로 수집된 센서 데이터를 나타내는 공공 부분들을 포함하는,
    증강 현실 엔진.
  12. 제 1 항에 있어서,
    상기 시력 보조수단 인터페이스는 상기 주변 센서 데이터의 획득과 상기 현재의 시야의 프리젠테이션 사이의 시간 차이를 표시하는 지연시간(latency)을 제공하도록 추가로 구성되는,
    증강 현실 엔진.
  13. 제 1 항에 있어서,
    상기 시력 보조수단 인터페이스는 다음의 주변 센서 데이터: GPS 위치 데이터, 이미지 등록 데이터, 가속도계 데이터, 자력계 데이터, 무선 신호 데이터, 주행 거리 측정(odometry) 데이터, 및 오디오 데이터 중 적어도 2 개의 데이터에 기초하여 상기 증강 현실 파노라마 내의 상기 현재의 시야의 배치를 정정하도록 추가로 구성되는,
    증강 현실 엔진.
  14. 제 1 항에 있어서,
    상기 증강 현실 파노라마는 상기 증강 현실 파노라마 내의 상기 객체들에 할당된 메타태그들(metatags)을 포함하는,
    증강 현실 엔진.
  15. 제 14 항에 있어서,
    상기 메타태그들은, 상기 시력 보조수단에 대해 가시적이고 상기 증강 현실 파노라마 상에 겹쳐지는 메타데이터(metadata)를 포함하는,
    증강 현실 엔진.
  16. 제 14 항에 있어서,
    상기 메타태그들은 비-시각 메타데이터(non-visual metadata)를 포함하는,
    증강 현실 엔진.
  17. 제 1 항에 있어서,
    상기 시력 보조수단 인터페이스는 상기 현재의 시야에 관련하여 상기 객체들에 대한 거리들을 표시하도록 추가로 구성되는, 증강 현실 엔진.
  18. 제 1 항에 있어서,
    상기 디바이스 커맨드들은 상기 모바일 감지 디바이스에 관련하여 객체의 포지션을 표시하는 액츄에이터(actuator)를 활성화시키기 위한 상기 모바일 감지 디바이스에 대한 명령들을 포함하는,
    증강 현실 엔진.
  19. 제 1 항에 있어서,
    상기 디바이스 커맨드들은 상기 모바일 감지 디바이스에 관련하여 객체의 포지션을 표시하는 가청 신호들을 방출하기 위한 상기 모바일 감지 디바이스에 대한 명령들을 포함하는,
    증강 현실 엔진.
  20. 제 1 항에 있어서,
    상기 파노라믹 엔진은, 상기 주변 센서 데이터를 상기 증강 현실 파노라마 내의 객체 랜드마크들로 변환하도록 구성된 객체 특징 등록 모듈을 포함하는,
    증강 현실 엔진.
  21. 제 20 항에 있어서,
    상기 증강 현실 파노라마 내의 상기 객체 랜드마크들은 이미지 등록 랜드마크들을 포함하는,
    증강 현실 엔진.
  22. 제 21 항에 있어서,
    상기 이미지 등록 랜드마크들은 SIFT(Scale-Invariant Feature Transformation) 랜드마크들을 포함하는,
    증강 현실 엔진.
  23. 제 1 항에 있어서,
    상기 디바이스 포지션 데이터는 디바이스 방향 데이터(device orientation data)를 포함하는,
    증강 현실 엔진.
KR1020127024974A 2010-02-24 2011-02-24 시각 장애인들을 지원하는 증강 현실 파노라마 KR101487944B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US30767510P 2010-02-24 2010-02-24
US61/307,675 2010-02-24
US33907110P 2010-02-26 2010-02-26
US61/339,071 2010-02-26
PCT/US2011/026066 WO2011106520A1 (en) 2010-02-24 2011-02-24 Augmented reality panorama supporting visually impaired individuals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147015614A Division KR20150008840A (ko) 2010-02-24 2011-02-24 시각 장애인들을 지원하는 증강 현실 파노라마

Publications (2)

Publication Number Publication Date
KR20130039720A true KR20130039720A (ko) 2013-04-22
KR101487944B1 KR101487944B1 (ko) 2015-01-30

Family

ID=44507207

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127024974A KR101487944B1 (ko) 2010-02-24 2011-02-24 시각 장애인들을 지원하는 증강 현실 파노라마
KR1020147015614A KR20150008840A (ko) 2010-02-24 2011-02-24 시각 장애인들을 지원하는 증강 현실 파노라마

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147015614A KR20150008840A (ko) 2010-02-24 2011-02-24 시각 장애인들을 지원하는 증강 현실 파노라마

Country Status (6)

Country Link
US (5) US8605141B2 (ko)
EP (1) EP2539883A1 (ko)
JP (1) JP5709906B2 (ko)
KR (2) KR101487944B1 (ko)
CN (1) CN102906810B (ko)
WO (1) WO2011106520A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435546B1 (ko) * 2012-12-26 2014-09-16 건국대학교 산학협력단 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템
KR20180073184A (ko) * 2016-12-22 2018-07-02 에스케이플래닛 주식회사 정보안내장치 및 그 동작 방법
KR20220090234A (ko) * 2020-12-22 2022-06-29 엑스퍼트아이엔씨 주식회사 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법

Families Citing this family (208)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565008B2 (en) * 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US9310892B2 (en) * 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US20110229023A1 (en) * 2002-11-01 2011-09-22 Tenebraex Corporation Technique for enabling color blind persons to distinguish between various colors
US8824341B2 (en) 2009-02-13 2014-09-02 Blackberry Limited Method of joining a conference call
EP2496196B1 (en) * 2009-11-03 2021-05-26 Yissum Research Development Company of the Hebrew University of Jerusalem Ltd. Representing visual images by alternative senses
US8698949B2 (en) * 2010-01-08 2014-04-15 Hand Held Products, Inc. Terminal having plurality of operating modes
US9028344B2 (en) * 2010-01-28 2015-05-12 Chsz, Llc Electronic golf assistant utilizing electronic storing
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
US9197763B2 (en) * 2010-11-05 2015-11-24 Josh Baker Overlaying data in an augmented reality user interface
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US9218364B1 (en) 2011-01-28 2015-12-22 Yahoo! Inc. Monitoring an any-image labeling engine
EP2666076A1 (en) 2011-03-04 2013-11-27 Apple Inc. Linear vibrator providing localized and generalized haptic feedback
GB2489685B (en) * 2011-03-31 2017-01-25 Geovs Ltd A Display System
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US20120293613A1 (en) * 2011-05-17 2012-11-22 Occipital, Inc. System and method for capturing and editing panoramic images
US9710061B2 (en) 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
KR101366860B1 (ko) * 2011-09-20 2014-02-21 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
JP2013070212A (ja) * 2011-09-22 2013-04-18 Fuji Xerox Co Ltd 画像処理装置、画像処理プログラム
US9584774B2 (en) * 2011-10-24 2017-02-28 Motorola Solutions, Inc. Method and apparatus for remotely controlling an image capture position of a camera
US10571715B2 (en) 2011-11-04 2020-02-25 Massachusetts Eye And Ear Infirmary Adaptive visual assistive device
US9424255B2 (en) * 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
US9282168B2 (en) * 2011-12-06 2016-03-08 Parablu Systems Pvt. Ltd. Methods, devices, and systems for enabling a personal cloud-computing environment with ubiquitous mobile access and source-independent, automated data aggregation
US8823798B2 (en) * 2011-12-23 2014-09-02 Xerox Corporation Obscuring identification information in an image of a vehicle
US8933929B1 (en) * 2012-01-03 2015-01-13 Google Inc. Transfer of annotations from panaromic imagery to matched photos
CN102546816A (zh) * 2012-01-31 2012-07-04 江苏省现代企业信息化应用支撑软件工程技术研发中心 基于lbs平台的校园定位方法及其实现系统
TWI442917B (zh) * 2012-02-03 2014-07-01 Univ Nat Taipei Technology 具即時語音回報功能的導盲系統及其方法
WO2013141868A1 (en) * 2012-03-22 2013-09-26 Hewlett-Packard Development Company, L.P. Cloud-based data processing
US9258462B2 (en) * 2012-04-18 2016-02-09 Qualcomm Incorporated Camera guided web browsing based on passive object detection
TWI519167B (zh) * 2012-04-23 2016-01-21 廣達電腦股份有限公司 運用後設資料來進行目標辨識與事件重現之系統
US9153073B2 (en) 2012-05-23 2015-10-06 Qualcomm Incorporated Spatially registered augmented video
GB2502549A (en) 2012-05-30 2013-12-04 Ibm Navigation system
JP5975739B2 (ja) * 2012-06-01 2016-08-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP6006536B2 (ja) * 2012-06-01 2016-10-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP6124517B2 (ja) * 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
US20130329061A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co. Ltd. Method and apparatus for storing image data
JP6024952B2 (ja) * 2012-07-19 2016-11-16 パナソニックIpマネジメント株式会社 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
US9785336B2 (en) * 2012-08-17 2017-10-10 Sas Institute Inc. Macro-enabled, verbally accessible graphical data visualizations for visually impaired users
US9917879B2 (en) 2012-10-13 2018-03-13 Microsoft Technology Licensing, Llc Remote interface templates
US9453740B2 (en) 2012-10-30 2016-09-27 Alpine Electronics, Inc. Method of displaying objects on navigation map
US9424472B2 (en) * 2012-11-26 2016-08-23 Ebay Inc. Augmented reality information system
WO2014085948A1 (en) * 2012-12-06 2014-06-12 Qualcomm Incorporated Annular view for panorama image
US20140176689A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co. Ltd. Apparatus and method for assisting the visually impaired in object recognition
KR20140090318A (ko) * 2013-01-07 2014-07-17 삼성전자주식회사 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
US9633272B2 (en) 2013-02-15 2017-04-25 Yahoo! Inc. Real time object scanning using a mobile phone and cloud-based visual search engine
US9286323B2 (en) 2013-02-25 2016-03-15 International Business Machines Corporation Context-aware tagging for augmented reality environments
EP2966843A4 (en) * 2013-03-04 2016-05-18 Yim Wai Yau FLAT READER THAT SUPPORTS AN INTERACTIVE BONDING SYSTEM
JP2014175993A (ja) * 2013-03-12 2014-09-22 Sony Corp 通知制御装置、通知制御方法、およびプログラム
US9256615B2 (en) * 2013-03-12 2016-02-09 Verizon Patent And Licensing Inc. Personalized navigation information based on user behavior
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US9092954B2 (en) * 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
JP6450064B2 (ja) * 2013-03-18 2019-01-09 任天堂株式会社 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
US10564815B2 (en) 2013-04-12 2020-02-18 Nant Holdings Ip, Llc Virtual teller systems and methods
US9639984B2 (en) * 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
US9355123B2 (en) 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
US9393692B1 (en) * 2013-07-29 2016-07-19 Daniel Theobald Apparatus and method of assisting an unattended robot
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9460635B2 (en) 2013-09-06 2016-10-04 At&T Mobility Ii Llc Obstacle avoidance using mobile devices
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
DE102013016944A1 (de) * 2013-10-14 2015-04-16 I-Cane Social Technology Bv Assistenzsystem
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN113489676A (zh) 2013-11-14 2021-10-08 Ksi数据科技公司 一种管理和分析多媒体信息的系统
WO2015089115A1 (en) * 2013-12-09 2015-06-18 Nant Holdings Ip, Llc Feature density object classification, systems and methods
US9307073B2 (en) * 2013-12-31 2016-04-05 Sorenson Communications, Inc. Visual assistance systems and related methods
US10078712B2 (en) * 2014-01-14 2018-09-18 Energid Technologies Corporation Digital proxy simulation of robotic hardware
US9204018B2 (en) 2014-01-21 2015-12-01 Carbon Objects, Inc. System and method of adjusting the color of image objects based on chained reference points, gradient characterization, and pre-stored indicators of environmental lighting conditions
KR102238775B1 (ko) * 2014-02-10 2021-04-09 삼성전자주식회사 전자 장치에서 증강 현실을 이용한 장비 관리 장치 및 방법
US9501498B2 (en) 2014-02-14 2016-11-22 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
EP3110160A4 (en) * 2014-02-18 2017-10-11 LG Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
US9396629B1 (en) 2014-02-21 2016-07-19 Apple Inc. Haptic modules with independently controllable vertical and horizontal mass movements
DE102014003331B4 (de) 2014-03-08 2022-04-07 Aissa Zouhri Sehhilfe für blinde oder sehbehinderte Menschen
US9613448B1 (en) 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US9489866B2 (en) 2014-04-30 2016-11-08 At&T Intellectual Property I, L.P. Acoustic representations of environments
WO2015175729A1 (en) * 2014-05-13 2015-11-19 Dennis Quan Systems and methods for managing, sharing, and organizing information stored on multiple cloud services
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US9613274B2 (en) 2014-05-22 2017-04-04 International Business Machines Corporation Identifying an obstacle in a route
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US9355547B2 (en) 2014-05-22 2016-05-31 International Business Machines Corporation Identifying a change in a home environment
US9503644B2 (en) * 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
WO2015187124A1 (en) 2014-06-02 2015-12-10 Hewlett-Packard Development Company, L.P. Waypoint navigator
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
CN104143213B (zh) * 2014-07-16 2017-05-31 北京卫星制造厂 一种基于视觉检测的导管自动识别方法
DK3189655T3 (da) 2014-09-03 2020-02-24 Aira Tech Corp Computer-implementeret fremgangsmåde og system til tilvejebringelse af fjernunderstøtning for visuelt-svækkede brugere
US9443488B2 (en) * 2014-10-14 2016-09-13 Digital Vision Enhancement Inc Image transforming vision enhancement device
CN104408418A (zh) * 2014-11-25 2015-03-11 苏州福丰科技有限公司 一种用于银行atm机的三维人脸识别装置
US9530058B2 (en) 2014-12-11 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Visual-assist robots
US20160170508A1 (en) * 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
WO2016109692A2 (en) * 2014-12-31 2016-07-07 Sling Media, Inc. Systems and methods for guiding a disabled individual
US9904504B2 (en) 2015-02-24 2018-02-27 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing environmental feedback based on received gestural input
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
CN104702848B (zh) * 2015-03-31 2019-02-12 小米科技有限责任公司 显示取景信息的方法及装置
EP3076660B1 (en) * 2015-03-31 2021-04-28 Xiaomi Inc. Method and apparatus for displaying framing information
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US9684984B2 (en) 2015-07-08 2017-06-20 Sage Software, Inc. Nearsighted camera object detection
US9785850B2 (en) 2015-07-08 2017-10-10 Sage Software, Inc. Real time object measurement
US9659503B2 (en) 2015-07-14 2017-05-23 International Business Machines Corporation Ambulatory route management based on a personal drone
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
CN105100346B (zh) * 2015-08-10 2018-02-02 京东方科技集团股份有限公司 盲文显示终端、系统及方法
CN105205782B (zh) * 2015-09-06 2019-08-16 京东方科技集团股份有限公司 超解像方法和系统、服务器、用户设备及其方法
US10929666B2 (en) 2015-09-11 2021-02-23 Christophe BOSSUT System and method for providing augmented reality interactions over printed media
US10113877B1 (en) * 2015-09-11 2018-10-30 Philip Raymond Schaefer System and method for providing directional information
CN105267013B (zh) * 2015-09-16 2017-11-07 电子科技大学 一种头戴式智能视障辅助系统
WO2017055890A1 (en) 2015-09-30 2017-04-06 The Nielsen Company (Us), Llc Interactive product auditing with a mobile device
US9892464B2 (en) 2015-10-08 2018-02-13 Blackbird Holdings, LLC System and method of real time detection of aerial vehicle flight patterns and insurance policy updates
US10282052B2 (en) 2015-10-15 2019-05-07 At&T Intellectual Property I, L.P. Apparatus and method for presenting information associated with icons on a display screen
US9846970B2 (en) * 2015-12-16 2017-12-19 Intel Corporation Transitioning augmented reality objects in physical and digital environments
US10772394B1 (en) 2016-03-08 2020-09-15 Apple Inc. Tactile output for wearable device
CN105825228B (zh) * 2016-03-14 2019-04-30 百度在线网络技术(北京)有限公司 图像识别方法及装置
US10187686B2 (en) 2016-03-24 2019-01-22 Daqri, Llc Recording remote expert sessions
US10306315B2 (en) * 2016-03-29 2019-05-28 International Business Machines Corporation Video streaming augmenting
US20170286383A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment
US9942701B2 (en) 2016-04-07 2018-04-10 At&T Intellectual Property I, L.P. Apparatus and method for detecting objects and navigation
US10188580B2 (en) 2016-05-09 2019-01-29 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing environment information using an unmanned vehicle
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
CN113593499B (zh) 2016-05-27 2023-12-12 杜比实验室特许公司 在视频优先级与图形优先级之间转换
US9992429B2 (en) * 2016-05-31 2018-06-05 Microsoft Technology Licensing, Llc Video pinning
CN109643456A (zh) 2016-06-17 2019-04-16 因默希弗机器人私人有限公司 图像压缩方法与设备
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US20180033178A1 (en) * 2016-08-01 2018-02-01 Vernon Dwain Hutchins Method of Augmenting a Geospatially-Accurate Virtual Reality with Annotations
US10579879B2 (en) * 2016-08-10 2020-03-03 Vivint, Inc. Sonic sensing
US10037459B2 (en) 2016-08-19 2018-07-31 Sage Software, Inc. Real-time font edge focus measurement for optical character recognition (OCR)
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
CN109691109B (zh) * 2016-09-23 2023-05-12 苹果公司 多视角成像系统和方法
US10436593B2 (en) * 2016-11-08 2019-10-08 Reem Jafar ALATAAS Augmented reality assistance system for the visually impaired
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
WO2018092153A1 (en) * 2016-11-21 2018-05-24 Lonhari Parag Self-help navigation system for the visually impaired
US10126132B2 (en) * 2017-01-17 2018-11-13 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
CN106859929B (zh) * 2017-01-25 2019-11-22 上海集成电路研发中心有限公司 一种基于双目视觉的多功能导盲仪
CN110494193A (zh) 2017-02-08 2019-11-22 因默希弗机器人私人有限公司 向多人游戏场地中的用户显示内容
US10191979B2 (en) 2017-02-20 2019-01-29 Sas Institute Inc. Converting graphical data-visualizations into sonified output
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
US11163379B2 (en) * 2017-04-05 2021-11-02 Telefonaktiebolaget Lm Ericsson (Publ) Illuminating an environment for localisation
US10321258B2 (en) 2017-04-19 2019-06-11 Microsoft Technology Licensing, Llc Emulating spatial perception using virtual echolocation
US11417091B2 (en) 2017-05-30 2022-08-16 Ptc Inc. Use of coordinated local user devices during a shared augmented reality session
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
NL2019059B1 (en) * 2017-06-13 2018-12-19 Maritime Medical Applications B V Wireless communication system for remote medical assistance
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
US10299982B2 (en) * 2017-07-21 2019-05-28 David M Frankel Systems and methods for blind and visually impaired person environment navigation assistance
TWI653854B (zh) 2017-08-01 2019-03-11 宏碁股份有限公司 終端裝置維護系統與終端裝置維護方法
US10444840B2 (en) 2017-08-30 2019-10-15 Disney Enterprises, Inc. Systems and methods to synchronize visual effects and haptic feedback for interactive experiences
US10970545B1 (en) * 2017-08-31 2021-04-06 Amazon Technologies, Inc. Generating and surfacing augmented reality signals for associated physical items
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10366291B2 (en) * 2017-09-09 2019-07-30 Google Llc Systems, methods, and apparatus for providing image shortcuts for an assistant application
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
CN107833503B (zh) * 2017-11-10 2019-10-29 广东电网有限责任公司教育培训评价中心 配网核心作业增强现实仿真培训系统
AU2018372561B2 (en) * 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Image compression for digital reality
TW201935927A (zh) 2017-11-21 2019-09-01 澳大利亞商伊門斯機器人控股有限公司 用於影像壓縮之頻率分量選擇
KR102047988B1 (ko) * 2017-12-14 2019-11-22 주식회사 코이노 시력 취약계층을 위한 시력 보조장치와 원격관리장치 및 시력 보조방법
US10225621B1 (en) 2017-12-20 2019-03-05 Dish Network L.L.C. Eyes free entertainment
CN109984911B (zh) * 2017-12-30 2021-10-08 深圳多哚新技术有限责任公司 一种具有虚拟现实功能的按摩设备及其控制方法
WO2019138186A1 (fr) * 2018-01-12 2019-07-18 Esthesix Dispositif et procede ameliores de communication d'informations sonores a un utilisateur en realite augmentee
FR3076709B1 (fr) * 2018-01-12 2019-12-20 Esthesix Dispositif et procede de communication d'informations sonores a un utilisateur en realite augmentee
TW201937452A (zh) * 2018-03-01 2019-09-16 緯創資通股份有限公司 定位系統及方法及電腦可讀取儲存媒體
US10803610B2 (en) 2018-03-06 2020-10-13 At&T Intellectual Property I, L.P. Collaborative visual enhancement devices
US10733448B2 (en) 2018-03-15 2020-08-04 Microsoft Technology Licensing, Llc Machine learning of context data for social and contextual scene inferences
CN108519676B (zh) * 2018-04-09 2020-04-28 杭州瑞杰珑科技有限公司 一种头戴式助视装置
US11501498B2 (en) * 2018-05-08 2022-11-15 Disney Enterprises, Inc. Augmented reality image generation
US11036391B2 (en) 2018-05-16 2021-06-15 Universal Studios LLC Haptic feedback systems and methods for an amusement park ride
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired
US10636190B2 (en) 2018-05-31 2020-04-28 Robert Bosch Gmbh Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10387114B1 (en) * 2018-09-16 2019-08-20 Manouchehr Shahbaz System to assist visually impaired user
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US11256405B2 (en) 2018-09-24 2022-02-22 Google Llc Controlling a device based on processing of image data that captures the device and/or an installation environment of the device
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10549198B1 (en) * 2018-10-30 2020-02-04 Niantic, Inc. Verifying a player's real world location using image data of a landmark corresponding to a verification pathway
US11287526B2 (en) * 2018-11-21 2022-03-29 Microsoft Technology Licensing, Llc Locating spatialized sounds nodes for echolocation using unsupervised machine learning
US10848335B1 (en) * 2018-12-11 2020-11-24 Amazon Technologies, Inc. Rule-based augmentation of a physical environment
US10803669B1 (en) 2018-12-11 2020-10-13 Amazon Technologies, Inc. Rule-based augmentation of a physical environment
CN109808711B (zh) * 2018-12-25 2020-07-07 南京师范大学 自动驾驶车辆控制方法及系统、自动驾驶车辆及视觉假体
US10943116B2 (en) * 2019-02-22 2021-03-09 International Business Machines Corporation Translation to braille
US10659848B1 (en) * 2019-03-21 2020-05-19 International Business Machines Corporation Display overlays for prioritization of video subjects
US10931916B2 (en) 2019-04-24 2021-02-23 Sorenson Ip Holdings, Llc Apparatus, method and computer-readable medium for automatically adjusting the brightness of a videophone visual indicator
US11164382B2 (en) 2019-05-21 2021-11-02 International Business Machines Corporation Alteration of a virtual reality simulation
US11017017B2 (en) * 2019-06-04 2021-05-25 International Business Machines Corporation Real-time vision assistance
CN110536066B (zh) * 2019-08-09 2021-06-29 润博全景文旅科技有限公司 一种全景相机拍摄方法、装置、电子设备及存储介质
CN110474979B (zh) * 2019-08-13 2022-06-21 北京软通绿城科技有限公司 一种远程协助系统、方法、平台及存储介质
US11175809B2 (en) 2019-08-19 2021-11-16 Capital One Services, Llc Detecting accessibility patterns to modify the user interface of an application
US11637921B2 (en) * 2019-09-09 2023-04-25 Motorola Mobility Llc Enabling vibration notification based on environmental noise
US11538360B2 (en) * 2020-03-10 2022-12-27 Tactile Solutions, Inc. RFID tag in display adapter
US11734796B2 (en) * 2020-04-15 2023-08-22 Gopro, Inc. Methods and apparatus for shared image processing among multiple devices
US11804006B2 (en) * 2020-06-03 2023-10-31 Disney Enterprises, Inc. Enhanced vision system and method
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US20230236016A1 (en) * 2020-07-21 2023-07-27 The Penn State Research Foundation Computer system, apparatus, and method for an augmented reality hand guidance application for people with visual impairments
FR3112885B1 (fr) * 2020-07-21 2022-09-09 N Vibe Système d’informations pour un utilisateur déficient visuel et procédé associé
US11353954B2 (en) * 2020-08-26 2022-06-07 Tectus Corporation Operating an electronic contact lens based on recognized objects in captured images
US11687582B2 (en) * 2020-08-27 2023-06-27 Shopify Inc. Automated image-based inventory record generation systems and methods
NL2026677B1 (en) 2020-10-15 2022-06-14 B V Maritime Medical Applications Wireless communication system for medical assistance
JP2022107967A (ja) * 2021-01-12 2022-07-25 トヨタ自動車株式会社 歩行支援システム
US11769323B2 (en) 2021-02-02 2023-09-26 Google Llc Generating assistive indications based on detected characters
US20220309755A1 (en) * 2021-03-24 2022-09-29 Wormhole Labs, Inc. Systems and methods of implementing real-world ambient variance in augmented environments
CN117203973A (zh) * 2021-04-14 2023-12-08 远程连接株式会社 数据处理装置、数据处理方法、程序以及数据处理系统
CN113315952B (zh) * 2021-06-02 2023-05-05 云南电网有限责任公司电力科学研究院 一种配电网作业现场安全监控方法及系统
US11997399B1 (en) 2022-03-14 2024-05-28 Amazon Technologies, Inc. Decoupled captured and external frame rates for an object camera
WO2023196850A2 (en) * 2022-04-06 2023-10-12 Fusefx Corporation System and method for providing dynamic backgrounds in live-action videography
CN115686292B (zh) * 2023-01-03 2023-07-25 京东方艺云(杭州)科技有限公司 一种信息显示的方法、装置、电子设备及存储介质

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59164692A (ja) 1983-03-10 1984-09-17 Nippon Hoso Kyokai <Nhk> 酸化物単結晶の製造方法
US7721307B2 (en) * 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JPH06276526A (ja) * 1993-03-22 1994-09-30 Hitachi Denshi Ltd カラー着順およびタイム判定装置
US5625765A (en) * 1993-09-03 1997-04-29 Criticom Corp. Vision systems including devices and methods for combining images for extended magnification schemes
US6064398A (en) * 1993-09-10 2000-05-16 Geovector Corporation Electro-optic vision systems
US7301536B2 (en) * 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
US6278461B1 (en) * 1993-09-10 2001-08-21 Geovector Corporation Augmented reality vision systems which derive image information from other vision systems
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
US6535210B1 (en) * 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
US5991827A (en) 1996-05-22 1999-11-23 Geovector Corporation Apparatus for controlling electrical devices in response to sensed conditions
US6804726B1 (en) * 1996-05-22 2004-10-12 Geovector Corporation Method and apparatus for controlling electrical devices in response to sensed conditions
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
AU8278298A (en) 1997-06-24 1999-01-04 Geovector Corporation Technique for time manipulation of multi-channel transmission system
US8432414B2 (en) 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
WO1999042947A2 (en) 1998-02-18 1999-08-26 Geovector Corporation Apparatus and methods for presentation of information relating to objects being addressed
WO1999049668A2 (en) 1998-03-25 1999-09-30 Geovector Corporation High performance single direction wireless transmission systems and technique
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
US6173239B1 (en) * 1998-09-30 2001-01-09 Geo Vector Corporation Apparatus and methods for presentation of information relating to objects being addressed
US6262818B1 (en) 1998-10-07 2001-07-17 Institute Of Applied Optics, Swiss Federal Institute Of Technology Method for simultaneous amplitude and quantitative phase contrast imaging by numerical reconstruction of digital holograms
BE1012272A5 (fr) 1998-11-06 2000-08-01 Biophotonics Sa Dispositif et procede de mesure d'images colorees.
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6396475B1 (en) * 1999-08-27 2002-05-28 Geo Vector Corp. Apparatus and methods of the remote address of objects
US6522292B1 (en) 2000-02-23 2003-02-18 Geovector Corp. Information systems having position measuring capacity
AU2001238649A1 (en) 2000-03-16 2001-10-03 Geovector Corporation Information systems having directional interference facility
US20040103139A1 (en) * 2000-03-30 2004-05-27 United Devices, Inc. Distributed processing system having sensor based data collection and associated method
AU2001276373A1 (en) * 2000-07-03 2002-01-14 Ecole Polytechnique Federale De Lausanne (Epfl) Method and wireless terminal for generating and maintaining a relative positioning system
JP2002098548A (ja) * 2000-09-22 2002-04-05 Casio Comput Co Ltd ガイド情報送信装置及び記録媒体
EP1405122B1 (de) * 2000-10-07 2007-07-18 David Dickerson Vorrichtung zur bestimmung der orientierung eines auges
WO2002033472A2 (de) * 2000-10-07 2002-04-25 Physoptics Opto-Electronic Gmbh Informationssystem und verfahren zum zurverfügungstellen von informationen unter verwendung eines holographischen elements
US7181407B1 (en) * 2000-11-06 2007-02-20 International Business Machines Corporation Network of portable, wireless communication devices
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7031875B2 (en) * 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
WO2002073818A1 (en) 2001-03-13 2002-09-19 Geovector Corporation Systems for providing point-to-call functionality
US7206434B2 (en) * 2001-07-10 2007-04-17 Vistas Unlimited, Inc. Method and system for measurement of the duration an area is included in an image stream
US6945930B2 (en) * 2001-08-31 2005-09-20 Olympus Corporation Environment adaptable measurement endoscope
JP2003214888A (ja) * 2002-01-22 2003-07-30 Matsushita Electric Ind Co Ltd 視覚障害者誘導システム並びにそれに用いられる無線携帯端末および通信装置
US20050009608A1 (en) * 2002-05-13 2005-01-13 Consolidated Global Fun Unlimited Commerce-enabled environment for interacting with simulated phenomena
FR2842977A1 (fr) * 2002-07-24 2004-01-30 Total Immersion Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
US7916152B2 (en) * 2002-11-01 2011-03-29 Tenebraex Corporaton Technique for enabling color blind persons to distinguish between various colors
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US20040183918A1 (en) * 2003-03-20 2004-09-23 Eastman Kodak Company Producing enhanced photographic products from images captured at known picture sites
US20040215612A1 (en) * 2003-04-28 2004-10-28 Moshe Brody Semi-boolean arrangement, method, and system for specifying and selecting data objects to be retrieved from a collection
US20050101250A1 (en) * 2003-07-10 2005-05-12 University Of Florida Research Foundation, Inc. Mobile care-giving and intelligent assistance device
JP2005160064A (ja) * 2003-11-06 2005-06-16 Ad Step:Kk 歩行支援システムとこのシステムで使用する携帯端末機及びアダプタ装置
US20050208457A1 (en) * 2004-01-05 2005-09-22 Wolfgang Fink Digital object recognition audio-assistant for the visually impaired
US7289147B2 (en) * 2004-02-03 2007-10-30 Hewlett-Packard Development Company, L.P. Method for providing image alignment feedback for panorama (composite) images in digital cameras using edge detection
CA2559726C (en) * 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
US8036895B2 (en) * 2004-04-02 2011-10-11 K-Nfb Reading Technology, Inc. Cooperative processing for portable reading machine
US7659915B2 (en) * 2004-04-02 2010-02-09 K-Nfb Reading Technology, Inc. Portable reading device with mode processing
US7627142B2 (en) * 2004-04-02 2009-12-01 K-Nfb Reading Technology, Inc. Gesture processing with low resolution images with high resolution processing for optical character recognition for a reading machine
US7546204B2 (en) * 2004-05-12 2009-06-09 Takashi Yoshimine Information processor, portable apparatus and information processing method
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20060024647A1 (en) * 2004-07-30 2006-02-02 France Telecom Method and apparatus for communicating graphical information to a visually impaired person using haptic feedback
US7627194B2 (en) * 2004-08-13 2009-12-01 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
JP2006065517A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> 実空間情報付加装置、方法及びプログラム
US20060129308A1 (en) * 2004-12-10 2006-06-15 Lawrence Kates Management and navigation system for the blind
DE102005009110A1 (de) * 2005-01-13 2006-07-27 Siemens Ag Vorrichtung zur Vermittlung von Umgebungsinformationen an einen sehbehinderten Menschen
JP4553362B2 (ja) * 2005-01-31 2010-09-29 キヤノン株式会社 システム、画像処理装置、情報処理方法
US20060190812A1 (en) * 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
US20060223635A1 (en) * 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
US7460884B2 (en) * 2005-06-29 2008-12-02 Microsoft Corporation Data buddy
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
FR2889761A1 (fr) 2005-08-09 2007-02-16 Total Immersion Sa Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera
JP4677633B2 (ja) * 2005-09-09 2011-04-27 学校法人東海大学 匂い提示システム
TWI300347B (en) * 2005-11-03 2008-09-01 Ind Tech Res Inst Frid method for guiding visually handicapped
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
DE102006005044B4 (de) * 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
US8068644B2 (en) * 2006-03-07 2011-11-29 Peter Thomas Tkacik System for seeing using auditory feedback
US7864991B2 (en) * 2006-04-06 2011-01-04 Espre Solutions Inc. System and method for assisting a visually impaired individual
US7907702B2 (en) * 2006-08-04 2011-03-15 Inter-Tel (Delaware), Inc Communication device for visually impaired persons
ITMI20062325A1 (it) * 2006-12-04 2008-06-05 Mario Quintilio Apparecchiatura multifunzionale per portatori di handicap visivo
US8843385B2 (en) * 2006-12-11 2014-09-23 Ecole Polytechnique Federale De Lausanne (Epfl) Quality of service monitoring of a service level agreement using a client based reputation mechanism encouraging truthful feedback
FR2911211B1 (fr) * 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
FR2911463B1 (fr) * 2007-01-12 2009-10-30 Total Immersion Sa Dispositif d'observation de realite augmentee temps reel et procede de mise en oeuvre d'un dispositif
FR2911708B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositif de creation d'au moins deux images cles correspondant a un objet tridimensionnel.
FR2911707B1 (fr) 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20080198222A1 (en) * 2007-02-02 2008-08-21 Sanjay Gowda System and method for tele-presence
US20080198159A1 (en) * 2007-02-16 2008-08-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for efficient and flexible surveillance visualization with context sensitive privacy preserving and power lens data mining
FR2913128B1 (fr) 2007-02-23 2009-08-28 Total Immersion Sa Procede et dispositif de determination de la pose d'un objet tridimensionnel dans une image et procede et dispositif de creation d'au moins une image cle
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
NZ555918A (en) 2007-06-15 2008-07-31 L & D Technology Ltd Orientation system and method
US8358840B2 (en) * 2007-07-16 2013-01-22 Alexander Bronstein Methods and systems for representation and matching of video content
DE102007033486B4 (de) 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
KR20090036183A (ko) * 2007-10-09 2009-04-14 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
US8315430B2 (en) 2007-11-07 2012-11-20 Viewdle Inc. Object recognition and database population for video indexing
US8064641B2 (en) 2007-11-07 2011-11-22 Viewdle Inc. System and method for identifying objects in video
WO2009063034A2 (en) 2007-11-15 2009-05-22 Desknet Sa Method enabling a computer apparatus run by an operating system to execute software modules
US8064653B2 (en) * 2007-11-29 2011-11-22 Viewdle, Inc. Method and system of person identification by facial image
US7814061B2 (en) * 2008-01-24 2010-10-12 Eastman Kodak Company Method for preserving privacy with image capture
FR2928803B1 (fr) 2008-03-14 2012-03-30 Alcatel Lucent Fourniture de services a partir d'objets filmes ou photographies depuis un terminal mobile.
JP5249359B2 (ja) 2008-03-14 2013-07-31 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも1台のカメラによって生成された画像を表示するための方法及びシステム
JP2009237878A (ja) 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
WO2009124601A1 (en) 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
US8010327B2 (en) * 2008-04-25 2011-08-30 Total Immersion Software, Inc. Composite assets for use in multiple simulation environments
WO2009136989A1 (en) * 2008-05-09 2009-11-12 Ecole Polytechnique Federale De Lausanne Image sensor having nonlinear response
FR2933218B1 (fr) * 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
PT104120B (pt) 2008-06-30 2010-11-23 Metro Do Porto S A Sistema de orientação, navegação e informação especialmente adaptado para pessoas cegas ou amblíopes
US9191238B2 (en) * 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US9824495B2 (en) * 2008-09-11 2017-11-21 Apple Inc. Method and system for compositing an augmented reality scene
US8150169B2 (en) * 2008-09-16 2012-04-03 Viewdle Inc. System and method for object clustering and identification in video
US20100145479A1 (en) * 2008-10-09 2010-06-10 G2 Software Systems, Inc. Wireless Portable Sensor Monitoring System
EP2356583B9 (en) 2008-11-10 2014-09-10 Metaio GmbH Method and system for analysing an image generated by at least one camera
US20100127971A1 (en) * 2008-11-21 2010-05-27 Geovector Corp. Methods of rendering graphical images
CN102224498B (zh) 2008-11-25 2015-05-27 Metaio有限公司 用于向移动设备提供位置相关内容的计算机实现的方法
US9501618B1 (en) * 2009-02-03 2016-11-22 Brooke Erin Wurst Systems, methods and devices for anonymously collecting personal data using a mobile device
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
FR2946439A1 (fr) 2009-06-08 2010-12-10 Total Immersion Procedes et dispositifs d'identification d'objets reels, de suivi de la representation de ces objets et de realite augmentee, dans une sequence d'images, en mode client-serveur
FR2946446B1 (fr) 2009-06-08 2011-07-15 Total Immersion Procede et dispositif de suivi d'objets en temps reel dans une sequence d'images en presence de flou optique
FR2946444B1 (fr) 2009-06-08 2012-03-30 Total Immersion Procede et dispositif de calibration d'un capteur d'images utilisant un systeme temps reel de suivi d'objets dans une sequence d'images
US8943420B2 (en) * 2009-06-18 2015-01-27 Microsoft Corporation Augmenting a field of view
WO2011012158A1 (en) 2009-07-28 2011-02-03 Ecole Polytechnique Federale De Lausanne Encoding and decoding of information
US8159373B2 (en) * 2009-07-28 2012-04-17 Ecole Polytechnique Federale De Lausanne (Epfl) Encoding and decoding information
ES2399636T3 (es) 2009-07-29 2013-04-02 Metaio Gmbh Método para determinar la postura de una cámara con respecto a por lo menos un objeto real
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US8228413B2 (en) * 2009-09-01 2012-07-24 Geovector Corp. Photographer's guidance systems
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US20110103500A1 (en) 2009-10-30 2011-05-05 Qualcomm Incorporated Methods and apparatus for estimating a sparse channel
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
US8699991B2 (en) * 2010-01-20 2014-04-15 Nokia Corporation Method and apparatus for customizing map presentations based on mode of transport
US8902254B1 (en) * 2010-09-02 2014-12-02 The Boeing Company Portable augmented reality
US20130159454A1 (en) * 2011-12-16 2013-06-20 Motorola Mobility, Inc. Customizing distribution of data from a sensor network data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101435546B1 (ko) * 2012-12-26 2014-09-16 건국대학교 산학협력단 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템
KR20180073184A (ko) * 2016-12-22 2018-07-02 에스케이플래닛 주식회사 정보안내장치 및 그 동작 방법
KR20220090234A (ko) * 2020-12-22 2022-06-29 엑스퍼트아이엔씨 주식회사 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법

Also Published As

Publication number Publication date
WO2011106520A1 (en) 2011-09-01
US20220270512A1 (en) 2022-08-25
EP2539883A1 (en) 2013-01-02
US20140218493A1 (en) 2014-08-07
US20110216179A1 (en) 2011-09-08
US11348480B2 (en) 2022-05-31
CN102906810A (zh) 2013-01-30
JP2013520757A (ja) 2013-06-06
US8605141B2 (en) 2013-12-10
CN102906810B (zh) 2015-03-18
KR20150008840A (ko) 2015-01-23
US20200152083A1 (en) 2020-05-14
KR101487944B1 (ko) 2015-01-30
US9526658B2 (en) 2016-12-27
JP5709906B2 (ja) 2015-04-30
US20170069227A1 (en) 2017-03-09
US10535279B2 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
US11348480B2 (en) Augmented reality panorama systems and methods
US11032514B2 (en) Method and apparatus for providing image service
EP2691938B1 (en) Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
US20130201182A1 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
CN104838642A (zh) 用创建者身份或场景标记媒体的方法和设备
EP4036759A1 (en) Pose determination method, apparatus and system
KR101929875B1 (ko) 실시간 현장 동영상 중계를 이용한 시각장애인 안내 서비스 제공 방법
WO2021185375A1 (zh) 一种分享数据的方法及设备
WO2021115483A1 (zh) 一种图像处理方法及相关装置
KR20120086810A (ko) 단말기 및 그 단말기에서 이미지 처리 방법
US9332580B2 (en) Methods and apparatus for forming ad-hoc networks among headset computers sharing an identifier
WO2022152174A9 (zh) 一种投屏的方法和电子设备
CN112989092A (zh) 一种图像处理方法及相关装置
CN202939606U (zh) 相似人像寻找系统
CN105393561B (zh) 用于装置耦合的方法和装置
Azzino et al. 5G Edge Vision: Wearable Assistive Technology for People with Blindness and Low Vision
CN117915135A (zh) 数据共享处理方法、装置、系统及存储介质
CN117499446A (zh) 协同工作系统、方法及电子设备
CN117478656A (zh) 图像数据传输方法、设备及协同工作系统
CN117478653A (zh) 图像数据传输方法、设备及协同工作系统
Huang et al. Exploiting Mobile Devices to Assist Identification System of Photos for Social Relationship

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180111

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200109

Year of fee payment: 6