KR102263496B1 - 시스루 헤드 장착형 장치에 기초한 내비게이션 방법 - Google Patents

시스루 헤드 장착형 장치에 기초한 내비게이션 방법 Download PDF

Info

Publication number
KR102263496B1
KR102263496B1 KR1020167004202A KR20167004202A KR102263496B1 KR 102263496 B1 KR102263496 B1 KR 102263496B1 KR 1020167004202 A KR1020167004202 A KR 1020167004202A KR 20167004202 A KR20167004202 A KR 20167004202A KR 102263496 B1 KR102263496 B1 KR 102263496B1
Authority
KR
South Korea
Prior art keywords
wearer
image
geographic location
image processing
visual
Prior art date
Application number
KR1020167004202A
Other languages
English (en)
Other versions
KR20160048775A (ko
Inventor
아망딘 드비외브르
베누아 칼리에르
마리옹 스위탈
Original Assignee
에씰로 앙터나시오날
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에씰로 앙터나시오날 filed Critical 에씰로 앙터나시오날
Publication of KR20160048775A publication Critical patent/KR20160048775A/ko
Application granted granted Critical
Publication of KR102263496B1 publication Critical patent/KR102263496B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)

Abstract

시스루 헤드 장착형 장치의 착용자를 위한 내비게이션 방법으로서, 상기 방법은, - 적어도 하나의 착용자 시각화 파라미터가 제공되는 착용자 시각화 파라미터 제공 단계 S1, - 경로를 따른 착용자의 지리적 위치가 결정되는 지리적 위치 결정 단계 S2, - 지리적 위치 결정 단계 동안에 결정된 착용자의 지리적 위치가 경로를 따른 저장된 지리적 위치와 비교되는 지리적 위치 비교 단계, 및 - 저장된 지리적 위치 중 하나와 착용자의 지리적 위치의 매칭 시에, 착용자의 안내를 용이하게 하기 위해, 착용자 시력 파라미터 및 착용자의 지리적 위치에 기초하여 내비게이션 시각 보조 기능이 적합화되는 내비게이션 시각 보조 기능 적합화 단계 S3을 포함한다.

Description

시스루 헤드 장착형 장치에 기초한 내비게이션 방법{NAVIGATION METHOD BASED ON A SEE-THROUGH HEAD-MOUNTED DEVICE}
본 발명은, 시스루 헤드 장착형 장치(see-through head mounted device)의 착용자를 위한 내비게이션 방법, 프로세서에 의해 실행될 때 프로세서가 본 발명의 시각 보조 안내 내비게이션 방법의 단계를 수행하게 하는 명령어를 포함하는 컴퓨터 프로그램, 및 컴퓨터 프로그램의 명령어를 가지는 컴퓨터 판독 가능한 매체에 관한 것이다.
예를 들어 GPS 기술에 기초한 내비게이션 장치가 공지되어 있다. 이와 같은 장치는 전형적으로 디스플레이 스크린상의 시각 정보 및 통상적으로 청각 정보를 제공한다.
사용자에게 제공된 정보는 착용자의 위치 및 사용자에 의해 지정된 "찾아갈(go to)" 지점에 기초한다. 이 장치는 저장된 지도 및 사용자 파라미터에 기초한 경로(route)를 계산하고 안내 내비게이션을 사용자에게 제공한다.
이와 같은 장치는 저시력(low vision)을 가진 사용자, 또는 보다 일반적으로는 안과적 결함(ophthalmic deficiency)을 가진 사용자에게 적합하지 않다.
이와 같은 장치를 사용하는 안과적 결함을 가진 사용자의 여행은 어렵고, 경로 에러가 증가하며, 여행 시간이 연장된다.
따라서, 안과적 결함을 가진 사용자, 특히 시각 장애(visual impairment)를 가진 사용자에게 적합한 시각 보조 안내 내비게이션 방법(visual aid guidance navigation method)을 제공하는 것이 바람직하다.
착용자의 시각적 편안함을 향상시키기 위해, 이미지 및 텍스트가 착용자에게 특별히 적합한 맞춤 방식으로 표시되는 시각 보조 안내 내비게이션 방법을 제공하는 것이 바람직하다.
또한, 사용자 내비게이션을 최적화하고 안과적 결함을 가진 사용자의 여행을 간소화시키는 시각 보조 안내 내비게이션 방법을 제공하는 것이 바람직하다.
본 발명의 목적은 이와 같은 방법을 제공하는 것이다.
본 발명은 일반적으로 헤드 장착형 장치를 갖는 시각 보조 안내 내비게이션을 위한 방법 및 시스템을 제공하며, 내비게이션의 맞춤화가 착용자-특정 시각화 파라미터를 고려함으로써 달성된다. 이와 같은 시각화 파라미터는 착용자 처방 데이터와 같은 착용자 안과 데이터에 관한 파라미터를 포함한다.
본 발명에 따르면, 착용자 시각적 경험 및 내비게이션의 품질은 착용자-특정 시각화 파라미터를 고려함으로써 향상될 수 있다.
이와 같은 목적을 위해, 본 발명은 시스루 헤드 장착형 장치의 착용자를 위한 내비게이션 방법을 제안하며, 상기 방법은,
- 적어도 하나의 착용자 시각화 파라미터가 제공되는 착용자 시각화 파라미터 제공 단계,
- 경로를 따른 착용자의 지리적 위치(geo-position)가 결정되는 지리적 위치 결정 단계,
- 지리적 위치 결정 단계 동안에 결정된 착용자의 지리적 위치가 경로를 따른 저장된 지리적 위치와 비교되는 지리적 위치 비교 단계, 및
- 저장된 지리적 위치 중 하나와 착용자의 지리적 위치의 매칭 시에, 특히 착용자의 안내를 용이하게 하기 위해, 착용자 시력 파라미터 및 착용자의 지리적 위치 모두에 기초하여 내비게이션 시각 보조 기능이 적합화되는 내비게이션 시각 보조 기능 적합화 단계를 포함하며,
- 내비게이션 시각 보조는 시스루 헤드 장착형 장치에 의해 제공된다.
유리하게는, 착용자 시력 파라미터 및 착용자의 지리적 위치에 기초하여 경로를 따른 헤드 장착형 장치의 내비게이션 시각 보조 기능을 적합화함으로써, 본 발명의 방법은 착용자의 안과적 결함에 적합한 시각 안내 내비게이션 방법을 제공한다.
착용자 여행이 향상되고 용이해진다.
또한, 본 발명의 방법은 착용자의 안과적 결함에 적합한 경로의 맞춤화된 인식 기능을 착용자에게 제공할 수 있게 하여 착용자의 여행을 용이하게 한다. 또한, 각 착용자의 안과적 결함에 적합한 사전기록된 맞춤 경로는 경로를 따르는 헤드 장착형 장치에 의해 처리 및 디스플레이를 최적화할 수 있게 하여, 심한 안과적 결함을 갖는 착용자가 경로를 따르게 하는 것을 돕도록 선택적 및 정성적 정보를 제공할 수 있다.
단독으로 또는 임의의 가능한 조합으로 고려될 수 있는 다른 실시예에 따르면:
- 헤드 장착형 장치는 디스플레이 장치를 포함하며, 내비게이션 시각 보조 기능 적합화 단계는,
- 저장된 지리적 위치 중 하나와 착용자의 지리적 위치의 매칭 시에, 착용자의 지리적 위치와 매칭하는 저장된 지리적 위치와 연관된 처리된 이미지 중 적어도 하나가 착용자 시각화 파라미터에 따라 선택되는, 처리된 이미지 선택 단계, 및
- 착용자의 시각 환경의 처리된 이미지가 시스루 헤드 장착형 디스플레이 장치에 의해 착용자에게 표시되는 디스플레이 단계를 추가로 포함하고; 및/또는
- 헤드 장착형 장치는 디스플레이 장치, 및 착용자의 시각 환경의 이미지를 획득하기에 적합한 카메라를 포함하며, 내비게이션 시각 보조 기능 적합화 단계는,
- 착용자의 시각 환경의 적어도 하나의 이미지가 카메라에 의해 획득되는 이미지 획득 단계,
- 저장된 지리적 위치 중 하나와 착용자의 지리적 위치의 매칭 시에, 착용자의 지리적 위치와 매칭하는 저장된 지리적 위치와 연관된 이미지 처리 중 적어도 하나가 착용자 시각화 파라미터에 따라 선택되는, 이미지 처리 선택 단계,
- 이미지 획득 단계 동안에 획득된 시각 환경의 이미지가 이미지 처리 선택 단계 동안에 선택된 이미지 처리에 따라 처리되는 이미지 처리 단계, 및
- 시각 환경의 처리된 이미지가 시스루 헤드 장착형 디스플레이 장치에 의해 착용자에게 표시되는 디스플레이 단계를 추가로 포함하고; 및/또는
- 내비게이션 시각 보조 기능 적합화 단계는,
- 사전지정된 요소 리스트에 열거된 적어도 하나의 사전지정된 요소를 식별하기 위해 착용자의 시각 환경의 이미지가 분석되는 이미지 요소 식별 단계로서, 각각의 사전지정된 요소가 적어도 하나의 이미지 처리와 연관지어지는, 이미지 요소 식별 단계를 추가로 포함하며,
- 이미지 처리 선택 단계 동안에, 사전지정된 요소 리스트에 열거된 사전지정된 요소 중 하나에 대응하는 착용자의 시각 환경의 이미지의 요소의 식별 시에, 착용자의 시각 환경의 이미지에서 식별된 사전지정된 요소와 연관된 이미지 처리가 선택되고; 및/또는
- 상기 방법은,
- 적어도 하나의 시각 환경 파라미터가 결정되는 시각 환경 파라미터 결정 단계를 추가로 포함하며,
- 이미지 처리 선택 단계 동안에, 이미지 처리는 시각 환경 파라미터에 따라 선택되고, 및/또는 처리된 이미지 선택 단계 동안에, 처리된 이미지는 시각 환경 파라미터에 따라 선택되고; 및/또는
- 상기 방법은,
- 지리적 위치가 적어도 하나의 이미지 처리와 연관된 저장된 지리적 위치와 비교되도록 원격 엔티티에 송신되는 송신 단계, 및
- 선택된 이미지 처리가 원격 엔티티로부터 수신되는 수신 단계를 추가로 포함하고; 및/또는
- 상기 방법은,
- 지리적 위치가 적어도 하나의 이미지 처리와 연관된 저장된 지리적 위치와 비교되도록 원격 엔티티에 송신되고, 착용자의 시각 환경의 획득된 이미지가 지리적 위치와 연관된 이미지 처리에 기초하여 처리되도록 원격 엔티티에 송신되는 송신 단계, 및
- 처리된 이미지가 원격 엔티티로부터 수신되는 수신 단계를 추가로 포함하고; 및/또는
- 원격 엔티티는 스마트폰 및/또는 스마트-워치(smart-watch)이고; 및/또는
- 상기 방법은 착용자의 지리적 위치에 기초한 시각 환경의 처리된 이미지에 기초하여 상보적인 시각 정보를 표시하는 단계를 추가로 포함하고; 및/또는
- 헤드 장착형 디스플레이 장치는 능동 기능(active function), 및 이 능동 기능을 제어하도록 구성된 제어 유닛을 포함하며, 능동 기능은 내비게이션 시각 보조 기능 적합화 단계 동안에 적합화되고; 및/또는
- 상기 방법은 착용자의 지리적 위치에 기초하여 착용자에게 청각 표지를 제공하는 단계를 추가로 포함하고; 및/또는
- 상기 방법은 착용자 식별자와 상기 착용자 시각화 파라미터 사이의 연관성을 데이터베이스에 사전등록하는 단계를 추가로 포함하고; 및/또는
- 상기 착용자 시각화 파라미터 중 적어도 하나는, 착용자 식별자와 연관하여, 네트워크를 통해 헤드 장착형 장치에 연결된 서버상의 착용자 데이터베이스에 저장되고; 및/또는
- 상기 방법은 적어도 경로를 데이터베이스에 사전등록하는 예비 단계를 추가로 포함하며, 상기 예비 단계는,
- 지리적 위치 결정 단계 동안에 결정된 경로를 따른 지리적 위치가 적어도 하나의 내비게이션 시각 보조 기능 수정과 연관되는 연관 단계, 및
- 지리적 위치 및 연관된 적어도 하나의 내비게이션 시각 보조 기능 수정이 저장되는 저장 단계와 같은 서브 단계들을 포함하고; 및/또는
- 예비 단계는,
- 착용자의 시각 환경의 적어도 하나의 이미지가 카메라에 의해 획득되는 이미지 획득 단계, 및
- 이미지 처리 중 적어도 하나가 착용자 시각화 파라미터에 따라 선택되는 이미지 처리 선택 단계,
- 이미지 획득 단계 동안에 획득된 시각 환경의 이미지가 이미지 처리 선택 단계 동안에 선택된 이미지 처리에 따라 처리되는 이미지 처리 단계를 추가로 포함하며,
- 연관 단계 동안에, 처리된 이미지는 지리적 위치와 연관되고; 및/또는
- 내비게이션 시각 보조 기능 수정 데이터는, 선택적으로 액세스 권한에 따라서, 상기 착용자 식별자에 따라 규정되고; 및/또는
- 연관 단계는 착용자에 의해 수행되고; 및/또는
- 상기 방법은, 지리적 위치 비교 단계 이전에, 내비게이션 시각 보조 기능 수정과 연관된 저장된 지리적 위치가 원격 엔티티로부터 수신되어 저장되는 수신 단계를 추가로 포함하고; 및/또는
- 예비 단계는,
- 적어도 하나의 이미지가 선택되는 이미지 선택 단계,
- 이미지 처리 중 적어도 하나가 착용자 시각화 파라미터에 따라 선택되는 이미지 처리 선택 단계, 및
- 선택된 이미지가 이미지 처리 선택 단계 동안에 선택된 이미지 처리에 따라 처리되는 이미지 처리 단계를 추가로 포함하며,
- 연관 동안에, 처리된 이미지는 지리적 위치와 연관된다.
본 발명은 또한, 헤드 장착형 시스루 전기-광학 장치에 관한 것으로서, 상기 장치는 이 장치의 내비게이션 시각 보조 기능을 제어하도록 구성된 제어 유닛, 및 본 발명에 따른 방법을 구현하기에 적합한 프로세서를 포함한다.
다른 양태에 따르면, 본 발명은 프로세서에 액세스 가능한 명령어의 하나 이상의 저장된 시퀀스를 포함하는 컴퓨터 프로그램 제품에 관한 것으로서, 이 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때 프로세서가 본 발명에 따른 방법의 단계를 수행하게 한다.
본 발명은, 또한 본 발명에 따른 컴퓨터 프로그램 제품의 명령어의 하나 이상의 시퀀스를 가지는 컴퓨터 판독 가능한 매체에 관한 것이다.
더욱이, 본 발명은 컴퓨터가 본 발명의 방법을 실행하게 하는 프로그램에 관한 것이다.
본 발명은, 또한, 컴퓨터가 본 발명의 방법을 실행하게 하는 프로그램이 기록된 컴퓨터 판독 가능한 저장 매체에 관한 것이다.
본 발명은, 더욱이, 명령어의 하나 이상의 시퀀스를 저장하고 본 발명에 따른 방법의 단계 중 적어도 하나를 수행하기에 적합한 프로세서를 포함하는 장치에 관한 것이다.
본 발명의 내용에 포함됨.
이제 본 발명의 비제한적인 실시예가 첨부 도면을 참조하여 설명될 것이다:
도 1은 본 발명의 실시예에 따른 방법의 단계를 나타내는 흐름도이고,
도 2는 본 발명의 실시예에 따른 방법을 구현할 수 있는 헤드 장착형 전기-광학 장치를 나타내고,
도 3은 본 발명의 로컬 구현예에 따른 시스루 헤드 장착형 장치 기능 적합화 단계의 서브 단계를 나타내는 흐름도이며, 및
도 4는 본 발명의 원격 구현예에 따른 시스루 헤드 장착형 장치 기능 적합화 단계의 서브 단계를 나타내는 흐름도이다.
정의
하기의 정의가 본 발명을 설명하기 위해 제공된다.
"서버"(SERV)는 본 기술 분야에 알려져 있다. 서버(SERV)는 연장된 네트워크(NETW)를 통해 복수의 단말기(TERM)에 연결될 수 있다. 네트워크(NETW)는 데이터 전송을 허용하고, RF(radio frequency) 통신(Wi-Fi, 블루투스, 3G, 4G 등)과 같은 무선 통신 및/또는 광 통신(Li-Fi, IR, 근거리 IR, 가시광 등) 및/또는 유선 통신(이더넷(Ethernet), 광섬유)에 의존할 수도 있다. 서버(SERV)는 하나 이상의 데이터베이스(DB)를 포함할 수 있고, 및/또는 하나 이상의 데이터베이스(DB)에 연결될 수 있다.
본 발명의 일 실시예, 하기에서의 "로컬(local)" 구현예에 따르면, 본 발명의 모든 단계는 헤드 장착형 장치에 위치된 적어도 하나의 프로세서에 의해 국부적으로 수행된다. 본 발명의 이와 같은 구현예에 대해, 헤드 장착형 장치는 적어도 메모리 및 프로세서를 포함하는 것이다.
본 발명의 일 실시예, 하기에서는 "원격(remote)" 구현예에 따르면, 본 발명의 단계의 적어도 일부는 적어도 하나의 원격 프로세서에 의해 수행된다. 원격 프로세서는 네트워크를 통해 헤드 장착형 장치에 링크된 원거리 서버(SERV)에 위치될 수 있다.
"헤드 장착형 장치(head-mounted device)"(HMD)는 본 기술 분야에 알려져 있다. 이와 같은 장치는 착용자의 두부 상에 또는 그 주위에 착용되는 것이다. 이 장치는 착용자에 의한 시각화를 위한 이미지를 표시하기 위한 광학 수단을 포함한다. HMD는 단안용(한쪽 눈용) 또는 양안용(양쪽 눈용)일 수도 있다. 본 발명의 HMD는, 안경, 스키 또는 운전 마스크와 같은 마스크, 고글 등을 포함하여, 다양한 형태를 취할 수 있다. HMD는 하나 이상의 렌즈를 포함할 수도 있다. 상기 렌즈는 처방 렌즈로부터 선택될 수도 있다. 바람직한 실시예에 있어서, HMD는 렌즈를 구비한 안경이다. 본 발명의 헤드 장착형 장치의 일 예가 도 2에 도시되어 있다.
"시각화 파라미터 데이터(visualization parameter data)"(VPD)는 착용자 안과 데이터(OD)(예를 들면, 처방 데이터(PD), 눈 감도 데이터(SD), 생체측정 데이터(BD)) 및/또는 착용자 눈 데이터(ED) 중 하나 이상을 포함한다. 상기 VPD는 HMD에 내장된 메모리 상에 저장될 수 있고, 및/또는 서버(SERV)를 통해 액세스 가능한 전용 데이터베이스(DB) 상에 저장될 수도 있다.
"착용자 안과 데이터(wearer ophthalmic data)" 또는 "안과 데이터"(OD)는 본 기술 분야에 알려져 있다. 착용자 안과 데이터는 착용자 처방 데이터(PD), 착용자 눈 감도 데이터(SD) 및 착용자 안과 생체측정 데이터(BD)를 포함한다.
"처방 데이터(prescription data)"(PD)는 본 기술 분야에 알려져 있다. 처방 데이터는, 각 눈의 비정시안(ametropia) 및/또는 노안(presbyopia)을 교정하기에 적합한 처방된 난시 값(CYLFV) 및/또는 처방된 난시 축(AXEFV) 및/또는 처방된 가입도수(A), 및/또는 처방된 원거리 시력 평균 굴절력(PFV)을 각 눈에 대해 나타내는, 착용자에 대해 얻어진 하나 이상의 데이터를 지칭한다. 평균 굴절력(PFV)은 처방된 구면도수 값(SPHFV)에 처방된 난시 값(CYLFV)의 절반 값을 합산하여 구해진다: PFV = SPHFV + CYLFV/2. 그 다음에, 근거리 시력(근시)에 대한 각 눈의 평균 굴절력은 동일한 눈에 대해 처방된 원거리 시력 평균 굴절력(PFV)에 처방된 가입도수(A)를 합산하여 구해진다: PNV = PFV + A. 누진 렌즈(progressive lens)에 대한 처방의 경우에 있어서, 처방 데이터는 SPHFV, CYLFV 및 A에 대한 값을 각 눈에 대해 나타내는 착용자 데이터를 포함한다. 바람직한 실시예에 있어서, 착용자 처방 데이터(PD)는 난시 모듈(astigmatism module), 난시 축, 도수, 프리즘(prism) 및 가입도수(addition)로부터 선택된다.
"착용자 눈 감도 데이터(wearer eye sensitivity data)"(SD)는 본 기술 분야에 알려져 있다. 착용자 눈 감도 데이터는 (하나 이상의 파장 또는 스펙트럼 대역에 대한) 스펙트럼 감도; 밝기 감도, 예를 들어 실외 밝기 감도와 같은 일반적인 감도, 착용자 눈의 색상, 착용자의 광 및/또는 섬광(glare) 감도 또는 회복에 대한 데이터를 포함한다. 이와 같은 데이터는 착용자에 의한 이미지의 시각화를 위한 콘트라스트(contrast)를 최적화하는데 중요하다.
"착용자 안과 생체측정 데이터(wearer ophthalmic biometry data)" 또는 "생체측정 데이터"(BD)는 본 기술 분야에 알려져 있다. 생체측정 데이터는 착용자의 형태에 관한 데이터를 포함하고, 전형적으로 단안 동공 거리, 동공 간 거리, 눈의 축방향 거리, 눈의 회전 중심의 위치 등의 하나 이상을 포함한다.
"착용자 눈 데이터(wearer eye data)"는 본 기술 분야에 알려져 있다. 눈 데이터는 사용자의 암순응(dark adaptation), 사용자의 색각(color vision), 시야, 양안시(binocular vision), 착용자의 도약 안구 운동(saccadic eye movement), 주시 안정성(fixation stability), 착용자의 시각 상지 협응(visuomanual coordination), 착용자의 "머리/눈" 운동 협응, 주어진 원거리 시력 등에서의 착용자의 양쪽 눈의 시선 방향, 동공 확장, 눈꺼풀 위치와 같은, 헤드 장착형 장치의 원하는 세팅에 따라 달라지는 안과 파라미터에 직접적으로 관련되지 않는 파라미터를 포함한다. 또한, 눈 데이터는 시각적 질병 및/또는 암점(visual scotoma)의 특성을 포함할 수도 있다.
"착용자 데이터베이스(wearer database)"(WEAR DB)는 착용자 시각화 파라미터 데이터(VPD)를 저장 및 검색하기에 적합한 메모리를 포함하는 데이터베이스이다. 데이터베이스 및 메모리는 본 기술 분야에 알려져 있다. 시각화 파라미터 데이터의 검색은 시각화 파라미터 식별자(VP ID)와 같은 전용 포인터(pointer)의 사용을 통해 달성될 수 있다. 예를 들면, 착용자 식별자(WEAR ID)는 시각화 파라미터 식별자(VP ID)로서 역할을 할 수 있다. 각각의 착용자 식별자(WEAR ID 1, 2, ... n)는 착용자의 우측 눈(RE) 및 좌측 눈(LE) 각각에 대한, 여기서는 도수(P), 난시(ASTI), 가입도수(ADD) 등으로 예시된 다양한 처방 데이터(PD)의 검색을 허용한다.
발명의 상세한 설명
도 1에 도시된 본 발명의 일 실시예에 따르면, 시스루 헤드 장착형 장치의 착용자를 위한 시각 보조 안내 내비게이션 방법은,
- 착용자 시각화 파라미터 제공 단계 S1,
- 지리적 위치 결정 단계 S2,
- 지리적 위치 비교 단계, 및
- 시스루 헤드 장착형 장치 기능 적합화 단계 S3을 포함한다.
본 발명의 방법은 컴퓨터 수단에 의해 구현될 수도 있다.
착용자 시각화 파라미터 제공 단계 S1 동안에, 착용자의 시각적 프로파일과 관련된 적어도 하나의 착용자 시각화 파라미터 데이터(VPD)의 값이 제공된다.
본 발명의 관점에서, 착용자의 시각적 프로파일은 착용자와 관련된 파라미터의 세트로서 이해되어야 한다. 시각적 프로파일은 정적 및 동적 상황에서 착용자의 시력을 정의하는 파라미터를 포함한다.
시각적 프로파일은 착용자 시각화 파라미터 데이터(VPD)를 포함하고, 착용자 눈 데이터(ED), 및/또는 착용자 처방 데이터(PD), 착용자 눈 감도 데이터(SD) 및 착용자 안과 생체측정 데이터(BD)를 포함하는 안과 데이터(OD)를 포함할 수도 있다.
착용자 시력 파라미터 제공 단계 S1은 상기 VPD 데이터를 전송하는 단계일 수 있다. 예를 들면, 헤드 장착형 장치상의 컨트롤러로의 전송일 수 있다. 무선 통신에 의한 또는 플래시-드라이브(USB 키)를 통한 입력에 의한 전송일 수 있다. 착용자 시력 파라미터 제공 단계 S1은 또한 헤드 장착형 장치에 대한 셋업을 수동으로 제공함으로써, 예를 들어 원하는 초점을 얻기 위해 또는 착용자의 시야 내로 이미지의 위치를 변화시키기 위해 시력 파라미터를 조정하도록 헤드 장착형 장치 상의 썸 휠(thumb wheel)을 회전시킴으로써, 수행될 수도 있다.
본 발명의 일 실시예에 따르면, 본 방법은 착용자의 시각적 프로파일에 포함된 VPD 데이터의 값이 결정되는 착용자 시각화 파라미터 결정 단계 S0을 포함할 수도 있다.
VPD 데이터는, 숙련 기술자에게 알려진 임의의 수단에 의해, 예를 들어 속도 센서를 사용함으로써, 또는 네트워크를 통해 데이터를 원격 엔티티(entity)와 교환함으로써 결정 및/또는 갱신될 수 있다.
착용자 파라미터의 값은 착용자의 시각적 프로파일을 원격 엔티티로부터 다운로드함으로써 결정될 수 있다. 전형적으로, 원격 엔티티는 착용자에 관한 데이터를 저장할 수 있다. 이와 같은 데이터 중에서, 일부 데이터는 착용자의 시각적 프로파일의 일부로서 식별될 수도 있다.
시각 테스트는, 착용자의 시각적 프로파일을 결정하기 위해, 또는 착용자의 시각적 프로파일을 완성 또는 조정하도록 착용자의 시각적 프로파일의 다운로드된 값에 부가하여 수행될 수 있다.
예를 들면, 착용자는 근거리 타깃을 응시하도록 요청받을 수 있고, 착용자의 양쪽 눈의 시선 방향이 결정될 수 있다. 이와 같은 시선 방향은 착용자의 시인 거리(viewing distance)를 결정하는데 사용될 수 있다.
일 실시예에 따르면, 착용자 시각화 파라미터 결정 단계 S0은 시각적 성능을 평가하는 대화형의 일련의 테스트 및 착용자의 주관적 선호도에 대한 평가에 의해 수행된다.
예를 들면, 예민도 테스트 시각화 문자(acuity test visualization letter), 테스트 폰트 테스트, 테스트 공간 캐릭터, 테스트 읽기 예민도, 테스트 디스플레이 모드, 섬광 테스트 또는 안구 운동 테스트가 구현될 수도 있다.
VPD 데이터는 읽기, 임의의 종류의 미디어 시청 등과 같은 일부의 활동 동안에 착용자의 행동 및 실제-세계 장면을 측정함으로써 규정될 수 있다.
본 발명의 다른 양태에 있어서, 단계 S1의 시각화 파라미터 데이터(VPD)는, 시각화 파라미터 식별자(VP ID)와 연관하여, 네트워크(NETW)를 통해 상기 헤드 장착형 장치(HMD)에 연결된 서버(SERV) 상의 착용자 데이터베이스(WEAR DB)에 저장된 메모리에 저장될 수 있다. 이와 같은 실시예는 시각화 파라미터 데이터(VPD)의 갱신을 허용한다는 점에서 유리하다. 예를 들면, 주어진 착용자에 대해, 처방 데이터는 시간 경과에 따라 진전될 수 있고, 및/또는 착용자가 장치(HMD)를 변경할 수도 있다. 본 발명의 방법에 있어서의 서버의 사용은 장치(HMD)에 의한 이미지 디스플레이를 정확하게 맞춤화하는 갱신된 특징을 제공한다.
시각화 파라미터 식별자(VP ID)는 개인용 식별자, 예를 들어 주어진 착용자를 식별하는 고유의 식별자일 수 있다. 또한, 시각화 파라미터 식별자(VP ID)는 예를 들어 동일한 처방 데이터(PD)를 가진 착용자의 그룹, 예컨대 동일한 근시 교정을 가진 착용자, 또는 동일한 모델의 장치(HMD)를 가진 착용자의 그룹을 식별하는 범용 식별자(그룹 식별자)일 수도 있다.
시각화 파라미터 식별자(VP ID)는 HMD 상에 위치된 QR 코드 또는 RFID 코드와 같은 코드일 수도 있다.
지리적 위치 결정 단계 S2 동안에, 착용자의 지리적 위치가 결정된다.
착용자의 지리적 위치의 결정은 GPS 시스템 또는 등가물을 사용하여 구현될 수 있다.
본 발명의 일 실시예에 따르면, 착용자의 지리적 위치는 GPS 시스템에 부가하여 또는 그 대신에 이미지 인식 시스템을 포함할 수도 있다. 이미지 인식 시스템은 착용자 주위의 시각적 장면의 이미지를 캡처하기에 적합한 카메라, 및 이미지 인식에 적합한 처리 수단을 적어도 포함한다.
예를 들면, 이미지 인식 시스템은 도시에 있는 특정 빌딩의 리스트와 같은 주어진 장소의 리스트를 인식하기에 적합할 수도 있다.
이미지 인식 시스템은 또한, 가로등(street light), 횡단보도, 도로 표지 등과 같은, 착용자가 마주칠 수 있는 반복적인 대상의 리스트를 인식하도록 적합화될 수도 있다.
지리적 위치 비교 단계 동안에, 지리적 위치 결정 단계 동안에 결정된 착용자의 지리적 위치는 경로를 따르는 저장된 지리적 위치와 비교된다.
내비게이션 시각 보조 기능 적합화 단계 S3 동안에, 헤드 장착형 장치의 내비게이션 시각 보조 기능은, 착용자의 안내를 보다 용이하게 하기 위해 경로를 따르는 저장된 지리적 위치 중 하나와 착용자의 지리적 위치의 매칭 시에, 착용자 시각화 파라미터 데이터(VPD)와 착용자의 지리적 위치에 기초하여 적합화된다.
본 발명의 관점에서, 내비게이션 시각 보조 기능은 사용된 경로의 착용자 시각적 경험을 향상시킴으로써 착용자의 안내를 보다 용이하게 하기에 유용한 HMD의 임의의 적합화 또는 변경과 관련된다.
본 명세서에서 하기에 설명된 바와 같이, 다양한 실시예에 있어서, 내비게이션 시각 보조 기능 적합화는 HMD의 능동 기능의 제어 및/또는 상이한 사전결정된 헤드 장착형 장치 기능들 사이의 전환 및/또는 실제 장면의 이미지 및/또는 컴퓨터-생성 이미지와 관련된 임의의 기능일 수도 있다.
본 발명의 일 실시예에 따르면, 착용자의 주어진 지리적 위치의 검출 시에, 헤드 장착형 장치의 내비게이션 시각 보조 기능은 착용자 시력 파라미터에 따라 적합화된다.
예를 들면, GPS 위치 추적(localization) 및 이미지 인식 시스템을 사용하여, 착용자가 가로등을 향하여 있다는 사실의 검출 시에, 헤드 장착형 장치의 기능은 착용자를 위한 가로등을 시각적으로 강조하도록 적합화된다.
본 발명의 일 실시예에 따르면, 본 방법은 적합화된 헤드 장착형 장치 기능이 사용자에게 제안되는 제안 단계를 포함할 수도 있다. 이와 같은 실시예에 따르면, 헤드 장착형 장치의 적합화된 헤드 장착형 장치 기능은 제안된 적합화된 헤드 장착형 장치 기능의 사용자로부터의 확인 시에 적합화된다.
일 실시예에 따르면, 헤드 장착형 장치 기능은 상이한 사전결정된 헤드 장착형 장치 기능들 사이에서 전환될 수도 있다.
본 발명의 일 실시예에 따르면, 헤드 장착형 장치는 능동 기능 및 이 능동 기능을 제어하도록 구성된 제어 유닛을 포함할 수 있다.
능동 기능은 내비게이션 시각 보조 기능 적합화 단계 동안에 적합화된다.
일 실시예에 있어서, 능동 기능은 전기 변색 타입(electro chromic type)을 갖는다.
전기 변색 장치에 의해 투과된 광의 양은 예를 들어 HMD의 전기 변색 장치를 가로지르는 전기장 또는 전압(electrical tension)의 세기를 제어함으로써 제어될 수 있다.
전기 변색 장치의 투과는 시각 보조 기능 적합화 단계 동안에 적합화될 수 있다.
예를 들면, 착용자의 광 감도에 기초하여, 2개의 광 투과 레벨이 결정될 수 있다. 착용자의 지리적 위치에 기초하여, 전기 변색 장치는 2개의 광 투과 레벨 사이를 전환하도록 제어될 수 있다. 전형적으로, 착용자가 빌딩 또는 터널에 진입하고 있는 것의 검출 시에는, 광 투과는 높은 레벨로 설정될 수 있는 반면, 착용자가 빌딩 또는 터널을 빠져나오고 있는 것의 검출 시에는, 광 투과는 낮은 레벨로 설정될 수 있다.
따라서, 사용자는 안전한 방식으로 경로를 따라 차분하게 이동할 수 있다.
착용자의 지리적 위치는 헤드 장착형 장치의 가장 적절한 기능을 결정하기 위해 다른 정보와 결합될 수도 있다.
본 발명의 일 실시예에 따르면, 본 방법은 내비게이션 시각 보조 기능 적합화 단계 S3 이전에 시각 환경 파라미터 제공 단계를 추가로 포함할 수도 있다.
시각 환경 파라미터 제공 단계 동안에, 착용자의 환경과 관련된 적어도 하나의 파라미터의 값이 제공된다.
예를 들면, 하루 중의 시간 또는 일 년 중의 시기가 고려될 수 있다. 직접적인 환경 데이터가 또한 고려될 수 있다. 예를 들면, 헤드 장착형 장치는 환경의 광도(luminosity)를 측정하기에 적합한 광 센서를 포함할 수도 있다.
헤드 장착형 장치의 기능, 전형적으로 광 투과는 상기 다른 정보를 고려하여 적합화될 수 있다.
이와 같은 환경 파라미터는 또한 안면 검출, 충돌 위험 검출, 배터리 레벨과 같은 헤드 장착형 장치 상태, 알림, 표시된 콘텐츠, 또는 착용자의 환경과 관련된 임의의 다른 파라미터에 대응할 수도 있다.
본 발명의 일 실시예에 따르면, 필터의 투과, 반사 및/또는 흡수 사양이 내비게이션 시각 보조 기능 단계 동안에 적합화된다.
본 발명의 일 실시예에 따르면, 헤드 장착형 장치는 광굴절 기능이 렌즈를 가로지르는 텐션(tension)을 제어함으로써 제어될 수 있는 프로그램 가능 렌즈를 포함할 수도 있다.
프로그램 가능 렌즈의 광굴절 기능은 착용자의 시각 환경의 요소를 강조하도록 적합화될 수 있다. 전형적으로, 착용자가 가로등을 향하여 있는 것의 검출 시에, 프로그램 가능 렌즈의 광굴절 기능은 착용자에게 가로등의 선명한 시력을 제공하도록 적합화될 수도 있다.
본 발명의 일 실시예에 따르면, 헤드 장착형 장치는 도 2에 도시된 헤드 장착형 디스플레이 장치이다.
이와 같은 예에 있어서, 프레임은 통상의 안경 프레임과 유사하고, 유사한 편안함 레벨로 착용될 수 있다. 그러나 헬멧, 스트랩(strap) 또는 다른 수단에 의해 사용자 머리에 장착되는 안면 실드(face shield)와 같은 다른 구현예가 가능하다. 프레임은 프레임 전방부(102) 및 안경다리(temple)(104 및 105)를 포함한다. 프레임 전방부는 사용자의 좌측 눈을 위한 시스루 렌즈(101) 및 사용자의 우측 눈을 위한 시스루 렌즈(103)를 유지한다. 좌측 및 우측 배향은 사용자의 시각에서 배향이다. 좌측 시스루 렌즈(101)는 좌측 눈에 의해 보여지는 실제 장면으로부터의 광과 증강 현실 이미지를 혼합하는 빔 스플리터와 같은 광 투과성 광학 구성요소(122)를 포함한다.
우측 시스루 렌즈(103)는 우측 눈에 의해 보여지는 실제 장면으로부터의 광과 증강 현실 이미지를 혼합하는 빔 스플리터와 같은 광학 구성요소(120)를 포함한다.
우측 증강 현실 이미터(emitter)(116)는 아암(114)을 거쳐서 프레임에 장착되고, 좌측 증강 현실 이미터(108)는 아암(110)을 거쳐서 프레임에 장착된다.
헤드 장착형 장치는 착용자와 마주하는 실제 장면에 대한 이미지를 포착하기에 적합한 씬 카메라(scene camera)(112)를 포함한다.
전원(130), 예를 들어 배터리는 헤드 장착형 장치의 상이한 요소에 전력을 제공한다.
적절한 전기 접속이 예를 들어 프레임 내의 전도성 경로를 통해 이루어질 수 있다.
도 2에 도시된 바와 같은 헤드 장착형 장치를 사용한 본 발명의 로컬 구현예의 예가 도 3에 도시되어 있다.
이와 같은 실시예에 따르면, 내비게이션 시각 보조 기능 적합화 단계는,
- 이미지 획득 단계 S31,
- 이미지 처리 선택 단계 S33,
- 이미지 처리 단계 S34, 및
- 디스플레이 단계 S35를 추가로 포함할 수 있다.
착용자가 마주하는 실제 장면의 적어도 하나의 이미지는 이미지 획득 단계 S31 동안에 씬 카메라에 의해 획득된다.
본 발명의 로컬 구현예에 따르면, 씬 카메라에 의해 획득된 이미지는 헤드 장착형 장치 내에 포함된 메모리에 저장된다.
지리적 위치 비교 단계 동안에, 예를 들어 헤드 장착형 장치 내에 위치된 GPS 칩에 의해 결정된 GPS 좌표를 사용하여 지리적 위치 결정 단계 동안에 결정된 착용자의 지리적 위치는 경로를 따르는 저장된 지리적 위치와 비교된다.
저장된 지리적 위치는 적어도 하나의 이미지 처리와 연관하여 메모리에 저장된다. 지리적 위치 및 관련 이미지 처리는 헤드 장착형 장치 내에 포함된 메모리에 국부적으로 저장된 데이터베이스로서 열거될 수 있다.
본 발명의 일 실시예에 따르면, 본 방법은 이미지 요소 식별 단계 S321을 추가로 포함할 수도 있다.
이미지 요소 식별 단계 S321 동안에, 이미지 획득 단계 S31 동안에 획득된 이미지는 사전지정된 요소 리스트에 열거된 적어도 하나의 사전지정된 요소를 식별하도록 분석된다. 사전지정된 요소 리스트의 사전지정된 요소 각각은 적어도 하나의 이미지 처리와 연관된다.
이미지의 분석은 식별된 요소를 사전저장된 요소와 비교하는 요소의 식별 시에 그리고 적절한 알고리즘을 사용하여 이미지 내의 요소를 식별할 때에 이루질 수 있다.
유리하게는, 이미지 요소 식별 단계는 식별된 요소에 기초한 보다 특이하고 적합한 이미지 처리를 제공할 수 있게 한다. 이미지 요소 식별 단계는 또한 착용자의 지리적 위치를 제공하거나 적어도 착용자의 지리적 위치의 정확도를 증대시키는데 사용될 수도 있다.
이미지 처리 선택 단계 S33 동안에, 착용자의 지리적 위치를 매칭하는 저장된 지리적 위치와 연관된 이미지 처리 중 적어도 하나가 선택된다.
이미지 처리는,
- 이미지의 확대, 및/또는
- 이미지의 재맵핑(remapping), 및/또는
- 색상의 축소, 및/또는
- 색상의 확대, 및/또는
- 색상의 재맵핑, 및/또는
- 이미지 강도 증강, 및/또는
- 콘트라스트 증강, 및/또는
- 밝기 증강, 및/또는
- 시야 밝기 조정, 및/또는
- 이미지의 축소, 및/또는
- 윤곽 증강, 및/또는
- 이미지의 이진화(binarization)로 이루어진 리스트에서 선택될 수 있다.
이미지 처리는 또한 (예를 들면, 장치(HMD)의 프레임과 관련하여) 착용자의 시야에서의 이미지의 디스플레이의 위치(장소) 및/또는 시각화될 이미지의 초점 평면의 위치를 포함할 수도 있다.
예를 들면, 이미지 처리는 지리적 위치 결정 단계 동안에 결정된 지리적 위치와 저장된 지리적 위치들 중 하나의 매칭 시에 선택된다.
전형적으로, 데이터베이스는 도로 공사(road work)에 대응하는 저장된 지리적 위치를 포함할 수도 있다. 지리적 위치는, 착용자의 안과적 결함에 기초하여, 도로 공사의 표지를 강조할 수 있는 상이한 이미지 처리와 연관될 수도 있다.
예를 들면, 데이터베이스는 위험 구역 경고에 대응하는 저장된 지리적 위치를 포함할 수도 있다.
예를 들면, 가로명 표지판(street name sign)을 부각시키기 위해서, 이미지 처리는 콘트라스트 증강과 조합된 이미지 확대일 수도 있다.
기차역 표지판을 부각시키기 위해서, 이미지 처리는 밝기 증강과 조합된 이미지 확대일 수도 있다.
디지털 스크린 상에 표시된 정보를 부각시키기 위해서, 이미지 처리는 이미지 이진화와 조합된 이미지 확대일 수도 있다.
예를 들면, 주어진 처방 데이터(PD)를 갖는 주어진 근시 착용자에 대해, 본 발명에 따라 표시된 이미지는 착용자의 비정시안/노안에 맞춤화될 수 있고, 상기 착용자에게는 완전히 선명하지만, 상이한 처방 데이터를 갖는 다른 착용자에게는 선명하지 않다.
벽, 예를 들어 도시철도의 지도 상에 표시된 정보를 부각시키기 위해서, HMD의 프로세서는 착용자에게 적합화된 수정된 이미지 데이터(VPD)를 제공하도록 계산 단계 또는 처리 단계를 수행한다.
유리하게는, 본 발명에 따른 방법은 용이하고 안전한 방식으로 경로를 따라 차분하게 이동시키는 신뢰성있는 보안 수단을 제공한다.
복수의 이미지 처리는 지리적 위치와 연관될 수 있다. 가장 적절한 이미지 처리의 선택 또는 이미지 처리의 조합은 적어도 착용자 시력 파라미터에 기초한다.
이미지 요소 식별 단계를 포함하는 본 발명의 실시예에 따르면, 가장 적절한 이미지 처리의 선택은 추가로 이미지에서 식별된 요소에 기초할 수도 있다.
유리하게는, 이미지 처리의 타당성(relevancy)은 획득된 이미지에서 증강될 요소를 식별함으로써 크게 증대된다.
가장 적절한 이미지 처리의 선택은 추가로 시각 환경 파라미터 결정 단계 동안에 결정된 환경 파라미터에 기초할 수도 있다. 관심이 있을 수 있는 환경 파라미터 중에서, 이미 언급된 바와 같은 하루 중의 시기(낮/밤), 하루 중의 시간 및/또는 날씨가 고려될 수도 있다.
실제로, 환경 파라미터에 따라서, 적용될 이미지 처리가 상이할 수 있으며, 심지어 부각될 정보의 타입이 변할 수도 있다.
전형적으로, 특정 도로 표지는 우천 시에 부각될 필요가 있을 수 있는 반면, 건조 상태에서는 상기 도로 표지판, 예를 들어 미끄러운 도로 표지판이 관심이 없으며, 따라서 본 발명의 방법에 의해 부각될 필요가 없다.
환경 파라미터는 숙련 기술자에게 알려진 임의의 수단에 의해, 예를 들어 네트워크를 통해 데이터를 원격 엔티티와 교환하는 것에 의해 또는 센서를 사용하는 것에 의해 결정될 수 있다. 환경 파라미터는 또한 헤드 장착형 장치를 구비한 통신 수단을 사용하는 착용자에 의해 제공될 수도 있다.
가장 적절한 이미지 처리의 선택은 추가로 착용자 활동 파라미터 결정 단계 동안에 결정된 착용자 활동 파라미터에 기초할 수도 있다. 관심이 있을 수 있는 착용자 활동 파라미터 중에서, 걷기, 운전, 사이클링 등의 활동이 고려될 수도 있다.
실제로, 착용자 활동에 따라서, 적용될 이미지 처리가 상이할 수 있으며, 심지어 부각될 정보의 타입이 변할 수도 있다.
전형적으로, 착용자가 걷고 있을 때에는, 보행자 신호등(pedestrian light)이 특히 관심이 있는 반면, 착용자가 운전 중일 때에는, 도로 신호등(road light)이 특히 관심이 있다.
이미지 처리 단계 S34 동안에는, 이미지 획득 단계 S31 동안에 획득된 착용자의 시각 환경의 이미지가 선택된 이미지 처리에 따라 처리된다.
상기 단계 S34는 단일(한 번) 계산을 포함할 수 있거나, 예를 들어 이미지의 동적 시각화를 위한 '동적', 연속 또는 실시간 계산을 포함할 수도 있다. 본 발명의 로컬 구현예에 따르면, 이미지는 헤드 장착형 장치 내에 위치된 프로세서를 사용하여 처리된다.
착용자의 시각 환경의 처리된 이미지는 디스플레이 단계 동안에 착용자에게 표시된다. 처리된 이미지는 시스루 헤드 장착형 디스플레이 장치를 사용하여 표시된다.
본 발명의 원격 구현예가 도 4에 도시되어 있다.
이와 같은 실시예에 따르면, 내비게이션 시각 보조 기능 적합화 단계는,
- 이미지 획득 단계 S31,
- 획득 이미지 송신 단계 S311,
- 이미지 처리 선택 단계 S33,
- 이미지 처리 단계 S34,
- 수신 단계 S341, 및
- 디스플레이 단계 S35를 포함한다.
이미지 획득 단계 S31은 본 발명의 로컬 구현예에 대해 상세하게 설명된 것과 동등하다.
획득 이미지 송신 단계 S311 동안에, 이미지 획득 단계 S31 동안에 획득된 획득 이미지는 헤드 장착형 장치로부터 원격 엔티티, 예를 들면 원격 서버로 송신된다.
지리적 위치 결정 단계 동안에 획득된 지리적 위치는 지리적 위치 송신 단계 S21 동안에 원격 엔티티로 송신된다.
지리적 위치 비교 단계 S32는, 원격 서버측에 구현된다는 점을 제외하고는, 본 발명의 로컬 구현예에 대해 상세하게 설명된 것과 동등하다. 이미지 처리와 연관된 저장된 지리적 위치는, 예를 들어 데이터베이스로서, 원격 서버의 메모리에 저장된다.
본 방법은 로컬 구현예에서와 같이 이미지 요소 식별 단계 S321을 추가로 포함할 수도 있다. 이미지 요소 식별 단계 S321은 원격 서버측에 위치된 프로세서에 의해 수행된다.
이미지 처리 선택 단계 S33 및 이미지 처리 단계 S34는, 원격 서버측에 구현된다는 점을 제외하고는, 본 발명의 로컬 구현예에 대해 상세하게 설명된 것과 동등하다.
수신 단계 S341 동안에, 처리된 이미지는 헤드 장착형 디스플레이 장치에 의해 수신된다.
로컬 구현 실시예에서와 같이, 수신된 처리 이미지는 디스플레이 단계 S35 동안에 착용자에게 표시된다.
본 발명은 또한 처리된 이미지의 디스플레이에 적합한 데이터를 검색하기 위한 방법을 제공한다. 데이터는 특정 위치에 정보, 영상 등을 "태그(tag)" 또는 "플래그(flag)" 표시하기 위해 특정 위치와 결부될 수 있다. 이와 같은 위치가 고정된 GPS 좌표를 가질 필요는 없다.
이와 같은 실시예에 있어서, 수신 단계는 상기 처리된 이미지 데이터를 통신 단말기(TERM)로부터 헤드 장착형 장치(HMD)로 전송하는 단계일 수도 있다. 전송은 착용자의 관점에서 '푸시형(push)' 또는 '풀형(pull)'일 수 있고, 즉 착용자로부터의 어떠한 명령과도 무관하거나, 또는 착용자의 능동 명령에 의해 개시될 수 있다.
이와 같은 실시예에 따르면, 처리된 이미지는 상기 단말기(TERM) 상의 메모리에 저장되거나, 네트워크(NETW)를 통해 단말기(TERM)에 연결된 데이터베이스(DB)에 저장될 수도 있다. 데이터베이스(DB)는 데이터의 세트를 포함할 수 있으며, 데이터의 각 세트는 주어진 콘텐츠(문자, 이미지 등)에 대응한다.
대안적인 원격 실시예에 따르면, 획득된 이미지의 처리는 헤드 장착형 장치 내에 위치된 프로세서에 의해 국부적으로 구현될 수도 있다.
유리하게는, 이와 같은 실시예에 따르면, 이미지가 헤드 장착형 장치와 원격 서버 사이에서 전송되지 않으므로, 대역폭의 요구가 저감된다.
다른 실시예에 따르면, 실제 장면의 이미지 획득 단계는 데이터베이스 또는 메모리에 저장된 이미지가 이미지 처리 선택 단계 후에 처리되도록 검색되는 이미지 검색 단계에 의해 대체될 수도 있다.
저장된 이미지가 저장 전에 이미 사전처리되면, 처리 단계 및 이미지 처리 선택 단계는 제거될 수 있다.
그러므로, 저장된 지리적 위치는 메모리 내의 적어도 하나의 이미지 및 이미지 처리, 및/또는 적어도 하나의 사전처리된 이미지와 연관하여 저장된다.
이미지는 컴퓨터-생성 이미지, 또는 착용자 또는 다운로드에 의해 사전에 획득된 실제 장면의 이미지일 수 있다.
상기 데이터는 HMD의 메모리 및/또는 서버를 통해 액세스 가능한 데이터베이스에 저장될 수 있다.
실시간 정보를 착용자에게 제공하기 위해서, 바람직하게는, 본 발명의 방법의 단계는 적어도 15 ㎐, 바람직하게는 적어도 20 ㎐, 가장 바람직하게는 적어도 24 ㎐의 주파수로 반복된다.
처리된 이미지에 부가하여, 본 방법은 착용자의 지리적 위치에 기초하여 착용자의 시각 환경의 처리된 이미지에 부가하여 상보적인 시각 정보를 표시하는 단계를 포함할 수 있다.
전형적으로, 본 방법은 교통 정보, 쇼핑 정보, 방위 정보 또는 착용자와 관련된 임의의 다른 타입의 정보를 표시할 수도 있다.
본 발명의 일 실시예에 따르면, 본 방법은 지리적 위치 결정 단계 동안에 결정된 지리적 위치에 기초하여 청각 표시를 착용자에게 제공하는 단계를 추가로 포함할 수도 있다.
일 실시예에 따르면, 본 발명은 또한 처리된 이미지(태그/콘텐츠)를 생성하기 위한 방법을 제공한다. 그리고, 상기 처리된 이미지는 이후에 검색 및 표시될 수 있다. 처리된 이미지는 또한 주어진 위치와 연관될 수도 있으며, 그에 따라 본 발명은 처리된 이미지를 태그 표시(tagging)하기 위한 방법을 제공한다.
이와 같은 실시예에 있어서, 본 방법은 선택적으로, (i) 헤드 장착형 처리 이미지 표시 장치(HMD)를 구비한 착용자의 움직임을 검출하는 단계, 및 (ii) 단계 (i)의 움직임의 인식의 함수로서, 데이터를 획득하는 단계를 포함할 수도 있다. 단계 (i)의 움직임은 명령에 대한 제어 신호를 생성하기에 적합한 임의의 움직임일 수 있다.
데이터를 획득하는 단계 (ii)는, 메뉴로부터 옵션을 선택하는 단계, 가상 키보드 상의 적어도 하나의 키를 누르는 단계, 가상 노트 패드 상에 글을 쓰는 단계, 음성 명령에 의해 지시를 내리는 단계, 디지털 영상을 촬영하는 단계, 또는 디지털 비디오를 녹화하는 단계로부터 선택된 하나 이상의 단계를 포함할 수도 있다. 그에 따라, 단계 (ii)의 데이터는 문자, 영상, 그 조합 등에 대한 데이터일 수도 있다. 따라서, 본 발명은 콘텐츠를 갖는 컴퓨터 생성된 처리 이미지 태그인 가상 포스트(virtual post)를 제공할 수도 있다. 단계 (ii)는 또한, 디지털 문자로 인식 및 변환될 수 있는, 예를 들어 가상 클릭(가상 버튼 'Like!'의 선택과 같이 사전지정된 메뉴 또는 사전지정된 아이콘으로부터의 선택) 또는 가상 글쓰기(handwriting)에 의해, 가상으로 주석을 다는 단계일 수도 있다.
또한, 통신 단말기는 네트워크를 통해 서버에 연결될 수 있거나 연결되지 않을 수도 있다. 본 발명의 방법에 있어서, 단계 (ii)는 서버에의 연결 없이 수행될 수도 있다. 대안적으로, 상기 적어도 하나의 통신 단말기(TERM)는 네트워크(NETW)를 통해 통신 서버(SERV)에 연결될 수도 있으며, 처리된 이미지는 위치와 연관하여 통신 데이터베이스(DB)에 저장될 수 있다. 주어진 위치와 전송된 데이터를 연관짓는 것은 태그를 다는 옵션, 즉 처리된 이미지(콘텐츠)를 특정 위치와 연관짓는 옵션을 가능하게 한다. 예를 들면, 레스토랑의 고객 리뷰는 상기 레스토랑 근처에 위치된 단말기 상에서 이용가능하게 될 수도 있다. 데이터와 연관된 위치는 착용자의 위치일 수 있거나 그렇지 않을 수도 있으며: 이와 같은 위치는 착용자가 단말기 근처에 있을 때 착용자의 위치일 수 있지만, 착용자는, 예를 들어 다른 단말기를 사용하여 네트워크를 통해 서버에 데이터를 제공함으로써, 착용자가 관심이 있는 위치에 더 이상 없을 때 위치와 데이터 사이를 연관짓는 것이 또한 가능하다.
본 발명은 또한 착용자 프로파일 및 액세스 권한을 규정하기 위한 옵션을 제공한다. 착용자 프로파일의 규정은 주어진 착용자와 관련된 선택된 정보를 제공하는데 유용하다. 예를 들면, 착용자가 스포츠에 관심이 있다면, 스포츠와 관련된 특정 콘텐츠가 시각화를 위한 착용자에게 이용가능하게 될 수도 있다. 액세스 권한은 처리된 이미지 데이터의 검색(태그 또는 콘텐츠를 시각화하기 위한 제한된 액세스), 및/또는 처리된 이미지의 생성(태그 또는 콘텐츠를 생성하기 위한 제한된 액세스)에 대해 규정될 수도 있다.
본 발명의 일 실시예에 따르면, 본 방법은 내비게이션 시각 보조 기능 적합화 단계 S3 이전에 적어도 경로를 데이터베이스에 사전등록하는 예비 단계를 추가로 포함할 수 있으며, 이와 같은 예비 단계는 하기의 서브 단계를 포함한다:
- 연관 단계, 및
- 저장 단계.
연관 단계 동안에, 경로의 중간 지점(way point)은 적어도 하나의 내비게이션 시각 보조 기능 수정 및 착용자 시각화 파라미터 데이터 및/또는 시각화 파라미터 식별자와 연관된다.
보다 특별하게는, 연관 단계 동안에, 착용자의 상이한 지리적 위치가 선택 및 결정되고, 적어도 하나의 내비게이션 시각 보조 기능 수정, 예를 들어 이미지 처리와 연관된다.
착용자의 지리적 위치는, GPS 칩을 사용하는 것과 같은 숙련 기술자에게 알려진 임의의 수단에 의해, 전술한 바와 같이 결정될 수도 있다.
내비게이션 시각 보조 기능 수정은 사전결정된 규칙에 기초하여 선택되거나 착용자의 선호도에 기초하여 착용자에 의해 선택되거나, 또는 양쪽의 조합일 수 있다. 예를 들면, 시스루 헤드 장착형 장치 기능 수정의 리스트가 착용자에게 제안될 수 있으며, 착용자는 가장 적절한 수정을 선택한다.
시스루 시각 보조 기능 수정과 경로의 중간 지점의 연관성은 착용자에 의해 맞춤화되고, 및/또는 원격 엔티티로부터 다운로드될 수 있다.
원격 엔티티는 다운로드하도록 일반 착용자 프로파일을 제공할 수 있으며, 여기서는 경로를 따른 중간 지점에 맞춤화된 시각 보조 기능 수정과 시각화 파라미터 식별자 간에 연관성이 제안된다.
또한, 맞춤화는 다른 착용자의 그룹과 공유될 수 있다. 예를 들면, 동일한 타입의 안과적 결함을 가진 착용자는 경로를 따른 지리적 위치와 이미지 처리의 연관성을 공유할 수 있다.
연관 단계는 국부적으로 수행될 수 있다. 지리적 위치 및 연관된 시스루 헤드 장착형 장치 기능 수정은 헤드 장착형 장치 내에 위치된 메모리에 저장된다.
연관 단계는 원격적으로 수행될 수 있다. 지리적 위치 및 연관된 시스루 헤드 장착형 장치 기능 수정은 원격 엔티티, 예를 들어 서버에 송신되어 저장된다.
전형적으로, 착용자는 도시 주변에서 길을 찾을 수 있으며, 특정 위치의 식별 시에 이미지 처리와 같은 시스루 헤드 장착형 장치 기능 수정과 그 위치를 연관시키도록 결정할 수 있다. 따라서, 상기 특정 위치를 다시 지나갈 때, 시스루 헤드 장착형 장치는 선택된 수정에 기초하여 시스루 헤드 장착형 장치 기능을 적합화할 것이다.
본 발명의 일 실시예에 따르면, 착용자에 의해 선택된 이미지 처리와 같은 시스루 헤드 장착형 장치 기능 수정은 자동적으로 지리적 위치와 연관지어지고 기억된다.
그러므로, 착용자가 다른 여행 시에 동일한 위치를 통과하는 경우에, 이전에 선택된 시스루 헤드 장착형 장치 기능 수정이 자동적으로 적용되거나 적어도 착용자에게 제안될 수 있다.
시스루 헤드 장착형 장치 기능 수정은 더욱이 시각 환경 파라미터와 연관지어질 수도 있다. 그러므로, 유사한 환경 파라미터의 식별 시에, 착용자에 의해 선택된 시스루 헤드 장착형 장치 기능 수정이 착용자에게 제안될 수도 있다.
저장 단계 동안에, 지리적 위치 및 연관된 적어도 하나의 내비게이션 시각 보조 기능 수정은 착용자 시각 프로파일과 함께 데이터베이스(DB)에 저장된다.
하나의 실시예에 있어서, 이미지 데이터는 국부적으로 또는 서버 상의 이미지 데이터베이스에 저장된다.
또한, 특정 이미지에 대해 액세스 권한을 규정하는 것이 가능하다. 따라서, 이미지 데이터가 이미지 데이터베이스에 저장되는 경우에, 본 발명의 방법은, 상기 데이터베이스에, 착용자 식별자 및 상기 착용자와 이미지 데이터 사이의 연관성을, 선택적으로 액세스 권한에 따라서 사전등록하는 예비 단계를 포함할 수도 있다. 착용자 식별자는 시각화 파라미터 식별자(VP ID)와 동일하거나 상이할 수도 있다. 착용자 식별자는 장치(HMD) 또는 서버 상에 위치된 코드, 예를 들어 QR 코드 또는 RFID 코드일 수도 있다. 따라서, 이미지 데이터베이스와 관련하여 하나 이상의 레벨의 액세스 권한을 규정하는 것이 가능하다.
본 발명은 일반적인 발명 개념을 한정하지 않는 실시예의 도움으로 상기에서 설명되었다.
많은 다른 변형 및 변경은 상기의 예시적인 실시예를 참조할 때 당업자에게 떠오를 것이며, 이와 같은 예시적인 실시예는 단지 예시로서만 주어진 것이며, 첨부된 청구범위에 의해서만 결정되는 본 발명의 범위를 한정하도록 의도되지 않는다.
청구범위에 있어서, 단어 "포함하는(comprising)"은 다른 요소 또는 단계를 배제하지 않으며, 부정 관사("a" 또는 "an")는 복수를 배제하지 않는다. 상이한 특징이 서로 다른 종속 청구항에 기재되어 있다는 사실만으로, 이들 특징의 조합이 유리하게 사용될 수 없다는 것을 나타내는 것은 아니다. 청구범위에서의 임의의 참조 부호는 본 발명의 범위를 한정하는 것으로 이해되어서는 안 된다.

Claims (19)

  1. 시스루 헤드 장착형 장치의 착용자를 위한 내비게이션 방법에 있어서,
    - 착용자의 눈 상태와 관련된 적어도 하나의 착용자 시각화 파라미터가 제공되는 착용자 시각화 파라미터 제공 단계,
    - 경로를 따른 착용자의 지리적 위치가 결정되는 지리적 위치 결정 단계,
    - 상기 지리적 위치 결정 단계 동안에 결정된 착용자의 지리적 위치가 상기 경로를 따른 저장된 지리적 위치와 비교되는 지리적 위치 비교 단계, 및
    - 상기 저장된 지리적 위치 중 하나와 상기 착용자의 지리적 위치의 매칭 시에, 상기 착용자 시각화 파라미터 및 상기 착용자의 지리적 위치 모두에 기초하여 내비게이션 시각 보조 기능이 적합화되는 내비게이션 시각 보조 기능 적합화 단계를 포함하며,
    - 상기 내비게이션 시각 보조는 시스루 헤드 장착형 장치에 의해 제공되고,
    시각 보조 기능 적합화 단계 동안, 필터의 투과, 반사 및 흡수 사양 중 적어도 하나가 적합화되는, 내비게이션 방법.
  2. 제1항에 있어서,
    상기 헤드 장착형 장치는 디스플레이 장치를 포함하며, 상기 내비게이션 시각 보조 기능 적합화 단계는,
    - 상기 저장된 지리적 위치 중 하나와 상기 착용자의 지리적 위치의 매칭 시에, 상기 착용자의 지리적 위치와 매칭하는 상기 저장된 지리적 위치와 연관된 처리된 이미지 중 적어도 하나가 상기 착용자 시각화 파라미터에 따라 선택되는 처리된 이미지 선택 단계, 및
    - 상기 착용자의 시각 환경의 처리된 이미지가 시스루 헤드 장착형 디스플레이 장치에 의해 착용자에게 표시되는 디스플레이 단계를 추가로 포함하는, 내비게이션 방법.
  3. 제1항에 있어서,
    상기 헤드 장착형 장치는 디스플레이 장치, 및 상기 착용자의 시각 환경의 이미지를 획득하기에 적합한 카메라를 포함하며, 상기 내비게이션 시각 보조 기능 적합화 단계는,
    - 상기 착용자의 시각 환경의 적어도 하나의 이미지가 상기 카메라에 의해 획득되는 이미지 획득 단계,
    - 상기 저장된 지리적 위치 중 하나와 상기 착용자의 지리적 위치의 매칭 시에, 상기 착용자의 지리적 위치와 매칭하는 상기 저장된 지리적 위치와 연관된 이미지 처리 중 적어도 하나가 상기 착용자 시각화 파라미터에 따라 선택되는 이미지 처리 선택 단계,
    - 상기 이미지 획득 단계 동안에 획득된 시각 환경의 이미지가 이미지 처리 선택 단계 동안에 선택된 이미지 처리에 따라 처리되는 이미지 처리 단계, 및
    - 상기 시각 환경의 처리된 이미지가 시스루 헤드 장착형 디스플레이 장치에 의해 착용자에게 표시되는 디스플레이 단계를 추가로 포함하는, 내비게이션 방법.
  4. 제3항에 있어서,
    상기 내비게이션 시각 보조 기능 적합화 단계는,
    - 사전지정된 요소 리스트에 열거된 적어도 하나의 사전지정된 요소를 식별하기 위해 상기 착용자의 시각 환경의 이미지가 분석되는 이미지 요소 식별 단계로서, 각각의 사전지정된 요소가 적어도 하나의 이미지 처리와 연관지어지는, 이미지 요소 식별 단계를 추가로 포함하며,
    - 상기 이미지 처리 선택 단계 동안에, 상기 사전지정된 요소 리스트에 열거된 사전지정된 요소 중 하나에 대응하는 상기 착용자의 시각 환경의 이미지의 요소의 식별 시에, 상기 착용자의 시각 환경의 이미지에서 식별된 사전지정된 요소와 연관된 이미지 처리가 선택되는, 내비게이션 방법.
  5. 제3항에 있어서,
    - 적어도 하나의 시각 환경 파라미터가 결정되는 시각 환경 파라미터 결정 단계를 추가로 포함하며,
    - 상기 이미지 처리 선택 단계 동안에, 상기 이미지 처리는 상기 시각 환경 파라미터에 따라 선택되고, 및/또는 상기 처리된 이미지 선택 단계 동안에, 상기 처리된 이미지는 상기 시각 환경 파라미터에 따라 선택되는, 내비게이션 방법.
  6. 제3항에 있어서,
    상기 지리적 위치가 적어도 하나의 이미지 처리와 연관된 저장된 지리적 위치와 비교되도록 원격 엔티티에 송신되는 송신 단계, 및
    선택된 이미지 처리 및/또는 처리된 이미지가 원격 엔티티로부터 수신되는 수신 단계를 추가로 포함하는, 내비게이션 방법.
  7. 제3항에 있어서,
    상기 지리적 위치가 적어도 하나의 이미지 처리와 연관된 저장된 지리적 위치와 비교되도록 원격 엔티티에 송신되고, 상기 착용자의 시각 환경의 획득된 이미지가 상기 지리적 위치와 연관된 이미지 처리에 기초하여 처리되도록 원격 엔티티에 송신되는 송신 단계, 및
    처리된 이미지가 원격 엔티티로부터 수신되는 수신 단계를 추가로 포함하는, 내비게이션 방법.
  8. 제2항에 있어서,
    상기 착용자의 지리적 위치에 기초한 상기 시각 환경의 처리된 이미지에 기초하여 상보적인 시각 정보를 표시하는 단계를 추가로 포함하는, 내비게이션 방법.
  9. 제1항에 있어서,
    상기 헤드 장착형 디스플레이 장치는 능동 기능, 및 상기 능동 기능을 제어하도록 구성된 제어 유닛을 포함하며, 상기 능동 기능은 상기 내비게이션 시각 보조 기능 적합화 단계 동안에 적합화되는, 내비게이션 방법.
  10. 제1항에 있어서,
    착용자 식별자와 상기 착용자 시각화 파라미터 사이의 연관성을 데이터베이스에 사전등록하는 단계를 추가로 포함하는, 내비게이션 방법.
  11. 제10항에 있어서,
    상기 착용자 시각화 파라미터 중 적어도 하나는, 상기 착용자 식별자와 연관하여, 네트워크를 통해 상기 헤드 장착형 장치에 연결된 서버 상의 착용자 데이터베이스에 저장되는, 내비게이션 방법.
  12. 제1항에 있어서,
    적어도 경로를 데이터베이스에 사전등록하는 예비 단계를 추가로 포함하며, 상기 예비 단계는,
    - 상기 지리적 위치 결정 단계 동안에 결정된 경로를 따른 지리적 위치가 적어도 하나의 내비게이션 시각 보조 기능 수정과 연관지어지는 연관 단계, 및
    - 상기 지리적 위치 및 연관된 적어도 하나의 내비게이션 시각 보조 기능 수정이 저장되는 저장 단계와 같은 서브 단계를 포함하는, 내비게이션 방법.
  13. 제12항에 있어서,
    상기 예비 단계는,
    - 상기 착용자의 시각 환경의 적어도 하나의 이미지가 카메라에 의해 획득되는 이미지 획득 단계, 및
    - 이미지 처리 중 적어도 하나가 상기 착용자 시각화 파라미터에 따라 선택되는 이미지 처리 선택 단계,
    - 상기 이미지 획득 단계 동안에 획득된 상기 시각 환경의 이미지가 이미지 처리 선택 단계 동안에 선택된 이미지 처리에 따라 처리되는 이미지 처리 단계를 추가로 포함하며, 및
    - 상기 연관 단계 동안에, 처리된 이미지는 상기 지리적 위치와 연관지어지는, 내비게이션 방법.
  14. 제12항에 있어서,
    상기 예비 단계는,
    - 적어도 하나의 이미지가 선택되는 이미지 선택 단계,
    - 이미지 처리 중 적어도 하나가 상기 착용자 시각화 파라미터에 따라 선택되는 이미지 처리 선택 단계, 및
    - 선택된 이미지가 이미지 처리 선택 단계 동안에 선택된 이미지 처리에 따라 처리되는 이미지 처리 단계를 추가로 포함하며,
    - 상기 연관 단계 동안에, 처리된 이미지는 상기 지리적 위치와 연관되는, 내비게이션 방법.
  15. 제10항에 있어서,
    상기 내비게이션 시각 보조 기능 수정 데이터는, 선택적으로 액세스 권한에 따라서, 상기 착용자 식별자에 따라 규정되는, 내비게이션 방법.
  16. 제12항에 있어서,
    상기 연관 단계는 착용자에 의해 수행되는, 내비게이션 방법.
  17. 제1항에 있어서,
    상기 지리적 위치 비교 단계 이전에, 상기 내비게이션 시각 보조 기능 수정과 연관된 저장된 지리적 위치가 원격 엔티티로부터 수신되어 저장되는 수신 단계를 추가로 포함하는, 내비게이션 방법.
  18. 프로세서에 액세스 가능한 명령어의 하나 이상의 저장된 시퀀스를 포함하는 컴퓨터 판독 가능한 매체에 있어서,
    상기 프로세서에 의해 실행될 때 프로세서가 제1항 내지 제17항 중 어느 한 항의 단계를 수행하게 하는, 컴퓨터 판독 가능한 매체.
  19. 삭제
KR1020167004202A 2013-09-04 2014-09-03 시스루 헤드 장착형 장치에 기초한 내비게이션 방법 KR102263496B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306209 2013-09-04
EP13306209.1 2013-09-04
PCT/EP2014/068763 WO2015032833A1 (en) 2013-09-04 2014-09-03 Navigation method based on a see-through head-mounted device

Publications (2)

Publication Number Publication Date
KR20160048775A KR20160048775A (ko) 2016-05-04
KR102263496B1 true KR102263496B1 (ko) 2021-06-10

Family

ID=49209304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167004202A KR102263496B1 (ko) 2013-09-04 2014-09-03 시스루 헤드 장착형 장치에 기초한 내비게이션 방법

Country Status (8)

Country Link
US (1) US9976867B2 (ko)
EP (1) EP3042152B1 (ko)
JP (1) JP6600310B2 (ko)
KR (1) KR102263496B1 (ko)
CN (1) CN105518416B (ko)
BR (1) BR112016003445B1 (ko)
CA (1) CA2921104C (ko)
WO (1) WO2015032833A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
WO2014186370A1 (en) 2013-05-13 2014-11-20 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
CA2921104C (en) * 2013-09-04 2022-04-26 Amandine DEBIEUVRE Navigation method based on a see-through head-mounted device
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US20150325202A1 (en) * 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US9958682B1 (en) 2015-02-17 2018-05-01 Thalmic Labs Inc. Systems, devices, and methods for splitter optics in wearable heads-up displays
EP3259634A4 (en) 2015-02-17 2018-10-17 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
CN104850138B (zh) * 2015-04-22 2017-07-04 刘伟中 智能控制变焦训练设备
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10133075B2 (en) 2015-05-04 2018-11-20 Thalmic Labs Inc. Systems, devices, and methods for angle- and wavelength-multiplexed holographic optical elements
AU2016267275B2 (en) 2015-05-28 2021-07-01 Google Llc Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
CA2996721A1 (en) 2015-09-04 2017-03-09 Thalmic Labs Inc. Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses
US20170097753A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
CN105867617B (zh) * 2016-03-25 2018-12-25 京东方科技集团股份有限公司 增强现实设备、系统、图像处理方法及装置
CA3020631A1 (en) 2016-04-13 2017-10-19 Thalmic Labs Inc. Systems, devices, and methods for focusing laser projectors
US10496156B2 (en) * 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
WO2018022602A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
US10459221B2 (en) 2016-08-12 2019-10-29 North Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
CN106375448A (zh) * 2016-09-05 2017-02-01 腾讯科技（深圳）有限公司 图像处理方法和装置及系统
US10215987B2 (en) 2016-11-10 2019-02-26 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
CA3045192A1 (en) 2016-11-30 2018-06-07 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10365492B2 (en) 2016-12-23 2019-07-30 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10437074B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
US10372207B2 (en) * 2017-08-16 2019-08-06 Disney Enterprises, Inc. Adaptive VR/AR viewing based on a users eye condition profile
US10438404B2 (en) 2017-10-13 2019-10-08 Disney Enterprises, Inc. Ambient light characterization
CN112040858B (zh) 2017-10-19 2024-06-07 元平台技术有限公司 用于识别与神经肌肉源信号相关的生物结构的系统和方法
US20190121135A1 (en) 2017-10-23 2019-04-25 North Inc. Free space multiple laser diode modules
US10740938B2 (en) * 2017-12-04 2020-08-11 International Business Machines Corporation Cognitive situation-aware vision deficiency remediation
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
WO2020047429A1 (en) 2018-08-31 2020-03-05 Ctrl-Labs Corporation Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
EP3686767B1 (en) 2019-01-25 2024-05-22 Essilor International Method, device and system for identifying a device
US10621858B1 (en) 2019-02-06 2020-04-14 Toyota Research Institute, Inc. Systems and methods for improving situational awareness of a user
CN111426268B (zh) * 2020-04-20 2021-09-24 武汉大学中南医院 一种双目视觉相机匹配方法
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
KR102321470B1 (ko) * 2021-07-28 2021-11-03 주식회사 셀리코 전기변색층 기반의 시력 보조 장치 및 이를 포함하는 시력 보조 안경

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
JP2006171302A (ja) * 2004-12-15 2006-06-29 Konica Minolta Photo Imaging Inc 映像表示装置及び情報提供システム
JP2006217520A (ja) * 2005-02-07 2006-08-17 Konica Minolta Photo Imaging Inc 映像表示装置、及び眼鏡型映像表示装置
JP2008185609A (ja) * 2007-01-26 2008-08-14 Sony Corp 表示装置、表示方法
US20110221657A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Optical stabilization of displayed content with a variable lens

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE529087T1 (de) * 2006-08-15 2011-11-15 Koninkl Philips Electronics Nv Hilfssystem für sehbehinderte personen
DE102008042397A1 (de) 2008-09-26 2010-04-01 Robert Bosch Gmbh Navigationssystem mit kontaktanaloger Anzeige
KR101578721B1 (ko) * 2008-12-15 2015-12-21 엘지전자 주식회사 네비게이션 단말기 및 네비게이션 단말기의 경로안내방법
US8130262B2 (en) 2009-01-15 2012-03-06 International Business Machines Corporation Apparatus and method for enhancing field of vision of the visually impaired
US20140240313A1 (en) * 2009-03-19 2014-08-28 Real Time Companies Computer-aided system for 360° heads up display of safety/mission critical data
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
GB201103200D0 (en) * 2011-02-24 2011-04-13 Isis Innovation An optical device for the visually impaired
US9940901B2 (en) * 2012-09-21 2018-04-10 Nvidia Corporation See-through optical image processing
US20140128161A1 (en) * 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US9401048B2 (en) * 2013-03-15 2016-07-26 Qualcomm Incorporated Methods and apparatus for augmented reality target detection
CA2921104C (en) * 2013-09-04 2022-04-26 Amandine DEBIEUVRE Navigation method based on a see-through head-mounted device
US9798145B2 (en) * 2014-05-23 2017-10-24 Qualcomm Incorporated Method and apparatus for see-through near eye display
US9995933B2 (en) * 2014-06-24 2018-06-12 Microsoft Technology Licensing, Llc Display devices with transmittance compensation mask

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
JP2006171302A (ja) * 2004-12-15 2006-06-29 Konica Minolta Photo Imaging Inc 映像表示装置及び情報提供システム
JP2006217520A (ja) * 2005-02-07 2006-08-17 Konica Minolta Photo Imaging Inc 映像表示装置、及び眼鏡型映像表示装置
JP2008185609A (ja) * 2007-01-26 2008-08-14 Sony Corp 表示装置、表示方法
US20110221657A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Optical stabilization of displayed content with a variable lens

Also Published As

Publication number Publication date
US20160202081A1 (en) 2016-07-14
BR112016003445B1 (pt) 2022-10-25
JP2016532218A (ja) 2016-10-13
CN105518416B (zh) 2019-05-21
CA2921104A1 (en) 2015-03-12
EP3042152A1 (en) 2016-07-13
BR112016003445A2 (ko) 2017-08-01
WO2015032833A1 (en) 2015-03-12
CN105518416A (zh) 2016-04-20
JP6600310B2 (ja) 2019-10-30
EP3042152B1 (en) 2022-11-09
KR20160048775A (ko) 2016-05-04
BR112016003445A8 (pt) 2018-08-14
US9976867B2 (en) 2018-05-22
CA2921104C (en) 2022-04-26
US20170160093A9 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
KR102263496B1 (ko) 시스루 헤드 장착형 장치에 기초한 내비게이션 방법
US9898075B2 (en) Visual stabilization system for head-mounted displays
CN114758406B (zh) 用于使用神经网络的生物特征用户识别的设备、方法和系统
CN106471419B (zh) 管理信息显示
CN107533375B (zh) 场景图像分析模块
KR102486238B1 (ko) 프로그램 가능한 렌즈 장치 제어 방법
KR20160000457A (ko) 착용자에게 적응된 헤드 장착형 전자-광학 장치를 제어하는 방법
US11906737B2 (en) Methods and systems for controlling media content presentation on a smart glasses display
JP2015529856A (ja) 適応型眼用レンズシステムの光学的機能を適応化させる方法
US20230367127A1 (en) Methods and systems for controlling media content presentation on a smart glasses display
CN109716204B (zh) 用于对向光学系统使用者的图像显示进行管理的方法
CN107111366A (zh) 用于使感觉输出装置的感觉输出模式与使用者适配的方法
EP4242736A1 (en) System comprising an optical device and a controller
CN109151446A (zh) 控制方法和电子设备
US20240242442A1 (en) Supplementing user perception and experience with augmented reality (ar), artificial intelligence (ai), and machine-learning (ml) techniques utilizing an artificial intelligence (ai) agent
CA3207122A1 (en) Methods and systems for controlling media content presentation on a smart glasses display
CN117597622A (zh) 用于提供视力测量和视力校正的增强现实设备和方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)