KR101891837B1 - 증강현실 인터페이스를 이용하는 착용형 디스플레이 장치 - Google Patents

증강현실 인터페이스를 이용하는 착용형 디스플레이 장치 Download PDF

Info

Publication number
KR101891837B1
KR101891837B1 KR1020130152450A KR20130152450A KR101891837B1 KR 101891837 B1 KR101891837 B1 KR 101891837B1 KR 1020130152450 A KR1020130152450 A KR 1020130152450A KR 20130152450 A KR20130152450 A KR 20130152450A KR 101891837 B1 KR101891837 B1 KR 101891837B1
Authority
KR
South Korea
Prior art keywords
clock
image
unit
interface
information
Prior art date
Application number
KR1020130152450A
Other languages
English (en)
Other versions
KR20140116352A (ko
Inventor
박종일
서병국
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20140116352A publication Critical patent/KR20140116352A/ko
Application granted granted Critical
Publication of KR101891837B1 publication Critical patent/KR101891837B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강현실 인터페이스를 이용하는 착용형 디스플레이 장치가 개시된다. 개시된 장치는, 영상 정보를 획득하는 센서 유닛; 상기 획득한 영상 정보로부터 사용자가 착용한 시계를 인식하는 시계 인식부; 상기 인식된 시계를 기준으로 그래픽 인터페이스 영상을 생성하여 상기 획득한 영상에 표시하는 인터페이스 영상 생성부; 상기 그래픽 인터페이스 영상을 이용한 제어 명령을 인식하는 제어 명령 인식부; 및 상기 인식된 제어 명령을 실행하는 프로세서를 포함한다. 개시된 장치에 의하면, 다양한 인터페이스 명령을 지원할 수 있으며, 별도의 인터페이스 장치를 요구하지 않는 장점이 있다.

Description

증강현실 인터페이스를 이용하는 착용형 디스플레이 장치{Wearable Display Deice Using Augmented Reality}
본 발명은 착용형 디스플레이 장치에 관한 것이다.
대표적인 착용형 디스플레이 장치인 HMD(Head Mounted Display)는 비행기의 고도, 속도 등의 비행 정보를 조종사가 알 수 있게 하기 위해 탄생한 장치이다. 일반 상업용 제품은 1990년대에 개발되었으며, 1997년 이후로 상용화 제품이 나오면서 많은 주목을 받았었다.
HMD는 안경처럼 머리에 착용하여 전방의 가상 이미지의 대형 화면을 볼 수 있도록 한 장치로서 여기에 사용되는 디스플레이는 1인치 이하의 크기를 가지는 것이 일반적이며 고급 광학 기술이 적용되어 약 100배 확대에 가까운 화면을 볼 수 있다.
HMD와 같은 주변기기의 기술 개발 및 상용화로 웨어러블 컴퓨팅 산업의 성장도 기대되고 있다. 현재까지의 HMD는 주로 영화나 게임을 즐기기 위해 개발되었지만 최근에는 컴퓨터 시스템의 고성능화, 소형화화 LCD로 대표되는 디스플레이 장치 및 영상 통신 기술의 급속한 발전으로 웨어러블(Wearable) 모니터로서의 연구 개발이 이루어지고 있으며 상용화된 제품도 출시되었다.
HMD 시장은 과거 수 년 동안 상대적으로 높은 가격으로 인해 시장에서 많은 어려움을 겪었으나 웨어러블 컴퓨터 산업에 편승해 시장이 크게 성장할 것으로 기대된다. 웨어러블 HMD는 산업현장, 자동차, 항공기, 선박 등 대형기기의 정비 현장, 물류 창고 등은 물론 자동차 경주와 같은 스포츠 엔터테인먼트 분야로까지 확장될 것으로 기대된다.
특히, 프로세서 및 소프트웨어 기술의 발전은 컴퓨팅 장치의 소형화를 가능하게 하고 있으며, HMD는 단순히 영상을 디스플레이해주는 장치에 그치지 않고 스마트폰과 같은 개인용 컴퓨팅 장치로 발전될 것으로 예상되고 있다.
도 1은 컴퓨팅 장치로 동작 가능한 착용형 디스플레이 장치의 일례를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 착용형 디스플레이 장치는 이미지 표시 유닛(100), 연결 유닛(102), 인터페이스 유닛(104) 및 프로세서 유닛(106)을 포함하는 본체부(120) 및 프레임(110)을 포함할 수 있다.
프레임(110)은 착용형 디스플레이 장치의 메인 바디이며, 일례로 도 1에 도시된 바와 같이 안경과 유사한 구조를 가질 수 있다. 프레임은 사용자의 머리에 착용 가능한 구조를 가지고 있으며 프레임(110)에는 착용형 디스플레이 장치의 다른 구성 요소들이 결합된다.
이미지 표시 유닛(100)은 이미지를 표시하는 기능을 하며, 사용자의 눈 전방에 위치한다.
인터페이스 유닛(104) 및 프로세서 유닛(106)으로 이루어지는 본체부(120)는 프레임(110)에 결합되며, 일례로, 프레임(110)에서 사용자의 귀에 착용하기 위한 부분인 걸이부(110c)에 결합된다.
인터페이스 유닛(104)은 사용자가 제어 명령을 입력할 수 있는 인터페이스를 제공한다. 인터페이스 유닛(104)은 다수의 버튼을 포함할 수도 있으며, 커서 움직임을 위한 평면 형태의 터치 패드를 포함할 수도 있다. 사용자는 인터페이스 유닛(104)을 통해 필요한 제어 명령을 입력할 수 있으며 예를 들어, 동영상 실행, 정보 검색과 같은 명령의 입력이 가능하다.
프로세서 유닛(106)은 컴퓨팅 장치로 동작하기 위한 착용형 디스플레이 장치의 동작을 제어한다. 인터페이스 유닛(104)을 통해 입력되는 사용자의 제어 명령은 프로세서 유닛(106)에 제공되며 프로세서 유닛(106)은 사용자의 제어 명령을 처리한다.
도 1과 같은 종래의 착용형 디스플레이 장치는 프레임에 부착된 인터페이스를 이용하거나 착용형 디스플레이 장치와 통신하는 별도의 인터페이스 장치를 이용하여 사용자에 의해 제어되었다.
착용형 디스플레이 장치가 단순한 디스플레이 동작만을 제공할 경우 부착된 인터페이스 또는 별도의 인터페이스만으로 충분히 제어가 가능하였으나, 스마트폰과 같은 컴퓨팅 장치로 이용될 때에는 다양한 제어 명령이 필요하며, 이러한 다양한 제어 명령을 한정된 사이즈의 인터페이스만으로는 제공하기 어려운 문제점이 있었다.
본 발명은 다양한 인터페이스 명령을 지원할 수 있는 착용형 디스플레이 장치를 제공한다.
또한, 본 발명은 별도의 인터페이스 장치를 요구하지 않는 착용형 디스플레이 장치를 제공한다.
본 발명의 일 측면에 따르면, 영상 정보를 획득하는 센서 유닛; 상기 획득한 영상 정보로부터 사용자가 착용한 시계를 인식하는 시계 인식부; 상기 인식된 시계를 기준으로 그래픽 인터페이스 영상을 생성하여 상기 획득한 영상에 표시하는 인터페이스 영상 생성부; 상기 그래픽 인터페이스 영상을 이용한 제어 명령을 인식하는 제어 명령 인식부; 및 상기 인식된 제어 명령을 실행하는 프로세서를 포함하는 착용형 디스플레이 장치가 제공된다.
상기 시계 인식부는 미리 저장된 시계 형상 정보와 상기 획득한 영상에 포함된 객체들의 형상 정보를 이용하여 사용자가 착용한 시계를 인식한다.
상기 시계 인식부는 상기 사용자가 착용한 시계에 적용된 적외선 마커를 이용하여 상기 사용자가 착용한 시계를 인식한다.
상기 인터페이스 영상 생성부는 상기 인식된 시계를 기준으로 시계의 외곽 영역에 그래픽 인터페이스 영상을 생성한다.
상기 그래픽 인터페이스가 제공되는 영상으로부터 상기 인식된 시계에 미리 설정된 인터페이스 수단이 오버랩되는지 여부를 감지하는 인터페이스 수단 인식부를 더 포함한다.
상기 제어 명령 인식부는 상기 인식된 시계에 오버랩된 상태에서 이루어지는 상기 인터페이스 수단의 모션을 인식하고 상기 인식된 모션에 매칭되는 제어 명령을 판단한다.
상기 제어 명령 인식부는 상기 인터페이스 수단이 특정 방향으로 이동하는 동작을 감지하며, 상기 프로세서는 상기 감지된 이동 방향 및 이동 정도에 상응하여 상기 인터페이스 영상에 표시된 커서를 이동시킨다.
상기 인터페이스 영상에는 커서 및 다수의 제어 명령 선택을 위한 그래픽 객체들이 표시되며, 상기 제어 명령 인식부는 상기 커서에 오버랩된 그래픽 객체를 실행하기 위한 미리 설정된 제어 명령을 인식한다.
본 발명의 다른 측면에 따르면, 영상 정보를 획득하는 센서 유닛; 상기 획득한 영상 정보로부터 사용자가 착용한 시계를 인식하는 시계 인식부;및 상기 인식된 시계를 기준으로 상기 인식된 시계의 외곽 영역에 그래픽 인터페이스 영상을 생성하여 상기 디스플레이부에 표시하는 인터페이스 영상 생성부를 포함하는 착용형 디스플레이 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 영상 정보를 획득하는 단계(a); 상기 획득한 영상 정보로부터 사용자가 착용한 시계를 인식하는 단계(b); 상기 인식된 시계를 기준으로 상기 획득한 영상에 그래픽 인터페이스 영상을 표시하는 단계(c); 상기 그래픽 인터페이스 영상을 이용한 제어 명령을 인식하는 단계(d); 및 상기 인식된 제어 명령을 실행하는 단계(e)를 포함하는 착용형 디스플레이 장치 제어 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 영상 정보를 획득하는 단계(a); 상기 획득한 영상 정보로부터 사용자가 착용한 시계를 인식하는 단계(b); 상기 인식된 시계를 기준으로 상기 획득한 영상에 그래픽 인터페이스 영상을 표시하는 단계(c); 상기 그래픽 인터페이스 영상을 이용한 제어 명령을 인식하는 단계(d); 상기 단계 (d)에서 인식하는 사용자가 선택한 인터페이스 그래픽 객체 정보를 상기 시계에 전송하는 단계(e); 및 상기 인식된 제어 명령을 실행하는 단계(f)를 포함하는 착용형 디스플레이 장치 제어 방법이 제공된다.
본 발명의 일측면에 따르면, 다양한 인터페이스 명령을 지원할 수 있으며, 별도의 인터페이스 장치를 요구하지 않는 장점이 있다.
도 1은 컴퓨팅 장치로 동작 가능한 착용형 디스플레이 장치의 일례를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 착용형 디스플레이 장치의 일레를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 착용형 디스플레이 장치의 사용 상태를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 시계를 이용한 증강 현실 인터페이스의 일례를 도시한 도면.
도 5는 본 발명의 다른 실시예에 따른 시계를 이용한 증강 현실 인터페이스의 일례를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 시계를 이용한 증간 현실 인터페이스를 통해 이루어지는 제어 동작의 일례를 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 시계를 이용한 증강 현실 인터페이스를 통해 이루어지는 제어 동작의 또 다른 예를 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 착용형 디스플레이 장치의 모듈 구성을 도시한 블록도.
도 9는 본 발명의 일 실시예에 따른 시계 인식부의 모듈 구성을 도시한 블록도.
도 10은 본 발명의 다른 실시예에 따른 시계 인식부의 모듈 구성을 도시한 블록도.
도 11은 본 발명의 일 실시예에 따른 착용형 디스플레이 장치의 제어 방법을 도시한 순서도.
도 12는 본 발명의 또 다른 실시예에 따른 착용형 디스플레이 장치의 모듈 구성을 도시한 블록도.
도 13은 본 발명의 또 다른 실시예에 따른 착용형 디스플레이 장치의 인터페이스 영상 생성부에서 표시하는 인터페이스 영상을 도시한 도면.
도 14는 본 발명의 또 다른 실시예에 다른 착용형 디스플레이 장치와 상호작용하는 시계의 진동 장치의 배열 구조를 도시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
도 2는 본 발명의 일 실시예에 따른 착용형 디스플레이 장치의 일레를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 착용형 디스플레이 장치는 이미지 표시 유닛(200), 연결 유닛(202), 프로세서 유닛(204), 센서 유닛(206) 및 프레임(210)을 포함할 수 있다.
프레임(210)은 착용형 디스플레이 장치의 메인 바디이며, 일례로 도 2에 도시된 바와 같이 안경과 유사한 구조를 가질 수 있다. 프레임은 사용자의 머리에 착용 가능한 구조를 가지고 있으며 프레임(210)에는 착용형 디스플레이 장치의 다른 구성 요소들이 결합된다.
프레임(210)은 금속과 유전체를 포함하는 다양한 재질로 이루어질 수 있으나, 컴퓨팅 동작 및 RF 신호 수신에 영향을 주지 않도록 유전체 재질로 이루어지는 것이 바람직하다.
도 2에는 안경과 유사한 형태의 프레임이 도시되어 있으나, 프레임(210)은 사용자의 신체에 착용 가능한 어떠한 형태를 가져도 무방하다. 일례로, 프레임은 헬멧과 같은 형태를 가질 수도 있으며, 헤드폰과 같은 형태를 가질 수도 있다.
프레임이, 도 2에 도시된 바와 같이 안경과 유사한 형태를 가질 때, 프레임은 두 개의 렌즈 장착부(210a, 210b)를 구비한다. 안경 렌즈가 필요한 사용자는 안경 렌즈 장착부(210a, 210b)에 렌즈를 장착하여 사용할 수도 있다.
또한, 프레임(200)은 사용자의 귀에 프레임을 착용하기 위한 두 개의 걸이부(210c, 210d)를 포함한다.
프로세서 유닛(204)은 본 발명의 일 실시예에 따른 착용형 디스플레이 장치의 동작을 제어하는 기능을 한다. 프로세서 유닛(204)은 후술하는 본 발명의 인터페이스를 위한 제어 명령을 수신하고 해당 명령에 따른 절차를 수행한다.
이미지 표시 유닛(200)은 이미지를 표시하여 사용자에게 이미지 정보를 제공한다. 이미지 표시 유닛(200)은 사용자의 안구 전방에 설치된다. 이미지 표시 유닛(200)이 사용자의 안구 전방에 고정되도록 연결 부재(202)는 프로세서 유닛(204)과 이미지 표시 유닛(200)을 연결한다.
연결 부재(202)는 'L'자 형상을 가질 수 있으며 이러한 구조에 의해 프로세서 유닛(204)은 프레임(210)의 걸이부(210c)와 평행하게 결합되고, 이미지 표시 유닛(100)은 프레임(100)의 걸이부(210c, 210d)와 수직으로 배치될 수 있다.
연결 부재(202)에는 프로세서 유닛(204)으로부터 제공되는 이미지 관련 정보를 이미지 표시 유닛(200)에 제공하기 위한 다수의 케이블들이 내장될 수 있다.
이미지 표시 유닛(200)은 마이크로 디스플레이 형태의 1인치 정도의 크기를 가질 수 있으며 알려진 다양한 방식으로 이미지를 표시할 수 있다. 이미지 표시 유닛(200)은 이미지가 표시되지 않을 때 사용자의 시야를 방해하지 않도록 투명 재질로 이루어지는 것이 바람직하나 시야가 차단되는 이미지 표시 유닛이 사용될 수도 있다.
이미지 표시 유닛(200)에 이미지를 표시하기 위해 외부 광원을 사용할 수도 있으며 자체적으로 발광하는 방식이 이용될 수도 있다
자체적으로 발광하는 방식으로 일례로 OLED가 이용될 수 있다. OLED는 전자와 홀이 주입되고 이들이 여기 상태를 거쳐 다시 재결합하는 것에 의해 발광하며, 자체적으로 빛을 발산하기 때문에 별도의 외부 광원 없이도 이미지를 표시하는 것이 가능하다.
외부 광원을 이용하는 방식으로 투과형 디스플레이가 이용될 수도 있다. 대표적인 방식으로 TFT-LCD가 있으며, TFT-LCD는 형광 램프에서 나온 빛이 반사 및 분산 장치에 의해 액정 패널 쪽으로 입사되는 구조를 가진다. 액정 패널은 두 개의 유리판 사이에 비틀림 네마틱(TN) 액정이 채워져 있으며 빛이 입사된 쪽의 유리판 위에 TFT 및 ITO 화소와 액정 배향층이 있고 다른쪽의 유리판 위에는 컬러필터와 액정 배향층(폴리이미드)이 코팅된 구조를 가진다.
외부 광원을 이용하는 방식으로 반사형 디스플레이가 이용될 수도 있다. 반사형 디스플레이의 일례로 LCoS가 있으며, LCoS 방식은 반사형 디스플레이로서 광원으로부터 빛을 반사시켜 이미지를 표시하는 방식이다. 디스플레이 소자로는 실리콘 기판을 주로 사용하며 소형의 디스플레이 화면에 고해상도의 이미지 표시가 가능하다.
센서 유닛(206)은 사용자의 시선에 상응하는 영역의 영상 정보를 획득하는 기능을 하며, 센서 유닛(206)은 카메라를 포함할 수 있다. 사용자의 시선에 상응하는 영역의 영상 정보를 획득하기 위해 센서 유닛(206)은 안구 전방에 설치되는 것이 바람직하다. 예를 들어, 도 2에 도시된 바와 같이, 센서 유닛(206)은 연결 유닛(202)에 결합되어 사용자의 전방을 촬영할 수 있도록 설치된다.
사용자가 인터페이스 동작을 수행하는 모드에서, 이미지 표시 유닛(200)은 센서 유닛(206)에서 획득하는 실사 영상 정보를 표시한다. 이미지 표시 유닛(200)은 센서 유닛(206)이 획득하는 실사 영상에 증강 현실을 이용하여 그래픽 인터페이스를 인터페이스를 겹쳐서 표시한다. 예를 들어, 이미지 표시 유닛(200)은 전화 통화, 정보 검색, 어플리케이션 실행과 같은 다양한 제어 명령을 입력 하기 위한 그래픽 인터페이스를 이미지 표시 유닛(200)에 증강 현실의 형태로 표시하는 것이다.
증강 현실로 그래픽 인터페이스를 표시하기 위해 증강 현실 영상의 기준점으로 작용하는 마커가 필요하다. 증강 현실 영상은 현실에 존재하는 특정 마커를 기준으로 현실 세계에 겹쳐서 디스플레이에 표시되는 영상으로서, 본 발명에서는 그래픽 인터페이스가 마커를 기준으로 실사 영상에 겹쳐서 이미지 표시 유닛(200)에 표시된다.
본 발명에서는 손목에 착용하는 시계를 마커로 인식하여 시계를 기준으로 그래픽 인터페이스를 표시한다.
센서 유닛(206)은 손목에 착용하는 시계를 인식하기 위한 정보를 획득하는 기능을 한다. 시계는 다양한 방법으로 인식될 수 있다. 예를 들어, 센서 유닛(206)이 획득하는 영상에 포함된 객체들의 형상 정보를 분석하여 손목에 착용된 시계를 인식할 수 있을 것이다.
이와 달리, 손목 시계에 적외선 마커를 부착하여 손목 시계를 인식할 수도 있을 것이다. 적외선 마커가 별도로 부착될 경우 적외선 마커를 인식하기 위한 적외선 카메라가 센서 유닛(206)에 포함될 수 있을 것이다.
센서 유닛(206)의 적외선 카메라가 적외선 마커를 인식하게 되면 이를 기준으로 그래픽 인터페이스를 표시한다.
도 3은 본 발명의 일 실시예에 따른 착용형 디스플레이 장치의 사용 상태를 도시한 도면이다.
도 3을 참조하면, 사용자는 착용형 디스플레이 장치(300)를 머리에 착용하고 이미지 디스플레이 유닛(200)에서 제공하는 영상을 시청한다. 착용형 디스플레이 장치(300)의 제어가 필요할 때 사용자는 착용한 손목 시계가 착용형 디스플레이 장치의 센서 유닛(206)의 시야에 들어오도록 손목 시계(320)를 위치시킨다.
착용형 디스플레이 장치(300)의 센서 유닛(206)은 손목 시계를 포함하는 사용자 전방의 영상 정보를 획득하며, 착용형 디스플레이 장치(300)는 센서 유닛(206)에서 획득하는 영상 정보를 이용하여 사용자의 손목 시계(320)를 감지한다.
착용형 디스플레이 장치(300)는 감지된 손목 시계를 기준으로 인터페이스 영상을 표시한다.
센서 유닛(206)을 이용하여 손목 시계를 감지하는 동작(즉, 착용형 디스플레이 장치가 인터페이스 모드로 전환)이 활성화되도록, 착용형 디스플레이 장치는 인터페이스 활성화를 위한 별도의 버튼 또는 기타의 인터페이싱 수단을 구비할 수 있다.
즉, 사용자는 착용형 디스플레이 장치(300)를 제어하고자 할 때, 인터페이스 활성화를 위한 버튼을 먼저 누른 후 손목 시계를 센서 유닛(206)의 시야에 위치시키며, 감지된 손목 시계를 기준으로 제공되는 그래픽 인터페이스를 이용하여 착용형 디스플레이 장치를 제어하는 것이다.
또는 착용형 디스플레이 장치(300)는, 손목 시계가 센서 유닛(206)의 시야에 위치하고 손목 시계에 사용자의 손가락이 터치 또는 근접된 경우, 인터페이스 영상을 표시할 수 있다. 여기서, 손목 시계에 사용자의 손가락이 터치 또는 근접된 경우는 후술되는 도 6 및 도 7의 제어 동작과 대응될 수 있다. 즉, 착용형 디스플레이 장치(300)는 인식된 시계에 미리 설정된 인터페이스 수단이 오버랩된 경우 인터페이스 영상을 표시할 수 있다.
도 4는 본 발명의 일 실시예에 따른 시계를 이용한 증강 현실 인터페이스의 일례를 도시한 도면이다.
도 4를 참조하면, 시계가 감지되면 감지된 시계를 기준으로 시계의 외곽 영역에 박스 형태의 그래픽 인터페이스를 증강 현실 인터페이스로 표시할 수 있다. 박스 형태의 그래픽 인터페이스 내에는 다수의 그래픽 객체들이 표시된다.
즉, 본 발명의 일 실시예에 따른 증강 현실 인터페이스는 시계를 기준으로 제공하되 시계를 가리지 않도록 시계의 외곽 영역에 표시된다.
사용자는 표시된 그래픽 객체들 중 원하는 인터페이스 명령에 해당되는 그래픽 객체를 선택하여 필요한 제어 명령을 전달할 수 있으며, 그래픽 객체를 선택하는 방법은 후에 상세히 설명하기로 한다.
도 5는 본 발명의 다른 실시예에 따른 시계를 이용한 증강 현실 인터페이스의 일례를 도시한 도면이다.
도 5를 참조하면, 감지된 시계를 기준으로 시계 외곽을 둘러싸는 영역에 그래픽 인터페이스가 표시된다. 도 5에 도시된 바와 같이, 시계가 원형일 경우 시계보다 큰 동심원 영역 중 시계의 외곽 영역에 그래픽 인터페이스가 표시될 수 있다.
시계가 사각 형상일 경우 시계를 중심으로 시계보다 더 큰 사각형 박스의 영역 중 시계의 외곽 영역에 그래픽 인터페이스가 표시될 수 있을 것이다.
시계를 둘러싸는 형태의 그래픽 인터페이스 내에는 다수의 그래픽 객체들이 표시되며, 원하는 그래픽 객체를 선택하여 착용형 디스플레이 장치를 제어하는 것이 가능하다.
도 4 및 도 5에 도시된 방식 이외에도 그래픽 인터페이스는 시계를 중심으로 시계의 외곽 영역에 다양한 방식으로 제공될 수 있을 것이다.
도 6은 본 발명의 일 실시예에 따른 시계를 이용한 증간 현실 인터페이스를 통해 이루어지는 제어 동작의 일례를 도시한 도면이다.
*도 6을 참조하면, 시계를 기준으로 제공되는 그래픽 인터페이스에는 특정 그래픽 객체를 선택하기 위한 커서가 표시된다.
시계는 인터페이스 수단(예를 들어, 손가락 또는 터치펜)을 이용하여 표시된 커서(600)를 움직이기 위한 평면 패드로서 기능하게 된다.
센서 유닛(206)은 인터페이스 수단이 시계 위에 위치하고 있을 때 인터페이스 수단의 움직임을 감지한다. 센서 유닛(206)이 획득하는 영상에서 인터페이스 수단이 시계 위에 위치하고 있는 경우 착용형 디스플레이 장치는 해당 인터페이스 수단의 움직임을 감지하는 모드로 동작한다.
커서(600)는 감지되는 인터페이스 수단의 움직임에 상응하여 움직인다. 사용자가 인터넷 검색을 하고자 할 경우, 사용자는 인터페이스 수단을 움직여 커서를 인터넷 그래픽 객체상에 위치시킨다.
획득하는 영상에서 인터페이스 수단이 시계 위에 오버랩되면 되므로, 커서 이동을 위해 사용자가 인터페이스 수단을 시계에 접촉시킬 필요는 없다.
도 7은 본 발명의 일 실시예에 따른 시계를 이용한 증강 현실 인터페이스를 통해 이루어지는 제어 동작의 또 다른 예를 도시한 도면이다.
도 7은 도 6과 같이 선택하고자 하는 그래픽 객체에 커서를 이동시킨 후 커서와 오버랩되는 그래픽 객체를 선택하는 제어 동작을 도시한 도면이다.
도 7을 참조하면, 커서가 원하는 그래픽 객체 위로 이동된 경우, 사용자는 해당 그래픽 객체를 선택하는 동작을 수행할 필요가 있다. 이때, 사용자는 인터페이스 수단(손가락 혹은 터치펜)을 시계에 위치시킨 후 미리 설정된 선택 동작을 수행한다.
도 7에 도시된 바와 같이, 선택 동작의 일례는 손가락을 위로 이동했다가 다시 원 상태로 위치시키는 동작일 수 있다. 또는 선택 동작은 더블 클릭 동작일 수 있다.
물론, 미리 설정되는 선택 동작이 다양하게 변경될 수 있다는 점은 당업자에게 있어 자명할 것이다.
커서가 특정 그래픽 객체 위로 이동된 후 미리 설정된 선택 동작이 감지되면 착용형 디스플레이 장치는 해당 그래픽 객체를 선택하는 동작을 실행한다. 예를 들어, 메모 그래픽 객체 위에 커서가 위치되고 이 상태에서 선택 동작이 감지되면 착용형 디스플레이 장치는 메모 어플리케이션을 실행한다.
한편, 도 2에서 전술된 바와 같이 적외선 마커는 손목 시계에 부착될 수 있는데, 이 때 적외선 마커의 위치는 인터페이스 수단의 제어 동작을 고려해 선택될 수 있다. 제어 동작을 위한 인터페이스 수단에 의해 적외선 마커가 가려질 경우 적외선 마커의 인식이 어려울 수 있기 때문에, 적외선 마커는 손목 시계의 윗부분에 부착되는 것이 바람직하다, 예를 들어, 적외선 마커는 손목 시계의 '12시' 표시 근처, 시계줄과 손목시계가 연결되는 부분 근처 등에 부착될 수 있다.
도 8은 본 발명의 일 실시예에 따른 착용형 디스플레이 장치의 모듈 구성을 도시한 블록도이다.
시계 인식부(800), 인터페이스 영상 생성부(802), 인터페이스 수단 인식부(804), 제어 명령 인식부(806), 프로세서(808), 비디오 드라이버(810) 및 오디오 드라이버(812)를 포함할 수 있다.
시계 인식부(800)는 센서 유닛(206)이 획득하는 영상을 이용하여 시계를 인식하는 기능을 한다. 시계 인식부(800)는 사용자가 착용형 제어 장치를 제어하고자 할 때 활성화될 수 있다. 시계 인식부(800)의 활성화는 사용자가 착용형 디스플레이 장치의 특정 버튼을 누르는 것에 의해 활성화될 수도 있으며, 미리 설정된 음성 정보를 출력하고 이를 인식하는 것에 의해 활성화될 수도 있을 것이다.
본 발명의 일 실시예에 따르면, 시계 인식부(800)는 획득하는 영상에 포함된 객체들 중 미리 학습된 시계 형상과 유사한 형상의 객체가 있는지 여부에 의해 시계를 인식할 수 있다.
도 9는 본 발명의 일 실시예에 따른 시계 인식부의 모듈 구성을 도시한 블록도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 시계 인식부는 시계 형상 학습부(900), 객체 추출부(902) 및 타겟 시계 인식부(904)를 포함할 수 있다.
시계 형상 학습부(900)는 사용자가 착용하고 있는 시계 형상을 미리 학습하는 기능을 한다. 시계 형상 학습부(900)는 사용자가 착용한 시계의 형상 정보를 센서 유닛(206)을 통해 미리 획득하고 획득된 정보를 레퍼런스 정보로 저장한다. 예를 들어, 시계 형상 학습부(900)는 사용자가 착용한 시계의 특징점 정보를 레퍼런스 정보로 저장할 수 있다.
시계 형상 학습부(900)는 사용자가 착용하고 있는 특정 시계가 아니라 일반적인 시계 형상에 대한 정보를 레퍼런스 정보로 저장할 수도 있을 것이다.
객체 추출부(902)는 센서 유닛(206)이 획득하는 영상으로부터 영상에 포함된 객체들을 추출하는 기능을 한다. 객체 추출부(902)는 영상의 에지 정보를 이용하여 객체들을 추출할 수 있다.
타겟 시계 인식부(904)는 추출된 객체들 중 미리 학습된 시계와 매칭되는 객체가 있는지 여부를 판단하는 기능을 한다. 일례로, 타겟 시계 인식부(904)는 인식한 객체의 특징점과 시계 형상 학습부(900)에 저장된 특징점을 비교하여 타겟 시계인지 여부를 판단한다.
본 발명의 다른 실시예에 따르면, 사용자가 착용한 시계에 적외선 마커를 미리 적용하고(예를 들어, 부착), 시계 인식부(800)는 적용된 마커를 인식하여 사용자가 착용한 손목 시계를 인식할 수도 있다. 다른 실시예에 의할 경우, 미리 마커를 부착하여야 하나 시계 인식률을 향상시킬 수 있는 장점이 있다.
도 10은 본 발명의 다른 실시예에 따른 시계 인식부의 모듈 구성을 도시한 블록도이다.
도 10을 참조하면, 본 발명의 다른 실시예에 따른 시계 인식부(800)는 시계 형상 학습부(1000), 마커 감지부(1002), 마커 객체 인식부(1004) 및 타겟 시계 인식부(1006)를 포함할 수 있다.
시계 형상 학습부(1000)는 사용자가 착용한 시계 또는 일반적인 시계 형상에 대한 정보를 레퍼런스 정보로 저장한다. 전술한 바와 같이, 착용한 시계 또는 일반적인 시계의 특징점 정보가 레퍼런스 정보로 저장될 수 있다.
마커 감지부(1002)는 사용자가 착용한 시계에 부착된 적외선 마커를 인식하는 기능을 한다. 센서 유닛(206)에는 적외선 카메라가 포함되며, 적외선 카메라를 통해 획득하는 영상을 이용하여 시계에 부착된 마커를 인식한다.
마커 객체 인식부(1004)는 적외선 카메라를 이용하여 인식된 마커를 이용하여 마커가 부착된 객체에 대한 정보를 획득한다. 일례로, 마커가 부착된 객체의 특징점 정보를 획득할 수 있다.
타겟 시계 인식부(1006)는 마커 객체 인식부(1004)에서 획득하는 객체 정보와 미리 학습된 시계 정보를 이용하여 타겟 시계를 인식하는 기능을 한다. 전술한 바와 같이, 특징점 정보를 이용하여 시계를 인식할 수 있을 것이다.
인터페이스 영상 생성부(802)는 사용자가 착용한 시계가 인식될 경우, 시계를 기준으로 그래픽 인터페이스 영상을 생성하는 기능을 한다. 도 4 및 도 5에 도시된 바와 같이, 시계를 기준으로 시계의 외곽 영역에 그래픽 인터페이스를 표시하며, 그래픽 인터페이스 내에는 제어 명령을 위한 다수의 그래픽 객체들을 포함한다.
인터페이스 수단 인식부(804)는 인식된 시계에 오버랩되는 인터페이스 수단을 인식하는 기능을 한다. 여기서, 인터페이스 수단은 손가락 또는 터치 펜을 포함한다. 손가락은 색상 정보를 이용하여 인식될 수도 있으며, 터치 펜은 적외선 마커 또는 형상 인식을 통해 인식될 수 있을 것이다.
제어 명령 인식부(806)는 인식된 인터페이스 수단의 모션을 인식하여 사용자의 제어 명령을 인식하는 기능을 한다. 도 6 및 도 7을 참조하여 설명한 바와 같이, 커서를 이동시키는 제어 명령인지 또는 특정 그래픽 객체를 선택하는 제어 명령인지 여부를 인식한다.
프로세서(808)는 제어 명령 인식부(806)에서 인식된 제어 명령에 상응하는 동작을 수행한다. 전술한 바와 같이, 인터페이스 수단의 모션에 상응하여 커서를 이동시키거나 특정 그래픽 객체의 실행 동작이 수행될 수 있다.
비디오 드라이버(810) 및 오디오 드라이버(812)는 각각 착용형 디스플레이 장치의 디스플레이부에 표시될 영상 정보 및 출력될 오디오 정보를 생성하는 기능을 한다.
도 11은 본 발명의 일 실시예에 따른 착용형 디스플레이 장치의 제어 방법을 도시한 순서도이다.
도 11을 참조하면, 우선 착용형 디스플레이 장치의 센서 유닛(206)은 전방의 영상 정보를 획득한다(단계 1100).
전방의 영상 정보가 획득되면, 획득된 영상으로부터 사용자가 착용한 손목 시계가 인식되는지 여부를 판단한다(단계 1102).
사용자가 착용한 손목 시계가 인식되면, 인식된 손목 시계를 기준으로 그래픽 인터페이스 영상을 생성한다(단계 1104). 그래픽 인터페이스 영상에는 제어 명령을 위한 다수의 그래픽 객체들이 포함된다.
그래픽 인터페이스 영상이 생성된 후, 사용자가 인터페이스 수단을 시계에 오버랩하여 제어 명령을 수행하는지 여부를 판단한다(단계 1106).
제어 명령의 실행이 인식될 경우, 착용형 디스플레이 장치는 인식된 제어 명령에 상응하는 동작을 수행한다(단계 1108). 앞서 설명한 바와 같이, 커서를 이동시키거나 특정 그래픽 객체를 실행하는 동작이 수행될 수 있다.
도 12는 본 발명의 또 다른 실시예에 따른 착용형 디스플레이 장치의 모듈 구성을 도시한 블록도이고, 도 13은 본 발명의 또 다른 실시예에 따른 착용형 디스플레이 장치의 인터페이스 영상 생성부에서 표시하는 인터페이스 영상을 도시한 도면이다.
본 발명의 또 다른 실시예에 따른 착용형 디스플레이 장치는 시계 인식부(1200), 인터페이스 영상 생성부(1202), 인터페이스 수단 인식부(1204), 제어 명령 인식부(1206), 프로세서(1208), 비디오 드라이버(1210), 오디오 드라이버(1212) 및 시계 통신부(1214)를 포함하며, 앞서 설명한 착용형 디스플레이 장치와 비교하여 시계 통신부(1214)를 추가적으로 포함한다.
본 발명의 또 다른 실시예에 따른 착용형 디스플레이 장치는 인터페이스 수단이 증강 현실 인터페이스의 특정 그래픽 객체와 오버랩되는 동작을 인터페이스 선택 동작으로 인식한다. 이는 도 4 및 도 5에 도시된 실시예에서 인터페이스 수단을 위 아래로 움직여 특정 인터페이스를 선택하는 동작과는 상이하다.
예를 들어, 사용자의 손가락이 인터페이스 수단으로 사용될 때 사용자의 손가락이 도 13과 같이 표시된 인터페이스 영상의 특정 그래픽 객체와 오버랩될 때 해당 그래픽 객체를 선택하는 동작으로 인식하는 것이다.
이 경우 앞서 설명한 실시예와는 달리 시계가 인터페이싱을 위한 일종의 평면 패드로 동작하는 기능은 제공되지 않는다.
즉, 도 13에 도시된 인터페이스의 그래픽 객체 중 인터페이스 수단이 인터넷 그래픽 객체(1300)와 오버랩될 경우 제어 명령 인식부(1206)는 인터넷 동작을 실행하도록 명령한 것으로 인식한다. 또한, 인터페이스 수단이 전화 그래픽 개체(1302)와 오버랩될 경우 제어 명령 인식부(1206)는 전화 걸기를 실행한 것으로 인식한다.
이와 같이, 증강 현실로 제공되는 인터페이스 그래픽 객체와 직접 상호 작용을 통해 제어 명령을 전달하는 경우 직접 사용자가 메뉴를 접촉하는 것이 아니므로 제어 명령이 전달되었는지 여부를 인지하기 어렵다.
따라서, 본 발명의 또 다른 실시예에 따른 착용형 디스플레이 장치는 인터페이스 그래픽 객체가 선택될 때 시계 통신부(1214)를 통해 사용자가 선택한 그래픽 객체의 정보를 전달한다. 여기서 전달하는 그래픽 객체 정보는 그래픽 객체의 위치 정보일 수도 있으며 그래픽 객체의 종류 정보일 수도 있다.
예를 들어, 사용자가 도 13에 도시된 그래픽 인터페이스에서 인터넷 그래픽 객체(1300)를 선택하는 경우, 시계 통신부(1214)는 인터넷 그래픽 객체 정보를 시계에 전송한다. 본 발명의 일 실시예에 따르면, 인터넷 그래픽 객체의 위치가 시계 통신부(1214)에서 시계로 전달된다. 인터넷 그래픽 객체가 11시 방향에 위치해 있으므로 11시 방향에 선택된 객체가 위치한다는 정보가 시계로 전달되는 것이다. 시계가 표시된 객체들을 인지할 수 있는 경우 선택된 그래픽 객체가 인터텟 그래픽 객체라는 점이 시계로 전달될 수도 있을 것이다.
한편, 본 발명의 또 다른 실시예에 따른 착용형 디스플레이 장치와 상호작용하는 시계에는 진동 장치가 구비된다.
도 14는 본 발명의 또 다른 실시예에 다른 착용형 디스플레이 장치와 상호작용하는 시계의 진동 장치의 배열 구조를 도시한 도면이다.
도 14룰 참조하면, 본 발명의 다른 실시예에 따른 착용형 디스플레이 장치와 상호작용하는 시계에서 진동 장치들(1400, 1402, 1404, 1406)은 증강현실 그래픽 인터페이스 객체들의 배열 구조와 동일하게 배열된다.
착용형 디스플레이 장치의 시계 통신부(1214)로부터 선택된 인터페이스 그래픽 객체 정보가 수신되는 경우, 시계는 수신된 그래픽 객체에 상응하는 진동 장치를 진동시킨다.
예를 들어, 착용형 디스플레이 장치에서 11시 방향에 위치한 그래픽 객체가 선택되었다는 정보가 전달되는 경우, 시계는 진동 장치들(1400, 1402, 1404, 1406) 중 11시 방향에 위치한 진동 장치(1400)를 진동시킨다.
사용자는 다수의 진동 장치들 중 특정 진동 장치의 진동을 통해 적절하게 그래픽 객체가 선택되었는지 여부를 인지할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (7)

  1. 영상 정보를 획득하는 센서 유닛;
    상기 획득한 영상 정보로부터 사용자가 착용한 시계를 인식하는 시계 인식부;
    상기 인식된 시계를 기준으로 그래픽 인터페이스 영상을 생성하여 상기 획득한 영상에 표시하는 인터페이스 영상 생성부;
    상기 그래픽 인터페이스 영상을 이용한 제어 명령을 인식하는 제어 명령 인식부;
    상기 그래픽 인터페이스 영상에서 사용자에 의해 선택된 그래픽 객체의 정보를 상기 시계로 전송하는 시계 통신부; 및
    상기 인식된 제어 명령을 실행하는 프로세서를 포함하되,
    상기 시계 인식부는 상기 획득한 영상에 포함된 객체들의 형상 정보를 이용하여 사용자가 착용한 시계를 인식하는 것을 특징으로 하는 착용형 디스플레이 장치.
  2. 제 1항에 있어서,
    상기 시계로 전송되는 그래픽 객체의 정보는
    상기 선택된 그래픽 객체의 위치 정보 또는 종류 정보를 포함하는
    착용형 디스플레이 장치.
  3. 제 1항에 있어서,
    상기 시계는
    상기 시계 통신부로부터 전송된 그래픽 객체의 정보에 상응하는 진동 장치를 진동시키는
    착용형 디스플레이 장치.
  4. 제 1항에 있어서,
    상기 제어 명령 인식부는
    인터페이스 수단이 상기 그래픽 객체와 오버랩되는 경우, 상기 그래픽 객체의 실행을 상기 제어 명령으로 인식하는
    착용형 디스플레이 장치.
  5. 제 1항에 있어서,
    상기 시계 인식부는
    미리 저장된 시계 형상 정보와 상기 획득한 영상에 포함된 객체들의 형상 정보를 이용하여 사용자가 착용한 시계를 인식하는
    착용형 디스플레이 장치.
  6. 제 1항에 있어서,
    상기 인터페이스 영상 생성부는
    상기 인식된 시계를 기준으로 시계의 외곽 영역에 상기 그래픽 인터페이스 영상을 생성하는
    착용형 디스플레이 장치.
  7. 영상 정보를 획득하는 센서 유닛;
    상기 획득한 영상 정보로부터 사용자가 착용한 시계를 인식하는 시계 인식부;
    상기 인식된 시계를 기준으로 상기 인식된 시계의 외곽 영역에 그래픽 인터페이스 영상을 생성하여, 상기 획득한 영상에 표시하는 인터페이스 영상 생성부; 및
    상기 그래픽 인터페이스 영상에서, 사용자에 의해 선택된 그래픽 객체의 정보를 상기 시계로 전송하는 시계 통신부
    를 포함하는 착용형 디스플레이 장치.
KR1020130152450A 2013-03-22 2013-12-09 증강현실 인터페이스를 이용하는 착용형 디스플레이 장치 KR101891837B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130031109 2013-03-22
KR1020130031109 2013-03-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130102359 Division 2013-08-28

Publications (2)

Publication Number Publication Date
KR20140116352A KR20140116352A (ko) 2014-10-02
KR101891837B1 true KR101891837B1 (ko) 2018-10-04

Family

ID=51990270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130152450A KR101891837B1 (ko) 2013-03-22 2013-12-09 증강현실 인터페이스를 이용하는 착용형 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR101891837B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102169204B1 (ko) * 2020-04-02 2020-10-22 (주)네오 회전식 영상 표시 장치 및 이를 이용한 영상 표시 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318652A (ja) 2001-04-20 2002-10-31 Foundation For Nara Institute Of Science & Technology 仮想入力装置およびプログラム
JP2009129021A (ja) * 2007-11-20 2009-06-11 Ntt Docomo Inc 情報入力システムおよび情報入力方法
JP4982715B2 (ja) * 2008-08-21 2012-07-25 学校法人関西学院 情報提供方法及び情報提供システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318652A (ja) 2001-04-20 2002-10-31 Foundation For Nara Institute Of Science & Technology 仮想入力装置およびプログラム
JP2009129021A (ja) * 2007-11-20 2009-06-11 Ntt Docomo Inc 情報入力システムおよび情報入力方法
JP4982715B2 (ja) * 2008-08-21 2012-07-25 学校法人関西学院 情報提供方法及び情報提供システム

Also Published As

Publication number Publication date
KR20140116352A (ko) 2014-10-02

Similar Documents

Publication Publication Date Title
US20140285520A1 (en) Wearable display device using augmented reality
US10191281B2 (en) Head-mounted display for visually recognizing input
US9223401B1 (en) User interface
KR101952974B1 (ko) 슬라이딩 구조를 가지는 착용형 디스플레이 장치
EP2946266B1 (en) Method and wearable device for providing a virtual input interface
US10303435B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
US20180005607A1 (en) Head-mounted display and information display apparatus
US9500867B2 (en) Head-tracking based selection technique for head mounted displays (HMD)
US9864198B2 (en) Head-mounted display
US10140768B2 (en) Head mounted display, method of controlling head mounted display, and computer program
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
CN104793842B (zh) 图形用户界面系统、显示处理装置及输入处理装置
US20150009309A1 (en) Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
US20170115736A1 (en) Photo-Based Unlock Patterns
CN105339870A (zh) 用于提供虚拟输入界面的方法和可穿戴装置
KR20090047889A (ko) 투명 디스플레이를 이용한 증강 현실 구현 방법, 장치 및시스템
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2017091433A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2018124651A (ja) 表示システム
KR20150110285A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
JP2017182228A (ja) 入力装置、入力方法、コンピュータープログラム
JP2019109849A (ja) 透過型頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
KR101891837B1 (ko) 증강현실 인터페이스를 이용하는 착용형 디스플레이 장치
WO2016052061A1 (ja) ヘッドマウントディスプレイ
US20220375172A1 (en) Contextual visual and voice search from electronic eyewear device

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant