KR100959649B1 - 적응적 사용자 인터페이스 시스템 및 방법 - Google Patents

적응적 사용자 인터페이스 시스템 및 방법 Download PDF

Info

Publication number
KR100959649B1
KR100959649B1 KR1020090110345A KR20090110345A KR100959649B1 KR 100959649 B1 KR100959649 B1 KR 100959649B1 KR 1020090110345 A KR1020090110345 A KR 1020090110345A KR 20090110345 A KR20090110345 A KR 20090110345A KR 100959649 B1 KR100959649 B1 KR 100959649B1
Authority
KR
South Korea
Prior art keywords
marker
image
infrared
coordinates
movement
Prior art date
Application number
KR1020090110345A
Other languages
English (en)
Inventor
김성욱
최봉두
Original Assignee
(주)휴먼아이티솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴먼아이티솔루션 filed Critical (주)휴먼아이티솔루션
Priority to KR1020090110345A priority Critical patent/KR100959649B1/ko
Application granted granted Critical
Publication of KR100959649B1 publication Critical patent/KR100959649B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

적응적 사용자 인터페이스 시스템은 마커(Marker)가 부착된 컨트롤러, 적외선을 발광하며, 컨트롤러를 촬영하여 컨트롤러에 대한 영상을 생성하고, 영상의 잡음을 제거하여 마커에 대한 적외선 영상을 생성하는 적외선 카메라, 적외선 영상으로부터 마커의 움직임 및 움직임에 상응하는 좌표를 결정하는 좌표 결정부, 및 마커의 높이 및 마커와 적외선 카메라 간의 거리에 기초하여, 결정된 좌표를 매핑시키는 매핑부를 포함한다.

Description

적응적 사용자 인터페이스 시스템 및 방법{ADAPTIVE USER INTERFACE SYSTEM AND METHOD}
개시된 기술은 적외선 카메라를 이용한 적응적 사용자 인터페이스 시스템에 관한 것이다.
컴퓨터의 성능의 급속한 발전에 비해, 사용자 인터페이스는 별다른 발전을 이루지 못하고 있다. 예를 들어, 1960년대에 개발된 마우스와 1970년대에 개발된 키보드는 지금까지도 컴퓨터와의 상호작용에 보편적으로 사용되고 있는 사용자 인터페이스들이다. 따라서 보다 자연스럽고 직관적인 사용자 인터페이스에 대한 다양한 연구들이 시작되고 있다.
실시예들 중에서, 사용자 인터페이스 시스템은 마커(Marker)가 부착된 컨트롤러, 적외선을 발광하며, 상기 컨트롤러를 촬영하여 상기 컨트롤러에 대한 영상을 생성하고, 상기 영상의 잡음을 제거하여 상기 마커에 대한 적외선 영상을 생성하는 적외선 카메라, 상기 적외선 영상으로부터 상기 마커의 움직임 및 상기 움직임에 상응하는 좌표를 결정하는 좌표 결정부, 및 상기 마커의 높이 및 상기 마커와 상기 적외선 카메라 간의 거리 중 적어도 하나에 기초하여, 상기 결정된 좌표를 매핑시키는 매핑부를 포함한다.
실시예들 중에서, 사용자 인터페이스 방법은 적외선을 발광하는 단계, 마커가 부착된 컨트롤러를 촬영하여 상기 컨트롤러에 대한 영상을 생성하는 단계, 상기 영상의 잡음을 제거하여 상기 마커에 대한 적외선 영상을 생성하는 단계, 상기 마커에 대한 적외선 영상으로부터 상기 마커의 움직임 및 상기 움직임에 상응하는 좌표를 결정하는 단계, 및 상기 마커의 높이 및 상기 마커와 상기 적외선을 발광하는 적외선 카메라 간의 거리 중 적어도 하나에 기초하여, 상기 결정된 좌표를 매핑시키는 단계를 포함한다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정 하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 개시된 기술의 일 실시예에 따른 적외선 카메라를 이용한 사용자 인터페이스 시스템의 구성을 나타내는 블록도이고, 도 2는 컨트롤러가 사용자의 신체 부위에 부착되는 일 예를 설명하기 위한 도면이다.
도 1을 참조하면, 적외선 카메라를 이용한 사용자 인터페이스 시스템(100)은 컨트롤러(110), 적외선 카메라(120), 좌표 결정부(130), 매핑부(140) 및 디스플레이 장치(150)를 포함한다.
컨트롤러(110)는 마커가 부착되어 있으며, 적외선 카메라(120)에 의해 촬영된다. 마커는 적외선 카메라(120)로부터 수신된 적외선을 반사하여 적외선을 적외 선 카메라(120)로 송신할 수 있다. 여기에서, 컨트롤러(110)는 사용자의 신체 부위에 부착될 수 있다. 예를 들어, 도 2에 도시된 바와 같이 마커를 가지는 컨트롤러(110)는 장갑에 부착되어 사용자 손의 움직임에 따라 이동될 수 있다.
적외선 카메라(120)는 적외선 LED를 내장하여 적외선을 발광한다. 적외선 카메라(120)는 컨트롤러(110)를 촬영하여 컨트롤러(110)에 대한 영상을 생성한다. 적외선 카메라(120)는 소프트웨어 필터(software filter)를 구비하여 촬영된 영상에서 잡음을 제거하여 마커에 대한 적외선 영상을 생성한다. 이하 마커에 대한 적외선 영상을 마킹 영상이라 칭하기로 한다. 적외선 카메라(120)는 디스플레이 장치(150)의 전면 상단의 정중앙 또는 전면 하단의 정중앙에 구비될 수 있다.
좌표 결정부(130)는 마킹 영상으로부터 마커의 움직임 및 마커의 움직임에 상응하는 좌표를 결정한다. 예를 들어, 좌표 결정부(130)는 이전에 생성되어 저장된 마킹 영상과 적외선 카메라(120)로부터 현재 제공받은 마킹 영상을 비교하여, 마커의 움직임 및 움직임에 따른 좌표를 결정할 수 있다. 여기에서, 마커의 움직임은 이전 마킹 영상에서의 마커의 위치와 현재 마킹 영상에서의 마커의 위치 간의 차이를 표시하는 벡터일 수 있다. 또한, 좌표 결정부(130)는 이전에 저장된 마킹 영상에 상응하는 좌표에 마커의 움직임을 적용하여 현재 마킹 영상에서의 마커의 좌표를 결정할 수 있다.
매핑부(140)는 마커의 높이 및 마커와 적외선 카메라(120)간의 거리에 기초하여, 좌표 결정부(130)에 의해 결정된 좌표를 디스플레이 장치(150)의 화면에 상응하는 좌표로 매핑시킨다. 예를 들어, 사용자와 적외선 카메라(120)간의 거리가 멀어서 마커와 적외선 카메라(120) 간의 거리가 멀면, 매핑부(140)는 마커의 위치상의 작은 변화를 디스플레이 장치(150)의 화면 상에 크게 표시될 수 있도록 좌표를 매핑시킬 수 있다. 다른 예를 들어, 사용자의 키가 작아 마커의 높이가 낮으면, 매핑부(140)는 마커의 위치 상의 작은 변화를 디스플레이 장치(150)의 화면 상에 크게 표시될 수 있도록 좌표를 매핑시킬 수 있다. 여기에서, 마커의 높이는 마커의 좌표에 의해 결정될 수 있고, 마커와 적외선 카메라(120)간의 거리는 마커의 크기에 의해 결정될 수 있다. 매핑부(140)는 적외선 카메라(120)의 해상도에 비해 디스플레이 장치(150)의 해상도가 큰 경우, 좌표 결정부(130)에 의해 결정된 좌표를 보간(interpolation)하여 디스플레이 장치(150)의 해상도에 맞는 좌표를 생성할 수 있다.
디스플레이 장치(150)는 매핑부(140)로부터 좌표를 수신하고, 수신된 좌표를 화상으로 디스플레이한다.
도 3은 도 1에 도시된 적외선 카메라의 구성을 나타내는 블록도이고, 도 4는 도 3의 소프트웨어 필터부가 적외선 영상을 생성하는 일 예를 설명하기 위한 도면이다.
도 3을 참조하면, 적외선 카메라(120)는 발광부(310), 영상 생성부(320) 및 소프트웨어 필터부(330)를 포함한다.
발광부(310)는 복수의 적외선 발광 다이오드(IR LED)들을 포함하며, 컨트롤러(110)를 향하여 적외선을 발광한다.
영상 생성부(320)는 컨트롤러(110)로부터 광(light)을 수신하고, 수신된 광에 상응하는 영상을 생성한다. 여기에서, 수신되는 광은 발광부(310)로부터 발광된 적외선이 컨트롤러(110)의 마커에 의해 반사된 후 적외선 카메라(120)로 입사되는 광을 포함한다. 예를 들어, 영상 생성부(320)는 가시광선을 차단하고 적외선을 통과시키는 적외선 통과 필터와 통과된 적외선에 상응하는 영상을 생성하는 이미지 센서를 포함할 수 있다. 이 경우, 적외선 통과 필터는 필터 특성에 따라 적외선 뿐만 아니라 가시광선을 일부 통과시킬 수도 있다.
소프트웨어 필터부(330)는 영상 생성부(320)에 의해 생성된 영상에 있는 잡음을 제거하여 마킹 영상을 생성한다. 예를 들어, 소프트웨어 필터부(330)는 다이렉트쇼 필터(DirectShow filter)를 구비하여 잡음이 섞인 영상으로부터 실시간으로 마킹 영상을 생성할 수 있다. 예를 들어, 소프트웨어 필터부(330)는 도 4의 (a)와 같은 영상을 필터링하여 도 4의 (b)와 같은 영상을 생성할 수 있다.
도 5는 개시된 기술의 일 실시예에 따른 적외선 카메라를 이용한 사용자 인터페이스 방법을 나타내는 흐름도이다.
도 5를 참조하면, 510 단계에서, 적외선 카메라는 마커가 부착되어 있는 컨트롤러를 향하여 적외선을 발광한다.
520 단계에서, 적외선 카메라는 마커가 부착되어 있는 컨트롤러를 촬영하여, 컨트롤러에 대한 영상을 생성한다. 적외선 카메라는 컨트롤러로부터 광을 수신하고, 수신된 광에 상응하는 영상을 생성한다. 여기에서 수신되는 광은 발광된 적외 선이 마커에 의해 반사된 후 적외선 카메라로 입사되는 광을 포함한다.
530 단계에서, 적외선 카메라는 소프트웨어 필터를 이용하여 컨트롤러에 대한 영상에서 잡음을 제거하여 마킹 영상을 생성한다. 예를 들어, 소프트웨어 필터는 다이렉트쇼 필터(DirectShow filter)일 수 있다.
540 단계에서, 좌표 결정부는 마킹 영상으로부터 마커의 움직임 및 마커의 움직임에 상응하는 좌표를 결정한다. 예를 들어, 좌표 결정부는 이전에 생성되어 저장된 마킹 영상과 적외선 카메라로부터 현재 제공받은 마킹 영상을 비교하여, 마커의 움직임 및 움직임에 따른 좌표를 결정할 수 있다. 여기에서, 마커의 움직임은 이전 마킹 영상에서의 마커의 위치와 현재 마킹 영상에서의 마커의 위치 간의 차이를 표시하는 벡터일 수 있다. 또한, 좌표 결정부는 이전에 저장된 마킹 영상에 상응하는 좌표에 마커의 움직임을 적용하여 현재 마킹 영상에서의 마커의 좌표를 결정할 수 있다.
550 단계에서, 매핑부는 540 단계에서 결정된 좌표를 디스플레이 장치의 화면에 상응하는 좌표로 매핑시킨다. 여기에서, 매핑부는 마커의 높이 및 마커와 적외선 카메라 간의 거리에 기초하여 매핑시킬 수 있다. 예를 들어, 사용자와 적외선 카메라간의 거리가 멀어서 마커와 적외선 카메라 간의 거리가 멀면, 매핑부는 마커의 위치상의 작은 변화를 디스플레이 장치의 화면 상에 크게 표시될 수 있도록 좌표를 매핑시킬 수 있다.
560 단계에서, 매핑부는 적외선 카메라의 해상도에 비해 디스플레이 장치의 해상도가 큰 경우, 매핑된 좌표를 보간(interpolation)하여 디스플레이 장치의 해 상도에 상응하는 좌표를 생성할 수 있다.
570 단계에서, 디스플레이 장치는 마커의 좌표를 화상으로 디스플레이한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
일 실시예에 따른 사용자 인터페이스 시스템은 적외선 카메라가 사용자의 신체 부위에 부착된 마커에 대한 적외선 영상을 생성하고, 적외선 영상으로부터 마커의 움직임 및 마커의 좌표를 결정하므로, 사용자의 움직임에 상응하는 직관적이고 편리한 사용자 인터페이스를 제공할 수 있다.
일 실시예에 따른 사용자 인터페이스 시스템은 마커의 높이 및 마커와 적외선 카메라 간의 거리에 기초하여 마커의 좌표를 매핑시킴으로써, 마커를 착용한 사용자의 키와 마커와 적외선 카메라 간의 거리를 고려하여 마커의 좌표 변화를 디스플레이 장치를 통하여 디스플레이할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 개시된 기술의 일 실시예에 따른 적외선 카메라를 이용한 사용자 인터페이스 시스템의 구성을 나타내는 블록도이다.
도 2는 컨트롤러가 사용자의 신체 부위에 부착되는 일 예를 설명하기 위한 도면이다.
도 3은 도 1에 도시된 적외선 카메라의 구성을 나타내는 블록도이다.
도 4는 도 3의 소프트웨어 필터부가 적외선 영상을 생성하는 일 예를 설명하기 위한 도면이다.
도 5는 개시된 기술의 일 실시예에 따른 적외선 카메라를 이용한 사용자 인터페이스 방법을 나타내는 흐름도이다.

Claims (17)

  1. 마커(Marker)가 부착된 컨트롤러;
    적외선을 발광하며, 상기 컨트롤러를 촬영하여 상기 컨트롤러에 대한 영상을 생성하고, 상기 영상의 잡음을 제거하여 상기 마커에 대한 적외선 영상을 생성하는 적외선 카메라;
    상기 적외선 영상으로부터 상기 마커의 움직임 및 상기 움직임에 상응하는 좌표를 결정하는 좌표 결정부;
    상기 마커와 상기 적외선 카메라 간의 거리에 비례하여 상기 결정된 좌표를 새로운 좌표로 매핑시키거나, 상기 마커의 높이의 역수에 비례하여 상기 결정된 좌표를 새로운 좌표로 매핑시키는 매핑부; 및
    상기 매핑된 좌표를 화상으로 디스플레이하는 디스플레이 장치를 포함하는 사용자 인터페이스 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 매핑부는
    상기 적외선 카메라의 해상도와 상기 디스플레이 장치의 해상도 간의 차이를 고려하여, 상기 매핑된 좌표를 보간하는 사용자 인터페이스 시스템.
  6. 제 1 항에 있어서, 상기 적외선 카메라는
    상기 발광된 적외선이 상기 마커에 의해 반사되어 상기 적외선 카메라로 수신되는 적외선을 포함하는 광으로부터 상기 컨트롤러에 대한 영상을 생성하는 사용자 인터페이스 시스템.
  7. 제 1 항에 있어서, 상기 적외선 카메라는
    상기 디스플레이 장치의 전면 상단 또는 전면 하단 중 어느 하나에 구비되는 사용자 인터페이스 시스템.
  8. 제 1 항에 있어서, 상기 적외선 카메라는
    다이렉트쇼 필터((DirectShow filter)를 사용하여 상기 적외선 영상의 잡음을 제거하는 사용자 인터페이스 시스템.
  9. 제 1 항에 있어서, 상기 적외선 카메라는
    복수의 적외선 발광 다이오드(IR LED)들을 통하여 적외선을 발광하는 발광부;
    상기 발광된 적외선이 상기 마커에 의해 반사되어 상기 적외선 카메라로 수신되는 적외선을 포함하는 광에 상응하는 영상을 생성하는 영상 생성부; 및
    상기 생성된 영상에 있는 잡음을 제거하여 상기 마커에 대한 적외선 영상을 생성하는 소프트웨어 필터부를 포함하는 사용자 인터페이스 시스템.
  10. 제 1 항에 있어서, 상기 좌표 결정부는
    상기 마커에 대한 상기 적외선 영상과 이전에 생성된 상기 마커에 대한 적외선 영상을 비교하여, 상기 움직임 및 상기 좌표를 결정하는 사용자 인터페이스 시스템.
  11. 제 1 항에 있어서, 상기 좌표 결정부는
    복수의 움직임 패턴들을 참조하여, 상기 복수의 움직임 패턴들 중 상기 결정된 움직임과 가장 유사한 움직임을 가지는 움직임 패턴을 결정하고, 상기 결정된 움직임 패턴에 상응하는 좌표를 결정하는 사용자 인터페이스 시스템.
  12. 제 1 항에 있어서, 상기 컨트롤러는
    장갑에 부착되어 사용자 손의 움직임에 따라 이동하는 사용자 인터페이스 시스템.
  13. 적외선을 발광하는 단계;
    마커가 부착된 컨트롤러를 촬영하여 상기 컨트롤러에 대한 영상을 생성하는 단계;
    상기 영상의 잡음을 제거하여 상기 마커에 대한 적외선 영상을 생성하는 단계;
    상기 마커에 대한 적외선 영상으로부터 상기 마커의 움직임 및 상기 움직임에 상응하는 좌표를 결정하는 단계;
    상기 마커와 상기 적외선 카메라 간의 거리에 비례하여 상기 결정된 좌표를 새로운 좌표로 매핑시키거나, 상기 마커의 높이의 역수에 비례하여 상기 결정된 좌표를 새로운 좌표로 매핑시키는 단계; 및
    상기 매핑된 좌표를 화상으로 디스플레이하는 단계를 포함하는 사용자 인터페이스 시스템.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020090110345A 2009-11-16 2009-11-16 적응적 사용자 인터페이스 시스템 및 방법 KR100959649B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090110345A KR100959649B1 (ko) 2009-11-16 2009-11-16 적응적 사용자 인터페이스 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090110345A KR100959649B1 (ko) 2009-11-16 2009-11-16 적응적 사용자 인터페이스 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR100959649B1 true KR100959649B1 (ko) 2010-05-26

Family

ID=42282042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090110345A KR100959649B1 (ko) 2009-11-16 2009-11-16 적응적 사용자 인터페이스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100959649B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542370B1 (ko) * 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542370B1 (ko) * 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템

Similar Documents

Publication Publication Date Title
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US10019843B2 (en) Controlling a near eye display
US9430698B2 (en) Information input apparatus, information input method, and computer program
JP5624530B2 (ja) コマンド発行装置、方法及びプログラム
US9507411B2 (en) Hand tracker for device with display
JP6343718B2 (ja) ジェスチャインタフェース
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
JP2015114818A (ja) 情報処理装置、情報処理方法及びプログラム
US8913037B1 (en) Gesture recognition from depth and distortion analysis
US10359906B2 (en) Haptic interface for population of a three-dimensional virtual environment
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
KR100959649B1 (ko) 적응적 사용자 인터페이스 시스템 및 방법
JP7210131B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR100951681B1 (ko) 적외선 카메라를 이용한 사용자 인터페이스 시스템 및 방법
US10055026B2 (en) Interactive projector and method of controlling interactive projector
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130507

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140225

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160311

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee