KR20110070514A - 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법 - Google Patents

헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법 Download PDF

Info

Publication number
KR20110070514A
KR20110070514A KR1020090127365A KR20090127365A KR20110070514A KR 20110070514 A KR20110070514 A KR 20110070514A KR 1020090127365 A KR1020090127365 A KR 1020090127365A KR 20090127365 A KR20090127365 A KR 20090127365A KR 20110070514 A KR20110070514 A KR 20110070514A
Authority
KR
South Korea
Prior art keywords
hand
dimensional
gui
mounted display
touch signal
Prior art date
Application number
KR1020090127365A
Other languages
English (en)
Inventor
윤호섭
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090127365A priority Critical patent/KR20110070514A/ko
Publication of KR20110070514A publication Critical patent/KR20110070514A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스상에서 3차원 공간 터치를 제어하는 방법에 관한 것으로, 일면에 따른 헤드 마운트 디스플레이 장치는, 상기 헤드 마운트 디스플레이 장치를 착용한 사용자의 손을 촬영하는 적어도 2개의 카메라와, 촬영한 영상으로부터 상기 손의 위치 및 동작을 분석하고, 상기 손의 위치 및 동작에 대응하는 3차원 공간 터치 신호를 생성하는 3차원 공간 터치 생성부 및 3차원 그래픽 사용자 인터페이스(GUI) 상에서 상기 3차원 공간 터치 신호를 표시하고, 상기 3차원 공간 터치 신호에 의해 상기 3차원 GUI를 제어하는 제어부를 포함한다.
Figure P1020090127365
헤드 마운트 디스플레이(Head Mount Display), 공간 터치

Description

헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법{Head mount display apparatus and control method for space touch on 3D graphic user interface}
본 발명은 헤드 마운트 디스플레이(Head Mount Display, HMD) 장치에서 출력되는 3D GUI에 대하여, 사용자가 HMD 장치를 착용한 상태에서 두 손을 이용하여 3차원 공간을 터치함으로써, 3D GUI를 제어할 수 있게 하는 헤드 마운트 디스플레이 장치 및 3차원 공간 터치 제어 방법에 관한 것이다.
본 발명은 지식경제부 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다. [과제관리번호: 2008-F-037-01 , 과제명: u-로봇 HRI 솔루션 및 핵심 소자 기술 개발]
가상 현실(Virtual Reality)이란, 컴퓨터를 이용하여 구축한 가상 공간에서 인간 감각계와의 상호작용을 통해 공간적, 물리적 제약에 의해 현실 세계에서는 직접 경험하지 못하는 상황을 간접적으로 체험할 수 있도록 만든 정보 활동 분야의 새로운 패러다임 중의 하나이다. 가상 현실의 궁극적인 목표는 다양한 입출력 방법을 사용하여 컴퓨터와 인간과의 대화 능력을 높임으로써 컴퓨터와 좀 더 현실적인 통신을 할 수 있는 환경을 제공하는데 있다. 컴퓨터와 인간과의 입출력 방법으로는 HMD(Head-Mounted Display), 데이터 글러브(Data Glove) 및 모션 캡쳐(Motion Capture)와 같은 장치가 사용된다.
현재 출시되고 있는 HMD는 안경의 눈 부위에 단순히 사용자 그래픽 인터페이스로서 2D, 3D 영상을 출력하는 기능만을 가지고 있다. 그러므로, 사용자가 HMD를 제어하기 위해서는 유선의 별도의 제어 장치를 부착하는데, 이 제어장치는 간단한 메뉴 선택만 가능하며, 사용자가 제어 장치의 메뉴를 암기하고 있지 않는 경우에는 HMD를 벗고 나서 메뉴를 확인한 후 선택해야 하는 단점이 존재하였다.
따라서, 본 발명의 목적은 두 개의 카메라를 이용한 3D 공간 터치 장치를 개발하여, HMD에 출력된 3D GUI와의 연동을 통해 HMD 제어를 용이하고 간편하게 조절할 수 있는 장착한 HMD(Head Mount Display) 장치 및 3D 공간 터치 방법을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 많은 목적들은 아래의 기재로부터 본 발명의 기술분야에 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 헤드 마운트 디스플레이 장치는, 상기 헤드 마운트 디스플레이 장치를 착용한 사용자의 손을 촬영하는 적어도 2개의 카메라와, 촬영한 영상으로부터 상기 손의 위치 및 동작을 분석하고, 상기 손의 위치 및 동작에 대응하는 3차원 공간 터치 신호를 생성하는 3차원 공간 터치 생성부 및 3차원 그래픽 사용자 인터페이스(GUI) 상에서 상기 3차원 공간 터치 신호를 표시하고, 상기 3차원 공간 터치 신호에 의해 상기 3차원 GUI를 제어하는 제어부를 포함한다.
여기서, 상기 3차원 공간 터치 생성부는 상기 촬영한 영상으로부터 깊이 맵(depth map)을 생성하는 깊이 맵 생성부와, 상기 깊이 맵으로부터 손 영역의 3차원 정보를 추출하고, 추출된 상기 손 영역의 3차원 정보를 시간순으로 연결하여 손 의 위치 및 동작을 분석하는 손 위치 및 동작 분석부 및 상기 분석 결과를 기초로 상기 3차원 공간 터치 신호를 생성하는 3차원 공간 터치 신호 생성부를 포함할 수 있다.
이 때, 상기 제어부는 상기 손 영역의 3차원 정보를 토대로 상기 헤드 마운트 디스플레이 장치의 화면에 상기 3차원 GUI 및 상기 3차원 공간 터치 신호를 함께 표시하는 3차원 그래픽 사용자 인터페이스부와, 상기 3차원 GUI와 상기 3차원 공간 터치 신호를 매칭하여, 상기 3차원 공간 터치 신호를 상기 3차원 GUI 에대한 제어 명령으로 인식하는 3차원 매칭부 및 상기 제어 명령에 따라 상기 3차원 GUI를 제어하는 3차원 GUI 제어부를 포함할 수 있다.
또한 상기 3차원 그래픽 사용자 인터페이스부는 상기 손 영역의 3차원 정보 중 깊이를 이용하여, 상기 손 영역의 깊이에 상기 3차원 GUI의 깊이를 연동시켜 상기 3차원 GUI를 표시할 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 다른 면에 따른 3차원 공간 터치를 제어하는 방법은, 적어도 2개의 카메라를 이용하여 사용자의 손을 촬영하는 단계와, 촬영한 영상으로부터 상기 손의 위치 및 동작을 분석하고, 상기 손의 위치 및 동작에 대응하는 3차원 공간 터치 신호를 생성하는 단계 및 상기 3차원 GUI와 연동하여 상기 3차원 GUI 상에 상기 3차원 공간 터치 신호를 표시하는 단계를 포함한다.
여기서, 상기 3차원 공간 터치 신호를 생성하는 단계는 상기 촬영한 영상으로부터 깊이 맵(depth map)을 생성하는 단계와, 상기 깊이 맵으로부터 손 영역의 3 차원 정보를 추출하고, 추출된 상기 손 영역의 3차원 정보를 시간순으로 연결하여 손의 위치 및 동작을 분석하는 단계 및 상기 분석 결과를 기초로 상기 3차원 공간 터치 신호를 생성하는 단계를 포함할 수 있다.
그리고 상기 표시하는 단계는 상기 손 영역의 3차원 정보 중 깊이를 이용하여, 상기 손 영역의 깊이에 상기 3차원 GUI의 깊이를 맞추어 상기 3차원 GUI를 표시하는 단계를 포함할 수 있다.
또한 상기 3차원 공간 터치 신호에 의해 상기 3차원 GUI를 제어하는 단계를 더 포함할 수 있다.
여기서, 상기 제어하는 단계는 상기 3차원 GUI와 상기 3차원 공간 터치 신호를 매칭하는 단계와, 상기 3차원 공간 터치 신호를 상기 3차원 GUI 에대한 제어 명령으로 인식하는 단계 및 상기 제어 명령에 따라 상기 3차원 GUI를 제어하는 단계를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 의하여 구체적으로 개시된다.
본 발명의 구성에 따르면, 기존의 HMD에 부착된 유무선의 제어 기기 대신에 두 개의 카메라를 이용하여 사용자의 손동작을 인식하고, 이를 통해 3D 공간터치 방식에 의해 자연스럽게 HMD를 제어할 수 있다. 또한 두 카메라에서 입력되는 입력 신호의 해상도를 높여, 사용자의 시력에 따라 출력되는 영상 신호를 조절하면, HMD로 안경 역할을 수행 할 수 도 있다.
현재 카메라로 입력되는 전방의 상황과 HMD로 입력되는 다양한 컨텐츠를 상황에 따라 스위칭 해서 보여주는 기능이 가능하므로, HMD를 쓰고 다니면서도 자연스런 생활이 가능한 장점이 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하 첨부된 도면을 참조하면 본 발명의 바람직한 실시예를 상세히 설명하기로 하고, 각 도면에서 동일한 구성 및 기능을 갖는 구성요소에 대해서는 동일한 참조부호를 병기한다.
도 1 내지 도 4를 참조하여 실시예에 따른 헤드 마운트 디스플레이 장치 및 3차원 공간 터치 제어 방법에 대해 설명한다. 도 1은 실시예에 따른 헤드 마운트 디스플레이 장치의 사시도이고, 도 2는 헤드 마운트 디스플레이 장치를 나타내는 블록도이고, 도 3은 도 2의 3D 공간 터치 생성부를 나타내는 블록도이고, 도 4는 실시예에 따른 3차원 공간 터치 제어 방법을 나타내는 순서도이다.
도 1을 참조하면 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(10)는 사용자의 헤드에 착용되어 사용자에게 3차원 그래픽 사용자 인터페이스를 제공한다. 이러한 헤드 마운트 디스플레이 장치(10)는 안경형상의 구조(100)를 갖고, 전면에 적어도 2개의 카메라(110_1, 110_2)를 장착하여, 2개의 카메라(110_1, 110_2)에 의해 촬영된 사용자의 손동작에 관한 영상 신호를 분석하여, 사용자의 손동작을 자동적으로 인식하고 이를 3차원 그래픽 사용자 인터페이스와 연동시킨다. 여기서 카메라(110_1, 110_2)는 소형의 저전력 카메라일 수 있다.
이러한 헤드 마운트 디스플레이 장치(10)에 의하면, 헤드 마운트 디스플레이 장치(10)가, 촬영한 사용자의 손동작의 분석 결과를 그래픽 사용자 인터페이스와 함께 연동하여 출력하므로, 사용자는 헤드 마운트 디스플레이 장치(10)를 착용한 상태에서 손동작으로 헤드 마운트 디스플레이 장치(10), 예컨대 3차원 그래픽 사용자 인터페이스를 제어할 수 있다.
도 2를 참조하여 이러한 헤드 마운트 디스플레이 장치(10)를 구체적으로 설명한다.
헤드 마운트 디스플레이 장치(10)는 적어도 2개의 카메라(110_1, 110_2)와, 스테레오 카메라 기반의 3차원 공간 터치 생성부(120)와, 3차원 그래픽 사용자 인터페이스부(130)와, 3차원 매칭부(140) 및 3차원 GUI 제어부(150)를 포함한다.
2개의 카메라(110_1, 110_2)는 헤드 마운트 디스플레이 장치(10)에서 전면을 향하도록 배치되어, 전면의 영상을 촬영한다. 예컨대 메뉴 선택 동작시, 사용자의 손동작을 촬영한다. 이러한 2개의 카메라(110_1, 110_2)의 위치는 가급적 사용자의 두 눈의 위치와 동일하게 배열할 수 있도록 위치 가변형으로 부착될 수 있다.
카메라(110_1, 110_2)로부터 얻어진 영상 신호는, 스테레오 카메라(110_1, 110_2) 기반의 3차원 공간 터치 생성부(120)에 입력된다. 스테레오 카메라(110_1, 110_2) 기반의 3차원 공간 터치 생성부(120)는 사용자의 손동작을 인식한 후, 인식한 결과를 토대로 3차원 공간 터치 신호를 생성한다. 이때, 사용자의 손 동작은 3차원 GUI, 예컨대 메뉴 선택을 위한 것일 수 있다. 이러한 경우, 메뉴 선택 동작이 필요 없는 시기에는 불필요한 프로세싱으로 인한 전력 소모를 차단하기 위해 On/Off 버튼을 두어 스테레오 카메라(110_1, 110_2) 기반 3D 공간 터치 장치(10)부의 전원을 제어할 수 있다.
도 3을 참조하여 이러한 스테레오 카메라 기반의 3차원 공간 터치 생성부(120)에 대해 좀더 구체적으로 설명한다.
도 3을 참조하면, 스테레오 카메라 기반의 3차원 공간 터치 생성부(120)는 스테레오 카메라 기반의 깊이 맵(depth map) 생성부(122)와, 3차원 손위치 및 동작 분석부(124)와, 3차원 공간 터치 신호 생성부(126)를 포함한다.
스테레오 카메라 기반의 깊이 맵 생성부(122)는, 2개의 카메라(110_1, 110_2)가 촬영한 영상에서 대응점을 찾고, 그로부터 깊이 맵을 생성한다. 깊이 맵은 2개의 카메라(110_1, 110_2)가 촬영한 영상에서, 카메라(110_1, 110_2)로부터 멀고 가까운 거리 정도를 나타내는 정보(영상)을 의미한다. 예컨대 깊이 맵은 가깝고 먼 정도에 따라 영상의 밝기로 표시된다. 깊이 맵 생성부(122)가 2개의 카메라(110_1, 110_2)로부터 촬영한 영상으로부터 깊이 맵을 생성할 때, 대응점을 찾는 과정은 종래에 널리 알려진 다양한 알고리즘(예컨대 스테레오 매칭, TOF 등)이 사용될 수 있다. 본 발명의 경우 얼굴에 부착된 카메라(110_1, 110_2)로부터 사용자의 손동작을 인식하는 응용이므로, 대응점의 변위가 커지는 장점을 사용한다. 즉, 사용자가 헤드 마운트 디스플레이 장치(10)를 착용한 상태에서 사용자의 손은, 다른 사물 또는 배경보다 헤드 마운트 디스플레이 장치(10)에 가까우며, 따라서 왼쪽 카메라(110_1, 110_2)와 오른쪽 카메라(110_1, 110_2) 간의 대응점의 변위가 크다. 따라서 깊이 맵에서 사용자의 손은, 다른 사물 또는 배경과 구별되기 쉽다.
깊이 맵이 생성되면, 현재 주변에 특별한 장애물이 존재하지 않는다면 손 영역이 다른 영역의 Depth와 구별되게 나타나므로(손 영역은 다른 물체들보다 카메라(110_1, 110_2)와 상대적으로 많이 가까우므로), 3차원 손위치 및 동작 분석부(124)는 매 시간마다 손 영역의 (x, y, z)의 3차원 정보를 추출하고, 이를 연속적으로 연결해서 다양한 손 동작을 분석하여 인식한다.
그리고 3D 공간 터치 신호 생성부(126)는 분석 결과를 토대로, 3차원 공간터치 신호를 생성한다.
한편, 도 2에서 3차원 그래픽 사용자 인터페이스부(130)는 손 영역의 3차원 정보를 토대로 헤드 마운트 디스플레이 장치(10)의 화면에 3차원 GUI 및 3차원 공간 터치 신호를 함께 표시한다. 예컨대 3차원 그래픽 사용자 인터페이스부(130)는, 손 영역의 3차원 정보 중 깊이에 대한 정보를 이용하여, 손 영역의 깊이에 3차원 GUI의 깊이를 연동시켜, 3차원 GUI와 함께 3차원 공간 터치 신호를 표시한다. 여기서 3차원 공간 터치 신호는, 예컨대 사용자의 실제 손 모양 및 동작일 수도 있으며, 또는 손 모양을 대체하는 3차원 아바타일 수 있다.
좀 더 구체적으로 예를 들어 설명하면, 헤드 마운트 디스플레이 장치(10)는 3차원 GUI, 예컨대 3차원의 메뉴 선택 화면을 화면에 출력하는데, 여기서 메뉴 선택 화면의 깊이는 손 영역의 깊이에 맞추워 표시된다. 또한 손은 3차원 공간 터치 신호와 대응되므로, 메뉴 선택 화면의 깊이는, 3차원 공간 터치 신호, 예컨대 손 모양의 아바타의 깊이에 맞추어 표시된다. 즉, 손모양의 아바타로 3차원적으로 메뉴 선택을 하기 위해서는 손 모양의 깊이에 메뉴 선택 화면의 깊이를 연동시켜 출력해야 한다. 사용자가 손을 내밀어 제스쳐를 취했을 때, 카메라(110_1, 110_2)로부터 손까지의 깊이에 맞추어(또는 손에 대응하는 3차원 공간 터치 신호, 예컨대 3차원 아바타가 헤드 마운트 디스플레이 장치(10)의 화면에 표시되는 깊이에 맞추어) 메뉴 선택 화면의 깊이를 설정하여 표시하여야, 3차원 아바타가 메뉴를 선택할 수 있기 때문이다. 따라서 3차원 그래픽 사용자 인터페이스부(130)는 도 3의 손위치 및 동작 분석부(124)에 의해 추출된 손영역의 3차원 정보 중 깊이 정보에 따라, 3차원 GUI의 깊이를 설정하여(연동하여) 3차원 GUI와 3차원 공간 터치 신호를 표시한다. 그로 인해 사용자는 헤드 마운트 디스플레이 장치(10)의 화면를 통해 자신의 손동작을 실시간으로 확인할 수 있도록 한다.
그리고 3차원 매칭부(140)는 3차원 GUI와 3차원 공간 터치 신호를 매칭하여, 3차원 공간 터치 신호를 3차원 GUI 에 대한 제어 명령으로 인식한다. 예를 들어, 채널을 선택하는 메뉴와 음량을 조절하는 메뉴가 3차원 GUI로 표시되는 경우, 3차원 공간 터치 신호가 채널을 선택하는 메뉴의 위치 및 깊이에서, 메뉴를 통해 채널을 선택하는 신호이면, 3차원 매칭부(140)는 채널을 선택하는 메뉴와 3차원 공간 터치 신호를 매칭함으로써, 채널 선택 메뉴를 제어하는 것으로 인식한다.
그리고 3차원 GUI 제어부(150)는 매칭된 결과, 즉 매칭에 의해 인식된 제어 명령에 따라 3차원 GUI를 제어한다. 예를 들어 3차원 GUI 제어부(150)는 채널을 선택하는 제어 명령에 따라 채널을 선택한다.
더 나아가 이러한 헤드 마운트 디스플레이 장치(10)는, 장착된 2개의 카메라(110_1, 110_2)로부터 얻은 실 영상과 3D 콘텐츠의 합성으로 인해, 사용자에게 다양한 서비스를 제공할 수 있다. 즉, 실 영상에서 사용자가 상세한 정보를 원하는 물체나 문자 등을 3D 공간터치 기술을 이용해 포인팅하면, 물체인식이나 문자, 장면 인식 등의 다양한 영상처리 인식 알고리즘을 적용한 후, 인식 결과를 바탕으로 관련 정보를 Web에서 연동해서 3D GUI로 제공할 수 있는 서비스가 가능하다.
도 4를 더 참조하여 실시예에 따른 3차원 공간 터치 제어 방법을 설명한다.
먼저 적어도 2개의 카메라(110_1, 110_2)가 사용자의 손을 촬영한다. 다음으로 깊이 맵 생성부(122)가 촬영한 영상으로부터 깊이 맵을 생성한다(S410).
그리고 손위치 및 동작 분석부(124)가 깊이 맵으로부터 손 영역의 3차원 정보를 추출하고, 손의 위치 및 동작을 분석한다(S420).
3차원 그래픽 사용자 인터페이스부(130)는 손의 3차원 정보, 예컨대 손의 깊 이에 3차원 GUI의 깊이를 연동시키며(S430), 3차원 GUI 상에 3차원 공간 터치 신호를 표시한다. 3차원 공간 터치 신호 생성부(126)는 손의 위치 및 동작을 분석한 분석 결과를 기초로 3차원 공간 터치 신호를 생성한다(S440).
그리고 3차원 매칭부(140)는, 3차원 그래픽 사용자 인터페이스부(130)에 의해 손의 깊이와 연동된 3차원 GUI와 3차원 공간 터치 신호를 매칭한다(S450). 여기서 3차원 매칭부(140)는 3차원 공간 터치 신호에 의한 제어 명령을 인식할 수 있다.
그리고 3차원 GUI 제어부(150)는, 매칭 결과에 따라 즉, 인식된 제어 명령에 따라 3차원 GUI를 제어한다(S460).
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 실시예에 따른 헤드 마운트 디스플레이 장치의 사시도이다.
도 2는 헤드 마운트 디스플레이 장치를 나타내는 블록도이다.
도 3은 도 2의 3D 공간 터치 생성부를 나타내는 블록도이다.
도 4는 실시예에 따른 3차원 공간 터치 제어 방법을 나타내는 순서도이다.

Claims (1)

  1. 헤드 마운트 디스플레이 장치에 있어서,
    상기 헤드 마운트 디스플레이 장치를 착용한 사용자의 손을 촬영하는 적어도 2개의 카메라;
    촬영한 영상으로부터 상기 손의 위치 및 동작을 분석하고, 상기 손의 위치 및 동작에 대응하는 3차원 공간 터치 신호를 생성하는 3차원 공간 터치 생성부; 및
    3차원 그래픽 사용자 인터페이스(GUI) 상에서 상기 3차원 공간 터치 신호를 표시하고, 상기 3차원 공간 터치 신호에 의해 상기 3차원 GUI를 제어하는 제어부
    를 포함하는 헤드 마운트 디스플레이 장치.
KR1020090127365A 2009-12-18 2009-12-18 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법 KR20110070514A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090127365A KR20110070514A (ko) 2009-12-18 2009-12-18 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090127365A KR20110070514A (ko) 2009-12-18 2009-12-18 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법

Publications (1)

Publication Number Publication Date
KR20110070514A true KR20110070514A (ko) 2011-06-24

Family

ID=44402007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090127365A KR20110070514A (ko) 2009-12-18 2009-12-18 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법

Country Status (1)

Country Link
KR (1) KR20110070514A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013082041A1 (en) * 2011-11-30 2013-06-06 Mcculloch Daniel Shared collaboration using head-mounted display
KR101476503B1 (ko) * 2012-06-07 2014-12-26 한양대학교 산학협력단 착용형 디스플레이 장치를 위한 인터랙션 제공 장치 및 방법
KR20160017439A (ko) * 2014-08-06 2016-02-16 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법
WO2019135634A1 (en) * 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
US10588927B2 (en) 2014-12-19 2020-03-17 Neurobo Pharmaceuticals, Inc. Composition containing mixed extract of mulberry and Poria cocos peel
KR20230051405A (ko) 2021-10-09 2023-04-18 강설민 한 손으로도 편한 보조배터리

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013082041A1 (en) * 2011-11-30 2013-06-06 Mcculloch Daniel Shared collaboration using head-mounted display
US9063566B2 (en) 2011-11-30 2015-06-23 Microsoft Technology Licensing, Llc Shared collaboration using display device
KR101476503B1 (ko) * 2012-06-07 2014-12-26 한양대학교 산학협력단 착용형 디스플레이 장치를 위한 인터랙션 제공 장치 및 방법
KR20160017439A (ko) * 2014-08-06 2016-02-16 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법
US10588927B2 (en) 2014-12-19 2020-03-17 Neurobo Pharmaceuticals, Inc. Composition containing mixed extract of mulberry and Poria cocos peel
US10946053B2 (en) 2014-12-19 2021-03-16 Neurobo Pharmaceuticals, Inc. Composition containing mixed extract of mulberry and Poria cocos bark for preventing, improving or treating neurodegenerative disorders
WO2019135634A1 (en) * 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
US11188144B2 (en) 2018-01-05 2021-11-30 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device
KR20230051405A (ko) 2021-10-09 2023-04-18 강설민 한 손으로도 편한 보조배터리

Similar Documents

Publication Publication Date Title
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
CN107656613B (zh) 一种基于眼动追踪的人机交互系统及其工作方法
CN110832441B (zh) 用于虚拟、增强和混合现实显示系统的键盘
US9842433B2 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
US11170580B2 (en) Information processing device, information processing method, and recording medium
KR20230066626A (ko) 증강 현실에서 인터랙티브 게임 제어를 위한 손 제스처들의 추적
KR20230074780A (ko) 검출된 손 제스처들에 응답한 터치리스 포토 캡처
EP3317858B1 (en) Technique for more efficiently displaying text in virtual image generation system
EP2919093A1 (en) Method, system, and computer for identifying object in augmented reality
US20120056989A1 (en) Image recognition apparatus, operation determining method and program
EP2615523A1 (en) Image recognition apparatus, operation evaluation method, and program
EP3117290B1 (en) Interactive information display
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
KR20110070514A (ko) 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법
EP3196734A1 (en) Control device, control method, and program
JP7499819B2 (ja) ヘッドマウントディスプレイ
JP2016218594A (ja) 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム
EP4172681A1 (en) Augmented reality eyewear with 3d costumes
KR20230022239A (ko) 증강 현실 환경 향상
CN113498531A (zh) 头戴式信息处理装置以及头戴式显示系统
KR20180094875A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
JP2010244322A (ja) コミュニケーションキャラクター装置、及びそのプログラム
JP2015184986A (ja) 複合現実感共有装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application