KR101708455B1 - 핸드 플로트 입체 메뉴 시스템 - Google Patents

핸드 플로트 입체 메뉴 시스템 Download PDF

Info

Publication number
KR101708455B1
KR101708455B1 KR1020150126851A KR20150126851A KR101708455B1 KR 101708455 B1 KR101708455 B1 KR 101708455B1 KR 1020150126851 A KR1020150126851 A KR 1020150126851A KR 20150126851 A KR20150126851 A KR 20150126851A KR 101708455 B1 KR101708455 B1 KR 101708455B1
Authority
KR
South Korea
Prior art keywords
hand
user
menu
shape
stereoscopic image
Prior art date
Application number
KR1020150126851A
Other languages
English (en)
Inventor
최윤규
Original Assignee
엠더블유엔테크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠더블유엔테크 주식회사 filed Critical 엠더블유엔테크 주식회사
Priority to KR1020150126851A priority Critical patent/KR101708455B1/ko
Application granted granted Critical
Publication of KR101708455B1 publication Critical patent/KR101708455B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 핸드 플로트 입체 메뉴 시스템에 관한 것으로, 사용자의 입체 영상을 촬영하는 3차원 카메라(110);와, 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 손의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하는 주제어부(120);와, 상기 사용자가 착용하여 상기 주제어부(120)에서 전달된 입체 영상을 상기 사용자에게 제공하며, 상기 사용자의 시선 방향을 함께 감지하여 사용자 시선 벡터(V)로 상기 주제어부(120)에 전달하는 헤드 마운티드 입체 디스플레이(130);를 포함하여 구성되며, 상기 주제어부(120)는, 상기 핸드 데이터로부터 사용자의 손의 형상이 펼쳐진 형상인지를 판단하여(S4a), 손의 형상이 펼쳐진 형상으로 판단되는 경우 사용자의 손의 방향 벡터(P)와 상기 사용자 시선 벡터(V)의 수직축(Vz)사이의 각도가 소정의 각도 이내인 것으로 판단되는 경우(S4b), 상기 헤드 마운티드 입체 디스플레이(130)에 상기 핸드 데이터에서 사용자의 손의 위치 상측에 입체 영상으로 메뉴를 표시하는 것을 특징으로 하는 핸드 플로트 입체 메뉴 시스템(100)에 관한 것이다.

Description

핸드 플로트 입체 메뉴 시스템{Hand Float Menu System}
본 발명은 핸드 플로트 입체 메뉴 시스템에 관한 것으로, 사용자의 입체 영상을 촬영하는 3차원 카메라(110);와, 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 손의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하는 주제어부(120);와, 상기 사용자가 착용하여 상기 주제어부(120)에서 전달된 입체 영상을 상기 사용자에게 제공하며, 상기 사용자의 시선 방향을 함께 감지하여 사용자 시선 벡터(V)로 상기 주제어부(120)에 전달하는 헤드 마운티드 입체 디스플레이(130);를 포함하여 구성되며, 상기 주제어부(120)는, 상기 핸드 데이터로부터 사용자의 손의 형상이 펼쳐진 형상인지를 판단하여(S4a), 손의 형상이 펼쳐진 형상으로 판단되는 경우 사용자의 손의 방향 벡터(P)와 상기 시선 벡터(V)의 수직축(Vz)사이의 각도가 소정의 각도 이내인 것으로 판단되는 경우(S4b), 상기 헤드 마운티드 입체 디스플레이(130)에 상기 핸드 데이터에서 사용자의 손의 위치 상측에 입체 영상으로 메뉴를 표시하는 것을 특징으로 하는 핸드 플로트 입체 메뉴 시스템(100)에 관한 것이다.
UI(User Interface)는 전자장치와 사용자가 상호 작용할 수 있는 수단을 통칭한다. 즉, 사용자가 전자장치에 사용자명령을 전달할 수 있는 수단을 말한다. UI의 대표적인 예로, PUI(Physical User Interface)와 GUI(Graphical User Interface)를 들 수 있다.
PUI는 자판, 조작버튼, 터치패드 등과 같이 물리적인 방법으로 사용자명령을 입력하는 수단을 말하며, GUI는 디스플레이상에 표시되는 아이템이나 메뉴를 선택함으로서 사용자명령을 입력하는 수단을 말한다.
한편, 최근 영상표시장치의 스크린을 통해 양안 시차(stereo scopic) 방식의 3차원 영상이 구현됨에 따라, 사용자들은 보는 것으로 만족하지 않고 그에 따른 새로운 인터페이스를 요구하고 있는 실정이다.
예를 들어, 3차원 객체를 선택하고자 하는 경우, 자신의 손이 3D 영상과는 따로 보여지기 때문에 원하는 객체의 선택을 직관적으로 알기가 어렵다는 문제가 있었다. 또한, 스크린의 크기는 제한적인데 반해 화면을 제어하기 위한 메뉴들이 점점 증가함에 따라, 메뉴들이 화면의 많은 부분을 가리게 되는 불편이 있었다.
이러한 요청에 따라 기존에는 하기 특허문헌 1의 "화상인식장치 및 조작판정방법, 그리고 프로그램(대한민국 등록특허 10-1541803)"에, 조작자의 일부가 상기 가상조작면의 조작자측의 소정의 위치에 배치되며 그 가상조작면 상에서의 조작위치를 결정하기 위한 위치결정면으로부터 상기 가상조작면으로 이동하는 일련의 동작에 있어서 상기 가상조작면을 가로지를 때, 상기 위치결정면 상의 상기 조작자의 일부가 가로지른 위치에 대응하는 상기 가상조작면 상의 위치를, 그 조작자의 일부가 가로지른 것으로 하여 상기 조작자의 조작을 판정하는 것을 특징으로 하는 화상인식장치에 관한 구성이 개시되어 있다.
그러나 이러한 기존 발명은 단순히 여러 개의 메뉴 중 어느 하나를 선택하고 조작하는 것만이 가능하며, 실제로 메뉴를 사용자가 손을 이용하여 직관적으로 표시하고, 스크롤하며 선택하고 이동하거나 하는 등의 작동은 불가능하다는 문제점이 있었다.
대한민국 등록특허 10-1541803
본 발명은 상기한 기존 발명의 문제점을 해결하여, 사용자의 시선을 검출하고 사용자의 손의 형상, 위치 및 방향을 거출한 후 이를 이용하여 메뉴를 입체 영상으로 사용자가 손을 이용하여 직관적으로 표시하고, 스크롤하며 선택하고 이동하거나 하는 작동이 가능한 핸드 플로트 입체 메뉴 시스템을 제공하는 것을 그 과제로 한다.
상기한 과제를 달성하기 위하여 본 발명의 일 실시예에 의한 핸드 플로트 입체 메뉴 시스템은, 사용자의 입체 영상을 촬영하는 3차원 카메라(110);와, 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 손의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하는 주제어부(120);와, 상기 사용자가 착용하여 상기 주제어부(120)에서 전달된 입체 영상을 상기 사용자에게 제공하며, 상기 사용자의 시선 방향을 함께 감지하여 사용자 시선 벡터(V)로 상기 주제어부(120)에 전달하는 헤드 마운티드 입체 디스플레이(130);를 포함하여 구성되며, 상기 주제어부(120)는, 상기 핸드 데이터로부터 사용자의 손의 형상이 펼쳐진 형상인지를 판단하여(S4a), 손의 형상이 펼쳐진 형상으로 판단되는 경우 사용자의 손의 방향 벡터(P)와 상기 시선 벡터(V)의 수직축(Vz)사이의 각도가 소정의 각도 이내인 것으로 판단되는 경우(S4b), 상기 헤드 마운티드 입체 디스플레이(130)에 상기 핸드 데이터에서 사용자의 손의 위치 상측에 입체 영상으로 메뉴를 표시하는 것을 특징으로 한다.
한편, 상기한 과제를 달성하기 위하여 본 발명의 다른 실시예에 의한 핸드 플로트 입체 메뉴 시스템은, 사용자의 입체 영상을 촬영하는 3차원 카메라(110);와, 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 양 손 각각의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하고, 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 시선 방향 벡터(V)를 더 검출해 내는 주제어부(120);와, 상기 사용자가 착용하여 상기 주제어부(120)에서 전달된 입체 영상을 상기 사용자에게 제공하는 헤드 마운티드 입체 디스플레이(130);를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 형상이 펼쳐진 형상으로 판단되는 경우 해당되는 사용자의 손의 방향 벡터(P)와 상기 시선 벡터(V)의 수직축(Vz)사이의 각도(a)가 소정의 각도(b) 이내인 것으로 판단하는 단계(S4b)는, 상기 시선 벡터(V)의 수직축(Vz)과 10도 이내의 각도(θ)를 가지는 기준축에 대한 사용자의 손의 방향 벡터(P)의 각도가 상기 소정의 각도(b) 이내인지를 판단하는 것을 특징으로 하고, 상기 주제어부(120)는, 상기 메뉴가 표시된 손 이외의 다른 손의 핸드 데이터에서 상기 다른 손의 위치가 상기 메뉴를 스쳐 돌리는 동작을 하는 것으로 판단되는 경우, 상기 동작에 따라 표시된 상기 메뉴를 스크롤 하여 표시하는 것을 특징으로 한다.
또한, 상기 주제어부(120)는, 상기 메뉴가 표시된 손 이외의 다른 손의 핸드 데이터에서, 상기 다른 손의 형상의 변화를 통하여 상기 다른 손이 주먹을 쥐는 것으로 판단되거나, 상기 다른 손의 위치가 소정 시간 이상 정지하여 있는 것으로 판단되는 경우, 상기 다른 손의 위치에 해당하는 상기 메뉴 상의 아이템을 선택하는 것으로 처리하는 것을 특징으로 한다.
또한, 상기 주제어부(120)는, 선택된 상기 아이템을 상기 메뉴가 표시된 손 이외의 다른 손의 핸드 데이터에서 상기 다른 손의 위치 이동에 따라 이동시킨 후, 상기 다른 손의 상기 핸드 데이터에서 상기 다른 손의 형상이 손을 펴는 것으로 판단되는 경우 해당 위치에 상기 선택된 아이템을 배치하는 것으로 처리하는 것을 특징으로 한다.
본 발명에 의하는 경우, 사용자의 시선을 검출하고 사용자의 손의 형상, 위치 및 방향을 거출한 후 이를 이용하여 메뉴를 입체 영상으로 사용자가 손을 이용하여 직관적으로 표시하고, 스크롤하며 선택하고 이동하거나 하는 다양한 작동이 가능하다는 장점이 있다.
도 1: 본 발명의 일 실시예에 의한 핸드 플로트 입체 메뉴 시스템의 구성을 나타내는 도면.
도 2: 본 발명의 일 실시예에 의한 핸드 플로트 입체 메뉴 시스템의 시선 벡터 및 손 벡터를 정의하는 도면.
도 3: 본 발명의 일 실시예에 의한 핸드 플로트 입체 메뉴 시스템의 메뉴 표시 시작 단계를 나타내는 플로우차트.
도 4: 본 발명의 일 실시예에 의한 핸드 플로트 입체 메뉴 시스템의 메뉴 표시 단계의 화면을 나타내는 도면.
도 5: 본 발명의 일 실시예에 의한 핸드 플로트 입체 메뉴 시스템의 메뉴 스크롤 단계의 화면을 나타내는 도면.
도 6: 본 발명의 일 실시예에 의한 핸드 플로트 입체 메뉴 시스템의 메뉴 선택 단계의 화면을 나타내는 도면.
도 7: 본 발명의 일 실시예에 의한 핸드 플로트 입체 메뉴 시스템의 선택 아이템 배치 단계의 화면을 나타내는 도면.
이하에서는 첨부된 도면을 참조로 하여, 본 발명의 일 실시 예에 따른 핸드 플로트 입체 메뉴 시스템을 상세히 설명한다. 우선, 도면들 중, 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호로 나타내고 있음에 유의하여야 한다. 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 관한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.
본 발명의 일 실시예에 의한 핸드 플로트 입체 메뉴 시스템은, 도 1에 나타낸 것과 같이, 사용자의 입체 영상을 촬영하는 3차원 카메라(110)와, 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 손의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하는 주제어부(120)와, 상기 사용자가 착용하여 상기 주제어부(120)에서 전달된 입체 영상을 상기 사용자에게 제공하며, 상기 사용자의 시선 방향을 함께 감지하여 사용자 시선 벡터(V)로 상기 주제어부(120)에 전달하는 헤드 마운티드 입체 디스플레이(130)를 포함하여 구성된다.
한편, 상기 사용자 시선 벡터(V)를 검출하는 것은 사용자를 촬영한 입체 영상의 처리에 의하여 실시되는 것도 가능하다. 이 경우, 본 발명의 다른 실시예에 의한 핸드 플로트 입체 메뉴 시스템은, 사용자의 입체 영상을 촬영하는 3차원 카메라(110);와, 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 양 손 각각의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하고, 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 시선 벡터(V)를 더 검출해 내는 주제어부(120);와, 상기 사용자가 착용하여 상기 주제어부(120)에서 전달된 입체 영상을 상기 사용자에게 제공하는 헤드 마운티드 입체 디스플레이(130);를 포함하여 구성되는 것을 특징으로 한다.
이와 같이 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 손의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하거나 사용자의 시선 벡터(V)를 더 검출해 내는 구성은 'kinect', 'Leap Motion' 등의 상표명을 통하여 제공되는 장치 등을 통하여 본 발명이 속하는 기술 분야에서 널리 사용되고 있는 구성이므로 상세한 설명은 생략한다. 한편, 상기 사용자의 손의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하는데는, 'Myo'라는 상표명으로 널리 알려져 사용되고 있는 팔근육 신호 및 자이로메터 통합 감지 장치(2000를 이용하는 것도 가능하다.
이 경우, 상기 주제어부(120)는 도 3에 나타낸 것과 같이, 상기 핸드 데이터로부터 사용자의 손의 형상이 펼쳐진 형상인지를 판단하여(S4a), 손의 형상이 펼쳐진 형상으로 판단되는 경우 사용자의 손의 방향 벡터(P)와 상기 사용자 시선 벡터(V)의 수직축(Vz) 사이의 각도(a)가 소정의 각도(b) 이내인 것으로 판단되는 경우(S4b), 도 4에 나타낸 것과 같이 상기 헤드 마운티드 입체 디스플레이(130)에 상기 핸드 데이터에서 사용자의 손의 위치 상측에 입체 영상으로 메뉴를 표시한다. 이 경우, 도 4에서는 상기 메뉴가 입체적인 실린더 형상을 가지는 경우를 예시하였지만, 상기 메뉴의 구성 및 형상은 다양한 변형 실시가 가능하다. 즉, 사용자가 손바닥을 펴서 입체 영상으로 표시될 메뉴를 올려놓을 수 있는 것과 같은 동작을 하는 경우 이를 메뉴 표시를 위한 신호로 판단하여 실제로 사용자의 손바닥에 메뉴를 올려놓은 것과 같이 입체 영상으로 메뉴를 표시한다. 한편, 사용자의 손의 위치 상측에 입체 영상으로 상기 메뉴를 표시하도록 작동하는 것에 의하여, 사용자가 메뉴가 표시된 손을 이동하는 경우 입체 영상으로 표현된 메뉴 역시 함께 이동하면서 실제로 사용자의 손바닥에 메뉴가 얹혀져 이동하는 것처럼 극히 직관적으로 표현하는 것이 가능하다.
한편, 상기 형상이 펼쳐진 형상으로 판단되는 경우 해당되는 사용자의 손의 방향 벡터(P)와 상기 사용자 시선 벡터(V)의 수직축(Vz)사이의 각도(a)가 소정의 각도(b) 이내인 것으로 판단하는 단계(S4b)는, 도 2에 나타낸 것과 같이 상기 사용자 시선 벡터(V)의 수직축(Vz)과 10도 이내의 각도(θ)를 가지는 소정의 기준축에 대한 사용자의 손의 방향 벡터(P)의 각도가 상기 소정의 각도(b) 이내인지를 판단하는 것도 가능하다. 즉, 을 특징으로 하고,
또한, 상기 주제어부(120)는, 상기 메뉴가 표시된 손 이외의 다른 손의 핸드 데이터에서 상기 다른 손의 위치가 상기 메뉴를 스쳐 돌리는 동작을 하는 것으로 판단되는 경우, 도 5에 나타낸 것과 같이 상기 동작에 따라 표시된 상기 메뉴를 스크롤 하여 표시하는 것이 바람직하다. 즉, 한 손바닥 위에 표시된 입체 메뉴를 다른 손으로 돌리거나 미는 것과 같은 동작에 따라, 입체 영상으로 표시되는 메뉴가 마치 실제로 스크롤 되는 것과 동일하게 표시되도록 하여, 사용자에게 극히 직관적인 조작이 가능하도록 하는 것이 바람직하다.
또한, 상기 주제어부(120)는, 상기 메뉴가 표시된 손 이외의 다른 손의 핸드 데이터에서, 상기 다른 손의 형상의 변화를 통하여 상기 다른 손이 주먹을 쥐는 것으로 판단되거나, 상기 다른 손의 위치가 소정 시간 이상 정지하여 있는 것으로 판단되는 경우, 도 6에 나타낸 것과 같이 상기 다른 손의 위치에 해당하는 상기 메뉴 상의 아이템을 선택하는 것으로 처리하는 것이 바람직하다.
또한, 선택된 아이템을 이동하여 배치하는 것이 가능하도록 상기 주제어부(120)는, 도 7에 나타낸 것과 같이 선택된 상기 아이템을 상기 메뉴가 표시된 손 이외의 다른 손의 핸드 데이터에서 상기 다른 손의 위치 이동에 따라 이동시킨 후, 상기 다른 손의 상기 핸드 데이터에서 상기 다른 손의 형상이 손을 펴는 것으로 판단되는 경우 해당 위치에 상기 선택된 아이템을 배치하는 것으로 처리하는 것이 바람직하다.
이상에서는 도면과 명세서에서 최적 실시 예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 핸드 플로트 입체 메뉴 시스템
110: 3차원 카메라
120: 주제어부
130: 헤드 마운티드 입체 디스플레이
140: 디스플레이
V: 사용자 시선 벡터
PR: 오른손바닥 벡터
PL: 왼손바닥 벡터

Claims (5)

  1. 사용자의 입체 영상을 촬영하는 3차원 카메라(110);
    상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 양 손 각각의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하는 주제어부(120);
    상기 사용자가 착용하여 상기 주제어부(120)에서 전달된 입체 영상을 상기 사용자에게 제공하며, 상기 사용자의 시선 방향을 함께 감지하여 사용자 시선 벡터(V)로 상기 주제어부(120)에 전달하는 헤드 마운티드 입체 디스플레이(130);를 포함하여 구성되며,
    상기 주제어부(120)는,
    상기 핸드 데이터로부터 사용자의 양손의 형상 중 펼쳐진 형상이 있는지를 판단하여(S4a),
    형상이 펼쳐진 형상으로 판단되는 경우 해당되는 사용자의 손의 방향 벡터(P)와 상기 사용자 시선 벡터(V)의 수직축(Vz)사이의 각도(a)가 소정의 각도(b) 이내인 것으로 판단되는 경우(S4b),
    상기 헤드 마운티드 입체 디스플레이(130)에 상기 핸드 데이터에서 사용자의 펼쳐진 손의 위치 상측에 입체 영상으로 메뉴를 표시하는 것을 특징으로 하는 핸드 플로트 입체 메뉴 시스템(100).
  2. 사용자의 입체 영상을 촬영하는 3차원 카메라(110);
    상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자의 양 손 각각의 위치, 형상 및 방향 벡터(P)를 포함하는 핸드 데이터를 추출하고, 상기 3차원 카메라(110)에서 촬영된 사용자의 입체 영상에서 사용자 시선 벡터(V)를 더 검출해 내는 주제어부(120);
    상기 사용자가 착용하여 상기 주제어부(120)에서 전달된 입체 영상을 상기 사용자에게 제공하는 헤드 마운티드 입체 디스플레이(130);를 포함하여 구성되며,
    상기 주제어부(120)는,
    상기 핸드 데이터로부터 사용자의 양손의 형상 중 펼쳐진 형상이 있는지를 판단하여(S4a),
    형상이 펼쳐진 형상으로 판단되는 경우 해당되는 사용자의 손의 방향 벡터(P)와 상기 사용자 시선 벡터(V)의 수직축(Vz)사이의 각도(a)가 소정의 각도(b) 이내인 것으로 판단되는 경우(S4b),
    상기 헤드 마운티드 입체 디스플레이(130)에 상기 핸드 데이터에서 사용자의 펼쳐진 손의 위치 상측에 입체 영상으로 메뉴를 표시하는 것을 특징으로 하는 핸드 플로트 입체 메뉴 시스템(100).
  3. 청구항 제 1항 또는 청구항 제 2항에 있어서,
    상기 주제어부(120)는,

    상기 메뉴가 표시된 손 이외의 다른 손의 핸드 데이터에서 상기 다른 손의 위치가 상기 메뉴를 스쳐 돌리는 동작을 하는 것으로 판단되는 경우,
    상기 동작에 따라 표시된 상기 메뉴를 스크롤 하여 표시하는 것을 특징으로 하는 핸드 플로트 입체 메뉴 시스템(100).
  4. 청구항 제 3항에 있어서,
    상기 형상이 펼쳐진 형상으로 판단되는 경우 해당되는 사용자의 손의 방향 벡터(P)와 상기 사용자 시선 벡터(V)의 수직축(Vz)사이의 각도(a)가 소정의 각도(b) 이내인 것으로 판단하는 단계(S4b)는,
    상기 사용자 시선 벡터(V)의 수직축(Vz)과 10도 이내의 각도(θ)를 가지는 기준축에 대한 사용자의 손의 방향 벡터(P)의 각도가 상기 소정의 각도(b) 이내인지를 판단하는 것을 특징으로 하고,
    상기 주제어부(120)는,
    상기 메뉴가 표시된 손 이외의 다른 손의 핸드 데이터에서, 상기 다른 손의 형상의 변화를 통하여 상기 다른 손이 주먹을 쥐는 것으로 판단되거나, 상기 다른 손의 위치가 소정 시간 이상 정지하여 있는 것으로 판단되는 경우,
    상기 다른 손의 위치에 해당하는 상기 메뉴 상의 아이템을 선택하는 것으로 처리하는 것을 특징으로 하는 핸드 플로트 입체 메뉴 시스템(100).
  5. 청구항 제 4항에 있어서,
    상기 주제어부(120)는,
    선택된 상기 아이템을 상기 메뉴가 표시된 손 이외의 다른 손의 핸드 데이터에서 상기 다른 손의 위치 이동에 따라 이동시킨 후,
    상기 다른 손의 상기 핸드 데이터에서 상기 다른 손의 형상이 손을 펴는 것으로 판단되는 경우 해당 위치에 상기 선택된 아이템을 배치하는 것으로 처리하는 것을 특징으로 하는 핸드 플로트 입체 메뉴 시스템(100).
KR1020150126851A 2015-09-08 2015-09-08 핸드 플로트 입체 메뉴 시스템 KR101708455B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150126851A KR101708455B1 (ko) 2015-09-08 2015-09-08 핸드 플로트 입체 메뉴 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150126851A KR101708455B1 (ko) 2015-09-08 2015-09-08 핸드 플로트 입체 메뉴 시스템

Publications (1)

Publication Number Publication Date
KR101708455B1 true KR101708455B1 (ko) 2017-02-21

Family

ID=58313946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150126851A KR101708455B1 (ko) 2015-09-08 2015-09-08 핸드 플로트 입체 메뉴 시스템

Country Status (1)

Country Link
KR (1) KR101708455B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558009A (zh) * 2018-11-30 2019-04-02 努比亚技术有限公司 视频播放方法、移动终端及计算机可读存储介质
KR20230022065A (ko) * 2021-08-06 2023-02-14 주식회사 피앤씨솔루션 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
WO2023096038A1 (ko) * 2021-11-29 2023-06-01 주식회사 피앤씨솔루션 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
WO2024025089A1 (ko) * 2022-07-29 2024-02-01 삼성전자주식회사 Ar 객체를 표시하기 위한 디스플레이 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140069124A (ko) * 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
KR20150040580A (ko) * 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR20150051769A (ko) * 2013-11-05 2015-05-13 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
KR101541803B1 (ko) 2010-09-06 2015-08-04 시마네켄 화상인식장치 및 조작판정방법, 그리고 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101541803B1 (ko) 2010-09-06 2015-08-04 시마네켄 화상인식장치 및 조작판정방법, 그리고 프로그램
KR20140069124A (ko) * 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
KR20150040580A (ko) * 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR20150051769A (ko) * 2013-11-05 2015-05-13 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558009A (zh) * 2018-11-30 2019-04-02 努比亚技术有限公司 视频播放方法、移动终端及计算机可读存储介质
KR20230022065A (ko) * 2021-08-06 2023-02-14 주식회사 피앤씨솔루션 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
KR102539045B1 (ko) 2021-08-06 2023-06-02 주식회사 피앤씨솔루션 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
WO2023096038A1 (ko) * 2021-11-29 2023-06-01 주식회사 피앤씨솔루션 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
KR20230080081A (ko) * 2021-11-29 2023-06-07 주식회사 피앤씨솔루션 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
KR102636996B1 (ko) * 2021-11-29 2024-02-16 주식회사 피앤씨솔루션 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
WO2024025089A1 (ko) * 2022-07-29 2024-02-01 삼성전자주식회사 Ar 객체를 표시하기 위한 디스플레이 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
JP6551502B2 (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
EP2620849B1 (en) Operation input apparatus, operation input method, and program
CN108780360B (zh) 虚拟现实导航
JP4701424B2 (ja) 画像認識装置および操作判定方法並びにプログラム
US9378592B2 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9448624B2 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP6116934B2 (ja) アイコン操作装置
JP5604739B2 (ja) 画像認識装置および操作判定方法並びにプログラム
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US9544556B2 (en) Projection control apparatus and projection control method
KR101708455B1 (ko) 핸드 플로트 입체 메뉴 시스템
JP6428020B2 (ja) Ｇｕｉ装置
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US10437415B2 (en) System, method, and device for controlling a display
KR20160039939A (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
KR20150072203A (ko) 차량 제어 장치 및 이를 이용한 차량 제어 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant