KR20210017165A - 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법 - Google Patents

중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20210017165A
KR20210017165A KR1020190095989A KR20190095989A KR20210017165A KR 20210017165 A KR20210017165 A KR 20210017165A KR 1020190095989 A KR1020190095989 A KR 1020190095989A KR 20190095989 A KR20190095989 A KR 20190095989A KR 20210017165 A KR20210017165 A KR 20210017165A
Authority
KR
South Korea
Prior art keywords
user
virtual
gaze
interaction
objects
Prior art date
Application number
KR1020190095989A
Other languages
English (en)
Other versions
KR102252110B1 (ko
Inventor
박정민
이중재
Original Assignee
한국과학기술연구원
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, 재단법인 실감교류인체감응솔루션연구단 filed Critical 한국과학기술연구원
Priority to KR1020190095989A priority Critical patent/KR102252110B1/ko
Priority to US16/868,100 priority patent/US11150728B2/en
Publication of KR20210017165A publication Critical patent/KR20210017165A/ko
Application granted granted Critical
Publication of KR102252110B1 publication Critical patent/KR102252110B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

중첩된 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법이 제공된다. 사용자 인터페이스 장치는 복수의 가상 오브젝트가 구현된 3차원 가상 공간에 적용되는 사용자 인터페이스 제공 장치로서, 사용자 시선을 감지하는 시선 감지부; 상기 3차원 가상 공간에서 상기 가상 오브젝트와의 인터랙션을 위한 사용자의 신체 동작을 감지하는 인터랙션 감지부; 상기 3차원 가상 공간이 표시되는 디스플레이부; 및 상기 사용자 시선이 적어도 두 개 이상의 가상 오브젝트와 중첩되는 경우, 상기 중첩되는 가상 오브젝트와 대응되는 투영 오브젝트를 생성하는 제어부를 포함하되, 상기 제어부는 상기 투영 오브젝트와 상기 사용자 간의 인터랙션이 감지되는 경우, 상기 인터랙션을 상기 투영 오브젝트와 대응되는 가상 오브젝트와 상기 사용자 간의 인터랙션으로 처리한다.

Description

중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법{User interface device and control method thereof for supporting easy and accurate selection of overlapped virtual objects}
3차원 가상 공간에서 사용자의 시선 방향에 중첩되어 위치한 복수의 가상 오브젝트 중 특정 가상 오브젝트를 정확하고, 용이하게 선택할 수 있는 사용자 인터페이스 장치 및 방법에 관한 것으로, 복수의 가상 오브젝트를 사용자의 시선 방향에 중첩되지 않도록 투영시키는 인터페이스를 통해 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 방법에 관한 것이다.
최근 사용자들은 컴퓨터 기술과 장비의 급속한 발전과 더불어 다양한 제품 개발이 이루어짐에 따라 이전과는 다른 다양한 인터랙션을 경험하고 있다. 지금까지 사람과 컴퓨터 간의 효율적이고 개선된 인터랙션(상호 작용)을 위한 연구는 꾸준히 진행되어 왔으며, 최근, 사용자의 제스처, 구체적으로 사용자의 손을 손 인식 장치 등을 통해 인식하여, 가상 공간에서 사용자의 가상 손과 3차원 가상 오브젝트와의 인터랙션을 수행하는 자연스러운 사용자 인터페이스(NUI, Natural User Interface)가 개발된 바 있다.
상술한 사용자 인터페이스 장치에서 사용자는 가상 공간 상에 위치한 3차원 가상 오브젝트를 선택하거나 잡기(Grasp) 위해 실제 손을 3차원 가상 오브젝트에 대응하는 실제 위치까지 이동할 필요가 있다. 즉, 가상 공간의 인터랙션을 위해 실제 손 또한 가상 공간에 대응하여 동작해야 하였으며 손, 팔의 피로도 누적에 따라 장시간 사용이 어려운 문제점이 존재하였다.
또한, 가상 공간에서 3차원 가상 오브젝트를 선택하는 것은 센서 노이즈, 손의 떨림 등에 의해 오선택(Miss-selection)이 발생할 수 있다. 이러한, 3차원 가상 오브젝트를 잘못 선택하는 것은 가상 공간에 복수의 3차원 가상 오브젝트가 인접하여 존재할 때, 특히, 사용자의 시선 방향에서 복수의 3차원 가상 오브젝트가 중첩되어 보이는 경우 더 자주 발생할 수 있다. 즉, 복수의 3차원 가상 오브젝트에서 선택하려는 가상 오브젝트를 정밀하게 선택해야 하기에 사용자의 불편이 초래되며, 전자 장치의 전체적인 동작/조작 시간을 증가시키는 문제점이 있었다.
이에, 본 발명의 발명자는 가상 공간에 위치한 3차원 가상 오브젝트를 보다 정확하고, 효율적으로 선택할 수 있는 사용자 인터페이스 장치 및 방법을 개발하였다.
R. Y. Wang, S. Paris, and J. Popovic, "6D Hands: Markerless Hand Tracking for Computer Aided Design", UIST, 2011
본 발명은 3차원 가상 공간에서 사용자의 시선 방향에 중첩되어 위치한 복수의 가상 오브젝트 중 특정 가상 오브젝트를 정확하고, 용이하게 선택할 수 있는 사용자 인터페이스 장치 및 방법을 제공한다.
본 발명의 일 실시예에 따른 사용자 인터페이스 장치는 복수의 가상 오브젝트가 구현된 3차원 가상 공간에 적용되는 사용자 인터페이스 제공 장치로서, 사용자 시선을 감지하는 시선 감지부; 상기 3차원 가상 공간에서 상기 가상 오브젝트와의 인터랙션을 위한 사용자의 신체 동작을 감지하는 인터랙션 감지부; 상기 3차원 가상 공간이 표시되는 디스플레이부; 및 상기 사용자 시선이 적어도 두 개 이상의 가상 오브젝트와 중첩되는 경우, 상기 중첩되는 가상 오브젝트와 대응되는 투영 오브젝트를 생성하는 제어부를 포함하되, 상기 제어부는 상기 투영 오브젝트와 상기 사용자 간의 인터랙션이 감지되는 경우, 상기 인터랙션을 상기 투영 오브젝트와 대응되는 가상 오브젝트와 상기 사용자 간의 인터랙션으로 처리한다.
본 발명의 다른 실시예에 따른 사용자 인터페이스 장치의 제어 방법은 복수의 가상 오브젝트가 구현된 3차원 가상 공간에 적용되는 사용자 인터페이스를 제공하는 장치의 제어 방법으로, 사용자 시선이 적어도 두 개 이상의 가상 오브젝트와 중첩되는 지 여부를 판단하는 단계; 상기 사용자 시선이 상기 적어도 두 개 이상의 가상 오브젝트와 중첩되는 경우, 상기 중첩되는 가상 오브젝트와 대응되는 투영 오브젝트를 생성하는 단계; 상기 투영 오브젝트와 상기 사용자의 인터랙션을 감지하는 단계; 및 상기 투영 오브젝트와 상기 사용자 간의 인터랙션이 감지되는 경우, 상기 인터랙션을 상기 투영 오브젝트와 대응되는 가상 오브젝트와 상기 사용자 간의 인터랙션으로 처리하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 컴퓨터 프로그램은 하드웨어와 결합되어 상술한 사용자 인터페이스 장치의 제어 방법을 실행하도록 매체에 저장된다.
본 발명의 실시예에 따른 사용자 인터페이스 장치 및 방법은 사용자 시선이 적어도 두 개의 가상 오브젝트와 중첩되는 것을 인식한 이후, 가상 오브젝트 선택의 용이성 및 정확성을 위한 추가적인 인터페이스를 제공할 수 있다.
이에 따라, 중첩된 가상 오브젝트를 보다 정확하게 용이하게 선택할 수 있는 바, 오선택(Miss-selection) 가능성이 감소되며, 사용자 인터페이스의 사용 편의성이 증대되고, 전자 장치의 전체적인 동작/조작 시간이 감소될 수 있다. 또한, 가상 공간의 인터랙션을 위해 수행되어야 하는 동작 또는 이동이 감소될 수 있어 사용자 조작의 피로도가 감소될 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치와 사용자의 위치 관계를 도시한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치가 적용되는 3차원 가상 공간을 나타낸 예시도이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치에서 가상 오브젝트 선택의 용이성을 위한 추가적인 인터페이스를 제공하는 과정을 도시한 예시도이다.
도 5는 본 발명의 다른 실시예에 따른 사용자 인터페이스 장치의 제어 방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 구성을 개략적으로 도시한 블록도이다. 도 2는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치와 사용자의 위치 관계를 도시한 예시도이다. 도 3은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치가 적용되는 3차원 가상 공간을 나타낸 예시도이다.
도 1 내지 도 3을 참조하면, 사용자 인터페이스 장치(10)는 제어부(100), 시선 감지부(110), 인터랙션 감지부(120) 및 디스플레이부(130)를 포함한다. 실시예들에 따른 사용자 인터페이스 장치(10) 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 발명의 일 실시예에 따른 사용자 인터페이스 장치(10)의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭한다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
사용자 인터페이스 장치(10)는 3차원 가상 공간에 적용되는 사용자 인터페이스를 제공하는 장치 또는 시스템일 수 있다. 사용자 인터페이스 장치(10)는 3차원 가상 공간을 제공하는 장치 또는 시스템에 연결되거나 이에 포함될 수 있다. 본 실시예에 따른 사용자 인터페이스 장치(10)가 적용되는 3차원 가상 공간은 적어도 한 명 이상의 사용자가 참여할 수 있는 가상 공간 콘텐츠를 포함할 수 있다.
가상 공간은 소정의 물리 량을 가진 복수의 가상 오브젝트가 구현될 수 있다. 가상 오브젝트는 가상 공간상에서 사용자의 신체 일부 또는 실제 물체와 근사하게 물리적인 운동을 수행하도록 구현될 수 있다. 가상 오브젝트는 그래픽 정보와 물리 정보를 포함할 수 있다. 여기서, 그래픽 정보는 가상 오브젝트를 가상 공간에 렌더링하기 위한 정보일 수 있으며, 물리 정보는 가상 물체의 물리 법칙을 적용하기 위한 물리 량 및 다른 물리 정보를 가진 가상 물체와의 접촉을 인식하는 접촉 포인트 등에 관한 정보일 수 있다. 도 3에 도시된 바와 같이, 가상 공간은 가상 마트로 구현될 수 있으며, 마트의 상품에 해당하는 복수의 가상 오브젝트가 진열장 상에 위치될 수 있다. 여기서, 진열장 상에 배치된 복수의 가상 오브젝트는 이들을 바라보는 시점에 따라 일부 또는 전부 중첩되어 보일 수 있다. 본 발명의 일 실시예에 따른 사용자 인터페이스 장치(10)는 사용자의 시점 방향에 대해 중첩되어 위치하는 가상 오브젝트를 보다 용이하게 선택할 수 있는 인터페이스 및 방법을 제공할 수 있다. 구체적으로, 사용자 인터페이스 장치(10)는 디스플레이부(130)에 표시된 복수의 가상 오브젝트 중 적어도 하나를 용이하게 선택할 수 있는 가상 거울을 사용자에게 제공하며, 사용자가 복수의 가상 오브젝트 중 어떤 가상 오브젝트를 선택하는 지 판단한다.
시선 감지부(110)는 사용자 시선을 감지하여, 사용자 시선(210)이 어느 가상 오브젝트를 향하고 있는지 판단한다. 또한, 시선 감지부(110)는 사용자 시선(210)을 감지하여, 사용자 시선(210)과 복수의 가상 오브젝트(131, 132, 133)가 중첩되는 지 여부를 판단한다. 도 2에 도시된 바와 같이, 제1 가상 오브젝트(131), 제2 가상 오브젝트(132) 및 제3 가상 오브젝트(133)는 사용자 시선(210)에 중첩되도록 위치된 상태일 수 있다. 도 2에 도시된 가상 오브젝트의 형상 및 배치 위치는 예시적인 것으로 이에 한정되는 것은 아니다. 여기서, 중첩은 사용자(200)에 가까이 위치한 제2 가상 오브젝트(132)가 사용자(200)에 제2 가상 오브젝트(132)보다 상대적으로 멀리 위치한 제3 가상 오브젝트(133)와 완전히 중첩되어 사용자(200)의 시선 방향에서 제3 가상 오브젝트가 보이지 않는 경우에 한정되는 것은 아니다. 즉, 본 실시예에서 중첩은 제2 가상 오브젝트(132)와 제3 가상 오브젝트(133)가 부분적으로 중첩된 상태도 포함할 수 있다.
인터랙션 감지부(120)는 사용자(200)의 신체 동작을 감지할 수 있다. 이러한 사용자(200)의 신체 동작은 가상 공간에서 가상 오브젝트와 사용자(200)의 인터랙션을 위한 행위, 예시적으로, 가상 오브젝트를 잡는 행위(Grasp) 또는 가상 오브젝트를 이동(Move)시키는 행위 등 일 수 있다. 또한, 사용자(200)가 신체 중 손을 사용하여 상술한 인터랙션을 수행하는 경우, 인터랙션 감지부(120)는 사용자(200)의 손을 감지할 수 있다. 인터랙션 감지부(120)는 손 인식 장치 등과 같은 인식 유닛을 포함하여 구성될 수 있고, 사용자(200)의 손의 위치 및/또는 모양을 감지할 수 있으며, 사용자(200)의 손의 변화 및/또는 손에 의해 발생하는 인터랙션을 가상 공간에 반영될 수 있다. 여기서, 사용자(200)의 손은 가상 손으로 모델링되어 가상 공간에 반영될 수도 있다. 인터랙션 감지부(120)에서 감지된 사용자(200)의 손의 위치 및/또는 모양은 가상 공간의 가상 손에 반영될 수 있으며, 감지된 결과에 따라 가상 손이 변경될 수 있다.
디스플레이부(130)는 가상 공간을 사용자(200)에게 제공할 수 있다. 디스플레이부(130)는 복수의 가상 오브젝트(131, 132, 133)가 구현된 가상 공간을 디스플레이하고, 사용자(200)의 선택 및 조작에 대응하는 화면을 표시할 수 있다. 디스플레이부(130)는 스테레오스코피, 시차 장벽을 이용한 3차원 디스플레이, 홀로그래피 디스플레이, 3차원 체적형 디스플레이 또는 레이저를 이용한 3차원 플라즈마 디스플레이 등 다양한 3차원 디스플레이를 포함할 수 있다
제어부(100)는 시선 감지부(110), 인터랙션 감지부(120) 및 디스플레이부(130)의 전반적인 동작을 제어하고, 사용자 인터페이스 장치(10)의 구동에 필요한 다양한 연산을 수행할 수 있다. 또한, 제어부(100)는 사용자(200)의 현재 시선에 중첩되는 복수의 가상 오브젝트(131, 132, 133) 중 하나 이상의 가상 오브젝트를 용이하게 선택할 수 있는 인터페이스를 사용자에게 제공할 수 있다. 이하, 도 4a 내지 도 4c를 참조하여 이에 대해 보다 상세히 설명하도록 한다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치에서 가상 오브젝트 선택의 용이성을 위한 추가적인 인터페이스를 제공하는 과정을 도시한 예시도로서, 디스플레이부(130)를 통해 사용자에게 제공되는 화면을 개략적으로 도시한 것이다.
시선 감지부(110)는 현재 사용자의 위치를 기준으로 사용자 시선을 산출할 수 있다. 구체적으로, 시선 감지부(110)는 사용자의 양 눈의 위치를 각각 측정하고, 양 눈의 평균 위치를 산출한다. 그리고, 시선 감지부(110)는 양 눈의 시선 방향을 각각 측정하고, 이를 평균하여 평균 시선 방향을 산출한다. 시선 감지부(110)는 양 눈의 평균 위치 및 양 눈의 평균 시선 방향을 조합하여 하나의 평균적인 사용자 시선을 도출할 수 있다. 여기서, 사용자 시선은 크기와 방향을 갖는 벡터 값으로 산출될 수 있다.
제어부(100)는 시선 감지부(110)로부터 산출된 사용자 시선을 제공받고, 사용자 시선과 가상 오브젝트와 중첩하는 지 여부를 판단한다. 제어부(100)는 사용자 시선이 가상 오브젝트의 물체 중심으로부터 일정 거리 이내에 위치하는 지 여부를 판단하여 사용자 시선과 가상 오브젝트의 중첩 여부를 결정할 수 있다. 즉, 제어부(100)는 사용자 시선이 가상 오브젝트의 물체 중심을 기준으로 형성되는 중첩 범위를 통과하는 경우, 사용자 시선과 가상 오브젝트는 중첩되는 것으로 판단할 수 있다. 여기서, 가상 오브젝트는 물리 정보를 가질 수 있으며, 상술한 물체 중심은 가상 오브젝트의 무게 중심에 해당할 수 있으나 이에 한정되는 것은 아니다. 또한, 상술한 물체 중심을 기준으로 형성되는 중첩 범위는 가상 오브젝트가 렌더링된 외형에 해당할 수 있으나, 이에 한정되는 것은 아니다. 상술한 중첩 범위는 가상 오브젝트가 렌더링된 외형을 초과하여 정의될 수도 있다.
제어부(100)는 사용자 시선이 복수의 가상 오브젝트 각각이 형성하는 중첩 범위를 통과하는 지 여부를 결정할 수 있다. 사용자 시선이 적어도 두 개의 가상 오브젝트의 중첩 범위를 연속하여 통과하는 경우, 사용자와 가까이 위치하는 가상 오브젝트를 선택하는 것은 사용자에게 다소 용이할 수 있다. 다만, 사용자와 멀리 위치하는 가상 오브젝트는 사용자의 시선에서 가까이 위치하는 가상 오브젝트에 의해 가려진 상태이기 때문에, 이를 정확히 선택하는 것은 사용자에게 다소 어려울 수 있다.
예시적으로, 도 4a에 도시된 바와 같이, 사용자 시선(210)은 복수의 가상 오브젝트(131, 132, 133)를 모두 통과할 수 있다. 즉, 사용자의 시선 방향에 복수의 가상 오브젝트(131, 132, 133)는 중첩되어 위치된 상태일 수 있으며, 사용자와 가장 멀리 위치하는 가상 오브젝트(133)이 사용자가 선택하려는 타겟 오브젝트일 수 있다. 사용자가 타겟 오브젝트인 가상 오브젝트(133)의 정확한 선택을 위해 가상 오브젝트(133)를 확인하기 위해서는 사용자의 현재 위치에서 사용자의 시선 변경 또는 제자리에서 자세를 변경하는 것으로 불가능하며, 사용자의 위치의 변경이 필요하다.
여기서, 본 발명의 일 실시예에 따른 제어부(100)는 사용자 시선이 적어도 두 개의 가상 오브젝트와 중첩되는 것을 인식한 이후, 가상 오브젝트 선택의 용이성 및 정확성을 위한 추가적인 인터페이스를 제공할 수 있다.
본 발명의 일 실시예에 따른 제어부(100)는 사용자 시선에 중첩된 복수의 오브젝트를 사용자 시선과 중첩되지 않은 다른 위치에 상기 복수의 오브젝트와 대응되는 투영 오브젝트를 더 표시할 수 있다. 즉, 제어부(100)는 사용자 시선에 중첩된 복수의 오브젝트와 대응되는 투영 오브젝트를 생성하여 사용자에게 제공할 수 있다. 여기서, 투영 오브젝트의 가상 공간 상의 위치는 현재 사용자 시선과 중첩되지는 않지만, 사용자의 현재 위치로부터 확인이 가능한 위치일 수 있다. 즉, 사용자는 현재 위치에서 투영 오브젝트의 위치, 형상, 크기 등을 확인할 수 있으며, 투영 오브젝트를 용이하게 선택할 수 있다.
예시적으로, 제어부(100)는 사용자 시선이 적어도 두 개의 가상 오브젝트의 중첩 범위를 연속하여 통과하는 경우, 도 4b와 같은 가상 거울을 형성할 수 있다. 가상 거울(300)은 중첩되어 형성되는 가상 오브젝트(131, 132, 133)가 투영된 투영 오브젝트(331, 332, 333)을 포함할 수 있다. 가상 거울(300)는 사용자 시선(210)과 소정 각도를 형성하며 가상 공간에 제공될 수 있다. 따라서, 가상 거울(300)에 포함되는 투영 오브젝트(331, 332, 333)는 사용자 시선(210)과 중첩되지 않으며, 사용자는 현재 위치에서 시선 방향을 변경하여 투영 오브젝트(331, 332, 333)의 위치, 형상, 크기 등을 용이하게 확인할 수 있다. 사용자 시선과 가상 거울이 형성하는 소정 각도는 가상 거울에 포함되는 투영 오브젝트(331, 332, 333)가 사용자에게 용이하게 관측될 수 있도록 예각(acute angle)으로 형성될 수 있다. 예시적으로, 소정 각도는 45도 이상 내지 90도 미만일 수 있으나 이에 한정되는 것은 아니다. 가상 거울(300)와 사용자 시선(210)이 형성하는 소정 각도는 사용자와 복수의 가상 오브젝트(131, 132, 133)와의 거리, 복수의 가상 오브젝트(131, 132, 133)의 배치 위치 중 적어도 하나를 고려하여 결정될 수 있다. 예시적으로, 사용자와 복수의 가상 오브젝트(131, 132, 133)와의 거리가 가까우면 상기 소정 각도는 더 크게 형성될 수 있다. 또한, 복수의 가상 오브젝트(131, 132, 133)의 배치 위치, 서로 간의 거리가 가까울수록 상기 소정 각도는 더 크게 형성될 수 있다.
제어부(100)가 생성하는 투영 오브젝트(331, 332, 333)는 대응되는 가상 오브젝트(131, 132, 133)와 위치만 상이할 뿐 물리 정보 및 그래픽 정보는 동일할 수 있다. 즉, 사용자는 투영 오브젝트(331, 332, 333)와 인터랙션, 예를 들어 투영 오브젝트(331, 332, 333)를 선택할 수 있다. 도 4c에 도시된 바와 같이, 사용자는 현재 위치에서 시선 방향을 변경하여 투영 오브젝트(331, 332, 333)의 위치, 형상, 크기 등을 용이하게 확인할 수 있으며, 사용자는 타겟 오브젝트(133)에 대응하는 투영 오브젝트(333)와 용이하게 인터랙션할 수 있다. 여기서, 인터랙션 감지부(120)는 사용자의 신체 동작, 예를 들어 손의 위치/또는 모양을 감지할 수 있으며, 인터랙션 감지부(120)에서 제공되는 감지 데이터를 기초로 제어부(100)는 가상 환경 내에서의 사용자와 투영 오브젝트(331, 332, 333)와의 인터랙션을 인식할 수 있다.사용자는 복수의 투영 오브젝트(331, 332, 333) 중 적어도 하나의 투영 오브젝트와 인터랙션할 수 있다. 예를 들어, 사용자는 투영 오브젝트(333)를 선택할 수 있다. 사용자와 투영 오브젝트(333)와의 인터랙션은 대응하는 가상 오브젝트(133)에게 영향을 미칠 수 있다. 즉, 투영 오브젝트(331, 332, 333)은 중첩된 가상 오브젝트(131, 132, 133)의 효과적인 인터랙션을 위해서 형성되는 것으로, 사용자와 투영 오브젝트(333)와의 인터랙션에 따른 결과가 대응하는 가상 오브젝트(133)에 반영될 수 있다. 예를 들어, 제어부(100)는 사용자가 투영 오브젝트(333)를 선택하는 경우, 사용자가 대응하는 가상 오브젝트(133)을 선택한 것으로 간주하여 처리할 수 있다. 제어부(100)에서 처리된 데이터에 따라 디스플레이부(130)는 가상 오브젝트(133)를 선택한 것으로 표시할 수 있다.
몇몇 실시예에서, 제어부(100)는 사용자가 투영 오브젝트(333)를 선택한 이후, 선택에 대한 확인(Confirmation)을 사용자에게 요청할 수 있다. 제어부(100)는 사용자의 선택에 대한 확인 이후 투영 오브젝트(333)에 대응하는 가상 오브젝트(133)을 선택한 것으로 처리할 수 있다. 이러한 선택에 대한 확인은 예를 들어 일정 시간 동안 투영 오브젝트(333)를 계속해서 선택하고 있는 행위 또는 사용자의 특정 동작을 감지하는 것일 수 있으나 이에 한정되는 것은 아니다.
또한, 몇몇 실시예에서, 제어부(100)는 투영 오브젝트(333)를 생성한 이후, 즉, 가상 거울(300)를 생성한 이후 이의 유지 여부를 결정할 수 있다. 예를 들어, 제어부(100)는 일정 시간 이상 사용자의 동작이 감지되지 않거나, 가상 거울(300)를 제거하기 원하는 사용자의 특정 동작을 감지하여 가상 거울(300)의 생성을 취소(Cancelation)할 수 있다.
본 발명의 일 실시예에 따른 사용자 인터페이스 장치(10)는 사용자 시선이 적어도 두 개의 가상 오브젝트와 중첩되는 것을 인식한 이후, 가상 오브젝트 선택의 용이성 및 정확성을 위한 추가적인 인터페이스를 제공할 수 있다. 이에 따라, 중첩된 가상 오브젝트를 보다 정확하게 용이하게 선택할 수 있는 바, 오선택(Miss-selection) 가능성이 감소되며, 사용자 인터페이스의 사용 편의성이 증대되고, 전자 장치의 전체적인 동작/조작 시간이 감소될 수 있다. 또한, 가상 공간의 인터랙션을 위해 수행되어야 하는 동작 또는 이동이 감소될 수 있어 사용자 조작의 피로도가 감소될 수 있다.
이하, 본 발명의 다른 실시예에 따른 사용자 인터페이스 장치의 제어 방법에 대해 설명하도록 한다.
도 5는 본 발명의 다른 실시예에 따른 사용자 인터페이스 장치의 제어 방법의 순서도이다. 본 실시예에 따른 방법은 도 1 내지 도 4c에 따른 복수의 가상 오브젝트가 구현된 3차원 가상 공간에 적용되는 사용자 인터페이스를 제공하는 장치의 제어부에서 수행되는 제어 방법으로 중복되는 설명은 생략한다.
도 5를 참조하면, 본 실시예에 따른 사용자 인터페이스 장치의 제어 방법은 사용자 시선이 적어도 두 개 이상의 가상 오브젝트와 중첩되는 지 여부를 판단하는 단계(S100), 상기 사용자 시선이 상기 적어도 두 개 이상의 가상 오브젝트와 중첩되는 경우, 상기 중첩되는 가상 오브젝트와 대응되는 투영 오브젝트를 생성하는 단계(S110), 상기 투영 오브젝트와 상기 사용자의 인터랙션을 감지하는 단계(S120), 및 상기 투영 오브젝트와 상기 사용자 간의 인터랙션이 감지되는 경우, 상기 인터랙션을 상기 투영 오브젝트와 대응되는 가상 오브젝트와 상기 사용자 간의 인터랙션으로 처리하는 단계(S130)를 포함한다.
먼저, 사용자 시선이 적어도 두 개 이상의 가상 오브젝트와 중첩되는 지 여부를 판단한다(S100).
제어부(100)는 시선 감지부(110)로부터 산출된 사용자 시선을 제공받고, 사용자 시선과 가상 오브젝트가 중첩하는 지 여부를 판단한다. 시선 감지부(110)는 현재 사용자의 위치를 기준으로 사용자 시선을 산출할 수 있다. 사용자 시선이 적어도 두 개 이상의 가상 오브젝트와 중첩되는 지 여부를 판단하는 단계(S100)는 상기 사용자 시선이 상기 가상 오브젝트의 물체 중심을 기준으로 형성되는 중첩 범위를 통과하는지 여부를 판단하여, 상기 사용자 시선과 상기 가상 오브젝트의 중첩 여부를 판단할 수 있다. 여기서, 가상 오브젝트는 물리 정보를 가질 수 있으며, 상술한 물체 중심은 가상 오브젝트의 무게 중심에 해당할 수 있으나 이에 한정되는 것은 아니다. 또한, 상술한 물체 중심을 기준으로 형성되는 중첩 범위는 가상 오브젝트가 렌더링된 외형에 해당할 수 있으나, 이에 한정되는 것은 아니다. 상술한 중첩 범위는 가상 오브젝트가 렌더링된 외형을 초과하여 정의될 수도 있다.
사용자 시선이 상기 적어도 두 개 이상의 가상 오브젝트와 중첩되는 경우, 상기 중첩되는 가상 오브젝트와 대응되는 투영 오브젝트를 생성한다(S110).
제어부(100)는 사용자 시선이 적어도 두 개의 가상 오브젝트와 중첩되는 것을 인식한 이후, 가상 오브젝트 선택의 용이성 및 정확성을 위한 추가적인 인터페이스를 제공할 수 있다. 제어부(100)는 사용자 시선에 중첩된 복수의 오브젝트를 사용자 시선과 중첩되지 않은 다른 위치에 상기 복수의 오브젝트와 대응되는 투영 오브젝트를 더 표시할 수 있다. 즉, 제어부(100)는 사용자 시선에 중첩된 복수의 오브젝트와 대응되는 투영 오브젝트를 생성하여 사용자에게 제공할 수 있다. 여기서, 투영 오브젝트의 가상 공간 상의 위치는 현재 사용자 시선과 중첩되지는 않지만, 사용자의 현재 위치로부터 확인이 가능한 위치일 수 있다. 즉, 사용자는 현재 위치에서 투영 오브젝트의 위치, 형상, 크기 등을 확인할 수 있으며, 투영 오브젝트를 용이하게 선택할 수 있다.
또한, 상기 중첩되는 가상 오브젝트와 대응되는 투영 오브젝트를 생성하는 단계(S110)는 상기 사용자 시선과 소정 각도를 형성하는 가상 거울을 형성하는 것을 포함하며, 상기 투영 오브젝트는 상기 가상 거울에 포함되어 표시될 수 있다. 상기 소정 각도는 상기 사용자와 상기 복수의 가상 오브젝트와의 거리 및 상기 복수의 가상 오브젝트의 배치 위치 중 적어도 하나를 고려하여 결정될 수 있다.
상기 투영 오브젝트와 상기 사용자의 인터랙션을 감지한다(S120).
투영 오브젝트(331, 332, 333)는 대응되는 가상 오브젝트(131, 132, 133)와 위치만 상이할 뿐 물리 정보 및 그래픽 정보는 동일할 수 있다. 즉, 사용자는 투영 오브젝트(331, 332, 333)와 인터랙션, 예를 들어 투영 오브젝트(331, 332, 333)를 선택할 수 있다. 사용자는 현재 위치에서 시선 방향을 변경하여 투영 오브젝트(331, 332, 333)의 위치, 형상, 크기 등을 용이하게 확인할 수 있으며, 사용자는 타겟 오브젝트(133)에 대응하는 투영 오브젝트(333)와 용이하게 인터랙션할 수 있다. 사용자는 복수의 투영 오브젝트(331, 332, 333) 중 적어도 하나의 투영 오브젝트와 인터랙션할 수 있다.
투영 오브젝트와 상기 사용자 간의 인터랙션이 감지되는 경우, 상기 인터랙션을 상기 투영 오브젝트와 대응되는 가상 오브젝트와 상기 사용자 간의 인터랙션으로 처리한다(S130).
사용자와 투영 오브젝트(333)와의 인터랙션은 대응하는 가상 오브젝트(133)에게 영향을 미칠 수 있다. 즉, 투영 오브젝트(331, 332, 333)은 중첩된 가상 오브젝트(131, 132, 133)의 효과적인 인터랙션을 위해서 형성되는 것으로, 사용자와 투영 오브젝트(333)와의 인터랙션에 따른 결과가 대응하는 가상 오브젝트(133)에 반영될 수 있다. 예를 들어, 제어부(100)는 사용자가 투영 오브젝트(333)를 선택하는 경우, 사용자가 대응하는 가상 오브젝트(133)을 선택한 것으로 간주하여 처리할 수 있다.
본 발명의 다른 실시예에 따른 사용자 인터페이스 장치의 제어 방법은 사용자 시선이 적어도 두 개의 가상 오브젝트와 중첩되는 것을 인식한 이후, 가상 오브젝트 선택의 용이성 및 정확성을 위한 추가적인 인터페이스를 제공할 수 있다. 이에 따라, 중첩된 가상 오브젝트를 보다 정확하게 용이하게 선택할 수 있는 바, 오선택(Miss-selection) 가능성이 감소되며, 사용자 인터페이스의 사용 편의성이 증대되고, 전자 장치의 전체적인 동작/조작 시간이 감소될 수 있다. 또한, 가상 공간의 인터랙션을 위해 수행되어야 하는 동작 또는 이동이 감소될 수 있어 사용자 조작의 피로도가 감소될 수 있다.
이상에서 설명한 실시예들에 따른 사용자 인터페이스 장치의 제어 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 사용자 인터페이스 장치의 제어 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 사용자 인터페이스 장치
100: 제어부
110: 시선 감지부
120: 인터랙션 감지부
130: 디스플레이부

Claims (13)

  1. 복수의 가상 오브젝트가 구현된 3차원 가상 공간에 적용되는 사용자 인터페이스 제공 장치로서,
    사용자 시선을 감지하는 시선 감지부;
    상기 3차원 가상 공간에서 상기 가상 오브젝트와의 인터랙션을 위한 사용자의 신체 동작을 감지하는 인터랙션 감지부;
    상기 3차원 가상 공간이 표시되는 디스플레이부; 및
    상기 사용자 시선이 적어도 두 개 이상의 가상 오브젝트와 중첩되는 경우, 상기 중첩되는 가상 오브젝트와 대응되는 투영 오브젝트를 생성하는 제어부를 포함하되,
    상기 제어부는 상기 투영 오브젝트와 상기 사용자 간의 인터랙션이 감지되는 경우, 상기 인터랙션을 상기 투영 오브젝트와 대응되는 가상 오브젝트와 상기 사용자 간의 인터랙션으로 처리하는 사용자 인터페이스 장치.
  2. 제1 항에 있어서,
    상기 투영 오브젝트는 상기 가상 오브젝트와 물리 정보 및 그래픽 정보가 동일하나 위치 정보가 상이하며,
    상기 투영 오브젝트는 상기 사용자 시선과 중첩되지 않는 상기 3차원 가상 공간의 위치에 형성되는 것을 특징으로 하는 사용자 인터페이스 장치.
  3. 제2 항에 있어서,
    상기 제어부는 상기 사용자 시선과 소정 각도를 형성하는 가상 거울을 형성하며, 상기 투영 오브젝트는 상기 가상 거울에 포함되어 표시되는 것을 특징으로 하는 사용자 인터페이스 장치.
  4. 제3 항에 있어서,
    상기 소정 각도는 상기 사용자와 상기 복수의 가상 오브젝트와의 거리 및 상기 복수의 가상 오브젝트의 배치 위치 중 적어도 하나를 고려하여 결정되는 것을 특징으로 하는 사용자 인터페이스 장치.
  5. 제1 항에 있어서,
    상기 제어부는 상기 사용자 시선이 상기 가상 오브젝트의 물체 중심을 기준으로 형성되는 중첩 범위를 통과하는지 여부를 판단하여, 상기 사용자 시선과 상기 가상 오브젝트의 중첩 여부를 판단하는 것을 특징으로 하는 사용자 인터페이스 장치.
  6. 제1 항에 있어서,
    상기 투영 오브젝트와 상기 사용자 간의 인터랙션은 상기 사용자가 상기 투영 오브젝트를 선택하는 것을 포함하며,
    상기 제어부는 상기 투영 오브젝트가 상기 사용자에 의해 선택되는 경우, 상기 사용자가 상기 투영 오브젝트와 대응되는 가상 오브젝트를 선택한 것으로 처리하는 것을 특징으로 하는 사용자 인터페이스 장치.
  7. 복수의 가상 오브젝트가 구현된 3차원 가상 공간에 적용되는 사용자 인터페이스를 제공하는 장치의 제어 방법으로,
    사용자 시선이 적어도 두 개 이상의 가상 오브젝트와 중첩되는 지 여부를 판단하는 단계;
    상기 사용자 시선이 상기 적어도 두 개 이상의 가상 오브젝트와 중첩되는 경우, 상기 중첩되는 가상 오브젝트와 대응되는 투영 오브젝트를 생성하는 단계;
    상기 투영 오브젝트와 상기 사용자의 인터랙션을 감지하는 단계; 및
    상기 투영 오브젝트와 상기 사용자 간의 인터랙션이 감지되는 경우, 상기 인터랙션을 상기 투영 오브젝트와 대응되는 가상 오브젝트와 상기 사용자 간의 인터랙션으로 처리하는 단계를 포함하는 사용자 인터페이스 장치의 제어 방법.
  8. 제7 항에 있어서,
    상기 투영 오브젝트는 상기 가상 오브젝트와 물리 정보 및 그래픽 정보가 동일하나 위치 정보가 상이하며,
    상기 투영 오브젝트는 상기 사용자 시선과 중첩되지 않는 상기 3차원 가상 공간의 위치에 형성되는 것을 특징으로 하는 사용자 인터페이스 장치의 제어 방법.
  9. 제8 항에 있어서,
    상기 중첩되는 가상 오브젝트와 대응되는 투영 오브젝트를 생성하는 단계는 상기 사용자 시선과 소정 각도를 형성하는 가상 거울을 형성하는 것을 포함하며,
    상기 투영 오브젝트는 상기 가상 거울에 포함되어 표시되는 것을 특징으로 하는 사용자 인터페이스 장치의 제어 방법.
  10. 제9 항에 있어서,
    상기 소정 각도는 상기 사용자와 상기 복수의 가상 오브젝트와의 거리 및 상기 복수의 가상 오브젝트의 배치 위치 중 적어도 하나를 고려하여 결정되는 것을 특징으로 하는 사용자 인터페이스 장치의 제어 방법.
  11. 제7 항에 있어서,
    사용자 시선이 적어도 두 개 이상의 가상 오브젝트와 중첩되는 지 여부를 판단하는 단계는 상기 사용자 시선이 상기 가상 오브젝트의 물체 중심을 기준으로 형성되는 중첩 범위를 통과하는지 여부를 판단하여, 상기 사용자 시선과 상기 가상 오브젝트의 중첩 여부를 판단하는 것을 특징으로 하는 사용자 인터페이스 장치의 제어 방법.
  12. 제7 항에 있어서,
    상기 투영 오브젝트와 상기 사용자 간의 인터랙션은 상기 사용자가 상기 투영 오브젝트를 선택하는 것을 포함하며,
    상기 투영 오브젝트가 상기 사용자에 의해 선택되는 경우, 상기 사용자가 상기 투영 오브젝트와 대응되는 가상 오브젝트를 선택한 것으로 처리되는 것을 특징으로 하는 사용자 인터페이스 장치의 제어 방법.
  13. 하드웨어와 결합되어 제7항 내지 제12항 중 어느 한 항에 따른 사용자 인터페이스 장치의 제어 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.
KR1020190095989A 2019-08-07 2019-08-07 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법 KR102252110B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190095989A KR102252110B1 (ko) 2019-08-07 2019-08-07 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
US16/868,100 US11150728B2 (en) 2019-08-07 2020-05-06 User interface device and control method thereof for supporting easy and accurate selection of overlapped virtual objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190095989A KR102252110B1 (ko) 2019-08-07 2019-08-07 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20210017165A true KR20210017165A (ko) 2021-02-17
KR102252110B1 KR102252110B1 (ko) 2021-05-17

Family

ID=74498433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190095989A KR102252110B1 (ko) 2019-08-07 2019-08-07 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법

Country Status (2)

Country Link
US (1) US11150728B2 (ko)
KR (1) KR102252110B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220459A1 (en) * 2021-04-14 2022-10-20 Samsung Electronics Co., Ltd. Method and electronic device for selective magnification in three dimensional rendering systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080056771A (ko) * 2005-11-29 2008-06-23 가부시키가이샤 코나미 데지타루 엔타테인멘토 오브젝트 선택장치, 오브젝트 선택방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체
KR20120029220A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR20140001309A (ko) * 2012-06-25 2014-01-07 주식회사 엘지유플러스 오브젝트 표시 장치 및 방법
KR20150037254A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009512038A (ja) 2005-10-12 2009-03-19 アクティブ オプティクス ピーティーワイ リミテッド 複数の画像フレームに基づいて結合画像を生成する方法
JP6528409B2 (ja) 2015-01-13 2019-06-12 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
RU2602386C1 (ru) 2015-05-26 2016-11-20 Общество с ограниченной ответственностью "Лаборатория 24" Способ визуализации объекта
AU2016341196B2 (en) * 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080056771A (ko) * 2005-11-29 2008-06-23 가부시키가이샤 코나미 데지타루 엔타테인멘토 오브젝트 선택장치, 오브젝트 선택방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체
KR20120029220A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR20140001309A (ko) * 2012-06-25 2014-01-07 주식회사 엘지유플러스 오브젝트 표시 장치 및 방법
KR20150037254A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
R. Y. Wang, S. Paris, and J. Popovic, "6D Hands: Markerless Hand Tracking for Computer Aided Design", UIST, 2011

Also Published As

Publication number Publication date
US11150728B2 (en) 2021-10-19
US20210041944A1 (en) 2021-02-11
KR102252110B1 (ko) 2021-05-17

Similar Documents

Publication Publication Date Title
EP3311250B1 (en) System and method for spawning drawing surfaces
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
EP3564788B1 (en) Three-dimensional user input
EP3055755B1 (en) Scaling of visual elements on a user interface
CN107850953B (zh) 用于在虚拟现实环境中引导用户的感官反馈系统和方法
JP2019087279A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP6110893B2 (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
EP3172646A1 (en) Smart placement of virtual objects to stay in the field of view of a head mounted display
TW201220159A (en) Apparatus and method for user input for controlling displayed information
WO2011119154A1 (en) Gesture mapping for display device
US11054896B1 (en) Displaying virtual interaction objects to a user on a reference plane
KR101550580B1 (ko) 사용자 인터페이스 장치 및 그것의 제어 방법
US11688148B2 (en) Methods and systems for selection of objects
KR20200005243A (ko) Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
KR102252110B1 (ko) 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
JP2017004539A (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
KR20230049520A (ko) 가상 현실 공간에 대한 제어를 수행하는 전자 시스템, 전자 장치 및 그 동작 방법
JP2019200491A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant