KR20200051937A - 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템 - Google Patents

가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템 Download PDF

Info

Publication number
KR20200051937A
KR20200051937A KR1020180134882A KR20180134882A KR20200051937A KR 20200051937 A KR20200051937 A KR 20200051937A KR 1020180134882 A KR1020180134882 A KR 1020180134882A KR 20180134882 A KR20180134882 A KR 20180134882A KR 20200051937 A KR20200051937 A KR 20200051937A
Authority
KR
South Korea
Prior art keywords
user
virtual reality
gui object
reality environment
hand
Prior art date
Application number
KR1020180134882A
Other languages
English (en)
Inventor
신용인
박진홍
곽승호
지은별
우성호
Original Assignee
한길씨앤씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한길씨앤씨 주식회사 filed Critical 한길씨앤씨 주식회사
Priority to KR1020180134882A priority Critical patent/KR20200051937A/ko
Publication of KR20200051937A publication Critical patent/KR20200051937A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상현실(Virtual Reality ; VR) 시스템에 관한 것으로, 본 발명에 따르면, VR 환경에서 사용자 인터페이스(Graphical User Interface ; GUI)를 불러내기 위하여는 별도의 핸드 컨트롤러를 사용하여 UI 호출버튼을 클릭해야 하는 번거로움이 있었던 종래기술의 문제점을 해결하기 위해, 사용자가 시계를 보는 행동과 유사하게 VR 환경 내에서 눈으로 손등을 바라보면 GUI 객체(메인 UI)가 자동으로 표시되도록 구성됨으로써, VR GUI 객체 호출시 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 간단한 동작만으로 보다 편리하고 용이하게 사용 가능한 동시에, 예를 들면, HTC VIVE, OCULUS RIFT 및 Odyssey 등과 같이, 이미 상용화된 기존의 HMD 장비에서도 용이하게 적용 가능하며, 영상정보처리 및 아이 디스플레이를 작동하기 위한 별도의 처리 과정이 생략되어 보다 효율적으로 구현 가능하도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템이 제공된다.

Description

가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템{Method for automatic display of GUI objects according to user's behavior in virtual reality environment and VR system using it}
본 발명은 가상현실(Virtual Reality ; VR) 시스템에 관한 것으로, 더 상세하게는, 종래, 일반적으로, VR 환경에서 각종 명령 등을 입력하기 위한 사용자 인터페이스(Graphical User Interface ; GUI)를 불러내기 위하여는 별도의 핸드 컨트롤러를 사용하여 UI 호출버튼을 클릭해야 하는 번거로움이 있었던 종래기술의 VR 장치들의 문제점을 해결하기 위해, VR GUI 객체 호출시 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자의 동작을 감지하여 자동으로 GUI 객체가 표시되도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템에 관한 것이다.
또한, 본 발명은, 상기한 바와 같이 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자 인터페이스를 호출할 수 있도록 하기 위해, 사용자가 시계를 보는 행동과 유사하게 VR 환경 내에서 눈으로 손등을 바라보면 GUI 객체(메인 UI)가 자동으로 표시되도록 구성됨으로써, 간단한 동작만으로 보다 편리하고 용이하게 사용 가능하도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템에 관한 것이다.
아울러, 본 발명은, 상기한 바와 같이 기존의 VR 환경에서 UI 버튼을 눌러 메뉴를 호출하는 방법이 아닌 사용자의 간단한 동작으로 UI를 호출하도록 구성되는 것에 의해 사용자 편의성을 높이는 동시에, 예를 들면, HTC VIVE, OCULUS RIFT 및 Odyssey 등과 같이, 이미 상용화된 기존의 HMD 장비에서도 용이하게 적용 가능하여 연동성, 확장성 및 유연성을 높이는 데 더하여, 영상정보처리 및 아이 디스플레이를 작동하기 위한 별도의 처리 과정이 생략되어 보다 효율적으로 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템에 관한 것이다.
최근 가상현실 기술이 발전함에 따라 사용자에게 직접 가상현실 환경을 제공하는 VR 기기의 보급이 증가하고 있다.
이러한 VR 기기들은, 일반적으로, 사용자의 머리 부분에 착용하여 눈을 통해 시각적인 정보를 전달하는 헤드 마운트 디스플레이(Head Mount Disply ; HMD) 형태의 디스플레이 장비와, 사용자가 손에 들고 버튼 클릭 등을 통해 각종 명령을 입력하기 위한 컨트롤러를 포함하여 이루어진다.
따라서 사용자는, HMD를 착용한 상태에서 컨트롤러를 통해 각종 메뉴가 표시되는 사용자 인터페이스(Graphical User Interface ; GUI)를 호출하여 각종 명령을 입력하는 방식으로 가상현실을 체험하게 되며, 이와 같이 VR 기기를 통하여 가상현실을 체험하는 사용자의 사용자 경험(user experience ; UX)을 향상시키기 위하여는 적절하고 효율적인 사용자 인터페이스의 제공이 요구된다.
여기서, 상기한 바와 같이 VR 공간에서 사용자 인터페이스를 표시하는 방법에 관한 종래기술의 예로는, 예를 들면, 한국 공개특허공보 제10-2017-0121718호에 따르면, 사용자로부터 식별정보를 획득하는 단계; 획득된 식별정보를 기초로 VR 공간에서 사용자에 대한 기 설정된 탬플릿 UI를 할당하는 단계; 사용자로부터 프로파일 정보 및 사용자가 기 설정된 탬플릿 UI에 배치하고자 하는 객체에 관한 정보를 수신하는 단계; 및 프로파일 정보를 기초로 생성된 사용자의 아바타 및 객체에 관한 정보를 기초로 생성된 가상 객체를 탬플릿 UI 상에 배치하여 사용자에 대한 UI를 생성하는 단계를 포함하여, 사용자가 원하는 환경을 VR 공간 상에 구현함으로써 물리적인 현실의 공간에서 보다 자유롭게 사용자가 요구하는 다양한 서비스가 구현될 수 있도록 구성되는 VR 공간에서 사용자 인터페이스를 제공하는 방법, 디바이스 및 기록매체가 제시된 바 있다.
또한, 상기한 바와 같이 VR 공간에서 사용자 인터페이스를 표시하는 방법에 관한 종래기술의 다른 예로는, 예를 들면, 한국 공개특허공보 제10-2017-0121719호에 따르면, 사용자의 입력이 획득됨에 따라 VR 공간 상에 검색창을 표시하는 단계; 표시된 검색창을 통해 객체에 대한 검색 요청이 수신됨에 따라 객체에 관한 정보를 검색하는 단계; 객체에 관한 정보를 검색하는 동안 VR 공간 상에 적어도 하나의 광고를 표시하는 단계; 및 검색이 완료됨에 따라 적어도 하나의 광고의 표시를 중단하고 검색된 객체에 관한 정보를 VR 공간 상에 표시하는 단계를 포함하여, VR 공간의 특성을 고려하여 사용자가 정보를 검색할 수 있는 검색 플랫폼 및 검색 중간에 광고를 제공도록 구성되는 VR 공간에서 사용자 인터페이스를 제공하는 방법, 디바이스 및 기록매체가 제시된 바 있다.
상기한 바와 같이, 종래, VR 환경에서 사용자 인터페이스를 제공하기 위한 방법에 관한 여러 가지 기술내용이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다.
더 상세하게는, 종래의 VR 기기들은, 일반적으로, HMD를 통해 가상현실 환경을 표시하고, 사용자가 특정 명령을 입력하기 위해 메뉴를 호출하기 위하여는 별도의 컨트롤러를 사용하여 UI 버튼을 클릭하여야 GUI 객체(메인 UI)가 표시되도록 구성되는 것이 대부분이다.
그러나 종래의 VR 기기들은, 상기한 바와 같이 가상현실 내에서 사용자 인터페이스를 표시하기 위하여 별도의 컨트롤러를 이용하여 UI 버튼을 통해 GUI 객체를 호출하는 동작을 가상현실 밖에서 수행해야 하므로, 이러한 호출방식은 가상현실 환경에 대한 몰입감을 떨어뜨리고 사용자 경험을 저해하는 요인이 되는 문제가 있다.
이에, 상기한 바와 같은 종래기술의 문제점을 해결하기 위하여는, 가상현실 밖에서 별도의 컨트롤러를 이용하여 GUI 객체를 호출하는 기존의 VR 기기들의 GUI 호출방식과 달리, 가상현실 내에서 간단한 동작만으로 용이하게 GUI 호출이 이루어질 수 있도록 구성되는 새로운 구성의 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
[선행기술문헌]
1. 한국 공개특허공보 제10-2017-0121718호 (2017.11.02.)
2. 한국 공개특허공보 제10-2017-0121719호 (2017.11.02.)
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, VR 환경에서 각종 명령 등을 입력하기 위한 사용자 인터페이스(GUI)를 불러내기 위하여는 별도의 핸드 컨트롤러를 사용하여 UI 호출버튼을 클릭해야 하는 번거로움이 있었던 종래기술의 VR 장치들의 문제점을 해결하기 위해, VR GUI 객체 호출시 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자의 동작을 감지하여 자동으로 GUI 객체가 표시되도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템을 제공하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 상기한 바와 같이 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자 인터페이스를 호출할 수 있도록 하기 위해, 사용자가 시계를 보는 행동과 유사하게 VR 환경 내에서 눈으로 손등을 바라보면 GUI 객체(메인 UI)가 자동으로 표시되도록 구성됨으로써 간단한 동작만으로 보다 편리하고 용이하게 사용 가능하여 사용의 편의성을 높이는 동시에, 가상현실을 체험하는 사용자의 사용자 경험(UX)을 향상시킬 수 있도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템을 제공하고자 하는 것이다.
또한, 본 발명의 또 다른 목적은, 상기한 바와 같이 가상현실 환경 내에서 사용자의 간단한 동작만으로 GUI 객체를 호출할 수 있도록 구성되는 것에 의해 사용자 편의성 및 사용자 경험(UX)을 향상시키는 동시에, 예를 들면, HTC VIVE, OCULUS RIFT 및 Odyssey 등과 같이, 이미 상용화된 기존의 HMD 장비에도 용이하게 적용 가능하여 연동성, 확장성 및 유연성을 높이는 데 더하여, 영상정보처리 및 아이 디스플레이를 작동하기 위한 별도의 처리 과정이 생략되어 보다 효율적으로 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 컨트롤러를 포함하는 별도의 장비나 동작이 필요 없이 가상현실 환경에서 사용자의 동작을 감지하여 자동으로 GUI(Graphical User Interface) 객체가 표시되도록 하기 위한 처리를 전용의 하드웨어나 VR 시스템에 실행시키도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에 있어서, 상기 처리는, VR 캐릭터의 시야에서 손이 인식되는지를 탐지하는 탐지단계; 상기 탐지단계에서 손이 인식된 경우 미리 정해진 허용범위 내에서 상기 VR 캐릭터의 머리와 손에 대한 각각의 3D 좌표값(x, y, z)을 계산하는 좌표값 계산단계; 상기 좌표값 계산단계에서 계산된 3D 좌표값이 미리 설정된 조건함수 값과 일치하는지를 판단하는 좌표값 판단단계; 및 상기 좌표값 판단단계에서 상기 VR 캐릭터의 머리와 손에 대한 각각의 3D 좌표값이 상기 조건함수 값과 일치하는 것으로 판단되면 미리 설정된 GUI 객체를 호출하는 GUI 객체 호출단계를 포함하여 구성되는 것을 특징으로 하는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법이 제공된다.
여기서, 상기 GUI 객체는, 메인메뉴 UI나 서브메뉴 UI를 포함하는 VR 환경 내에서 표시되는 UI 형태의 오브젝트(object)인 것을 특징으로 한다.
또한, 상기 3D 좌표값(x, y, z)은, 상기 VR 캐릭터를 기준으로 X축이 좌우 방향, Y축이 상하 방향, Z축이 전후 방향으로 각각 정의되는 것을 특징으로 한다.
아울러, 상기 조건함수 값은, 상기 GUI 객체 호출을 위해 미리 지정된 3D 좌표값인 것을 특징으로 한다.
더욱이, 상기 방법은, 시야각(Field Of View ; FOV)이 ±45도로 설정되는 것을 특징으로 한다.
또한, 상기 방법은, 상기 VR 캐릭터의 눈과 손등이 마주보는 상태일 때 상기 GUI 객체의 호출이 활성화되도록 구성되는 것을 특징으로 한다.
아울러, 상기 방법은, 이하의 조건을 만족하는 경우 상기 GUI 객체의 호출이 활성화되도록 구성되는 것을 특징으로 한다.
<왼손 일 때>
상기 VR 캐릭터의 머리 방향 z축과 손 방향 y축이 수평 또는 허용각도 180도(반대방향)±45도 이내이고,
상기 VR 캐릭터의 머리 방향 y축과 손 방향 x축이 수평 또는 허용각도 180도(반대방향)±45도 이내이며,
상기 VR 캐릭터의 머리 방향 x축과 손 방향 z축이 수평 또는 허용각도 0도(같은방향)±45도 이내인 경우.
<오른손 일 때>
상기 VR 캐릭터의머리 방향 z축과 손 방향 y축이 수평 또는 허용각도 180도(반대방향)±45도 이내이고,
상기 VR 캐릭터의 머리 방향 y축과 손 방향 x축이 수평 또는 허용각도 0도(같은방향)±45도 이내이며,
상기 VR 캐릭터의 머리 방향 x축과 손 방향 z축이 수평 또는 허용각도 180도(반대방향)±45도 이내인 경우.
더욱이, 본 발명에 따르면, 상기에 기재된 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 이용하여, 가상현실 환경에서 사용자의 동작에 따라 GUI 객체를 자동으로 표시하는 처리가 수행되도록 구성되는 VR 시스템 제어장치에 있어서, VR 캐릭터의 시야에서 손이 인식되는지를 탐지하는 VR 디바이스 탐지부; 상기 VR 캐릭터의 머리와 손에 대한 3D 좌표값을 각각 계산하는 3D 좌표값 계산부; 상기 3D 좌표값 계산부에서 계산된 상기 VR 캐릭터의 머리와 손의 좌표값이 미리 설정된 조건함수 값과 일치하는지를 판단하는 3D 좌표값 판단부; 및 상기 3D 좌표값 판단부에서 상기 VR 캐릭터의 머리와 손의 좌표값이 상기 조건함수 값과 일치하는 것으로 판단되면 GUI 객체를 호출하는 GUI 객체 호출부를 포함하여 구성되는 것을 특징으로 하는 VR 시스템 제어장치가 제공된다.
또한, 본 발명에 따르면, VR 시스템에 있어서, 가상현실 환경을 제공하기 위한 HMD(Head Mount Disply)부; 및 상기 VR 시스템의 전체적인 동작을 제어하기 위한 제어부를 포함하여 구성되고, 상기 제어부는, 상기에 기재된 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 이용하여, 가상현실 환경에서 사용자의 동작에 따라 GUI 객체를 자동으로 표시하는 처리가 수행되도록 구성되는 것을 특징으로 하는 VR 시스템이 제공된다.
상기한 바와 같이, 본 발명에 따르면, VR GUI 객체 호출시 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자의 동작을 감지하여 자동으로 GUI 객체가 표시되도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템이 제공됨으로써, VR 환경에서 각종 명령 등을 입력하기 위한 사용자 인터페이스(GUI)를 불러내기 위하여 별도의 핸드 컨트롤러를 사용하여 UI 호출버튼을 클릭해야 하는 번거로움이 있었던 종래기술의 VR 장치들의 문제점을 해결할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 사용자가 시계를 보는 행동과 유사하게 VR 환경 내에서 눈으로 손등을 바라보면 GUI 객체(메인 UI)가 자동으로 표시되도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템이 제공됨으로써, 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 간단한 동작만으로 보다 편리하고 용이하게 사용 가능하므로 사용의 편의성을 높이는 동시에, 가상현실을 체험하는 사용자의 사용자 경험(UX)을 향상시킬 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 가상현실 환경 내에서 사용자의 간단한 동작만으로 GUI 객체를 호출할 수 있도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템이 제공됨으로써, 사용자 편의성 및 사용자 경험(UX)을 향상시키는 동시에, 예를 들면, HTC VIVE, OCULUS RIFT 및 Odyssey 등과 같이, 이미 상용화된 기존의 HMD 장비에도 용이하게 적용 가능하여 연동성, 확장성 및 유연성을 높이는 데 더하여, 영상정보처리 및 아이 디스플레이를 작동하기 위한 별도의 처리 과정이 생략되어 보다 효율적인 VR 시스템을 구현할 수 있다.
도 1은 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에서 VR 캐릭터의 머리와 손 방향에 대한 좌표축을 정의하는 과정을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에서 VR 캐릭터의 손 방향 전환 과정을 개략적으로 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에서 GUI 객체 호출 활성화 조건으로 눈과 손등이 마주보는 상태를 개략적으로 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에 따라 GUI 객체가 자동 호출된 상태를 개략적으로 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 이용한 VR 시스템 제어장치의 전체적인 구성을 개략적으로 나타내는 도면이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, VR 환경에서 각종 명령 등을 입력하기 위한 사용자 인터페이스(GUI)를 불러내기 위하여는 별도의 핸드 컨트롤러를 사용하여 UI 호출버튼을 클릭해야 하는 번거로움이 있었던 종래기술의 VR 장치들의 문제점을 해결하기 위해, VR GUI 객체 호출시 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자의 동작을 감지하여 자동으로 GUI 객체가 표시되도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템에 관한 것이다.
아울러, 본 발명은, 후술하는 바와 같이, 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자 인터페이스를 호출할 수 있도록 하기 위해, 사용자가 시계를 보는 행동과 유사하게 VR 환경 내에서 눈으로 손등을 바라보면 GUI 객체(메인 UI)가 자동으로 표시되도록 구성됨으로써 간단한 동작만으로 보다 편리하고 용이하게 사용 가능하여 사용의 편의성을 높이는 동시에, 가상현실을 체험하는 사용자의 사용자 경험(UX)을 향상시킬 수 있도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템에 관한 것이다.
더욱이, 본 발명은, 후술하는 바와 같이, 가상현실 환경 내에서 사용자의 간단한 동작만으로 GUI 객체를 호출할 수 있도록 구성되는 것에 의해 사용자 편의성 및 사용자 경험(UX)을 향상시키는 동시에, 예를 들면, HTC VIVE, OCULUS RIFT 및 Odyssey 등과 같이, 이미 상용화된 기존의 HMD 장비에도 용이하게 적용 가능하여 연동성, 확장성 및 유연성을 높이는 데 더하여, 영상정보처리 및 아이 디스플레이를 작동하기 위한 별도의 처리 과정이 생략되어 보다 효율적으로 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템에 관한 것이다.
계속해서, 도면을 참조하여, 본 발명에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템의 구체적인 내용에 대하여 설명한다.
먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법은, 크게 나누어, 사용자, 즉, VR 캐릭터의 시야에서 손이 인식되는지를 탐지하는 탐지단계(S10)와, 탐지단계(S10)에서 손이 인식된 경우 미리 정해진 허용범위 내에서 VR 캐릭터의 머리와 손에 대한 각각의 3D 좌표값(x, y, z)을 계산하는 좌표값 계산단계(S20)와, 좌표값 계산단계(S20)에서 미리 정해진 허용범위 내에서 계산된 3D 좌표값이 미리 설정된 조건함수 값과 일치하는지 판단하는 좌표값 판단단계(S30) 및 좌표값 판단단계(S30)에서 VR 캐릭터의 머리와 손에 대한 각각의 3D 좌표값이 조건함수 값과 일치하는 것으로 판단되면 GUI 객체를 호출하는 GUI 객체 호출단계(S40)를 포함하여 구성될 수 있다.
여기서, 본 실시예에 있어서, GUI 객체란, 예를 들면, 메인메뉴 UI나 서브메뉴 UI 등과 같이, VR 환경 내에서 표시되는 UI 형태의 오브젝트를 의미하며, 상기한 조건함수 값은 GUI 객체 호출을 위해 미리 지정해 둔 3D 좌표값을 의미한다.
또한, VR 환경에서 3D 좌표값(x, y, z축) 계산은, 먼저, VR 3D 공간에서 VR 캐릭터의 머리와 양손 영역을 분리하여 오브젝트화하고, VR 캐릭터의 머리에는 VR 헤드셋 기능을 설정하며, 양손 오브젝트에는 VR 컨트롤러 기능을 각각 설정함으로써, 개발엔진을 통한 3D 좌표값(x, y, z)을 구할 수 있다.
아울러, 가상현실 공간 내에서 특정 위치에 대한 3D 좌표(x, y, z)를 구하는 과정에 대한 보다 구체적인 내용은 종래기술의 문헌 등을 통하여 당업자에게 자명한 내용이므로, 이에, 본 발명에서는, 상기한 바와 같이 종래기술의 문헌 등을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 그 구체적인 설명을 생략하였음에 유념해야 한다.
더 상세하게는, 도 2를 참조하면, 도 2는 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에서 VR 캐릭터의 머리와 손 방향에 대한 좌표축을 정의하는 과정을 개략적으로 나타내는 도면이다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에 있어서, VR 3D 공간에서 오브젝트 축은 사용자(VR 캐릭터)를 기준으로 X축이 좌우 방향, Y축이 상하 방향, Z축이 전후 방향으로 각각 정의되며, 따라서 VR 캐릭터의 머리와 양손은 각각 x, y, z 방향 축을 가지게 된다.
다음으로, 시야각(Field Of View ; FOV) 조건에 대하여 설명하면, 일반적으로, 시야각(FOV)이란 한 번에 볼 수 있는 시야 영역을 의미하며, 평균적으로 인간 안구의 FOV 값은 보통 110도 내외이다.
그러나 VR HMD 환경의 FOV 특징상 FOV가 넓다고 무조건 좋은 것은 아니며, 즉, FOV 값이 높다면 같은 화면으로 더 넓은 영역을 볼 수 있지만 왜곡이 발생하여 일그러지게 되므로, 현재의 HMD는 아직 인간과 완벽히 같은 FOV 값을 보여줄 수 없는 한계가 있다.
이에, 현재 VR HMD 환경의 평균 FOV 값은 90도이며, 따라서 본 발명에서는, 시야각의 조건함수 값으로서 ±45도로 설정하였다.
계속해서, 도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에서 VR 캐릭터의 손 방향 전환 과정을 개략적으로 나타내는 도면이다.
도 3에 나타낸 바와 같이, 사용자, 즉, VR 캐릭터가 시계를 보는 것과 같은 동작을 취하면 손 방향이 전환되고, 이때, 손 방향 축이 그대로 전환되므로 오른손, 왼손에 대하여 각각 회전된 축 방향을 적용한다.
다음으로, 도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에서 GUI 객체 호출 활성화 조건으로 눈과 손등이 마주보는 상태를 개략적으로 나타내는 도면이다.
도 4에 나타낸 바와 같이, 눈과 손등이 마주보는 상태에서 GUI 객체가 활성화되며, 이를 위한 가장 최적의 조건은 다음과 같다.
머리 방향 z축 : 손 방향 y축 = 수평
머리 방향 y축 : 손 방향 x축 = 수평
머리 방향 x축 : 손 방향 z축 = 수평
또한, 각각의 짝지어진 축의 수평각(0도 or 180도)이 허용각도(45도) 안에 속하면 GUI 객체가 활성화 된다.
<왼손 일 때>
머리 방향 z축 : 손 방향 y축 = 수평일 때 [허용 각도 :180도(반대방향) ±45도]
머리 방향 y축 : 손 방향 x축 = 수평일 때 [허용 각도 :180도(반대방향) ±45도]
머리 방향 x축 : 손 방향 z축 = 수평일 때 [허용 각도 : 0도(같은방향) ±45도]
<오른손 일 때>
머리 방향 z축 : 손 방향 y축 = 수평일 때 [허용 각도 :180도(반대방향) ±45도]
머리 방향 y축 : 손 방향 x축 = 수평일 때 [허용 각도 : 0도(같은방향) ±45도]
머리 방향 x축 : 손 방향 z축 = 수평일 때 [허용 각도 :180도(반대방향) ±45도]
따라서 상기한 바와 같은 과정을 통하여, 사용자, 즉, VR 캐릭터가 가상현실 환경 내에서 자신의 손등을 바라보는 동작을 취하면 자동으로 GUI 객체가 호출되어 메인메뉴나 서브메뉴와 같은 사용자 인터페이스가 표시된다.
즉, 도 5를 참조하면, 도 5는 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에 따라 GUI 객체가 자동 호출된 상태를 개략적으로 나타내는 도면이다.
여기서, 상기한 본 발명의 실시예에서는 손등을 바라보는 동작을 취하면 자동으로 GUI 객체가 호출되도록 구성되는 경우를 예로 하여 본 발명을 설명하였으나, 본 발명은 반드시 상기한 실시예의 경우로만 한정되는 것은 아니며, 즉, 본 발명에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법은, 상기한 실시예에 기재된 구성 이외에 다른 동작을 통하여 자동으로 GUI 객체가 호출되도록 구성될 수도 있는 등, 필요에 따라 여러 가지로 다양하게 구성될 수 있는 것임에 유념해야 한다.
이상, 상기한 바와 같이 하여 본 발명에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 구현할 수 있으며, 그것에 의해, 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자의 동작을 감지하여 자동으로 GUI 객체가 표시되도록 할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 하여 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 VR 시스템에 수행시키도록 구성되는 제어프로그램을 용이하게 구현할 수 있으며, 그것에 의해, 기존의 상용화된 VR 기기에도 용이하게 적용할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 하여 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 수행하도록 VR 시스템의 제어부를 구성함으로써, 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자의 동작을 감지하여 자동으로 GUI 객체가 표시되도록 구성되는 VR 시스템을 용이하게 구현할 수 있다.
더 상세하게는, 도 6을 참조하면, 도 6은 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 이용한 VR 시스템 제어장치(60)의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 6에 나타낸 바와 같이, 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 이용한 VR 시스템 제어장치(60)는, VR 캐릭터의 시야에서 손이 인식되는지를 탐지하는 VR 디바이스 탐지부(61), 허용범위 내에서 VR 캐릭터의 머리와 손에 대한 3D 좌표값을 각각 계산하는 3D 좌표값 계산부(62), 3D 좌표값 계산부(62)에서 계산된 머리와 손의 좌표값이 미리 설정된 조건함수 값과 일치하는지를 판단하는 3D 좌표값 판단부(63) 및 3D 좌표값 판단부(63)에서 좌표값이 조건함수 값과 일치하는 것으로 판단되면 GUI 객체를 호출하는 GUI 객체 호출부(64)를 포함하여 구성될 수 있다.
여기서, 상기한 각 부의 구체적인 동작은 도 1 내지 도 5를 참조하여 상기에 설명한 바와 같이 하여 수행될 수 있다.
따라서 상기한 바와 같이 하여 본 발명에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템을 구현할 수 있다.
또한, 상기한 바와 같이 하여 본 발명에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템을 구현하는 것에 의해, 본 발명에 따르면, VR GUI 객체 호출시 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 사용자의 동작을 감지하여 자동으로 GUI 객체가 표시되도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템이 제공됨으로써, VR 환경에서 각종 명령 등을 입력하기 위한 사용자 인터페이스(GUI)를 불러내기 위하여 별도의 핸드 컨트롤러를 사용하여 UI 호출버튼을 클릭해야 하는 번거로움이 있었던 종래기술의 VR 장치들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 사용자가 시계를 보는 행동과 유사하게 VR 환경 내에서 눈으로 손등을 바라보면 GUI 객체(메인 UI)가 자동으로 표시되도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템이 제공됨으로써, 컨트롤러와 같은 별도의 장비나 버튼 클릭 등의 동작이 필요 없이 간단한 동작만으로 보다 편리하고 용이하게 사용 가능하므로 사용의 편의성을 높이는 동시에, 가상현실을 체험하는 사용자의 사용자 경험(UX)을 향상시킬 수 있다.
더욱이, 본 발명에 따르면, 상기한 바와 같이 가상현실 환경 내에서 사용자의 간단한 동작만으로 GUI 객체를 호출할 수 있도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템이 제공됨으로써, 사용자 편의성 및 사용자 경험(UX)을 향상시키는 동시에, 예를 들면, HTC VIVE, OCULUS RIFT 및 Odyssey 등과 같이, 이미 상용화된 기존의 HMD 장비에도 용이하게 적용 가능하여 연동성, 확장성 및 유연성을 높이는 데 더하여, 영상정보처리 및 아이 디스플레이를 작동하기 위한 별도의 처리 과정이 생략되어 보다 효율적인 VR 시스템을 구현할 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법 및 이를 이용한 VR 시스템의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
60. VR 시스템 제어장치
61. VR 디바이스 탐지부
62. 3D 좌표값 계산부
63. 3D 좌표값 판단부
64. GUI 객체 호출부

Claims (9)

  1. 컨트롤러를 포함하는 별도의 장비나 동작이 필요 없이 가상현실 환경에서 사용자의 동작을 감지하여 자동으로 GUI(Graphical User Interface) 객체가 표시되도록 하기 위한 처리를 전용의 하드웨어나 VR 시스템에 실행시키도록 구성되는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법에 있어서,
    상기 처리는,
    VR 캐릭터의 시야에서 손이 인식되는지를 탐지하는 탐지단계;
    상기 탐지단계에서 손이 인식된 경우 미리 정해진 허용범위 내에서 상기 VR 캐릭터의 머리와 손에 대한 각각의 3D 좌표값(x, y, z)을 계산하는 좌표값 계산단계;
    상기 좌표값 계산단계에서 계산된 3D 좌표값이 미리 설정된 조건함수 값과 일치하는지를 판단하는 좌표값 판단단계; 및
    상기 좌표값 판단단계에서 상기 VR 캐릭터의 머리와 손에 대한 각각의 3D 좌표값이 상기 조건함수 값과 일치하는 것으로 판단되면 미리 설정된 GUI 객체를 호출하는 GUI 객체 호출단계를 포함하여 구성되는 것을 특징으로 하는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법.
  2. 제 1항에 있어서,
    상기 GUI 객체는,
    메인메뉴 UI나 서브메뉴 UI를 포함하는 VR 환경 내에서 표시되는 UI 형태의 오브젝트(object)인 것을 특징으로 하는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법.
  3. 제 1항에 있어서,
    상기 3D 좌표값(x, y, z)은,
    상기 VR 캐릭터를 기준으로 X축이 좌우 방향, Y축이 상하 방향, Z축이 전후 방향으로 각각 정의되는 것을 특징으로 하는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법.
  4. 제 1항에 있어서,
    상기 조건함수 값은,
    상기 GUI 객체 호출을 위해 미리 지정된 3D 좌표값인 것을 특징으로 하는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법.
  5. 제 1항에 있어서,
    상기 방법은,
    시야각(Field Of View ; FOV)이 ±45도로 설정되는 것을 특징으로 하는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법.
  6. 제 1항에 있어서,
    상기 방법은,
    상기 VR 캐릭터의 눈과 손등이 마주보는 상태일 때 상기 GUI 객체의 호출이 활성화되도록 구성되는 것을 특징으로 하는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법.
  7. 제 6항에 있어서,
    상기 방법은,
    이하의 조건을 만족하는 경우 상기 GUI 객체의 호출이 활성화되도록 구성되는 것을 특징으로 하는 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법.

    <왼손 일 때>
    상기 VR 캐릭터의 머리 방향 z축과 손 방향 y축이 수평 또는 허용각도 180도(반대방향)±45도 이내이고,
    상기 VR 캐릭터의 머리 방향 y축과 손 방향 x축이 수평 또는 허용각도 180도(반대방향)±45도 이내이며,
    상기 VR 캐릭터의 머리 방향 x축과 손 방향 z축이 수평 또는 허용각도 0도(같은방향)±45도 이내인 경우.

    <오른손 일 때>
    상기 VR 캐릭터의머리 방향 z축과 손 방향 y축이 수평 또는 허용각도 180도(반대방향)±45도 이내이고,
    상기 VR 캐릭터의 머리 방향 y축과 손 방향 x축이 수평 또는 허용각도 0도(같은방향)±45도 이내이며,
    상기 VR 캐릭터의 머리 방향 x축과 손 방향 z축이 수평 또는 허용각도 180도(반대방향)±45도 이내인 경우.
  8. 청구항 1항 내지 청구항 7항 중 어느 한 항에 기재된 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 이용하여, 가상현실 환경에서 사용자의 동작에 따라 GUI 객체를 자동으로 표시하는 처리가 수행되도록 구성되는 VR 시스템 제어장치에 있어서,
    VR 캐릭터의 시야에서 손이 인식되는지를 탐지하는 VR 디바이스 탐지부;
    상기 VR 캐릭터의 머리와 손에 대한 3D 좌표값을 각각 계산하는 3D 좌표값 계산부;
    상기 3D 좌표값 계산부에서 계산된 상기 VR 캐릭터의 머리와 손의 좌표값이 미리 설정된 조건함수 값과 일치하는지를 판단하는 3D 좌표값 판단부; 및
    상기 3D 좌표값 판단부에서 상기 VR 캐릭터의 머리와 손의 좌표값이 상기 조건함수 값과 일치하는 것으로 판단되면 GUI 객체를 호출하는 GUI 객체 호출부를 포함하여 구성되는 것을 특징으로 하는 VR 시스템 제어장치.
  9. VR 시스템에 있어서,
    가상현실 환경을 제공하기 위한 HMD(Head Mount Disply)부; 및
    상기 VR 시스템의 전체적인 동작을 제어하기 위한 제어부를 포함하여 구성되고,
    상기 제어부는,
    청구항 1항 내지 청구항 7항 중 어느 한 항에 기재된 가상현실 환경에서 사용자의 동작에 따른 GUI 객체의 자동 표시방법을 이용하여, 가상현실 환경에서 사용자의 동작에 따라 GUI 객체를 자동으로 표시하는 처리가 수행되도록 구성되는 것을 특징으로 하는 VR 시스템.
KR1020180134882A 2018-11-06 2018-11-06 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템 KR20200051937A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180134882A KR20200051937A (ko) 2018-11-06 2018-11-06 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180134882A KR20200051937A (ko) 2018-11-06 2018-11-06 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템

Publications (1)

Publication Number Publication Date
KR20200051937A true KR20200051937A (ko) 2020-05-14

Family

ID=70736953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180134882A KR20200051937A (ko) 2018-11-06 2018-11-06 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템

Country Status (1)

Country Link
KR (1) KR20200051937A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102424123B1 (ko) 2022-05-12 2022-07-21 오성훈 사용자의 모션 제스처 및 3d ui 기반의 메타버스 제어 서버, 방법 및 프로그램
WO2022182116A1 (ko) * 2021-02-25 2022-09-01 삼성전자 주식회사 웨어러블 장치 및 그의 화면 제어 방법
WO2023096038A1 (ko) * 2021-11-29 2023-06-01 주식회사 피앤씨솔루션 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
KR20230087865A (ko) * 2021-12-10 2023-06-19 주식회사 리안 인공지능 손위치 인식을 이용한 아바타 제어시스템
WO2024025089A1 (ko) * 2022-07-29 2024-02-01 삼성전자주식회사 Ar 객체를 표시하기 위한 디스플레이 장치 및 그 제어 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022182116A1 (ko) * 2021-02-25 2022-09-01 삼성전자 주식회사 웨어러블 장치 및 그의 화면 제어 방법
WO2023096038A1 (ko) * 2021-11-29 2023-06-01 주식회사 피앤씨솔루션 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
KR20230087865A (ko) * 2021-12-10 2023-06-19 주식회사 리안 인공지능 손위치 인식을 이용한 아바타 제어시스템
KR102424123B1 (ko) 2022-05-12 2022-07-21 오성훈 사용자의 모션 제스처 및 3d ui 기반의 메타버스 제어 서버, 방법 및 프로그램
KR20230159206A (ko) 2022-05-12 2023-11-21 오성훈 3d ui 기반의 가상도형 호출을 이용한 메타버스 환경 설정 서버, 방법 및 프로그램
WO2024025089A1 (ko) * 2022-07-29 2024-02-01 삼성전자주식회사 Ar 객체를 표시하기 위한 디스플레이 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
KR20200051937A (ko) 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템
US11137967B2 (en) Gaze-based user interactions
US10545584B2 (en) Virtual/augmented reality input device
EP3311249B1 (en) Three-dimensional user input
US20230315197A1 (en) Gaze timer based augmentation of functionality of a user input device
US11798517B2 (en) Method and system for spawning attention pointers (APT) for drawing attention of an user in a virtual screen display with augmented and virtual reality
CN112817453A (zh) 虚拟现实设备和虚拟现实场景中物体的视线跟随方法
EP3782012A1 (en) Gaze-informed zoom &amp; pan with manual speed control
KR101687309B1 (ko) Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치
CN106886287B (zh) 用于在虚拟现实设备中共享画面的方法和装置
CN115131547A (zh) Vr/ar设备截取图像的方法、装置及系统
KR102349210B1 (ko) 웨어러블 컴퓨팅 디바이스를 이용한 디스플레이 디바이스의 직접 조작
EP4254143A1 (en) Eye tracking based selection of a user interface element based on targeting criteria
US11983810B1 (en) Projection based hair rendering
US20230419439A1 (en) Warping an input image based on depth and offset information
US20230386093A1 (en) Changing Locked Modes Associated with Display of Computer-Generated Content
EP3958095A1 (en) A mobile computer-tethered virtual reality/augmented reality system using the mobile computer as a man machine interface
JP2023125554A (ja) 仮想空間画像表示装置及び仮想空間画像表示方法並びに仮想空間画像表示プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application