KR20230027950A - Virtual reality system with touch user interface - Google Patents
Virtual reality system with touch user interface Download PDFInfo
- Publication number
- KR20230027950A KR20230027950A KR1020210110293A KR20210110293A KR20230027950A KR 20230027950 A KR20230027950 A KR 20230027950A KR 1020210110293 A KR1020210110293 A KR 1020210110293A KR 20210110293 A KR20210110293 A KR 20210110293A KR 20230027950 A KR20230027950 A KR 20230027950A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual reality
- user
- user interface
- touch
- depth
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000005259 measurement Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000007654 immersion Methods 0.000 abstract description 10
- 230000001133 acceleration Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Abstract
Description
본 발명은 가상현실(Virtual Reality ; VR) 시스템 및 방법에 관한 것으로, 더 상세하게는, 가상현실 내에서 사용자에게 제공되는 사용자 인터페이스(User Interface ; UI)에 표시되는 각각의 메뉴를 선택하기 위해서는 별도의 입력장치나 전용의 컨트롤러가 필요한 단점이 있었던 종래기술의 VR 시스템들의 문제점을 해결하기 위해, 가상현실 내에 표시되는 각종 메뉴를 실제 터치스크린과 같이 터치식으로 선택할 수 있도록 구성됨으로써, 별도의 입력장치나 전용의 컨트롤러가 필요 없이 간단한 구성으로 보다 편리하고 용이하게 직관적인 사용이 가능하도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템에 관한 것이다. The present invention relates to a virtual reality (VR) system and method, and more particularly, to select each menu displayed on a user interface (UI) provided to a user in virtual reality. In order to solve the problem of VR systems of the prior art, which had the disadvantage of requiring an input device or a dedicated controller, it is configured to select various menus displayed in virtual reality by touch, like an actual touch screen, so that a separate input device It relates to a virtual reality system having a touch-type user interface configured to enable more convenient and easy intuitive use with a simple configuration without the need for a dedicated controller.
또한, 본 발명은, 상기한 바와 같이 가상현실 내에서 UI에 표시되는 각각의 메뉴를 선택하기 위해 별도의 입력장치나 전용의 컨트롤러가 필요한 단점이 있었던 종래기술의 VR 시스템들의 문제점을 해결하기 위해, 이미지 센서(image sensor)와 깊이센서(depth sensor)를 활용하여 사용자의 손가락 위치 및 거리변화의 가속도 변곡점을 각각 검출하여 해당 메뉴 버튼을 누르는 동작을 행하였는지를 판단하도록 하는 것에 의해 가상현실 내에서 사용자에게 표시되는 사용자 인터페이스의 각종 메뉴 등을 실제로 터치하는 것과 같이 선택 가능하도록 구성됨으로써, 별도의 입력장치나 전용의 컨트롤러가 필요 없이 보다 간단한 구성으로 편리하고 용이하게 직관적인 사용이 가능하며, 그것에 의해 가상현실에 대한 몰입감을 높이고 사용자 경험을 향상시킬 수 있도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템에 관한 것이다. In addition, the present invention, as described above, in order to solve the problems of prior art VR systems that require a separate input device or a dedicated controller to select each menu displayed on the UI in virtual reality, By using an image sensor and a depth sensor, the user's finger position and the acceleration inflection point of the distance change are detected respectively to determine whether the corresponding menu button has been pressed. By being configured to be able to select various menus of the displayed user interface as if actually touching it, convenient and easy intuitive use is possible with a simpler configuration without the need for a separate input device or dedicated controller, thereby enabling virtual reality It relates to a virtual reality system having a touch-type user interface configured to increase immersion and improve user experience.
최근, 정보통신 기술의 발전에 따라 가상현실(Virtual Reality ; VR) 기술의 발전이 빠르게 이루어지고 있으며, 그에 따라 사용자에게 가상현실을 제공하는 VR 시스템의 보급도 빠르게 증가하고 있다. Recently, with the development of information and communication technology, the development of virtual reality (VR) technology is rapidly progressing, and accordingly, the spread of VR systems that provide virtual reality to users is rapidly increasing.
이러한 VR 시스템들은, 일반적으로, 사용자의 머리에 착용하는 HMD(Head Mounted Display)의 형태로 구성되고, 게임이나 영상 등의 다양한 컨텐츠를 제공 가능하며, 가상현실 내에서 각각의 컨텐츠를 제어하기 위한 사용자 인터페이스(User Interface UI)가 제공되고, 이러한 UI의 입력장치로서 전용 컨트롤러를 구비하고 있다. These VR systems are generally configured in the form of a Head Mounted Display (HMD) worn on the user's head, capable of providing various contents such as games and images, and allowing the user to control each content within virtual reality. An interface (User Interface UI) is provided, and a dedicated controller is provided as an input device for the UI.
이에, 최근에는, VR 시스템을 통해 제공되는 가상현실에 대한 사용자 경험을 향상시키기 위하여 보다 직관적이고 가상현실에 최적화된 UI의 설계 및 구현방안에 대한 요구가 높아지고 있다. Accordingly, in recent years, in order to improve the user experience of virtual reality provided through the VR system, there is an increasing demand for a UI design and implementation method that is more intuitive and optimized for virtual reality.
여기서, 상기한 바와 같이 가상현실(VR) 시스템의 사용자 인터페이스(UI)를 제공하기 위한 방법에 관한 종래기술의 예로는, 예를 들면, 한국 등록특허공보 제10-2278748호에 제시된 바와 같은 "360 VR 인터랙티브 중계를 위한 사용자 인터페이스 및 방법"이 있다. Here, as described above, an example of the prior art related to a method for providing a user interface (UI) of a virtual reality (VR) system is, for example, "360 There is a user interface and method for VR interactive relay".
더 상세하게는, 상기한 한국 등록특허공보 제10-2278748호는, 특정 비디오에 대한 저해상도 이미지, 초고해상도 이미지 또는 고해상도 이미지 및 복수의 비디오에 대한 서브 이미지를 수신하는 단계; 사용자의 시점(View)을 계산하여, 관심영역이 초고해상도 또는 고해상도 이미지로 구성되고, 관심영역의 주변영역이 저해상도 이미지로 구성되되, 서브 이미지가 주변영역에 부가된 화면 이미지를 생성하는 단계; 및 생성된 화면 이미지를 출력하는 단계;를 포함하고, 화면 이미지를 출력하는 단계는, 사용자의 관심영역이 설정되면, 설정된 관심영역으로부터 기설정된 범위 이내의 영역을 제1 주변영역으로 설정하고, 관심영역 및 제1 주변영역 이외에 영역을 제2 주변영역으로 설정하여, 관심영역이 초고해상도 이미지로 구성되면, 제1 주변영역이 고해상도 이미지로 구성되고, 제2 주변영역이 저해상도 이미지로 구성되는 화면 이미지를 출력하도록 구성됨으로써, 타일 기반 스트리밍 서비스 기술이 적용된 360 VR 중계 및 다수의 영상을 하나의 화면 안에서 재생할 수 있으며, 360 VR 영상 및 음성 시청 시 부가된 다수의 서브 미디어 중에서 특정 서브 미디어를 선택하여 재생 중인 화면을 전환하는 것에 의해 사용자에게 편의를 제공할 수 있도록 구성되는 360 VR 인터랙티브 중계를 위한 사용자 인터페이스 방법에 관한 것이다. More specifically, Korean Patent Application Publication No. 10-2278748 discloses a method comprising: receiving a low-resolution image, an ultra-high resolution image, or a high-resolution image for a specific video and sub-images for a plurality of videos; Calculating a user's point of view, generating a screen image in which a region of interest is composed of super-high resolution or high-resolution images, and a region around the region of interest is composed of low-resolution images, and a sub-image is added to the surrounding region; and outputting the generated screen image. In the step of outputting the screen image, if the user's region of interest is set, setting an area within a preset range from the set region of interest as a first peripheral region; When an area other than the area and the first peripheral area is set as the second peripheral area, and the area of interest is composed of a super-resolution image, the first peripheral area is composed of a high-resolution image and the second peripheral area is composed of a low-resolution image. By being configured to output, it is possible to play 360 VR relay and multiple videos applied with tile-based streaming service technology on one screen, and when viewing 360 VR video and audio, a specific sub-media is selected and played from a number of added sub-media. A user interface method for 360 VR interactive relay configured to provide convenience to a user by switching a screen being played.
상기한 바와 같이, 종래, VR 시스템의 가상현실 화면에 표시되는 사용자 인터페이스(UI)에 대하여 여러 가지 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다. As described above, in the prior art, various technical contents have been proposed for a user interface (UI) displayed on a virtual reality screen of a VR system, but the contents of the prior art as described above have the following problems.
더 상세하게는, 상기한 등록특허공보 제10-2278748호는, 사용자의 머리 이외의 신체에 착용된 웨어러블 기기의 움직임에 따라 화면 이미지가 출력되는 상태에서 화면의 시점(view)이 이동하거나 사용자가 커서를 이동하여 특정 객체를 선택하면 출력되는 화면 이미지가 갱신되도록 구성되는 것이며, 이러한 구성으로 인해, VR 헤드셋 이외에 별도의 웨어러블 기기, 즉, 컨트롤러가 요구되는 단점이 있는 것이었다. More specifically, in Patent Registration No. 10-2278748, the view of the screen moves while the screen image is output according to the movement of the wearable device worn on the body other than the user's head, or the user It is configured so that when a specific object is selected by moving the cursor, the output screen image is updated. Due to this configuration, a separate wearable device, that is, a controller, was required in addition to the VR headset.
즉, 종래, 일반적으로, VR 시스템의 가상현실 환경 내에서 사용자 인터페이스(UI)에 표시되는 각종 메뉴를 선택하기 위하여는 커서를 이동시키고 선택을 입력하기 위한 별도의 컨트롤러가 필요하며, 이로 인해, 단순히 VR 시스템의 전체적인 장치 구성이 복잡해지고 사용이 불편해지는 것에 더하여, 사용자가 가상현실 환경에서 느끼는 현실감 및 몰입감을 크게 떨어뜨리게 되는 문제점이 있었다. That is, in general, in order to select various menus displayed on the user interface (UI) within the virtual reality environment of the VR system, a separate controller is required to move the cursor and input the selection. In addition to the overall device configuration of the VR system becoming complicated and inconvenient to use, there is a problem that the user feels a sense of reality and immersion in the virtual reality environment.
따라서 상기한 바와 같은 종래기술의 VR 시스템 및 방법들의 문제점을 해결하기 위하여는, 예를 들면, 터치스크린 등과 같이, 사용자가 별도의 컨트롤러를 사용할 필요 없이 가상현실 내에서 각각의 메뉴를 터치하여 선택 가능하도록 구성되는 터치 기반 인터페이스를 제공하는 것에 의해 보다 편리하고 직관적인 사용이 가능하고 가상현실에 대한 몰입감을 높일 수 있도록 구성되는 새로운 구성의 터치식 사용자 인터페이스를 가지는 VR 시스템 및 방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다. Therefore, in order to solve the problems of the prior art VR systems and methods as described above, for example, a user can select by touching each menu in virtual reality without using a separate controller, such as a touch screen. It is desirable to provide a VR system and method having a touch-based user interface of a new configuration configured to enable more convenient and intuitive use and increase immersion in virtual reality by providing a touch-based interface configured to However, a device or method that satisfies all such requirements has not yet been presented.
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 가상현실 내에서 사용자에게 제공되는 사용자 인터페이스(UI)에 표시되는 각각의 메뉴를 선택하기 위해서는 별도의 입력장치나 전용의 컨트롤러가 필요한 단점이 있었던 종래기술의 VR 시스템들의 문제점을 해결하기 위해, 가상현실 내에 표시되는 각종 메뉴를 실제 터치스크린과 같이 터치식으로 선택할 수 있도록 구성됨으로써, 별도의 입력장치나 전용의 컨트롤러가 필요 없이 간단한 구성으로 보다 편리하고 용이하게 직관적인 사용이 가능하도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템을 제시하고자 하는 것이다. The present invention is to solve the problems of the prior art as described above, and therefore, an object of the present invention is, in order to select each menu displayed on a user interface (UI) provided to the user in virtual reality, a separate input is required. In order to solve the problems of prior art VR systems, which have the disadvantage of requiring a device or a dedicated controller, it is configured to select various menus displayed in virtual reality by touch, like a real touch screen, so that a separate input device or dedicated controller is used. It is intended to present a virtual reality system having a touch-type user interface configured to enable more convenient and easy intuitive use with a simple configuration without the need for a controller.
또한, 본 발명의 다른 목적은, 상기한 바와 같이 가상현실 내에서 UI에 표시되는 각각의 메뉴를 선택하기 위해 별도의 입력장치나 전용의 컨트롤러가 필요한 단점이 있었던 종래기술의 VR 시스템들의 문제점을 해결하기 위해, 이미지 센서(image sensor)와 깊이센서(depth sensor)를 활용하여 사용자의 손가락 위치 및 거리변화의 가속도 변곡점을 각각 검출하여 해당 메뉴 버튼을 누르는 동작을 행하였는지를 판단하도록 하는 것에 의해 가상현실 내에서 사용자에게 표시되는 사용자 인터페이스의 각종 메뉴 등을 실제로 터치하는 것과 같이 선택 가능하도록 구성됨으로써, 별도의 입력장치나 전용의 컨트롤러가 필요 없이 보다 간단한 구성으로 편리하고 용이하게 직관적인 사용이 가능하며, 그것에 의해 가상현실에 대한 몰입감을 높이고 사용자 경험을 향상시킬 수 있도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템을 제시하고자 하는 것이다. In addition, another object of the present invention is to solve the problems of prior art VR systems, which have the disadvantage of requiring a separate input device or a dedicated controller to select each menu displayed on the UI in virtual reality as described above. In order to do this, by using an image sensor and a depth sensor to detect the user's finger position and the acceleration inflection point of the distance change, respectively, to determine whether or not an action of pressing the corresponding menu button has been performed within the virtual reality. By being configured to select various menus of the user interface displayed to the user as if they were actually touched, it is possible to conveniently and easily use intuitively with a simpler configuration without the need for a separate input device or dedicated controller. It is intended to present a virtual reality system having a touch-type user interface configured to increase immersion in virtual reality and improve user experience.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 터치식 사용자 인터페이스를 가지는 가상현실(Virtual Reality ; VR) 시스템에 있어서, 사용자의 머리 부분에 장착되어 각종 가상현실(VR) 컨텐츠를 제공하도록 이루어지는 HMD(Head Mounted Display)부; 사용자의 손의 위치와 동작을 검출하기 위한 각종 센서를 포함하여 상기 HMD부의 일측에 설치되는 센서부; 및 상기 VR 시스템의 전체적인 동작을 제어하고, 상기 HMD부의 가상현실 환경에 표시되는 사용자 인터페이스(UI)를 생성하며, 상기 센서부의 각 센서의 측정결과에 근거하여 상기 UI에 표시되어 있는 메뉴버튼을 누르는 사용자의 입력을 판단하고, 사용자의 입력에 따라 가상현실 내의 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 포함하여 구성되는 것을 특징으로 하는 터치식 사용자 인터페이스를 가지는 가상현실 시스템이 제공된다. In order to achieve the above object, according to the present invention, in a virtual reality (VR) system having a touch user interface, mounted on a user's head to provide various virtual reality (VR) contents. a Head Mounted Display (HMD) unit; A sensor unit installed on one side of the HMD unit including various sensors for detecting the position and motion of the user's hand; And controlling the overall operation of the VR system, generating a user interface (UI) displayed in the virtual reality environment of the HMD unit, and pressing a menu button displayed on the UI based on the measurement result of each sensor of the sensor unit A virtual reality system having a touch-type user interface is provided, comprising a control unit configured to determine a user's input and perform processing for controlling an operation in virtual reality according to the user's input.
여기서, 상기 HMD부는, 기존의 상용 HMD 장치나 VR 장치를 이용하여 구성되는 것을 특징으로 한다. Here, the HMD unit is characterized in that it is configured using an existing commercial HMD device or VR device.
또한, 상기 센서부는, 사용자가 상기 UI에 표시되어 있는 각각의 메뉴버튼을 누르는 동작을 검출하기 위해, 상기 HMD부의 전면에 각각 설치되는 이미지 센서(image sensor) 및 깊이센서(depth sensor)를 포함하여 구성되는 것을 특징으로 한다. In addition, the sensor unit includes an image sensor and a depth sensor respectively installed on the front of the HMD unit to detect a user pressing each menu button displayed on the UI. It is characterized by being composed.
아울러, 상기 이미지 센서는, 영상을 통해 사용자의 손의 위치와 버튼을 누르는 자세 및 동작을 검출하기 위한 CCD(Charge Coupled Device) 이미지 센서나, CMOS 이미지 센서, 또는, 카메라 모듈을 포함하여 구성되는 것을 특징으로 한다. In addition, the image sensor is configured to include a CCD (Charge Coupled Device) image sensor, a CMOS image sensor, or a camera module for detecting the position of the user's hand and the posture and operation of pressing a button through an image. to be characterized
더욱이, 상기 깊이 센서는, 상기 이미지 센서로 얻어진 영상 내의 사물을 감지하고, 해당 사물과 상기 깊이 센서 사이의 거리(깊이)를 측정할 수 있도록 구성되는 것을 특징으로 한다. Furthermore, the depth sensor may be configured to detect an object in an image obtained by the image sensor and measure a distance (depth) between the object and the depth sensor.
또는, 상기 센서부는, 촬영되는 영상으로부터 실시간으로 깊이 정보를 측정할 수 있도록 구성되는 깊이(거리) 카메라(Depth(distance backwards) Camera)를 이용하여, 영상 내의 목표물에 대한 앞뒤 깊이(거리) 정보(distance backwards)를 얻을 수 있도록 구성되는 것을 특징으로 한다. Alternatively, the sensor unit uses a depth (distance backwards) camera configured to measure depth information in real time from a photographed image, and depth (distance) information (back and forth) of the target in the image ( It is characterized in that it is configured to obtain distance backwards).
또한, 상기 제어부는, 상기 센서부의 측정결과에 근거하여, 사용자의 손이 가상현실 컨텐츠의 UI에 표시된 특정 버튼 위에 위치하고 있고 해당 버튼을 누르는 동작을 수행한 것으로 판단되면 해당 버튼에 할당된 동작이 수행되도록 제어하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the control unit performs an operation assigned to the button when it is determined that the user's hand is located on a specific button displayed on the UI of the virtual reality content and an operation of pressing the corresponding button is performed based on the measurement result of the sensor unit. It is characterized in that it is configured so that the processing to control so as to be performed.
아울러, 상기 제어부는, 상기 이미지 센서를 통해 얻어진 영상에 영상처리 및 분석을 행하여 사용자의 손의 위치와 손가락으로 버튼을 누르는 손모양 및 동작을 검출하고, 사용자의 손가락(또는 손가락 끝)이 상기 UI에 표시된 특정 버튼 위에 미리 정해진 일정 시간 동안 위치하고 있는 것으로 판단되면, 상기 깊이 센서에 의해 측정된 사용자의 손가락(또는 손가락 끝)에 대한 거리(깊이) 측정값에 근거하여, 미리 정해진 기준거리 이상 사용자의 손가락(또는 손가락 끝)의 거리(깊이)가 변화(증가)하고 변화(증가)된 거리(깊이)가 미리 정해진 기준시간 동안 유지되었는지를 판단하여 해당 버튼의 입력(누름) 여부를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the control unit performs image processing and analysis on the image obtained through the image sensor to detect the position of the user's hand and the hand shape and motion of pressing the button with the finger, and the user's finger (or fingertip) detects the UI If it is determined that the button is located on a specific button displayed for a predetermined period of time, based on the distance (depth) measurement value of the user's finger (or fingertip) measured by the depth sensor, the user's The distance (depth) of the finger (or fingertip) is changed (increased) and the process of determining whether the corresponding button is pressed (pressed) by determining whether the changed (increased) distance (depth) is maintained for a predetermined reference time It is characterized in that it is configured to perform.
더욱이, 본 발명에 따르면, 가상현실 서비스 제공방법에 있어서, 가상현실 시스템의 사용자 인터페이스(UI)를 통하여 사용자의 손동작에 의한 입력을 검출하는 단계; 및 상기 사용자의 손동작에 의한 입력이 검출되면 상기 가상현실 시스템을 통하여 해당 입력에 대응하는 동작이 수행되는 단계를 포함하여 구성되고, 상기 가상현실 시스템은, 상기에 기재된 터치식 사용자 인터페이스를 가지는 가상현실 시스템을 이용하여 구성되는 것을 특징으로 하는 가상현실 서비스 제공방법이 제공된다. Furthermore, according to the present invention, in a virtual reality service providing method, detecting an input by a user's hand motion through a user interface (UI) of a virtual reality system; and performing an operation corresponding to the corresponding input through the virtual reality system when an input by the user's hand motion is detected, wherein the virtual reality system has the touch user interface described above. A virtual reality service providing method characterized in that it is configured using a system is provided.
상기한 바와 같이, 본 발명에 따르면, 이미지 센서(image sensor)와 깊이센서(depth sensor)를 활용하여 사용자의 손가락 위치 및 거리변화의 가속도 변곡점을 각각 검출하여 해당 메뉴 버튼을 누르는 동작을 행하였는지를 판단하도록 하는 것에 의해 가상현실 내에서 사용자에게 표시되는 사용자 인터페이스의 각종 메뉴 등을 실제로 터치하는 것과 같이 선택 가능하도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템 및 방법이 제공됨으로써, 별도의 입력장치나 전용의 컨트롤러가 필요 없이 보다 간단한 구성으로 편리하고 용이하게 직관적인 사용이 가능하며, 그것에 의해, 가상현실에 대한 몰입감을 높이고 사용자 경험을 향상시킬 수 있다. As described above, according to the present invention, by using an image sensor and a depth sensor, the user's finger position and the acceleration inflection point of the distance change are detected, respectively, to determine whether the corresponding menu button has been pressed. By providing a virtual reality system and method having a touch-type user interface configured to select various menus of the user interface displayed to the user in virtual reality as if actually touching them, a separate input device or a dedicated input device is provided. Convenient and easy intuitive use is possible with a simpler configuration without the need for a controller, thereby increasing immersion in virtual reality and improving user experience.
또한, 본 발명에 따르면, 상기한 바와 같이 가상현실 내에 표시되는 각종 메뉴를 실제 터치스크린과 같이 터치식으로 선택할 수 있도록 하는 것에 의해 별도의 입력장치나 전용의 컨트롤러가 필요 없이 간단한 구성으로 보다 편리하고 용이하게 직관적인 사용이 가능하도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템이 제공됨으로써, 가상현실 내에서 사용자에게 제공되는 사용자 인터페이스(UI)에 표시되는 각각의 메뉴를 선택하기 위해 별도의 입력장치나 전용의 컨트롤러가 필요하여 전체적인 구성이 복잡해지고, 그로 인해, 가상현실에 대한 몰입감을 떨어뜨리는 단점이 있었던 종래기술의 VR 시스템 및 방법들의 문제점을 해결할 수 있다. In addition, according to the present invention, as described above, various menus displayed in virtual reality can be selected in a touch-type manner like an actual touch screen, so that a separate input device or dedicated controller is not required, and it is more convenient and convenient with a simple configuration. By providing a virtual reality system having a touch-type user interface configured to enable easy and intuitive use, a separate input device is provided to select each menu displayed on the user interface (UI) provided to the user in virtual reality. It is possible to solve the problems of the prior art VR systems and methods, which have the disadvantage of reducing the immersion in virtual reality because the entire configuration is complicated because a dedicated controller is required.
도 1은 본 발명의 실시예에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템의 실제 구성예를 개략적으로 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템에서 사용자가 UI에 표시된 메뉴버튼을 누르는 동작을 검출하는 과정을 개략적으로 나타내는 개념도이다. 1 is a block diagram schematically showing the overall configuration of a virtual reality system having a touch-type user interface according to an embodiment of the present invention.
FIG. 2 is a diagram schematically illustrating an example of an actual configuration of a virtual reality system having a touch-type user interface according to an embodiment of the present invention shown in FIG. 1 .
3 is a conceptual diagram schematically illustrating a process of detecting a user's action of pressing a menu button displayed on a UI in a virtual reality system having a touch user interface according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템의 구체적인 실시예에 대하여 설명한다. Hereinafter, specific embodiments of a virtual reality system having a touch-type user interface according to the present invention will be described with reference to the accompanying drawings.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다. Here, it should be noted that the contents described below are only one embodiment for carrying out the present invention, and the present invention is not limited to the contents of the embodiments described below.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다. In addition, in the following description of the embodiments of the present invention, for parts that are the same as or similar to the contents of the prior art or are determined to be easily understood and implemented at the level of those skilled in the art, the detailed descriptions are provided to simplify the description. It should be noted that .
즉, 본 발명은, 후술하는 바와 같이, 가상현실 내에서 사용자에게 제공되는 사용자 인터페이스(User Interface ; UI)에 표시되는 각각의 메뉴를 선택하기 위해서는 별도의 입력장치나 전용의 컨트롤러가 필요한 단점이 있었던 종래기술의 VR 시스템들의 문제점을 해결하기 위해, 가상현실 내에 표시되는 각종 메뉴를 실제 터치스크린과 같이 터치식으로 선택할 수 있도록 구성됨으로써, 별도의 입력장치나 전용의 컨트롤러가 필요 없이 간단한 구성으로 보다 편리하고 용이하게 직관적인 사용이 가능하도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템에 관한 것이다. That is, the present invention, as will be described later, has the disadvantage of requiring a separate input device or a dedicated controller to select each menu displayed on a user interface (UI) provided to the user in virtual reality. In order to solve the problems of prior art VR systems, it is configured so that various menus displayed in virtual reality can be selected in a touch-type manner like an actual touch screen, so it is more convenient with a simple configuration without the need for a separate input device or dedicated controller It relates to a virtual reality system having a touch-type user interface configured to allow easy and intuitive use.
아울러, 본 발명은, 후술하는 바와 같이, 가상현실 내에서 UI에 표시되는 각각의 메뉴를 선택하기 위해 별도의 입력장치나 전용의 컨트롤러가 필요한 단점이 있었던 종래기술의 VR 시스템들의 문제점을 해결하기 위해, 이미지 센서(image sensor)와 깊이센서(depth sensor)를 활용하여 사용자의 손가락 위치 및 거리변화의 가속도 변곡점을 각각 검출하여 해당 메뉴 버튼을 누르는 동작을 행하였는지를 판단하도록 하는 것에 의해 가상현실 내에서 사용자에게 표시되는 사용자 인터페이스의 각종 메뉴 등을 실제로 터치하는 것과 같이 선택 가능하도록 구성됨으로써, 별도의 입력장치나 전용의 컨트롤러가 필요 없이 보다 간단한 구성으로 편리하고 용이하게 직관적인 사용이 가능하며, 그것에 의해 가상현실에 대한 몰입감을 높이고 사용자 경험을 향상시킬 수 있도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템에 관한 것이다. In addition, the present invention, as will be described later, in order to solve the problems of the prior art VR systems, which had the disadvantage of requiring a separate input device or a dedicated controller to select each menu displayed on the UI in virtual reality. , By using an image sensor and a depth sensor, the user's finger position and the acceleration inflection point of the distance change are detected respectively to determine whether the user has performed an action of pressing the corresponding menu button. By being configured to be able to select various menus of the user interface displayed to the user as if they were actually touched, convenient and easy intuitive use is possible with a simpler configuration without the need for a separate input device or dedicated controller, thereby enabling virtual It relates to a virtual reality system having a touch-type user interface configured to increase immersion in reality and improve user experience.
계속해서, 도면을 참조하여, 본 발명에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템의 구체적인 내용에 대하여 설명한다. Continuously, with reference to the drawings, the specific contents of the virtual reality system having a touch-type user interface according to the present invention will be described.
더 상세하게는, 먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템(10)의 전체적인 구성을 개략적으로 나타내는 블록도이다. In more detail, first, referring to FIG. 1 , FIG. 1 is a block diagram schematically showing the overall configuration of a
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템(10)은, 크게 나누어, 사용자의 머리 부분에 장착되어 각종 가상현실(VR) 컨텐츠를 제공하도록 이루어지는 HMD(Head Mounted Display)부(11); 사용자의 손의 위치와 동작을 검출하기 위한 각종 센서를 포함하여 HMD부(11)의 일측에 설치되는 센서부(12) 및 VR 시스템(10)의 전체적인 동작을 제어하고, HMD부(11)의 가상현실 환경에 표시되는 사용자 인터페이스(UI)를 생성하며, 센서부(12)의 각 센서의 측정결과에 근거하여 UI를 통한 사용자의 입력을 판단하고 사용자의 입력에 따라 가상현실 내의 동작을 제어하는 처리가 수행되도록 이루어지는 제어부(13)를 포함하여 구성될 수 있다. As shown in FIG. 1, the
여기서, 상기한 HMD부(11)는, 예를 들면, 오큘러스 리프트(Oculus Rift)나 오큘러스 퀘스트 2(Oculus Quest 2), HTC 바이브(VIVE), 소니 PS VR(PlayStation VR) 및 마이크로소프트 홀로렌즈(Microsoft HoloLens) 등과 같이, 기존의 상용 HMD나 VR 장치 등을 참조 또는 이용하여 적절히 구성될 수 있으며, 이에, 본 발명에서는, 설명을 간략히 하기 위해, 상기한 바와 같이 종래기술의 문헌 등을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 그 상세한 설명을 생략하였음에 유념해야 한다. Here, the
즉, 도 2를 참조하면, 도 2는 도 1에 나타낸 본 발명의 실시예에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템(10)의 실제 구성예를 개략적으로 나타내는 도면이다. That is, referring to FIG. 2 , FIG. 2 is a diagram schematically showing an actual configuration example of the
도 2에 나타낸 바와 같이, 상기한 센서부(12)는, 사용자의 손의 위치와 UI에 표시된 메뉴버튼을 누르는 동작을 검출하기 위해 HMD부(11)의 전면에 각각 설치되는 이미지 센서(image sensor)(21)와 깊이센서(depth sensor)(22)를 포함하여 구성될 수 있다. As shown in FIG. 2, the
더 상세하게는, 상기한 이미지 센서(21)는 영상을 통해 사용자의 손의 위치와 버튼을 누르는 것과 같은 자세 및 동작을 검출하기 위한 CCD(Charge Coupled Device) 이미지 센서나 CMOS 이미지 센서 또는 카메라 모듈을 포함하여 구성될 수 있다. More specifically, the
아울러, 상기한 깊이 센서(22)는, 예를 들면, 마이크로소프트(Microsoft)사에서 게임용 사용자 인터페이스를 위해 개발된 키넥트 깊이측정센서(Kinect depth sensor) 등과 같이, 이미지센서로 얻어진 영상 내의 사물을 감지하고 해당 사물과 센서 사이의 거리(깊이)를 측정할 수 있는 깊이측정 센서로 구성될 수 있다. In addition, the above-described
또는, 상기한 센서부(12)는, 촬영되는 영상으로부터 실시간으로 깊이 정보를 측정할 수 있도록 구성되는 깊이(거리) 카메라(Depth(distance backwards) Camera)를 이용하여 영상 내의 목표물에 대한 앞뒤 깊이(거리)정보(distance backwards)를 얻을 수 있도록 구성될 수 있으며, 즉, 본 발명은, 본 발명의 실시예에 제시된 구성으로만 한정되는 것이 아니라, 당업자에 의해 필요에 따라 적절하게 수정 및 변경하여 다양하게 구성될 수 있는 것임에 유념해야 한다. Alternatively, the above-described
따라서 상기한 바와 같이 이미지 센서와 깊이 센서, 또는, 깊이 카메라를 이용함으로써, 사용자의 손의 위치와 버튼을 누르는 손모양 및 누르는 동작(제스처)을 검출할 수 있다. Therefore, as described above, by using an image sensor, a depth sensor, or a depth camera, the position of the user's hand, the shape of the hand pressing the button, and the pressing action (gesture) can be detected.
더욱이, 상기한 제어부(13)는, 상기한 바와 같이 하여 구성되는 센서부(12)의 측정결과에 근거하여, 사용자의 손이 가상현실 컨텐츠의 UI에 표시된 특정 버튼 위에 위치하고 있고 버튼을 누르는 동작을 수행한 것으로 판단되면 해당 버튼에 할당된 동작이 수행되도록 제어하는 처리가 수행되도록 구성될 수 있다. Furthermore, the
더 상세하게는, 도 3을 참조하면, 도 3은 본 발명의 실시예에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템(10)에서 사용자가 UI에 표시된 메뉴버튼을 누르는 동작을 검출하는 과정을 개략적으로 나타내는 개념도이다. In more detail, referring to FIG. 3, FIG. 3 schematically illustrates a process of detecting an action of a user pressing a menu button displayed on a UI in the
도 3에 나타낸 바와 같이, 이미지 센서(21)를 통해 사용자의 손의 위치와 손가락으로 버튼을 누르는 손모양을 검출할 수 있고, 깊이 센서(22)를 통해 사용자의 손가락 끝에 대한 거리 변화의 가속도 변곡점을 검출하는 것에 의해 해당 버튼이 실제로 눌러졌는지를 판단할 수 있다. As shown in FIG. 3 , the position of the user's hand and the shape of the hand pressing the button with the finger can be detected through the
즉, 손가락으로 버튼을 누르는 동작을 상정하면, 일반적으로 손가락으로 버튼을 누를 경우 손가락 끝이 사용자의 앞쪽으로 움직이게 되므로 영상 내에서 거리(깊이)에 변화가 발생하며, 이와 같이 버튼을 누르는 동작은 비교적 단시간에 짧은 거리를 왕복하여 움직이게 되므로, 사용자의 손가락에 대한 거리변화 및 거리변화의 가속도를 측정하여 분석하는 것에 의해 버튼을 누르는 동작을 특정할 수 있다. That is, assuming an action of pressing a button with a finger, generally, when a button is pressed with a finger, the fingertip moves in front of the user, so a change in distance (depth) occurs in the image, and the action of pressing a button in this way is relatively Since it reciprocates a short distance in a short time, it is possible to specify the action of pressing the button by measuring and analyzing the distance change and the acceleration of the distance change with respect to the user's finger.
더 상세하게는, 상기한 제어부(13)는, 예를 들면, 이미지 센서(21)를 통해 얻어진 영상에 영상처리 및 분석을 행하여 사용자의 손의 위치와 모양 및 동작을 검출하고, 사용자의 손가락(또는 손가락 끝)이 UI에 표시된 특정 버튼 위에 미리 정해진 일정 시간동안 위치하고 있는 것으로 판단되면, 깊이 센서(22)에 의해 측정된 사용자의 손가락(또는 손가락 끝)에 대한 거리(깊이) 측정값에 근거하여, 미리 정해진 기준거리 이상 사용자의 손가락(또는 손가락 끝)의 거리(깊이)가 변화(증가)하고 변화(증가)된 거리(깊이)가 미리 정해진 기준시간 동안 유지되었는지를 판단하여 해당 버튼의 입력(누름) 여부를 판단하도록 구성될 수 있다. More specifically, the above-described
여기서, 상기한 바와 같이 이미지 센서(21)를 통해 사용자의 손의 위치나 모양 및 동작을 검출하는 구성과, 깊이 센서(22)를 통해 손가락 끝의 깊이(거리)를 측정하는 구성에 대한 보다 구체적인 내용은 종래기술의 이미지 센서나 깊이 센서 및 깊이 카메라의 내용 등을 참조하여 당업자가 적당히 구성할 수 있는 사항이므로, 이에, 본 발명에서는, 상기한 바와 같이 종래기술의 문헌 등을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다. Here, as described above, the configuration for detecting the position, shape, and motion of the user's hand through the
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, 이미지 센서(image sensor)와 깊이센서(depth sensor)를 활용하여 사용자의 손가락 위치 및 거리변화의 가속도 변곡점을 각각 검출하여 해당 메뉴 버튼을 누르는 동작을 행하였는지를 판단하도록 하는 것에 의해 가상현실 내에서 사용자에게 표시되는 사용자 인터페이스의 각종 메뉴 등을 실제로 터치하는 것과 같이 선택 가능하도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템 및 방법이 제공됨으로써, 별도의 입력장치나 전용의 컨트롤러가 필요 없이 보다 간단한 구성으로 편리하고 용이하게 직관적인 사용이 가능하며, 그것에 의해, 가상현실에 대한 몰입감을 높이고 사용자 경험을 향상시킬 수 있다. Therefore, as described above, it is possible to implement a virtual reality system having a touch user interface according to an embodiment of the present invention, whereby, according to the present invention, an image sensor and a depth sensor are utilized By detecting the user's finger position and the acceleration inflection point of the distance change, respectively, to determine whether or not an action of pressing the corresponding menu button has been performed, selecting various menus of the user interface displayed to the user in virtual reality as if actually touching them By providing a virtual reality system and method having a touch-type user interface configured to enable convenient and easy intuitive use with a simpler configuration without the need for a separate input device or dedicated controller, thereby, virtual reality It can increase immersion and improve user experience.
또한, 본 발명에 따르면, 상기한 바와 같이 가상현실 내에 표시되는 각종 메뉴를 실제 터치스크린과 같이 터치식으로 선택할 수 있도록 하는 것에 의해 별도의 입력장치나 전용의 컨트롤러가 필요 없이 간단한 구성으로 보다 편리하고 용이하게 직관적인 사용이 가능하도록 구성되는 터치식 사용자 인터페이스를 가지는 가상현실 시스템이 제공됨으로써, 가상현실 내에서 사용자에게 제공되는 사용자 인터페이스(UI)에 표시되는 각각의 메뉴를 선택하기 위해 별도의 입력장치나 전용의 컨트롤러가 필요하여 전체적인 구성이 복잡해지고, 그로 인해, 가상현실에 대한 몰입감을 떨어뜨리는 단점이 있었던 종래기술의 VR 시스템 및 방법들의 문제점을 해결할 수 있다. In addition, according to the present invention, as described above, various menus displayed in virtual reality can be selected in a touch-type manner like an actual touch screen, so that a separate input device or dedicated controller is not required, and it is more convenient and convenient with a simple configuration. By providing a virtual reality system having a touch-type user interface configured to enable easy and intuitive use, a separate input device is provided to select each menu displayed on the user interface (UI) provided to the user in virtual reality. It is possible to solve the problems of the prior art VR systems and methods, which have the disadvantage of reducing the immersion in virtual reality because the entire configuration is complicated because a dedicated controller is required.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 터치식 사용자 인터페이스를 가지는 가상현실 시스템의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다. In the above, the details of the virtual reality system having a touch-type user interface according to the present invention have been described through the embodiments of the present invention as described above, but the present invention is not limited to the contents described in the above embodiments. , Therefore, it is natural that the present invention is capable of various modifications, changes, combinations, and replacements according to design needs and other various factors by those skilled in the art to which the present invention belongs.
10. 터치식 사용자 인터페이스를 가지는 가상현실 시스템
11. HMD(Head Mounted Display)부
12. 센서부
13. 제어부
21. 이미지 센서(image sensor)
22. 깊이센서(depth sensor) 10. Virtual reality system with touch user interface
11. Head Mounted Display (HMD)
12. Sensor part
13. Controls
21. Image sensor
22. Depth sensor
Claims (9)
사용자의 머리 부분에 장착되어 각종 가상현실(VR) 컨텐츠를 제공하도록 이루어지는 HMD(Head Mounted Display)부;
사용자의 손의 위치와 동작을 검출하기 위한 각종 센서를 포함하여 상기 HMD부의 일측에 설치되는 센서부; 및
상기 VR 시스템의 전체적인 동작을 제어하고, 상기 HMD부의 가상현실 환경에 표시되는 사용자 인터페이스(UI)를 생성하며, 상기 센서부의 각 센서의 측정결과에 근거하여 상기 UI에 표시되어 있는 메뉴버튼을 누르는 사용자의 입력을 판단하고, 사용자의 입력에 따라 가상현실 내의 동작을 제어하는 처리가 수행되도록 이루어지는 제어부를 포함하여 구성되는 것을 특징으로 하는 터치식 사용자 인터페이스를 가지는 가상현실 시스템.
In a virtual reality (VR) system having a touch user interface,
an HMD (Head Mounted Display) unit mounted on a user's head to provide various virtual reality (VR) contents;
A sensor unit installed on one side of the HMD unit including various sensors for detecting the position and motion of the user's hand; and
A user who controls the overall operation of the VR system, creates a user interface (UI) displayed in the virtual reality environment of the HMD unit, and presses a menu button displayed on the UI based on the measurement result of each sensor of the sensor unit. A virtual reality system having a touch-type user interface, characterized in that it is configured to include a control unit configured to determine an input and to perform a process of controlling an operation in virtual reality according to a user's input.
상기 HMD부는,
기존의 상용 HMD 장치나 VR 장치를 이용하여 구성되는 것을 특징으로 하는 터치식 사용자 인터페이스를 가지는 가상현실 시스템.
According to claim 1,
The HMD unit,
A virtual reality system having a touch user interface, characterized in that configured using an existing commercial HMD device or VR device.
상기 센서부는,
사용자가 상기 UI에 표시되어 있는 각각의 메뉴버튼을 누르는 동작을 검출하기 위해, 상기 HMD부의 전면에 각각 설치되는 이미지 센서(image sensor) 및 깊이센서(depth sensor)를 포함하여 구성되는 것을 특징으로 하는 터치식 사용자 인터페이스를 가지는 가상현실 시스템.
According to claim 1,
The sensor unit,
Characterized in that it is configured to include an image sensor and a depth sensor respectively installed on the front of the HMD unit in order to detect a user's operation of pressing each menu button displayed on the UI. A virtual reality system with a touch user interface.
상기 이미지 센서는,
영상을 통해 사용자의 손의 위치와 버튼을 누르는 자세 및 동작을 검출하기 위한 CCD(Charge Coupled Device) 이미지 센서나, CMOS 이미지 센서, 또는, 카메라 모듈을 포함하여 구성되는 것을 특징으로 하는 터치식 사용자 인터페이스를 가지는 가상현실 시스템.
According to claim 3,
The image sensor,
A touch-type user interface characterized in that it is configured to include a CCD (Charge Coupled Device) image sensor, a CMOS image sensor, or a camera module for detecting the position of a user's hand and the posture and motion of pressing a button through an image A virtual reality system with
상기 깊이 센서는,
상기 이미지 센서로 얻어진 영상 내의 사물을 감지하고, 해당 사물과 상기 깊이 센서 사이의 거리(깊이)를 측정할 수 있도록 구성되는 것을 특징으로 하는 터치식 사용자 인터페이스를 가지는 가상현실 시스템.
According to claim 3,
The depth sensor,
The virtual reality system having a touch user interface, characterized in that configured to detect an object in the image obtained by the image sensor and measure a distance (depth) between the object and the depth sensor.
상기 센서부는,
촬영되는 영상으로부터 실시간으로 깊이 정보를 측정할 수 있도록 구성되는 깊이(거리) 카메라(Depth(distance backwards) Camera)를 이용하여, 영상 내의 목표물에 대한 앞뒤 깊이(거리) 정보(distance backwards)를 얻을 수 있도록 구성되는 것을 특징으로 하는 터치식 사용자 인터페이스를 가지는 가상현실 시스템.
According to claim 3,
The sensor unit,
Using a depth (distance backwards) camera configured to measure depth information in real time from a captured image, it is possible to obtain front and rear depth (distance backwards) information (distance backwards) of a target in the image. Virtual reality system having a touch-type user interface, characterized in that configured to.
상기 제어부는,
상기 센서부의 측정결과에 근거하여, 사용자의 손이 가상현실 컨텐츠의 UI에 표시된 특정 버튼 위에 위치하고 있고 해당 버튼을 누르는 동작을 수행한 것으로 판단되면 해당 버튼에 할당된 동작이 수행되도록 제어하는 처리가 수행되도록 구성되는 것을 특징으로 하는 터치식 사용자 인터페이스를 가지는 가상현실 시스템.
According to claim 3,
The control unit,
Based on the measurement result of the sensor unit, if it is determined that the user's hand is located on a specific button displayed on the UI of the virtual reality content and has performed an action of pressing the corresponding button, processing is performed to control the action assigned to the corresponding button to be performed. Virtual reality system having a touch-type user interface, characterized in that configured to be.
상기 제어부는,
상기 이미지 센서를 통해 얻어진 영상에 영상처리 및 분석을 행하여 사용자의 손의 위치와 손가락으로 버튼을 누르는 손모양 및 동작을 검출하고,
사용자의 손가락(또는 손가락 끝)이 상기 UI에 표시된 특정 버튼 위에 미리 정해진 일정 시간 동안 위치하고 있는 것으로 판단되면, 상기 깊이 센서에 의해 측정된 사용자의 손가락(또는 손가락 끝)에 대한 거리(깊이) 측정값에 근거하여, 미리 정해진 기준거리 이상 사용자의 손가락(또는 손가락 끝)의 거리(깊이)가 변화(증가)하고 변화(증가)된 거리(깊이)가 미리 정해진 기준시간 동안 유지되었는지를 판단하여 해당 버튼의 입력(누름) 여부를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 하는 터치식 사용자 인터페이스를 가지는 가상현실 시스템.
According to claim 7,
The control unit,
Image processing and analysis are performed on the image obtained through the image sensor to detect the position of the user's hand and the hand shape and motion of pressing the button with a finger;
When it is determined that the user's finger (or fingertip) is located on a specific button displayed on the UI for a predetermined period of time, a distance (depth) measurement value for the user's finger (or fingertip) measured by the depth sensor Based on, the distance (depth) of the user's finger (or fingertip) is changed (increased) over a predetermined reference distance and it is determined whether the changed (increased) distance (depth) is maintained for a predetermined reference time. A virtual reality system having a touch-type user interface, characterized in that it is configured to perform a process of determining whether an input (press) of the.
가상현실 시스템의 사용자 인터페이스(UI)를 통하여 사용자의 손동작에 의한 입력을 검출하는 단계; 및
상기 사용자의 손동작에 의한 입력이 검출되면 상기 가상현실 시스템을 통하여 해당 입력에 대응하는 동작이 수행되는 단계를 포함하여 구성되고,
상기 가상현실 시스템은,
청구항 1항 내지 청구항 8항 중 어느 한 항에 기재된 터치식 사용자 인터페이스를 가지는 가상현실 시스템을 이용하여 구성되는 것을 특징으로 하는 가상현실 서비스 제공방법.
In the virtual reality service providing method,
Detecting an input by a user's hand motion through a user interface (UI) of a virtual reality system; and
When an input by the user's hand motion is detected, an operation corresponding to the corresponding input is performed through the virtual reality system,
The virtual reality system,
A virtual reality service providing method characterized in that it is configured using the virtual reality system having a touch-type user interface according to any one of claims 1 to 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210110293A KR20230027950A (en) | 2021-08-20 | 2021-08-20 | Virtual reality system with touch user interface |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210110293A KR20230027950A (en) | 2021-08-20 | 2021-08-20 | Virtual reality system with touch user interface |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230027950A true KR20230027950A (en) | 2023-02-28 |
Family
ID=85326847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210110293A KR20230027950A (en) | 2021-08-20 | 2021-08-20 | Virtual reality system with touch user interface |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230027950A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102278748B1 (en) | 2019-03-19 | 2021-07-19 | 한국전자기술연구원 | User interface and method for 360 VR interactive relay |
-
2021
- 2021-08-20 KR KR1020210110293A patent/KR20230027950A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102278748B1 (en) | 2019-03-19 | 2021-07-19 | 한국전자기술연구원 | User interface and method for 360 VR interactive relay |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11048333B2 (en) | System and method for close-range movement tracking | |
| US9939914B2 (en) | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface | |
| US20190250714A1 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
| US9910498B2 (en) | System and method for close-range movement tracking | |
| CN105229582B (en) | Gesture detection based on proximity sensor and image sensor | |
| KR101151962B1 (en) | Virtual touch apparatus and method without pointer on the screen | |
| JP5802667B2 (en) | Gesture input device and gesture input method | |
| JP6165485B2 (en) | AR gesture user interface system for mobile terminals | |
| US20170293351A1 (en) | Head mounted display linked to a touch sensitive input device | |
| CN103502923B (en) | User and equipment based on touching and non-tactile reciprocation | |
| US20090146968A1 (en) | Input device, display device, input method, display method, and program | |
| US20120320047A1 (en) | Stereoscopic display apparatus and stereoscopic shooting apparatus, dominant eye judging method and dominant eye judging program for use therein, and recording medium | |
| EP3007441A1 (en) | Interactive displaying method, control method and system for achieving displaying of a holographic image | |
| EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
| CN103858074A (en) | System and method for interfacing with a device via a 3d display | |
| KR20190133080A (en) | Touch free interface for augmented reality systems | |
| JP2013037675A5 (en) | ||
| US20110095983A1 (en) | Optical input device and image system | |
| JP6364790B2 (en) | pointing device | |
| JP4945694B2 (en) | Video playback apparatus and video playback method | |
| TW201439813A (en) | Display device, system and method for controlling the display device | |
| JPWO2014054317A1 (en) | User interface device and user interface method | |
| KR20230027950A (en) | Virtual reality system with touch user interface | |
| KR101288590B1 (en) | Apparatus and method for motion control using infrared radiation camera | |
| KR101272458B1 (en) | virtual touch apparatus and method without pointer on the screen |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E601 | Decision to refuse application |