KR20200081915A - 가상현실 노래방 인터랙션 방법 및 장치 - Google Patents

가상현실 노래방 인터랙션 방법 및 장치 Download PDF

Info

Publication number
KR20200081915A
KR20200081915A KR1020180171932A KR20180171932A KR20200081915A KR 20200081915 A KR20200081915 A KR 20200081915A KR 1020180171932 A KR1020180171932 A KR 1020180171932A KR 20180171932 A KR20180171932 A KR 20180171932A KR 20200081915 A KR20200081915 A KR 20200081915A
Authority
KR
South Korea
Prior art keywords
virtual
controller
karaoke
virtual reality
tambourine
Prior art date
Application number
KR1020180171932A
Other languages
English (en)
Other versions
KR102233004B1 (ko
Inventor
박경주
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020180171932A priority Critical patent/KR102233004B1/ko
Publication of KR20200081915A publication Critical patent/KR20200081915A/ko
Application granted granted Critical
Publication of KR102233004B1 publication Critical patent/KR102233004B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상현실 노래방 인터랙션 방법 및 장치를 개시한다. 본 발명에 따르면, 프로세서 및 상기 프로세서에 연결된 메모리를 포함하되, 상기 메모리는, VR 노래방 서비스를 위한 360도 영상 및 가상객체를 디스플레이부를 통해 출력하고, 하나 이상의 센서를 통해 센싱된 상기 장치의 위치 정보에 따라 360도 영상의 시점을 변경하고, 통신부를 통해 수신된 컨트롤러의 제어 명령 또는 움직임에 따라 가상객체와의 인터랙션을 제어하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가상현실 노래방 인터랙션 장치가 제공된다.

Description

가상현실 노래방 인터랙션 방법 및 장치{Virtual Reality Karaoke Interaction Method and Apparatus}
본 발명은 가상현실 노래방 인터랙션 방법 및 장치에 관한 것이다.
객체 조작과 제스처를 표현하는 것은 가상현실(Virtual Reality: VR) 게임뿐만 아니라 실제 세계에서도 자주 발견된다.
실제 세계와 가상 세계 사이의 틈을 좁히기 위해 컴퓨터 그래픽 및 가상현실 분야에서 가상현실 인터랙션 연구가 활발히 수행되고 있다.
또한, Oculus Rift 및 HTC Vive와 같은 가상현실 장치의 보급으로 인해 실감형 가상현실 활용에 대한 수요가 급증하고 있다.
특히, 실감형 가상현실 환경에서 가상객체를 조작하고 제스처를 쉽고 편리하게 표현하는 가상현실 상호작용 기술은 가상현실 활용에서 중요한 요소이다.
종래에 가상객체를 조작하기 위한 기술이 상당히 많이 개발되었다.
광(ray) 기반 선택 기법은 가상 환경에서 사용자의 손이나 눈에서 광을 전달하고 광과 충돌하는 물체를 선택하는 객체 조작에 널리 사용된다. 그러나 이 기술은 눈과 손의 시각적 불일치 문제를 수반한다.
Argelaguet 등은 복잡한 가상현실 환경에서의 눈의 시각적 불일치를 개선하는 광 제어를 위한 매핑(mapping)을 제시했다.
Dam 등은 인체에 부착된 물체 없이 사용자의 제스처를 처리하여 편의성을 제공하는 Kinect 기반 상호작용 기법을 제안했다. 그러나 햅틱 피드백과 HMD가 제공되지 않기 때문에 사용자에게 VR 몰입감을 전달하기 어렵다.
Caputo 등은 장면 디스플레이를 위한 Oculus DK2와 제스처 상호작용을 위한 Leap Motion 컨트롤러를 기반으로 하는 실감형 VR 설정에서 객체 조작 작업에 대한 유용성 연구를 발표했다. 그러나 이 연구에서는 사용자에게 햅틱 상호작용을 제공하는 방법을 고려하지 않았다.
KR 등록특허 10-1826911
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 손 제스처 애니메이션을 포함한 객체 조작과 햅틱 피드백을 통합한 새로운 가상현실 상호작용이 가능한 가상현실 노래방 인터랙션 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 가상현실 노래방 인터랙션 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하되, 상기 메모리는, VR 노래방 서비스를 위한 360도 영상 및 가상객체를 디스플레이부를 통해 출력하고, 하나 이상의 센서를 통해 센싱된 상기 장치의 위치 정보에 따라 360도 영상의 시점을 변경하고, 통신부를 통해 수신된 컨트롤러의 제어 명령 또는 움직임에 따라 가상객체와의 인터랙션을 제어하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가상현실 노래방 인터랙션 장치가 제공된다.
상기 360도 영상은 상기 컨트롤러의 움직임에 동기화되는 가상 손과, 가상 마이크 및 가상 탬버린을 포함할 수 있다.
상기 디스플레이부는, 상기 컨트롤러의 움직임에 따라 상기 가상 손이 상기 가상 마이크 또는 상기 가상 탬버린에 인접하고, 상기 컨트롤러부터 미리 설정된 버튼 입력이 있는 경우, 상기 가상 손이 상기 가상 마이크 또는 상기 가상 탬버린은 잡는 동작을 디스플레이할 수 있다.
상기 프로그램 명령어들은, 상기 360도 영상에서 상기 가상 탬버린을 흔드는 경우 상기 컨트롤러에서 진동이 느껴지도록 제어할 수 있다.
상기 프로그램 명령어들은, 각 프레임에서 상기 가상 탬버린의 속도를 계산하고, 아래의 유한 차분법을 이용하여 가속도를 계산하고,
[수학식]
Figure pat00001
여기서, v는 현재 프레임에서의 속도, vp는 이전 프레임에서의 속도이고,
Figure pat00002
는 두 프레임 사이의 시간이며,
상기 수학식을 통해 계산된 가속도가 제1 임계값(value1)보다 크면 상기 컨트롤러가 진동하도록 제어할 수 있다.
상기 프로그램 명령어들은, 상기 계산된 가속도가 제1 임계값(value1)보다 크면 상기 가상 탬버린의 움직임에 따라 진동을 가변시키고, 상기 진동이 무한히 커지는 것을 방지하기 위해 가속도가 제2 임계값(value2)보다 커지더라도 진동을 제2 임계값까지로 제한할 수 있다.
상기 컨트롤러는 원형 입력패드를 구비하며, 상기 프로그램 명령어들은 상기 원형 입력패드의 입력영역을 복수로 분할하고, 각 분할 영역에 대해 서로 다른 손 모양을 매핑하여 저장할 수 있다.
본 발명의 다른 측면에 따르면, 가상현실 노래방 인터랙션 방법로서, VR 노래방 서비스를 위한 360도 영상 및 가상객체를 디스플레이하는 단계; 하나 이상의 센서를 통해 센싱된 상기 장치의 위치 정보에 따라 360도 영상의 시점을 변경하는 단계; 근거리에서 수신된 컨트롤러의 제어 명령 또는 움직임에 따라 가상객체와의 인터랙션을 제어하는 단계를 포함하는 가상현실 노래방 인터랙션 방법이 제공된다.
본 발명에 따르면, 실감형 VR 노래방 서비스를 제공할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 VR 노래방 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 VR 서비스 장치의 상세 구성을 도시한 도면이다.
도 3 내지 도 4는 가상 탬버린의 동작에 따라 컨트롤러에 진동을 제공하는 과정을 설명하기 위한 도면이다.
도 5는 본 실시예에 따른 컨트롤러의 원형 입력패드를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 VR 노래방 시스템의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 VR 노래방 시스템은 VR 서비스 장치(100) 및 컨트롤러(102)를 포함할 수 있다.
VR 서비스 장치(100)는 가상현실 환경에 대한 전방향 영상(360도 영상)을 디스플레이하여 가상현실 서비스를 제공한다.
VR 서비스 장치(100)는 360도 영상을 디스플레이하는 HMD(head mounted device) 형태의 VR 헤드셋일 수 있으나, 반드시 이에 한정되는 것은 아니다.
VR 서비스 장치(100)는 움직임 추적을 위한 하나 이상의 센서를 포함하며, 사용자의 머리 움직임에 따라 서로 다른 시점의 영상을 디스플레이할 수 있다.
또한, VR 서비스 장치(100)는 컨트롤러(102)와 연동하여 가상객체과 인터랙션할 수 있도록 한다.
컨트롤러(102)는 사용자가 손에 쥐고 조작하는 기기로서 컨트롤러(102)의 움직임 추적을 위한 복수의 센서가 포함되고 복수의 버튼 및 터치패드를 구비할 수 있다.
컨트롤러(102)는 복수의 버튼 중 사용자의 선택 행위를 위한 트리거 버튼을 포함할 수 있다.
상기에서는 HMD 형태의 VR 서비스 장치(100)와 컨트롤러(102)가 직접 연결되는 것을 설명하였으나, 가상현실 영상은 VR 서비스 장치(100)와 연결된 별도의 컴퓨팅 장치에서 제공할 수 있고, VR 서비스 장치(100)는 컴퓨팅 장치에서 제공하는 영상을 디스플레이하는 기능만을 수행할 수도 있다.
또한, VR 서비스 장치(100)는 네트워크를 통해 다른 사용자의 VR 서비스 장치와 연결되어 다자간 VR 노래방 서비스를 제공할 수 있다.
여기서, 네트워크는 유무선 인터넷망, 이동통신망 등을 포함할 수 있다.
다자간 VR 노래방 서비스를 위해, 복수의 VR 서비스 장치(100)는 서버(미도시)와 네트워크를 통해 연결될 수 있다.
서버는 각 사용자의 움직임 및 컨트롤러 조작에 따라 각 VR 서비스 장치(100)의 위치 정보 및 각 VR 서비스 장치(100)와 연결된 컨트롤러(102)의 위치 정보를 수신하여 단일 공간에서 가상객체 조작을 제어한다.
다자간 노래방 서비스에서, 하나의 공간에 대응하는 360도 영상이 모든 사용자에게 공통적으로 제공될 수 있고, 각 사용자의 시점에 따라 서로 다른 영상(프레임)이 디스플레이될 수 있다.
도 2는 본 발명의 바람직한 일 실시예에 따른 VR 서비스 장치의 상세 구성을 도시한 도면이다.
도 2에 도시된 바와 같이, 본 실시예에 따른 VR 서비스 장치(100)는 프로세서(200), 메모리(202), 디스플레이부(204), 센서부(206) 및 통신부(208)를 포함할 수 있다.
프로세서(200)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(202)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(202)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리(202)에는 프로세서(200)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
본 발명의 바람직한 일 실시예에 따르면, 메모리(202)에는 가상현실 서비스를 위한 360도 영상 및 가상객체를 디스플레이부(204)를 통해 출력하고, 중력가속도 센서 또는 지자기 센서 등을 포함하는 센서부(206)를 통해 센싱된 VR 서비스 장치(100)의 위치 정보에 따라 360도 영상의 시점을 변경하고, 통신부(208)를 통해 수신된 컨트롤러(102)의 제어 명령 또는 움직임에 따라 가상객체와의 인터랙션을 제어하도록 하는 상기한 프로세서(200)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
VR 노래방 서비스를 고려할 때, 360도 영상에는 컨트롤러(102)의 움직임에 동기화되는 가상 손과 함께 가상 마이크 및 가상 탬버린과 같은 가상객체가 포함될 수 있다.
사용자가 가상 마이크 또는 가상 탬버린을 잡기 위해, 컨트롤러(102)를 조작할 수 있다.
본 발명의 일 실시예에 따르면, VR 서비스 장치(100)는 사용자가 컨트롤러(102)를 가상객체 중 하나로 이동시키고 소정 버튼을 입력하는 경우 가상객체를 잡는 영상을 디스플레이부(204)에 출력할 수 있다.
이를 위해, 가상 손과 가상객체에 콜라이더(collider)가 추가된다.
컨트롤러(102)의 움직임에 따라 가상 손이 360도 영상에서 이동하게 되며, 가상 손의 콜라이더에 오버랩된 가상객체가 인식될 수 있다.
가상 손과 가상객체 콜라이더가 오버랩된 상태에서 사용자가 소정 버튼(예를 들어, 트리거 버튼)을 입력하는 경우 VR 서비스 장치(100)는 해당 가상객체를 잡는 동작을 디스플레이할 수 있다.
사용자가 소정 버튼을 입력한 상태에서 컨트롤러(102)를 움직이는 경우 가상 손으로 잡고 있는 가상객체가 해당 움직임에 대응되게 움직이도록 디스플레이한다.
사용자가 컨트롤러(102)의 버튼의 누른 상태를 해제하는 경우, VR 서비스 장치(100)는 가상객체를 가상 손에서 분리시킨다.
상기에서는 컨트롤러(102)의 소정 버튼을 입력하는지 여부에 따라 가상객체를 잡는 동작을 구현하는 것을 설명하였다. 그러나 이에 한정됨이 없이 노래방 서비스라는 점을 고려하여 컨트롤러(102)의 미리 설정된 움직임이 있는 경우 가상객체를 잡는 동작을 구현할 수 있다.
예를 들어, 가상 손이 가상 마이크에 인접한 상태에서 사용자가 컨트롤러(102)를 통해 통상의 마이크를 잡는 것과 유사한 동작을 수행하는 경우 VR 서비스 장치(100)는 가상 손이 가상 마이크가 잡는 영상을 디스플레이할 수 잇다.
통상적으로 사용자는 아래에 위치한 마이크를 잡아 입에 가져가는 동작을 수행하기 때문에 VR 서비스 장치(100)는 컨트롤러(102)가 아래에서 위로 움직이고 또한 컨트롤러(102)가 상승한 위치에서 소정 범위 내에서만 움직이는 경우(사용자의 입 근처에서 소정 범위 내에서만 움직임)에 가상 손이 가상 마이크를 잡는 동작을 디스플레이할 수 있다.
가상 손으로 가상 탬버린을 잡거나 움직이는 상호작용 역시 상기한 것과 동일한 과정으로 수행될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 360도 영상에서 가상 탬버린을 흔드는 경우 사용자가 손에 잡고 있는 컨트롤러(102)에서 진동이 느껴지도록 제어한다.
도 3 내지 도 4는 가상 탬버린의 동작에 따라 컨트롤러에 진동을 제공하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 각 프레임에서 가상 탬버린의 속도를 계산하고, 유한 차분법을 이용하여 가속도를 계산한다.
Figure pat00003
여기서, v는 현재 프레임에서의 속도, vp는 이전 프레임에서의 속도이고,
Figure pat00004
는 두 프레임 사이의 시간이다.
본 실시예에 따르면, 도 4에 도시된 바와 같이, 수학식 1을 통해 계산된 가속도가 제1 임계값(value1)보다 크면 컨트롤러(102)가 진동하고, 가상 탬버린의 움직임에 따라 진동을 가변시킨다.
이때, 진동이 무한히 커지는 것을 방지하기 위해 가속도가 제2 임계값(value2)보다 커지더라도 진동을 제2 임계값까지로 제한한다.
본 실시예에 따르면, 다자간 VR 노래방 서비스를 제공하는 경우 다수의 사용자에게 풍부한 인터랙션을 제공하기 위해 간단한 방식으로 손 모양을 변경하여 디스플레이할 수 있도록 한다.
본 실시예에 따른 컨트롤러(102)는 도 5에 도시된 바와 같이 일면에 원형 입력패드를 포함할 수 있다.
본 실시예에 따르면, 원형 입력패드의 입력영역을 복수로 분할하고, 각 분할 영역에 대해 서로 다른 손 모양을 매핑하여 저장한다.
도 6에 도시된 바와 같이, 원형 입력패드는 6개의 영역으로 분할될 수 있고, 각 영역에 대해 서로 다른 손 모양을 매핑할 수 있다.
VR 서비스 장치(100)는 사용자가 원형 입력패드의 소정 영역을 누르는 경우, 해당 영역에 상응하는 손 모양으로 가상 손을 디스플레이하고, 원형 입력패드에서 누름 상태를 해제하는 경우 본래 모양으로 복귀시킨다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (8)

  1. 가상현실 노래방 인터랙션 장치로서,
    프로세서; 및
    상기 프로세서에 연결된 메모리를 포함하되,
    상기 메모리는,
    VR 노래방 서비스를 위한 360도 영상 및 가상객체를 디스플레이부를 통해 출력하고,
    하나 이상의 센서를 통해 센싱된 상기 장치의 위치 정보에 따라 360도 영상의 시점을 변경하고,
    통신부를 통해 수신된 컨트롤러의 제어 명령 또는 움직임에 따라 가상객체와의 인터랙션을 제어하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 가상현실 노래방 인터랙션 장치.
  2. 제1항에 있어서,
    상기 360도 영상은 상기 컨트롤러의 움직임에 동기화되는 가상 손과, 가상 마이크 및 가상 탬버린을 포함하는 가상현실 노래방 인터랙션 장치.
  3. 제2항에 있어서,
    상기 디스플레이부는, 상기 컨트롤러의 움직임에 따라 상기 가상 손이 상기 가상 마이크 또는 상기 가상 탬버린에 인접하고, 상기 컨트롤러부터 미리 설정된 버튼 입력이 있는 경우, 상기 가상 손이 상기 가상 마이크 또는 상기 가상 탬버린은 잡는 동작을 디스플레이하는 가상현실 노래방 인터랙션 장치.
  4. 제3항에 있어서,
    상기 프로그램 명령어들은,
    상기 360도 영상에서 상기 가상 탬버린을 흔드는 경우 상기 컨트롤러에서 진동이 느껴지도록 제어하는 가상현실 노래방 인터랙션 장치.
  5. 제4항에 있어서,
    상기 프로그램 명령어들은,
    각 프레임에서 상기 가상 탬버린의 속도를 계산하고, 아래의 유한 차분법을 이용하여 가속도를 계산하고,
    [수학식]
    Figure pat00005

    여기서, v는 현재 프레임에서의 속도, vp는 이전 프레임에서의 속도이고,
    Figure pat00006
    는 두 프레임 사이의 시간이며,
    상기 수학식을 통해 계산된 가속도가 제1 임계값(value1)보다 크면 상기 컨트롤러가 진동하도록 제어하는 가상현실 노래방 인터랙션 장치.
  6. 제5항에 있어서,
    상기 프로그램 명령어들은,
    상기 계산된 가속도가 제1 임계값(value1)보다 크면 상기 가상 탬버린의 움직임에 따라 진동을 가변시키고,
    상기 진동이 무한히 커지는 것을 방지하기 위해 가속도가 제2 임계값(value2)보다 커지더라도 진동을 제2 임계값까지로 제한하는 가상현실 노래방 인터랙션 장치.
  7. 제1항에 있어서,
    상기 컨트롤러는 원형 입력패드를 구비하며,
    상기 프로그램 명령어들은 상기 원형 입력패드의 입력영역을 복수로 분할하고, 각 분할 영역에 대해 서로 다른 손 모양을 매핑하여 저장하는 가상현실 노래방 인터랙션 장치.
  8. 가상현실 노래방 인터랙션 방법로서,
    VR 노래방 서비스를 위한 360도 영상 및 가상객체를 디스플레이하는 단계;
    하나 이상의 센서를 통해 센싱된 상기 장치의 위치 정보에 따라 360도 영상의 시점을 변경하는 단계;
    근거리에서 수신된 컨트롤러의 제어 명령 또는 움직임에 따라 가상객체와의 인터랙션을 제어하는 단계를 포함하는 가상현실 노래방 인터랙션 방법.

KR1020180171932A 2018-12-28 2018-12-28 가상현실 노래방 인터랙션 방법 및 장치 KR102233004B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180171932A KR102233004B1 (ko) 2018-12-28 2018-12-28 가상현실 노래방 인터랙션 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180171932A KR102233004B1 (ko) 2018-12-28 2018-12-28 가상현실 노래방 인터랙션 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200081915A true KR20200081915A (ko) 2020-07-08
KR102233004B1 KR102233004B1 (ko) 2021-03-26

Family

ID=71600093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180171932A KR102233004B1 (ko) 2018-12-28 2018-12-28 가상현실 노래방 인터랙션 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102233004B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614028A (zh) * 2020-12-22 2021-04-06 郑州捷安高科股份有限公司 方舱建筑的搭建培训方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0119932B2 (ko) * 1982-02-16 1989-04-13 Ebara Seisakusho Kk
KR20120082187A (ko) * 2011-01-13 2012-07-23 에스케이플래닛 주식회사 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
KR20170076544A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 전자 장치 및 그 제어 방법
KR101826911B1 (ko) 2017-05-31 2018-02-07 주식회사 네비웍스 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법
KR20180051482A (ko) * 2015-09-08 2018-05-16 소니 주식회사 정보 처리 장치, 방법 및 컴퓨터 프로그램

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6419932B1 (ja) * 2017-11-28 2018-11-07 株式会社コロプラ 仮想空間において楽器の演奏を支援するためのプログラム、楽器の選択を支援するためにコンピュータで実行される方法、および情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0119932B2 (ko) * 1982-02-16 1989-04-13 Ebara Seisakusho Kk
KR20120082187A (ko) * 2011-01-13 2012-07-23 에스케이플래닛 주식회사 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
KR20180051482A (ko) * 2015-09-08 2018-05-16 소니 주식회사 정보 처리 장치, 방법 및 컴퓨터 프로그램
KR20170076544A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 전자 장치 및 그 제어 방법
KR101826911B1 (ko) 2017-05-31 2018-02-07 주식회사 네비웍스 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614028A (zh) * 2020-12-22 2021-04-06 郑州捷安高科股份有限公司 方舱建筑的搭建培训方法、装置、设备及存储介质
CN112614028B (zh) * 2020-12-22 2024-01-05 郑州捷安高科股份有限公司 方舱建筑的搭建培训方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102233004B1 (ko) 2021-03-26

Similar Documents

Publication Publication Date Title
JP7209041B2 (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
US11520477B2 (en) Augmented reality scrollbar
US11741917B2 (en) Eclipse cursor for mixed reality displays
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
JP7118007B2 (ja) 視野周辺の視覚的背光
EP3311249B1 (en) Three-dimensional user input
US9983684B2 (en) Virtual affordance display at virtual target
US20170364261A1 (en) Holographic keyboard display
CN108431734B (zh) 用于非触摸式表面交互的触觉反馈
CN110476142A (zh) 虚拟对象用户界面显示
US10474238B2 (en) Systems and methods for virtual affective touch
KR20200000803A (ko) 가상 현실 사용자를 위한 실세계 햅틱 상호작용
EP3084510B1 (en) Wearable display input system
US20180164885A1 (en) Systems and Methods For Compliance Illusions With Haptics
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
EP3367216A1 (en) Systems and methods for virtual affective touch
JP5876600B1 (ja) 情報処理プログラム、及び情報処理方法
KR102233004B1 (ko) 가상현실 노래방 인터랙션 방법 및 장치
JP2023116432A (ja) アニメーション制作システム
JP2022153476A (ja) アニメーション制作システム
JP2000047563A (ja) 物体の把持動作シミュレーション装置
KR20240036582A (ko) 물리적 객체와의 사용자 인터페이스에 대한 상호작용들을 관리하기 위한 방법 및 디바이스
KR20240025593A (ko) 객체에 대한 동작 양식을 동적으로 선택하기 위한 방법 및 디바이스

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant