KR102594789B1 - 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법 - Google Patents

핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법 Download PDF

Info

Publication number
KR102594789B1
KR102594789B1 KR1020220069347A KR20220069347A KR102594789B1 KR 102594789 B1 KR102594789 B1 KR 102594789B1 KR 1020220069347 A KR1020220069347 A KR 1020220069347A KR 20220069347 A KR20220069347 A KR 20220069347A KR 102594789 B1 KR102594789 B1 KR 102594789B1
Authority
KR
South Korea
Prior art keywords
speed
standard
user
virtual
virtual object
Prior art date
Application number
KR1020220069347A
Other languages
English (en)
Inventor
김영원
남성현
송하영
손은진
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020220069347A priority Critical patent/KR102594789B1/ko
Priority to PCT/KR2023/007504 priority patent/WO2023239107A1/ko
Application granted granted Critical
Publication of KR102594789B1 publication Critical patent/KR102594789B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법이 제공된다. 본 발명의 실시예에 따른 실감형 인터랙션 방법은 사용자 손을 추적하고, 추적한 사용자 손을 가상 공간에 표시하며, 가상 공간에서 사용자 손이 들어 올리는 가상 물체의 무게를 기초로 가상 물체와 사용자 손의 움직임 표시 시 슈도햅틱 피드백을 제공한다. 이에 의해, 추가적인 디바이스를 활용하지 않고 시각적 착각효과에 기반한 슈도햅틱 피드백을 통한 XR 콘텐츠에 대한 높은 몰입도를 유발할 수 있게 된다.

Description

핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법{REALISTIC INTERACTION METHOD USING PSEUDO HAPTIC FEEDBACK BASED ON HAND TRACKING}
본 특허출원은 2022년도 문화기술연구개발(문화체육관광부) 및 한국전자기술연구원 기본연구사업(신진연구자 연구지원, 슈도 햅틱 기술 기반 XR 실감형 인터랙션 및 몰입도 평가 기술 개발)과 관련한 특허출원입니다.
본 발명은 실감형 인터랙션 방법에 관한 것으로, 더욱 상세하게는 시각적 착각 효과를 유발하는 슈도햅틱 기술을 기반으로 가상 환경에서 물체의 무게감을 감지하여 사용자의 몰입감을 높인 실감형 인터랙션 방법에 관한 것이다.
COVID-19 등의 특수한 상황에 의해 교육, 훈련, 제조 등 산업 전 분야에서의 원격 협업을 위한 VR/AR/MR 등의 XR 플랫폼 및 서비스의 중요성이 대두되고 있으며, 특히 최근 VR, AR, 5G, AI, 블록체인 등의 최신 기술을 총망라하는 메타버스 라는 키워드로 온라인 가상세계에 다중 사용자들이 모여 상호작용을 하는 대형 유즈케이스가 지속적으로 발생하고 있으며 XR 에서의 다중 사용자에 대한 인터랙션 기술이 중요해진 상황이다.
XR 인터랙션을 통해 확대된 몰입경험을 제공하고 있는 글로벌 기업들은 XR기기의 성능 강화, 다양한 컨트롤러 지원 등을 통한 촉각 피드백(tactile feedback)에 중점을 두고 있으며 몰입감에 큰 영향을 주는 역감 피드백(kinesthetic feedback)은 실제 감각을 유도하기 위해 컨트롤러 피드백과 수트/스마트 글러브 등을 이용한 진동/온도 피드백 등 외부 기기에 의존하는 형태이며 일부 시각적 착각효과를 이용한 슈도햅틱(pseudo haptic)에 대한 기초연구가 시작되고 있다.
기존의 다중 사용자에 대한 XR 플랫폼에서의 인터랙션은 비전 센서와 마커 기반의 추적에 기반하여 마커 겹침 문제나 반사광으로 인한 정합 오류 등을 일으켜 몰입감 저하, 어지러움증 등 휴먼팩터에 대한 문제가 존재해 왔으며 고정밀 인터랙션을 위해서는 해외의 고가 제품에 의존하여 시스템 판매 금액 대비 순수익 측면에서 경쟁력이 매우 떨어지는 상황이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, XR 플랫폼의 접근성과 활용성을 높이기 위한 방안으로, 추가적인 디바이스를 활용하지 않고 시각적 착각효과에 기반한 슈도햅틱 피드백을 통한 XR 콘텐츠에 대한 높은 몰입도를 유발할 수 있는 실감형 인터랙션 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 실감형 인터랙션 방법은 사용자 손을 추적하는 단계; 추적한 사용자 손을 가상 공간에 표시하는 단계; 가상 공간에서 사용자 손이 들어 올리는 가상 물체의 무게를 기초로, 가상 물체와 사용자 손의 움직임 표시 시 슈도햅틱 피드백을 제공하는 단계;를 포함한다.
제공 단계는, 가상 물체가 올려지는 속도가 가상 물체의 무게에 반비례하도록 제어할 수 있다.
제공 단계는, 가상 물체가 올려지는 속도를 사용자 마다 설정된 표준 속도를 기초로 제어할 수 있다.
표준 속도는, 사용자가 정해진 표준 무게의 물체를 실제로 들어올리는 속도일 수 있다.
제공 단계는, 표준 무게 보다 가벼운 가상 물체가 올려지는 속도를 표준 속도 보다 빠르게 하여, 사용자 손이 표준 속도로 올려지면 가상 물체가 사용자 손 보다 빠르게 올려지도록 표시할 수 있다.
제공 단계는, 표준 무게 보다 무거운 가상 물체가 올려지는 속도를 표준 속도 보다 느리게 하여, 사용자 손이 표준 속도로 올려지면 가상 물체가 사용자 손 보다 늦게 올려지도록 표시할 수 있다.
가상 물체가 올려지는 속도는, 가상 물체의 부피와 밀도를 기초로 도출한 속도 및 실제 공간에서 무게에 따른 실제 물체를 들어 올리는 속도 변화식을 기초로 도출한 속도를 기반으로 결정될 수 있다.
본 발명의 다른 실시예에 따른 가상현실 디바이스는 사용자의 전방 영상을 생성하는 카메라; 가상 영상을 가상 공간에 표시하는 디스플레이; 카메라에 의해 생성된 전방 영상에서 사용자 손을 추적하고, 추적한 사용자 손을 가상 공간에 표시하며, 가상 공간에서 사용자 손이 들어 올리는 가상 물체의 무게를 기초로 가상 물체와 사용자 손의 움직임 표시 시 슈도햅틱 피드백을 제공하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 시각적 착각 효과에 기반한 슈도햅틱 기술을 통한 몰입도 향상을 바탕으로, 급성장하고 있는 VR/AR/MR 분야의 시장 수요에 발맞추어 다중 사용자의 실감형 체험이 가능한 콘텐츠 생산 및 서비스 지원을 활성화시키고 문화콘텐츠산업 육성에 기여할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 HMD를 활용한 가상현실 컨텐츠 제공 방법을 나타낸 도면,
도 2는, 도 1에 도시된 HMD의 내부 구성을 도시한 도면,
도 3은 본 발명의 다른 실시예에 따른 실감형 인터랙션 방법의 설명에 제공되는 흐름도,
도 4는 본 발명의 실시예에서 슈도햅틱 피드백을 통한 무게감 제공의 원리를 설명하기 위한 도면,
도 5는 사용자가 표준 물체로 상정한 골프공을 실제 공간에서 들어올리는 속도인 표준 속도를 측정하는 상황을 나타낸 도면,
도 6은 표준 무게의 가상 물체와 표준 무게 보다 가벼운 가상 물체를 표준 속도로 들어올리는 상황을 나타낸 도면,
도 7은 표준 무게의 가상 물체와 표준 무게 보다 무거운 가상 물체를 표준 속도로 들어올리는 상황을 나타낸 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 핸드트래킹 기반 슈도햅틱 피드백(Pseudo-Haptic Feedback)을 활용한 실감형 인터랙션 방법을 제시한다.
도 1은 본 발명의 일 실시예에 따른 HMD(Head Mounted Display)를 활용한 가상현실 컨텐츠 제공 방법을 나타낸 도면이다. HMD(100)에서 사용자 손을 감지/추적하면서 시각적 착각 효과를 유발하는 슈도햅틱 기술을 기저로 3D 가상 물체의 무게에 따라 들어 올리는 속도를 제어하여, 가상 환경에서 물체의 무게감을 감지할 수 있도록 하여 사용자의 몰입감을 높여주는 방법이다.
도 2는, 도 1에 도시된 HMD(100)의 내부 구성을 도시한 도면이다. 본 발명의 실시예에 따른 HMD(100)는 도시된 바와 같이 카메라(110), 통신부(120), 프로세서(130), 저장부(140) 및 3D 디스플레이(150)를 포함하여 구성된다.
카메라(110)는 사용자의 전방을 촬영하여 전방 영상을 생성한다. 통신부(120)는 외부 기기/네트워크와 통신 연결하고, 저장부(140)는 필요한 데이터가 저장되는 저장매체이다.
프로세서(130)는 통신부(120)를 통해 수신되는 또는 저장부(140)에 저장되어 있는 가상 영상을 3D 디스플레이(150)를 통해 가상 공간에 표시하고, 카메라(110)를 통해 생성되는 전방 영상에서 사용자 손을 인식/추적한다.
또한 프로세서(130)는 사용자가 손으로 가상 물체를 들어 올리는 경우 슈도햅틱 피드백 기반으로 사용자에게 가상 물체에 대한 무게감을 제공한다. 이 방법에 대해 이하에서 도 3을 참조하여 상세히 설명한다.
도 3은 본 발명의 다른 실시예에 따른 실감형 인터랙션 방법의 설명에 제공되는 흐름도이다.
도시된 바와 같이, 먼저 프로세서(130)는 가상 영상을 생성하여 3D 디스플레이(150)를 통해 가상 공간에 표시한다(S210).
한편 카메라(110)는 사용자의 전방을 촬영하여 전방 영상을 생성하고(S220), 프로세서(130)는 S220단계에서 생성된 전방 영상에서 사용자 손의 위치와 자세를 인식하여 추적한다(S230). S230단계에 의해 추적되는 사용자 손은 프로세서(130)에 의해 3D 디스플레이(150)를 통해 가상 공간에 매칭/동기화되어 표시된다(S240).
가상 공간 상에서 사용자는 가상 공간에 있는 가상 물체를 조작/제어할 수 있는데, 본 발명의 실시예와 관련하여 사용자는 가상 공간에 표시된 자신의 손으로 가상 물체를 들어 올릴 수 있다.
사용자가 손으로 가상 물체를 들어 올리는 경우(S250-Y), 프로세서(130)는 가상 물체와 사용자 손의 움직임 표시 시 슈도햅틱 피드백을 제공하여, 사용자가 가상 물체의 무게감을 인식할 수 있도록 하여준다(S260).
구체적으로 S260단계에서 프로세서(130)는 가상 물체가 올려지는 속도가 가상 물체의 무게에 반비례하도록 제어한다. 즉 가상 물체의 무게가 무거울수록 가상 물체가 올려지는 속도는 느려지고, 가상 물체의 무게가 가벼울수록 가상 물체가 올려지는 속도는 빨라지도록 제어한다.
도 4는 본 발명의 실시예에서 슈도햅틱 피드백을 통한 무게감 제공의 원리를 설명하기 위한 도면이다. 도 4에서 Fvirtual은 가상 환경에서 카메라(110)로 추적된 손이 가상 물체를 들어 올리기 위한 힘을 말한다.
도 4의 b)에는 가상 공간에서 사용자의 손 모델이 표준 무게 Wstandard를 가진 가상 물체를 들어 올리기 위해서는 이를 들어 올리는 힘 Fv_standard가 필요함을 나타내었다. 힘 Fv_standard을 구하기 위해서는 표준 무게 Wstandard의 물체를 들어 올리는 속도 Vstandard가 필요한데, 힘 Fv_standard는 표준 무게 Wstandard와 속도 Vstandard의 곱으로 구해진다.
한편 사용자 마다 동일한 표준 무게 Wstandard를 느끼는 무게감이 다르기 때문에, Wstandard의 표준 무게에 대한 사용자별 표준 속도 측정이 필요하다. 표준 속도 Vstandard는 사용자 마다 다른 값을 가지며, 그에 종속되어 힘 Fv_standard 또한 사용자 마다 다른 값을 갖는다.
도 4의 a)에는 가상 물체의 무게 Wvirtual가 Wstandard 보다 가벼운 경우로 사용자가 Vstandard의 속도로 물체를 들어 올리면 가상 물체는 Vstandard 보다 빠른 속도로 올려져 사용자 손 모델 보다 높게 위치하게 되는 것을 나타내었다. 이에 따라 사용자는 슈도햅틱 피드백에 의해 손의 움직임 속도 Vvirtual를 Vstandard 보다 빠르게 하게 되며 이에 의해 가상 물체가 가볍다는 것을 느끼게 된다.
도 4의 c)에는 가상 물체의 무게 Wvirtual가 Wstandard 보다 무거운 경우로 사용자가 Vstandard의 속도로 물체를 들어 올리면 가상 물체가 Vstandard 보다 느린 속도로 올려져 사용자 손 모델 보다 낮게 위치하게 되는 것을 나타내었다. 이에 따라 사용자는 슈도햅틱 피드백에 의해 손의 움직임 속도 Vvirtual를 Vstandard 보다 느리게 하게 되며 이에 의해 가상 물체가 무겁다는 것을 느끼게 된다.
제시된 무게감 제공 원리 기반 사용자 맞춤형 무게감은 다음 과정으로 유도하고 최적화할 수 있다.
m = ρ×V, (1)
수식 (1)에서 m은 물체의 질량이고, ρ는 물체의 밀도이며 V는 물체의 부피이다.
W = ρ×V×g, (2)
수식 (2)에서 g는 중력가속도이고, W는 물체의 무게이다.
Wstandard = 0.045×9.80665 (kg*m)/s2, (3)
수식 (3)에서 Wstandard는 사용자가 들어 올리는 힘을 가늠하기 위해 필요한 가상 물체의 표준 무게이며, 수식 (3)에서는 일반적인 골프공의 무게인 0.045kg를 기준으로 하였다.
Fv_standard = Wstandard×Vstandard, (4)
Fvirtual = Fv_standard×Vvirtual, (5)
수식 (4)는 표준 무게 Wstandard와 물체를 들어 올리는 사용자 맞춤 속도 Vstandard에 따른 Fv_standard의 관계를 보여준다. 수식 (3)에서 정의된 표준 무게 Wstandard를 가진 가상 물체를 들어 올리는 사용자 맞춤형 표준 속도 Vstandard에 따라 표준 무게 물체를 들어올리는 Fv_standard가 정해진다. 수식 (5)는 수식 (4)에서 구해진 Fv_standard를 활용하여 무게가 다른 가상 물체를 들어 올리는 힘 Fvirtual을 구하는 공식이다.
Vvirtual:Wvirtual = Vstandard:Wstandard, (6)
수식 (6)에 따라 각 가상 물체의 부피와 밀도를 고려한 Vvirtual 값을 도출할 수 있다. 하지만 이렇게 도출된 속도는 현실적이지 않다. 따라서 무게에 따른 물체를 들어 올리는 속도를 측정하는 실험을 통해 보다 현실적인 offset을 구현하는 것이 필요하다.
Vexperiment = 1.6793e-0.24×Vstandard, (7)
수식 (7)은 실험에서 도출된 무게에 실공간에서 무게에 따른 물체를 들어 올리는 속도 변화를 보여주는 수식이다. Vexperiment은 실중량에 따라 도출된 실제 물체를 들어올리는 속도를 보여준다.
Vfinal_virtual = 0.5*Vvirtual + 0.5*Vexperiment, (8)
수식 (8)은 수식 (6)에서 도출된 Vvirtual 속도와 수식 (7)에서 도출된 Vexperiment의 속도를 기반으로 산출한 최종 속도이다. Vfinal_virtual로 부피와 질량이 모두 고려된 사용자 맞춤형 가상 물체의 속도가 확정된다
한편 수식 (8)에서 Vvirtual와 Vexperiment의 가중치는 모두 0.5인 것을 상정하였으나 서로 다른 값으로 수정하는 것도 가능하다.
도 5에는 사용자가 표준 물체로 상정한 골프공을 실제 공간에서 들어올리는 속도인 표준 속도를 측정하는 상황을 나타내었다.
도 6에는 오른손으로는 표준 무게의 가상 물체를 표준 속도로 들어올리고 왼손으로 표준 무게 보다 가벼운 가상 물체를 표준 속도로 들어올리는 상황을 나타내었는데, 표준 무게인 중간의 가상 물체는 손과 동일한 속도로 올라가지만 표준 무게 보다 가벼운 왼쪽의 가상 물체는 손 보다 빠른 속도로 올라가는 것을 확인할 수 있다. 이와 같은 피드백 상황에서 사용자는 왼손을 보다 빠르게 올리게 될 것이며, 이에 의해 왼쪽 가상 물체가 가볍다고 느끼게 된다.
도 7에는 왼손으로는 표준 무게의 가상 물체를 표준 속도로 들어올리고 오른손으로 표준 무게 보다 무거운 가상 물체를 표준 속도로 들어올리는 상황을 나타내었는데, 표준 무게인 중간의 가상 물체는 손과 동일한 속도로 올라가지만 표준 무게 보다 무거운 오늘쪽의 가상 물체는 손 보다 느린 속도로 올라가는 것을 확인할 수 있다. 이와 같은 피드백 상황에서 사용자는 오른손을 보다 느리게 올리게 될 것이며, 이에 의해 오른쪽 가상 물체가 무겁다고 느끼게 된다.
지금까지 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는 추가적인 고가의 디바이스를 사용하지 않고 XR 플랫폼에의 접근성과 활용성을 높이기 위한 컴퓨터 비전 기반의 다중 사용자에 대한 인터랙션을 제공하기 위한 방안으로, 몰입감에 대해 가장 높은 비율을 차지하는 시각적 효과에 대해 시각적 착각 효과에 기반한 슈도햅틱 인터랙션 방법을 제시하였다.
본 발명의 실시예에 따른 방법은 급성장하고 있는 VR/AR/MR 분야의 시장 수요에 발맞추어 다중 사용자의 실감형 체험이 가능한 콘텐츠 생산 및 서비스 지원에 활용이 가능하며, 시각적 착각 효과에 기반한 슈도햅틱 기술을 통한 몰입도 향상을 바탕으로 문화콘텐츠산업 육성에 기여할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 카메라
120 : 통신부
130 : 프로세서
140 : 저장부
150 : 3D 디스플레이

Claims (8)

  1. 가상현실 디바이스가, 사용자 손을 추적하는 단계;
    가상현실 디바이스가, 추적한 사용자 손을 가상 공간에 표시하는 단계;
    가상현실 디바이스가, 가상 공간에서 사용자 손이 들어 올리는 가상 물체의 무게를 기초로, 가상 물체와 사용자 손의 움직임 표시 시 슈도햅틱 피드백(Pseudo-Haptic Feedback)을 제공하는 단계;를 포함하고,
    제공 단계는,
    가상 물체가 올려지는 속도가 가상 물체의 무게에 반비례하도록 제어하되,
    가상 물체가 올려지는 속도는,
    가상 물체의 부피와 밀도를 기초로 도출한 속도 및 실제 공간에서 무게에 따른 실제 물체를 들어 올리는 속도 변화식을 기초로 도출한 속도에 가중치를 각각 적용하여 합산한 값으로 결정되며,
    가상 물체의 부피와 밀도를 기초로 도출한 속도는,
    표준 무게 보다 가벼운 가상 물체가 올려지는 속도를 표준 속도 보다 빠르게 하고, 표준 무게 보다 무거운 가상 물체가 올려지는 속도를 표준 속도 보다 느리게 하는 속도이고,
    표준 속도는,
    사용자가 정해진 표준 무게의 물체를 실제로 들어올리는 중에 측정한 속도로, 사용자 마다 별개로 설정되며,
    속도 변화식을 기초로 도출한 속도(Vexperiment)는,
    다음의 식에 따라 결정되고,
    Vexperiment = 1.6793e-0.24×Vstandard
    Vstandard는 표준 속도인 것을 특징으로 하는 실감형 인터랙션 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    제공 단계는,
    가상 물체가 올려지는 속도를 사용자 마다 설정된 표준 속도를 기초로 제어하는 것을 특징으로 하는 실감형 인터랙션 방법.
  4. 삭제
  5. 청구항 3에 있어서,
    제공 단계는,
    표준 무게 보다 가벼운 가상 물체가 올려지는 속도를 표준 속도 보다 빠르게 하여, 사용자 손이 표준 속도로 올려지면 가상 물체가 사용자 손 보다 빠르게 올려지도록 표시하는 것을 특징으로 하는 실감형 인터랙션 방법.
  6. 청구항 3에 있어서,
    제공 단계는,
    표준 무게 보다 무거운 가상 물체가 올려지는 속도를 표준 속도 보다 느리게 하여, 사용자 손이 표준 속도로 올려지면 가상 물체가 사용자 손 보다 늦게 올려지도록 표시하는 것을 특징으로 하는 실감형 인터랙션 방법.
  7. 삭제
  8. 사용자의 전방 영상을 생성하는 카메라;
    가상 영상을 가상 공간에 표시하는 디스플레이;
    카메라에 의해 생성된 전방 영상에서 사용자 손을 추적하고, 추적한 사용자 손을 가상 공간에 표시하며, 가상 공간에서 사용자 손이 들어 올리는 가상 물체의 무게를 기초로 가상 물체와 사용자 손의 움직임 표시 시 슈도햅틱 피드백(Pseudo-Haptic Feedback)을 제공하는 프로세서;를 포함하고,
    프로세서는,
    가상 물체가 올려지는 속도가 가상 물체의 무게에 반비례하도록 제어하되,
    가상 물체가 올려지는 속도는,
    가상 물체의 부피와 밀도를 기초로 도출한 속도 및 실제 공간에서 무게에 따른 실제 물체를 들어 올리는 속도 변화식을 기초로 도출한 속도에 가중치를 각각 적용하여 합산한 값으로 결정되며,
    가상 물체의 부피와 밀도를 기초로 도출한 속도는,
    표준 무게 보다 가벼운 가상 물체가 올려지는 속도를 표준 속도 보다 빠르게 하고, 표준 무게 보다 무거운 가상 물체가 올려지는 속도를 표준 속도 보다 느리게 하는 속도이고,
    표준 속도는,
    사용자가 정해진 표준 무게의 물체를 실제로 들어올리는 중에 측정한 속도로, 사용자 마다 별개로 설정되며,
    속도 변화식을 기초로 도출한 속도(Vexperiment)는,
    다음의 식에 따라 결정되고,
    Vexperiment = 1.6793e-0.24×Vstandard
    Vstandard는 표준 속도인 것을 특징으로 하는 가상현실 디바이스.
KR1020220069347A 2022-06-08 2022-06-08 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법 KR102594789B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220069347A KR102594789B1 (ko) 2022-06-08 2022-06-08 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법
PCT/KR2023/007504 WO2023239107A1 (ko) 2022-06-08 2023-06-01 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220069347A KR102594789B1 (ko) 2022-06-08 2022-06-08 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법

Publications (1)

Publication Number Publication Date
KR102594789B1 true KR102594789B1 (ko) 2023-10-27

Family

ID=88514016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220069347A KR102594789B1 (ko) 2022-06-08 2022-06-08 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법

Country Status (2)

Country Link
KR (1) KR102594789B1 (ko)
WO (1) WO2023239107A1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3349096B1 (en) * 2015-09-08 2023-08-23 Sony Group Corporation Information processing apparatus, method, and computer program
KR101961221B1 (ko) * 2017-09-18 2019-03-25 한국과학기술연구원 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템
WO2020250297A1 (ja) * 2019-06-11 2020-12-17 ガンホー・オンライン・エンターテイメント株式会社 処理装置、プログラム、及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G.Hanning and B.Deml, "Efficient Bimodal Haptic Weight Actuation," In the Proc. of EuroHaptics 2010, pp. 3-10, 2010.* *
J.Lee, "Force Arrow: An Efficient Pseudo-Weight Perception Method," In the Jour. of KSCI, vol.23, no.7, pp. 49-56, 2018.* *

Also Published As

Publication number Publication date
WO2023239107A1 (ko) 2023-12-14

Similar Documents

Publication Publication Date Title
JP7186913B2 (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP7049393B2 (ja) ３次元空間内の仮想オブジェクトの自動配置
US10672172B2 (en) Time-dependent client inactivity indicia in a multi-user animation environment
EP3040807B1 (en) Virtual sensor in a virtual environment
KR102304023B1 (ko) 증강현실 기반 인터렉티브 저작 서비스 제공 시스템
US9050538B2 (en) Collision detection and motion simulation in game virtual space
CN108369478A (zh) 用于交互反馈的手部跟踪
US6141015A (en) Method and apparatus for determining collision between virtual objects in a virtual space
WO2018039437A1 (en) Apparatus and method for providing a virtual shopping environment
CN103902489A (zh) 生成并执行计算机应用的Miniapp的方法和系统
JP2017038819A (ja) 情報処理システム及びプログラム、並びにサーバ
Wang et al. Leaning-based travel interfaces revisited: frontal versus sidewise stances for flying in 3D virtual spaces
KR102594789B1 (ko) 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법
Nishino et al. An iec-based haptic rendering optimizer
JP2022177073A (ja) システム、プログラム及び処理方法
KR102469149B1 (ko) 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법
Forte et al. User experience problems in immersive virtual environments
Yoon et al. Relation between jittering from compensation for latency and VR sickness
JP6945699B2 (ja) プログラム及びゲーム装置
CN106484114B (zh) 基于虚拟现实的交互控制方法及装置
KR20230096340A (ko) 가상 현실 기반의 질감 생성 시스템 및 방법
Van Der Kroon Virtutello: Balancing Physical and Digital Interaction in a Mixed Reality Sculpting Tool
KR20190005424A (ko) 가상현실 및 증강현실 기반의 공룡 콘텐츠 제공 시스템
CN115885239A (zh) 信息处理装置、触感提供系统和程序
JP2012247951A (ja) プログラム、情報記憶媒体、情報処理システム及び情報処理方法

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant