KR102167375B1 - Virtual reality interaction hand tracking system using multiple sensors and implementation method thereof - Google Patents

Virtual reality interaction hand tracking system using multiple sensors and implementation method thereof Download PDF

Info

Publication number
KR102167375B1
KR102167375B1 KR1020190030668A KR20190030668A KR102167375B1 KR 102167375 B1 KR102167375 B1 KR 102167375B1 KR 1020190030668 A KR1020190030668 A KR 1020190030668A KR 20190030668 A KR20190030668 A KR 20190030668A KR 102167375 B1 KR102167375 B1 KR 102167375B1
Authority
KR
South Korea
Prior art keywords
hand tracking
tracking information
hand
information
sensor
Prior art date
Application number
KR1020190030668A
Other languages
Korean (ko)
Other versions
KR20200110998A (en
Inventor
김도현
이상훈
Original Assignee
주식회사 지엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지엘 filed Critical 주식회사 지엘
Priority to KR1020190030668A priority Critical patent/KR102167375B1/en
Publication of KR20200110998A publication Critical patent/KR20200110998A/en
Application granted granted Critical
Publication of KR102167375B1 publication Critical patent/KR102167375B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/2809—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 다중 센서를 통해 획득한 핸드트래킹 정보를 가상현실에 전달하여 사용자의 손과 가상현실 객체를 인터랙션 시킬 수 있는 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템 및 그 구현방법이 개시된다. 본 발명의 일 실시예에 따른 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템은, 사용자 손 및 손가락의 위치, 움직임, 방향을 적어도 포함하는 핸드트래킹 정보(210)를 캡쳐하여 획득하는 다중 센서가 구비되는 센서 시스템(200); 센서 시스템(200)과 네트워크 연결되어, 센서 시스템(200)으로부터 수신하는 핸드트래킹 정보(210)를 네트워크 전달에 의한 시간 오차가 존재하는 제1 핸드트래킹 정보(110)로 저장하며, 제1 핸드트래킹 정보(110)를 재정렬하여 제2 핸드트래킹 정보(125)로 보정하고, 보정된 제2 핸드트래킹 정보(125)를 가상현실에 전달하는 메인 시스템(100); 및 메인 시스템(100)과 센서 시스템(200)의 네트워크 연결을 중계하는 라우터(300);를 포함하고, 제2 핸드트래킹 정보(125)에는, 메인 시스템(100)이 제2 핸드트래킹 정보(125)를 정보를 생성한 시간, 다중 센서 중 하나의 기준 센서의 좌표를 기준으로 산출된 사용자 손 및 손가락의 위치, 움직임, 방향을 적어도 포함하는 핸드 정보 및 핸드 정보의 갯수가 저장된다.The present invention discloses a virtual reality interaction hand tracking system using multiple sensors capable of interacting with a user's hand and a virtual reality object by transmitting hand tracking information acquired through multiple sensors to virtual reality, and an implementation method thereof. The virtual reality interaction hand tracking system using multiple sensors according to an embodiment of the present invention includes multiple sensors that capture and acquire hand tracking information 210 including at least the position, movement, and direction of a user's hand and fingers. Sensor system 200; A network connection with the sensor system 200 stores the hand tracking information 210 received from the sensor system 200 as first hand tracking information 110 in which a time error exists due to network transmission, and the first hand tracking A main system 100 that rearranges the information 110, corrects the second hand tracking information 125, and transmits the corrected second hand tracking information 125 to the virtual reality; And a router 300 that relays the network connection between the main system 100 and the sensor system 200; and, in the second hand tracking information 125, the main system 100 includes second hand tracking information 125 ), the number of hand information and hand information including at least the position, movement, and direction of the user's hand and finger calculated based on the coordinates of one of the multiple sensors and the coordinates of one of the multiple sensors are stored.

Figure R1020190030668
Figure R1020190030668

Description

다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템 및 그 구현방법{Virtual reality interaction hand tracking system using multiple sensors and implementation method thereof}Virtual reality interaction hand tracking system using multiple sensors and implementation method thereof

본 발명은 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템 및 그 구현방법에 관한 것으로, 보다 자세하게는 다중 센서를 통해 획득한 핸드트래킹 정보를 가상현실에 전달하여 사용자의 손과 가상현실 객체를 인터랙션 시킬 수 있는 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템 및 그 구현방법에 관한 것이다.The present invention relates to a virtual reality interaction hand tracking system using multiple sensors and a method for implementing the same, and more specifically, it is possible to interact with a user's hand and a virtual reality object by transmitting hand tracking information acquired through multiple sensors to virtual reality. A virtual reality interaction hand tracking system using multiple sensors and a method for implementing the same.

일반적으로 가상 현실연구에서 가상객체와 상호작용을 하기 위해서는, 사용자의 머리와 손 위치를 인식하기 위한 별도의 추적 인프라가 사용된다. 이러한 추적 인프라는 실내 공간의 천장, 테이블, 벽 등에 설치된 센서 등의 추적기를 통해 사용자의 손의 정확한 위치를 추적할 수 있다.In general, in order to interact with virtual objects in virtual reality research, a separate tracking infrastructure for recognizing the location of the user's head and hand is used. This tracking infrastructure can track the exact location of the user's hand through a tracker such as sensors installed on the ceiling, table, and wall of an indoor space.

그리고 가상객체와 상호작용을 위한 추적 인프라에 관한 선행기술로 대한민국 공개특허 제10-2019-0024309호, 가상공간을 위한 비접촉식 손가락 입력 장치 및 방법은 사용자의 손가락을 촬영하여 영상을 생성하고, 기준 영역과 손가락 영역을 추출하여 각 영역이 겹치는 지점의 정보를 이용하여 손가락의 움직임을 확인한 후, 가상 키패드부의 위치정보와 손가락 움직임을 매칭시켜 기저장된 문자를 입력 및 인식하는 장치 및 방법이 개시된다.In addition, Korean Patent Laid-Open Patent No. 10-2019-0024309 as a prior art for tracking infrastructure for interaction with virtual objects, a non-contact finger input device and method for a virtual space generates an image by photographing a user's finger, and Disclosed is an apparatus and a method for inputting and recognizing a previously stored character by extracting a finger region and confirming the movement of a finger using information on a point where each region overlaps, and matching position information of a virtual keypad unit with the finger movement.

그러나 상기 선행기술은, 손가락의 움직임을 확인하기 위한 손가락 움직임 확인부가 반드시 사용자의 손에 장착되어야 하는 불편한 문제점이 있었으며, 손가락 움직임 확인부는 사용자의 손에 단일 설치되기 때문에, 손가락의 움직임 인식률의 정확성이 떨어지는 문제점이 있었다.However, the prior art has an inconvenient problem that the finger movement check unit for checking the movement of the finger must be mounted on the user's hand, and since the finger movement check unit is single installed on the user's hand, the accuracy of the finger movement recognition rate is improved. There was a falling problem.

또한, 가상객체와 상호작용을 위한 추적 인프라에 관한 선행기술로 대한민국 등록특허 제10-0934391호, 6자유도 햅틱 장치를 이용한 핸드 기반 잡기 인터랙션시스템은 손가락 및 손 위치 변화에 따른 손 트래킹 정보를 생성하며, 손 트래킹 정보를 이용하여 가상 환경 내 가상 손 모델을 제어하고, 손 모델과 객체 간의 충돌, 운동 발생에 따른 객체 정보를 생성하며, 가상 손 모델의 변화에 따라 손의 위치 및 회전 반력감을 제어하는 시스템이 개시된다.In addition, as a prior art related to tracking infrastructure for interaction with virtual objects, Korean Patent Registration No. It controls the virtual hand model in the virtual environment by using hand tracking information, generates object information according to collisions and movements between the hand model and objects, and controls the position and rotation reaction force of the hand according to the change of the virtual hand model. A system is disclosed.

그러나 상기 선행기술은, 손가락 및 손 위치 변화를 감지하기 위한 장갑 형태의 글로브인 핸드 인터페이스가 반드시 사용자의 손에 장착되어야 하는 불편한 문제점이 있었으며, 상기 핸드 인터페이스에는 손 동작에 관한 손가락 관절각을 측정하는 초소형 절대 위치 센서가 부착되어 있으나, 상기 센서는 단일 설치된 센서이기 때문에, 손가락의 관절의 구부러짐을 정확히 감지하기 어려운 문제점이 있었다.However, the prior art has an inconvenient problem in that a hand interface, which is a glove-shaped glove for detecting changes in the position of the finger and hand, must be mounted on the user's hand, and the hand interface measures a finger joint angle related to hand motion. Although the ultra-small absolute position sensor is attached, since the sensor is a single sensor, it is difficult to accurately detect the bending of the joint of the finger.

대한민국 공개특허 제10-2019-0024309호Republic of Korea Patent Publication No. 10-2019-0024309 대한민국 등록특허 제10-0934391호Korean Patent Registration No. 10-0934391

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명은 사용자의 손에 핸드트래킹을 위한 컨트롤러를 장착하지 않아도, 다중 센서를 통해 사용자 손의 위치, 움직임, 방향을 정확히 반영한 핸드트래킹 정보를 가상현실에 전달하여 사용자의 손과 가상현실 객체를 인터랙션 시킬 수 있는 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템 및 그 구현방법을 제공하는데 그 목적이 있다.Therefore, the present invention was devised to solve the above problems, and the present invention is a hand that accurately reflects the position, movement, and direction of the user's hand through multiple sensors, even without installing a controller for hand tracking on the user's hand. An object of the present invention is to provide a virtual reality interaction hand tracking system using multiple sensors capable of interacting with a user's hand and a virtual reality object by transmitting tracking information to virtual reality and an implementation method thereof.

한편, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.On the other hand, the technical problem to be achieved in the present invention is not limited to the technical problems mentioned above, and other technical problems not mentioned are clearly understood by those of ordinary skill in the technical field to which the present invention belongs from the following description. Can be.

상기와 같은 목적을 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템은, 사용자 손 및 손가락의 위치, 움직임, 방향을 적어도 포함하는 핸드트래킹 정보(210)를 캡쳐하여 획득하는 다중 센서가 구비되는 센서 시스템(200); 센서 시스템(200)과 네트워크 연결되어, 센서 시스템(200)으로부터 수신하는 핸드트래킹 정보(210)를 네트워크 전달에 의한 시간 오차가 존재하는 제1 핸드트래킹 정보(110)로 저장하며, 제1 핸드트래킹 정보(110)를 재정렬하여 제2 핸드트래킹 정보(125)로 보정하고, 보정된 제2 핸드트래킹 정보(125)를 가상현실에 전달하는 메인 시스템(100); 및 메인 시스템(100)과 센서 시스템(200)의 네트워크 연결을 중계하는 라우터(300);를 포함하고, 제2 핸드트래킹 정보(125)에는, 메인 시스템(100)이 제2 핸드트래킹 정보(125)를 정보를 생성한 시간, 다중 센서 중 하나의 기준 센서의 좌표를 기준으로 산출된 사용자 손 및 손가락의 위치, 움직임, 방향을 적어도 포함하는 핸드 정보 및 핸드 정보의 갯수가 저장된다.As a technical means for achieving the above object, the virtual reality interaction hand tracking system using multiple sensors according to an embodiment of the present invention includes hand tracking information including at least the position, movement, and direction of the user's hand and fingers ( A sensor system 200 including multiple sensors for capturing and obtaining 210); A network connection with the sensor system 200 stores the hand tracking information 210 received from the sensor system 200 as first hand tracking information 110 in which a time error exists due to network transmission, and the first hand tracking A main system 100 that rearranges the information 110, corrects the second hand tracking information 125, and transmits the corrected second hand tracking information 125 to the virtual reality; And a router 300 that relays a network connection between the main system 100 and the sensor system 200, and includes, in the second hand tracking information 125, the main system 100 includes second hand tracking information 125 ), the number of hand information and hand information including at least the position, movement, and direction of the user's hand and finger calculated based on the coordinates of one of the multiple sensors and the coordinates of one of the multiple sensors are stored.

일 실시예에서 메인 시스템(100)은, 제1 핸드트래킹 정보(110)가 하나 이상 저장되는 메모리; 및 메모리와 연결되어, 메모리로부터 수신하는 제1 핸드트래킹 정보(110)를 제2 핸드트래킹 정보(125)로 재정렬하는 정보처리부(120);를 포함하여 이루어진다.In an embodiment, the main system 100 includes a memory in which one or more first hand tracking information 110 is stored; And an information processing unit 120 connected to the memory and rearranging the first hand tracking information 110 received from the memory into the second hand tracking information 125.

일 실시예에서 정보처리부(120)는, 메인 시스템(100)과 센서 시스템(200)의 링크 이후, 핸드트래킹 정보(210)의 획득시간 순으로 제1 핸드트래킹 정보(110)를 제2 핸드트래킹 정보(125)로 재정렬한다.In one embodiment, the information processing unit 120 performs a second hand tracking of the first hand tracking information 110 in the order of acquisition time of the hand tracking information 210 after the link between the main system 100 and the sensor system 200 Rearrange with information 125.

일 실시예에서 정보처리부(120)는, 제2 핸드트래킹 정보(125)의 시간을 동일 시간대로 보정하기 위해, 기준 센서의 제2 핸드트래킹 정보(125)의 시간으로 남은 센서들의 제2 핸드트래킹 정보(125)의 시간을 보정한다.In an embodiment, the information processing unit 120 performs second hand tracking of the remaining sensors as the time of the second hand tracking information 125 of the reference sensor in order to correct the time of the second hand tracking information 125 in the same time period. The time of the information 125 is corrected.

일 실시예에서 정보처리부(120)는, 기준 센서의 위치를 x,y,z 좌표 값으로 산출한 후, 기준 센서의 좌표 값을 기준으로 남은 센서들의 좌표 값을 산출하고, 과정을 적어도 한 번 이상 반복하여 남은 센서들의 좌표 값의 평균 값을 남은 센서들의 위치로 설정한다.In an embodiment, the information processing unit 120 calculates the position of the reference sensor as x,y,z coordinate values, then calculates the coordinate values of the remaining sensors based on the coordinate value of the reference sensor, and performs the process at least once. Repeatedly above, the average value of the coordinate values of the remaining sensors is set as the positions of the remaining sensors.

일 실시예에서 정보처리부(120)는, 남은 센서들의 제2 핸드트래킹 정보(125)를 기준센서의 위치 및 방향으로 재설정한다.In an embodiment, the information processing unit 120 resets the second hand tracking information 125 of the remaining sensors to the position and direction of the reference sensor.

일 실시예에서 정보처리부(120)는, 다중 센서가 캡쳐하여 획득한 사용자의 손 및 손가락의 면적을 기반으로 제2 핸드트래킹 정보(125)의 유효성 값(w)을 산출한다.In an embodiment, the information processing unit 120 calculates a validity value w of the second hand tracking information 125 based on the area of the user's hand and finger acquired by capturing multiple sensors.

일 실시예에서 메인 시스템(100)은, 정보처리부(120)가 산출한 제2 핸드트래킹 정보(125)의 유효성 값(w) 중 가장 높은 유효성 값(w)을 가지는 센서의 제2 핸드트래킹 정보(125)를 현재의 제2 핸드트래킹 정보(125)로 판단하며, 유효성 값(w)이 가장 높은 제2 핸드트래킹 정보(125)를 가상현실에 전달한다.In one embodiment, the main system 100 is the second hand tracking information of the sensor having the highest validity value (w) among the validity values (w) of the second hand tracking information 125 calculated by the information processing unit 120 It determines 125 as the current second hand tracking information 125, and transmits the second hand tracking information 125 having the highest validity value w to the virtual reality.

상기와 같은 목적을 달성하기 위한 기술적 방법으로서, 본 발명의 일 실시예에 따른 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 구현방법은, 센서 시스템(200)이 사용자 손 및 손가락의 위치, 움직임, 방향을 적어도 포함하는 핸드트래킹 정보(210)를 캡쳐하여 획득하는 단계; 센서 시스템(200)이 획득한 핸드트래킹 정보(210)를 네트워크 연결된 메인 시스템(100)에 송신하고, 메인 시스템(100)은 네트워크 전달에 의한 시간 오차가 존재하는 제1 핸드트래킹 정보(110)를 저장하는 단계; 메인 시스템(100)이 제1 핸드트래킹 정보(110)를 재정렬하여 제2 핸드트래킹 정보(125)로 보정하는 단계; 및 메인 시스템(100)이 보정된 제2 핸드트래킹 정보(125)를 가상현실에 전달하는 단계;를 포함한다.As a technical method for achieving the above object, in the method for implementing virtual reality interaction hand tracking using multiple sensors according to an embodiment of the present invention, the sensor system 200 determines the position, movement, and direction of the user's hand and fingers. Capturing and obtaining hand tracking information 210 including at least; The hand tracking information 210 obtained by the sensor system 200 is transmitted to the network-connected main system 100, and the main system 100 transmits the first hand tracking information 110 in which a time error exists due to network transmission. Storing; The main system 100 rearranging the first hand tracking information 110 and correcting it with the second hand tracking information 125; And transmitting, by the main system 100, the corrected second hand tracking information 125 to virtual reality.

본 발명의 일 실시예에 따르면, 다중 센서를 통해 단일 센서를 이용할 때 보다 사각지대 없이 사용자 손 및 손가락의 위치, 움직임, 방향을 감지할 수 있다.According to an embodiment of the present invention, it is possible to detect the position, movement, and direction of a user's hand and finger without a blind spot than when using a single sensor through multiple sensors.

그리고 본 발명의 일 실시예에 따르면, 네트워크 시간 오차에 따른 시간의 오류와 센서의 위치, 방향 및 유효성 값을 반영하여 핸드트래킹 정보를 보정한 후에 상기 핸드트래킹 정보를 가상현실에 전달함으로써, 오차 없이 사용자의 손 및 손가락을 가상현실 객체를 인터랙션시킬 수 있다.And according to an embodiment of the present invention, by correcting the hand tracking information by reflecting the error of time according to the network time error and the position, direction, and validity value of the sensor, and then transmitting the hand tracking information to virtual reality, without error. The user's hand and fingers can interact with the virtual reality object.

한편, 본 발명에서 얻을 수 있는 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.On the other hand, the effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description. I will be able to.

도 1은 본 발명의 일 실시예에 따른 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템의 구성을 개략적으로 나타내는 개략도이다.
도 2는 센서 시스템에 구비된 센서를 배치하는 방식의 일 예를 나타내는 개략도이다.
도 3은 메인 시스템과 센서 시스템의 네트워크 연결 단계 중 연결 요청 단계 및 상기 연결 요청 단계에서의 패킷 전달 순서를 나타내는 개략도이다.
도 4는 메인 시스템과 센서 시스템의 네트워크 연결 단계 중 핸드쉐이킹 단계 및 상기 핸드쉐이킹 단계에서의 패킷 전달 순서를 나타내는 개략도이다.
도 5는 메인 시스템과 센서 시스템의 네트워크 연결 단계 중 링크 단계 및 상기 링크 단계에서의 패킷 전달 순서를 나타내는 개략도이다.
도 6은 메인 시스템과 다중 센서 시스템의 네트워크 연결 단계 및 및 상기 네트워크 연결 단계에서의 패킷 전달 순서를 나타내는 도면이다.
도 7은 센서 시스템의 핸드트래킹 정보 처리 순서를 나타내는 순서도이다.
도 8은 핸드트래킹 정보의 시간 오차를 보정하는 일 예를 나타내는 개략도이다.
도 9는 센서 각각의 핸드트래킹 정보를 동일 시간대로 보정하는 일 예를 나타내는 개략도이다.
도 10은 다중 센서 중 기준 센서를 기준으로 다른 센서들의 상대적 위치를 구하는 개념도이다.
도 11은 기준 센서와의 상대적 위치 및 방향을 기반으로 핸드트래킹 정보를 변환하는 개념도이다.
도 12는 손의 움직임에 따라 핸드트래킹 정보의 유효값이 변화되는 것을 나타내는 개념도이다.1 is a schematic diagram schematically showing the configuration of a virtual reality interaction hand tracking system using multiple sensors according to an embodiment of the present invention.
2 is a schematic diagram illustrating an example of a method of arranging sensors included in a sensor system.
3 is a schematic diagram illustrating a connection request step of a network connection step between a main system and a sensor system and a packet delivery sequence in the connection request step.
4 is a schematic diagram showing a handshaking step of a network connection step between a main system and a sensor system and a packet delivery sequence in the handshaking step.
5 is a schematic diagram showing a link step of a network connection step between a main system and a sensor system and a packet delivery sequence in the link step.
6 is a diagram illustrating a network connection step of a main system and a multi-sensor system, and a packet delivery sequence in the network connection step.
7 is a flowchart showing a procedure of processing hand tracking information by a sensor system.
8 is a schematic diagram illustrating an example of correcting a time error of hand tracking information.
9 is a schematic diagram illustrating an example of correcting hand tracking information of each sensor in the same time period.
10 is a conceptual diagram for obtaining the relative positions of other sensors based on a reference sensor among multiple sensors.
11 is a conceptual diagram for converting hand tracking information based on a relative position and direction with a reference sensor.
12 is a conceptual diagram showing that the effective value of hand tracking information changes according to the movement of the hand.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The detailed description to be disclosed hereinafter together with the accompanying drawings is intended to describe exemplary embodiments of the present invention, and is not intended to represent the only embodiments in which the present invention may be practiced. The following detailed description includes specific details to provide a thorough understanding of the present invention. However, those of ordinary skill in the art to which the present invention pertains knows that the present invention may be practiced without these specific details. In addition, throughout the specification, when a part is said to "comprising or including" a certain component, this does not exclude other components, but may further include other components unless otherwise stated. Means that. In addition, when it is determined that detailed descriptions of known functions or configurations may unnecessarily obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.

핸드트래킹 시스템Hand tracking system

이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템(이하에서는 '핸드트래킹 시스템'이라 한다.)에 대해 자세히 설명하도록 하겠다.Hereinafter, a virtual reality interaction hand tracking system using multiple sensors according to an embodiment of the present invention (hereinafter referred to as a'hand tracking system') will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템의 구성을 개략적으로 나타내는 개략도이고, 도 2는 센서 시스템에 구비된 센서를 배치하는 방식의 일 예를 나타내는 개략도이다.1 is a schematic diagram schematically showing the configuration of a virtual reality interaction hand tracking system using multiple sensors according to an embodiment of the present invention, and FIG. 2 is a schematic diagram showing an example of a method of arranging sensors provided in the sensor system .

이들 도면에 도시된 바와 같이, 본 발명의 일 실시예에 따른 핸드트래킹 시스템(10)은 메인 시스템(100), 센서 시스템(200) 및 라우터(300)가 구비된다.As shown in these figures, the hand tracking system 10 according to an embodiment of the present invention includes a main system 100, a sensor system 200, and a router 300.

메인 시스템(100)은 로컬 네트워크에 구성되며, 라우터(300)를 통해 센서 시스템(200)과 네트워크 연결된다. 이러한 메인 시스템(100)은 센서 시스템(200)과 네트워크 연결되어, 센서 시스템(200)에서 송신된 핸드트래킹 정보(210)를 수신한다. 그리고 메인 시스템(100)은 수신한 핸드트래킹 정보(210)를 보정하고, 보정한 핸드트래킹 정보(210)를 가상현실에 전달한다. 구체적으로, 메인 시스템(100)은 도 8에 도시된 정보처리부(120)가 구비되어, 센서 시스템(200)으로부터 수신한 핸드트래킹 정보(210)에 네트워크 시간 오차, 센서의 위치, 방향 및 유효성 값(w)을 반영하여 보정한 후에 가상현실에 전달한다.The main system 100 is configured in a local network, and is connected to the sensor system 200 through a router 300 via a network. The main system 100 is connected to the sensor system 200 via a network, and receives the hand tracking information 210 transmitted from the sensor system 200. In addition, the main system 100 corrects the received hand tracking information 210 and transmits the corrected hand tracking information 210 to virtual reality. Specifically, the main system 100 is provided with the information processing unit 120 shown in FIG. 8, and the network time error, the position, direction, and validity value of the sensor in the hand tracking information 210 received from the sensor system 200 After correcting by reflecting (w), it is transferred to virtual reality.

여기서, 네트워크 시간 오차라 함은 메인 시스템(100)(바람직하게는, 정보처리부(120))이 다중 구성되는 센서 시스템(200)로부터 수신한 제1 핸드트래킹 정보(110)를 시간순으로 정렬한 것과, 다중 구성되는 센서 시스템(200)의 핸드트래킹 정보(210)의 시간 순서가 다른 것을 의미한다.Here, the network time error means that the main system 100 (preferably, the information processing unit 120) arranges the first hand tracking information 110 received from the multi-configured sensor system 200 in chronological order. , It means that the time order of the hand tracking information 210 of the multi-configured sensor system 200 is different.

또한, 센서의 위치, 방향이라 함은 센서 시스템(200)의 다중 센서 중 적어도 하나의 센서를 기준 센서로 설정하고, 남은 다른 센서들의 x,y,z 좌표를 의미한다.In addition, the position and direction of the sensor means that at least one of the multiple sensors of the sensor system 200 is set as a reference sensor, and the x, y, and z coordinates of the remaining other sensors are set.

한편, 다중 센서의 위치 및 방향은 한 번의 과정을 통해 산출되는 것은 아니며, 상기 과정을 반복한다음 산출되는 센서 각각의 위치 및 방향 평균값을 의미한다.Meanwhile, the positions and directions of the multiple sensors are not calculated through a single process, but refers to an average value of the positions and directions of each sensor calculated after repeating the process.

그리고 유효성 값(w)이라 함은 센서 시스템(200)의 센서마다 위치 및 방향이 달라 동일한 핸드트래킹 정보를 산출할 수 없기 때문에 발생하는 오류와, 위치 및 방향이 다름에 따라 센서마다 다르게 감지되는 사용자의 손 면적에 따른 오류를 제거하기 위해, 핸드트래킹 정보마다 센서의 방향과 사용자 손바닥의 방향을 반영하여 유효한 핸드트래킹 정보를 확정하는 값을 의미한다.In addition, the validity value (w) refers to an error that occurs because the position and direction of each sensor of the sensor system 200 is different and the same hand tracking information cannot be calculated, and a user who is detected differently for each sensor according to the different position and direction. Refers to a value for determining valid hand tracking information by reflecting the direction of the sensor and the direction of the user's palm for each hand tracking information in order to remove an error according to the area of the hand.

또한, 메인 시스템(100)은 센서 시스템(200)에서 송신한 상태 정보인 센서시스템 정보(220)를 수신한다. 이를 통해, 메인 시스템(100)은 센서 시스템(200)의 상태를 판단할 수 있게 된다.In addition, the main system 100 receives the sensor system information 220, which is status information transmitted from the sensor system 200. Through this, the main system 100 can determine the state of the sensor system 200.

더 나아가, 메인 시스템(100)은 센서 시스템(200)으로부터 수신하는 패킷을 처리할 수 있는 최소한의 처리속도를 가진다.Furthermore, the main system 100 has a minimum processing speed capable of processing packets received from the sensor system 200.

센서 시스템(200)은 로컬 네트워크에 구성되며, 라우터(300)를 통해 센서 시스템(200)과 네트워크 연결된다. 이러한 센서 시스템(200)은 다중으로 구성되며, 센서가 각각 구비된다. 구체적인 일 예를 들면, 제1 센서 시스템(200-1)은 제1 센서(201), 제2 센서 시스템(200-2)은 제2 센서(203), 제3 센서 시스템(200-3)은 제3 센서(205), 그리고 제N 센서 시스템(200-n)은 제n 센서(미도시)가 구비된다. 여기서, 제1 센서(201)과 제2 센서(203), 제3 센서(205), 제n 센서(미도시)는 서로 다른 x,y,z 좌표를 가지며, 서로 다른 방향을 향하게 설치된다.The sensor system 200 is configured in a local network, and is connected to the sensor system 200 via a router 300 via a network. The sensor system 200 is composed of multiple, each sensor is provided. For a specific example, the first sensor system 200-1 is the first sensor 201, the second sensor system 200-2 is the second sensor 203, and the third sensor system 200-3 is The third sensor 205 and the Nth sensor system 200-n are provided with an nth sensor (not shown). Here, the first sensor 201, the second sensor 203, the third sensor 205, and the nth sensor (not shown) have different x,y,z coordinates and are installed to face different directions.

그리고 센서 시스템(200)은 센서를 통해 사용자 손 및 손가락의 위치, 움직임, 방향을 캡쳐하여 획득한 핸드트래킹 정보(210)를 메인 시스템(100)에 송신한다.In addition, the sensor system 200 transmits the acquired hand tracking information 210 to the main system 100 by capturing the location, movement, and direction of the user's hand and fingers through the sensor.

또한, 센서 시스템(200)은 상태 변화가 발생될 때마다, 센서시스템 정보(220)를 메인 시스템(100)에 송신한다.In addition, the sensor system 200 transmits the sensor system information 220 to the main system 100 whenever a state change occurs.

더 나아가, 센서 시스템(200)은 핸드트래킹 정보(210)를 초당 30개 이상 처리하여 메인 시스템(100)에 송신할 수 있다. 이는, 핸드트래킹 정보(210)의 실시간 처리에 필요한 최소 요구사항이다.Furthermore, the sensor system 200 may process 30 or more pieces of hand tracking information 210 per second and transmit it to the main system 100. This is a minimum requirement for real-time processing of the hand tracking information 210.

라우터(300)는 라우팅 기능을 갖는 공유기로 대체 가능하며, 메인 시스템(100)과 센서 시스템(200) 간의 네트워크 연결을 중계한다. 이러한 라우터(300)는 패킷(핸드트래킹 정보(210), 센서시스템 정보(220))의 위치를 추출하여, 그 위치에 대한 최적의 경로를 지정하고, 상기 최적의 경로를 따라 핸드트래킹 정보(210) 및 센서시스템 정보(220)가 전송되도록 중계한다.The router 300 can be replaced with a router having a routing function, and relays a network connection between the main system 100 and the sensor system 200. The router 300 extracts the location of the packet (hand tracking information 210, sensor system information 220), designates an optimal path for the location, and determines the hand tracking information 210 along the optimal path. ) And the sensor system information 220 to be transmitted.

핸드트래킹 구현방법Hand tracking implementation method

이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 구현방법(이하에서는 '핸드트래킹 구현방법'이라 한다.)에 대해 자세히 설명하도록 하겠다.Hereinafter, a method of implementing virtual reality interaction hand tracking using multiple sensors according to an embodiment of the present invention (hereinafter, referred to as'hand tracking implementation method') will be described in detail with reference to the accompanying drawings.

도 3은 메인 시스템과 센서 시스템의 네트워크 연결 단계 중 연결 요청 단계 및 상기 연결 요청 단계에서의 패킷 전달 순서를 나타내는 개략도이고, 도 4는 메인 시스템과 센서 시스템의 네트워크 연결 단계 중 핸드쉐이킹 단계 및 상기 핸드쉐이킹 단계에서의 패킷 전달 순서를 나타내는 개략도이며, 도 5는 메인 시스템과 센서 시스템의 네트워크 연결 단계 중 링크 단계 및 상기 링크 단계에서의 패킷 전달 순서를 나타내는 개략도이고, 도 6은 메인 시스템과 다중 센서 시스템의 네트워크 연결 단계 및 및 상기 네트워크 연결 단계에서의 패킷 전달 순서를 나타내는 도면이며, 도 7은 센서 시스템의 핸드트래킹 정보 처리 순서를 나타내는 순서도이고, 도 8은 핸드트래킹 정보의 시간 오차를 보정하는 일 예를 나타내는 개략도이며, 도 9는 센서 각각의 핸드트래킹 정보를 동일 시간대로 보정하는 일 예를 나타내는 개략도이고, 도 10은 다중 센서 중 기준 센서를 기준으로 다른 센서들의 상대적 위치를 구하는 개념도이며, 도 11은 기준 센서와의 상대적 위치 및 방향을 기반으로 핸드트래킹 정보를 변환하는 개념도이고, 도 12는 손의 움직임에 따라 핸드트래킹 정보의 유효값이 변화되는 것을 나타내는 개념도이다.3 is a schematic diagram showing a connection request step of a network connection step between a main system and a sensor system and a packet delivery sequence in the connection request step, and FIG. 4 is a handshaking step and the hand during a network connection step of the main system and the sensor system. A schematic diagram showing a packet delivery sequence in a shaking step, FIG. 5 is a schematic diagram showing a link step among network connection steps between a main system and a sensor system and a packet delivery sequence in the link step, and FIG. 6 is a main system and a multi-sensor system Fig. 7 is a flow chart showing a sequence of processing hand tracking information of a sensor system, and Fig. 8 is an example of correcting a time error of hand tracking information 9 is a schematic diagram showing an example of correcting hand tracking information of each sensor in the same time period, FIG. 10 is a conceptual diagram of obtaining the relative positions of other sensors based on a reference sensor among multiple sensors, and FIG. 11 Is a conceptual diagram of converting hand tracking information based on a relative position and direction with a reference sensor, and FIG. 12 is a conceptual diagram illustrating that an effective value of hand tracking information is changed according to a hand movement.

이하에서는, 도 3 내지 도 12에 대한 자세한 내용을 도면 순서대로 설명하도록 하겠다.Hereinafter, details of FIGS. 3 to 12 will be described in order of drawing.

도 3을 참조하여 살펴보면, 메인 시스템(100)과 센서 시스템(200)은 네트워크 연결을 위해 연결 요청 단계를 수행한다. 상기 연결 요청 단계에서, 다중 구성되는 센서 시스템(200)은 UDP(User Dategram Protocol) Port를 오픈한 후 대기 상태로 유지되고, 메인 시스템(100)은 UDP 패킷에 서버 포트정보를 포함한 연결 요청을 로컬 네트워크에 송신한다. 그 후, 센서 시스템(200)은 메인 시스템(100)의 서버 포트에 TCP(Transmission Control Protocol) 접속을 시도한다. TCP 접속 후 일정 시간이 지나게 되면, 메인 시스템(100)은 네트워크 연결을 위한 다음 단계를 진행한다.Referring to FIG. 3, the main system 100 and the sensor system 200 perform a connection request step for network connection. In the connection request step, the multi-configured sensor system 200 is maintained in a standby state after opening a User Dategram Protocol (UDP) port, and the main system 100 localizes a connection request including server port information in a UDP packet. Send to the network. After that, the sensor system 200 attempts to connect to a server port of the main system 100 with a Transmission Control Protocol (TCP). When a predetermined time elapses after the TCP connection, the main system 100 proceeds to the next step for network connection.

도 4를 참조하여 살펴보면, 메인 시스템(100)과 센서 시스템(200)은 연결 요청 단계 수행 후, 상기 연결 요청 단계의 다음 단계인 핸드쉐이킹 단계를 수행한다. 상기 핸드쉐이킹 단계에서, 메인 시스템(100)은 센서 시스템(200)에 내부 ID를 각각 부여하고, 동기화를 위한 최소한의 정보를 센서 시스템(200)과 송수신한다. 여기서, 동기화의 목적은 네트워크에서의 패킷의 전달 딜레이에 따른 오류를 감소시키기 위함이다. 그 후, 메인 시스템(100)은 센서 시스템(200)에 센서 시스템의 시간을 요청하고, 센서 시스템(200)이 요청을 수신하는 알고리즘을 N차 반복하게 된다. 이와 같이, 알고리즘을 반복한 후에 메인 시스템(100)은 산출된 평균값에서 오차가 큰 값을 제거한 다음, 나머지 평균값을 센서 시스템(200)의 시간으로 판단한다. 이와 같이, 메인 시스템(100)이 판단한 센서 시스템(200)의 시간은 추후 정보 동기화에 사용된다.Referring to FIG. 4, after performing a connection request step, the main system 100 and the sensor system 200 perform a handshaking step, which is the next step of the connection request step. In the handshaking step, the main system 100 assigns an internal ID to the sensor system 200, respectively, and transmits/receives minimum information for synchronization with the sensor system 200. Here, the purpose of synchronization is to reduce an error due to a packet transmission delay in the network. Thereafter, the main system 100 requests the sensor system 200 for the time of the sensor system, and the algorithm for receiving the request by the sensor system 200 is repeated N times. In this way, after repeating the algorithm, the main system 100 removes a value having a large error from the calculated average value, and then determines the remaining average value as the time of the sensor system 200. In this way, the time of the sensor system 200 determined by the main system 100 is used for information synchronization later.

도 5를 참조하여 살펴보면, 메인 시스템(100)과 센서 시스템(200)은 핸드쉐이킹 단계 수행 후, 상기 핸드쉐이킹 단계의 다음 단계인 링크 단계를 수행한다. 상기 링크 단계에서, 메인 시스템(100)은 센서 시스템(200)에 링크가 완료되었다는 메시지를 송신한다. 그리고 센서 시스템(200)은 메시지 수신 후, 링크 단계에 진입하며, 센서 시스템(200)은 핸드트래킹 정보(210)를 획득할 때마다 메인 시스템(100)에 송신한다. 그리고 센서 시스템(200)은 핸드트래킹 정보(210) 뿐 아니라, 상태 변화가 발생될 때마다 상태 변화 정보인 센서시스템 정보(220)를 메인 시스템(100)에 송신한다.Referring to FIG. 5, after performing the handshaking step, the main system 100 and the sensor system 200 perform the link step, which is the next step of the handshaking step. In the linking step, the main system 100 transmits a message indicating that the link is complete to the sensor system 200. Then, after receiving the message, the sensor system 200 enters the link phase, and the sensor system 200 transmits the hand tracking information 210 to the main system 100 whenever it acquires. Further, the sensor system 200 transmits not only the hand tracking information 210 but also the sensor system information 220, which is state change information, to the main system 100 whenever a state change occurs.

도 6은 도 3 내지 도 5를 통해 상술한 네트워크 연결 단계의 일 예로, 메인 시스템(100)은 다중으로 구성되는 센서 시스템(200)인 제1 센서 시스템(200-1), 제2 센서 시스템(200-2), 제N 센서 시스템(200-n)와 네트워크 연결되어 패킷(UDP 인사 메시지, 핸드쉐이킹(TCP), 링크 메시지(TCP))을 수신한다. 또한, 센서 시스템(200-1, 200-2, 200-n)은 메인 시스템(100)으로부터 패킷(TCP 연결, 핸드트래킹 정보, 센서시스템 정보)을 송신한다.6 is an example of the network connection step described above through FIGS. 3 to 5, wherein the main system 100 includes a first sensor system 200-1 and a second sensor system ( 200-2), the Nth sensor system 200-n is connected to a network to receive packets (UDP greeting message, handshaking (TCP), link message (TCP)). In addition, the sensor systems 200-1, 200-2, and 200-n transmit packets (TCP connection, hand tracking information, and sensor system information) from the main system 100.

도 7에서는 센서 시스템(200)의 구현방법이 개시된다. 먼저, 메인 시스템(100)과 센서 시스템(200)은 연결 요청 단계에 진입하며, 센서 시스템(200)은 UDP(User Dategram Protocol) Port를 오픈한 후(S10), UDP에 연결되어 UDP를 통해 메인 시스템(100)으로부터 패킷을 수신할 상태로 대기한다(S15).In FIG. 7, a method of implementing the sensor system 200 is disclosed. First, the main system 100 and the sensor system 200 enter the connection request stage, and after the sensor system 200 opens a User Dategram Protocol (UDP) port (S10), it is connected to UDP and is connected to the main system through UDP. It waits in a state to receive a packet from the system 100 (S15).

S15 단계 후, 메인 시스템(100)은 UDP 패킷에 서버 포트정보를 포함한 연결 요청을 로컬 네트워크에 송신한다(S20). 이때 만약, 메인 시스템(100)이 연결 요청을 로컬 네트워크에 송신하지 않았다면(S20-NO), 센서 시스템(200)은 계속 수신 상태로 대기한다. 이와 달리 만약, 메인 시스템(100)이 연결 요청을 로컬 네트워크에 송신하였다면(S20-YES), 센서 시스템(200)은 메인 시스템(100)의 서버 포트에 TCP(Transmission Control Protocol) 접속을 시도하여 TCP에 연결되며(S25), TCP를 통해 메인 시스템(100)과 패킷을 송수신할 상태로 대기한다(S30).After step S15, the main system 100 transmits a connection request including server port information in the UDP packet to the local network (S20). At this time, if the main system 100 has not transmitted the connection request to the local network (S20-NO), the sensor system 200 continues to wait in the receiving state. On the contrary, if the main system 100 transmits a connection request to the local network (S20-YES), the sensor system 200 attempts to connect to the server port of the main system 100 to access TCP (Transmission Control Protocol). It is connected to (S25), and waits in a state to transmit and receive packets with the main system 100 through TCP (S30).

S30 단계 후, 메인 시스템(100)과 센서 시스템(200)은 핸드쉐이킹 단계에 진입하며, 메인 시스템(100)은 센서 시스템(200)에 센서 시스템 시간을 요청한다(S35). 이때 만약, 메인 시스템(100)이 센서 시스템 시간을 요청하였다면(S35-YES), 센서 시스템(200)은 요청 신호에 응답하여 센서 시스템 시간을 메인 시스템(100)에 송신한다(S40). 이와 달리 만약, 메인 시스템(100)이 센서 시스템 시간을 요청하지 않았다면(S35-NO), 메인 시스템(100)과 센서 시스템(200)은 링크 연결 단계에 진입한다(S45).After step S30, the main system 100 and the sensor system 200 enter the handshaking step, and the main system 100 requests the sensor system time from the sensor system 200 (S35). In this case, if the main system 100 requests the sensor system time (S35-YES), the sensor system 200 transmits the sensor system time to the main system 100 in response to the request signal (S40). In contrast, if the main system 100 does not request the sensor system time (S35-NO), the main system 100 and the sensor system 200 enter the link connection step (S45).

S45 단계 후, 센서 시스템(200)은 사용자 손 및 손가락의 위치, 움직임, 방향을 감지하여 핸드트래킹 정보를 캡쳐하고(S50), 핸드트래킹 정보가 획득되었는지 판단한다(S55).After step S45, the sensor system 200 captures hand tracking information by sensing the position, movement, and direction of the user's hand and fingers (S50), and determines whether hand tracking information is obtained (S55).

이때 만약, 센서 시스템(200)이 핸드트래킹 정보가 캡쳐된 것으로 판단한다면(S55-YES), 획득한 핸드트래킹 정보를 메인 시스템(100)에 송신한다(S60). 이와 달리 만약, 센서 시스템(200)이 핸드트래킹 정보가 캡쳐되지 않은 것으로 판단한다면(S55-NO), 센서 시스템(200)은 상태 변화가 있는지 여부를 판단한다(S65).At this time, if the sensor system 200 determines that the hand tracking information is captured (S55-YES), it transmits the acquired hand tracking information to the main system 100 (S60). In contrast, if the sensor system 200 determines that the hand tracking information has not been captured (S55-NO), the sensor system 200 determines whether there is a state change (S65).

이때 만약, 센서 시스템(200)이 상태 변화를 감지한다면(S65-YES), 센서 시스템(200)은 상태 정보인 센서 시스템 정보를 메인 시스템(100)에 송신한다(S70). 이와 달리 만약, 센서 시스템(200)이 상태 변화를 감지하지 않는다면(S65-NO), 메인 시스템(100)은 TCP 연결에 문제가 있는지 여부를 판단한다(S75).At this time, if the sensor system 200 detects a state change (S65-YES), the sensor system 200 transmits sensor system information, which is state information, to the main system 100 (S70). Otherwise, if the sensor system 200 does not detect a state change (S65-NO), the main system 100 determines whether there is a problem with the TCP connection (S75).

이때 만약, 메인 시스템(100)이 TCP 연결에 문제가 없는 것으로 판단한다면(S75-YES), 상기 S10 단계로부터 단계 과정이 반복 수행된다. 이와 달리 만약, 메인 시스템(100)이 TCP 연결에 문제가 있는 것으로 판단한다면(S75-YES), 상기 S50 단계로부터 과정이 반복 수행된다.At this time, if the main system 100 determines that there is no problem with the TCP connection (S75-YES), the step process from step S10 is repeatedly performed. In contrast, if the main system 100 determines that there is a problem with the TCP connection (S75-YES), the process is repeatedly performed from step S50.

도 8을 참조하여 살펴보면, 메인 시스템(100)은 상술한 핸드쉐이킹 단계에서 센서 시스템(200)으로부터 수신하여 추정한 센서 시스템(200)의 시간 오차를 링크 단계 이후에 수신하게 되는 핸드트래킹 정보(210)의 시간에 반영하여 네트워크 전달에서 발생될 수 있는 시간 오차를 보정한다.Referring to FIG. 8, the main system 100 receives the time error of the sensor system 200 estimated by receiving from the sensor system 200 in the above-described handshaking step, and the hand tracking information 210 that is received after the link step. ) To correct the time error that may occur in network transmission.

이와 같은, 시간 오차의 보정을 위해 메인 시스템(100)은 메모리(미도시)와 정보처리부(120)가 구비된다.In order to correct such a time error, the main system 100 includes a memory (not shown) and an information processing unit 120.

시간 오차 보정 과정의 일 예로, 핸드쉐이킹 단계에서 메인 시스템(100)과 센서 시스템(200-1, 200-2, 200-n)의 동작이 시작된다. 이때, 메인 시스템(100)과 제1 센서 시스템(200-1)에는 동작 시간의 갭(a), 제2 센서 시스템(200-2)에는 동작 시간의 갭(b), 제N 센서 시스템(200-n)에는 동작 시간의 갭(c)이 발생된다.As an example of the time error correction process, the operation of the main system 100 and the sensor systems 200-1, 200-2, and 200-n starts in the handshaking step. In this case, the main system 100 and the first sensor system 200-1 have an operation time gap (a), the second sensor system 200-2 has an operation time gap (b), and the Nth sensor system 200 In -n), a gap (c) of the operation time occurs.

그리고 메인 시스템(100)과 센서 시스템(200-1, 200-2, 200-n)이 모두 동작되면, 링크 단계에서 제1 센서 시스템(200-1)은 시간(a1)에서 핸드트래킹 정보(210-1)를 캡쳐하여 획득하고, 제2 센서 시스템(200-2)은 시간(b1)에서 핸드트래킹 정보(210-2)를 캡쳐하여 획득하며, 제N 센서 시스템(200-n)은 시간(c1)에서 핸드트래킹 정보(210-n)을 캡쳐하여 획득한다. 이와 같이, 센서 시스템(200-1, 200-2, 200-n)이 서로 다른 시간에서 핸드트래킹 정보(210-1, 210-2, 210-n)를 획득하는 것은, 센서 시스템(200-1, 200-2, 200-n)에 각각 구비되는 센서가 서로 다른 위치 및 방향에서 사용자의 손 및 손가락의 위치, 움직임, 방향을 감지하는 것과, 패킷의 송수신 전송 속도에서 차이가 발생되기 때문이다.And, when both the main system 100 and the sensor systems 200-1, 200-2, and 200-n are operated, the first sensor system 200-1 in the link step displays the hand tracking information 210 at time a1. -1) is captured and acquired, and the second sensor system 200-2 captures and acquires the hand tracking information 210-2 at time b1, and the Nth sensor system 200-n is obtained by capturing time ( In c1), the hand tracking information 210-n is captured and obtained. In this way, the sensor system 200-1, 200-2, 200-n acquires the hand tracking information 210-1, 210-2, 210-n at different times, the sensor system 200-1 , 200-2, and 200-n), respectively, detect the position, movement, and direction of the user's hand and finger at different positions and directions, and a difference occurs in transmission/reception transmission speed of packets.

또한, 센서 시스템(200-1, 200-2, 200-n)이 핸드트래킹 정보(210-1, 210-2, 210-n)를 각각 획득하면, 메인 시스템(100)은 센서 시스템(200-1, 200-2, 200-n)으로부터 핸드트래킹 정보(210-1, 210-2, 210-n)를 수신하여 메모리(미도시)에는 제1 핸드트래킹 정보(110-1, 110-2, 110-n)가 저장된다. 이러한 제1 핸드트래킹 정보(110-1, 110-2, 110-n)의 시간은 핸드트래킹 정보 획득시간 - 센서 시스템의 동작 시간이며, 제1 핸드트래킹 정보(110)에는 정보 생성 시간, 핸드 정보 갯수, 사용자의 손 및 손가락의 위치, 움직임, 방향을 포함하는 핸드 정보가 저장된다. 더 나아가, 핸드 정보에는 오른손 왼손 여부 등의 정보가 추가 저장될 수 있다.In addition, when the sensor systems 200-1, 200-2, and 200-n acquire hand tracking information 210-1, 210-2, and 210-n, respectively, the main system 100 is the sensor system 200- 1, 200-2, 200-n) from the hand tracking information (210-1, 210-2, 210-n) is received in the memory (not shown), the first hand tracking information (110-1, 110-2, 110-n) is stored. The time of this first hand tracking information (110-1, 110-2, 110-n) is the hand tracking information acquisition time-the operation time of the sensor system, and the first hand tracking information 110 includes the information generation time and hand information. Hand information including the number, position, movement, and direction of the user's hands and fingers is stored. Furthermore, information such as whether the hand is left or right may be additionally stored in the hand information.

한편, 제1 핸드트래킹 정보(110-1, 110-2, 110-n)는 네트워크 시간 오차가 발생된 상태로 메모리(미도시)에 저장될 수 있다. 이는, 패킷의 송수신 전송 속도에서 차이가 존재할 수 있기 때문이다. 이러한 네트워크 시간 오차의 일 예로, 제2 센서 시스템(200-2)의 핸드트래킹 정보 획득 시간(b1)이 제N 센서 시스템(200-n)의 핸드트래킹 정보 획득 시간(c1)보다 빠르나, 제2 센서 시스템(200-2)의 동작 시간 갭(b)과 제N 센서 시스템(200-n)의 동작 시간 갭(c)에 의해 메모리(미도시)에는 제N 센서 시스템(200-n)의 제1 핸드트래킹 정보(110-n)가 제2 센서 시스템(200-2)의 제1 핸드트래킹 정보(110-2)가 저장될 수 있다.Meanwhile, the first hand tracking information 110-1, 110-2, and 110-n may be stored in a memory (not shown) with a network time error. This is because a difference may exist in the transmission/reception transmission speed of a packet. As an example of such a network time error, the second sensor system 200-2 is faster than the hand tracking information acquisition time c1 of the Nth sensor system 200-n, but the second Due to the operation time gap (b) of the sensor system 200-2 and the operation time gap (c) of the Nth sensor system 200-n, the memory (not shown) is The first hand tracking information 110-n may store the first hand tracking information 110-2 of the second sensor system 200-2.

정보처리부(120)는 제1 핸드트래킹 정보(110-1, 110-2, 110-n)의 시간 오차를 보정하여 제1 핸드트래킹 정보(110-1, 110-2, 110-n)를 제2 핸드트래킹 정보(125-1, 125-2, 125-n)로 재정렬한다. 일 예로, 제2 센서 시스템(200-2)의 제1 핸드트래킹 정보(110-2)와 제N 센서 시스템(200-n)의 제1 핸드트래킹 정보(110-n)를 재정렬하여 링크 단계 이후, 센서 시스템(200-1, 200-2, 200-n)이 핸드트래킹 정보(210)를 캡쳐하여 획득한 시간 순서대로 정렬한다. 즉, 제2 핸드트래킹 정보(125-1, 125-2, 125-n)의 재정렬은 링크 단계 이후의 핸드트래킹 정보(210)의 획득시간 순으로 되는 것이 바람직할 것이다.The information processing unit 120 corrects the time error of the first hand tracking information 110-1, 110-2, and 110-n to provide the first hand tracking information 110-1, 110-2, and 110-n. 2 Rearrange with hand tracking information (125-1, 125-2, 125-n). For example, after the link step by rearranging the first hand tracking information 110-2 of the second sensor system 200-2 and the first hand tracking information 110-n of the Nth sensor system 200-n , The sensor systems 200-1, 200-2, 200-n capture the hand tracking information 210 and arrange them in the acquired time order. That is, it is preferable that the rearrangement of the second hand tracking information 125-1, 125-2, and 125-n is in the order of acquisition time of the hand tracking information 210 after the link step.

더 나아가, 정보처리부(120)는 도 9를 참조하여 살펴보면, 센서 시스템(200)에 구비되는 센서들 중 하나의 센서를 기준으로 설정한 후에, 각각의 제2 핸드트래킹 정보를 동일 시간대로 보정한다. 일 예로, 동일 시간대로 보정된 제2 센서 시스템(200-2)의 제2 핸드트래킹 정보(h2')는 이하의 [수학식 1]로 산출된다.Furthermore, referring to FIG. 9, the information processing unit 120 corrects each second hand tracking information in the same time period after setting one of the sensors provided in the sensor system 200 as a reference. . For example, the second hand tracking information h2' of the second sensor system 200-2 corrected for the same time period is calculated by the following [Equation 1].

Figure 112019027616297-pat00001
Figure 112019027616297-pat00001

상기 [수학식 1]에서, h5는 정보처리부(120)에서 사용자 손 및 손가락의 위치 및 방향을 적어도 포함하는 제2 핸드트래킹 정보(125-1')의 뒤에 시간 순으로 정렬되는 제2 핸드트래킹 정보(125-2')의 핸드트래킹 정보를 의미한다. h2는 제2 핸드트래킹 정보(125-1)의 뒤에 시간 순으로 정렬되는 제2 핸드트래킹 정보(125-2)의 핸드트래킹 정보를 의미한다. 그리고 g2는 제2 핸드트래킹 정보(125-1')의 시간(t4)에서 제2 핸드트래킹 정보(125-2)의 시간(t2)를 뺀 시간이며, l2는 제2 핸드트래킹 정보(125-2')의 시간(t5)에서 제2 핸드트래킹 정보(125-2)의 시간(t2)를 뺀 시간이다.In the above [Equation 1], h5 is the second hand tracking arranged in chronological order after the second hand tracking information 125-1' including at least the location and direction of the user's hand and the finger in the information processing unit 120 It means hand tracking information of the information 125-2'. h2 denotes hand tracking information of the second hand tracking information 125-2 arranged in chronological order after the second hand tracking information 125-1. In addition, g2 is a time obtained by subtracting the time t2 of the second hand tracking information 125-2 from the time t4 of the second hand tracking information 125-1', and l2 is the second hand tracking information 125- This is the time obtained by subtracting the time t2 of the second hand tracking information 125-2 from the time t5 of 2').

도 10을 참조하여 살펴보면, 정보처리부(120)는 기준 센서를 기준으로 남은 다른 센서를 상대적 위치로 계산하여 x, y, z 좌표를 산출한다. 일 예로, 센서 시스템(200)의 센서가 제1 센서(201), 제2 센서(203), 제3 센서(205)로 구비되는 경우, 정보처리부(120)는 제1 센서(201)를 기준으로 설정하고, 남은 제2 센서(203)와 제3 센서(205)의 x, y, z 좌표를 산출한다.Referring to FIG. 10, the information processing unit 120 calculates x, y, and z coordinates by calculating another sensor remaining based on the reference sensor as a relative position. For example, when the sensor of the sensor system 200 is provided as the first sensor 201, the second sensor 203, and the third sensor 205, the information processing unit 120 is based on the first sensor 201. And the x, y, and z coordinates of the remaining second and third sensors 203 and 205 are calculated.

도 11을 참조하여 살펴보면, 정보처리부(120)는 각각의 센서 시스템(200)에 구비되는 센서의 위치와 방향에 따라 제2 핸드트래킹 정보(125)를 기준 센서의 상대적 위치 및 방향을 기준으로 재설정한다. 즉, 정보처리부(120)는 동일한 3차원 좌표체계에서 제2 핸드트래킹 정보(125)를 재설정한다. 일 예로, 정보처리부(120)는 제2 센서(203)의 위치 및 방향을 적어도 포함하는 핸드트래킹 정보(h)인 제2 핸드트래킹 정보를 기준 센서인 제1 센서(201)의 위치 및 방향을 적용하여 핸드트래킹 정보(h')가 포함되는 제2 핸드트래킹 정보로 변환한다.Referring to FIG. 11, the information processing unit 120 resets the second hand tracking information 125 based on the relative position and direction of the reference sensor according to the position and direction of the sensor provided in each sensor system 200. do. That is, the information processing unit 120 resets the second hand tracking information 125 in the same three-dimensional coordinate system. For example, the information processing unit 120 uses second hand tracking information, which is hand tracking information h including at least the position and direction of the second sensor 203, to determine the position and direction of the first sensor 201, which is a reference sensor. It is applied and converted into second hand tracking information including hand tracking information h'.

도 12를 참조하여 살펴보면, 정보처리부(120)는 위치 및 방향이 재설정된 제2 핸드트래킹 정보의 유효성 값(w)을 반영한다. 여기서 유효성 값(w)이라 함은, 센서의 방향과 손바닥 방향을 기반으로 산출되는 값이다. 이러한 유효성 값(w)은 사용자 손 및 손가락의 면적이 센서의 위치 및 방향에 따라 다르게 감지되기 때문에, 제2 핸드트래킹 정보(125)의 유효성을 수치로 표현한 것이다.Referring to FIG. 12, the information processing unit 120 reflects the validity value w of the second hand tracking information whose position and direction have been reset. Here, the validity value (w) is a value calculated based on the direction of the sensor and the direction of the palm. Since the area of the user's hand and finger is sensed differently according to the position and direction of the sensor, the validity value w represents the effectiveness of the second hand tracking information 125 as a numerical value.

한편, 메인 시스템(100)은 정보처리부(120)에서 유효성 값(w)이 가장 높은 것으로 산출되는 보정된 제2 핸드트래킹 정보(125)를 현재의 제2 핸드트래킹 정보(125)로 판단한다.Meanwhile, the main system 100 determines the corrected second hand tracking information 125 calculated by the information processing unit 120 as having the highest validity value w as the current second hand tracking information 125.

이와 같이, 정보처리부(120)는 보정된 제2 핸드트래킹 정보(125)를 가상현실과 인터랙션시켜 가상현실에서 사용자 손 및 손가락의 위치, 방향, 움직임이 정확히 반영되도록 한다.In this way, the information processing unit 120 interacts with the corrected second hand tracking information 125 with virtual reality so that the positions, directions, and movements of the user's hands and fingers are accurately reflected in the virtual reality.

한편, 보정된 제2 핸드트래킹 정보(125)에는 정보처리부(120)가 정보를 생성한 시간, 핸드 정보 갯수, 기준 센서의 좌표 체계를 기준으로 보정된 사용자의 손 및 손가락의 위치, 움직임, 방향을 포함하는 핸드 정보가 저장된다. 더 나아가, 핸드 정보에는 기준 센서 좌표 체계를 기준으로 보정된 오른손 왼손 여부 등의 정보가 추가 저장될 수 있다.Meanwhile, the corrected second hand tracking information 125 includes the time when the information processing unit 120 generated the information, the number of hand information, the position, movement, and direction of the user's hands and fingers corrected based on the coordinate system of the reference sensor. Hand information including a is stored. Furthermore, information such as whether the right hand or the left hand is corrected based on the reference sensor coordinate system may be additionally stored in the hand information.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

10: 핸드트래킹 시스템, 100: 메인 시스템,
110: 제1 핸드트래킹 정보, 120: 정보처리부,
125: 제2 핸드트래킹 정보, 200: 센서 시스템,
201: 제1 센서, 203: 제2 센서,
205: 제3 센서, 210: 센서의 핸드트래킹 정보,
220: 센서 시스템 정보.10: hand tracking system, 100: main system,
110: first hand tracking information, 120: information processing unit,
125: second hand tracking information, 200: sensor system,
201: first sensor, 203: second sensor,
205: third sensor, 210: hand tracking information of the sensor,
220: sensor system information.

Claims (9)

사용자 손 및 손가락의 위치, 움직임, 방향을 적어도 포함하는 핸드트래킹 정보(210)를 캡쳐하여 획득하는 다중 센서가 구비되는 센서 시스템(200);
상기 센서 시스템(200)과 네트워크 연결되어, 상기 센서 시스템(200)으로부터 수신하는 핸드트래킹 정보(210)를 네트워크 전달에 의한 시간 오차가 존재하는 제1 핸드트래킹 정보(110)로 저장하며, 상기 제1 핸드트래킹 정보(110)를 재정렬하여 제2 핸드트래킹 정보(125)로 보정하고, 상기 보정된 제2 핸드트래킹 정보(125)를 가상현실에 전달하는 메인 시스템(100); 및
상기 메인 시스템(100)과 상기 센서 시스템(200)의 네트워크 연결을 중계하는 라우터(300);를 포함하고,
상기 제2 핸드트래킹 정보(125)에는,
상기 메인 시스템(100)이 제2 핸드트래킹 정보(125)를 정보를 생성한 시간, 상기 다중 센서 중 하나의 기준 센서의 좌표를 기준으로 산출된 사용자 손 및 손가락의 위치, 움직임, 방향을 적어도 포함하는 핸드 정보 및 상기 핸드 정보의 갯수가 저장되며,
상기 메인 시스템(100)은,
제1 핸드트래킹 정보(110)가 하나 이상 저장되는 메모리; 및
상기 메모리와 연결되어, 상기 메모리로부터 수신하는 상기 제1 핸드트래킹 정보(110)를 상기 제2 핸드트래킹 정보(125)로 재정렬하는 정보처리부(120);를 포함하고,
상기 정보처리부(120)는,
상기 메인 시스템(100)과 상기 센서 시스템(200)의 링크 이후, 상기 핸드트래킹 정보(210)의 획득시간 순으로 상기 제1 핸드트래킹 정보(110)를 상기 제2 핸드트래킹 정보(125)로 재정렬하며,
상기 다중 센서 중 하나의 센서를 기준 센서로 설정한 후에, 상기 제2 핸드트래킹 정보(125)를 동일 시간대로 보정하고,
상기 기준 센서의 위치를 x,y,z 좌표 값으로 산출한 후, 상기 기준 센서의 좌표 값을 기준으로 남은 센서들의 좌표 값을 산출하는 과정을 적어도 한 번 이상 반복하여 상기 남은 센서들의 위치 및 방향 평균 값을 상기 남은 센서들의 위치 및 방향으로 설정하는 것을 특징으로 하는 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템.A sensor system 200 including multiple sensors for capturing and obtaining hand tracking information 210 including at least the position, movement, and direction of the user's hand and fingers;
It is connected to the sensor system 200 and stores the hand tracking information 210 received from the sensor system 200 as first hand tracking information 110 having a time error due to network transmission, and the first A main system 100 that rearranges the first hand tracking information 110 to correct it with the second hand tracking information 125 and transmits the corrected second hand tracking information 125 to virtual reality; And
Including; a router 300 relaying the network connection between the main system 100 and the sensor system 200,
In the second hand tracking information 125,
It includes at least a time when the main system 100 generates the second hand tracking information 125, and the position, movement, and direction of the user's hand and finger calculated based on the coordinates of one of the multiple sensors. The hand information and the number of the hand information are stored,
The main system 100,
A memory in which at least one first hand tracking information 110 is stored; And
An information processing unit 120 connected to the memory and rearranging the first hand tracking information 110 received from the memory into the second hand tracking information 125; and
The information processing unit 120,
After the link between the main system 100 and the sensor system 200, the first hand tracking information 110 is rearranged into the second hand tracking information 125 in the order of acquisition time of the hand tracking information 210 And
After setting one of the multiple sensors as a reference sensor, the second hand tracking information 125 is corrected in the same time period,
After calculating the position of the reference sensor as x,y,z coordinate values, the process of calculating the coordinate values of the remaining sensors based on the coordinate value of the reference sensor is repeated at least once to position and direction of the remaining sensors. Virtual reality interaction hand tracking system using multiple sensors, characterized in that the average value is set as the position and direction of the remaining sensors. 삭제delete 삭제delete 제 1 항에 있어서,
상기 정보처리부(120)는,
상기 제2 핸드트래킹 정보(125)의 시간을 동일 시간대로 보정하기 위해, 상기 기준 센서의 제2 핸드트래킹 정보(125)의 시간으로 남은 센서들의 제2 핸드트래킹 정보(125)의 시간을 보정하는 것을 특징으로 하는 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템.The method of claim 1,
The information processing unit 120,
In order to correct the time of the second hand tracking information 125 in the same time period, the time of the second hand tracking information 125 of the remaining sensors is corrected by the time of the second hand tracking information 125 of the reference sensor. Virtual reality interaction hand tracking system using multiple sensors, characterized in that. 삭제delete 제 1 항에 있어서,
상기 정보처리부(120)는,
상기 남은 센서들의 제2 핸드트래킹 정보(125)를 상기 기준센서의 위치 및 방향으로 재설정하는 것을 특징으로 하는 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템.The method of claim 1,
The information processing unit 120,
A virtual reality interaction hand tracking system using multiple sensors, characterized in that the second hand tracking information (125) of the remaining sensors is reset to the position and direction of the reference sensor. 제 6 항에 있어서,
상기 정보처리부(120)는,
상기 다중 센서가 캡쳐하여 획득한 사용자의 손 및 손가락의 면적을 기반으로 상기 제2 핸드트래킹 정보(125)의 유효성 값(w)을 산출하는 것을 특징으로 하는 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템.The method of claim 6,
The information processing unit 120,
A virtual reality interaction hand tracking system using multiple sensors, characterized in that the validity value (w) of the second hand tracking information 125 is calculated based on the area of the user's hand and fingers acquired by capturing the multiple sensors. . 제 7 항에 있어서,
상기 메인 시스템(100)은,
상기 정보처리부(120)가 산출한 제2 핸드트래킹 정보(125)의 유효성 값(w) 중 가장 높은 유효성 값(w)을 가지는 센서의 제2 핸드트래킹 정보(125)를 현재의 제2 핸드트래킹 정보(125)로 판단하며, 상기 유효성 값(w)이 가장 높은 제2 핸드트래킹 정보(125)를 상기 가상현실에 전달하는 것을 특징으로 하는 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 시스템.The method of claim 7,
The main system 100,
The second hand tracking information 125 of the sensor having the highest validity value w among the validity values w of the second hand tracking information 125 calculated by the information processing unit 120 is currently second hand tracking A virtual reality interaction hand tracking system using multiple sensors, which is determined as information 125 and transmits the second hand tracking information 125 having the highest validity value (w) to the virtual reality. 센서 시스템(200)이 사용자 손 및 손가락의 위치, 움직임, 방향을 적어도 포함하는 핸드트래킹 정보(210)를 캡쳐하여 획득하는 단계;
상기 센서 시스템(200)이 획득한 상기 핸드트래킹 정보(210)를 네트워크 연결된 메인 시스템(100)에 송신하고, 상기 메인 시스템(100)은 네트워크 전달에 의한 시간 오차가 존재하는 제1 핸드트래킹 정보(110)를 저장하는 단계;
상기 메인 시스템(100)이 상기 제1 핸드트래킹 정보(110)를 재정렬하여 제2 핸드트래킹 정보(125)로 보정하는 단계; 및
상기 메인 시스템(100)이 상기 보정된 제2 핸드트래킹 정보(125)를 가상현실에 전달하는 단계;를 포함하고,
상기 제2 핸드트래킹 정보(125)에는,
상기 메인 시스템(100)이 제2 핸드트래킹 정보(125)를 정보를 생성한 시간, 다중 센서 중 하나의 기준 센서의 좌표를 기준으로 산출된 사용자 손 및 손가락의 위치, 움직임, 방향을 적어도 포함하는 핸드 정보 및 상기 핸드 정보의 갯수가 저장되며,
상기 메인 시스템(100)은,
제1 핸드트래킹 정보(110)가 하나 이상 저장되는 메모리; 및
상기 메모리와 연결되어, 상기 메모리로부터 수신하는 상기 제1 핸드트래킹 정보(110)를 상기 제2 핸드트래킹 정보(125)로 재정렬하는 정보처리부(120);를 포함하고,
상기 정보처리부(120)는,
상기 메인 시스템(100)과 상기 센서 시스템(200)의 링크 이후, 상기 핸드트래킹 정보(210)의 획득시간 순으로 상기 제1 핸드트래킹 정보(110)를 상기 제2 핸드트래킹 정보(125)로 재정렬하며,
상기 다중 센서 중 하나의 센서를 기준 센서로 설정한 후에, 상기 제2 핸드트래킹 정보(125)를 동일 시간대로 보정하고,
상기 기준 센서의 위치를 x,y,z 좌표 값으로 산출한 후, 상기 기준 센서의 좌표 값을 기준으로 남은 센서들의 좌표 값을 산출하는 과정을 적어도 한 번 이상 반복하여 상기 남은 센서들의 위치 및 방향 평균 값을 상기 남은 센서들의 위치 및 방향으로 설정하는 것을 특징으로 하는 다중 센서를 이용한 가상현실 인터랙션 핸드트래킹 구현방법.Capturing and obtaining, by the sensor system 200, hand tracking information 210 including at least the position, movement, and direction of the user's hand and fingers;
The hand tracking information 210 obtained by the sensor system 200 is transmitted to the network-connected main system 100, and the main system 100 transmits the first hand tracking information ( 110);
The main system (100) rearranging the first hand tracking information (110) and correcting the second hand tracking information (125); And
Including, the main system 100 transmitting the corrected second hand tracking information 125 to virtual reality,
In the second hand tracking information 125,
Including at least the time when the main system 100 generates the second hand tracking information 125, the position, movement, and direction of the user's hand and finger calculated based on the coordinates of one of the multiple sensors. Hand information and the number of hand information are stored,
The main system 100,
A memory in which at least one first hand tracking information 110 is stored; And
An information processing unit 120 connected to the memory and rearranging the first hand tracking information 110 received from the memory into the second hand tracking information 125; and
The information processing unit 120,
After the link between the main system 100 and the sensor system 200, the first hand tracking information 110 is rearranged into the second hand tracking information 125 in the order of acquisition time of the hand tracking information 210 And
After setting one of the multiple sensors as a reference sensor, the second hand tracking information 125 is corrected in the same time period,
After calculating the position of the reference sensor as x,y,z coordinate values, the process of calculating the coordinate values of the remaining sensors based on the coordinate value of the reference sensor is repeated at least once to position and direction of the remaining sensors. A method of implementing virtual reality interaction hand tracking using multiple sensors, characterized in that the average value is set as the positions and directions of the remaining sensors.
KR1020190030668A 2019-03-18 2019-03-18 Virtual reality interaction hand tracking system using multiple sensors and implementation method thereof KR102167375B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190030668A KR102167375B1 (en) 2019-03-18 2019-03-18 Virtual reality interaction hand tracking system using multiple sensors and implementation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190030668A KR102167375B1 (en) 2019-03-18 2019-03-18 Virtual reality interaction hand tracking system using multiple sensors and implementation method thereof

Publications (2)

Publication Number Publication Date
KR20200110998A KR20200110998A (en) 2020-09-28
KR102167375B1 true KR102167375B1 (en) 2020-10-20

Family

ID=72801204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190030668A KR102167375B1 (en) 2019-03-18 2019-03-18 Virtual reality interaction hand tracking system using multiple sensors and implementation method thereof

Country Status (1)

Country Link
KR (1) KR102167375B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240114552A (en) 2023-01-17 2024-07-24 한국전자통신연구원 Method and apparatus for transmitting motion information for metaverse concert

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490485B (en) * 2022-01-24 2024-02-20 天度(厦门)科技股份有限公司 Virtual object control method, system, medium and terminal

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934391B1 (en) 2007-12-13 2009-12-30 한국전자통신연구원 Hand-based Grabbing Interaction System Using 6-DOF Haptic Devices
KR101526575B1 (en) * 2008-11-17 2015-06-09 엘지전자 주식회사 INPUT SYSTEM and CONTROL METHOD OF THE SAME
KR20110136038A (en) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 System for tracking augmented reality device using several sensor
KR101297006B1 (en) * 2011-12-13 2013-08-14 성균관대학교산학협력단 Layer context modeling based context-awareness system
KR20180026596A (en) * 2016-09-02 2018-03-13 주식회사 포스코아이씨티 Distributed Parallel Processing System for Processing Data Of Continuous Process In Rea Time
KR101998786B1 (en) 2017-08-31 2019-07-10 단국대학교 산학협력단 Non-contact Finger Input Device and Method in Virtual Space

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240114552A (en) 2023-01-17 2024-07-24 한국전자통신연구원 Method and apparatus for transmitting motion information for metaverse concert

Also Published As

Publication number Publication date
KR20200110998A (en) 2020-09-28

Similar Documents

Publication Publication Date Title
KR102167375B1 (en) Virtual reality interaction hand tracking system using multiple sensors and implementation method thereof
US11045955B2 (en) Robot control device
WO2015001611A1 (en) Network construction assistance system and method
CN100549919C (en) Device network with optional target
US20130166061A1 (en) Object gripping apparatus, control method for object gripping apparatus, and storage medium
WO2017087398A1 (en) Facilitating robot positioning
KR101728052B1 (en) Iot system recognizing action of user and controlling things by using the same
RU2751130C1 (en) Method for coordinate alignment of coordinate systems used by computer-generated reality apparatus and tactile sensation transmission apparatus
JP5996903B2 (en) Moving object tracking device
JP2004535586A (en) Method for time synchronization of multiple vehicle sensors
KR101501973B1 (en) Relay server and relay communication system
KR101125233B1 (en) Fusion technology-based security method and security system thereof
KR20150075639A (en) Collaborative robotic control system
CN111007455A (en) Positioning system and method, database and neural network model training method
JP2019119027A (en) Method of controlling robot system, and robot system
CN108377286B (en) Data transmission method and device
JP6951172B2 (en) Wireless communication system, communication device and data integration method
KR102518766B1 (en) Data generating device, data generating method, data generating program, and remote control system
CN103520921A (en) Cursor control method and system and control device
EP2787692B1 (en) Relay server with control unit adapted to set an overlap detection condition
KR101185896B1 (en) Input control apparatus and method for realizing remote control system
US6234983B1 (en) Request-and-respond approach to reducing latency within a tracking system
JP6529758B2 (en) Image processing apparatus, image processing system, image processing method and computer program
JP6431492B2 (en) Cooperation instruction device, cooperation instruction program, and cooperation instruction method
KR20210042462A (en) Ultra Wide Band Radar sensor systems and method for improved location awareness

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant