KR102464094B1 - Motion tracking apparatus with dual lidar sensor - Google Patents

Motion tracking apparatus with dual lidar sensor Download PDF

Info

Publication number
KR102464094B1
KR102464094B1 KR1020200131507A KR20200131507A KR102464094B1 KR 102464094 B1 KR102464094 B1 KR 102464094B1 KR 1020200131507 A KR1020200131507 A KR 1020200131507A KR 20200131507 A KR20200131507 A KR 20200131507A KR 102464094 B1 KR102464094 B1 KR 102464094B1
Authority
KR
South Korea
Prior art keywords
lidar sensor
user
motion
sensor unit
tracking
Prior art date
Application number
KR1020200131507A
Other languages
Korean (ko)
Other versions
KR20220048403A (en
Inventor
유왕윤
Original Assignee
(주)투핸즈인터랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)투핸즈인터랙티브 filed Critical (주)투핸즈인터랙티브
Priority to KR1020200131507A priority Critical patent/KR102464094B1/en
Priority to PCT/KR2020/014931 priority patent/WO2022080549A1/en
Publication of KR20220048403A publication Critical patent/KR20220048403A/en
Application granted granted Critical
Publication of KR102464094B1 publication Critical patent/KR102464094B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 이중 라이다 센서 구조의 모션 트래킹 장치에 관한 것으로서, 보다 구체적으로는 모션 트래킹 장치로서, 지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝하는 제1 라이다 센서부; 상기 제1 라이다 센서부와 이격되어 설치되며, 상기 제1 라이다 센서부가 레이저 스캐닝하는 제1 스캐닝 영역과 일부가 중첩되는 제2 스캐닝 영역을 레이저 스캐닝하는 제2 라이다 센서부; 및 상기 제1 라이다 센서부 및 제2 라이다 센서부에서 감지된 신호를 이용해, 사용자 위치 변화를 추적하여 사용자 모션을 트래킹하는 모션 트래킹부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 이중 라이다 센서 구조의 모션 트래킹 장치에 따르면, 레이저 스캐닝 영역이 서로 중첩되는 두 개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 스캐닝 영역에 여러 사용자가 있을 때도 빠르고 정확하게 각각의 사용자 모션을 동시에 트래킹할 수 있다.
또한, 본 발명에 따르면, 두 개의 라이다 센서에서 감지된 신호를 이용해 사용자의 발 개수 및 발 위치의 변화를 추적함으로써, 사용자의 스텝을 포함하는 모션을 정확하게 트래킹할 수 있다.The present invention relates to a motion tracking device having a dual lidar sensor structure, and more particularly, as a motion tracking device, comprising: a first lidar sensor unit for laser scanning a plane of a predetermined height from the ground; a second lidar sensor unit installed to be spaced apart from the first lidar sensor unit and configured to laser scan a second scanning area partially overlapping with a first scanning area scanned by the first lidar sensor unit; and a motion tracking unit for tracking a user's motion by tracking a change in a user's position by using the signals detected by the first lidar sensor unit and the second lidar sensor unit.
According to the motion tracking device of the dual lidar sensor structure proposed in the present invention, by tracking user motion using two lidar sensors overlapping the laser scanning area, each User motion can be tracked at the same time.
In addition, according to the present invention, by tracking the change in the number and position of the user's feet using the signals detected by the two lidar sensors, it is possible to accurately track the motion including the user's step.

Description

이중 라이다 센서 구조의 모션 트래킹 장치{MOTION TRACKING APPARATUS WITH DUAL LIDAR SENSOR}Motion tracking device with dual lidar sensor structure {MOTION TRACKING APPARATUS WITH DUAL LIDAR SENSOR}

본 발명은 모션 트래킹 장치에 관한 것으로서, 보다 구체적으로는 이중 라이다 센서 구조의 모션 트래킹 장치에 관한 것이다.The present invention relates to a motion tracking device, and more particularly, to a motion tracking device having a dual lidar sensor structure.

과학이 발달하면서 현대인의 신체 활동이 감소하고, 대다수 현대인에게서 운동 부족 현상이 발생하고 있다. 특히, 비만과 같은 성인병에 해당하는 인구가 지속적으로 증가하고 있다. 또한, 급격한 날씨 변화와 환경오염, 미세먼지, 전염성 질병 등으로 야외 활동이 제한되면서, 실내에서 충분한 신체 활동을 할 수 있는 운동에 관한 관심이 높아지고 있다.With the development of science, physical activity of modern people is decreasing, and lack of exercise is occurring in most modern people. In particular, the population corresponding to adult diseases such as obesity is continuously increasing. In addition, as outdoor activities are restricted due to rapid weather changes, environmental pollution, fine dust, and infectious diseases, interest in exercise that enables sufficient physical activity indoors is increasing.

이에 따라 가상현실이나 증강현실을 이용해 실내에서 스포츠를 즐길 수 있는 기술이 개발되기도 했다. 관련된 선행기술로서, 공개특허 제10-2020-0082990호(발명의 명칭: VR 스포츠를 통한 피트니스 관리방법) 등이 개시된 바 있다.As a result, technology that allows you to enjoy sports indoors using virtual reality or augmented reality has been developed. As a related prior art, Patent Publication No. 10-2020-0082990 (title of the invention: fitness management method through VR sports) has been disclosed.

그러나 종래의 가상현실을 이용해 스포츠를 즐길 수 있는 기술은, VR 장치를 머리에 착용해야 하므로 동작이 불편하여 충분한 운동 효과를 얻기 힘든 한계가 있다. 뿐만 아니라, 피트니스나 VR 스포츠는 어린이와 청소년의 체력 증진 및 교육 목적으로 사용하기에는 한계가 있고, 대체로 혼자 운동을 하는 것이므로 어린이와 청소년의 협동심을 기르는 데에는 적합하지 않다.However, the conventional technology for enjoying sports using virtual reality has a limitation in that it is difficult to obtain a sufficient exercise effect due to inconvenient operation because the VR device must be worn on the head. In addition, fitness or VR sports are not suitable for fostering the cooperative spirit of children and adolescents because they are limited in their use for the purpose of improving physical strength and education of children and adolescents, and are usually performed alone.

또한, 종래기술에서는 카메라 센싱을 이용해 사용자 모션을 인식하는데, 카메라 센싱을 이용하면 여러 사용자의 모션을 동시에 인식할 수 없으므로, 한 명씩 이용할 수밖에 없고, 여러 사용자가 함께 스포츠를 즐기기는 어려운 문제가 있었다. 또는 별도의 오브젝트를 이용해야 하므로 스포츠의 종류가 한정되는 문제가 있었다.In addition, in the prior art, user motion is recognized using camera sensing. However, if the camera sensing is used, the motions of several users cannot be recognized at the same time, so it has to be used one by one, and it is difficult for multiple users to enjoy sports together. Alternatively, since a separate object must be used, there is a problem in that the type of sports is limited.

따라서 종래의 카메라 센싱을 이용한 사용자 모션 인식의 한계를 극복하기 위한 모션 트래킹 기술의 개발이 필요한 실정이다.Therefore, there is a need to develop a motion tracking technology to overcome the limitations of user motion recognition using conventional camera sensing.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 레이저 스캐닝 영역이 서로 중첩되는 두 개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 스캐닝 영역에 여러 사용자가 있을 때도 빠르고 정확하게 각각의 사용자 모션을 동시에 트래킹할 수 있는, 이중 라이다 센서 구조의 모션 트래킹 장치를 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, and by tracking user motion using two lidar sensors in which the laser scanning area overlaps each other, it is fast and fast even when there are several users in the scanning area. An object of the present invention is to provide a motion tracking device having a dual lidar sensor structure, which can accurately track each user's motion at the same time.

또한, 본 발명은, 두 개의 라이다 센서에서 감지된 신호를 이용해 사용자의 발 개수 및 발 위치의 변화를 추적함으로써, 사용자의 스텝을 포함하는 모션을 정확하게 트래킹할 수 있는, 이중 라이다 센서 구조의 모션 트래킹 장치를 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention is a dual lidar sensor structure that can accurately track motion including the user's step by tracking changes in the number and position of the user's feet using the signals detected by the two lidar sensors. It is another object to provide a motion tracking device.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 이중 라이다 센서 구조의 모션 트래킹 장치는,A motion tracking device of a dual lidar sensor structure according to a feature of the present invention for achieving the above object,

모션 트래킹 장치로서,A motion tracking device comprising:

지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝하는 제1 라이다 센서부;a first lidar sensor unit for laser scanning a plane of a predetermined height from the ground;

상기 제1 라이다 센서부와 이격되어 설치되며, 상기 제1 라이다 센서부가 레이저 스캐닝하는 제1 스캐닝 영역과 일부가 중첩되는 제2 스캐닝 영역을 레이저 스캐닝하는 제2 라이다 센서부; 및a second lidar sensor unit installed to be spaced apart from the first lidar sensor unit and configured to laser scan a second scanning area partially overlapping with a first scanning area scanned by the first lidar sensor unit; and

상기 제1 라이다 센서부 및 제2 라이다 센서부에서 감지된 신호를 이용해, 사용자 위치 변화를 추적하여 사용자 모션을 트래킹하는 모션 트래킹부를 포함하는 것을 그 구성상의 특징으로 한다.It is characterized in that it includes a motion tracking unit for tracking a user motion by tracking a change in a user's position by using the signal detected by the first lidar sensor unit and the second lidar sensor unit.

바람직하게는, 상기 모션 트래킹부는,Preferably, the motion tracking unit,

사용자의 발 위치 변화를 추적하여 상기 사용자 모션을 트래킹할 수 있다.The user's motion may be tracked by tracking a change in the position of the user's foot.

더욱 바람직하게는, 상기 모션 트래킹부는,More preferably, the motion tracking unit,

상기 제1 라이다 센서부 및 제2 라이다 센서부에서 감지된 신호를 이용해, 사용자의 발 개수 및 발 위치를 탐지하는 탐지 모듈; 및a detection module for detecting the number and position of the user's feet by using the signals detected by the first lidar sensor unit and the second lidar sensor unit; and

상기 탐지 모듈에서 탐지된 사용자의 발 개수 및 발 위치의 변화를 추적해 사용자 모션을 트래킹하는 변화 추적 모듈을 포함할 수 있다.The detection module may include a change tracking module for tracking the user's motion by tracking changes in the number and position of the user's feet detected by the detection module.

더더욱 바람직하게는, 상기 변화 추적 모듈은,Even more preferably, the change tracking module comprises:

상기 사용자의 발 개수 및 발 위치의 변화로부터 사용자의 스텝을 추적할 수 있다.The user's step may be tracked from the change in the number of the user's feet and the position of the feet.

더욱 바람직하게는, 상기 미리 정해진 높이는,More preferably, the predetermined height,

1㎝ 이상 20㎝ 이하일 수 있다.It may be 1 cm or more and 20 cm or less.

바람직하게는, 상기 모션 트래킹부는,Preferably, the motion tracking unit,

상기 제1 라이다 센서부의 제1 스캐닝 영역과 상기 제2 라이다 센서부의 제2 스캐닝 영역이 중첩되는 모션 트래킹 영역 내의 사용자 모션을 트래킹할 수 있다.A user motion in a motion tracking area in which the first scanning area of the first lidar sensor unit and the second scanning area of the second lidar sensor unit overlap may be tracked.

바람직하게는, 상기 제1 라이다 센서부 및 제2 라이다 센서부는,Preferably, the first lidar sensor unit and the second lidar sensor unit,

레이저를 생성 및 조사하는 광 송신 모듈;an optical transmission module for generating and irradiating a laser;

상기 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈; 및a light receiving module for focusing the light signal scattered by the user's body; and

상기 광 수신 모듈에 의해 집속된 광신호를 감지하는 광 감지 모듈을 포함하며,and a light sensing module for detecting the light signal focused by the light receiving module,

상기 모션 트래킹부는,The motion tracking unit,

상기 감지된 광신호를 이용해 사용자 모션을 트래킹할 수 있다.A user's motion may be tracked using the sensed optical signal.

바람직하게는, 상기 제2 라이다 센서부는,Preferably, the second lidar sensor unit,

상기 제1 라이다 센서부와 레이저 스캐닝 높이가 상이하며, 같은 방향을 향하도록 이격 설치될 수 있다.The laser scanning height is different from the first lidar sensor unit, and may be spaced apart to face the same direction.

본 발명에서 제안하고 있는 이중 라이다 센서 구조의 모션 트래킹 장치에 따르면, 레이저 스캐닝 영역이 서로 중첩되는 두 개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 스캐닝 영역에 여러 사용자가 있을 때도 빠르고 정확하게 각각의 사용자 모션을 동시에 트래킹할 수 있다.According to the motion tracking device of the dual lidar sensor structure proposed in the present invention, by tracking user motion using two lidar sensors overlapping the laser scanning area, each User motion can be tracked at the same time.

또한, 본 발명에 따르면, 두 개의 라이다 센서에서 감지된 신호를 이용해 사용자의 발 개수 및 발 위치의 변화를 추적함으로써, 사용자의 스텝을 포함하는 모션을 정확하게 트래킹할 수 있다.In addition, according to the present invention, by tracking the change in the number and position of the user's feet using the signals detected by the two lidar sensors, it is possible to accurately track the motion including the user's step.

도 1은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치에서, 제1 라이다 센서부 및 제2 라이다 센서부의 세부적인 구성을 도시한 도면.
도 3 및 도 4는 싱글 라이다 센서 구조에 의한 사용자 모션 트래킹을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치에 의한 사용자 모션 트래킹을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치에서, 모션 트래킹부의 세부적인 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치에서, 변화 추적 모듈의 스텝 인식 알고리즘을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치가 적용된 증강현실 인터랙티브 스포츠 장치의 구성을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치가 적용된 증강현실 인터랙티브 스포츠 장치의 모습을 예를 들어 도시한 도면.1 is a diagram showing the configuration of a motion tracking device of a dual lidar sensor structure according to an embodiment of the present invention.
2 is a diagram illustrating a detailed configuration of a first lidar sensor unit and a second lidar sensor unit in a motion tracking device having a dual lidar sensor structure according to an embodiment of the present invention.
3 and 4 are diagrams for explaining user motion tracking by a single lidar sensor structure.
5 is a diagram illustrating user motion tracking by a motion tracking device having a dual lidar sensor structure according to an embodiment of the present invention.
6 is a diagram illustrating a detailed configuration of a motion tracking unit in a motion tracking device having a dual lidar sensor structure according to an embodiment of the present invention.
7 is a diagram illustrating a step recognition algorithm of a change tracking module in a motion tracking device having a dual lidar sensor structure according to an embodiment of the present invention.
8 is a diagram illustrating the configuration of an augmented reality interactive sports device to which a motion tracking device having a dual lidar sensor structure is applied according to an embodiment of the present invention.
9 is a view showing, for example, an augmented reality interactive sports device to which a motion tracking device having a dual lidar sensor structure is applied according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, "including" a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.

도 1은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 제1 라이다 센서부(110), 제2 라이다 센서부(120) 및 모션 트래킹부(130)를 포함하여 구성될 수 있다.1 is a diagram illustrating the configuration of a motion tracking device 100 having a dual lidar sensor structure according to an embodiment of the present invention. As shown in FIG. 1 , the motion tracking apparatus 100 having a dual lidar sensor structure according to an embodiment of the present invention includes a first lidar sensor unit 110 , a second lidar sensor unit 120 and It may be configured to include a motion tracking unit 130 .

제1 라이다 센서부(110)는, 지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝할 수 있다.The first lidar sensor unit 110 may perform laser scanning on a plane having a predetermined height from the ground.

제2 라이다 센서부(120)는, 제1 라이다 센서부(110)와 이격되어 설치되며, 제1 라이다 센서부(110)가 레이저 스캐닝하는 제1 스캐닝 영역과 일부가 중첩되는 제2 스캐닝 영역을 레이저 스캐닝할 수 있다. 보다 구체적으로, 제2 라이다 센서부(120)는, 제1 라이다 센서부(110)와 레이저 스캐닝 높이가 상이하며, 같은 방향을 향하도록 이격 설치될 수 있다.The second lidar sensor unit 120 is installed to be spaced apart from the first lidar sensor unit 110 and partially overlaps with the first scanning area where the first lidar sensor unit 110 performs laser scanning. The scanning area may be laser scanned. More specifically, the second lidar sensor unit 120 has a different laser scanning height from the first lidar sensor unit 110 , and may be installed to face the same direction.

라이다 센서는 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 장치이다. 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)를 구성하는 라이다 센서는, RP Lidar A3일 수 있으며, 레이저 스캐닝 범위는 20m 정도일 수 있다. 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)의 세부적인 구성에 대해서는 추후 도 2를 참조하여 상세히 설명하도록 한다.The lidar sensor is a device that accurately draws the surroundings by emitting a laser pulse, receiving the reflected light from the surrounding target object, and measuring the distance to the object. The lidar sensor constituting the first lidar sensor unit 110 and the second lidar sensor unit 120 may be RP Lidar A3, and the laser scanning range may be about 20 m. Detailed configurations of the first lidar sensor unit 110 and the second lidar sensor unit 120 will be described in detail later with reference to FIG. 2 .

모션 트래킹부(130)는, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)에서 감지된 신호를 이용해, 사용자 위치 변화를 추적하여 사용자 모션을 트래킹할 수 있다. 보다 구체적으로, 모션 트래킹부(130)는, 사용자의 발 위치 변화를 추적하여 사용자 모션을 트래킹할 수 있다. 즉, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)는 지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝하여 사용자 발의 존재 여부 및 위치를 검출할 수 있는데, 모션 트래킹부(130)는 사용자 발의 위치 변화를 사용자 모션으로 추적할 수 있다. 이때, 미리 정해진 높이는, 1㎝ 이상 20㎝ 이하일 수 있으며, 보다 구체적으로는 5㎝ 정도일 수 있다. 모션 트래킹부(130)의 세부적인 구성에 대해서는 추후 도 7을 참조하여 상세히 설명하도록 한다.The motion tracking unit 130 may track the user's motion by tracking a change in the user's position by using the signals detected by the first lidar sensor unit 110 and the second lidar sensor unit 120 . More specifically, the motion tracking unit 130 may track the user's motion by tracking a change in the position of the user's foot. That is, the first lidar sensor unit 110 and the second lidar sensor unit 120 may detect the presence and location of the user's foot by laser scanning a plane of a predetermined height from the ground, and the motion tracking unit 130 ) can track the position change of the user's foot as the user's motion. In this case, the predetermined height may be 1 cm or more and 20 cm or less, and more specifically, may be about 5 cm. A detailed configuration of the motion tracking unit 130 will be described in detail later with reference to FIG. 7 .

도 2는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에서, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)의 세부적인 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)의 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)는, 레이저를 생성 및 조사하는 광 송신 모듈(111, 121), 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈(112, 122), 및 광 수신 모듈(112, 122)에 의해 집속된 광신호를 감지하는 광 감지 모듈(113, 123)을 포함하여 구성될 수 있고, 모션 트래킹부(130)는, 감지된 광신호를 이용해 사용자 모션을 트래킹할 수 있다.FIG. 2 shows detailed configurations of the first lidar sensor unit 110 and the second lidar sensor unit 120 in the motion tracking apparatus 100 having a dual lidar sensor structure according to an embodiment of the present invention. it is one drawing As shown in FIG. 2 , the first lidar sensor unit 110 and the second lidar sensor unit 120 of the motion tracking device 100 having a dual lidar sensor structure according to an embodiment of the present invention include, Light focused by the light transmitting modules 111 and 121 for generating and irradiating a laser, the light receiving modules 112 and 122 for focusing the optical signal scattered by the user's body, and the light receiving modules 112 and 122 It may be configured to include light sensing modules 113 and 123 for detecting a signal, and the motion tracking unit 130 may track a user's motion using the sensed light signal.

기존의 사용자 모션 트래킹 방식으로는, 카메라를 이용한 센싱이 많이 사용되었다. 예를 들어, 초고속 카메라 센서, 3D 뎁스 카메라 센서, 키넥트 카메라 센서(Kinetic camera sensor) 등을 사용할 수 있다. 초고속 카메라 센서는 가상현실 운동 등에 사용될 수 있는데, 데이터 처리를 하기 위해서는 연속적인 트래킹이 불가능하고, 정해진 위치에서 1명씩 사용해야 하며, 별도의 오브젝트가 필요한 한계가 있다. 3D 뎁스 카메라 센서는, 특정 심도(depth)에서의 변화 값을 검출해 사용하기 때문에 특정 심도에서 이벤트를 발생시켜야 하고, 1~10명 정도의 소수만 동시에 이용할 수 있으며, 별도의 오브젝트가 필요한 한계가 있다. 키넥트 카메라 센서는 피사체의 모션을 검출하는데, 카메라 화각 때문에 센싱 범위가 좁아서 정해진 위치에서 운동해야 하므로 활동 범위가 좁으며, 한 번에 1명만 사용할 수 있는 한계가 있다.As a conventional user motion tracking method, sensing using a camera has been widely used. For example, a high-speed camera sensor, a 3D depth camera sensor, a Kinetic camera sensor, or the like may be used. The high-speed camera sensor can be used for virtual reality exercise, etc. In order to process data, continuous tracking is impossible, it must be used by one person at a fixed location, and a separate object is required. Since the 3D depth camera sensor detects and uses a change value at a specific depth, an event must be generated at a specific depth, only a small number of 1 to 10 people can use it at the same time, and there is a limitation that a separate object is required. . The Kinect camera sensor detects the motion of a subject. Due to the camera angle of view, the sensing range is narrow, so you have to exercise at a fixed location, so the range of activity is narrow, and there is a limit that only one person can use it at a time.

전술한 바와 같은 종래기술의 문제를 해결할 수 있는, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 두 개의 라이다 센서부(제1 라이다 센서부(110) 및 제2 라이다 센서부(120))와 모션 트래킹부(130)를 포함함으로써, 별도의 오브젝트나 장치 착용 없이 움직이는 사용자의 모션을 트래킹할 수 있다. 특히, 모션 트래킹이 가능한 범위가 넓어서 사용자들이 여기저기 이동하며 운동하더라도 사용자 움직임을 추적할 수 있다. 또한, 모션 트래킹부(130)가 1~30명의 위치를 동시에 트래킹할 수 있으므로, 단체 스포츠 콘텐츠 등에도 적용할 수 있어서 그 활용 범위가 넓은 장점이 있다.The motion tracking apparatus 100 having a dual lidar sensor structure according to an embodiment of the present invention, which can solve the problems of the prior art as described above, includes two lidar sensor units (the first lidar sensor unit 110 ). ) and the second lidar sensor unit 120) and the motion tracking unit 130, it is possible to track the motion of the moving user without wearing a separate object or device. In particular, since the range of motion tracking is wide, it is possible to track the user's movement even if the user is moving and exercising. In addition, since the motion tracking unit 130 can track the positions of 1 to 30 people at the same time, it can be applied to group sports contents, etc., and thus has a wide range of application.

특히, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)를 포함하는 이중 라이다 센서 구조를 이용해 사용자 모션을 트래킹할 수 있다. 즉, 두 개의 라이다 센서부(110, 120)를 포함하는 이중 라이다 센서 구조를 채택하여, 복수 사용자들의 상대적 위치로 인한 트래킹 실패를 회피하고, 여러 사용자의 위치를 간섭 없이 정확하게 파악할 수 있다.In particular, the motion tracking apparatus 100 having a dual lidar sensor structure according to an embodiment of the present invention is a dual lidar sensor including a first lidar sensor unit 110 and a second lidar sensor unit 120 . Structures can be used to track user motion. That is, by adopting a dual lidar sensor structure including two lidar sensor units 110 and 120, tracking failure due to the relative positions of a plurality of users is avoided, and the positions of multiple users can be accurately identified without interference.

도 3 및 도 4는 싱글 라이다 센서 구조에 의한 사용자 모션 트래킹을 설명하기 위해 도시한 도면이다. 라이다 센서를 사용하는 경우 오브젝트에 의해 가려져 레이저가 도달하지 못하는 레이저 스캐닝 그늘이 발생하게 되는데, 레이저 스캐닝 그늘에 위치한 오브젝트는 탐지가 불가능하다. 하나의 라이다를 사용하는 싱글 라이다 센서 구조에서도, 도 3에 도시된 바와 같이 두 사용자의 위치가 중복되지 않으면 각각의 사용자의 모션 트래킹에 문제가 없다. 그러나 도 4에 도시된 바와 같이, Player B가 Player A의 레이저 스캐닝 그늘에 위치하면 Player B는 트래킹이 불가능하게 된다.3 and 4 are diagrams for explaining user motion tracking by a single lidar sensor structure. In the case of using the lidar sensor, a laser scanning shadow is generated that the laser cannot reach because it is obscured by an object, and an object located in the laser scanning shade cannot be detected. Even in a single lidar sensor structure using one lidar, as shown in FIG. 3 , if the positions of two users do not overlap, there is no problem in motion tracking of each user. However, as shown in FIG. 4 , if Player B is located in the laser scanning shadow of Player A, tracking of Player B becomes impossible.

도 5는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에 의한 사용자 모션 트래킹을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 제1 라이다 센서부(110)와 제2 라이다 센서부(120), 두 개의 라이다 센서를 사용하기 때문에, 제1 라이다 센서부(110)에 의한 레이저 스캐닝 그늘 영역이 제2 라이다 센서부(120)에 의해 스캐닝되므로, 간섭 없이 복수 사용자의 모션 트래킹을 동시에 할 수 있다. 즉, 도 5에 도시된 바와 같이, Player B가 Player A의 제1 라이다 센서부(110)에 의한 레이저 스캐닝 그늘에 위치하더라도, Player B의 모션은 제2 라이다 센서부(120)에 의해 트래킹될 수 있다. 따라서 도 3 및 도 4에서 전술한 바와 같은 문제가 발생하지 않는다.5 is a diagram illustrating user motion tracking by the motion tracking device 100 of the dual lidar sensor structure according to an embodiment of the present invention. As shown in FIG. 5 , the motion tracking apparatus 100 having a dual lidar sensor structure according to an embodiment of the present invention includes a first lidar sensor unit 110 and a second lidar sensor unit 120 , Since two lidar sensors are used, the laser scanning shadow area by the first lidar sensor unit 110 is scanned by the second lidar sensor unit 120, so motion tracking of multiple users can be simultaneously performed without interference. can That is, as shown in FIG. 5 , even if Player B is located in the laser scanning shadow by the first lidar sensor unit 110 of Player A, the motion of Player B is controlled by the second lidar sensor unit 120 . can be tracked. Accordingly, the problem as described above in FIGS. 3 and 4 does not occur.

이와 같이, 제1 라이다 센서부(110)와 제2 라이다 센서부(120)가 상호 보완을 할 수 있도록, 제1 라이다 센서부(110)가 레이저 스캐닝하는 제1 스캐닝 영역과 제2 라이다 센서부(120)가 레이저 스캐닝하는 제2 스캐닝 영역은, 도 5에 도시된 바와 같이 일부가 중첩될 수 있다. 모션 트래킹부(130)는, 제1 스캐닝 영역과 제2 스캐닝 영역이 중첩되는 모션 트래킹 영역(20) 내의 사용자 모션을 트래킹할 수 있으며, 모션 트래킹 영역(20) 내에서는 두 개의 라이다 센서부(110, 120)가 상호 보완하여 복수 사용자의 모션을 각각 효과적으로 추적할 수 있다.In this way, so that the first lidar sensor unit 110 and the second lidar sensor unit 120 can complement each other, the first scanning area and the second scanning area that the first lidar sensor unit 110 laser scans. As shown in FIG. 5 , a portion of the second scanning area that the lidar sensor unit 120 laser scans may overlap. The motion tracking unit 130 may track a user's motion in the motion tracking area 20 where the first scanning area and the second scanning area overlap, and in the motion tracking area 20, two LiDAR sensor units ( 110 and 120) complement each other to effectively track the motions of a plurality of users, respectively.

한편, 도 5에 도시된 바와 같이, 제1 라이다 센서부(110)와 제2 라이다 센서부(10)는 같은 방향을 향하도록 이격 설치될 수 있다. 보다 구체적으로, 두 라이다 센서부(110, 120)는 150~500㎝ 정도 이격 설치될 수 있으며, 특히 250㎝ 정도로 이격 설치될 수 있다.Meanwhile, as shown in FIG. 5 , the first lidar sensor unit 110 and the second lidar sensor unit 10 may be spaced apart to face the same direction. More specifically, the two lidar sensor units 110 and 120 may be installed to be spaced apart by about 150 to 500 cm, in particular, may be installed to be spaced apart by about 250 cm.

또한, 제1 라이다 센서부(110)와 제2 라이다 센서부(120)는, 도 5에 도시된 바와 같이 나란하게 같은 방향을 향하도록 설치될 수 있으나, 마주 보도록 설치될 수도 있으며, 제1 스캐닝 영역과 제2 스캐닝 영역이 일부 중첩되어 상호 보완할 수 있다면, 두 라이다 센서부의 상대적인 위치는 다양하게 구현될 수 있다. 또한, 제1 라이다 센서부(110)와 제2 라이다 센서부(120)는, 레이저 스캐닝 높이를 상이하게 설치하여, 간섭 없이 사용자 위치를 탐지할 수 있다.In addition, the first lidar sensor unit 110 and the second lidar sensor unit 120 may be installed to face the same direction in parallel as shown in FIG. 5 , but may be installed to face each other. If the first scanning area and the second scanning area partially overlap and complement each other, the relative positions of the two lidar sensor units may be variously implemented. In addition, the first lidar sensor unit 110 and the second lidar sensor unit 120 may have different laser scanning heights to detect the user's position without interference.

도 6은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에서, 모션 트래킹부(130)의 세부적인 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)의 모션 트래킹부(130)는, 탐지 모듈(131) 및 변화 추적 모듈(132)을 포함하여 구성될 수 있다.6 is a view showing a detailed configuration of the motion tracking unit 130 in the motion tracking device 100 of the dual lidar sensor structure according to an embodiment of the present invention. As shown in FIG. 6 , the motion tracking unit 130 of the motion tracking device 100 having a dual lidar sensor structure according to an embodiment of the present invention includes a detection module 131 and a change tracking module 132 . may be included.

탐지 모듈(131)은, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)에서 감지된 신호를 이용해, 사용자의 발 개수 및 발 위치를 탐지할 수 있다. 즉, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)가 지면으로부터 5㎝ 정도 높이에서 스캐닝한 신호를 이용해, 사용자의 발 개수를 1 또는 2로, 각 발의 위치를 2차원 또는 3차원 좌표로 검출할 수 있다.The detection module 131 may detect the number and position of the user's feet by using the signals detected by the first lidar sensor unit 110 and the second lidar sensor unit 120 . That is, using the signal scanned by the first lidar sensor unit 110 and the second lidar sensor unit 120 from a height of about 5 cm from the ground, the number of the user's feet is set to 1 or 2, and the position of each foot is set to 2 It can be detected in dimensional or three-dimensional coordinates.

변화 추적 모듈(132)은, 탐지 모듈(131)에서 탐지된 사용자의 발 개수 및 발 위치의 변화를 추적해 사용자 모션을 트래킹할 수 있다. 변화 추적 모듈(132)은, 이전 스캐닝에서 탐지된 발 개수 및 발 위치와, 현재 스캐닝에서 탐지된 발 개수 및 발 위치를 상호 비교하여 그 변화를 추적함으로써, 사용자가 걷는지, 뛰는지 등의 보행 종류, 위치 변화에 따른 궤적 등을 포함하는 사용자 모션을 트래킹할 수 있다. 보다 구체적으로, 변화 추적 모듈(132)은, 사용자의 발 개수 및 발 위치의 변화로부터 사용자의 스텝을 추적할 수 있다.The change tracking module 132 may track the user's motion by tracking changes in the number and position of the user's feet detected by the detection module 131 . The change tracking module 132 compares the number and position of feet detected in the previous scanning with the number and position of the feet detected in the current scanning to track the change, so that the user walks, runs, etc. It is possible to track user motion including a trajectory according to a type and a change in position. More specifically, the change tracking module 132 may track the user's step from the change in the number and position of the user's feet.

도 7은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에서, 변화 추적 모듈(132)의 스텝 인식 알고리즘을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에서, 모션 트래킹부(130)의 변화 추적 모듈(132)은, 이전 스캐닝에 따른 발 개수(F1)와 발 위치(P1)를 기준값으로 하고, 현재 스캐닝에 따른 발 개수(F2)와 발 위치(P2)를 변화 값으로 하여, 기준값과 변화 값을 비교함으로써 사용자의 스텝을 추적할 수 있다. 현재 스캐닝의 발 개수(F2)와 발 위치(P2)는 다음 스캐닝의 기준값이 되도록 각각 F1과 P1으로 저장하여, 다음 스캐닝에 대한 스텝 인식을 진행할 수 있다.7 is a diagram illustrating a step recognition algorithm of the change tracking module 132 in the motion tracking apparatus 100 of the dual lidar sensor structure according to an embodiment of the present invention. 7, in the motion tracking device 100 of the dual lidar sensor structure according to an embodiment of the present invention, the change tracking module 132 of the motion tracking unit 130, the foot according to the previous scanning Using the number (F1) and foot position (P1) as reference values, and the number of feet (F2) and foot position (P2) according to the current scanning as change values, the user's step can be tracked by comparing the reference value and the change value. have. The number of feet F2 and the foot position P2 of the current scanning may be stored as F1 and P1, respectively, so as to be reference values for the next scanning, so that step recognition for the next scanning may be performed.

보다 구체적으로, 변화 추적 모듈(132)은 먼저 발 개수를 비교해 이전 스캐닝과 현재 스캐닝 사이에 발 개수의 차이가 있고, 발 개수가 늘어났으면 1 스텝으로 판단할 수 있다. 반면에, 이전 스캐닝과 현재 스캐닝 사이에 발 개수의 차이가 없으면, 각각의 발 위치를 비교하여 발 위치가 변경되었으면 1 스텝으로 판단할 수 있다.More specifically, the change tracking module 132 may first compare the number of feet, and if there is a difference in the number of feet between the previous scanning and the current scanning, and the number of feet increases, it may be determined as 1 step. On the other hand, if there is no difference in the number of feet between the previous scanning and the current scanning, it may be determined as one step if the positions of the feet are changed by comparing the positions of the respective feet.

전술한 바와 같이, 본 발명에서 제안하고 있는 이중 라이다 센서 구조의 모션 트래킹 장치(100)에 따르면, 레이저 스캐닝 영역이 서로 중첩되는 두 개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 스캐닝 영역에 여러 사용자가 있을 때도 빠르고 정확하게 각각의 사용자 모션을 동시에 트래킹할 수 있다.As described above, according to the motion tracking apparatus 100 of the dual lidar sensor structure proposed in the present invention, by tracking user motion using two lidar sensors overlapping the laser scanning region, several Each user's motion can be tracked simultaneously and quickly, even when a user is present.

또한, 본 발명에 따르면, 두 개의 라이다 센서에서 감지된 신호를 이용해 사용자의 발 개수 및 발 위치의 변화를 추적함으로써, 사용자의 스텝을 포함하는 모션을 정확하게 트래킹할 수 있다.In addition, according to the present invention, by tracking the change in the number and position of the user's feet using the signals detected by the two lidar sensors, it is possible to accurately track the motion including the user's step.

도 8은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)가 적용된 증강현실 인터랙티브 스포츠 장치(10)의 구성을 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)가 적용된 증강현실 인터랙티브 스포츠 장치(10)의 모습을 예를 들어 도시한 도면이다. 도 8 및 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 증강현실 인터랙티브 스포츠 장치(10)에 적용될 수 있다. 증강현실 인터랙티브 장치는 모션 트래킹 장치(100) 이외에 본체(11), 프로젝터부(12), 센서 연결부(13), 제어부(14), 통신부(15), 디스플레이부(16) 및 스피커부(17)를 포함하여 구성될 수 있다.8 is a diagram showing the configuration of an augmented reality interactive sports device 10 to which the motion tracking device 100 having a dual lidar sensor structure is applied according to an embodiment of the present invention, and FIG. 9 is an embodiment of the present invention. It is a diagram showing, for example, the appearance of the augmented reality interactive sports apparatus 10 to which the motion tracking apparatus 100 of the dual lidar sensor structure according to the present invention is applied. As shown in FIGS. 8 and 9 , the motion tracking device 100 having a dual lidar sensor structure according to an embodiment of the present invention may be applied to the augmented reality interactive sports device 10 . The augmented reality interactive device includes a main body 11, a projector unit 12, a sensor connection unit 13, a control unit 14, a communication unit 15, a display unit 16, and a speaker unit 17 in addition to the motion tracking device 100. It may be composed of

본체(11)는, 증강현실 인터랙티브 스포츠 장치(10)의 몸체를 구성하는 프레임일 수 있으며, 내면에 제어부(14)를 포함하는 컴퓨터 장치 등을 구비할 수 있다. 본체(11)는, 도 9에 도시된 바와 같은 직육면체 형태일 수 있으나, 구체적인 형태나 모양은 다양하게 구현될 수 있다.The main body 11 may be a frame constituting the body of the augmented reality interactive sports device 10 , and may include a computer device including the control unit 14 on an inner surface thereof. The body 11 may have a rectangular parallelepiped shape as shown in FIG. 9 , but a specific shape or shape may be variously implemented.

프로젝터부(12)는, 본체(11)의 전면에 구비되며, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영할 수 있다. 도 9에 도시된 바와 같이, 본체(11)의 전면에 프로젝터가 설치되어, 본체(11)의 앞에서 사용자가 스포츠 콘텐츠를 제공받을 수 있으며, 프로젝터는 벽면이 아닌 바닥면에 영상을 투영하도록 방향을 조정하여 설치될 수 있다.The projector unit 12 is provided on the front side of the main body 11 and may project an image for sports content on the floor surface. 9, the projector is installed on the front of the main body 11, the user can receive sports content in front of the main body 11, and the projector is directed to project the image on the floor rather than the wall. Can be adjusted and installed.

보다 구체적으로, 프로젝터부(12)는, 바닥면에 직사각형 형태의 투영 영역을 프로젝션할 수 있는데, 프로젝터부(12)를 이용해 바닥면을 충분히 활용함으로써, 모니터나 휴대 단말기, TV 등 디스플레이 장치를 이용할 때보다 훨씬 넓은 투영 영역을 활용해 다양한 스포츠 콘텐츠를 제공할 수 있다. 예를 들어, 투영 영역은 4.5m × 2.6m 크기일 수 있다. 한편, 프로젝터부(12)는 투영 영역의 모양이 마름모꼴 등으로 왜곡되지 않고 직각 사각형이 되도록 왜곡을 보정하여 영상을 투영할 수 있다.More specifically, the projector unit 12 can project a rectangular projection area on the floor surface. By using the projector unit 12 to fully utilize the floor surface, a display device such as a monitor, portable terminal, or TV can be used. Various sports contents can be provided by utilizing a much wider projection area than ever before. For example, the projected area may be 4.5m x 2.6m in size. Meanwhile, the projector unit 12 may project the image by correcting the distortion so that the shape of the projection area is not distorted in a rhombic shape or the like but is a right-angled rectangle.

특히, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 모션 트래킹 영역(20)이 넓어서 프로젝터부(12)의 투영 영역을 포함하는 바닥면을 충분히 이용해 사용자가 여기저기 이동하며 운동할 수 있다.In particular, the motion tracking device 100 of the dual lidar sensor structure according to an embodiment of the present invention has a wide motion tracking area 20 so that the user can use the floor surface including the projection area of the projector unit 12 sufficiently. You can move around and exercise.

센서 연결부(13)는, 본체(11)와 모션 트래킹 장치(100)를 연결하는 구성으로서, 두 개의 라이다 센서부(110, 120)가 미리 정해진 거리만큼 이격되도록 연결할 수 있다. 보다 구체적으로, 도 9에 도시된 바와 같이, 센서 연결부(13)는 바 형태로 본체(11)의 양 측면에 연결될 수 있으며, 센서 연결부(13)의 길이는 80~120㎝ 정도, 보다 구체적으로는 100㎝로 할 수 있다.The sensor connection unit 13 is a configuration that connects the main body 11 and the motion tracking device 100 , and may connect the two lidar sensor units 110 and 120 to be spaced apart by a predetermined distance. More specifically, as shown in FIG. 9 , the sensor connection part 13 may be connected to both sides of the body 11 in the form of a bar, and the length of the sensor connection part 13 is about 80 to 120 cm, more specifically can be 100 cm.

제어부(14)는, 프로젝터부(12)를 통해 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 스포츠 콘텐츠를 제공하되, 모션 트래킹 장치(100)에서 트래킹되는 사용자 모션을 이용해 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어할 수 있다. 즉, 제어부(14)는 사용자와 스포츠 콘텐츠가 인터랙션할 수 있도록, 모션 트래킹 장치(100)에서 트래킹되는 사용자 모션을 스포츠 콘텐츠의 입력 신호로 변환해 전달할 수 있다.The control unit 14 outputs sports contents through the projector unit 12 and provides sports contents based on augmented reality to the user, but uses the user motion tracked by the motion tracking device 100 to interact between the sports contents and the user. action can be controlled. That is, the controller 14 may convert the user motion tracked by the motion tracking device 100 into an input signal of the sports content and transmit it so that the user and the sports content can interact.

통신부(15)는, 트레이너 단말기와 통신을 수행하며, 트레이너 단말기에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 트레이너 단말기로부터 제어 신호를 수신해 제어부(14)에 전달하여, 사용자에게 비접촉 방식의 트레이닝을 제공할 수 있다. 여기서, 통신부(15)는 인터넷 접속이 가능한 와이파이(Wi-Fi, Wireless Fidelity), 이동통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), 3G/4G/5G(3/4/5th Generation Mobile Telecommunication) 및 LTE(Long Term Evolution)를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.The communication unit 15 communicates with the trainer terminal, provides the user's sports content usage information to the trainer terminal, receives a control signal from the trainer terminal, and transmits it to the control unit 14, thereby providing non-contact training to the user can do. Here, the communication unit 15 is a Wi-Fi (Wireless Fidelity), a mobile communication network (mobile radio communication network), a satellite communication network, Bluetooth (Bluetooth), Wibro (Wireless Broadband Internet), 3G / 4G / 5G capable of Internet access. It may be understood that various wireless communication schemes including (3/4/5th Generation Mobile Telecommunication) and Long Term Evolution (LTE) are applied.

디스플레이부(16)는, 본체(11)의 전면에 구비되며, 스포츠 콘텐츠의 선택 신호를 입력받고 스포츠 콘텐츠와 관련된 플레이 정보를 출력할 수 있다. 즉, 도 9에 도시된 바와 같이, 디스플레이부(16)는 본체(11)의 전면에 위치할 수 있으며, 사용자가 사용자의 정보를 입력 또는 열람하고, 스포츠 콘텐츠를 선택하는 등 각종 입출력이 가능하도록 터치스크린으로 구현될 수 있다.The display unit 16 is provided on the front side of the main body 11 , and may receive a sports content selection signal and output play information related to the sports content. That is, as shown in FIG. 9 , the display unit 16 may be located on the front side of the main body 11 , so that the user can input or read user information, select sports content, etc. to enable various input and output. It may be implemented as a touch screen.

스피커부(17)는, 스포츠 콘텐츠와 관련된 음향을 출력할 수 있다. 스피커는 본체(11)의 전면이나 측면 등에 설치될 수 있으며, 디스플레이부(16)를 통해 볼륨이 조절될 수 있다.The speaker unit 17 may output a sound related to sports content. The speaker may be installed on the front or side of the main body 11 , and the volume may be adjusted through the display unit 16 .

한편, 증강현실 인터랙티브 스포츠 장치(10)는, 통신부(15)를 통해 트레이너 단말기로부터 제어 신호를 수신하여 원격으로 트레이닝 서비스를 제공할 수 있다. 트레이너는 단말기에 애플리케이션을 설치하여, 증강현실 인터랙티브 스포츠 장치(10)로부터 사용자의 운동 데이터를 제공받아 확인할 수 있으며, 각 사용자에게 적절한 스포츠 콘텐츠를 추천하거나 운동 자세, 운동 시간 등을 코칭하는 등 트레이닝 데이터를 제공할 수 있다.Meanwhile, the augmented reality interactive sports apparatus 10 may receive a control signal from the trainer terminal through the communication unit 15 and provide a training service remotely. The trainer installs the application on the terminal, receives and checks the user's exercise data from the augmented reality interactive sports device 10, and recommends appropriate sports content to each user or coaches exercise posture, exercise time, etc. training data can provide

여기서, 트레이너 단말기는 전자 장치로 구현될 수 있다. 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.Here, the trainer terminal may be implemented as an electronic device. Electronic devices include smartphones, tablet PCs (personal computers), mobile phones, video phones, e-book readers, desktop PCs, laptop PCs, netbook computers, workstations, It may include at least one of a server, a personal digital assistant (PDA), a media box, a game console, an electronic dictionary, or a wearable device, and the wearable device is an accessory type (eg, a watch, a ring, a bracelet, Anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices (HMDs), integrated fabrics or garments (such as electronic garments), body-mounted (such as skin pads or tattoos) , or at least one of an implantable circuit In various embodiments, the electronic device is not limited to the above-described devices, and may be a combination of two or more of the above-described various devices.

한편, 디스플레이부(16) 및 스피커부(17)는, 통신부(15)가 트레이너 단말기로부터 수신한 실시간 트레이너 영상을 출력할 수 있다. 즉, 실시간 트레이너 영상을 디스플레이부(16) 및 스피커부(17)로 출력함으로써, 직접 대면 접촉 없이도 사용자와 트레이너가 원격으로 얼굴을 보고 트레이닝 서비스를 제공하거나 받을 수 있다. 이를 위해 본체(11)의 전면에 카메라를 구비하여 스포츠 콘텐츠를 이용하는 사용자의 모습을 촬영하고, 촬영된 영상을 통신부(15)를 이용해 트레이너 단말기에 전송할 수 있다.On the other hand, the display unit 16 and the speaker unit 17, the communication unit 15 may output a real-time trainer image received from the trainer terminal. That is, by outputting the real-time trainer image to the display unit 16 and the speaker unit 17, the user and the trainer can remotely see faces and provide or receive training services without direct face-to-face contact. To this end, a camera may be provided on the front of the main body 11 to photograph a user using sports content, and the captured image may be transmitted to the trainer terminal using the communication unit 15 .

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

10: 증강현실 인터랙티브 스포츠 장치
11: 본체
12: 프로젝터부
13: 센서 연결부
14: 제어부
15: 통신부
16: 디스플레이부
17: 스피커부
20: 모션 트래킹 영역
100: 모션 트래킹 장치
110: 제1 라이다 센서부
111, 121: 광 송신 모듈
112, 122: 광 수신 모듈
113, 123: 광 감지 모듈
120: 제2 라이다 센서부
130: 모션 트래킹부
131: 탐지 모듈
132: 변화 추적 모듈10: Augmented Reality Interactive Sports Device
11: body
12: Projector unit
13: sensor connection
14: control unit
15: communication department
16: display unit
17: speaker unit
20: motion tracking area
100: motion tracking device
110: first lidar sensor unit
111, 121: optical transmission module
112, 122: light receiving module
113, 123: light sensing module
120: second lidar sensor unit
130: motion tracking unit
131: detection module
132: change tracking module

Claims (8)

증강현실 인터랙티브 스포츠 장치(10)를 위한, 모션 트래킹 장치(100)로서,
지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝하는 제1 라이다 센서부(110);
상기 제1 라이다 센서부(110)와 수평으로 이격되어 설치되며, 상기 제1 라이다 센서부(110)가 레이저 스캐닝하는 제1 스캐닝 영역과 일부가 중첩되는 제2 스캐닝 영역을 레이저 스캐닝하는 제2 라이다 센서부(120); 및
상기 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)에서 감지된 신호를 이용해, 사용자 위치 변화를 추적하여 사용자 모션을 트래킹하는 모션 트래킹부(130)를 포함하고,
상기 모션 트래킹부(130)는,
사용자의 발 위치 변화를 추적하여 상기 사용자 모션을 트래킹하며,
상기 모션 트래킹부(130)는,
상기 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)에서 감지된 신호를 이용해, 사용자의 발 개수 및 발 위치를 탐지하는 탐지 모듈(131); 및
상기 탐지 모듈(131)에서 탐지된 사용자의 발 개수 및 발 위치의 변화를 추적해 사용자 모션을 트래킹하는 변화 추적 모듈(132)을 포함하며,
이중 라이다 센서 구조를 통해 복수의 사용자들의 상대적 위치로 인한 레이저 스캐닝 그늘 영역에서의 트래킹 실패를 회피하여 복수의 사용자가 동시에 스포츠 콘텐츠를 이용할 때 정확하게 각각의 사용자 모션을 트래킹할 수 있는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
As the motion tracking device 100 for the augmented reality interactive sports device 10,
a first lidar sensor unit 110 for laser scanning a plane having a predetermined height from the ground;
The first LiDAR sensor unit 110 is horizontally spaced apart from each other, and the first LiDAR sensor unit 110 performs laser scanning of a second scanning area partially overlapping with the first scanning area scanned by laser. 2 lidar sensor unit 120; and
and a motion tracking unit 130 for tracking a user's motion by tracking a change in a user's position using the signals detected by the first lidar sensor unit 110 and the second lidar sensor unit 120 ,
The motion tracking unit 130,
Tracks the user's motion by tracking the change in the user's foot position,
The motion tracking unit 130,
a detection module 131 for detecting the number and position of the user's feet by using the signals detected by the first lidar sensor unit 110 and the second lidar sensor unit 120; and
and a change tracking module 132 for tracking the user's motion by tracking changes in the number and position of the user's feet detected by the detection module 131,
The dual lidar sensor structure avoids tracking failure in the laser scanning shade area due to the relative positions of a plurality of users, so that when a plurality of users simultaneously use sports content, each user's motion can be accurately tracked. , a motion tracking device 100 of a dual lidar sensor structure.
 삭제delete 삭제delete 제1항에 있어서, 상기 변화 추적 모듈(132)은,
상기 사용자의 발 개수 및 발 위치의 변화로부터 사용자의 스텝을 추적하는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
According to claim 1, wherein the change tracking module (132),
The motion tracking device 100 of the dual lidar sensor structure, characterized in that for tracking the user's step from the change in the number and position of the user's feet.
 제1항에 있어서, 상기 미리 정해진 높이는,
1㎝ 이상 20㎝ 이하인 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
According to claim 1, wherein the predetermined height,
1 cm or more and 20 cm or less, the motion tracking device 100 of the dual lidar sensor structure.
 제1항에 있어서, 상기 모션 트래킹부(130)는,
상기 제1 라이다 센서부(110)의 제1 스캐닝 영역과 상기 제2 라이다 센서부(120)의 제2 스캐닝 영역이 중첩되는 모션 트래킹 영역(20) 내의 사용자 모션을 트래킹하는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
According to claim 1, wherein the motion tracking unit 130,
The first scanning area of the first lidar sensor unit 110 and the second scanning area of the second lidar sensor unit 120 overlap a user motion in a motion tracking area 20, characterized in that , a motion tracking device 100 of a dual lidar sensor structure.
 제1항에 있어서, 상기 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)는,
레이저를 생성 및 조사하는 광 송신 모듈(111, 121);
상기 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈(112, 122); 및
상기 광 수신 모듈(112, 122)에 의해 집속된 광신호를 감지하는 광 감지 모듈(113, 123)을 포함하며,
상기 모션 트래킹부(130)는,
상기 감지된 광신호를 이용해 사용자 모션을 트래킹하는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
According to claim 1, wherein the first lidar sensor unit 110 and the second lidar sensor unit 120,
Optical transmission modules 111 and 121 for generating and irradiating a laser;
a light receiving module (112, 122) for focusing the light signal scattered by the user's body; and
and a light sensing module (113, 123) for detecting the light signal focused by the light receiving module (112, 122),
The motion tracking unit 130,
The motion tracking device 100 of the dual lidar sensor structure, characterized in that the user motion is tracked using the sensed optical signal.
 제1항에 있어서, 상기 제2 라이다 센서부(120)는,
상기 제1 라이다 센서부(110)와 레이저 스캐닝 높이가 상이하며, 같은 방향을 향하도록 이격 설치되는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).According to claim 1, wherein the second lidar sensor unit 120,
The first lidar sensor unit 110 and the laser scanning height is different, characterized in that installed spaced apart to face the same direction, the motion tracking device 100 of the dual lidar sensor structure.
KR1020200131507A 2020-10-12 2020-10-12 Motion tracking apparatus with dual lidar sensor KR102464094B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200131507A KR102464094B1 (en) 2020-10-12 2020-10-12 Motion tracking apparatus with dual lidar sensor
PCT/KR2020/014931 WO2022080549A1 (en) 2020-10-12 2020-10-29 Motion tracking device of dual lidar sensor structure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131507A KR102464094B1 (en) 2020-10-12 2020-10-12 Motion tracking apparatus with dual lidar sensor

Publications (2)

Publication Number Publication Date
KR20220048403A KR20220048403A (en) 2022-04-19
KR102464094B1 true KR102464094B1 (en) 2022-11-09

Family

ID=81208208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131507A KR102464094B1 (en) 2020-10-12 2020-10-12 Motion tracking apparatus with dual lidar sensor

Country Status (2)

Country Link
KR (1) KR102464094B1 (en)
WO (1) WO2022080549A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605282B1 (en) 2022-08-18 2023-11-23 옥재윤 Virtual reality game system for providing motion and position of player using wearable sensors and lidar sensors

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
KR101784611B1 (en) * 2016-06-09 2017-11-06 재단법인대구경북과학기술원 A human detecting apparatus and method using a lidar sensor and a radar sensor
US20190004160A1 (en) * 2017-06-30 2019-01-03 Delphi Technologies, Inc. Lidar sensor alignment system
KR102090487B1 (en) * 2018-03-13 2020-03-18 재단법인대구경북과학기술원 An object detecting apparatus and method using fusion sensor

Also Published As

Publication number Publication date
KR20220048403A (en) 2022-04-19
WO2022080549A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
KR102233395B1 (en) Augmented reality interactive sports apparatus using lidar sensors
US20220088476A1 (en) Tracking hand gestures for interactive game control in augmented reality
CN106233227B (en) Game device with volume sensing
US20180095542A1 (en) Object Holder for Virtual Reality Interaction
US9891435B2 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
US8388146B2 (en) Anamorphic projection device
US10831028B2 (en) Tracking using retroreflectors mounted on a head-mounted display
JPH09134250A (en) Tracking method for apparatus posture
US8730210B2 (en) Multipoint source detection in a scanned beam display
US20180361232A1 (en) Active retroreflectors for head-mounted display tracking
US10816799B2 (en) Head-mounted display tracking using corner reflectors
US11272155B2 (en) Depth sculpturing of three-dimensional depth images utilizing two-dimensional input selection
Ahuja et al. Pose-on-the-go: Approximating user pose with smartphone sensor fusion and inverse kinematics
US11663992B2 (en) Fade-in user interface display based on finger distance or hand proximity
KR102464094B1 (en) Motion tracking apparatus with dual lidar sensor
KR102476285B1 (en) Method for measuring individual exercise amount using augmented reality interactive sports apparatus
US20040001074A1 (en) Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
EP3673348B1 (en) Data processing device, method and non-transitory machine-readable medium for detecting motion of the data processing device
KR102430084B1 (en) Augmented reality interactive sports system using lidar sensors
TWI835289B (en) Virtual and real interaction method, computing system used for virtual world, and virtual reality system
US20220182777A1 (en) Augmented reality spatial audio experience
Ishikawa et al. Dynamic Information Space Based on High-Speed Sensor Technology
KR20220048405A (en) Circuit training providing method using augmented reality interactive sports apparatus
Kim et al. Development of real-time motion capture system for 3D on-line games linked with virtual character
EP3398028A1 (en) System and method for human computer interaction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant