WO2022080549A1 - 이중 라이다 센서 구조의 모션 트래킹 장치 - Google Patents

이중 라이다 센서 구조의 모션 트래킹 장치 Download PDF

Info

Publication number
WO2022080549A1
WO2022080549A1 PCT/KR2020/014931 KR2020014931W WO2022080549A1 WO 2022080549 A1 WO2022080549 A1 WO 2022080549A1 KR 2020014931 W KR2020014931 W KR 2020014931W WO 2022080549 A1 WO2022080549 A1 WO 2022080549A1
Authority
WO
WIPO (PCT)
Prior art keywords
lidar sensor
user
motion tracking
motion
sensor unit
Prior art date
Application number
PCT/KR2020/014931
Other languages
English (en)
French (fr)
Inventor
유왕윤
Original Assignee
(주)투핸즈인터랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)투핸즈인터랙티브 filed Critical (주)투핸즈인터랙티브
Publication of WO2022080549A1 publication Critical patent/WO2022080549A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form

Definitions

  • the present invention relates to a motion tracking device, and more particularly, to a motion tracking device having a dual lidar sensor structure.
  • Patent Publication No. 10-2020-0082990 (Title of the invention: fitness management method through VR sports) and the like have been disclosed.
  • the conventional technology for enjoying sports using virtual reality has a limitation in that it is difficult to obtain a sufficient exercise effect due to inconvenient operation because the VR device must be worn on the head.
  • fitness or VR sports are not suitable for cultivating the cooperative spirit of children and adolescents because they are limited in their use for the purpose of improving physical strength and education of children and adolescents, and are usually performed alone.
  • the present invention has been proposed to solve the above problems of the previously proposed methods, and by tracking user motion using two lidar sensors in which the laser scanning area overlaps each other, it is fast and fast even when there are several users in the scanning area.
  • An object of the present invention is to provide a motion tracking device having a dual lidar sensor structure, which can accurately track each user's motion at the same time.
  • the present invention is a dual lidar sensor structure that can accurately track motion including the user's step by tracking changes in the number and position of the user's feet using the signals detected by the two lidar sensors. It is another object to provide a motion tracking device.
  • a motion tracking device of a dual lidar sensor structure for achieving the above object,
  • a motion tracking device comprising:
  • a first lidar sensor unit for laser scanning a plane of a predetermined height from the ground
  • a second lidar sensor unit installed to be spaced apart from the first lidar sensor unit and configured to laser scan a second scanning area partially overlapping with a first scanning area scanned by the first lidar sensor unit;
  • It is characterized in that it includes a motion tracking unit for tracking a user motion by tracking a change in a user's position by using the signal detected by the first lidar sensor unit and the second lidar sensor unit.
  • the motion tracking unit Preferably, the motion tracking unit, the motion tracking unit, and
  • the user's motion may be tracked by tracking a change in the user's foot position.
  • the motion tracking unit More preferably, the motion tracking unit,
  • a detection module for detecting the number and position of the user's feet by using the signals detected by the first lidar sensor unit and the second lidar sensor unit;
  • the detection module may include a change tracking module for tracking the user's motion by tracking changes in the number and position of the user's feet detected by the detection module.
  • the change tracking module comprises:
  • the user's step may be tracked from the change in the number of the user's feet and the position of the feet.
  • the predetermined height More preferably, the predetermined height
  • the motion tracking unit Preferably, the motion tracking unit, the motion tracking unit, and
  • a user motion in a motion tracking area in which the first scanning area of the first lidar sensor unit and the second scanning area of the second lidar sensor unit overlap may be tracked.
  • the first lidar sensor unit and the second lidar sensor unit are preferably identical to the first lidar sensor unit and the second lidar sensor unit,
  • an optical transmission module for generating and irradiating a laser
  • a light receiving module for focusing the light signal scattered by the user's body
  • the motion tracking unit calculates the motion tracking unit
  • a user's motion may be tracked using the sensed optical signal.
  • the second lidar sensor unit Preferably, the second lidar sensor unit, the second lidar sensor unit, and
  • the laser scanning height is different from that of the first lidar sensor unit, and may be spaced apart to face the same direction.
  • each User motion can be tracked at the same time.
  • FIG. 1 is a diagram showing the configuration of a motion tracking device of a dual lidar sensor structure according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a detailed configuration of a first lidar sensor unit and a second lidar sensor unit in a motion tracking device having a dual lidar sensor structure according to an embodiment of the present invention
  • 3 and 4 are diagrams for explaining user motion tracking by a single lidar sensor structure.
  • FIG. 5 is a diagram illustrating user motion tracking by a motion tracking device having a dual lidar sensor structure according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a detailed configuration of a motion tracking unit in a motion tracking device having a dual lidar sensor structure according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a step recognition algorithm of a change tracking module in a motion tracking device having a dual lidar sensor structure according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating the configuration of an augmented reality interactive sports device to which a motion tracking device having a dual lidar sensor structure is applied according to an embodiment of the present invention.
  • FIG. 9 is a view showing, for example, an augmented reality interactive sports device to which a motion tracking device having a dual lidar sensor structure according to an embodiment of the present invention is applied.
  • the motion tracking apparatus 100 having a dual lidar sensor structure according to an embodiment of the present invention includes a first lidar sensor unit 110 , a second lidar sensor unit 120 and It may be configured to include a motion tracking unit 130 .
  • the first lidar sensor unit 110 may perform laser scanning on a plane having a predetermined height from the ground.
  • the second lidar sensor unit 120 is installed to be spaced apart from the first lidar sensor unit 110 and partially overlaps with the first scanning area where the first lidar sensor unit 110 performs laser scanning.
  • the scanning area may be laser scanned. More specifically, the second lidar sensor unit 120 has a different laser scanning height from the first lidar sensor unit 110 , and may be installed to face the same direction.
  • a lidar sensor is a device that precisely draws out the surroundings by emitting a laser pulse, receiving the light reflected from the surrounding target, and measuring the distance to the object.
  • the lidar sensor constituting the first lidar sensor unit 110 and the second lidar sensor unit 120 may be RP Lidar A3, and the laser scanning range may be about 20 m. Detailed configurations of the first lidar sensor unit 110 and the second lidar sensor unit 120 will be described in detail later with reference to FIG. 2 .
  • the motion tracking unit 130 may track a user motion by tracking a change in a user's position using signals detected by the first lidar sensor unit 110 and the second lidar sensor unit 120 . More specifically, the motion tracking unit 130 may track the user's motion by tracking a change in the user's foot position. That is, the first lidar sensor unit 110 and the second lidar sensor unit 120 may detect the presence and location of the user's foot by laser scanning a plane of a predetermined height from the ground, and the motion tracking unit 130 ) can track the position change of the user's foot as the user's motion. At this time, the predetermined height may be 1 cm or more and 20 cm or less, and more specifically, may be about 5 cm. A detailed configuration of the motion tracking unit 130 will be described in detail later with reference to FIG. 7 .
  • FIG. 2 shows detailed configurations of the first lidar sensor unit 110 and the second lidar sensor unit 120 in the motion tracking apparatus 100 having a dual lidar sensor structure according to an embodiment of the present invention.
  • the first lidar sensor unit 110 and the second lidar sensor unit 120 of the motion tracking device 100 having a dual lidar sensor structure according to an embodiment of the present invention include, Light focused by the light transmitting modules 111 and 121 for generating and irradiating a laser, the light receiving modules 112 and 122 for focusing the optical signal scattered by the user's body, and the light receiving modules 112 and 122 It may be configured to include the optical sensing modules 113 and 123 for detecting a signal, and the motion tracking unit 130 may track the user's motion using the detected optical signal.
  • a high-speed camera sensor As a conventional user motion tracking method, sensing using a camera has been widely used.
  • a high-speed camera sensor a 3D depth camera sensor, a Kinetic camera sensor, or the like may be used.
  • the high-speed camera sensor can be used for virtual reality exercise, etc.
  • continuous tracking In order to process data, continuous tracking is impossible, it must be used by one person at a fixed location, and there are limitations that require a separate object.
  • the 3D depth camera sensor detects and uses a change value at a specific depth, an event must be generated at a specific depth, only a small number of 1 to 10 people can use it at the same time, and there is a limitation that a separate object is required.
  • the Kinect camera sensor detects the motion of a subject. Due to the camera angle of view, the sensing range is narrow, so you have to exercise in a fixed position, so the range of activity is narrow, and there is a limit that only one person can use it at a time.
  • the motion tracking apparatus 100 having a dual lidar sensor structure which can solve the problems of the prior art as described above, includes two lidar sensor units (first lidar sensor unit 110). ) and the second lidar sensor unit 120) and the motion tracking unit 130, it is possible to track the motion of a moving user without wearing a separate object or device.
  • first lidar sensor unit 110 the first lidar sensor unit 110
  • second lidar sensor unit 120 the second lidar sensor unit 120
  • the motion tracking unit 130 since the range of motion tracking is wide, it is possible to track the user's movement even if the user is moving and exercising.
  • the motion tracking unit 130 can track the positions of 1 to 30 people at the same time, it can be applied to group sports content, etc., and thus has a wide range of use.
  • the motion tracking apparatus 100 having a dual lidar sensor structure is a dual lidar sensor including a first lidar sensor unit 110 and a second lidar sensor unit 120 .
  • Structures can be used to track user motion. That is, by adopting a dual lidar sensor structure including two lidar sensor units 110 and 120, tracking failure due to the relative positions of a plurality of users is avoided, and the positions of multiple users can be accurately identified without interference.
  • 3 and 4 are diagrams for explaining user motion tracking by a single lidar sensor structure.
  • a laser scanning shadow is generated that the laser cannot reach because it is obscured by an object, and an object located in the laser scanning shade cannot be detected.
  • FIG. 3 if the positions of two users do not overlap, there is no problem in motion tracking of each user.
  • FIG. 4 if Player B is located in the laser scanning shadow of Player A, tracking of Player B becomes impossible.
  • the motion tracking apparatus 100 having a dual lidar sensor structure according to an embodiment of the present invention includes a first lidar sensor unit 110 and a second lidar sensor unit 120 , Since two lidar sensors are used, the laser scanning shadow area by the first lidar sensor unit 110 is scanned by the second lidar sensor unit 120, so motion tracking of multiple users can be simultaneously performed without interference. can That is, as shown in FIG. 5 , even if Player B is located in the laser scanning shadow by the first lidar sensor unit 110 of Player A, the motion of Player B is controlled by the second lidar sensor unit 120 . can be tracked. Accordingly, the problem as described above in FIGS. 3 and 4 does not occur.
  • the first scanning area and the second laser scanning area of the first lidar sensor unit 110 are scanned.
  • a portion of the second scanning area that the lidar sensor unit 120 laser scans may overlap.
  • the motion tracking unit 130 may track a user motion in the motion tracking area 20 where the first scanning area and the second scanning area overlap, and in the motion tracking area 20, two lidar sensor units ( 110 and 120) complement each other to effectively track the motions of a plurality of users, respectively.
  • the first lidar sensor unit 110 and the second lidar sensor unit 10 may be spaced apart to face the same direction. More specifically, the two lidar sensor units 110 and 120 may be installed to be spaced apart by about 150 to 500 cm, in particular, may be installed to be spaced apart by about 250 cm.
  • first lidar sensor unit 110 and the second lidar sensor unit 120 may be installed to face the same direction in parallel as shown in FIG. 5 , but may be installed to face each other. If the first scanning area and the second scanning area partially overlap and complement each other, the relative positions of the two lidar sensor units may be variously implemented. In addition, the first lidar sensor unit 110 and the second lidar sensor unit 120 may have different laser scanning heights to detect the user's position without interference.
  • FIG. 6 is a diagram illustrating a detailed configuration of the motion tracking unit 130 in the motion tracking apparatus 100 having a dual lidar sensor structure according to an embodiment of the present invention.
  • the motion tracking unit 130 of the motion tracking device 100 having a dual lidar sensor structure according to an embodiment of the present invention includes a detection module 131 and a change tracking module 132 . may be included.
  • the detection module 131 may detect the number and position of the user's feet by using the signals detected by the first lidar sensor unit 110 and the second lidar sensor unit 120 . That is, using the signal scanned by the first lidar sensor unit 110 and the second lidar sensor unit 120 at a height of about 5 cm from the ground, the number of the user's feet is set to 1 or 2, and the position of each foot is set to 2 It can be detected in dimensional or three-dimensional coordinates.
  • the change tracking module 132 may track the user's motion by tracking changes in the number and position of the user's feet detected by the detection module 131 .
  • the change tracking module 132 compares the number and position of the feet detected in the previous scanning with the number and position of the feet detected in the current scanning to track the change, so as to determine whether the user walks or runs. It is possible to track user motion including a trajectory according to the type and position change. More specifically, the change tracking module 132 may track the user's steps from the change in the number and position of the user's feet.
  • FIG. 7 is a diagram illustrating a step recognition algorithm of the change tracking module 132 in the motion tracking apparatus 100 of the dual lidar sensor structure according to an embodiment of the present invention.
  • the change tracking module 132 of the motion tracking unit 130 uses the number of feet (F1) and the position of the feet (P1) as the reference values, and the number of feet (F2) and the position of the feet (P2) according to the current scanning as change values, the user's step can be tracked by comparing the reference value and the change value.
  • the number of feet F2 and the foot position P2 of the current scanning may be stored as F1 and P1, respectively, so that they become reference values for the next scanning, so that step recognition for the next scanning may be performed.
  • the change tracking module 132 may first compare the number of feet, and if there is a difference in the number of feet between the previous scanning and the current scanning, and the number of feet increases, it may be determined as one step. On the other hand, if there is no difference in the number of feet between the previous scanning and the current scanning, it may be determined as one step if the positions of the feet are changed by comparing the positions of the respective feet.
  • the motion tracking apparatus 100 of the dual lidar sensor structure proposed in the present invention by tracking user motion using two lidar sensors in which the laser scanning region overlaps each other, several It can track each user's motion at the same time quickly and accurately even when there is a user.
  • FIG. 8 is a diagram illustrating the configuration of an augmented reality interactive sports device 10 to which the motion tracking device 100 having a dual lidar sensor structure is applied according to an embodiment of the present invention
  • FIG. 9 is an embodiment of the present invention. It is a diagram illustrating, for example, the appearance of the augmented reality interactive sports device 10 to which the motion tracking device 100 of the dual lidar sensor structure according to the present invention is applied.
  • the motion tracking device 100 having a dual lidar sensor structure according to an embodiment of the present invention may be applied to the augmented reality interactive sports device 10 .
  • the augmented reality interactive device includes a main body 11, a projector unit 12, a sensor connection unit 13, a control unit 14, a communication unit 15, a display unit 16, and a speaker unit 17 in addition to the motion tracking device 100. It may be composed of
  • the main body 11 may be a frame constituting the body of the augmented reality interactive sports device 10 , and may include a computer device including the control unit 14 on an inner surface thereof.
  • the body 11 may have a rectangular parallelepiped shape as shown in FIG. 9 , but a specific shape or shape may be variously implemented.
  • the projector unit 12 is provided on the front side of the main body 11 and can project an image for sports content on the floor surface. 9, the projector is installed on the front of the main body 11, the user can receive sports content in front of the main body 11, and the projector is directed to project the image on the floor rather than the wall. Can be adjusted and installed.
  • the projector unit 12 can project a rectangular projection area on the floor surface.
  • a display device such as a monitor, portable terminal, or TV can be used.
  • Various sports contents can be provided by utilizing a much wider projection area than ever before.
  • the projected area may be 4.5m x 2.6m in size.
  • the projector unit 12 may project the image by correcting the distortion so that the shape of the projection area is not distorted in a rhombic shape or the like but is a right-angled rectangle.
  • the motion tracking area 20 is wide, so that the user can use the floor surface including the projection area of the projector unit 12 sufficiently. You can move around and exercise.
  • the sensor connection unit 13 is a configuration that connects the main body 11 and the motion tracking device 100 , and may connect the two lidar sensor units 110 and 120 to be spaced apart by a predetermined distance. More specifically, as shown in FIG. 9 , the sensor connection part 13 may be connected to both sides of the body 11 in the form of a bar, and the length of the sensor connection part 13 is about 80 to 120 cm, more specifically can be 100 cm.
  • the control unit 14 outputs sports contents through the projector unit 12 to provide sports contents based on augmented reality to the user, but uses the user motion tracked by the motion tracking device 100 to interact between the sports contents and the user. action can be controlled. That is, the controller 14 may convert the user motion tracked by the motion tracking device 100 into an input signal of the sports content and transmit it so that the user and the sports content can interact.
  • the communication unit 15 communicates with the trainer terminal, provides the user's sports content usage information to the trainer terminal, receives a control signal from the trainer terminal, and transmits it to the control unit 14, thereby providing non-contact training to the user can do.
  • the communication unit 15 is a Wi-Fi (Wireless Fidelity) capable of Internet access, a mobile radio communication network, a satellite communication network, Bluetooth (Bluetooth), Wibro (Wireless Broadband Internet), 3G / 4G / 5G It may be understood that various wireless communication schemes including (3/4/5th Generation Mobile Telecommunication) and Long Term Evolution (LTE) are applied.
  • the display unit 16 is provided on the front side of the main body 11 , and may receive a sports content selection signal and output play information related to the sports content. That is, as shown in FIG. 9 , the display unit 16 may be located on the front side of the main body 11 so that the user can input or read user information and select sports content to enable various input and output. It may be implemented as a touch screen.
  • the speaker unit 17 may output a sound related to sports content.
  • the speaker may be installed on the front or side of the main body 11 , and the volume may be adjusted through the display unit 16 .
  • the augmented reality interactive sports device 10 may receive a control signal from the trainer terminal through the communication unit 15 to provide a training service remotely.
  • the trainer installs an application in the terminal, receives and checks the user's exercise data from the augmented reality interactive sports device 10, and recommends appropriate sports content to each user or coaches exercise posture, exercise time, etc. training data can provide
  • the trainer terminal may be implemented as an electronic device.
  • Electronic devices include smartphones, tablet personal computers (PCs), mobile phones, video phones, e-book readers, desktop PCs, laptop PCs, netbook computers, workstations, It may include at least one of a server, a personal digital assistant (PDA), a media box, a game console, an electronic dictionary, or a wearable device, and the wearable device is an accessory type (eg, watch, ring, bracelet, Anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices (HMDs), integral fabrics or garments (such as electronic garments), body-mounted (such as skin pads or tattoos) , or at least one of an implantable circuit
  • the electronic device is not limited to the above-described devices, and may be a combination of two or more of the above-described various devices.
  • the communication unit 15 may output a real-time trainer image received from the trainer terminal. That is, by outputting the real-time trainer image to the display unit 16 and the speaker unit 17, the user and the trainer can remotely see faces and provide or receive training services without direct face-to-face contact.
  • a camera may be provided on the front of the main body 11 to photograph a user using sports content, and the captured image may be transmitted to the trainer terminal using the communication unit 15 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명에서 제안하고 있는 이중 라이다 센서 구조의 모션 트래킹 장치에 따르면, 레이저 스캐닝 영역이 서로 중첩되는 두 개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 스캐닝 영역에 여러 사용자가 있을 때도 빠르고 정확하게 각각의 사용자 모션을 동시에 트래킹할 수 있다. 또한, 본 발명에 따르면, 두 개의 라이다 센서에서 감지된 신호를 이용해 사용자의 발 개수 및 발 위치의 변화를 추적함으로써, 사용자의 스텝을 포함하는 모션을 정확하게 트래킹할 수 있다.

Description

이중 라이다 센서 구조의 모션 트래킹 장치
본 발명은 모션 트래킹 장치에 관한 것으로서, 보다 구체적으로는 이중 라이다 센서 구조의 모션 트래킹 장치에 관한 것이다.
과학이 발달하면서 현대인의 신체 활동이 감소하고, 대다수 현대인에게서 운동 부족 현상이 발생하고 있다. 특히, 비만과 같은 성인병에 해당하는 인구가 지속적으로 증가하고 있다. 또한, 급격한 날씨 변화와 환경오염, 미세먼지, 전염성 질병 등으로 야외 활동이 제한되면서, 실내에서 충분한 신체 활동을 할 수 있는 운동에 관한 관심이 높아지고 있다.
이에 따라 가상현실이나 증강현실을 이용해 실내에서 스포츠를 즐길 수 있는 기술이 개발되기도 했다. 관련된 선행기술로서, 공개특허 제10-2020-0082990호(발명의 명칭: VR 스포츠를 통한 피트니스 관리방법) 등이 개시된 바 있다.
그러나 종래의 가상현실을 이용해 스포츠를 즐길 수 있는 기술은, VR 장치를 머리에 착용해야 하므로 동작이 불편하여 충분한 운동 효과를 얻기 힘든 한계가 있다. 뿐만 아니라, 피트니스나 VR 스포츠는 어린이와 청소년의 체력 증진 및 교육 목적으로 사용하기에는 한계가 있고, 대체로 혼자 운동을 하는 것이므로 어린이와 청소년의 협동심을 기르는 데에는 적합하지 않다.
또한, 종래기술에서는 카메라 센싱을 이용해 사용자 모션을 인식하는데, 카메라 센싱을 이용하면 여러 사용자의 모션을 동시에 인식할 수 없으므로, 한 명씩 이용할 수밖에 없고, 여러 사용자가 함께 스포츠를 즐기기는 어려운 문제가 있었다. 또는 별도의 오브젝트를 이용해야 하므로 스포츠의 종류가 한정되는 문제가 있었다.
따라서 종래의 카메라 센싱을 이용한 사용자 모션 인식의 한계를 극복하기 위한 모션 트래킹 기술의 개발이 필요한 실정이다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 레이저 스캐닝 영역이 서로 중첩되는 두 개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 스캐닝 영역에 여러 사용자가 있을 때도 빠르고 정확하게 각각의 사용자 모션을 동시에 트래킹할 수 있는, 이중 라이다 센서 구조의 모션 트래킹 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 두 개의 라이다 센서에서 감지된 신호를 이용해 사용자의 발 개수 및 발 위치의 변화를 추적함으로써, 사용자의 스텝을 포함하는 모션을 정확하게 트래킹할 수 있는, 이중 라이다 센서 구조의 모션 트래킹 장치를 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 이중 라이다 센서 구조의 모션 트래킹 장치는,
모션 트래킹 장치로서,
지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝하는 제1 라이다 센서부;
상기 제1 라이다 센서부와 이격되어 설치되며, 상기 제1 라이다 센서부가 레이저 스캐닝하는 제1 스캐닝 영역과 일부가 중첩되는 제2 스캐닝 영역을 레이저 스캐닝하는 제2 라이다 센서부; 및
상기 제1 라이다 센서부 및 제2 라이다 센서부에서 감지된 신호를 이용해, 사용자 위치 변화를 추적하여 사용자 모션을 트래킹하는 모션 트래킹부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 모션 트래킹부는,
사용자의 발 위치 변화를 추적하여 상기 사용자 모션을 트래킹할 수 있다.
더욱 바람직하게는, 상기 모션 트래킹부는,
상기 제1 라이다 센서부 및 제2 라이다 센서부에서 감지된 신호를 이용해, 사용자의 발 개수 및 발 위치를 탐지하는 탐지 모듈; 및
상기 탐지 모듈에서 탐지된 사용자의 발 개수 및 발 위치의 변화를 추적해 사용자 모션을 트래킹하는 변화 추적 모듈을 포함할 수 있다.
더더욱 바람직하게는, 상기 변화 추적 모듈은,
상기 사용자의 발 개수 및 발 위치의 변화로부터 사용자의 스텝을 추적할 수 있다.
더욱 바람직하게는, 상기 미리 정해진 높이는,
1㎝ 이상 20㎝ 이하일 수 있다.
바람직하게는, 상기 모션 트래킹부는,
상기 제1 라이다 센서부의 제1 스캐닝 영역과 상기 제2 라이다 센서부의 제2 스캐닝 영역이 중첩되는 모션 트래킹 영역 내의 사용자 모션을 트래킹할 수 있다.
바람직하게는, 상기 제1 라이다 센서부 및 제2 라이다 센서부는,
레이저를 생성 및 조사하는 광 송신 모듈;
상기 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈; 및
상기 광 수신 모듈에 의해 집속된 광신호를 감지하는 광 감지 모듈을 포함하며,
상기 모션 트래킹부는,
상기 감지된 광신호를 이용해 사용자 모션을 트래킹할 수 있다.
바람직하게는, 상기 제2 라이다 센서부는,
상기 제1 라이다 센서부와 레이저 스캐닝 높이가 상이하며, 같은 방향을 향하도록 이격 설치될 수 있다.
본 발명에서 제안하고 있는 이중 라이다 센서 구조의 모션 트래킹 장치에 따르면, 레이저 스캐닝 영역이 서로 중첩되는 두 개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 스캐닝 영역에 여러 사용자가 있을 때도 빠르고 정확하게 각각의 사용자 모션을 동시에 트래킹할 수 있다.
또한, 본 발명에 따르면, 두 개의 라이다 센서에서 감지된 신호를 이용해 사용자의 발 개수 및 발 위치의 변화를 추적함으로써, 사용자의 스텝을 포함하는 모션을 정확하게 트래킹할 수 있다.
도 1은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치에서, 제1 라이다 센서부 및 제2 라이다 센서부의 세부적인 구성을 도시한 도면.
도 3 및 도 4는 싱글 라이다 센서 구조에 의한 사용자 모션 트래킹을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치에 의한 사용자 모션 트래킹을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치에서, 모션 트래킹부의 세부적인 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치에서, 변화 추적 모듈의 스텝 인식 알고리즘을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치가 적용된 증강현실 인터랙티브 스포츠 장치의 구성을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치가 적용된 증강현실 인터랙티브 스포츠 장치의 모습을 예를 들어 도시한 도면.
<부호의 설명>
10: 증강현실 인터랙티브 스포츠 장치
11: 본체
12: 프로젝터부
13: 센서 연결부
14: 제어부
15: 통신부
16: 디스플레이부
17: 스피커부
20: 모션 트래킹 영역
100: 모션 트래킹 장치
110: 제1 라이다 센서부
111, 121: 광 송신 모듈
112, 122: 광 수신 모듈
113, 123: 광 감지 모듈
120: 제2 라이다 센서부
130: 모션 트래킹부
131: 탐지 모듈
132: 변화 추적 모듈
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 제1 라이다 센서부(110), 제2 라이다 센서부(120) 및 모션 트래킹부(130)를 포함하여 구성될 수 있다.
제1 라이다 센서부(110)는, 지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝할 수 있다.
제2 라이다 센서부(120)는, 제1 라이다 센서부(110)와 이격되어 설치되며, 제1 라이다 센서부(110)가 레이저 스캐닝하는 제1 스캐닝 영역과 일부가 중첩되는 제2 스캐닝 영역을 레이저 스캐닝할 수 있다. 보다 구체적으로, 제2 라이다 센서부(120)는, 제1 라이다 센서부(110)와 레이저 스캐닝 높이가 상이하며, 같은 방향을 향하도록 이격 설치될 수 있다.
라이다 센서는 레이저 펄스를 발사하고, 그 빛이 주위의 대상 물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려내는 장치이다. 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)를 구성하는 라이다 센서는, RP Lidar A3일 수 있으며, 레이저 스캐닝 범위는 20m 정도일 수 있다. 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)의 세부적인 구성에 대해서는 추후 도 2를 참조하여 상세히 설명하도록 한다.
모션 트래킹부(130)는, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)에서 감지된 신호를 이용해, 사용자 위치 변화를 추적하여 사용자 모션을 트래킹할 수 있다. 보다 구체적으로, 모션 트래킹부(130)는, 사용자의 발 위치 변화를 추적하여 사용자 모션을 트래킹할 수 있다. 즉, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)는 지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝하여 사용자 발의 존재 여부 및 위치를 검출할 수 있는데, 모션 트래킹부(130)는 사용자 발의 위치 변화를 사용자 모션으로 추적할 수 있다. 이때, 미리 정해진 높이는, 1㎝ 이상 20㎝ 이하일 수 있으며, 보다 구체적으로는 5㎝ 정도일 수 있다. 모션 트래킹부(130)의 세부적인 구성에 대해서는 추후 도 7을 참조하여 상세히 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에서, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)의 세부적인 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)의 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)는, 레이저를 생성 및 조사하는 광 송신 모듈(111, 121), 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈(112, 122), 및 광 수신 모듈(112, 122)에 의해 집속된 광신호를 감지하는 광 감지 모듈(113, 123)을 포함하여 구성될 수 있고, 모션 트래킹부(130)는, 감지된 광신호를 이용해 사용자 모션을 트래킹할 수 있다.
기존의 사용자 모션 트래킹 방식으로는, 카메라를 이용한 센싱이 많이 사용되었다. 예를 들어, 초고속 카메라 센서, 3D 뎁스 카메라 센서, 키넥트 카메라 센서(Kinetic camera sensor) 등을 사용할 수 있다. 초고속 카메라 센서는 가상현실 운동 등에 사용될 수 있는데, 데이터 처리를 하기 위해서는 연속적인 트래킹이 불가능하고, 정해진 위치에서 1명씩 사용해야 하며, 별도의 오브젝트가 필요한 한계가 있다. 3D 뎁스 카메라 센서는, 특정 심도(depth)에서의 변화 값을 검출해 사용하기 때문에 특정 심도에서 이벤트를 발생시켜야 하고, 1~10명 정도의 소수만 동시에 이용할 수 있으며, 별도의 오브젝트가 필요한 한계가 있다. 키넥트 카메라 센서는 피사체의 모션을 검출하는데, 카메라 화각 때문에 센싱 범위가 좁아서 정해진 위치에서 운동해야 하므로 활동 범위가 좁으며, 한 번에 1명만 사용할 수 있는 한계가 있다.
전술한 바와 같은 종래기술의 문제를 해결할 수 있는, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 두 개의 라이다 센서부(제1 라이다 센서부(110) 및 제2 라이다 센서부(120))와 모션 트래킹부(130)를 포함함으로써, 별도의 오브젝트나 장치 착용 없이 움직이는 사용자의 모션을 트래킹할 수 있다. 특히, 모션 트래킹이 가능한 범위가 넓어서 사용자들이 여기저기 이동하며 운동하더라도 사용자 움직임을 추적할 수 있다. 또한, 모션 트래킹부(130)가 1~30명의 위치를 동시에 트래킹할 수 있으므로, 단체 스포츠 콘텐츠 등에도 적용할 수 있어서 그 활용 범위가 넓은 장점이 있다.
특히, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)를 포함하는 이중 라이다 센서 구조를 이용해 사용자 모션을 트래킹할 수 있다. 즉, 두 개의 라이다 센서부(110, 120)를 포함하는 이중 라이다 센서 구조를 채택하여, 복수 사용자들의 상대적 위치로 인한 트래킹 실패를 회피하고, 여러 사용자의 위치를 간섭 없이 정확하게 파악할 수 있다.
도 3 및 도 4는 싱글 라이다 센서 구조에 의한 사용자 모션 트래킹을 설명하기 위해 도시한 도면이다. 라이다 센서를 사용하는 경우 오브젝트에 의해 가려져 레이저가 도달하지 못하는 레이저 스캐닝 그늘이 발생하게 되는데, 레이저 스캐닝 그늘에 위치한 오브젝트는 탐지가 불가능하다. 하나의 라이다를 사용하는 싱글 라이다 센서 구조에서도, 도 3에 도시된 바와 같이 두 사용자의 위치가 중복되지 않으면 각각의 사용자의 모션 트래킹에 문제가 없다. 그러나 도 4에 도시된 바와 같이, Player B가 Player A의 레이저 스캐닝 그늘에 위치하면 Player B는 트래킹이 불가능하게 된다.
도 5는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에 의한 사용자 모션 트래킹을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 제1 라이다 센서부(110)와 제2 라이다 센서부(120), 두 개의 라이다 센서를 사용하기 때문에, 제1 라이다 센서부(110)에 의한 레이저 스캐닝 그늘 영역이 제2 라이다 센서부(120)에 의해 스캐닝되므로, 간섭 없이 복수 사용자의 모션 트래킹을 동시에 할 수 있다. 즉, 도 5에 도시된 바와 같이, Player B가 Player A의 제1 라이다 센서부(110)에 의한 레이저 스캐닝 그늘에 위치하더라도, Player B의 모션은 제2 라이다 센서부(120)에 의해 트래킹될 수 있다. 따라서 도 3 및 도 4에서 전술한 바와 같은 문제가 발생하지 않는다.
이와 같이, 제1 라이다 센서부(110)와 제2 라이다 센서부(120)가 상호 보완을 할 수 있도록, 제1 라이다 센서부(110)가 레이저 스캐닝하는 제1 스캐닝 영역과 제2 라이다 센서부(120)가 레이저 스캐닝하는 제2 스캐닝 영역은, 도 5에 도시된 바와 같이 일부가 중첩될 수 있다. 모션 트래킹부(130)는, 제1 스캐닝 영역과 제2 스캐닝 영역이 중첩되는 모션 트래킹 영역(20) 내의 사용자 모션을 트래킹할 수 있으며, 모션 트래킹 영역(20) 내에서는 두 개의 라이다 센서부(110, 120)가 상호 보완하여 복수 사용자의 모션을 각각 효과적으로 추적할 수 있다.
한편, 도 5에 도시된 바와 같이, 제1 라이다 센서부(110)와 제2 라이다 센서부(10)는 같은 방향을 향하도록 이격 설치될 수 있다. 보다 구체적으로, 두 라이다 센서부(110, 120)는 150~500㎝ 정도 이격 설치될 수 있으며, 특히 250㎝ 정도로 이격 설치될 수 있다.
또한, 제1 라이다 센서부(110)와 제2 라이다 센서부(120)는, 도 5에 도시된 바와 같이 나란하게 같은 방향을 향하도록 설치될 수 있으나, 마주 보도록 설치될 수도 있으며, 제1 스캐닝 영역과 제2 스캐닝 영역이 일부 중첩되어 상호 보완할 수 있다면, 두 라이다 센서부의 상대적인 위치는 다양하게 구현될 수 있다. 또한, 제1 라이다 센서부(110)와 제2 라이다 센서부(120)는, 레이저 스캐닝 높이를 상이하게 설치하여, 간섭 없이 사용자 위치를 탐지할 수 있다.
도 6은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에서, 모션 트래킹부(130)의 세부적인 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)의 모션 트래킹부(130)는, 탐지 모듈(131) 및 변화 추적 모듈(132)을 포함하여 구성될 수 있다.
탐지 모듈(131)은, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)에서 감지된 신호를 이용해, 사용자의 발 개수 및 발 위치를 탐지할 수 있다. 즉, 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)가 지면으로부터 5㎝ 정도 높이에서 스캐닝한 신호를 이용해, 사용자의 발 개수를 1 또는 2로, 각 발의 위치를 2차원 또는 3차원 좌표로 검출할 수 있다.
변화 추적 모듈(132)은, 탐지 모듈(131)에서 탐지된 사용자의 발 개수 및 발 위치의 변화를 추적해 사용자 모션을 트래킹할 수 있다. 변화 추적 모듈(132)은, 이전 스캐닝에서 탐지된 발 개수 및 발 위치와, 현재 스캐닝에서 탐지된 발 개수 및 발 위치를 상호 비교하여 그 변화를 추적함으로써, 사용자가 걷는지, 뛰는지 등의 보행 종류, 위치 변화에 따른 궤적 등을 포함하는 사용자 모션을 트래킹할 수 있다. 보다 구체적으로, 변화 추적 모듈(132)은, 사용자의 발 개수 및 발 위치의 변화로부터 사용자의 스텝을 추적할 수 있다.
도 7은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에서, 변화 추적 모듈(132)의 스텝 인식 알고리즘을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)에서, 모션 트래킹부(130)의 변화 추적 모듈(132)은, 이전 스캐닝에 따른 발 개수(F1)와 발 위치(P1)를 기준값으로 하고, 현재 스캐닝에 따른 발 개수(F2)와 발 위치(P2)를 변화 값으로 하여, 기준값과 변화 값을 비교함으로써 사용자의 스텝을 추적할 수 있다. 현재 스캐닝의 발 개수(F2)와 발 위치(P2)는 다음 스캐닝의 기준값이 되도록 각각 F1과 P1으로 저장하여, 다음 스캐닝에 대한 스텝 인식을 진행할 수 있다.
보다 구체적으로, 변화 추적 모듈(132)은 먼저 발 개수를 비교해 이전 스캐닝과 현재 스캐닝 사이에 발 개수의 차이가 있고, 발 개수가 늘어났으면 1 스텝으로 판단할 수 있다. 반면에, 이전 스캐닝과 현재 스캐닝 사이에 발 개수의 차이가 없으면, 각각의 발 위치를 비교하여 발 위치가 변경되었으면 1 스텝으로 판단할 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 이중 라이다 센서 구조의 모션 트래킹 장치(100)에 따르면, 레이저 스캐닝 영역이 서로 중첩되는 두 개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 스캐닝 영역에 여러 사용자가 있을 때도 빠르고 정확하게 각각의 사용자 모션을 동시에 트래킹할 수 있다.
또한, 본 발명에 따르면, 두 개의 라이다 센서에서 감지된 신호를 이용해 사용자의 발 개수 및 발 위치의 변화를 추적함으로써, 사용자의 스텝을 포함하는 모션을 정확하게 트래킹할 수 있다.
도 8은 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)가 적용된 증강현실 인터랙티브 스포츠 장치(10)의 구성을 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)가 적용된 증강현실 인터랙티브 스포츠 장치(10)의 모습을 예를 들어 도시한 도면이다. 도 8 및 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 증강현실 인터랙티브 스포츠 장치(10)에 적용될 수 있다. 증강현실 인터랙티브 장치는 모션 트래킹 장치(100) 이외에 본체(11), 프로젝터부(12), 센서 연결부(13), 제어부(14), 통신부(15), 디스플레이부(16) 및 스피커부(17)를 포함하여 구성될 수 있다.
본체(11)는, 증강현실 인터랙티브 스포츠 장치(10)의 몸체를 구성하는 프레임일 수 있으며, 내면에 제어부(14)를 포함하는 컴퓨터 장치 등을 구비할 수 있다. 본체(11)는, 도 9에 도시된 바와 같은 직육면체 형태일 수 있으나, 구체적인 형태나 모양은 다양하게 구현될 수 있다.
프로젝터부(12)는, 본체(11)의 전면에 구비되며, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영할 수 있다. 도 9에 도시된 바와 같이, 본체(11)의 전면에 프로젝터가 설치되어, 본체(11)의 앞에서 사용자가 스포츠 콘텐츠를 제공받을 수 있으며, 프로젝터는 벽면이 아닌 바닥면에 영상을 투영하도록 방향을 조정하여 설치될 수 있다.
보다 구체적으로, 프로젝터부(12)는, 바닥면에 직사각형 형태의 투영 영역을 프로젝션할 수 있는데, 프로젝터부(12)를 이용해 바닥면을 충분히 활용함으로써, 모니터나 휴대 단말기, TV 등 디스플레이 장치를 이용할 때보다 훨씬 넓은 투영 영역을 활용해 다양한 스포츠 콘텐츠를 제공할 수 있다. 예를 들어, 투영 영역은 4.5m × 2.6m 크기일 수 있다. 한편, 프로젝터부(12)는 투영 영역의 모양이 마름모꼴 등으로 왜곡되지 않고 직각 사각형이 되도록 왜곡을 보정하여 영상을 투영할 수 있다.
특히, 본 발명의 일실시예에 따른 이중 라이다 센서 구조의 모션 트래킹 장치(100)는, 모션 트래킹 영역(20)이 넓어서 프로젝터부(12)의 투영 영역을 포함하는 바닥면을 충분히 이용해 사용자가 여기저기 이동하며 운동할 수 있다.
센서 연결부(13)는, 본체(11)와 모션 트래킹 장치(100)를 연결하는 구성으로서, 두 개의 라이다 센서부(110, 120)가 미리 정해진 거리만큼 이격되도록 연결할 수 있다. 보다 구체적으로, 도 9에 도시된 바와 같이, 센서 연결부(13)는 바 형태로 본체(11)의 양 측면에 연결될 수 있으며, 센서 연결부(13)의 길이는 80~120㎝ 정도, 보다 구체적으로는 100㎝로 할 수 있다.
제어부(14)는, 프로젝터부(12)를 통해 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 스포츠 콘텐츠를 제공하되, 모션 트래킹 장치(100)에서 트래킹되는 사용자 모션을 이용해 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어할 수 있다. 즉, 제어부(14)는 사용자와 스포츠 콘텐츠가 인터랙션할 수 있도록, 모션 트래킹 장치(100)에서 트래킹되는 사용자 모션을 스포츠 콘텐츠의 입력 신호로 변환해 전달할 수 있다.
통신부(15)는, 트레이너 단말기와 통신을 수행하며, 트레이너 단말기에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 트레이너 단말기로부터 제어 신호를 수신해 제어부(14)에 전달하여, 사용자에게 비접촉 방식의 트레이닝을 제공할 수 있다. 여기서, 통신부(15)는 인터넷 접속이 가능한 와이파이(Wi-Fi, Wireless Fidelity), 이동통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), 3G/4G/5G(3/4/5th Generation Mobile Telecommunication) 및 LTE(Long Term Evolution)를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
디스플레이부(16)는, 본체(11)의 전면에 구비되며, 스포츠 콘텐츠의 선택 신호를 입력받고 스포츠 콘텐츠와 관련된 플레이 정보를 출력할 수 있다. 즉, 도 9에 도시된 바와 같이, 디스플레이부(16)는 본체(11)의 전면에 위치할 수 있으며, 사용자가 사용자의 정보를 입력 또는 열람하고, 스포츠 콘텐츠를 선택하는 등 각종 입출력이 가능하도록 터치스크린으로 구현될 수 있다.
스피커부(17)는, 스포츠 콘텐츠와 관련된 음향을 출력할 수 있다. 스피커는 본체(11)의 전면이나 측면 등에 설치될 수 있으며, 디스플레이부(16)를 통해 볼륨이 조절될 수 있다.
한편, 증강현실 인터랙티브 스포츠 장치(10)는, 통신부(15)를 통해 트레이너 단말기로부터 제어 신호를 수신하여 원격으로 트레이닝 서비스를 제공할 수 있다. 트레이너는 단말기에 애플리케이션을 설치하여, 증강현실 인터랙티브 스포츠 장치(10)로부터 사용자의 운동 데이터를 제공받아 확인할 수 있으며, 각 사용자에게 적절한 스포츠 콘텐츠를 추천하거나 운동 자세, 운동 시간 등을 코칭하는 등 트레이닝 데이터를 제공할 수 있다.
여기서, 트레이너 단말기는 전자 장치로 구현될 수 있다. 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.
한편, 디스플레이부(16) 및 스피커부(17)는, 통신부(15)가 트레이너 단말기로부터 수신한 실시간 트레이너 영상을 출력할 수 있다. 즉, 실시간 트레이너 영상을 디스플레이부(16) 및 스피커부(17)로 출력함으로써, 직접 대면 접촉 없이도 사용자와 트레이너가 원격으로 얼굴을 보고 트레이닝 서비스를 제공하거나 받을 수 있다. 이를 위해 본체(11)의 전면에 카메라를 구비하여 스포츠 콘텐츠를 이용하는 사용자의 모습을 촬영하고, 촬영된 영상을 통신부(15)를 이용해 트레이너 단말기에 전송할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (8)

  1. 모션 트래킹 장치(100)로서,
    지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝하는 제1 라이다 센서부(110);
    상기 제1 라이다 센서부(110)와 이격되어 설치되며, 상기 제1 라이다 센서부(110)가 레이저 스캐닝하는 제1 스캐닝 영역과 일부가 중첩되는 제2 스캐닝 영역을 레이저 스캐닝하는 제2 라이다 센서부(120); 및
    상기 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)에서 감지된 신호를 이용해, 사용자 위치 변화를 추적하여 사용자 모션을 트래킹하는 모션 트래킹부(130)를 포함하는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
  2. 제1항에 있어서, 상기 모션 트래킹부(130)는,
    사용자의 발 위치 변화를 추적하여 상기 사용자 모션을 트래킹하는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
  3. 제2항에 있어서, 상기 모션 트래킹부(130)는,
    상기 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)에서 감지된 신호를 이용해, 사용자의 발 개수 및 발 위치를 탐지하는 탐지 모듈(131); 및
    상기 탐지 모듈(131)에서 탐지된 사용자의 발 개수 및 발 위치의 변화를 추적해 사용자 모션을 트래킹하는 변화 추적 모듈(132)을 포함하는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
  4. 제3항에 있어서, 상기 변화 추적 모듈(132)은,
    상기 사용자의 발 개수 및 발 위치의 변화로부터 사용자의 스텝을 추적하는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
  5. 제2항에 있어서, 상기 미리 정해진 높이는,
    1㎝ 이상 20㎝ 이하인 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
  6. 제1항에 있어서, 상기 모션 트래킹부(130)는,
    상기 제1 라이다 센서부(110)의 제1 스캐닝 영역과 상기 제2 라이다 센서부(120)의 제2 스캐닝 영역이 중첩되는 모션 트래킹 영역(20) 내의 사용자 모션을 트래킹하는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
  7. 제1항에 있어서, 상기 제1 라이다 센서부(110) 및 제2 라이다 센서부(120)는,
    레이저를 생성 및 조사하는 광 송신 모듈(111, 121);
    상기 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈(112, 122); 및
    상기 광 수신 모듈(112, 122)에 의해 집속된 광신호를 감지하는 광 감지 모듈(113, 123)을 포함하며,
    상기 모션 트래킹부(130)는,
    상기 감지된 광신호를 이용해 사용자 모션을 트래킹하는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
  8. 제1항에 있어서, 상기 제2 라이다 센서부(120)는,
    상기 제1 라이다 센서부(110)와 레이저 스캐닝 높이가 상이하며, 같은 방향을 향하도록 이격 설치되는 것을 특징으로 하는, 이중 라이다 센서 구조의 모션 트래킹 장치(100).
PCT/KR2020/014931 2020-10-12 2020-10-29 이중 라이다 센서 구조의 모션 트래킹 장치 WO2022080549A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0131507 2020-10-12
KR1020200131507A KR102464094B1 (ko) 2020-10-12 2020-10-12 이중 라이다 센서 구조의 모션 트래킹 장치

Publications (1)

Publication Number Publication Date
WO2022080549A1 true WO2022080549A1 (ko) 2022-04-21

Family

ID=81208208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/014931 WO2022080549A1 (ko) 2020-10-12 2020-10-29 이중 라이다 센서 구조의 모션 트래킹 장치

Country Status (2)

Country Link
KR (1) KR102464094B1 (ko)
WO (1) WO2022080549A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605282B1 (ko) 2022-08-18 2023-11-23 옥재윤 착용형 센서와 라이다 센서를 이용한 플레이어의 모션 및 위치 트래킹이 가능한 가상 현실 게임 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101784611B1 (ko) * 2016-06-09 2017-11-06 재단법인대구경북과학기술원 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법
KR20170125107A (ko) * 2015-03-25 2017-11-13 웨이모 엘엘씨 다수의 lidar들(light detection and ranging devices)을 갖는 차량
KR20190003411A (ko) * 2017-06-30 2019-01-09 앱티브 테크놀러지스 리미티드 Lidar 센서 정렬 시스템
KR20190108018A (ko) * 2018-03-13 2019-09-23 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170125107A (ko) * 2015-03-25 2017-11-13 웨이모 엘엘씨 다수의 lidar들(light detection and ranging devices)을 갖는 차량
KR101784611B1 (ko) * 2016-06-09 2017-11-06 재단법인대구경북과학기술원 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법
KR20190003411A (ko) * 2017-06-30 2019-01-09 앱티브 테크놀러지스 리미티드 Lidar 센서 정렬 시스템
KR20190108018A (ko) * 2018-03-13 2019-09-23 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIN TAESEOK: "Tracking of Person Walking Pattern and Trajectory Following with 2D Laser Scanner", CHŏN'GI-HAKHOE-NONMUNJI = TRANSACTIONS OF THE KOREAN INSTITUTE OF ELECTRICAL ENGINEERS, TAEHAN CHŏN'GI HAKHOE, KOREA, vol. 67, no. 7, 1 July 2018 (2018-07-01), KOREA , pages 903 - 909, XP055921657, ISSN: 1975-8359, DOI: 10.5370/KIEE.2018.67.7.903 *

Also Published As

Publication number Publication date
KR102464094B1 (ko) 2022-11-09
KR20220048403A (ko) 2022-04-19

Similar Documents

Publication Publication Date Title
WO2022080548A1 (ko) 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치
WO2016021747A1 (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2022092782A1 (ko) 증강현실 인터랙티브 스포츠 장치를 이용한 개인별 운동량 측정 방법
WO2019112114A1 (ko) 글래스 타입 단말기 및 그것의 동작방법
WO2021040076A1 (ko) 전자 디바이스
WO2022080549A1 (ko) 이중 라이다 센서 구조의 모션 트래킹 장치
WO2021040107A1 (ko) Ar 장치 및 그 제어 방법
WO2022050668A1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
WO2020171342A1 (ko) 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2016047824A1 (ko) 화상 정보 영사 장치 및 그 영사 장치의 제어 방법
WO2019054721A1 (ko) 광 디스크를 이용한 운동 게임 시스템
WO2016076461A1 (ko) 웨어러블 디바이스
WO2022086144A1 (ko) 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템
WO2018164317A1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
WO2019004531A1 (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치
WO2022050742A1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
WO2020213783A1 (ko) 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체
WO2018038337A1 (ko) Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법
WO2023204574A1 (ko) 메타버스 스포츠 플랫폼 제공장치
WO2012169693A1 (ko) 영상처리방법 및 영상처리장치
WO2024014592A1 (ko) Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법
WO2023096264A1 (ko) 오토포커싱을 위한 전자 장치 및 그 동작 방법
WO2024005356A1 (ko) 이미지 표시를 위한 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20957794

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18/09/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20957794

Country of ref document: EP

Kind code of ref document: A1