KR102590735B1 - Action Floor Slim Content Provision System Using LiDAR Sensor and D-CAMERA for AR/VR/XR Interactive Sports And the Method Using it - Google Patents

Action Floor Slim Content Provision System Using LiDAR Sensor and D-CAMERA for AR/VR/XR Interactive Sports And the Method Using it Download PDF

Info

Publication number
KR102590735B1
KR102590735B1 KR1020230104494A KR20230104494A KR102590735B1 KR 102590735 B1 KR102590735 B1 KR 102590735B1 KR 1020230104494 A KR1020230104494 A KR 1020230104494A KR 20230104494 A KR20230104494 A KR 20230104494A KR 102590735 B1 KR102590735 B1 KR 102590735B1
Authority
KR
South Korea
Prior art keywords
camera
user
content
lidar
floor
Prior art date
Application number
KR1020230104494A
Other languages
Korean (ko)
Inventor
차현준
Original Assignee
(주)에어패스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에어패스 filed Critical (주)에어패스
Priority to KR1020230104494A priority Critical patent/KR102590735B1/en
Application granted granted Critical
Publication of KR102590735B1 publication Critical patent/KR102590735B1/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16BDEVICES FOR FASTENING OR SECURING CONSTRUCTIONAL ELEMENTS OR MACHINE PARTS TOGETHER, e.g. NAILS, BOLTS, CIRCLIPS, CLAMPS, CLIPS OR WEDGES; JOINTS OR JOINTING
    • F16B7/00Connections of rods or tubes, e.g. of non-circular section, mutually, including resilient connections
    • F16B7/10Telescoping systems
    • F16B7/105Telescoping systems locking in discrete positions, e.g. in extreme extended position
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20Undercarriages with or without wheels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10297Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves arrangements for handling protocols designed for non-contact record carriers such as RFIDs NFCs, e.g. ISO/IEC 14443 and 18092
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/06363D visualisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법에 관한 것으로서, 보다 상세하게는 사용자의 신체 스켈레톤을 생성 및 추적하여 AR/VR/XR 콘텐츠 연동하며, D-CAMERA를 이용하여 사용자의 신체 스켈레톤중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별하여 바닥플로어 콘텐츠에 연동한 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법에 관한 것으로서, AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법에 설치되고, 사용자를 위한 콘텐츠를 구동하기 위한 플랫폼 런처가 실행되고 해당 UI를 선택제어하기 위한 터치모니터(1); 상기 사용자 로그인 또는 콘텐츠상에서 줄서기 기능을 매칭하여 사용하는 NFC단말기(2); 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 바닥에 일정 면적을 투영하는 초단초점 빔프로젝터(3); 상기 사용자의 신체 스켈레톤을 생성, 추적하여 AR/VR/XR 콘텐츠 연동하는 기능,및 상기 사용자의 신체 스켈레톤중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별하여 바닥플로어에 관련된 스포츠 콘텐츠에 연동하는 기능을 포함하는 D-CAMERA(4); 상기 빔프로젝터로 투영된 빔투영범위 안으로 들어온 사용자의 신체를 스캔 추적하여 터치나 클릭 이벤트로 콘텐츠와 연동하는 기능을 포함하는 2D 라이다;를 포함하며, 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 몸체 측면에 부착된 브라켓의 신축 기능에 따른 신축범위를 상황에 따라 조절하여 2D 라이다의 위치를 감축 또는 확장시키고, 이에 따라 상기 D-CAMERA와 2D 라이다는 상호 연동을 통해 상기 콘텐츠의 스포츠 종류에 따른 사용자 위치 인식, 사용자 상호작용, 및 스포츠 경기 분석이 가능하다.The present invention relates to a slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports and a method of using the same. More specifically, it relates to AR by generating and tracking the user's body skeleton. /VR/XR content is linked, and D-CAMERA is used to track the hands and feet of the user's body skeleton to identify whether the hands and feet are left or right to provide AR/VR/XR interactive sports linked to floor content. This relates to a slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR and a method of using the same. A slim-type action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports. and a touch monitor (1) installed in the method using the same, running a platform launcher for driving content for the user and controlling the selection of the corresponding UI; NFC terminal (2) used by matching the user login or queue function on the content; An ultra-short focus beam projector (3) that projects a certain area on the floor of the slim action floor content providing system and method using the multi-lidar sensor and D-CAMERA for the AR/VR/XR interactive sports; A function to link AR/VR/XR content by creating and tracking the user's body skeleton, and sports content related to the floor by tracking the hands and feet of the user's body skeleton and identifying whether the hands and feet are left or right. D-CAMERA(4), which includes functions linking to; Includes a 2D lidar that includes a function to scan and track the body of the user who has entered the beam projection range projected by the beam projector and link it with content through a touch or click event, and multi-player for the AR/VR/XR interactive sports A slim action floor content provision system using a lidar sensor and D-CAMERA and a method using the same adjusts the stretching range according to the stretching function of the bracket attached to the side of the body to reduce or expand the position of the 2D lidar, Accordingly, the D-CAMERA and 2D LiDAR are interconnected to enable user location recognition, user interaction, and sports game analysis according to the type of sport in the content.

Description

AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법{Action Floor Slim Content Provision System Using LiDAR Sensor and D-CAMERA for AR/VR/XR Interactive Sports And the Method Using it}Slim action floor content provision system using multi-lidar sensor and D-CAMERA for AR/VR/XR interactive sports and method of using the same {Action Floor Slim Content Provision System Using LiDAR Sensor and D-CAMERA for AR/VR/XR Interactive Sports And the Method Using it}

본 발명은 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA(Depth-camera의 약칭)를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법에 관한 것으로서, 보다 상세하게는 사용자의 신체 스켈레톤을 생성 및 추적하여 AR/VR/XR 콘텐츠 연동하며, D-camera를 이용하여 사용자의 신체 스켈레톤 중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별할 수 있는 콘텐츠에 연동한 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법에 관한 것이다.The present invention relates to a slim action floor content provision system using multi-lidar sensors and D-CAMERA (abbreviation for Depth-camera) for AR/VR/XR interactive sports and a method of using the same, and more specifically, to the user's body. AR/VR/XR content is linked by creating and tracking the skeleton, and the D-camera is used to track the hands and feet of the user's body skeleton to identify whether the hands and feet are left or right. /VR/XR About a slim action floor content provision system using multi-lidar sensors and D-CAMERA for interactive sports and a method of using the same.

현대 사회에서는 의자에 앉아 있는 시간이 증가하고 있으며, 여가 시간에도 휴대 단말기나 컴퓨터를 사용하여 게임을 하거나 영화를 보는 등 앉아있는 활동이 늘어나고 있다. 이러한 현상으로 인해 신체 활동 부족 문제가 증가하고 있다. In modern society, the time spent sitting in a chair is increasing, and even during leisure time, sitting activities such as using mobile terminals or computers to play games or watch movies are increasing. Due to this phenomenon, the problem of physical inactivity is increasing.

특히 어린이와 청소년들은 학업과 여가 시간에 충분한 신체 활동을 하지 못하는 경우가 많다. 또한, 급격한 날씨 변화와 환경오염, 미세먼지, 전염성 질병 등으로 인해 야외 활동이 제한되면서 실내에서 충분한 신체 활동을 할 수 있는 운동에 대한 관심이 높아지고 있다.In particular, children and adolescents often do not get enough physical activity during school and leisure time. In addition, as outdoor activities are restricted due to rapid weather changes, environmental pollution, fine dust, and infectious diseases, interest in exercise that allows sufficient physical activity indoors is increasing.

이와 관련하여 가상현실(VR)이나 증강현실(AR) 기술을 활용하여 실내에서 스포츠를 즐길 수 있는 기술이 개발되고 있다. In this regard, technology is being developed to allow people to enjoy sports indoors using virtual reality (VR) or augmented reality (AR) technology.

이전에도 VR 스포츠를 통한 피트니스 관리 방법과 같은 기술이 공개특허로 등록되었지만, 종래의 가상현실을 이용해 스포츠를 즐길 수 있는 기술은 VR 장치를 머리에 착용해야 하기 때문에 동작이 불편하여 충분한 운동 효과를 얻기 어렵고, 피트니스나 VR 스포츠는 어린이와 청소년의 체력 증진 및 교육 목적으로 사용하기에는 제한이 있다. 또한, 대부분 혼자 운동을 하므로 어린이와 청소년의 협동심을 기르는 데에는 적합하지 않다.Previously, technologies such as fitness management methods through VR sports have been registered as open patents, but the technology to enjoy sports using conventional virtual reality requires the VR device to be worn on the head, making movement inconvenient to achieve sufficient exercise effect. It is difficult, and there are limits to the use of fitness and VR sports for physical strength improvement and educational purposes in children and adolescents. Additionally, since most people exercise alone, it is not suitable for developing cooperation in children and adolescents.

또한, 종래의 기술에서는 카메라 센싱을 이용하여 사용자의 모션을 인식하는데, 카메라 센싱을 이용하면 여러 사용자의 모션을 동시에 인식할 수 없어서 여러 사용자가 함께 스포츠를 즐기는 것이 어려운 문제가 있었다. 또한, 별도의 오브젝트를 이용해야 하므로 스포츠의 종류가 제한되는 문제도 있었다.Additionally, in the conventional technology, user motion is recognized using camera sensing, but using camera sensing, the motion of multiple users cannot be recognized simultaneously, making it difficult for multiple users to enjoy sports together. Additionally, there was a problem that the types of sports were limited because separate objects had to be used.

따라서 기존 카메라 센싱을 이용한 사용자 모션 인식의 한계를 극복하기 위해서는 모션 트래킹 기술의 개발이 필요한 상태이다. 이러한 기술의 개발을 통해 실내에서도 즐겁고 활발한 스포츠 활동이 가능하게 될 것이다.Therefore, the development of motion tracking technology is necessary to overcome the limitations of user motion recognition using existing camera sensing. Through the development of these technologies, fun and active sports activities will become possible even indoors.

등록특허공보 제10-2384296호(뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템)Registered Patent Publication No. 10-2384296 (Augmented reality sports content system using depth recognition and color recognition)

본 발명은 전술한 문제점을 개선하기 위해 안출된 것으로, 본 발명은 사용자 로그인 기능을 매칭하여 사용하고, D-CAMERA와 라이다를 연동하여 사용자의 신체 스켈레톤을 생성 및 추적하여 AR/VR/XR 콘텐츠 연동하며, D-camera를 이용하여 사용자의 신체 스켈레톤중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별하여 바닥플로어 콘텐츠에 연동한 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법을 제공하는데 목적이 있다.The present invention was created to improve the above-mentioned problems. The present invention uses a matching user login function and links D-CAMERA and LIDAR to create and track the user's body skeleton to create AR/VR/XR content. Multi-lidar sensor for AR/VR/XR interactive sports that tracks the hands and feet of the user's body skeleton using a D-camera and identifies whether the hands and feet are left or right and linked to floor content The purpose is to provide a slim action floor content provision system using D-CAMERA and a method of using the same.

또한, 본 발명은 D-CAMERA를 이용한 손발바닥 추적 연동 기술을 위해, 빔프로젝터로 투영된 바닥의 빔투영 범위 안으로 사용자가 진입했을 때 바닥에 터치된 사용자의 양발/양손을 D-CAMERA로 추적 분석하여 콘텐츠로 해당 터치부분의 데이터를 콘텐츠 전송하는 기능을 포함하는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법을 제공하는데 목적이 있다.In addition, the present invention tracks and analyzes both feet/both hands of the user touched on the floor using D-CAMERA when the user enters the beam projection range of the floor projected by the beam projector for the hand and sole tracking linkage technology using D-CAMERA. The purpose is to provide a slim action floor content provision system and method of using the multi-lidar sensor and D-CAMERA for AR/VR/XR interactive sports, including the function of transmitting the data of the corresponding touch part to the content. there is.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법에 설치되고, 사용자를 위한 콘텐츠를 구동하기 위한 플랫폼 런처가 실행되고 해당 UI를 선택제어하기 위한 터치모니터(1); 상기 사용자 로그인 또는 콘텐츠상에서 줄서기 기능을 매칭하여 사용하는 NFC단말기(2); 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 바닥에 일정 면적을 투영하는 초단초점 빔프로젝터(3); 상기 사용자의 신체 스켈레톤을 생성, 추적하여 AR/VR/XR 콘텐츠 연동하는 기능,및 상기 사용자의 신체 스켈레톤중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별하여 바닥플로어에 관련된 스포츠 콘텐츠에 연동하는 기능을 포함하는 D-CAMERA(4); 상기 빔프로젝터로 투영된 빔투영범위 안으로 들어온 사용자의 신체를 스캔 추적하여 터치나 클릭 이벤트로 콘텐츠와 연동하는 기능을 포함하는 2D 라이다;를 포함하며, 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 몸체 측면에 부착된 브라켓의 신축 기능에 따른 신축범위를 상황에 따라 조절하여 2D 라이다의 위치를 감축 또는 확장시키고, 이에 따라 상기 D-CAMERA와 2D 라이다는 상호 작동을 통해 상기 콘텐츠의 스포츠 종류에 따른 사용자 위치 인식, 사용자 상호작용, 및 스포츠 경기 분석이 가능하다.In order to achieve the above object, an embodiment of the present invention is installed in a slim action floor content providing system and method using the same using a multi-lidar sensor and D-CAMERA for AR/VR/XR interactive sports, and the user A touch monitor (1) for executing a platform launcher to drive content for and to select and control the corresponding UI; NFC terminal (2) used by matching the user login or queue function on the content; An ultra-short focus beam projector (3) that projects a certain area on the floor of the slim action floor content providing system and method using the multi-lidar sensor and D-CAMERA for the AR/VR/XR interactive sports; A function to link AR/VR/XR content by creating and tracking the user's body skeleton, and sports content related to the floor by tracking the hands and feet of the user's body skeleton and identifying whether the hands and feet are left or right. D-CAMERA(4), which includes functions linking to; Includes a 2D lidar that includes a function to scan and track the body of the user who has entered the beam projection range projected by the beam projector and link it with content through a touch or click event, and multi-player for the AR/VR/XR interactive sports A slim action floor content provision system using a lidar sensor and D-CAMERA and a method using the same adjusts the stretching range according to the stretching function of the bracket attached to the side of the body to reduce or expand the position of the 2D lidar, Accordingly, the D-CAMERA and 2D LIDAR can interact with each other to recognize user location, user interaction, and sports game analysis according to the type of sport in the content.

상기 D-CAMERA는 비전을 위한 이미지 센서로 듀얼렌즈가 장착된 뎁스 카메라 또는 AI 스테레오 카메라로 사용 가능하다.The D-CAMERA is an image sensor for vision and can be used as a depth camera or AI stereo camera equipped with a dual lens.

상기 브라켓은 내부에 고정공(25)이 형성된 수평 신축부재(22)와, 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 측면에 접혀 있다가 수평방향으로 일체로 90도 회전 이동하며, 상기 수평 신축부재(22)의 고정공(25)에 고정부(26)가 결합되어 수평방향의 거리 조절 및 고정이 가능하도록 상기 수평 신축부재(22)를 내부에서 슬라이딩 시키는 수평 고정 부재(21)를 포함한다.The bracket includes a horizontal expansion member 22 with a fixing hole 25 formed therein, a slim action floor content providing system using multi-lidar sensors and D-CAMERA for the AR/VR/XR interactive sports, and a method using the same. It is folded on the side and rotates 90 degrees horizontally as one piece, and the fixing part 26 is coupled to the fixing hole 25 of the horizontal elastic member 22 to enable distance adjustment and fixation in the horizontal direction. It includes a horizontal fixing member 21 that slides the horizontal stretching member 22 inside.

D-CAMERA와 라이다가 상호 연동하여, 상기 D-CAMERA와 라이다의 연동을 통해 사용자의 위치를 정확하게 인식하는 사용자 위치 인식 모듈; 상기 D-CAMERA와 라이다를 통해 사용자 간의 상호작용을 추적할 수 있는 사용자 상호작용 모듈; 및 상기 D-CAMERA와 라이다를 통해 사용자의 움직임을 분석하는 스포츠 분석 모듈;을 포함한다.A user location recognition module that accurately recognizes the user's location through the D-CAMERA and LIDAR interoperability; A user interaction module capable of tracking interaction between users through the D-CAMERA and LIDAR; and a sports analysis module that analyzes the user's movements through the D-CAMERA and LIDAR.

상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 내부에 설치되고, 블루투스/WIFI 통신을 위한 리시버장치와 네트워크로 연결된 블루투스/WIFI 지원 액션플로어 PC와 무선 통신이 가능한 스마트밴드는, 상기 스마트밴드에서 얻어진 사용자의 심박수/스텝수/기타 신체바이오리듬 데이터를 미들웨어 또는 콘텐츠와 연동하여 실시간 가시화 기능, 콘텐츠상의 터치 이벤트 발생시 스마트밴드로 진동 피드백 기능, 사용자의 Identify 입력/식별기능, 및 사용자의 외부활동 모니터링 기능,및 액션플로어 또는 별도의 APP를 통하여 모니터링 관리 할 수 있는 기능 중 하나 이상을 포함한다.It is installed inside the slim action floor content provision system and method using the same using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports, and is connected to a network with a receiver device for Bluetooth/WIFI communication. The smart band, which is capable of wireless communication with a WIFI-enabled action floor PC, links the user's heart rate/step count/other body biorhythm data obtained from the smart band with middleware or content, provides a real-time visualization function, and transmits data to the smart band when a touch event occurs on the content. It includes one or more of the following: a vibration feedback function, a user's Identify input/identification function, a user's external activity monitoring function, and a function that can be monitored and managed through Action Floor or a separate APP.

상기 D-CAMERA를 이용한 손발바닥 추적 연동 기능으로서, 상기 빔프로젝터로 투영된 바닥의 빔투영 범위 안으로 사용자가 진입했을 때 바닥에 터치된 사용자의 양발 및 양손을 상기 D-CAMERA로 추적 및 분석하여 해당 터치부분의 데이터를 콘텐츠로 전송한다.As a hand and sole tracking function using the D-CAMERA, when the user enters the beam projection range of the floor projected by the beam projector, the user's feet and both hands touched on the floor are tracked and analyzed by the D-CAMERA and the corresponding Data from the touch part is transmitted as content.

마우스 및 키보드;를 더 포함하여, 상기 마우스 및 키보드를 통해 사용자의 로그인 및 콘텐츠 선택 제어하고, 사용자의 외부활동 모니터링 기능, 및 액션플로어 또는 별도의 APP를 통하여 모니터링 관리한다.Mouse and keyboard are further included to control the user's login and content selection through the mouse and keyboard, monitor the user's external activities, and monitor and manage through Action Floor or a separate APP.

착탈식 바퀴;를 더 포함하여, 상기 착탈식 바퀴를 부착하여 몸체를 이동하는 경우 상기 사용자 위치 인식 모듈;이 사용자의 위치를 재인식하여 사용자에게 맞춤형 스포츠 콘텐츠를 다시 제공하거나, 4X2미터 면적을 투영하는 빔프로젝터에 의한 콘텐츠를 바닥에 투영하는 위치를 상기 착탈식 바퀴를 부착하여 몸체를 이동한 만큼 변경한다.A beam projector that re-recognizes the user's location and provides customized sports content to the user, or projects a 4X2 meter area. The position where the content is projected onto the floor is changed as much as the body is moved by attaching the detachable wheels.

본 발명은 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법을 이용한 방법에 있어서, 초단초점 빔프로젝터(3)로 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 바닥에 일정 면적을 투영하는 단계; D-CAMERA(4)로 사용자의 신체 스켈레톤을 생성, 추적하여 AR/VR/XR 콘텐츠 연동하고, 상기 사용자의 신체 스켈레톤중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별하여 바닥플로어에 관련된 스포츠 콘텐츠에 연동하는 단계; 상기 빔프로젝터로 투영된 빔투영범위 안으로 들어온 사용자의 신체를 스캔 추적하여 터치나 클릭 이벤트로 콘텐츠와 연동하는 기능을 포함하는 2D 라이다;를 설치하는 단계; 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 몸체 측면에 부착된 브라켓의 신축 기능에 따른 신축범위를 상황에 따라 조절하여 2D 라이다의 위치를 감축 또는 확장시키는 단계; 상기 D-CAMERA와 2D 라이다는 상호 작동을 통해 상기 콘텐츠의 스포츠 종류에 따른 사용자 위치 인식, 사용자 상호작용, 및 스포츠 경기를 분석하는 단계;를 포함한다.The present invention relates to a slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports and a method using the same, wherein the AR/VR /XR Projecting a certain area on the floor of a slim action floor content provision system using multi-lidar sensors and D-CAMERA for interactive sports and a method using the same; D-CAMERA(4) creates and tracks the user's body skeleton to link with AR/VR/XR content, and tracks the hands and feet of the user's body skeleton to identify whether the hands and feet are left or right to determine whether the hands and feet are left or right. Linking to sports content related to; Installing a 2D LIDAR that includes a function of scanning and tracking the body of a user who enters the beam projection range projected by the beam projector and linking it with content through a touch or click event; The slim action floor content provision system and method using the multi-lidar sensor and D-CAMERA for AR/VR/XR interactive sports adjust the stretching range according to the stretching function of the bracket attached to the side of the body according to the situation. Reducing or expanding the position of the 2D lidar; The D-CAMERA and the 2D LiDAR interact with each other to recognize user location, user interaction, and analyze sports games according to the type of sport in the content.

본 발명의 일 실시예에 따라 빔투영 범위 안으로 들어온 사용자의 신체를 스캔 추적하여 터치나 클릭 이벤트로 콘텐츠와 연동하는 기능을 포함하는 2D 라이다가 사용됨. D-Camera와 2D 라이다는 상호 연동하여 사용자 위치 인식, 사용자 상호작용, 및 스포츠 분석이 가능하다.According to one embodiment of the present invention, a 2D lidar is used that includes a function to scan and track the body of a user who enters the beam projection range and link it with content through a touch or click event. D-Camera and 2D LiDAR are interoperable to enable user location recognition, user interaction, and sports analysis.

또한, 본 발명은 D-camera의 사용범위는 비전을 위한 이미지 센서로 듀얼렌즈가 장착된 뎁스 카메라(예: Azure Kinect) 용 또는 AI 스테레오 카메라(예: ZED2 등)용으로 사용 가능하다.In addition, the scope of use of the D-camera of the present invention is that it can be used for a depth camera (e.g. Azure Kinect) equipped with a dual lens as an image sensor for vision or for an AI stereo camera (e.g. ZED2, etc.).

또한, 본 발명은 브라켓 암 브라켓의 신축 기능을 상황에 따라 조절 가능하여 콘텐츠 사용자에게 최적화된 사용 환경을 제공한다.In addition, the present invention provides an optimized usage environment for content users by adjusting the stretching function of the bracket arm bracket depending on the situation.

또한, 본 발명은 D-camera와 라이다가 상호 연동하여 사용자 위치 인식 모듈, 사용자 상호작용 모듈, 및 스포츠 분석 모듈을 구현함. 이를 통해 사용자에게 맞춤형 스포츠 콘텐츠를 제공하거나, 사용자의 안전을 보장할 수 있다.In addition, the present invention implements a user location recognition module, user interaction module, and sports analysis module by interconnecting the D-camera and lidar. Through this, customized sports content can be provided to users or user safety can be guaranteed.

또한, 본 발명은 내부에 설치된 리시버장치와 네트워크로 연결된 블루투스/WIFI 지원 액션플로어 PC와 무선 통신이 가능한 스마트밴드가 사용됨. 스마트밴드는 사용자의 심박수/스텝수/기타 신체바이오리듬 데이터를 미들웨어 또는 콘텐츠와 연동하여 실시간 가시화 기능, 콘텐츠상의 터치 이벤트 발생시 스마트밴드로 진동 피드백 기능, 사용자의 Identify 입력/식별 기능, 및 사용자의 외부활동 모니터링 기능을 제공한다.In addition, the present invention uses a smart band capable of wireless communication with a Bluetooth/WIFI-enabled action floor PC connected to a network with a receiver device installed inside. The smart band links the user's heart rate/step count/other body biorhythm data with middleware or content to provide real-time visualization, a vibration feedback function to the smart band when a touch event occurs on the content, the user's Identify input/identification function, and the user's external Provides activity monitoring function.

또한, 본 발명은 D-Camera를 이용한 손발바닥 추적 연동 기술을 포함함. 이를 통해 사용자의 손발바닥을 정확하게 추적하고, 콘텐츠를 제어하며, 콘텐츠와 상호 작용할 수 있다.Additionally, the present invention includes palm and sole tracking interlocking technology using D-Camera. This allows users to accurately track their hands and feet, control content, and interact with it.

도 1은 본 발명의 일 실시예에 따른 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법을 구현하는 구성요소를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법을 세부적으로 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 수평 신축부재와, 수평 고정 부재가 측면에 부착되었다가 90도 펼쳐졌을 때를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 수평 신축부재와, 수평 고정 부재의 결합관계를 세부적으로 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 수평 신축부재와, 수평 고정 부재의 최대 조절 가능 범위를 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 몸체 후면에 아이 볼트가 부착되어 이동이 용이하고, 측면에 스위치를 설치하는 것을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 마우스 및 키보드 등을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따른 스마트밴드를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 착탈식 바퀴를 보여주는 도면이다.
도 10은 본 발명의 일 실시예에 따른 착탈식 바퀴 부착 과정을 보여주는 도면이다.
Figure 1 is a diagram showing components that implement a slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports and a method using the same according to an embodiment of the present invention.
Figure 2 is a diagram showing in detail a slim action floor content providing system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports and a method of using the same according to an embodiment of the present invention.
Figure 3 is a view showing a horizontal expansion member and a horizontal fixing member according to an embodiment of the present invention when attached to the side and then unfolded 90 degrees.
Figure 4 is a diagram showing in detail the coupling relationship between a horizontal expansion member and a horizontal fixing member according to an embodiment of the present invention.
Figure 5 is a diagram showing the maximum adjustable range of the horizontal elastic member and the horizontal fixing member according to an embodiment of the present invention.
Figure 6 is a diagram showing that an eye bolt is attached to the rear of the body to facilitate movement and a switch is installed on the side according to an embodiment of the present invention.
Figure 7 is a diagram showing a mouse, keyboard, etc. according to an embodiment of the present invention.
Figure 8 is a diagram showing a smart band according to an embodiment of the present invention.
Figure 9 is a diagram showing a detachable wheel according to an embodiment of the present invention.
Figure 10 is a diagram showing the process of attaching a detachable wheel according to an embodiment of the present invention.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.The present invention as described above will be described in detail through the attached drawings and examples.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present invention, unless specifically defined in a different sense in the present invention, should be interpreted as meanings generally understood by those skilled in the art in the technical field to which the present invention pertains, and are not overly comprehensive. It should not be interpreted in a literal or excessively reduced sense. Additionally, if the technical term used in the present invention is an incorrect technical term that does not accurately express the idea of the present invention, it should be replaced with a technical term that can be correctly understood by a person skilled in the art. In addition, general terms used in the present invention should be interpreted according to the definition in the dictionary or according to the context, and should not be interpreted in an excessively reduced sense.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Additionally, as used in the present invention, singular expressions include plural expressions unless the context clearly dictates otherwise. In the present invention, terms such as “consists of” or “comprises” should not be construed as necessarily including all of the various components or steps described in the invention, and some of the components or steps are included. It may not be possible, or it should be interpreted as including additional components or steps.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings. However, identical or similar components will be assigned the same reference numbers regardless of the reference numerals, and duplicate descriptions thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.Additionally, when describing the present invention, if it is determined that a detailed description of related known technologies may obscure the gist of the present invention, the detailed description will be omitted. In addition, it should be noted that the attached drawings are only intended to facilitate easy understanding of the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the attached drawings.

본 발명에서 사용되는 증강현실 인터랙티브 스포츠(Augmented Reality Interactive Sports)는 실제 스포츠 경기를 가상 현실과 현실이 융합된 환경에서 즐길 수 있는 기술로 정의한다. Augmented Reality Interactive Sports, used in the present invention, is defined as a technology that allows real sports games to be enjoyed in an environment where virtual reality and reality are combined.

본 발명은 증강현실(AR) 기술과 스포츠 콘텐츠가 결합된 혁신적인 방식으로, 사용자는 실제 환경에서 플레이하는 동안 가상의 요소와 상호작용하면서 새로운 경험을 즐길 수 있다.The present invention is an innovative method that combines augmented reality (AR) technology and sports content, allowing users to enjoy new experiences by interacting with virtual elements while playing in a real environment.

즉, D-CAMERA(뎁스 카메라) 등을 통해 AR증강콘텐츠 등을 연동할 수 있으며 다양한 AR증강 센서가 사용될 수 있다.In other words, AR augmented content can be linked through D-CAMERA (depth camera), etc., and various AR augmented sensors can be used.

예를 들어, 2D 라이다로 바닥플로어 양발 중 왼발 및 오른발을 정밀하게 식별할 수 있으며, 빔프로젝터로 투영된 바닥의 빔투영 범위 안으로 사용자가 진입했을 때 바닥에 터치된 사용자의 양발/양손을 D-CAMERA로 추적 분석하여 콘텐츠로 해당 터치부분의 데이터를 스포츠 콘텐츠로 전송하여 게임을 진행할 수 있도록 한다.For example, with 2D LIDAR, the left and right feet of both feet on the floor can be precisely identified, and when the user enters the beam projection range of the floor projected by the beam projector, both feet/both hands of the user that touched the floor are D - It tracks and analyzes with CAMERA and transmits the data of the touch area to sports content so that the game can be played.

도 1에 도시된 바와 같이 본 발명은 터치모니터(1); NFC단말기(2); 빔프로젝터(3); D-CAMERA(4); 2D 라이다(28); 등을 포함한다.As shown in Figure 1, the present invention includes a touch monitor (1); NFC terminal (2); Beam projector (3); D-CAMERA(4); 2D LIDAR (28); Includes etc.

터치모니터(1)는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법에 설치되고, 사용자를 위한 콘텐츠를 구동하기 위한 플랫폼 런처가 실행되고 해당 UI를 선택제어하기 위한 장치이다.The touch monitor (1) is installed in a slim action floor content provision system and method using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports, and has a platform launcher to drive content for users. It is a device that runs and selects and controls the relevant UI.

NFC단말기(2)는 상기 사용자 로그인 또는 콘텐츠상에서 줄서기 기능을 매칭하여 사용하는 장치이다.The NFC terminal 2 is a device that is used by matching the user login or queuing function on the content.

도 2에 도시된 바와 같이, 빔프로젝터(3)는 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 바닥에 일정 면적을 투영하는 초단초점 렌즈를 사용하여 이미지를 정교하게 투사한다. As shown in FIG. 2, the beam projector 3 forms a certain area on the floor of the slim action floor content providing system and method using the same using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports. The image is projected precisely using an ultra-short-throw lens.

이러한 초단초점 렌즈는 빔프로젝터가 짧은 거리에서도 넓은 화면 영역을 커버할 수 있도록 도와주고, 초단초점 렌즈는 광학적 왜곡을 최소화하며, 투영되는 이미지의 선명도와 해상도를 향상시킨다.These ultra-short focus lenses help the beam projector cover a wide screen area even from a short distance, and the ultra-short focus lenses minimize optical distortion and improve the clarity and resolution of the projected image.

D-CAMERA(4)는 상기 사용자의 신체 스켈레톤을 생성, 추적하여 AR/VR/XR 콘텐츠 연동하는 기능 및 상기 사용자의 신체 스켈레톤 중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별하여 바닥플로어에 관련된 스포츠 콘텐츠에 연동하는 기능을 포함한다.D-CAMERA (4) has the function of linking AR/VR/XR content by creating and tracking the user's body skeleton and tracking the hands and feet of the user's body skeleton to identify whether the hands and feet are left or right. Includes a function to link to sports content related to the bottom floor.

한쌍의 2D 라이다(28)는 브라켓의 양 끝단에 결합되며, 밑에 진동 및 충격을 흡수하는 기저판(29)이 부착되고, 상기 빔프로젝터로 투영된 빔투영범위 안으로 들어온 사용자의 신체를 스캔 추적하여 터치나 클릭 이벤트로 콘텐츠와 연동하는 기능을 포함한다.A pair of 2D lidar (28) is coupled to both ends of the bracket, and a base plate (29) that absorbs vibration and shock is attached below, and scans and tracks the user's body that comes within the beam projection range projected by the beam projector. Includes the function of linking with content through touch or click events.

상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 몸체 측면에 부착된 브라켓의 신축 기능에 따른 신축범위를 상황에 따라 조절하여 2D 라이다의 위치를 감축 또는 확장시키고, 이에 따라 상기 D-CAMERA와 2D 라이다는 상호 작동을 통해 상기 콘텐츠의 스포츠 종류에 따른 사용자 위치 인식, 사용자 상호작용, 및 스포츠 경기 분석이 가능하다.The slim action floor content provision system and method using the multi-lidar sensor and D-CAMERA for AR/VR/XR interactive sports adjust the stretching range according to the stretching function of the bracket attached to the side of the body according to the situation. The position of the 2D LiDAR is reduced or expanded, and thus the D-CAMERA and the 2D LiDAR interact with each other to enable user location recognition, user interaction, and sports game analysis according to the type of sport in the content.

상기 D-CAMERA(4)는 비전을 위한 이미지 센서로 듀얼렌즈가 장착된 뎁스 카메라(예 : Azure Kinect) 용 또는 AI 스테레오 카메라(예 : ZED2 등) 용으로 사용 가능하다.The D-CAMERA (4) is an image sensor for vision and can be used for a depth camera equipped with a dual lens (e.g. Azure Kinect) or an AI stereo camera (e.g. ZED2, etc.).

도 3 내지 도 5에 도시된 바와 같이, 상기 브라켓은 내부에 고정공(25)이 형성된 수평 신축부재(22)와, 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 측면에 접혀 있다가 수평방향으로 일체로 90도 회전 이동하며, 상기 수평 신축부재(22)의 고정공(25)에 고정부(26)가 결합되어 수평방향의 거리 조절 및 고정이 가능하도록 상기 수평 신축부재(22)를 내부에서 슬라이딩 시키는 수평 고정 부재(21)를 포함한다.As shown in Figures 3 to 5, the bracket includes a horizontal elastic member 22 with a fixing hole 25 formed therein, a multi-lidar sensor for the AR/VR/XR interactive sports, and a D-CAMERA. The slim action floor content provision system and method for using the same are folded on the side and rotated 90 degrees horizontally as one unit, and the fixing part 26 is coupled to the fixing hole 25 of the horizontal elastic member 22. It includes a horizontal fixing member 21 that slides the horizontal elastic member 22 inside to enable horizontal distance adjustment and fixation.

예를 들어 수평 신축 기능으로 브라켓은 몸체 측면에 수평 방향으로 일체로 결합된 수평 신축부재를 포함하고 있다. 이 신축부재는 삽입 및 이동될 수 있으며, 이로 인해 브라켓의 수평 방향의 거리를 조절하고 고정하는 기능을 제공한다. 즉, 브라켓의 위치를 상황에 따라 조절하여 적절한 거리로 지지대에 부착하거나 이동시킬 수 있다.For example, with the horizontal expansion function, the bracket includes a horizontal expansion member integrally coupled to the side of the body in the horizontal direction. This elastic member can be inserted and moved, thereby providing the function of adjusting and fixing the horizontal distance of the bracket. In other words, the position of the bracket can be adjusted according to the situation and attached to the support or moved at an appropriate distance.

또한, 상면 고정 기능으로서 브라켓은 또한 지지대 앞 상면 가장자리에 고정시키는 상면 고정수단을 포함하고 있다. 이 기능을 사용하여 브라켓이 지지대의 상면에 안정적으로 고정될 수 있다. 따라서 사용자는 브라켓을 지지대에 간단하게 고정하여 안전하게 사용할 수 있다.In addition, as a top fixing function, the bracket also includes top fixing means for fixing to the upper edge in front of the support. Using this function, the bracket can be stably fixed to the upper surface of the support. Therefore, users can use it safely by simply fixing the bracket to the support.

이러한 기능들로 인해 라이다 브라켓 암 브라켓은 상황에 따라 신축 범위를 조절할 수 있으며, 적절한 위치에 브라켓을 고정하여 안정성과 사용 편의성을 제공한다.Due to these functions, the lidar bracket arm bracket can adjust the range of expansion and contraction depending on the situation, and provides stability and ease of use by fixing the bracket in an appropriate position.

도 5와 같이 본 발명을 설치 구축하려는 환경마다 조건이 상이할 수 있기 때문에 현장에 맞는 최적의 구축 환경을 타진하기 위하여 라이다를 위치를 조절할 수 있는 라이다 브라켓을 신축조절한다.As shown in Figure 5, since the conditions may be different depending on the environment in which the present invention is to be installed and built, the lidar bracket that can adjust the position of the lidar is adjusted to expand and contract in order to find the optimal construction environment suitable for the site.

즉, 라이다 브라켓 암 브라켓 신축 기능에 따른 신축범위를 상황에 따라 조절할 수 있다.In other words, the stretching range according to the lidar bracket arm bracket stretching function can be adjusted depending on the situation.

예를 들어 라이다 브라켓의 신축조절범위는 기존 라이다 암 브라켓 고정길이 상에 타공된 고정공의 수량과 이격 거리만큼 조절이 가능하다(대략 635~1235mm 범위이내).For example, the expansion and contraction range of the lidar bracket can be adjusted by the quantity and separation distance of fixing holes drilled on the fixing length of the existing lidar arm bracket (approximately within the range of 635 to 1235 mm).

상기 라이다 브라켓의 신축조절범위는 대략 635mm에서 1235mm로 신축 조절이 가능할 수 있다(도 5 참조 ).The elastic adjustment range of the lidar bracket may be adjustable from approximately 635 mm to 1235 mm (see Figure 5).

예를 들어 D-CAMERA는 Azure Kinect, 또는 ZED2 등으로 대체 사용가능하다.For example, D-CAMERA can be replaced with Azure Kinect or ZED2.

일실시예로서, 본 발명은 D-CAMERA와 라이다가 상호 연동을 통해 사용자의 위치를 정확하게 인식하는 사용자 위치 인식 모듈; 상기 D-CAMERA와 라이다를 통해 사용자 간의 상호작용을 추적할 수 있는 사용자 상호작용 모듈; 상기 D-CAMERA와 라이다를 통해 사용자의 움직임을 분석하는 스포츠 분석 모듈; 등을 포함한다.As an embodiment, the present invention includes a user location recognition module that accurately recognizes the user's location through interworking between D-CAMERA and LIDAR; A user interaction module capable of tracking interaction between users through the D-CAMERA and LIDAR; A sports analysis module that analyzes the user's movements through the D-CAMERA and LIDAR; Includes etc.

따라서, 상기 사용자 위치 인식을 통해 사용자에게 맞춤형 스포츠 콘텐츠를 제공하거나, 사용자의 안전을 보장할 수 있다.Therefore, through recognition of the user's location, customized sports content can be provided to the user or the user's safety can be guaranteed.

또한, 상기 사용자 상호작용 모듈을 통해 사용자 간의 협력이나 경쟁을 유도할 수 있다.Additionally, cooperation or competition between users can be encouraged through the user interaction module.

또한, 상기 스포츠 분석 모듈을 통해 사용자의 스포츠 기술을 향상시키거나, 선수의 경기력을 평가할 수 있다.Additionally, the sports analysis module can improve the user's sports skills or evaluate the player's performance.

일실시예로서, 본 발명은 상기 D-CAMERA를 이용한 손발바닥 추적 연동 기능을 포함하는 제어부(미도시)로, 상기 빔프로젝터로 투영된 바닥의 빔투영 범위 안으로 사용자가 진입했을 때 바닥에 터치된 사용자의 양발 및 양손을 상기 D-CAMERA로 추적 및 분석하여 해당 터치부분의 데이터를 콘텐츠로 전송한다.As an embodiment, the present invention is a control unit (not shown) that includes a hand and sole tracking function using the D-CAMERA, and when a user enters the beam projection range of the floor projected by the beam projector, the user touches the floor. The user's feet and both hands are tracked and analyzed with the D-CAMERA, and the data of the corresponding touch area is transmitted as content.

따라서 사용자의 손발바닥을 정확하게 추적할 수 있고, 사용자의 손발바닥을 통해 스포츠 콘텐츠를 제어하고, 콘텐츠와 상호 작용할 수 있다.Therefore, the user's palms and soles can be accurately tracked, and sports content can be controlled and interacted with the user's palms and soles.

도 6에 도시된 바와 같이 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 몸체 후면에 아이 볼트(M8 eye bolt; 7)가 부착되어 이동이 용이하고, 측면에 스위치(8)를 설치하고, USB 위치를 변경하며, USB_3.0 2개(9)를 사용하여, 콘텐츠의 작동이 더 쉬워졌다.As shown in Figure 6, an eye bolt (M8 eye bolt; 7) is installed on the back of the body of the slim action floor content provision system and method using the same using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports. It is attached and easy to move, installing a switch (8) on the side, changing the USB location, and using two USB_3.0 (9), making it easier to operate the content.

또한, 도 7에 도시된 바와 같이, AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 뒷면에 보호판(10) 내부에 마우스 및 키보드(11, 12);를 더 포함하여, 상기 마우스 및 키보드를 통해 사용자의 로그인 및 콘텐츠 선택 제어하고, 사용자의 외부활동 모니터링 기능(심박수/활동량 정보/GPS위치 등),및 액션플로어(플랫폼) 또는 별도의 APP를 통하여 모니터링 관리한다(기능4).In addition, as shown in Figure 7, a slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports and a method using the same include a mouse and It further includes a keyboard (11, 12) to control the user's login and content selection through the mouse and keyboard, a function to monitor the user's external activities (heart rate/activity information/GPS location, etc.), and an action floor (platform) Or monitor and manage through a separate APP (Function 4).

도 8에 도시된 바와 같이, 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 내부에 설치되고, 블루투스/WIFI 통신을 위한 리시버장치와 네트워크로 연결된 블루투스/WIFI 지원 액션플로어 PC와 무선 통신이 가능한 스마트밴드(70)는, 상기 스마트밴드(70)에서 얻어진 사용자의 심박수/스텝수/기타 신체바이오리듬 데이터를 미들웨어 또는 콘텐츠와 연동하여 실시간 가시화 기능(기능1), 콘텐츠상의 터치 이벤트 발생시 스마트밴드로 진동 피드백 기능(기능2), 사용자의 Identify 입력/식별기능(기능3) 및 사용자의 외부활동 모니터링 기능(심박수/활동량 정보/GPS위치 등)과 액션플로어(플랫폼) 또는 별도의 APP를 통하여 모니터링 관리 할 수 있는 기능(기능4) 중 하나 이상을 포함할 수 있다.As shown in Figure 8, it is installed inside the slim action floor content provision system and method using the multi-lidar sensor and D-CAMERA for the AR/VR/XR interactive sports, and is for Bluetooth/WIFI communication. The smart band 70, which is capable of wireless communication with a Bluetooth/WIFI-enabled action floor PC connected to a network with the receiver device, uses the user's heart rate/step count/other body biorhythm data obtained from the smart band 70 with middleware or content. In conjunction with the real-time visualization function (function 1), the vibration feedback function to the smart band when a touch event occurs on the content (function 2), the user's Identify input/identification function (function 3), and the user's external activity monitoring function (heart rate/activity information/ GPS location, etc.) and one or more functions (function 4) that can be monitored and managed through Action Floor (platform) or a separate APP.

도 9와 도 10에 도시된 바와 같이, AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 하측부에 착탈식 바퀴(6);를 더 포함하여, 상기 착탈식 바퀴를 부착하여 몸체를 이동하는 경우 상기 사용자 위치 인식 모듈;이 사용자의 위치를 재인식하여 사용자에게 맞춤형 스포츠 콘텐츠를 다시 제공하거나, 4X2미터 면적을 투영하는 빔프로젝터에 의한 콘텐츠를 바닥에 투영하는 위치를 상기 착탈식 바퀴를 부착하여 몸체를 이동한 만큼 변경한다.As shown in FIGS. 9 and 10, the slim action floor content providing system and method using the same using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports include a detachable wheel 6 on the lower side; Further including, when the body is moved by attaching the detachable wheels, the user location recognition module; re-recognizes the user's location and provides customized sports content to the user again, or content by a beam projector that projects an area of 4X2 meters The projected position on the floor is changed as the body is moved by attaching the detachable wheels.

구체적으로 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 몸체에 부착된 타공(65)에 결합부(61)가 연결된 바퀴연결부(63)에 바퀴(64)를 삽입하고, 상기 바퀴연결부(63)의 중앙부에 타공된 구멍을 통해 축(63-1)과 축나사(63-2)가 결합되어 바퀴(64)를 지탱한다.Specifically, a slim action floor content providing system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports and a method using the same, a wheel connection where the coupling portion 61 is connected to the perforation 65 attached to the body A wheel 64 is inserted into (63), and the shaft 63-1 and the shaft screw 63-2 are coupled through a hole drilled in the center of the wheel connection portion 63 to support the wheel 64. .

이하, AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법을 이용한 방법을 설명한다.Hereinafter, a slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports and a method using the same will be described.

먼저, 초단초점 빔프로젝터(3)로 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 바닥에 일정 면적을 투영한다.First, an ultra-short-throw beam projector (3) projects a certain area on the floor of the slim action floor content provision system and method using the multi-lidar sensor and D-CAMERA for AR/VR/XR interactive sports.

그리고 D-CAMERA(4)로 사용자의 신체 스켈레톤을 생성, 추적하여 AR/VR/XR 콘텐츠 연동하고, 상기 사용자의 신체 스켈레톤중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별하여 바닥플로어에 관련된 스포츠 콘텐츠에 연동한다.Then, D-CAMERA(4) creates and tracks the user's body skeleton to link it with AR/VR/XR content, and tracks the hands and feet of the user's body skeleton to identify whether the hands and feet are left or right. Linked to sports content related to the floor.

계속하여, 상기 빔프로젝터로 투영된 빔투영범위 안으로 들어온 사용자의 신체를 스캔 추적하여 터치나 클릭 이벤트로 콘텐츠와 연동하는 기능을 포함하는 2D 라이다;를 설치한다.Subsequently, a 2D LIDAR is installed that includes a function of scanning and tracking the body of a user who enters the beam projection range projected by the beam projector and linking it with content through a touch or click event.

상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 몸체 측면에 부착된 브라켓의 신축 기능에 따른 신축범위를 상황에 따라 조절하여 2D 라이다의 위치를 감축 또는 확장을 통해 환경마다 조건이 상이할 수 있기 때문에 현장에 맞는 최적의 구축 환경을 타진하기 위하여 라이다를 위치를 조절할 수 있다.The slim action floor content provision system and method using the multi-lidar sensor and D-CAMERA for AR/VR/XR interactive sports adjust the stretching range according to the stretching function of the bracket attached to the side of the body according to the situation. Because conditions may vary depending on the environment by reducing or expanding the location of the 2D LiDAR, the location of the LiDAR can be adjusted to find the optimal construction environment for the site.

마지막으로 상기 D-CAMERA와 2D 라이다는 상호 작동을 통해 상기 콘텐츠의 스포츠 종류에 따른 사용자 위치 인식, 사용자 상호작용, 및 스포츠 경기를 분석한다.Finally, the D-CAMERA and 2D LiDAR interact with each other to analyze user location recognition, user interaction, and sports games according to the type of sport in the content.

1 : 터치모니터
2 : NFC단말기
3 : 빔프로젝터
4 : D-CAMERA
6 : 착탈식 바퀴
7 : 아이 볼트
8 : 스위치
9 : USB
10 : 보호판
11 : 마우스
12 : 키보드
21 : 수평 고정 부재
22 : 수평 신축부재
25 : 고정공
28 : 2D 라이다
70 : 스마트밴드
1: Touch monitor
2: NFC terminal
3: Beam projector
4: D-CAMERA
6: Removable wheels
7: eye bolt
8: switch
9: USB
10: protection plate
11: mouse
12: keyboard
21: horizontal fixing member
22: Horizontal expansion member
25: fixing hole
28: 2D Lidar
70: Smart band

Claims (8)

AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템에 있어서,
사용자를 위한 콘텐츠를 구동하기 위한 플랫폼 런처가 실행되고 해당 UI를 선택제어하기 위한 터치모니터(1);
상기 사용자 로그인 또는 콘텐츠상에서 줄서기 기능을 매칭하여 사용하는 NFC단말기(2);
상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템의 바닥에 일정 면적을 투영하는 초단초점 빔프로젝터(3);
상기 사용자의 신체 스켈레톤을 생성, 추적하여 AR/VR/XR 콘텐츠 연동하는 기능,및 상기 사용자의 신체 스켈레톤중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별하여 바닥플로어에 관련된 스포츠 콘텐츠에 연동하는 기능을 포함하는 D-CAMERA(4);
상기 빔프로젝터로 투영된 빔투영범위 안으로 들어온 사용자의 신체를 스캔 추적하여 터치나 클릭 이벤트로 콘텐츠와 연동하는 기능을 포함하는 2D 라이다(28);를 포함하며,
상기 D-CAMERA(4)와 2D 라이다(28)는 상호 작동을 통해 상기 콘텐츠의 스포츠 종류에 따른 사용자 위치 인식, 사용자 상호작용, 및 스포츠 경기 분석이 가능한 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템.
In a slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports,
A touch monitor (1) for executing a platform launcher to run content for the user and to select and control the corresponding UI;
NFC terminal (2) used by matching the user login or queue function on the content;
An ultra-short focus beam projector (3) that projects a certain area on the floor of the slim action floor content provision system using multi-lidar sensors and D-CAMERA for the AR/VR/XR interactive sports;
A function to link AR/VR/XR content by creating and tracking the user's body skeleton, and sports content related to the floor by tracking the hands and feet of the user's body skeleton and identifying whether the hands and feet are left or right. D-CAMERA(4), which includes functions linking to;
It includes a 2D LIDAR (28) that includes a function to scan and track the body of a user who has entered the beam projection range projected by the beam projector and link it with content through a touch or click event,
The D-CAMERA (4) and the 2D LIDAR (28) are multi-functional for AR/VR/XR interactive sports that enable user location recognition, user interaction, and sports game analysis according to the type of sport in the content through mutual operation. Slim action floor content provision system using LiDAR sensor and D-CAMERA.
청구항 1에 있어서,
상기 D-CAMERA는 비전을 위한 이미지 센서로 듀얼렌즈가 장착된 뎁스 카메라 또는 AI 스테레오 카메라로 사용 가능한 것을 특징으로 하는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템.
In claim 1,
The D-CAMERA is an image sensor for vision and can be used as a depth camera equipped with a dual lens or an AI stereo camera. Slim action using multi-lidar sensor and D-CAMERA for AR/VR/XR interactive sports. Floor content provision system.
청구항 1에 있어서,
몸체 측면에 부착된 브라켓의 신축 기능에 따른 신축범위를 환경 상황에 따라 조절하여 2D 라이다의 위치를 감축 또는 확장시키고,
상기 브라켓은 내부에 고정공(25)이 형성된 수평 신축부재(22)와, 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템의 측면에 접혀 있다가 수평방향으로 일체로 90도 회전 이동하며, 상기 수평 신축부재(22)의 고정공(25)에 고정부(26)가 결합되어 수평방향의 거리 조절 및 고정이 가능하도록 상기 수평 신축부재(22)를 내부에서 슬라이딩시키는 수평 고정 부재(21)를 포함하는 것을 특징으로 하는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템.
In claim 1,
The position of the 2D lidar is reduced or expanded by adjusting the stretching range according to the stretching function of the bracket attached to the side of the body according to environmental conditions.
The bracket is folded on the side of the horizontal expansion member 22 with a fixing hole 25 formed inside, and a slim action floor content provision system using multi-lidar sensors and D-CAMERA for the AR/VR/XR interactive sports. Then, it rotates and moves 90 degrees in the horizontal direction, and the fixing part 26 is coupled to the fixing hole 25 of the horizontal stretching member 22, so that the distance in the horizontal direction can be adjusted and fixed. 22) A slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports, characterized by including a horizontal fixing member 21 that slides inside.
청구항 1에 있어서,
상기 D-CAMERA와 라이다가 상호 동작을 통해 사용자의 위치를 정확하게 인식하는 사용자 위치 인식 모듈;
상기 D-CAMERA와 라이다를 통해 사용자 간의 상호작용을 추적할 수 있는 사용자 상호작용 모듈; 및
상기 D-CAMERA와 라이다를 통해 사용자의 움직임을 분석하는 스포츠 분석 모듈;을 포함하는 것을 특징으로 하는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템.
In claim 1,
A user location recognition module that accurately recognizes the user's location through mutual operation between the D-CAMERA and LIDAR;
A user interaction module capable of tracking interaction between users through the D-CAMERA and LIDAR; and
Providing slim action floor content using multi-LIDAR sensors and D-CAMERA for AR/VR/XR interactive sports, characterized by including; a sports analysis module that analyzes the user's movements through the D-CAMERA and LIDAR; system.
청구항 1에 있어서,
상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템의 내부에 설치되고, 블루투스/WIFI 통신을 위한 리시버장치와 네트워크로 연결된 블루투스/WIFI 지원 액션플로어 PC와 무선 통신이 가능한 스마트밴드는,
상기 스마트밴드에서 얻어진 사용자의 심박수/스텝수/기타 신체바이오리듬 데이터를 미들웨어 또는 콘텐츠와 연동하여 실시간 가시화 기능, 콘텐츠상의 터치 이벤트 발생시 스마트밴드로 진동 피드백 기능, 사용자의 Identify 입력/식별기능, 및 사용자의 외부활동 모니터링 기능,및 액션플로어 또는 별도의 APP를 통하여 모니터링 관리 할 수 있는 기능 중 하나 이상을 포함하는 것을 특징으로 하는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템.
In claim 1,
A Bluetooth/WIFI-enabled action floor installed inside the slim action floor content provision system using multi-lidar sensors and D-CAMERA for the AR/VR/XR interactive sports, and connected to a network with a receiver device for Bluetooth/WIFI communication. A smart band that can communicate wirelessly with a PC,
Real-time visualization function by linking the user's heart rate/step count/other body biorhythm data obtained from the smart band with middleware or content, vibration feedback function to the smart band when a touch event occurs on the content, user's Identify input/identification function, and user identification function. Using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports, characterized by including one or more of the following external activity monitoring function and a function that can be monitored and managed through Action Floor or a separate APP Slim action floor content provision system.
청구항 1에 있어서,
상기 D-CAMERA를 이용한 손발바닥 추적 연동 기능으로서,
상기 빔프로젝터로 투영된 바닥의 빔투영 범위 안으로 사용자가 진입했을 때 바닥에 터치된 사용자의 양발 및 양손을 상기 D-CAMERA로 추적 및 분석하여 해당 터치부분의 데이터를 콘텐츠로 전송하는 것을 특징으로 하는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템.
In claim 1,
As a palm and sole tracking linkage function using the D-CAMERA,
When the user enters the beam projection range of the floor projected by the beam projector, both feet and hands of the user touched on the floor are tracked and analyzed by the D-CAMERA, and the data of the touched portion is transmitted as content. A slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports.
청구항 5에 있어서,
착탈식 바퀴;를 더 포함하여,
상기 착탈식 바퀴를 부착하여 몸체를 이동하는 경우 상기 사용자 위치 인식 모듈;이 사용자의 위치를 재인식하여 사용자에게 맞춤형 스포츠 콘텐츠를 다시 제공하거나,
4X2미터 면적을 투영하는 빔프로젝터에 의한 콘텐츠를 바닥에 투영하는 위치를 상기 착탈식 바퀴를 부착하여 몸체를 이동한 만큼 변경하는 것을 특징으로 하는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템.
In claim 5,
Including removable wheels;
When the body is moved by attaching the detachable wheels, the user location recognition module; re-recognizes the user's location and provides customized sports content to the user again,
Multi-lidar sensor and D for AR/VR/XR interactive sports, characterized in that the position of projecting content on the floor by a beam projector projecting an area of 4X2 meters changes as the body moves by attaching the detachable wheels -Slim action floor content provision system using CAMERA.
청구항 1의 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템을 이용한 방법에 있어서,
초단초점 빔프로젝터(3)로 상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 바닥에 일정 면적을 투영하는 단계;
D-CAMERA(4)로 사용자의 신체 스켈레톤을 생성, 추적하여 AR/VR/XR 콘텐츠 연동하고, 상기 사용자의 신체 스켈레톤중 손과 발을 추적하여 손과 발이 왼쪽인지, 오른쪽인지를 식별하여 바닥플로어에 관련된 스포츠 콘텐츠에 연동하는 단계;
상기 빔프로젝터로 투영된 빔투영범위 안으로 들어온 사용자의 신체를 스캔 추적하여 터치나 클릭 이벤트로 콘텐츠와 연동하는 기능을 포함하는 2D 라이다;를 설치하는 단계;
상기 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법의 몸체 측면에 부착된 브라켓의 신축 기능에 따른 신축범위를 상황에 따라 조절하여 2D 라이다의 위치를 감축 또는 확장시키는 단계;
상기 D-CAMERA와 2D 라이다는 상호 작동을 통해 상기 콘텐츠의 스포츠 종류에 따른 사용자 위치 인식, 사용자 상호작용, 및 스포츠 경기를 분석하는 단계;를 포함하는 AR/VR/XR 인터랙티브 스포츠를 위한 멀티 라이다 센서 및 D-CAMERA를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템을 이용한 방법.
In the method using a slim action floor content provision system using multi-lidar sensors and D-CAMERA for AR/VR/XR interactive sports of claim 1,
Projecting a certain area on the floor of the slim action floor content providing system and method using the multi-lidar sensor and D-CAMERA for the AR/VR/XR interactive sports using an ultra-short-throw beam projector (3);
D-CAMERA(4) creates and tracks the user's body skeleton to link with AR/VR/XR content, and tracks the hands and feet of the user's body skeleton to identify whether the hands and feet are left or right to determine whether the hands and feet are left or right. linking to sports content related to;
Installing a 2D LIDAR that includes a function of scanning and tracking the body of a user who enters the beam projection range projected by the beam projector and linking it with content through a touch or click event;
The slim action floor content provision system and method using the multi-lidar sensor and D-CAMERA for AR/VR/XR interactive sports adjust the stretching range according to the stretching function of the bracket attached to the side of the body according to the situation. Reducing or expanding the position of the 2D lidar;
The D-CAMERA and the 2D LIDAR interact with each other to recognize user location, user interaction, and analyze sports games according to the type of sport in the content. Multi-LA for AR/VR/XR interactive sports including Method using a slim action floor content provision system using an Ida sensor and D-CAMERA.
KR1020230104494A 2023-08-10 2023-08-10 Action Floor Slim Content Provision System Using LiDAR Sensor and D-CAMERA for AR/VR/XR Interactive Sports And the Method Using it KR102590735B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230104494A KR102590735B1 (en) 2023-08-10 2023-08-10 Action Floor Slim Content Provision System Using LiDAR Sensor and D-CAMERA for AR/VR/XR Interactive Sports And the Method Using it

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230104494A KR102590735B1 (en) 2023-08-10 2023-08-10 Action Floor Slim Content Provision System Using LiDAR Sensor and D-CAMERA for AR/VR/XR Interactive Sports And the Method Using it

Publications (1)

Publication Number Publication Date
KR102590735B1 true KR102590735B1 (en) 2023-10-20

Family

ID=88514471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230104494A KR102590735B1 (en) 2023-08-10 2023-08-10 Action Floor Slim Content Provision System Using LiDAR Sensor and D-CAMERA for AR/VR/XR Interactive Sports And the Method Using it

Country Status (1)

Country Link
KR (1) KR102590735B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102233395B1 (en) * 2020-10-12 2021-03-30 (주)투핸즈인터랙티브 Augmented reality interactive sports apparatus using lidar sensors
KR20210157031A (en) * 2020-06-19 2021-12-28 시크릿타운 주식회사 Theme park type augmented reality content providing system for kids
KR102384296B1 (en) 2020-03-26 2022-04-21 주식회사 큐랩 A augmented reality sports content system using depth recognition and color recognition
KR102490431B1 (en) * 2022-08-23 2023-02-01 주식회사 컴플렉시온 Control method of electronic device for determining environment to acquire movement of user
KR20230111096A (en) * 2022-01-17 2023-07-25 (주)앤트로스 3-sided virtual reality/augmented reality experience booth system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102384296B1 (en) 2020-03-26 2022-04-21 주식회사 큐랩 A augmented reality sports content system using depth recognition and color recognition
KR20210157031A (en) * 2020-06-19 2021-12-28 시크릿타운 주식회사 Theme park type augmented reality content providing system for kids
KR102233395B1 (en) * 2020-10-12 2021-03-30 (주)투핸즈인터랙티브 Augmented reality interactive sports apparatus using lidar sensors
KR20230111096A (en) * 2022-01-17 2023-07-25 (주)앤트로스 3-sided virtual reality/augmented reality experience booth system
KR102490431B1 (en) * 2022-08-23 2023-02-01 주식회사 컴플렉시온 Control method of electronic device for determining environment to acquire movement of user

Similar Documents

Publication Publication Date Title
JP7095073B2 (en) Robot as a personal trainer
US20140168100A1 (en) Video-game controller assemblies designed for progressive control of actionable-objects displayed on touchscreens: expanding the method and breadth of touch-input delivery
US11850499B2 (en) Augmented reality based interactive sports device using LiDAR sensor
US20180103139A1 (en) Dual-mode eyeglasses
EP3392706B1 (en) Image display device
CN109308115B (en) Method and related device for displaying user movement in virtual reality system
CN101484221A (en) Obtaining input for controlling execution of a game program
CN102580314A (en) Obtaining input for controlling execution of a game program
CN101443087B (en) Gaming system with moveable display
US20190091544A1 (en) Dual Motion Sensor Bands for Real Time Gesture Tracking and Interactive Gaming
CA2854485C (en) Integrated digital play system
JP2016131782A (en) Head wearable display device, detection device, control method for head wearable display device, and computer program
CN110559632A (en) intelligent skiing fitness simulation simulator and control method thereof
WO2018203453A1 (en) Information processing device, information processing method, and program
KR102590735B1 (en) Action Floor Slim Content Provision System Using LiDAR Sensor and D-CAMERA for AR/VR/XR Interactive Sports And the Method Using it
KR102051004B1 (en) Mixed reality based exercise system providing optimized sound
CA2837808A1 (en) Video-game controller assemblies for progressive control of actionable-objects displayed on touchscreens
WO2018057044A1 (en) Dual motion sensor bands for real time gesture tracking and interactive gaming
CA2516151A1 (en) Interactive system
KR102476285B1 (en) Method for measuring individual exercise amount using augmented reality interactive sports apparatus
Kuntz et al. Low-cost and home-made immersive systems
Wu et al. Launching your VR neuroscience laboratory
KR102430084B1 (en) Augmented reality interactive sports system using lidar sensors
KR102088345B1 (en) Controlling apparatus based on theme for operation type equipment interlocked with Head Mounted Display device
KR102476730B1 (en) Circuit training providing method using augmented reality interactive sports apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant