KR102233395B1 - 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치 - Google Patents

라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치 Download PDF

Info

Publication number
KR102233395B1
KR102233395B1 KR1020200131501A KR20200131501A KR102233395B1 KR 102233395 B1 KR102233395 B1 KR 102233395B1 KR 1020200131501 A KR1020200131501 A KR 1020200131501A KR 20200131501 A KR20200131501 A KR 20200131501A KR 102233395 B1 KR102233395 B1 KR 102233395B1
Authority
KR
South Korea
Prior art keywords
user
unit
lidar sensor
sports
motion
Prior art date
Application number
KR1020200131501A
Other languages
English (en)
Inventor
유왕윤
Original Assignee
(주)투핸즈인터랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)투핸즈인터랙티브 filed Critical (주)투핸즈인터랙티브
Priority to KR1020200131501A priority Critical patent/KR102233395B1/ko
Priority to US18/019,813 priority patent/US11850499B2/en
Priority to JP2022559913A priority patent/JP7284878B2/ja
Priority to CN202080102759.4A priority patent/CN115768532B/zh
Priority to PCT/KR2020/014925 priority patent/WO2022080548A1/ko
Priority to EP20957793.1A priority patent/EP4226979A1/en
Application granted granted Critical
Publication of KR102233395B1 publication Critical patent/KR102233395B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0096—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load using performance related parameters for controlling electronic or video games or avatars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0636—3D visualisation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/805—Optical or opto-electronic sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/89—Field sensors, e.g. radar systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

본 발명은 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치에 관한 것으로서, 보다 구체적으로는 증강현실 인터랙티브 스포츠 장치로서, 본체; 상기 본체의 전면에 구비되며, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하는 프로젝터부; 상기 프로젝터부의 투영 방향을 향하여 설치되는 라이다 센서부; 상기 라이다 센서부를 이용해 상기 스포츠 콘텐츠에 따른 사용자 위치를 인식하여 사용자 모션을 트래킹하는 모션 트래킹부; 일 말단은 상기 본체 하단의 측면에 연결되고 다른 말단은 상기 라이다 센서부에 연결되어, 상기 라이다 센서부가 상기 본체로부터 미리 정해진 거리만큼 이격되도록 연결하는 센서 연결부; 및 상기 프로젝터부를 통해 상기 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 상기 스포츠 콘텐츠를 제공하되, 상기 모션 트래킹부에서 트래킹되는 사용자 모션을 이용해 상기 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치에 따르면, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 스포츠 콘텐츠를 이용하는 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 모션 트래킹이 가능한 범위가 넓어서 바닥면을 효율적으로 이용할 수 있으며, 2개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있다.

Description

라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치{AUGMENTED REALITY INTERACTIVE SPORTS APPARATUS USING LIDAR SENSORS}
본 발명은 증강현실 인터랙티브 스포츠 장치에 관한 것으로서, 보다 구체적으로는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치에 관한 것이다.
과학이 발달하면서 현대인의 신체 활동이 감소하고, 대다수 현대인에게서 운동 부족 현상이 발생하고 있다. 특히, 비만과 같은 성인병에 해당하는 인구가 지속적으로 증가하고 있다. 또한, 급격한 날씨 변화와 환경오염, 미세먼지, 전염성 질병 등으로 야외 활동이 제한되면서, 실내에서 충분한 신체 활동을 할 수 있는 운동에 관한 관심이 높아지고 있다.
실내에서 할 수 있는 가장 일반적인 운동으로 피트니스(Fitness)가 있는데, 피트니스는 밸런스가 잡힌 건강한 신체를 만들어내는 일, 또는 그것을 위한 운동을 말한다. 이러한 피트니스는 전문 장비가 구비된 피트니스 센터에서 전문 트레이너의 개인 지도(Personal Training)를 통해 이루어지게 된다. 그러나 현대인은 바쁜 일상 때문에 피트니스 센터에 찾아가 정기적으로 전문 트레이너의 지도를 받기 어렵고, 비싼 강습료로 인해 피트니스를 지속하기가 매우 어려운 실정이다.
한편, 통상의 피트니스는 장비를 이용해 운동하게 되므로, 잘못된 운동으로 인한 부상의 위험이 있고, 전문 장비를 이용해 할 수 있는 운동이 제한되어 있으므로, 쉽게 실증을 느끼게 되는 문제가 있다. 또한, 유산소 운동을 위한 트레드밀과 같은 장비는, 운동 과정이 단조롭고 정해진 코스만을 반복하게 되므로, 사용자가 운동을 중도에 포기해버리는 경우가 많은 문제점이 있다.
이러한 문제를 해결하기 위해, 가상현실이나 증강현실을 이용해 스포츠를 즐길 수 있는 기술이 개발되기도 했다. 관련된 선행기술로서, 공개특허 제10-2020-0082990호(발명의 명칭: VR 스포츠를 통한 피트니스 관리방법) 등이 개시된 바 있다.
그러나 종래의 가상현실을 이용해 스포츠를 즐길 수 있는 기술은, VR 장치를 머리에 착용해야 하므로 동작이 불편하여 충분한 운동 효과를 얻기 힘든 한계가 있다. 뿐만 아니라, 피트니스나 VR 스포츠는 어린이와 청소년의 체력 증진 및 교육 목적으로 사용하기에는 한계가 있고, 대체로 혼자 운동을 하는 것이므로 어린이와 청소년의 협동심을 기르는 데에는 적합하지 않다.
또한, 종래기술에서는 카메라 센싱을 이용해 사용자 모션을 인식하는데, 카메라 센싱을 이용하면 여러 사용자의 모션을 동시에 인식할 수 없으므로, 한 명씩 이용할 수밖에 없고, 여러 사용자가 함께 스포츠를 즐기기는 어려운 문제가 있었다. 또는 별도의 오브젝트는 이용해야 하므로 스포츠의 종류가 한정되는 문제가 있었다.
따라서 실내에서 복수의 사용자가 함께 다양한 스포츠를 즐길 수 있는 기술의 개발이 필요한 실정이다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 스포츠 콘텐츠를 이용하는 사용자 모션을 라이다 센서를 이용해 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 모션 트래킹이 가능한 범위가 넓어서 바닥면을 효율적으로 이용할 수 있으며, 2개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치는,
증강현실 인터랙티브 스포츠 장치로서,
본체;
상기 본체의 전면에 구비되며, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하는 프로젝터부;
상기 프로젝터부의 투영 방향을 향하여 설치되는 라이다 센서부;
상기 라이다 센서부를 이용해 상기 스포츠 콘텐츠에 따른 사용자 위치를 인식하여 사용자 모션을 트래킹하는 모션 트래킹부;
일 말단은 상기 본체 하단의 측면에 연결되고 다른 말단은 상기 라이다 센서부에 연결되어, 상기 라이다 센서부가 상기 본체로부터 미리 정해진 거리만큼 이격되도록 연결하는 센서 연결부; 및
상기 프로젝터부를 통해 상기 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 상기 스포츠 콘텐츠를 제공하되, 상기 모션 트래킹부에서 트래킹되는 사용자 모션을 이용해 상기 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 라이다 센서부는,
상기 센서 연결부를 통해 상기 본체 하단의 양 측면에 각각 연결되는 2개의 라이다 센서를 포함할 수 있다.
바람직하게는, 상기 라이다 센서부는,
레이저를 생성 및 조사하는 광 송신 모듈;
상기 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈; 및
상기 광 수신 모듈에 의해 집속된 광신호를 감지하는 광 감지 모듈
을 포함하며,
상기 모션 트래킹부는,
상기 감지된 광신호를 이용해 사용자 모션을 트래킹할 수 있다.
바람직하게는, 상기 모션 트래킹부는,
상기 라이다 센서부를 이용해 지면으로부터 미리 정해진 지점의 사용자 발 위치를 인식하며, 사용자 발 위치 변화를 추적해 사용자 모션을 트래킹할 수 있다.
바람직하게는, 상기 센서 연결부는,
상기 본체 하단의 측면과 힌지 구조로 연결될 수 있다.
바람직하게는,
상기 본체의 하단에 설치되며 이동 보조를 위한 보조 바퀴를 더 포함할 수 있다.
바람직하게는,
트레이너 단말기와 통신을 수행하며, 상기 트레이너 단말기에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 상기 트레이너 단말기로부터 제어 신호를 수신해 상기 제어부에 전달하여, 상기 사용자에게 비접촉 방식의 트레이닝을 제공하는 통신부를 더 포함할 수 있다.
더욱 바람직하게는,
상기 본체의 전면에 구비되며, 상기 스포츠 콘텐츠의 선택 신호를 입력받고 상기 스포츠 콘텐츠와 관련된 플레이 정보를 출력하는 디스플레이부; 및
상기 스포츠 콘텐츠와 관련된 음향을 출력하는 스피커부를 더 포함하며,
상기 디스플레이부 및 스피커부는,
상기 통신부가 상기 트레이너 단말기로부터 수신한 실시간 트레이너 영상을 출력할 수 있다.
본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치에 따르면, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 스포츠 콘텐츠를 이용하는 사용자 모션을 라이다 센서를 이용해 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 모션 트래킹이 가능한 범위가 넓어서 바닥면을 효율적으로 이용할 수 있으며, 2개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있다.
도 1은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치의 구성을 도시한 도면.
도 2 및 도 3은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치의 모습을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치의 프로젝터부의 투영 영역을 나타낸 도면.
도 5는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치에서, 라이다 센서부의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치에서, 싱글 라이다 센서 구조를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치에서, 듀얼 라이다 센서 구조를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치가 트레이너 단말기와 통신하는 모습을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)의 구성을 도시한 도면이고, 도 2 및 도 3은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)의 모습을 도시한 도면이다. 도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)는, 본체(110), 프로젝터부(120), 라이다 센서부(130), 모션 트래킹부(140), 센서 연결부(150) 및 제어부(160)를 포함하여 구성될 수 있으며, 통신부(170), 디스플레이부(180) 및 스피커부(190)를 더 포함하여 구성될 수 있다.
본체(110)는, 증강현실 인터랙티브 스포츠 장치(100)의 몸체를 구성하는 프레임일 수 있으며, 내면에 제어부(160)를 포함하는 컴퓨터 장치 등을 구비할 수 있다. 본체(110)는, 도 2에 도시된 바와 같은 직육면체 형태일 수 있으나, 도 3에 도시된 바와 같은 형태일 수도 있고, 구체적인 형태나 모양은 다양하게 구현될 수 있다. 특히, 도 3에 도시된 바와 같이, 본체(110)의 하단에 설치되며 이동 보조를 위한 보조 바퀴(111)를 적어도 하나 이상 더 포함하여, 증강현실 인터랙티브 스포츠 장치(100)를 이동식으로 구현함으로써, 필요에 따라 장소를 자유롭게 옮겨서 스포츠 콘텐츠를 플레이할 수 있다.
프로젝터부(120)는, 본체(110)의 전면에 구비되며, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영할 수 있다. 도 2에 도시된 바와 같이, 본체(110)의 전면에 프로젝터가 설치되어, 본체(110)의 앞에서 사용자가 스포츠 콘텐츠를 제공받을 수 있으며, 프로젝터는 벽면이 아닌 바닥면에 영상을 투영하도록 방향을 조정하여 설치될 수 있다.
도 4는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)의 프로젝터부(120)의 투영 영역(10)을 나타낸 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)의 프로젝터부(120)는, 바닥면에 직사각형 형태의 투영 영역(10)을 프로젝션할 수 있다. 이와 같이 프로젝터부(120)를 이용해 바닥면을 충분히 활용함으로써, 모니터나 휴대 단말기, TV 등 디스플레이 장치를 이용할 때보다 훨씬 넓은 투영 영역(10)을 활용해 다양한 스포츠 콘텐츠를 제공할 수 있다. 예를 들어, 투영 영역(10)은 4.5m × 2.6m 크기일 수 있다. 한편, 프로젝터부(120)는 투영 영역(10)의 모양이 마름모꼴 등으로 왜곡되지 않고 직각 사각형이 되도록 왜곡을 보정하여 영상을 투영할 수 있다.
라이다 센서부(130)는, 프로젝터부(120)의 투영 방향을 향하여 설치될 수 있다. 즉, 투영 영역(10)에서 스포츠 콘텐츠를 이용하는 사용자의 모션을 인식하기 위해, 라이다 센서부(130)는 투영 영역(10)을 커버할 수 있도록 배치될 수 있다. 이때, 라이다 센서부(130)가 포함하는 라이다 센서는, RP Lidar A3일 수 있으며, 레이저 스캐닝 범위는 20m 정도일 수 있다. 특히, 라이다 센서부(130)는 2개의 라이다 센서(130b, 130b)를 포함하여 구성될 수 있다. 라이다 센서부(130)의 세부적인 구성에 대해서는 추후 도 5를 참조하여 상세히 설명하도록 한다.
모션 트래킹부(140)는, 라이다 센서부(130)를 이용해 스포츠 콘텐츠에 따른 사용자 위치를 인식하여 사용자 모션을 트래킹할 수 있다. 보다 구체적으로, 모션 트래킹부(140)는, 라이다 센서부(130)를 이용해 지면으로부터 미리 정해진 지점의 사용자 발 위치를 인식하며, 사용자 발 위치 변화를 추적해 사용자 모션을 트래킹할 수 있다. 즉, 라이다 센서부(130)는 지면으로부터 5㎝ 정도 높이의 평면을 레이저 스캐닝하여 사용자 발의 존재 여부 및 위치를 검출할 수 있는데, 모션 트래킹부(140)는 사용자 발의 위치 변화를 사용자 모션으로 트래킹할 수 있다.
도 5는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)에서, 라이다 센서부(130)의 세부적인 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)의 라이다 센서부(130)는, 레이저를 생성 및 조사하는 광 송신 모듈(131), 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈(132), 및 광 수신 모듈(132)에 의해 집속된 광신호를 감지하는 광 감지 모듈(133)을 포함하여 구성될 수 있고, 모션 트래킹부(140)는, 감지된 광신호를 이용해 사용자 모션을 트래킹할 수 있다.
기존의 사용자 모션 트래킹 방식으로는, 카메라를 이용한 센싱이 많이 사용되었다. 예를 들어, 초고속 카메라 센서, 3D 뎁스 카메라 센서, 키넥트 카메라 센서(Kinetic camera sensor) 등을 사용할 수 있다. 초고속 카메라 센서는 가상현실 운동 등에 사용될 수 있는데, 데이터 처리를 하기 위해서는 연속적인 트래킹이 불가능하고, 정해진 위치에서 1명씩 사용해야 하며, 별도의 오브젝트가 필요한 한계가 있다. 3D 뎁스 카메라 센서는, 특정 심도(depth)에서의 변화 값을 검출해 사용하기 때문에 특정 심도에서 이벤트를 발생시켜야 하고, 1~10명 정도의 소수만 동시에 이용할 수 있으며, 별도의 오브젝트가 필요한 한계가 있다. 키넥트 카메라 센서는 피사체의 모션을 검출하는데, 카메라 화각 때문에 센싱 범위가 좁아서 정해진 위치에서 운동해야 하므로 활동 범위가 좁으며, 한 번에 1명만 사용할 수 있는 한계가 있다.
전술한 바와 같은 종래기술의 문제를 해결할 수 있는, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)는, 라이다 센서부(130) 및 모션 트래킹부(140)를 포함함으로써, 별도의 오브젝트나 장치 착용 없이 몸만으로도 증강현실 스포츠를 즐길 수 있고, 모션 트래킹이 가능한 범위가 넓어서 투영 영역(10)을 포함하는 바닥면을 충분히 이용해 여기저기 이동하며 운동할 수 있다. 또한, 라이다 센서부(130)가 1~30명의 위치를 동시에 트래킹할 수 있으므로 단체 스포츠에도 적용할 수 있고, 이를 통해 함께 운동하는 재미를 주고 협동심을 기르는 데 도움을 줄 수 있다.
센서 연결부(150)는, 일 말단은 본체(110) 하단의 측면에 연결되고 다른 말단은 라이다 센서부(130)에 연결되어, 라이다 센서부(130)가 본체(110)로부터 미리 정해진 거리만큼 이격되도록 연결할 수 있다. 보다 구체적으로, 도 2 및 도 3에 도시된 바와 같이, 센서 연결부(150)는 바 형태로 본체(110)의 양 측면에 연결될 수 있으며, 센서 연결부(150)의 길이는 80~120㎝ 정도, 보다 구체적으로는 100㎝로 할 수 있다. 또한, 도 3에 도시된 바와 같이, 센서 연결부(150)는 본체(110) 하단의 측면과 힌지 구조로 연결되어, 사용하지 않을 때나 이동 시에 센서 연결부(150)를 접어서 편리하게 보관 또는 이동할 수 있다.
한편, 라이다 센서부(130)는, 센서 연결부(150)를 통해 본체(110) 하단의 양 측면에 각각 연결되는 2개의 라이다 센서를 포함할 수 있다. 특히, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)에서는, 2개의 라이다 센서를 이용해 사용자의 모션을 트래킹함으로써, 빠르고 정확하게 복수의 사용자를 트래킹할 수 있다.
도 6은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)에서, 싱글 라이다 센서 구조를 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)에서, 듀얼 라이다 센서 구조를 도시한 도면이다. 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)는, 도 6에 도시된 바와 같이 하나의 라이다 센서를 이용해 사용자 모션 트래킹을 할 수도 있으나, 도 7에 도시된 바와 같이 2개의 라이다 센서를 이용하면 사용자들의 상대적 위치로 인한 트래킹 실패를 회피하고, 여러 사용자의 위치를 간섭 없이 정확하게 파악할 수 있다.
즉, 라이다 센서를 사용하는 경우 레이저 스캐닝 그늘이 발생하게 되어 그늘에 위치한 객체는 탐지할 수 없다. 싱글 라이다 센서 구조에서, 두 사용자의 위치가 중복되지 않으면 각각의 사용자의 모션 트래킹에 문제가 없으나, 도 6에 도시된 바와 같이 Player B가 Player A의 레이저 스캐닝 그늘에 위치하면 Player B는 트래킹이 불가능하게 된다.
반면에, 두 개의 라이다 센서를 사용하는 경우(듀얼 라이다 센서 구조), 제1 라이다 센서(130a)에 의한 레이저 스캐닝 그늘 영역은, 제2 라이다 센서(130b)에 의해 스캐닝되므로, 간섭 없이 복수 사용자의 모션 트래킹을 동시에 할 수 있다. 즉, 도 7에 도시된 바와 같이, Player B가 Player A의 제1 라이다 센서(130a)의 레이저 스캐닝 그늘에 위치하더라도, Player B의 모션은 제2 라이다 센서(130b)에 의해 트래킹될 수 있다.
제어부(160)는, 프로젝터부(120)를 통해 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 스포츠 콘텐츠를 제공하되, 모션 트래킹부(140)에서 트래킹되는 사용자 모션을 이용해 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어할 수 있다. 즉, 제어부(160)는 사용자와 스포츠 콘텐츠가 인터랙션할 수 있도록, 모션 트래킹부(140)에서 트래킹되는 사용자 모션을 스포츠 콘텐츠의 입력 신호로 변환해 전달할 수 있다.
통신부(170)는, 트레이너 단말기와 통신을 수행하며, 트레이너 단말기에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 트레이너 단말기로부터 제어 신호를 수신해 제어부(160)에 전달하여, 사용자에게 비접촉 방식의 트레이닝을 제공할 수 있다. 여기서, 통신부(170)는 인터넷 접속이 가능한 와이파이(Wi-Fi, Wireless Fidelity), 이동통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), 3G/4G/5G(3/4/5th Generation Mobile Telecommunication) 및 LTE(Long Term Evolution)를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
디스플레이부(180)는, 본체(110)의 전면에 구비되며, 스포츠 콘텐츠의 선택 신호를 입력받고 스포츠 콘텐츠와 관련된 플레이 정보를 출력할 수 있다. 즉, 도 2에 도시된 바와 같이, 디스플레이부(180)는 본체(110)의 전면에 위치할 수 있으며, 사용자가 사용자의 정보를 입력 또는 열람하고, 스포츠 콘텐츠를 선택하는 등 각종 입출력이 가능하도록 터치스크린으로 구현될 수 있다.
스피커부(190)는, 스포츠 콘텐츠와 관련된 음향을 출력할 수 있다. 스피커는 본체(110)의 전면이나 측면 등에 설치될 수 있으며, 디스플레이부(180)를 통해 볼륨이 조절될 수 있다.
특히, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)는, 프로젝터부(120), 라이다 센서부(130), 모션 트래킹부(140), 제어부(160), 통신부(170), 디스플레이부(180), 스피커부(190) 등이 모두 일체로 구성되어, 본체(110)를 이동시켜 특정 장소에 놓는 것만으로 쉽게 원하는 장소에서 스포츠 콘텐츠를 즐길 수 있다.
도 8은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)가 트레이너 단말기와 통신하는 모습을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)는, 통신부(170)를 통해 트레이너 단말기로부터 제어 신호를 수신하여 원격으로 트레이닝 서비스를 제공할 수 있다. 트레이너는 단말기에 애플리케이션을 설치하여, 증강현실 인터랙티브 스포츠 장치(100)로부터 사용자의 운동 데이터를 제공받아 확인할 수 있으며, 각 사용자에게 적절한 스포츠 콘텐츠를 추천하거나 운동 자세, 운동 시간 등을 코칭하는 등 트레이닝 데이터를 제공할 수 있다.
여기서, 트레이너 단말기는 전자 장치로 구현될 수 있다. 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.
한편, 디스플레이부(180) 및 스피커부(190)는, 통신부(170)가 트레이너 단말기로부터 수신한 실시간 트레이너 영상을 출력할 수 있다. 즉, 도 8에 도시된 바와 같이, 실시간 트레이너 영상을 디스플레이부(180) 및 스피커부(190)로 출력함으로써, 직접 대면 접촉 없이도 사용자와 트레이너가 원격으로 얼굴을 보고 트레이닝 서비스를 제공하거나 받을 수 있다. 이를 위해 본체(110)의 전면에 카메라를 구비하여 스포츠 콘텐츠를 이용하는 사용자의 모습을 촬영하고, 촬영된 영상을 통신부(170)를 이용해 트레이너 단말기에 전송할 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100)에 따르면, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 스포츠 콘텐츠를 이용하는 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 모션 트래킹이 가능한 범위가 넓어서 바닥면을 효율적으로 이용할 수 있으며, 2개의 라이다 센서를 이용해 사용자 모션을 트래킹함으로써, 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹 할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 투영 영역
100: 증강현실 인터랙티브 스포츠 장치
110: 본체
111: 보조 바퀴
120: 프로젝터부
130: 라이다 센서부
130a: 제1 라이다 센서
130b: 제2 라이다 센서
131: 광 송신 모듈
132: 광 수신 모듈
133: 광 감지 모듈
140: 모션 트래킹부
150: 센서 연결부
160: 제어부
170: 통신부
180: 디스플레이부
190: 스피커부

Claims (8)

  1. 증강현실 인터랙티브 스포츠 장치(100)로서,
    본체(110);
    상기 본체(110)의 전면에 구비되며, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하는 프로젝터부(120);
    상기 프로젝터부(120)의 투영 방향을 향하여 설치되는 라이다 센서부(130);
    상기 라이다 센서부(130)를 이용해 상기 스포츠 콘텐츠에 따른 사용자 위치를 인식하여 사용자 모션을 트래킹하는 모션 트래킹부(140);
    일 말단은 상기 본체(110) 하단의 측면에 연결되고 다른 말단은 상기 라이다 센서부(130)에 연결되어, 상기 라이다 센서부(130)가 상기 본체(110)로부터 미리 정해진 거리만큼 이격되도록 연결하는 센서 연결부(150); 및
    상기 프로젝터부(120)를 통해 상기 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 상기 스포츠 콘텐츠를 제공하되, 상기 모션 트래킹부(140)에서 트래킹되는 사용자 모션을 이용해 상기 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어하는 제어부(160)를 포함하며,
    상기 라이다 센서부(130)는,
    상기 센서 연결부(150)를 통해 상기 본체(110) 하단의 양 측면에 각각 연결되는 2개 이상의 라이다 센서를 포함하여, 복수의 사용자들의 상대적 위치로 인한 레이저 스캐닝 그늘 영역에서의 트래킹 실패를 회피하여 각각의 사용자의 위치를 파악하고,
    상기 모션 트래킹부(140)는,
    상기 라이다 센서부(130)를 이용해 지면으로부터 미리 정해진 높이의 평면을 레이저 스캐닝하여 사용자 발 위치를 인식하며, 사용자 발 위치 변화를 추적해 사용자 모션을 트래킹하여,
    복수의 사용자가 동시에 상기 스포츠 콘텐츠를 이용해 단체 스포츠를 할 수 있는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100).
  2. 삭제
  3. 제1항에 있어서, 상기 라이다 센서부(130)는,
    레이저를 생성 및 조사하는 광 송신 모듈(131);
    상기 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈(132); 및
    상기 광 수신 모듈(132)에 의해 집속된 광신호를 감지하는 광 감지 모듈(133)을 포함하며,
    상기 모션 트래킹부(140)는,
    상기 감지된 광신호를 이용해 사용자 모션을 트래킹하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100).
  4. 삭제
  5. 제1항에 있어서, 상기 센서 연결부(150)는,
    상기 본체(110) 하단의 측면과 힌지 구조로 연결되는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100).
  6. 제1항에 있어서,
    상기 본체(110)의 하단에 설치되며 이동 보조를 위한 보조 바퀴(111)를 더 포함하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100).
  7. 제1항에 있어서,
    트레이너 단말기와 통신을 수행하며, 상기 트레이너 단말기에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 상기 트레이너 단말기로부터 제어 신호를 수신해 상기 제어부(160)에 전달하여, 상기 사용자에게 비접촉 방식의 트레이닝을 제공하는 통신부(170)를 더 포함하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100).
  8. 제7항에 있어서,
    상기 본체(110)의 전면에 구비되며, 상기 스포츠 콘텐츠의 선택 신호를 입력받고 상기 스포츠 콘텐츠와 관련된 플레이 정보를 출력하는 디스플레이부(180); 및
    상기 스포츠 콘텐츠와 관련된 음향을 출력하는 스피커부(190)
    를 더 포함하며,
    상기 디스플레이부(180) 및 스피커부(190)는,
    상기 통신부(170)가 상기 트레이너 단말기로부터 수신한 실시간 트레이너 영상을 출력하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치(100).
KR1020200131501A 2020-10-12 2020-10-12 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치 KR102233395B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020200131501A KR102233395B1 (ko) 2020-10-12 2020-10-12 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치
US18/019,813 US11850499B2 (en) 2020-10-12 2020-10-29 Augmented reality based interactive sports device using LiDAR sensor
JP2022559913A JP7284878B2 (ja) 2020-10-12 2020-10-29 ライダーセンサーを用いた拡張現実インタラクティブスポーツ装置
CN202080102759.4A CN115768532B (zh) 2020-10-12 2020-10-29 使用激光雷达传感器的增强现实互动运动装置
PCT/KR2020/014925 WO2022080548A1 (ko) 2020-10-12 2020-10-29 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치
EP20957793.1A EP4226979A1 (en) 2020-10-12 2020-10-29 Augmented reality interactive sports device using lidar sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131501A KR102233395B1 (ko) 2020-10-12 2020-10-12 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치

Publications (1)

Publication Number Publication Date
KR102233395B1 true KR102233395B1 (ko) 2021-03-30

Family

ID=75264917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131501A KR102233395B1 (ko) 2020-10-12 2020-10-12 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치

Country Status (6)

Country Link
US (1) US11850499B2 (ko)
EP (1) EP4226979A1 (ko)
JP (1) JP7284878B2 (ko)
KR (1) KR102233395B1 (ko)
CN (1) CN115768532B (ko)
WO (1) WO2022080548A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102506127B1 (ko) 2021-10-29 2023-03-07 (주)아이원 라이더를 이용한 가상 터치 스크린 장치
KR102519798B1 (ko) * 2021-10-08 2023-04-11 이재복 라이다센서 및 인공지능을 이용한 체험형 야구-시뮬레이션 서비스 시스템
WO2023158072A1 (ko) * 2022-02-18 2023-08-24 경북대학교 산학협력단 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법
KR102590735B1 (ko) * 2023-08-10 2023-10-20 (주)에어패스 Ar/vr/xr 인터랙티브 스포츠를 위한 멀티 라이다 센서및 d-camera를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법
KR20230166856A (ko) 2022-05-31 2023-12-07 (주)아이원 인터랙티브 영상 출력시스템
US11850499B2 (en) 2020-10-12 2023-12-26 Twohandsinteractive Co., Ltd. Augmented reality based interactive sports device using LiDAR sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170008896A (ko) * 2015-06-19 2017-01-25 (주)블루클라우드 실감형 인터랙티브 콘텐츠에 기반한 운동시스템의 증강된 가상 운동공간 제공 장치 및 그 방법
KR20190055364A (ko) * 2017-11-15 2019-05-23 (주)새온 인터렉티브 비디오 게임 시스템
KR102088333B1 (ko) * 2019-08-20 2020-03-13 주식회사 마이베네핏 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템
KR20200075707A (ko) * 2019-03-05 2020-06-26 코어다 주식회사 제스쳐의 인식 위치에 따른 모션 인식 기기의 제어 방법, 서버, 기기 및 프로그램

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136251B2 (ja) * 2000-02-18 2008-08-20 株式会社バンダイナムコゲームス ゲーム装置および情報記憶媒体
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
DE102008052406A1 (de) 2008-08-08 2010-02-11 Epionics Medical Gmbh Verfahren und Vorrichtung zum Erfassen von Parametern zur Charakterisierung von Bewegungsabläufen am menschlichen oder tierischen Körper
JP6381918B2 (ja) * 2013-01-23 2018-08-29 キヤノンメディカルシステムズ株式会社 動作情報処理装置
KR101974260B1 (ko) * 2017-01-18 2019-04-30 엘지전자 주식회사 유도 가열 및 무선 전력 전송 장치
US11314399B2 (en) * 2017-10-21 2022-04-26 Eyecam, Inc. Adaptive graphic user interfacing system
US10653957B2 (en) 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
KR102598061B1 (ko) * 2018-09-03 2023-11-03 삼성디스플레이 주식회사 유기 발광 표시 장치 및 그 제조 방법
US10818090B2 (en) * 2018-12-28 2020-10-27 Universal City Studios Llc Augmented reality system for an amusement ride
KR102151321B1 (ko) 2018-12-31 2020-09-08 동서대학교 산학협력단 Vr 스포츠를 통한 피트니스 관리방법
CN110568931A (zh) * 2019-09-11 2019-12-13 百度在线网络技术（北京）有限公司 交互方法、设备、系统、电子设备及存储介质
KR102233395B1 (ko) 2020-10-12 2021-03-30 (주)투핸즈인터랙티브 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170008896A (ko) * 2015-06-19 2017-01-25 (주)블루클라우드 실감형 인터랙티브 콘텐츠에 기반한 운동시스템의 증강된 가상 운동공간 제공 장치 및 그 방법
KR20190055364A (ko) * 2017-11-15 2019-05-23 (주)새온 인터렉티브 비디오 게임 시스템
KR20200075707A (ko) * 2019-03-05 2020-06-26 코어다 주식회사 제스쳐의 인식 위치에 따른 모션 인식 기기의 제어 방법, 서버, 기기 및 프로그램
KR102088333B1 (ko) * 2019-08-20 2020-03-13 주식회사 마이베네핏 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11850499B2 (en) 2020-10-12 2023-12-26 Twohandsinteractive Co., Ltd. Augmented reality based interactive sports device using LiDAR sensor
KR102519798B1 (ko) * 2021-10-08 2023-04-11 이재복 라이다센서 및 인공지능을 이용한 체험형 야구-시뮬레이션 서비스 시스템
KR102506127B1 (ko) 2021-10-29 2023-03-07 (주)아이원 라이더를 이용한 가상 터치 스크린 장치
WO2023158072A1 (ko) * 2022-02-18 2023-08-24 경북대학교 산학협력단 비디오 분할에 기반한 라이다 데이터 증강 장치 및 라이다 데이터 증강 방법
KR20230166856A (ko) 2022-05-31 2023-12-07 (주)아이원 인터랙티브 영상 출력시스템
KR102590735B1 (ko) * 2023-08-10 2023-10-20 (주)에어패스 Ar/vr/xr 인터랙티브 스포츠를 위한 멀티 라이다 센서및 d-camera를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법

Also Published As

Publication number Publication date
WO2022080548A1 (ko) 2022-04-21
EP4226979A1 (en) 2023-08-16
US11850499B2 (en) 2023-12-26
CN115768532B (zh) 2023-07-14
JP2023515891A (ja) 2023-04-14
CN115768532A (zh) 2023-03-07
JP7284878B2 (ja) 2023-05-31
US20230241483A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
KR102233395B1 (ko) 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 장치
KR102088333B1 (ko) 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템
JP6538897B2 (ja) 空間感知を備えるゲーム機
KR102065687B1 (ko) 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법
Shaw et al. Challenges in virtual reality exergame design
CN107111340A (zh) 用于使用头戴式显示器在虚拟或增强现实场景内进行用户交互的方法和系统
CN108421252B (zh) 一种基于ar设备的游戏实现方法和ar设备
KR102049096B1 (ko) 혼합 현실 기반의 운동 시스템
CN104353240A (zh) 基于Kinect的跑步机系统
TW201910973A (zh) 虛擬實境系統中顯示使用者移動的方法及相關裝置
KR102464094B1 (ko) 이중 라이다 센서 구조의 모션 트래킹 장치
KR102476285B1 (ko) 증강현실 인터랙티브 스포츠 장치를 이용한 개인별 운동량 측정 방법
KR20220014254A (ko) 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템
KR102430084B1 (ko) 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템
KR102476730B1 (ko) 증강현실 인터랙티브 스포츠 장치를 이용한 서킷 트레이닝 제공 방법
Al Zayer Universal Usability of Virtual Reality
JP2020181123A (ja) カラオケ演出システム
Smeddinck et al. Hoverboard: A Leap to the Future of Locomotion in VR!?
Loviscach Playing with all senses: Human–Computer interface devices for games
TWI835289B (zh) 虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統
KR102590735B1 (ko) Ar/vr/xr 인터랙티브 스포츠를 위한 멀티 라이다 센서및 d-camera를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법
KR102484446B1 (ko) Xr 트램펄린 시스템
US20240050831A1 (en) Instructor avatars for augmented reality experiences
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences
KR20180106572A (ko) 가상현실 제공장치 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant