KR102384296B1 - 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템 - Google Patents
뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템 Download PDFInfo
- Publication number
- KR102384296B1 KR102384296B1 KR1020200036870A KR20200036870A KR102384296B1 KR 102384296 B1 KR102384296 B1 KR 102384296B1 KR 1020200036870 A KR1020200036870 A KR 1020200036870A KR 20200036870 A KR20200036870 A KR 20200036870A KR 102384296 B1 KR102384296 B1 KR 102384296B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- sports content
- depth
- user
- recognition
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 139
- 238000005259 measurement Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 230000002452 interceptive effect Effects 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000037081 physical activity Effects 0.000 abstract description 14
- 230000036541 health Effects 0.000 abstract description 8
- 238000011161 development Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 238000003912 environmental pollution Methods 0.000 description 2
- 230000037074 physically active Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000012351 Integrated analysis Methods 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Neurosurgery (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Biophysics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템에 관한 것으로서, 보다 구체적으로는 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템으로서, 증강현실 기반으로 스포츠 콘텐츠의 실행이 가능한 3D 상호작용 공간의 스크린에 증강현실 스포츠 콘텐츠를 출력하는 프로젝터 모듈; 상기 증강현실 스포츠 콘텐츠가 출력되는 3D 상호작용 공간에서 사용자 동작 및 증강현실 스포츠 콘텐츠 실행에 따른 객체를 인식하되, 뎁스 인식과 컬러 인식의 처리를 통해 사용자의 동작과 객체를 최종 판단하고, 그에 따른 3차원 데이터를 출력하는 깊이센서 모듈; 증강현실 스포츠 콘텐츠에 참여하는 사용자의 신체에 착용되어 생체정보를 측정하여 수집하는 생체정보 측정 모듈; 및 상기 프로젝터 모듈로 미리 설정된 증강현실 스포츠 콘텐츠를 제공하고, 상기 깊이센서 모듈로부터 받은 3차원 데이터를 실행되는 증강현실 스포츠 콘텐츠에 반영하여 연동 처리하며, 상기 생체정보 측정 모듈로부터 측정되는 사용자의 생체정보를 수집하여 관리하는 서비스 제공 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템에 따르면, 3D 상호작용 공간의 스크린에 증강현실 스포츠 콘텐츠를 출력하는 프로젝터 모듈과, 증강현실 스포츠 콘텐츠 실행에 따른 객체를 인식하되, 뎁스 인식과 컬러 인식의 처리를 통해 사용자의 동작과 객체를 최종 판단하고, 그에 따른 3차원 데이터를 출력하는 깊이센서 모듈과, 증강현실 스포츠 콘텐츠에 참여하는 사용자의 신체에 착용되어 생체정보를 측정하여 수집하는 생체정보 측정 모듈과, 프로젝터 모듈로 미리 설정된 증강현실 스포츠 콘텐츠를 제공하고, 깊이센서 모듈로부터 받은 3차원 데이터를 실행되는 증강현실 스포츠 콘텐츠에 반영하여 연동 처리하며, 생체정보 측정 모듈로부터 측정되는 사용자의 생체정보를 수집하여 관리하는 서비스 제공 모듈을 포함하여 구성함으로써, 증강현실 기반의 스포츠 콘텐츠의 실행을 통한 실내 스포츠의 놀이를 제공함은 물론, 학업에 지친 청소년들의 신체활동을 돕고, 그에 따른 청소년들의 체력 향상과 건강관리가 체계적으로 관리될 수 있도록 할 수 있다.
또한, 본 발명의 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템에 따르면, 증강현실 기반으로 하는 다양한 증강현실 스포츠 콘텐츠를 게임 형태로 제공함으로써, 청소년들의 볼거리와 놀이가 접목된 스포츠 교육으로 청소년들의 호기심 유발 및 관심이 증대되고, 청소년들의 신체발달을 돕는 체육활동에 대한 부모들의 관심이 증대되며, 제한된 실내 공간에서 스포츠, 에듀케이션, 엔터테인먼트가 결합된 다양한 스포츠 콘텐츠 서비스로 제공할 수 있도록 할 수 있다.
본 발명에서 제안하고 있는 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템에 따르면, 3D 상호작용 공간의 스크린에 증강현실 스포츠 콘텐츠를 출력하는 프로젝터 모듈과, 증강현실 스포츠 콘텐츠 실행에 따른 객체를 인식하되, 뎁스 인식과 컬러 인식의 처리를 통해 사용자의 동작과 객체를 최종 판단하고, 그에 따른 3차원 데이터를 출력하는 깊이센서 모듈과, 증강현실 스포츠 콘텐츠에 참여하는 사용자의 신체에 착용되어 생체정보를 측정하여 수집하는 생체정보 측정 모듈과, 프로젝터 모듈로 미리 설정된 증강현실 스포츠 콘텐츠를 제공하고, 깊이센서 모듈로부터 받은 3차원 데이터를 실행되는 증강현실 스포츠 콘텐츠에 반영하여 연동 처리하며, 생체정보 측정 모듈로부터 측정되는 사용자의 생체정보를 수집하여 관리하는 서비스 제공 모듈을 포함하여 구성함으로써, 증강현실 기반의 스포츠 콘텐츠의 실행을 통한 실내 스포츠의 놀이를 제공함은 물론, 학업에 지친 청소년들의 신체활동을 돕고, 그에 따른 청소년들의 체력 향상과 건강관리가 체계적으로 관리될 수 있도록 할 수 있다.
또한, 본 발명의 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템에 따르면, 증강현실 기반으로 하는 다양한 증강현실 스포츠 콘텐츠를 게임 형태로 제공함으로써, 청소년들의 볼거리와 놀이가 접목된 스포츠 교육으로 청소년들의 호기심 유발 및 관심이 증대되고, 청소년들의 신체발달을 돕는 체육활동에 대한 부모들의 관심이 증대되며, 제한된 실내 공간에서 스포츠, 에듀케이션, 엔터테인먼트가 결합된 다양한 스포츠 콘텐츠 서비스로 제공할 수 있도록 할 수 있다.
Description
본 발명은 증강현실 스포츠 콘텐츠 시스템에 관한 것으로서, 보다 구체적으로는 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템에 관한 것이다.
현대인들은 의자에 앉아 있는 시간이 늘고, 여가 시간에는 휴대 단말기나 컴퓨터를 사용해 게임을 하거나 영화를 보는 등 여가를 즐길 때에도 앉아 있는 경우가 많아서, 신체 활동이 부족한 문제가 있다. 특히, 활발한 신체 활동이 필요한 어린이/청소년들도 학업 및 여가 시간에 충분한 신체 활동을 하지 못하는 경우가 많다. 또한, 급격한 날씨 변화와 환경오염, 미세먼지 등으로 야외 활동이 제한되면서, 실내에서 충분한 신체 활동을 할 수 있는 기술이 필요하다.
이와 같이 건강에 대한 관심이 높아지면서 휴대용 운동량 측정기기가 개발되고 보급이 활발히 이루어지고 있다. 특히, 종래의 만보기 등과 같이 단순한 걸음 수 등을 측정하는 것이 아니라, 다양한 생체 정보를 측정하는 기술이 개발되고 있으며, 소형의 측정기기를 통해 측정 가능한 정보는 점차 다양해지고 있다.
그러나 어린이/청소년들이 학교나 여가 시간에 활동을 할 때에, 신체 측정 데이터를 효과적으로 측정하고 관리하기 위한 기술은 아직까지 제안된 바가 없다. 특히, 어린이/청소년들의 신체 특성은 어른들과는 상이하므로, 신체 활동 시에 측정 가능한 신체 측정 데이터를 수집하여 체력 향상 정도 등을 꾸준히 모니터링하기 위한 기술의 개발이 필요한 실정이다.
한편, 정보통신 기술의 비약적인 발전으로 실내 스포츠 체험이 가능한 가상현실(AR) 체험이나, 증강현실(VR) 체험이 가능한 스포츠 시스템이 개발되고 있으나, 이러한 종래의 스포츠 시스템은 단순한 AR이나 VR의 체험만을 즐기기 위한 형태로 청소년들의 체계적인 체력 향상과 건강관리가 가능하도록 하는 교육적인 체육활동과는 거리가 멀다. 대한민국 공개특허공보 제10-2011-0031444호, 및 공개특허공보 제10-2001-0051608호가 선행기술 문헌으로 개시된 바 있다.현대인들은 의자에 앉아 있는 시간이 늘고, 여가 시간에는 휴대 단말기나 컴퓨터를 사용해 게임을 하거나 영화를 보는 등 여가를 즐길 때에도 앉아 있는 경우가 많아서, 신체 활동이 부족한 문제가 있다. 특히, 활발한 신체 활동이 필요한 어린이/청소년들도 학업 및 여가 시간에 충분한 신체 활동을 하지 못하는 경우가 많다. 또한, 급격한 날씨 변화와 환경오염, 미세먼지 등으로 야외 활동이 제한되면서, 실내에서 충분한 신체 활동을 할 수 있는 기술이 필요하다.
이와 같이 건강에 대한 관심이 높아지면서 휴대용 운동량 측정기기가 개발되고 보급이 활발히 이루어지고 있다. 특히, 종래의 만보기 등과 같이 단순한 걸음 수 등을 측정하는 것이 아니라, 다양한 생체 정보를 측정하는 기술이 개발되고 있으며, 소형의 측정기기를 통해 측정 가능한 정보는 점차 다양해지고 있다.
그러나 어린이/청소년들이 학교나 여가 시간에 활동을 할 때에, 신체 측정 데이터를 효과적으로 측정하고 관리하기 위한 기술은 아직까지 제안된 바가 없다. 특히, 어린이/청소년들의 신체 특성은 어른들과는 상이하므로, 신체 활동 시에 측정 가능한 신체 측정 데이터를 수집하여 체력 향상 정도 등을 꾸준히 모니터링하기 위한 기술의 개발이 필요한 실정이다.
한편, 정보통신 기술의 비약적인 발전으로 실내 스포츠 체험이 가능한 가상현실(AR) 체험이나, 증강현실(VR) 체험이 가능한 스포츠 시스템이 개발되고 있으나, 이러한 종래의 스포츠 시스템은 단순한 AR이나 VR의 체험만을 즐기기 위한 형태로 청소년들의 체계적인 체력 향상과 건강관리가 가능하도록 하는 교육적인 체육활동과는 거리가 멀다. 대한민국 공개특허공보 제10-2011-0031444호, 및 공개특허공보 제10-2001-0051608호가 선행기술 문헌으로 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 3D 상호작용 공간의 스크린에 증강현실 스포츠 콘텐츠를 출력하는 프로젝터 모듈과, 증강현실 스포츠 콘텐츠 실행에 따른 객체를 인식하되, 뎁스 인식과 컬러 인식의 처리를 통해 사용자의 동작과 객체를 최종 판단하고, 그에 따른 3차원 데이터를 출력하는 깊이센서 모듈과, 증강현실 스포츠 콘텐츠에 참여하는 사용자의 신체에 착용되어 생체정보를 측정하여 수집하는 생체정보 측정 모듈과, 프로젝터 모듈로 미리 설정된 증강현실 스포츠 콘텐츠를 제공하고, 깊이센서 모듈로부터 받은 3차원 데이터를 실행되는 증강현실 스포츠 콘텐츠에 반영하여 연동 처리하며, 생체정보 측정 모듈로부터 측정되는 사용자의 생체정보를 수집하여 관리하는 서비스 제공 모듈을 포함하여 구성함으로써, 증강현실 기반의 스포츠 콘텐츠의 실행을 통한 실내 스포츠의 놀이를 제공함은 물론, 학업에 지친 청소년들의 신체활동을 돕고, 그에 따른 청소년들의 체력 향상과 건강관리가 체계적으로 관리될 수 있도록 하는, 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 증강현실 기반으로 하는 다양한 증강현실 스포츠 콘텐츠를 게임 형태로 제공함으로써, 청소년들의 볼거리와 놀이가 접목된 스포츠 교육으로 청소년들의 호기심 유발 및 관심이 증대되고, 청소년들의 신체발달을 돕는 체육활동에 대한 부모들의 관심이 증대되며, 제한된 실내 공간에서 스포츠, 에듀케이션, 엔터테인먼트가 결합된 다양한 스포츠 콘텐츠 서비스로 제공할 수 있도록 하는, 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템은,
뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템으로서,
증강현실 기반으로 스포츠 콘텐츠의 실행이 가능한 3D 상호작용 공간의 스크린에 증강현실 스포츠 콘텐츠를 출력하는 프로젝터 모듈;
상기 증강현실 스포츠 콘텐츠가 출력되는 3D 상호작용 공간에서 사용자 동작 및 증강현실 스포츠 콘텐츠 실행에 따른 객체를 인식하되, 뎁스 인식과 컬러 인식의 처리를 통해 사용자의 동작과 객체를 최종 판단하고, 그에 따른 3차원 데이터를 출력하는 깊이센서 모듈;
증강현실 스포츠 콘텐츠에 참여하는 사용자의 신체에 착용되어 생체정보를 측정하여 수집하는 생체정보 측정 모듈; 및
상기 프로젝터 모듈로 미리 설정된 증강현실 스포츠 콘텐츠를 제공하고, 상기 깊이센서 모듈로부터 받은 3차원 데이터를 실행되는 증강현실 스포츠 콘텐츠에 반영하여 연동 처리하며, 상기 생체정보 측정 모듈로부터 측정되는 사용자의 생체정보를 수집하여 관리하는 서비스 제공 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 프로젝터 모듈은,
3D 상호작용 공간의 스크린 상에 프로젝터의 컴퓨터 그래픽스 영상을 정합시키는 프로젝션 매핑을 통해 사용자의 나안 상태에서 증강현실이 구현될 수 있도록 증강현실 스포츠 콘텐츠를 출력할 수 있다.
바람직하게는, 상기 깊이센서 모듈은,
상기 프로젝터 모듈로부터 출력되는 증강현실 스포츠 콘텐츠의 실행에 따른 프로젝션과 맵핑되어 연동할 수 있다.
더욱 바람직하게는, 상기 깊이센서 모듈은,
상기 프로젝터 모듈로부터 출력되는 증강현실 스포츠 콘텐츠의 실행에 따른 프로젝션과 맵핑되어 연동하되, 사용자의 위치 및 움직임이나 증강현실 스포츠 콘텐츠 실행에 따른 객체를 촬영하여 영상을 분석하고 인식하는 깊이센서 또는 3D 카메라로 구성될 수 있다.
더욱 더 바람직하게는, 상기 깊이센서 모듈의 깊이 인식 처리는,
촬영되는 깊이 프레임 데이터(Depth Frame Data)를 기반으로 스크린에 증강현실 스포츠 콘텐츠가 출력되는 실질적인 화면 사이즈만큼 깊이 프레임 데이터를 추출하고, 추출된 깊이 프레임 데이터에서 스크린 화면의 각 꼭지점에 대응하는 4개의 좌표를 구하기 위해 좌표 매퍼(coordinate Mapper) 클래스를 통해 깊이 프레임 데이터를 컬러(color)화 시키고, 이후 4개의 좌표를 기준으로 사각의 스크린 범위를 작은 좌표 데이터로 나누어주며, 좌표화된 각 깊이 프레임 데이터들의 정확한 구분을 위한 잡음제거 알고리즘으로 필터링 처리를 수행한 후 인식해야 할 물체 사이즈에 따른 추가 변수정보를 토대로 깊이 프레임을 통한 물체 인식을 최종 판단할 수 있다.
더더욱 바람직하게는, 상기 깊이센서 모듈의 컬러 인식 처리는,
뎁스 프레임 데이터를 기반으로 물체 인식을 완료한 후, 좌표 매퍼(coordinate mapper) 클래스를 통해 컬러화된 각 좌표에 RGB 값을 추출하고, 색조(Hue) 모델 기반으로 색 판단을 수행할 수 있다.
바람직하게는, 상기 생체정보 측정 모듈은,
증강현실 스포츠 콘텐츠를 실행하는 사용자의 신체에 착용되는 웨어러블 형태의 센서로서, 사용자가 증강현실 스포츠 콘텐츠를 실행함에 따른 생체정보를 측정할 수 있는 심박 센서, 가속도 센서, 및 맥박 센서를 포함하여 구성할 수 있다.
더욱 바람직하게는, 상기 서비스 제공 모듈은,
상기 증강현실 스포츠 콘텐츠에 참여하는 사용자의 정보 및 사용자의 신체에 착용되는 상기 생체정보 측정 모듈을 매칭하여 사용자 등록을 하는 사용자 등록부;
사용자의 신체 정보와 생체정보 측정 모듈에서 수집된 생체정보 및 객체 정보를 처리하며, 상기 증강현실 스포츠 콘텐츠의 실행에 참여하는 동안 수집된 사용자의 스포츠 활동량을 포함하는 정보를 분석하는 데이터 처리부;
미리 설정된 적어도 하나 이상의 증강현실 스포츠 콘텐츠를 저장하며, 사용자의 신체 정보 및 상기 데이터 처리부에서 분석된 사용자의 활동 정보를 저장하는 데이터 저장부; 및
상기 데이터 저장부에서 분석한 활동 정보를 모니터링 하는 모니터링부(144)를 포함하여 구성할 수 있다.
본 발명에서 제안하고 있는 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템에 따르면, 3D 상호작용 공간의 스크린에 증강현실 스포츠 콘텐츠를 출력하는 프로젝터 모듈과, 증강현실 스포츠 콘텐츠 실행에 따른 객체를 인식하되, 뎁스 인식과 컬러 인식의 처리를 통해 사용자의 동작과 객체를 최종 판단하고, 그에 따른 3차원 데이터를 출력하는 깊이센서 모듈과, 증강현실 스포츠 콘텐츠에 참여하는 사용자의 신체에 착용되어 생체정보를 측정하여 수집하는 생체정보 측정 모듈과, 프로젝터 모듈로 미리 설정된 증강현실 스포츠 콘텐츠를 제공하고, 깊이센서 모듈로부터 받은 3차원 데이터를 실행되는 증강현실 스포츠 콘텐츠에 반영하여 연동 처리하며, 생체정보 측정 모듈로부터 측정되는 사용자의 생체정보를 수집하여 관리하는 서비스 제공 모듈을 포함하여 구성함으로써, 증강현실 기반의 스포츠 콘텐츠의 실행을 통한 실내 스포츠의 놀이를 제공함은 물론, 학업에 지친 청소년들의 신체활동을 돕고, 그에 따른 청소년들의 체력 향상과 건강관리가 체계적으로 관리될 수 있도록 할 수 있다.
또한, 본 발명의 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템에 따르면, 증강현실 기반으로 하는 다양한 증강현실 스포츠 콘텐츠를 게임 형태로 제공함으로써, 청소년들의 볼거리와 놀이가 접목된 스포츠 교육으로 청소년들의 호기심 유발 및 관심이 증대되고, 청소년들의 신체발달을 돕는 체육활동에 대한 부모들의 관심이 증대되며, 제한된 실내 공간에서 스포츠, 에듀케이션, 엔터테인먼트가 결합된 다양한 스포츠 콘텐츠 서비스로 제공할 수 있도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 깊이센서 모듈의 깊이 인식 및 컬러 인식 처리의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 생체정보 측정 모듈의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 서비스 제공 모듈의 구성을 기능블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 생체신호 측정 모듈의 예시 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 증강현실 스포츠 콘텐츠의 실행 예시를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 깊이센서 모듈의 깊이 인식 및 컬러 인식 처리의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 생체정보 측정 모듈의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 서비스 제공 모듈의 구성을 기능블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 생체신호 측정 모듈의 예시 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 증강현실 스포츠 콘텐츠의 실행 예시를 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 깊이센서 모듈의 깊이 인식 및 컬러 인식 처리의 구성을 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 생체정보 측정 모듈의 구성을 기능블록으로 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 서비스 제공 모듈의 구성을 기능블록으로 도시한 도면이며, 도 5는 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 생체신호 측정 모듈의 예시 구성을 도시한 도면이고, 도 6은 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 증강현실 스포츠 콘텐츠의 실행 예시를 도시한 도면이다. 도 1 내지 도 4에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템(100)은, 프로젝터 모듈(110), 깊이센서 모듈(120), 생체정보 측정 모듈(130), 및 서비스 제공 모듈(140)을 포함하여 구성될 수 있다.
프로젝터 모듈(110)은, 증강현실 기반으로 스포츠 콘텐츠의 실행이 가능한 3D 상호작용 공간의 스크린에 증강현실 스포츠 콘텐츠를 출력하는 구성이다. 이러한 프로젝터 모듈(110)은 3D 상호작용 공간의 스크린 상에 프로젝터의 컴퓨터 그래픽스 영상을 정합시키는 프로젝션 매핑(Projection Mapping)을 통해 사용자의 나안(bare-eye) 상태에서 증강현실이 구현될 수 있도록 증강현실 스포츠 콘텐츠를 출력할 수 있다. 여기서, 3D 상호작용 공간에 설치되는 스크린은 증강현실 스포츠 콘텐츠가 실행되는 화면 디스플레이로서, 프로젝션 스크린으로 구성됨이 바람직하나, 이에 제한을 두지는 않으며, LCD 패널로 구현될 수도 있다.
또한, 프로젝션 모듈(110)은 3D 상호작용 공간에 증강현실로 스포츠 콘텐츠를 출력하므로, 제한된 실내 공간에서 다양한 종류의 스포츠 콘텐츠를 구현할 수 있도록 할 수 있다.
깊이센서 모듈(120)은, 증강현실 스포츠 콘텐츠가 출력되는 3D 상호작용 공간에서 사용자 동작 및 증강현실 스포츠 콘텐츠 실행에 따른 객체를 인식하되, 뎁스 인식과 컬러 인식의 처리를 통해 사용자의 동작과 객체를 최종 판단하고, 그에 따른 3차원 데이터를 출력하는 구성이다. 이러한 깊이센서 모듈(120)은 프로젝터 모듈(110)로부터 출력되는 증강현실 스포츠 콘텐츠의 실행에 따른 프로젝션과 맵핑되어 연동할 수 있다.
또한, 깊이센서 모듈(120)은 프로젝터 모듈(110)로부터 출력되는 증강현실 스포츠 콘텐츠의 실행에 따른 프로젝션과 맵핑되어 연동하되, 사용자의 위치 및 움직임이나 증강현실 스포츠 콘텐츠 실행에 따른 객체를 촬영하여 영상을 분석하고 인식하는 깊이센서 또는 3D 카메라로 구성될 수 있다. 이러한 깊이센서 모듈(120)은 모션인식 입력 장치로 별도의 컨트롤러 없이 사용자의 동작, 즉 사용자 위치와 움직임을 감지하여 3차원 데이터를 전송하는 키넥트로 구현될 수 있다. 여기서, 깊이센서 모듈(120)은 증강현실 스포츠 콘텐츠의 실행에 사용되는 물체, 즉 객체의 움직임을 인식할 수 있다.
또한, 깊이센서 모듈(120)의 깊이 인식 처리는 촬영되는 깊이 프레임 데이터(Depth Frame Data)를 기반으로 스크린에 증강현실 스포츠 콘텐츠가 출력되는 실질적인 화면 사이즈만큼 깊이 프레임 데이터를 추출하고, 추출된 깊이 프레임 데이터에서 스크린 화면의 각 꼭지점에 대응하는 4개의 좌표를 구하기 위해 좌표 매퍼(coordinate Mapper) 클래스를 통해 깊이 프레임 데이터를 컬러(color)화 시킨다. 이후 4개의 좌표를 기준으로 사각의 스크린 범위를 작은 좌표 데이터로 나누어준다. 이때, 깊이센서 모듈(120)이 스크린 화면을 바라보는 위치가 아래 혹은 위이기 때문에 사각의 데이터들은 등변사다리꼴 형태이고, 이를 직사각형으로 변환시키기 위해 각 좌표들을 펼쳐주는 캘리브레이션 작업을 더 수행하게 된다. 이렇게 좌표화된 각 깊이 프레임 데이터들은 정확한 구분을 위한 잡음제거 알고리즘으로 필터링 처리가 수행된 후 인식해야 할 물체 사이즈에 따른 추가 변수정보를 토대로 깊이 프레임을 통한 물체 인식을 최종 판단하게 된다.
또한, 깊이센서 모듈(120)의 컬러 인식 처리는 뎁스 프레임 데이터를 기반으로 물체 인식을 완료한 후, 좌표 매퍼(coordinate mapper) 클래스를 통해 컬러화된 각 좌표에 RGB 값을 추출하고, 색조(Hue) 모델 기반으로 색 판단을 수행하게 된다. 즉, 깊이센서 모듈(120)의 컬러 인식 처리 시 각 좌표에 RGB값을 추출하여 System.Drawing 네임스페이스에서 제공하는 GetHue 메서드를 통해 Hue(색조)모델 기반으로 색 판단을 실시할 수 있다. 여기서, 컬러 인식 처리는 증강현실 스포츠 콘텐츠의 실행에 따른 과정이나 결과를 컬러로 나타내는데 사용될 수 있다.
생체정보 측정 모듈(130)은, 증강현실 스포츠 콘텐츠에 참여하는 사용자의 신체에 착용되어 생체정보를 측정하여 수집하는 구성이다. 이러한 생체정보 측정 모듈(130)은 도 3에 도시된 바와 같이, 증강현실 스포츠 콘텐츠를 실행하는 사용자의 신체에 착용되는 웨어러블 형태의 센서로서, 사용자가 증강현실 스포츠 콘텐츠를 실행함에 따른 생체정보를 측정할 수 있는 심박 센서(131), 가속도 센서(132), 및 맥박 센서(133)를 포함하여 구성할 수 있다. 여기서, 생체정보 측정 모듈(130)은 측정된 생체정보를 수신받아 전송하기 위한 통신모듈(134)을 더 포함하여 구성될 수 있다. 이때, 통신모듈(134)은 저전력 통신이 가능한 WBAN(Wireless Body Area Network), 즉 무선 인체 통신망으로 구현될 수 있다.
또한, 생체정보 측정 모듈(130)은 도 5에 도시된 바와 같이, 웨어러블 센서로서 밴드형이나 스포츠 조끼에 형태로 구현될 수 있으며, 이외에도 스마트 워치, 손이나 다리에 착용하는 형태, 센서가 삽입된 신발, 모자, 헤어밴드, 복수의 센서가 부착된 수트 등 다양한 형태로 구현될 수 있다. 또한, 생체정보 측정 모듈(130)은 증강현실 스포츠를 하는 사용자의 신체에 착용되기 위한 것으로서 경량화 된 소형의 장치일 수 있다.
또한, 생체정보 측정 모듈(130)은 심박 센서(131), 가속도 센서(132), 및 맥박 센서(133)에서 측정 수집되는 생체정보로서, 맥박, 체지방, 근육 수축 정도, 걸음 수, 위치, 이동 거리, 운동 시간 등을 수집할 수 있다.
서비스 제공 모듈(140)은, 프로젝터 모듈(110)로 미리 설정된 증강현실 스포츠 콘텐츠를 제공하고, 깊이센서 모듈(120)로부터 받은 3차원 데이터를 실행되는 증강현실 스포츠 콘텐츠에 반영하여 연동 처리하며, 생체정보 측정 모듈(130)로부터 측정되는 사용자의 생체정보를 수집하여 관리하는 구성이다. 이러한 서비스 제공 모듈(140)은 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템(100)의 각 구성을 전체적으로 제어하는 퍼스널 컴퓨터(PC) 또는 관리 서버 형태로 구현될 수 있다. 여기서, 서비스 제공 모듈(140)은 클라우드 서버 형태로도 구현될 수 있다.
또한, 서비스 제공 모듈(140)은 도 4에 도시된 바와 같이, 증강현실 스포츠 콘텐츠에 참여하는 사용자의 정보 및 사용자의 신체에 착용되는 상기 생체정보 측정 모듈(130)을 매칭하여 사용자 등록을 하는 사용자 등록부(141)와, 사용자의 신체 정보와 생체정보 측정 모듈(130)에서 수집된 생체정보 및 객체 정보를 처리하며, 증강현실 스포츠 콘텐츠의 실행에 참여하는 동안 수집된 사용자의 스포츠 활동량을 포함하는 정보를 분석하는 데이터 처리부(142)와, 미리 설정된 적어도 하나 이상의 증강현실 스포츠 콘텐츠를 저장하며, 사용자의 신체 정보 및 데이터 처리부(142)에서 분석된 사용자의 활동 정보를 저장하는 데이터 저장부(143)와, 데이터 저장부(143)에서 분석한 활동 정보를 모니터링 하는 모니터링부(144)를 포함하여 구성할 수 있다.
또한, 서비스 제공 모듈(140)의 사용자 등록부(141)는 각 사용자가 착용하는 생체정보 측정 모듈(130)에 할당된 시리얼 넘버, ID 등의 식별번호를 이용하여 사용자 정보와 생체정보 측정 모듈(130)을 매칭하여 사용자 등록을 할 수 있다.
또한, 서비스 제공 모듈(140)의 데이터 처리부(142)는 사용자의 신체 정보와 생체정보 측정 모듈(130)에서 수집된 생체정보 및 객체 정보를 처리하며, 증강현실 스포츠 콘텐츠의 실행에 참여하는 동안 수집된 사용자의 스포츠 활동량을 포함하는 정보를 분석하되, 사용자의 신체 정보는 연령, 성별, 키, 몸무게 등일 수 있다. 또한, 수집된 생체정보는 사용자의 심박, 가속도, 맥박 등의 데이터일 수 있으며, 데이터 처리부(142)에서는 생체정보 측정 모듈(130)의 특성을 고려하여 측정된 생체정보를 처리할 수 있고, 필터를 이용해 노이즈를 제거하고 데이터를 통합 분석할 수 있다.
또한, 서비스 제공 모듈(140)의 데이터 저장부(143)는 사용자의 신체 정보 및 데이터 처리부(142)에서 분석된 생체정보를 저장하고, 증강현실 스포츠 콘텐츠 실행에 참여하여 수집된 활동 정보를 연동하여 저장할 수 있다.
또한, 서비스 제공 모듈(140)의 모니터링부(144)는 데이터 저장부(143)에서 분석한 활동 정보를 모니터링 하되, 관리자 디바이스 또는 사용자 디바이스에 증강현실 스포츠 콘텐츠 실행에 따른 개인별 활동 정보를 제공할 수 있다.
도 6은 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템의 증강현실 스포츠 콘텐츠의 실행 예시를 나타내고 있다. 도 6은 본 발명에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템(100)에 실행되는 증강현실 스포츠 콘텐츠의 일례로서, 페인트 볼 던지기 프로그램을 나타내고 있다. 이러한 페인트 볼 던지기 프로그램은 공으로 페인트가 비어 있는 공간을 맞춰 채우는 프로그램으로, 공을 활용한 구기 운동이며, 페인팅이라는 소재를 통한 재미를 제공할 수 있다. 이러한 증강현실 스포츠 콘텐츠는 단순 동작에서 정해진 위치에 정확히 맞추기 위한 심화된 동작까지 다양한 동작 내용 구성과 힘 조절 능력을 향상시킬 수 있는 단계적 학습이 가능하고, 심화된 과정으로는 팀별로 사용자를 나누고, 팀원과 상의하고 협업하는 과정으로 교육적인 협동심을 향상시킬 수 있는 단계적 심화 학습으로 구현될 수 있다.
상술한 바와 같이, 본 발명의 일실시예에 따른 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템은, 3D 상호작용 공간의 스크린에 증강현실 스포츠 콘텐츠를 출력하는 프로젝터 모듈과, 증강현실 스포츠 콘텐츠 실행에 따른 객체를 인식하되, 뎁스 인식과 컬러 인식의 처리를 통해 사용자의 동작과 객체를 최종 판단하고, 그에 따른 3차원 데이터를 출력하는 깊이센서 모듈과, 증강현실 스포츠 콘텐츠에 참여하는 사용자의 신체에 착용되어 생체정보를 측정하여 수집하는 생체정보 측정 모듈과, 프로젝터 모듈로 미리 설정된 증강현실 스포츠 콘텐츠를 제공하고, 깊이센서 모듈로부터 받은 3차원 데이터를 실행되는 증강현실 스포츠 콘텐츠에 반영하여 연동 처리하며, 생체정보 측정 모듈로부터 측정되는 사용자의 생체정보를 수집하여 관리하는 서비스 제공 모듈을 포함하여 구성함으로써, 증강현실 기반의 스포츠 콘텐츠의 실행을 통한 실내 스포츠의 놀이를 제공함은 물론, 학업에 지친 청소년들의 신체활동을 돕고, 그에 따른 청소년들의 체력 향상과 건강관리가 체계적으로 관리될 수 있도록 할 수 있으며, 특히, 증강현실 기반으로 하는 다양한 증강현실 스포츠 콘텐츠를 게임 형태로 제공함으로써, 청소년들의 볼거리와 놀이가 접목된 스포츠 교육으로 청소년들의 호기심 유발 및 관심이 증대되고, 청소년들의 신체발달을 돕는 체육활동에 대한 부모들의 관심이 증대되며, 제한된 실내 공간에서 스포츠, 에듀케이션, 엔터테인먼트가 결합된 다양한 스포츠 콘텐츠 서비스로 제공할 수 있도록 할 수 있게 된다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 본 발명의 일실시예에 따른 증강현실 스포츠 콘텐츠 시스템
110: 프로젝터 모듈
120: 깊이센서 모듈
130: 생체정보 측정 모듈
131: 심박 센서
132: 가속도 센서
133: 맥박 센서
134: 통신 모듈
140: 서비스 제공 모듈
141: 사용자 등록부
142: 데이터 처리부
143: 데이터 저장부
144: 모니터링부
110: 프로젝터 모듈
120: 깊이센서 모듈
130: 생체정보 측정 모듈
131: 심박 센서
132: 가속도 센서
133: 맥박 센서
134: 통신 모듈
140: 서비스 제공 모듈
141: 사용자 등록부
142: 데이터 처리부
143: 데이터 저장부
144: 모니터링부
Claims (8)
- 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템(100)으로서,
증강현실 기반으로 스포츠 콘텐츠의 실행이 가능한 3D 상호작용 공간의 스크린에 증강현실 스포츠 콘텐츠를 출력하는 프로젝터 모듈(110);
상기 증강현실 스포츠 콘텐츠가 출력되는 3D 상호작용 공간에서 사용자 동작 및 증강현실 스포츠 콘텐츠 실행에 따른 객체를 인식하되, 뎁스 인식과 컬러 인식의 처리를 통해 사용자의 동작과 객체를 최종 판단하고, 그에 따른 3차원 데이터를 출력하는 깊이센서 모듈(120);
증강현실 스포츠 콘텐츠에 참여하는 사용자의 신체에 착용되어 생체정보를 측정하여 수집하는 생체정보 측정 모듈(130); 및
상기 프로젝터 모듈(110)로 미리 설정된 증강현실 스포츠 콘텐츠를 제공하고, 상기 깊이센서 모듈(120)로부터 받은 3차원 데이터를 실행되는 증강현실 스포츠 콘텐츠에 반영하여 연동 처리하며, 상기 생체정보 측정 모듈(130)로부터 측정되는 사용자의 생체정보를 수집하여 관리하는 서비스 제공 모듈(140)을 포함하되,
상기 깊이센서 모듈(120)의 깊이 인식 처리는,
촬영되는 깊이 프레임 데이터(Depth Frame Data)를 기반으로 스크린에 증강현실 스포츠 콘텐츠가 출력되는 실질적인 화면 사이즈만큼 깊이 프레임 데이터를 추출하고, 추출된 깊이 프레임 데이터에서 스크린 화면의 각 꼭지점에 대응하는 4개의 좌표를 구하기 위해 좌표 매퍼(coordinate Mapper) 클래스를 통해 깊이 프레임 데이터를 컬러(color)화 시키고, 이후 4개의 좌표를 기준으로 사각의 스크린 범위를 작은 좌표 데이터로 나누어주며, 좌표화된 각 깊이 프레임 데이터들의 정확한 구분을 위한 잡음제거 알고리즘으로 필터링 처리를 수행한 후 인식해야 할 물체 사이즈에 따른 추가 변수정보를 토대로 깊이 프레임을 통한 물체 인식을 최종 판단하고,
상기 깊이센서 모듈(120)의 컬러 인식 처리는,
뎁스 프레임 데이터를 기반으로 물체 인식을 완료한 후, 좌표 매퍼(coordinate mapper) 클래스를 통해 컬러화된 각 좌표에 RGB 값을 추출하고, 색조(Hue) 모델 기반으로 색 판단을 수행하며,
상기 생체정보 측정 모듈(130)은,
증강현실 스포츠 콘텐츠를 실행하는 사용자의 신체에 착용되는 웨어러블 형태의 센서로서, 사용자가 증강현실 스포츠 콘텐츠를 실행함에 따른 생체정보를 측정할 수 있는 심박 센서(131), 가속도 센서(132), 및 맥박 센서(133)를 포함하여 구성하고,
상기 서비스 제공 모듈(140)은,
상기 증강현실 스포츠 콘텐츠에 참여하는 사용자의 정보 및 사용자의 신체에 착용되는 상기 생체정보 측정 모듈(130)을 매칭하여 사용자 등록을 하는 사용자 등록부(141)와, 사용자의 신체 정보와 생체정보 측정 모듈(130)에서 수집된 생체정보 및 객체 정보를 처리하며, 상기 증강현실 스포츠 콘텐츠의 실행에 참여하는 동안 수집된 사용자의 스포츠 활동량을 포함하는 정보를 분석하는 데이터 처리부(142)와, 미리 설정된 적어도 하나 이상의 증강현실 스포츠 콘텐츠를 저장하며, 사용자의 신체 정보 및 상기 데이터 처리부(142)에서 분석된 사용자의 활동 정보를 저장하는 데이터 저장부(143)와, 상기 데이터 저장부(143)에서 분석한 활동 정보를 모니터링 하는 모니터링부(144)를 포함하여 구성하는 것을 특징으로 하는, 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템.
- 제1항에 있어서, 상기 프로젝터 모듈(110)은,
3D 상호작용 공간의 스크린 상에 프로젝터의 컴퓨터 그래픽스 영상을 정합시키는 프로젝션 매핑을 통해 사용자의 나안 상태에서 증강현실이 구현될 수 있도록 증강현실 스포츠 콘텐츠를 출력하는 것을 특징으로 하는, 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템.
- 제1항에 있어서, 상기 깊이센서 모듈(120)은,
상기 프로젝터 모듈(110)로부터 출력되는 증강현실 스포츠 콘텐츠의 실행에 따른 프로젝션과 맵핑되어 연동하는 것을 특징으로 하는, 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템.
- 제3항에 있어서, 상기 깊이센서 모듈(120)은,
상기 프로젝터 모듈(110)로부터 출력되는 증강현실 스포츠 콘텐츠의 실행에 따른 프로젝션과 맵핑되어 연동하되, 사용자의 위치 및 움직임이나 증강현실 스포츠 콘텐츠 실행에 따른 객체를 촬영하여 영상을 분석하고 인식하는 깊이센서 또는 3D 카메라로 구성되는 것을 특징으로 하는, 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200036870A KR102384296B1 (ko) | 2020-03-26 | 2020-03-26 | 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200036870A KR102384296B1 (ko) | 2020-03-26 | 2020-03-26 | 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210120315A KR20210120315A (ko) | 2021-10-07 |
| KR102384296B1 true KR102384296B1 (ko) | 2022-04-21 |
Family
ID=78114907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200036870A KR102384296B1 (ko) | 2020-03-26 | 2020-03-26 | 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102384296B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102590735B1 (ko) | 2023-08-10 | 2023-10-20 | (주)에어패스 | Ar/vr/xr 인터랙티브 스포츠를 위한 멀티 라이다 센서및 d-camera를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419230A (zh) * | 2022-01-21 | 2022-04-29 | 北京字跳网络技术有限公司 | 一种图像渲染方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101963682B1 (ko) * | 2018-09-10 | 2019-03-29 | 주식회사 큐랩 | 증강현실 기반의 스포츠 콘텐츠에 따른 신체 측정 데이터 관리 시스템 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180087918A (ko) * | 2017-01-25 | 2018-08-03 | (주)테크모아 | 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법 |
| KR20190117838A (ko) * | 2018-03-26 | 2019-10-17 | 한국전자통신연구원 | 객체 인식 시스템 및 그 방법 |
-
2020
- 2020-03-26 KR KR1020200036870A patent/KR102384296B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101963682B1 (ko) * | 2018-09-10 | 2019-03-29 | 주식회사 큐랩 | 증강현실 기반의 스포츠 콘텐츠에 따른 신체 측정 데이터 관리 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102590735B1 (ko) | 2023-08-10 | 2023-10-20 | (주)에어패스 | Ar/vr/xr 인터랙티브 스포츠를 위한 멀티 라이다 센서및 d-camera를 이용한 슬림형 액션플로어 콘텐츠 제공 시스템 및 이를 이용한 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210120315A (ko) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11262841B2 (en) | Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing | |
| ES2669869T3 (es) | Retroalimentación del seguimiento del usuario | |
| US20220051441A1 (en) | Multi-camera cross reality device | |
| KR101963682B1 (ko) | 증강현실 기반의 스포츠 콘텐츠에 따른 신체 측정 데이터 관리 시스템 | |
| KR101855639B1 (ko) | 프리젠테이션을 위한 카메라 탐색 | |
| KR101974911B1 (ko) | 트램펄린을 이용한 증강현실 기반 스포츠 게임 시스템 | |
| CN107754225A (zh) | 一种智能健身教练系统 | |
| CN115768532B (zh) | 使用激光雷达传感器的增强现实互动运动装置 | |
| CN102207771A (zh) | 推断参与运动捕捉系统的用户意图 | |
| US20100068686A1 (en) | Memory testing apparatus, judgment testing apparatus, comparison-faculty testing apparatus, coordination training apparatus, and working memory training apparatus | |
| KR102384296B1 (ko) | 뎁스 인식 및 컬러 인식을 이용한 증강현실 스포츠 콘텐츠 시스템 | |
| US11509653B2 (en) | Multi-factor authentication and post-authentication processing system | |
| US20240289833A1 (en) | Multi-Factor Authentication and Post-Authentication Processing System | |
| US10350486B1 (en) | Video motion capture for wireless gaming | |
| CN106471523A (zh) | 使用红外成像的颜色标识 | |
| KR102476285B1 (ko) | 증강현실 인터랙티브 스포츠 장치를 이용한 개인별 운동량 측정 방법 | |
| KR20220090835A (ko) | 인터랙티브 놀이 시스템 | |
| Dabnichki | Computers in sport | |
| KR102454784B1 (ko) | 비대면 온라인 기반 양궁경기 시스템 | |
| Souza | “Free to Fly”: Development and evaluation of a novel exergame with a low-cost 3D tracking method for post-stroke rehabilitation | |
| KR102715167B1 (ko) | 디지털 스마트 체육 시스템 | |
| AbdEl_Azeem | Building a Smartphone application to pair inertial sensors (Notch) for mechanical motion analysis | |
| Peetsma | The Development of a Novel Method for Measuring Biomechanical Features of Agility Using Markerless Motion Capture | |
| Pereira et al. | Contributions of sensor networks to improve gaming experience | |
| Zhao | Investigation of Eye Movements during Walking in Real and Simulated Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |