KR102299381B1

KR102299381B1 - 증강현실 트레이닝 시스템

Info

Publication number: KR102299381B1
Application number: KR1020190113164A
Authority: KR
Inventors: 노진석
Original assignee: 노진석
Priority date: 2019-09-11
Filing date: 2019-09-11
Publication date: 2021-09-06
Also published as: KR20210031333A

Abstract

본 발명은 기설정된 트레이닝정보를 바탕으로 체험자가 간편하게 학습할 수 있고, 체험자의 트레이닝 상태를 증강현실에서 표현하여 체험자의 트레이닝 상태를 확인할 수 있도록 하는 증강현실 트레이닝 시스템에 관한 것이다.
이를 위해 증강현실 트레이닝 시스템은 체험자의 동작정보를 수집하는 체험정보수집유닛과, 체험자의 동작정보를 3차원으로 형상화하여 형상데이터를 생성하는 체험자관리유닛과, 형상데이터와 기설정된 트레이닝정보를 비교 분석하여 상태데이터를 생성하는 학습상태분석부와 기설정된 트레이닝정보에 대응하여 현재의 형상데이터와 이전의 형상데이터를 비교 분석하여 진도데이터를 생성하는 학습진도분석부 중 적어도 어느 하나를 포함하여 분석데이터를 생성하는 트레이닝관리유닛 및 체험자의 식별을 위한 체험자정보와 체험자의 동작정보와 기설정된 트레이닝정보와 형상데이터와 분석데이터가 저장되는 트레이닝서버를 포함한다.

Description

증강현실 트레이닝 시스템{AUGMENTED REALITY TRAINING SYSTEM}

본 발명은 증강현실 트레이닝 시스템에 관한 것으로, 보다 구체적으로는 기설정된 트레이닝정보를 바탕으로 체험자가 간편하게 학습할 수 있고, 체험자의 트레이닝 상태를 증강현실에서 표현하여 체험자의 트레이닝 상태를 확인할 수 있도록 하는 증강현실 트레이닝 시스템에 관한 것이다.

일반적으로, 증강 현실(Augmented Reality)이란 가상 환경 및 가상 현실에서 파생한 용어로서, 현실 세계 위에 컴퓨터에 의해서 생성된 정보를 덧붙여 표현하는 것을 의미한다. 즉, 현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않는 정보들을 만들어낼 수도 있다. 즉, 증강 현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것으로 가상 현실 시스템보다 더욱 향상된 몰입감을 제공한다는 이점이 있다.

또한, 현대인들은 실외의 미세먼지, 실외의 적절하지 않은 날씨 등으로 인해 실내 활동에 소요되는 시간이 증가하고 있으며, 활동성이 저하되어 비만, 우울증 등의 문제가 발생되었다. 이에 따라 최근에는 골프, 야구, 안무 등의 트레이닝에 대해 실내에서 가능한 시스템의 수요가 높아지고 있다.

대한민국 등록특허공보 제10-1950243호 (발명의 명칭 : 증강현실 또는 가상현실 체험을 제공하는 골프연습장치, 2019. 02. 21. 공고)

본 발명의 목적은 종래의 문제점을 해결하기 위한 것으로서, 기설정된 트레이닝정보를 바탕으로 체험자가 간편하게 학습할 수 있고, 체험자의 트레이닝 상태를 증강현실에서 표현하여 체험자의 트레이닝 상태를 확인할 수 있도록 하는 증강현실 트레이닝 시스템을 제공함에 있다.

상술한 본 발명의 목적을 달성하기 위한 바람직한 실시예에 따르면, 본 발명에 따른 증강현실 트레이닝 시스템은 체험자의 동작정보를 수집하는 체험정보수집유닛; 상기 체험자의 동작정보를 3차원으로 형상화하여 형상데이터를 생성하는 체험자관리유닛; 상기 형상데이터와 기설정된 트레이닝정보를 비교 분석하여 상태데이터를 생성하는 학습상태분석부와, 기설정된 트레이닝정보에 대응하여 현재의 형상데이터와 이전의 형상데이터를 비교 분석하여 진도데이터를 생성하는 학습진도분석부 중 적어도 어느 하나를 포함하여 분석데이터를 생성하는 트레이닝관리유닛; 및 체험자의 식별을 위한 체험자정보와, 체험자의 동작정보와, 기설정된 트레이닝정보와, 상기 형상데이터와, 상기 분석데이터가 저장되는 트레이닝서버;를 포함한다.

여기서, 상기 체험정보수집유닛은, 체험자를 기준으로 상호 이격된 임의의 3점 이상에서 체험자를 촬영하여 임의 지점별 체험자에 대한 촬영데이터를 생성하는 카메라유닛; 및 상기 카메라유닛에 대한 기설정된 위치정보와 매칭되어 체험자에게 출력된 빛(레이저)의 반사를 추출하여 체험자의 동작정보에 대한 라이다데이터를 생성하는 라이다유닛;을 포함한다.

여기서, 상기 체험자관리유닛은, 임의 지점별 체험자에 대한 촬영데이터를 3차원 공간에서 중첩시켜 제1중첩영상을 형성하는 영상계산부; 임의 지점별 체험자에 대한 촬영데이터로부터 3차원 공간에 대해 상대적인 깊이 알고리즘을 사용하여 상기 제1중첩영상을 1차 보정하는 영상조정부; 임의 지점별 체험자에 대한 라이다데이터를 3차원 공간에서 중첩시켜 제2중첩영상을 형성하는 라이다계산부; 및 상기 영상조정부를 통해 보정된 제1중첩영상과 상기 제2중첩영상을 결합하여 3차원 공간에 대한 형상데이터로 변환시키는 입체변환부;를 포함한다.

본 발명에 따른 증강현실 트레이닝 시스템은 상기 체험자정보와 매칭되어 상기 트레이닝서버와 유선 통신되고, 기설정된 트레이닝정보와, 상기 형상데이터와, 상기 분석데이터 중 적어도 기설정된 트레이닝정보를 영상으로 표현하는 트레이닝표시유닛; 및 상기 체험자정보에 매칭되어 상기 트레이닝서버와 무선 통신되고, 기설정된 트레이닝정보와, 상기 형상데이터와, 상기 분석데이터 중 적어도 상기 형상데이터를 증강현실에서 영상으로 표현하는 휴대단말; 중 적어도 어느 하나를 더 포함한다.

여기서, 상기 체험자관리유닛은, 상기 형상데이터를 증강현실에서 360도 회전 가능한 컨텐츠로 제공하는 컨텐츠생성부;를 더 포함하고, 상기 휴대단말은, 상기 컨텐츠를 표현한다.

여기서, 상기 트레이닝관리유닛은, 상기 학습상태분석부와 상기 학습진도분석부 중 적어도 어느 하나의 분석 결과에 대응하여 기설정된 트레이닝정보 또는 상기 형상데이터에서 교정이 필요한 부위를 선택하는 교정선택부;를 더 포함한다.

여기서, 상기 트레이닝관리유닛은, 기설정된 트레이닝정보와 상기 형상데이터 중 적어도 어느 하나를 둘 이상으로 복제하는 영상복제부;를 더 포함한다.

여기서, 상기 체험정보수집유닛은, 체험자의 손에 착용하여 체험자의 손의 움직임을 감지하여 햅틱데이터를 생성하는 햅틱글러브;를 더 포함하고, 상기 입체변환부는, 상기 영상조정부를 통해 보정된 제1중첩영상과 상기 제2중첩영상을 결합할 때, 상기 햅틱데이터를 추가로 결합하여 3차원 공간에 대한 상기 형상데이터를 보완한다.

여기서, 상기 체험정보수집유닛은, 체험자의 신체에 결합되는 다수의 적외선마커; 및 상기 카메라유닛에 대한 기설정된 위치정보와 매칭되어 상기 적외선마커의 위치를 추출하여 마커데이터를 생성하는 적외선카메라;를 더 포함하고, 상기 마커데이터는, 상기 영상조정부에서 1차 보정된 상기 제1중첩영상과 결합하여 상기 제1중첩영상을 2차 보정하거나, 상기 입체변환부에서 상기 영상조정부를 통해 보정된 제1중첩영상과 상기 제2중첩영상을 결합할 때, 추가로 결합하여 3차원 공간에 대한 상기 형상데이터를 보완한다.

여기서, 상기 체험정보수집유닛은, 기설정된 트레이닝정보에 대응하여 체험자의 특정 부위에 부착되는 기준스티커;를 더 포함하고, 상기 트레이닝관리유닛은, 상기 기준스티커와 기설정된 트레이닝정보에 포함된 기준정보를 매칭시키는 체험자매칭부;를 더 포함한다.

여기서, 상기 트레이닝관리유닛은, 상기 형상데이터에 포함된 체험자의 기초자세와 기설정된 트레이닝정보에 포함된 트레이닝자세를 매칭시키는 체험자매칭부;를 더 포함한다.

본 발명에 따른 증강현실 트레이닝 시스템에 따르면, 기설정된 트레이닝정보를 바탕으로 체험자가 간편하게 학습할 수 있고, 체험자의 트레이닝 상태를 증강현실에서 표현하여 체험자의 트레이닝 상태를 확인할 수 있다.

또한, 본 발명은 카메라유닛을 통해 체험자의 움직임을 그대로 획득할 수 있고, 라이다유닛을 통해 체험자의 움직임에 대한 깊이정보를 획득할 수 있으며, 상기 체험자관리유닛의 세부 구성을 통해 형상데이터에서 체험자의 움직임에 따른 입체감을 표현할 수 있다.

또한, 본 발명은 트레이닝표시유닛과 휴대단말 중 적어도 어느 하나를 통해 체험자의 학습을 위한 기설정된 트레이닝정보 및 체험자의 트레이닝 상태를 간편하게 확인할 수 있다.

또한, 본 발명은 컨텐츠생성부를 통해 체험자의 트레이닝 상태를 다양한 각도에서 확인할 수 있다.

또한, 본 발명은 교정선택부를 통해 트레이닝관리유닛의 분석 결과에 대응하여 교정이 필요한 부위(일예로, 머리, 몸통, 팔, 다리의 기울기, 허리의 회전 상태, 엉덩이의 위치 등)를 보다 자세하게 확인할 수 있고, 교정이 필요한 부위에 대해 체험자의 트레이닝 상태를 자세하게 확인할 수 있다.

또한, 본 발명은 영상복제부를 통해 증강현실에서 기설정된 트레이닝정보와 형상데이터를 둘 이상으로 표현할 수 있고, 기설정된 트레이닝정보가 안무에 대응되는 경우, 군무 또는 그룹 영상으로 재생 가능하며, 영상복제부의 조절 상태에 따라 단순 복사에 그치지 않고 다수가 촬영한 영상인 것처럼 재생 가능하다.

또한, 본 발명은 햅틱글러브를 통해 기설정된 트레이닝정보가 체험자가 도구를 파지하여 학습에 참여하는 경우, 체험자로 하여금 도구의 파지 상태를 자세하게 확인할 수 있다.

또한, 본 발명은 적외선마커 및 적외선카메라를 통해 촬영데이터를 추가 보정하거나, 형상데이터의 정확도를 향상시킬 수 있다.

또한, 본 발명은 체험자매칭부를 통해 형상데이터의 방향와 기설정된 트레이닝정보의 방향을 보다 정확하게 일치시키고, 트레이닝관리유닛의 분석 결과에 대한 신뢰도를 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 증강현실 트레이닝 시스템을 도시한 평면도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 트레이닝 시스템을 도시한 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 트레이닝 시스템에서 햅틱글러브를 도시한 평면도이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 증강현실 트레이닝 시스템의 일 실시예를 설명한다. 이때, 본 발명은 실시예에 의해 제한되거나 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 대해 구체적인 설명은 본 발명의 요지를 명확하게 하기 위해 생략될 수 있다.

도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 증강현실 트레이닝 시스템은 체험정보수집유닛(10)과, 체험자관리유닛(20)과, 트레이닝관리유닛(30)과, 트레이닝서버(50)를 포함하고, 트레이닝표시유닛(40)과 휴대단말(60) 중 적어도 어느 하나를 더 포함할 수 있다.

여기서, 사용자인터페이스는 터치스크린, 키패드, 키보드, 스타일러스, 다른 입력장치와 같은 하나 이상의 입력 장치를 포함할 수 있다. 일예로, 사용자인터페이스에는 휴대단말(60)에 구비되는 터치스크린이 포함될 수 있다.

체험정보수집유닛(10)은 체험자(T)의 동작정보를 수집한다.

그러면, 사용자인터페이스에 시작신호가 입력되면, 트레이닝표시유닛(40)이 동작되어 기설정된 트레이닝정보가 시각적, 청각적으로 표현되고, 체험정보수집유닛(10)이 동작되어 체험영역(S)에 위치한 체험자(T)의 동작정보를 수집할 수 있다. 이때, 체험영역(S)에서 체험자(T)가 검색되지 않으면, 알람을 발생시킬 수 있다.

체험정보수집유닛(10)은 체험자(T)를 기준으로 상호 이격된 임의의 3점 이상에서 체험자(T)를 촬영하여 임의 지점별 체험자(T)에 대한 촬영데이터를 생성하는 카메라유닛(11)과, 카메라유닛(11)에 대한 기설정된 위치정보와 매칭되어 체험자(T)에게 출력된 빛(레이저)의 반사를 추출하여 체험자(T)의 동작정보에 대한 라이다데이터를 생성하는 라이다유닛을 포함할 수 있다.

본 발명의 일 실시예에서 카메라유닛(11)과 라이다유닛(12)은 각각 체험영역(S)을 기준으로 체험영역(S)의 둘레를 따라 3개가 상호 이격되어 가상의 삼각형의 꼭지점에 배치된 구조를 나타내지만, 카메라유닛(11)의 개수 및 위치를 한정하는 것은 아니고, 가상의 다각형의 꼭지점, 가상의 사면체의 꼭지점 등 공지된 다양한 형태를 통해 체험영역(S)에서 움직이는 체험자(T)를 안정되게 촬영할 수 있다.

체험정보수집유닛(10)은 체험자(T)의 신체에 결합되는 다수의 적외선마커(13)와, 카메라유닛(11)에 대한 기설정된 위치정보와 매칭되어 적외선마커(13)의 위치를 추출하여 마커데이터를 생성하는 적외선카메라(14)를 더 포함할 수 있다.

체험정보수집유닛(10)은 체험자(T)의 손에 착용하여 체험자(T)의 손의 움직임을 감지하여 햅틱데이터를 생성하는 햅틱글러브(15)를 더 포함할 수 있다. 햅틱글러브(15)에는 체험자(T)의 손의 움직임을 감지하는 굽힘센서(151)와, 체험자(T)의 손에 접촉되는 도구의 접촉 상태를 감지하는 접촉센서(152) 중 적어도 어느 하나가 구비될 수 있다.

체험정보수집유닛(10)은 기설정된 트레이닝정보에 대응하여 체험자(T)의 특정 부위에 부착되는 기준스티커(미도시)를 더 포함할 수 있다. 일예로, 기준스티커(미도시)는 체험자(T)의 가슴 부위에 부착되는 타겟부를 포함할 수 있다.

체험자관리유닛(20)은 체험자(T)의 동작정보를 3차원으로 형상화하여 형상데이터를 생성한다.

체험자관리유닛(20)은 임의 지점별 체험자(T)에 대한 촬영데이터를 3차원 공간에서 중첩시켜 제1중첩영상을 형성하는 영상계산부(21)와, 임의 지점별 체험자(T)에 대한 촬영데이터로부터 3차원 공간에 대해 상대적인 깊이 알고리즘을 사용하여 제1중첩영상을 1차 보정하는 영상조정부(22)와, 임의 지점별 체험자(T)에 대한 라이다데이터를 3차원 공간에서 중첩시켜 제2중첩영상을 형성하는 라이다계산부(23)와, 영상조정부(22)를 통해 보정된 제1중첩영상과 제2중첩영상을 결합하여 3차원 공간에 대한 형상데이터로 변환시키는 입체변환부(24)를 포함할 수 있다.

그러면, 촬영데이터와 라이다데이터는 시계열 순서에 따라 선입선출방식으로 영상계산부(21)와 라이다계산부(23)에 전달되고, 영상계산부(21)와 영상조정부(22)와 라이다계산부(23)와 입체변환부(24)를 통해 형상데이터로 변환된다. 여기서, 기설정된 트레이닝정보는 단위프레임별, 단위시간별로 시계열 순서에 따라 분할되어 연속적으로 표현될 수 있고, 이에 대응하여 형상데이터는 단위프레임별, 단위시간별로 시계열 순서에 따라 분할될 수 있다.

체험정보수집유닛(10)이 햅틱글러브(15)를 포함하는 경우, 입체변환부(24)는 영상조정부(22)를 통해 보정된 제1중첩영상과 제2중첩영상을 결합할 때, 햅틱데이터를 추가로 결합하여 3차원 공간에 대한 형상데이터를 보완할 수 있다.

체험정보수집유닛(10)이 적외선카메라(14)를 포함하는 경우, 영상조정부(22)는 1차 보정된 제1중첩영상과 마커데이터를 결합하여 제1중첩영상을 2차 보정하거나, 입체변환부(24)는 영상조정부를 통해 보정된 제1중첩영상과 제2중첩영상을 결합할 때, 마커데이터를 추가로 결합하여 3차원 공간에 대한 형상데이터를 보완할 수 있다.

다른 표현으로, 체험정보수집유닛(10)이 적외선카메라(14)를 포함하는 경우, 마커데이터는 영상조정부(22)에서 1차 보정된 제1중첩영상과 결합하여 제1중첩영상을 2차 보정하거나, 입체변환부(24)에서 영상조정부(22)를 통해 보정된 제1중첩영상과 제2중첩영상을 결합할 때 추가로 결합하여 3차원 공간에 대한 형상데이터를 보완할 수 있다.

체험자관리유닛(20)은 형상데이터를 증강현실에서 360도 회전 가능한 컨텐츠로 제공하는 컨텐츠생성부(25)를 더 포함할 수 있다.

그러면, 사용자인터페이스에 컨텐츠재생신호가 입력되면, 트레이닝서버(50)의 컨텐츠저장부(56)에 저장된 컨텐츠가 휴대단말(60)에 전송되고, 휴대단말(60)에서는 증강현실에서 컨텐츠를 시각적, 청각적으로 표현할 수 있다.

트레이닝관리유닛(30)은 형상데이터를 비교 분석하여 분석데이터를 생성한다.

트레이닝관리유닛(30)은 형상데이터와 기설정된 트레이닝정보를 비교 분석하여 상태데이터를 생성하는 학습상태분석부(32)와, 기설정된 트레이닝정보에 대응하여 현재의 형상데이터와 이전의 형상데이터를 비교 분석하여 진도데이터를 생성하는 학습진도분석부(33) 중 적어도 어느 하나를 포함할 수 있다.

이에 따라, 분석데이터에는 상태데이터와 형상데이터 중 적어도 어느 하나를 포함할 수 있다.

트레이닝관리유닛(30)은 학습상태분석부(32)와 학습진도분석부(33) 중 적어도 어느 하나의 분석 결과에 대응하여 기설정된 트레이닝정보 또는 형상데이터에서 교정이 필요한 부위(일예로, 머리, 몸통, 팔, 다리의 기울기, 허리의 회전 상태, 엉덩이의 위치 등)를 선택하는 교정선택부(34)를 더 포함할 수 있다.

그러면, 사용자인터페이스는 트레이닝표시유닛(40)에 표현되는 기설정된 트레이닝정보 또는 휴대단말(60)에 표현되는 형상데이터에서 교정이 필요한 위치를 입력할 수 있고, 교정선택부(34)는 입력된 위치를 포함하여 교정이 필요한 부위(일예로, 머리, 몸통, 팔, 다리의 기울기, 허리의 회전 상태, 엉덩이의 위치 등)로 선택할 수 있다.

트레이닝관리유닛(30)은 기설정된 트레이닝정보와 형상데이터 중 적어도 어느 하나를 둘 이상으로 복제하는 영상복제부(35)를 더 포함할 수 있다.

그러면, 사용자인터페이스에 복제신호가 입력되면, 영상복제부(35)는 기설정된 트레이닝정보와 형상데이터 중 적어도 어느 하나를 둘 이상으로 복제할 수 있다.

일예로, 체험정보수집유닛(10)이 기준스티커(미도시)를 포함하는 경우, 트레이닝관리유닛(30)은 기준스티커(미도시)와 기설정된 트레이닝정보에 포함된 기준정보를 매칭시키는 체험자매칭부(31)를 더 포함할 수 있다.

다른 예로, 트레이닝관리유닛(30)은 형상데이터에 포함된 체험자(T)의 기초자세와 기설정된 트레이닝정보에 포함된 트레이닝자세를 매칭시키는 체험자매칭부(31)를 더 포함할 수 있다. 여기서, 체험자(T)의 기초자세는 최초 체험영역(S)에서 기설정된 트레이닝정보에 포함된 트레이닝자세에 따라 체험정보수집유닛(10)이 체험자(T)의 동작정보 중 일부로써 수집될 수 있다.

트레이닝서버(50)는 체험자(T)의 식별을 위한 체험자정보와, 체험자(T)의 동작정보와, 기설정된 트레이닝정보와, 형상데이터와, 분석데이터가 저장된다. 트레이닝서버(50)에 저장되는 데이터는 체험자(T)의 동작정보에 대응하여 갱신될 수 있다.

트레이닝서버(50)에는 체험자정보가 저장되는 체험자정보저장부(51), 기설정된 트레이닝정보가 저장되는 트레이닝정보저장부(52), 체험자(T)의 동작정보 중 촬영데이터와 햅틱글러브(15)에서 생성되는 햅틱데이터와 적외선카메라(14)에서 생성되는 마커데이터와 영상계산부(21)에서 생성되는 제1중첩영상과 영상조정부(22)에서 생성되는 보정영상이 상호 매칭되어 저장되는 영상저장부(53)와, 라이다유닛(12)에서 생성되는 라이다데이터와 라이다계산부(23)에서 생성되는 제2중첩영상이 상호 매칭되어 저장되는 라이다저장부(54)와, 입체변환부(24)에서 생성되는 형상데이터가 저장되는 입체저장부(55)와, 컨텐츠생성부(25)에서 생성되는 컨텐츠가 저장되는 컨텐츠저장부(56)와, 학습상태분석부(32)에서 생성되는 상태데이터와 학습진도분석부(33)에서 생성되는 진도데이터가 저장되는 분석저장부(57)가 포함될 수 있다.

또한, 트레이닝서버(50)에는 휴대단말(60)과 무선 통신하는 단말통신부(58)가 더 포함될 수 있다.

체험자정보는 휴대단말(60)과의 무선 통신을 통해 휴대단말(60)의 단말정보에서 추출하거나, 사용자인터페이스를 통해 입력될 수 있다.

트레이닝표시유닛(40)은 체험자정보와 매칭되어 트레이닝서버(50)와 유선 또는 무선 통신되고, 기설정된 트레이닝정보와, 형상데이터와, 분석데이터 중 적어도 기설정된 트레이닝정보를 영상으로 표현한다. 트레이닝표시유닛(40)은 사용자인터페이스에 입력되는 시작신호 또는 별도의 표시신호에 따라 적어도 기설정된 트레이닝정보를 영상으로 표현할 수 있다.

여기서, 트레이닝표시유닛(40)을 한정하는 것은 아니고, 홀로그램, 디스플레이 등 공지된 다양한 형태를 나타낼 수 있다.

휴대단말(60)은 체험자정보에 매칭되어 트레이닝서버(50)와 무선 통신되고, 기설정된 트레이닝정보와, 형상데이터와, 분석데이터 중 적어도 형상데이터를 증강현실에서 영상으로 표현한다.

체험자관리유닛(20)이 컨텐츠생성부(25)를 포함하는 경우, 휴대단말(60)은 컨텐츠재생신호에 따라 컨텐츠생성부(25)에서 제공하는 컨텐츠를 표현할 수 있다.

휴대단말(60)에는 트레이닝서버(50)와 연동되는 트레이닝앱이 설치된다.

상술한 증강현실 트레이닝 시스템에 따르면, 기설정된 트레이닝정보를 바탕으로 체험자(T)가 간편하게 학습할 수 있고, 체험자(T)의 트레이닝 상태를 증강현실에서 표현하여 체험자(T)의 트레이닝 상태를 확인할 수 있다.

또한, 카메라유닛(11)을 통해 체험자(T)의 움직임을 그대로 획득할 수 있고, 라이다유닛(12)을 통해 체험자(T)의 움직임에 대한 깊이정보를 획득할 수 있으며, 상기 체험자관리유닛(20)의 세부 구성을 통해 형상데이터에서 체험자(T)의 움직임에 따른 입체감을 표현할 수 있다.

또한, 트레이닝표시유닛(40)과 휴대단말(60) 중 적어도 어느 하나를 통해 체험자(T)의 학습을 위한 기설정된 트레이닝정보 및 체험자(T)의 트레이닝 상태를 간편하게 확인할 수 있다.

또한, 컨텐츠생성부(25)를 통해 체험자(T)의 트레이닝 상태를 다양한 각도에서 확인할 수 있다.

또한, 교정선택부(34)를 통해 트레이닝관리유닛(30)의 분석 결과에 대응하여 교정이 필요한 부위(일예로, 머리, 몸통, 팔, 다리의 기울기, 허리의 회전 상태, 엉덩이의 위치 등)를 보다 자세하게 확인할 수 있고, 교정이 필요한 부위에 대해 체험자(T)의 트레이닝 상태를 자세하게 확인할 수 있다.

또한, 영상복제부(35)를 통해 증강현실에서 기설정된 트레이닝정보와 형상데이터를 둘 이상으로 표현할 수 있고, 기설정된 트레이닝정보가 안무에 대응되는 경우, 군무 또는 그룹 영상으로 재생 가능하며, 영상복제부(35)의 조절 상태에 따라 단순 복사에 그치지 않고 다수가 촬영한 영상인 것처럼 재생 가능하다.

또한, 햅틱글러브(15)를 통해 기설정된 트레이닝정보가 체험자(T)가 도구를 파지하여 학습에 참여하는 경우, 체험자(T)로 하여금 도구의 파지 상태를 자세하게 확인할 수 있다.

또한, 적외선마커(13) 및 적외선카메라(14)를 통해 촬영데이터를 추가 보정하거나, 형상데이터의 정확도를 향상시킬 수 있다.

또한, 체험자매칭부(31)를 통해 형상데이터의 방향와 기설정된 트레이닝정보의 방향을 보다 정확하게 일치시키고, 트레이닝관리유닛(30)의 분석 결과에 대한 신뢰도를 향상시킬 수 있다.

상술한 바와 같이 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였지만, 해당 기술분야의 숙련된 당업자라면, 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변경시킬 수 있다.

10: 체험정보수집유닛 11: 카메라유닛 12: 라이다유닛
13: 적외선마커 14: 적외선카메라 15: 햅틱글러브
151: 굽힘센서 152: 접촉센서 20: 체험자관리유닛
21: 영상계산부 22: 영상조정부 23: 라이다계산부
24: 입체변환부 25: 컨텐츠생성부 30: 트레이닝관리유닛
31: 체험자매칭부 32: 학습상태분석부 33: 학습진도분석부
34: 교정선택부 35: 영상복제부 40: 트레이닝표시유닛
50: 트레이닝서버 51: 체험자정보저장부 52: 트레이닝정보저장부
53: 영상저장부 54: 라이다저장부 55: 입체저장부
56: 컨텐츠저장부 57: 분석저장부 58: 단말통신부
60: 휴대단말 T: 체험자 S: 체험영역

Claims

체험자의 동작정보를 수집하는 체험정보수집유닛;
상기 체험자의 동작정보를 3차원으로 형상화하여 형상데이터를 생성하는 체험자관리유닛;
상기 형상데이터와 기설정된 트레이닝정보를 비교 분석하여 상태데이터를 생성하는 학습상태분석부와, 기설정된 트레이닝정보에 대응하여 현재의 형상데이터와 이전의 형상데이터를 비교 분석하여 진도데이터를 생성하는 학습진도분석부 중 적어도 어느 하나를 포함하여 분석데이터를 생성하는 트레이닝관리유닛; 및
체험자의 식별을 위한 체험자정보와, 체험자의 동작정보와, 기설정된 트레이닝정보와, 상기 형상데이터와, 상기 분석데이터가 저장되는 트레이닝서버;를 포함하고,
상기 체험정보수집유닛은, 체험자를 기준으로 상호 이격된 임의의 3점 이상에서 체험자를 촬영하여 임의 지점별 체험자에 대한 촬영데이터를 생성하는 카메라유닛; 및 상기 카메라유닛에 대한 기설정된 위치정보와 매칭되어 체험자에게 출력된 빛(레이저)의 반사를 추출하여 체험자의 동작정보에 대한 라이다데이터를 생성하는 라이다유닛;을 포함하며,
상기 체험자관리유닛은, 임의 지점별 체험자에 대한 촬영데이터를 3차원 공간에서 중첩시켜 제1중첩영상을 형성하는 영상계산부; 임의 지점별 체험자에 대한 촬영데이터로부터 3차원 공간에 대해 상대적인 깊이 알고리즘을 사용하여 상기 제1중첩영상을 1차 보정하는 영상조정부; 임의 지점별 체험자에 대한 라이다데이터를 3차원 공간에서 중첩시켜 제2중첩영상을 형성하는 라이다계산부; 및 상기 영상조정부를 통해 보정된 제1중첩영상과 상기 제2중첩영상을 결합하여 3차원 공간에 대한 형상데이터로 변환시키는 입체변환부;를 포함하며,
상기 트레이닝관리유닛은, 상기 학습상태분석부와 상기 학습진도분석부 중 적어도 어느 하나의 분석 결과에 대응하여 기설정된 트레이닝정보 또는 상기 형상데이터에서 교정이 필요한 부위를 선택하는 교정선택부; 및 기설정된 트레이닝정보와 상기 형상데이터 중 적어도 어느 하나를 둘 이상으로 복제하여 상기 기설정된 트레이닝정보 또는 상기 형상데이터를 둘 이상으로 표현하는 영상복제부;를 더 포함하는 것을 특징으로 하는 증강현실 트레이닝 시스템.
제1항에 있어서,
상기 체험자정보와 매칭되어 상기 트레이닝서버와 유선 통신되고, 기설정된 트레이닝정보와, 상기 형상데이터와, 상기 분석데이터 중 적어도 기설정된 트레이닝정보를 영상으로 표현하는 트레이닝표시유닛; 및
상기 체험자정보에 매칭되어 상기 트레이닝서버와 무선 통신되고, 기설정된 트레이닝정보와, 상기 형상데이터와, 상기 분석데이터 중 적어도 상기 형상데이터를 증강현실에서 영상으로 표현하는 휴대단말;
중 적어도 어느 하나를 더 포함하는 것을 특징으로 하는 증강현실 트레이닝 시스템.
제2항에 있어서,
상기 체험자관리유닛은, 상기 형상데이터를 증강현실에서 360도 회전 가능한 컨텐츠로 제공하는 컨텐츠생성부;를 더 포함하고,
상기 휴대단말은,
상기 컨텐츠를 표현하는 것을 특징으로 하는 증강현실 트레이닝 시스템.
삭제
삭제
제1항에 있어서,
상기 체험정보수집유닛은, 체험자의 손에 착용하여 체험자의 손의 움직임을 감지하여 햅틱데이터를 생성하는 햅틱글러브;를 더 포함하고,
상기 입체변환부는,
상기 영상조정부를 통해 보정된 제1중첩영상과 상기 제2중첩영상을 결합할 때, 상기 햅틱데이터를 추가로 결합하여 3차원 공간에 대한 상기 형상데이터를 보완하는 것을 특징으로 하는 증강현실 트레이닝 시스템.