KR20230147144A - 마커리스 모션 분석을 개선하기 위한 방법 - Google Patents

Abstract

마커리스 모션 분석을 개선하기 위한 시스템들, 방법들 및 컴퓨터 판독가능 저장 디바이스들이 개시된다. 하나의 방법은: 적어도 하나의 카메라에 의해 캡처된 모션 중인 신체의 관절 중심들의 포지션 데이터를 수신하는 단계; 모델 방정식들을 사용하여, 신체의 관절 중심들의 포지션 데이터의 3차원(3D) 각도 운동학 데이터를 향상시키는 단계 ― 향상된 3D 각도 운동학 데이터는 신체의 관절 중심들의 포지션 데이터의 증가된 측정 정확도를 포함함 ―; 및 모션 수행을 평가하기 위한 디스플레이를 위해 향상된 3D 각도 운동학 데이터를 제공하는 단계를 포함한다.

Description

마커리스 모션 분석을 개선하기 위한 방법

관련 출원들에 대한 상호 참조

본 출원은 PCT 국제 특허 출원으로서 2022년 2월 17일자로 출원되고, Method for Improving Markerless Motion Analyses로 2021년 2월 17일자로 출원된 미국 가특허 출원 제63/150,511호에 대한 우선권을 주장하고, 이 출원의 내용은 참조로 본 출원에 포함된다.

기술 분야

본 발명은 일반적으로 마커리스(markerless) 모션 분석들의 사용을 통해 물리적 모션 트레이닝 및 지도를 제공하기 위한 방법, 시스템 및 컴퓨터 판독가능 매체에 관한 것이다. 더 구체적으로, 본 발명은 운동 트레이닝 및 지도를 위한 개선된 마커리스 모션 분석들을 제공하기 위한 컴퓨터에 의해 구현되는 시스템에 관한 것이다.

다수의 상이한 기법들이 스포츠에 대한 적절한 운동 역학, 예컨대, 골프 클럽 또는 배트의 스윙을 가르치기 위해 구현되었다. 현재, 예컨대, 골프 전문가들과 같은 지도자들은 골프 클럽을 적절하게 스윙하는 방법을 가르치기 위해 이미징 및/또는 비디오 분석 시스템을 사용한다. 전형적인 비디오 또는 이미징 분석 시스템을 사용하여, 카메라 및/또는 비디오 기록 디바이스와 같은 이미징 디바이스에 의해 골프 스윙이 캡처된다. 지도자는 골프 스윙을 예시하기 위해 기록된 이미지 및/또는 비디오 정보를 재생하는 한편 스윙과 관련된 피드백을 제공한다. 지도 피드백은 스윙과 연관된 문제들과 관련된 코멘트들, 스윙의 개선과 관련된 칭찬들, 스윙 정정에 대한 제안들, 및/또는 스윙과 관련된 임의의 다른 구두 지도 코멘트들일 수 있다. 이러한 방식으로 개인 골프 스윙을 시각화하는 것은 전체 골프 스윙을 개선하기 위해 문제들을 식별하는 것뿐만 아니라 그러한 문제들을 정정하는 것에서 가치가 높은 툴로서 인식되었다.

이미징 및/또는 비디오 분석 시스템들이 스포츠 전문가들, 이를테면, 프로 골프 선수들, 야구 선수들 등에 의해 널리 사용되지만, 이러한 시스템들은 특정 단점들을 갖는다. 하나의 특정 단점은 이러한 시스템들이 인간 포즈 및 공간 랜드마크(landmark)들을 식별할 필요가 있다는 사실과 관련된다. 예컨대, 전문가는 인간 포즈 및 공간 랜드마크들을 식별하기 위해 이미지 및/또는 비디오 정보를 주관적으로 분석해야 한다. 그러나, 전형적인 이미지들 및 비디오만으로는 상이한 카메라 각도들, 너무 적은 카메라들, 느슨한 의복 등을 고려하면 충분한 정보가 캡처되지 않을 수 있다. 따라서, 전문가들은 인간 포즈 및 공간 랜드마크 정보를 강제로 추측해야 할 수 있다. 따라서, 전문가들에 의해서만 식별된 인간 포즈 및 공간 랜드마크 정보는 부정확할 수 있는데, 그 이유는 이미지 및/또는 비디오 상에서 스윙의 역학과 측정들을 격리하는 것이 어렵기 때문이다.

전형적인 이미징 및/또는 비디오 분석 시스템들과 연관된 단점들을 극복하기 위해, 모션 분석 시스템들은 사용자가 그들의 신체 상에 마커들 및/또는 센서 요소들을 착용할 것을 요구할 수 있고, 마커들 및/또는 센서 요소들은 손들, 엉덩이들, 어깨들 및 머리와 같은 격리된 신체 부분들의 포지션 데이터를 송신한다. 신체 상의 격리된 포인트들은 절대 기준 시스템, 예컨대, 중심 포인트가 방 안의 고정 포인트인 데카르트 좌표 시스템에 따라 스윙 동안 측정된다. 모션 분석을 사용함으로써, 스윙에서 문제들을 더 정확하게 결정하기 위해 정확한 측정들이 제공될 수 있다.

이러한 마커 기반 이미징 및/또는 비디오 시스템들에 대한 단점들은 사용자가 마커들을 착용할 것을 요구하고 카메라 및/또는 비디오 장비가 정확하게 배치될 것이 요구될 수 있다는 것이다. 따라서, 마커리스 모션 캡처 시스템들/방법들의 개발은 광범위한 운동 및 임상 애플리케이션들에 의해 동기부여되었다.

그러나, 3차원/3축(3D) 회전 모션들(각도 운동학)을 달성하기 위해 마커리스 모션 캡처를 사용할 시의 제한들은 표준 마커리스 모션 캡처 방법들에 의해 제공되는 공간 좌표들의 제한된 세트로 인해 지속된다. 본 출원은 그들 및 다른 고려사항들과 관련하여 이루어졌다.

특정 실시예들에 따르면, 마커리스 모션 분석을 개선하기 위한 시스템들, 방법들 및 컴퓨터 판독가능 매체들이 개시된다.

특정 실시예들에 따르면, 마커리스 모션 분석을 개선하기 위한 컴퓨터에 의해 구현되는 방법들이 제공된다. 하나의 방법은: 적어도 하나의 카메라에 의해 캡처된 모션 중인 신체의 관절 중심들의 포지션 데이터를 수신하는 단계; 모델 방정식들을 사용하여, 신체의 관절 중심들의 포지션 데이터의 3차원(3D) 각도 운동학 데이터를 향상시키는 단계 ― 향상된 3D 각도 운동학 데이터는 신체의 관절 중심들의 포지션 데이터의 증가된 측정 정확도를 포함함 ―; 및 모션 수행을 평가하기 위한 디스플레이를 위해 향상된 3D 각도 운동학 데이터를 제공하는 단계를 포함한다.

특정 실시예들에 따르면, 마커리스 모션 분석을 개선하기 위한 시스템들이 개시된다. 하나의 시스템은: 마커리스 모션 분석을 개선하기 위한 명령어들을 저장하는 데이터 저장 디바이스; 및 방법을 수행하기 위해 명령어들을 실행하도록 구성된 프로세서를 포함하고, 그 방법은: 적어도 하나의 카메라에 의해 캡처된 모션 중인 신체의 관절 중심들의 포지션 데이터를 수신하는 단계; 모델 방정식들을 사용하여, 신체의 관절 중심들의 포지션 데이터의 3차원(3D) 각도 운동학 데이터를 향상시키는 단계 ― 향상된 3D 각도 운동학 데이터는 신체의 관절 중심들의 포지션 데이터의 증가된 측정 정확도를 포함함 ―; 및 모션 수행을 평가하기 위한 디스플레이를 위해 향상된 3D 각도 운동학 데이터를 제공하는 단계를 포함한다.

특정 실시예들에 따르면, 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체들이 개시되고, 그 명령어들은, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 마커리스 모션 분석을 개선하기 위한 방법을 수행하게 한다. 컴퓨터 판독가능 매체들의 하나의 방법은: 적어도 하나의 카메라에 의해 캡처된 모션 중인 신체의 관절 중심들의 포지션 데이터를 수신하는 단계; 모델 방정식들을 사용하여, 신체의 관절 중심들의 포지션 데이터의 3차원(3D) 각도 운동학 데이터를 향상시키는 단계 ― 향상된 3D 각도 운동학 데이터는 신체의 관절 중심들의 포지션 데이터의 증가된 측정 정확도를 포함함 ―; 및 모션 수행을 평가하기 위한 디스플레이를 위해 향상된 3D 각도 운동학 데이터를 제공하는 단계를 포함한다.

개시되는 실시예들의 추가적인 목적들 및 이점들은 이하의 설명에서 부분적으로 제시될 것이고, 일부는 설명으로부터 명백하게 될 것이거나 또는 개시되는 실시예들의 실시에 의해 학습될 수 있다. 개시되는 실시예들의 목적들 및 이점들은 첨부 청구항들에서 특히 지적되는 요소들 및 조합들에 의해 실현되고 달성될 것이다.

전술된 일반적인 설명과 다음의 상세한 설명 둘 모두는 단지 예시적이고 설명적인 것일 뿐이고, 청구되는 바와 같은 개시되는 실시예들을 제한하는 것이 아니라는 것을 이해해야 한다.

다음의 상세한 설명의 과정에서, 첨부 도면들이 참조될 것이다. 도면들은 본 개시내용의 상이한 양태들을 도시하고, 적절한 경우, 상이한 도면들에서 유사한 구조들, 구성요소들, 재료들 및/또는 요소들을 예시하는 참조 번호들은 유사하게 라벨링된다. 구체적으로 도시된 것들 이외의 구조들, 구성요소들 및/또는 요소들의 다양한 조합들이 고려되고 본 개시내용의 범위 내에 있다는 것을 이해한다.
더욱이, 본 개시내용의 다수의 실시예들이 본원에서 설명 및 예시된다. 본 개시내용은 임의의 단일 양태 또는 그의 실시예로 제한되지 않고, 그러한 양태들 및/또는 실시예들의 임의의 조합들 및/또는 치환들로도 제한되지 않는다. 더욱이, 본 개시내용의 양태들 및/또는 그의 실시예들 각각은 단독으로 또는 본 개시내용의 다른 양태들 및/또는 그의 실시예들 중 하나 이상과 조합하여 이용될 수 있다. 간결성을 위해, 특정 치환들 및 조합들은 본원에서 개별적으로 논의 및/또는 예시되지 않는다.
도 1은 본 개시내용의 실시예들에 따른, 마커리스 모션 분석을 수행하는 제안되는 방법들에 대한 최상의 모드의 구현 및 실시예의 예로서 골프 스윙의 수행을 예시한다.
도 2는 본 개시내용의 실시예들에 따른, 신체 기준 좌표들의 제한된 세트로부터 3D 각도 운동학을 컴퓨팅하기 위해 신체 세그먼트 좌표 시스템들을 도출하기 위한 방법을 예시한다.
도 3은 본 개시내용의 실시예들에 따른, 마커리스 모션 캡처를 사용하여 정확한 3D 각도 측정들을 제공하기 위한 프로세스를 예시한다.
도 4는 본 개시내용의 실시예들에 따른, 마커리스 모션 캡처를 사용하여 3D 각도 측정들의 정확도를 개선하기 위한 운동학 향상 방법을 예시한다.
도 5는 본 개시내용의 실시예들에 따른, 마커리스 모션 분석을 개선하기 위한 방법을 도시한다.
도 6은 본 개시내용의 실시예들에 따른, 본원에서 개시되는 시스템들, 방법들 및 컴퓨터 판독가능 매체들에 따라 사용될 수 있는 예시적인 컴퓨팅 디바이스의 고 레벨 예시를 도시한다.
도 7은 본 개시내용의 실시예들에 따른, 본원에서 개시되는 시스템들, 방법들 및 컴퓨터 판독가능 매체들에 따라 사용될 수 있는 예시적인 컴퓨팅 시스템의 고 레벨 예시를 도시한다.
다시, 다수의 실시예들이 본원에서 설명 및 예시된다. 본 개시내용은 임의의 단일 양태 또는 그의 실시예로 제한되지 않고, 그러한 양태들 및/또는 실시예들의 임의의 조합들 및/또는 치환들로도 제한되지 않는다. 본 개시내용의 양태들 및/또는 그의 실시예들 각각은 단독으로 또는 본 개시내용의 다른 양태들 및/또는 그의 실시예들 중 하나 이상과 조합하여 이용될 수 있다. 간결성을 위해, 그러한 조합들 및 치환들 중 다수는 본원에서 개별적으로 논의되지 않는다.

관련 기술분야의 통상의 기술자는 본 개시내용의 다양한 구현들 및 실시예들이 본 명세서에 따라 실시될 수 있다는 것을 인식할 것이다. 이러한 구현들 및 실시예들 모두는 본 개시내용의 범위 내에 포함되는 것으로 의도된다.

본원에서 사용되는 바와 같이, "포함한다(comprises)", "포함하는(comprising)", "갖다(have)", "갖는(having)", "포함하다(include)", "포함하는(including)" 또는 그들의 임의의 다른 변형과 같은 용어들은 비배타적인 포함을 커버하는 것으로 의도되고, 그에 따라, 요소들의 리스트를 포함하는 프로세스, 방법, 물품 또는 장치는 그러한 요소들만을 포함하는 것이 아니라, 명시적으로 열거되지 않거나 또는 그러한 프로세스, 방법, 물품 또는 장치에 고유한 다른 요소들을 포함할 수 있다. "예시적인"이라는 용어는 "이상적인"이 아니라 "예"의 의미로 사용된다. 추가적으로, "또는"이라는 용어는 배타적 "또는"이 아니라 포괄적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 지정되거나 또는 문맥으로부터 명확하지 않은 한, "X는 A 또는 B를 이용한다"라는 문구는 자연스러운 포괄적 치환들 중 임의의 것을 의미하는 것으로 의도된다. 예컨대, "X는 A 또는 B를 이용한다"라는 문구는 다음의 경우들: X는 A를 이용한다; X는 B를 이용한다; 또는 X는 A와 B 둘 모두를 이용한다 중 임의의 것에 의해 만족된다. 추가하여, 본 출원 및 첨부 청구항들에서 사용되는 바와 같은 "a" 및 "an"과 같은 관사들은, 단수 형태에 관한 것으로 달리 지정되거나 또는 문맥으로부터 명확하지 않은 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.

간결성을 위해, 방법들 및 시스템들 및 서버들(및 시스템들의 개별 동작 구성요소들)의 다른 기능적 양태들을 실시하는 데 사용되는 시스템들 및 서버들과 관련된 종래의 기법들은 본원에서 상세히 설명되지 않을 수 있다. 게다가, 본원에 포함된 다양한 도면들에 도시된 연결 라인들은 다양한 요소들 사이의 예시적인 기능적 관계들 및/또는 물리적 커플링들을 표현하는 것으로 의도된다. 다수의 대안적인 및/또는 추가적인 기능적 관계들 또는 물리적 연결들이 발명대상의 실시예에 존재할 수 있다는 점에 유의해야 한다.

이제, 본 개시내용의 예시적인 실시예들이 상세히 참조될 것이고, 그의 예들은 첨부 도면들에 예시된다. 가능한 모든 경우에, 동일한 참조 번호들은 동일한 또는 유사한 파트들을 지칭하기 위해 도면들 전체에 걸쳐 사용될 것이다.

본 개시내용은 일반적으로, 다른 것들 중에서도 특히, 이용가능한 공간 기준 포인트 데이터를 사용하여 하나 이상의 세그먼트가 불충분하게 정의될 때 하나 초과의 세그먼트의 3차원 공간 세그먼트 배향을 추정하기 위한 방법에 관한 것이다.

이제 도면들을 참조하면, 도 1은 본 개시내용의 실시예들에 따른, 향상된 모션 분석들을 실시하기 위한 환경(100)을 도시한다. 도 1에 도시된 바와 같이, 환경(100)은 이미징 및/또는 비디오 분석 시스템(102)을 포함하고, 이미징 및/또는 비디오 분석 시스템(102)은 하나 이상의 카메라 및/또는 비디오 기록 장비(104)를 사용하여 카메라 및/또는 비디오 기록 장비(104)에 의해 캡처된 물리적 모션 프로세스 정보를 기록한다. 이미징 및/또는 비디오 분석 시스템(102)은 또한 포지션 정보를 캡처 및/또는 계산할 수 있다. 이미징 및/또는 비디오 분석 시스템(102)은 골프 스윙 분석 및 트레이닝을 위해 사용될 수 있는 분석 또는 교육 정보를 생성하기 위해 데이터를 프로세싱한다.

환경(100)이 골프 스윙 분석을 제공하기 위한 시스템 및 방법으로서 아래에서 설명되지만, 이미징 및/또는 비디오 분석 시스템(102)은 야구, 테니스, 크리켓, 폴로, 또는 모션이 스포츠의 요소가 실시되는 척도인 임의의 다른 스포츠들과 같은 다른 스포츠들에서 모션 분석을 제공하기 위해 사용될 수 있다. 더욱이, 분석은 거의 모든 형태의 물리적 모션 분석을 제공하기 위해 유사하게 사용될 수 있다. 추가로, 환경(100)은 2개의 카메라(104)를 도시하지만, 단일 카메라 또는 단일 비디오 기록 장비가 사용될 수 있다.

본 개시내용의 실시예들에서, 측정 정확도가 중요할 수 있고, 순차적인 디지털 이미지들에 걸친 골격 세그먼트들 및 관절 중심들의 검출, 추적 및 공간 변환을 향상시키기 위해 해부학적 제약들을 시뮬레이트하는 이미지 프로세싱 알고리즘들 및 신체 모델들의 개발을 통해 정확한 모션 캡처가 개선되었다. 마커리스 모션 캡처 시스템들의 개발은 광범위한 운동 및 임상 애플리케이션들을 갖고, 광학 시스템들이 인간 포즈 및 공간 랜드마크들을 식별하기 위해 이용된다.

그러나, 3차원/3축 회전 모션들(각도 운동학)을 달성하기 위한 마커리스 모션 캡처의 제한들은 마커리스 모션 캡처 방법들에 의해 제공되는 공간 좌표들의 제한된 세트로 인해 지속될 수 있다. (인간 움직임에 의해 나타나는 바와 같은) 복잡한 다물체 운동학은 인접한 세그먼트들 사이의 3D 회전을 허용하는 관절들에서 역학적으로 제약되는 2개 이상의 세그먼트에 의해 달성될 수 있다. 힐베르트의 기본 기하학적 결합 공리에 따르면, 3개의 비공선적 포인트는 평면이 3D 공간(유클리드)에서 정의되는 것을 허용한다. 이 조건은 세그먼트 배향 측정을 위한 신체 고정 기준 프레임을 생성할 수 있는 분석적으로 정의된 좌표 시스템을 가능하게 한다. 세그먼트당 3개의 신체 고정 비공선적 포인트의 공간 좌표들이 이용가능하지 않을 때, 대안적인 접근법들이 3D 측정을 근사화하기 위해 사용될 수 있다.

예컨대, 웅크리고 앉는 것 또는 걷는 것과 같은 특정 2D 모션 평면에서 느리게 수행되는 움직임 태스크들 동안 3D 각도 운동학의 부분 세트가 제공될 수 있다. 이러한 모션 캡처 제한들에도 불구하고, 마커 기반 모션 분석 시스템으로부터 결정되는 동시 측정들과 비교할 때 큰 각도 편차들이 나타날 수 있다. 위에서 언급된 바와 같이, 마커 기반 모션 분석 시스템들은 역동적인 활동들 동안 해부학적 랜드마크들로부터의 변위를 최소화하기 위해 확립되고 검증된 신뢰성으로 뼈 돌출부들 상에 마커들을 직접적으로 부착한다.

그러나, 마커리스 시스템들에서 랜드마크 포인트들(키 포인트들)을 식별하는 것은 환경 조건들(조명, 장애물들/의복, 포즈)에 대해 매우 민감할 수 있는 확률적 비결정적 피처 검출에 의존할 수 있는데, 이는 보고된 랜드마크 좌표들이 진정한 랜드마크 위치들로부터 랜덤으로 변위되는 랜덤 포지션 에러를 생성할 수 있다. 운동학 측정을 위한 평면(2D) 기준 프레임들을 정의하기 위해 이러한 포인트들을 사용하려고 시도할 때, 각각의 키 포인트에서 발생하는 랜덤 포지션 에러 분산은 이미지들의 시퀀스 내의 프레임들 사이에 합성 에러를 도입할 수 있다. 추가하여, 키 포인트 포지션 에러는 각각의 프레임 내의 분석적으로 정의된 기준 기하형상을 통해 전파되어 잘못된 편차들을 생성할 수 있다. 키 포인트 포지션 에러에 직접적으로 영향을 미치는 인자들에 추가로, 키 포인트 도출 기준 프레임 에러는 기준 프레임의 크기를 갖는 행위자들이 마커리스 키 포인트들을 사용할 가능성으로 세그먼트 기하형상 및 세그먼트 상의 키 포인트 위치에 의해 영향을 받을 수 있고 합성/확대될 수 있다. 잠재적인 에러들을 고려하여, 포지션 에러들에 대한 영향을 감소시키기 위해 아래에서 논의되는 다양한 방법들이 사용될 수 있다.

마커리스 시스템과 마커 기반 시스템 사이의 비교적 양호한 일치로 모션의 패턴들을 산출한 3개의 인접하지 않은 관절 중심 위치들(즉, 엉덩이, 어깨, 팔꿈치 등)의 3D 좌표들로부터 참조되는 2D 각도 운동학을 측정하기 위한 방법들이 이용될 수 있다. 큰 각도 편차들의 지속을 수반하는 유사한 모션 패턴들은 마커리스 모션 캡처를 사용하여 유효한 수행 측정들을 생성하기 위해 회전 모션의 대리 측정들을 촉구하였다. 추가로, 부과된 해부학적 제약들과 근골격체 모델들을 조합하는 것은 각도 운동학의 측정 정확도를 개선하였다.

그러나, 이러한 접근법들에도 불구하고, 신체 세그먼트들이 카메라의 2D 관찰 평면으로부터 비틀어지는 횡방향 평면 회전 모션은 거의 추출 및 보고되지 않을 수 있다. 카메라들의 더 큰 세트는 마커리스 모션 캡처 시스템들이 비틀림 움직임 태스크들 동안 3D 관절 중심 위치들을 적절하게 추적할 가능성을 개선할 수 있지만, 횡방향 평면 각도 모션은 정확하고 신뢰성 있게 추출하는 것이 어려울 수 있다.

마커리스 모션 캡처 기술의 제한은 3D 각도 운동학을 측정하기 위해 이용가능한 신체 기준 공간 좌표의 수일 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 측정들은 로컬 3D 좌표 시스템을 정의하기 위해 신체 세그먼트가 3개의 기준 포인트를 가질 것을 요구할 수 있다. 다른 신체 세그먼트에 대한 하나의 신체 세그먼트의 3D 공간 배향은 2개의 3D 좌표 시스템 사이의 상대적인 회전 차이로서 물리적으로 정량화된다. 신체 세그먼트(강체)의 3D 공간 배향을 측정하는 것은 3D 좌표 시스템들이 글로벌 3D 좌표 시스템(기준 프레임)을 기준으로 관심 강체에 대해 정의될 것을 요구한다. 3D 신체 고정 기준 프레임을 정의하기 위해, 기준 프레임 내에 고정된 적어도 3개의 독립적인 비공선적 포인트의 공간 좌표들이 알려져 있어야 한다. 이 기하학적 요건은 마커리스 모션 캡처에 의해 충족되지 않을 수 있고, 그에 따라, 분석 방법들이 불충분한/불충분하게 결정된 신체 세그먼트 좌표 데이터로 3D 공간 배향들을 정량화하는 것을 방지할 수 있다.

마커리스 모션 캡처 기술을 개선하기 위해, 본 개시내용의 실시예들은 덜 제약된 물리적 시스템들로부터 3D 각도 운동학을 측정하기 위한 새로운 분석 방법들을 구현하는데, 이는 수행을 위한 비틀림 모션들(즉, 골프 스윙) 및 부상 위험(즉, 무릎 부상들)을 분석하는 것에서 유용한 툴일 수 있다. 마커리스 모션 캡처에서 사용되는 카메라의 수를 증가시키는 것은 신체 기준 좌표들의 정확도를 개선할 수 있지만, 증가된 카메라들은 유효하고 신뢰성 있는 3D 각도 운동학 측정들을 제공하기 위한 컴퓨테이션 요건들을 발전시킬 가능성이 낮을 수 있다. 따라서, 마커리스 모션 캡처 기술의 유용성을 발전시키는 접근법들이 아래에서 상세히 논의된다.

본 개시내용은 단일 카메라와 같은 적어도 하나의 카메라를 갖는 마커리스 모션 캡처 기술을 사용하여 3D 모션 분석들을 제공하고 개선하기 위한 방법들에 관한 것이다. 본 개시내용의 실시예들은 각각의 세그먼트에 대해 3개 미만의 신체 고정 기준 포인트가 알려져 있을 때 및/또는 그러한 포인트들이 신체에 견고하게 고정되어 있지 않을 때(이는 명확하지 않은/랜덤 측정 변동으로 인해 발생할 수 있음) 하나 이상의 강체의 3D 공간 배향을 추정하기 위한 방법들을 제공한다.

본 개시내용의 실시예들에서, 하나 이상의 강체의 3D 공간 배향을 추정하는 것을 가능하게 하는 방법들이 제공되고, 그 방법들은: (1) 직접적으로 관찰가능한 신체 고정 포인트들에 의해 제공되는 세부사항을 보완하는 추가적인 제약을 사용하는 종속적인 세그먼트 기준 프레임들을 달성하기 위해 적어도 2개의 직접적으로 또는 간접적으로 운동학적으로 제약된 세그먼트들 상의 2개 이상의 포인트와 같지만 이에 제한되지는 않는 이용가능한 공간 정보를 사용하는 것; 및 (2) 하나 이상의 체계적인 운동학 제약들과 하나 이상의 신체 고정 포인트 사이의 기하학적 관계의 확률적 맵핑을 3D 신체 고정 기준 프레임에 적용하는 것을 통해 이루어진다. 프로세스는 다물체 시스템 운동학의 간접적인 표현을 달성하기 위해 운동학적으로 제약된 신체 고정 좌표 시스템들로부터의 직접적인 측정들을 사용할 수 있다. 측정들이 종속적인 기준 프레임들을 추적하는 동안, 측정들은 제약된 다물체 시스템 운동학의 순 효과를 반영한다. 다시 말하면, 세그먼트들 둘 모두에 의해 공유되는 제3의 신체 고정 포인트로서 기능하는 운동학 제약 중심이 고려될 수 있다. 따라서, 운동학적으로 제약된 측정들의 대표적인 샘플은 측정들의 2개의 세트를 관련시키는 가중된 피처 맵핑을 결정하기 위해 임의의 진단적으로 의미 있는 모션에 대해 대응하는 검증된 기준 측정과 페어링될 수 있다. 접근법은 제약된 운동학 및/또는 키 포인트들로부터 도출되는 지도 학습, 잠재 변수 모델들 및 피처들을 포함할 수 있지만 이에 제한되지는 않는다.

실시예에 따르면, 아래에서 더 상세히 논의되는 바와 같이, 적어도 2개의 운동학적으로 제약된 강체(세그먼트) 상에서 적어도 2개의 신체 고정 포인트(키 포인트)가 알려져 있고 글로벌 기준 프레임이 정의될 때, 컴퓨테이션 방법이 적용된다. 도 2a 내지 도 2d는 본 개시내용의 양태들에 따른, 신체 기준 좌표들의 제한된 세트로부터 3D 각도 운동학을 컴퓨팅하기 위해 신체 세그먼트 좌표 시스템들을 도출하기 위한 방법을 도시한다. 특히, 도 2a 내지 도 2d는 적어도 2개의 운동학적으로 제약된 강체 상에서 적어도 2개의 신체 고정 포인트가 알려져 있을 때 3차원(3D) 각도 운동학의 컴퓨테이션을 가능하게 하기 위해 신체 세그먼트 좌표 시스템들을 정의하는 방법을 도시한다. 도 2a에 도시된 바와 같이, 세그먼트들(202A 및 202B) 각각은 적어도 2개의 신체 고정 포인트(키 포인트)(204A 및 204B)를 갖는다. 각각의 키 포인트들(204A 및 204B)은 관성 프레임(글로벌 기준 프레임)에 고정된 기준 좌표 시스템(206)에 기초할 수 있다. 도 2a 내지 도 2d 각각에 대해, 기준 축들이 정의된다. 도 2b는 각각의 신체 세그먼트(202A 및 202B) 상의 2개의 신체 고정 포인트(204A 및 204B) 사이에서 정의되는 것으로서 축(208)을 예시한다. 신체 고정 포인트들(204A 및 204B)은 2개의 세그먼트(202A 및 202B)에 의해 공유되는 관절 제약을 포함하지 않을 수 있다. 임시 축(210)이 (간접적으로) 인접한 세그먼트들(202A 및 202B) 상의 축들(208) 각각의 중간 포인트들로부터 정의될 수 있다. 도 2c는 축들(212)이 세그먼트 특정 축(208) 및 축(210)과 직교하는 축으로서 정의될 수 있는 것을 예시한다. 도 2d는 최종 축들(214)이 축들(208 및 212)과 직교하는 축으로서 정의될 수 있는 것을 예시한다. 이 접근법은 하나의 축(축(208))이 신체 고정되고 2개의 축이 2개의 세그먼트 사이의 체계적인 제약된 관절 운동학을 표현하는 배향 기반 상호작용을 캡처하도록 각각의 세그먼트 상에 기준 프레임을 제공한다.

신체 축 고정 기준 프레임들로부터 캡처된 측정들은 글로벌 기준 프레임(206)에 대한 각각의 세그먼트와 세그먼트들 사이의 (제약된) 상대적인 공간 배향을 포함하는 체계적인 표현을 제공한다. 아래에서 더 상세히 논의되는 바와 같이, 이어서, 독립적인 신체 고정 좌표 시스템들을 가정하여 적용될 수 있는 규칙에 따라 3D 각도 운동학이 직접적으로 계산될 수 있다.

예컨대, x 축 및 z 축은 바닥/지면에 평행하고 서로 수직인 것으로서 정의될 수 있고, y 축은 x 축 및 z 축에 수직이고 바닥/지면과 직교하는 것으로서 정의될 수 있다. 대안적으로, 좌표 원점들에 대한 기준은 시스템의 사용자에 대해 고유한 것으로 정의될 수 있다. 축 시스템을 사용하여, 각도 회전 값들에 대한 측정들이 결정될 수 있다. 예컨대, 는 x 축을 중심으로 하는 어깨들의 회전 각도를 표현할 수 있고, 는 y 축을 중심으로 하는 어깨들의 회전 각도를 표현할 수 있고, 는 z 축을 중심으로 하는 어깨들의 회전 각도를 표현할 수 있고, 는 x 축을 중심으로 하는 엉덩이들의 회전 각도를 표현할 수 있고, 는 y 축을 중심으로 하는 엉덩이들의 회전 각도를 표현할 수 있고, 는 z 축을 중심으로 하는 엉덩이들의 회전 각도를 표현할 수 있다. 따라서, 는 어깨 및 엉덩이 굽힘과 관련되고, 는 어깨 및 엉덩이 회전과 관련되고, 는 어깨 및 엉덩이 기울임과 관련된다. 좌표 시스템을 기준으로 측정하면, 어깨들과 엉덩이들 둘 모두의 굽힘, 회전 및 기울임과 관련된 포지션 요소들이 결정될 수 있다.

위에서 언급된 바와 같이, 본 개시내용의 실시예들은 운동학 데이터를 향상시키기 위해 사용될 수 있는 지도 학습 접근법 및/또는 머신 학습 접근법을 제공한다. 본 개시내용의 실시예들의 접근법은 운동학 데이터를 향상시키기 위해 사용되는 모델 방정식을 결정하기 위해 하나 이상의 머신 학습 접근법을 트레이닝하는 것에 기초할 수 있다. 머신 학습이 더 일반적으로 논의되지만, 머신 학습의 일 예는 콘볼루션 신경망들, 심층 신경망들, 순환 신경망 등을 포함하지만 이에 제한되지는 않는 신경망들을 포함할 수 있다.

운동학 향상 절차는, 아래에서 더 상세히 논의되는 바와 같이, 특정 움직임 태스크에 대해 글로벌 기준 프레임에 대해 진정한 분석적으로 정의된 독립적인 신체 고정 기준 프레임 배향들을 근사화할 수 있다. 절차는 상대적인 배향들의 대표적인 샘플 동안 대안적인 신체 축 고정 상호작용 기준 프레임들을 사용하여 계산된 측정들과 관련하여 독립적인 세그먼트 배향들의 운동학적으로 제약된 검증된 예들로부터의 대표적인 예시적인 측정들을 사용하여 결정되는 확률적 맵핑을 사용할 수 있다. 이어서, 맵핑 절차로부터의 모델 방정식들은 새로운 움직임 수행의 3D 각도 운동학을 측정하기 위해 사용될 수 있다. 그 결과들은, 예컨대, 컴퓨터 스크린의 대시보드, 스마트 디바이스 등 상에 디스플레이될 수 있다.

도 3은 본 개시내용의 실시예들에 따른, 마커리스 모션 캡처를 사용하여 정확한 3D 각도 측정들을 제공하기 위한 방법(300)을 예시한다. 도 3에 도시된 바와 같이, 운동선수/사용자/수행자는 운동선수/사용자/수행자의 신체의 모션을 포함하는 행동(302)을 수행할 수 있다. 304에서, 적어도 하나의 카메라, 예컨대, 단일 카메라가 모션 중인 신체의 적어도 2개의 이미지를 캡처할 수 있다. 306에서, 픽셀들의 2차원 어레이를 갖는 이미지들을 출력하기 위해 이미지 프로세싱이 수행될 수 있다. 이어서, 308에서, 모션 중인 신체의 2차원 좌표들을 생성하기 위해 카메라 교정이 수행될 수 있다. 다음으로, 310으로서, 모션 중인 신체의 키 포인트들의 3차원 좌표들을 생성하기 위해 이미지들에 대해 직접 선형 변환이 수행될 수 있다. 예컨대, 모션 중인 신체의 키 포인트들의 3차원 좌표들은 3차원 관절 중심 위치들(312)일 수 있다.

314에서, 모션 중인 신체의 3차원 관절 중심 위치들이 수신될 수 있다. 도 3의 316에서 도시된 바와 같이, 이어서, 독립적인 신체 고정 좌표 시스템들을 가정하여 적용될 규칙에 따라 3D 각도 운동학이 직접적으로 계산될 수 있다. 318에서, 글로벌 기준 프레임에 대해 진정한 분석적으로 정의된 독립적인 신체 고정 기준 프레임 배향들을 근사화하는 운동학 향상 절차가 적어도 하나의 카메라에 의해 캡처된 특정 움직임 태스크에 대해 수행될 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 절차는 상대적인 배향들의 대표적인 샘플 동안 대안적인 신체 축 고정 상호작용 기준 프레임들을 사용하여 계산된 측정들과 관련하여 독립적인 세그먼트 배향들의 운동학적으로 제약된 검증된 예들로부터의 대표적인 예시적인 측정들을 사용하여 결정되는 확률적 맵핑을 사용할 수 있다. 이어서, 320에서, 맵핑 절차로부터의 모델 방정식들이 새로운 움직임 수행의 3D 각도 운동학을 측정하기 위해 사용될 수 있고, 322에서, 컴퓨터 스크린 또는 스마트 디바이스의 대시보드 상에 디스플레이될 수 있다.

도 4는 본 개시내용의 실시예들에 따른, 마커리스 모션 캡처를 사용하여 3D 각도 측정들의 정확도를 개선하기 위한 운동학 향상 방법을 예시한다. 절차는 402에서 시작될 수 있고, 여기서, 기준 측정들이 데이터 프로세스(403)에 의해 수신/획득될 수 있다. 확률적 맵핑이 사용될 수 있고, 확률적 맵핑은 상대적인 배향들의 대표적인 샘플 동안 대안적인 신체 축 고정 상호작용 기준 프레임들을 사용하여 계산된 측정들과 관련하여 독립적인 세그먼트 배향들의 운동학적으로 제약된 검증된 예들로부터의 대표적인 예시적인 측정들을 사용하여 결정된다.

예컨대, 데이터 프로세스(403)는 하나 이상의 머신 학습 접근법의 트레이닝에서 사용되는 마커리스 모션 캡처 데이터(404)를 프로세싱할 수 있다. 마커리스 모션 캡처(404)의 대표적인 예시적인 측정들에서, 운동선수/사용자/수행자는 운동선수/사용자/수행자의 신체의 모션을 포함하는 행동을 수행할 수 있다. 404A에서, 적어도 하나의 카메라, 예컨대, 단일 카메라가 모션 중인 신체의 적어도 2개의 이미지를 캡처할 수 있다. 404B에서, 픽셀들의 2차원 어레이를 갖는 이미지들을 출력하기 위해 이미지 프로세싱이 수행될 수 있다. 이어서, 404C에서, 모션 중인 신체의 2차원 좌표들을 생성하기 위해 카메라 교정이 수행될 수 있다. 다음으로, 404D로서, 모션 중인 신체의 키 포인트들의 3차원 좌표들을 생성하기 위해 이미지들에 대해 직접 선형 변환이 수행될 수 있다. 이어서, 404E에서 도시된 바와 같이, 독립적인 신체 고정 좌표 시스템들을 가정하여 적용될 규칙에 따라 3D 각도 운동학이 직접적으로 계산될 수 있다. 3차원 좌표들과 관련된 회전 데이터를 생성하기 위해 3D 각도 운동학이 적용된다.

추가적으로, 데이터 프로세스(403)는 하나 이상의 머신 학습 접근법의 트레이닝에서 사용되는 마커 기반 모션 캡처 데이터(406)를 프로세싱할 수 있다. 예컨대, 마커 기반 모션 캡처에서, 하나 이상의 적외선 카메라(406A)가 사용자 상에 배치된 마커들을 캡처할 수 있다. 카메라 교정(406B)의 사용을 통해, x 축 및 y 축 좌표들이 캡처된 마커들로부터 추출될 수 있다. 추출된 좌표들로부터, 직접 선형 변환(406C)이 x, y 및 z 축 상의 3차원 좌표를 생성하기 위해 사용될 수 있다. 마지막으로, 3차원 좌표들과 관련된 회전 데이터를 생성하기 위해 3차원 각도 운동학(406D)이 적용될 수 있다.

본 개시내용의 실시예들에서, 데이터 프로세스(403)는 움직임 수행의 순차적인 비디오 이미지들로부터 신체 기준 랜드마크들(키 포인트들)의 세트를 추출하고 변환할 수 있는 모션 분석 방법을 이용할 수 있다. 키 포인트들의 세트는 제한될 수 있고, 키 포인트들의 쌍들 사이의 중간 포인트 위치들과 같은 신체의 관절 중심 위치들 중 일부를 제공할 수 있다. 키 포인트들은 3차원 각도 운동학을 생성하기 위해 수신 및/또는 입력될 수 있다. 그 후, 확률적 맵핑(408)이 사용될 수 있다. 확률적 맵핑 동안, 확률적 맵핑은 상대적인 배향들의 대표적인 샘플 동안 대안적인 신체 축 고정 상호작용 기준 프레임들을 사용하여 계산된 측정들과 관련하여 독립적인 세그먼트 배향들의 운동학적으로 제약된 검증된 예들로부터의 대표적인 예시적인 측정들을 사용할 수 있다. 확률적 맵핑 변환(408)은 3D 각도 운동학의 컴퓨테이션 정확도를 증대시키기 위해 모델 방정식들(410)을 제공할 수 있다.

이어서, 향상된 운동학 데이터는 대시보드로 전달될 수 있고, 여기서, 관련 태스크 특정 메트릭들이 추출되어 컴퓨터 스크린 또는 스마트 디바이스 상에 수치적으로 및/또는 그래픽으로 디스플레이된다(도 3의 320 및 322 참조). 수행 메트릭들은 움직임 수행을 평가하고 액셔너블 인사이트(actionable insight)들을 제공하기 위해 사용될 수 있다. 확률적 맵핑은 커플링된 덜 제약된 기준 프레임들과 분석적으로 정의된 등가의 기준 프레임들 사이의 관계를 확립할 수 있다. 위에서 논의된 바와 같이, 이는 상대적인 배향들의 대표적인 샘플 동안 대안적인 신체 축 고정 상호작용 기준 프레임들을 사용하여 계산된 측정들과 관련하여 페어링된 독립적인 세그먼트 배향들의 검증된 예들을 사용함으로써 달성된다. 이러한 맵핑은 덜 제약된/정의된 신체 고정 기준 위치들의 세트로부터 3D 각도 운동학을 측정하는 개선된 정량적 정확도를 제공하고, 정확한 3D 각도 운동학을 생성하기 위해 신체 기준 랜드마크들의 작은 세트에 의해 제한되지 않는 모션 분석 방법을 제공함으로써 마커리스 모션 기술을 발전시킨다.

확률적 맵핑의 트레이닝은 상이한 측정 셋업들 및/또는 측정된 대상들 사이의 변동성을 고려하기 위해 복수의 예시 데이터세트들에 대해 수행될 수 있다. 추가적으로, 다양한 스포츠들 및 기능적 태스크들에 대한 복수의 예시 데이터세트들의 여러 리포지토리들이 있을 수 있다. 이러한 리포지토리들은 이전에 생성되어 자유롭게 이용가능할 수 있다. 이러한 복수의 예시 데이터세트들의 사용을 통해, 마커리스 모션 캡처 동안 단일 카메라에 의해 캡처되는 키 포인트들의 제한된 세트가 향상된 3D 각도 운동학 데이터를 생성하기 위해 사용될 수 있다.

복수의 예시 데이터세트들에 대해 트레이닝하는 것에 의해, 확률적 맵핑은 예시 데이터세트들에 걸쳐 공통 피처들을 학습할 수 있다. 확률적 맵핑은 분석 솔루션이 이용가능하지 않을 때 상관된 현상들 사이의 관계를 파라미터화할 수 있다. 확률적 맵핑은 일부 관심 메커니즘의 입력 및 출력과 관련된 페어링된 데이터를 사용한다. 확률적 맵핑을 적용하기 위한 접근법들은 가능성에 기초하여 결과를 확률적으로 제약하는 에러 메트릭과 함께 적용되는 수치 근사 또는 다른 함수 근사 방법들을 포함할 수 있다.

지도 학습은 확률적 맵핑의 하나의 애플리케이션이다. 예컨대, 지도 학습은 예시 데이터세트들로부터의 복수의 인자들/데이터 포인트들에 기초하여 포지션 데이터를 결정하기 위해 분석 솔루션을 사용할 수 있다. 파라미터들 및 포지션들을 표현하는 페어링된 입력-출력 데이터의 예들을 사용하여, 예시적인 데이터에 대한 예측들의 에러를 최소화함으로써 포지션 데이터를 3D 각도 운동학 데이터로 맵핑하는 함수가 근사화될 수 있다. 위에서 언급된 바와 같이, 본 개시내용의 실시예들은 지도 학습, 머신 학습, 신경망들 등을 사용하여 모델 방정식을 생성하기 위해 사용될 수 있다.

더 일반적으로, 본 개시내용은, 예컨대, 신경망과 같은 지도 학습 또는 머신 학습의 사용을 통해 마커리스 모션 캡처의 다양한 양태들을 개선하기 위해 사용될 수 있다. 본 개시내용의 예시적인 실시예들에서, 트레이닝된 신경망에 의해 사용되는 기준 측정들은 모델 방정식들을 생성할 수 있다. 따라서, 신경망은 공급되는 값들일 수 있다. 이어서, 신경망은 모델 방정식들을 직접적으로 출력하도록 트레이닝될 수 있다. 신경망을 트레이닝하기 위해, 신경망은 마커리스 모션 캡처 데이터(404) 및 마커 기반 모션 캡처 데이터(406)를 입력 데이터로서 수신할 수 있다.

도 5는 본 개시내용의 실시예들에 따른, 마커리스 모션 분석을 개선하기 위한 방법(500)을 도시한다. 방법(500)은 단계(502)에서 시작될 수 있고, 여기서, 신경망 모델이 구성될 수 있고/있거나, 신경망이 수신될 수 있고/있거나, 모델 방정식들이 직접적으로 수신될 수 있다. 신경망 모델은 복수의 뉴런들을 포함할 수 있다. 신경망 모델은 모델 방정식들을 출력하도록 구성될 수 있다. 복수의 뉴런들은 적어도 하나의 은닉 층을 포함하는 복수의 층들로 배열될 수 있고, 연결들에 의해 연결될 수 있다. 각각의 연결은 가중치를 포함한다. 신경망 모델은 콘볼루션 신경망 모델, 심층 신경망, 순환 신경망을 포함할 수 있다.

모델 방정식들을 생성하기 위해 지도 학습이 사용되거나 또는 신경망이 수신/구성되는 경우, 단계(504)에서, 트레이닝 예시 데이터세트가 수신될 수 있다. 트레이닝 예시 데이터세트는 모션 중인 신체의 관절 중심들의 포지션 데이터를 포함할 수 있다. 예시 데이터세트에 대해 트레이닝하는 것에 의해, 확률적 맵핑은 예시 데이터세트에 걸쳐 공통 피처들을 학습할 수 있다. 확률적 맵핑은 분석 솔루션이 이용가능하지 않을 때 상관된 현상들 사이의 관계를 파라미터화할 수 있다. 확률적 맵핑은 일부 관심 메커니즘의 입력 및 출력과 관련된 페어링된 데이터를 사용한다. 추가로, 수신된 트레이닝 데이터세트는 마커리스 모션 캡처 시스템들 및/또는 마커 기반 모션 캡처 시스템들에 의해 이전에 캡처된 데이터를 포함할 수 있다.

단계(506)에서, 트레이닝 예시 데이터세트를 사용하여 모델 방정식들이 생성될 수 있거나 또는 신경망 모델이 트레이닝될 수 있다. 이어서, 단계(508)에서, 트레이닝된 신경망 모델/모델 방정식들이 출력될 수 있다. 단계(510)에서, 테스트 데이터세트가 수신될 수 있다. 대안적으로 그리고/또는 추가적으로, 테스트 데이터세트가 생성될 수 있다. 이어서, 단계(512)에서, 트레이닝된 신경망 또는 출력된 모델 방정식들이 테스트 데이터세트를 사용하여 평가를 위해 테스트될 수 있다. 추가로, 미리 결정된 임계치를 통과한 것으로 평가되면, 트레이닝된 신경망 또는 출력된 모델 방정식이 활용될 수 있다. 추가적으로, 본 개시내용의 특정 실시예들에서, 방법(500)의 단계는 복수의 모델 방정식들을 생성하기 위해 반복될 수 있다. 이어서, 복수의 모델 방정식들이 서로 비교될 수 있다. 대안적으로, 단계들(510 및 512)은 생략될 수 있다.

단계(514)에서, 모델 방정식들을 출력하도록 구성된 출력된 트레이닝 신경망 모델 및/또는 모델 방정식들이 수신될 수 있다. 이어서, 단계(516)에서, 적어도 하나의 카메라에 의해 캡처된 모션 중인 신체의 관절 중심들의 포지션 데이터가 수신될 수 있다. 예컨대, 적어도 하나의 카메라는 마커리스 모션 캡처를 사용하여 이미지들을 캡처하는 단일 카메라일 수 있다. 대안적으로, 포지션 데이터를 수신하기 전에, 제1 시간 및 제1 시간과 상이한 제2 시간에 모션 중인 신체의 제1 이미지 및 제2 이미지를 캡처하기 위해 단일 카메라가 사용될 수 있다. 이어서, 모션 중인 신체의 관절 중심들의 포지션 데이터가 이미지들로부터 생성될 수 있다. 예컨대, 신체의 관절 중심들의 포지션 데이터를 수신하는 것은, 적어도 2개의 별개의 시점에 대해, 모션 중인 신체의 제1 세그먼트의 적어도 2개의 키 포인트 및 모션 중인 신체의 제2 세그먼트의 적어도 2개의 키 포인트를 수신하는 것을 포함할 수 있다. 키 포인트들은 적어도 하나의 카메라에 의해 캡처된 모션 중인 신체의 일부의 포지션에 대응한다. 수신된 포지션 데이터로부터, 각각의 세그먼트의 적어도 2개의 키 포인트 사이의 제1 축이 정의될 수 있고, 제1 축들 각각의 임시 축 중간 포인트들이 정의될 수 있고, 각각의 세그먼트의 개개의 제1 축 및 임시 축과 직교하는 각각의 세그먼트에 대한 제2 축이 정의될 수 있고, 제1 축들 및 제2 축들과 직교하는 각각의 세그먼트에 대한 제3 축이 정의될 수 있다. 이어서, 적어도 2개의 별개의 시점으로부터의 제1 세그먼트의 적어도 2개의 키 포인트, 제2 세그먼트의 적어도 2개의 키 포인트에 기초하여 그리고 키 포인트들의 정의된 제1, 제2 및 제3 축들에 기초하여 제1 세그먼트 및 제2 세그먼트에 대한 3D 각도 운동학이 생성될 수 있다.

이어서, 단계(518)에서, 신체의 관절 중심들의 포지션 데이터의 3D 각도 운동학 데이터가 향상될 수 있다. 3D 각도 운동학 데이터를 향상시키는 것은 모델 방정식들을 사용하여 향상될 수 있다. 위에서 언급된 바와 같이, 모델 방정식들은 3D 각도 운동학 데이터를 향상시키기 위해 확률적 맵핑에 기초하여 생성될 수 있다. 향상된 3D 각도 운동학 데이터는 신체의 관절 중심들의 포지션 데이터의 증가된 측정 정확도를 포함한다. 마지막으로, 520에서, 향상된 3D 각도 운동학 데이터는 모션 수행을 평가하기 위한 디스플레이를 위해 제공될 수 있다.

도 6은 본 개시내용의 실시예들에 따른, 본원에서 개시되는 시스템들, 방법들 및 컴퓨터 판독가능 매체들에 따라 사용될 수 있는 예시적인 컴퓨팅 디바이스(600)의 고 레벨 예시를 도시한다. 예컨대, 컴퓨팅 디바이스(600)는 본 개시내용의 실시예들에 따른 방법들을 수행하는 시스템에서 사용될 수 있다. 컴퓨팅 디바이스(600)는 메모리(604)에 저장된 명령어들을 실행하는 적어도 하나의 프로세서(602)를 포함할 수 있다. 명령어들은, 예컨대, 위에서 논의된 하나 이상의 구성요소에 의해 수행되는 것으로서 설명된 기능을 구현하기 위한 명령어들, 또는 위에서 설명된 방법들 중 하나 이상을 구현하기 위한 명령어들일 수 있다. 프로세서(602)는 시스템 버스(606)를 통해 메모리(604)에 액세스할 수 있다. 실행가능 명령어들을 저장하는 것에 추가하여, 메모리(604)는 또한 데이터, 이미지들, 정보, 이벤트 로그들 등을 저장할 수 있다.

컴퓨팅 디바이스(600)는 시스템 버스(606)를 통해 프로세서(602)에 의해 액세스가능한 데이터 저장소(608)를 추가적으로 포함할 수 있다. 데이터 저장소(608)는 실행가능 명령어들, 데이터, 이미지들, 정보, 이벤트 로그들 등을 포함할 수 있다. 컴퓨팅 디바이스(600)는 또한, 외부 디바이스들이 컴퓨팅 디바이스(600)와 통신하는 것을 허용하는 입력 인터페이스(610)를 포함할 수 있다. 예컨대, 입력 인터페이스(610)는 외부 컴퓨터 디바이스, 사용자 등으로부터 명령어들을 수신하기 위해 사용될 수 있다. 컴퓨팅 디바이스(600)는 또한, 컴퓨팅 디바이스(600)를 하나 이상의 외부 디바이스와 인터페이스시키는 출력 인터페이스(612)를 포함할 수 있다. 예컨대, 컴퓨팅 디바이스(600)는 출력 인터페이스(612)를 통해 텍스트, 이미지들 등을 디스플레이할 수 있다.

입력 인터페이스(610) 및 출력 인터페이스(612)를 통해 컴퓨팅 디바이스(600)와 통신하는 외부 디바이스들이 사용자가 상호작용할 수 있는 실질적으로 임의의 타입의 사용자 인터페이스를 제공하는 환경에 포함될 수 있다는 것이 고려된다. 사용자 인터페이스 타입들의 예들은 그래픽 사용자 인터페이스들, 내추럴 사용자 인터페이스들 등을 포함한다. 예컨대, 그래픽 사용자 인터페이스는 키보드, 마우스, 리모콘 등과 같은 입력 디바이스(들)를 이용하는 사용자로부터 입력을 수용할 수 있고, 디스플레이와 같은 출력 디바이스 상에 출력을 제공할 수 있다. 추가로, 내추럴 사용자 인터페이스는 사용자가 키보드들, 마우스들, 리모콘들 등과 같은 입력 디바이스에 의해 부과되는 제약들로부터 자유로운 방식으로 컴퓨팅 디바이스(600)와 상호작용하는 것을 가능하게 할 수 있다. 대신에, 내추럴 사용자 인터페이스는 스피치 인식, 터치 및 스타일러스 인식, 스크린 상의 그리고 스크린 근처 모두의 제스처 인식, 에어 제스처들, 머리 및 눈 추적, 음성 및 스피치, 비전, 터치, 제스처들, 머신 지능 등에 의존할 수 있다.

추가적으로, 단일 시스템으로서 예시되지만, 컴퓨팅 디바이스(600)는 분산형 시스템일 수 있다는 것을 이해해야 한다. 따라서, 예컨대, 몇몇 디바이스들은 네트워크 연결을 통해 통신할 수 있고, 컴퓨팅 디바이스(600)에 의해 수행되는 것으로서 설명되는 태스크들을 집합적으로 수행할 수 있다.

도 7로 넘어가면, 도 7은 본 개시내용의 실시예들에 따른, 본원에서 개시되는 시스템들, 방법들 및 컴퓨터 판독가능 매체들에 따라 사용될 수 있는 예시적인 컴퓨팅 시스템(700)의 고 레벨 예시를 도시한다. 예컨대, 컴퓨팅 시스템(700)은 이미징 및/또는 비디오 분석 시스템(102)일 수 있거나 또는 그를 포함할 수 있다. 추가적으로 그리고/또는 대안적으로, 이미징 및/또는 비디오 분석 시스템(102)은 컴퓨팅 시스템(700)일 수 있거나 또는 그를 포함할 수 있다.

컴퓨팅 시스템(700)은 서버 컴퓨팅 디바이스(702) 및 서버 컴퓨팅 디바이스(704)(일괄적으로 서버 컴퓨팅 디바이스들(702 내지 704)로 지칭됨)와 같은 복수의 서버 컴퓨팅 디바이스들을 포함할 수 있다. 서버 컴퓨팅 디바이스(702)는 적어도 하나의 프로세서 및 메모리를 포함할 수 있고; 적어도 하나의 프로세서는 메모리에 저장된 명령어들을 실행한다. 명령어들은, 예컨대, 위에서 논의된 하나 이상의 구성요소에 의해 수행되는 것으로서 설명된 기능을 구현하기 위한 명령어들, 또는 위에서 설명된 방법들 중 하나 이상을 구현하기 위한 명령어들일 수 있다. 서버 컴퓨팅 디바이스(702)와 유사하게, 서버 컴퓨팅 디바이스(702) 이외의 서버 컴퓨팅 디바이스들(702 내지 704)의 적어도 서브세트 각각은 적어도 하나의 프로세서 및 메모리를 각각 포함할 수 있다. 더욱이, 서버 컴퓨팅 디바이스들(702 내지 704)의 적어도 서브세트는 개개의 데이터 저장소들을 포함할 수 있다.

서버 컴퓨팅 디바이스들(702 내지 704) 중 하나 이상의 프로세서(들)는 이미징 및/또는 비디오 분석 시스템(102)의 프로세서일 수 있거나 또는 그를 포함할 수 있다. 추가로, 서버 컴퓨팅 디바이스들(702 내지 704) 중 하나 이상의 메모리(또는 메모리들)는 이미징 및/또는 비디오 분석 시스템(702)의 메모리일 수 있거나 또는 그를 포함할 수 있다. 더욱이 서버 컴퓨팅 디바이스들(702 내지 704) 중 하나 이상의 데이터 저장소(또는 데이터 저장소들)는 이미징 및/또는 비디오 분석 시스템(102)의 데이터 저장소일 수 있거나 또는 그를 포함할 수 있다.

컴퓨팅 시스템(700)은 서버 컴퓨팅 디바이스들(702 내지 704) 사이에서 데이터를 전송하는 다양한 네트워크 노드들(706)을 더 포함할 수 있다. 더욱이, 네트워크 노드들(706)은 네트워크(708)를 통해 서버 컴퓨팅 디바이스들(702 내지 704)로부터 (예컨대, 컴퓨팅 시스템(700) 외부의) 외부 노드들로 데이터를 전송할 수 있다. 네트워크 노드들(702)은 또한, 네트워크(708)를 통해 외부 노드들로부터 서버 컴퓨팅 디바이스들(702 내지 704)로 데이터를 전송할 수 있다. 네트워크(708)는, 예컨대, 인터넷, 셀룰러 네트워크 등일 수 있다. 네트워크 노드들(706)은 스위치들, 라우터들, 로드 밸런서들 등을 포함할 수 있다.

컴퓨팅 시스템(700)의 패브릭 제어기(710)는 서버 컴퓨팅 디바이스들(702 내지 704)의 하드웨어 리소스들(예컨대, 서버 컴퓨팅 디바이스들(702 내지 704)의 프로세서들, 메모리들, 데이터 저장소들 등)을 관리할 수 있다. 패브릭 제어기(710)는 네트워크 노드들(706)을 추가로 관리할 수 있다. 더욱이, 패브릭 제어기(710)는 서버 컴퓨팅 디바이스들(702 내지 704) 상에 인스턴스화된 관리 런타임 환경들의 생성, 프로비저닝, 디프로비저닝 및 감독을 관리할 수 있다.

본원에서 사용되는 바와 같이, "구성요소" 및 "시스템"이라는 용어들은 프로세서에 의해 실행될 때 특정 기능이 수행되게 하는 컴퓨터 실행가능 명령어들로 구성된 컴퓨터 판독가능 데이터 저장소를 포함하는 것으로 의도된다. 컴퓨터 실행가능 명령어들은 루틴, 함수 등을 포함할 수 있다. 구성요소 또는 시스템은 단일 디바이스 상에 로컬화되거나 또는 여러 디바이스들에 걸쳐 분산될 수 있다는 것을 또한 이해해야 한다.

본원에서 설명되는 다양한 기능들은 하드웨어, 소프트웨어 또는 그들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령어 또는 코드로서 저장되고/되거나 송신될 수 있다. 컴퓨터 판독가능 매체들은 컴퓨터 판독가능 저장 매체들을 포함할 수 있다. 컴퓨터 판독가능 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 저장 매체들일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본원에서 사용되는 바와 같이, 디스크(disk) 및 디스크(disc)는 콤팩트 디스크(compact disc)("CD"), 레이저 디스크(disc), 광학 디스크(disc), 디지털 다기능 디스크(digital versatile disc)("DVD"), 플로피 디스크(disk) 및 블루-레이 디스크(disc)("BD")를 포함할 수 있고, 여기서, 디스크(disk)들은 일반적으로 데이터를 자기적으로 재생하고, 디스크(disc)들은 레이저들로 광학적으로 데이터를 재생한다. 추가로, 전파 신호는 컴퓨터 판독가능 저장 매체들의 범위 내에 포함되지 않는다. 컴퓨터 판독가능 매체들은 컴퓨터 프로그램을 하나의 장소로부터 다른 장소로 전송하는 것을 용이하게 하는 임의의 매체를 포함하는 통신 매체들을 또한 포함할 수 있다. 예컨대, 연결은 통신 매체일 수 있다. 예컨대, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선(twisted pair), 디지털 가입자 라인(digital subscriber line)("DSL"), 또는 적외선, 라디오 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 라디오 및 마이크로파와 같은 무선 기술들은 통신 매체의 정의에 포함된다. 위의 것들의 조합들이 컴퓨터 판독가능 매체들의 범위 내에 또한 포함될 수 있다.

대안적으로 그리고/또는 추가적으로, 본원에서 설명되는 기능은 하나 이상의 하드웨어 로직 구성요소에 의해 적어도 부분적으로 수행될 수 있다. 예컨대, 제한 없이, 사용될 수 있는 예시적인 타입들의 하드웨어 로직 구성요소들은 필드 프로그램가능 게이트 어레이들("FPGA들"), 주문형 집적 회로들("ASIC들"), 주문형 표준 제품들("ASSP들"), 시스템-온-칩들("SOC들"), 복합 프로그램가능 로직 디바이스들("CPLD들") 등을 포함한다.

위에서 설명된 것은 하나 이상의 실시예의 예들을 포함한다. 물론, 전술된 양태들을 설명하는 목적들을 위한 위의 디바이스들 또는 방법들의 모든 각각의 생각가능한 수정 및 변경을 설명하는 것은 가능하지 않지만, 관련 기술분야의 통상의 기술자는 다양한 양태들의 다수의 추가의 수정들 및 치환들이 가능하다는 것을 인식할 수 있다. 따라서, 설명되는 양태들은 첨부 청구항들의 범위 내에 속하는 모든 그러한 변경들, 수정들 및 변형들을 포함하는 것으로 의도된다.

Claims (20)

1. 마커리스 모션 분석을 개선하기 위한 컴퓨터에 의해 구현되는 방법으로서,
   적어도 하나의 카메라에 의해 캡처된 모션 중인 신체의 관절 중심들의 포지션 데이터를 수신하는 단계;
   모델 방정식들을 사용하여, 상기 신체의 관절 중심들의 포지션 데이터의 3차원(3D) 각도 운동학 데이터를 향상시키는 단계 ― 향상된 3D 각도 운동학 데이터는 상기 신체의 관절 중심들의 포지션 데이터의 증가된 측정 정확도를 포함함 ―; 및
   모션 수행을 평가하기 위한 디스플레이를 위해 상기 향상된 3D 각도 운동학 데이터를 제공하는 단계
   를 포함하는, 방법.
2. 제1항에 있어서,
   상기 적어도 하나의 카메라는 단일 카메라이고,
   상기 방법은,
   단일 카메라를 사용하여, 제1 시간 및 상기 제1 시간과 상이한 제2 시간에 모션 중인 상기 신체의 제1 이미지 및 제2 이미지를 캡처하는 단계를 더 포함하는, 방법.
3. 제2항에 있어서,
   상기 제1 이미지 및 상기 제2 이미지는 마커리스 모션 캡처를 사용하여 캡처되는, 방법.
4. 제1항에 있어서,
   상기 신체의 관절 중심들의 포지션 데이터를 수신하는 단계는,
   적어도 2개의 별개의 시점에 대해, 모션 중인 신체의 제1 세그먼트의 적어도 2개의 키 포인트 및 모션 중인 상기 신체의 제2 세그먼트의 적어도 2개의 키 포인트를 수신하는 단계를 포함하고,
   키 포인트는 적어도 하나의 카메라에 의해 캡처된 모션 중인 상기 신체의 일부의 포지션에 대응하는, 방법.
5. 제4항에 있어서,
   각각의 세그먼트의 적어도 2개의 키 포인트 사이에서 제1 축을 정의하는 단계;
   제1 축들 각각의 임시 축 중간 포인트들을 정의하는 단계;
   각각의 세그먼트의 개개의 제1 축 및 상기 임시 축과 직교하는 각각의 세그먼트에 대한 제2 축을 정의하는 단계; 및
   상기 제1 축들 및 상기 제2 축들과 직교하는 각각의 세그먼트에 대한 제3 축을 정의하는 단계
   를 더 포함하는, 방법.
6. 제5항에 있어서,
   상기 적어도 2개의 별개의 시점으로부터의 상기 제1 세그먼트의 적어도 2개의 키 포인트, 상기 제2 세그먼트의 적어도 2개의 키 포인트에 기초하여 그리고 상기 키 포인트들의 정의된 제1, 제2 및 제3 축들에 기초하여 상기 제1 세그먼트 및 상기 제2 세그먼트에 대한 3차원 각도 운동학을 생성하는 단계를 더 포함하는, 방법.
7. 제1항에 있어서,
   모델 방정식들을 사용하여, 상기 3D 각도 운동학 데이터를 향상시키는 단계는 신경망 모델을 사용하는 단계를 포함하고,
   상기 방법은,
   모션 중인 신체의 관절 중심들의 복수의 포지션 데이터를 포함하는 복수의 예시 데이터세트들을 수신하는 단계; 및
   상기 복수의 예시 데이터세트들을 사용하여 상기 신경망 모델을 트레이닝하는 단계
   를 더 포함하고,
   상기 신경망 모델은 상기 모델 방정식들을 출력하도록 구성되는, 방법.
8. 제7항에 있어서,
   상기 모델 방정식들을 출력하도록 구성된 복수의 뉴런들을 포함하는 상기 신경망 모델을 구성하는 단계를 더 포함하고,
   상기 복수의 뉴런들은 적어도 하나의 은닉 층을 포함하는 복수의 층들로 배열되고, 복수의 연결들에 의해 연결되는, 방법.
9. 제1항에 있어서,
   상기 모델 방정식들을 사용하여 3D 각도 운동학 데이터를 향상시키는 단계는 상기 3D 각도 운동학 데이터를 향상시키기 위해 확률적 맵핑을 사용하는 단계를 포함하는, 방법.
10. 마커리스 모션 분석을 개선하기 위한 시스템으로서,
    마커리스 모션 분석을 개선하기 위한 명령어들을 저장하는 데이터 저장 디바이스; 및
    방법을 수행하기 위해 상기 명령어들을 실행하도록 구성된 프로세서
    를 포함하고, 상기 방법은,
    적어도 하나의 카메라에 의해 캡처된 모션 중인 신체의 관절 중심들의 포지션 데이터를 수신하는 단계;
    모델 방정식들을 사용하여, 상기 신체의 관절 중심들의 포지션 데이터의 3차원(3D) 각도 운동학 데이터를 향상시키는 단계 ― 향상된 3D 각도 운동학 데이터는 상기 신체의 관절 중심들의 포지션 데이터의 증가된 측정 정확도를 포함함 ―; 및
    모션 수행을 평가하기 위한 디스플레이를 위해 상기 향상된 3D 각도 운동학 데이터를 제공하는 단계
    를 포함하는, 시스템.
11. 제10항에 있어서,
    상기 적어도 하나의 카메라는 단일 카메라이고,
    상기 방법은,
    단일 카메라를 사용하여, 제1 시간 및 상기 제1 시간과 상이한 제2 시간에 모션 중인 상기 신체의 제1 이미지 및 제2 이미지를 캡처하는 단계를 더 포함하는, 시스템.
12. 제11항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 마커리스 모션 캡처를 사용하여 캡처되는, 시스템.
13. 제10항에 있어서,
    상기 신체의 관절 중심들의 포지션 데이터를 수신하는 단계는,
    적어도 2개의 별개의 시점에 대해, 모션 중인 신체의 제1 세그먼트의 적어도 2개의 키 포인트 및 모션 중인 상기 신체의 제2 세그먼트의 적어도 2개의 키 포인트를 수신하는 단계를 포함하고,
    키 포인트는 적어도 하나의 카메라에 의해 캡처된 모션 중인 상기 신체의 일부의 포지션에 대응하는, 시스템.
14. 제13항에 있어서,
    각각의 세그먼트의 적어도 2개의 키 포인트 사이에서 제1 축을 정의하는 단계;
    제1 축들 각각의 임시 축 중간 포인트들을 정의하는 단계;
    각각의 세그먼트의 개개의 제1 축 및 상기 임시 축과 직교하는 각각의 세그먼트에 대한 제2 축을 정의하는 단계; 및
    상기 제1 축들 및 상기 제2 축들과 직교하는 각각의 세그먼트에 대한 제3 축을 정의하는 단계
    를 더 포함하는, 시스템.
15. 제14항에 있어서,
    상기 적어도 2개의 별개의 시점으로부터의 상기 제1 세그먼트의 적어도 2개의 키 포인트, 상기 제2 세그먼트의 적어도 2개의 키 포인트에 기초하여 그리고 상기 키 포인트들의 정의된 제1, 제2 및 제3 축들에 기초하여 상기 제1 세그먼트 및 상기 제2 세그먼트에 대한 3차원 각도 운동학을 생성하는 단계를 더 포함하는, 시스템.
16. 제10항에 있어서,
    모델 방정식들을 사용하여, 상기 3D 각도 운동학 데이터를 향상시키는 단계는 신경망 모델을 사용하는 단계를 포함하고,
    상기 방법은,
    모션 중인 신체의 관절 중심들의 복수의 포지션 데이터를 포함하는 복수의 예시 데이터세트들을 수신하는 단계; 및
    상기 복수의 예시 데이터세트들을 사용하여 상기 신경망 모델을 트레이닝하는 단계
    를 더 포함하고,
    상기 신경망 모델은 상기 모델 방정식들을 출력하도록 구성되는, 시스템.
17. 제16항에 있어서,
    상기 모델 방정식들을 출력하도록 구성된 복수의 뉴런들을 포함하는 상기 신경망 모델을 구성하는 단계를 더 포함하고,
    상기 복수의 뉴런들은 적어도 하나의 은닉 층을 포함하는 복수의 층들로 배열되고, 복수의 연결들에 의해 연결되는, 시스템.
18. 제10항에 있어서,
    상기 모델 방정식들을 사용하여 3D 각도 운동학 데이터를 향상시키는 단계는 상기 3D 각도 운동학 데이터를 향상시키기 위해 확률적 맵핑을 사용하는 단계를 포함하는, 시스템.
19. 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 디바이스로서,
    상기 명령어들은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 마커리스 모션 분석을 개선하기 위한 방법을 수행하게 하고, 상기 방법은,
    적어도 하나의 카메라에 의해 캡처된 모션 중인 신체의 관절 중심들의 포지션 데이터를 수신하는 단계;
    모델 방정식들을 사용하여, 상기 신체의 관절 중심들의 포지션 데이터의 3차원(3D) 각도 운동학 데이터를 향상시키는 단계 ― 향상된 3D 각도 운동학 데이터는 상기 신체의 관절 중심들의 포지션 데이터의 증가된 측정 정확도를 포함함 ―; 및
    모션 수행을 평가하기 위한 디스플레이를 위해 상기 향상된 3D 각도 운동학 데이터를 제공하는 단계
    를 포함하는, 컴퓨터 판독가능 저장 디바이스.
20. 제19항에 있어서,
    상기 적어도 하나의 카메라는 단일 카메라이고,
    상기 방법은,
    단일 카메라를 사용하여, 제1 시간 및 상기 제1 시간과 상이한 제2 시간에 모션 중인 상기 신체의 제1 이미지 및 제2 이미지를 캡처하는 단계를 더 포함하고,
    상기 제1 이미지 및 상기 제2 이미지는 마커리스 모션 캡처를 사용하여 캡처되는, 컴퓨터 판독가능 저장 디바이스.

Images