KR20200113743A - 인체 자세 추정 및 보정을 하는 방법 및 장치 - Google Patents

Abstract

인체 자세 추정 및 보정을 하는 방법 및 장치가 제공된다. 상기 방법에 따라, 입력되는 영상으로부터 사람을 검출하고, 각각의 사람에 대응하는 개별 사람 영역을 획득하며, 개별 사람 영역별로 사람을 구성하는 인체 파트들을 검출하고, 각각의 인체 파트들과 기준이 되는 제시 동작을 비교 분석하여 동작의 매칭 정도를 판단하며, 그리고 매칭 결과를 토대로 상기 제시 동작에 부합되기 위한 교정 정보를 생성하여 제공한다.

Description

인체 자세 추정 및 보정을 하는 방법 및 장치{Method and apparatus for estimating and compensating human's pose}

본 발명은 자세 추정에 관한 것으로, 더욱 상세하게 말하자면, 영상에서 인체 자세를 추정하고 보정을 하는 방법 및 장치에 관한 것이다.

최근 인체의 포즈(pose) 즉, 자세를 추정하고 인식하여 직관적인 상호작용을 하거나 트레이닝 및 자세 교정을 가능하게 하는 기술이, 게임, 로봇, 헬스, 건강 등 다양한 응용 분야에서 행동 인식, 자세 인식, 자세 추정, 컴퓨터 비전, 증강현실 등과 결합되어 활용되고 있다.

하지만, 인체 자세를 정확하기 하기 위해서는 넓은 공간에서 고가의 복잡한 장비들을 활용해야만 한다. 이를 극복하기 위해 최근 마이크로소프트가 1대의 3차원 영상 카메라를 이용하여 인체 자세를 추정하는 기술이 XBOX 게임기로 상용화되어 많은 분야에 응용되고 있다. 특히 이러한 기술들이 운동 자세, 건강 측정 및 자세 교정 등의 분야들로 확산/적용되고 있는 중이다.

그러나 1대의 카메라가 가지는 방향성 한계로 인하여 여전히 자신의 신체가 다른 신체 일부를 가리게 되어 정확한 운동 자세 추정이 이루어지지 않는 문제들이 존재한다. 따라서 정확한 운동 자세 측정이나 자세 교정 등을 위한 인체 자세 추정 방법들이 필요하다.

관련 선행 문헌으로는 대한민국 특허출원 등록번호 제1942646호에 기재된 "영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치"가 있다.

본 발명이 해결하고자 하는 과제는, 하나의 카메라에 의해 촬영되는 영상을 토대로 인체의 자세를 정확하게 추정하고 보정하는 방법 및 장치를 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는, 하나의 카메라에 의해 촬영되는 영상을 토대로 추정되는 인체의 자세를 평가하고 교정 정보를 제공하는 방법 및 장치를 제공하는 것이다.

본 발명의 실시 예에 따른 방법은, 영상에서 인체의 자세를 추정하고 보정하는 방법으로서, 입력되는 영상으로부터 사람을 검출하고, 각각의 사람에 대응하는 개별 사람 영역을 획득하는 단계; 개별 사람 영역별로 사람을 구성하는 인체 파트들을 검출하는 단계; 각각의 인체 파트들과 기준이 되는 제시 동작을 비교 분석하여 동작의 매칭 정도를 판단하는 단계; 및 매칭 결과를 토대로 상기 제시 동작에 부합되기 위한 교정 정보를 생성하여 제공하는 단계를 포함한다.

상기 입력되는 영상은 하나의 촬영 장치에 의해 획득된 영상일 수 있다.

상기 개별 사람 영역을 획득하는 단계는, 상기 입력되는 영상에서 다수의 사람을 포함하는 사람 그룹 영역을 검출하는 단계; 및 상기 사람 그룹 영역에서 픽셀 단위로 사람을 구분 및 분리하여 각각의 사람에 대응하는 개별 사람 영역을 획득하는 단계를 포함할 수 있다.

상기 사람 그룹 영역에서 픽셀 단위로 사람을 구분 및 분리하여 각각의 사람에 대응하는 개별 사람 영역을 획득하는 단계는, 2차원 영상 및 3차원 영상 정보들을 이용하여 점진적 사람 분류 및 픽셀 단위 분리기를 이용하여, 상기 사람 그룹 영역으로부터 사람들을 분류하고 픽셀 단위로 각 사람에 해당하는 영상 영역을 분리하여 상기 개별 사람 영역을 획득할 수 있다.

상기 인체 파트들을 검출하는 단계는, 상기 개별 사람 영역별로 인체 파트들을 검출하는 단계; 및 상기 검출된 인체 파트들을 인체의 구조적 형상 정보를 이용하여 조합하여 자세 추정 정보를 획득하는 단계를 포함할 수 있다.

여기서, 상기 인체 파트들을 검출하는 단계는, 각 인체 파트의 관절의 최적의 중심 위치를 토대로, 상기 조합된 각 인체 파트별로 중심 위치를 보정하는 단계를 더 포함할 수 있다.

상기 중심 위치를 보정하는 단계는, 인체 파트별 3차원 영상 데이터를 기반으로 뉴턴 방법 또는 신뢰 영역 방법을 포함하는 최적화 방법을 기반으로 하는 학습을 통해 각 관절의 최적의 중심 위치를 찾을 수 있다.

한편, 상기 인체 파트들을 검출하는 단계는, 상기 중심 위치가 보정된 인체 파트들을 각각 분리하는 단계를 더 포함할 수 있다. 이 경우, 상기 매칭 정도를 판단하는 단계는 상기 각각 분리된 인체 파트들을 이용하여 매칭 정도를 판단할 수 있다.

한편, 상기 매칭 정도를 판단하는 단계는, 상기 각각의 인체 파트들과, 상기 제시 동작의 방향별 가려짐 정보를 비교 분석하여 매칭 정도를 판단할 수 있으며, 상기 제시 동작의 방향별 가려짐 정보는, 해당 제시 동작 수행시 방향별로 가려진 인체 파트에 대응하는 위치 및 영역 정보를 포함할 수 있다.

또한, 상기 매칭 정도를 판단하는 단계는, 기준이 되는 제시 동작 프로토콜에 포함되는 제시 동작 관련 정보 - 상기 제시 동작 관련 정보는 방향별로 해당 제시 동작을 수행하기 위해 사용되는 관절들과 인체 파트들 사이의 거리 및 각도를 포함함 - 로부터, 상기 제시 동작의 방향별 가려짐 정보를 획득하는 단계를 더 포함할 수 있다.

상기 교정 정보를 생성하여 제공하는 단계는, 상기 각각의 인체 파트들과 기준이 되는 제시 동작을 비교 분석에 따라 각 인체 파트별 매칭 부합도를 획득하는 단계; 및 상기 매칭 부합도가 설정값 이하인 인체 파트에 대해, 해당 인체 파트가 제시 동작의 해당 파트와 매칭되기 위한 위치, 각도를 포함하는 교정 정보를 생성하는 단계를 포함할 수 있다.

본 발명의 다른 실시 예에 따른 장치는, 영상에서 인체의 자세를 추정하고 보정하는 장치로서, 영상을 입력받도록 구성된 제1 인터페이스 장치; 그리고 상기 인터페이스 장치와 연결되고, 상기 영상에서 인체의 자세를 추정하고 보정하도록 구성된 프로세서를 포함하며, 상기 프로세서는, 상기 인터페이스 장치로부터 제공되는 영상으로부터 사람을 검출하고, 검출된 각각의 사람에 대응하는 개별 사람 영역을 획득하도록 구성되며, 개별 사람 영역별로 사람을 구성하는 인체 파트들을 검출하고, 각각의 인체 파트들과 기준이 되는 제시 동작을 비교 분석하여 동작의 매칭 정도를 판단하며, 매칭 결과를 토대로 상기 제시 동작에 부합되기 위한 교정 정보를 생성하도록 구성된다.

상기 프로세서는, 상기 입력되는 영상에서 다수의 사람을 포함하는 사람 그룹 영역을 검출하도록 구성된 다수 사람 검출부; 및 2차원 영상 및 3차원 영상 정보들을 이용하여 점진적 사람 분류 및 픽셀 단위 분리기를 이용하여, 상기 사람 그룹 영역으로부터 사람들을 분류하고 픽셀 단위로 각 사람에 해당하는 영상 영역을 분리하여 상기 개별 사람 영역을 획득하도록 구성된 다수 사람 분리부를 포함하도록 구성될 수 있다.

상기 프로세서는, 상기 개별 사람 영역별로 인체 파트들을 검출하도록 구성된 인체 파트 검출부; 및 상기 검출된 인체 파트들을 인체의 구조적 형상 정보를 이용하여 조합하여 자세 추정 정보를 획득하도록 구성된 인체 파트 조합부를 포함하도록 구성될 수 있다.

상기 프로세서는, 각 인체 파트의 관절의 최적의 중심 위치를 토대로, 상기 조합된 각 인체 파트별로 중심 위치를 보정하도록 구성된 인체 파트 보정부; 및 상기 중심 위치가 보정된 인체 파트들을 각각 분리하도록 구성되는 인체 파트 분리부를 포함하도록 구성될 수 있다.

상기 인체 파트 보정부는, 인체 파트별 3차원 영상 데이터를 기반으로 뉴턴 방법 또는 신뢰 영역 방법을 포함하는 최적화 방법을 기반으로 하는 학습을 통해 각 관절의 최적의 중심 위치를 찾도록 구성될 수 있다.

또한, 상기 프로세서는, 상기 각각의 인체 파트들과, 상기 제시 동작의 방향별 가려짐 정보를 비교 분석하여 매칭 정도를 판단하도록 구성된 동작 매칭부를 포함하도록 구성될 수 있으며, 상기 제시 동작의 방향별 가려짐 정보는, 해당 제시 동작 수행시 방향별로 가려진 인체 파트에 대응하는 위치 및 영역 정보를 포함할 수 있다.

상기 프로세서는, 기준이 되는 제시 동작 프로토콜에 포함되는 제시 동작 관련 정보를 제공하는 제시 동작 제공부; 및 상기 제시 동작 관련 정보로부터 상기 제시 동작의 방향별 가려짐 정보를 획득하도록 구성된 동작 정보 추출부를 더 포함하도록 구성될 수 있으며, 상기 제시 동작 관련 정보는 방향별로 해당 제시 동작을 수행하기 위해 사용되는 관절들과 인체 파트들 사이의 거리 및 각도를 포함할 수 있다.

상기 동작 매칭부는 구체적으로, 상기 각각의 인체 파트들과 기준이 되는 제시 동작을 비교 분석에 따라 각 인체 파트별 매칭 부합도를 획득하도록 구성될 수 있으며, 상기 프로세서는, 상기 매칭 부합도가 설정값 이하인 인체 파트에 대해, 해당 인체 파트가 제시 동작의 해당 파트와 매칭되기 위한 위치, 각도를 포함하는 교정 정보를 생성하도록 구성되는 동작 교정부를 더 포함하도록 구성될 수 있다.

한편, 상기 장치는, 상기 프로세서와 연결된 제2 인터페이스 장치를 더 포함할 수 있으며, 상기 제2 인터페이스 장치는 상기 프로세서에 의해 생성된 상기 교정 정보를 제공하도록 구성될 수 있다.

본 발명의 실시 예에 따르면, 하나의 카메라에 의해 촬영되는 영상을 토대로 인체들의 자세를 정확하게 추정할 수 있다. 또한, 인체의 동작 자세를 평가하거나 교정하기 위해 인체의 포즈를 추정/보정함으로써 건강 증진, 질병 예측, 자세 평가, 헬스 케어, 홈 트레이닝, 게임 및 엔터테인먼트 등의 응용 분야에 필요한 상호작용의 기반 정보로 사용될 수 있다.

또한, 기존에는 단순히 영상으로부터 인체의 자세만을 추정하는데 반해, 본 발명의 실시 예에 따르면 영상으로부터 각 사람별로 가려진 인체 파트의 위치와 영역을 검출하여 기준이 되는 제시 동작과의 비교 및 매칭이 수행됨으로써, 영상을 토대로 촬영된 사람의 자세 평가나 교정을 효과적으로 수행할 수 있다.

도 1은 본 발명의 실시 예에 따른 인체 자세 추정 및 보정을 하는 장치의 구조를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 제시 동작 제공부의 구조를 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 사람 검출부의 구조를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 인체 자세 추정부의 구조를 나타낸 도이다.
도 5는 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 인체 자세 보정부의 구조를 나타낸 도이다.
도 6은 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 동작 정보 추출부의 구조를 나타낸 도이다.
도 7은 본 발명의 실시 예에 따른 동작 매칭부 및 동작 교정부의 관계를 나타낸 도이다.
도 8은 본 발명의 실시 예에 따른 인체 자세 추정 및 보정을 하는 방법의 흐름도이다.
도 9는 본 발명의 다른 실시 예에 따른 자세 추정 및 보정 장치의 구조도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.

또한, 본 발명의 실시 예에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 본 발명의 실시 예에 따른 인체 자세 추정 및 보정을 하는 방법 및 장치에 대하여 설명한다.

도 1은 본 발명의 실시 예에 따른 인체 자세 추정 및 보정을 하는 장치의 구조를 나타낸 도이다.

도 1에서와 같이, 본 발명의 실시 예에 따른 인체 자세 추정 및 보정을 하는 장치(이하, 설명의 편의를 위해, 자세 추정 및 보정 장치라고 명명함)(1)는, 제시 동작 제공부(10), 사람 검출부(20), 인체 자세 추정부(30), 인체 자세 보정부(40), 동작 정보 추출부(50), 동작 매칭부(60), 동작 교정부(70)를 포함한다.

제시 동작 제공부(10)는 미리 설정된 동작들에 대한 정보를 제공한다. 예를 들어, 전문가 시스템에 의한 정형화된 동작 프로토콜에 따른 동작을 제공한다. 미리 설정된 동작을 설명의 편의상 "제시 동작"이라고 명명한다.

사람 검출부(20)는 입력되는 영상으로부터 사람을 검출한다. 구체적으로, 사람 검출부(20)는 하나의 카메라에 의해 촬영된 영상으로부터 사람을 검출하며, 예를 들어, 3차원 영상에서 복수의 사람을 검출하고 분리할 수 있으며, 영상에서 검출된 사람에 대응하는 영역을 획득한다.

인체 자세 추정부(30)는 검출된 사람의 자세를 추정한다. 인체 자세 추정부(30)는 검출된 사람에 대응하는 영역에서 인체 파트들을 검출하고 추정한다. 여기서 인체 파트는 인체를 구성하는 관절을 기반으로 분리되는 부분들을 나타낸다. 예를 들어, 인체에서 물리적으로 꺽이지 않는 부분을 나타내며, 각 인체 파트는 관절을 통해 연결되며, 머리, 몸통, 종아리, 허벅지, 발 등을 포함할 수 있다.

인체 자세 보정부(40)는 인체 자세 추정부(30)에 의해 추정된 인체 파트들의 위치를 기반으로 인체 파트를 보정하고, 보정된 인체 파트를 픽셀 단위 영역으로 분리한다.

동작 정보 추출부(50)는 제시 동작 제공부(10)로부터 제공되는 제시 동작들을 이용하여 동작 가려짐 정보들을 추출하여 제공한다.

동작 매칭부(60)는 인체 자세 보정부(40)로부터 제공되는 보정된 인체 파트들과 동작 정보 추출부(50)로부터 제공되는 동작 가려짐 정보를 비교 분석하여, 영상으로부터 검출된 인체 파트의 동작이 제시 동작과 매칭되는지를 판단한다.

동작 교정부(70)는 동작 매칭부(60)의 매칭 결과를 토대로 교정 정보를 제공한다.

다음에는 이러한 구조로 이루어지는 본 발명의 실시 예에 따른 자세 추정 및 보정 장치(1)의 각 부의 구체적인 구조 및 동작에 대하여 설명한다.

도 2는 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 제시 동작 제공부(10)의 구조를 나타낸 도이다.

본 발명의 실시 예에서, 제시 동작 제공부(10)는 전문가 시스템들을 이용한 제시 동작들의 표본 프로토콜을 기반으로 한 제시 동작을 제공한다. 정확한 자세 평가와 교정을 위해서는 사전에 전문가 집단에 의해서 정의된 전문가 시스템이 필요하다. 이 시스템은 운동 평가, 자세 교정, 건강 증진 등의 목적에 따라 다르게 설정될 수 있다. 평가나 교정의 목적을 가진 전문가 시스템은 제시 동작들의 절대적인 관절 위치나 각도 정보, 그리고 인체 파트들 사이에서의 상대적인 위치 및 각도 정보들이, 신체 크기에 상관없이 정형화(Size normalization)를 통하여 구축되도록 한다.

따라서, 제시 동작 제공부(10)는 도 2에 도시된 바와 같이, 이러한 전문가 시스템에 대응하며 제시 동작 프로토콜을 생성하는 동작 프로토콜 생성부(11) 및 동작 프로토콜 저장부(12)를 포함한다. 제시 동작 프로토콜은 제시 동작들의 관절 위치/각도 정보와 가용하는 인체 파트별 움직임 범위들을 포함한다. 예를 들어, 제시 동작에 대응하여 제1 방향, 제2 방향 등의 방향별로 해당 제시 동작을 수행하기 위해 사용되는 관절들과 인체 파트들 사이의 거리 및 각도 등의 정보를 포함하며, 이에 따라 하나의 제시 동작에 대해 방향별로 어떠한 인체 파트들이 어떠한 동작을 이루게 되는지를 알 수 있다. 이러한 제시 동작 관련 정보는 추후의 동작 매칭 및 교정을 위한 기준 정보로서 사용된다.

도 3은 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 사람 검출부(20)의 구조를 나타낸 도이다.

본 발명의 실시 예에서, 사람 검출부(20)는 하나의 촬영 장치에 의해 촬영된 영상(예: 3차원/비전 영상)에서 사람을 검출하고 분리한다.

기존의 일반적인 사람 검출 방법들은 사람의 형상 특징들을 학습하여 영상에서 사람을 검출하거나, 영상에서 각 객체를 3차원의 독립적인 개체 단위로 나누고 볼륨 정보를 통하여 사람인지를 판별하여 검출한다. 이러한 방법은 영상에서 사람들이 겹쳐지지 않은 상태에서는 좋은 성능을 보이지만, 여러 사람들을 동시에 검출하거나 사람들이 겹쳐있는 경우에는 정확한 사람 검출이 이루어지지 않는다. 또한, 자세 검출을 위해서는 인체의 픽셀 단위의 영상 영역들이 필요한데 이러한 영역들을 획득하기가 어렵다. 따라서 영상에서 단순한 사람 검출이 아닌, 겹쳐져 있는 여러 사람들을 검출하고 겹쳐져 있는 사람들에서 각각의 사람에 해당하는 영역을 정확하게 검출하는 방법이 필요하다.

이를 위해, 본 발명의 실시 예에서 사람 검출부(20)는 도 3에서와 같이, 다수 사람 검출부(21) 및 다수 사람 분리부(22)를 포함한다. 다수 사람 검출부(21)는 입력되는 영상(예: 3차원 영상)에서 사람들을 검출한다. 영상에서 다수의 사람들이 검출될 수 있으며, 다수의 사람을 포함하여 사람 그룹이라고 명명한다. 다수 사람 검출부(21)는 사람 그룹 검출기를 포함하며, 다양한 사람 그룹들의 2차원 컬러 영상들과 3차원 연결 컴포넌트 방법으로 검출된 볼륨 영상들을 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반의 학습 방법들을 이용하여 사람 그룹 검출기를 학습한다. 학습된 사람 그룹 검출기를 이용하여 영상에서 사람 그룹들을 검출한다. 다수 사람 검출부(21)에 의해 검출된 사람 그룹에 대응하는 영역을 "그룹 영역"이라고 명명할 수 있으며, 그룹 영역을 검출하는 방법은 위에 기술된 것에 한정되지 않는다.

한편, 인체 자세를 정확하게 추정하기 위해서는, 각각의 사람에 대응하는 영역의 픽셀들을 구분할 필요가 있다. 다수 사람 분리부(22)는 다수 사람 검출부(21)에 의해 영상으로부터 검출된 그룹 영역에서 각각의 사람에 대응하는 영역을 검출하여 분리한다. 다수 사람 분리부(22)는 구체적으로, 다수 사람 검출부(21)에 의해 검출된 그룹 영역 내에서 2차원 및 3차원 영상 정보들을 이용하여 머신 러닝(Machine learning) 기법들에 기반한 점진적 사람 분류(Clustering) 및 픽셀 단위 분리기(Pixel-wise segmentation)를 학습한다. 이 방법은 가장 가까운 거리에 있는 사람들을 우선적으로 분류하고 픽셀 단위로 각 사람에 해당하는 영상 영역을 분리한다. 이를 통해 영상의 픽셀 단위로 사람별 구분 및 분리가 이루어진다. 예를 들어, 앞사람에 의해 뒤에 위치한 사람의 일부 인체 파트가 가려져 있거나 겹쳐져 있는 경우, 픽셀 단위의 사람별 분리에 의해 가려지거나 겹져진 부분이 어느 사람에 해당하는지를 알 수 있도록 한다. 따라서, 임의 픽셀이 어떤 사람에 대응하는 것인지를 알 수 있으며, 사람별로 분리된 픽셀 영역이 획득된다. 다수 사람 분리부(22)는 위에 기술된 방법을 이용하여 그룹 영역에서 각각의 사람에 대응하는 영역을 검출하여 분리하지만, 본 발명은 이에 한정되는 것은 아니다.

도 4는 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 인체 자세 추정부(30)의 구조를 나타낸 도이다.

본 발명의 실시 예에서, 인체 자세 추정부(30)는 사람 검출부(20)에 의해 검출된 사람에 대응하는 영역 즉, 개별 사람 영역을 이용하여 인체의 자세를 추정한다. 구체적으로, 인체 파트별 검출기 등을 학습하여 개별 사람 영역을 학습하여 해당 사람의 인체 파트를 검출하고, 검출된 각 인체 파트들을 인체 구조적 형태 정보를 기반으로 조합한다. 이를 위해, 인체 자세 추정부(30)는 도 4에서와 같이, 인체 파트 검출부(31), 인체 파트 조합부(32) 및 검출 모델 저장부(33)를 포함한다.

인체 파트 검출부(31)는 인체 파트 검출기를 포함하며, 2차원 및 3차원 영상 정보를 기반으로 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 알고리즘을 토대로 인체 파트 검출기를 학습하며, 학습된 인체 파트 검출기를 이용하여 사람 영상에서 각각의 인체 파트를 검출한다. 그러나 본 발명의 인체 파트 검출 방법은 이러한 것에 한정되지 않는다. 인체 파트 검출을 통해 사람의 임의 인체 파트의 전체 또는 일부가 가려져서 검출되지 않을 수 있으며, 이와 같이 가려지는 부분들을 설명의 편의상 "가려진 영역"이라고 명명한다. 가려진 영역은 검출될 수도 있고 검출되지 않을 수도 있다.

한편, 인체 파트 검출부(31)는 검출 모델 저장부(33)에 저장된 인체 파트 검출 모델을 사용한다. 인체 파트 검출 모델은 오프라인(Off-line)상이나 온라인(On-line) 상의 수많은 인체 파트 관련 학습 데이터들을 이용하여 생성된 모델이다.

인체 파트 조합부(32)는 인체 파트 검출부(31)에 의해 검출된 각각의 인체 파트들을 조합한다. 개별적으로 검출된 인체 파트에 대한 검출 성능은 다수의 사람들이 엉켜 있기에 아주 정확하지 않다. 따라서 본 발명의 실시 예에서, 인체 파트 조합부(32)는 인체의 구조적 형상 정보를 이용하여 검출된 인체 파트들을 조합한다. 이를 통해 가려진 영역들은 삭제될 수 있다. 또한, 인체 파트들의 조합을 통해 1차적으로 인체 자세 추정이 이루어지며, 예를 들어, 스켈레톤(skeleton) 형태의 자세 추정 정보가 획득될 수 있다.

도 5는 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 인체 자세 보정부(40)의 구조를 나타낸 도이다.

본 발명의 실시 예에서, 인체 자세 보정부(40)는 인체의 포즈의 위치를 보정하고 인체 파트별 픽셀 영역들을 분리한다. 이를 위해, 인체 자세 보정부(40)는 도 5에 도시된 바와 같이, 인체 파트 보정부(41), 인체 파트 영역 분리부(42), 보정 모델 저장부(43) 및 분리 모델 저장부(44)를 포함한다.

인체 자세 추정은 기본적으로 블록 단위의 영상(예: 영상에서 검출된 사람 영역)으로 학습을 했기 때문에 실제로 아주 정밀한 관절 위치 정보를 제공하지는 않는다. 운동 평가나 자세 교정을 위해서는 정확한 관절 위치 정보가 필요한데, 하나의 촬영 장치에 의해 촬영된 영상은 보여지는 방향에 해당하는 표면의 정보만을 제공하기 때문에 정확한 관절 위치 정보를 제공하지 않는다. 따라서 본 발명의 실시 예에서는 검출된 인체 파트의 관절 위치를 실제의 3차원 관절 위치 중심으로 변위 보정(Off-set calibration)을 수행한다.

인체 파트 보정부(41)는 인체 자세 추정부(30)로부터 제공되는 조합된 인체 파트들의 중심 위치를 보정한다. 구체적으로, 인체 파트 보정부(41)는 보정 모델 저장부(43)로부터 제공되는 인체 파트 보정 모델을 사용하여, 각 인체 파트의 관절의 최적의 중심 위치를 찾고, 찾아진 중심 위치를 토대로 각 인체 파트의 중심 위치를 보정한다. 예를 들어, 인체 자세 추정부(30)에 의해 획득된 정보에서 인체 파트의 일부의 위치가 바뀌는 등(예를 들어, 팔과 다리의 위치가 바뀐 경우)의 문제가 있을 수 있다. 그러므로 본 발명의 실시 예에서는 인체 파트를 구성하는 관절의 최적의 중심 위치를 찾고, 찾아진 최적의 중심 위치를 기반으로, 조합된 인체 파트들의 중심 위치를 각각 보정한다. 인체 파트별 3차원 영상 데이터를 기반으로 뉴턴 방법(Newton’s method)이나 신뢰 영역 방법(Trust region) 등과 같은 최적화(Optimization) 방법들에 따라 학습을 통해 관절의 최적의 중심 위치를 찾는다. 그러나 본 발명의 관절 중심 위치 보정 방법은 이러한 것에 한정되지 않는다.

인체 파트 분리부(42)는 인체 파트 보정부(41)에 의해 보정된 인체 관절 중심 위치를 기반으로 인체 파트들을 분리한다. 인체 파트 분리부(42)는 인체 파트 분리기를 포함하며, 보정된 인체 관절 중심 위치를 기반으로 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 기반 클러스터링(Clustering) 기법들을 이용하여 인체 파트 분리기를 학습하여 인체 파트에 해당하는 픽셀 영역들을 분리한다. 그러나 본 발명의 인체 파트 분리 방법은 이러한 것에 한정되지 않는다. 인체 파트 분리부(42)는 인체 파트 분리에 따라, 각각 개별적 인체 파트 영역들에 대한 정보를 제공한다.

도 6은 본 발명의 실시 예에 따른 자세 추정 및 보정 장치의 동작 정보 추출부(50)의 구조를 나타낸 도이다.

동작 정보 추출부(50)는 제시 동작들을 기반으로 각 동작별 가려짐이 존재할 수 있는 가려짐 정보들을 추출하고 그 영역 정보들을 제공한다. 하나의 촬영 장치를 이용하여 사람을 촬영하면, 한 방향에서 촬영된 영상으로부터 추출되는 인체의 동작이나 자세에서 일부 인체 파트들이 가려지는 경우가 발생한다. 전문가 시스템 등에 의해 구축된 기준 동작이 되는 이를 위해, 동작 정보 추출부(50)는 동작 가려짐 정보 추출부(51) 및 가려짐 정보 제공부(52)를 포함한다. 동작 가려짐 정보 추출부(51)는 제시된 동작들의 방향별로 가려짐 정보를 추출한다. 이를 위해, 다음과 같은 2가지 방법들을 사용할 수 있다. 첫번째는 실제 전문가의 동작 영상을 360도 스캔하여 관절 정보를 매핑한 후 360도 이산 방향(360 discrete directions)들에서 가려짐 위치들과 영역들을 찾아내는 것이다. 두번째는 가상의 인체를 모델링하여 각종 모델링 툴에서 360도 가상 카메라들을 사용하여 가려짐 위치들과 영역들을 찾아내는 것이다. 그러나 본 발명은 이러한 방법에 한정되지 않는다. 위에 기술된 바와 같이 제시 동작별로 추출된 가려짐 정보는 룩업 테이블(Look-up table)에 저장 및 관리될 수 있으며, 예를 들어, 제시 동작에 대응하여 방향별로, 가려진 인체 파트 위치들과 영역들의 정보가 룩업 테이블에 저장될 수 있다. 가려짐 정보 제공부(52)는 동작 가려짐 정보 추출부(51)에 의해 추출된 제시 동작의 방향별 가려짐 정보를 동작 매칭부(60)로 제공한다. 가려짐 정보 제공부(52)는 위와 같은 형태의 가려짐 동작에 관련된 룩업 테이블을 저장 관리하고, 동작 매칭부(60)에 필요에 따라 해당 정보를 제공할 수 있다.

도 7은 본 발명의 실시 예에 따른 동작 매칭부(60) 및 동작 교정부(70)의 관계를 나타낸 도이다.

동작 매칭부(60)는 동작 정보 추출부(50)로부터 제공되는 가려짐 정보와 인체 자세 보정부(40)로부터 제공되는 정보들을 매칭한다. 매칭하는 방법들은 다양한 머신 러닝 및 딥 러닝 알고리즘들을 사용할 수 있다.

동작 매칭부(60)는 인체 자세 보정부(40)로부터 제공되는 개별적 인체 파트 영역들에 대한 정보와 동작 정보 추출부(50)로부터 제공되는 제시 동작에 대응하는 방향별 가려짐 정보를 매칭하여, 영상에서 검출된 사람의 자세가 어느 정도 제시 동작에 매칭하는 지를 판단한다. 이때, 제시 동작 프로토콜 즉, 제시 동작에 관련된 정보(예를 들어, 제시 동작 제공부(10)에 의해 제공되는 정보)가 추가적으로 사용될 수도 있다. 동작 매칭부(60)의 이러한 매칭 처리에 따라 인체 파트별로 매칭 부합도가 획득될 수 있다.

동작 교정부(80)는 동작 매칭부(70)의 매칭 결과를 이용하여 교정 정보를 생성하여 제공한다. 즉, 영상에서 검출되고 추정된 인체의 자세가 제시 동작에 매칭되지 않는 경우에, 제시 동작에 매칭될 수 있도록 교정 정보를 제공한다. 이를 위해, 동작 교정부(80)는 각 인체 파트별 매칭 부합도를 토대로 정확하지 않은 인체 파트들(예를 들어, 매칭 부합도가 설정값 이하인 인체 파트)을 찾고, 찾아진 인체 파트들과 제시 동작에 관련된 정보(예를 들어, 제시 동작 제공부(10)에 의해 제공되는 정보)을 비교하여 교정 정보를 생성한다. 영상에서 추정 및 분리된 인체 파트가 제시 동작에 부합되는지 않는 경우에, 해당 인체 파트가 제시 동작의 해당 파트와 매칭되기 위한 위치, 각도 등의 정보를 생성한다. 이러한 각 인체 파트별 교정 정보는 가시화되어 제공될 수 있다. 교정 정보는 운동 평가, 자세 교정 등에 활용될 수 있다.

도 8은 본 발명의 실시 예에 따른 인체 자세 추정 및 보정을 하는 방법의 흐름도이다.

첨부한 도 8에서와 같이, 자세 추정 및 보정 장치(1)는 영상을 입력받는다(S100). 여기서 영상은 하나의 촬영 장치에 의해 촬영된 영상이지만, 반드시 이에 한정되는 것은 아니다.

자세 추정 및 보정 장치(1)는 영상으로부터 사람들을 검출한다(S110). 영상으로부터 다수의 사람을 포함하는 사람 그룹을 검출하고, 사람 그룹에 대응하는 영역에서 픽셀 단위로 사람을 구분 및 분리하여 각각의 사람에 대응하는 영역 즉, 개별 사람 영역을 획득한다.

이후, 개별 사람 영역별로 인체 파트를 검출하고(S120), 검출된 인체 파트들을 인체 구조적 형태 정보를 기반으로 조합한다(S130). 개별 사람 영역별로 인체 파트를 검출시 가려진 영역들이 검출될 수도 있고 검출되지 않을 수도 있으며, 검출된 인체 파트 검출들을 조합함에 따라 스켈레톤 형태의 자세 추정 정보가 획득된다.

다음에, 자세 추정 및 보정 장치(1)는 인체 파트 보정 모델을 사용하여 각 인체 파트의 관절의 최적의 중심 위치를 찾고(S140), 최적의 중심 위치를 기반으로 인체 파트의 중심 위치를 보정한다(S150). 보정된 인체 파트의 중심 위치를 기반으로 인체 파트들을 분리하여 픽셀 단위의 개별적 인체 파트 영역들을 획득한다(S160).

한편, 자세 추정 및 보정 장치(1)는 제시 동작 제공부(10)로부터 제공되는 제시 동작 관련 정보로부터, 제시 동작별로 해당 동작 수행시 발생하는 가려진 인체 파트에 대응하는 위치 및 영역 정보 즉, 가려짐 정보들을 획득한다. 이러한 제시 동작별 가려짐 정보와 위의 단계(S160)에서 획득된 개별적 인체 파트 영역들에 대한 정보를 비교 분석하여 영상에서 검출된 인체 파트들에 따른 인체의 자세가 제시 동작에 어느 정보 매칭되는지를 판단한다(S170). 이러한 매칭 동작에 따라 인체 파트별 매칭 부합도가 획득될 수 있다.

이후, 자세 추정 및 보정 장치(1)는 매칭 결과를 이용하여 교정 정보를 생성하여 제공한다(S180). 구체적으로, 각 인체 파트별 매칭 부합도를 토대로 정확하지 않은 인체 파트들을 찾고, 찾아진 인체 파트들이 가능한 제시 동작에 부합되도록 교정 정보를 생성하여 제공한다. 교정 정보는 해당 인체 파트가 제시 동작이 해당 파트 매칭되기 위한 위치, 각도를 포함할 수 있다.

이러한 본 발명의 실시 예에 따르면, 하나의 카메라에 의해 촬영되는 영상을 토대로 인체들의 자세를 정확하게 추정할 수 있으며, 영상으로부터 각 사람별로 가려진 인체 파트의 위치와 영역을 검출하여 제시 동작과의 비교를 수행함으로써, 영상을 토대로 촬영된 사람의 자세 평가나 교정을 효과적으로 수행할 수 있다.

도 9는 본 발명의 다른 실시 예에 따른 자세 추정 및 보정 장치의 구조도이다.

첨부한 도 9에 도시되어 있듯이, 본 발명의 다른 실시 예에 따른 자세 추정 및 보정 장치(100)는, 프로세서(110), 메모리(120), 입력 인터페이스 장치(130), 출력 인터페이스 장치(140), 네트워크 인터페이스 장치(150) 및 저장 장치(160)를 포함하며, 이들은 버스(170)를 통해 통신할 수 있다.

프로세서(110)는 위의 도 1 내지 도 8을 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(110)는 제시 동작 제공부, 사람 검출부, 인체 자세 추정부, 인체 자세 보정부, 동작 정보 추출부, 동작 매칭부, 동작 교정부의 기능을 수행하도록 구성될 수 있다. 프로세서(110)는 중앙 처리 장치(CPU)이거나, 또는 메모리(120) 또는 저장 장치(160)에 저장된 명령을 실행하는 반도체 장치일 수 있다.

메모리(120)는 프로세서(110)와 연결되고 프로세서(110)의 동작과 관련한 다양한 정보를 저장한다. 메모리(120)는 프로세서(110)에서 수행하기 위한 명령어를 저장하고 있거나 저장 장치(160)로부터 명령어를 로드하여 일시 저장할 수 있다. 프로세서(110)는 메모리(120)에 저장되어 있거나 로드된 명령어를 실행할 수 있다. 메모리는 ROM(121) 및 RAM(122)를 포함할 수 있다. 본 발명의 실시 예에서 메모리(120)/저장 장치(160)는 프로세서(110)의 내부 또는 외부에 위치할 수 있고, 이미 알려진 다양한 수단을 통해 프로세서(110)와 연결될 수 있다.

입력 인터페이스 장치(130)는 입력되는 데이터, 예를 들어 하나의 촬영 장치에 의해 촬영된 영상 데이터를 제공받아 프로세서(110)로 전달하도록 구성될 수 있다.

네트워크 인터페이스 장치(150)는 네트워크에 연결되어 신호를 송수신하도록 구성된다. 네트워크 인터페이스 장치(150)는 네트워크를 통해, 하나의 촬영 장치로부터 촬영된 영상을 수신하여 프로세서(110)로 제공하도록 구성될 수 있다.

프로세서(110)는 입력 인터페이스 장치(130) 또는 네트워크 인터페이스 장치(150)를 통해 전달되는 영상을 토대로 위에 기술된 실시 예와 같은 자세 추정을 수행하고 동작 매칭에 따른 교정 정보를 생성 및 제공하도록 구성될 수 있다.

출력 인터페이스 장치(130)는 프로세서(110)의 처리 결과를 출력하도록 구성될 수 있으며, 네트워크 인터페이스 장치(150)는 또한 프로세서(110)의 처리 결과를 네트워크를 통해 다른 장치로 전달하도록 구성될 수 있다. 여기서, 처리 결과는 동작 매칭 결과 및/또는 교정 정보를 포함할 수 있다.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

1. 영상에서 인체의 자세를 추정하고 보정하는 방법으로서,
   입력되는 영상으로부터 사람을 검출하고, 각각의 사람에 대응하는 개별 사람 영역을 획득하는 단계;
   개별 사람 영역별로 사람을 구성하는 인체 파트들을 검출하는 단계;
   각각의 인체 파트들과 기준이 되는 제시 동작을 비교 분석하여 동작의 매칭 정도를 판단하는 단계; 및
   매칭 결과를 토대로 상기 제시 동작에 부합되기 위한 교정 정보를 생성하여 제공하는 단계
   를 포함하는 방법.
2. 제1항에 있어서,
   상기 입력되는 영상은 하나의 촬영 장치에 의해 획득된 영상인, 방법.
3. 제1항에 있어서,
   상기 개별 사람 영역을 획득하는 단계는
   상기 입력되는 영상에서 다수의 사람을 포함하는 사람 그룹 영역을 검출하는 단계; 및
   상기 사람 그룹 영역에서 픽셀 단위로 사람을 구분 및 분리하여 각각의 사람에 대응하는 개별 사람 영역을 획득하는 단계
   를 포함하는, 방법.
4. 제3항에 있어서,
   상기 사람 그룹 영역에서 픽셀 단위로 사람을 구분 및 분리하여 각각의 사람에 대응하는 개별 사람 영역을 획득하는 단계는,
   2차원 영상 및 3차원 영상 정보들을 이용하여 점진적 사람 분류 및 픽셀 단위 분리기를 이용하여, 상기 사람 그룹 영역으로부터 사람들을 분류하고 픽셀 단위로 각 사람에 해당하는 영상 영역을 분리하여 상기 개별 사람 영역을 획득하는, 방법.
5. 제1항에 있어서,
   상기 인체 파트들을 검출하는 단계는,
   상기 개별 사람 영역별로 인체 파트들을 검출하는 단계; 및
   상기 검출된 인체 파트들을 인체의 구조적 형상 정보를 이용하여 조합하여 자세 추정 정보를 획득하는 단계
   를 포함하는, 방법.
6. 제5항에 있어서,
   상기 인체 파트들을 검출하는 단계는,
   각 인체 파트의 관절의 최적의 중심 위치를 토대로, 상기 조합된 각 인체 파트별로 중심 위치를 보정하는 단계
   를 더 포함하는, 방법.
7. 제6항에 있어서,
   상기 중심 위치를 보정하는 단계는,
   인체 파트별 3차원 영상 데이터를 기반으로 뉴턴 방법 또는 신뢰 영역 방법을 포함하는 최적화 방법을 기반으로 하는 학습을 통해 각 관절의 최적의 중심 위치를 찾는, 방법.
8. 제6항에 있어서,
   상기 인체 파트들을 검출하는 단계는,
   상기 중심 위치가 보정된 인체 파트들을 각각 분리하는 단계
   를 더 포함하고,
   상기 매칭 정도를 판단하는 단계는
   상기 각각 분리된 인체 파트들을 이용하여 매칭 정도를 판단하는, 방법.
9. 제1항에 있어서,
   상기 매칭 정도를 판단하는 단계는
   상기 각각의 인체 파트들과, 상기 제시 동작의 방향별 가려짐 정보를 비교 분석하여 매칭 정도를 판단하며,
   상기 제시 동작의 방향별 가려짐 정보는, 해당 제시 동작 수행시 방향별로 가려진 인체 파트에 대응하는 위치 및 영역 정보를 포함하는, 방법.
10. 제9항에 있어서,
    상기 매칭 정도를 판단하는 단계는
    기준이 되는 제시 동작 프로토콜에 포함되는 제시 동작 관련 정보 - 상기 제시 동작 관련 정보는 방향별로 해당 제시 동작을 수행하기 위해 사용되는 관절들과 인체 파트들 사이의 거리 및 각도를 포함함 - 로부터, 상기 제시 동작의 방향별 가려짐 정보를 획득하는 단계
    를 더 포함하는, 방법.
11. 제1항에 있어서,
    상기 교정 정보를 생성하여 제공하는 단계는,
    상기 각각의 인체 파트들과 기준이 되는 제시 동작을 비교 분석에 따라 각 인체 파트별 매칭 부합도를 획득하는 단계; 및
    상기 매칭 부합도가 설정값 이하인 인체 파트에 대해, 해당 인체 파트가 제시 동작의 해당 파트와 매칭되기 위한 위치, 각도를 포함하는 교정 정보를 생성하는 단계
    를 포함하는, 방법.
12. 영상에서 인체의 자세를 추정하고 보정하는 장치로서,
    영상을 입력받도록 구성된 제1 인터페이스 장치; 그리고
    상기 인터페이스 장치와 연결되고, 상기 영상에서 인체의 자세를 추정하고 보정하도록 구성된 프로세서를 포함하며,
    상기 프로세서는,
    상기 인터페이스 장치로부터 제공되는 영상으로부터 사람을 검출하고, 검출된 각각의 사람에 대응하는 개별 사람 영역을 획득하도록 구성되며, 개별 사람 영역별로 사람을 구성하는 인체 파트들을 검출하고, 각각의 인체 파트들과 기준이 되는 제시 동작을 비교 분석하여 동작의 매칭 정도를 판단하며, 매칭 결과를 토대로 상기 제시 동작에 부합되기 위한 교정 정보를 생성하도록 구성되는, 장치.
13. 제12항에 있어서,
    상기 프로세서는,
    상기 입력되는 영상에서 다수의 사람을 포함하는 사람 그룹 영역을 검출하도록 구성된 다수 사람 검출부; 및
    2차원 영상 및 3차원 영상 정보들을 이용하여 점진적 사람 분류 및 픽셀 단위 분리기를 이용하여, 상기 사람 그룹 영역으로부터 사람들을 분류하고 픽셀 단위로 각 사람에 해당하는 영상 영역을 분리하여 상기 개별 사람 영역을 획득하도록 구성된 다수 사람 분리부
    를 포함하도록 구성되는, 장치.
14. 제12항에 있어서,
    상기 프로세서는,
    상기 개별 사람 영역별로 인체 파트들을 검출하도록 구성된 인체 파트 검출부; 및
    상기 검출된 인체 파트들을 인체의 구조적 형상 정보를 이용하여 조합하여 자세 추정 정보를 획득하도록 구성된 인체 파트 조합부
    를 포함하도록 구성되는, 장치.
15. 제14항에 있어서,
    상기 프로세서는,
    각 인체 파트의 관절의 최적의 중심 위치를 토대로, 상기 조합된 각 인체 파트별로 중심 위치를 보정하도록 구성된 인체 파트 보정부; 및
    상기 중심 위치가 보정된 인체 파트들을 각각 분리하도록 구성되는 인체 파트 분리부
    를 포함하도록 구성되는, 장치.
16. 제15항에 있어서,
    상기 인체 파트 보정부는, 인체 파트별 3차원 영상 데이터를 기반으로 뉴턴 방법 또는 신뢰 영역 방법을 포함하는 최적화 방법을 기반으로 하는 학습을 통해 각 관절의 최적의 중심 위치를 찾도록 구성되는, 장치.
17. 제12항에 있어서,
    상기 프로세서는,
    상기 각각의 인체 파트들과, 상기 제시 동작의 방향별 가려짐 정보를 비교 분석하여 매칭 정도를 판단하도록 구성된 동작 매칭부를 포함하도록 구성되며,
    상기 제시 동작의 방향별 가려짐 정보는, 해당 제시 동작 수행시 방향별로 가려진 인체 파트에 대응하는 위치 및 영역 정보를 포함하는, 장치.
18. 제17항에 있어서,
    상기 프로세서는,
    기준이 되는 제시 동작 프로토콜에 포함되는 제시 동작 관련 정보를 제공하는 제시 동작 제공부; 및
    상기 제시 동작 관련 정보로부터 상기 제시 동작의 방향별 가려짐 정보를 획득하도록 구성된 동작 정보 추출부
    를 더 포함하도록 구성되며,
    상기 제시 동작 관련 정보는 방향별로 해당 제시 동작을 수행하기 위해 사용되는 관절들과 인체 파트들 사이의 거리 및 각도를 포함하는, 장치.
19. 제17항에 있어서,
    상기 동작 매칭부는 구체적으로, 상기 각각의 인체 파트들과 기준이 되는 제시 동작을 비교 분석에 따라 각 인체 파트별 매칭 부합도를 획득하도록 구성되고,
    상기 프로세서는, 상기 매칭 부합도가 설정값 이하인 인체 파트에 대해, 해당 인체 파트가 제시 동작의 해당 파트와 매칭되기 위한 위치, 각도를 포함하는 교정 정보를 생성하도록 구성되는 동작 교정부
    를 더 포함하도록 구성되는, 장치.
20. 제12항에 있어서,
    상기 프로세서와 연결된 제2 인터페이스 장치를 더 포함하며,
    상기 제2 인터페이스 장치는 상기 프로세서에 의해 생성된 상기 교정 정보를 제공하도록 구성되는, 장치.
    
    
    
    
    
    
    
    

Images