KR102412457B1 - 인체 포즈 분석 장치 및 그 방법 - Google Patents

Abstract

포즈 영상으로부터 생성된 스켈레톤 데이터로부터 포즈 특성 데이터를 추출하여 사용자의 포즈를 분석할 수 있는 인체 포즈 분석 장치 및 인체 포즈 분석 방법이 개시된다. 본 발명의 실시예에 따른 인체 포즈 분석 장치는: 사용자의 인체에 대해 획득된 포즈 영상에서 다수의 인체 특징점을 추출하고, 상기 다수의 인체 특징점을 기반으로 스켈레톤 데이터를 생성하고, 상기 스켈레톤 데이터로부터 인체 포즈 특성 데이터를 생성하는 인체 포즈 측정 모듈; 및 상기 인체 포즈 특성 데이터와, 표준 포즈와 관련하여 설정된 표준 포즈 특성 데이터 간의 포즈 유사도 및 포즈 차이를 결정하여 상기 사용자의 인체 포즈를 분석하는 인체 포즈 비교 모듈을 포함한다.

Description

인체 포즈 분석 장치 및 그 방법{APPARATUS AND METHOD FOR ANALYZING HUMAN BODY POSE}

본 발명은 인체 포즈 분석 장치 및 방법에 관한 것으로, 보다 상세하게는 포즈 영상으로부터 생성된 스켈레톤 데이터로부터 포즈 특성 데이터를 추출하여 사용자의 포즈를 분석할 수 있는 인체 포즈 분석 장치 및 방법에 관한 것이다.

국내 병원에서 상용중인 재활치료용 스마트 기기 중 예로 스마트 글러브가 있다. 이는 뇌졸중 등 손 재활이 필요한 환자들이 게임으로 하는 손 재활 훈련 기기로, 훈련 경과, 처방, 운동기능점수 등의 데이터를 통해 훈련과 난이도를 환자의 상태에 맞춰 자동으로 설정한다. 하지만 해당 기기는 인체 중 손에만 국한된 재활 치료기기로, 다른 신체 부위의 재활을 필요로 하는 환자에게는 사용하기 어렵다는 한계점을 갖고 있다.

신제 부위 한계성을 보완할 수 있는 스마트 기기로는 스마트 관절동작분석 시스템이 있다. 이는 뇌졸중 및 근골격계 환자들의 재활에 활용되고 있다. 하지만 기기 값이 3천만 원을 호가하고, 기기 내 부착된 전용 적외선 카메라를 통해서만 사용자의 움직임을 분석할 수 있어 기기 보급화가 어렵다는 문제가 존재한다. 또한, 현재 상용화된 스마트 재활기기는 특수 장비를 통한 데이터 입력을 받아야 하기 때문에 환자들이 원내에 방문하여 재활을 진행해야 한다. 따라서 시간적 제약과 공간적 제약으로 인해 환자가 불편함을 겪게 되는 문제점이 있다.

본 발명은 포즈 영상으로부터 생성된 스켈레톤 데이터로부터 포즈 특성 데이터를 추출하여 사용자의 포즈를 분석할 수 있는 인체 포즈 분석 장치 및 인체 포즈 분석 방법을 제공하기 위한 것이다.

또한, 본 발명은 다수의 표준 포즈 데이터로부터 재활 등에 효과적인 대상 스켈레톤 영역을 추출하여 사용자의 인체 포즈를 분석할 수 있는 인체 포즈 분석 장치 및 인체 포즈 분석 방법을 제공하기 위한 것이다.

본 발명의 실시예에 따른 인체 포즈 분석 장치는: 사용자의 인체에 대해 획득된 포즈 영상에서 다수의 인체 특징점을 추출하고, 상기 다수의 인체 특징점을 기반으로 스켈레톤 데이터를 생성하고, 상기 스켈레톤 데이터로부터 인체 포즈 특성 데이터를 생성하는 인체 포즈 측정 모듈; 및 상기 인체 포즈 특성 데이터와, 표준 포즈와 관련하여 설정된 표준 포즈 특성 데이터 간의 포즈 유사도 및 포즈 차이를 결정하여 상기 사용자의 인체 포즈를 분석하는 인체 포즈 비교 모듈을 포함한다.

상기 인체 포즈 측정 모듈은: 영상 촬영 모듈에 의해 설정 시간 동안 획득된 다수의 영상 프레임으로부터 대상 영상 프레임을 추출하여 상기 포즈 영상을 생성하는 영상 프레임 추출부; 컨볼루션 신경망에 의해 상기 포즈 영상으로부터 신체 부위별 인체 특징점을 추출하여 상기 스켈레톤 데이터를 생성하는 스켈레톤 데이터 생성부; 및 상기 스켈레톤 데이터로부터 상기 인체 포즈 특성 데이터를 생성하는 인체 포즈 특성 데이터 생성부를 포함할 수 있다.

상기 영상 프레임 추출부는: 상기 다수의 영상 프레임의 객체 흔들림 및 객체 선명도를 산출하여 각 영상 프레임의 영상 화질을 분석하는 영상 화질 분석부; 상기 영상 화질을 기반으로 상기 다수의 영상 프레임 중 다수의 대상 영상 프레임을 추출하는 대상 영상 프레임 추출부; 상기 다수의 대상 영상 프레임의 평균 영상 데이터 값을 산출하여 평균 영상 프레임을 산출하는 평균 영상 프레임 생성부; 상기 다수의 대상 영상 프레임과 상기 평균 영상 프레임 간의 유사도를 산출하는 영상 프레임 유사도 산출부; 및 상기 평균 영상 프레임과 가장 유사도가 높은 대상 영상 프레임을 상기 포즈 영상으로 결정하는 포즈 영상 결정부를 포함할 수 있다.

상기 스켈레톤 데이터 생성부는: 상기 포즈 영상에서 설정된 신체 부위에 해당하는 특징점을 인식하여 상기 다수의 인체 특징점을 추출하는 특징점 추출부; 상기 다수의 인체 특징점 중 어깨선과 목이 만나는 위치의 특징점 및 골반 위치의 특징점을 중심 포인트로 설정하는 중심 포인트 설정부; 상기 중심 포인트를 기반으로 스켈레톤 중심축을 설정하는 스켈레톤 중심축 설정부; 다수의 인체 특징점을 신체 부위별 스켈레톤 포인트로 분류하는 스켈레톤 포인트 분류부; 및 상기 스켈레톤 중심축 및 상기 스켈레톤 포인트를 연결하여 상기 스켈레톤 데이터를 생성하는 스켈레톤 연결부를 포함할 수 있다.

상기 특징점 추출부는 상기 포즈 영상에서 코, 눈, 귀, 어깨, 팔꿈치, 손목, 엉덩이, 무릎 및 발목에 해당하는 인체 특징점을 추출할 수 있다.

상기 인체 포즈 특성 데이터 생성부는: 상기 스켈레톤 데이터의 다수의 스켈레톤 포인트 간을 연결하는 스켈레톤 연결선을 결정하고, 상기 스켈레톤 연결선의 길이를 산출하는 연결선 길이 산출부; 각 스켈레톤 포인트에 연결된 다수의 스켈레톤 연결선 간의 꺾임각을 산출하는 꺾임각 산출부; 및 상기 스켈레톤 연결선의 길이 및 상기 꺾임각을 결합하여 상기 인체 포즈 특성 데이터를 생성하는 포즈 데이터 생성부를 포함할 수 있다.

본 발명의 실시예에 따른 인체 포즈 분석 장치는: 상기 표준 포즈와 관련된 표준 스켈레톤 연결선의 길이 및 다수의 표준 스켈레톤 연결선 간의 표준 꺾임각을 저장하는 표준 포즈 데이터베이스를 더 포함할 수 있다. 상기 인체 포즈 비교 모듈은: 상기 스켈레톤 연결선의 길이를 상기 표준 스켈레톤 연결선의 길이와 비교하여 길이 비교 정보를 생성하는 스켈레톤 연결선 길이 비교부; 상기 꺾임각을 상기 표준 꺾임각과 비교하여 꺾임각 비교 정보를 생성하는 꺾임각 비교부; 상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도를 산출하는 포즈 유사도 산출부; 및 상기 인체 포즈와 상기 표준 포즈 간의 포즈 차이를 분석하는 포즈 차이 분석부를 포함할 수 있다.

상기 인체 포즈 비교 모듈은: 상기 표준 포즈와 관련된 다수의 표준 포즈 데이터의 표준 스켈레톤 연결선 길이 및 표준 스켈레톤 연결선들 간의 꺾임각을 비교하고, 상기 다수의 표준 포즈 데이터 중 유사도가 기준값을 초과하는 데이터 영역을 결정하여 상기 사용자의 인체 포즈를 분석하기 위한 대상 스켈레톤 영역을 추출하고; 그리고 상기 대상 스켈레톤 영역에 해당하는 상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도와 포즈 차이를 분석할 수 있다.

본 발명의 실시예에 따른 인체 포즈 분석 방법은: 인체 포즈 측정 모듈에 의해, 사용자의 인체에 대해 획득된 포즈 영상에서 다수의 인체 특징점을 추출하고, 상기 다수의 인체 특징점을 기반으로 스켈레톤 데이터를 생성하고, 상기 스켈레톤 데이터를 기반으로 인체 포즈 특성 데이터를 생성하는 단계; 및 인체 포즈 비교 모듈에 의해, 상기 인체 포즈 특성 데이터와, 표준 포즈와 관련하여 설정된 표준 포즈 특성 데이터 간의 포즈 유사도 및 포즈 차이를 결정하고, 상기 포즈 유사도 및 상기 포즈 차이를 기반으로 상기 사용자의 인체 포즈를 분석하는 단계를 포함한다.

상기 인체 포즈 특성 데이터를 생성하는 단계는: 영상 프레임 추출부에 의해, 영상 촬영 모듈에 의해 설정 시간 동안 획득된 다수의 영상 프레임으로부터 대상 영상 프레임을 추출하여 상기 포즈 영상을 생성하는 단계; 스켈레톤 데이터 생성부에 의해, 컨볼루션 신경망에 의해 상기 포즈 영상으로부터 신체 부위별 인체 특징점을 추출하여 상기 스켈레톤 데이터를 생성하는 단계; 및 인체 포즈 특성 데이터 생성부에 의해, 상기 스켈레톤 데이터로부터 상기 인체 포즈 특성 데이터를 생성하는 단계를 포함할 수 있다.

상기 포즈 영상을 생성하는 단계는: 영상 화질 분석부에 의해, 상기 다수의 영상 프레임의 객체 흔들림 및 객체 선명도를 산출하여 각 영상 프레임의 영상 화질을 분석하는 단계; 대상 영상 프레임 추출부에 의해, 상기 영상 화질을 기반으로 상기 다수의 영상 프레임 중 다수의 대상 영상 프레임을 추출하는 단계; 평균 영상 프레임 생성부에 의해, 상기 다수의 대상 영상 프레임의 평균 영상 데이터 값을 산출하여 평균 영상 프레임을 산출하는 단계; 영상 프레임 유사도 산출부에 의해, 상기 다수의 대상 영상 프레임과 상기 평균 영상 프레임 간의 유사도를 산출하는 단계; 및 포즈 영상 결정부에 의해, 상기 평균 영상 프레임과 가장 유사도가 높은 대상 영상 프레임을 상기 포즈 영상으로 결정하는 단계를 포함할 수 있다.

상기 스켈레톤 데이터를 생성하는 단계는: 특징점 추출부에 의해, 상기 포즈 영상에서 설정된 신체 부위에 해당하는 특징점을 인식하여 상기 다수의 인체 특징점을 추출하는 단계; 중심 포인트 설정부에 의해, 상기 다수의 인체 특징점 중 어깨선과 목이 만나는 위치의 특징점 및 골반 위치의 특징점을 중심 포인트로 설정하는 단계; 스켈레톤 중심축 설정부에 의해, 상기 중심 포인트를 기반으로 스켈레톤 중심축을 설정하는 단계; 스켈레톤 포인트 분류부에 의해, 다수의 인체 특징점을 신체 부위별 스켈레톤 포인트로 분류하는 단계; 및 스켈레톤 연결부에 의해, 상기 스켈레톤 중심축 및 상기 스켈레톤 포인트를 연결하여 상기 스켈레톤 데이터를 생성하는 단계를 포함할 수 있다.

상기 인체 포즈 특성 데이터를 생성하는 단계는: 연결선 길이 산출부에 의해, 상기 스켈레톤 데이터의 다수의 스켈레톤 포인트 간을 연결하는 스켈레톤 연결선을 결정하고, 상기 스켈레톤 연결선의 길이를 산출하는 단계; 꺾임각 산출부에 의해, 각 스켈레톤 포인트에 연결된 다수의 스켈레톤 연결선 간의 꺾임각을 산출하는 단계; 및 포즈 데이터 생성부에 의해, 상기 스켈레톤 연결선의 길이 및 상기 꺾임각을 결합하여 상기 인체 포즈 특성 데이터를 생성하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 인체 포즈 분석 방법은: 표준 포즈 데이터베이스에 상기 표준 포즈와 관련된 표준 스켈레톤 연결선의 길이 및 다수의 표준 스켈레톤 연결선 간의 표준 꺾임각을 저장하는 단계를 더 포함할 수 있다. 상기 사용자의 인체 포즈를 분석하는 단계는: 스켈레톤 연결선 길이 비교부에 의해, 상기 스켈레톤 연결선의 길이를 상기 표준 스켈레톤 연결선의 길이와 비교하여 길이 비교 정보를 생성하는 단계; 꺾임각 비교부에 의해, 상기 꺾임각을 상기 표준 꺾임각과 비교하여 꺾임각 비교 정보를 생성하는 단계; 포즈 유사도 산출부에 의해, 상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도를 산출하는 단계; 및 포즈 차이 분석부에 의해, 상기 인체 포즈와 상기 표준 포즈 간의 포즈 차이를 분석하는 단계를 포함할 수 있다.

상기 사용자의 인체 포즈를 분석하는 단계는: 상기 표준 포즈와 관련된 다수의 표준 포즈 데이터의 표준 스켈레톤 연결선 길이 및 표준 스켈레톤 연결선들 간의 꺾임각을 비교하고, 상기 다수의 표준 포즈 데이터 중 유사도가 기준값을 초과하는 데이터 영역을 결정하여 상기 사용자의 인체 포즈를 분석하기 위한 대상 스켈레톤 영역을 추출하고; 그리고 상기 대상 스켈레톤 영역에 해당하는 상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도와 포즈 차이를 분석할 수 있다.

본 발명의 실시예에 따르면, 상기 인체 포즈 분석 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.

본 발명의 실시예에 의하면, 포즈 영상으로부터 생성된 스켈레톤 데이터로부터 포즈 특성 데이터를 추출하여 사용자의 포즈를 분석할 수 있는 인체 포즈 분석 장치 및 인체 포즈 분석 방법이 제공된다.

또한, 본 발명의 실시예에 의하면, 다수의 표준 포즈 데이터로부터 재활 등에 효과적인 대상 스켈레톤 영역을 추출하여 사용자의 인체 포즈를 분석할 수 있는 인체 포즈 분석 장치 및 인체 포즈 분석 방법이 제공된다.

도 1은 본 발명의 실시예에 따른 인체 포즈 분석 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 인체 포즈 측정 모듈의 구성도이다.
도 3은 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 영상 프레임 추출부의 구성도이다.
도 4는 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 스켈레톤 데이터 생성부의 구성도이다.
도 5는 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 인체 포즈 특성 데이터 생성부의 구성도이다.
도 6은 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 인체 포즈 비교 모듈의 구성도이다.
도 7은 본 발명의 실시예에 따른 인체 포즈 분석 방법의 순서도이다.
도 8은 도 7의 단계 S100의 순서도이다.
도 9는 도 8의 단계 S110의 순서도이다.
도 10은 도 8의 단계 S120의 순서도이다.
도 11은 본 발명의 실시예에 따른 인체 포즈 분석 방법에 의해 생성된 스켈레톤 데이터의 예시도이다.
도 12는 도 8의 단계 S130의 순서도이다.
도 13은 본 발명의 실시예에 따른 인체 포즈 분석 방법에 의해 생성된 인체 포즈 특성 데이터의 예시도이다.
도 14는 도 7의 단계 S200의 순서도이다.
도 15는 본 발명의 다른 실시예에 따라 다수의 표준 포즈 데이터로부터 대상 스켈레톤 영역을 추출하여 사용자의 인체 포즈를 분석하는 과정을 나타낸 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부, ~모듈'은 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부, ~모듈'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부, ~모듈'은 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 인체 포즈 분석 장치의 구성도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 인체 포즈 분석 장치(10)는 인체 포즈 측정 모듈(100), 인체 포즈 비교 모듈(200) 및 표준 포즈 데이터베이스(DB; database)(300)를 포함할 수 있다.

인체 포즈 측정 모듈(100)은 사용자의 인체에 대해 획득된 포즈 영상에서 다수의 인체 특징점을 추출하고, 추출된 다수의 인체 특징점을 기반으로 스켈레톤 데이터(skeleton data)를 생성하고, 스켈레톤 데이터로부터 인체 포즈 특성 데이터를 생성할 수 있다. 실시예에서, 포즈 영상은 RGB 카메라 영상일 수 있다.

인체 포즈 비교 모듈(200)은 인체 포즈 측정 모듈(100)에 의해 생성된 인체 포즈 특성 데이터와, 표준 포즈(예를 들어, 재활 환자가 따라해야 하는 표준 동작)와 관련하여 설정되어 표준 포즈 DB(300)에 저장된 표준 포즈 특성 데이터 간의 포즈 유사도 및 포즈 차이를 결정하여 사용자의 인체 포즈를 분석할 수 있다.

표준 포즈 특성 데이터는 체형 교정 전문가들에 의해 수행되는 각 신체 부위별 재활에 필요한 치료 동작을 RGB 카메라로 촬영한 후, 촬영된 영상 데이터로부터 스켈레톤 데이터를 생성하고, 생성된 스켈레톤 데이터로부터 표준 포즈와 관련된 정보(예를 들어, 스켈레톤 변의 꺾임각 등)를 분석하여 생성될 수 있다.

도 2는 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 인체 포즈 측정 모듈의 구성도이다. 도 1 및 도 2를 참조하면, 인체 포즈 측정 모듈(100)은 영상 프레임 추출부(110), 스켈레톤 데이터 생성부(120) 및 인체 포즈 특성 데이터 생성부(130)를 포함할 수 있다.

영상 프레임 추출부(110)는 영상 촬영 모듈에 의해 설정 시간 동안 획득된 다수의 영상 프레임으로부터 대상 영상 프레임을 추출하여 포즈 영상을 생성할 수 있다.

도 3은 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 영상 프레임 추출부의 구성도이다. 도 1 내지 도 3을 참조하면, 영상 프레임 추출부(110)는 영상 화질 분석부(111), 대상 영상 프레임 추출부(112), 평균 영상 프레임 생성부(113), 영상 프레임 유사도 산출부(114) 및 포즈 영상 결정부(115)를 포함할 수 있다.

영상 화질 분석부(111)는 다수의 영상 프레임의 객체 흔들림 및 객체 선명도를 산출하여 각 영상 프레임의 영상 화질을 분석할 수 있다.

대상 영상 프레임 추출부(112)는 영상 화질을 기반으로 다수의 영상 프레임 중 다수의 대상 영상 프레임을 추출할 수 있다.

평균 영상 프레임 생성부(113)는 다수의 대상 영상 프레임의 평균 영상 데이터 값을 산출하여 평균 영상 프레임을 산출할 수 있다.

영상 프레임 유사도 산출부(114)는 다수의 대상 영상 프레임과 평균 영상 프레임 간의 유사도를 산출할 수 있다.

포즈 영상 결정부(115)는 평균 영상 프레임과 가장 유사도가 높은 대상 영상 프레임을 포즈 영상으로 결정할 수 있다.

도 4는 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 스켈레톤 데이터 생성부의 구성도이다. 도 1, 도 2 및 도 4를 참조하면, 스켈레톤 데이터 생성부(120)는 컨볼루션 신경망(CNN; convolutional neural network)에 의해 포즈 영상으로부터 신체 부위별 인체 특징점을 추출하여 스켈레톤 데이터를 생성할 수 있다.

스켈레톤 데이터 생성부(120)는 특징점 추출부(121), 중심 포인트 설정부(122), 스켈레톤 중심축 설정부(123), 스켈레톤 포인트 분류부(124) 및 스켈레톤 연결부(125)를 포함할 수 있다.

특징점 추출부(121)는 포즈 영상에서 설정된 신체 부위에 해당하는 특징점을 인식하여 다수의 인체 특징점을 추출할 수 있다. 특징점 추출부(121)는 포즈 영상에서 코, 눈, 귀, 어깨, 팔꿈치, 손목, 엉덩이, 무릎 및 발목에 해당하는 인체 특징점을 추출할 수 있다.

중심 포인트 설정부(122)는 특징점 추출부(121)에 의해 추출된 다수의 인체 특징점 중 어깨선과 목이 만나는 위치의 특징점 및 골반 위치의 특징점을 중심 포인트로 설정할 수 있다.

스켈레톤 중심축 설정부(123)는 중심 포인트 설정부(122)에 의해 설정된 중심 포인트를 기반으로 스켈레톤 중심축을 설정할 수 있다.

스켈레톤 포인트 분류부(124)는 특징점 추출부(121)에 의해 추출된 다수의 인체 특징점을 신체 부위별 스켈레톤 포인트로 분류할 수 있다.

스켈레톤 연결부(125)는 스켈레톤 중심축 설정부(123)에 의해 설정된 스켈레톤 중심축 및 스켈레톤 포인트 분류부(124)에 의해 분류된 스켈레톤 포인트를 연결하여 스켈레톤 데이터를 생성할 수 있다.

도 5는 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 인체 포즈 특성 데이터 생성부의 구성도이다. 도 1, 도 2 및 도 5를 참조하면, 인체 포즈 특성 데이터 생성부(130)는 스켈레톤 데이터 생성부(120)에 의해 생성된 스켈레톤 데이터로부터 인체 포즈 특성 데이터를 생성할 수 있다.

인체 포즈 특성 데이터 생성부(130)는 연결선 길이 산출부(131), 꺾임각 산출부(132) 및 포즈 데이터 생성부(133)를 포함할 수 있다.

연결선 길이 산출부(131)는 스켈레톤 데이터의 다수의 스켈레톤 포인트 간을 연결하는 스켈레톤 연결선을 결정하고, 각 스켈레톤 연결선의 길이를 산출할 수 있다.

꺾임각 산출부(132)는 각 스켈레톤 포인트에 연결된 다수의 스켈레톤 연결선 간의 꺾임각을 산출할 수 있다.

포즈 데이터 생성부(133)는 스켈레톤 연결선의 길이 및 꺾임각을 결합하여 인체 포즈 특성 데이터를 생성할 수 있다.

도 6은 본 발명의 실시예에 따른 인체 포즈 분석 장치를 구성하는 인체 포즈 비교 모듈의 구성도이다. 도 1 및 도 6을 참조하면, 인체 포즈 비교 모듈(200)은 스켈레톤 연결선 길이 비교부(210), 꺾임각 비교부(220), 포즈 유사도 산출부(230) 및 포즈 차이 분석부(240)를 포함할 수 있다.

표준 포즈 DB(130)는 표준 포즈와 관련된 표준 스켈레톤 연결선의 길이 및 다수의 표준 스켈레톤 연결선 간의 표준 꺾임각을 저장할 수 있다.

스켈레톤 연결선 길이 비교부(210)는 스켈레톤 연결선의 길이를 표준 스켈레톤 연결선의 길이와 비교하여 길이 비교 정보를 생성할 수 있다.

꺾임각 비교부(220)는 스켈레톤 데이터로부터 산출된 꺾임각을 표준 꺾임각과 비교하여 꺾임각 비교 정보를 생성할 수 있다.

포즈 유사도 산출부(230)는 스켈레톤 연결선 길이 비교부(210)에 의해 생성된 길이 비교 정보와 꺾임각 비교부(220)에 의해 생성된 꺾임각 비교 정보를 기반으로 사용자의 인체 포즈와 표준 포즈 간의 유사도를 산출할 수 있다.

포즈 차이 분석부(240)는 스켈레톤 연결선 길이 비교부(210)에 의해 생성된 길이 비교 정보와 꺾임각 비교부(220)에 의해 생성된 꺾임각 비교 정보를 기반으로 인체 포즈와 표준 포즈 간의 포즈 차이를 분석할 수 있다.

실시예에서, 인체 포즈 비교 모듈(200)은 표준 포즈와 관련된 다수의 표준 포즈 데이터의 표준 스켈레톤 연결선 길이 및 표준 스켈레톤 연결선들 간의 꺾임각을 비교하고, 다수의 표준 포즈 데이터 중 유사도가 기준값을 초과하는 데이터 영역을 결정하여 사용자의 인체 포즈를 분석하기 위한 대상 스켈레톤 영역을 추출할 수 있다.

이때 다수의 표준 포즈 데이터는 다양한 전문가의 표준 포즈에 대해 각각 스켈레톤 데이터를 생성하여 그로부터 획득된 표준 포즈 데이터일 수 있다. 인체 포즈 비교 모듈(200)은 다수의 표준 포즈 데이터의 영역 별로 다수의 표준 포즈 데이터 간의 스켈레톤 연결선 길이 비교 정보와 스켈레톤 연결선 간 꺾임각 비교 정보를 기반으로, 유사도가 기준값을 초과하는 영역, 즉 다수의 전문가의 포즈가 유사한 하나 이상의 영역을 대상 스켈레톤 영역으로 결정할 수 있다.

인체 포즈 비교 모듈(200)은 대상 스켈레톤 영역에 해당하는 길이 비교 정보와 꺾임각 비교 정보를 기반으로 사용자의 인체 포즈와 표준 포즈 간의 유사도와 포즈 차이를 분석할 수 있다. 다수의 표준 포즈 데이터 간에 포즈가 유사하지 않은 영역은 재활 등에 큰 영향을 미치지 않는 것으로 판단하여 포즈 분석 대상에서 제외될 수 있다.

이와 같이 다수의 표준 포즈 데이터를 기반으로 추출된 대상 스켈레톤 영역만을 기준으로 사용자의 인체 포즈를 분석함으로써, 재활 등의 목적에 도움이 되지 않는 영역에 대해 필요 이상으로 포즈를 분석하지 않아도 되고, 재활 등에 중요한 영향을 미치는 대상 스켈레톤 영역에 대해 사용자의 인체 포즈를 집중적으로 분석하여 사용자의 재활 등에 보다 도움을 줄 수 있다.

본 발명의 실시예에 의하면, 컨볼루션 신경망과 같은 딥러닝 알고리즘을 통해 스켈레톤 데이터를 학습하고, 사용자의 스마트폰 카메라 등으로 입력된 영상 내 프레임을 추출하고, 학습된 데이터를 기반으로 인체의 특정 부위가 RGB 카메라 영상의 어디에 위치하는지 측정하여 인체의 스켈레톤 데이터를 생성할 수 있다.

다음으로, 생성된 스켈레톤 데이터의 각 점에 대하여 점과 점 사이의 변, 변의 길이, 그리고 각 점과 변사이의 끼인각 등을 모아 유사도 측정을 위한 특성 데이터로 생성하고, 이 특성 데이터와 표준 자세에 대한 특성 데이터 간의 유사도를 구하여 사용자의 포즈를 분석할 수 있다.

상술한 바와 같은 본 발명의 실시예에 의하면, 고가의 특수 장비를 사용하지 않고도 시공간 제약 없이 자유롭게 사용자의 자세를 측정하고, 표준 자세와의 유사도를 분석함으로써 재활을 위한 데이터 등으로 활용할 수 있다.

도 7은 본 발명의 실시예에 따른 인체 포즈 분석 방법의 순서도이다. 도 1 및 도 7을 참조하면, 인체 포즈 측정 모듈(100)은 사용자의 인체에 대해 획득된 포즈 영상에서 다수의 인체 특징점을 추출하고, 추출된 다수의 인체 특징점을 기반으로 스켈레톤 데이터(skeleton data)를 생성하고, 스켈레톤 데이터로부터 인체 포즈 특성 데이터를 생성할 수 있다(S100).

인체 포즈 비교 모듈(200)은 인체 포즈 측정 모듈(100)에 의해 생성된 인체 포즈 특성 데이터와, 표준 포즈(예를 들어, 재활 환자가 따라해야 하는 표준 동작)와 관련하여 설정되어 표준 포즈 DB(300)에 저장된 표준 포즈 특성 데이터 간의 포즈 유사도 및 포즈 차이를 결정하여 사용자의 인체 포즈를 분석할 수 있다(S200).

표준 포즈 특성 데이터는 체형 교정 전문가들에 의해 수행되는 각 신체 부위별 재활에 필요한 치료 동작을 RGB 카메라로 촬영한 후, 촬영된 영상 데이터로부터 스켈레톤 데이터를 생성하고, 생성된 스켈레톤 데이터로부터 표준 포즈와 관련된 정보(예를 들어, 스켈레톤 변의 꺾임각 등)를 분석하여 생성될 수 있다.

도 8은 도 7의 단계 S100의 순서도이다. 도 1, 도 2, 도 7 및 도 8을 참조하면, 영상 프레임 추출부(110)는 영상 촬영 모듈에 의해 설정 시간 동안 획득된 다수의 영상 프레임으로부터 대상 영상 프레임을 추출하여 포즈 영상을 생성할 수 있다(S110).

도 9는 도 8의 단계 S110의 순서도이다. 도 1 내지 도 3, 도 7 내지 도 9를 참조하면, 영상 화질 분석부(111)는 다수의 영상 프레임의 객체 흔들림 및 객체 선명도를 산출하여 각 영상 프레임의 영상 화질을 분석할 수 있다(S111).

대상 영상 프레임 추출부(112)는 영상 화질을 기반으로 다수의 영상 프레임 중 다수의 대상 영상 프레임을 추출할 수 있다(S112).

평균 영상 프레임 생성부(113)는 다수의 대상 영상 프레임의 평균 영상 데이터 값을 산출하여 평균 영상 프레임을 산출할 수 있다(S113).

영상 프레임 유사도 산출부(114)는 다수의 대상 영상 프레임과 평균 영상 프레임 간의 유사도를 산출할 수 있다(S114).

포즈 영상 결정부(115)는 평균 영상 프레임과 가장 유사도가 높은 대상 영상 프레임을 포즈 영상으로 결정할 수 있다(S115).

도 10은 도 8의 단계 S120의 순서도이다. 도 11은 본 발명의 실시예에 따른 인체 포즈 분석 방법에 의해 생성된 스켈레톤 데이터의 예시도이다. 도 1, 도 2, 도 4, 도 7, 도 8, 도 10 및 도 11을 참조하면, 스켈레톤 데이터 생성부(120)는 컨볼루션 신경망(CNN; convolutional neural network)에 의해 포즈 영상으로부터 신체 부위별 인체 특징점을 추출하여 스켈레톤 데이터(SD)를 생성할 수 있다.

보다 구체적으로, 특징점 추출부(121)는 포즈 영상에서 설정된 신체 부위에 해당하는 특징점을 인식하여 다수의 인체 특징점(FP)을 추출할 수 있다(S121). 특징점 추출부(121)는 포즈 영상에서 코, 눈, 귀, 어깨, 팔꿈치, 손목, 엉덩이, 무릎 및 발목에 해당하는 인체 특징점을 추출할 수 있다.

중심 포인트 설정부(122)는 특징점 추출부(121)에 의해 추출된 다수의 인체 특징점 중 어깨선과 목이 만나는 위치의 특징점 및 골반 위치의 특징점을 중심 포인트(CP)로 설정할 수 있다(S122).

스켈레톤 중심축 설정부(123)는 중심 포인트 설정부(122)에 의해 설정된 중심 포인트(CP)를 기반으로 스켈레톤 중심축(CA)을 설정할 수 있다(S123).

스켈레톤 포인트 분류부(124)는 특징점 추출부(121)에 의해 추출된 다수의 인체 특징점(FP)을 신체 부위별 스켈레톤 포인트로 분류할 수 있다(S124).

스켈레톤 연결부(125)는 스켈레톤 중심축 설정부(123)에 의해 설정된 스켈레톤 중심축(CA) 및 스켈레톤 포인트 분류부(124)에 의해 분류된 스켈레톤 포인트를 연결하여 스켈레톤 데이터(SD)를 생성할 수 있다(S125).

도 12는 도 8의 단계 S130의 순서도이다. 도 13은 본 발명의 실시예에 따른 인체 포즈 분석 방법에 의해 생성된 인체 포즈 특성 데이터의 예시도이다. 도 1, 도 2, 도 5, 도 7, 도 8, 도 11 내지 도 13을 참조하면, 인체 포즈 특성 데이터 생성부(130)는 스켈레톤 데이터 생성부(120)에 의해 생성된 스켈레톤 데이터로부터 인체 포즈 특성 데이터를 생성할 수 있다.

보다 구체적으로, 연결선 길이 산출부(131)는 스켈레톤 데이터의 다수의 스켈레톤 포인트(SP) 간을 연결하는 스켈레톤 연결선(CL)을 결정하고, 각 스켈레톤 연결선(CL)의 길이(SL)를 산출할 수 있다(S131).

꺾임각 산출부(132)는 각 스켈레톤 포인트(SP)에 연결된 다수의 스켈레톤 연결선(CL) 간의 꺾임각(SA)을 산출할 수 있다(S132).

포즈 데이터 생성부(133)는 스켈레톤 연결선의 길이(SL) 및 인접한 스켈레톤 연결선들(CL) 간의 꺾임각(SA)을 결합하여 인체 포즈 특성 데이터를 생성할 수 있다(S133).

도 14는 도 7의 단계 S200의 순서도이다. 도 1, 도 6, 도 7, 도 13 및 도 14를 참조하면, 스켈레톤 연결선 길이 비교부(210)는 스켈레톤 연결선의 길이(SL)를 표준 스켈레톤 연결선의 길이와 비교하여 길이 비교 정보를 생성할 수 있다(S210).

꺾임각 비교부(220)는 스켈레톤 데이터로부터 산출된 꺾임각(SA)을 표준 꺾임각과 비교하여 꺾임각 비교 정보를 생성할 수 있다(S220).

포즈 유사도 산출부(230)는 스켈레톤 연결선 길이 비교부(210)에 의해 생성된 길이 비교 정보와 꺾임각 비교부(220)에 의해 생성된 꺾임각 비교 정보를 기반으로 사용자의 인체 포즈와 표준 포즈 간의 유사도를 산출할 수 있다(S230).

포즈 차이 분석부(240)는 스켈레톤 연결선 길이 비교부(210)에 의해 생성된 길이 비교 정보와 꺾임각 비교부(220)에 의해 생성된 꺾임각 비교 정보를 기반으로 사용자의 인체 포즈와 표준 포즈 간의 포즈 차이를 분석할 수 있다(S240).

도 15는 본 발명의 다른 실시예에 따라 다수의 표준 포즈 데이터로부터 대상 스켈레톤 영역을 추출하여 사용자의 인체 포즈를 분석하는 과정을 나타낸 순서도이다. 도 15를 참조하면, 인체 포즈 비교 모듈(200)은 표준 포즈와 관련된 다수의 표준 포즈 데이터 상호 간에 표준 스켈레톤 연결선 길이 및 표준 스켈레톤 연결선들 간의 꺾임각을 비교하고(S250), 다수의 표준 포즈 데이터 중 유사도가 기준값을 초과하는 데이터 영역을 결정하여 사용자의 인체 포즈를 분석하기 위한 대상 스켈레톤 영역을 추출할 수 있다(S260).

이때 다수의 표준 포즈 데이터는 다양한 전문가의 표준 포즈에 대해 각각 스켈레톤 데이터를 생성하여 그로부터 획득된 표준 포즈 데이터일 수 있다. 인체 포즈 비교 모듈(200)은 다수의 표준 포즈 데이터의 영역 별로 다수의 표준 포즈 데이터 간의 스켈레톤 연결선 길이 비교 정보와 스켈레톤 연결선 간 꺾임각 비교 정보를 기반으로, 유사도가 기준값을 초과하는 영역, 즉 다수의 전문가의 포즈가 유사한 하나 이상의 영역을 대상 스켈레톤 영역으로 결정할 수 있다.

인체 포즈 비교 모듈(200)은 대상 스켈레톤 영역에 해당하는 길이 비교 정보와 꺾임각 비교 정보를 기반으로 사용자의 인체 포즈와 표준 포즈 간의 유사도와 포즈 차이를 분석할 수 있다(S270). 다수의 표준 포즈 데이터 간에 포즈가 유사하지 않은 영역은 재활 등에 큰 영향을 미치지 않는 것으로 판단하여 포즈 분석 대상에서 제외될 수 있다.

이와 같이 다수의 표준 포즈 데이터를 기반으로 추출된 대상 스켈레톤 영역만을 기준으로 사용자의 인체 포즈를 분석함으로써, 재활 등의 목적에 도움이 되지 않는 영역에 대해 필요 이상으로 포즈를 분석하지 않아도 되고, 재활 등에 중요한 영향을 미치는 대상 스켈레톤 영역에 대해 사용자의 인체 포즈를 집중적으로 분석하여 사용자의 재활 등에 보다 도움을 줄 수 있다.

본 발명의 실시예에 의하면, 컨볼루션 신경망과 같은 딥러닝 알고리즘을 통해 스켈레톤 데이터를 학습하고, 사용자의 스마트폰 카메라 등으로 입력된 영상 내 프레임을 추출하고, 학습된 데이터를 기반으로 인체의 특정 부위가 RGB 카메라 영상의 어디에 위치하는지 측정하여 인체의 스켈레톤 데이터를 생성할 수 있다.

다음으로, 생성된 스켈레톤 데이터의 각 점에 대하여 점과 점 사이의 변, 변의 길이, 그리고 각 점과 변사이의 끼인각 등을 모아 유사도 측정을 위한 특성 데이터로 생성하고, 이 특성 데이터와 표준 자세에 대한 특성 데이터 간의 유사도를 구하여 사용자의 포즈를 분석할 수 있다.

상술한 바와 같은 본 발명의 실시예에 의하면, 고가의 특수 장비를 사용하지 않고도 시공간 제약 없이 자유롭게 사용자의 자세를 측정하고, 표준 자세와의 유사도를 분석함으로써 재활을 위한 데이터 등으로 활용할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.

예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.

소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

10: 인체 포즈 분석 장치
100: 인체 포즈 측정 모듈
110: 영상 프레임 추출부
111: 영상 화질 분석부
112: 대상 영상 프레임 추출부
113: 평균 영상 프레임 생성부
114: 영상 프레임 유사도 산출부
115: 포즈 영상 결정부
120: 스켈레톤 데이터 생성부
121: 특징점 추출부
122: 중심 포인트 설정부
123: 스켈레톤 중심축 설정부
124: 스켈레톤 포인트 분류부
125: 스켈레톤 연결부
130: 인체 포즈 특성 데이터 생성부
131: 연결선 길이 산출부
132: 꺾임각 산출부
133: 포즈 데이터 생성부
200: 인체 포즈 비교 모듈
210: 스켈레톤 연결선 길이 비교부
220: 꺾임각 비교부
230: 포즈 유사도 산출부
240: 포즈 차이 분석부
300: 표준 포즈 DB

Claims (16)

1. 사용자의 인체에 대해 획득된 포즈 영상에서 다수의 인체 특징점을 추출하고, 상기 다수의 인체 특징점을 기반으로 스켈레톤 데이터를 생성하고, 상기 스켈레톤 데이터로부터 인체 포즈 특성 데이터를 생성하는 인체 포즈 측정 모듈; 및
   상기 인체 포즈 특성 데이터와, 표준 포즈와 관련하여 설정된 표준 포즈 특성 데이터 간의 포즈 유사도 및 포즈 차이를 결정하여 상기 사용자의 인체 포즈를 분석하는 인체 포즈 비교 모듈을 포함하고,
   상기 인체 포즈 측정 모듈은:
   영상 촬영 모듈에 의해 설정 시간 동안 획득된 다수의 영상 프레임으로부터 대상 영상 프레임을 추출하여 상기 포즈 영상을 생성하는 영상 프레임 추출부를 포함하고,
   상기 영상 프레임 추출부는:
   상기 다수의 영상 프레임의 객체 흔들림 및 객체 선명도를 산출하여 각 영상 프레임의 영상 화질을 분석하는 영상 화질 분석부;
   상기 영상 화질을 기반으로 상기 다수의 영상 프레임 중 다수의 대상 영상 프레임을 추출하는 대상 영상 프레임 추출부;
   상기 다수의 대상 영상 프레임의 평균 영상 데이터 값을 산출하여 평균 영상 프레임을 산출하는 평균 영상 프레임 생성부;
   상기 다수의 대상 영상 프레임과 상기 평균 영상 프레임 간의 유사도를 산출하는 영상 프레임 유사도 산출부; 및
   상기 평균 영상 프레임과 가장 유사도가 높은 대상 영상 프레임을 상기 포즈 영상으로 결정하는 포즈 영상 결정부를 포함하는, 인체 포즈 분석 장치.
2. 제1항에 있어서,
   상기 인체 포즈 측정 모듈은:
   컨볼루션 신경망에 의해 상기 포즈 영상으로부터 신체 부위별 인체 특징점을 추출하여 상기 스켈레톤 데이터를 생성하는 스켈레톤 데이터 생성부; 및
   상기 스켈레톤 데이터로부터 상기 인체 포즈 특성 데이터를 생성하는 인체 포즈 특성 데이터 생성부를 포함하는, 인체 포즈 분석 장치
3. 삭제
4. 제2항에 있어서,
   상기 스켈레톤 데이터 생성부는:
   상기 포즈 영상에서 설정된 신체 부위에 해당하는 특징점을 인식하여 상기 다수의 인체 특징점을 추출하는 특징점 추출부;
   상기 다수의 인체 특징점 중 어깨선과 목이 만나는 위치의 특징점 및 골반 위치의 특징점을 중심 포인트로 설정하는 중심 포인트 설정부;
   상기 중심 포인트를 기반으로 스켈레톤 중심축을 설정하는 스켈레톤 중심축 설정부;
   다수의 인체 특징점을 신체 부위별 스켈레톤 포인트로 분류하는 스켈레톤 포인트 분류부; 및
   상기 스켈레톤 중심축 및 상기 스켈레톤 포인트를 연결하여 상기 스켈레톤 데이터를 생성하는 스켈레톤 연결부를 포함하는, 인체 포즈 분석 장치.
5. 제4항에 있어서,
   상기 특징점 추출부는 상기 포즈 영상에서 코, 눈, 귀, 어깨, 팔꿈치, 손목, 엉덩이, 무릎 및 발목에 해당하는 인체 특징점을 추출하는, 인체 포즈 분석 장치.
6. 제2항에 있어서,
   상기 인체 포즈 특성 데이터 생성부는:
   상기 스켈레톤 데이터의 다수의 스켈레톤 포인트 간을 연결하는 스켈레톤 연결선을 결정하고, 상기 스켈레톤 연결선의 길이를 산출하는 연결선 길이 산출부;
   각 스켈레톤 포인트에 연결된 다수의 스켈레톤 연결선 간의 꺾임각을 산출하는 꺾임각 산출부; 및
   상기 스켈레톤 연결선의 길이 및 상기 꺾임각을 결합하여 상기 인체 포즈 특성 데이터를 생성하는 포즈 데이터 생성부를 포함하는, 인체 포즈 분석 장치.
7. 제6항에 있어서,
   상기 표준 포즈와 관련된 표준 스켈레톤 연결선의 길이 및 다수의 표준 스켈레톤 연결선 간의 표준 꺾임각을 저장하는 표준 포즈 데이터베이스를 더 포함하고,
   상기 인체 포즈 비교 모듈은:
   상기 스켈레톤 연결선의 길이를 상기 표준 스켈레톤 연결선의 길이와 비교하여 길이 비교 정보를 생성하는 스켈레톤 연결선 길이 비교부;
   상기 꺾임각을 상기 표준 꺾임각과 비교하여 꺾임각 비교 정보를 생성하는 꺾임각 비교부;
   상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도를 산출하는 포즈 유사도 산출부; 및
   상기 인체 포즈와 상기 표준 포즈 간의 포즈 차이를 분석하는 포즈 차이 분석부를 포함하는, 인체 포즈 분석 장치.
8. 사용자의 인체에 대해 획득된 포즈 영상에서 다수의 인체 특징점을 추출하고, 상기 다수의 인체 특징점을 기반으로 스켈레톤 데이터를 생성하고, 상기 스켈레톤 데이터로부터 인체 포즈 특성 데이터를 생성하는 인체 포즈 측정 모듈;
   상기 인체 포즈 특성 데이터와, 표준 포즈와 관련하여 설정된 표준 포즈 특성 데이터 간의 포즈 유사도 및 포즈 차이를 결정하여 상기 사용자의 인체 포즈를 분석하는 인체 포즈 비교 모듈; 및
   상기 표준 포즈와 관련된 표준 스켈레톤 연결선의 길이 및 다수의 표준 스켈레톤 연결선 간의 표준 꺾임각을 저장하는 표준 포즈 데이터베이스를 포함하고,
   상기 인체 포즈 측정 모듈은:
   영상 촬영 모듈에 의해 설정 시간 동안 획득된 다수의 영상 프레임으로부터 대상 영상 프레임을 추출하여 상기 포즈 영상을 생성하는 영상 프레임 추출부;
   컨볼루션 신경망에 의해 상기 포즈 영상으로부터 신체 부위별 인체 특징점을 추출하여 상기 스켈레톤 데이터를 생성하는 스켈레톤 데이터 생성부; 및
   상기 스켈레톤 데이터로부터 상기 인체 포즈 특성 데이터를 생성하는 인체 포즈 특성 데이터 생성부를 포함하고,
   상기 인체 포즈 특성 데이터 생성부는:
   상기 스켈레톤 데이터의 다수의 스켈레톤 포인트 간을 연결하는 스켈레톤 연결선을 결정하고, 상기 스켈레톤 연결선의 길이를 산출하는 연결선 길이 산출부;
   각 스켈레톤 포인트에 연결된 다수의 스켈레톤 연결선 간의 꺾임각을 산출하는 꺾임각 산출부; 및
   상기 스켈레톤 연결선의 길이 및 상기 꺾임각을 결합하여 상기 인체 포즈 특성 데이터를 생성하는 포즈 데이터 생성부를 포함하고,
   상기 인체 포즈 비교 모듈은:
   상기 스켈레톤 연결선의 길이를 상기 표준 스켈레톤 연결선의 길이와 비교하여 길이 비교 정보를 생성하는 스켈레톤 연결선 길이 비교부;
   상기 꺾임각을 상기 표준 꺾임각과 비교하여 꺾임각 비교 정보를 생성하는 꺾임각 비교부;
   상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도를 산출하는 포즈 유사도 산출부; 및
   상기 인체 포즈와 상기 표준 포즈 간의 포즈 차이를 분석하는 포즈 차이 분석부를 포함하고,
   상기 인체 포즈 비교 모듈은:
   상기 표준 포즈와 관련된 다수의 표준 포즈 데이터의 표준 스켈레톤 연결선 길이 및 표준 스켈레톤 연결선들 간의 꺾임각을 비교하고, 상기 다수의 표준 포즈 데이터 중 유사도가 기준값을 초과하는 데이터 영역을 결정하여 상기 사용자의 인체 포즈를 분석하기 위한 대상 스켈레톤 영역을 추출하고; 그리고
   상기 대상 스켈레톤 영역에 해당하는 상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도와 포즈 차이를 분석하는, 인체 포즈 분석 장치.
9. 인체 포즈 측정 모듈에 의해, 사용자의 인체에 대해 획득된 포즈 영상에서 다수의 인체 특징점을 추출하고, 상기 다수의 인체 특징점을 기반으로 스켈레톤 데이터를 생성하고, 상기 스켈레톤 데이터를 기반으로 인체 포즈 특성 데이터를 생성하는 단계; 및
   인체 포즈 비교 모듈에 의해, 상기 인체 포즈 특성 데이터와, 표준 포즈와 관련하여 설정된 표준 포즈 특성 데이터 간의 포즈 유사도 및 포즈 차이를 결정하고, 상기 포즈 유사도 및 상기 포즈 차이를 기반으로 상기 사용자의 인체 포즈를 분석하는 단계를 포함하고,
   상기 인체 포즈 특성 데이터를 생성하는 단계는:
   영상 프레임 추출부에 의해, 영상 촬영 모듈에 의해 설정 시간 동안 획득된 다수의 영상 프레임으로부터 대상 영상 프레임을 추출하여 상기 포즈 영상을 생성하는 단계를 포함하고,
   상기 포즈 영상을 생성하는 단계는:
   영상 화질 분석부에 의해, 상기 다수의 영상 프레임의 객체 흔들림 및 객체 선명도를 산출하여 각 영상 프레임의 영상 화질을 분석하는 단계;
   대상 영상 프레임 추출부에 의해, 상기 영상 화질을 기반으로 상기 다수의 영상 프레임 중 다수의 대상 영상 프레임을 추출하는 단계;
   평균 영상 프레임 생성부에 의해, 상기 다수의 대상 영상 프레임의 평균 영상 데이터 값을 산출하여 평균 영상 프레임을 산출하는 단계;
   영상 프레임 유사도 산출부에 의해, 상기 다수의 대상 영상 프레임과 상기 평균 영상 프레임 간의 유사도를 산출하는 단계; 및
   포즈 영상 결정부에 의해, 상기 평균 영상 프레임과 가장 유사도가 높은 대상 영상 프레임을 상기 포즈 영상으로 결정하는 단계를 포함하는, 인체 포즈 분석 방법.
10. 제9항에 있어서,
    상기 인체 포즈 특성 데이터를 생성하는 단계는:
    스켈레톤 데이터 생성부에 의해, 컨볼루션 신경망에 의해 상기 포즈 영상으로부터 신체 부위별 인체 특징점을 추출하여 상기 스켈레톤 데이터를 생성하는 단계; 및
    인체 포즈 특성 데이터 생성부에 의해, 상기 스켈레톤 데이터로부터 상기 인체 포즈 특성 데이터를 생성하는 단계를 포함하는, 인체 포즈 분석 방법.
11. 삭제
12. 제10항에 있어서,
    상기 스켈레톤 데이터를 생성하는 단계는:
    특징점 추출부에 의해, 상기 포즈 영상에서 설정된 신체 부위에 해당하는 특징점을 인식하여 상기 다수의 인체 특징점을 추출하는 단계;
    중심 포인트 설정부에 의해, 상기 다수의 인체 특징점 중 어깨선과 목이 만나는 위치의 특징점 및 골반 위치의 특징점을 중심 포인트로 설정하는 단계;
    스켈레톤 중심축 설정부에 의해, 상기 중심 포인트를 기반으로 스켈레톤 중심축을 설정하는 단계;
    스켈레톤 포인트 분류부에 의해, 다수의 인체 특징점을 신체 부위별 스켈레톤 포인트로 분류하는 단계; 및
    스켈레톤 연결부에 의해, 상기 스켈레톤 중심축 및 상기 스켈레톤 포인트를 연결하여 상기 스켈레톤 데이터를 생성하는 단계를 포함하는, 인체 포즈 분석 방법.
13. 제10항에 있어서,
    상기 인체 포즈 특성 데이터를 생성하는 단계는:
    연결선 길이 산출부에 의해, 상기 스켈레톤 데이터의 다수의 스켈레톤 포인트 간을 연결하는 스켈레톤 연결선을 결정하고, 상기 스켈레톤 연결선의 길이를 산출하는 단계;
    꺾임각 산출부에 의해, 각 스켈레톤 포인트에 연결된 다수의 스켈레톤 연결선 간의 꺾임각을 산출하는 단계; 및
    포즈 데이터 생성부에 의해, 상기 스켈레톤 연결선의 길이 및 상기 꺾임각을 결합하여 상기 인체 포즈 특성 데이터를 생성하는 단계를 포함하는, 인체 포즈 분석 방법.
14. 제13항에 있어서,
    표준 포즈 데이터베이스에 상기 표준 포즈와 관련된 표준 스켈레톤 연결선의 길이 및 다수의 표준 스켈레톤 연결선 간의 표준 꺾임각을 저장하는 단계를 더 포함하고,
    상기 사용자의 인체 포즈를 분석하는 단계는:
    스켈레톤 연결선 길이 비교부에 의해, 상기 스켈레톤 연결선의 길이를 상기 표준 스켈레톤 연결선의 길이와 비교하여 길이 비교 정보를 생성하는 단계;
    꺾임각 비교부에 의해, 상기 꺾임각을 상기 표준 꺾임각과 비교하여 꺾임각 비교 정보를 생성하는 단계;
    포즈 유사도 산출부에 의해, 상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도를 산출하는 단계; 및
    포즈 차이 분석부에 의해, 상기 인체 포즈와 상기 표준 포즈 간의 포즈 차이를 분석하는 단계를 포함하는, 인체 포즈 분석 방법.
15. 인체 포즈 측정 모듈에 의해, 사용자의 인체에 대해 획득된 포즈 영상에서 다수의 인체 특징점을 추출하고, 상기 다수의 인체 특징점을 기반으로 스켈레톤 데이터를 생성하고, 상기 스켈레톤 데이터를 기반으로 인체 포즈 특성 데이터를 생성하는 단계;
    인체 포즈 비교 모듈에 의해, 상기 인체 포즈 특성 데이터와, 표준 포즈와 관련하여 설정된 표준 포즈 특성 데이터 간의 포즈 유사도 및 포즈 차이를 결정하고, 상기 포즈 유사도 및 상기 포즈 차이를 기반으로 상기 사용자의 인체 포즈를 분석하는 단계; 및
    표준 포즈 데이터베이스에 상기 표준 포즈와 관련된 표준 스켈레톤 연결선의 길이 및 다수의 표준 스켈레톤 연결선 간의 표준 꺾임각을 저장하는 단계를 포함하고,
    상기 인체 포즈 특성 데이터를 생성하는 단계는:
    영상 프레임 추출부에 의해, 영상 촬영 모듈에 의해 설정 시간 동안 획득된 다수의 영상 프레임으로부터 대상 영상 프레임을 추출하여 상기 포즈 영상을 생성하는 단계;
    스켈레톤 데이터 생성부에 의해, 컨볼루션 신경망에 의해 상기 포즈 영상으로부터 신체 부위별 인체 특징점을 추출하여 상기 스켈레톤 데이터를 생성하는 단계; 및
    인체 포즈 특성 데이터 생성부에 의해, 상기 스켈레톤 데이터로부터 상기 인체 포즈 특성 데이터를 생성하는 단계를 포함하고,
    상기 인체 포즈 특성 데이터를 생성하는 단계는:
    연결선 길이 산출부에 의해, 상기 스켈레톤 데이터의 다수의 스켈레톤 포인트 간을 연결하는 스켈레톤 연결선을 결정하고, 상기 스켈레톤 연결선의 길이를 산출하는 단계;
    꺾임각 산출부에 의해, 각 스켈레톤 포인트에 연결된 다수의 스켈레톤 연결선 간의 꺾임각을 산출하는 단계; 및
    포즈 데이터 생성부에 의해, 상기 스켈레톤 연결선의 길이 및 상기 꺾임각을 결합하여 상기 인체 포즈 특성 데이터를 생성하는 단계를 포함하고,
    상기 사용자의 인체 포즈를 분석하는 단계는:
    스켈레톤 연결선 길이 비교부에 의해, 상기 스켈레톤 연결선의 길이를 상기 표준 스켈레톤 연결선의 길이와 비교하여 길이 비교 정보를 생성하는 단계;
    꺾임각 비교부에 의해, 상기 꺾임각을 상기 표준 꺾임각과 비교하여 꺾임각 비교 정보를 생성하는 단계;
    포즈 유사도 산출부에 의해, 상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도를 산출하는 단계; 및
    포즈 차이 분석부에 의해, 상기 인체 포즈와 상기 표준 포즈 간의 포즈 차이를 분석하는 단계를 포함하고,
    상기 사용자의 인체 포즈를 분석하는 단계는:
    상기 표준 포즈와 관련된 다수의 표준 포즈 데이터의 표준 스켈레톤 연결선 길이 및 표준 스켈레톤 연결선들 간의 꺾임각을 비교하고, 상기 다수의 표준 포즈 데이터 중 유사도가 기준값을 초과하는 데이터 영역을 결정하여 상기 사용자의 인체 포즈를 분석하기 위한 대상 스켈레톤 영역을 추출하고; 그리고
    상기 대상 스켈레톤 영역에 해당하는 상기 길이 비교 정보와 상기 꺾임각 비교 정보를 기반으로 상기 사용자의 인체 포즈와 상기 표준 포즈 간의 유사도와 포즈 차이를 분석하는, 인체 포즈 분석 방법.
16. 제9항, 제10항, 제12항, 제13항, 제14항 및 제15항 중 어느 한 항의 인체 포즈 분석 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.

Images