KR102137445B1

KR102137445B1 - 이미지 프로세싱을 이용한 자세분석 방법과 자세분석 시스템

Info

Publication number: KR102137445B1
Application number: KR1020200036619A
Authority: KR
Inventors: 신규승
Original assignee: 신규승
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2020-07-24

Abstract

본 발명은 사용자의 자세 이미지를 실시간으로 수집하고 분석해서 현재 자세의 변화 여부를 감지하고 자세 교정을 위해서 사용자를 자각시키는 이미지 프로세싱을 이용한 자세분석 방법과 자세분석 시스템에 관한 것으로, 자세분석 프로세서와 카메라가 데이터 통신하는 자세분석 시스템에서, 상기 자세분석 프로세서의 오브젝트 추출모듈이 촬영이미지의 픽셀을 분석해서 오브젝트를 추출하고 유효구간을 지정하는 제1단계; 상기 자세분석 프로세서의 픽셀이미지 확인모듈이 유효구간 이외의 픽셀은 노이즈로 제거하고 프레임을 설정하는 제2단계; 시간 차가 있는 프레임의 픽셀을 상기 자세분석 프로세서의 픽셀변화 확인모듈이 분석해서 픽셀의 변화구간을 파악하는 제3단계; 상기 픽셀이미지 확인모듈이 지정된 프레임의 이미지에 변화구간의 픽셀이미지를 오버랩하는 제4단계; 상기 촬영이미지의 오브젝트에 정의된 기본정보를 기준으로, 상기 픽셀이미지 확인모듈이 변화구간에서 분석 대상인 신체의 등에 해당하는 타깃구간을 지정하고, 상기 타깃구간 이외의 픽셀은 노이즈로 제거하는 제5단계; 상기 자세분석 프로세서의 그래프 분석모듈이 타깃구간에 대응한 1차 곡선그래프를 생성하는 제6단계; 상기 그래프 분석모듈이 곡선그래프의 곡률과 지점별 기울기를 분석해서 오브젝트의 이미지 형태를 파악하는 제7단계;를 포함하는 것이다.

Description

이미지 프로세싱을 이용한 자세분석 방법과 자세분석 시스템{Posture analysis method and posture analysis system using image processing}

본 발명은 사용자의 자세 이미지를 실시간으로 수집하고 분석해서 현재 자세의 상태와 변화 여부를 감지하고 자세 교정을 위해서 사용자를 자각시키는 이미지 프로세싱을 이용한 자세분석 방법과 자세분석 시스템에 관한 것이다.

현대 문명의 변화와 기술 발전에 동반되는 수많은 사회 문제점 중 하나는 인간의 건강 문제이다. 건강 문제는 최근 웰빙 바람과 더불어 사람들이 주목하는 개선 과제였고, 이를 통해 신체적, 정신적 건강을 높이기 위한 다양한 방안이 연구 및 개발되었다.

직장 사무와 학업 등의 실내 업무 시간이 증가하면서 사람은 앉아있는 시간이 증가했고, 모바일 등의 휴대기기 기술이 발전하고 대중화되면서 사람들은 이동 중에도 모바일을 사용하는 시간이 증가했다. 이로 인해 사람들은 자신들의 편의에 맞는 착석 자세와, 휴대기기 이용 자세를 취하는데, 이러한 자세는 대부분이 자신의 편의에만 맞춘 불량한 자세이므로 사람의 바른 체형을 해치는 원인이 되었다. 결국, 사람의 체형과는 맞지 않는 불량한 자세는 척추 측만증, 전만증, 후만증, 거북목, 디스크, 척추분리증, 근 위축, 소화 불량, 두통, 만성피로와 같은 만성질환을 유발하는 원인이었다.

최근 들어 사람의 훼손된 체형을 교정하고 예방하는 의료보조기구 등의 각종 용품이 개발되었다. 그런데 종래 용품은 사용의 불편함과 더불어 높은 가격 등으로 인해 대중화에는 한계가 있었고, 종래 용품은 사람의 신체를 물리적으로 가압해서 단시간에 강제 교정하는 방식이므로 오히려 사용자의 신체에 무리를 주어 체형 교정 과정에서 역효과를 줄 수 있었다.

결국, 올바른 체형 교정은 물론 신체에 무리를 주지 않으며 장기적인 자세 교정에도 신체의 부담과 사용상의 불편이 없는 용품과 자세 분석 기술 등의 개발이 시급히 요구되었다.

선행기술문헌 1. 특허등록번호 제10-1480026호(2015.01.08 공고)

이에 본 발명은 상기의 문제를 해소하기 위한 것으로, 장기적인 자세 교정에도 불편함 없이 지속할 수 있고 교정 과정에서 신체에 무리를 주거나 행동에 제약을 가하지 않으며 사용자가 자신의 자세변화를 빠르게 자각해서 자발적으로 자신의 자세를 교정할 수 있도록 하는 이미지 프로세싱을 이용한 자세분석 방법과 자세분석 시스템의 제공을 해결하고자 하는 과제로 한다.

상기의 과제를 달성하기 위하여 본 발명은,

자세분석 프로세서와 카메라가 데이터 통신하는 자세분석 시스템에서, 상기 자세분석 프로세서의 오브젝트 추출모듈이 촬영이미지의 픽셀을 분석해서 오브젝트를 추출하고 유효구간을 지정하는 제1단계;

상기 자세분석 프로세서의 픽셀이미지 확인모듈이 유효구간 이외의 픽셀은 노이즈로 제거하고 프레임을 설정하는 제2단계;

시간 차가 있는 프레임의 픽셀을 상기 자세분석 프로세서의 픽셀변화 확인모듈이 분석해서 픽셀의 변화구간을 파악하는 제3단계;

상기 픽셀이미지 확인모듈이 지정된 프레임의 이미지에 변화구간의 픽셀이미지를 오버랩하는 제4단계;

상기 촬영이미지의 오브젝트에 정의된 기본정보를 기준으로, 상기 픽셀이미지 확인모듈이 변화구간에서 분석 대상인 신체의 등에 해당하는 타깃구간을 지정하고, 상기 타깃구간 이외의 픽셀은 노이즈로 제거하는 제5단계;

상기 자세분석 프로세서의 그래프 분석모듈이 타깃구간에 대응한 1차 곡선그래프를 생성하는 제6단계; 및

상기 그래프 분석모듈이 곡선그래프의 곡률과 지점별 기울기를 분석해서 오브젝트의 이미지 형태를 파악하는 제7단계;

를 포함하는 이미지 프로세싱을 이용한 자세분석 방법이다.

상기의 본 발명은, 집안이나 사무실 및 학교 등에서 장기간에 걸쳐 바르지 못한 앉은 자세를 유지해온 사람에게 흔하게 발생 되는 질병을 사전에 예방할 수 있고, 일상생활에 불편함 없이 손쉽게 자신의 자세를 파악해서 자세를 교정할 수 있으며, 높은 사양의 시스템을 구축하지 않아도 상대적으로 정밀하게 자세를 파악할 수 있는 효과가 있다.

도 1은 본 발명에 따른 신체 자세분석을 위한 시스템 셋업 모습을 개략적으로 도시한 도면이고,
도 2는 본 발명에 따른 자세분석 시스템의 구성을 도시한 블록도이고,
도 3은 본 발명에 따른 자세분석 방법을 순차로 도시한 플로차트이고,
도 4는 본 발명에 따른 자세분석 방법의 유효구간 설정 모습을 보인 이미지이고,
도 5와 도 6은 본 발명에 따른 자세분석 방법의 변화구간을 파악해서 타깃구간을 지정하는 모습을 보인 이미지이고,
도 7은 상기 타깃구간의 노이즈를 제거하는 과정을 보인 이미지이고,
도 8은 상기 타깃구간을 기반으로 생성한 1차 곡선그래프와 일차함수 그래프를 보인 좌표이미지이고,
도 9는 상기 일차함수 그래프의 교차 범위가 확장된 모습을 보인 좌표이미지이고,
도 10은 상기 1차 곡선그래프를 최적화하여 생성한 신체 자세별 2차 곡선그래프를 보인 이미지이고,
도 11은 본 발명에 따른 자세분석 방법에서 촬영이미지에 2차 곡선그래프를 합성해 보인 이미지이고,
도 12는 본 발명에 따른 자세분석 방법으로 분석된 자세변화를 동영상 차원에서 분석해 보인 그래프 이미지이다.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.

이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.

도 1은 본 발명에 따른 신체 자세분석을 위한 시스템 셋업 모습을 개략적으로 도시한 도면이고, 도 2는 본 발명에 따른 자세분석 시스템의 구성을 도시한 블록도이다.

도 1과 도 2를 참조하면, 본 실시의 자세분석 시스템은, 자세교정 대상자의 신체를 촬영하는 카메라(C)와, 카메라(C)로부터 수신한 촬영데이터의 시간대별 촬영이미지를 분석해서 자세교정 대상의 자세모습과 자세변화를 확인하는 자세분석 프로세서(100)로 구성된다.

자세분석 프로세서(100)는, 촬영이미지에서의 대상자(H) 위치와 대상자(H)가 취하는 자세의 방향과 촬영된 대상자의 신체 범위 등의 기본정보를 설정하는 이미지 정의모듈(110)과, 촬영이미지의 픽셀을 분석해서 대상자 이미지인 오브젝트를 추출하는 오브젝트 추출모듈(120)과, 상기 오브젝트에서 대상자 이미지 픽셀의 변화를 확인하여 변화구간을 지정하는 픽셀변화 확인모듈(140); 상기 촬영이미지 및 오브젝트의 노이즈를 제거하고 변화구간에서 분석 대상인 타깃구간을 지정하는 픽셀이미지 확인모듈(130)과, 상기 타깃구간의 픽셀 위치를 그래프 형태로 변환해서 1차 곡선그래프를 생성하고 곡률과 지점별 기울기를 파악하는 그래프 분석모듈(150)을 포함한다.

또한, 카메라(C)의 촬영이미지와 이미지 정의모듈(110)의 기본정보와 오브젝트 정보와 변화구간 및 타깃구간 정보와 1,2차 곡선그래프 정보 및 곡률 정보와 기울기 정보를 저장하는 저장모듈(170)을 더 포함한다.

본 실시의 자세분석 프로세서(100)는 착석 상태의 대상자(H)를 측면에서 촬영한 비디오 정보에서 지정된 시간대별로 촬영이미지를 추출하여 대상자 이미지를 분석하는데, 대상자 이미지는 대상자(H)의 포즈에 따라 변형되므로, 촬영이미지별로 다양한 형태의 대상자 이미지가 확인된다. 상기 대상자 이미지 분석을 위한 기준으로 이미지 정의모듈(110)은 촬영이미지의 기본정보를 설정한다. 여기서 상기 기본정보는 촬영이미지에서의 대상자(H) 위치, 대상자(H)의 착석 방향, 대상자 이미지에 포함되는 대상자(H)의 신체 범위 등일 수 있는데, 본 실시의 신체 범위는 머리와 상체이다. 상기 기본정보가 설정되면, 자세분석 프로세서(100)는 촬영이미지에 대상자(H)의 머리와 상체가 구성된 것을 바탕으로 촬영이미지를 분석하고 착석 방향을 통해 대상자 이미지에서 어느 구간이 신체의 전면과 후면인지를 정의할 수 있다.

오브젝트 추출모듈(120)은 촬영이미지의 픽셀을 분석해서 대상자 이미지를 포함한 오브젝트를 추출한다. 카메라(C)의 촬영이미지는 실질적인 분석 대상인 대상자 이미지 이외에 다양한 배경 이미지가 포함된다. 그런데 배경 이미지 분석은 자세분석 프로세서(100)의 연산처리에 부담을 주므로, 실질적인 분석 대상인 대상자 이미지를 포함한 오브젝트를 촬영이미지에서 추출해서 프레임 설정한다.

픽셀변화 확인모듈(140)은 시간 차가 있는 2개의 프레임을 비교해서 픽셀값의 변화가 있는 대상 픽셀을 확인하고 변화구간을 지정한다. 상기 변화구간은 대상자 이미지의 형태 변화를 파악하기 위한 주요 포인트로서, 변화구간의 해당 픽셀 바탕으로 곡선그래프를 생성하고 대상자(H)의 자세 변화와 정도를 확인한다.

픽셀이미지 확인모듈(130)은 촬영이미지와 오브젝트와 변화구간 및 타깃구간의 노이즈를 제거한다. 또한, 상기 변화구간에서 자세분석 프로세서(100)의 실질적인 분석 대상인 타깃구간을 지정한다.

그래프 분석모듈(150)은 상기 타깃구간의 픽셀 위치를 그래프 형태로 변환한다. 상기 타깃구간은 대상자(H)의 등 부분이므로, 대상자(H)의 착석 자세에 따라 곡선 형태를 이룬다. 따라서 상기 타깃구간에 대응하는 그래프는 곡선 형태를 이루고, 그래프 분석모듈(150)은 해당 곡선그래프의 곡률과 지점별 기울기를 파악해서 대상자(H)의 자세를 파악한다.

이외에도 본 발명에 따른 자세분석 프로세서(100)는 비디오 분석모듈(160)을 더 포함한다. 비디오 분석모듈(160)은 촬영이미지 차원에서 확인된 대상자(H)의 자세를 동영상 차원으로 확대해서 변화를 확인하는 것으로, 이에 대한 설명은 아래에서 다시 한다.

이상 설명한 본 발명에 따른 자세분석 프로세서(100)의 모듈(110, 120, 130, 140, 150, 160, 170)은 대상자(H)의 실시간 자세분석을 위한 필수 알고리즘으로서, 각 모듈의 동작과 이로 인한 발생 데이터 등을 자세분석 방법의 설명에서 보다 명확히 한다.

도 3은 본 발명에 따른 자세분석 방법을 순차로 도시한 플로차트이고, 도 4는 본 발명에 따른 자세분석 방법의 유효구간 설정 모습을 보인 이미지이고, 도 5와 도 6은 본 발명에 따른 자세분석 방법의 변화구간을 파악해서 타깃구간을 지정하는 모습을 보인 이미지이고, 도 7은 상기 타깃구간의 노이즈를 제거하는 과정을 보인 이미지이고, 도 8은 상기 타깃구간을 기반으로 생성한 1차 곡선그래프와 일차함수 그래프를 보인 좌표이미지이고, 도 9는 상기 일차함수 그래프의 교차 범위가 확장된 모습을 보인 좌표이미지이고, 도 10은 상기 1차 곡선그래프를 최적화하여 생성한 신체 자세별 2차 곡선그래프를 보인 이미지이고, 도 11은 본 발명에 따른 자세분석 방법에서 촬영이미지에 2차 곡선그래프를 합성해 보인 이미지이다.

도 2 내지 도 11을 참조하면, 본 발명에 따른 자세분석 방법은 자세분석 시스템을 기반으로 진행되며, 그 과정은 다음과 같다.

S10; 촬영이미지의 오브젝트 구간 지정

오브젝트 추출모듈(120)이 촬영이미지의 픽셀을 분석해서 오브젝트를 추출하고 유효구간을 지정한다. 전술한 바와 같이 카메라(C)의 촬영이미지에는 촬영범위와 촬영이미지의 대상자(H) 위치와 대상자(H)의 착석 방향과 촬영된 대상자(H)의 신체 범위 등이 기본정보로서 설정된다. 따라서 오브젝트 추출모듈(120)은 촬영이미지의 픽셀 분석을 통해 대상자 이미지를 파악할 수 있다.

이를 좀 더 구체적으로 설명하면, 촬영이미지는 노이즈 발생이 불가피하다. 또한, 자세분석 프로세서(100)의 처리속도 개선을 위해서 처리 대상의 크기를 최소화하는 것이 바람직하다. 따라서, 오브젝트 추출모듈(120)은 촬영이미지의 노이즈 필터링과 처리 대상 축소화를 위해서 대상자(H)가 존재하는 구간만을 분리한다.

본 실시의 오브젝트 추출모듈(120)은 도 4와 같이 YOLO(You Only Look Once) 알고리즘을 이용해서 대상자 이미지의 위치를 파악한다. 도 4를 좀 더 설명하면, 빨간색 사각형은 YOLO 알고리즘이 찾아낸 촬영이미지 내 가장 큰 대상자(H)의 위치다. 그러나 만약 이미지를 적색 라인의 범위로만 분석한다면 대상자(H)의 자세를 모두 수집할 수 없으므로, 적색 라인의 둘레를 청색 라인까지 확대하여 유효구간을 설정한다.

따라서 자세분석 프로세서(100)는 촬영이미지 분석을 상대적으로 저 사양의 장치만으로도 빠르게 연산처리할 수 있다.

실험 결과 본 실시의 유효구간 범위는 적색 라인 범위에 비해 10% 증가시킨 것만으로도 대상자(H)의 모든 움직임 구속이 가능하다.

한편, 오브젝트 추출모듈(120)의 YOLO 알고리즘은 촬영이미지에서 다수의 오브젝트를 추출할 수 있는데, 상기 기본정보에는 대상자(H)의 위치 정보가 포함되므로, 이를 바탕으로 다수의 오브젝트 중 해당 위치에 있는 오브젝트를 대상자(H)로 인지하고 대상자 이미지로 확정한다.

참고로, YOLO 알고리즘은 촬영이미지를 격자 그리드로 나누어 한 번에 클래스를 판단하고 이를 통합해 최종 객체를 구분하는 방식으로서, region proposal이라는 수백 개의 이미지 후보를 생성하고 각각에 대해서 분류하는 방식인 R-CNN과는 차이가 있다. 그러나 본 실시의 오브젝트 추출모듈(120)의 동작은 YOLO 알고리즘에 한정하는 것은 아니며, R-CNN을 통해 구동할 수도 있다.

S20; 1차 노이즈 제거

픽셀이미지 확인모듈(130)이 유효구간 이외의 픽셀은 노이즈로 제거하고 프레임을 설정한다. 촬영이미지에서 분석 대상은 대상자 이미지이므로, 상기 유효구간 이외의 이미지는 분석 대상이 아닌 노이즈에 불과하다. 따라서 자세분석 시스템(100)의 처리속도 개선과 처리용량 축소를 위해서 불필요한 노이즈인 유효구간 이외의 픽셀은 모두 제거하고, 상기 유효구간으로 확정된 대상은 촬영이미지의 프레임으로 확정한다.

여기서 상기 프레임은 촬영이미지의 촬영시간과 유효구간의 픽셀범위 등의 베이스정보를 포함한다.

S30; 프레임별 픽셀 변화 확인

본 실시의 픽셀변화 확인모듈(140)이 시간 차가 있는 프레임의 픽셀을 분석해서 픽셀의 변화구간을 파악한다. 따라서 대상자 이미지의 범위가 넓거나 대상자 이미지의 움직임이 크면 변화하는 픽셀의 개수는 증가한다.

도 5의 Img1 이미지와 Img2 이미지는 육안으로는 대상자 이미지의 차이를 인지할 수 없다. 그러나 픽셀변화 확인모듈(140)이 픽셀단위로 Img1 이미지와 Img2 이미지의 차이를 보면 Img1-Img2 이미지와 같이 변화된 픽셀들을 확인할 수 있다. 즉, 육안으로는 확인할 수 없으나, 픽셀값 변화 확인을 통해 대상자(H)가 미세하게 움직였음을 확인할 수 있는 것이다. 물론 검은 머리와 적색 티셔츠와 같이 동일한 컬러의 픽셀은 그 차이가 미세하므로, 픽셀변화 확인모듈(140)은 변화된 픽셀로 인지하지 않는다.

변화된 픽셀을 확인하면 본 실시의 픽셀변화 확인모듈(140)은 해당 픽셀을 2진화(binarize) 처리해서 Img1-Img2 이미지와 같이 통일시키고 변화구간으로 확정한다.

S40; 지정 프레임의 이미지에 변화구간 픽셀이미지 오버랩

픽셀이미지 확인모듈(130)이 지정된 프레임의 이미지에 변화구간의 픽셀이미지를 오버랩한다. 상기 변화구간은 대상자(H)의 움직임에 의해 생성되므로, 변화 정도와 범위를 시각적으로 비교할 수 있도록 도 5의 Overlayed 이미지와 같이 상대적으로 이전 시간의 프레임에 오버랩한다.

전술한 바와 같이, 변화구간의 해당 픽셀이 2진화를 통해 백색을 표현하므로, 프레임에 오버랩된 변화구간은 프레임의 유효구간에서 시각적으로 명확히 식별된다. 결국, Overlayed 이미지에서 확인할 수 있듯이 변화구간은 대상자(H)의 신체 외곽을 따라 오버랩되므로, 상기 변화구간이 곧 신체의 형태임이 확인된다.

본 실시에서 픽셀이미지 확인모듈(130)은 비교 대상 프레임들 중 상대적으로 이전 시간의 프레임에 변화구간의 픽셀을 오버랩하였으나, 이후 시간의 프레임에 변화구간의 픽셀을 오버랩할 수도 있음은 물론이다.

S50; 2차 노이즈 제거

촬영이미지의 오브젝트에 정의된 기본정보를 기준으로, 픽셀이미지 확인모듈(130)이 변화구간에서 분석 대상인 신체의 등에 해당하는 타깃구간을 지정하고, 상기 타깃구간 이외의 픽셀은 노이즈로 제거한다.

이미지 정의모듈(110)이 설정한 기본정보는 대상자(H)의 착석 방향에 관한 정보를 포함하므로, 픽셀이미지 확인모듈(130)은 상기 기본정보를 기반으로 도 5의 Overlayed 이미지 내에 대상자 이미지에서 대상자(H)의 등 부분이 좌측과 우측 중 어느 부분인지 판단할 수 있다. 본 실시의 대상자 이미지에서 좌측은 신체의 전면이고, 우측은 신체의 후면임이 확인된다. 결국, 픽셀이미지 확인모듈(130)은 변화구간에서 도 6과 같이 상대적으로 우측에 위치하는 픽셀을 신체의 후면으로 간주하여 타깃구간으로 지정하고, 이외의 픽셀은 모두 노이즈로서 제거한다.

참고로, 본 실시의 픽셀이미지 확인모듈(130)은 픽셀의 2차원 위치값(x, y)을 확인해서 동일한 y값을 갖는 둘 이상의 픽셀 중 상대적으로 x값이 작은 픽셀은 노이즈로 제거하고 상대적으로 x값이 큰 픽셀만을 타깃구간의 픽셀로 지정한다.

계속해서, 타깃구간은 도 6과 같이 대상자(H) 신체의 등 부분 뿐만아니라 팔 부분과 어깨 부분 등에도 잔존한다. 따라서 등 부분 이외의 픽셀은 노이즈로 제거해야 한다.

상기 노이즈 제거를 위해 픽셀이미지 확인모듈(130)은 파이썬과 OpenCV 등의 알고리즘 기술을 이용해서 타깃구간의 구성 픽셀의 분포도를 일차함수로 최적화한다. 최적화된 일차함수를 기준으로 픽셀이미지 확인모듈(130)은 타깃구간의 구성 픽셀에서 약 20% ~ 30%의 노이즈 픽셀을 제거하고, 남아있는 타깃구간의 구성 픽셀의 분포도에 대한 일차원 최적화 함수(일차함수)를 새롭게 생성해서 이를 기준으로 노이즈 픽셀을 제거한다. 즉, 일차원 최적화 함수를 새롭게 생성하며 노이즈 픽셀을 제거함으로써 도 7과 같이 첫 번째 필터링보다 두 번째 및 세 번째 필터링에서 보다 정확하면서도 타깃구간에는 구성되어야 할 픽셀은 보존되도록 노이즈가 제거되었다.

도 7에서 타깃구간의 픽셀 원본을 보인 No Removal 이미지는 픽셀이미지 확인모듈(130)의 수차례에 걸친 상기 노이즈 제거 방식을 통해 Removal 1 이미지와 Removal 2 이미지와 Removal 3 이미지로 노이즈 픽셀이 제거되어서, 타깃구간에 구성되어야 할 픽셀만이 잔존하였다.

참고로, 본 실시에서 한 번에 모든 노이즈를 제거하면 타깃구간에서 70%의 픽셀만 남았지만, 세 번에 걸쳐 순차로 반복해 제거하면 72.9%의 픽셀이 남게 되어서 2.9%의 픽셀이 보존되었다.

S60; 오브젝트의 타깃구간에 대응한 1차 곡선그래프를 생성

그래프 분석모듈(150)이 타깃구간에 대응한 1차 곡선그래프를 생성한다. 즉, 그래프 분석모듈(150)은 타깃구간에 구성된 픽셀의 위치값을 기준으로 그래프화하는 것이다.

본 실시에서 그래프 분석모듈(150)은 Removal 3 이미지의 황색 라인인 타깃구간을 matplotlib.pyplot 라이브러리를 이용해서 도 8과 같이 그래프화 했다.

S70; 헤드구간 추출하고 제거

그래프 분석모듈(150)이 1차 곡선그래프를 일차함수 그래프로 변환해서 1차 곡선그래프에 교차시키고, 해당 교차점을 기준으로 기본정보에 따라 신체의 머리에 해당하는 픽셀 구간을 추출하여 제거한다.

좀 더 구체적으로 설명하면, 도 8의 1차 곡선그래프를 보면 신체의 일반적인 등의 모양과는 달리 뒤집힌 '3'의 형태를 이룬다. 이는 기본정보에 설정된 바와 같이 대상자 이미지에 포함된 신체 위치는 머리 부분과 상체 부분이기 때문이다. 따라서 본 발명의 자세분석 프로세서(100)는 자세 분석을 위해 실질적인 분석 대상인 등 부분을 제외하고 머리 부분은 노이즈 픽셀로 추출하여 제거한다. 참고로, 타깃구간에서 머리 부분 픽셀 위치값의 y값이 상체 부분 픽셀 위치값의 y값보다 상대적으로 크므로, 상기 타깃구간의 1차 곡선그래프에서 y값이 상대적으로 큰 곡선 구간은 머리 부분이고, 남은 곡선 구간은 상체 부분이다.

계속해서, 그래프 분석모듈(150)은 도 8과 같이 1차 곡선그래프를 최적화하여 일차함수 그래프를 생성한다. 상기한 바와 같이 일차함수로의 최적화는 파이썬과 OpenCV 등의 알고리즘 기술을 적용한다.

이렇게 생성한 일차함수 그래프는 1차 곡선그래프에 합성해서 1차 곡선그래프와 교차시킨다. 따라서, 도 8과 같이 1차 곡선그래프의 상방 돌출한 세 부분이 일차함수 그래프 상단에 위치하고, 하방 돌출한 두 부분은 일차함수 그래프 하단에 위치한다. 여기서 상방 돌출한 세 부분 중 두 번째 부분은 머리 부분과 상체 부분의 경계가 된다.

그런데 상기 1차 곡선그래프는 도 8과 같이 타깃구간의 픽셀을 기준으로 그래프화 하므로, 규칙적인 곡률을 갖지 못하고 상기 1차 곡선그래프가 일차함수 그래프와 반복된 교차가 이루어질 수 있다. 즉, 도 8과 같이 1차 곡선그래프와 일차함수 그래프가 4회 교차해야 함에도 5회 이상 교차해서 머리 부분과 경계 부분과 상체 부분이 정확히 분리되지 못할 수 있는 것이다.

따라서 그래프 분석모듈(150)은 도 9와 같이 일차함수 그래프와 교차하는 1차 곡선그래프의 좌표점 범위를 확장시킨다. 즉, 일차함수 그래프와 교차하는 1차 곡선그래프의 좌표점에서 x값이 '27'이라면, '27'을 중심으로 일정 비율 증가 및 감소시켜서 좌표점의 범위를 확장시키는 것이다. 본 실시 예에서 '27'을 기준으로 10%의 범위를 확장시키면 일차함수 그래프와 곡선그래프가 교차하는 좌표점의 범위는 '24.3' 내지 '29.7'이 되고, 이 범위 이외의 구간에서 머리 부분과 신체 부분을 확인한다.

상기한 바와 같이 1차 곡선그래프에서 머리 부분과 신체 부분이 확인되면, 그래프 분석모듈(150)은 머리 부분의 픽셀 구간, 즉 헤드구간을 노이즈로 삭제하고, 일차함수 그래프의 교차점 이내에 하방 돌출한 구간을 1차 곡선그래프의 등 부분으로 확정한다.

S80; 오브젝트의 타깃구간에 대응한 2차 곡선그래프 생성

그래프 분석모듈(150)이 헤드구간이 제거된 곡선그래프 구간을 이차함수로 최적화해서 도 10 및 도 11과 같은 2차 곡선그래프를 생성한다.

일반적으로 사람의 등은 측면에서 볼 때 포물선 모양을 하므로, 헤드구간이 제거된 곡선그래프를 이차 함수로 최적화하면 대상자(H) 등의 구부러진 정도를 파악할 수 있다. 본 실시의 그래프 분석모듈(150)은 헤드구간이 제거된 곡선그래프를 이차함수 그래프로 최적화하기 위해서 파이썬 알고리즘의 Scipy 라이브러리가 적용됐다.

공지된 바와 같이, 이차함수 그래프를 공식화하면 f(x) = ax² + bx + c의 형태를 가진다 이중 a 값은 그래프의 폭을 나타내므로, 본 실시에서 a 값이 양수이며 값이 클수록 대상자(H)의 자세가 나쁨 상태임을 의미하고, a 값이 '0' 이면 등은 직선 상태이며, 음수이면 대상자(H)의 자세가 좋은 상태임을 의미한다.

그러나. a 값은 통용된 수치가 아니며, 등의 곡률을 계산하기 위해서는 이차 함수의 계수를 변환시켜야 한다.

S90; 곡선그래프 분석

그래프 분석모듈(150)이 곡선그래프의 곡률과 지점별 기울기를 분석해서 오브젝트의 이미지 형태를 파악한다.

도 10의 (a)도면은 티셔츠 이미지로서, 왼쪽부터 shirt1, shirt2, shirt3, shirt4이고, 각 티셔츠는 자세에 따라 변형된 모습을 보인다. 상기 티셔츠 이미지를 전술한 과정을 통해 이차함수로 최종 최적화해서 도 10의 (b)도면과 같이 그래프 분석모듈(150)이 2차 곡선그래프를 생성하면, 상기 2차 곡선그래프는 도 10의 (b)도면과 같이 shirt1, shirt2, shirt3, shirt4 별로 서로 다른 형태를 이룬다. 네 가지의 그래프를 서로 비교해보면 적색 라인과 녹색 라인의 2차 곡선그래프가 가장 많이 굽어 있음이 확인되는데, 이는 shirt2와 shirt3의 자세가 구부러져 있기 때문이다.

한편, shirt2와 shirt3 역시 차이를 보이는데, shirt2는 등이 굽었지만 shirt3은 거북목임이 확인된다. 따라서 shirt3에 대응하는 2차 곡선그래프인 녹색 라인은 좌측만 상대적으로 큰 곡률을 보이고, 우측으로 갈수록 지점별 접선의 기울기가 급격하게 감소한다. 이는 shirt3이 거북목 자세여서 목 부분만이 급격하게 기울어져 있고 등 부분은 비교적으로 올바른 자세를 취하고 있기 때문이다.

계속해서, shirt2에 대응하는 2차 곡선그래프인 적색 라인은 좌측으로 갈수록 지점별 접선의 기울기가 점진적으로 증가한다. 이는 shirt2의 등이 전체적으로 기울어져 있기 때문이다.

이와 같이 2차 곡선그래프의 심화된 분석을 통해 대상자(H)의 자세변화에 대해 다양한 정보를 추출할 수 있고, 도 11과 같이 2차 곡선그래프의 최적화된 일차함수 생성을 통해서 전체적으로 등이 얼마나 기울었는지도 확인할 수 있다.

참고로, 도 11의 (a)도면에서 2차 곡선그래프의 곡률은 0.84이고 최적화된 일차함수의 기울기는 92.58도인 반면에, 도 11의 (b)도면에서 2차 곡선그래프의 곡률은 0.95이고 최적화된 일차함수의 기울기는 110.74도임이 확인된다. 따라서, 도 11의 (b)도면의 대상자(H) 자세는 도 11의 (a)도면의 대상자(H) 자세에 비해 다소 기울어지고 등이 굽어 있음을 수치로서 파악할 수 있다.

도 12는 본 발명에 따른 자세분석 방법으로 분석된 자세변화를 동영상 차원에서 분석해 보인 그래프 이미지이다.

도 2와 도 12를 참조하면, 본 발명에 따른 자세분석 방법은 자세분석 시스템을 기반으로 진행되며, 동영상 차원의 자세변화 분석은 다음과 같다.

S100; 동영상 차원의 분석

본 실시의 비디오 분석모듈(160)은 시간대별로 수집된 촬영이미지 각각의 2차 곡선그래프를 분석한 분석정보를 통합해서 대상자(H)의 자세변화를 파악한다.

전술한 과정과 같이 촬영이미지를 개별적으로 각각 분석해서 해당 시간의 대상자(H)의 자세를 분석할 수도 있지만, 동영상으로 수집되는 정보를 통합 분석해서 대상자(H)의 자세 변화도 파악할 수 있다. 따라서 촬영이미지별로 분석해 수집한 분석정보를 시간단위로 분류하면, 도 12와 같이 일정시간 동안 대상자(H) 자세와 관련한 2차 곡률그래프의 곡률 변화를 그래프화해서, 대상자(H)의 자세가 어떻게 변화하는지를 파악할 수 있다.

참고로, 도 12는 1분 동안의 대상자(H) 자세 변화를 보인 것으로, 작은 곡률 변화는 자세의 미약한 움직임을 의미하고, 상대적으로 큰 곡률 번화는 자세의 큰 움직임을 의미하므로, 이를 기반으로 대상자(H)의 자세 변화에 대해 다양하게 평가하고 자세교정 방법에 대해 제안할 수 있다.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

자세분석 프로세서와 카메라가 데이터 통신하는 자세분석 시스템에서, 상기 자세분석 프로세서의 오브젝트 추출모듈이 촬영이미지의 픽셀을 분석해서 오브젝트를 추출하고 유효구간을 지정하는 제1단계;
상기 자세분석 프로세서의 픽셀이미지 확인모듈이 유효구간 이외의 픽셀은 노이즈로 제거하고 프레임을 설정하는 제2단계;
시간 차가 있는 프레임의 픽셀을 상기 자세분석 프로세서의 픽셀변화 확인모듈이 분석해서 픽셀의 변화구간을 파악하는 제3단계;
상기 픽셀이미지 확인모듈이 지정된 프레임의 이미지에 변화구간의 픽셀이미지를 오버랩하는 제4단계;
상기 촬영이미지의 오브젝트에 정의된 기본정보를 기준으로, 상기 픽셀이미지 확인모듈이 변화구간에서 분석 대상인 신체의 등에 해당하는 타깃구간을 지정하고, 상기 타깃구간 이외의 픽셀은 노이즈로 제거하는 제5단계;
상기 자세분석 프로세서의 그래프 분석모듈이 타깃구간에 대응한 1차 곡선그래프를 생성하는 제6단계; 및
상기 그래프 분석모듈이 곡선그래프의 곡률과 지점별 기울기를 분석해서 오브젝트의 이미지 형태를 파악하는 제7단계;
를 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 자세분석 방법.
제 1 항에 있어서, 상기 제6단계와 제7단계 사이에는,
상기 그래프 분석모듈이 1차 곡선그래프를 일차함수 그래프로 변환해서 1차 곡선그래프에 교차시키고, 해당 교차점을 기준으로 기본정보에 따라 신체의 머리에 해당하는 픽셀 구간을 추출하여 제거하는 헤드구간 제거 단계; 및
상기 그래프 분석모듈이 헤드구간이 제거된 곡선그래프 구간을 파이썬 알고리즘의 Scipy 라이브러리를 통해 이차함수로 최적화해서 2차 곡선그래프를 생성하는 단계;
를 더 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 자세분석 방법.
제 2 항에 있어서, 상기 헤드구간 제거 단계는
상기 그래프 분석모듈이 일차함수 그래프와 교차하는 1차 곡선그래프의 좌표점 범위를 확장하는 것을 특징으로 하는 이미지 프로세싱을 이용한 자세분석 방법.
제 1 항에 있어서,
상기 제5단계에서 픽셀이미지 확인모듈의 노이즈 제거는, 상기 타깃구간의 구성 픽셀에 따라 파이썬 알고리즘 또는 OpenCV 알고리즘을 통해 최적화된 제1 일차함수를 기준으로 일부분의 노이즈 픽셀만을 제거하고, 남아있는 타깃구간의 픽셀에 따라 파이썬 알고리즘 또는 OpenCV 알고리즘을 통해 최적화된 제2 일차함수를 생성해서 제2 일차함수를 기준으로 일부분의 노이즈 픽셀만을 제거하는 방식으로 수회에 걸쳐 타깃구간의 노이즈 픽셀을 제거하는 것;을 특징으로 하는 이미지 프로세싱을 이용한 자세분석 방법.
제 1 항에 있어서,
상기 제5단계에서 픽셀이미지 확인모듈의 노이즈 제거는, 상기 타깃구간의 구성 픽셀의 2차원 위치값을 확인해서 동일한 y값을 갖는 둘 이상의 픽셀 중 상대적으로 x값이 작은 픽셀은 노이즈로 제거하고 상대적으로 x값이 큰 픽셀만을 타깃구간의 픽셀로 지정하는 것;을 특징으로 하는 이미지 프로세싱을 이용한 자세분석 방법.
제 1 항에 있어서,
상기 제3단계에서 픽셀변화 확인모듈은 변화구간으로 확인된 해당 픽셀을 2진화(binarize) 처리하는 것;을 특징으로 하는 이미지 프로세싱을 이용한 자세분석 방법.
제 1 항에 있어서, 상기 제7단계 이후에,
상기 자세분석 프로세서의 비디오 분석모듈이 시간대별로 수집된 촬영이미지 각각의 2차 곡선그래프를 분석한 분석정보를 통합해서 그래프화하는 단계;
를 더 포함하는 것을 특징으로 하는 이미지 프로세싱을 이용한 자세분석 방법.