KR101772055B1 - 피사체의 자세 및 동작 분석 시스템 및 방법 - Google Patents

Abstract

피사체의 자세 및 동작 분석 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 시스템은, 피사체의 분절 부분에 부착되는 복수의 LED 마커를 촬영하여 피사체의 자세 및 동작을 분석하는 피사체의 자세 및 동작 분석 시스템에 있어서, 상기 피사체가 위치하는 프레임에 연결되어 배치되며 상기 피사체의 상단을 촬영하는 상단 카메라와, 상기 프레임에 이격되어 배치되며 상기 피사체의 정면, 후면, 측면을 각각 촬영하는 정면 카메라, 후면 카메라, 측면 카메라를 포함하는 영상 촬영부; 상기 상단 카메라, 상기 정면 카메라, 상기 후면 카메라, 및 상기 측면 카메라로부터 영상을 획득하는 영상 획득부; 상기 영상을 처리하여 상기 복수의 LED 마커의 위치를 검출하는 영상 처리부; 및 상기 복수의 LED 마커의 위치를 기초로 상기 피사체의 자세 및 동작을 분석하는 영상 분석부를 포함한다.

Description

피사체의 자세 및 동작 분석 시스템 및 방법{SYSTEM AND METHOD FOR ANALYSING POSES AND MOTIONS OF SUBJECT}

본 발명은 피사체의 자세 및 동작 분석 시스템 및 방법에 관한 것으로, 보다 상세하게는 피사체의 상단, 정면, 후면, 측면을 촬영하여 다 방향의 운동학적 정보를 분석하고, 실시간으로 사용자의 자세 및 동작을 평가할 수 있는 피사체의 자세 및 동작 분석 시스템 및 방법에 관한 것이다.

고령이거나 질환을 가져 거동이 불편한 노인의 경우, 야외에서 운동을 하는 것은 위험하고 어려운 일이다. 또한, 각종 산업 재해나 교통 사고, 중풍 등의 질환으로 신체를 잘 움직이지 못하는 재활 환자에게는 매일 정해진 시간 동안 규칙적으로 재활 훈련이 필요하다.

최근에는, 재활 훈련의 효과를 높이기 위해, 훈련 시에 운동학적 정보(Kinematics), 운동역학적 정보(Kinetics) 등을 제공하는 자세 및 동작 분석 시스템을 개발하려는 연구가 활발히 진행되고 있다. 또한, 근골격계 운동이 레저 및 헬스 운동 분야와 융합되면서 다양한 형태의 파생 산업이 창출되고 있다.

이에, 자세 및 동작 분석 시스템은 단순한 헬스는 물론 재활 치료적인 개념이 접목된 헬스케어 제품으로 재활치료 및 실버 시장에 적용될 수 있는 시스템 개발이 요구된다.

그런데, 기존의 자세 및 동작 분석 시스템은 재활 훈련을 받고 난 뒤에 데이터를 분석하는 방식으로 되어 있어, 사용자에게 실시간으로 생체 정보를 제공하지 못하고 있다. 또한, 기존의 분석 시스템은 다른 마커를 잘못 인식하여 관절 각도의 오류가 발생할 수 있다.

대한민국 공개특허 제2012-0017948호 (2012.02.29. 공개)

본 발명은 상기 문제점을 해결하기 위한 것으로, 피사체의 상단, 정면, 후면, 측면에 카메라를 장착하여 각 방향의 자세를 캡쳐하여 분석하고, 각 관절에 따른 각도 및 위치 변화를 실시간으로 분석할 수 있는 피사체의 자세 및 동작 분석 시스템을 제공한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 시스템은, 피사체의 분절 부분에 부착되는 복수의 LED 마커를 촬영하여 피사체의 자세 및 동작을 분석하는 피사체의 자세 및 동작 분석 시스템에 있어서, 상기 피사체가 위치하는 프레임에 연결되어 배치되며 상기 피사체의 상단을 촬영하는 상단 카메라와, 상기 프레임에 이격되어 배치되며 상기 피사체의 정면, 후면, 측면을 각각 촬영하는 정면 카메라, 후면 카메라, 측면 카메라를 포함하는 영상 촬영부; 상기 상단 카메라, 상기 정면 카메라, 상기 후면 카메라, 및 상기 측면 카메라로부터 영상을 획득하는 영상 획득부; 상기 영상을 처리하여 상기 복수의 LED 마커의 위치를 검출하는 영상 처리부; 및 상기 복수의 LED 마커의 위치를 기초로 상기 피사체의 자세 및 동작을 분석하는 영상 분석부를 포함한다.

또한, 상기 영상 획득부는, PCI 익스프레스(Express) 버스 및 프레임 그래버(frame grabber) 보드를 구비할 수 있다.

그리고, 상기 영상 처리부는, 상기 영상을 8비트 이미지로 변환하는 이미지 변경모듈과, 상기 8비트 이미지를 이진화 처리하여 이진화 영상을 생성하는 이진화 처리모듈과, 상기 이진화 영상에 팽창 연산을 수행하여 상기 이진화 영상의 마커 포인트를 확대시키는 팽창 연산모듈과, 상기 확대된 마커 포인트의 위치 정보 및 사이즈 정보를 생성하는 정보 생성모듈을 포함할 수 있다.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 방법은, 피사체의 분절 부분에 부착되는 복수의 LED 마커를 촬영하여 피사체의 자세 및 동작을 분석하는 피사체의 자세 및 동작 분석 방법에 있어서, 상기 피사체를 중심으로 상기 피사체의 상단, 정면, 후면, 측면을 각각 촬영하는 단계; 상기 피사체의 상단, 정면, 후면, 측면의 네 방향의 영상을 획득하는 단계; 상기 네 방향의 영상을 처리하여 상기 복수의 LED 마커의 위치를 검출하는 단계; 및 상기 복수의 LED 마커의 위치를 기초로 상기 피사체의 자세 및 동작을 분석하는 단계를 포함한다.

또한, 상기 영상을 획득하는 단계는, 상기 네 방향의 영상을 15 fps(frame per second)로 획득하는 단계를 포함할 수 있다.

또한, 상기 위치를 검출하는 단계는, 상기 영상을 8비트 이미지로 변환하는 단계; 상기 8비트 이미지를 이진화 처리하여 이진화 영상을 생성하는 단계; 상기 이진화 영상에 팽창 연산을 수행하여 상기 이진화 영상의 마커 포인트를 확대시키는 단계; 및 상기 확대된 마커 포인트의 위치 정보 및 사이즈 정보를 생성하는 단계를 포함할 수 있다.

그리고, 상기 위치를 검출하는 단계는, 사용자 정의 포인트 정보를 기준으로 생성된 복수의 마커 포인트의 위치 정보와의 거리값을 연산하는 단계; 및 상기 연산된 거리값 중에서 최소의 거리값을 가진 마커 포인트를 탐색하는 단계를 더 포함할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 피사체의 상단, 정면, 후면 및 측면을 각각 촬영하는 네 대의 카메라를 사용하여 비전 시스템을 구현함으로써, 실시간으로 사용자의 자세 및 동작을 분석할 수 있고, 시상면(Sagittal plane), 관상면(Coronal plane), 횡단면(Transeverse plane) 등 다방향의 운동학적 정보를 분석할 수 있다.

도 1은 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 시스템의 블록 구성도이다.
도 2a는 도 1의 피사체의 자세 및 동작 분석 시스템에서 네 방향의 영상을 획득하기 위한 개념도이며, 도 2b는 상기 피사체가 위치하는 프레임을 도시한 도면이다.
도 3a 및 도 3b는 LED 마커의 일 실시예를 각각 도시한 사시도 및 분해 사시도이다.
도 4a 및 도 4b는 LED 마커의 다른 실시예를 각각 도시한 사시도 및 분해 사시도이다.
도 5는 LED 마커의 회로도이다.
도 6은 도 1의 피사체의 자세 및 동작 분석 시스템에서 네 방향의 영상을 획득하기 위한 프레임 그래버(frame grabber) 보드의 구성도이다.
도 7은 도 1의 피사체의 자세 및 동작 분석 시스템의 영상 처리부의 블록 구성도이다.
도 8은 마커 포인트 간의 거리를 표시한 도면이다.
도 9는 마커 포인트 간의 각도를 표시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 방법의 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 시스템의 블록 구성도이다. 또한, 도 2a는 도 1의 피사체의 자세 및 동작 분석 시스템에서 네 방향의 영상을 획득하기 위한 개념도이며, 도 2b는 상기 피사체가 위치하는 프레임을 도시한 도면이다.

도 1과, 도 2a 및 도 2b를 참조하면, 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 시스템(100)은 피사체(P)의 분절 부분에 부착되는 복수의 LED 마커(101)를 촬영하여 피사체의 자세 및 동작을 분석하며, 영상 촬영부(110), 영상 획득부(120), 영상 처리부(130), 및 영상 분석부(140)를 포함한다. 또한, 상기 피사체의 자세 및 동작 분석 시스템(100)은 저장부(150) 및 디스플레이부(160)를 포함할 수 있다.

예를 들어, 피사체의 자세 및 동작 분석 시스템(100)은 피사체(P)가 위치하는 프레임(F)에 연결되어 배치되며 상기 피사체의 상단을 촬영하는 상단 카메라(111)와, 상기 프레임(F)에 이격되어 배치되며 상기 피사체의 정면, 후면, 측면을 각각 촬영하는 정면 카메라(112), 후면 카메라(113), 측면 카메라(114)를 포함하는 영상 촬영부(110), 상기 상단 카메라(111), 상기 정면 카메라(112), 상기 후면 카메라(113), 및 상기 측면 카메라(114)로부터 영상을 획득하는 영상 획득부(120), 영상을 처리하여 상기 복수의 LED 마커(101)의 위치를 검출하는 영상 처리부(130), 및 복수의 LED 마커(101)의 위치를 기초로 상기 피사체(P)의 자세 및 동작을 분석하는 영상 분석부(140)를 포함할 수 있다. 또한, 피사체의 자세 및 동작 분석 시스템(100)은 상기 영상 분석부(140)의 분석 결과를 저장하는 저장부(150) 및 상기 영상 분석부(140)의 분석 결과를 디스플레이하는 디스플레이부(160)를 더 포함할 수 있다. 이러한 피사체의 자세 및 동작 분석 시스템(100)을 통해 실시간으로 사용자의 자세 및 동작을 평가할 수 있고, 또한, 시상면(Sagittal plane), 관상면(Coronal plane), 횡단면(Transeverse plane) 등 다방향의 운동학적 정보를 분석할 수 있다.

다시 도 2a 및 도 2b를 참조하면, 상단 카메라(111)는 피사체(P)의 상단을 촬영하여 상기 피사체(P)의 횡단면(Transeverse plane)의 방향에 대한 자세를 캡쳐할 수 있다. 또한, 정면 카메라(112)는 피사체(P)의 정면을 촬영하고, 후면 카메라(113)는 피사체(P)의 후면을 촬영하여 피사체(P)의 관상면(Coronal plane)의 방향에 대한 자세를 캡쳐할 수 있다. 그리고, 측면 카메라(114)는 피사체(P)의 좌측면 또는 우측면을 촬영하여 시상면(Sagittal plane)의 방향에 대한 자세를 캡쳐할 수 있다.

시상면, 관상면, 횡단면 등의 다방향으로 카메라를 장착하여 사용자의 전, 후, 좌, 우 등 각 방향의 자세를 캡쳐할 수 있고, 이를 기초로 피사체(P)의 자세를 분석할 수 있다. 물론, 피사체(P)의 다른 방향에도 카메라를 장착하여 피사체(P)의 자세를 더 정밀하게 분석할 수도 있다.

여기에서, 상단 카메라(111)는 피사체(P)가 위치하는 프레임(P)에 연결되어 고정되며, 정면 카메라(112), 상기 후면 카메라(113), 및 상기 측면 카메라(114)는 별도의 지그(미도시)에 연결되어 위치를 자유롭게 조정할 수 있다.

도 3a 및 도 3b는 LED 마커의 일 실시예를 각각 도시한 사시도 및 분해 사시도이다. 또한, 도 4a 및 도 4b는 LED 마커의 다른 실시예를 각각 도시한 사시도 및 분해 사시도이다. 그리고, 도 5는 LED 마커의 회로도이다.

LED 마커(101)는 피사체(P)의 옷 위에 부착되거나, 또는 피부에 직접 부착될 수 있다. LED 마커(101)가 많이 부착될수록 피사체(P)의 자세 및 동작을 더 자세하게 분석할 수 있다. 또한, 피사체(P)의 신체, 특히 관절 부분에 자체적으로 빛을 발광하여 색상을 발현하는 다양한 컬러 LED 마커(미도시)를 매칭시킴으로써, 피사체(P)의 관절 위치 선별을 보다 용이하게 할 수 있다. 이러한 컬러 LED 마커를 통해 다른 마커를 인식하여 나타나는 관절 각도 오류를 방지할 수 있다.

예를 들어, 영상 처리부(130)가 서로 다른 색상을 가지는 컬러 LED 마커에서 Color Matching Algorithm을 이용하여 Point를 추출할 수 있다. 컬러 LED 마커는 서로 다른 색을 가지므로, 컬러 LED 마커가 특징점(feature point)이 될 수 있으며, 영상에서 픽셀의 휘도나 조도 등을 이용하여 컬러 LED 마커의 포인트를 추출할 수 있다. 또한, 영상의 RGB 값을 기초로 컬러 LED 마커의 포인트를 추출할 수 있다. 일례로, 영상의 RGB 데이터를 HSV 데이터로 변환하고 레티넥스 이론(Retinex Theory)에 따라 조도 성분을 추출하여 컬러 LED 마커의 포인트를 추출할 수 있다. HSV 데이터에서 H, S, V는 각각 Hue(색상), Saturation(채도), Value(명도)를 나타낸다. 또한, 레티넥스 이론은 인간의 감각계가 느끼는 물체의 밝기나 색채는 물체 표면에서 반사되어 망막에 입사된 빛의 강도나 분광 분포와 반드시 대응한다는 이론으로써, 이를 이용하여 조도를 구할 수 있고, 조도가 상이한 여러 색상의 컬러 LED 마커를 식별할 수 있다.

LED 마커(101)의 LED(Light Emitting Diode)는 주입된 전자와 정공이 재결합할 때 과잉 에너지를 빛으로 방출하는 다이오드로서, 높은 광변환 효율과 낮은 소비 전력 등 높은 에너지 효율을 가지고 있고, 수명이 길어서 빛을 발광하는 광원으로 사용하기에 적합하다. 또한, LED 마커(101)는 LED 외에도 OLED(Organic Light-Emitting Diode) 등 전계 발광 효과를 이용한 모든 종류의 소자를 포함할 수 있음은 당업자에게 자명하다 할 것이다.

이러한 LED 마커(101)는 피사체(P)의 관절에 부착시 편의성을 위하여 컴팩트(compact)한 사이즈로 제작하는 것이 바람직하다. 컴팩트한 LED 마커(101)의 개발을 위해 전용 케이스를 제작할 수 있으며, 전용 케이스를 이용하여 피사체(P)의 각 관절에 부착할 수 있다. 예를 들어, 3D Printer를 이용한 최적화된 마커 모양 및 사이즈 대응으로 다양한 형태의 케이스를 제작할 수 있다.

도 3a 및 도 3b를 참조하면, 일 실시예에 따른 LED 마커(102, 이하 '제1 컴팩트 마커'라 한다)는 원형 PCB(1023)의 상부 및 하부에 각각 제1 상부 케이스(1021) 및 제1 하부 케이스(1025)가 배치된다. 또한, 제1 컴팩트 마커(102)는 상기 원형 PCB(1023)를 가이드하는 링 가이드(1024)와 상기 원형의 PCB(1023)의 상부에 불투명 아크릴판(1022)이 위치한다. 여기에서, LED의 보호 등을 위해, 원형 PCB(1023)의 원형 형상에 대응하여 제1 상부 케이스(1021) 및 제1 하부 케이스(1025)는 사각 형상으로 제작될 수 있다. 이에 따라, 제1 컴팩트 마커(102)는 전체적으로 육면체 형상을 가질 수 있다. 바람직하게는, 마커 부착의 용이성을 위해, 제1 컴팩트 마커(102)는 정육면체 형상을 가질 수 있다. 예를 들어, 제1 컴팩트 마커(102)는 30 x 30 x 30 (mm)의 사이즈를 가질 수 있으며, 물론 이에만 제한되지 않음은 당업자에게 자명하다 할 것이다.

도 4a 및 도 4b를 참조하면, 다른 실시예에 따른 LED 마커(102, 이하 '제2 컴팩트 마커'라 한다)는 사각 PCB(1033)의 상부 및 하부에 각각 제2 상부 케이스(1031) 및 제2 하부 케이스(1035)가 배치된다. 여기에서, LED의 보호 등을 위해, 사각 PCB(1023)의 사각형 형상에 대응하여 제2 상부 케이스(1031) 및 제2 하부 케이스(1035)는 원형 형상으로 제작될 수 있다. 이에 따라, 제2 컴팩트 마커(103)는 전체적으로 원기둥에 가까운 형상을 가질 수 있다. 예를 들어, 제2 컴팩트 마커(103)는 지름 28mm, 높이 12mm 정도로 제작되어 동전 크기와 비슷할 수 있으며, 물론 이에만 제한되지 않음은 당업자에게 자명하다 할 것이다.

도 5를 참조하면, LED 마커(101)는 전원과 LED(L) 사이에 스위치(S)를 배치함으로써, 스위치(S)를 이용하여 On/Off 가능하다. 또한, LED(L)에 전압을 인가하는 전원은 코인 건전지를 이용할 수 있다.

도 6은 도 1의 피사체의 자세 및 동작 분석 시스템에서 네 방향의 영상을 획득하기 위한 프레임 그래버(frame grabber) 보드의 구성도이다.

도 6을 참조하면, 영상 획득부(120)는 PCI 익스프레스(Express) 버스 및 프레임 그래버 보드(125)를 구비할 수 있다. 영상 획득부(120)는 영상 촬영부(110)에서 촬영한 영상을 수집하고, 이를 디지털 신호로 변환하는데, 다 방향에서 획득한 영상을 디지털 신호로 변환하기 위해 복수의 카메라 링크 회로(1252), FIFO CH(1254) 및 PCI Express 칩셋(1255)을 사용할 수 있다. 즉, 영상 획득부(120)는 각 카메라(111, 112, 113, 114)에서 촬영한 영상을 디지털 신호로 변환하고, 비젼 데이터를 수집할 수 있다. 이러한 비젼 데이터는 데이터 전송이 용이하도록 데이터를 압축하여 전달할 수 있다. 압축 포맷 형태의 데이터는 MPEG(Moving Picture Experts Group)-1 또는 MPEG-4, JPEG(Joint Photographic Experts Group), H. 264 등의 다양한 포맷을 가질 수 있다.

프레임 그래버 보드(125)는 각 카메라(111, 112, 113, 114)에서 오는 영상을 CPU 등에서 처리할 수 있는 신호로 바꾸어 주는 역할을 한다. 이러한 영상 획득을 위한 프레임 그래버(frame grabber)는 여러 가지 형태의 보드, 예를 들어 ISA (Industry Standard Architecture), PCI (Periheral Component Interconnect), PCIe(PCI Express) 및 산업용을 위한 cPCI(Compact PCI), VME(Versa Module Europa) 등이 존재할 수 있다. 특히, 영상 획득부(120)는 PCIe(PCI Express) 규격의 물리적 버스를 통하여 데이터를 전송할 수 있다. 예를 들어, 영상 획득부(120)를 물리적으로 구현하는 프레임 그래버 보드(125)로 NI사의 PCIe type의 GigE Vision fame grabber를 사용할 수 있으며, 이에만 제한되지 않음은 당업자에게 자명하다 할 것이다.

다시 도 3을 참조하면, 프레임 그래버 보드(125)는 상단 카메라(111), 정면 카메라(112), 후면 카메라(113), 측면 카메라(114)와 각 커넥터(1251)를 통해 연결되며, 상단 카메라(111), 정면 카메라(112), 후면 카메라(113), 측면 카메라(114)로부터 촬영된 영상이 획득되어 카메라 링크 회로(Camera Link Circuit, 1252)를 통해 FIFO CH(1254)으로 전달된다. FIFO CH(1254)은 영상을 영상 처리부(130)에서 처리 가능한 신호로 변환하며, FIFO CH(1254)은 다수의 신호 데이터 항목을 저장하기 위한 공간을 가진다. 각 FIFO CH(1254)에서 처리된 신호는 물리적 버스인 각 PCI Express 칩셋(1255)을 통해 통신한다. 이러한 PCI Express 칩셋(1255)의 일례로 PCI Express Chipset PEX8133 등을 사용할 수 있다. 물론, 프레임 그래버 보드(125)의 카메라 링크 회로(1252), FIFO CH(1254), PCI Express 칩셋(1255)의 수는 카메라의 개수에 대응할 수 있을 뿐만 아니라, 카메라의 개수보다 더 적거나 또는 더 많게 설계될 수도 있다.

일반적으로, 버스는 컴퓨터 용어로 컴퓨터 등의 장치 내부나 외부의 각 장치와의 정보나 신호를 주고 받는 데 사용되도록 구성된 전기적 통로를 말한다. 도 3에서, PCI Express 칩셋(1255)은 I/O 버스로 프레임 그래버 보드(125) 내 FIFO CH(1254)와 주변, 즉 영상 처리부(130)를 서로 연결하여 피사체의 자세 및 동작 분석 시스템(100)이 원할하게 돌아갈 수 있도록 데이터 전송 역할을 하는 공통의 통로가 된다.

본 발명의 일 실시예에 따른 영상을 이용한 자세 및 동작 분석 시스템(100)에서 상단 카메라(111), 정면 카메라(112), 후면 카메라(113), 측면 카메라(114)의 네 방향에서 촬영된 영상을 이용하여 비젼 시스템을 구현할 수 있으며, 이에 대응하여 다수의 카메라 링크 회로(1252), FIFO CH(1254) 및 PCI Express 칩셋(1255)이 프레임 그래버 보드(125) 상에 설계되어 각 카메라(111, 112, 113, 114)로부터 영상을 동시에 획득할 수 있게 된다. 특히, 각 카메라(111, 112, 113, 114)에 각각 카메라 링크 회로(1252), FIFO CH(1254) 및 PCI Express 칩셋(1255)이 대응됨으로써, 병목 현상을 피하고, 처리율을 높여주게 된다. 이렇게 설계된 프레임 그래버 보드(125)를 통해 다방향 영상을 15 fps(frame per second)로 획득할 수 있다.

도 7은 도 1의 피사체의 자세 및 동작 분석 시스템의 영상 처리부의 블록 구성도이다.

도 7을 참조하면, 영상 처리부(130)는 피사체(P)에 부착된 복수의 마커(101)의 위치를 검출하기 위해, 영상을 8비트 이미지로 변환하는 이미지 변경모듈(132)과, 상기 8비트 이미지를 이진화 처리하여 이진화 영상을 생성하는 이진화 처리모듈(134)과, 상기 이진화 영상에 팽창 연산을 수행하여 상기 이진화 영상의 마커 포인트를 확대시키는 팽창 연산모듈(136)과, 상기 확대된 마커 포인트의 위치 정보 및 사이즈 정보를 생성하는 정보 생성모듈(138)을 포함할 수 있다.

구체적으로, 이미지 변경모듈(132)은 영상을 8비트 이미지(Bit Image)로 변환하며, 이는 영상을 이진화하기 위한 것이다. 8비트 이미지는

이며, 색을 어두운 색부터 밝은 색까지 총 256개(0~255)의 색을 표현할 수 있다.

이진화 처리모듈(134)은 8비트 이미지를 이진화 처리하여 이진화 영상을 생성하며, 소정 임계값을 기초로 낮은 값을 가지는 픽셀은 흑으로 높은 값을 가지는 픽셀은 백으로 표현되는 이진화 영상을 생성한다. 예를 들어, 그레이 스케일(Gray scale)의 값 0~255 중 기준 임계값 이하는 0, 이상은 1로 이진화를 시켜 영상 처리를 진행할 수 있다. 여기에서, 임계값은 모든 픽셀들의 밝기 값의 평균을 이용하거나 iterative selection, two peak 방법 등 여러 가지 방법을 사용하거나, 또는 사용자가 직접 임계값을 정하여 사용할 수도 있다. 이때, 이미지 이진화(Image Binary)까지 진행하면 피사체(P)에 부착된 LED 마커(101) 및 환경에 따라서는 주변의 밝은 영역을 추출 할 수 있다.

팽창 연산모듈(136)은 이진화 영상에 팽창 연산을 수행하여 이진화 영상의 마커 포인트를 확대시킨다. 마커 포인트의 크기는 전에 픽셀에 비하여 매우 작기 때문에 정확한 포인트 추출을 위해서는 마커 포인트의 영역을 크게 키울 필요성이 있다. 이를 위하여, 팽창 연산을 이용하여 마커 포인트를 더욱 크게 만드는 영상처리를 진행한다. 예를 들어, 팽창 연산은 모든 픽셀을 변화시켜서 마스크(일례로, 3X3)를 구현한다. 마스크는 0과 1로 구분된 픽셀값은 마스크 크기에 따라서 더욱 밝은 “1”로 연산되는 효과를 이용한다.

또한, 팽창 연산모듈(136)은 이진화 영상에 대해 침식(erosion)과 팽창(dilation) 연산을 수행하여 이진화 영상의 노이즈를 제거할 수도 있다. 예를 들어, 즉, 침식 연산을 통해 피사체 영역에 대해 배경 영역을 확장시키고 피사체(P)의 크기를 축소하여 피사체 영역 주변의 노이즈 성분을 제거 혹은 축소한다. 그리고, 작아진 피사체(P) 이미지의 크기를 복원하기 위해 팽창 연산을 통해 피사체(P)의 크기를 확장하고 배경은 축소한다.

정보 생성모듈(138)은 확대된 마커 포인트의 위치 정보 및 사이즈 정보를 생성할 수 있다. 즉, 정보 생성모듈(138)은 모든 마커 포인트의 위치 및 크기값을 추출하여 데이터화한다. 마커 포인트의 위치 및 크기값을 기초로 피사체(P)의 자세 및 동작을 분석하게 된다.

또한, 이렇게 추출된 데이터를 이용하여 마커 추적 알고리즘에 사용할 수 있다. 위치 데이터에는 주변에서 발생하는 노이즈까지 같이 검출되기도 하며, LED 마커(101)가 가려져 안보일 경우 실제 개수보다 위치 데이터의 개수가 많거나 적을 수도 있다. 또는, 각 카메라(111, 112, 113, 114)에 의하여 약 15fps의 속도로 수집되는 영상에서 피사체(P)의 움직임에 따라 장착된 LED 마커(101)도 계속 위치가 이동할 수 있다. 이러한 상황에서 실시간으로 LED 마커(101)의 위치를 추적하기 위하여 마커 추적 알고리즘을 적용할 수 있다. 예를 들어, 초기에 LED 마커(101)의 위치를 설정하며, 이때 순서에 따라 LED 마커(101)의 번호를 지정한 후, 정보 생성모듈(138)에서 분석한 마커 포인트의 위치 및 크기 등에 대한 데이터를 이용하여 실시간으로 LED 마커(101)의 위치를 추적할 수 있다. 구체적으로, 사용자 정의 포인트 정보를 기준으로 생성된 복수의 마커 포인트의 위치 정보와의 거리값을 연산하고, 상기 연산된 거리값 중에서 최소의 거리값을 가진 마커 포인트를 탐색할 수 있다. 이러한 방법으로 카메라에서 촬영된 영상을 연속적으로 연산하여 피사체(P)의 움직임을 추적할 수 있다.

도 8은 마커 포인트 간의 거리를 표시한 도면이다. 또한, 도 9는 마커 포인트 간의 각도를 표시한 도면이다.

영상 분석부(140)는 LED 마커(101)의 위치 정보를 기초로 피사체(P)의 자세 및 동작을 분석한다. 즉, 영상 분석부(140)는 피사체(P), 마커(101)의 이동을 분석하여 자세 및 동작을 분석할 수 있다.

도 8을 참조하면, 세 마커 포인트의 위치를 알고 있으면, 영상 분석부(140)는 세 마커 포인트 간의 거리를 구할 수 있다. 예를 들어, Point1(x1, y1), Point2(x2, y2), Point3(x3, y3)으로 표시할 수 있고, 피타고라스의 원리를 이용하여 두 점 사이의 거리를 연산할 수 있다. 도 8에서, 두 점 사이이 거리가 각각 a(Point 2, 3 간 거리), b(Point 1, 3 간 거리), c(Point 1, 2 간 거리)로 표시되어 있다.

도 9를 참조하면, 마커 포인트 간의 거리를 알고 있으면, 영상 분석부(140)는 마커 포인트들에 의해 이루어지는 사이각을 구할 수 있다. 예를 들어, 두 점 사이의 거리가 각각 a(Point 2, 3 간 거리), b(Point 1, 3 간 거리), c(Point 1, 2 간 거리)인 경우, 코사인 제2 법칙을 이용하여 각도를 구할 수 있다.

다시 도 8을 참조하면, 검출된 마커 포인트가 3개인 경우, 3개의 마커 포인트에 의해 이루어지는 삼각형 내각의 크기를 모두 계산할 수 있다, 각도가 A(a에 대응), B(b에 대응), C(c에 대응)일 경우, 다음의 수학식 1 내지 3에 의해 각도 A, B, C를 연산할 수 있다.

영상 분석부(140)에서 계산되는 마커 간의 거리, 각도 등을 이용하여 피사체(P)의 자세 및 동작을 분석한다. 구체적으로, 영상 분석부(140)는 미리 설정된 기준 영상과 비교하여 피사체(P)의 자세 및 동작이 적절한지 판단하거나, 또는 마커(101) 간의 거리 및 사이 각도가 미리 설정된 기준 범위 내인지 판단하여 피사체(P)의 자세 및 동작을 평가할 수 있다. 예를 들어, 도 9에 표시한 바와 같이, 피사체(P)의 움직임에 따른 상반신의 각 관절의 각도를 계산할 수 있으며, 다른 관절 부분의 위치와 각도도 마찬가지로 계산할 수 있다. 이를 통해 영상 분석부(140)가 피사체(P)의 운동 상태(자세, 동작)를 분석할 수 있으며, 피사체(P)의 위치, 자세, 동작 등에 대한 정보를 실시간으로 표시할 수 있다.

또한, 영상 분석부(140)는 분석된 여러 정보를 디스플레이부(160)를 통해 표시할 수 있다. 예를 들어, 영상 분석부(140)는 영상 촬영부(110)의 각 카메라(111, 112, 113, 114)에서 선택된 마커(101)를 추적하여, 사용자가 원하는 각도, 위치 등에 따른 영상을 디스플레이할 수 있고, 이에 대한 기초 정보 등을 같이 디스플레이할 수 있다. 그리고, 저장부(150)는 영상 분석부(140)의 분석 결과를 저장할 수 있을 뿐만 아니라, 영상 촬영부(110)에서 촬영된 영상, 영상 획득부(120)에서 변환된 디지털 신호나 영상, 영상 처리부(130)에서 처리된 정보, 데이터, 영상 등을 저장할 수 있다. 또한, 저장부(150)는 영상 분석부(140)의 분석을 위한 여러 기준 정보들, 예를 들어 정상인의 운동 상태를 표시하는 영상, 피사체(P)의 올바른 운동 상태를 표시하는 영상 등을 저장할 수 있다. 또한, 저장부(150)는 시스템(100)을 이용하는 개인의 연령, 성별, 이용 횟수, 이용 날짜 등 개인 정보들을 저장할 수도 있다.

이러한 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 시스템(100)을 통해, 다 방향에서 피사체(P)를 촬영하여 피사체(P)의 자세 및 동작을 분석할 수 있으므로, 보행 훈련 시에 운동학적 정보(Kinematics)와 운동 역학적 정보(Kinetics)에 대하여 실시간으로 제공해 줄 수 있고, 이에 따라 훈련 효과를 높일 수 있다.

도 10은 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 방법의 순서도이다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 피사체의 자세 및 동작 분석 방법은, 피사체의 분절 부분에 부착되는 복수의 LED 마커를 촬영하여 피사체의 자세 및 동작을 분석한다. 이를 위해, 피사체의 자세 및 동작 분석 방법은, 피사체를 중심으로 상기 피사체의 상단, 정면, 후면, 측면을 각각 촬영하며(S10), 상기 피사체의 상단, 정면, 후면, 측면의 네 방향의 영상을 획득하고(S20), 상기 네 방향의 영상을 처리하여 상기 복수의 LED 마커의 위치를 검출하고(S30), 상기 복수의 LED 마커의 위치를 기초로 상기 피사체의 자세 및 동작을 분석한다(S40).

여기에서, 영상을 획득하는 경우, 네 방향의 영상을 15 fps(frame per second)로 획득할 수 있다.

또한, 위치를 검출하는 경우, 영상을 8비트 이미지로 변환하고, 상기 8비트 이미지를 이진화 처리하여 이진화 영상을 생성한 후, 상기 이진화 영상에 팽창 연산을 수행하여 상기 이진화 영상의 마커 포인트를 확대시켜 상기 확대된 마커 포인트의 위치 정보 및 사이즈 정보를 생성할 수 있다. 특히, 사용자 정의 포인트 정보를 기준으로 생성된 복수의 마커 포인트의 위치 정보와의 거리값을 연산하고, 상기 연산된 거리값 중에서 최소의 거리값을 가진 마커 포인트를 탐색함으로써, 실시간으로 마커 위치를 추적할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 피사체의 자세 및 동작 분석 시스템
110: 영상 촬영부 120: 영상 획득부
130: 영상 처리부 140: 영상 분석부
150: 저장부 160: 디스플레이부

Claims (7)

1. 피사체의 분절 부분에 부착되는 복수의 LED 마커를 촬영하여 피사체의 자세 및 동작을 분석하는 피사체의 자세 및 동작 분석 시스템에 있어서,
   상기 피사체가 위치하는 프레임에 연결되어 배치되며 상기 피사체의 상단을 촬영하는 상단 카메라와, 상기 프레임에 이격되어 배치되며 상기 피사체의 정면, 후면, 측면을 각각 촬영하는 정면 카메라, 후면 카메라, 측면 카메라를 포함하는 영상 촬영부;
   상기 상단 카메라, 상기 정면 카메라, 상기 후면 카메라, 및 상기 측면 카메라로부터 영상을 획득하는 영상 획득부;
   상기 영상을 처리하여 상기 복수의 LED 마커의 위치를 검출하는 영상 처리부; 및
   상기 복수의 LED 마커의 위치를 기초로 상기 피사체의 자세 및 동작을 분석하는 영상 분석부를 포함하며,
   상기 영상 처리부는,
   상기 영상을 8비트 이미지로 변환하는 이미지 변경모듈과,
   상기 8비트 이미지를 이진화 처리하여 이진화 영상을 생성하는 이진화 처리모듈과,
   상기 이진화 영상에 팽창 연산을 수행하여 상기 이진화 영상의 마커 포인트를 확대시키는 팽창 연산모듈과,
   상기 확대된 마커 포인트의 위치 정보 및 사이즈 정보를 생성하는 정보 생성모듈을 포함하는, 피사체의 자세 및 동작 분석 시스템.
2. 제 1항에 있어서,
   상기 영상 획득부는,
   PCI 익스프레스(Express) 버스 및 프레임 그래버(frame grabber) 보드를 구비하는, 피사체의 자세 및 동작 분석 시스템.
3. 삭제
4. 피사체의 분절 부분에 부착되는 복수의 LED 마커를 촬영하여 피사체의 자세 및 동작을 분석하는 피사체의 자세 및 동작 분석 방법에 있어서,
   상기 피사체를 중심으로 상기 피사체의 상단, 정면, 후면, 측면을 각각 촬영하는 단계;
   상기 피사체의 상단, 정면, 후면, 측면의 네 방향의 영상을 획득하는 단계;
   상기 네 방향의 영상을 처리하여 상기 복수의 LED 마커의 위치를 검출하는 단계; 및
   상기 복수의 LED 마커의 위치를 기초로 상기 피사체의 자세 및 동작을 분석하는 단계를 포함하며,
   상기 위치를 검출하는 단계는,
   사용자 정의 포인트 정보를 기준으로 생성된 복수의 마커 포인트의 위치 정보와의 거리값을 연산하는 단계; 및
   상기 연산된 거리값 중에서 최소의 거리값을 가진 마커 포인트를 탐색하는 단계를 더 포함하는, 피사체의 자세 및 동작 분석 방법.
5. 제 4항에 있어서,
   상기 영상을 획득하는 단계는,
   상기 네 방향의 영상을 15 fps(frame per second)로 획득하는 단계를 포함하는, 피사체의 자세 및 동작 분석 방법.
6. 삭제
7. 삭제

Images