KR20160133240A

KR20160133240A - 영상을 이용한 자세 및 동작 분석 시스템

Info

Publication number: KR20160133240A
Application number: KR1020150066053A
Authority: KR
Inventors: 정우석; 이정호; 김재원; 김경; 김제남; 김재준; 이준호
Original assignee: 사단법인 캠틱종합기술원
Priority date: 2015-05-12
Filing date: 2015-05-12
Publication date: 2016-11-22
Also published as: KR101679285B1

Abstract

영상을 이용한 자세 및 동작 분석 시스템이 제공된다. 본 발명의 일 실시예에 따른 영상을 이용한 자세 및 동작 분석 시스템은, 피사체 및 상기 피사체의 각 분절 부분에 부착된 복수의 마커를 다 방향에서 촬영하는 영상 촬영부; 상기 영상 촬영부로부터 영상을 획득하여 디지털 신호로 변환하는 영상 획득부; 상기 영상 획득부로부터 상기 디지털 신호를 전송받아 처리하며, 상기 복수의 마커의 움직임을 추출하는 영상 처리부; 및 상기 영상 처리부의 처리 결과를 기초로 상기 피사체의 자세 및 동작을 분석하는 영상 분석부를 포함한다.

Description

영상을 이용한 자세 및 동작 분석 시스템{SYSTEM FOR ANALYSING POSES AND MOTIONS USING IMAGES}

본 발명은 영상을 이용한 자세 및 동작 분석 시스템에 관한 것으로, 보다 상세하게는 시상면(Sagittal plane), 관상면(Coronal plane), 횡단면(Transeverse plane) 등 다 방향의 운동학적 정보를 분석하고, 실시간으로 사용자의 자세 및 동작을 평가할 수 있는 영상을 이용한 자세 및 동작 분석 시스템에 관한 것이다.

고령이거나 질환을 가져 거동이 불편한 노인의 경우, 야외에서 운동을 하는 것은 위험하고 어려운 일이다. 또한, 각종 산업 재해나 교통 사고, 중풍 등의 질환으로 신체를 잘 움직이지 못하는 재활 환자에게는 매일 정해진 시간 동안 규칙적으로 재활 훈련이 필요하다.

최근에는, 재활 훈련의 효과를 높이기 위해, 훈련 시에 운동학적 정보(Kinematics), 운동역학적 정보(Kinetics) 등을 제공하는 자세 및 동작 분석 시스템을 개발하려는 연구가 활발히 진행되고 있다. 또한, 근골격계 운동이 레저 및 헬스 운동 분야와 융합되면서 다양한 형태의 파생 산업이 창출되고 있다.

이에, 자세 및 동작 분석 시스템은 단순한 헬스는 물론 재활 치료적인 개념이 접목된 헬스케어 제품으로 재활치료 및 실버 시장에 적용될 수 있는 시스템 개발이 요구된다.

그런데, 기존의 자세 및 동작 분석 시스템은 재활 훈련을 받고 난 뒤에 데이터를 분석하는 방식으로 되어 있어, 사용자에게 실시간으로 생체 정보를 제공하지 못하고 있다. 또한, 기존의 분석 시스템은 다른 마커를 잘못 인식하여 관절 각도의 오류가 발생할 수 있다.

대한민국 공개특허 제2012-0017948호 (2012.02.29. 공개)

본 발명은 상기 문제점을 해결하기 위한 것으로, 시상면, 관상면, 및 횡단면 등의 다방향으로 카메라를 장착하여 사용자의 각 방향의 자세를 캡쳐하여 분석하고, 각 관절에 따른 각도 및 위치 변화를 실시간으로 분석할 수 있는 영상을 이용한 자세 및 동작 분석 시스템을 제공한다.

또한, 다양한 컬러 타입의 LED 마커(Marker)를 사용하여 관절 위치를 정확히 선별할 수 있는 영상을 이용한 자세 및 동작 분석 시스템을 제공한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 영상을 이용한 자세 및 동작 분석 시스템은, 피사체 및 상기 피사체의 각 분절 부분에 부착된 복수의 마커를 다 방향에서 촬영하는 영상 촬영부; 상기 영상 촬영부로부터 영상을 획득하여 디지털 신호로 변환하는 영상 획득부; 상기 영상 획득부로부터 상기 디지털 신호를 전송받아 처리하며, 상기 복수의 마커의 움직임을 추출하는 영상 처리부; 및 상기 영상 처리부의 처리 결과를 기초로 상기 피사체의 자세 및 동작을 분석하는 영상 분석부를 포함한다.

또한, 상기 복수의 마커는, 서로 다른 색상을 조사하는 LED 마커일 수 있다.

또한, 상기 영상 촬영부는, 상기 피사체를 중심으로 배치되는 복수의 카메라를 포함하며, 상기 복수의 카메라는, 상기 피사체의 상단을 촬영하는 제1 카메라, 상기 피사체의 정면을 촬영하는 제2 카메라, 상기 피사체의 후면을 촬영하는 제3 카메라, 그리고 상기 피사체의 좌측면 또는 우측면을 촬영하는 제4 카메라를 포함할 수 있다.

또한, 상기 영상 획득부는, PCI 익스프레스(Express) 버스를 구비하고, 상기 영상으로부터 비젼 데이터(vision data)를 추출하는 프레임 그래버(frame grabber) 보드를 포함할 수 있다.

또한, 상기 영상 처리부는, 상기 각 마커의 포인트를 추출하고, 상기 각 마커의 포인트 간의 사이 각도를 산출할 수 있다.

그리고, 상기 영상 분석부의 분석 결과를 저장하는 저장부; 및 상기 영상 분석부의 분석 결과를 디스플레이하는 디스플레이부를 더 포함할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 비교적 저렴한 카메라를 사용하여 비전 시스템을 구현함으로써, 실시간으로 사용자의 자세 및 동작을 분석할 수 있고, 시상면(Sagittal plane), 관상면(Coronal plane), 횡단면(Transeverse plane) 등 다방향의 운동학적 정보를 분석할 수 있다.

또한, 영상 데이터를 바탕으로 정확한 운동학적 정보를 분석하기 위하여, 사용자의 신체에 컬러 LED 마커를 매칭시킴으로써, 기존의 다른 마커를 인식하여 나타나는 관절 각도의 산출 오류를 방지할 수 있다.

그리고, 치료사에 의한 기존의 Manual Therapy/Exercise 방식에 자세 및 동작을 분석한 데이터 등 과학적으로 측정된 데이터가 피드백되기 때문에, 치료사가 올바른 치료 방법과 정확한 운동계획을 수립할 수 있도록 도움을 줄 수 있고, 사용자에게는 치료와 운동 효과 정도를 실시간으로 제공할 수 있어 높은 치료 및 훈련 효과를 얻을 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상을 이용한 자세 및 동작 분석 시스템의 블록 구성도이다.
도 2는 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 다 방향의 영상을 획득하기 위한 개념도이다.
도 3은 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 사용되는 다향한 색상의 LED 마커를 도시한 도면이다.
도 4는 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 다 방향의 영상을 획득하기 위한 프레임 그래버(frame grabber) 보드의 구성도이다.
도 5a 내지 도 5c는 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 각 관절에 따른 각도 및 위치 변화를 분석하는 과정을 도시한 도면이다.
도 6은 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 사용되는 UI (User interface)의 일 실시예를 도시한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상을 이용한 자세 및 동작 분석 시스템의 블록 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상을 이용한 자세 및 동작 분석 시스템(100)은 영상 촬영부(110), 영상 획득부(120), 영상 처리부(130), 및 영상 분석부(140)를 포함한다. 또한, 상기 영상을 이용한 자세 및 동작 분석 시스템(100)은 저장부(150) 및 디스플레이부(160)를 포함할 수 있다.

예를 들어, 영상을 이용한 자세 및 동작 분석 시스템(100)은 피사체 및 상기 피사체의 각 분절 부분에 부착된 복수의 마커를 다 방향에서 촬영하는 영상 촬영부(110), 상기 영상 촬영부(110)로부터 영상을 획득하여 디지털 신호로 변환하는 영상 획득부(120), 상기 영상 획득부(120)로부터 상기 디지털 신호를 전송받아 처리하며, 상기 복수의 마커의 움직임을 추출하는 영상 처리부(130), 및 상기 영상 처리부(130)의 처리 결과를 기초로 상기 피사체의 자세 및 동작을 분석하는 영상 분석부(140)를 포함할 수 있으며, 상기 영상 분석부(140)의 분석 결과를 저장하는 저장부(150) 및 상기 영상 분석부(140)의 분석 결과를 디스플레이하는 디스플레이부(160)를 더 포함할 수 있다. 이러한 영상을 이용한 자세 및 동작 분석 시스템(100)을 통해 실시간으로 사용자의 자세 및 동작을 평가할 수 있고, 또한, 시상면(Sagittal plane), 관상면(Coronal plane), 횡단면(Transeverse plane) 등 다방향의 운동학적 정보를 분석할 수 있다.

도 2는 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 다 방향의 영상을 획득하기 위한 개념도이다. 또한, 도 3은 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 사용되는 다향한 색상의 LED 마커를 도시한 도면이다.

도 2를 참조하면, 영상 촬영부(110)는 다 방향에서 영상을 획득하기 위해, 피사체(P)를 중심으로 배치되는 복수의 카메라를 포함할 수 있다. 이때, 피사체(P)의 각 분절 부분, 일례로 피사체(P)의 각 관절에는 마커(101)가 부착되어 있으며, 복수의 카메라가 여러 방향에서 피사체(P)와 마커(101)들을 촬영한다.

예를 들어, 복수의 카메라는 피사체(P)의 상단을 촬영하는 제1 카메라(111), 상기 피사체(P)의 정면을 촬영하는 제2 카메라(112), 상기 피사체(P)의 후면을 촬영하는 제3 카메라(113), 그리고 상기 피사체(P)의 좌측면 또는 우측면을 촬영하는 제4 카메라(114)를 포함할 수 있다.

여기에서, 제1 카메라(111)는 피사체(P)의 상단을 촬영하여 상기 피사체(P)의 횡단면(Transeverse plane)의 방향에 대한 자세를 캡쳐할 수 있다. 또한, 제2 카메라(112)는 피사체(P)의 정면을 촬영하고, 제3 카메라(113)는 피사체(P)의 후면을 촬영하여 피사체(P)의 관상면(Coronal plane)의 방향에 대한 자세를 캡쳐할 수 있다. 그리고, 제4 카메라(114)는 피사체(P)의 좌측면 또는 우측면을 촬영하여 시상면(Sagittal plane)의 방향에 대한 자세를 캡쳐할 수 있다.

시상면, 관상면, 횡단면 등의 다방향으로 카메라를 장착하여 사용자의 전, 후, 좌, 우 등 각 방향의 자세를 캡쳐할 수 있고, 이를 기초로 피사체(P)의 자세를 분석할 수 있다. 물론, 피사체(P)의 다른 방향에도 카메라를 장착하여 피사체(P)의 자세를 더 정밀하게 분석할 수도 있다.

또한, 도 3을 참조하면, 복수의 마커(101)는 서로 다른 색상을 조사하는 LED 마커(102)일 수 있다. 복수의 마커(101)가 피사체(P)의 관절 등과 같은 각 분절 부분에 부착되는데, 피사체(P)에 부착되는 마커(101)를 용이하게 식별하기 위해, 각 마커(101)로 LED 마커(102)를 사용할 수 있다. 도 3에 도시한 바와 같이, LED 마커(102)는 Red color(M-01), Orange color(M-02), Yellow color(M-03), Green color(M-04), Sky blue color(M-05), Dark blue color(M-06), Purple color(M-07) 등 서로 다른 색상을 가질 수 있으며, 이외에도 식별이 용이한 여러 다른 색상들을 가지는 LED 마커(102)일 수 있다.

LED 마커(102)는 자체적으로 빛을 발광하여 색상을 발현하며, 영상 촬영부(110)에서 촬영한 영상에 LED 마커(102)의 색상이 표시되며, 색상에 따라 LED 마커(102)를 식별할 수 있게 된다. LED 마커(102)는 피사체(P)의 옷 위에 부착되거나, 또는 피부에 직접 부착될 수 있다. LED 마커(102)가 많이 부착될수록 피사체(P)의 자세 및 동작을 더 자세하게 분석할 수 있다. 피사체(P)의 신체, 특히 관절 부분에 컬러 LED 마커(102)를 매칭시킴으로써, 기존의 다른 마커를 인식하여 나타나는 관절 각도 오류를 방지할 수 있다. 즉, 획득된 영상을 통하여 실시간으로 사용자의 각 관절 각도를 분석하기 위하여 다양한 컬러 LED 마커(102)를 이용함으로써, 피사체(P)의 관절 위치 선별이 용이하다.

LED 마커(102)의 LED(Light Emitting Diode)는 주입된 전자와 정공이 재결합할 때 과잉 에너지를 빛으로 방출하는 다이오드로서, 높은 광변환 효율과 낮은 소비 전력 등 높은 에너지 효율을 가지고 있고, 수명이 길어서 빛을 발광하는 광원으로 사용하기에 적합하다. 또한, LED 마커(102)는 LED 외에도 OLED(Organic Light-Emitting Diode) 등 전계 발광 효과를 이용한 모든 종류의 소자를 포함할 수 있음은 당업자에게 자명하다 할 것이다.

도 4는 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 다 방향의 영상을 획득하기 위한 프레임 그래버(frame grabber) 보드의 구성도이다.

도 4를 참조하면, 영상 획득부(120)는 PCI 익스프레스(Express) 버스를 구비하고, 영상으로부터 비젼 데이터(vision data)를 추출하는 프레임 그래버 보드(125)를 포함할 수 있다. 영상 획득부(120)는 영상 촬영부(110)에서 촬영한 영상을 디지털 신호로 변환하는데, 다 방향에서 획득한 영상을 디지털 신호로 변환하기 위해 복수의 카메라 링크 회로(1252), FIFO CH(1254) 및 PCI Express 칩셋(1255)을 사용할 수 있다. 여기에서, 비젼 데이터는 영상을 디지털 데이터로 변환한 것으로, 데이터 전송이 용이하도록 데이터를 압축하여 전달할 수 있다. 압축 포맷 형태의 데이터는 MPEG(Moving Picture Experts Group)-1 또는 MPEG-4, JPEG(Joint Photographic Experts Group), H. 264 등의 다양한 포맷을 가질 수 있다.

프레임 그래버 보드(125)는 카메라에서 나오는 영상을 CPU 등에서 처리할 수 있는 신호로 바꾸어 주는 역할을 한다. 이러한 영상 획득을 위한 프레임 그래버(frame grabber)는 여러 가지 형태의 보드, 예를 들어 ISA (Industry Standard Architecture), PCI (Periheral Component Interconnect), PCIe(PCI Express) 및 산업용을 위한 cPCI(Compact PCI), VME(Versa Module Europa) 등이 존재할 수 있다. 특히, 영상 획득부(120)는 PCIe(PCI Express) 규격의 물리적 버스를 통하여 데이터를 전송할 수 있다. 예를 들어, 영상 획득부(120)를 물리적으로 구현하는 프레임 그래버 보드(125)로 NI사의 PCIe type의 GigE Vision fame grabber를 사용할 수 있으며, 이에만 제한되지 않음은 당업자에게 자명하다 할 것이다.

다시 도 4를 참조하면, 프레임 그래버 보드(125)는 제1 내지 제4 카메라(111 내지 114)와 각 커넥터(1251)를 통해 연결되어, 상기 제1 내지 제4 카메라(111 내지 114)로부터 촬영된 영상이 획득되어 카메라 링크 회로(Camera Link Circuit, 1252)를 통해 FIFO CH(1254)으로 전달된다. FIFO CH(1254)은 영상을 영상 처리부(130)에서 처리 가능한 신호로 변환하며, FIFO CH(1254)은 다수의 신호 데이터 항목을 저장하기 위한 공간을 가진다. 각 FIFO CH(1254)에서 처리된 신호는 물리적 버스인 각 PCI Express 칩셋(1255)을 통해 통신한다. 이러한 PCI Express 칩셋(1255)의 일례로 PCI Express Chipset PEX8133 등을 사용할 수 있다. 물론, 프레임 그래버 보드(125)의 카메라 링크 회로(1252), FIFO CH(1254), PCI Express 칩셋(1255)의 수는 카메라의 개수에 대응할 수 있을 뿐만 아니라, 카메라의 개수보다 더 적거나 또는 더 많게 설계될 수도 있다.

일반적으로, 버스는 컴퓨터 용어로 컴퓨터 등의 장치 내부나 외부의 각 장치와의 정보나 신호를 주고 받는 데 사용되도록 구성된 전기적 통로를 말한다. 도 4에서, PCI Express 칩셋(1255)은 I/O 버스로 프레임 그래버 보드(125) 내 FIFO CH(1254)와 주변, 즉 영상 처리부(130)를 서로 연결하여 시스템(100)이 원할하게 돌아갈 수 있도록 데이터 전송 역할을 하는 공통의 통로가 된다.

본 발명의 일 실시예에 따른 영상을 이용한 자세 및 동작 분석 시스템(100)에서 제1 내지 제4 카메라(111 내지 114)를 이용하여 비젼 시스템을 구현할 수 있으며, 이에 대응하여 다수의 카메라 링크 회로(1252), FIFO CH(1254) 및 PCI Express 칩셋(1255)이 프레임 그래버 보드(125) 상에 설계되어 여러 카메라로부터 영상을 동시에 획득할 수 있게 된다. 특히, 각 카메라에 각각 카메라 링크 회로(1252), FIFO CH(1254) 및 PCI Express 칩셋(1255)이 대응됨으로써, 병목 현상을 피하고, 처리율을 높여주게 된다. 이렇게 설계된 프레임 그래버 보드(125)를 통해 다방향 영상을 15 fps(frame per second)로 수집할 수 있다.

도 5a 내지 도 5c는 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 각 관절에 따른 각도 및 위치 변화를 분석하는 과정을 도시한 도면이다.

영상 처리부(130)는 영상 획득부(120)에서 디지털 신호를 전송 받으며, 상기 전송 받은 디지털 신호를 처리하여 피사체(P)에 부착된 복수의 마커(101)의 움직임을 추출한다. 구체적으로, 영상 처리부(130)는 영상에서 각 마커(101)의 포인트를 추출하고, 상기 각 마커(101)의 포인트 간의 사이 각도를 산출할 수 있다.

영상 처리부(130)는 비젼 데이터에 비젼 알고리즘을 적용하여 피사체(P)의 영역을 산출할 수 있다. 여기에서, 비젼 알고리즘은 비젼 데이터를 원하는 정보로 얻기 위하여 알맞은 형태로 변환한다. 일례로, 비젼 데이터가 영상 획득부(120)로부터 전송된 경우에, 영상을 이진화하고, 라벨링하여 영상에서 피사체(P)의 외곽 영역을 결정하여 추출하는 것을 들 수 있다. 구체적으로, 전처리 과정으로 소정 임계값을 기초로 낮은 값을 가지는 픽셀은 흑으로 높은 값을 가지는 픽셀은 백으로 표현되는 이진화 영상을 획득하며, 상기 소정 임계값은 모든 픽셀들의 밝기 값의 평균을 이용하거나 iterative selection, two peak 방법 등 여러 가지 방법을 사용하거나, 또는 사용자가 직접 임계값을 정하여 사용할 수도 있다. 그런 후에, 이진화 영상에 대해 침식(erosion)과 팽창(dilation) 연산을 수행하여 이진화 영상의 노이즈를 제거한다. 즉, 침식 연산을 통해 피사체 영역에 대해 배경 영역을 확장시키고 피사체(P)의 크기를 축소하여 피사체 영역 주변의 노이즈 성분을 제거 혹은 축소한다. 그리고, 작아진 피사체(P) 이미지의 크기를 복원하기 위해 팽창 연산을 통해 피사체(P)의 크기를 확장하고 배경은 축소한다. 그리고, 이진화 영상을 기초로 영상에서 피사체 영역을 결정하여 추출한다. 이때, 라벨링 연산을 이용하여 상기 피사체(P)의 영역을 결정하게 된다.

또한, 영상 처리부(130)는 각 마커(101)의 위치를 포인트화하여 추출할 수 있다. 예를 들어, 영상 처리부(130)는 상술한 바와 같이 피사체(P)의 영역을 추출하고, 상기 피사체 영역에서 대응되는 마커(101)의 위치를 평면 좌표로 나타낼 수 있다.

또는, 영상 처리부(130)는 서로 다른 색상을 가지는 LED 마커(102)에서 Color Matching Algorithm을 이용하여 Point를 추출할 수 있다. LED 마커(102)는 서로 다른 색을 가지므로, LED 마커(102)가 특징점(feature point)가 될 수 있다. 영상에서 픽셀의 휘도나 조도 등을 이용하여 LED 마커(102)의 포인트를 추출할 수 있다.

예를 들어, 피사체(P)를 촬영하여 영상 획득부(110)를 통해 전송되는 디지털 신호에서 영상의 RGB 값을 기초로 LED 마커(102)의 포인트를 추출할 수 있다.

또는, 영상의 RGB 데이터를 HSV 데이터로 변환하고 레티넥스 이론(Retinex Theory)에 따라 조도 성분을 추출하여 LED 마커(102)의 포인트를 추출할 수 있다. HSV 데이터에서 H, S, V는 각각 Hue(색상), Saturation(채도), Value(명도)를 나타낸다. 또한, 레티넥스 이론은 인간의 감각계가 느끼는 물체의 밝기나 색채는 물체 표면에서 반사되어 망막에 입사된 빛의 강도나 분광 분포와 반드시 대응한다는 이론으로써, 이를 이용하여 조도를 구할 수 있고, 조도가 상이한 여러 색상의 LED 마커(102)를 식별할 수 있다. 조도 성분은 아래의 수학식 1 내지 4를 통하여 산출할 수 있다.

여기에서, V는 Value이며, R, G, B는 각각 영상 획득부(120)에서 전송되는 영상의 Red, Green, Blue 데이터이다.

여기에서, (x, y)는 픽셀의 좌표이며, R(x, y)는 명도(V) 데이터의 반사 성분, I(x, y)는 명도(V) 데이터의 조도 성분이다.

영상에서 조도 성분은 다음의 수학식 3에 의해 도출될 수 있다.

여기에서, G(x, y)는 가우시안 함수(Gaussian function)로 다음의 수학식 4에 의해 계산될 수 있다.

여기에서, k는 정규화 상수이며,

는 표준 편차이다.

상술한 Color Matching Algorithm의 여러 방식을 이용하여 LED 마커(102)의 포인트를 추출할 수 있다.

예를 들어, 도 5a 및 도 5b에 도시한 바와 같이, 피사체(P)의 영상(11)에서 다섯 개의 LED 마커(102)를 확인하여 영상(12)에 표시할 수 있다. 도 5a의 영상에서 Red color(M-01), Orange color(M-02), Yellow color(M-03), Green color(M-04), Purple color(M-07)의 포인트를 찾을 수 있으며, 이를 도 5b의 영상에 각각 Point1(x1, y1), Point2(x2, y2), Point3(x3, y3), Point4(x4, y4), Point5(x5, y5)로 표시할 수 있다. 이렇게 추출된 각 포인트의 위치를 이용하여 각 포인트의 위치 변화 및 각도 변화를 계산하여 LED 마커(102)의 움직임을 알 수 있고, 이를 통해 피사체(P)의 자세 및 동작 변화를 추적할 수 있다.

예를 들어, 도 5c에 도시한 바와 같이,

의 각도를 계산함으로써, Orange color(M-02)의 LED 마커(102)가 부착된 무릎 관절의 각도 변화를 추적할 수 있다. 아래의 수학식 5 내지 10을 통하여

의 각도를 계산할 수 있다.

여기에서, (x1, y1)은 포인트1의 좌표, (x2, y2)은 포인트2의 좌표이다.

여기에서, (x1, y1)은 포인트1의 좌표, (x3, y3)은 포인트3의 좌표이다.

여기에서,

은 포인트1과 포인트2 간의 거리,

는 포인트2와 포인트3 간의 거리이다.

이러한 삼각함수의 연산을 통해 LED 마커(102)의 사이 각도를 산출할 수 있다.

도 6은 도 1의 영상을 이용한 자세 및 동작 분석 시스템에서 사용되는 UI (User interface)의 일 실시예를 도시한 도면이다.

영상 분석부(140)는 영상 처리부(130)의 처리 결과를 기초로 피사체(P)의 자세 및 동작을 분석한다. 영상 처리부(130)에서 피사체(P) 및/또는 상기 피사체(P)에 부착된 복수의 마커(101)의 위치, 움직임 등을 추출할 수 있으며, 영상 분석부(140)는 이러한 피사체(P), 마커(101)의 이동을 분석하여 자세 및 동작을 분석할 수 있다.

구체적으로, 영상 분석부(140)는 미리 설정된 기준 영상과 비교하여 피사체(P)의 자세 및 동작이 적절한지 판단하거나, 또는 마커(101) 간의 거리 및 사이 각도가 미리 설정된 기준 범위 내인지 판단하여 피사체(P)의 자세 및 동작을 평가할 수 있다. 예를 들어, 도 5c에 살펴본 바와 같이, 피사체(P)의 이동에 따른 무릎 관절의 각도를 계산할 수 있으며, 다른 관절 부분의 위치와 각도도 마찬가지로 계산할 수 있다. 이를 통해 영상 분석부(140)가 피사체(P)의 운동 상태(자세, 동작)을 분석할 수 있으며, 피사체(P)의 위치, 자세, 동작 등에 대한 정보를 실시간으로 표시할 수 있다.

도 6을 참조하면, 영상 분석부(140)는 분석된 여러 정보를 디스플레이부(160)를 통해 표시할 수 있다. 예를 들어, 영상 분석부(140)는 영상 촬영부(110)의 각 카메라에서 선택된 마커(101)를 추적하여, 사용자가 원하는 각도, 위치 등에 따른 영상을 디스플레이할 수 있고, 이에 대한 기초 정보 등을 같이 디스플레이할 수 있다.

저장부(150)는 영상 분석부(140)의 분석 결과를 저장할 수 있을 뿐만 아니라, 영상 촬영부(110)에서 촬영된 영상, 영상 획득부(120)에서 변환된 디지털 신호나 영상, 영상 처리부(130)에서 처리된 정보나 영상 등을 저장할 수 있다. 또한, 저장부(150)는 영상 분석부(140)의 분석을 위한 여러 기준 정보들, 예를 들어 정상인의 운동 상태를 표시하는 영상, 피사체(P)의 올바른 운동 상태를 표시하는 영상 등을 저장할 수 있다. 또한, 저장부(150)는 시스템(100)을 이용하는 개인의 연령, 성별, 이용 횟수, 이용 날짜 등 개인 정보들을 저장할 수도 있다.

디스플레이부(160)는 영상 분석부(140)의 분석 결과를 디스플레이하며, 이러한 디스플레이부(160)는 음극선관(CRT, Cathode Ray Tube), 액정 화면(LCD, Liquid Crystal Display), 발광 다이오드(LED, Light-Emitting Diode), 유기 발광 다이오드(OLED, Organic Light-Emitting Diode) 또는 플라즈마 디스플레이(PDP, Plasma Display Panel) 등의 영상 표시 수단이 구비된 모듈로서 전달 받은 영상 정보, 여러 분석 결과 등을 디스플레이하는 역할을 한다. 특히, 디스플레이부(160)는 피사체(P)의 관절 각도, 자세, 위치를 실시간으로 표시할 수 있고, 디스플레이부(160)를 통해 피사체(P)의 동작을 실시간으로 확인할 수 있다.

본 발명의 일 실시예에 따른 영상을 이용한 자세 및 동작 분석 시스템(100)을 통해, 다 방향에서 피사체(P)를 촬영하여 피사체(P)의 자세 및 동작을 분석할 수 있으므로, 보행 훈련 시에 운동학적 정보(Kinematics)와 운동 역학적 정보(Kinetics)에 대하여 실시간으로 제공해 줄 수 있고, 이에 따라 훈련 효과를 높일 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 영상을 이용한 자세 및 동작 분석 시스템
110: 영상 촬영부 120: 영상 획득부
130: 영상 처리부 140: 영상 분석부
150: 저장부 160: 디스플레이부

Claims

피사체 및 상기 피사체의 각 분절 부분에 부착된 복수의 마커를 다 방향에서 촬영하는 영상 촬영부;
상기 영상 촬영부로부터 영상을 획득하여 디지털 신호로 변환하는 영상 획득부;
상기 영상 획득부로부터 상기 디지털 신호를 전송받아 처리하며, 상기 복수의 마커의 움직임을 추출하는 영상 처리부; 및
상기 영상 처리부의 처리 결과를 기초로 상기 피사체의 자세 및 동작을 분석하는 영상 분석부를 포함하는, 영상을 이용한 자세 및 동작 분석 시스템.
제 1항에 있어서,
상기 복수의 마커는, 서로 다른 색상을 조사하는 LED 마커인, 영상을 이용한 자세 및 동작 분석 시스템.
제 1항에 있어서,
상기 영상 촬영부는, 상기 피사체를 중심으로 배치되는 복수의 카메라를 포함하며,
상기 복수의 카메라는, 상기 피사체의 상단을 촬영하는 제1 카메라, 상기 피사체의 정면을 촬영하는 제2 카메라, 상기 피사체의 후면을 촬영하는 제3 카메라, 그리고 상기 피사체의 좌측면 또는 우측면을 촬영하는 제4 카메라를 포함하는, 영상을 이용한 자세 및 동작 분석 시스템.
제 1항에 있어서,
상기 영상 획득부는, PCI 익스프레스(Express) 버스를 구비하고, 상기 영상으로부터 비젼 데이터(vision data)를 추출하는 프레임 그래버(frame grabber) 보드를 포함하는, 영상을 이용한 자세 및 동작 분석 시스템.
제 1항에 있어서,
상기 영상 처리부는, 상기 각 마커의 포인트를 추출하고, 상기 각 마커의 포인트 간의 사이 각도를 산출하는, 영상을 이용한 자세 및 동작 분석 시스템.
제 1항에 있어서,
상기 영상 분석부의 분석 결과를 저장하는 저장부; 및
상기 영상 분석부의 분석 결과를 디스플레이하는 디스플레이부를 더 포함하는, 영상을 이용한 자세 및 동작 분석 시스템.