KR20170062174A - 관절 가동 범위를 측정하는 장치 및 방법 - Google Patents

Abstract

본 발명은 마커리스 모션 캡쳐에 기반하여 관절가동범위의 측정에 있어서 피험자가 통증을 느끼는 구간에 대한 정보를 산출하는 기술적 사상에 관한 것으로서, 일실시예에 따른 장치는 입력영상으로부터 관절 가동 범위를 추적하는 처리부, 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 식별부, 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부를 포함한다.

Description

관절 가동 범위를 측정하는 장치 및 방법{APPARATUS AND METHOD FOR MEASURING RANGE OF MOTION}

마커리스 모션 캡쳐에 기반하여 관절가동범위의 측정에 있어서 피험자가 통증을 느끼는 구간에 대한 정보를 산출하는 기술적 사상에 관한 것이다.

관절가동범위는 근골격계 질환을 진단, 평가하는데 중요한 척도이다.

관절가동범위의 측정을 위해서는 기계식 측정방법을 이용하고 있다. 이러한 기계식 측정방법은 측각기나 경사계 등의 기계를 이용해서 관절의 가동범위를 직접 측정하는 점에서 사용이 불편하고 이로 인해 결과값의 신뢰가 높지 않다.

최근에는 기계식 측정을 대신하여, 관성센서를 관절 주위에 부착하거나, 광학식 모션 캡쳐 장치를 활용하는 등의 기술을 활용하여 관절가동범위를 측정하는 추세이다.

관절가동범위의 측정은 주로 피험자의 통증이 존재하는 범위를 알아보기 위해 사용되지만, 아직까지 통증의 유무를 관절가동상황에서 자연스럽게 기록하는 방법이 마땅치 않은 실정이다.

통증이 존재하는 위치의 시작 구간 등을 알기 위해서 특정위치에서 정지한 후 환자에게 질문하는 형태의 측정 방식이 사용될 수도 있는데, 이러한 방식은 신뢰성이 떨어질 뿐만 아니라 관절운동자체가 왜곡되기 때문에 검사 본연의 목적인 관절가동을 측정할 수 없다. 일예로 보행 중 통증이 존재하는 구간에 대한 측정이 필요하다고 하면 환자에게 보행중간에 멈춰보라는 식의 요구를 할 수 없고, 통증시작부분에서 멈춘다 하더라도 이는 환자의 원래 보행에 대한 측정이 될 수 없다.

관절가동범위 검사는 한의재활이나 정형외과 등에서 가장 기본적인 검사이다. 하지만 아직까지 대부분의 경우에는 의사의 눈으로 의존하는 실정이며, 정확한 데이터를 얻기 위해 고가의 마커타입 모션캡쳐 장비가 필요한 것이 일반적이다. 그러나, 이러한 고가의 장비를 사용하더라도, 통증 유무에 대해서는 확인할 수 없는 실정이다.

대한민국 특허등록공보 제10-1377571호 대한민국 특허등록공보 제10-1033198호

일실시예에 따른 보조 컴퓨팅 장치는 입력영상으로부터 관절 가동 범위를 추적하는 처리부, 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 식별부, 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부를 포함한다.

일실시예에 따른 미리 지정된 패턴은 데이터베이스에 기록 및 유지되고, 상기 데이터베이스는 피험자로부터 측정되는 얼굴 표정 이미지를 이용해서 트래이닝(training)된다.

일실시예에 따른 식별부는, 통증구간의 산출 이전, 피험자로부터 수집된 적어도 하나 이상의 기준 표정과 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 대비하여 분석한다.

일실시예에 따른 상기 피험자로부터 수집된 적어도 하나 이상의 기준 표정은 중립적인(neutral) 상태에서의 표정 이미지를 포함하고, 상기 식별부는 상기 기준 표정에 대비하여 상기 분석되는 얼굴 표정이 임계값 이상 차이나는 시점을 식별하며, 상기 산출부는, 상기 식별된 시점을 통증구간의 시작 위치로 산출한다.

일실시예에 따른 상기 식별부는, 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하고, 상기 산출부는, 상기 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 상기 통증구간의 시작 위치로 산출한다.

일실시예에 따른 상기 식별부는, 피험자로부터 수집되는 특정 패턴의 음성에 대해 임계값 이상의 변화를 감지하고, 상기 산출부는, 상기 음성 패턴이 감지된 시점을 상기 통증구간의 시작 위치로 산출한다.

일실시예에 따른 상기 식별부는, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하고, 상기 산출부는, 상기 분석된 음성 정보 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중에서, 통증구간을 산출한다.

일실시예에 따른 상기 식별부는, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별하고, 상기 산출부는, 상기 식별된 음성 레벨 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출한다.

일실시예에 따른 상기 산출부는, 상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출한다.

일실시예에 따른 상기 식별부는, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별하고, 상기 산출부는, 상기 식별된 음성 정보 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출한다.

일실시예에 따른 상기 산출부는, 상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출한다.

일실시예에 따른 보조 컴퓨팅 장치는 입력영상으로부터 관절 가동 범위를 추적하는 처리부, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 식별부, 및 상기 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부를 포함한다.

일실시예에 따른 상기 식별부는, 상기 음성을 분석하여 음성 레벨을 식별하고, 상기 산출부는, 상기 식별된 음성 레벨 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출한다.

일실시예에 따른 상기 산출부는, 상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출한다.

일실시예에 따른 상기 식별부는, 상기 음성을 분석하여 음성 정보를 식별하고, 상기 산출부는, 상기 식별된 음성 정보 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출한다.

일실시예에 따른 상기 산출부는, 상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출한다.

일실시예에 따른 방법은 입력영상으로부터 관절 가동 범위를 추적하는 단계, 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 단계, 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 단계를 포함한다.

일실시예에 따른 상기 얼굴 표정을 분석하는 단계는, 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하는 단계를 포함하고, 상기 통증구간을 산출하는 단계는, 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 상기 통증구간의 시작 위치로 산출한다.

일실시예에 따른 방법은 입력영상으로부터 관절 가동 범위를 추적하는 단계, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 단계, 및 상기 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 단계를 포함한다.

일실시예에 따른 프로그램은 입력영상으로부터 관절 가동 범위를 추적하는 명령어 세트, 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 명령어 세트, 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 명령어 세트를 포함한다.

도 1은 일실시예에 따른 관절 가동 범위를 측정하는 기술을 설명하는 도면이다.
도 2는 일실시예에 따른 컴퓨팅 보조 장치를 설명하는 도면이다.
도 3은 컴퓨팅 보조 장치가 관절 가동 범위 중 통증구간을 산출하는 실시예를 설명한다.
도 4는 관절 가동 범위를 산출하는데 필요한 원리를 설명하는 도면이다.
도 5는 일실시예에 따른 관절 가동 범위를 측정하는 방법을 설명하는 도면이다.
도 6은 다른 일실시예에 따른 관절 가동 범위를 측정하는 방법을 설명하는 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 관절 가동 범위를 측정하는 기술을 설명하는 도면이다.

일반적으로 마커타입의 모션캡쳐 데이터는 고가의 장비 가격으로 인해 일반 임상에서 쉽게 활용되기 어렵다. 본 발명에서 설명하는 관절 가동 범위를 측정하는 기술은 기존 마커타입 모션캡쳐 방식보다 장비 가격 측면을 고려할 때 시장 진입에 유리하다.

일실시예에 따른 관절 가동 범위를 측정하는 장치는 피험자(110)의 몸에 어떠한 구속장치도 부착하지 않은 마커리스 모션 캡쳐에 기반한다. 구체적으로, 관절 가동 범위를 측정하는 장치는 피험자(110)가 통증을 느끼는 구간에 대한 정보를 측정과 동기화하여 산출한다.

특히, 관절가동 중 통증의 표현을 위한 불필요한 동작을 최소화하기 위해서 얼굴 표정 또는 발성 유무 정보를 활용할 수 있다. 따라서, 본 발명은 신체를 구속하는 별도의 장치가 불필요하여 검사의 신뢰성이 보장되며, 기존 관절가동범위 검사 방법을 그대로 활용할 수 있다.

예를 들어, 어깨 관절가동범위 측정시 피험자(110)가 통증의 유무를 알리기 위해서 표정이나 발성을 활용하면 원래 관절가동범위 측정의 결과에 영향을 거의 주지 않고 측정이 가능하다.

일실시예에 따른 장치는 마커리스 모션 캡쳐 방법과 얼굴 표정이나 발성 정보를 활용하기 때문에, 피험자(110)가 측정을 위한 부가적인 장비를 착용하거나 관절 움직임에 영향을 줄 수 있는 측정 프로토콜을 사용하지 않고 통증정보가 동기화된 관절가동범위 측정이 가능하다.

또한, 일실시예에 따른 장치는 얼굴 표정 변화의 크기나 발성의 크기를 피험자(110)가 느끼는 통증의 크기로 활용할 수 있다. 이를 위해, 측정 시 피험자(110)에게 느끼는 통증의 크기에 비례하여 표정 혹은 발성의 크기를 조절하도록 요구할 수도 있다.

본 발명은 동작 시간 구간 안에서 매 샘플(frame)마다 관절각도 및 통증 유무 또는 강도를 측정할 수 있다.

본 명세서에서 사용되는 '측정'이라 함은 관절 동작 시간 구간 안에서의 추적(tracking)을 의미한다.

보다 구체적인 실시예로, 일실시예에 따른 장치는 적어도 하나 이상의 카메라(120)를 포함할 수 있고, 이 중에서는 2D 카메라, 3D 카메라가 포함될 수도 있다.

적어도 하나 이상의 카메라(120)는 피험자(110)의 얼굴(헤드) 측정용과 신체 측정용으로 활용하기 위해 여러 대가 준비될 수 있다. 만약, 다수의 카메라를 활용하는 경우 카메라(120)간에 동기화 필요하다.

얼굴(헤드) 측정용 카메라는 얼굴 표정 분석, 헤드각도 모니터링(경추관절 가동 범위의 측정) 등의 목적으로 얼굴 주변 영역에 포커스 할 수 있다. 또한, 적어도 하나 이상의 카메라(120)는 팔, 다리 등 관절가동범위 측정을 위한 신체 부분을 촬영할 수 있는 다수의 카메라를 포함할 수 있다.

일례로, 1대의 카메라로 전신을 촬영하면서 얼굴 영역에 대해서 얼굴 표정 분석을 할 수도 있다. 예를 들어, 동일한 비디오 입력에서 어깨 관절가동범위 측정 및 얼굴 표정 분석을 할 수도 있다.

마이크(130)는 적어도 하나 이상의 카메라(120)와 동기화 되어서 음성(사람의 신음, 발성, 특정 단어) 신호를 전기 신호로 변환한다. 이에 장치는 변환된 신호를 분석하여 통증의 존재 유무, 통증구간 등을 산출할 수 있다.

예를 들어, 장치는 피험자의 입벌어짐이나 눈 찌푸림과 같은 얼굴 표정을 인식하고, 이를 기반으로 통증 존재 유무를 판단할 수도 있다. 또한, 표정 및 음성을 함께 고려하여 통증 존재 유무을 판단할 수도 있다.

보다 구체적으로, 피험자(110)에게 통증이 있으면 적극적으로 얼굴 표정(과도한 눈 찡그림, 입술 개방 등)을 짓도록 하고, 통증이 없으면 무표정(neutral)을 짓거나, 발성을 중지 할 수 있다.

또한, 피험자(110)는 통증의 정도에 비례하여 표정의 강도, 발성의 크기를 조절할 수 있다.

도 2는 일실시예에 따른 컴퓨팅 보조 장치(200)를 설명하는 도면이다.

일실시예에 따른 컴퓨팅 보조 장치(200)는 피험자의 입벌어짐이나 눈 찌푸림과 같은 얼굴 표정이나 피험자의 음성을 인식하고, 이를 기반으로 통증 존재 유무를 판단할 수 있다.

이하의 실시예에서는 피험자의 얼굴표정을 통해 통증구간을 산출하는 기술, 얼굴표정과 음성을 함께 고려하여 통증구간을 산출하는 기술, 그리고 음성만을 이용하여 통증구간을 산출하는 기술을 구분하여 본 발명을 설명한다.

<얼굴표정을 통해 통증구간을 산출하는 실시예>

이를 위해, 일실시예에 따른 컴퓨팅 보조 장치(200)는 처리부(210), 식별부(220), 산출부(230)를 포함한다.

일실시예에 따른 처리부(210)는 입력영상으로부터 관절 가동 범위를 추적한다.

관절 가동 범위는 2011년7월27일자 보건복지부고시에 기반하는 것으로서, 신체의 각도 측정의 일반원칙에 따른다.

관절 가동 범위에는 어깨관절, 팔꿈치관절, 손목관절, 엄지손가락 관절, 고관절, 무릎관절, 중족지절관절, 지관절, 근위지절관절, 척추 등을 미리 지정된 기준에 따라 측정할 수 있다.

예를 들어, 척추는 중립위의 위치에서 몸을 앞으로 굽혀서 전굴각을 측정하거나, 몸을 뒤로 젖혀서 후굴각을 측정하는 방법으로 관절 가동 범위를 측정할 수 있다. 또한, 중립위에서 제5요추극돌기를 기준으로 좌우로 몸을 굽혀 측굴각을 측정할 수 있고, 중립위에서 골반을 잡아 움직이지 않게 하고 좌우로 몸을 비틀어 몸통이 돌아간 좌우회전각을 측정할 수 있다.

상기 일자 보건복지부고시에 따른 척추의 전굴각의 정상치는 90도, 후굴각의 정상치는 30도, 측굴각 및 좌우회전각의 정상치는 30도로 책정한다.

일실시예에 따른 처리부(210)는 적어도 하나 이상의 카메라를 이용하여 관절의 움직임을 촬영한 입력영상으로부터 상기 일자 보건복지부고시에 따른 관절 가동 범위를 측정한다.

일실시예에 따른 처리부(210)는 2D 카메라 또는 3D 카메라를 이용하여 수집한 입력영상에서 관심 관절의 각도를 시간에 대해서 추적(tracking)함으로써, 측정할 수 있다.

측면으로 특정 평면을 정하고 엘이디 등의 액티브 마커(active marker)를 주요 관절 부위에 붙인 경우에 대해, 일실시예에 따른 처리부(210)는 마커 인식을 위한 영상분석을 통하여 관절가동범위 측정이 가능하다. 또한, 패시브 컬러 마커(passive color marker)를 주요 관절 부위에 붙인 경우에 대해 2D 영상 분석을 통하여 관절가동범위 측정 가능하다.

일실시예에 따른 처리부(210)는 키넥트와 같은 3D 카메라를 이용하여 촬영된 입력영상으로부터 신체의 뼈대 추적(tracking)을 실행할 수 있다. 예를 들어, 처리부(210)는 뼈대의 각도 정보를 추적하여 관절가동범위 측정치로 활용할 수 있다.

입력영상으로부터 관절 가동 범위를 측정하는 기술은 이하 도 4를 통해 상세히 설명한다.

일실시예에 따른 식별부(220)는 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석한다.

일실시예에 따른 식별부(220)는 영상분석을 통해 피험자의 얼굴 표정을 분석할 수 있다. 예를 들어, 식별부(220)는 피험자의 표정이 무표정인지 통증표현인지를 구분할 수 있다.

얼굴 표정 분석을 위해, 식별부(220)는 AAM(active appearance model)을 활용할 수 있다. AAM의 결과는 얼굴의 주요 랜드마크 특징점의 좌표를 얻을 수 있는데, 매 프레임에 대해서 특징점 추적을 실시할 수 있다.

이를 위해, 식별부(220)는 중립적인(Neutral) 표정에 대해 먼저 정의할 수 있다.

식별부(220)는 중립적인(Neutral) 표정을 기준 표정으로 활용하여 피험자의 얼굴 표정을 판단할 수 있다. 이때, 중립적인(Neutral) 표정은 미리 지정된 값을 활용할 수도 있고, 피험자로부터 중립적인 표정을 요청하여 촬영한 영상을 활용할 수도 있다.

일실시예에 따른 산출부(230)는 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출한다. 예를 들어, 산출부(230)는 미리 지정된 패턴과 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 통증구간의 시작 위치로 산출할 수 있다. 이 실시예는 통증을 느끼는 표정의 패턴을 기구축된 데이터베이스로부터 독출하는 과정이 필요하고, 통증구간의 판단을 위해 사전에 피험자의 얼굴 표정을 취득할 필요 없다.

구체적으로, 미리 지정된 패턴은 데이터베이스에 기록 및 유지되는 정보로서, 다수의 피험자들로부터 측정된 얼굴 표정의 이미지로부터 추출되는 정보로 해석될 수 있다. 예를 들어, 피험자들이 통증을 느끼기 시작할 때의 표정으로부터 추출되는 특징점들로부터 패턴이 형성되고, 이렇게 생성된 패턴들이 데이터베이스에 기록 및 유지될 수 있다. 이후, 산출부(230)는 데이터베이스를 참조하여 기록 및 유지되는 패턴과 현재 피험자의 얼굴 표정을 비교하여 현재 피험자가 통증을 느끼기 시작했는지를 판단할 수 있다.

미리 지정된 패턴은 다수의 피험자들로부터 측정된 얼굴 표정의 이미지로부터 추출되는 정보로서, 피험자들이 아무런 통증을 느끼고 있지 않을 때의 표정, 즉 중립적인(neutral) 표정으로부터 추출되는 특징점들로부터 패턴이 형성되고, 이렇게 생성된 패턴들이 데이터베이스에 기록 및 유지될 수 있다. 이후, 산출부(230)는 데이터베이스를 참조하여 기록 및 유지되는 패턴과 현재 피험자의 얼굴 표정을 비교하여 현재 피험자가 통증을 느끼기 전의 상태임을 판단할 수 있다.

일례로, 데이터베이스는 피험자로부터 측정되는 얼굴 표정 이미지를 이용해서 트래이닝(training)을 진행 함으로써, 트래이닝이 반복될수록 측정 결과의 정확도가 향상될 수 있다.

한편, 식별부(220)는 통증구간의 산출 이전에 피험자로부터 수집된 수집된 적어도 하나 이상의 기준 표정과 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 대비하여 분석할 수 있다. 이 실시예는 통증을 느끼는 표정의 패턴을 기구축된 데이터베이스로부터 독출하는 과정이 필요하지 않다. 즉, 통증구간의 판단을 위해 사전에 피험자의 얼굴 표정을 취득하고, 이를 활용하여 피험자의 통증 구간을 산출할 수 있다.

일례로, 피험자로부터 수집된 적어도 하나 이상의 기준 표정은 중립적인(neutral) 상태에서의 표정 이미지 또는 통증을 느끼는 상태에서의 표정 이미지를 포함할 수 있다. 만약, 기준 표정이 중립적인(neutral) 상태에서의 표정 이미지인 경우라면, 식별부(220)는 기준 표정에 대비하여 분석되는 얼굴 표정이 임계값 이상 차이나는 시점을 식별하고, 산출부(230)는, 식별된 시점을 통증구간의 시작 위치로 산출할 수 있다.

즉, 식별부(220)는 데이터베이스에 유지되고 있는 미리 지정된 패턴과 현재 피험자의 얼굴 표정이 임계값 이상 일치하는지 여부를 판단할 수 있고, 피험자로부터 수집한 기준 표정과 피험자의 현재 얼굴 표정을 대비하여 일치하는지 여부를 판단할 수 있다.

예를 들어, 식별부(220)는 중립적인(Neutral) 표정에서 얼굴 랜드마크 특징점 위치의 변화를 계산하여 얼굴이 얼마나 중립적인(Neutral) 표정에서 벗어났는지를 계산할 수 있다. 중립적인(Neutral) 표정은 다양한 얼굴 표정 데이터베이스로부터 학습하여 결정할 수 있다. 또한, 피험자에게 실험 전 중립적인(Neutral) 표정을 짓도록 하여 이를 활용할 수도 있다.

또한, 통증시 얼굴 표정도 얼굴 표정 데이터베이스로부터 학습할 수도 있으며, 피험자에게 실험 전 통증 시 표정을 짓도록 하고 이를 활용할 수도 있다.

구체적인 예로, 피험자에게 통증시 표정을 짓도록 하여 중립적인(Neutral) 표정에 상응하는 특징점들의 위치 변화값을 계산하고 식별부(220)는 이를 이용하여 중립적인(Neutral) 표정과 통증시 표정의 구분을 위한 임계값을 설정할 수도 있다.

또한, 가장 극단의 통증 표정을 짓도록 하고 식별부(220)는 각각의 표정에 상응하는 특징점의 위치 변화값을 선형적으로 추정하여 통증의 강도를 추정할 수도 있다.

예를 들면, 식별부(220)는 중립적인(Neutral) 표정과 최대 통증시 표정의 눈꼬리 점의 위치변화가 5 pixel 일 때 임계값 설정 및 선형적으로 통증강도를 추정할 수 있다. 또한, 식별부(220)는 눈꼬리 점의 위치변화가 2 pixel 이하일때는 중립적인 상태로 추정할 수 있다. 식별부(220)는 다수의 중립적인(Neutral) 표정을 측정하여 특징점 위치변화의 표준편차 등을 활용할 수도 있다.

식별부(220)는 통증의 크기를 단계별로 구별할 수도 있다. 예를 들어, 눈꼬리 점의 위치변화가 3pixel, 4pixel, 5 pixel인 경우를 구분하여, 통증크기의 소, 중, 대로 구별할 수 있다.

특징점들의 위치변화를 계산할 때 비교대상의 두 얼굴 특징점 좌표들은 적절한 방법을 통하여 정규화되었다고 가정할 수 있다. 예를 들어, 모든 특징점들의 좌표 평균을 활용하거나, 위치가 변화하지 않은 특징점(코 중심, 또는 미간 중심 등)의 좌표를 이용하여 정규화할 수 있다.

산출부(230)는 분석된 얼굴 표정에 따라 통증구간을 산출할 수 있다.

<얼굴표정과 음성을 함께 고려하여 통증구간을 산출하는 실시예>

일실시예에 따른 보조 컴퓨팅 장치(200)는 피험자의 얼굴표정과 함께 음성을 활용할 수도 있다.

이를 위해, 일실시예에 따른 보조 컴퓨팅 장치(200)는 입력영상으로부터 관절 가동 범위를 추적하는 처리부(210), 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 식별부(220), 및 분석된 얼굴 표정에 따라 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부(230)를 포함할 수 있다.

이때의 식별부(220)는 추적되는 관절 가동 범위에 상응하는 음성을 더 분석하고, 산출부(230)는 분석된 음성과 분석된 얼굴 표정을 이용하여 추적된 관절 가동 범위 중에서, 통증구간을 산출할 수 있다. 예를 들어, 식별부(220)는 미리 지정된 패턴과 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하고, 산출부(230)는 미리 지정된 패턴과 얼굴 표정이 임계값 이상 일치하고, 기준음성과 분석된 음성이 임계값 이상 일치하는 경우에서의 관절 위치를 통증구간의 시작 위치로 산출할 수 있다.

일례로, 식별부(220)는 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별할 수 있다. 즉, 식별부(220)는 음성으로부터 측정 가능한 데시벨이나 진폭 등을 고려하여 음성의 크기를 식별할 수 있고, 산출부(230)는 음성 레벨 및 분석된 얼굴 표정에 따라 통증구간을 산출할 수 있다.

다른 예로, 식별부(220)는 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별할 수 있다. 구체적으로, 음성 정보는 단어, 예를 들어 '일', '이', '삼'과 같이 의미있는 음성으로 해석될 수 있다. 산출부(230)는 분석된 음성 정보 및 분석된 얼굴 표정에 따라 통증구간을 산출할 수 있다.

<음성만을 이용하여 통증구간을 산출하는 실시예>

일실시예에 따른 보조 컴퓨팅 장치(200)는 통증구간을 산출하기 위해 피험자의 음성(또는 발성)을 활용할 수 있다.

이하에서는 피험자의 음성만을 이용하여 통증구간을 산출하는 기술에 대해서 설명한다.

일실시예에 따른 보조 컴퓨팅 장치(200)는 입력영상으로부터 관절 가동 범위를 추적하는 처리부(210), 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 식별부(220), 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부(230)를 포함할 수 있다.

일례로, 식별부(220)는 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별할 수 있다. 즉, 식별부(220)는 음성으로부터 측정 가능한 데시벨이나 진폭 등을 고려하여 음성의 크기를 식별할 수 있고, 산출부(230)는 음성 레벨에 따라 통증구간을 산출할 수 있다.

예를 들어, 보조 컴퓨팅 장치(200)는 피험자가 일정한 크기의 음성을 발성하고, 발성되는 음성의 크기 변화를 감지하여 통증구간을 산출할 수 있다.

이를 위해, 피험자가 일정한 크기의 음성을 발성하는 도중에 식별부(220)는, 피험자로부터 수집되는 특정 패턴의 음성에 대해 임계값 이상의 변화를 감지할 수 있고, 산출부(230)는, 음성 패턴이 감지된 시점을 상기 통증구간의 시작 위치로 산출할 수 있다. 일례로, 피험자가 일정한 크기의 음성을 발성하는 도중 통증으로 인해 음성의 크기가 임계값 이상으로 작아지거나, 특정 주파수 대역 이상의 고음을 발생할 수 있는데, 식별부(220)는 이때의 패턴을 감지할 수 있다.

다른 예로, 식별부(220)는 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별할 수 있다. 구체적으로, 음성 정보는 단어, 예를 들어 '일', '이', '삼'과 같이 의미있는 음성으로 해석될 수 있다. 산출부(230)는 분석된 음성 정보에 따라 통증구간을 산출할 수 있다.

도 3은 컴퓨팅 보조 장치가 관절 가동 범위 중 통증구간을 산출하는 실시예를 설명한다.

먼저 도 3a에서는, 어깨 충돌 증후군(shoulder impingement) 예시를 나타낸다.

도 3a의 도면(300)에서 보는 바와 같이, 피험자가 팔을 아래에서 위로 반원을 그리며 움직이고, 이 때 다리쪽을 0도 머리쪽을 180도로 구분하여 회전각을 표현할 수 있다.

0도에서 70도 구간과 120도에서 180도 구간까지는 피험자가 통증을 느끼지 않는 구간(painless movement)에 해당하고, 70도에서 120도 구간까지는 피험자가 통증을 느끼는 구간(painful arc)에 해당한다.

도 3b에서는 도 3a의 상황에 대해 컴퓨팅 보조 장치를 통해 관절 가동 범위 중 통증구간을 산출하는 실시예에 해당한다.

도면부호 310은 피험자가 팔을 0도에서 180도로 움직였다가 다시 180에서 0도로 내리는 동작에 대한 시간에 따른 각도를 그래프로 표현한 것이다. 가운데 피크치가 180도에 해당한다.

피험자는 팔을 올리는 도중 도면부호 320로 식별되는 구간과, 팔을 내리는 도중 도면부호 330으로 식별되는 구간에서 얼굴표정을 찡그리거나, 발성을 낼 수 있다.

즉, 도면부호 320로 식별되는 구간과 도면부호 330으로 식별되는 구간은 피험자가 통증을 느끼는 구간(painful arc)으로서, 도 3a에서 70도에서 120도 구간에 해당하는 것으로 해석할 수 있다.

이에, 일실시예에 따른 컴퓨팅 보조 장치는 피험자의 얼굴 표정(340)의 변화를 분석하거나, 음성(350)을 분석할 수 있다. 또한, 피험자의 얼굴 표정(340)이 크게 변하는 시간 또는 음성(350)이 크게 변하는 시간 대에서의 팔의 움직임 각도를 확인하여, 해당 움직임 각도에서 피험자가 통증을 느끼고 있음을 확인할 수 있다. 따라서, 컴퓨팅 보조 장치는 해당 구간을 통증구간으로 산출할 수 있다.

도 3c는 피험자의 관심 영역(관절)들 중에서 오른쪽 다리를 관심 영역으로 설정하고, 설정된 관심 영역에 대해 통증 구간을 측정하는 실시예(360)에 해당한다.

피험자는 오른쪽 다리를 움직여 걷는 도중 일부 구간(371)에서 통증을 느낄 수 있다. 도면부호 370의 그래프는 피험자의 이동에 따른 관절의 움직임 정도를 표현한 것으로서, 구체적으로 도면부호 372는 피험자의 오른쪽 다리가 이동 시 움직이는 동작을 그래프로 표현한 것이다.

일실시예에 따른 컴퓨팅 보조 장치는 도면부호 380과 같이 피험자의 얼굴 표정의 변화를 분석하거나, 음성(350)을 분석할 수 있다. 또한, 피험자의 얼굴 표정이 크게 변하는 시간 또는 음성이 크게 변하는 시간 대에서의 오른쪽 다리의 움직임 각도를 확인하여, 해당 움직임 각도에서 피험자가 통증을 느끼고 있음을 확인할 수 있다. 따라서, 컴퓨팅 보조 장치는 해당 구간을 통증구간으로 산출할 수 있다.

이상으로 설명한 실시예에서는, 의료용으로서의 컴퓨팅 보조 장치의 동작을 설명하였다. 그러나, 컴퓨팅 보조 장치는 어플리케이션의 형태로 스마트폰에 설치되어 의료용뿐만 아니라 개인이 다양한 분야에서 활용할 수 있다. 예를 들어, 컴퓨팅 보조 장치는 요가 또는 체조 시 스트레칭에 활용할 수 있다. 즉, 컴퓨팅 보조 장치는 피험자의 얼굴표정, 음성 등을 인식하여 스트레칭 도중 어느 시점부터 통증을 느끼는지에 대해서 측정할 수 있다. 이로써, 피험자는 본인의 스마트폰을 통해 요가 또는 체조시 편리하세 운동 효과나 유연성 정도를 수치적으로 측정할 수 있다.

뿐만 아니라, 컴퓨팅 보조 장치는 이렇게 수치적으로 측정한 데이터를 네트워크를 통해 외부로 전송할 수도 있다. 예를 들어, 오십견을 치료받는 피험자의 경우 스트레칭에 따른 팔 움직임의 정도를 매일 주치의의 스마트폰 또는 주치의가 소속된 병원의 시스템으로 전송할 수 있다. 이 경우, 스트레칭(물리치료)을 매일 해야 하기 때문에 치료에 도움이 될 뿐 아니라, 측정 결과를 전송하고 그에 따른 피드백을 주치의로부터 전달 받음으로써 효율적인 치료가 가능하다.

도 4a는 관절 가동 범위를 산출하는데 필요한 원리를 설명하는 도면이다.

일실시예에 따른 컴퓨팅 보조 장치는 2D 카메라 또는 3D 카메라를 이용하여 생성한 입력영상으로부터 머리(head)를 추적(tracking) 함으로써 경추 관절의 각도를 측정할 수 있다.

일실시예에 따른 컴퓨팅 보조 장치는 머리를 실린더(cylinder) 또는 타원체(ellipsoid) 등의 기하학적 모형으로 가정하고 이 기하학적 모형의 yaw, pitch, roll 각도를 추적하는 방법으로 경추 관절의 각도를 측정할 수 있다.

도 4a는 실린더 모델을 사용하는 경우의 실시예에 해당한다.

영상에서 피험자 경추를 정위치 시키고 일실시예에 따른 컴퓨팅 보조 장치는 해당 위치에서 특징점(410)을 요(yaw), 피치(pitch), 및 롤(roll)의 각도를 모두 0도 세팅하여 기준으로 설정할 수 있다.

만약, 피험자가 머리를 움직이면 실린더는 도면부호 420에서 도면부호 430과 같이 움직일 수 있다. 실린더 영역안에 존재하는 특징점들을 검출하여 이들 점이 실린더 표면에 있다고 가정할 수 있다. 일실시예에 따른 컴퓨팅 보조 장치는 인접한 두 프레임 영상에서 대응점들을 찾고 이 매칭쌍을 이용하여 도면부호 440으로부터 확인되는 요(yaw), 피치(pitch), 및 롤(roll)의 변화량을 계산할 수 있다.

도 4b는 도 4a에서 설명하는 실시예를 이용하여 실제 피험자의 머리 움직임을 추적하는 실시예를 설명한다.

도 4b에서 보는 바와 같이, 도면부호 450의 위치에 해당하는 피험자의 머리는 실린더 영역(451)로 표현될 수 있다. 또한, 도면부호 460과 같이 피험자의 머리가 움직인 경우에는, 요(yaw), 피치(pitch), 및 롤(roll)의 변화량을 계산하여 실린더 영역(461)로 표현할 수 있다.

도 5는 일실시예에 따른 관절 가동 범위를 측정하는 방법을 설명하는 도면이다.

일실시예에 따른 관절 가동 범위를 측정하는 방법은 입력영상으로부터 관절 가동 범위를 추적할 수 있다(단계 501).

일실시예에 따른 방법에 따르면, 2011년7월27일자 보건복지부고시에 기반하여 관절 가동 범위를 측정할 수 있다. 구체적으로, 추적하는 관절 가동 범위는 어깨관절, 팔꿈치관절, 손목관절, 엄지손가락 관절, 고관절, 무릎관절, 중족지절관절, 지관절, 근위지절관절, 척추 등을 포함할 수 있다.

관절 가동 범위를 측정하는 방법은 추적되는 관절 가동 범위에 상응하는 음성을 분석한다(단계 502).

일실시예에 따른 관절 가동 범위를 측정하는 방법은 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별할 수 있다. 예를 들면, 음성으로부터 측정 가능한 데시벨이나 진폭 등을 고려하여 음성의 크기를 식별할 수 있다.

한편, 일실시예에 따른 관절 가동 범위를 측정하는 방법은 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별할 수 있다. 구체적으로, 음성 정보는 단어, 예를 들어 '일', '이', '삼'과 같이 의미있는 음성으로 해석될 수 있다.

다음으로, 일실시예에 따른 관절 가동 범위를 측정하는 방법은 분석된 음성에 따라 추적된 관절 가동 범위 중 통증구간을 산출한다(단계 503).

단계 502에서 음성 레벨을 분석한 경우라면, 단계 503에서는 음성 레벨에 따라 통증구간을 산출할 수 있다. 또한, 단계 502에서 음성 정보를 식별한 경우라면, 단계 503에서는 음성 정보에 따라 통증구간을 산출할 수 있다.

도 6은 다른 일실시예에 따른 관절 가동 범위를 측정하는 방법을 설명하는 도면이다.

일실시예에 따른 관절 가동 범위를 측정하는 방법은 입력영상으로부터 관절 가동 범위를 추적한다(단계 601).

마찬가지로, 단계 601에서는 2011년7월27일자 보건복지부고시에 기반하여 관절 가동 범위를 측정할 수 있다. 구체적으로, 추적하는 관절 가동 범위는 어깨관절, 팔꿈치관절, 손목관절, 엄지손가락 관절, 고관절, 무릎관절, 중족지절관절, 지관절, 근위지절관절, 척추 등을 포함할 수 있다.

일실시예에 따른 관절 가동 범위를 측정하는 방법은 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석한다(단계 602).

일실시예에 따른 방법은 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단할 수 있다. 예를 들면, 중립적인(Neutral) 표정에서 얼굴 랜드마크 특징점 위치의 변화를 계산하여 얼굴이 얼마나 중립적인(Neutral) 표정에서 벗어났는지를 계산할 수 있다. 이때의 중립적인(Neutral) 표정은 다양한 얼굴 표정 데이터베이스로부터 학습하여 결정할 수 있다. 또한, 피험자에게 실험 전 중립적인(Neutral) 표정을 짓도록 하여 이를 활용할 수도 있다.

일실시예에 따른 관절 가동 범위를 측정하는 방법은 분석된 얼굴 표정에 따라 추적된 관절 가동 범위 중 통증구간을 산출한다(단계 603).

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

1. 컴퓨터에 의해 적어도 일시적으로 구현되는:
   입력영상으로부터 관절 가동 범위를 추적하는 처리부;
   상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 식별부; 및
   상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부
   를 포함하는 보조 컴퓨팅 장치.
   
2. 제1항에 있어서,
   상기 식별부는,
   미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하고,
   상기 산출부는,
   상기 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 상기 통증구간의 시작 위치로 산출하는 보조 컴퓨팅 장치.
   
3. 제2항에 있어서,
   상기 미리 지정된 패턴은 데이터베이스에 기록 및 유지되고, 상기 데이터베이스는 피험자로부터 측정되는 얼굴 표정 이미지를 이용해서 트래이닝(training)되는 보조 컴퓨팅 장치.
   
4. 제1항에 있어서,
   상기 식별부는,
   통증구간의 산출 이전, 피험자로부터 수집된 적어도 하나 이상의 기준 표정과 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 대비하여 분석하는 보조 컴퓨팅 장치.
   
5. 제4항에 있어서,
   상기 피험자로부터 수집된 적어도 하나 이상의 기준 표정은 중립적인(neutral) 상태에서의 표정 이미지를 포함하고,
   상기 식별부는 상기 기준 표정에 대비하여 상기 분석되는 얼굴 표정이 임계값 이상 차이나는 시점을 식별하며,
   상기 산출부는,
   상기 식별된 시점을 통증구간의 시작 위치로 산출하는 보조 컴퓨팅 장치.
   
6. 제1항에 있어서,
   상기 식별부는,
   상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하고,
   상기 산출부는,
   상기 분석된 음성 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중에서, 통증구간을 산출하는 보조 컴퓨팅 장치.
   
7. 제6항에 있어서,
   상기 식별부는,
   피험자로부터 수집되는 특정 패턴의 음성에 대해 임계값 이상의 변화를 감지하고,
   상기 산출부는,
   상기 음성 패턴이 감지된 시점을 상기 통증구간의 시작 위치로 산출하는 보조 컴퓨팅 장치.
   
8. 제6항에 있어서,
   상기 식별부는,
   상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별하고,
   상기 산출부는,
   상기 식별된 음성 레벨 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출하는 보조 컴퓨팅 장치.
   
9. 제8항에 있어서,
   상기 산출부는,
   상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출하는 보조 컴퓨팅 장치.
   
10. 제6항에 있어서,
    상기 식별부는,
    상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별하고,
    상기 산출부는,
    상기 식별된 음성 정보 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출하는 보조 컴퓨팅 장치.
    
11. 제10항에 있어서,
    상기 산출부는,
    상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출하는 보조 컴퓨팅 장치.
    
12. 컴퓨터에 의해 적어도 일시적으로 구현되는:
    입력영상으로부터 관절 가동 범위를 추적하는 처리부;
    상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 식별부; 및
    상기 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부
    를 포함하는 보조 컴퓨팅 장치.
    
13. 제12항에 있어서,
    상기 식별부는,
    상기 음성을 분석하여 음성 레벨을 식별하고,
    상기 산출부는,
    상기 식별된 음성 레벨에 따라 상기 통증구간을 산출하는 보조 컴퓨팅 장치.
    
14. 제13항에 있어서,
    상기 산출부는,
    상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출하는 보조 컴퓨팅 장치.
    
15. 제12항에 있어서,
    상기 식별부는,
    상기 음성을 분석하여 음성 정보를 식별하고,
    상기 산출부는,
    상기 식별된 음성 정보에 따라 상기 통증구간을 산출하는 보조 컴퓨팅 장치.
    
16. 제15항에 있어서,
    상기 산출부는,
    상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출하는 보조 컴퓨팅 장치.
    
17. 컴퓨터에 의해 적어도 일시적으로 구현되는 프로세서의 동작 방법에 있어서:
    입력영상으로부터 관절 가동 범위를 추적하는 단계;
    상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 단계; 및
    상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 단계
    를 포함하는 방법.
    
18. 제17항에 있어서,
    상기 얼굴 표정을 분석하는 단계는,
    미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하는 단계
    를 포함하고,
    상기 산출부는,
    상기 통증구간을 산출하는 단계는,
    미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 상기 통증구간의 시작 위치로 산출하는 단계
    를 포함하는 방법.
    
19. 컴퓨터에 의해 적어도 일시적으로 구현되는 프로세서의 동작 방법에 있어서:
    입력영상으로부터 관절 가동 범위를 추적하는 단계;
    상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 단계; 및
    상기 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 단계
    를 포함하는 방법.
    
20. 제17항 내지 제19항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
    
21. 기록매체에 저장되는 프로그램으로서, 상기 프로그램은 컴퓨팅 시스템에서 실행되는:
    입력영상으로부터 관절 가동 범위를 추적하는 명령어 세트;
    상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 명령어 세트; 및
    상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 명령어 세트
    를 포함하는 프로그램.

Images