KR20200056660A

KR20200056660A - 얼굴 내 미세움직임 기반 통증 모니터링 방법 및 시스템

Info

Publication number: KR20200056660A
Application number: KR1020180140602A
Authority: KR
Inventors: 유장희; 임영재; 조현성
Original assignee: 한국전자통신연구원
Priority date: 2018-11-15
Filing date: 2018-11-15
Publication date: 2020-05-25

Abstract

비접촉 장치를 이용하여 환자로부터 실시간 획득되는 얼굴 영상의 미세움직임을 분석하여 통증 지속시간, 통증 빈도, 통증도 등을 예측하며, 이를 치료사, 간호사, 또는 의사에게 실시간 전달함으로써 적정한 조치를 빠르게 취할 수 있도록 하는 실시간 통증 모니터링 방법 및 시스템이 제공된다. 본 발명의 환자통증 모니터링 시스템(200)은, 환자의 얼굴이 포함된 영상을 촬영하는 카메라 장치(201)와 촬영된 영상을 환자통증분석 장치(210)(컴퓨터 시스템)로 전송하기 위한 인터페이스 장치(202), 전송받은 영상으로부터 검출된 얼굴 영상에서의 미세움직임 분석을 통하여 환자의 통증상태를 분석하고 보고하는 환자통증분석 장치(210), 보고된 통증상태를 효과적으로 치료사 등에게 알리는 통증상태알림 장치(207)로 구성된다. 여기서 환자통증분석 장치(210)는 환자얼굴 모니터링 기능(203); 통증 분석 및 분류 기능(204); 환자 등록/설정 관리 기능(205); 통증상태 분석 및 보고 기능(206)을 수행한다.

Description

얼굴 내 미세움직임 기반 통증 모니터링 방법 및 시스템 {Pain monitoring method and apparatus using tiny motion in facial image}

본 발명은 환자의 통증을 인식하는 기술에 관한 것으로, 구체적으로는, 물리치료, 재활치료, 침 시술 치료를 받거나 통증을 갖는 환자 등에 대한 비접촉 방식의 실시간 모니터링을 통하여, 얼굴 영역 내 미세움직임의 변화를 분석하여 환자의 통증상태를 인식하고 통보하는 실시간 통증 모니터링 방법 및 시스템에 관한 것이다.

인간의 평균수명 연장에 수반되는 암, 관절 질환, 퇴행성 질환, 수술 등으로 발생하거나 각종 사고로 인한 통증이 의료 사회의 주요 문제가 되고 있다. 의료 사회에서 환자의 통증도, 통증 지속시간, 통증 빈도 등 통증에 대한 인지 및 관리는 중요한 이슈가 되었으며, 환자의 치료와 복지 측면에서도 매우 중요한 문제이다. 현재 전세계 인구의 20% 정도가 통증을 겪고 있고, 또한 그 중 35%가 매일 통증으로 일상생활에 불편을 겪고 있다. 그러나 이러한 통증은 개인별로 다양하게 표현되며, 주관적 반응과 태도로 나타나고 있어, 의사, 간호사 또는 치료사의 직접적인 대면을 통하여 판단할 수 밖에 없다. 즉, 통증을 측정하고 모니터링할 수 있는 적절한 방법이나 장치가 아직 상용화되어 있지 않다.

기존에는 이러한 문제를 자동으로 해결할 수 있는 환자 모니터링 시스템이 일반화되어 있지 않다. 또한 제안된 방법들도 대부분 접촉식 센서를 사용하는 방법들이어서, 환자의 물리/재활 치료 과정에서는 사용하기 어려운 문제점을 가지고 있다. 피부전도도를 기초로 통증 지수를 산출하는 방법이 공개되어 있으나 이 역시 환자가 접촉식 센서를 착용해야 하는 방식으로, 부자연스럽고 정확도를 보장하기 어려운 문제가 있다. 한편, 얼굴인식 영역에서는 얼굴 표정의 분류를 통하여, 개인의 감정을 예측할 수 있는 기술들이 개발되고 있으나 통증 모니터링에 적용하기에는 환경에 따라 성능 조건을 만족하지 못하는 문제를 가지고 있다.

통증이란 생리적/감각적 측면과 정신적/감정적 측면의 상호작용의 결과로서 개인별로 다양하게 표현되어 주관적 반응과 태도로 나타나게 된다는 정의에 근거하여 이를 측정하고 모니터링 할 수 있는 장비가 일반화 되거나 사용되고 있지 않다. 한편, 물리치료, 재활치료, 또는 침 시술 치료 등에 있어서 환자는 감각적 측면에서 통증에 즉각적으로 반응하는 경향을 보인다. 그러나 개인별 다양한 성향으로 인하여 치료 과정에서 발생하는 통증의 상태는 의사, 간호사, 또는 치료사에게 즉각적으로 전달되지 않으며, 또한 치료에 집중하는 과정에서는 통증의 관찰이 어려운 경우가 대부분이다.

본 발명은 환자의 치료 과정에서 발생할 수 있는 통증에 대한 보다 즉각적이고 효율적인 모니터링을 통하여 치료사가 이를 실시간 인지할 수 있도록 함으로써, 보다 효과적으로 환자의 치료와 삶의 질 향상에 활용할 수 있는 방법을 제공하는 데 그 목적이 있다.

상기 과제를 해결하기 위해, 환자에게 다양한 바이탈 신호를 센싱하는 고비용 장치 등을 부착하여 획득되는 신호를 해석하여 통증을 판단하는 방법이 아닌, 비접촉 장치를 이용하여 실시간 획득되는 얼굴 영역의 미세움직임을 분석하여 통증 지속시간, 통증 빈도, 통증도 등을 예측하며, 이를 치료사, 간호사, 또는 의사에게 실시간 전달함으로써 적정한 조치를 빠르게 취할 수 있도록 하는 실시간 통증 모니터링 방법 및 시스템을 제공한다.

좀 더 구체적으로, 카메라 등의 비접촉 장치를 이용한 환자의 영상 획득 과정; 환자 영상으로부터의 얼굴 검출 및 추적 과정; 그리고 검출된 얼굴의 특정 영역(ROI)에서의 미세움직임 증폭 및 분석 과정을 통하여, 환자의 통증상태를 인지한다. 이렇게 인지된 통증상태에 대한 정보를 화면에 디스플레이하거나 음향 또는 음성으로 출력하거나 치료사의 웨어러블 디바이스로 전송하여 환자의 통증상태에 따라 적절한 조치를 취할 수 있도록 한다.

추가적 선택사항으로서, 상기 일련의 과정 중에는 개인별 맞춤형 서비스를 위하여 얼굴 인식을 수행하여 환자를 식별하는 과정이 추가로 포함될 수 있다.

이상에서 소개한 본 발명의 구성 및 작용은 이후에 도면과 함께 설명하는 구체적인 실시예를 통하여 더욱 명확해질 것이다.

비접촉 카메라 장치를 통하여 획득되는 영상을 이용한, 환자의 얼굴 영역 내 미세움직임 기반의 통증 분석 방법을 통하여, 물리/재활치료 과정 등에서 보다 효과적으로 환자의 통증상태를 인지하여 적절한 조치를 취하도록 할 수 있으며, 치료과정 개선이나 치료에 대한 만족도의 제고가 가능하다.

환자 측면에서는 치료과정에서 발생하는 통증에 대하여 보다 심리적으로 안정감을 가질 있으며, 치료에 대한 신뢰도 또한 높일 수 있다. 그리고, 치료자 측면에서는 환자의 반응을 보다 효과적으로 인지함으로써 치료 과정에서 발생하는 문제점을 효율적으로 개선할 수 있다. 또한 통증을 동반하는 환자의 상시 모니터링 등에 적용함으로써 환자의 통증 관리에 보다 효율성을 높일 수 있어, 환자의 치료에 대한 만족도를 향상할 수 있다.

따라서, 본 발명은, 보다 효율적으로 환자의 통증을 모니터링 및 관리하는 시스템을 구축하고 통증을 동반하는 환자의 치료에 효과적으로 대응하여서, 관련 기술의 발전에 크게 기여하게 될 것이다.

도 1은 본 발명의 개념 설명을 위한 것으로, 카메라를 이용하여 환자의 통증 모니터링을 하기 위한 장치와 물리/재활 치료사와의 상호작용을 나타내는 개략적인 구성도
도 2는 본 발명의 실시예에 따른 환자통증 모니터링 시스템의 개략 블록도
도 3은 도 2의 환자통증 분석 장치의 세부 구성도
도 4는 본 발명의 실시예에 따른 통증 모니터링 방법의 프로세스 순서도

본 발명의 이점 및 특징, 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 기술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명을 생략한다.

본 발명의 구체적인 실시예로서 이하에서는 카메라를 통하여 실시간 획득되는 환자 얼굴의 미세움직임에 기반한 통증 모니터링 방법 및 시스템에 관하여 기술한다.

도 1은 카메라를 이용하여 환자의 통증 모니터링을 하기 위한 시스템과 물리/재활 치료사와의 상호작용을 나타내는 개략적인 구성도이다.

카메라(101)는 환자의 얼굴이 포함된 영상(102)을 효과적으로 촬영하기 위해, 예측되는 환자의 자세를 미리 고려하여 다양한 위치에 한 대 또는 여러 대가 설치될 수 있다. 카메라(101)는 컴퓨터 시스템(103)에 직접적으로 연결되거나 또는 무선망(108)을 사용하여 연동될 수 있다. 촬영된 환자의 얼굴 포함 영상(102)은 컴퓨터 시스템(103)에서 처리되어 환자의 통증이 분석되며, 분석된 결과는 컴퓨터 모니터(104), 스피커(105), 또는 치료사가 착용하고 있는 무선연동장치(107)를 통하여 연결된 웨어러블 디바이스(106)로 실시간 전송될 수 있다. 치료사는 실시간 전송된 환자의 통증상태를 인지하고, 이를 바탕으로 환자에게 적정한 조치를 취할 수 있다.

도 2는 카메라를 통하여 획득된 얼굴 영상 내에서의 미세움직임에 기반하여 통증을 분석하고 통증상태를 알리는 기능을 수행하는 환자통증 모니터링 시스템의 한 실시예의 블록도이다.

환자통증 모니터링 시스템(200)는, 환자의 얼굴이 포함된 영상을 촬영하는 카메라 장치(201)와 촬영된 영상을 환자통증분석 장치(210)(컴퓨터 시스템)로 전송하기 위한 유선 또는 무선의 인터페이스 장치(202), 전송받은 영상으로부터 검출된 얼굴 영상에서의 미세움직임 분석을 통하여 환자의 통증상태를 분석하고 보고하는 환자통증분석 장치(210), 보고된 통증상태를 효과적으로 의사, 간호사, 치료사 등에게 알리는 통증상태알림 장치(207)로 구성된다.

여기서 환자통증분석 장치(210)는 대략, 입력된 영상으로부터 환자의 얼굴을 효과적이고 지속적인 모니터링을 통하여 검출/추적하는 환자얼굴 모니터링 기능(203); 얼굴 내 특정 영역의 미세움직임을 분석하여 환자의 통증 시간, 통증 빈도 및 통증 강도를 분석 및 분류하는 통증 분석 및 분류 기능(204); 환자 개인별 맞춤형 서비스를 위해 환자 정보 및 얼굴 인식 정보 등의 식별정보를 등록/설정 및 관리하는 환자 등록/설정 연동/관리 기능(205); 현재 환자가 느끼는 통증상태를 분석하여 레벨화하고 이 통증상태의 알림 유형을 결정하는 통증상태 분석 및 보고 기능(206)을 수행한다. 여기서, 현재 환자가 느끼는 통증상태는 해당 환자의 개인별 특성을 반영하여 기준치에서 조정 가능하다.

도 3은 입력 영상으로부터의 환자얼굴 모니터링(203), 얼굴 내 미세움직임 기반 통증 분석 및 분류(204), 통증상태 분석 및 보고(206), 환자 등록/설정 관리(205) 기능을 수행하는 도 2의 환자통증분석 장치(210)의 세부 구성도이고, 도 4는 본 발명에 따른 얼굴 미세움직임 기반 통증 모니터링 방법의 개략적인 프로세스 순서도를 나타낸다.

도 3과 도 4를 함께 참조하여 설명한다.

도 2의 카메라 장치(201)에서 획득된 환자의 얼굴이 포함된 영상은 인터페이스 장치(202)를 통하여 환자통증분석 장치(210)의 영상 입력부(301)로 입력된다. 환자의 영상은 한 대 또는 여러 대의 카메라를 이용하여 다양한 위치에서 실시간으로 취득될 수 있다.

입력된(또는 입력되는) 환자 영상은 영상 전처리부(302)에서 전처리되어 얼굴 검출/추적부(303)로 전달된다. 여기서 전처리는 예를 들면, 들어오는 영상의 조명이나 해상도의 문제를 개선하는 것, 환자의 움직임에 따른 블러 등을 제거해 주는 것 등, 이후의 얼굴 검출/추적 처리를 원활히 수행하기 위한 최적 조건의 영상을 만들기 위한 기능이다.

얼굴 검출/추적부(303)에서는 전처리된 영상으로부터 환자의 얼굴을 검출하고 추적한다(401). 얼굴 검출은 전통적으로 사용되는 Viola & Jones 알고리즘 또는 최근에 각광받고 있는 딥러닝 방법 등을 사용할 수 있다. 또한 얼굴 추적은 검출 시간 단축은 물론, 보다 안정적인 얼굴 영역의 입력을 위해 파티클 필터 또는 칼만 필터 방법 등을 이용할 수 있다. 얼굴 영역 내 미세움직임 분석을 위해서 전체 얼굴 영역을 사용할 수도 있으나 목적에 맞는 ROI(region of interest; 관심영역)를 검출하여 사용하는 것이 효과적이다. 환자가 통증을 느낄 때에는 이마, 눈, 특히 미간 사이 영역의 변화가 가장 크고 빠르게 나타나는 것이 일반적이므로, 얼굴에서 특히 미간 부분을 ROI로 검출할 수 있다. 이를 위한 일련의 과정은 ROI 검출부(304)에서 수행된다(405).

미세움직임 증폭 및 분석부(305)에서는 검출된 ROI에서 통증시 움직이는(예를 들어, 미간 찡그림에 따른 피부의 움직임) 부분의 변화의 크기, 변화의 속도, 변화된 상태의 지속성 등을 영상분석을 통하여 처리(가령, 변화 부분의 확대, 해상도 변경, 크기의 정규화 등) 및 패턴인식 기법을 사용하여 그 패턴을 분석한다(406).

통증 시간/강도 분석부(309)에서는 미세움직임 증폭 및 분석부(305)에서 나타난 패턴(변화의 크기를 신호 파형으로 표시할 수도 있음)을 기반으로 통증 시간 및 강도를 정량화한다(407). 예를 들어, 통증 시간은 변화된 상태의 지속 시간을 초 단위(더 엄밀하게는 밀리세컨드)로 나타낼 수 있고, 통증 강도(통증도)는 ROI에 대한 변화 영역의 크기 및 변화 속도 등을 정규화를 통하여, 예를 들어 0~10의 수치로 나타낼 수 있다.

통증상태 분류부(310)는 상기 수치화된 통증 강도를 이용하여 또는 여기에 통증 시간 및/또는 통증 빈도를 반영하여, 현재 환자가 느끼는 통증 정도(이를 '통증상태'로 정의함)를, 예컨대 "통증 없음", "약한 통증", "중증도 통증", "심한 통증", "극심한 통증"의 구간으로 분류할 수 있다(408). 이 때에는 환자의 개인별 특성을 참고하여 환자 맞춤형으로 분류할 수 있다. 여기서 개인별 특성이란 사람에 따라 느끼는 자극의 정도(감수성), 참을성, 엄살 등의 통증반응 성향을 의미한다. 이러한 개인별 특성은, 수치화된 통증 강도를 이용하여 통증상태를 분류할 때에, 가중치나 보정치 데이터로서 통증상태 분류시에 반영할 수 있을 것이다. 개인별 특성의 초기 기본값은 통상의 환자들에 대한 평균값으로서 설정되고, 특정 환자가 다수 내원하여 치료를 받을 때에 이 개인의 통증반응 성향에 대한 고유값을 치료자, 시술자, 또는 관련자가 입력하여(예를 들어, 환자 등록/설정 관리부(307)에) 반영할 수 있다.

이렇게 분류된 통증상태는 통증상태 보고부(311)에서 통증상태에 따른 알림신호 분류(청각 알림, 시각 알림, 촉각 알림 등의 신호 분류)를 수행하고 기록 또는 저장한다(409).

분류된 알림신호는 통증상태 알림부(312)로 전달된다. 통증상태 알림부(312)에서는 도 1에 나타낸 것과 같이 컴퓨터 모니터(104), 스피커(105), 웨어러블 디바이스(106) 등을 통하여 환자의 치료를 담당하고 있는 의사, 간호사, 또는 물리/재활 치료사 등에게 실시간으로 통증상태를 전달할 수 있다(410).

한편, 이상 설명한 기능부 및 프로세스에 추가가능한 옵션으로서, 도 3에는 환자 개개인의 인식을 통한 맞춤형 서비스를 위한 얼굴 인식부(306) 및 연관 기능을 수행하는 요소(320)가 포함되어 있고, 도 4에는 이에 상응하는 프로세스 단계(420)가 포함되어 있다.

환자 맞춤형 서비스를 위해서 종래 기술을 이용하여 각 환자에 고유한 ID 등을 활용할 수 있지만, 본 실시예에서는 자동 얼굴 인식 기술을 이용하여, 카메라로부터 입력되고 검출/추적된 얼굴 영상을 이용하여 개인을 검색하고 자동으로 식별(인식)할 수 있도록 하고자 한다. 이러한 과정은 얼굴 인식부(306)에서 수행된다(402).

환자가 사용자인지 인식하는 과정(403)을 거쳐 환자가 사용자로서 인식되면(즉, 환자 등록/설정 관리부(307)에 등록되어 있는 사용자이면) 상술한 ROI 검출부(304)에 의한 얼굴 ROI 검출이 수행된다(405).

만일 환자가 시스템에 등록되어 있지 않은 경우에는 환자 등록/설정 관리부(307)에서 환자 기초 데이터와 연동하여 통증 모니터링 시스템(200)에 환자를 등록하고 필요한 변수(예를 들어, 앞에서 언급한 개인의 통증반응 성향 데이터)를 설정하는 환자 정보 등록이 수행된다(404). 이때 필요한 정보는 적정한 보안 방식을 통하여 보호되는 등록정보 DB(308)에 저장될 수 있으며, 저장된 정보는 환자 등록/설정 관리부(307)를 통하여 환자의 통증상태 분류부(310)와 연동(개인별 통증 보정치 조정을 위하여, 치료과정에서 생성되는 통증상태 히스토리 값의 공유를 위한 저장 등)됨으로써 환자 개인별 맞춤형 서비스에 이용될 수 있다.

이상에서 설명한 것에 부연하여, 도 4를 참조하여 얼굴의 미세움직임 기반 통증 모니터링 방법을 좀더 자세하게 설명하면 다음과 같다. 먼저, 본 발명의 통증 모니터링 시스템(200)는 입력된 영상으로부터 얼굴 검출/추적(401) 과정을 수행한다. 그리고 옵션 과정으로서, 검출된 얼굴 영역을 이용하여 얼굴 인식/검색(402)을 통한 개인별 맞춤형 서비스를 위한 개인식별 과정을 수행한다. 사전에 등록된 사용자인지 인식하는 과정(403)에서 사용자 인식이 되지 않으면 이 사용자의 개인 식별을 위하여 이 사용자에 대한 얼굴 인식 정보 및 환자 정보를 등록/연동한다(404). 한편, 이미 등록이 완료되어 인식된 사용자(403)의 경우에는 이마, 눈, 미간 영역 등 미세움직임 분석을 위한 얼굴 ROI 검출(405) 과정을 수행한다. 다음으로 미세움직임 증폭 및 분석(406) 과정을 통하여 ROI에 대한 환자 표정이나 찡그림 등 변화의 크기, 변화의 속도, 변화된 상태의 지속성 및 빈도 등을 분석하고, 이를 통증 시간/강도 분석(407) 과정에서 수치화 한다. 수치화된 통증강도는 통증상태 분류(408) 과정에서 통증상태로 분류되고 그 알림의 유형이 결정된다. 마지막으로, 통증상태는 통증상태 알림(410) 과정에서 의사, 간호사, 치료사 등에게 전달된다. 이상의 과정을 반복적으로 수행함으로써 환자에 대한 통증 모니터링을 수행할 수 있다.

이상에서와 같이 본 발명은 시스템 측면 또는 방법적 측면으로 실시가능한데, 특히 본 발명의 각 구성요소의 기능(function) 또는 과정(process)은 DSP(digital signal processor), 프로세서, 컨트롤러, ASIC(application-specific IC), 프로그래머블 로직소자(FPGA 등), 기타 전자소자 중의 적어도 하나 그리고 이들의 조합이 포함되는 하드웨어 요소로써 구현 가능하다. 또한 하드웨어 요소와 결합되어 또는 독립적으로 소프트웨어로써도 구현 가능한데, 이 소프트웨어는 기록매체에 저장 가능하다.

또한, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술한 특허청구범위에 의하여 정해지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 기술적 범위에 포함되는 것으로 해석되어야 한다.

카메라(101), 환자의 얼굴(102), 컴퓨터 시스템(103), 컴퓨터 모니터(104), 스피커(105), 웨어러블 디바이스(106), 무선연동장치(107), 무선망(108)

Claims

비접촉 장치를 이용하여 환자의 영상을 획득하는 단계;
획득한 영상으로부터 환자의 얼굴을 검출하고 추적하는 단계;
검출된 얼굴의 관심영역에서의 미세움직임을 분석하여 환자의 통증상태를 인지하여 통증상태 정보를 생성하는 단계; 그리고
상기 통증상태 정보를 출력하는 단계를 포함하는 얼굴 미세움직임 기반 통증 모니터링 방법.
제1항에서, 상기 검출된 환자의 얼굴을 인식하여 환자를 식별하는 과정을 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 방법.
입력된 환자 영상으로부터 환자의 얼굴을 검출 및 추적하는 단계;
상기 검출 및 추적된 얼굴에서 미세움직임 분석을 위한 관심영역(이하, ROI)를 검출하는 단계;
상기 ROI에서의 미세움직임 부분의 변화의 크기, 변화의 속도, 변화된 상태의 지속성, 및 빈도 중 적어도 하나를 분석하는 단계;
상기 분석된 변화의 크기, 속도, 및 변화된 상태의 지속성, 및 빈도 중 적어도 하나로부터, 환자가 느끼는 통증 시간 및 강도를 분석하여 수치화하는 단계;
상기 수치화된 통증강도로부터 통증상태를 분류하는 단계; 그리고
상기 통증상태를 외부로 알리는 통증상태 알림 단계를 포함하는 얼굴의 미세움직임 기반 통증 모니터링 방법.
제3항에서, 상기 얼굴 검출 및 추적 단계와 상기 ROI 검출 단계 사이에,
상기 검출된 얼굴 영역을 이용하여 이 환자가 사전에 등록된 사용자인지 인식하는 단계를 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 방법.
제3항에서, 상기 ROI에서의 미세움직임 부분의 변화의 크기, 변화의 속도, 변화된 상태의 지속성, 및 빈도 중 적어도 하나를 분석하는 단계는,
상기 ROI에서의 미세움직임 부분을 증폭하는 단계를 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 방법.
제3항에서, 상기 통증상태를 분류하는 단계는
통증상태를 적어도 하나 이상의 통증 정도의 구간으로 분류하는 단계를 포함하는 얼굴 미세움직임 기반 통증 모니터링 방법.
제3항에서, 상기 통증상태를 분류하는 단계는
환자의 개인별 특성을 가중치 또는 보정치 데이터로서 상기 통증상태 분류시에 반영하는 단계를 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 방법.
환자의 얼굴이 포함된 영상을 촬영하여 전송하는 카메라 장치;
전송받은 영상으로부터 검출된 얼굴 영상에서의 미세움직임 분석을 통하여 환자의 통증상태를 분석하고 보고하는 환자통증분석 장치, 그리고
보고된 통증상태를 알리는 통증상태알림 장치를 포함하는 얼굴 미세움직임 기반 통증 모니터링 시스템.
제8항에서, 상기 환자통증분석 장치는
입력된 영상으로부터 환자의 얼굴을 효과적이고 지속적인 모니터링을 통하여 검출/추적하는 환자얼굴 모니터링;
얼굴 내 관심영역의 미세움직임을 분석하여 환자의 통증 시간 및 통증 강도를 분석 및 분류하는 통증 분석 및 분류;
환자 개인별 맞춤형 서비스를 위해 환자의 식별정보를 등록/설정 및 관리하는 환자 등록/설정 관리;
현재 환자가 느끼는 통증상태를 분석하여 레벨화하는 통증상태 분석 및 보고 기능을 수행하도록 구성되는 얼굴 미세움직임 기반 통증 모니터링 시스템.
제9항에서, 상기 통증상태 분석 및 보고시에는
환자의 개인별 특성을 가중치 또는 보정치 데이터로서 상기 통증상태 분석시에 반영하는 기능을 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 시스템.
비접촉 장치에 의해 획득된 환자 영상으로부터 환자의 얼굴 영상을 검출하고 추적하는 얼굴 검출/추적부;
상기 검출된 얼굴 영상에서 관심영역(이하, ROI)를 검출하는 ROI 검출부;
상기 검출된 ROI에서 미세움직임 부분의 변화의 크기, 변화의 속도, 변화된 상태의 지속성, 및 빈도 중 적어도 하나의 패턴을 분석하는 미세움직임 분석부;
상기 미세움직임 분석부에서 나타난 패턴을 기반으로 통증 시간 및 강도를 정량화하는 통증 시간/강도 분석부; 그리고
상기 수치화된 통증 강도를 이용하여 현재 환자가 느끼는 통증상태를 적어도 하나 이상의 통증 정도 구간으로 분류하는 통증상태 분류부; 그리고
상기 분류된 통증상태를 보고하기 위하여 알림신호를 분류하는 통증상태 보고부를 포함하는 얼굴 미세움직임 기반 통증 모니터링 시스템.
제11항에서, 상기 얼굴 검출/추적부의 전단에,
비접촉 장치에 의해 획득된 환자 영상을 전처리하는 영상 전처리부를 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 시스템.
제11항에서, 상기 얼굴 검출은 Viola & Jones 알고리즘 또는 딥러닝 방법을 이용하여 수행되고, 상기 얼굴 추적은 파티클 필터 또는 칼만 필터 방법을 이용하여 수행되는 얼굴 미세움직임 기반 통증 모니터링 시스템.
제11항에서, 상기 미세움직임 분석부는
상기 검출된 ROI에서 미세움직임 부분을 증폭하는 기능을 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 시스템.
제11항에서, 상기 통증상태 분류부는
환자의 개인별 특성을 가중치 또는 보정치 데이터로서 상기 통증상태 분류시에 반영하는 기능을 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 시스템.
제11항에서, 상기 통증상태 보고부에서 분류된 알림신호를 환자의 치료를 담당하는 자에게 알리는 통증상태 알림부를 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 시스템.
제11항에서, 상기 얼굴 검출/추적부에서 검출된 얼굴 영상에서 상기 검출된 얼굴 영역을 이용하여 이 환자가 사전에 등록된 사용자인지 인식하는 얼굴 인식부를 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 시스템.
제17항에서, 상기 얼굴 인식부에 의해 환자가 사전에 등록된 사용자가 아닌 경우에 이 환자를 사용자로 등록하는 환자 등록/설정 관리부를 추가로 포함하는 얼굴 미세움직임 기반 통증 모니터링 시스템.