KR20160062664A

KR20160062664A - 복약 가이드 장치와 이를 이용한 복약 모니터링 지원 시스템, 및 복약 가이드 방법

Info

Publication number: KR20160062664A
Application number: KR1020150087181A
Authority: KR
Inventors: 임명은; 최재훈; 김대희; 김민호; 김영원; 정호열; 한영웅
Original assignee: 한국전자통신연구원
Priority date: 2014-11-25
Filing date: 2015-06-19
Publication date: 2016-06-02

Abstract

사용자 인증이 강화된 절차적 복약 지도 방법을 제공하여 환자의 가복용 가능성을 최소화하고, 기록된 복약상황으로부터 영상 및 센서정보를 이용하여 사용자 개입을 최소화 할 수 있는 복약 가이드 장치와 이를 이용한 복약 모니터링 지원 시스템, 및 복약 가이드 방법을 제시한다. 제시된 복약 가이드 장치는 복약 시간이 됨에 따라 복약 알림을 실시하는 복약 알림부, 사용자 인증을 행하는 사용자 인증부, 및 사용자가 복약 가이드에 따라 약을 복용하는 복용 행위를 촬영하여 기록하는 복용 행위 기록부를 포함한다.

Description

복약 가이드 장치와 이를 이용한 복약 모니터링 지원 시스템, 및 복약 가이드 방법{Medication guide apparatus, medication monitoring support system using the same, and medication guide method}

본 발명은 복약 가이드 장치와 이를 이용한 복약 모니터링 지원 시스템, 및 복약 가이드 방법에 관한 것으로, 보다 상세하게는 복약 스케줄 및 복약현황을 관리하고 복약상황을 판단하는 복약 서버와 복약 알림을 안내하고 복약 절차를 지도하며 복약 현황을 기록하는 클라이언트 응용에 관한 것이다.

의료기술의 발전으로 사회의 고령화가 빠르게 진행됨에 따라 개인의 건강 관리에 대한 관심이 증대되고 있다. IT 기술과 의료분야가 융합하여 다양한 헬스케어 기술 연구가 활발하게 진행되고 있다. 최근 애플의 헬스킷, 구글의 피트니스 등 개인의 건강, 의료 및 운동정보를 통합 관리하고 응용 서비스들과 연동할 수 있는 플랫폼적인 토대가 마련되고 있다.

한편, 고혈압, 당뇨 등의 만성질환은 단기간에 쉽게 치료되지 않고 장기간 지속적인 관리가 요구되며 질환의 관리를 위해 장기적인 약복용이 필수적으로 수반된다. 대부분의 만성질환자들은 질병 초기에는 약에 대한 복용 충성도를 나타내는 순응율이 높은 편이나 점차적으로 순응율이 감소되는 양상을 보이고 있다.

이로 인해 발생하는 추가적 의료비 지출 또한 전체 의료비에서 많은 부분을 차지하고 있다. 순응률 저하의 원인은 약의 복용을 잊어버리거나, 일정기간 복용으로 병증이 개선되었다는 자의적 판단으로 약의 복용을 중지하는 경우가 다수이며, 이 때문에 복약지원 기술이 다양한 형태로 개발되고 있다.

환자의 복약 순응도를 향상시키기 위해 환자에게 약을 올바르게 복용하도록 지도하고 복용 상황을 기록 및 관리하는 기술이 복약 모니터링 또는 복약관리 기술이다. 복약 모니터링 및 복약지원에 대한 종래의 기술들은 복약 알림, 복용약 저장 및 인출관리, 복약 여부 인지 및 기록 기능을 중심으로 구성되어 있다.

본 발명과 관련되는 선행기술로는, 미국 등록특허 제8666926호(METHODS AND SYSTEMS FOR IMPROVING THERAPY ADHERENCE), 한국 공개특허 제2012-0133628호(유비쿼터스 기반 복약기 관리 시스템과 그에 따른 관리방법)가 있다.

미국 등록특허 제8666926호의 기술은 약을 저장하고 복용시간에만 약을 인출을 허가/배출하는 방식으로 복약을 지도하고 복용 여부를 인지/기록한다. 한국 공개특허 제2012-0133628호의 기술은 PC 또는 스마트폰 등의 개인 단말을 통해 복약 알림을 제공하고 사용자 입력을 통해 복약 여부를 확인/기록한다.

그러나, 상기 기술들은 사용자의 실제 복약 여부를 확인하지 못하는 단점이 있다. 한편, 환자의 실제 복약 상황을 동영상으로 기록 후 관리자가 영상을 확인하여 복약 여부를 판단하는 기술이 제안되기도 했지만, 복약 여부의 확인을 위해 많은 인력과 시간이 소요되는 단점이 있다.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 사용자 인증이 강화된 절차적 복약 지도 방법을 제공하여 환자의 가복용 가능성을 최소화하고, 기록된 복약상황으로부터 영상 및 센서정보를 이용하여 사용자 개입을 최소화 할 수 있는 복약 가이드 장치와 이를 이용한 복약 모니터링 지원 시스템, 및 복약 가이드 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 복약 가이드 장치는, 복약 시간이 됨에 따라 복약 알림을 실시하는 복약 알림부; 사용자 인증을 행하는 사용자 인증부; 및 사용자가 복약 가이드에 따라 약을 복용하는 복용 행위를 촬영하여 기록하는 복용 행위 기록부;를 포함한다.

상기 복용 행위 기록부는, 상기 사용자의 얼굴 영상 및 복용할 약의 영상을 각각 촬영하여 기록하고, 상기 사용자가 약을 복용하는 행위를 동영상 촬영하여 기록할 수 있다.

상기 복용 행위 기록부는, 상기 복용할 약의 영상을 촬영함에 있어서 코드가 인쇄된 약포지일 경우 코드 스캔 과정을 별도로 거쳐 약포지 코드와 약의 영상을 같이 기록할 수 있다.

상기 복용 행위 기록부는 상기 복용 행위를 기록한 복약기록 정보를 복약 서버에게로 전송할 수 있다.

상기 복약기록 정보는 사용자 얼굴 영상과 복용 약 영상 및 복약 행위 동영상을 포함할 수 있다.

상기 복약기록 정보는 약포지 코드 및 복약 행위 시 수집된 운동 센서 데이터 중에서 하나 이상을 추가로 포함할 수 있다.

상기 사용자 인증부는 지문 인식기를 통해 사용자 인증을 행할 수 있다.

그리고, 본 발명의 바람직한 실시양태에 따른 복약 모니터링 지원 시스템은, 복약 알림을 실시하고, 사용자 인증을 행하고, 상기 사용자의 약 복용 행위를 촬영하여 기록하고, 복약이 완료됨에 따라 복약기록을 복약 서버에게 전송하는 클라이언트 단말; 및 상기 복약기록을 근거로 사용자의 복약 여부를 인증하는 복약 인증부를 포함하는 복약 서버;를 포함한다.

상기 복약 인증부는, 가입 시 등록된 사용자 얼굴 영상과 복약 시 기록된 얼굴 영상의 비교, 및 처방 등록 시 기록된 약 영상과 복약 시 기록된 약 영상의 비교를 통해 일치 여부를 판단하고, 복약 시 기록된 복용 행위 동영상의 복용 제스처를 근거로 복약 여부를 판별할 수 있다.

상기 복약 인증부는, 상기 복용 행위 동영상에서 하나 이상의 정지 영상을 추출하고, 상기 각각의 정지 영상에서 얼굴 영역 및 손 영역을 검출하고, 상기 각각의 정지 영상에 대해 복용 중간 영상으로 선정하고, 상기 복용 중간 영상을 기준으로 이전 영상과 이후 영상에서 복용 시작시점 및 복용 종료시점을 선정하고, 상기 복용 시작시점 및 복용 종료시점 이내의 영상을 근거로 약을 복용하였는지를 인식하여 복약 여부를 판별할 수 있다.

상기 복용 중간 영상은 상기 얼굴 영역과 손 영역 사이의 거리가 제일 가까운 영상일 수 있다.

상기 복약 인증부는 상기 약을 복용하였는지를 인식함에 있어서, 상기 복용 시작시점과 복용 종료시점 이내의 영상을 복용 구간으로 선택하고, 상기 복용 구간 안에서의 얼굴 영역과 손 영역 간 거리변화 및 센서 운동량 변화를 계산하고, 상기 계산된 센서 운동량 변화값과 거리 변화값을 기준으로 복용동작 및 복귀동작을 식별하고, 상기 식별되는 복용동작 및 복귀동작을 근거로 상기 약을 복용하였는지를 인식할 수 있다.

상기 복약 인증부는, 상기 일치 여부를 판단함에 있어서 처방 등록시 기록된 약포지 코드와 복약시 기록된 약포지 코드를 추가로 비교하여 일치하는지를 판단할 수 있다.

그리고, 본 발명의 바람직한 실시양태에 따른 복약 가이드 방법은, 복약 알림부가, 복약 시간이 됨에 따라 복약 알림을 실시하는 단계; 사용자 인증부가, 복약할 사용자를 인증하는 단계; 및 복용 행위 기록부가, 사용자가 복약 가이드에 따라 약을 복용하는 복용 행위를 촬영하여 기록하는 단계;를 포함한다.

상기 복용 행위 기록부가, 복용 동영상 촬영 시작시부터 종료시까지 착용형 단말에서 측정된 센서 데이터를 기록하는 단계;를 추가로 포함할 수 있다.

이러한 구성의 본 발명에 따르면, 환자의 복약 순응도를 향상시킬 수 있을 것이다.

특히, 사용자 인증, 복용상황 기록, 복약 여부 인증 등으로 환자들의 가복용을 감소시키고, 실 복용율을 향상시켜 질병관리 및 개선에 도움을 줄 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 복약 모니터링 지원 시스템을 나타낸 도면이다.
도 2는 도 1에 도시된 복약 서버의 구성을 나타낸 도면이다.
도 3은 도 1에 도시된 클라이언트 단말의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 복약 가이드 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 복약 인증 방법을 설명하기 위한 흐름도이다.
도 6 및 도 7은 도 5의 설명에 채용되는 도면들이다.
도 8은 도 5에서의 복약 행위 인지 과정을 세부적으로 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시예가 구현된 컴퓨터 시스템을 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 복약 모니터링 지원 시스템을 나타낸 도면이다.

본 발명의 실시예에 따른 복약 모니터링 지원 시스템은 복약 서버(10), 및 클라이언트 단말(20)를 포함한다.

복약 서버(10)는 사용자 별로 처방정보와 처방 별 스케줄정보, 각 스케줄에 대한 복약기록 정보를 유지하고 관리할 수 있다. 의사 또는 관리자에 의해 처방이 생성되고 처방전이 발급되면 사용자는 자신의 클라이언트 단말(20)에 처방전을 등록한다. 처방전이 클라이언트 단말(20)에 등록되었음이 확인되면 복약 서버(10)는 처방에 대한 복약 스케줄을 생성하고 클라이언트 단말(20)에 스케줄 정보를 전송한다.

클라이언트 단말(20)은 복약 서버(10)로부터 스케줄 정보를 받아 복약 모니터링 서비스를 시작한다. 복약 시간이 되면 클라이언트 단말(20)은 복약 알림을 실시하고, 사용자는 절차적 복약 가이드를 따라 약을 복용하며 복용 행위를 기록한다. 복약이 완료되면 클라이언트 단말(20)은 복약기록을 복약 서버(10)에게 전송하고, 복약인식기 또는 사용자에 의해 자동 또는 수동으로 최종 복약 여부를 인증받게 된다.

클라이언트 단말(20)은 스마트 단말, 웹캠(webcam)이 설치된 컴퓨터 또는 노트북, 스마트 와치와 같은 착용형 단말 등과 같이 복약 서버(10)와의 통신이 가능한 기기이면 충분하다.

처방전의 클라이언트 단말(20) 등록은 QR 코드, 바코드 등의 코드화 된 정보를 읽거나 사용자가 코드를 직접 입력하여 등록할 수 있다. 처방의 코드는 인쇄된 처방전에 같이 출력되는 것으로 가정한다.

한편, 복약 서버(10)는 정확한 복약 여부 판별에 사용하기 위해 처방전 등록 시 실제 조제된 약의 영상이 같이 등록되어야 한다. 약국에서는 조제되는 1회 단위 약포지 마다 QR코드 또는 바코드 등의 식별 코드를 부여할 수 있으며 부여된 전체 코드표는 복약 서버(10)에 전송 후 스케줄별로 기록되어 추후 복약 여부 확인 시 사용될 수 있다.

도 2는 도 1에 도시된 복약 서버(10)의 구성을 나타낸 도면이다.

복약 서버(10)는 데이터베이스(12) 및 복약 인증부(14)를 포함한다.

데이터베이스(12)는 처방 데이터베이스(12a), 스케줄 데이터베이스(12b), 및 복약기록 데이터베이스(12c)를 포함한다. 처방 데이터베이스(12a)는 사용자별로의 처방 정보를 저장한다. 스케줄 데이터베이스(12b)는 사용자의 처방별 스케줄 정보를 저장한다. 복약기록 데이터베이스(12c)는 각 스케줄에 따른 복약기록 정보를 저장한다. 여기서, 복약기록 정보는 사용자 얼굴 영상과 복용 약 영상 및 복약 행위 동영상으로 구성되는 기본 데이터, 및 약포지 코드와 복약 행위 시 수집된 운동 센서 데이터로 구성된 선택적 데이터를 포함할 수 있다.

복약 인증부(14)는 사용자의 복약 여부를 인증한다.

복약 인증부(14)는 복약 여부 인증을 위해 가입시 등록된 사용자 얼굴 영상, 처방 등록시 기록된 약 영상을 비교 데이터로 사용한다. 그리고, 추가적으로, 복약 인증부(14)는 약국으로부터의 약포지 코드를 비교 데이터로 사용할 수 있다.

복약 서버(10)에 수집된 복약기록 정보에 대해 의사 등의 의료 관계자 또는 의료 서비스 관리자가 기록을 확인하고 최종 복약 여부를 인증한다. 복약 인증부(14)에서의 복약 여부의 인증은 가입 시 등록된 사용자 얼굴 영상과 복약 시 기록된 얼굴 영상의 비교, 처방 등록 시 기록된 약 영상과 복약 시 기록된 약 영상의 비교를 통해 일치 여부를 판단한다. 그리고, 복약 시 기록된 복용 행위 동영상을 재생하여 정상적으로 복약이 이루어졌는지를 판단함으로써 최종 복약 여부를 승인한다. 영상이 불일치하거나 동영상이 복약 행위로 인정되지 않는 경우 부적합 판정을 내린다.

도 3은 도 1에 도시된 클라이언트 단말(20)의 구성을 나타낸 도면이다.

클라이언트 단말(20)은 복약 알림부(22), 사용자 인증부(24), 및 복용 행위 기록부(26)를 포함한다. 클라이언트 단말(20)은 본 발명의 특허청구범위에 기재된 복약 가이드 장치의 일 예라고 할 수 있다.

복약 알림부(22)는 복약 시간이 되었는지를 체크하여 복약 시간이 됨에 따라 복약 알림을 실시한다. 여기서, 복약 알림은 음성 메시지로 복약 시간이 되었음을 알릴 수도 있고, 경고음을 울릴 수도 있다. 한편, 소정의 팝업 메시지를 클라이언트 단말(20)에 디스플레이할 수도 있다. 아니면, 음성 메시지, 경고음, 및 팝업 메시지 중에서 2개 이상을 함께 제공할 수도 있다.

사용자 인증부(24)는 사용자 인증 또는 확인을 한다. 예를 들어, 지문 인식기를 이용하여 사용자가 실제 서비스 대상자인지를 확인한다.

복용 행위 기록부(26)는 사용자가 절차적 복약 가이드에 따라 약을 복용하는 복용 행위를 기록한다. 보다 구체적으로는, 사용자 인증 이후에 사용자의 얼굴 영상 및 복용할 약의 영상을 각각 촬영하여 기록하고, 이후에 동영상 촬영을 시작하여 사용자가 약을 복용하는 모든 단계를 기록한다. 만약, 복용할 약의 영상을 촬영함에 있어서 코드가 인쇄된 약포지일 경우 코드 스캔 과정을 별도로 거쳐 약포지 코드와 약의 영상을 같이 기록한다.

그리고, 복용 행위 기록부(26)는 사용자 얼굴 영상과 복용 약 영상 및 복약 행위 동영상으로 구성되는 기본 데이터, 및 약포지 코드와 복약 행위 시 수집된 운동 센서 데이터로 구성된 선택적 데이터를 포함하는 복약기록 정보를 복약 서버(10)에게로 전송한다.

도 4는 본 발명의 실시예에 따른 복약 가이드 방법을 설명하기 위한 흐름도로서, 클라이언트 단말(20)에서 행해지는 과정이라고 볼 수 있다.

클라이언트 단말(20)내의 복약 알림부(22)는 복약 시간이 됨에 따라 복약 알림을 행한다(S10).

그에 따라, 복약 가이드에 따라 사용자 인증(S12) - 사용자 얼굴 영상 기록(S14) - 복용할 약 영상 기록(S16) - 복용 행위 동영상 기록(S18, S20, S24) - 사용자 재인증(S22)의 복약 지도 절차를 실행한다.

즉, 사용자 인증부(24)는 클라이언트 단말(20)에서 제공되는 지문인식기(도시 생략)를 이용하여 사용자가 실제 서비스 대상자인지를 확인한다(S12).

이어, 사용자가 실제 서비스 대상자인 것으로 확인되면 복용 행위 기록부(26)는 사용자의 얼굴 영상 촬영을 안내하고, 사용자의 얼굴 영상을 촬영하여 기록한다(S14).

그리고 나서, 복용 행위 기록부(26)는 복용할 약의 영상 촬영을 안내하고 촬영한 약의 영상을 기록한다(S16). 만약, 코드가 인쇄된 약포지일 경우 코드 스캔 과정을 별도로 거쳐 약포지 코드와 함께 복용할 약의 영상을 기록한다.

약의 영상 기록이 완료되면, 복용 행위 기록부(26)는 동영상 촬영을 시작하여 사용자가 약을 복용하는 모든 단계를 기록하도록 안내한다.

만약, 사용자가 사용되는 클라이언트 단말이 착용형 단말이 아니면(S18에서 "No") 해당 클라이언트 단말(20)을 이용하여 약을 복용하는 상황을 모두 촬영한다(S20).

그리고, 동영상 촬영을 마치면 사용자 인증부(24)는 지문인식을 다시 실행하여 사용자 재인증(S22)을 거친 후 최종적으로 복약 절차를 완료한다. 이와 같이 복약 절차가 완료됨에 따라, 복용 행위 기록부(26)는 복약기록 정보를 복약 서버(10)에게로 전송한다.

한편, 사용자가 스마트 와치와 같은 착용형 단말을 사용하는 경우(S18에서 "Yes")에는 착용형 단말을 활용하여 보다 정확하게 복용 상황을 식별할 수 있다. 다시 말해서, 착용형 단말을 사용하는 경우에는 복용 동영상 촬영 시작 시부터 종료 시까지 단말에서 측정된 가속도센서 등의 센서 데이터를 기록 및 저장할 수 있다. 이때, 사용자는 약의 복용을 위해 반드시 착용형 단말을 착용한 팔을 이용하여 약을 복용하거나 물을 마시는 행위를 취하게 될 것이기 때문이다.

이와 같이 착용형 단말에서의 복용 상황을 알려주는 센서 데이터가 생성되면 복용 행위 기록부(26)는 센서 데이터를 복약기록 정보에 추가하여 복약 서버(10)에게로 전송한다(S24).

이하부터는, 도 5의 흐름도를 참조하여 본 발명의 실시예에 따른 복약 인증 방법에 대해 설명한다. 도 6 및 도 7은 도 5의 설명에 채용되는 도면들이다. 하기의 복약 인증 방법은 복약 서버(10)에서 행해지는 것으로 이해하면 된다.

전술한 바와 같이 사람에 의한 수동 복약기록 인증은 많은 인력과 비용, 시간이 소모되는 단점이 있다. 이에 본 발명에서는 안면인식, 약포지 코드인식, 복약 행위 제스처 인식을 통해 복약 인증을 자동화할 수 있다.

먼저, 복약 서버(10)내의 복약 인증부(14)는 PCA, FDA, ICA 등 기존의 공개된 방법들에 따라 등록된 사용자 얼굴 영상 및 복용 시 촬영된 사용자 얼굴 영상에서 각각의 얼굴(특히, 안면)을 인식한 후에 얼굴 특징을 벡터화하고 두 벡터의 유사성 여부로 일치 여부를 판별한다(S30, S32).

안면이 일치할 경우, 복약 인증부(14)는 약 조제 후 약국으로부터 전송되어 저장된 약포지 코드와 복용 시 기록된 약포지 코드를 서로 비교하여 복용 대상 스케줄의 코드와 일치하는지를 판별한다(S34).

약포지 코드가 서로 일치하면, 복약 인증부(14)는 복용 제스처를 인식한다(S36). 여기서, 복용 제스처 인식은 영상 분석에 의한 행위 인식 방법과 착용형 단말의 운동센서 데이터 분석에 의한 행위 인식 방법을 혼합한 것으로 이해하면 된다,

이와 같이 복약 인증부(14)는 복용 제스처 인식에 의해 복약 행위가 정상적으로 행해졌는지를 판별하게 된다(S38, S40).

즉, 복약 행위의 인식을 위해 복약 행위를 약을 먹는 행위와 물을 마시는 행위의 2단계로 정의할 수 있다. 약을 먹거나 물을 마시는 행위는 서로 유사한 행위인데, 각각의 행위는 도 6과 같이 손을 입으로 가져가는 동작(복약동작; 30, 32)과 입에서 손을 내리는 동작(복귀동작; 34)으로 구성될 수 있다. 즉, 영상에서 손 영역과 얼굴 영역을 검출한 후 도 6과 같이 시간에 따른 두 영역의 거리 및 위치 변화, 포함관계 등으로 복약 행위를 정의할 수 있다. 예를 들어, 복용 시작 시점에 손 영역이 인지되지 않아 무한대 거리인 상황 또는 두 영역이 일정 거리 이상의 간격을 두고 있는 상황에서 특정 시간 이내에 두 영역이 겹치거나 거리가 일정 거리 이하로 낮아지는 경우 이를 복용 동작으로 인식한다. 이후 다시 거리가 멀어져서 일정 거리 이상 또는 무한대로 멀어질 경우 이를 복귀 동작으로 인식한다. 전체 복약 행위 동영상에서 이와 같은 복약동작-복귀동작의 연결이 1회 나타날 경우 이를 약을 먹는 행위로 인식하고, 연결 동작이 연속되어 다시 나타날 경우 이를 물을 마시는 행위로 간주한다.

한편, 착용형 단말 센서의 변화에 따라 복약 행위를 유추할 수 있다. 예를 들어, 착용형 단말에서 측정된 가속도 및 중력 센서 데이터의 변화로 운동량을 측정할 경우, 도 7과 같이 복약동작과 복귀동작을 취할 때 운동량의 변화가 급격하게 나타나거나, 방향성에 대한 위상차의 변화가 급격하게 나타날 것이다. 따라서, 복용 시작 시점의 영상과 센서 데이터를 일치시킨 후 영상 영역의 변화 정보와 센서의 변화 정보를 바탕으로 보다 정확하게 복용 행위를 인식할 수 있다.

물론, 안면 인식 결과 일치하지 않거나, 약포지 코드가 상이하거나, 복용 제스처가 상이할 경우에는 복약 인증부(14)는 복약 불일치 판정을 내린다(S42).

도 8은 도 5에서의 복약 행위 인지 과정을 세부적으로 설명하기 위한 흐름도이다. 즉, 복약 행위 동영상으로부터 복약 제스처를 검출하여 복약 행위를 인지하는 방법은 도 8과 같다.

동영상에서 하나 이상의 정지 영상을 추출하고(S50), 각 정지 영상에서 얼굴 영역 및 손 영역을 검출하고 해당 영역의 중심좌표를 추출한다(S52).

모든 정지영상에 대해 얼굴 영역과 손 영역 사이의 거리가 제일 가까운 영상을 복용 중간 영상(도 6에서 32에 해당됨)으로 선정한다(S54).

복용 중간 영상을 기준으로 이전 영상과 이후 영상에서 손 영역이 검출되지 않거나 또는 손 영역 및 얼굴 영역간의 거리 변화량이 작은 시점을 복용 시작시점 및 복용 종료시점으로 선정한다(S56).

복용 시작시점과 복용 종료시점 이내의 영상을 복용 구간으로 선택한 후 해당 복용 구간 안에서의 얼굴 영역-손 영역 간 거리변화 및 센서 운동량 변화를 계산한다(S58, S60).

계산된 센서 운동량 변화값과 거리 변화값을 기준으로 복용동작 및 복귀동작을 식별하고(S62), 복용-복귀-복용-복귀의 시퀀스가 나타난 경우를 복용행위로 인정하여 복용을 인식한다(S64).

한편, 상술한 본 발명의 실시예는 컴퓨터 시스템에서 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(120)은 버스(122)를 통하여 서로 통신하는 하나 이상의 프로세서(121), 메모리(123), 사용자 인터페이스 입력 장치(126), 사용자 인터페이스 출력 장치(127) 및 스토리지(128)를 포함할 수 있다. 또한, 컴퓨터 시스템(120)은 네트워크(130)에 연결되는 하나 이상의 네트워크 인터페이스(129)를 더 포함할 수 있다. 프로세서(121)는 중앙 처리 장치 또는 메모리(123) 또는 스토리지(128)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(123) 및 스토리지(128)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리(123)는 ROM(124)이나 RAM(125)을 포함할 수 있다.

그리고, IoT 시대를 대비하여 컴퓨터 시스템(120)을 소형의 컴퓨팅 디바이스로 구현시킨 경우, 컴퓨팅 디바이스에 이더넷(Ethernet) 케이블을 연결하면 무선 공유기처럼 동작해서 모바일 디바이스가 무선으로 게이트웨이에 붙어서 암복호화 기능을 할 수 있으므로, 이를 위해 컴퓨터 시스템(120)은 무선 통신 칩(와이파이 칩)(131)을 추가로 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10 : 복약 서버 12 : 데이터베이스
12a : 처방 데이터베이스 12b : 스케줄 데이터베이스
12c : 복약기록 데이터베이스 14 : 복약 인증부
20 : 클라이언트 단말 22 : 복약 알림부
24 : 사용자 인증부 26 : 복용 행위 기록부

Claims

복약 시간이 됨에 따라 복약 알림을 실시하는 복약 알림부;
사용자 인증을 행하는 사용자 인증부; 및
사용자가 복약 가이드에 따라 약을 복용하는 복용 행위를 촬영하여 기록하는 복용 행위 기록부;를 포함하는 것을 특징으로 하는 복약 가이드 장치.
청구항 1에 있어서,
상기 복용 행위 기록부는,
상기 사용자의 얼굴 영상 및 복용할 약의 영상을 각각 촬영하여 기록하고, 상기 사용자가 약을 복용하는 행위를 동영상 촬영하여 기록하는 것을 특징으로 하는 복약 가이드 장치.
청구항 2에 있어서,
상기 복용 행위 기록부는,
상기 복용할 약의 영상을 촬영함에 있어서 코드가 인쇄된 약포지일 경우 코드 스캔 과정을 별도로 거쳐 약포지 코드와 약의 영상을 같이 기록하는 것을 특징으로 하는 복약 가이드 장치.
청구항 1에 있어서,
상기 복용 행위 기록부는 상기 복용 행위를 기록한 복약기록 정보를 복약 서버에게로 전송하는 것을 특징으로 하는 복약 가이드 장치.
청구항 4에 있어서,
상기 복약기록 정보는 사용자 얼굴 영상과 복용 약 영상 및 복약 행위 동영상을 포함하는 것을 특징으로 하는 복약 가이드 장치.
청구항 5에 있어서,
상기 복약기록 정보는 약포지 코드 및 복약 행위 시 수집된 운동 센서 데이터 중에서 하나 이상을 추가로 포함하는 것을 특징으로 하는 복약 가이드 장치.
청구항 1에 있어서,
상기 사용자 인증부는 지문 인식기를 통해 사용자 인증을 행하는 것을 특징으로 하는 복약 가이드 장치.
복약 알림을 실시하고, 사용자 인증을 행하고, 상기 사용자의 약 복용 행위를 촬영하여 기록하고, 복약이 완료됨에 따라 복약기록을 복약 서버에게 전송하는 클라이언트 단말; 및
상기 복약기록을 근거로 사용자의 복약 여부를 인증하는 복약 인증부를 포함하는 복약 서버;를 포함하는 것을 특징으로 하는 복약 모니터링 지원 시스템.
청구항 8에 있어서,
상기 복약 인증부는,
가입 시 등록된 사용자 얼굴 영상과 복약 시 기록된 얼굴 영상의 비교, 및 처방 등록 시 기록된 약 영상과 복약 시 기록된 약 영상의 비교를 통해 일치 여부를 판단하고, 복약 시 기록된 복용 행위 동영상의 복용 제스처를 근거로 복약 여부를 판별하는 것을 특징으로 하는 복약 모니터링 지원 시스템.
청구항 9에 있어서,
상기 복약 인증부는,
상기 복용 행위 동영상에서 하나 이상의 정지 영상을 추출하고, 상기 각각의 정지 영상에서 얼굴 영역 및 손 영역을 검출하고, 상기 각각의 정지 영상에 대해 복용 중간 영상으로 선정하고, 상기 복용 중간 영상을 기준으로 이전 영상과 이후 영상에서 복용 시작시점 및 복용 종료시점을 선정하고, 상기 복용 시작시점 및 복용 종료시점 이내의 영상을 근거로 약을 복용하였는지를 인식하여 복약 여부를 판별하는 것을 특징으로 하는 복약 모니터링 지원 시스템.
청구항 10에 있어서,
상기 복용 중간 영상은 상기 얼굴 영역과 손 영역 사이의 거리가 제일 가까운 영상인 것을 특징으로 하는 복약 모니터링 지원 시스템.
청구항 10에 있어서,
상기 복약 인증부는 상기 약을 복용하였는지를 인식함에 있어서,
상기 복용 시작시점과 복용 종료시점 이내의 영상을 복용 구간으로 선택하고, 상기 복용 구간 안에서의 얼굴 영역과 손 영역 간 거리변화 및 센서 운동량 변화를 계산하고, 상기 계산된 센서 운동량 변화값과 거리 변화값을 기준으로 복용동작 및 복귀동작을 식별하고, 상기 식별되는 복용동작 및 복귀동작을 근거로 상기 약을 복용하였는지를 인식하는 것을 특징으로 하는 복약 모니터링 지원 시스템.
청구항 9에 있어서,
상기 복약 인증부는,
상기 일치 여부를 판단함에 있어서 처방 등록시 기록된 약포지 코드와 복약시 기록된 약포지 코드를 추가로 비교하여 일치하는지를 판단하는 것을 특징으로 하는 복약 모니터링 지원 시스템.
복약 알림부가, 복약 시간이 됨에 따라 복약 알림을 실시하는 단계;
사용자 인증부가, 복약할 사용자를 인증하는 단계; 및
복용 행위 기록부가, 사용자가 복약 가이드에 따라 약을 복용하는 복용 행위를 촬영하여 기록하는 단계;를 포함하는 것을 특징으로 하는 복약 가이드 방법.
청구항 14에 있어서,
상기 복용 행위를 기록하는 단계는,
상기 사용자의 얼굴 영상 및 복용할 약의 영상을 각각 촬영하여 기록하는 단계; 및
상기 사용자가 약을 복용하는 행위를 동영상 촬영하여 기록하는 단계;를 포함하는 것을 특징으로 하는 복약 가이드 방법.
청구항 15에 있어서,
상기 복용 행위를 기록하는 단계는,
상기 복용할 약의 영상을 촬영함에 있어서 코드가 인쇄된 약포지일 경우 코드 스캔 과정을 별도로 거쳐 약포지 코드와 약의 영상을 같이 기록하는 것을 특징으로 하는 복약 가이드 방법.
청구항 14에 있어서,
상기 기록하는 단계 이후에,
상기 복용 행위를 기록한 복약기록 정보를 복약 서버에게로 전송하는 단계;를 추가로 포함하는 것을 특징으로 하는 복약 가이드 방법.
청구항 17에 있어서,
상기 복약기록 정보는 사용자 얼굴 영상과 복용 약 영상 및 복약 행위 동영상을 포함하는 것을 특징으로 하는 복약 가이드 방법.
청구항 18에 있어서,
상기 복약기록 정보는 약포지 코드 및 복약 행위 시 수집된 운동 센서 데이터 중에서 하나 이상을 추가로 포함하는 것을 특징으로 하는 복약 가이드 방법.
청구항 14에 있어서,
상기 복용 행위 기록부가, 복용 동영상 촬영 시작시부터 종료시까지 착용형 단말에서 측정된 센서 데이터를 기록하는 단계;를 추가로 포함하는 것을 특징으로 하는 복약 가이드 방법.