KR102185492B1 - 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서 - Google Patents

이미지 센서를 이용한 안면인식 기반 스마트 디스펜서 Download PDF

Info

Publication number
KR102185492B1
KR102185492B1 KR1020190042271A KR20190042271A KR102185492B1 KR 102185492 B1 KR102185492 B1 KR 102185492B1 KR 1020190042271 A KR1020190042271 A KR 1020190042271A KR 20190042271 A KR20190042271 A KR 20190042271A KR 102185492 B1 KR102185492 B1 KR 102185492B1
Authority
KR
South Korea
Prior art keywords
taker
image sensor
image
user
unit
Prior art date
Application number
KR1020190042271A
Other languages
English (en)
Other versions
KR20200120778A (ko
Inventor
천재두
이민정
Original Assignee
주식회사 에버정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에버정보기술 filed Critical 주식회사 에버정보기술
Priority to KR1020190042271A priority Critical patent/KR102185492B1/ko
Priority to PCT/KR2019/004330 priority patent/WO2020209414A1/ko
Publication of KR20200120778A publication Critical patent/KR20200120778A/ko
Application granted granted Critical
Publication of KR102185492B1 publication Critical patent/KR102185492B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/04—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers
    • A61J7/0409—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers
    • A61J7/0427—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers with direct interaction with a dispensing or delivery system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/04—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/04—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers
    • A61J7/0409—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers
    • A61J7/0481—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers working on a schedule basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2200/00—General characteristics or adaptations
    • A61J2200/30—Compliance analysis for taking medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2200/00—General characteristics or adaptations
    • A61J2200/70—Device provided with specific sensor or indicating means

Abstract

본 발명의 일 실시예에 따른 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서는 복용자의 이미지를 주기적으로 촬영하여 획득하는 이미지 센서를 구비하고, 상기 이미지 센서를 통하여 복용자 인증을 수행하고, 인증된 복용자에 대하여 복용자의 약 복용 스케줄을 미리 저장하며, 저장된 복용 스케줄대로 투약 명령을 수행하되, 상기 복용자의 이미지를 이용하여 해당 복용자에 대한 인증을 수행하는 것을 특징으로 한다.

Description

이미지 센서를 이용한 안면인식 기반 스마트 디스펜서{SMART DISPENSER BASED FACIAL RECOGNITION USING IMAGE SENSOR}
본 발명은 스마트 디스펜서에 관한 것으로, 더욱 상세하게는 이미지 센서를 이용하여 복용자를 인증하고, 복용자의 투약 명령을 수행할 수 있는 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서에 관한 것이다.
현대 사회는 건강에 대한 관심이 나날이 증가하고 있다. 이러한 시대적인 관심과 더불어, 실시간 데이터 수집에 의한 데이터 분석 방식 및 툴(tool)이 고도화되는 등 기술이 비약적으로 발전함에 따라서, 건강 상태를 모니터링하고 개인화된 건강관리 서비스를 제공받는 것이 가능하게 되었다.
또한, 소비자의 의식 변화에 따른 고객 요구의 다양화와 기대수준의 향상으로 건강 서비스 및 관련 시스템 이용의 편리성 및 맞춤화가 강화되고 있는 추세이며, 축적된 개인의 건강 데이터를 바탕으로 생활 습관병 예방이나 체중관리 등의 개인화(personalized) 건강관리 사업이 급속도로 성장하고 있다.
최근, 통계청에 따르면 우리나라는 2017년부터 노인인구 비중이 유소년인구 비중을 웃도는'인구 역전 현상'이 발생하고 생산가능인구가 감소세로 돌아선 이후부터 고령화시대가 본격화한다고 한다.
그리고 노인은 여러 가지 약물을 동시에 복용하기 때문에 약물간의 상호작용을 일으켜 부작용이 나타날 가능성이 매우 크므로, 약물을 임의적으로 중단하거나 통증해소를 위해 추가로 약물을 복용하는 경우에는 미리 의사나 담당 약사와 상의해야 한다.
약물은 정해진 용량을 정해진 시간에 제때 복용해야 최적의 효과를 나타 낼 수 있다. 하지만 노인환자의 경우에는 합병증이 많아 복용하는 약물의 수도 많고 약물의 복용 횟수도 많아 정해진 시간대에 정확한 약물을 복용하여야 한다.
따라서, 전술한 문제를 해결하기 위하여, 약물을 정해진 복용 스케줄대로 투약할 수 있음과 아울러, 타인이 허가받지 않고 약물을 투여받는 사고가 발생하지 않도록 이미지 센서 인증을 수행할 수 있는 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서에 대한 연구가 필요하게 되었다.
한국공개특허 제2013-024065호(2013.03.08.공개)
본 발명의 목적은 이미지 센서를 이용하여 복용시간이 되면 알림이 울리고, 장치에 연결된 이미지 센서를 통해 생체정보를 인식해 개방하고, 복용자가 약을 복용하도록 함과 동시에 이미지 센서를 통해 복용자의 복용 동작을 인식해 자동으로 복용 여부를 확인하고 기록할 수 있는 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서를 제공하는 것이다.
본 발명의 일 실시예에 따른 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서는 복용자의 이미지를 주기적으로 촬영하여 획득하는 이미지 센서를 구비하고, 상기 이미지 센서를 통하여 복용자 인증을 수행하고, 인증된 복용자에 대하여 복용자의 복용 스케줄을 미리 저장하며, 저장된 복용 스케줄대로 투약 명령을 수행하되, 상기 복용자의 이미지를 이용하여 해당 복용자에 대한 인증을 수행하는 것을 특징으로 한다.
상기에 있어서, 상기 디스펜서는, 상기 이미지 센서를 통하여 복용자의 이미지를 주기적으로 촬영하여 획득된 이미지를 전송받고, 복용자의 인식과 해당 복용자에 대한 인증을 수행하는 제어부; 복용자에게 각종 알림을 시각적으로 제공하기 위한 역할을 수행하는 표시부; 상기 복용자가 직접 키입력에 의해 복용 명령을 내리거나, 화면표시, 전원 온/오프 등의 키입력이 가능하도록 제공하는 키입력부; 외부로 음성 안내를 출력할 수 있도록 구비되는 출력부; 적어도 하나의 상기 복용자의 이미지에서 복용자의 표정 특징을 인식하고, 복수의 얼굴 표정 인식 결과를 저장할 수 있으며, 복용자의 표정의 시간적 변화에 관련된 특징을 검출하고, 그 검출된 특징에 기반하여 상기 복용자의 정신적 건강 상태를 추정할 수 있는 상황판단부;를 포함한다.
상기에 있어서, 상기 디스펜서는 상기 이미지 센서를 통하여 촬영된 이미지를 분석하여 인공지능 학습 알고리즘을 기반으로 복용자의 상태를 예측하고, 예측 결과에 따라 상기 제어부의 제어하에 상기 표시부를 통하여 복용 여부를 표시하거나 출력부를 통하여 복용에 대한 음성 안내를 제공하도록 상기 제어부에 예측 결과를 제공하는 예측부;를 더 포함한다.
상기에 있어서, 상기 제어부는 복용자의 투약 명령을 수행하기 위해 복용량, 복용되는 약종류, 복용시간, 복용자 상태 및 복용이력 중 적어도 하나를 저장하여 관리하는 것을 특징으로 한다.
상기에 있어서, 상기 복용자에 대한 인증은, 상기 이미지 센서의 촬영으로 획득된 복용자의 안면 이미지에서 픽셀 정보를 기반으로 안면 이미지에서 복용자의 특징점을 추출하여 이루어지는 것을 특징으로 한다.
상기에 있어서, 상기 상황판단부는 피부 변화에 따른 복용자의 건강을 체크할 수 있도록 피부 관리 알고리즘을 이용하는 것을 특징으로 한다.
상기에 있어서, 상기 복용자에 대한 인증은, 상기 상황판단부가 복용자의 상태를 확인하기 위해 건강 관리 알고리즘을 프로그래밍하여 심박수를 체크하여 이루어지는 것을 특징으로 한다.
본 발명의 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서는 이미지 센서 인증을 통하여 인증된 복용자에 대하여 복용을 수행할 수 있어, 보안성이 강화되고, 혹시라도 타인이 복용할 수 있는 의료사고를 미연에 방지할 수 있다.
또한, 독거노인 또는 1~2인 가족의 복용 약 관리를 통한 건강 헬스케어 서비스 제공할 수 있다.
또한, 대상자의 기기 사용에 대한 거부감, 불쾌감, 사용 편의성을 위한 비 접촉 생체 정보 획득하고, 획득한 대상자의 고유 생체정보 빅데이터를 활용, AI(딥러닝) 처리하여 관리함으로써 추가적인 부가 서비스들을 제공(건강, 피부, 복용 약 관리 등)할 수 있다.
또한 정해진 복용 스케줄대로 복용 명령을 수행함으로써, 약물 오남용을 방지하고, 복용자가 복용 스케줄을 인지하고 있지 않더라도 복용량, 복용되는 약종류, 복용시간, 복용자 상태, 복용이력 등을 확인하고 투약하여, 복약관리를 스마트하게 수행할 수 있고, 나아가 건강관리 및 사회적 불필요한 의료비용 손실을 줄일 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서의 정면도이다.
도 2는 도 1의 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서의 세부 구성을 보인 블록도이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서의 정면도이며, 도 2는 도 1의 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서의 세부 구성을 보인 블록도이다.
본 발명의 디스펜서(100)는 기본적으로 이미지 센서(170)를 이용하여 복용시간이 되면 알림이 울리고, 장치에 연결된 이미지 센서(170)를 통해 생체정보를 인식해 잠금장치로 잠금된 약투입구(101)를 개방하고 복용자가 약을 복용하도록 함과 동시에 이미지 센서(170)를 통해 복용자의 복용 동작을 인식해 자동으로 복용 여부를 확인하고 기록할 수 있다.
본 발명의 디스펜서(100)는 도 1을 참조하면, 전면에 각종 안내를 표시하는 표시부(120)와, 외부 입력을 받을 수 있는 키입력부(140)와, 생체인증에 이용하기 위해 복용자의 모습을 촬영하는 이미지 센서(170)를 구비한다.
본 발명의 디스펜서(100)는 도 2에 도시된 바와 같이, 제어부(110), 표시부(120), 예측부(130), 키입력부(140), 출력부(150), 생체인증부(160), 이미지 센서(170), 상황판단부(180)를 포함한다.
이미지 센서(170)는 이미지 센서(170) 인증을 이용한 디스펜서(100)의 전면에 위치하여 복용자가 인식 거리 내에 위치하면 이미지를 주기적으로 촬영하여 획득할 수 있으며, 획득된 이미지는 제어부(110)로 전송된다. 이때 인식거리는 1m 이내가 바람직하다.
또한 이미지 센서(170)는 복용자의 얼굴 등 전면을 촬상하기 위해 사용되는 이미지 센서와 복용자의 다른 각도(예를 들어, 복용자의 손의 위치나 복용자의 얼굴의 측면 등)를 촬상할 수 있는 보조 이미지 센서를 복수개로 조합하여 사용할 수도 있다. 이러한 방식을 통해 단일한 이미지 센서(170)를 사용하여 발생할 수 있는 상황인식의 한계(예를 들어 역광의 상황이라던가, 이미지 센서 자체의 하드웨어 고장 등의 오류)에 대해서 보완할 수 있다. 또한, 안면 인식이 용이하도록 밝지 않은 곳에서 활용하기 위해 조도 센서를 추가로 구비하여 복용자의 안면 이미지를 획득하는 것이 바람직하다.
나아가, 이미지 센서(170)의 기능을 대신할 수 있는 카메라를 구비하여 복수의 이미지를 획득하여 제어부(110)로 전송하여 복용자 인증에 이용할 수도 있다.
제어부(110)는 이미지 센서(170)를 통하여 복용자 인증 및 인식된 복용자에 대하여 복용자의 약 복용 스케줄을 저장하고, 저장된 복용 스케줄대로 투약 명령을 수행할 수 있다.
이 때, 제어부(110)는 복용자에 대한 개인 id 정보(예를 들어 주민번호)나 복용자의 개인 id 정보를 통해 추가적인 질병 현황에 대해서 이러한 정보를 제공할 수 있는 중앙관제서버(미도시)를 통해 습득할 수 있다. 즉, 복용자의 인증이 마치고 나면 복용자의 추가적인 정보들(개인 id 정보, 질병 현황)을 활용할 수 있다.
제어부(110)는 복용자의 인식과 해당 복용자에 대한 인증을 수행하기 위해 특징점 추출 방식을 이용할 수 있다. 예컨대, 이미지 센서(170)의 촬영으로 획득된 복용자의 안면 이미지에서 픽셀 정보를 기반으로 안면 이미지에서 복용자의 특징점을 추출할 수 있다. 안면(얼굴)을 구성하는 특징점, 예를 들어, 눈썹 중심, 눈의 양 가장자리, 입가, 입술 중앙점 등이 될 수 있다. 이때, 경계선 추출 방식을 이용하여 안면 윤곽선과, 눈썹, 눈, 코, 입, 귀 등의 윤곽선을 추출하고, 각 윤곽선 내에서 각 픽셀의 픽셀값을 확인하여 특징점을 추출할 수 있다.
나아가 검출된 특징점을 이용하여 적어도 하나 이상의 안색 영역을 추출할 수도 있다. 여기서 안색 영역이란, 얼굴에서 구분될 수 있는 영역을 나눈 영역으로, 안면을 구성하는 영역이 될 수 있다.
제어부(110)는 복용량, 복용되는 약종류, 복용시간, 복용자 상태, 복용이력 등을 저장하기 위해 메모리를 내장할 수 있으며, 이를 위해 프로그래밍 가능한 마이크로 컨트롤러(MCU)가 될 수 있다.
또한 제어부(110)는 예측부(130)로부터 인공지능 학습 알고리즘을 기반으로 복용자의 상태에 대한 예측 결과를 제공받아 상기 표시부(120)를 통하여 복용 여부를 표시하거나 출력부(150)를 통하여 복용에 대한 음성 안내를 제공하도록 제어할 수 있다.
표시부(120)는 복용자에게 각종 알림을 시각적으로 제공하기 위한 역할을 수행하는 것으로 예컨대 복용량, 복용되는 약종류, 복용시간, 복용자 상태, 복용이력 등을 표시할 수 있다.
예측부(130)는 이미지 센서(170)를 통하여 촬영된 이미지를 분석하여 인공지능 학습 알고리즘을 기반으로 복용자의 상태를 예측하고 예측결과를 표시부(120)를 통하여 표시하거나 출력부(150)를 통하여 음성 안내를 수행할 수 있게 한다. 여기서 인공지능 학습 알고리즘은 예컨대 인공신경망(Artificial Neural Network), RBF(Radial Basis Function) 신경망, 서포트 벡터 머신(Support Vector Machine) 알고리즘 등이 될 수 있다.
구체적으로, 얼굴 특징점을 추출하여 분류함으로써 패턴화하여 패턴을 벗어나는 경우를 잘 추정할 수 있는 서포트 벡터 머신 알고리즘을 사용하는 것이 좀더 바람직하다.
좀더 구체적으로, 예측부(130)에서 복용자의 이미지를 분석하여, 복용자의 상태를 예측하게 되는데, 복용자의 이미지는 대부분 복용자의 얼굴과 손에 대한 인식을 위해 사용되게 된다. 좀더 구체적으로 예측부(130)에서는 복용자의 얼굴과 손에 대해서 촬상된 이미지로부터 얼굴과 손의 특징점(예를 들어 눈, 코, 입 등)을 추출하게 복용자의 상태를 예측하는 데 사용하게 된다.
하지만, 이러한 복용자가 얼굴에 추가적인 얼굴 인공구조물을 착용하게 되면, 이미지 센서(170)를 통해 촬상된 이미지로부터 예측부(130)가 특징점을 정확하게 추출하기 어려워지는 문제가 발생한다.
예를 들어, 이러한 추가적인 얼굴 인공구조물은 복용자가 착용하는 안경, 선글라스, 모자, 마스크, 인공 수염 등이 될 수 있다.
이렇듯이, 인공구조물로 인해 복용자의 얼굴 인식이 불가능한 경우, "얼굴에서 인공구조물을 제거해주세요." 또는 "인공구조물 등으로 인하여 현재 인식이 불가능한 상태이므로 확인바랍니다." 등의 음성 안내를 출력하거나 표시부(120)에 표시할 수 있다.
또한, 더 나아가, 예측부(130)는 이미지 센서(170)를 통해 촬상된 이미지를 분석하여 학습시키는 팩터로 위에서 상술한 인공구조물(예를 들어 선글라스, 마스크)을 포함시켜서, 이러한 인공구조물에 대해서 학습을 하도록 할 수 있다. 이러한 학습을 통해서 결과적으로 예측부(130)는 복용자의 인공구조물 착용을 더 잘 추정하여 표시부(120)나 출력부(150) 등을 통해 사용자에게 인공구조물의 제거를 더 잘 구분하여 요청할 수 있다.
즉 복용자의 상태에 따라 복용과 관련한 다양한 음성 안내 또는 시각적 표시가 이루어질 있으며, 예측 결과들과 복용자의 복용 이력 등은 별도의 데이터베이스에 저장함으로써, 빅데이터화하여 스스로 학습 및 진화가 이루어지도록 한다.
상황판단부(180)는 시계열로 촬영되어 취득된 복수의 이미지 센서(170) 영상 각각에서 복용자의 표정 특징을 인식하고, 복수의 얼굴 표정 인식 결과를 시계열 데이터로서 저장할 수 있으며, 시계열 데이터에서 복용자의 표정의 시간적 변화에 관련된 특징을 검출하고, 그 검출된 특징에 기반하여 상기 복용자의 정신적 건강 상태를 추정할 수 있다.
예컨대 웃는 표정의 얼굴이 지속적으로 인식되는 경우 약 복용시간을 지연하거나, 우울한 표정의 얼굴이 지속적으로 인식되는 경우 약 복용시간을 앞당겨 복용자에게 제공될 수 있도록 한다. 또한, 표정 특징에 따라 건강 상태를 판단하는데 이용할 수도 있다.
또한 추가적으로 상황판단부(180)는 시계열적으로 복용자의 표정 특징 뿐 아니라, 실질적으로 약을 복용자의 입으로 가져가도록 하는 손에 대해서도 추가적으로 인식하여, 복용자의 얼굴의 특징점(예를 들어 입의 위치)과 손의 특징점 사이의 관계를 기반으로 복용자의 복약 여부를 좀 더 잘 확인할 수 있게 된다. 즉, 얼굴 표정 인식 결과의 변화와 얼굴 및 손의 특징점 사이의 변화를 추가로 인식하여 인증함으로써 복용자의 건강 상태의 추정 및 복용자의 약 복용 여부에 대한 추정이나 예측 정확도를 높일 수 있게 된다.
나아가, 상황판단부(180)는 피부 관리 알고리즘을 이용하여 피부 변화(모공, 주름, 피지 등)에 따라 건강(호흡상태,활동량,심박상태)에 어떤 문제가 생기는지 예측하여 복용자의 상태를 체크할 수도 있다. 예를 들어 위암에 걸렸을 경우 피부 온도나 홍조 등 급격한 변화 생기는 이미지 센서(170)를 통하여 제공되는 이미지를 분석하여 체크할 수 있으며, 이를 통해 의료 사고를 미연에 예방 가능하게 한다.
또한 상황판단부(180)는 건강 관리 알고리즘을 프로그래밍하여 심박수를 체크하여 복용자의 상태를 확인할 수 있으며, 예컨대 이미지 센서(170)로부터 획득된 얼굴 이미지에 있는 분노, 경멸, 혐오, 공포, 행복, 무표정, 슬픔, 놀람 같은 일련의 감정 파악을 할 수도 있다.
좀더 구체적으로 상황판단부(180)에서는 이미지 센서(170)를 통해 획득되는 복용자의 시계열 데이터 및 영상을 분석하여, 복용자의 얼굴에 나타난 혈류량의 변화 등을 추정할 수 있고, 이로 인해 심박수에 대한 추정 또한 가능하게 된다. 또한 이러한 추정에는 상술한 것과 같은 딥러닝 등과 같은 방식이 추가적으로 사용될 수 있다. 나아가 이러한 건강 관리 알고리즘을 이용한 심박수 체크에 의해 상기 복용자에 대한 인증을 수행할 수도 있다. 예컨대, 심박수 측정치가 기등록된 해당 복용자의 심박수와 일치하는지 여부에 따라 복용자 인증을 수행할 수 있다.
키입력부(140)는 복용자가 직접 키입력에 의해 약 복용 명령을 내리거나, 화면표시, 전원 온/오프 등의 키입력이 가능하도록 제공할 수 있다.
출력부(150)는 외부로 음성 안내를 출력할 수 있도록 스피커 형태로 제공된다.
음성 안내로는 예컨대 복용 지시 안내, 복용시간 경고 알람, 인증 여부 알람, 복용량 음성 안내 등이 될 수 있다.
생체인증부(160)는 이미지 센서(170) 이미지 인증외 별도의 인증수단으로서, 이미지 센서(170) 인증에 지속적으로 실패하거나 사용 불가한 상황(어두운 곳 등)에서 대체 인증수단이 될 수 있으며, 예컨대 지문, 홍채, 음성, 심박수를 이용한 생체인증방식이 채택될 수 있다. 또한 생체인증을 위해 미리 복용자의 생체인증정보로서, 지문, 홍채, 음성, 심박수를 입력받아 저장하는 것이 바람직하다.
또한, 상술한 이미지 센서(170) 및 생체인증부(160)와 더불어, 추가적으로 보조 감지 수단들을 더 포함할 수 있다. 좀더 구체적으로 보조 감지 수단은 레이더나 LiDar와 같이 복용자와의 거리를 측정할 수 있는 거리 감지 센서가 될 수 있다. 이러한 보조 감지 수단이 거리 감지가 가능한 센서인 경우 예를 들어 복용자가 디스펜서(100)에 일정한 거리 이내로 들어오는 경우 이러한 상황을 인식하여 이미지 센서(170)를 촬상할 수 있도록 기동시키고, 복용자가 일정한 거리를 벗어나는 경우, 이미지 센서(170)의 촬상을 그만두도록 활용할 수 있다. 이러한 활용을 통해, 이미지 센서(170)가 복용자가 아닌 다른 객체를 촬상하여 그때 촬상된 이미지를 예측부(130)나 제어부(110)를 통해 분석하도록 동작하도록 하는 문제점을 해결할 수 있다.
또한, 이미지 센서(170)와 보조 감지 수단만을 활용하여 디스펜서를 동작시키게 되면, 복용자와 비접촉식으로 복용자의 약의 복용 유무, 복용자의 건강 상태 추정 등을 통해 복용자들의 건강을 효과적으로 케어해줄 수 있다. 이러한 점은 특히 별도의 신체적 접촉을 통해 인증을 하기 어려운 환자나 노약자(예를 들어 치매환자)들에 대해서도 약에 대한 복용을 스마트하게 관리하고 더 나아가 복용자의 건강을 효율적으로 관리할 수 있도록 도움을 줄 수 있다.
또한 전술한 것과 같이 제어부(110)는 중앙관제서버를 통해 복용자의 추가적인 정보들(개인 id 정보, 질병 현황)을 활용할 수 있는데, 예를 들어 질병 현황의 경우 개인의 상병코드를 활용할 수도 있다.
좀 더 구체적으로는 제어부(110)를 통해 습득 가능한 복용자의 상병코드가 '치매'인 경우, 디스펜서(100)는 상술한 것과 같이 이미지 센서(170)와 보조 감지 수단을 동시에 활용하고, 생체인증부(160)은 동작시키지 않도록 하여 복용자의 생체 정보를 습득하도록 하고, 또 다른 예로 복용자의 상병코드가 '조현병'인 경우, 이미지 센서(170)의 촬상 방식을 대상의 움직임이 큰 상태로 예상하도록 설정하여, 복용자의 상병코드와 같은 질병 현황에 따라 맞춤형 방식을 제공할 수 있다.
즉, 복용자의 상병코드를 제어부(110), 예측부(130), 상황판단부(180)의 동작 등에 적극적으로 활용함으로써 복용자가 앓고 있는 질병에 대응되어 여러 인식 방식 등을 변경하여 활용할 수 있다.
나아가 본 발명의 디스펜서는 외부에 위치한 관리서버와 연동하여 무선 통신할 수 있는 무선통신부(미도시)를 추가로 구비할 수 있다. 본 발명의 디스펜서는 무선통신부를 통하여 관리서버와 연계하여 복용자 인증을 수행하거나, 복용 관리, 피부 관리, 건강 관리(심박수 체크)에 대한 DB를 구축하고, 이력 확인 및 관리에 활용될 수 있으며, 특히 인공지능 알고리즘 기반으로 빅데이터화된 복용자와 관련된 복용 데이터(복용량, 복용되는 약종류, 복용시간, 복용자 상태 및 복용이력 등)를 이용하여 보다 정확한 복용자의 상태를 분석하고 예측할 수도 있다.
100 : 디스펜서
110 : 제어부 120 : 표시부
130 : 예측부 140 : 키입력부
150 : 출력부 160 : 생체인증부
170 : 이미지 센서 180 : 상황판단부

Claims (7)

  1. 복용자의 이미지를 주기적으로 촬영하여 획득하는 이미지 센서를 구비하고,
    상기 이미지 센서를 통하여 복용자 인증을 수행하고, 인증된 복용자에 대하여 복용자의 복용 스케줄을 미리 저장하며, 저장된 복용 스케줄대로 투약 명령을 수행하되,
    상기 복용자의 이미지를 이용하여 해당 복용자에 대한 인증을 수행하는 디스펜서를 포함하며,
    상기 디스펜서는
    상기 이미지 센서를 통하여 복용자의 이미지를 주기적으로 촬영하여 획득된 이미지를 전송받고, 복용자의 인식과 해당 복용자에 대한 인증을 수행하며, 복용자의 투약 명령을 수행하기 위해 복용량, 복용되는 약종류, 복용시간, 복용자 상태 및 복용이력을 저장하여 관리하는 제어부;
    복용자에게 각종 알림을 시각적으로 제공하기 위한 역할을 수행하는 표시부;
    상기 복용자가 직접 키입력에 의해 복용 명령을 내리거나, 화면표시, 전원 온/오프 등의 키입력이 가능하도록 제공하는 키입력부;
    외부로 음성 안내를 출력할 수 있도록 구비되는 출력부; 및
    적어도 하나의 상기 복용자의 이미지에서 복용자의 표정 특징을 인식하고, 복수의 얼굴 표정 인식 결과를 저장할 수 있으며, 복용자의 표정의 시간적 변화에 관련된 특징을 검출하고, 그 검출된 특징에 기반하여 상기 복용자의 정신적 건강 상태를 추정할 수 있는 상황판단부를 더 포함하며,
    상기 상황판단부는
    웃는 표정의 얼굴이 지속적으로 인식되는 경우 약 복용시간을 지연하거나, 우울한 표정의 얼굴이 지속적으로 인식되는 경우 약 복용시간을 앞당겨 복용자에게 제공하며,
    상기 복용자에 대한 인증은,
    상기 상황판단부가 복용자의 정신적 건강 상태를 확인하기 위해 건강 관리 알고리즘을 프로그래밍하여 심박수를 체크하여 이루어지며,
    상기 심박수는 이미지 센서를 통해 획득되는 복용자의 시계열 데이터 및 영상을 분석하여, 복용자의 얼굴에 나타난 혈류량의 변화를 통해 추정하는 것을 특징으로 하는 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서.
  2. 삭제
  3. 제1항에 있어서,
    상기 디스펜서는
    상기 이미지 센서를 통하여 촬영된 이미지를 분석하여 인공지능 학습 알고리즘을 기반으로 복용자의 상태를 예측하고, 예측 결과에 따라 상기 제어부의 제어하에 상기 표시부를 통하여 복용 여부를 표시하거나 출력부를 통하여 복용에 대한 음성 안내를 제공하도록 상기 제어부에 예측 결과를 제공하는 예측부를 더 포함하는 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서.
  4. 삭제
  5. 제1항에 있어서,
    상기 복용자에 대한 인증은,
    상기 이미지 센서의 촬영으로 획득된 복용자의 안면 이미지에서 픽셀 정보를 기반으로 안면 이미지에서 복용자의 특징점을 추출하여 이루어지는 것을 특징으로 하는 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서.
  6. 제1항에 있어서,
    상기 상황판단부는 피부 변화에 따른 복용자의 건강을 체크할 수 있도록 피부 관리 알고리즘을 이용하는 것을 특징으로 하는 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서.
  7. 삭제
KR1020190042271A 2019-04-11 2019-04-11 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서 KR102185492B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190042271A KR102185492B1 (ko) 2019-04-11 2019-04-11 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서
PCT/KR2019/004330 WO2020209414A1 (ko) 2019-04-11 2019-04-11 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190042271A KR102185492B1 (ko) 2019-04-11 2019-04-11 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서

Publications (2)

Publication Number Publication Date
KR20200120778A KR20200120778A (ko) 2020-10-22
KR102185492B1 true KR102185492B1 (ko) 2020-12-03

Family

ID=72752071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190042271A KR102185492B1 (ko) 2019-04-11 2019-04-11 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서

Country Status (2)

Country Link
KR (1) KR102185492B1 (ko)
WO (1) WO2020209414A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102596492B1 (ko) * 2023-01-12 2023-10-31 주식회사 에버정보기술 비접촉식 생체정보 측정이 가능한 복약 디스펜서

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214893B2 (ja) 1992-05-27 2001-10-02 松下電器産業株式会社 光送信器
US20120313785A1 (en) 2011-04-04 2012-12-13 Alarm.Com Medication management and reporting technology
JP2015505259A (ja) * 2011-12-21 2015-02-19 デカ・プロダクツ・リミテッド・パートナーシップ 経口薬を投与するためのシステム、方法、及び装置
WO2015060296A1 (ja) 2013-10-22 2015-04-30 株式会社湯山製作所 配薬支援システム
JP2016147006A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 健康管理補助装置及び健康管理補助方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8357114B2 (en) * 2006-01-06 2013-01-22 Acelrx Pharmaceuticals, Inc. Drug dispensing device with flexible push rod
EP2748685A4 (en) * 2011-08-27 2015-05-20 Daniel L Kraft PORTABLE MEDICINAL DISPENSER
KR101301821B1 (ko) 2011-08-30 2013-08-29 한국 한의학 연구원 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
KR101971695B1 (ko) * 2016-04-01 2019-04-25 한국전자통신연구원 복약 모니터링 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214893B2 (ja) 1992-05-27 2001-10-02 松下電器産業株式会社 光送信器
US20120313785A1 (en) 2011-04-04 2012-12-13 Alarm.Com Medication management and reporting technology
JP2015505259A (ja) * 2011-12-21 2015-02-19 デカ・プロダクツ・リミテッド・パートナーシップ 経口薬を投与するためのシステム、方法、及び装置
WO2015060296A1 (ja) 2013-10-22 2015-04-30 株式会社湯山製作所 配薬支援システム
JP2016147006A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 健康管理補助装置及び健康管理補助方法

Also Published As

Publication number Publication date
KR20200120778A (ko) 2020-10-22
WO2020209414A1 (ko) 2020-10-15

Similar Documents

Publication Publication Date Title
US20230222805A1 (en) Machine learning based monitoring system
CN109477951B (zh) 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
US11103144B2 (en) Method of measuring physiological parameter of subject in contactless manner
US20190216333A1 (en) Thermal face image use for health estimation
CN111540105B (zh) 一种控制门禁的方法、系统、设备及存储介质
US20150199484A1 (en) Using sensors and demographic data to automatically adjust medication doses
WO2018121750A1 (en) Monitoring and tracking system, method, article and device
US9769166B1 (en) Wearable sensor based system for person identification
CN109887568A (zh) 基于医嘱的健康管理系统
KR102273903B1 (ko) 비접촉식 생체 지수 측정 방법
CN110327051A (zh) 一种基于云平台的护理型养老院的智能监护系统
US20220338757A1 (en) System and method for non-face-to-face health status measurement through camera-based vital sign data extraction and electronic questionnaire
US20160217565A1 (en) Health and Fitness Monitoring via Long-Term Temporal Analysis of Biometric Data
CN110755091A (zh) 一种个人心理健康监测系统及方法
CN109993063A (zh) 一种识别待救援人员的方法及终端
US20180130555A1 (en) Systems and methods for intelligent admissions
Khanal et al. Using emotion recognition in intelligent interface design for elderly care
KR102185492B1 (ko) 이미지 센서를 이용한 안면인식 기반 스마트 디스펜서
JP6635412B1 (ja) 認知機能判定システム
KR102596492B1 (ko) 비접촉식 생체정보 측정이 가능한 복약 디스펜서
Hsu et al. Extraction of visual facial features for health management
US20230315825A1 (en) Computer-implemented method of performing a comparison between an actual response to image stimuli and a response template
US11475564B2 (en) Non-invasive non-contact system and method for measuring health parameters
US20220031255A1 (en) Method and system for health improvement using toilet seat sensors
US20240120050A1 (en) Machine learning method for predicting a health outcome of a patient using video and audio analytics

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant