KR20180103305A - 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템 - Google Patents

문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템 Download PDF

Info

Publication number
KR20180103305A
KR20180103305A KR1020170030051A KR20170030051A KR20180103305A KR 20180103305 A KR20180103305 A KR 20180103305A KR 1020170030051 A KR1020170030051 A KR 1020170030051A KR 20170030051 A KR20170030051 A KR 20170030051A KR 20180103305 A KR20180103305 A KR 20180103305A
Authority
KR
South Korea
Prior art keywords
engine
data processing
user
user terminal
smart mirror
Prior art date
Application number
KR1020170030051A
Other languages
English (en)
Other versions
KR102037573B1 (ko
Inventor
천세철
최원정
김연섭
김현호
이해범
Original Assignee
주식회사 파트너스앤코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 파트너스앤코 filed Critical 주식회사 파트너스앤코
Priority to KR1020170030051A priority Critical patent/KR102037573B1/ko
Priority to US15/493,140 priority patent/US10706967B2/en
Publication of KR20180103305A publication Critical patent/KR20180103305A/ko
Application granted granted Critical
Publication of KR102037573B1 publication Critical patent/KR102037573B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines

Abstract

본 발명의 일 예에 따른 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치는 사용자 단말 또는 스마트 미러에, 미리 구비된 표준화된 항목에 대한 질문 정보를 전송하는 인터뷰 엔진; 사용자 단말 또는 스마트 미러로부터 상기 질문 정보에 상응하는 답변 정보를 포함한 문진 정보를 수신하고 분석하여 사용자의 상태를 판단하고, 상기 사용자 단말 또는 스마트 미러로부터 수신한 영상 또는 이미지를 분석하여 사용자의 상태를 진단하는 분석 엔진; 및 상기 분석 엔진에서 수행한 분석 결과 정보를 통해, 사용자 단말 또는 스마트 미러에 상기 분석 결과 정보에 상응하는 보완 대체 의학 컨텐츠를 제안하는 제안 엔진;을 포함한다.

Description

문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템{DIAGNOSIS DATA PROCESSING APPARATUS BASED ON INTERVIEW DATA AND CAMERA, AND SYSTEM THEREOF}
본 발명은 한의학 컨텐츠와 IoT 단말을 활용한 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템에 관한 것이다.
인터넷의 발달로 각종 건강 정보 및 질환 정보를 쉽게 이용할 수 있게 되었으나, 대부분 이용자 중심이 아니라 전문가 중심으로 구성되어 있기 때문에 일반인이 이용하는데 어려움이 있다.
또한, 경우에 따라 환자는 몸이 아프다고 하지만 의학으로 진단할 때 뚜렷한 병명을 찾기 어려운 경우 이에 대한 대책 및 치료는 쉽지 않은 문제가 있다.
따라서 본 발명은 보완 대체 의학을 활용하여 문진 및 카메라 데이터에 기반해 진단용 데이터를 처리하여 개인의 건강 증진을 위한 진단용 데이터 처리 장치 및 그 시스템을 제공하는 목적을 가진다.
본 발명의 일 예에 따른 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치는 사용자 단말 또는 스마트 미러에, 미리 구비된 표준화된 항목에 대한 질문 정보를 전송하는 인터뷰 엔진; 사용자 단말 또는 스마트 미러로부터 상기 질문 정보에 상응하는 답변 정보를 포함한 문진 정보를 수신하고 분석하여 사용자의 상태를 판단하고, 상기 사용자 단말 또는 스마트 미러로부터 수신한 영상 또는 이미지를 분석하여 사용자의 상태를 진단하는 분석 엔진; 및 상기 분석 엔진에서 수행한 분석 결과 정보를 통해, 사용자 단말 또는 스마트 미러에 상기 분석 결과 정보에 상응하는 보완 대체 의학 컨텐츠를 제안하는 제안 엔진;을 포함할 수 있다.
상기 분석 엔진은, 사용자 단말 또는 스마트 미러로부터 상기 답변 정보를 포함한 문진 정보를 수신하고 분석하여 사용자의 상태에 대한 진단을 수행하는 문진 판단 엔진; 사용자 단말 또는 스마트 미러로부터 수신한 영상 또는 이미지 데이터에서 수신된 데이터에서 얼굴 영역을 인식하고 이를 통해 사용자의 상태에 대한 진단을 수행하는 망진 판단 엔진; 및 상기 문진 판단 엔진 및 망진 판단 엔진의 진단 결과를 종합하고 그 결과를 이용해 사용자의 상태를 판단하는 판단 결과 엔진;을 포함할 수 있다.
상기 문진 판단 엔진은, 미리 정해진 그룹수로 나누어진 문진 항목에서 각 그룹의 서브그룹마다 하나의 항목을 임의로 선택하여 각 그룹의 선택된 항목을 질문으로 하여 임의의 순서로 사용자 단말 또는 스마트 미러에 전송하고, 상기 질문에 대한 상기 사용자 단말 또는 스마트 미러의 답변 정보를 수신하여 사용자의 상태를 판단할 수 있다.
상기 문진 판단 엔진은, 상기 질문에 대한 답변을 점수 척도로 요구하고, 점수 척도로 수신된 답변을 통해 각 그룹별 점수와 컷오프 값을 계산하여 각 그룹별로 기준 컷오프값을 초과하는지를 판단하여 사용자의 상태를 판단할 수 있다.
상기 문진 판단 엔진은, 각 그룹의 서브그룹마다 하나의 항목을 임의로 선택하여 각 그룹의 선택된 항목을 질문으로 한 결과, 사용자의 상태가 미병으로 판단된 그룹이 있는 경우, 해당 그룹에 대한 모든 항목을 재질의하고, 재질의에 대한 점수 척도로 수신된 답변을 통해 해당 그룹의 점수와 컷오프 값을 다시 계산하며, 다시 계산한 결과가 해당 그룹의 기준 컷오프값을 초과하는지를 판단하여 사용자의 상태를 최종 판단할 수 있다.
상기 망진 판단 엔진은, 수신된 데이터에서 얼굴 영역을 인식하고, 눈, 코, 입, 눈썹, 턱선을 포함하는 주요 부위를 추출하며, 인식된 얼굴 영역과 추출된 주요 부위를 이용해 사용자의 상태에 대한 진단을 수행할 수 있다.
상기 망진 판단 엔진은, 얼굴 영역 인식을 위하여 얼굴 피부색에 해당하는 특정 컬러의 수치값의 범위를 설정하고, 상기 범위 내에 인식되는 수치값을 보이는 영역을 얼굴 후보 영역으로 설정할 수 있다.
상기 주요 부위는 얼굴 영역의 특징점들에 해당할 수 있다.
상기 망진 판단 엔진은, 상기 특징점들의 위치 및 상기 특징점들 사이의 거리비율을 검출하여 이를 평가함수화하여 평가함수화된 정보를 통해 사용자의 상태에 대한 진단을 수행할 수 있다.
상기 망진 판단 엔진은, 설정된 얼굴 후보 영역이 2 이상인 경우 가장 큰 레이블을 얼굴 영역으로 결정할 수 있다.
상기 망진 판단 엔진은, 주요 부위인 눈을 추출하기 위하여, 대상이 되는 객체가 얼굴 영역의 수평중앙선 위쪽 및 수평중앙선 왼쪽에 존재하는지를 검토하고, 그렇다면 대상이 되는 객체의 대칭되는 y 좌표 내에 대칭인 객체가 존재하는지를 검토하며, 검토결과 대칭쌍이 1개라면, 대칭쌍을 눈 영역으로 결정할 수 있다.
상기 망진 판단 엔진은, 주요 부위인 코를 추출하기 위하여, 대상이 되는 객체가 눈 영역의 아래에 위치하고 그 사이에 존재하는지를 검토하고, 그렇다면 대상 이 되는 객체의 y좌표 차이가 임계치보다 작은지를 검토하며, 검토결과 대상 객체가 1개라면, 대상 객체를 코 영역으로 결정할 수 있다.
상기 망진 판단 엔진은, 주요 부위인 코를 추출하기 위하여, 대상이 되는 객체가 코 영역의 아래에 존재하는지를 검토하고, 그렇다면 두 눈 좌표의 외곽 영역 내에 존재하는지를 검토하며, 검토결과 대상 객체가 1개라면, 대상 객체를 입 영역으로 결정할 수 있다.
상기 망진 판단 엔진은, 얼굴 영역, 눈 영역, 코 영역, 입 영역을 포함하는 특징점들이 결정되면, 이들 사이의 상관관계를 분석할 수 있다.
상기 망진 판단 엔진은, 얼굴 영역의 특징점들의 대칭성, 어깨 라인의 기울어진 각도 대칭성, 골반 대칭성을 포함하는 신체 대칭성을 통해 척추와의 상관관계를 판단할 수 있다.
본 발명의 일 예에 따른 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 시스템은 상기 진단용 데이터 처리 장치; 및 상기 진단용 데이터 처리 장치에 상기 질문 정보에 대한 답변 정보를 송신하고, 카메라에 의해 촬영된 영상 또는 이미지를 송신하는 사용자 단말;을 포함할 수 있다.
본 발명의 다른 예에 따른 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 시스템은 상기 진단용 데이터 처리 장치; 및 상기 진단용 데이터 처리 장치에 상기 질문 정보에 대한 답변 정보를 송신하고, 카메라에 의해 촬영된 영상 또는 이미지를 송신하는 스마트 미러; 를 포함할 수 있다.
상기 진단용 데이터 처리 시스템은, 상기 분석 결과 정보에 매칭되는 미리 저장된 상응하는 전문가에 해당하는 제공자 단말;을 더 포함할 수 있다.
상기 진단용 데이터 처리 장치는 상기 분석 결과 정보에 따른 진단 결과를 상기 제공자 단말에 제공하여 상기 사용자 단말 또는 상기 스마트 미러의 사용자에 상기 제공자 단말의 전문가를 연결시킬 수 있다.
상기 진단용 데이터 처리 장치는 상기 분석 결과 정보에 따른 진단 결과를 상기 사용자 단말 또는 상기 스마트 미러에 송신하여 출력할 수 있게 한다.
본 발명에 따른 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템에 의하면, 보완 대체 의학을 활용하여 문진 및 카메라 데이터에 기반해 진단용 데이터를 처리하여 개인의 건강을 증진시킬 수 있게 하는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치를 나타내는 도면이다.
도 3은 도 1의 분석 엔진(330)을 나타내는 블록도이다.
도 4는 도 1의 인터뷰 엔진이 사용자에게 요청하는 문진 항목을 분류한 표를 나타낸다.
도 5 내지 도 9는 도 4의 칠정, 노권, 담음, 식적, 어혈 그룹 각각의 항목들을 나타낸다.
도 10은 본 발명의 일 실시예에 따른 문진 방법의 전체적인 흐름도를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 망진 방법의 전체적인 흐름도를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 망진 방법의 얼굴 영역 인식을 하기 위한 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 망진 방법의 눈을 검출하기 위한 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 망진 방법의 코를 검출하기 위한 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 망진 방법의 입을 검출하기 위한 흐름도이다.
도 16 및 도 17은 본 발명의 일 실시예에 따른 망진 방법의 특징점 간의 상관관계를 판단하기 위한 도면이다.
도 18 내지 20은 본 발명의 일 실시예에 따른 망진 방법으로, 신체 대칭성을 통한 척추와의 상관관계를 판단하기 위한 도면이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기구성 요소들은 상기용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 시스템을 나타내는 도면이다. 상기 진단용 데이터 처리 시스템(10)은 사용자 단말(100), 카메라(210)를 포함하는 스마트 미러(200) 및 진단용 데이터 처리 장치(300)를 포함한다.
상기 사용자 단말(100)은 스마트폰, 태블릿 등의 휴대용 기기를 포함한 IoT 단말에 해당할 수 있으며, 상기 사용자 단말(100)의 사용자가 입력한 문진 정보를 상기 진단용 데이터 처리 장치(300)에 전송할 수 있고, 상기 스마트 미러(200)의 카메라(210)는 사용자 단말(100)의 사용자의 영상 또는 이미지를 포함하는 망진 정보를 상기 진단용 데이터 처리 장치(300)에 전송할 수 있다.
이 경우, 상기 사용자 단말(100)에는 상기 진단용 데이터 처리 장치(300)와 데이터 송수신을 위한 애플리케이션이 설치될 수 있다.
상기 진단용 데이터 처리 장치(300)는 인터페이스(I/F, 310), 인터뷰 엔진(320), 분석 엔진(330), 제안 엔진(340) 및 데이터 스토리지(350)를 포함한다.
상기 인터페이스(310)는 상기 사용자 단말(100) 및 스마트 미러(200)와 데이터 통신을 수행하여 문진 정보 및 망진 정보를 수신한다. 또한, 상기 인터페이스(310)는 상기 사용자 단말(100) 및 스마트 미러(200)에 문진 정보 및 망진 정보의 분석 결과 정보 및 관련 컨텐츠 정보를 송신한다.
상기 인터뷰 엔진(320)은 사용자 단말(100) 또는 스마트 미러(200)에 미리 구비된 표준화된 항목을 통해 질문을 할 수 있다. 구체적으로, 상기 인터뷰 엔진(320)은 91개 항목에 대해 질문을 요청할 수 있고, 특히 91개 항목 중 대표적인 23개 항목에 대해서 질문을 요청할 수 있다. 이에 관한 구체적인 설명은 도 4 내지 도 9에서 하기로 한다.
상기 분석 엔진(330)은 사용자 단말(100) 또는 스마트 미러(200)로부터 수신한 상기 질문에 상응하는 답변 정보를 포함하는 문진 정보를 분석하여 사용자의 상태, 예컨대 사용자가 미병(mibyou)인지 여부를 판단하고, 상기 사용자 단말(100) 또는 스마트 미러(200)로부터 수신한 영상 또는 이미지를 분석하되, 수신한 영상 또는 이미지를 통해 얼굴 영역을 검출하여 눈, 코, 입을 포함하는 주요 명당 부위를 추출하여 분석한다.
상기 분석 엔진(330)에 관해서는 도 3에서 구체적으로 설명하기로 한다.
상기 제안 엔진(340)은 상기 분석 엔진(300)에서 수행한 문진 및 망진에 관한 분석 결과 정보를 통해 사용자 단말(100) 또는 스마트 미러(200)에 분석 결과 정보에 상응하는 보완 대체 의학 컨텐츠를 제안 또는 제공할 수 있다.
상기 제안 엔진(340)은 상기 분석 엔진(300)에서 수행한 문진 및 망진에 관한 분석 결과 정보와 상응하는 미리 등록된 전문가를 추천할 수 있다. 이에 관해서는 도 2에서 설명하기로 한다.
도 2와 같이, 상기 진단용 데이터 처리 시스템(10)은 제공자 단말(400)을 더 포함할 수 있다,
상기 진단용 데이터 처리 장치(300)는 상기 사용자 단말(100) 및 스마트 미러(200)로부터 수신한 문진 정보 및 망진 정보를 이용해 제공자 단말(400)의 사용자인 맞춤형 전문가를 추천할 수 있다. 이를 위하여, 상기 진단용 데이터 처리 장치(300)는 적어도 하나의 제공자 단말(400)로부터 사전 등록을 요청하여 받을 수 있다.
도 3은 도 1의 분석 엔진(330)을 나타내는 블록도이다.
상기 분석 엔진(330)은 문진 판단 엔진(331), 망진 판단 엔진(332) 및 결과 판단 엔진(333)을 포함한다.
상기 문진 판단 엔진(331)은 사용자 단말(100) 또는 스마트 미러(200)로부터 수신한 문진 정보를 분석하여 사용자의 상태, 예컨대, 사용자가 미병(mibyou)인지 여부를 판단한다. 여기서 미병이란 질병은 아니지만 신체적, 정신적, 사회적 이상증상으로 인해 일상생활의 불편함을 겪거나, 검사를 할 시에 이상소견을 보이는 상태를 의미한다.
상기 문진 판단 엔진(331)의 더 구체적인 설명은 이후에 설명하기로 한다.
상기 망진 판단 엔진(332)은 상기 사용자 단말(100) 또는 스마트 미러(200)로부터 수신한 영상 또는 이미지를 분석하되, 수신한 영상 또는 이미지를 통해 얼굴 영역을 검출하여 눈, 코, 입을 포함하는 주요 명당 부위를 추출하여 분석하여 진단을 수행할 수 있다.
상기 망진 판단 엔진(332)의 더 구체적인 설명은 이후에 설명하기로 한다.
상기 결과 판단 엔진(333)은 상기 문진 판단 엔진(331) 및 망진 판단 엔진(332)의 분석 결과를 종합하여, 사용자의 상태에 대한 진단을 수행하여 사용자 단말(100) 또는 스마트 미러(200)에 진단 결과를 제공하게 한다.
도 4는 도 1의 인터뷰 엔진(320)이 사용자에게 요청하는 문진 항목을 분류한 표를 나타낸다. 항목은 향후 추가/삭제/수정될 수 있다.
칠정은 4개의 서브그룹으로 나뉘고, 18개의 항목을 가지며, 기준컷 오프(cut-off) 값은 9이다.
노권은 6개의 서브그룹으로 나뉘고, 19개의 항목을 가지며, 기준컷 오프(cut-off) 값은 6이다.
담음은 6개의 서브그룹으로 나뉘고, 25개의 항목을 가지며, 기준컷 오프(cut-off) 값은 5이다.
식적은 4개의 서브그룹으로 나뉘고, 17개의 항목을 가지며, 기준컷 오프(cut-off) 값은 6이다.
어혈은 3개의 서브그룹으로 나뉘고, 12개의 항목을 가지며, 기준컷 오프(cut-off) 값은 3이다.
도 5 내지 도 9는 도 4의 칠정, 노권, 담음, 식적, 어혈 그룹 각각의 항목들을 나타낸다. 상기 칠정, 노권, 담음, 식적, 어혈 그룹의 항목은 도 5 내지 도 9의 표 상에서 상세히 기재되어 설명된다.
기본사항은 아래와 같다.
점수(score)와 컷오프(cut-off)값은 따로 계산되며, 계산된 점수로 각 그룹의 미병 정도가 파악된다.
각 항목은 "전혀 그렇지 않다"(1점),"그렇지 않다"(2점),
"보통이다"(3점),"그렇다"(4점),"매우 그렇다"(5점)의 5점 척도로 점수화 한다.
각 그룹별로 점수화된 결과를 합산한 후 백분위 점수로 변환한다.
사용자는 컷오프값을 볼 수 없으며 미병 여부만 확인할 수 있다.
기준 컷오프값은 미병 여부를 판단하는 기준인 상수이다.
컷오프값은 "전혀 그렇지 않다", "그렇지 않다", "보통이다"를 0점, "그렇다", "매우 그렇다"를 1점으로 하는 on/off 값으로 한다.
각 그룹별 컷오프값을 계산하여 기준 컷오프값을 초과하는지 검사한다.
만일 기준 컷오프값을 초과한다면 해당 그룹에 대해 미병으로 판단한다.
< 1차 프로세스 >
사용자에게 91개 항목을 모두 질의할 경우 사용자의 피로도가 매우 커질 가능성이 있으므로, 각 그룹을 유사한 의미를 가진 하위 항목을 포함한 서브그룹으로 나누고, 서브그룹의 하위 항목 중 하나의 항목을 대표 항목으로 임의 선택하여 사용자에게 질의를 수행한다. 이 경우, 사용자에게 총 91개 항목 중 대표적인 23개의 항목으로 간결하게 질의할 수 있다.
점수는 각 서브그룹에 속한 항목의 개수를 가중치로 하여 곱하여 계산한다.
컷오프값을 계산하여 기준 컷오프값과 비교하여 미병을 판단한다.
< 2차 프로세스 >
1차 프로세스의 경우, 각 서브그룹의 임의의 대표항목을 질의하기 때문에 상대적으로 미병 판단의 정확도가 떨어질 수 있으므로, 추가되는 해결방법은 다음과 같다.
1차 프로세스를 통해 미병으로 판단된 그룹에 대해서는 해당 그룹의 모든 항목을 재질의하여 정확한 점수를 다시 계산하고, 마찬가지로 컷오프값을 다시 계산하여 기준 컷오프값과 비교하여 미병인지 여부를 재판단한다.
본 발명은 이러한 1차 및 2차 프로세스를 통해, 1차 질의의 개수를 줄여 사용자로 하여금 피로도를 줄이는 장점을 가지며, 1차 프로세스를 통해 미병으로 추정되는 그룹에 대해서는 재질의하여 정확도를 높이는 장점을 가진다.
이하에서는 1차 및 2차 프로세스에 관한 사례를 설명하기로 한다.
< 사례 >
우선, 1차 질의를 칠정 그룹으로 한정하여 설명한다.
칠정의 서브그룹은 아래와 같이 4개이다.
A: neuropsychology-related symptoms (6개 항목)
B: psychosomatic symptoms (5개 항목)
C: depression-related symptoms (5개 항목)
D: sleep & emotion (2개 항목)
예컨대, 각 서브그룹에서 임의로 선택된 항목의 점수가 아래와 같다.
A: 5 (매우 그렇다)
B: 2 (그렇지 않다)
C: 4 (그렇다)
D: 1 (전혀 그렇지 않다)
칠정의 점수 개산은 아래와 같이 가중치(서브그룹의 하위 항목의 개수)를 곱해서 계산한다.
6 x 5 + 5 x 2 + 5 x 4 + 2 x 1 = 62
총점은 모두 "매우 그렇다"일 경우로 한다.
6 x 5 + 5 x 5 + 5 x 5 + 2 x 5 = 90
백분위 점수는 아래와 같다.
62 / 90 x 100 = 68.89
각 서브그룹의 컷오프값은 아래와 같다.
A: 1
B: 0
C: 1
D: 0
칠정의 컷오프값은 아래와 같다.
6 x 1 + 5 x 0 + 5 x 1 + 2 x 0 = 11
칠정의 경우 기준 컷오프값은 9이며 11은 이 값을 초과하므로 칠정에 미병이 있다고 1차 판단한다. 즉, 11 > 9 이므로 미병으로 1차 판단한다.
2차 질의를 칠정 그룹으로 한정한다.
칠정의 서브그룹을 고려하지 않고 모든 항목(18개)을 재질의한다.
각 항목의 점수가 아래와 같다고 가정한다.
5, 4, 3, 2, 1, 5, 4, 3, 2, 1, 5, 4, 3, 2, 1, 5, 4, 3
칠정의 점수 개산은 아래와 같다
5 + 4 + 3 + 2 + 1 + 5 + 4 + 3 + 2 + 1 + 5 + 4 + 3 + 2 + 1 + 5 + 4 + 3 = 52
총점은 모두 "매우 그렇다"일 경우로 한다.
18 x 5 = 90
그러면 백분위 점수는 아래와 같다.
52 / 90 x 100 = 57.78
각 항목의 컷오프값은 아래와 같다.
1, 1, 0, 0, 0, 1, 1, 0, 0, 0, 1, 1, 0, 0, 0, 1, 1, 0
칠정의 컷오프값은 아래와 같다.
1 + 1 + 1 + 1 + 1 + 1 + 1 = 6
칠정의 경우 기준 컷오프값은 9이며 6은 이 값을 초과하지 않으므로
칠정에 미병이 없다고 최종 판단한다. 즉, 6 < 9 이므로 미병이 아니다.
도 10은 본 발명의 일 실시예에 따른 문진 방법의 전체적인 흐름도를 나타낸다. 상기 문진 방법은 도 1의 진단용 데이터 처리 장치(10)의 문진 판단 엔진(331)에서 수행될 수 있다.
각 그룹의 서브그룹마다 하나의 항목씩 임의로 선택한다(S310). 선택된 항목들을 임의의 순서대로 사용자에게 보여준다(S315).
사용자는 각 항목에 5점 척도로 답변한다(S320).
각 그룹별 백분위 점수와 컷오프값을 계산하고(S325), 각 그룹별로 기준 컷오프값을 초과하는지 판단한다(S330).
S330의 판단 결과 그렇지 않다면, 해당 그룹은 미병이 아닌 것으로 판단하고(S335), S330의 판단 결과 그렇다면, 해당 그룹에 대해서 모든 항목을 재질의한다(S340).
이후, 백분위 점수와 컷오프값을 다시 계산한다(S345).
각 그룹의 컷오프값이 기준 컷오프값을 초과하는지 판단한다(S350). S350의 판단 결과 그렇다면, 해당 그룹에 대해서 미병인 것으로 최종 판단하고(S360), S350의 판단 결과 그렇지 않다면, 해당 그룹은 미병이 아닌 것으로 최종 판단한다(S355).
마지막으로, 각 그룹별로 판단된 결과를 수집하여 사용자 단말에서 출력하여 사용자에게 보여준다(S365).
도 11은 본 발명의 일 실시예에 따른 망진 방법의 전체적인 흐름도를 나타낸다. 상기 망진 방법은 도 1의 진단용 데이터 처리 시스템(10)의 망진 판단 엔진(332)에서 수행될 수 있다.
도 11을 참고하면, 얼굴 영역을 인식한다(S10). 얼굴 영역의 인식을 위하여 피부색에 해당하는 특정 컬러의 수치값의 범위를 설정하고, 상기 범위 내에 인식되는 수치값을 보이는 영역을 얼굴 후보 영역으로 설정할 수 있다.
여기에 추가적으로 검출된 얼굴 후보 영역에 타원 마스크 연산을 적용시킬 수 있으며, 이를 통해 S20에서 설명될 특징점 추출의 효율을 높일 수 있다. 예컨대, 검출된 얼굴 후보 영역에 타원 형태의 마스크인 타원 마스크를 이용해 얼굴 후보 영역 외의 영역을 제거할 수 있다. 타원 마스크를 통해 얼굴과 유사한 색상 값을 가지는 배경 및 목 부분을 제거하여 보다 정확한 얼굴 영역의 인식이 가능해질 수 있다.
다음으로 눈, 코, 입, 눈썹, 턱선을 포함하는 주요 부위를 추출한다(S20). 상기 주요 부위는 얼굴 영역의 특징점들에 해당할 수 있으며, 상기 특징점들의 위치 및 상기 특징점들 사이의 거리비율 등을 검출하고 이를 평가함수화 할 수 있다.
이후 평가함수화된 정보를 통해 진단을 수행한다(S30). 미리 저장된 2 이상의 눈 타입 정보, 코 타입 정보, 입 타입 정보, 눈썹 타입 정보, 턱선 타입 정보와 상기 평가함수화된 정보를 비교하여, 상기 평가함수화된 정보를 상기 미리 저장된 2 이상의 눈 타입 정보/코 타입 정보/입 타입 정보/눈썹 타입 정보/턱선 타입 정보들 각각에 매칭시켜 분류하고 이를 통해 얼굴을 해석하며 해석에 따른 진단을 수행한다. 이에 대한 추가적인 설명은 도 13 이후에서 하기로 한다.
도 12는 본 발명의 일 실시예에 따른 망진 방법의 얼굴 영역 인식을 하기 위한 흐름도이다. 상기 망진 방법은 도 1의 진단용 데이터 처리 시스템(10)의 망진 판단 엔진(332)에서 수행될 수 있다.
망진 판단 엔진(332)은 도 11의 S10에서와 같이 얼굴 후보 영역을 검출하고(S100), 검출된 얼굴 후보 영역이 2 이상인 경우 가장 큰 레이블을 얼굴 영역으로 결정한다(S200). 예컨대, 상기 망진 판단 엔진(332)은 특정 색상값을 가지는 영역을 얼굴 후보 영역으로 인식하고, 인식되는 영역이 2 이상인 경우 큰 레이블을 얼굴 영역으로 결정하는데, 그 이유는 특정 색상값을 가지는 영역들(예컨대, 얼굴, 손 등) 중에서 얼굴이 가장 크기 때문이다.
도 13은 본 발명의 일 실시예에 따른 망진 방법의 눈을 검출하기 위한 흐름도이다. 상기 망진 방법은 도 1의 진단용 데이터 처리 시스템(10)의 망진 판단 엔진(332)에서 수행될 수 있다.
객체가 얼굴 영역의 수평중앙선 위쪽 및 수평중앙선 왼쪽에 존재하는지를 검토하고(S110), S110에서 그렇다면, 대상이 되는 객체의 대칭되는 y 좌표 내에 대칭인 객체가 존재하는지를 검토하고(S120), S120에서 그렇다면, 대칭쌍이 1개인지를 검토한다(S130).
S130에서 그렇다면, 대칭쌍을 눈 영역으로 결정하고(S140), S130에서 그렇지 않다면, 아래쪽에 위치하고 사이 거리가 임계치 이하인 객체를 눈 영역으로 결정한다(S150). 이유는 눈과 위쪽에 위치하는 눈썹과의 구분을 위한 것이다.
따라서, 설계변경에 따라 S150에서 위쪽에 위치하고 사이 거리가 임계치 이하인 객체를 눈썹 영역으로 결정할 수도 있다.
도 14는 본 발명의 일 실시예에 따른 망진 방법의 코를 검출하기 위한 흐름도이다. 상기 망진 방법은 도 1의 진단용 데이터 처리 시스템(10)의 망진 판단 엔진(332)에서 수행될 수 있다.
객체가 눈 영역의 아래에 위치하고 그 사이에 존재하는지를 검토하고(S210), S210에서 그렇다면, 대상이 되는 객체의 y 좌표 차이가 임계치보다 작은지를 검토하고(S220) , S220에서 그렇다면, 대상 객체가 1개인지를 검토한다(S230).
S230에서 그렇다면, 대상 객체를 코 영역으로 결정하고(S240), S230에서 그렇지 않다면, 가장 위에 위치하는 객체를 코 영역으로 결정한다(S250).
도 15는 본 발명의 일 실시예에 따른 망진 방법의 입을 검출하기 위한 흐름도이다. 상기 망진 방법은 도 1의 진단용 데이터 처리 시스템(10)의 망진 판단 엔진(332)에서 수행될 수 있다.
객체가 코 영역의 아래에 존재하는지를 검토하고(S410), S410에서 그렇다면, 두 눈 좌표의 외곽 영역 내에 존재하는지를 검토하고(S420), S420에서 그렇다면, 대상 객체가 1개인지를 검토한다(S430).
S430에서 그렇다면, 대상 객체를 입 영역으로 결정하고(S440), S430에서 그렇지 않다면, 가로 길이 비가 넓고 상위에 존재하는 객체를 입 영역으로 결정한다(S450).
도 16 및 도 17은 본 발명의 일 실시예에 따른 망진 방법의 특징점 간의 상관관계를 판단하기 위한 도면이다. 상기 망진 방법은 도 1의 진단용 데이터 처리 시스템(10)의 망진 판단 엔진(332)에서 수행될 수 있다.
도 12 내지 도 15에 의하여 얼굴 영역, 눈 영역, 코 영역, 입 영역이 결정되면, 도 16 및 도 17과 같이, 망진 판단 엔진(332)은 특징점들 사이의 상관관계를 분석할 수 있다.
도 16을 참고하면, 상기 특징점들 사이의 상관관계는 얼굴 영역의 가로 및 세로 거리(D_h 및 D_v), 두 눈의 각 중앙점(Eye_center) 사이의 거리, 수직중앙선과 왼쪽 눈 사이의 거리(D_lefteye), 두 눈의 각 중앙점(Eye_center)과 코 중앙점(Nose_center) 사이의 거리, 코 중앙점(Nose_center)과 입 중앙점(Mouth_center) 사이의 거리, 입 중앙점(Mouth_center)과 턱 중앙점(Chin_center) 사이의 거리(D_mouth-chin), 입 중앙점(Mouth_center)을 가로지르는 수평선과 얼굴 영역이 만나는 두 점에 해당하는 두 뺨 사이의 거리(D_cheek), 수직중앙선과 왼쪽 뺨 사이의 거리(D_leftcheek), 왼쪽 뺨과 턱 중앙점(Chin_center) 사이의 거리(D_leftcheek-chin)를 포함한다.
도 17을 참고하면, 두 눈의 각 중앙점(Eye_center)과 코 중앙점(Nose_center)을 연결할 때의 각도, 두 눈의 각 중앙점(Eye_center)과 입 중앙점(Mouth_center)을 연결할 때의 각도, 두 눈의 각 중앙점(Eye_center)과 턱 중앙점(Chin_center)을 연결할 때의 각도를 통해, 망진 판단 엔진(332)은 특징점들 사이의 상관관계를 분석할 수 있다.
도 18 내지 20은 본 발명의 일 실시예에 따른 망진 방법으로, 신체 대칭성을 통한 척추와의 상관관계를 판단하기 위한 도면이다. 상기 망진 방법은 도 1의 진단용 데이터 처리 시스템(10)의 망진 판단 엔진(332)에서 수행될 수 있다.
도 18을 참고하면, 망진 판단 엔진(332)은 경추의 정렬상태를 판단하기 위하여, 얼굴 영역의 특징점들의 대칭성 판단한다.
도 19를 참고하면, 또한 망진 판단 엔진(332)은 흉추의 정렬상태를 판단하기 위하여, 어깨 라인의 윤곽(contour)을 추출하여 어깨 라인의 좌우 기울어진 각도를 계산한다.
도 20을 참고하면, 또한 망진 판단 엔진(332)은 요추의 정렬상태를 판단하기 위하여, 골반(pelvic region)의 대칭 여부 및 골반의 기울어진 각도를 계산한다.
이상에서는 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10: 진단용 데이터 처리 시스템
100: 사용자 단말
200: 스마트 미러
300: 진단용 데이터 처리 장치
310: 인터페이스
320: 인터뷰 엔진
330: 분석 엔진
331: 문진 판단 엔진
332: 망진 판단 엔진
333: 결과 판단 엔진
340: 제안 엔진
350: 데이터 스토리지
400: 제공자 단말

Claims (19)

  1. 사용자 단말 또는 스마트 미러에, 미리 구비된 표준화된 항목에 대한 질문 정보를 전송하는 인터뷰 엔진;
    사용자 단말 또는 스마트 미러로부터 상기 질문 정보에 상응하는 답변 정보를 포함한 문진 정보를 수신하고 분석하여 사용자의 상태를 판단하고, 상기 사용자 단말 또는 스마트 미러로부터 수신한 영상 또는 이미지를 분석하여 사용자의 상태를 진단하는 분석 엔진; 및
    상기 분석 엔진에서 수행한 분석 결과 정보를 통해, 사용자 단말 또는 스마트 미러에 상기 분석 결과 정보에 상응하는 보완 대체 의학 컨텐츠를 제안하는 제안 엔진;
    을 포함하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  2. 제1항에 있어서,
    상기 분석 엔진은,
    사용자 단말 또는 스마트 미러로부터 상기 답변 정보를 포함한 문진 정보를 수신하고 분석하여 사용자의 상태에 대한 진단을 수행하는 문진 판단 엔진;
    사용자 단말 또는 스마트 미러로부터 수신한 영상 또는 이미지 데이터에서 수신된 데이터에서 얼굴 영역을 인식하고 이를 통해 사용자의 상태에 대한 진단을 수행하는 망진 판단 엔진; 및
    상기 문진 판단 엔진 및 망진 판단 엔진의 진단 결과를 종합하고 그 결과를 이용해 사용자의 상태를 판단하는 판단 결과 엔진;
    을 포함하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  3. 제2항에 있어서,
    상기 문진 판단 엔진은,
    미리 정해진 그룹수로 나누어진 문진 항목에서 각 그룹의 서브그룹마다 하나의 항목을 임의로 선택하여 각 그룹의 선택된 항목을 질문으로 하여 임의의 순서로 사용자 단말 또는 스마트 미러에 전송하고, 상기 질문에 대한 상기 사용자 단말 또는 스마트 미러의 답변 정보를 수신하여 사용자의 상태를 판단하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  4. 제3항에 있어서,
    상기 문진 판단 엔진은,
    상기 질문에 대한 답변을 점수 척도로 요구하고, 점수 척도로 수신된 답변을 통해 각 그룹별 점수와 컷오프 값을 계산하여 각 그룹별로 기준 컷오프값을 초과하는지를 판단하여 사용자의 상태를 판단하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  5. 제4항에 있어서,
    상기 문진 판단 엔진은,
    각 그룹의 서브그룹마다 하나의 항목을 임의로 선택하여 각 그룹의 선택된 항목을 질문으로 한 결과, 사용자의 상태가 미병으로 판단된 그룹이 있는 경우, 해당 그룹에 대한 모든 항목을 재질의하고, 재질의에 대한 점수 척도로 수신된 답변을 통해 해당 그룹의 점수와 컷오프 값을 다시 계산하며, 다시 계산한 결과가 해당 그룹의 기준 컷오프값을 초과하는지를 판단하여 사용자의 상태를 최종 판단하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  6. 제2항에 있어서,
    상기 망진 판단 엔진은,
    수신된 데이터에서 얼굴 영역을 인식하고, 눈, 코, 입, 눈썹, 턱선을 포함하는 주요 부위를 추출하며, 인식된 얼굴 영역과 추출된 주요 부위를 이용해 사용자의 상태에 대한 진단을 수행하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  7. 제6항에 있어서,
    상기 망진 판단 엔진은,
    얼굴 영역 인식을 위하여 얼굴 피부색에 해당하는 특정 컬러의 수치값의 범위를 설정하고, 상기 범위 내에 인식되는 수치값을 보이는 영역을 얼굴 후보 영역으로 설정하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  8. 제7항에 있어서,
    상기 주요 부위는 얼굴 영역의 특징점들에 해당할 수 있으며,
    상기 망진 판단 엔진은,
    상기 특징점들의 위치 및 상기 특징점들 사이의 거리비율을 검출하여 이를 평가함수화하여 평가함수화된 정보를 통해 사용자의 상태에 대한 진단을 수행하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  9. 제7항에 있어서,
    상기 망진 판단 엔진은,
    설정된 얼굴 후보 영역이 2 이상인 경우 가장 큰 레이블을 얼굴 영역으로 결정하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  10. 제6항에 있어서,
    상기 망진 판단 엔진은,
    주요 부위인 눈을 추출하기 위하여, 대상이 되는 객체가 얼굴 영역의 수평중앙선 위쪽 및 수평중앙선 왼쪽에 존재하는지를 검토하고, 그렇다면 대상이 되는 객체의 대칭되는 y 좌표 내에 대칭인 객체가 존재하는지를 검토하며, 검토결과 대칭쌍이 1개라면, 대칭쌍을 눈 영역으로 결정하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  11. 제10항에 있어서,
    상기 망진 판단 엔진은,
    주요 부위인 코를 추출하기 위하여, 대상이 되는 객체가 눈 영역의 아래에 위치하고 그 사이에 존재하는지를 검토하고, 그렇다면 대상이 되는 객체의 y좌표 차이가 임계치보다 작은지를 검토하며, 검토결과 대상 객체가 1개라면, 대상 객체를 코 영역으로 결정하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  12. 제11항에 있어서,
    상기 망진 판단 엔진은,
    주요 부위인 코를 추출하기 위하여, 대상이 되는 객체가 코 영역의 아래에 존재하는지를 검토하고, 그렇다면 두 눈 좌표의 외곽 영역 내에 존재하는지를 검토하며, 검토결과 대상 객체가 1개라면, 대상 객체를 입 영역으로 결정하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  13. 제12항에 있어서,
    상기 망진 판단 엔진은,
    얼굴 영역, 눈 영역, 코 영역, 입 영역을 포함하는 특징점들이 결정되면, 이들 사이의 상관관계를 분석하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  14. 제13항에 있어서,
    상기 망진 판단 엔진은,
    얼굴 영역의 특징점들의 대칭성, 어깨 라인의 기울어진 각도 대칭성, 골반 대칭성을 포함하는 신체 대칭성을 통해 척추와의 상관관계를 판단하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치.
  15. 제1항의 진단용 데이터 처리 장치; 및
    상기 진단용 데이터 처리 장치에 상기 질문 정보에 대한 답변 정보를 송신하고, 카메라에 의해 촬영된 영상 또는 이미지를 송신하는 사용자 단말;
    을 포함하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 시스템.
  16. 제1항의 진단용 데이터 처리 장치; 및
    상기 진단용 데이터 처리 장치에 상기 질문 정보에 대한 답변 정보를 송신하고, 카메라에 의해 촬영된 영상 또는 이미지를 송신하는 스마트 미러;
    를 포함하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 시스템.
  17. 제15항 또는 제16항에 있어서,
    상기 분석 결과 정보에 매칭되는 미리 저장된 상응하는 전문가에 해당하는 제공자 단말;
    을 더 포함하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 시스템.
  18. 제17항에 있어서,
    상기 진단용 데이터 처리 장치는 상기 분석 결과 정보에 따른 진단 결과를 상기 제공자 단말에 제공하여 상기 사용자 단말 또는 상기 스마트 미러의 사용자에 상기 제공자 단말의 전문가를 연결시키는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 시스템.
  19. 제17항에 있어서,
    상기 진단용 데이터 처리 장치는 상기 분석 결과 정보에 따른 진단 결과를 상기 사용자 단말 또는 상기 스마트 미러에 송신하여 출력하는 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 시스템.
KR1020170030051A 2017-03-09 2017-03-09 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템 KR102037573B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170030051A KR102037573B1 (ko) 2017-03-09 2017-03-09 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템
US15/493,140 US10706967B2 (en) 2017-03-09 2017-04-21 Apparatus and system for processing diagnostic data on the basis of medical interview data and camera data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170030051A KR102037573B1 (ko) 2017-03-09 2017-03-09 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20180103305A true KR20180103305A (ko) 2018-09-19
KR102037573B1 KR102037573B1 (ko) 2019-10-29

Family

ID=63444766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170030051A KR102037573B1 (ko) 2017-03-09 2017-03-09 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템

Country Status (2)

Country Link
US (1) US10706967B2 (ko)
KR (1) KR102037573B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218754A1 (ko) * 2019-04-22 2020-10-29 주식회사 엠티에스컴퍼니 챗봇 문진을 이용한 신체 검진 방법 및 시스템, 신체 검진 방법 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346419B (zh) * 2017-06-14 2021-05-11 Oppo广东移动通信有限公司 虹膜识别方法、电子装置和计算机可读存储介质
US20220134209A1 (en) * 2020-11-02 2022-05-05 Etone Motion Analysis Gmbh Fitness Device With a Stand

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004662A (ja) * 2005-06-27 2007-01-11 Tatsunori Yuumen 訪問診療支援システムおよび方法
KR20090016211A (ko) * 2007-08-10 2009-02-13 동양물산기업 주식회사 온라인한방정보시스템 및 온라인한방정보제공방법
US20110007142A1 (en) * 2009-07-09 2011-01-13 Microsoft Corporation Visual representation expression based on player expression
US20150055085A1 (en) * 2013-08-22 2015-02-26 Bespoke, Inc. Method and system to create products
KR20170030977A (ko) * 2015-09-10 2017-03-20 주식회사 파트너스앤코 개인 맞춤형 한방 검진 방법 및 시스템

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5935060A (en) * 1996-07-12 1999-08-10 First Opinion Corporation Computerized medical diagnostic and treatment advice system including list based processing
JP3611007B2 (ja) * 1997-08-12 2005-01-19 株式会社資生堂 ヘアスタイル・イメージマップ
WO2002009004A1 (en) * 2000-07-21 2002-01-31 Surromed, Inc. Computerized clinical questionnaire with dynamically presented questions
US20020087364A1 (en) * 2000-11-07 2002-07-04 Lerner Andrew S. System and method for enabling real time underwriting of insurance policies
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
KR100596197B1 (ko) * 2003-08-13 2006-07-03 학교법인 울산공업학원 가변 타원 마스크와 형태학적 특징을 이용한 얼굴 인식 방법
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US20150074019A1 (en) * 2012-04-26 2015-03-12 Nec Corporation Health guidance receiver selection condition generation support device
WO2015107681A1 (ja) * 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US11387000B2 (en) * 2016-02-08 2022-07-12 OutcomeMD, Inc. Systems and methods for determining and providing a display of a plurality of wellness scores for patients with regard to a medical condition and/or a medical treatment
WO2017139383A1 (en) * 2016-02-08 2017-08-17 OutcomeMD, Inc. Determining a wellness, improvement, or effectiveness score
US20180189457A1 (en) * 2016-12-30 2018-07-05 Universal Research Solutions, Llc Dynamic Search and Retrieval of Questions
US10052026B1 (en) * 2017-03-06 2018-08-21 Bao Tran Smart mirror
US11363984B2 (en) * 2017-09-12 2022-06-21 Snooze, Inc. Method and system for diagnosis and prediction of treatment effectiveness for sleep apnea

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004662A (ja) * 2005-06-27 2007-01-11 Tatsunori Yuumen 訪問診療支援システムおよび方法
KR20090016211A (ko) * 2007-08-10 2009-02-13 동양물산기업 주식회사 온라인한방정보시스템 및 온라인한방정보제공방법
US20110007142A1 (en) * 2009-07-09 2011-01-13 Microsoft Corporation Visual representation expression based on player expression
US20150055085A1 (en) * 2013-08-22 2015-02-26 Bespoke, Inc. Method and system to create products
KR20170030977A (ko) * 2015-09-10 2017-03-20 주식회사 파트너스앤코 개인 맞춤형 한방 검진 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
윤규진 외 3인, "Development and Validation of A Lao Juan Questionnaire". Chin J Intergr Med. 제21권, 제7호, pp.500-506, 2015.07.31. 공개) 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218754A1 (ko) * 2019-04-22 2020-10-29 주식회사 엠티에스컴퍼니 챗봇 문진을 이용한 신체 검진 방법 및 시스템, 신체 검진 방법 및 시스템

Also Published As

Publication number Publication date
US10706967B2 (en) 2020-07-07
KR102037573B1 (ko) 2019-10-29
US20180260529A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
US10049262B2 (en) Method and system for extracting characteristic of three-dimensional face image
Coutrot et al. Face exploration dynamics differentiate men and women
Doulah et al. “Automatic ingestion monitor version 2”–a novel wearable device for automatic food intake detection and passive capture of food images
CN107122709B (zh) 活体检测方法及装置
Saraydemir et al. Down syndrome diagnosis based on gabor wavelet transform
US11804071B2 (en) Method for selecting images in video of faces in the wild
Lanatà et al. Eye tracking and pupil size variation as response to affective stimuli: a preliminary study
Hong et al. Classification of the emotional stress and physical stress using signal magnification and canonical correlation analysis
KR20180103305A (ko) 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템
Luo et al. Hand gesture recognition for human-robot interaction for service robot
CN105354985A (zh) 疲劳驾驶监控装置及方法
CN112101124B (zh) 一种坐姿检测方法及装置
Tiwari et al. Fusion of ear and soft-biometrics for recognition of newborn
Tiwari et al. Can face and soft-biometric traits assist in recognition of newborn?
Tiwari et al. Multimodal database of newborns for biometric recognition
Yao et al. An improved feature-based method for fall detection
Ozkaya et al. Discriminative common vector based finger knuckle recognition
KR102240228B1 (ko) 객체의 폐쇄성 판단을 통해 드로잉 테스트 결과물을 채점하는 방법 및 시스템
Cantoni et al. Gender and age categorization using gaze analysis
CN107898458B (zh) 基于图像先验的单试次脑电p300成分检测方法及装置
Tiwari et al. Can ear and soft-biometric traits assist in recognition of newborn?
CN115273150A (zh) 基于人体姿态估计的安全帽佩戴的新型识别方法及系统
Lick et al. Perceivers infer base rates from social context to judge perceptually ambiguous social identities
Ren et al. An improved method for Daugman's iris localization algorithm
Rasines et al. Real-Time display recognition system for visually impaired

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant