KR102630547B1 - 사용자 상태 진단을 위한 진단 정보 제공 방법 및 이를 수행하는 장치 - Google Patents
사용자 상태 진단을 위한 진단 정보 제공 방법 및 이를 수행하는 장치 Download PDFInfo
- Publication number
- KR102630547B1 KR102630547B1 KR1020210158449A KR20210158449A KR102630547B1 KR 102630547 B1 KR102630547 B1 KR 102630547B1 KR 1020210158449 A KR1020210158449 A KR 1020210158449A KR 20210158449 A KR20210158449 A KR 20210158449A KR 102630547 B1 KR102630547 B1 KR 102630547B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- biometric
- biometric data
- data
- providing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004913 activation Effects 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000003745 diagnosis Methods 0.000 description 18
- 230000008667 sleep stage Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008685 targeting Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은 진단 정보 제공 방법에 관한 것으로, 사용자의 생체 데이터를 획득하는 단계, 생체 데이터를 입력으로 하여 생체 피처를 출력하도록 학습된 생체 필터 모델에 상기 생체 데이터를 입력하여 사용자 생체 피처(filter activation value)를 추출하는 단계, 상기 사용자 생체 피처에 기초하여 사용자 상태를 결정하는 단계 및 상기 사용자 생체 피처 및 상기 사용자 상태의 결정 결과를 시각적으로 제공하는 단계를 포함하도록 구성된다.
Description
본 발명은 사용자 상태 진단을 위한 진단 정보 제공 방법 및 이를 수행하는 장치에 관한 것이다.
과학 기술의 비약적인 발전으로 인류 전체의 삶의 질이 향상되고 있으며, 의료 환경에서도 많은 변화가 발생하고 있다. 예를 들어, 과거에는 X-ray, CT(computed tomography), MRI(magnetic resonance imaging) 등의 의료영상을 촬영한 후 몇 시간 또는 며칠을 기다려야 영상 판독이 가능하였다. 그러나, 최근에는 병원에 가지 않고서도 자신의 혈당과 혈압 등을 언제 어디서나 확인할 수 있는 헬스케어(healthcare) 관련 의료 기기들이 많이 보급되고 있다.
이 외에도, 최근에는 의료 영상, 생체 데이터를 학습한 인공지능 모델을 통해 사용자 상태를 진단하는 기술이 개시되고 있다. 인공지능 모델은 방대하고 노이즈가 많은 비정형 데이터를 빠르게 분류해낼 수 있다는 장점이 있다.
그에 따라, 인공지능 모델을 기초로 의료 영상, 생체 데이터를 분류/분석한 결과를 제공하여, 의료진이 보다 빠르고 정확하게 사용자를 진단할 수 있는 방법이 요구되고 있다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
종래 인공지능 이용한 학습 모델을 통해 생체 데이터의 특성을 분석하여 사용자 상태를 진단해주는 방법 및 장치가 제시되었으나, 사용자 상태에 따른 개인차를 고려하지 않아, 인공지능 모델임에도 정확도가 떨어지는 문제점이 존재한다.
이에, 학습 모델을 통해 생체 데이터의 특성을 분석하되, 분석에 대한 근거를 제공할 수 있는 방법이 요구되고 있다.
그 결과, 본 발명의 발명자들은 방대한 양의 생체 데이터에서 사용자 상태를 진단할 수 있는 특징들을 검출하고, 검출 결과에 따른 사용자 상태 진단 결과를 결정하는 과정에서, 결정에 영향을 준 요인들을 의료진이 확인할 수 있도록 시각적으로 제공하기 위한 방법 및 이를 수행하는 장치를 개발하고자 하였다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시 예에 따른 진단 정보 제공 방법이 제공된다. 상기 방법은, 사용자의 생체 데이터를 획득하는 단계, 생체 데이터를 입력으로 하여 생체 피처를 출력하도록 학습된 생체 필터 모델에 상기 생체 데이터를 입력하여 사용자 생체 피처(filter activation value)를 추출하는 단계, 상기 사용자 생체 피처에 기초하여 사용자 상태를 결정하는 단계 및 상기 사용자 생체 피처 및 상기 사용자 상태의 결정 결과를 시각적으로 제공하는 단계를 포함하도록 구성된다.
본 발명의 특징에 따르면, 상기 생체 데이터를 획득하는 단계 이후에, 상기 생체 데이터를 미리 결정된 시간 단위의 시계열 데이터로 변환하는 단계를 더 포함하며, 상기 사용자 상태를 결정하는 단계는, 상기 미리 결정된 시간 단위 별로 상이한 사용자 상태를 결정하는 단계일 수 있다.
본 발명의 다른 특징에 따르면, 상기 사용자 생체 피처를 추출하는 단계는, 상기 생체 필터 모델에서 상기 생체 데이터와 관련된 돌출 값(saliecy value)을 획득하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 시각적으로 제공하는 단계는, 상기 미리 결정된 시간 단위마다 상기 돌출 값을 나타내는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 사용자 생체 피처를 추출하는 단계는, 상기 생체 데이터의 종류 또는 진단하고자 하는 사용자 상태의 유형에 따라 적어도 둘 이상의 필터를 개별적으로 적용하고, 두 종류 이상의 사용자 생체 피처를 추출하는 단계일 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 사용자 상태를 결정하는 단계는, 사용자 생체 피처 존재 여부, 사용자 생체 피처의 존재 비율, 생체 데이터 크기 변화 중 적어도 하나의 요소를 기준으로 사용자 상태를 결정하는 단계일 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 시각적으로 제공하는 단계는, 상기 사용자 생체 피처 존재 여부를 확인하기 위해, 상기 생체 데이터 상에 상기 사용자 생체 피처의 종류 별로 상이한 강조 표시를 생성하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 시각적으로 제공하는 단계는, 상기 사용자 생체 피처의 존재 비율을 확인하기 위해, 상기 사용자 생체 피처 중 미리 설정된 임계 값을 초과하는 부분과 초과하지 않는 부분을 이분화한 그래프를 생성하는 단계와 상기 이분화한 그래프와 함께 상기 이분화한 그래프 상에 존재하는 블록 수를 카운트하여 시각적으로 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 시각적으로 제공하는 단계는, 상기 생체 데이터 크기 변화를 확인하기 위해, 상기 생체 데이터 상에 미리 설정된 변화 값 이상의 크기 변화가 감지된 부분을 표시하여 제공하는 단계일 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 시각적으로 제공하는 단계는, 상기 생체 데이터가 표시된 영역과 인접한 영역에, 상기 생체 데이터 상에 계산된 변화 값을 순차적으로 제공하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 진단 정보 제공 장치가 제공된다. 상기 장치는, 통신 인터페이스, 메모리 및 상기 통신 인터페이스, 상기 메모리와 동작 가능하게 연결된 프로세서를 포함하고, 상기 프로세서는, 사용자의 생체 데이터를 획득하고, 생체 데이터를 입력으로 하여 생체 피처를 출력하도록 학습된 생체 필터 모델에 상기 생체 데이터를 입력하여 사용자 생체 피처(filter activation value)를 추출하고, 상기 사용자 생체 피처에 기초하여 사용자 상태를 결정하고, 상기 사용자 생체 피처 및 상기 사용자 상태의 결정 결과를 시각적으로 제공하도록 구성된다.
기타 실시 예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 생체 데이터 분석에 대한 근거를 제공할 수 있어, 의료진은 학습 모델을 통한 사용자 상태 진단 결과를 신뢰할 수 있다. 특히, 본 발명은 근거를 생체 데이터가 기록된 그래프 내에 시각적으로 표시해주어, 추가 진단/분석이 필요한 영역을 한눈에 확인할 수 있다.
또한, 본 발명은 방대한 양의 생체 데이터를 학습 모델을 통해 빠르게 분석할 수 있어, 생체 데이터를 분 단위로 일일이 분석해야 했던 기존 대비, 진단 결과를 보다 효율적으로 도출해낼 수 있다.
또한, 본 발명은 학습 모델에서 생체 데이터에 존재하는 주요 패턴들을 자체적으로 정의하는 바, 사용자 상태 진단을 위해, 동일한 유형의 센싱 데이터를 획득하는 복수의 센싱 장치의 별로 파라미터를 일일이 조정해야 하는 번거로운 과정을 생략할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 상태 진단을 위한 진단 정보 제공 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 진단 정보 제공 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 진단 정보 제공 방법에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 생체 필터 모델을 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 상태 진단 결과를 제공하기 위한 패턴을 설명하기 위한 개략도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 사용자 상태의 결정 결과를 시각적으로 제공하는 방식을 설명하기 위한 개략도이다.
도 8은 본 발명의 진단 정보 제공 방법을 통해서 의료진의 사용자 상태 진단 결과의 정확도가 높아짐을 설명하기 위한 그래프이다.
도 2는 본 발명의 일 실시예에 따른 진단 정보 제공 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 진단 정보 제공 방법에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 생체 필터 모델을 설명하기 위한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 상태 진단 결과를 제공하기 위한 패턴을 설명하기 위한 개략도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 사용자 상태의 결정 결과를 시각적으로 제공하는 방식을 설명하기 위한 개략도이다.
도 8은 본 발명의 진단 정보 제공 방법을 통해서 의료진의 사용자 상태 진단 결과의 정확도가 높아짐을 설명하기 위한 그래프이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시 예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시 예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 상태 진단을 위한 진단 정보 제공 시스템의 개략도이다.
도 1을 참조하면, 진단 정보 제공 시스템(1000)은 사용자의 생체 데이터를 통해 사용자 상태 진단 결과를 제공하기 위한 시스템일 수 있다. 여기서, 생체 데이터란, 사람, 동물을 통해서 획득 가능한 모든 종류의 생체 데이터를 포함할 수 있다.
다만, 본 발명에서는 설명의 편의를 위해, 생체 데이터가 사용자의 특정 상태를 진단하기 위한 생체 데이터인 것으로 가정하도록 한다. 예를 들어, 생체 데이터는 사용자의 단계적인 수면 상태를 진단하기 위해, 사용자의 수면 상태와 관련된 EEG 신호 데이터, EOG 신호 데이터, ECG 신호 데이터 등일 수 있다.
진단 정보 제공 시스템(1000)은 사용자의 생체 데이터를 획득할 수 있는 센싱 장치(100) 및 생체 데이터를 토대로 사용자 상태를 진단하는 진단 정보 제공 장치(200)를 포함할 수 있다.
센싱 장치(100)는 사용자의 각종 생체 신호 변화를 측정할 수 있다. 예를 들어, 센싱 장치(100)는 사용자의 머리에 장착되는 HMD 장치, 사용자의 신체 일 영역(머리, 몸통 등)에 부착되는 측정 장치, 웨어러블 디바이스 등을 포함할 수 있으며, 생체 데이터는, EEG 신호, EOG 신호, ECG 신호, EMG 신호, 시선 데이터 등을 포함할 수 있다.
다양한 실시예에서, 센싱 장치(100)가 복수 개인 경우, 복수 개의 센싱 장치(100)에서 획득한 생체 데이터는 시간을 기준으로 동기화될 수 있다. 보다 구체적으로, 센싱 장치(100)는 사용자의 신체에 장착 또는 부착되어 소정 시간 동안 사용자의 생체 데이터를 획득할 수 있으며, 진단 정보 제공 장치(200)에 의해 여러 종류의 생체 데이터가 시간을 기준으로 동기화될 수 있다.
진단 정보 제공 장치(200)는 방대한 양의 생체 데이터를 진단 모델에 입력하여, 사용자 상태를 진단(결정)할 수 있으며, 의료진으로 하여금 최종적으로 사용자 상태를 진단할 수 있도록, 사용자 상태 진단에 대한 근거를 제공할 수 있다.
다양한 실시예에서, 진단 정보 제공 장치(200)가 제공하는 사용자 상태 진단에 대한 근거는 의료진이 확인할 수 있는 시각적인 형태로 제공될 수 있다. 예를 들어, 진단 정보 제공 장치(200)는 사용자 상태의 진단 결과(결정 결과)와 함께 생체 데이터에서 특정한 생체 피처에 대해 강조 표시를 하거나, 생체 데이터를 다른 형태의 그래프로 생성하여 제공할 수 있다.
즉, 진단 정보 제공 장치(200)는 진단 결과(결정 결과)만을 제공했던 종래와는 다르게, 이러한 결과가 나오게 된 근거를 의료진에게 제공함으로써, 진단 결과에 신뢰성을 줄 수 있다.
한편, 여기서의 진단 결과는 사용자의 수면 단계를 의미할 수 있다. 예를 들어, 진단 정보 제공 장치(200)는 생체 데이터가 수집된 기간 동안 사용자의 수면 단계가 1~5단계(Wake, REM, N1, N2, N3) 내에서 어떻게 변화했는지 결정할 수 있다.
다양한 실시예에서, 진단 정보 제공 장치(200)는 스마트폰, 태블릿 PC, PC, 범용 컴퓨터, 랩탑 및 클라우드 서버 등으로 구현될 수 있다. 예를 들어, 진단 정보 제공 장치(200)는 센싱 장치(100)로부터 획득된 생체 데이터를 토대로 생성한 진단 결과(결정 결과) 및 근거를 자체 구비된 디스플레이 화면에 시각적으로 제공하거나, 센싱 장치(100)와 연결된 사용자 디바이스(미도시) 또는 관리자 디바이스(미도시)에 시각적으로 제공할 수 있다.
다양한 실시예에서, 진단 정보 제공 장치(200)는 사용자의 수면 단계를 진단하기 위한 종래의 장치에 임베디드(embedded)될 수 있다. 예를 들어, 수면 다원 검사를 수행할 수 있는 장치에 진단 정보 제공 방법을 위한 어플리케이션이 설치되어 실행될 수 있으며, 여기서의 어플리케이션은 진단 정보 제공 장치(200) 또는 관리자에 의해 제공될 수 있다.
이하에서는 도 2를 참조하여, 사용자 상태 진단 정보를 제공하기 위한 진단 정보 제공 장치(200)에 대하여 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 진단 정보 제공 장치의 블록도이다.
도 2를 참조하면 진단 정보 제공 장치(200)는 통신 인터페이스(210), 메모리(220), I/O 인터페이스(230) 및 프로세서(240)를 포함할 수 있으며, 각 구성은 하나 이상의 통신 버스 또는 신호 라인을 통해 서로 통신할 수 있다.
통신 인터페이스(210)는 유/무선 통신 네트워크를 통해 센싱 장치(100)와 연결되어 데이터를 주고받을 수 있다. 예를 들어, 통신 인터페이스(210)는 센싱 장치(100)로부터 생체 데이터를 획득하고, 사용자 디바이스 또는 관리자 디바이스로 사용자 상태에 대한 진단 결과(결정 결과)를 송신할 수 있다.
한편, 이러한 데이터의 송수신을 가능하게 하는 통신 인터페이스(210)는 통신 포드(211) 및 무선 회로(212)를 포함할 수 있다. 여기 유선 통신 포트(211)는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스(USB), HDMI, 파이어와이어 등을 포함할 수 있다. 또한, 무선 회로(212)는 RF 신호 또는 광학 신호를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 아울러, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, NFC, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 적어도 하나를 사용할 수 있다.
메모리(220)는 진단 정보 제공 장치(200)에서 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리(220)는 복수의 사용자를 통해 획득된 생체 데이터, 복수의 사용자 각각의 상태 진단 결과를 저장할 수 있다.
예를 들어, 메모리(220)는 생체 데이터를 입력으로 하여 생체 피처를 추출하도록 학습된 생체 필터 모델을 저장할 수 있다. 여기서, 사용자 생체 피처는 사용자의 생체 데이터에서 상태 진단을 위해 활용된 생체 데이터의 일부 구간을 의미할 수 있다. 아울러, 생체 필터 모델이란, 이미지, 영상 데이터를 학습 데이터(INPUT)로 활용하여, 이미지, 영상 내 특정 영역을 분류, 추출(OUPUT)할 수 있는 CNN 기반의 모델일 수 있다.
예를 들어, 메모리(220)는 생체 필터 모델에 적용할 컨볼루션 필터(convolution filter)를 저장할 수 있다. 구체적으로, 메모리(220)는 생체 데이터의 종류에 따라 서로 다른 필터를 적용할 수 있다. 일 예로, 메모리(220)는 sleep spindle, k-complex, frequency sinusoidal wave와 같이 수면 단계를 진단할 수 있는 필터를 저장할 수 있다.
다양한 실시예에서, 메모리(220)는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리(220)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리(220)는 운영 체제(221), 통신 모듈(222), 사용자 인터페이스 모듈(223) 및 하나 이상의 애플리케이션(224) 중 적어도 하나의 구성을 저장할 수 있다.
운영 체제(221)(예. LINUX, UNIX, MAC OS, WINDOWS, VxWorks 등의 내장형 운영 체제)는 일반적인 시스템 작업(예. 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및 드라이버를 포함할 수 있으며, 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 지원할 수 있다.
통신 모듈(223)은 통신 인터페이스(210)를 통해 다른 디바이스와 통신을 지원할 수 있다. 통신 모듈(220)은 통신 인터페이스(210)의 유선 통신 포트(211) 또는 무선 회로(212)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 구성 요소들을 포함할 수 있다.
사용자 인터페이스 모듈(223)은 I/O 인터페이스(230)를 통해 키보드, 터치 스크린, 마이크 등으로부터 사용자의 요청 또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스를 제공할 수 있다.
애플리케이션(224)은 하나 이상의 프로세서(240)에 의해 실행되도록 구성되는 프로그램 또는 모듈을 포함할 수 있다. 여기서, 사용자의 생체 데이터를 기초로 사용자의 생체 피처 및 사용자 상태의 결정 결과를 시각적으로 제공하기 위한 애플리케이션은 서버 팜(server farm) 상에서 구현될 수 있다.
I/O 인터페이스(230)는 인지 기능 검사 서버(200)의 입출력 디바이스(미도시), 예컨대 디스플레이, 키보드, 터치 스크린 및 마이크 중 적어도 하나를 사용자 인터페이스 모듈(223)과 연결할 수 있다. I/O 인터페이스(230)는 사용자 인터페이스 모듈(223)과 함께 사용자 입력(예. 음성 입력, 키보드 입력, 터치 입력 등)을 수신하고, 수신된 입력에 따른 명령을 처리할 수 있다.
다양한 실시예에서, I/O 인터페이스(230)는 사용자의 생체 데이터를 획득할 수 있는 내부 센서(미도시) 또는 센싱 장치(100)와 연결될 수 있다. 예를 들어, I/O 인터페이스(230)는 실시간으로 사용자의 생체 데이터를 획득하고, 생체 데이터 상에 생체 필터 모델을 통해 획득된 돌출 값(saliency value)을 나타내거나, 사용자 상태의 결정 결과를 시각적으로 제공할 수 있다.
프로세서(240)는 통신 인터페이스(210), 메모리(220) 및 I/O 인터페이스(230)와 연결되어 진단 정보 제공 장치(200)의 전반적인 동작을 제어할 수 있으며, 메모리(220)에 저장된 애플리케이션 또는 프로그램을 통해 사용자 상태를 결정하기 위한 다양한 명령들을 수행할 수 있다.
프로세서(240)는 CPU(Central Processing Unit)나 AP(Application Processor)와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서(240)는 다양한 연산 장치가 통합된 SoC(System on Chip)와 같은 통합 칩(Integrated Chip (IC))의 형태로 구현될 수 있다. 또는 프로세서(240)는 NPU(Neural Processing Unit)과 같이 인공 신경망 모델을 계산하기 위한 모듈을 포함할 수 있다.
이하에서는, 도 3 내지 도 7을 참조하여, 진단 정보 제공 장치(200)의 프로세서(240)가 사용자 상태를 진단하는 방법에 대하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 진단 정보 제공 방법에 대한 순서도이다.
도 3을 참조하면, 프로세서(240)는 사용자의 생체 데이터를 획득할 수 있다(S110). 생체 데이터는 사용자의 수면 단계를 진단하기 위해 활용되는 다양한 종류의 생체 데이터를 포함할 수 있으며, 예를 들어, EEG 신호, EOG 신호, ECG 신호, EMG 신호, 시선 데이터 등을 포함할 수 있다.
다양한 실시예에서, 프로세서(240)는 생체 데이터를 미리 결정된 시간 단위의 시계열 데이터로 변환할 수 있다. 구체적으로, 수면 단계는 30초 단위(epoch 단위)로 분절된 생체 데이터를 이용하여 판단되는 바, 프로세서(240)는 생체 데이터를 epoch 단위의 시계열 데이터로 변환할 수 있다.
프로세서(240)는 생체 데이터를 시계열 데이터로 변환함으로써, 미리 결정된 시간 단위 별로 사용자 상태를 결정할 수 있다. 예를 들어, 프로세서(240)는 30초 단위의 epoch 별로 상이한 사용자의 수면 단계를 결정할 수 있다.
S110 단계 이후, 프로세서(240)는 생체 데이터를 입력으로 하여 생체 피처를 출력하도록 학습된 생체 필터 모델에 S110 단계에서 획득한 생체 데이터를 입력하여, 사용자 생체 피처를 추출할 수 있다(S120). 여기서, 생체 필터 모델이란, 이미지, 영상 데이터를 학습 데이터(INPUT)로 활용하여, 이미지, 영상 내 특정 영역을 분류, 추출(OUPUT)할 수 있는 CNN 기반의 모델일 수 있다.
다양한 실시예에서, 프로세서(240)는 생체 데이터의 종류 또는 진단하고자 하는 사용자 상태의 유형에 따라 상이한 필터를 생체 필터 모델에 적용할 수 있다. 예를 들어, 프로세서(240)는 수면 단계를 판단하기 위해 필요한 sleep spindle, k-complex, frequency sinusoidal wave, saw tooth wave, eye movement와 같은 피처를 이미지를 필터로 활용할 수 있다.
관련하여, 도 4는 본 발명의 일 실시예에 따른 생체 필터 모델을 설명하기 위한 개략도이다.
도 4를 참조하면, 프로세서(240)는 생체 필터 모델에 서로 다른 필터 세 종류를 적용할 수 있다. 프로세서(240)는 생체 데이터를 각기 다른 생체 필터 모델에 입력하여, 서로 다른 사용자 생체 피처를 획득할 수 있다. 여기서, 사용자 생체 피처는, 생체 데이터 내에서 sleep spindle, k-complex, frequency sinusoidal wave와 대응되는 사용자 생체 피처(filter activation value)를 추출할 수 있다.
다양한 실시예에서, 프로세서(240)는 상태 진단의 정확도를 높이기 위해 필터를 정제할 수 있다. 예를 들어, 프로세서(240)는 low-pass filter, high-pass filter를 통해 sleep spindle, k-complex, frequency sinusoidal wave 필터의 모양을 정제할 수 있다.
즉, 프로세서(240)는 생체 필터 모델에 둘 이상의 필터를 개별적으로 적용하고, 두 종류 이상의 사용자 생체 피처를 추출할 수 있다.
한편, 프로세서(240)는 생체 필터 모델을 이용하여 사용자 생체 피처를 추출하는 동안, 생체 데이터와 관련된 돌출 값(saliency value)을 획득할 수 있다. 여기서, 돌출 값은 생체 데이터에서 급격한 변화가 존재하는 부분을 의미하며, 프로세서(240)는 돌출 값을 획득한 영역을 시각적으로 제공함으로써, 의료진의 사용자 상태 진단에 도움을 줄 수 있다. 예를 들어, 프로세서(240)는 미리 결정된 시간 단위로 분절된 생체 데이터에서 돌출 값을 시각적으로 나타낼 수 있다. 다만, 관리자에 의해 돌출 값을 시각적으로 나타내는 기준 단위는 상이할 수 있다.
다시, 도 3을 참조하면, 프로세서(240)는 사용자 생체 피처에 기초하여 사용자 상태를 결정할 수 있다(S130). 구체적으로, 수면 단계의 경우, 생체 데이터 내에서 사용자 생체 피처가 어떠한 패턴(유형)으로 존재하는지에 따라 수면 단계가 상이하게 결정될 수 있다. 예를 들어, 패턴(유형)은 크게 3가지로 나누어질 수 있으며, 미리 결정된 시간 단위(epoch)를 기준으로 정의될 수 있다.
Pattern type 1: 존재 여부에 따른 사용자 상태 결정
| 생체 데이터 | 사용자 생체 피처 |
| EEG | k-complex, sleep spindles, saw tooth waves |
| EOG | Eye rapid movement |
Pattern type 2: 사용자 생체 피처의 존재 비율에 따른 사용자 상태 결정
| 생체 데이터 | 사용자 생체 피처 |
| EEG | Delta waves |
Pattern type 3: 사용자 생체 피처의 존재 비율에 따른 사용자 상태 결정
| 생체 데이터 | 사용자 생체 피처 |
| EEG | Alpha waves |
즉, 프로세서(240)는 사용자 생체 피처 존재 여부, 사용자 생체 피처의 존재 비율, 생체 데이터 크기 변화 중 적어도 하나의 요소를 기준으로 사용자 상태를 결정할 수 있다. 예를 들어, 프로세서(240)는 생체 데이터에서 어느 하나의 사용자 생체 피처(①k-complex)(②saw tooth wave)가 추출된 경우, 해당 시간 단위(epoch)에서의 사용자 상태를 특정 상태(수면 단계 ①N2)(②REM)로 결정할 수 있다. 다른 예를 들어, 프로세서(240)는 사용자 생체 피처(③delta wave)가 미리 결정된 시간 단위를 기준으로, 어느 정도 비율을 차지하고 있는지 확인하고, 그 비율에 따라 사용자 상태를 특정 상태(③수면 단계 N3)로 결정할 수 있다. 또 다른 예를 들어, 프로세서(240)는 미리 결정된 시간 단위를 기준으로, 사용자 생체 피처의 변화 값이 어느 정도 값 이상인지에 따라 사용자 상태를 특정 상태로 결정할 수 있다.
한편, 이와 같이, 사용자 상태를 결정 짓는 유형(패턴)은 통상적인 수면 다원 검사 매뉴얼을 통해 정의될 수 있으며, 프로세서(240)는 미리 결정된 시간 단위 별로 1~5 단계의 수면 단계 중 사용자가 어떠한 수면 단계에 해당하는지 결정할 수 있다.
S130 단계 이후, 프로세서(240)는 사용자 생체 피처 및 사용자 상태의 결정 결과를 시각적으로 제공할 수 있다(S140). 예를 들어, 프로세서(240)는 I/O 인터페이스(230)를 통해 장치 자체의 디스플레이 또는 터치 스크린을 통해 결정 결과를 시각적으로 제공하거나, 통신 인터페이스(210)를 통해 사용자 디바이스 또는 관리자 디바이스에 결정 결과를 시각적으로 제공할 수 있다.
관련하여, 도 5는 본 발명의 일 실시예에 따른 상태 진단 결과를 제공하기 위한 패턴을 설명하기 위한 개략도이다.
도 5를 참조하면, 프로세서(240)는 사용자 상태 진단 결과를 패턴 별로 제공하는 과정에서 다음과 같은 시각적인 표시를 제공할 수 있다.
구체적으로, 프로세서(240)는 생체 데이터에서 어느 하나의 사용자 생체 피처(예. k-complex, sleep spindles, saw tooth waves, rapid eye movement 등)가 추출된 경우, 사용자 상태를 특정 상태로 결정하고, 생체 데이터 상에 해당 부분을 강조 표시할 수 있다. 보다 구체적으로, 프로세서(240)는 추출된 사용자 생체 피처 중 그 크기 값이 미리 설정된 제1 임계 값을 초과하는 위치에 강조 표시를 할 수 있다. 여기서, 미리 설정된 임계 값은 관리자에 의해 정해질 수 있다.
아울러, 해당 부분의 표시는 예를 들어, 박스 형태로 제공될 수 있으며, 프로세서(240)는 사용자 생체 피처의 종류 별로 상이한 강조 표시(박스 테두리 색상 변경)를 생성할 수 있다.
또한, 프로세서(240)는 사용자 생체 피처의 존재 비율을 확인하기 위해, 사용자 생체 피처 중 미리 설정된 제2 임계 값을 초과하는 부분과 초과하지 않는 부분을 이분화한 그래프(예. 주파수 0.2∼ 3 Hz 범위의 Delta Wave Blocks)를 생성할 수 있다. 구체적으로, 프로세서(240)는 사용자 생체 피처 중 그 크기 값이 미리 설정된 제2 임계 값을 초과하는 지점을 기준으로 그래프를 생성할 수 있다. 프로세서(240)는 이분화한 그래프와 함께 이분화한 그래프 상에 존재하는 블록 수를 카운트하여 시각적으로 제공할 수 있다.
또한, 프로세서(240)는 생체 데이터 크기 변화를 확인하기 위해, 생체 데이터의 크기 변화가 미리 설정된 변화 값 이상이 되는 부분을 감지할 수 있다. 예를 들어, 주파수 8∼12 Hz 범위의 Alpha Wave의 경우, 크기 변화가 급격하게 이루어지는 바, 프로세서(240)는 생체 데이터 상에 미리 설정된 변화 값 이상의 크기 변화가 감지된 부분을 표시하여 제공할 수 있다.
다양한 실시예에서, 프로세서(240)는 생체 데이터가 표시된 영역과 인접한 영역에, 생체 데이터의 크기 변화 값을 순차적으로 제공할 수도 있다. 예를 들어, 프로세서(240)는 사용자 상태의 결정 결과(REM, N1, N2 ,,,)와 함께 크기 변화 값을 시각적으로 제공함으로써, 의료진이 Alpha wave에서 사용자의 N1 단계와 REM 단계를 결정하기 위한 도움을 줄 수 있다.
이와 같이, 프로세서(240)는 패턴 별로 사용자 상태의 결정 결과에 따른 근거를 제공할 수 있으며, 종합적인 진단 결과를 도 6 및 도 7과 같이 시각적으로 제공할 수 있다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 사용자 상태의 결정 결과를 시각적으로 제공하는 방식을 설명하기 위한 개략도이다.
도 6을 참조하면, 프로세서(240)는 사용자 상태의 결정 결과 유형 별로 진단 정보 제공 장치(200)의 판단 근거를 다음과 같이 시각적으로 제공할 수 있다. 예를 들어, 프로세서(240)는 수면 단계 N2를 판단하기 위한 근거가 되는 k-complex, Sleep spindle이 존재하는 부분을 박스로 표시할 수 있으며, 수면 단계 N3를 판단하기 위한 근거가 되는 Delta wave를 박스 형태의 그래프로 표시할 수 있다.
다양한 실시예에서, 프로세서(240)는 생체 필터 모델을 이용하여 사용자 생체 피처를 추출하는 동안 획득한 돌출 값(saliency value)을 생체 데이터 상에 다음과 같이 빗금 친 부분으로 표시할 수 있다.
이와 같이, 프로세서(240)가 생체 데이터 상에 돌출 맵(Saliency map)을 생성하여 제공함으로써, 의료진은 생체 필터 모델이 올바른 사용자 생체 피처를 제시했는지 파악할 수 있으며, 추가 검토가 필요한 부분인지 빠르게 결정할 수 있다.
도 7을 참조하면, 프로세서(240)는 사용자 상태의 결정 결과를 다음과 같이 종합적으로 제공할 수 있다. 예를 들어, 프로세서(240)는 시간에 따른 사용자의 수면 단계(결정 결과)를 Hypnogram 그래프(11) 형태로 제공하거나, 미리 결정된 시간 단위에 따라 표(13) 형태로 제공할 수 있다.
또한, 프로세서(240)는 종류 별 생체 데이터의 획득 결과(12)를 제공할 수 있으며, 생체 데이터를 생체 필터 모델에 입력함으로써 얻어지는 사용자 상태의 진단 결과(Model Prediction: ex. N2)(14)를 그 근거와 함께 제공할 수 있다.
한편, 도 7에서 시각적인 근거가 생체 데이터 상에 단순 특정 영역을 가리키는 것만으로도 도시되었으나, 이에 제한되지 않은 다양한 형태의 근거가 제공될 수 있다. 예를 들어, 추출된 복수의 사용자 생체 피처를 조합한 진단 결과의 근거가 텍스트 형태로 제공될 수도 있다.
이와 같이, 프로세서(240)는 생체 필터 모델을 통해 사용자 상태를 진단하고, 의료진으로 하여금 이를 해석할 수 있는 시각적인 자료를 제공함으로써, 단순히 결과만을 제공하는 종래 기술과 대비했을 때, 학습 모델이 제공한 결과에 대한 의료진의 신뢰도를 향상시킬 수 있다.
도 8은 본 발명의 진단 정보 제공 방법을 통해서 의료진의 사용자 상태 진단 결과의 정확도가 높아짐을 설명하기 위한 그래프이다.
도 8을 참조하면, 의료진에게 딥러닝 학습 모델의 진단 결과에 따른 근거를 제시한 경우의 정확도 점수(검은색 원)와 의료진에게 딥러닝 학습 모델의 진단 결과만을 제시한 경우 정확도 점수(흰색 원)의 차이는 다음과 같은 그래프로 얻어질 수 있다. 구체적으로, 왼쪽의 그래프는 의료진의 경력에 관계 없이, 전체 의료진을 대상으로 했을 때, 진단 결과의 정확도를 비교한 그래프이며, 중앙의 그래프는 5년 미만의 의료진을 대상으로 했을 때, 진단 결과의 정확도를 비교한 그래프이고, 오른쪽의 그래프는 의료진의 경력에 관계 없이, 전체 의료진을 대상으로 하되, 미리 결정된 시간 주기를 기준으로 진단 결과의 정확도를 비교한 그래프이다.
세 개의 비교 그래프 모두 진단 근거를 제공한 경우에 보다 높은 정확도 점수를 얻을 수 있음을 확인할 수 있다. 특히, 5년 미만의 의료진을 대상으로 했을 때, 진단 결과의 정확도 차이 값이 큰 것을 확인할 수 있으며, 이를 통해 본 발명이 의료진에게 도움이 됨을 알 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 일 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 진단 정보 제공 시스템
100: 센서 장치
200: 진단 정보 제공 장치
210: 통신 인터페이스
211: 유선 통신 포트 212: 무선 회로
220: 메모리
221: 운영 체제 222: 통신 모듈
223: 사용자 인터페이스 모듈 224: 애플리케이션
230: I/O 인터페이스 240: 프로세서
100: 센서 장치
200: 진단 정보 제공 장치
210: 통신 인터페이스
211: 유선 통신 포트 212: 무선 회로
220: 메모리
221: 운영 체제 222: 통신 모듈
223: 사용자 인터페이스 모듈 224: 애플리케이션
230: I/O 인터페이스 240: 프로세서
Claims (20)
- 사용자의 생체 데이터를 획득하는 단계;
상기 생체 데이터를 미리 결정된 시간 단위의 시계열 데이터로 변환하는 단계;
생체 데이터를 입력으로 하여 사용자 상태 결정을 위해 활용되는 어느 하나의 생체 피처를 출력하도록 학습된 복수의 생체 필터 모델 각각에 상기 생체 데이터를 입력하여 상이한 유형의 사용자 생체 피처(filter activation value)를 복수 개 추출하는 단계;
상기 복수 개 추출된 사용자 생체 피처 각각에 기초하여 사용자 상태를 결정하는 단계; 및
상기 생체 데이터를 획득한 시간을 기준으로 상기 사용자 상태의 결정 결과를 나타내는 그래프를 생성하는 단계;
상기 그래프와 함께 상기 생체 데이터 상에 어느 하나의 사용자 상태와 매칭되는 사용자 생체 피처를 시각적으로 제공하는 단계; 를 포함하고,
상기 사용자 상태를 결정하는 단계는,
상기 복수 개 추출된 사용자 생체 피처의 종류에 따라 사용자 생체 필터 존재 여부, 사용자 생체 피처의 존재 비율, 및 생체 데이터 크기 변화를 판단하는 단계; 및
판단 결과에 따라, 상기 미리 결정된 시간 단위 별로 상이한 사용자 상태를 결정하는 단계; 를 더 포함하고,
상기 시각적으로 제공하는 단계는,
존재 여부에 따라 사용자 상태가 결정되는 어느 하나의 사용자 생체 피처가 추출된 경우, 해당 사용자 생체 피처의 존재 여부를 확인할 수 있도록 상기 생체 데이터 상에 해당 사용자 생체 피처가 추출된 영역으로 미리 구분된 유형의 강조 표시를 제공하는 단계;
존재 비율에 따라 사용자 상태가 결정되는 어느 하나의 사용자 생체 피처가 추출된 경우, 해당 사용자 생체 피처의 존재 비율을 확인할 수 있도록 해당 사용자 생체 피처에 대응되는 생체 데이터의 일부 영역에서 미리 설정된 임계 값을 초과하는 부분과 초과하지 않는 부분을 이분화한 그래프를 생성하는 단계;
상기 이분화한 그래프와 함께 상기 이분화한 그래프 상에 존재하는 블록 수를 카운트하여 시각적으로 제공하는 단계; 및
크기 변화에 따라 사용자 상태가 결정되는 어느 하나의 사용자 생체 피처가 추출된 경우, 해당 사용자 생체 피처의 크기 변화를 확인할 수 있도록 해당 사용자 생체 피처에 대응되는 생체 데이터의 일부 영역에서 미리 설정된 변화 값 이상의 크기 변화가 감지된 영역에 대한 강조 표시를 제공하는 단계; 를 더 포함하는 진단 정보 제공 방법. - 삭제
- 제1항에 있어서,
상기 사용자 생체 피처를 추출하는 단계는,
상기 생체 필터 모델에서 상기 생체 데이터와 관련된 돌출 값(saliecy value)을 획득하는 단계, 를 더 포함하는 진단 정보 제공 방법. - 제3항에 있어서,
상기 시각적으로 제공하는 단계는,
상기 미리 결정된 시간 단위마다 상기 돌출 값을 나타내는 단계, 를 더 포함하는 진단 정보 제공 방법. - 제1항에 있어서,
상기 사용자 생체 피처를 추출하는 단계는,
상기 생체 데이터의 종류 또는 진단하고자 하는 사용자 상태의 유형에 따라 적어도 둘 이상의 필터를 개별적으로 적용하고, 두 종류 이상의 사용자 생체 피처를 추출하는 단계인, 진단 정보 제공 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 시각적으로 제공하는 단계는,
상기 생체 데이터가 표시된 영역과 인접한 영역에, 상기 생체 데이터 상에 계산된 변화 값을 순차적으로 제공하는 단계, 를 더 포함하는 진단 정보 제공 방법. - 통신 인터페이스;
메모리; 및
상기 통신 인터페이스 및 상기 메모리와 동작 가능하게 연결된 프로세서; 를 포함하고,
상기 프로세서는,
사용자의 생체 데이터를 획득하고, 상기 생체 데이터를 미리 결정된 시간 단위의 시계열 데이터로 변환하고, 생체 데이터를 입력으로 하여 사용자 상태 결정을 위해 활용되는 어느 하나의 생체 피처를 출력하도록 학습된 복수의 생체 필터 모델 각각에 상기 생체 데이터를 입력하여 상이한 유형의 사용자 생체 피처(filter activation value)를 복수 개 추출하고, 상기 복수 개 추출된 사용자 생체 피처 각각에 기초하여 사용자 상태를 결정하고, 상기 생체 데이터를 획득한 시간을 기준으로 상기 사용자 상태의 결정 결과를 나타내는 그래프를 생성하고, 상기 그래프와 함께 상기 생체 데이터 상에 어느 하나의 사용자 상태와 매칭되는 사용자 상태의 결정 결과를 시각적으로 제공하도록 구성되되,
상기 프로세서는,
상기 사용자 상태를 결정하기 위해, 상기 복수 개 추출된 사용자 생체 피처의 종류에 따라 사용자 생체 필터 존재 여부, 사용자 생체 피처의 존재 비율, 및 생체 데이터 크기 변화를 판단하고, 판단 결과에 따라, 상기 미리 결정된 시간 단위 별로 상이한 사용자 상태를 결정하도록 더 구성되고,
상기 사용자 상태의 결정 결과를 시각적으로 제공하기 위해, 존재 여부에 따라 사용자 상태가 결정되는 어느 하나의 사용자 생체 피처가 추출된 경우, 해당 사용자 생체 피처의 존재 여부를 확인할 수 있도록 상기 생체 데이터 상에 해당 사용자 생체 피처가 추출된 영역으로 미리 구분된 유형의 강조 표시를 제공하고, 존재 비율에 따라 사용자 상태가 결정되는 어느 하나의 사용자 생체 피처가 추출된 경우, 해당 사용자 생체 피처의 존재 비율을 확인할 수 있도록 해당 사용자 생체 피처에 대응되는 생체 데이터의 일부 영역에서 미리 설정된 임계 값을 초과하는 부분과 초과하지 않는 부분을 이분화한 그래프를 생성하고, 상기 이분화한 그래프와 함께 상기 이분화한 그래프 상에 존재하는 블록 수를 카운트하여 시각적으로 제공하고, 크기 변화에 따라 사용자 상태가 결정되는 어느 하나의 사용자 생체 피처가 추출된 경우, 해당 사용자 생체 피처의 크기 변화를 확인할 수 있도록 해당 사용자 생체 피처에 대응되는 생체 데이터의 일부 영역에서 미리 설정된 변화 값 이상의 크기 변화가 감지된 영역에 대한 강조 표시를 제공하도록 더 구성되는, 진단 정보 제공 장치. - 삭제
- 제11항에 있어서,
상기 프로세서는,
상기 생체 필터 모델에서 상기 생체 데이터와 관련된 돌출 값(saliecy value)을 획득하도록 구성되는 진단 정보 제공 장치. - 제13항에 있어서,
상기 프로세서는,
상기 미리 결정된 시간 단위마다 상기 돌출 값을 나타내도록 구성되는, 진단 정보 제공 장치. - 제11항에 있어서,
상기 프로세서는,
상기 생체 데이터의 종류 또는 진단하고자 하는 사용자 상태의 유형에 따라 적어도 둘 이상의 필터를 개별적으로 적용하고, 두 종류 이상의 사용자 생체 피처를 추출하도록 구성되는, 진단 정보 제공 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 제11항에 있어서,
상기 프로세서는,
상기 생체 데이터가 표시된 영역과 인접한 영역에, 상기 생체 데이터 상에 계산된 변화 값을 순차적으로 제공하도록 구성되는, 진단 정보 제공 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210158449A KR102630547B1 (ko) | 2021-11-17 | 2021-11-17 | 사용자 상태 진단을 위한 진단 정보 제공 방법 및 이를 수행하는 장치 |
| PCT/KR2022/000527 WO2023090532A1 (ko) | 2021-11-17 | 2022-01-12 | 사용자 상태 진단을 위한 진단 정보 제공 방법 및 이를 수행하는 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210158449A KR102630547B1 (ko) | 2021-11-17 | 2021-11-17 | 사용자 상태 진단을 위한 진단 정보 제공 방법 및 이를 수행하는 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230072081A KR20230072081A (ko) | 2023-05-24 |
| KR102630547B1 true KR102630547B1 (ko) | 2024-01-29 |
Family
ID=86397210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210158449A KR102630547B1 (ko) | 2021-11-17 | 2021-11-17 | 사용자 상태 진단을 위한 진단 정보 제공 방법 및 이를 수행하는 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102630547B1 (ko) |
| WO (1) | WO2023090532A1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017121272A (ja) | 2016-01-04 | 2017-07-13 | オムロンヘルスケア株式会社 | 診断支援装置、診断支援方法、及び、診断支援プログラム |
| US20210023331A1 (en) * | 2019-07-22 | 2021-01-28 | Regents Of The University Of Minnesota | Computer architecture for identifying sleep stages |
| KR102298119B1 (ko) | 2020-12-10 | 2021-09-03 | 주식회사 에이슬립 | 수면에 관련한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치 |
| US20210346641A1 (en) * | 2017-05-18 | 2021-11-11 | Advanced Brain Monitoring, Inc. | Systems and methods for detecting and managing physiological patterns |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5047930A (en) * | 1987-06-26 | 1991-09-10 | Nicolet Instrument Corporation | Method and system for analysis of long term physiological polygraphic recordings |
| KR102258726B1 (ko) * | 2019-08-12 | 2021-06-01 | (주)허니냅스 | 딥러닝을 이용한 수면질환 자동 판정을 위한 데이터 처리 장치 및 그 동작 방법 |
-
2021
- 2021-11-17 KR KR1020210158449A patent/KR102630547B1/ko active IP Right Grant
-
2022
- 2022-01-12 WO PCT/KR2022/000527 patent/WO2023090532A1/ko unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017121272A (ja) | 2016-01-04 | 2017-07-13 | オムロンヘルスケア株式会社 | 診断支援装置、診断支援方法、及び、診断支援プログラム |
| US20210346641A1 (en) * | 2017-05-18 | 2021-11-11 | Advanced Brain Monitoring, Inc. | Systems and methods for detecting and managing physiological patterns |
| US20210023331A1 (en) * | 2019-07-22 | 2021-01-28 | Regents Of The University Of Minnesota | Computer architecture for identifying sleep stages |
| KR102298119B1 (ko) | 2020-12-10 | 2021-09-03 | 주식회사 에이슬립 | 수면에 관련한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230072081A (ko) | 2023-05-24 |
| WO2023090532A1 (ko) | 2023-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101811028B1 (ko) | 인공지능 기반 의료기기의 임상적 유효성 평가 방법 및 시스템 | |
| JP5875285B2 (ja) | 医療診断支援装置、情報処理方法及びプログラム | |
| US11848098B2 (en) | Identifying anomalous brain data | |
| US20110190657A1 (en) | Glaucoma combinatorial analysis | |
| US9177102B2 (en) | Database and imaging processing system and methods for analyzing images acquired using an image acquisition system | |
| CN109285152B (zh) | 一种医学图像处理系统、装置和计算机可读存储介质 | |
| EP2752783A2 (en) | Apparatus and method for supporting acquisition of multi-parametric images | |
| US20140046144A1 (en) | Real-time stress determination of an individual | |
| CN104424386A (zh) | 基于多参数磁共振影像的前列腺癌计算机辅助识别系统 | |
| EP3908173A1 (en) | Systems and methods for diagnosing a stroke condition | |
| CN115516571A (zh) | 一种影像学研究报告生成系统 | |
| KR102151497B1 (ko) | 사용자의 뇌 질환을 진단하는 방법, 시스템 및 컴퓨터-판독가능 매체 | |
| KR20240054248A (ko) | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 | |
| JP5995415B2 (ja) | 医療診断支援装置、情報処理方法及びプログラム | |
| JP2017010577A (ja) | 医療診断支援装置及び医療診断支援方法 | |
| KR102630547B1 (ko) | 사용자 상태 진단을 위한 진단 정보 제공 방법 및 이를 수행하는 장치 | |
| CN112052882B (zh) | 磁共振脑结构影像的分类模型构建、分类与可视化方法 | |
| US11432727B2 (en) | SpO2 miniprogram: AI SpO2 measurement app | |
| WO2021112205A1 (ja) | 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体 | |
| CN110889836A (zh) | 一种影像数据分析方法、装置、终端设备及存储介质 | |
| CN111709946A (zh) | 一种影像数据分析方法、装置、终端设备及存储介质 | |
| Rosado et al. | A novel framework for supervised mobile assessment and risk triage of skin lesions | |
| KR102676569B1 (ko) | 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법 | |
| US20230110652A1 (en) | Brain data visualization | |
| US20230410302A1 (en) | Medical information processing apparatus, medical information processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |