KR20200036085A - 인공지능 장치 - Google Patents

인공지능 장치 Download PDF

Info

Publication number
KR20200036085A
KR20200036085A KR1020180112480A KR20180112480A KR20200036085A KR 20200036085 A KR20200036085 A KR 20200036085A KR 1020180112480 A KR1020180112480 A KR 1020180112480A KR 20180112480 A KR20180112480 A KR 20180112480A KR 20200036085 A KR20200036085 A KR 20200036085A
Authority
KR
South Korea
Prior art keywords
model
result value
sensing information
weight
uncertainty
Prior art date
Application number
KR1020180112480A
Other languages
English (en)
Inventor
홍규석
김태환
최병훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180112480A priority Critical patent/KR20200036085A/ko
Priority to PCT/KR2018/012271 priority patent/WO2020059939A1/ko
Priority to US16/168,415 priority patent/US11449790B2/en
Publication of KR20200036085A publication Critical patent/KR20200036085A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0008Temperature signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0454
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/087Measuring breath flow
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

센싱 정보를 앙상블 모델에 입력하여 최종 결과값을 획득하기 위하여 컴퓨터에서 수행되는 방법이 개시된다. 본 발명의 실시 예에 따른 방법은, 생체 상태과 관련된 복수의 센싱 정보를 획득하는 단계, 복수의 모델을 포함하고 복수의 모델로부터 출력되는 결과값을 조합하여 최종 결과값을 출력하는 앙상블 모델에 상기 복수의 센싱 정보를 입력하는 단계, 상기 복수의 모델 중 제1 모델에 상기 복수의 센싱 정보 중 제1 센싱 정보를 입력하고, 상기 제1 모델의 입력값 및 결과값 중 적어도 하나를 이용하여 상기 제1 모델의 제1 불확실도를 획득하고, 상기 제1 불확실도를 이용하여 상기 제1 모델의 제1 결과값의 제1 가중치를 결정하는 단계, 상기 복수의 모델 중 제2 모델에 상기 복수의 센싱 정보 중 제2 센싱 정보를 입력하고, 상기 제2 모델의 입력값 및 결과값 중 적어도 하나를 이용하여 상기 제2 모델의 제2 불확실도를 획득하고, 상기 제2 불확실도를 이용하여 상기 제2 모델의 제2 결과값의 제2 가중치를 결정하는 단계, 상기 앙상블 모델을 이용하여, 상기 제1 가중치가 적용된 제1 결과값 및 상기 제2 가중치가 적용된 제2 결과값을 조합한 상기 최종 결과값을 획득하는 단계, 및, 상기 상기 최종 결과값에 기초하여 상기 생체 상태에 대응하는 동작을 수행하는 단계를 포함한다.

Description

인공지능 장치 {ARTIFICIAL INTELLIGENCE DEVICE}
본 발명은, 복수의 모델의 결과값을 조합하여 최종 결과값을 출력하는 앙상블 모델에서, 복수의 모델의 결과값의 가중치를 조절할 수 있는 인공지능 장치에 관한 것이다.
인공 지능(artificial intelligence)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
앙상블 학습법(ensemble learning method)이란, 기계학습에서 학습 알고리즘(learning algorithm)을 따로 사용하는 경우에 비하여 더 좋은 예측 성능을 얻기 위하여, 다수의 학습 알고리즘을 사용하는 방법이다.
그리고 앙상블 모델(ensemble model)은, 앙상블 학습법(ensemble learning method)을 채용한 것으로써, 다양한 학습 알고리즘과 다양한 데이터에 의해 서로 상이하게 학습된 복수의 예측 모델을 조합한 최종 예측 모델을 의미한다.
데이터가 입력되는 경우, 복수의 예측 모델들은 각각 결과값을 출력하고, 앙상블 모델은 복수의 예측 모델들이 출력한 결과값 들을 조합하여 최종 결과값을 출력한다.
한편 종래의 앙상블 모델은, 복수의 예측 모델에서 출력된 결과값들에 동일한 가중치를 부여하여 최종 결과값을 출력하였다.
한편, 복수의 예측 모델 중 특정 예측 모델에 노이즈나 미리 학습되지 않은 데이터가 입력되는 경우, 특정 예측 모델의 결과값의 불확실성은 커지게 된다. 즉 복수의 예측 모델에서 출력되는 결과값들의 불확실성은 서로 상이할 수 있다.
다만 종래의 앙상블 모델은, 불확실성의 차이에도 불구하고, 복수의 예측 모델에서 출력된 결과값들에 동일한 가중치를 부여하였기 때문에, 최종 결과값의 정확도가 낮아지는 문제가 발생하였다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 복수의 모델의 결과값을 조합하여 최종 결과값을 출력하는 앙상블 모델에서, 복수의 모델의 결과값의 가중치를 조절할 수 있는 인공지능 장치에 관한 것이다.
본 발명의 실시 예에 따른, 센싱 정보를 앙상블 모델에 입력하여 최종 결과값을 획득하기 위하여 컴퓨터에서 수행되는 방법은, 생체 상태과 관련된 복수의 센싱 정보를 획득하는 단계, 복수의 모델을 포함하고 복수의 모델로부터 출력되는 결과값을 조합하여 최종 결과값을 출력하는 앙상블 모델에 상기 복수의 센싱 정보를 입력하는 단계, 상기 복수의 모델 중 제1 모델에 상기 복수의 센싱 정보 중 제1 센싱 정보를 입력하고, 상기 제1 모델의 입력값 및 결과값 중 적어도 하나를 이용하여 상기 제1 모델의 제1 불확실도를 획득하고, 상기 제1 불확실도를 이용하여 상기 제1 모델의 제1 결과값의 제1 가중치를 결정하는 단계, 상기 복수의 모델 중 제2 모델에 상기 복수의 센싱 정보 중 제2 센싱 정보를 입력하고, 상기 제2 모델의 입력값 및 결과값 중 적어도 하나를 이용하여 상기 제2 모델의 제2 불확실도를 획득하고, 상기 제2 불확실도를 이용하여 상기 제2 모델의 제2 결과값의 제2 가중치를 결정하는 단계, 상기 앙상블 모델을 이용하여, 상기 제1 가중치가 적용된 제1 결과값 및 상기 제2 가중치가 적용된 제2 결과값을 조합한 상기 최종 결과값을 획득하는 단계, 및, 상기 상기 최종 결과값에 기초하여 상기 생체 상태에 대응하는 동작을 수행하는 단계를 포함한다.
도 1은 본 발명의 실시 예에 따른, 생체 상태에 대한 정보를 획득하기 위하여 앙상블 모델을 발생하는 경우, 복수의 모델 들의 결과값에 동일한 가중치를 부여함에 따라 발생할 수 있는 문제점을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 인공지능 장치를 설명하기 위한 블럭도이다.
도 3은 본 발명의 실시 예에 따른 인공지능 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 4및 도 5는 본 발명의 제1 실시 예에 따른 가중치 결정 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 제2 실시 예에 따른 가중치 결정 방법을 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 제3 실시 예에 따른 가중치 결정 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 제4 실시 예에 따른, 가중치 결정 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 제5 실시 예에 따른, 가중치 결정 방법을 설명하기 위한 도면이다.
도 11은 가중치 결정 모델의 학습 과정을 설명하기 위한 도면이다.
도 12는 가중치 결정 모델이 센싱 정보에 대응하는 가중치를 결정하는 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른, 생체 상태에 대한 정보를 획득하기 위하여 앙상블 모델을 발생하는 경우, 복수의 모델 들의 결과값에 동일한 가중치를 부여함에 따라 발생할 수 있는 문제점을 설명하기 위한 도면이다.
앙상블 모델은 제1 데이터를 입력받아 제1 결과값을 출력하는 제1 모델, 제2 데이터를 입력받아 제2 결과값을 출력하는 제2 모델, 제3 데이터를 입력받아 제3 결과값을 출력하는 제3 모델을 포함할 수 있다.
여기서 앙상블 모델은 사용자의 생체 상태를 예측하기 위한 모델일 수 있다.
한편 사용자의 움직임, 생리 신호, 사용자의 소리 등의 다양한 특징(feature)을 통합하여 사용하는 경우, 사용자의 생체 상태를 더욱 정확히 예측할 수 있다.
따라서 앙상블 모델은 복수의 모델의 결과값을 조합하여 최종 결과값을 출력함으로써, 사용자의 생체 상태를 더욱 정확히 예측할 수 있다.
제1 데이터는 사용자의 움직임을 감지하여 획득한 움직임 데이터일 수 있으며, 제1 모델은 사용자의 움직임 상태를 예측하는 모델일 수 있다.
또한 제2 데이터는 심박수, 체온 등의 사용자의 생리 신호를 감지하여 획득한 생체신호 데이터일 수 있으며, 제2 모델은 사용자의 생리 상태를 예측하는 모델일 수 있다.
또한 제3 데이터는 사용자의 코골이 등 사운드 신호를 감지하여 획득한 사운드 데이터일 수 있으며, 제3 모델은 사용자의 사운드 상태를 예측하는 모델일 수 있다.
제1 모델, 제2 모델 및 제3 모델은 입력된 데이터에 기초하여 결과값을 출력할 수 있다. 그리고 앙상블 모델은 제1 모델, 제2 모델 및 제3 모델에서 출력된 결과값에 동일한 가중치를 적용하여 최종 결과값을 출력할 수 있다.
한편 앙상블 모델에는 노이즈나 학습되지 않은 데이터가 입력될 수 있다.
예를 들어, 제1 모델이 사용자의 움직임에 기초하여 사용자의 수면 중 움직임 상태를 예측하는 모델인 경우, 사용자가 자다 깨서 화장실에 가거나, 사용자의 옆 사람이 움직이거나, 주위 사물이 움직이거나 하는 등, 사용자의 움직임이 아니거나 사용자의 수면 중 움직임이 아닌 데이터가 제1 모델에 입력될 수 있다.
다른 예를 들어, 제2 모델이 사용자의 생리 신호에 기초하여 사용자의 생리 상태를 예측하는 모델인 경우, 사용자의 움직임에 의하여 호흡이나 맥박등이 잘못 측정되어 제2 모델에 입력될 수 있으며, 옆 사람의 신호가 잘못 측정되어 제2 모델에 입력될 수 있다.
또 다른 예를 들어 제3 모델이 사용자가 내는 사운드에 기초하여 사용자의 사운드 상태를 예측하는 모델인 경우, 주위 환경의 잡음이 측정되어 제3 모델에 입력되거나, 감기에 걸린 사용자가 내는 변성된 사운드가 제3 모델에 입력될 수 있다.
한편 사용자의 움직임으로 인하여 잘못된 심박수가 측정됨으로써, 제2 데이터에 노이즈가 포함되었다고 가정하여 설명한다.
노이즈가 포함된 제2 데이터가 수신되는 경우, 제2 모델은 잘못된 정답을 높은 신뢰도로 출력하게 된다. 예를 들어 실제 사용자의 심박수는 60인데 90으로 잘못 측정될 수 있으며, 90으로 측정된 신호가 입력되는 경우 제2 모델은 90에 대응하는 정답을 출력하게 된다. 다만 제2 모델은 90의 불확실도를 알 수 없기 때문에, 90에 대응하는 정답을 높은 신뢰도로 출력하게 된다.
한편 제2 모델의 결과값이 부정확 하기 때문에, 앙상블 모델이 제1 모델의 결과값, 제2 모델의 결과값, 제3 모델의 결과값에 동일한 가중치를 적용하여 최종 결과값을 출력하는 경우, 최종 결과값 역시 부정확해 지는 문제가 발생할 수 있다.
즉, 제1 모델, 제2 모델, 제3 모델은 입력되는 데이터에 따라 정답이라 확신하는 결과값을 출력할 수도 있고 정답이라 확신하지 못하는 결과값을 출력할 수도 있다. 여기서 출력하는 결과값이 정답이라고 확신하는 정도를 불확실도라고 명칭할 수 있다.
앙상블 모델이 제1 모델의 출력값, 제2 모델의 출력값, 제3 모델의 출력값 각각에 불확실도에 관계 없이 동일한 가중치를 부여하는 경우, 불확실도가 큰 출력값과 불확실도가 작은 출력값이 최종 결과값에 동일하게 반영될 수 있다. 이 경우 앙상블 모델의 최종 결과값의 신뢰도가 낮아지는 문제가 발생할 수 있다.
도 2는 본 발명의 실시 예에 따른 인공지능 장치를 설명하기 위한 블럭도이다.
본 발명의 실시 예에 따른 인공지능 장치(10)는, 센싱부(100) 및 인공지능부(200)를 포함할 수 있다.
센싱부(100)는 사용자의 생체 상태를 예측하기 위하여, 생체 상태와 관련된 복수의 센싱 정보를 획득할 수 있다.
구체적으로 제1 센싱부(110)는 제1 센싱 정보를 획득할 수 있다. 여기서 제1 센싱 정보는 사용자의 움직임을 감지하여 획득한 정보일 수 있다.
또한 제2 센싱부(120)는 제2 센싱 정보를 획득할 수 있다. 여기서 제2 센싱 정보는 사용자의 생리 신호를 감지하여 획득한 정보일 수 있다. 여기서 사용자의 생리 신호는, 심박수(heart rate), 호흡수(respiration rate), 호흡 플로우(respiration flow), 온도(temperature) 중 적어도 하나를 포함할 수 있다.
또한 제3 센싱부(130)는 제3 센싱 정보를 획득할 수 있다. 여기서 제3 센싱 정보는 사용자의 사운드를 감지하여 획득한 정보일 수 있다. 여기서 사용자의 사운드는, 코골이, 숨소리, 심장 박동 소리 중 적어도 하나를 포함할 수 있다.
한편 인공지능부(200)는 앙상블 모델(300)을 포함할 수 있다.
여기서 앙상블 모델은 제1 모델(310), 제2 모델(320) 및 제3 모델(330)을 포함할 수 있다.
여기서 제1 모델(310)은 제1 센싱 정보를 이용하여 사용자의 움직임 상태를 예측하기 위한 모델로써, 움직임 예측 모델이라 명칭될 수 있다.
또한 제2 모델(320)은 제2 센싱 정보를 이용하여 생리 상태를 예측하기 위한 모델로써, 생리 상태 예측 모델이라 명칭될 수 있다.
또한 제3 모델(330)은 제3 센싱 정보를 이용하여 사운드 상태를 예측하는 모델로써, 사운드 상태 예측 모델이라 명칭될 수 있다.
한편 센싱부(100)는 복수의 센싱 정보를 인공지능부(200)에 전송할 수 있다.
한편 인공지능부(200)는 복수의 센싱 정보를 앙상블 모델(300)에 입력값으로써 입력할 수 있다.
구체적으로 인공지능부(200)는 제1 모델(310)에 제1 센싱 정보를 입력할 수 있다. 또한 인공지능부(200)는 제2 모델(320)에 제2 센싱 정보를 입력할 수 있다. 또한 인공지능부(200)는 제3 모델(330)에 제3 센싱 정보를 입력할 수 있다.
한편 제1 모델은 입력된 제1 센싱 정보에 대응하는 제1 결과값을 출력할 수 있다. 여기서 제1 모델이 출력하는 제1 결과값은 제1 센싱 정보를 이용하여 제1 모델이 예측한 사용자의 움직임 상태를 의미할 수 있다.
제1 모델은, 제1 센싱 정보에 대응하는 결과값을 출력할 수 있도록 미리 학습된 기계 학습(Machine Learning) 모델일 수 있다.
이 경우 제1 모델은 지도 학습(Supervised Learning)에 의하여 인공신경망을 훈련시킨 모델일 수 있다. 예를 들어 제1 모델은, 사용자의 움직임 데이터 및 움직임 데이터에 대응하는 레이블(움직임 상태)을 입력하여 훈련된 모델일 수 있다.
한편 제2 모델은 입력된 제2 센싱 정보에 대응하는 제2 결과값을 출력할 수 있다. 여기서 제2 모델이 출력하는 제2 결과값은 제2 센싱 정보를 이용하여 제2 모델이 예측한 사용자의 움직임 상태를 의미할 수 있다.
제2 모델은, 제2 센싱 정보에 대응하는 결과값을 출력할 수 있도록 미리 학습된 기계 학습(Machine Learning) 모델일 수 있다.
이 경우 제2 모델은 지도 학습(Supervised Learning)에 의하여 인공신경망을 훈련시킨 모델일 수 있다. 예를 들어 제2 모델은, 사용자의 생리 데이터 및 생리 데이터에 대응하는 레이블(생리 상태)을 입력하여 훈련된 모델일 수 있다.
한편 제3 모델은 입력된 제3 센싱 정보에 대응하는 제3 결과값을 출력할 수 있다. 여기서 제3 모델이 출력하는 제3 결과값은 제3 센싱 정보를 이용하여 제3 모델이 예측한 사용자의 사운드 상태를 의미할 수 있다.
제3 모델은, 제3 센싱 정보에 대응하는 결과값을 출력할 수 있도록 미리 학습된 기계 학습(Machine Learning) 모델일 수 있다.
이 경우 제3 모델은 지도 학습(Supervised Learning)에 의하여 인공신경망을 훈련시킨 모델일 수 있다. 예를 들어 제3 모델은, 사용자의 사운드 데이터 및 사운드 데이터에 대응하는 레이블(사운드 상태)을 입력하여 훈련된 모델일 수 있다.
한편 앙상블 모델은 제1 모델로부터 출력되는 제1 결과값, 제2 모델로부터 출력되는 제2 결과값, 제3 모델로부터 출력되는 제3 결과값을 조합하여 최종 결과값을 출력할 수 있다.
예를 들어 앙상블 모델은, 제1 모델로부터 출력되는 움직임 상태, 제2 모델로부터 출력되는 생리 상태, 제3 모델로부터 출력되는 사운드 상태를 조합하여, 사용자의 수면 단계에 대한 정보를 출력할 수 있다.
이 경우 인공지능부(200)는 최종 결과값에 기초하여 사용자의 생체 상태에 대응하는 동작을 수행할 수 있다.
예를 들어 인공지능 장치(10)가 인공지능 스피커인 경우, 인공지능부(200)는 사용자의 수면 단계에 따라서 볼륨을 조절하거나 인공지능 장치(10)를 끌 수 있다.
다른 예를 들어 인공지능 장치(10)가 인공지능 조명 장치인 경우, 인공지능부(200)는 사용자의 수면 단계에 따라서 조도를 변경할 수 있다.
도 3은 본 발명의 실시 예에 따른 인공지능 장치의 동작 방법을 설명하기 위한 흐름도이다.
본 발명의 실시 예에 따른 인공지능 장치의 동작 방법은, 복수의 센싱 정보를 획득하는 단계(S410), 복수의 모델을 포함하는 앙상블 모델에 복수의 센싱 정보를 입력값으로써 입력하는 단계(S430), 복수의 모델에 입력되는 입력값 및 복수의 모델로부터 출력되는 결과값 중 적어도 하나에 기초하여 복수의 모델의 결과값의 가중치를 결정하는 단계(S450) 및 복수의 모델의 결과값에 가중치를 적용하여 출력된 최종 결과값을 획득하고, 최종 결과값에 기초하여 생체 상태에 대응하는 동작을 수행하는 단계(S470)를 포함할 수 있다.
한편 상술한 방법은, 센싱 정보를 앙상블 모델에 입력하여 최종 결과값을 획득하기 위한 것으로, 컴퓨터에서 수행될 수 있다.
한편 인공지능부는 입력값 및 결과값 중 적어도 하나를 이용하여 불확실도를 획득하고, 불확실도를 이용하여 복수의 모델의 결과값의 가중치를 조절할 수 있다.
도 4및 도 5는 본 발명의 제1 실시 예에 따른 가중치 결정 방법을 설명하기 위한 도면이다.
인공지능부는 복수의 모델(310, 320, 330)에서 출력하는 결과값에 기초하여 복수의 복수의 모델(310, 320, 330)에서 출력하는 결과값에 적용되는 가중치를 획득할 수 있다.
구체적으로 제1 모델은 복수의 클래스에 각각 대응하는 복수의 확률값을 출력할 수 있다. 이 경우 인공지능부는 복수의 확률값 간의 편차(variance)에 기초하여 제1 모델의 제1 결과값의 불확실도를 획득할 수 있다.
구체적으로 도 5를 참고하면, 제1 센싱 정보가 입력되는 경우, 제1 모델(310)은 복수의 클래스(S1, S2, S3)에 각각 대응하는 복수의 스코어(1.79, 1.8, 1.7)을 획득할 수 있다. 여기서 복수의 클래스(S1, S2, S3)는 제1 모델(310)이 예측해야 하는 정답으로써, 복수의 움직임 상태를 각각 나타낼 수 있다.
또한 제1 모델(310)은 복수의 스코어(1.79, 1.8, 1.7)에 각각 대응하는 복수의 확률값(0.34, 0.35, 0.31)을 획득할 수 있다.
한편 인공지능부는 제1 불확실도 결정 모델(311)을 포함할 수 있다. 그리고 제2 불확실도 결정 모델(311)는 복수의 확률값(0.34, 0.35, 0.31) 간의 편차를 이용하여 제1 모델의 결과값(S2)의 가중치(W1)를 획득할 수 있다.
구체적으로, 제1 클래스(S1)는 사용자가 숨을 쉴 때 일어나는 가슴의 움직임, 제2 클래스(S2)가 사용자가 왼쪽으로 뒤척이는 움직임, 제3 클래스(S2)가 사용자가 몸을 뒤집는 움직임이라고 가정한다. 그리고 제1 센싱 정보가 사용자가 왼쪽으로 뒤척이는 움직임을 감지한 정보인 경우, 제2 클래스(S2)에 대응하는 확률은 매우 높게, 예를 들어 1에 가까운 확률값으로 출력되게 된다.
이 경우 제1 클래스(S1)에 대응하는 확률값과 제3 클래스(S3)에 대응하는 확률값은 매우 낮게, 예를 들어 0에 가까운 확률값으로 출력되게 된다.
이 경우 복수의 확률값 간의 편차(variance)은 크다, 그리고 복수의 확률값 간의 편차(variance)이 큰 경우, 제1 불확실도 결정 모델(311)은 제1 모델의 제1 결과값(S2)의 불확실도를 낮은 레벨로 결정할 수 있다.
다른 예를 들어, 제1 클래스(S1)는 사용자가 숨을 쉴 때 일어나는 가슴의 움직임, 제2 클래스(S2)가 사용자가 왼쪽으로 뒤척이는 움직임, 제3 클래스(S2)가 사용자가 몸을 뒤집는 움직임이라고 가정한다. 그리고 제1 센싱 정보가 노이즈(사용자가 화장실에 가는 움직임)이라고 가정한다.
제1 센싱 정보가 노이즈인 경우, 제1 모델이 예측해야 하는 정답과는 다른 데이터가 입력되는 것이기 때문에, 복수의 확률값(0.34, 0.35, 0.31) 간의 편차(variance)은 작아지게 된다. 그리고 복수의 복수의 확률값(0.34, 0.35, 0.31) 간의 편차(variance)이 작은 경우, 제1 불확실도 결정 모델(311)은 제1 모델의 제1 결과값(S2)의 불확실도를 높은 레벨로 결정할 수 있다.
한편 제1 불확실도 결정 모델(311)은, 제1 결과값(S2)의 불확실도에 기초하여 제1 결과값(S2)의 제1 가중치(W1)를 결정할 수 있다.
구체적으로, 제1 결과값(S2)의 불확실도가 낮은 레벨인 경우, 제1 불확실도 결정 모델(311)은 높은 레벨의 가중치(W1)을 출력할 수 있다.
한편 제1 모델은 제1 센싱 정보에 대응하는 결과값을 출력할 수 있다. 구체적으로, 제1 모델은 스코어가 가장 크거나 확률값이 가장 큰 클래스(S2)를 결과값으로서 출력할 수 있다.
한편 앙상블 모델(300)은 제1 모델의 결과값(S2)에 제1 가중치(W1)를 적용(S2*W1)할 수 있다.
한편 이와 동일한 과정이 제2 모델 및 제3 모델에서도 수행될 수 있다.
구체적으로 인공지능부는 제2 불확실도 결정 모델(321)를 포함할 수 있다. 그리고 제2 불확실도 결정 모델(321)은 제2 모델(320)에서 출력되는 복수의 확률값 간의 편차에 기초하여 제2 모델의 결과값의 불확실도를 획득하고, 제2 모델의 결과값의 제2 가중치(W2)를 결정할 수 있다.
또한 인공지능부는 제3 불확실도 결정 모델(331)를 포함할 수 있다. 그리고 제3 불확실도 결정 모델(331)은 제3 모델(330)에서 출력되는 복수의 확률값 간의 편차에 기초하여 제3 모델의 결과값의 불확실도를 획득하고, 제3 모델의 결과값의 제3 가중치(W3)를 결정할 수 있다.
한편 앙상블 모델(300)은 제1 모델의 제1 결과값에 제1 가중치(W1)를 적용하고, 제2 모델의 제2 결과값에 제2 가중치(W2)를 적용하고, 제3 모델의 제3 결과값에 제3 가중치(W3)를 적용할 수 있다.
그리고 앙상블 모델(300)은 제1 가중치가 적용된 제1 결과값, 제2 가중치가 적용된 제2 결과값 및 제3 가중치가 적용된 제3 결과값을 이용하여 최종 결과값을 출력할 수 있다.
도 6은 본 발명의 제2 실시 예에 따른 가중치 결정 방법을 설명하기 위한 도면이다.
도 4를 함께 참고하여 설명한다.
제1 모델(310) 역시 복수의 단일 모델(310a, 310b, 310c, 310d)을 포함하는 하나의 앙상블 모델(ensemble model)일 수 있다.
인공지능부는 하나의 입력값에 대하여 복수의 단일 모델(310a, 310b, 310c, 310d)을 무작위로 조합하여 출력되는 복수의 확률값 세트(621, 622, 623, 624)를 획득할 수 있다.
구체적으로 제1 모델(310)는 제1 센싱 정보가 입력되면, 복수의 단일 모델(310a, 310b, 310c, 310d)을 무작위로 조합하여 복수의 스코어 세트(611, 612, 613, 614)를 출력할 수 있다. 또한 제1 모델(310)은 복수의 스코어 세트(611, 612, 613, 614)에 각각 대응하는 복수의 확률값 세트(621, 622, 623, 624)를 출력할 수 있다.
이 경우 인공지능부는 복수의 단일 모델(310a, 310b, 310c, 310d)을 무작위로 조합하여 출력된 복수의 확률값 세트(621, 622, 623, 624) 간의 편차에 기초하여 제1 모델의 제1 결과값의 불확실도를 획득할 수 있다.
또한 인공지능부는 제1 결과값의 불확실도에 기초하여 제1 모델의 결과값(S2)의 가중치(W1)를 획득할 수 있다.
예를 들어 제1 확률값 세트(621)는 제1 단일 모델, 제2 단일 모델 및 제n 단일 모델의 결과값을 조합하여 출력한 스코어 세트(611)에 대응하는 확률값 세트일 수 있다.
또 다른 예를 들어 제2 확률값 세트(622)는 제1 단일 모델, 제3 단일 모델 및 제n 단일 모델의 결과값을 조합하여 출력한 스코어 세트(612)에 대응하는 확률값 세트일 수 있다.
한편 제1 센싱 정보가 복수의 단일 모델(310a, 310b, 310c, 310d)에서 미리 학습된 데이터인 경우, 복수의 확률값 세트(621, 622, 623, 624) 간의 편차는 작을 수 있다.
그리고 복수의 확률값 세트(621, 622, 623, 624) 간의 편차가 작은 경우, 제1 불확실도 결정 모델(311)은 제1 모델의 제1 결과값(S2)의 불확실도를 낮은 레벨로 결정할 수 있다.
반대로 제1 센싱 정보가 노이즈로써, 복수의 단일 모델(310a, 310b, 310c, 310d)에서 미리 학습된 데이터가 아닌 경우, 복수의 확률값 세트(621, 622, 623, 624) 간의 편차는 클 수 있다.
그리고 복수의 확률값 세트(621, 622, 623, 624) 간의 편차가 큰 경우, 제1 불확실도 결정 모델(311)은 제1 모델의 제1 결과값(S2)의 불확실도를 높은 레벨로 결정할 수 있다.
한편 제1 불확실도 결정 모델(311)은, 제1 결과값(S2)의 불확실도에 기초하여 제1 결과값(S2)의 제1 가중치(W1)를 결정할 수 있다.
구체적으로, 제1 결과값(S2)의 불확실도가 낮은 레벨인 경우, 제1 불확실도 결정 모델(311)은 높은 레벨의 가중치(W1)을 출력할 수 있다.
또한 제1 결과값(S2)의 불확실도가 높은 레벨인 경우, 제1 불확실도 결정 모델(311)은 낮은 레벨의 가중치(W1)을 출력할 수 있다.
한편 제1 모델은 제1 센싱 정보에 대응하는 결과값을 출력할 수 있다. 구체적으로, 제1 모델은 스코어가 가장 크거나 확률값이 가장 큰 클래스(S2)를 결과값으로서 출력할 수 있다.
한편 앙상블 모델(300)은 제1 모델의 결과값(S2)에 제1 가중치(W1)를 적용(S2*W1)할 수 있다.
한편 이와 동일한 과정이 제2 모델 및 제3 모델에서도 수행될 수 있다.
예를 들어, 제2 모델(320)은 복수의 단일 모델을 포함하는 앙상블 모델일 수 있다. 또한 제2 센싱 정보가 입력되면, 복수의 단일 모델을 무작위로 조합하여 복수의 확률값 세트를 출력할 수 있다.
이 경우 인공지능부는 복수의 단일 모델을 무작위로 조합하여 출력된 복수의 확률값 세트 간의 편차에 기초하여 제2 모델의 제2 결과값의 불확실도를 획득할 수 있다.
또한 인공지능부는 제2 결과값의 불확실도에 기초하여 제2 모델의 결과값의 가중치를 획득할 수 있다.
한편 앙상블 모델(300)은 제1 모델의 제1 결과값에 제1 가중치(W1)를 적용하고, 제2 모델의 제2 결과값에 제2 가중치(W2)를 적용하고, 제3 모델의 제3 결과값에 제3 가중치(W3)를 적용할 수 있다.
그리고 앙상블 모델(300)은 제1 가중치가 적용된 제1 결과값, 제2 가중치가 적용된 제2 결과값 및 제3 가중치가 적용된 제3 결과값을 이용하여 최종 결과값을 출력할 수 있다.
도 7 및 도 8은 본 발명의 제3 실시 예에 따른 가중치 결정 방법을 설명하기 위한 도면이다.
인공지능부는 복수의 모델(310, 320, 330)에 입력되는 센싱 정보에 기초하여 복수의 모델(310, 320, 330)에서 출력하는 결과값에 적용되는 가중치를 획득할 수 있다.
구체적으로 제1 모델에는 제1 센싱 정보가 입력될 수 있다. 이 경우 제1 센싱 정보는 제1 불확실도 결정 모델(311)에 입력될 수 있다. 여기서 제1 불확실도 결정 모델(311)은 제1 센싱 정보의 노이즈를 기 학습한 기계 학습 모델(820)일 수 있다.
구체적으로 도 8을 참고하면, 제1 불확실도 결정 모델(311)은 노이즈 데이터(N) 및 노이즈 데이터(N)에 대응하는 불확실도를 입력하여 훈련된 기계 학습 모델(820)일 수 있다.
예를 들어 제1 불확실도 결정 모델(311)은 사용자가 화장실에 갈 때 감지되는 센싱 정보 및 이에 대응하는 불확실도를 입력하여 훈련된 기계 학습 모델일 수 있다.
한편 제1 센싱 정보가 제1 불확실도 결정 모델(311)에 입력되면, 제1 불확실도 결정 모델(311)은 제1 센싱 정보에 대응하는 불확실도를 출력할 수 있다.
그리고 인공지능부(300)는 제1 불확실도 결정 모델(311)에서 출력되는 불확실도에 기초하여 제1 모델의 결과값의 가중치를 결정할 수 있다.
한편 이와 동일한 과정이 제2 모델 및 제3 모델에서도 수행될 수 있다.
예를 들어, 제2 센싱 정보가 제2 불확실도 결정 모델(321)에 입력되면, 제2 불확실도 결정 모델(321)은 제2 센싱 정보에 대응하는 불확실도를 출력할 수 있다. 이 경우 인공지능부(300)는 제2 불확실도 결정 모델(321)에서 출력되는 불확실도에 기초하여 제2 모델의 결과값의 가중치를 결정할 수 있다.
또한, 제3 센싱 정보가 제3 불확실도 결정 모델(331)에 입력되면, 제3 불확실도 결정 모델(331)은 제3 센싱 정보에 대응하는 불확실도를 출력할 수 있다. 이 경우 인공지능부(300)는 제3 불확실도 결정 모델(331)에서 출력되는 불확실도에 기초하여 제3 모델의 결과값의 가중치를 결정할 수 있다.
한편 앙상블 모델(300)은 제1 모델의 제1 결과값에 제1 가중치(W1)를 적용하고, 제2 모델의 제2 결과값에 제2 가중치(W2)를 적용하고, 제3 모델의 제3 결과값에 제3 가중치(W3)를 적용할 수 있다.
그리고 앙상블 모델(300)은 제1 가중치가 적용된 제1 결과값, 제2 가중치가 적용된 제2 결과값 및 제3 가중치가 적용된 제3 결과값을 이용하여 최종 결과값을 출력할 수 있다.
도 9는 본 발명의 제4 실시 예에 따른, 가중치 결정 방법을 설명하기 위한 도면이다.
인공지능부는 복수의 모델(310, 320, 330)에 입력되는 센싱 정보에 기초하여 복수의 모델(310, 320, 330)에서 출력하는 결과값에 적용되는 가중치를 획득할 수 있다.
제1 모델에는 제1 센싱 정보가 입력될 수 있다. 이 경우 제1 센싱 정보는 제1 불확실도 결정 모델(311)에 입력될 수 있다. 여기서 제1 불확실도 결정 모델(311)은 제1 모델의 복수의 클래스를 기 학습한 오토 인코더일 수 있다.
구체적으로, 제1 클래스(S1)는 사용자가 숨을 쉴 때 일어나는 가슴의 움직임, 제2 클래스(S2)가 사용자가 왼쪽으로 뒤척이는 움직임, 제3 클래스(S2)가 사용자가 몸을 뒤집는 움직임인 경우, 제1 클래스(S1)에 대응하는 센싱 정보, 제2 클래스(S2)에 대응하는 센싱 정보 및 제3 클래스(S3)에 대응하는 센싱 정보는 오토 인코더(930)에 학습데이터 및 출력 데이터로서 제공될 수 있다. 그리고 오토 인코더(930)는 학습 데이터 및 출력 데이터의 로스(loss)을 최소화 하도록 훈련될 수 있다.
한편 제1 센싱 정보(910)가 오토 인코더(930)에 입력되면, 오토 인코더는 입력된 제1 센싱 정보(910)에 대응하는 결과값을 출력할 수 있다.
이 경우 제1 불확실도 결정 모델(311)은 오토 인코더에 입력되는 제1 센싱 정보 및 오토 인코더에서 출력된 결과값의 로스(loss)에 기초하여 제1 모델의 결과값의 불확실도를 획득할 수 있다.
오토 인코더의 특성상, 기 학습한 데이터와 유사한 데이터에 대해서는 입력 값을 거의 동일하게 복원하려 결과 값을 출력할 수 있지만, 기 학습한 데이터와 다른 데이터가 입력되는 경우에는 복원을 제대로 수행할 수 없다.
예를 들어, 제1 센싱 정보(910)가 제1 클래스(S1)를 감지한 데이터인 경우, 오토 인코더에 입력되는 제1 센싱 정보와 오토 인코더에서 출력되는 결과 값의 로스(loss)가 작다. 그리고 로스(loss)가 작은 경우 제1 모델의 결과값의 불확실도는 낮은 레벨일 수 있다.
그리고 제1 모델의 결과값의 불확실도가 낮은 레벨인 경우, 인공지능부는 높은 레벨의 가중치를 출력할 수 있다.
다른 예를 들어 제1 센싱 정보(910)가 노이즈인 경우, 오토 인코더에 입력되는 제1 센싱 정보와 오토 인코더에서 출력되는 결과 값의 로스(loss)가 크다. 그리고 로스(loss)가 큰 경우 제1 모델의 결과값의 불확실도는 높은 레벨일 수 있다.
그리고 제1 모델의 결과값의 불확실도가 높은 레벨인 경우, 인공지능부는 낮은 레벨의 가중치를 출력할 수 있다.
한편 이와 동일한 과정이 제2 모델 및 제3 모델에서도 수행될 수 있다.
그리고 앙상블 모델(300)은 제1 모델의 제1 결과값에 제1 가중치(W1)를 적용하고, 제2 모델의 제2 결과값에 제2 가중치(W2)를 적용하고, 제3 모델의 제3 결과값에 제3 가중치(W3)를 적용할 수 있다.
그리고 앙상블 모델(300)은 제1 가중치가 적용된 제1 결과값, 제2 가중치가 적용된 제2 결과값 및 제3 가중치가 적용된 제3 결과값을 이용하여 최종 결과값을 출력할 수 있다.
도 10은 본 발명의 제5 실시 예에 따른, 가중치 결정 방법을 설명하기 위한 도면이다.
인공지능부는 복수의 모델(310, 320, 330)에 입력되는 센싱 정보 및 복수의 모델(310, 320, 330)에서 출력되는 결과값에 기초하여 복수의 모델(310, 320, 330)의 결과값에 적용되는 가중치를 획득할 수 있다.
구체적으로 제1 불확실도 결정 모델은 제1 모델에 입력되는 제1 센싱 정보를 이용하여 제1-1 불확실도(Ux)를 획득할 수 있다. 또한 제1 불확실도 결정 모델은 제1 모델에서 출력되는 출력값을 이용하여 제1-2 불확실도(Uy`)를 획득할 수 있다.
이 경우 제1 불확실도 결정 모델은, 제1-1 불확실도(Ux) 및 제1-2 불확실도(Uy`)를 이용하여 제1 모델의 결과값의 불확실도를 획득하고, 제1 모델의 결과값에 적용되는 제1 가중치(W1)를 획득할 수 있다.
한편 이와 동일한 과정이 제2 모델 및 제3 모델에서도 수행될 수 있다.
그리고 앙상블 모델(300)은 제1 모델의 제1 결과값에 제1 가중치(W1)를 적용하고, 제2 모델의 제2 결과값에 제2 가중치(W2)를 적용하고, 제3 모델의 제3 결과값에 제3 가중치(W3)를 적용할 수 있다.
그리고 앙상블 모델(300)은 제1 가중치가 적용된 제1 결과값, 제2 가중치가 적용된 제2 결과값 및 제3 가중치가 적용된 제3 결과값을 이용하여 최종 결과값을 출력할 수 있다.
한편 인공지능부는 가중치 결정 모델(미도시)를 포함할 수 있다. 그리고 가중치 결정 모델(미도시)은 제1 센싱 정보, 제2 센싱 정보 및 제3 센싱 정보에 대응하는 가중치(W1, W2, W3)를 출력할 수 있다.
구체적으로 가중치 결정 모델(미도시)은 불확실도에 따른 가중치를 기 학습한 학습 모델일 수 있다.
가중치 결정 모델의 학습 과정에 대해서는 도 11을 참고하여 설명한다.
센싱 데이터가 학습 데이터로써 입력될 수 있다. 이 경우 복수의 모델은 입력 데이터에 대응하는 결과값을 출력할 수 있다.
한편 센싱 정보는 입력에 대한 불확실도 결정 모델에 입력될 수 있으며, 입력에 대한 불확실도 결정 모델은 센싱 정보에 대응하는 불확실도(Ux)를 출력할 수 있다.
또한 복수의 모델에서 출력된 결과값은 결과값에 대한 불확실도 결정 모델에 입력될 수 있다. 이 경우 결과값에 대한 불확실도 결정 모델은 복수의 모델에서 출력된 결과값에 대응하는 불확실도(Uy`)를 출력할 수 있다.
한편 앙상블 모델은 센싱 정보에 대응하는 불확실도(Ux) 및 결과값에 대응하는 불확실도(Uy`)를 조합하여 가중치(π(Ux, Uy’))를 획득하고, 획득한 가중치를 결과값에 적용한 최종 결과값(π(Ux, Uy’)F(x))을 획득할 수 있다.
한편 가중치 결정 모델은, 학습 데이터와 최종 결과값(π(Ux, Uy’)F(x)) 사이의 로스(L(π(Ux, Uy’)Fx, y))가 최소화 되거나, 불확실도가 최소화 되는 가중치를 탐색할 수 있다.
이는 아래와 같은 수식으로 나타낼 수 있다.
Figure pat00001
그리고 가중치 결정 모델은, 수학식 2에서 로스가 최소화 되는 a, b, c를 찾거나, 수학식 3에서 로스가 최소화 되는 a를 찾을 수 있다.
Figure pat00002
Figure pat00003
그리고 이와 같은 과정의 반복을 통하여, 가중치 결정 모델은 센싱 정보에 대응하는 가중치를 예측하도록 학습될 수 있다.
도 12는 가중치 결정 모델이 센싱 정보에 대응하는 가중치를 결정하는 방법을 설명하기 위한 도면이다.
센싱 정보가 입력될 수 있다. 이 경우 복수의 모델은 입력 데이터에 대응하는 결과값을 출력할 수 있다.
한편 센싱 정보는 입력에 대한 불확실도 결정 모델에 입력될 수 있으며, 입력에 대한 불확실도 결정 모델은 센싱 정보에 대응하는 불확실도(Ux)를 출력할 수 있다.
또한 복수의 모델에서 출력된 결과값은 결과값에 대한 불확실도 결정 모델에 입력될 수 있다. 이 경우 결과값에 대한 불확실도 결정 모델은 복수의 모델에서 출력된 결과값에 대응하는 불확실도(Uy`)를 출력할 수 있다.
한편 기 학습된 가중치 결정 모델은 센싱 정보에 대응하는 불확실도(Ux) 및 결과값에 대응하는 불확실도(Uy`)를 이용하여 가중치(π(Ux, Uy’))를 출력할 수 있다.
이 경우 앙상블 모델은, 복수의 모델의 결과값에 가중치를 적용하여 최종 결과값을 출력할 수 있다.
한편 앙상블 모델은 불확실도에 기초하여 최종 결과값을 출력하거나 출력하지 않을 수 있다.
예를 들어 불확실도가 임계값 보다 작은 경우 앙상블 모델은 최종 결과값을 출력할 수 있다.
반대로 불확실도가 임계값 보다 큰 경우 앙상블 모델은 최종 결과값을 출력하지 않거나, 정답을 찾을 수 없다는 정보를 출력할 수 있다.
도 13은 본 발명의 제6 실시 예에 따른, 가중치 결정 방법을 설명하기 위한 도면이다.
인공지능부는 복수의 모델(310, 320, 330)에 입력되는 센싱 정보 및 복수의 모델(310, 320, 330)에서 출력되는 결과값에 기초하여 복수의 모델(310, 320, 330)의 결과값에 적용되는 가중치를 획득할 수 있다.
구체적으로 제1-1 불확실도 결정 모델(313)은 제1 모델에 입력되는 제1 센싱 정보를 이용하여 제1-1 불확실도를 획득할 수 있다.
제1-1 불확실도 결정 모델(313)은 제1-1 불확실도가 기 설정된 값보다 낮은지 판단할 수 있다. 그리고 제1-1 불확실도가 기 설정된 값보다 낮은 경우, 제1 센싱 정보를 제1 모델에 입력할 수 있다. 반대로 제1-1 불확실도가 기 설정된 값보다 낮은 경우, 제1 센싱 정보가 제1 모델에 입력되는 것을 차단할 수 있다.
한편 제1-2불확실도 결정 모델(314)은 제1 모델에서 출력되는 결과값을 이용하여 제1-2 불확실도를 획득할 수 있다. 그리고 제1-2불확실도 결정 모델(314)은 제 1-2불확실도에 기초하여 제1 결과값(S2)의 제1 가중치(W1)를 결정할 수 있다.
이와 같은 과정은 제2 모델 및 제3 모델에도 동일하게 수행될 수 있다.
본 발명은, 움직임 모델, 사운드 모델, 생리 모델을 조합한 앙상블 모델을 이용하여 사용자의 생체 정보를 획득함으로써, 질(quality)이 떨어지는 센싱 정보가 수신되는 경우 발생될 수 있는 성능 저하를 방지할 수 있다.
또한 본 발명은, 각각의 모델의 결과값의 불확실도를 산출함으로써, 각각의 모델에 입력되는 센싱 정보의 질(quality)을 판단할 수 있다. 그리고 센싱 정보의 질(quality)이 낮은 모델의 출력값에 대해서는 가중치를 낮추고, 센싱 정보의 질(quality)이 높은 모델의 출력값에 대해서는 가중치를 높힘으로써, 신뢰성이 높은 최종 결과값을 출력할 수 있는 장점이 있다.
또한 신뢰도가 낮은 경우에는 최종 결과값을 출력하지 않음으로써, 잘못된 최종 결과값의 출력에 따른 위험을 방지할 수 있는 장점이 있다.
한편 본 발명이 사용자의 수면 상태를 판단하기 위하여 적용되는 것으로 설명하였으나 이에 한정되지 않는다.
예를 들어 본 발명은 자율 주행 차량처럼, 다양한 센서를 통하여 수집되는 정보를 이용하여 최적의 동작을 결정해야 하는 장치에서 사용될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10: 인공지능 장치 100: 센싱부
200: 인공지능부 300: 앙상블 모델

Claims (14)

  1. 센싱 정보를 앙상블 모델에 입력하여 최종 결과값을 획득하기 위하여 컴퓨터에서 수행되는 방법에 있어서,
    생체 상태과 관련된 복수의 센싱 정보를 획득하는 단계;
    복수의 모델을 포함하고 복수의 모델로부터 출력되는 결과값을 조합하여 최종 결과값을 출력하는 앙상블 모델에 상기 복수의 센싱 정보를 입력하는 단계;
    상기 복수의 모델 중 제1 모델에 상기 복수의 센싱 정보 중 제1 센싱 정보를 입력하고, 상기 제1 모델의 입력값 및 결과값 중 적어도 하나를 이용하여 상기 제1 모델의 제1 불확실도를 획득하고, 상기 제1 불확실도를 이용하여 상기 제1 모델의 제1 결과값의 제1 가중치를 결정하는 단계;
    상기 복수의 모델 중 제2 모델에 상기 복수의 센싱 정보 중 제2 센싱 정보를 입력하고, 상기 제2 모델의 입력값 및 결과값 중 적어도 하나를 이용하여 상기 제2 모델의 제2 불확실도를 획득하고, 상기 제2 불확실도를 이용하여 상기 제2 모델의 제2 결과값의 제2 가중치를 결정하는 단계;
    상기 앙상블 모델을 이용하여, 상기 제1 가중치가 적용된 제1 결과값 및 상기 제2 가중치가 적용된 제2 결과값을 조합한 상기 최종 결과값을 획득하는 단계; 및
    상기 최종 결과값에 기초하여 상기 생체 상태에 대응하는 동작을 수행하는 단계를 포함하는
    컴퓨터에서 수행되는 방법.
  2. 제 1항에 있어서,
    상기 제1 모델은,
    복수의 클래스에 각각 대응하는 복수의 확률값을 출력하고,
    상기 제1 가중치를 결정하는 단계는,
    상기 복수의 확률값 간의 편차(variance)에 기초하여 상기 제1 불확실도를 획득하는 단계를 포함하는
    컴퓨터에서 수행되는 방법.
  3. 제 1항에 있어서,
    상기 제1 모델은, 복수의 단일 모델을 포함하고,
    상기 제1 가중치를 결정하는 단계는,
    하나의 입력값에 대하여 상기 복수의 단일 모델을 무작위로 조합하여 출력되는 복수의 확률값 세트를 획득하고, 상기 복수의 확률값 세트의 편차에 기초하여 상기 제1 불확실도를 획득하는 단계를 포함하는
    컴퓨터에서 수행되는 방법.
  4. 제 1항에 있어서,
    상기 제1 가중치를 결정하는 단계는,
    상기 제1 센싱 정보를, 상기 제1 센싱 정보의 노이즈를 기 학습한 기계 학습 모델에 입력하고, 상기 기계 학습 모델에서 출력되는 상기 제1 불확실도를 획득하는 단계를 포함하는
    컴퓨터에서 수행되는 방법.
  5. 제 1항에 있어서,
    상기 제1 가중치를 결정하는 단계는,
    상기 제1 센싱 정보를, 상기 제1 모델의 복수의 클래스를 기 학습한 오토 인코더에 입력하고, 상기 오토 인코더의 입력값 및 결과값 사이의 로스에 기초하여 상기 제1 불확실도를 획득하는 단계를 포함하는
    컴퓨터에서 수행되는 방법.
  6. 제 1항에 있어서,
    상기 제1 가중치를 결정하는 단계는,
    상기 제1 모델에 입력되는 상기 제1 센싱 정보 및 상기 제1 모델에서 출력되는 결과값에 기초하여 상기 제1 결과값의 상기 제1 가중치를 결정하는 단계를 포함하는
    컴퓨터에서 수행되는 방법.
  7. 제 1항에 있어서,
    상기 제1 센싱 정보는, 사용자의 움직임을 감지하여 획득한 정보이고,
    상기 제2 센싱 정보는, 상기 사용자의 생리 신호인
    컴퓨터에서 수행되는 방법.
  8. 생체 상태과 관련된 복수의 센싱 정보를 획득하는 센싱부; 및
    복수의 모델을 포함하고 복수의 모델로부터 출력되는 결과값을 조합하여 최종 결과값을 출력하는 앙상블 모델에 상기 복수의 센싱 정보를 입력하고,
    상기 복수의 모델 중 제1 모델에 상기 복수의 센싱 정보 중 제1 센싱 정보를 입력하고, 상기 제1 모델의 입력값 및 결과값 중 적어도 하나를 이용하여 상기 제1 모델의 제1 불확실도를 획득하고, 상기 제1 불확실도를 이용하여 상기 제1 모델의 제1 결과값의 제1 가중치를 결정하고,
    상기 복수의 모델 중 제2 모델에 상기 복수의 센싱 정보 중 제2 센싱 정보를 입력하고, 상기 제2 모델의 입력값 및 결과값 중 적어도 하나를 이용하여 상기 제2 모델의 제2 불확실도를 획득하고, 상기 제2 불확실도를 이용하여 상기 제2 모델의 제2 결과값의 제2 가중치를 결정하고,
    상기 앙상블 모델을 이용하여, 상기 제1 가중치가 적용된 제1 결과값 및 상기 제2 가중치가 적용된 제2 결과값을 조합한 상기 최종 결과값을 획득하고,
    상기 상기 최종 결과값에 기초하여 상기 생체 상태에 대응하는 동작을 수행하는 인공지능부;를 포함하는
    인공지능 장치.
  9. 제 8항에 있어서,
    상기 제1 모델은,
    복수의 클래스에 각각 대응하는 복수의 확률값을 출력하고,
    상기 인공지능부는,
    상기 복수의 확률값 간의 편차(variance)에 기초하여 상기 제1 불확실도를 획득하는
    인공지능 장치.
  10. 제 8항에 있어서,
    상기 제1 모델은, 복수의 단일 모델을 포함하고,
    상기 제1 가중치를 결정하는 단계는,
    하나의 입력값에 대하여 상기 복수의 단일 모델을 무작위로 조합하여 출력되는 복수의 확률값 세트를 획득하고, 상기 복수의 확률값 세트의 편차에 기초하여 상기 제1 불확실도를 획득하는 단계를 포함하는
    인공지능 장치.
  11. 제 8항에 있어서,
    상기 제1 가중치를 결정하는 단계는,
    상기 제1 센싱 정보를, 상기 제1 센싱 정보의 노이즈를 기 학습한 기계 학습 모델에 입력하고, 상기 기계 학습 모델에서 출력되는 상기 제1 불확실도를 획득하는 단계를 포함하는
    인공지능 장치.
  12. 제 8항에 있어서,
    상기 제1 가중치를 결정하는 단계는,
    상기 제1 센싱 정보를, 상기 제1 모델의 복수의 클래스를 기 학습한 오토 인코더에 입력하고, 상기 오토 인코더의 입력값 및 결과값 사이의 로스에 기초하여 상기 제1 불확실도를 획득하는 단계를 포함하는
    인공지능 장치.
  13. 제 8항에 있어서,
    상기 제1 가중치를 결정하는 단계는,
    상기 제1 모델에 입력되는 상기 제1 센싱 정보 및 상기 제1 모델에서 출력되는 결과값에 기초하여 상기 제1 결과값의 상기 제1 가중치를 결정하는 단계를 포함하는
    인공지능 장치.
  14. 제 8항에 있어서,
    상기 제1 센싱 정보는, 사용자의 움직임을 감지하여 획득한 정보이고,
    상기 제2 센싱 정보는, 상기 사용자의 생리 신호인
    인공지능 장치.
KR1020180112480A 2018-09-19 2018-09-19 인공지능 장치 KR20200036085A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180112480A KR20200036085A (ko) 2018-09-19 2018-09-19 인공지능 장치
PCT/KR2018/012271 WO2020059939A1 (ko) 2018-09-19 2018-10-17 인공지능 장치
US16/168,415 US11449790B2 (en) 2018-09-19 2018-10-23 Artificial intelligence device and method for executing an operation based on predicted biometric state of a user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180112480A KR20200036085A (ko) 2018-09-19 2018-09-19 인공지능 장치

Publications (1)

Publication Number Publication Date
KR20200036085A true KR20200036085A (ko) 2020-04-07

Family

ID=69774508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180112480A KR20200036085A (ko) 2018-09-19 2018-09-19 인공지능 장치

Country Status (3)

Country Link
US (1) US11449790B2 (ko)
KR (1) KR20200036085A (ko)
WO (1) WO2020059939A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132565A1 (ko) * 2022-01-05 2023-07-13 엘지전자 주식회사 개인화된 건강 예측 학습 모델을 구비한 건강 예측 시스템 및 그 시스템의 제어 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3906508B1 (en) * 2018-12-31 2024-03-13 Intel Corporation Securing systems employing artificial intelligence
KR20190114925A (ko) * 2019-09-19 2019-10-10 엘지전자 주식회사 소리 신호 분류를 이용한 인공지능장치 및 그 방법
US11556825B2 (en) * 2019-11-26 2023-01-17 International Business Machines Corporation Data label verification using few-shot learners
JP7343168B2 (ja) * 2019-12-05 2023-09-12 株式会社Agama-X 情報処理装置、プログラム、及び、方法
US20220151567A1 (en) * 2020-11-17 2022-05-19 Siemens Healthcare Gmbh Joint assessment of myocardial strain and intracardiac blood flow
US20220351033A1 (en) * 2021-04-28 2022-11-03 Arm Limited Systems having a plurality of neural networks

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10216893B2 (en) * 2010-09-30 2019-02-26 Fitbit, Inc. Multimode sensor devices
US9250625B2 (en) * 2011-07-19 2016-02-02 Ge Intelligent Platforms, Inc. System of sequential kernel regression modeling for forecasting and prognostics
US9064215B2 (en) * 2012-06-14 2015-06-23 Qualcomm Incorporated Learning spike timing precision
US8527276B1 (en) * 2012-10-25 2013-09-03 Google Inc. Speech synthesis using deep neural networks
US20150134413A1 (en) * 2013-10-31 2015-05-14 International Business Machines Corporation Forecasting for retail customers
WO2016039805A1 (en) * 2014-09-12 2016-03-17 Ge Intelligent Platforms, Inc. Apparatus and method for ensembles of kernel regression models
EP3256956A1 (en) 2015-02-12 2017-12-20 Koninklijke Philips N.V. Robust classifier
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
TWI663936B (zh) * 2016-12-16 2019-07-01 床的世界股份有限公司 一種智慧床及其控制流程
US11670422B2 (en) * 2017-01-13 2023-06-06 Microsoft Technology Licensing, Llc Machine-learning models for predicting decompensation risk
WO2018142703A1 (ja) * 2017-02-02 2018-08-09 日本電信電話株式会社 異常要因推定装置、異常要因推定方法及びプログラム
US11468297B2 (en) * 2017-10-26 2022-10-11 Uber Technologies, Inc. Unit-level uncertainty and propagation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132565A1 (ko) * 2022-01-05 2023-07-13 엘지전자 주식회사 개인화된 건강 예측 학습 모델을 구비한 건강 예측 시스템 및 그 시스템의 제어 방법

Also Published As

Publication number Publication date
US20200089653A1 (en) 2020-03-19
WO2020059939A1 (ko) 2020-03-26
US11449790B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
KR20200036085A (ko) 인공지능 장치
JP6614981B2 (ja) ニューラルネットワークの学習方法及び装置、及び認識方法及び装置
JP7001593B2 (ja) 人工知能およびユーザ入力を用いて発達進度を判定するための方法および装置
JP6606349B2 (ja) 神経網学習方法及び装置、データ処理装置
Alemdar et al. Multi-resident activity tracking and recognition in smart environments
US20200034739A1 (en) Method and device for estimating user's physical condition
Saha et al. DU-MD: An open-source human action dataset for ubiquitous wearable sensors
JP7307926B2 (ja) 被検体の致命的症状の発生を早期に予測するための予測結果を生成する方法、及びそれを利用する装置
KR20200005986A (ko) 얼굴인식을 이용한 인지장애 진단 시스템 및 방법
KR101579585B1 (ko) 사용자 행동 모니터링 방법, 장치, 시스템 및 이를 수행하기 위한 기록매체
Park et al. Reliable and trustworthy machine learning for health using dataset shift detection
Cai et al. GBDT-based fall detection with comprehensive data from posture sensor and human skeleton extraction
US20220391697A1 (en) Machine-learning based gesture recognition with framework for adding user-customized gestures
US20210134319A1 (en) System and method for passive subject specific monitoring
KR20200115692A (ko) 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법
KR20200080419A (ko) 인공신경망 기반 손동작 인식 방법 및 장치
Liu et al. Deep-learning-based signal enhancement of low-resolution accelerometer for fall detection systems
Ntalampiras et al. An incremental learning mechanism for human activity recognition
US20230263400A1 (en) System and method for filtering time-varying data for physiological signal prediction
JP6905892B2 (ja) 計算機システム
US20230233123A1 (en) Systems and methods to detect and characterize stress using physiological sensors
Abreu et al. Detailed Human Activity Recognition based on Multiple HMM.
Onaran et al. A hybrid SVM/HMM based system for the state detection of individual finger movements from multichannel ECoG signals
US10488924B2 (en) Wearable device, and method of inputting information using the same
Zhou et al. Towards unobtrusive detection and realistic attribute analysis of daily activity sequences using a finger-worn device