KR20210040626A - 인공 지능을 이용한 자세 감지 장치 및 방법 - Google Patents

인공 지능을 이용한 자세 감지 장치 및 방법 Download PDF

Info

Publication number
KR20210040626A
KR20210040626A KR1020190123111A KR20190123111A KR20210040626A KR 20210040626 A KR20210040626 A KR 20210040626A KR 1020190123111 A KR1020190123111 A KR 1020190123111A KR 20190123111 A KR20190123111 A KR 20190123111A KR 20210040626 A KR20210040626 A KR 20210040626A
Authority
KR
South Korea
Prior art keywords
sensing data
user
posture
sensors
value
Prior art date
Application number
KR1020190123111A
Other languages
English (en)
Inventor
이윤재
윤형길
김성혁
박현규
강현오
이호민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190123111A priority Critical patent/KR20210040626A/ko
Priority to US16/803,358 priority patent/US20210100480A1/en
Publication of KR20210040626A publication Critical patent/KR20210040626A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4815—Sleep quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6892—Mats
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 인공 지능 기술을 이용하여 사용자 및 사용자의 자세를 감지할 수 있는 자세 감지 장치 및 방법에 관한 것으로, 인공 지능 기술을 적용한 전자 장치의 동작 방법은 복수의 센서들에 의해 측정된 센싱 데이터를 획득하는 동작, 상기 센싱 데이터에 기초하여 사용자의 자세 변동 여부를 판단하는 동작, 자세가 변동되었다고 판단한 경우, 상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하는 동작 및 상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단하는 동작을 포함할 수 있으며, 센서에서 측정된 데이터를 입력으로 하는 인공지능 머신 러닝 기술을 사용함으로써 자세 판단 정확도 및 사용자 신원 확인 정확도를 동시에 향상시킬 수 있다.

Description

인공 지능을 이용한 자세 감지 장치 및 방법{APPARATUS AND METHOD FOR DETECTING POSTURE USING ARTIFICIAL INTELLIGENCE}
다양한 실시 예는 자세 감지 장치 및 방법에 관한 것으로, 더욱 자세하게는 인공 지능 기술을 이용하여 사용자 및 사용자의 자세를 감지할 수 있는 자세 감지 장치 및 방법에 관한 것이다.
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
이러한 인공 지능의 기술은 계속적으로 발전하고 있으며, 산업계에 전반적으로 적용되어 장치들의 효율성을 강화하고 있다.
한편, 수면은 인간의 신체적, 정신적 건강에 있어서 중요한 요소들 중 하나인데, 적절한 자세의 수면은 피로의 회복, 면역력 및 집중력 향상, 스트레스 완화, 염증 회복이나 근육 복구 등의 효과를 제공할 수 있다.
이에 따라, 적절하고 효과적인 수면을 돕기 위한 자세 보조 장치, 자세 유도 장치, 또는 자세 분석 장치들이 등장하고 있다. 그러나 현재 대부분의 장치는 사용자의 신체 일부에 각종 센서 등을 착용하여야 동작할 수 있다. 이는 사용자로 하여금 적절한 자세를 취하는 데에 불편함을 초래할 수 있으며, 사용이 번거롭다는 문제가 있다. 이에, 사용자의 신체에 착용하지 않고도 사용자의 자세를 분석할 수 있는 장치에 대한 수요가 증가하고 있다.
일 실시 예로 사용자의 수면 자세 분석을 위하여 침구 하단에 센서를 배치하여 사용자의 자세를 분석하였다. 하지만, 기존의 센서는 사용자의 수면 자세에 대한 의존성이 높아, 사용자가 특정 자세를 취할 경우, 사용자의 자세 분석이 어렵다는 문제가 있다. 또한, 종래의 장치는 분석을 위해 요구하는 센서의 숫자도 많았다.
본 발명의 다양한 실시 예는 비접촉식으로 사용자의 자세를 분석함에 있어서, 자세분석 정확도를 향상시킬 수 있는 인공지능 기술이 적용된 스마트 자세 감지 장치 및 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예는 사용자의 수면 자세 성향에 따라 인공지능 알고리즘으로 사용자의 신원을 판단할 수 있는 스마트 자세 감지 장치 및 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예는 사용자 개개인에 적합한 환경 조건을 피드백 하여 컨트롤하여 줌으로써 사용자의 쾌적한 수면 상태를 유지하도록 하는 스마트 자세 감지 장치 및 방법을 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 다양한 실시 예들에 따르면, 인공 지능 기술을 적용한 전자 장치는 복수의 센서들, 상기 복수의 센서들과 작동적으로 연결되는 센싱부 및 상기 센싱부와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 센싱부를 통해 상기 복수의 센서들에 의해 측정된 센싱 데이터를 획득하고, 상기 센싱 데이터에 기초하여, 자세 변동 여부를 판단하고, 자세가 변동되었다고 판단한 경우, 상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하고, 상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 인공 지능 기술을 적용한 전자 장치의 동작 방법은 복수의 센서들에 의해 측정된 센싱 데이터를 획득하는 동작, 상기 센싱 데이터에 기초하여 사용자의 자세 변동 여부를 판단하는 동작, 자세가 변동되었다고 판단한 경우, 상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하는 동작 및 상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 센서에서 측정된 데이터를 입력으로 하는 인공지능 머신 러닝 기술을 사용함으로써 자세 판단 정확도 및 사용자 신원 확인 정확도를 동시에 향상시킬 수 있다.
또한, 다양한 실시 예들에 따라, 신호 획득 및 처리와 사용자의 자세 및 신원 확인에 대한 판단을 동시에 진행함으로써 처리 속도를 높일 수 있다.
또한, 다양한 실시 예들에 따라, 복수의 러닝 영역을 구비함으로써 특성 사용자 및 특정 자세를 완벽하게 이상적으로 분석할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 실시 예에 따른 인공지능(artificial intelligence) 기술을 포함하는 전자 장치를 도시한 도면이다.
도 2는 다양한 실시 예에 따른 인공지능 기술을 포함하는 AI 서버(200)를 도시한 도면이다.
도 3은 다양한 실시 예들에 따른 AI 시스템(1)을 도시한 도면이다.
도 4는 다양한 실시 예들에 따른, 전자 장치(100)의 센싱부(140)를 도시한 도면이다.
도 5는 자세가 변경되는 경우의 센싱 데이터의 일 예를 도시한 도면이다.
도 6은 전자 장치의 프로세서에 의해 형성된 2D 이미지의 일 예를 도시한 도면이다.
도 7은 전자 장치의 프로세서에 의해 출력되는 자세 정보의 일 예를 도시한 도면이다.
도 8은 다양한 실시 예에 따른, 전자 장치(100)가 사용자 정보 및 자세 정보를 판단하는 방법을 도시한 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 '모듈' 및 '부'는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력 값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력 층(Input Layer), 출력 층(Output Layer), 그리고 선택적으로 하나 이상의 은닉 층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함수 값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼 파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함될 수 있다.
인공 신경망 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉 층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용될 수 있다.
도 1은 다양한 실시 예에 따른 인공지능(artificial intelligence) 기술을 포함하는 전자 장치(100)를 도시한 도면이다.
전자 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(settop box, STB), DMB(digital multimedia broadcasting) 수신기, 라디오, 세탁기, 냉장고, 디지털 사이니지(digital signage), 로봇, 차량을 포함하는 고정형 기기 또는 이동 가능한 기기일 수 있다. 인공지능 기술을 포함하는 전자 장치(100)는 AI 장치로도 칭해질 수 있다.
도 1을 참조하면, 인공지능 기술을 포함하는 전자 장치(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(160) 및 프로세서(180)를 포함할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 인공지능 기능을 포함하는 전자 장치나 AI 서버(200)와 같은 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication)을 포함하는 무선 통신 기술 또는 LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 이더넷을 포함하는 유선 통신 기술을 이용할 수 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다. 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부를 포함할 수 있다. 여기서, 카메라나 마이크로폰은 일종의 센서로 취급할 수 있고, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다. 따라서, 카메라나 마이크로폰은 센싱부(140)에 포함될 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징 점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델들(161a, 161b)을 학습시킬 수 있다. 일 실시 예에 따라, 러닝 프로세서(130)는 복수의 인공 신경망으로 구성된 모델들(161a, 161b)을 학습시킬 수 있는데, 이 경우, 각 모델을 위한 학습 데이터는 각 모델의 목적에 따라 상이할 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다. 일 실시 예에 따라, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)과 함께 인공지능 프로세싱을 수행할 수 있다.
다양한 실시 예에 따라, 러닝 프로세서(130)는 전자 장치(100)의 프로세서(180)와 통합되어 구현될 수 있다. 또한, 러닝 프로세서(130)에서 실행되는 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(160), 전자 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리에 저장되어 있을 수 있다. 러닝 프로세서(130)는 해당 명령어를 메모리로부터 읽어 들여 실행함으로써 인공지능 프로세싱 프로그램을 실현할 수 있다.
센싱부(140)는 다양한 센서들을 이용하여 전자 장치(100) 내부 정보, 전자 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 카메라, 라이다, 레이더, 압력 센서, 힘(force) 센서 등을 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력부(150)는 시각 정보를 출력하는 디스플레이, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등을 포함할 수 있다.
메모리(160)는 전자 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(160)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리, 러닝 프로세서(130)를 위한 명령어, 프로세서(180)를 위한 명령어, 러닝 프로세서(130)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망) 등을 저장할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 전자 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 전자 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다. 프로세서(180)가 실행 시에 사용하는 프로그램은 메모리(160)에 저장되어 있을 수 있다.
프로세서(180)는 러닝 프로세서(130) 또는 메모리(160)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 전자 장치(100)의 구성 요소들을 제어할 수 있다.
프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치와의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
일 실시 예로, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다. STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 전자 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(160) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(160)에 저장된 응용 프로그램을 구동하기 위하여, 전자 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 또한, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, 전자 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작 시킬 수 있다.
도 2는 다양한 실시 예에 따른 인공지능 기술을 포함하는 AI 서버(200)를 도시한 도면이다.
도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 일 실시 예에 따라, AI 서버(200)는 전자 장치(100)의 일부 구성으로 포함될 수 있다. 또한, AI 서버(200)는 인공지능 프로세싱 중 적어도 일부를 전자 장치(100)와 함께 수행할 수도 있다. 일 실시 예로, 전자 장치(100)의 컴퓨팅 파워가 부족할 경우 전자 장치(100)는 AI 서버(200)에 인공지능 프로세싱 중 적어도 일부 또는 전부를 수행하도록 요청할 수 있다.
AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260)를 포함할 수 있다.
통신부(210)는 전자 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킨 학습 모델을 생성할 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, 전자 장치(100)와 같은 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 3은 다양한 실시 예들에 따른 AI 시스템(1)을 도시한 도면이다.
도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)를 통해 연결된다. 여기서, 인공지능 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e)은 도 1의 인공지능 기술을 포함하는 전자 장치(100)의 구체적인 실시 예일 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
다양한 실시 예들에 따라, AI 시스템(1)을 구성하는 각 전자 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 일 실시 예에 따라, 각 전자 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200)는 인공지능 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 인공지능 기술을 포함하는 전자 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)를 통하여 연결되고, 연결된 전자 장치들(100a 내지 100e)의 인공지능 프로세싱의 적어도 일부를 도울 수 있다.
다양한 실시 예들에 따라, AI 서버(200)는 전자 장치들(100a 내지 100e)을 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 전자 장치들(100a 내지 100e)에 전송할 수 있다.
다양한 실시 예들에 따라, AI 서버(200)는 전자 장치들(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 전자 장치들(100a 내지 100e)로 전송할 수 있다.
다른 다양한 실시 예들에 따라, 전자 장치들(100a 내지 100e)은 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
도 4는 다양한 실시 예들에 따른, 전자 장치(100)의 센싱부(140)를 도시한 도면이다.
도 4를 참조하면, 센싱부(140)는 복수의 센서들(141a, 141b, 141c, 141d), ADC(analog to digital converter)(143), 및 DAQ(data acquisition)(145)를 포함할 수 있다. 또한 센싱부(140)는 추가적으로 주변 환경을 측정하기 위한 센서들(147a, 147b)을 포함할 수 있다. 일 실시 예에 따라, ADC(143) 및 DAQ(145)는 SoC(system on chip), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 등을 이용하여 하나의 칩으로 구현될 수 있다.
다양한 실시 예들에 따르면, 복수의 센서들(141a, 141b, 141c, 141d)은 사용자의 자세 판단을 위해 침대 매트리스 또는 요(410)와 결합되어 매트리스 또는 요(410)에 분산되어 배치될 수 있다. 일 실시 예로, 복수의 센서들(141a, 141b, 141c, 141d)은 침대 매트리스 또는 요(410)에 일정한 간격으로 배치될 수 있다.
복수의 센서들(141a, 141b, 141c, 141d)은 자신들에 가해지는 힘 또는 압력을 감지할 수 있는 어떤 형태의 센서도 사용 가능하며, 복수의 센서들(141a, 141b, 141c, 141d)은 가해지는 힘 또는 압력의 크기에 비례하는 아날로그(analog) 신호를 생성할 수 있다. 일 실시 예로, 복수의 센서들(141a, 141b, 141c, 141d)은 정전 센서, 힘 센서, 압력 센서일 수 있다. 또한, 복수의 센서들(141a, 141b, 141c, 141d)은 그 개수가 4개 내지 8개일 수 있다. 또한, 일 실시 예에 따라, 복수의 센서들(141a, 141b, 141c, 141d)은 가해지는 힘 또는 압력의 크기에 비례하여 0 내지 5V 사이의 전압을 출력하거나 그에 상응하는 정보를 출력할 수 있다.
다양한 실시 예들에 따르면, ADC(143)는 아날로그 신호를 디지털 신호로 변환할 수 있다. 일 실시 예에 따라, ADC(143)는 복수의 센서들(141a, 141b, 141c, 141d)로부터 오는 0 내지 5V 사이의 전압 신호를 검출하고, 각 전압 신호에 대응하는 디지털 신호로 변환할 수 있다. 디지털 신호는 각각 0 또는 1의 값을 가지는 복수의 비트(bit)로 구성된 신호일 수 있다. 일 실시 예로 디지털 신호는 8비트 또는 16비트로 구성될 수 있으며, 구성되는 비트의 수에 따라 해상도가 상이할 수 있다.
다양한 실시 예들에 따르면, ADC(143)는 사용자의 자세 판단을 위하여 복수의 센서들(141a, 141b, 141c, 141d)과 연결된 것 이외에도 사용자의 주변 환경, 예를 들면 수면 시의 주변 환경을 검출하기 위한 호흡 센서, 매트리스 또는 요(410) 온도 센서, 주변 온도 센서, 습도 센서, 조도 센서, 소음 센서와 같은 센서들(147a, 147b)과 추가적으로 연결되어 각 센서로부터 오는 아날로그 신호를 디지털 신호로 변환할 수 있다. 다른 일 실시 예에 따라, 특정 센서들은 디지털 신호를 출력할 수 있으며, 이 경우, 출력된 디지털 신호는 DAQ(145) 또는 프로세서(180)에 의해 바로 획득될 수도 있다.
다양한 실시 예들에 따르면, DAQ(145)는 ADC(143)로부터 출력되는 디지털 신호에 기초하여 센싱된 데이터를 획득할 수 있다. 일 실시 예에 따라 DAQ(145)는 각 센서에 대해 출력되는 신호를 제1 주기(예: 30ms)로 획득할 수 있다. 다른 일 실시 예에 따라, ADC(143)가 제1 주기(예: 30ms)로 각 센서로부터 입력되는 아날로그 신호를 디지털 신호로 변환하여 출력하고, DAQ(145)는 ADC(143)에서 출력된 디지털 신호를 획득할 수 있다.
또한, DAQ(145)는 각 센서에 대해 제1 주기로 획득한 센싱 데이터를 프로세서(180)로 전달할 수 있다.
다양한 실시 예들에 따르면, 러닝 프로세서(130)는 센싱부(140)의 DAQ(145) 또는 프로세서(180)로부터 복수의 센서들(141a, 141b, 141c, 141d) 각각의 센싱 데이터를 획득하고 통계적 기법에 따라 처리된 데이터(이하 통계 센싱 데이터라 칭한다)를 인공 신경망으로 구성된 모델들(161a, 161b)을 학습시키기 위한 학습 데이터로 사용할 수 있다.
다양한 실시 예들에 따르면, 러닝 프로세서(130)는 적어도 2개의 학습 모델을 생성할 수 있다. 하나의 학습 모델은 사용자의 자세를 판단하기 위한 모델인데, 사용자의 자세는 정자세(front), 옆으로 누움 자세(side), 옆으로 누워서 웅크린 자세(side crouched), 엎드림 자세(back) 또는 앉은 자세(sit) 중의 하나일 수 있다. 다른 하나의 학습 모델은 사용자의 신원을 판단하기 위한 모델로 현재 매트리스 또는 요(410) 위에서 수면을 취하고 있는 사용자가 누구인지를 판단할 수 있다.
다양한 실시 예들에 따르면, 사용자 및/또는 사용자의 자세에 따라 복수의 센서들(141a, 141b, 141c, 141d) 각각이 받는 힘 또는 압력의 차이가 상이할 수 있으며, 복수의 센서들(141a, 141b, 141c, 141d) 각각이 받는 힘 또는 압력의 크기를 비교, 분석 또는 조합함으로써 특정 사용자 및/또는 특정 자세의 판단이 가능할 수 있다.
다양한 실시 예들에 따르면, 러닝 프로세서(130)는 입력되는 각 센서 별 결과 데이터에 기초하여 모델을 학습시킬 수 있다. 일 실시 예로 지도 학습 방식에 따라 자세 판단을 위한 인공 신경망 모델을 학습시킬 수 있다. 특정 자세로 매트리스 또는 요(410)에 위치한 후에 복수의 센서들(141a, 141b, 141c, 141d) 각각에서 센싱한 데이터에 기초하고, 통계적 처리를 통해 획득한 통계 센싱 데이터를 학습 데이터로 설정하여 모델로 입력하면서, 레이블로 자세 정보를 사용함으로써 지도 학습 방식에 따라 모델을 학습시킬 수 있다. 또한, 다른 일 실시 예에 따라, 사용자 신원 확인을 위한 인공 신경망 모델을 학습시킬 수 있다. 특정 사용자가 매트리스 또는 요(410)에 위치한 후에 복수의 센서들(141a, 141b, 141c, 141d) 각각에서 센싱한 데이터에 기초하여 획득한 일련의 통계 센싱 데이터를 학습 데이터로 설정하여 인공 신경망 모델로 입력하면서, 레이블로 사용자 정보를 사용함으로써 모델을 학습시킬 수 있다. 이때 일련의 통계 센싱 데이터는 수면 동안 특정 사용자의 자세 변화를 나타내는 패턴일 수 있다. 이와 같은 지도 학습 방식에 따라 모델을 학습시킨 경우, 사용자 및 자세를 특정할 수 있다.
다른 실시 예로, 다양한 사용자의 다양한 자세에 대해 획득한 복수의 센서들(141a, 141b, 141c, 141d) 각각의 센싱 데이터에 대해 통계적 처리를 통해 획득한 통계 센싱 데이터를 레이블없이 학습 데이터로 인공 신경망 모델에 입력하는 비지도 학습 방식으로 모델을 학습시킬 수 있다. 비지도 학습 방식에 따라 학습된 경우에는 사용자와 자세에 대한 분류는 가능하지만 사용자 및 자세를 특정하기에는 어려움이 있을 수 있다.
[표 1]은 지도 학습 방식을 위한 학습 데이터의 예들을 보여준다. [표 1]에서의 각각의 값들은 각 센서에서 센싱한 데이터들을 제2 기간동안 수집하여 통계적으로 처리한 통계 센싱 데이터일 수 있다.
레이블 센서1 센서2 센서3 센서4 센서5 센서6 센서7 센서8
사용자A
front		 2.02762 2.07697 2.00996 1.92085 2.65916 2.50165 2.38286 2.50746
사용자A
side		 2.09568 2.08047 2.04176 1.96335 2.73220 2.58187 2.52544 2.50760
사용자A
Side crouched		 2.22454 2.11076 2.0863 1.95631 2.45850 2.62603 2.49599 2.48390
사용자A
back		 2.13536 2.04010 1.96960 1.92267 2.70623 2.54563 2.50869 2.52179
사용자A
sit		 2.25679 2.21337 2.06356 1.91357 2.52929 2.43617 2.55570 2.57326
다양한 실시 예들에 따르면, 프로세서(180)는 러닝 프로세서(130)에서 학습을 통해 생성한 학습 모델들을 사용하여, 센싱부(140)로부터 입력되는 센싱 데이터를 기초로 사용자의 자세 및/또는 사용자 신원을 판단할 수 있다. 일 실시 예에 따라, 프로세서(180)는 센싱부(140)로부터 입력되는 센서들 각각의 센싱 데이터를 통계 처리한 통계 센싱 데이터를 러닝 프로세서(130)에서 생성한 학습 모델에 입력시키고, 학습 모델로부터 결과를 획득하여 사용자의 자세 및/또는 사용자 신원을 판단할 수 있다.
다양한 실시 예들에 따르면, 프로세서(180)는 학습 모델로 입력하는 통계 센싱 데이터를 항상 생성하지 않고, 사용자의 자세가 변화되었다고 판단되는 경우에만 센서들 각각의 센싱 데이터에 대한 통계 처리를 수행하여 통계 센싱 데이터를 생성하고 학습 모델들에 입력시킬 수 있다. 일 실시 예로, 프로세서(180)는 매트리스 또는 요(410)에 구비된 복수의 센서들 중 적어도 일부(예: 50%의 센서)의 센싱 데이터 값의 변동이 미리 설정된 임계 값(예: 1V)보다 큰 경우에만 통계 센싱 데이터를 생성할 수 있다. 예를 들면, 매트리스 또는 요(410)에 구비된 센서의 개수가 8인 경우 4개 이상의 센서에서 출력되는 센싱 데이터 값의 변동이 1V이상인 경우에, 프로세서(180)는 각각의 센서에 대한 통계 센싱 데이터를 생성할 수 있다. 또는 매트리스 또는 요(410)에 구비된 센서의 개수가 8인 경우 2개 이상의 센서에서 출력되는 센싱 데이터 값의 변동이 1.5V이상인 경우에, 프로세서(180)는 각각의 센서에 대한 통계 센싱 데이터를 생성할 수 있다.
또한, 프로세서(180)는 센싱 데이터가 급격하게 변하는 구간에서는 통계 센싱 데이터를 생성하지 않고 있다가 어느 정도 안정되는 경우에 통계 센싱 데이터를 생성할 수 있다. 예를 들면, 사용자가 제1 자세로 있다가 제2 자세로 변하는 경우, 몸을 뒤척이게 되고 그에 다라 각각의 센서가 획득하는 힘 또는 압력의 강도가 급격하게 변동될 가능성이 높고, 제2 자세로의 변경이 완료된 이후에는 각각의 센서가 일정한 힘 또는 압력의 강도를 받을 가능성이 높아 센싱 데이터가 안정화될 수 있다.
도 5는 자세가 변경되는 경우의 센싱 데이터의 일 예를 도시한 도면이다.
도 5를 참조하면, 센싱 데이터들(510, 520, 530, 540)은 T1 구간에서 거의 유사한 값들을 가지고 있어 안정화된 구간에 있다고 볼 수 있다. 사용자가 자세를 변경하는 T2 구간에서 각 센서에 대한 센싱 데이터들(510, 520, 530, 540)은 급격한 값의 변화를 가지게 되고, 다시 사용자가 자세 변경을 완료하고 다른 자세를 취하게 되는 T3 구간의 경우 센싱 데이터들(510, 520, 530, 540)은 거의 일정한 값을 가지게 될 수 있다. 여기서, T2 구간은 자세가 변경되는 도중의 구간으로써 변동(transition) 구간이라 칭해질 수 있다.
따라서, 프로세서(180)는 도 5에 도시된 것처럼 변동 구간에서 센싱 데이터가 급격하게 변하다가 안정되는 경우에 통계 센싱 데이터를 생성할 수 있다. 일 실시 예로 각 센서의 센싱 데이터 값의 변동율이 1% 미만인 경우 안정화 구간에 진입하였다고 판단하고 통계 센싱 데이터를 생성할 수 있다.
다만, 사용자의 자세가 변경되어 안정화 구간에 진입한 경우, 프로세서(180)는 첫번째 통계 센싱 데이터를 생성하고, 이후에는 각 센서의 센싱 데이터 값이 이전 주기에서의 센싱 데이터 값과 차이가 별로 없으므로 추가적인 통계 센싱 데이터를 생성할 필요는 없고, 다음 자세 변경을 대기할 수 있다.
프로세서(180)는 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단할 수 있다. 사용자 및 사용자의 자세를 판단하기 위하여 프로세서(180)는 러닝 프로세서(130)에서 생성한 학습 모델들을 이용할 수 있다. 일 실시 예로 학습 모델은 사용자의 자세를 판단하기 위한 학습 모델과 사용자를 판단하기 위한 학습 모델이 있을 수 있으며, 사용자의 자세를 판단하기 위한 학습 모델과 사용자를 판단하기 위한 학습 모델은 서로 상이할 수 있다. 일 실시 예에 따라, 자세를 판단하기 위한 학습 모델은 하나의 통계 센싱 데이터를 입력 받고, 학습한 결과에 기초하여 입력된 통계 센싱 데이터에 대응하는 자세를 제공할 수 있다. 다른 일 실시 에에 따라, 사용자를 판단하기 위한 학습 모델은 복수의 통계 센싱 데이터를 입력 받고, 학습한 결과에 기초하여 입력 받은 복수의 통계 센싱 데이터들에 대응하는 사용자 정보를 제공할 수 있다. 여기서, 학습 모델에 입력되는 통계 센싱 데이터는 어느 정도 일정한 값은 가지는 안정화 구간(예: 도 5의 T1 구간 또는 T3 구간)에서의 값일 수 있고, 급격하게 변동하는 상태, 즉 변동 구간(예: 도 5의 T2 구간)에서는 통계 센싱 데이터가 생성되지 않아 학습 모델들에 입력되지 않을 수 있다. 따라서, 프로세서(180)는 러닝 프로세서(130)에서 생성한 학습 모델들을 이용하는 머신 러닝 알고리즘을 사용하여 사용자 및 자세를 판단할 수 있다. 여기서 사용자의 자세는 정자세(front), 옆으로 누움 자세(side), 옆으로 누워서 웅크린 자세(side crouched), 엎드림 자세(back) 또는 앉은 자세(sit) 중의 하나일 수 있다.
프로세서(180)는 시간 축을 따라 통계 센싱 데이터와 판단된 사용자 및 자세를 저장할 수 있다. 또한, 프로세서(180)는 저장된 데이터를 기초로 사용자에게 보여주기 위한 2D 이미지를 형성할 수 있다.
도 6은 전자 장치의 프로세서(180)에 의해 형성된 2D 이미지의 일 예를 도시한 도면이다.
도 6을 참조하면, 프로세서(180)는 각 시간 구간(T11 내지 T15) 별로 각 센서(S1 내지 S8)가 측정한 압력 또는 힘의 강도에 기초하여 다른 색깔 또는 다른 회색조가 나타나도록 2D 이미지를 형성할 수 있다.
또한, 프로세서(180)는 생성된 2D 이미지를 클라우드 서버에 데이터베이스화 함으로써 사용자의 생활 패턴을 가이드 할 수 있다.
또한, 프로세서(180)는 사용자의 수면 자세 및/또는 수면 환경을 분석하여 수면 질을 판단할 수 있다. 이를 위하여 프로세서(180)는 매트리스 또는 요(410)의 온도, 주변 온도, 소음, 습도와 같은 정보를 센서들(147a, 147b)을 이용하여 추가적으로 획득할 수 있다. 이러한 추가적인 정보를 기초로 프로세서(180)는 수면 환경의 쾌적성 및 수면 질을 판단할 수 있다.
또한, 프로세서(180)는 출력부(150)를 통해 자세 정보를 출력할 수 있다. 자세 정보는 시간 축으로 각각의 측정 시간에 통계 센싱 데이터 및/또는 판단된 사용자의 자세를 포함할 수 있다. 추가적으로 프로세서(180)는 확인된 사용자의 신원을 출력할 수도 있다.
도 7은 전자 장치의 프로세서에 의해 출력되는 자세 정보의 일 예를 도시한 도면이다.
프로세서(180)는 복수의 센서들을 통해 획득한 센싱 데이터를 기초로 사용자의 수면 자세를 판단할 수 있고, 판단한 수면 자세를 출력부(150)의 화면을 통해 사용자에게 보여줄 수 있다. 도 7을 참조하면, 프로세서(180)는 복수의 센서들 각각에서 측정한 힘 또는 압력의 강도를 나타내는 그래프(710)와 판단된 사용자 정보 및 사용자의 수면 자세(720)를 화면에 표시할 수 있다. 일 실시 예에 따라, 프로세서(180)는 판단이 진행되고 있는 지를 나타내는 표시자(730)를 추가로 포함하고 있어, 프로세서(180)는 수면 자세에 대한 판단이 진행되고 있는 경우에는 빨간색으로 수면 자세에 대한 판단이 완료된 경우에는 녹색으로 표시하여 사용자에게 알려줄 수 있다.
다양한 실시 예들에 따르면, 인공 지능 기술을 적용한 전자 장치(예: 도 1의 전자 장치(100)는 복수의 센서들(예: 도 4의 복수의 센서들(141a, 141b, 141c, 141d)), 상기 복수의 센서들과 작동적으로 연결되는 센싱부(예: 도 1의 센싱부(140)) 및 상기 센싱부와 작동적으로 연결되는 적어도 하나의 프로세서(예: 도 1의 프로세서(180) 및/또는 도 1의 러닝 프로세서(130))를 포함하고, 상기 적어도 하나의 프로세서는 상기 센싱부를 통해 상기 복수의 센서들에 의해 측정된 센싱 데이터를 획득하고, 상기 센싱 데이터에 기초하여, 자세 변동 여부를 판단하고, 자세가 변동되었다고 판단한 경우, 상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하고, 상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단할 수 있다.
다양한 실시 예들에 따르면, 상기 적어도 하나의 프로세서는 인공 지능 기술이 적용된 사용자의 자세를 판단하기 위한 제1 훈련 모델의 적어도 일부의 명령어 및 인공 지능 기술이 적용된 사용자를 판단하기 위한 제2 훈련 모델의 적어도 일부의 명령어를 실행하고, 상기 통계 센싱 데이터를 상기 제1 훈련 모델 및 상기 제2 훈련 모델의 입력으로 사용하여 상기 사용자 및 상기 사용자의 자세를 판단할 수 있다.
다양한 실시 예들에 따르면, 상기 센싱부는 제1 시간 주기로 상기 복수의 센서들을 통해 각각의 센서에 대응하는 상기 센싱 데이터를 획득하고, 상기 적어도 하나의 프로세서는 상기 복수의 센서들 중 적어도 일부 센서의 센싱 데이터 값이 해당 센서의 이전 주기에서의 센싱 데이터 값과 제1 임계 값 이상 차이가 나는 경우 자세가 변동되었다고 판단할 수 있고, 일 실시 예에 따라 상기 적어도 일부 센서의 개수는 상기 복수의 센서의 개수의 반 이상이고, 상기 제1 임계 값은 상기 센싱 데이터가 가질 수 있는 최대 값의 1/5일 수 있다.
다양한 실시 예들에 따르면, 상기 적어도 하나의 프로세서는 상기 센싱 데이터를 제2 시간동안 수집하고, 수집된 센싱 데이터를 기초로 평균 값, 최빈 값 또는 중간 값 중의 하나를 계산하여 상기 각각의 센서에 대한 상기 통계 센싱 데이터를 획득할 수 있다.
다양한 실시 예들에 따르면, 상기 적어도 하나의 프로세서는 시간 구간을 상기 센싱 데이터의 이전 주기에서의 값과 현재 주기에서의 값의 차이가 제2 임계 값 이내이거나 또는 제1 임계 비율 이내인 안정화 구간과 상기 센싱 데이터의 이전 주기에서의 값과 현재 주기에서의 값의 차이가 상기 제2 임계 값 이상이거나 또는 상기 제2 임계 비율 이상인 변동 구간으로 구분하고, 자세가 변동되었다고 판단한 이후, 상기 안정화 구간이 되었을 때 상기 통계 센싱 데이터를 획득할 수 있다.
다양한 실시 예들에 따르면, 상기 적어도 하나의 프로세서는 상기 제1 훈련 모델에 하나의 통계 센싱 데이터를 입력하여 상기 사용자의 자세를 판단하고, 상기 제2 훈련 모델에 일련의 복수 개의 통계 센싱 데이터를 입력하여 상기 사용자를 판단할 수 있다.
다양한 실시 예들에 따르면, 상기 전자 장치는 상기 적어도 하나의 프로세서와 작동적으로 연결되고 디스플레이를 포함하는 출력부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 디스플레이에 상기 판단된 사용자, 사용자의 자세, 및/또는 상기 통계 센싱 데이터를 표시할 수 있다.
다양한 실시 예들에 따르면, 상기 전자 장치는 상기 적어도 하나의 프로세서와 작동적으로 연결되는 메모리를 더 포함하고, 상기 적어도 하나의 프로세서는 x축은 시간의 경과를 나타내고, y축은 상기 복수의 센서들을 나타내고, 대응하는 좌표 영역에 상기 복수의 센서들 각각에 대한 상기 통계 센싱 데이터의 값에 따라 색깔로 구분하여 표시하거나 또는 회색조로 구분하여 표시한 2차원 이미지를 생성하여 상기 메모리에 저장할 수 있다. 또한, 상기 적어도 하나의 프로세서는 상기 2차원 이미지를 클라우드 네트워크 상의 클라우드 서버에 추가적으로 저장할 수 있다.
다양한 실시 예들에 따르면, 상기 전자 장치는 상기 적어도 하나의 프로세서와 작동적으로 연결되는 통신부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 통신부를 통해 외부의 인공지능 서버와 통신하고, 상기 제1 훈련 모델의 적어도 일부 기능 및/또는 상기 제2 훈련 모델의 적어도 일부 기능을 상기 인공지능 서버와 협력하여 수행할 수 있다.
다양한 실시 예들에 따르면, 상기 복수의 센서들은 사용자의 몸에 의해 눌려지는 힘 또는 압력의 강도를 측정할 수 있는 센서들이고, 상기 사용자가 수면을 취할 수 있는 매트리스나 요에 분산되어 배치될 수 있다.
도 8은 다양한 실시 예에 따른, 전자 장치(100)가 사용자 정보 및 자세 정보를 판단하는 방법을 도시한 흐름도이다.
도 8을 참조하면, 동작 801에서, 전자 장치(100)는 센싱 데이터를 획득할 수 있다. 여기서, 센싱 데이터는 침대나 요에 배치된 또는 구비된 복수의 센서들(예: 도 4의 복수의 센서들(141a, 141b, 141c, 141d))을 통해 제1 주기로 획득한 사용자에 의해 각각의 센서들에 가해지는 힘 또는 압력의 강도일 수 있다.
다양한 실시 예들에 따르면, 동작 803에서, 전자 장치(100)는 획득한 센싱 데이터를 기초로 자세가 변동되었는 지를 판단할 수 있다. 일 실시 예로, 전자 장치(100)는 매트리스 또는 요(410)에 구비된 복수의 센서들 중 적어도 일부(예: 50%의 센서)의 센싱 데이터 값의 변동이 미리 설정된 임계 값(예: 1V)보다 큰 경우에 사용자의 자세가 변동되었다고 판단할 수 있다. 예를 들면, 매트리스 또는 요(410)에 구비된 센서의 개수가 8인 경우 4개 이상의 센서에서 출력되는 센싱 데이터 값의 변동이 1V이상인 경우에, 전자 장치(100)는 자세가 변동되었다고 판단할 수 있다. 또는 매트리스 또는 요(410)에 구비된 센서의 개수가 8인 경우 2개 이상의 센서에서 출력되는 센싱 데이터 값의 변동이 1.5V이상인 경우에, 전자 장치(100)는 자세가 변동되었다고 판단할 수 있다. 이와 같은 판단의 조건은 미리 설정되어 메모리에 저장되어 있을 수 있다.
다양한 실시 예들에 따르면, 동작 805에서, 전자 장치(100)는 통계 센싱 데이터를 획득할 수 있다. 통계 센싱 데이터는 센싱 데이터를 제2 기간동안 수집하여 통계 처리한 데이터일 수 있다. 통계 처리는 각각의 센서에 대해 수집한 센싱 데이터를 기초로, 평균 값, 최빈 값 또는 중간 값을 구하는 것일 수 있다. 일 실시 예에 따라, 전자 장치(100)는 통계 센싱 데이터를 변동 구간에서는 획득하지 않고, 안정화 구간에서만 획득할 수 있다. 예를 들면, 사용자가 제1 자세로 있다가 제2 자세로 변하는 경우, 몸을 뒤척일 가능성이 높고, 그에 따라 각각의 센서가 획득하는 힘 또는 압력의 강도는 급격히 변경되고, 제2 자세로의 변화가 완료된 이후에는 각각의 센서가 일정한 힘 또는 압력의 강도를 받을 가능성이 높다. 따라서, 전자 장치(100)는 센싱 데이터가 급격하게 변화되는 변동 구간에서는 통계 센싱 데이터를 획득하지 않고 있다가 센싱 데이터의 값이 거의 일정한 값으로 안정되는 안정화 구간이 되면 자세의 변동이 완료되고 사용자가 새로운 자세를 취하였다고 판단하여 통계 센싱 데이터를 획득할 수 있다.
다양한 실시 예들에 따르면, 동작 807에서, 전자 장치(100)는 획득한 통계 센싱 데이터를 기초로 사용자 및 사용자의 수면 자세를 판단할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 인공 신경망 모델을 학습시킨 학습 모델에 기초하여 사용자 및 사용자의 수면 자세를 판단할 수 있다. 이때 전자 장치(100)는 사용자 판단을 위한 학습 모델과 수면 자세 판단을 위한 학습 모델을 별도로 가질 수 있다. 전자 장치(100)는 인공 신경망 모델에 레이블과 함께 학습 데이터를 제공하는 지도 학습을 통해 인공 신경망 모델을 미리 학습시킬 수 있다. 여기서, 레이블은 현재 입력되는 학습 데이터의 사용자 및 자세에 대한 정보를 포함할 수 있다. 수면 자세 판단을 위한 모델의 학습 데이터는 표 1에 나타난 바와 같은 레이블과 각 센서에서의 측정된 힘의 세기 또는 강도를 포함할 수 있다. 그리고 사용자 판단을 위한 모델의 학습 데이터는 미리 정해진 시간(예: 1분 또는 2분) 동안의 일련의 사용자 수면 자세의 변경 정보를 포함할 수 있다. 따라서, 전자 장치(100)는 사용자 판단을 위한 학습 모델 및 자세 판단을 위한 학습 모델에 획득한 통계 센싱 데이터를 입력시켜 주고, 각 학습 모델의 결과로부터 사용자 및 수면 자세를 판단할 수 있다. 여기서, 사용자의 수면 자세는 정자세, 옆으로 누움 자세, 옆으로 누워서 웅크린 자세, 엎드림 자세 또는 앉은 자세 중의 하나일 수 있다. 그리고 사용자 판단은 수면 자세 판단에 비하여 더 많은 통계 센싱 데이터를 입력 받아야 하기 때문에, 사용자 판단 결과는 수면 자세 판단 결과에 비하여 늦게 나올 수 있다.
일 실시 예에 따르면, 매트리스 또는 요(410)에 배치된 복수의 센서들 각각은 30ms 주기로 센싱 데이터를 출력하고, 전자 장치(100)는 각 센서에 대해 1초 동안의 센싱 데이터를 수집하고 통계 처리하여 통계 센싱 데이터를 획득할 수 있다. 그리고 전자 장치(100)는 자세 변경이 되었다고 판단하면 획득한 통계 센싱 데이터에 기초하여 자세를 판단할 수 있고, 10회의 사용자 자세 변경 또는 1분 내지 2분 동안의 사용자 자세 변경 결과에 기초하여 사용자를 판단할 수 있다.
다양한 실시 예들에 따르면, 동작 809에서, 전자 장치(100)는 판단한 결과를 출력하고, 분석하고 데이터베이스화 하는 작업을 수행할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 판단한 결과 및 수집한 통계 센싱 데이터를 기초로 도 7에 도시한 것처럼 사용자에게 보여주기 위한 화면을 구성하고, 사용자에게 결과를 제공할 수 있다.
일 실시 예로, 전자 장치(100)는 시간 축에 따른 각 센서의 통계 센싱 데이터의 변화를 나타낼 수 있는 도 6에 도시된 것과 같은 2D 이미지를 형성하여 데이터베이스화 할 수 있다. 일 실시 예에 따라, 2D 이미지의 x축은 시간이 될 수 있고, y축은 각 센서를 나타낼 수 있으며, 각 센서에서 측정된 힘 또는 압력의 강도는 색깔 또는 회색조의 색깔로 표시될 수 있다. 이러한 2D 이미지를 생성함으로써 사용자가 수면 중에 얼마나 자주 자세를 변경하는 지, 그리고 어떠한 자세로 수면을 취하는 지를 판단하여 사용자의 수면 질을 추가적으로 분석할 수 있다.
다른 일 실시 예로, 전자 장치(100)는 추가적으로 매트리스 또는 요(410)의 온도, 주변 온도, 소음, 습도와 같은 정보를 센서들(147a, 147b)을 이용하여 획득할 수 있다. 이러한 추가적인 정보는 전자 장치(100)가 수면 환경의 쾌적성을 판단하거나 수면의 질을 판단하는데 이용될 수 있다.
다른 일 실시 예로, 전자 장치(100)는 판단한 자세 정보, 생성한 2D 이미지 정보, 분석한 수면 질 정보를 포함하는 사용자 정보를 도 3에 도시된 클라우드 네트워크 내의 클라우드 서버에서 데이터베이스화 함으로써 사용자의 생활 패턴을 가이드 하도록 할 수 있다.
다양한 실시 예들에 따르면, 인공 지능 기술을 적용한 전자 장치의 동작 방법은 복수의 센서들에 의해 측정된 센싱 데이터를 획득하는 동작, 상기 센싱 데이터에 기초하여 사용자의 자세 변동 여부를 판단하는 동작, 자세가 변동되었다고 판단한 경우, 상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하는 동작 및 상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단하는 동작은 인공 지능 기술이 적용된 사용자의 자세를 판단하기 위한 제1 훈련 모델의 적어도 일부 기능을 수행하는 동작, 인공지능 기술이 적용된 사용자를 판단하기 위한 제2 훈련 모델의 적어도 일부 기능을 수행하는 동작 및 상기 통계 센싱 데이터를 상기 제1 훈련 모델 및 상기 제2 훈련 모델의 입력으로 사용하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 복수의 센서들에 의해 측정된 센싱 데이터를 획득하는 동작은 제1 시간 주기로 상기 복수의 센서들 각각에 대응하는 상기 센싱 데이터를 획득하는 동작을 포함하고, 상기 센싱 데이터에 기초하여 사용자의 자세 변동 여부를 판단하는 동작은 상기 복수의 센서들 중 적어도 일부 센서의 센싱 데이터 값이 해당 센서의 이전 주기에서의 센싱 데이터 값과 제1 임계 값 이상 차이가 나는 경우 자세가 변동되었다고 판단하는 동작을 포함할 수 있는데, 일 실시 예에 따라, 상기 적어도 일부 센서의 개수는 상기 복수의 센서의 개수의 반 이상이고, 상기 제1 임계 값은 상기 센싱 데이터가 가질 수 있는 최대 값의 1/5일 수 있다.
다양한 실시 예들에 따르면, 상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하는 동작은 상기 센싱 데이터를 제2 시간동안 수집하는 동작 및 상기 제2 시간동안 수집된 센싱 데이터를 기초로 평균 값, 최빈 값 또는 중간 값 중의 하나를 계산하여 상기 각각의 센서에 대한 상기 통계 센싱 데이터를 획득하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 방법은 시간 구간을 상기 센싱 데이터의 이전 주기에서의 값과 현재 주기에서의 값의 차이가 제2 임계 값 이내이거나 또는 제1 임계 비율 이내인 안정화 구간과 상기 센싱 데이터의 이전 주기에서의 값과 현재 주기에서의 값의 차이가 상기 제2 임계 값 이상이거나 또는 상기 제2 임계 비율 이상인 변동 구간으로 구분하는 동작을 더 포함하고, 상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하는 동작은 자세가 변동되었다고 판단한 이후, 상기 안정화 구간이 되었을 때 상기 통계 센싱 데이터를 획득하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단하는 동작은 상기 제1 훈련 모델에 하나의 통계 센싱 데이터를 입력하여 상기 사용자의 자세를 판단하는 동작 및 상기 제2 훈련 모델에 일련의 복수 개의 통계 센싱 데이터를 입력하여 상기 사용자를 판단하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 방법은 디스플레이에 상기 판단된 사용자, 사용자의 자세, 및/또는 상기 통계 센싱 데이터를 표시하는 동작을 더 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 방법은 x축은 시간의 경과를 나타내고, y축은 상기 복수의 센서들을 나타내고, 대응하는 좌표 영역에 상기 복수의 센서들 각각에 대한 상기 통계 센싱 데이터의 값에 따라 색깔로 구분하여 표시하거나 또는 회색조로 구분하여 표시한 2차원 이미지를 생성하여 상기 메모리에 저장하는 동작을 더 포함할 수 있다. 또한, 상기 방법은 상기 2차원 이미지를 클라우드 네트워크 상의 클라우드 서버에 추가적으로 저장하는 동작을 더 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 방법은 외부의 인공지능 서버와 통신하는 동작 및 상기 제1 훈련 모델의 적어도 일부 기능 및/또는 상기 제2 훈련 모델의 적어도 일부 기능을 상기 인공지능 서버와 협력하여 수행하는 동작은 더 포함할 수 있다.
상술한 바와 같이 본 발명에서 제시하는 장치 및 방법은 인공지능 머신 러닝 기술을 이용하여 센서의 자세 판단 정확도 및 신원 정확도를 동시에 향상시킬 수 있도록 하였으며, 또한, 본 발명에서 제시하는 장치 및 방법은 수면 자세 및 사용자 판단을 동시에 진행하도록 다수의 학습 모델을 사용함으로써 처리 속도를 높일 수 있도록 하였다.
또한, 본 발명에서 제시하는 인공지능 머신 러닝 기술은 파이썬(python) 머신 러닝 알고리즘과 랩뷰(LabVIEW) 코드를 통합하여 쉽게 구현 가능하도록 하였다.
또한, 상술한 설명은 매트리스 및 요에 복수의 센서들을 배치하여 수면 중의 사용자의 자세를 판단하는 것을 설명하고 있으나, 본 발명에서 제시하는 장치 및 방법은 사용자가 의자에 앉은 경우 또는 자동차의 운전석에 앉은 경우에도 적용될 수 있다. 이 경우에는 사용자의 자세를 판단하고, 추가적인 분석을 통해 사용자의 졸음 상태 등을 판단하는 데 이용될 수 있을 것이다.

Claims (23)

  1. 인공 지능 기술을 적용한 전자 장치로서,
    복수의 센서들;
    상기 복수의 센서들과 작동적으로 연결되는 센싱부; 및
    상기 센싱부와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 센싱부를 통해 상기 복수의 센서들에 의해 측정된 센싱 데이터를 획득하고,
    상기 센싱 데이터에 기초하여, 자세 변동 여부를 판단하고,
    자세가 변동되었다고 판단한 경우, 상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하고,
    상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단하는, 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    인공 지능 기술이 적용된 사용자의 자세를 판단하기 위한 제1 훈련 모델의 적어도 일부의 명령어 및 인공 지능 기술이 적용된 사용자를 판단하기 위한 제2 훈련 모델의 적어도 일부의 명령어를 실행하고,
    상기 통계 센싱 데이터를 상기 제1 훈련 모델 및 상기 제2 훈련 모델의 입력으로 사용하여 상기 사용자 및 상기 사용자의 자세를 판단하는, 전자 장치.
  3. 제2항에 있어서,
    상기 센싱부는 제1 시간 주기로 상기 복수의 센서들을 통해 각각의 센서에 대응하는 상기 센싱 데이터를 획득하고,
    상기 적어도 하나의 프로세서는,
    상기 복수의 센서들 중 적어도 일부 센서의 센싱 데이터 값이 해당 센서의 이전 주기에서의 센싱 데이터 값과 제1 임계 값 이상 차이가 나는 경우 자세가 변동되었다고 판단하는, 전자 장치.
  4. 제3항에 있어서,
    상기 적어도 일부 센서의 개수는 상기 복수의 센서들의 개수의 반 이상이고, 상기 제1 임계 값은 상기 센싱 데이터가 가질 수 있는 최대 값의 1/5인, 전자 장치.
  5. 제3항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 센싱 데이터를 제2 시간동안 수집하고, 수집된 센싱 데이터를 기초로 평균 값, 최빈 값 또는 중간 값 중의 하나를 계산하여 상기 각각의 센서에 대한 상기 통계 센싱 데이터를 획득하는, 전자 장치.
  6. 제5항에 있어서,
    상기 적어도 하나의 프로세서는,
    시간 구간을 상기 센싱 데이터의 이전 주기에서의 값과 현재 주기에서의 값의 차이가 제2 임계 값 이내이거나 또는 제1 임계 비율 이내인 안정화 구간과 상기 센싱 데이터의 이전 주기에서의 값과 현재 주기에서의 값의 차이가 상기 제2 임계 값 이상이거나 또는 상기 제1 임계 비율 이상인 변동 구간으로 구분하고,
    자세가 변동되었다고 판단한 이후, 상기 안정화 구간이 되었을 때 상기 통계 센싱 데이터를 획득하는, 전자 장치.
  7. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 훈련 모델에 하나의 통계 센싱 데이터를 입력하여 상기 사용자의 자세를 판단하고,
    상기 제2 훈련 모델에 일련의 복수 개의 통계 센싱 데이터를 입력하여 상기 사용자를 판단하는, 전자 장치.
  8. 제2항에 있어서,
    상기 전자 장치는,
    상기 적어도 하나의 프로세서와 작동적으로 연결되고 디스플레이를 포함하는 출력부를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 디스플레이에 판단된 상기 사용자, 상기 사용자의 자세, 및/또는 상기 통계 센싱 데이터를 표시하는, 전자 장치.
  9. 제2항에 있어서,
    상기 전자 장치는,
    상기 적어도 하나의 프로세서와 작동적으로 연결되는 메모리를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    x축은 시간의 경과를 나타내고, y축은 상기 복수의 센서들을 나타내고, 대응하는 좌표 영역에 상기 복수의 센서들 각각에 대한 상기 통계 센싱 데이터의 값에 따라 색깔로 구분하여 표시하거나 또는 회색조로 구분하여 표시한 2차원 이미지를 생성하여 상기 메모리에 저장하는, 전자 장치.
  10. 제9항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 2차원 이미지를 클라우드 네트워크 상의 클라우드 서버에 추가적으로 저장하는, 전자 장치.
  11. 제2항에 있어서,
    상기 전자 장치는,
    상기 적어도 하나의 프로세서와 작동적으로 연결되는 통신부를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신부를 통해 외부의 인공지능 서버와 통신하고,
    상기 제1 훈련 모델의 적어도 일부 기능 및/또는 상기 제2 훈련 모델의 적어도 일부 기능을 상기 인공지능 서버와 협력하여 수행하는, 전자 장치.
  12. 제2항에 있어서,
    상기 복수의 센서들은 사용자의 몸에 의해 눌려지는 힘 또는 압력의 강도를 측정할 수 있는 센서들이고,
    상기 사용자가 수면을 취할 수 있는 매트리스나 요에 분산되어 배치되는, 전자 장치.

  13. 인공 지능 기술을 적용한 전자 장치의 동작 방법에 있어서,
    복수의 센서들에 의해 측정된 센싱 데이터를 획득하는 동작;
    상기 센싱 데이터에 기초하여 사용자의 자세 변동 여부를 판단하는 동작;
    자세가 변동되었다고 판단한 경우, 상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하는 동작; 및
    상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단하는 동작을 포함하는, 방법.
  14. 제13항에 있어서,
    상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단하는 동작은,
    인공 지능 기술이 적용된 사용자의 자세를 판단하기 위한 제1 훈련 모델의 적어도 일부 기능을 수행하는 동작;
    인공지능 기술이 적용된 사용자를 판단하기 위한 제2 훈련 모델의 적어도 일부 기능을 수행하는 동작; 및
    상기 통계 센싱 데이터를 상기 제1 훈련 모델 및 상기 제2 훈련 모델의 입력으로 사용하는 동작을 포함하는, 방법.

  15. 제14항에 있어서,
    상기 복수의 센서들에 의해 측정된 센싱 데이터를 획득하는 동작은,
    제1 시간 주기로 상기 복수의 센서들 각각에 대응하는 상기 센싱 데이터를 획득하는 동작을 포함하고,
    상기 센싱 데이터에 기초하여 사용자의 자세 변동 여부를 판단하는 동작은,
    상기 복수의 센서들 중 적어도 일부 센서의 센싱 데이터 값이 해당 센서의 이전 주기에서의 센싱 데이터 값과 제1 임계 값 이상 차이가 나는 경우 자세가 변동되었다고 판단하는 동작을 포함하는, 방법.
  16. 제15항에 있어서,
    상기 적어도 일부 센서의 개수는 상기 복수의 센서의 개수의 반 이상이고, 상기 제1 임계 값은 상기 센싱 데이터가 가질 수 있는 최대 값의 1/5인, 방법.
  17. 제15항에 있어서,
    상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하는 동작은,
    상기 센싱 데이터를 제2 시간동안 수집하는 동작; 및
    상기 제2 시간동안 수집된 센싱 데이터를 기초로 평균 값, 최빈 값 또는 중간 값 중의 하나를 계산하여 상기 복수의 센서들각각에 대한 상기 통계 센싱 데이터를 획득하는 동작을 포함하는, 방법.
  18. 제17항에 있어서,
    상기 방법은,
    시간 구간을 상기 센싱 데이터의 이전 주기에서의 값과 현재 주기에서의 값의 차이가 제2 임계 값 이내이거나 또는 제1 임계 비율 이내인 안정화 구간과 상기 센싱 데이터의 이전 주기에서의 값과 현재 주기에서의 값의 차이가 상기 제2 임계 값 이상이거나 또는 상기 제1 임계 비율 이상인 변동 구간으로 구분하는 동작을 더 포함하고,
    상기 센싱 데이터를 통계적으로 처리하여 통계 센싱 데이터를 획득하는 동작은,
    자세가 변동되었다고 판단한 이후, 상기 안정화 구간이 되었을 때 상기 통계 센싱 데이터를 획득하는 동작을 포함하는, 방법.
  19. 제14항에 있어서,
    상기 통계 센싱 데이터에 기초하여 사용자 및 사용자의 자세를 판단하는 동작은,
    상기 제1 훈련 모델에 하나의 통계 센싱 데이터를 입력하여 상기 사용자의 자세를 판단하는 동작; 및
    상기 제2 훈련 모델에 일련의 복수 개의 통계 센싱 데이터를 입력하여 상기 사용자를 판단하는 동작을 포함하는, 방법.
  20. 제14항에 있어서,
    상기 방법은
    디스플레이에 판단된 상기 사용자, 상기 사용자의 자세, 및/또는 상기 통계 센싱 데이터를 표시하는 동작을 더 포함하는, 방법.
  21. 제14항에 있어서,
    상기 방법은,
    x축은 시간의 경과를 나타내고, y축은 상기 복수의 센서들을 나타내고, 대응하는 좌표 영역에 상기 복수의 센서들 각각에 대한 상기 통계 센싱 데이터의 값에 따라 색깔로 구분하여 표시하거나 또는 회색조로 구분하여 표시한 2차원 이미지를 생성하여 메모리에 저장하는 동작을 더 포함하는, 방법.
  22. 제21항에 있어서,
    상기 방법은,
    상기 2차원 이미지를 클라우드 네트워크 상의 클라우드 서버에 추가적으로 저장하는 동작을 더 포함하는, 방법.
  23. 제14항에 있어서,
    상기 방법은,
    외부의 인공지능 서버와 통신하는 동작; 및
    상기 제1 훈련 모델의 적어도 일부 기능 및/또는 상기 제2 훈련 모델의 적어도 일부 기능을 상기 인공지능 서버와 협력하여 수행하는 동작은 더 포함하는, 방법.
KR1020190123111A 2019-10-04 2019-10-04 인공 지능을 이용한 자세 감지 장치 및 방법 KR20210040626A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190123111A KR20210040626A (ko) 2019-10-04 2019-10-04 인공 지능을 이용한 자세 감지 장치 및 방법
US16/803,358 US20210100480A1 (en) 2019-10-04 2020-02-27 Apparatus and method for detecting posture using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190123111A KR20210040626A (ko) 2019-10-04 2019-10-04 인공 지능을 이용한 자세 감지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210040626A true KR20210040626A (ko) 2021-04-14

Family

ID=75274513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190123111A KR20210040626A (ko) 2019-10-04 2019-10-04 인공 지능을 이용한 자세 감지 장치 및 방법

Country Status (2)

Country Link
US (1) US20210100480A1 (ko)
KR (1) KR20210040626A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102411765B1 (ko) * 2021-12-01 2022-06-22 안수현 신경망을 이용한 바른 자세 추정 시스템 및 그 방법
CN114887271A (zh) * 2022-05-12 2022-08-12 福州大学 基于人体姿势识别的火灾逃生技能教学监测系统
KR20230055691A (ko) * 2021-10-19 2023-04-26 (주)서홍테크 인공지능 모델을 기반으로 욕창을 관리하는 방법 및 이를 수행하는 전자 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563887B (zh) * 2023-04-21 2024-03-12 华北理工大学 一种基于轻量化卷积神经网络的睡姿监测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6004444B2 (ja) * 2010-10-29 2016-10-05 オーピクス メディカル テクノロジーズ インコーポレイテッドＯｒｐｙｘ Ｍｅｄｉｃａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｉｎｃ． 末梢感覚および超感覚代行システム
US20130090571A1 (en) * 2011-10-06 2013-04-11 The Board Of Regents Of The University Of Texas System Methods and systems for monitoring and preventing pressure ulcers
WO2018032089A1 (en) * 2016-08-19 2018-02-22 Qusaybatie Mahamad Eid System, method, and computer readable medium for dynamic pressure damage risk assessment and response
EP3787440A4 (en) * 2018-05-01 2021-06-16 Bryte, Inc. SLEEP DETECTION AND SLEEP ENVIRONMENT CONFIGURATION AND LEARNING PROCESSES TO OPTIMIZE SLEEP QUALITY
US11406285B2 (en) * 2018-05-08 2022-08-09 Seismic Holdings, Inc. Exosuit systems and methods for posture session segmentation and biomechanical feedback

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230055691A (ko) * 2021-10-19 2023-04-26 (주)서홍테크 인공지능 모델을 기반으로 욕창을 관리하는 방법 및 이를 수행하는 전자 장치
KR102411765B1 (ko) * 2021-12-01 2022-06-22 안수현 신경망을 이용한 바른 자세 추정 시스템 및 그 방법
CN114887271A (zh) * 2022-05-12 2022-08-12 福州大学 基于人体姿势识别的火灾逃生技能教学监测系统

Also Published As

Publication number Publication date
US20210100480A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
KR20210040626A (ko) 인공 지능을 이용한 자세 감지 장치 및 방법
KR102425578B1 (ko) 객체를 인식하는 방법 및 장치
US11151453B2 (en) Device and method for recommending product
US11358285B2 (en) Robot and method of recognizing mood using the same
Mohammed et al. Recognition of gait cycle phases using wearable sensors
US20190347285A1 (en) Electronic device for determining emotion of user and method for controlling same
CN111418198B (zh) 提供文本相关图像的电子装置及其操作方法
KR102579904B1 (ko) 비전 검사 관리 방법 및 비전 검사 시스템
CN113015984A (zh) 卷积神经网络中的错误校正
US11270565B2 (en) Electronic device and control method therefor
CN106599853B (zh) 远程教学过程中进行形体姿态纠正的方法及其设备
US11029803B2 (en) Robot
JP2022546644A (ja) 人間－ロボット混在製造プロセスにおける自動異常検出のためのシステムおよび方法
Botzheim et al. Human gesture recognition for robot partners by spiking neural network and classification learning
US11484685B2 (en) Robotic control using profiles
Infantino Affective human-humanoid interaction through cognitive architecture
US11738465B2 (en) Robot and controlling method thereof
US11517500B2 (en) Massage apparatus
KR102573023B1 (ko) 수면 유도 장치
US10997947B2 (en) Electronic device and control method thereof
KR102562052B1 (ko) 전자 장치 및 그 제어 방법
US20190193280A1 (en) Method for personalized social robot interaction
Botzheim et al. Gestural and facial communication with smart phone based robot partner using emotional model
KR20190119205A (ko) 전자 장치 및 그 제어 방법
Tsiakas et al. An interactive learning and adaptation framework for adaptive robot assisted therapy

Legal Events

Date Code Title Description
A201 Request for examination