KR102561210B1 - System and Method for Sleeptech controlling using AR in Smart Home Environment - Google Patents

System and Method for Sleeptech controlling using AR in Smart Home Environment Download PDF

Info

Publication number
KR102561210B1
KR102561210B1 KR1020200142428A KR20200142428A KR102561210B1 KR 102561210 B1 KR102561210 B1 KR 102561210B1 KR 1020200142428 A KR1020200142428 A KR 1020200142428A KR 20200142428 A KR20200142428 A KR 20200142428A KR 102561210 B1 KR102561210 B1 KR 102561210B1
Authority
KR
South Korea
Prior art keywords
sleep
user
control
temperature
bed
Prior art date
Application number
KR1020200142428A
Other languages
Korean (ko)
Other versions
KR20210136817A (en
Inventor
이재동
박현주
배수민
이원진
차성민
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Publication of KR20210136817A publication Critical patent/KR20210136817A/en
Application granted granted Critical
Publication of KR102561210B1 publication Critical patent/KR102561210B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47CCHAIRS; SOFAS; BEDS
    • A47C20/00Head -, foot -, or like rests for beds, sofas or the like
    • A47C20/04Head -, foot -, or like rests for beds, sofas or the like with adjustable inclination
    • A47C20/041Head -, foot -, or like rests for beds, sofas or the like with adjustable inclination by electric motors
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47CCHAIRS; SOFAS; BEDS
    • A47C21/00Attachments for beds, e.g. sheet holders, bed-cover holders; Ventilating, cooling or heating means in connection with bedsteads or mattresses
    • A47C21/003Lighting, radio, telephone or the like connected to the bedstead
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nursing (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 스마트홈 모델링을 통하여 스마트홈 제어의 직관성을 높이고, AR 기술을 이용하여 사용자 맞춤형 콘텐츠 및 정보를 제공할 수 있도록 한 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법에 관한 것으로, IoT 센서를 통해 수집된 데이터를 기반으로 자동으로 제어되는 AI 모션 베드 및 IoT 센서 데이터 수집처리 및 IoT 센서 상태 감지를 하고 모션 베드 관리 제어 및 자동 각도 조절을 수행하는 AI 모션 베드 관리 제어부;센서데이터 수집 및 분석을 하고, 분석데이터를 저장하고 시각화 처리를 하는 빅데이터 처리 및 관리부;사용자 수면 패턴 분류 및 예측을 하여 수면 패턴 및 예측 기반 베드 제어를 하고, 수면 환경 상태 분석을 하여 사용자 맞춤형 AR 기반 콘텐츠를 제공하는 사용자 맞춤형 추천 제어 처리부;사용자 프로파일을 수집하고, 수면 환경 및 상태를 실시간 모니터링하고, 원격 제어 및 관리 및 맞춤형 UI/UX 제공을 하고, 사용자에게 데이터를 시각화하여 제공하는 스마트 디바이스;를 포함하는 것이다.The present invention is directed to an apparatus and method for controlling sleep tech using AR technology in a smart home environment that enhances the intuitiveness of smart home control through smart home modeling and provides user-customized content and information using AR technology. It relates to an AI motion bed that is automatically controlled based on data collected through an IoT sensor, an AI motion bed management control unit that automatically controls AI motion bed and IoT sensor data collection and processing, detects IoT sensor status, and performs motion bed management control and automatic angle adjustment; Big data processing and management unit that collects and analyzes sensor data, stores analysis data, and performs visualization processing; User-customized AR by classifying and predicting user sleep patterns to control sleep patterns and prediction-based beds, and analyzing sleep environment conditions A user-customized recommendation control processing unit that provides based content; A smart device that collects user profiles, monitors sleep environments and conditions in real time, provides remote control and management, and provides customized UI/UX, and provides visualized data to users; is to include

Description

스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법{System and Method for Sleeptech controlling using AR in Smart Home Environment}Apparatus and method for controlling sleeptech using AR technology in smart home environment {System and Method for Sleeptech controlling using AR in Smart Home Environment}

본 발명은 스마트홈 환경 구축에 관한 것으로, 구체적으로 스마트홈 모델링을 통하여 스마트홈 제어의 직관성을 높이고, AR 기술을 이용하여 사용자 맞춤형 콘텐츠 및 정보를 제공할 수 있도록 한 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법에 관한 것이다.The present invention relates to the establishment of a smart home environment, and specifically, utilizes AR technology in a smart home environment that enhances the intuitiveness of smart home control through smart home modeling and provides user-customized content and information using AR technology. It relates to an apparatus and method for controlling a slip tech.

4차 산업혁명 시대가 도래함에 따라 AI, IoT, VR/AR 등의 기술 발전이 이루어지고 있으며 특히 스마트홈 시장 규모는 나날이 커져가고 있다.As the era of the 4th industrial revolution has arrived, technological developments such as AI, IoT, and VR/AR are being made, and in particular, the size of the smart home market is growing day by day.

이제 스마트홈은 가전제품과 사물인터넷 연결에서 더 나아가 고도화된 기술로 사용자 맞춤형 서비스로 진화하고 있다.Now, the smart home is evolving from home appliances and Internet of Things (IoT) connectivity to user-customized services with advanced technology.

일반적으로 주거 환경에 정보 기술이 융합되어 거주자의 편리, 복지, 그리고 안전 중심의 생활을 가능하게 하는 스마트 라이프 환경을 스마트홈(Smart Home)이라고 정의한다.In general, a smart life environment in which information technology is converged with a residential environment to enable residents' convenience, welfare, and safety-centered life is defined as a smart home.

스마트홈 네트워크와 연결된 가전제품들을 통해 제공되는 다양한 맞춤형 콘텐츠와 스마트홈 서비스는 지속적으로 확대되고 있다.A variety of customized contents and smart home services provided through home appliances connected to the smart home network are continuously expanding.

한편, 슬립테크(Sleeptech)란 'Sleep(수면)'과 'Technology(기술)'의 합성어로, 첨단 기술을 활용해 수면관련 데이터를 분석하고 수면을 돕는 기술을 일컫는다. 현재 성인의 하루 적정 수면 시간은 8시간이지만 실제로는 약 40%가 이보다 적은 7시간미만의 잠을 자고 있는 실정이다.Meanwhile, Sleeptech is a compound word of 'Sleep' and 'Technology', and refers to a technology that analyzes sleep-related data and helps sleep by using cutting-edge technology. Currently, the proper sleep time for adults is 8 hours, but in reality, about 40% sleep less than 7 hours.

그리고 증강현실(Augmented Reality)은 실제 환경에 컴퓨터 모델링을 통해 생성한 가상의 물체(물체, 텍스트, 비디오)를 겹쳐 보이게 하여 공간과 상황에 관한 가상정보를 제공하는 시스템 및 기술이다.And augmented reality (Augmented Reality) is a system and technology that provides virtual information about space and situations by superimposing virtual objects (objects, texts, videos) created through computer modeling on a real environment.

AR은 다양한 사물들에 대한 추가적인 정보를 제공해줄 수 있다는 점과 높은 몰입도를 요구하는 공간구성에서의 콘텐츠로 활용이 가능하다는 점이 있다.AR can provide additional information about various objects and can be used as content in spatial configurations that require a high degree of immersion.

이와 같은 기술적 환경이 구축되어 있음에도 종래 기술의 스마트홈 제어 어플리케이션들은 텍스트 형식의 UI, 직관적인 정보 제공의 부재, 스마트 스위치 수준의 서비스 제공 등의 문제점을 가지고 있다.Even though such a technical environment is established, conventional smart home control applications have problems such as text-type UI, absence of intuitive information provision, and smart switch level service provision.

따라서, 스마트홈 어플리케이션의 문제점인 직관성 부족의 문제를 해결하고, 개선된 스마트홈 제어 어플리케이션을 제공하기 위한 새로운 기술의 개발이 요구되고 있다.Therefore, there is a demand for the development of new technologies to solve the problem of lack of intuition, which is a problem of smart home applications, and to provide improved smart home control applications.

대한민국 공개특허 제10-2019-0095608호Republic of Korea Patent Publication No. 10-2019-0095608 대한민국 공개특허 제10-2011-0117492호Republic of Korea Patent Publication No. 10-2011-0117492 대한민국 공개특허 제10-2019-0099165호Republic of Korea Patent Publication No. 10-2019-0099165

본 발명은 종래 기술의 스마트홈 환경 구축 및 제어 기술의 문제점을 해결하기 위한 것으로, 스마트홈 모델링을 통하여 스마트홈 제어의 직관성을 높이고, AR 기술을 이용하여 사용자 맞춤형 콘텐츠 및 정보를 제공할 수 있도록 한 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problems of the prior art smart home environment construction and control technology, to enhance the intuitiveness of smart home control through smart home modeling and to provide user-customized content and information using AR technology The purpose is to provide a device and method for controlling sleep tech using AR technology in a smart home environment.

본 발명은 베드에 부착된 IoT 센서 빅데이터를 수집하여 수면자의 수면상태 및 수면환경에 최적화된 수면환경 데이터를 분석하여 제공하여 효과적인 수면경험을 제공하고, 수면 패턴을 예측할 수 있도록 한 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention collects IoT sensor big data attached to the bed, analyzes and provides sleep environment data optimized for the sleep state and sleep environment of the sleeper, provides an effective sleep experience, and predicts sleep patterns In a smart home environment The purpose is to provide a device and method for sleep tech control using AR technology.

본 발명은 스마트홈 제어 어플리케이션의 직관성, 편의성을 개선하여 사용자에게 보다 친숙한 스마트홈 환경을 제공하고, 인공지능 기술을 접목하여 보다 개인 맞춤화된 서비스를 제공할 수 있도록 한 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention utilizes AR technology in a smart home environment to provide a more familiar smart home environment to users by improving the intuitiveness and convenience of smart home control applications, and to provide more personalized services by grafting artificial intelligence technology. Its purpose is to provide a device and method for controlling a slip tech.

본 발명은 증가하는 수면 장애 환자들을 위해 수면에 도움이 될 수 있도록 슬립테크 기능을 증강현실과 모션베드를 이용해 제어할 수 있는 스마트홈 어플리케이션 시스템을 구축할 수 있도록 한 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention utilizes AR technology in a smart home environment to build a smart home application system that can control the sleep tech function using augmented reality and motion beds to help sleep for patients with increasing sleep disorders. Its purpose is to provide a device and method for controlling a slip tech.

본 발명은 증강현실과 3D 모델링을 통해 직관적인 정보 제공이 가능하도록 집 모양의 3D 모델을 화면에 띄워주고 사용자가 직접 모델을 터치하여 제어할 수 있도록 한 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is a sleep tech using AR technology in a smart home environment in which a house-shaped 3D model is displayed on the screen to provide intuitive information through augmented reality and 3D modeling, and the user can directly touch and control the model Its purpose is to provide a device and method for control.

본 발명은 스마트 가구 중 하나인 AI 모션 베드를 통한 슬립테크 증강현실 기술을 이용하여 필요한 정보들을 그래픽으로 제공하여 스마트홈 및 AI 모션 베드를 제어할 수 있도록 한 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is a sleep using AR technology in a smart home environment that can control a smart home and an AI motion bed by providing necessary information in graphics using sleep tech augmented reality technology through an AI motion bed, which is one of smart furniture. Its purpose is to provide a device and method for tech control.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned above will be clearly understood by those skilled in the art from the description below.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치는, IoT 센서를 통해 수집된 데이터를 기반으로 자동으로 제어되는 AI 모션 베드; IoT 센서 데이터 수집처리 및 IoT 센서 상태 감지를 하고 AI 모션 베드를 관리 제어하고 AI 모션 베드의 자동 각도 조절을 수행하는 AI 모션 베드 관리 제어부; IoT 센서 데이터를 수집 및 분석하고, 분석한 데이터를 저장하고 시각화 처리를 하는 빅데이터 처리 및 관리부; 사용자 수면 패턴 분류 및 예측을 하여 수면 패턴 및 예측 기반 베드 제어를 하고, 수면 환경 상태 분석을 하여 사용자 맞춤형 AR 기반 콘텐츠를 제공하는 사용자 맞춤형 추천 제어 처리부; 및 사용자 프로파일을 수집하고, 수면 환경 및 상태를 실시간 모니터링하고, 원격 제어 및 관리 및 맞춤형 UI/UX 제공을 하고, 사용자에게 데이터를 시각화하여 제공하는 스마트 디바이스를 포함한다.An apparatus for controlling sleep tech using AR technology in a smart home environment according to the present invention for achieving the above object is an AI motion bed that is automatically controlled based on data collected through an IoT sensor; AI motion bed management control unit that collects and processes IoT sensor data and detects IoT sensor status, manages and controls the AI motion bed, and automatically adjusts the angle of the AI motion bed; Big data processing and management unit that collects and analyzes IoT sensor data, stores the analyzed data, and performs visualization processing; A user-customized recommendation control processing unit that classifies and predicts a user's sleep pattern, performs sleep pattern- and prediction-based bed control, analyzes a sleep environment state, and provides user-customized AR-based content; and a smart device that collects user profiles, monitors sleep environments and conditions in real time, provides remote control and management, and provides customized UI/UX, and provides visualized data to users.

여기서, AI 모션 베드 관리 제어부는, IoT 센서 데이터 수집처리를 하는 IoT 센서 데이터 수집처리부와, IoT 센서 상태 감지를 하는 IoT 센서 상태 감지부와, AI 모션 베드 관리 제어를 하는 모션 베드 제어부와, 자동으로 모션 베드의 각도 조절을 수행하는 자동 각도 조절부를 포함하는 것을 특징으로 한다.Here, the AI motion bed management control unit includes an IoT sensor data collection processing unit for IoT sensor data collection processing, an IoT sensor state detection unit for detecting IoT sensor status, and a motion bed control unit for AI motion bed management control, automatically It is characterized in that it includes an automatic angle adjuster for performing angle adjustment of the motion bed.

그리고 빅데이터 처리 및 관리부는, AI 모션 베드 관리 제어부를 통하여 AI 모션 베드에 부착되어 있는 센서 데이터를 수집하는 센서데이터 수집부와, 센서데이터 수집부에서 수집된 데이터를 분석하여 수면 환경 및 수면자의 수면 상태를 분석하는 센서데이터 분석부와, 센서데이터 분석부에서 분석된 데이터를 저장하는 분석데이터 저장부와, 센서데이터 분석부에서 분석된 데이터를 시각화 처리하는 시각화 처리부를 포함하는 것을 특징으로 한다.In addition, the big data processing and management unit analyzes the data collected from the sensor data collection unit and the sensor data collection unit that collects sensor data attached to the AI motion bed through the AI motion bed management control unit, and the sleep environment and the sleep of the sleeper It is characterized in that it includes a sensor data analysis unit that analyzes the state, an analysis data storage unit that stores the data analyzed by the sensor data analysis unit, and a visualization processing unit that visualizes the data analyzed by the sensor data analysis unit.

그리고 센서데이터 수집부는, 시간별 수면자의 온도 및 소리 정보를 센서로 수집하고 저장하기 위해 센서 데이터를 시간별로 수집하고 저장하고, 온도 상태 측정은 매트리스 외부에 부착된 온도감지 센서를 통해 수면자의 온도와 실내 온도를 측정하여 최적의 매트리스 온도를 예측하기 위한 데이터를 수집하는 것을 특징으로 한다.In addition, the sensor data collection unit collects and stores sensor data hourly to collect and store the sleeper's temperature and sound information hourly, and the temperature state is measured by the temperature sensor attached to the outside of the mattress to measure the sleeping person's temperature and indoor temperature. It is characterized by measuring the temperature and collecting data for predicting the optimal mattress temperature.

그리고 사용자 맞춤형 추천 제어 처리부는, 사용자 수면 패턴 분류 및 예측을 하는 사용자 수면 패턴 분류 및 예측부와, 사용자 수면 패턴 분류 및 예측부의 수면 패턴 및 예측을 기반으로 AI 모션 베드 제어를 하는 수면 패턴 및 예측 기반 베드 제어부와, 수면 환경 상태 분석을 하는 환경 상태 분석부와, 환경 상태 분석부의 분석 결과를 기반으로 사용자 맞춤형 AR 기반 콘텐츠를 제공하는 AR 기반 콘텐츠 제공부를 포함하는 것을 특징으로 한다.And the user-customized recommendation control processing unit, a user sleep pattern classification and prediction unit for classifying and predicting user sleep patterns, and a sleep pattern and prediction base for AI motion bed control based on the sleep patterns and predictions of the user sleep pattern classification and prediction unit It is characterized in that it includes a bed controller, an environmental state analyzer that analyzes a sleep environment state, and an AR-based content provider that provides user-customized AR-based content based on the analysis result of the environment state analyzer.

그리고 AR 기반 콘텐츠 제공부는, 3D 모델링과 증강현실 기술의 사용을 위해 유니티를 기반으로 어플리케이션을 제작하고, 유니티를 통해 UI제작, 3D 모델링 제어, 아두이노 센서 제어를 구현하고, Sketchup을 이용해 만든 3D 모델링을 유니티로 가져오고 아두이노 센서들을 제어하기 위해 '아두니티' 툴을 사용하는 것을 특징으로 한다.And the AR-based content provider creates applications based on Unity for the use of 3D modeling and augmented reality technology, implements UI production, 3D modeling control, Arduino sensor control through Unity, and 3D modeling made using Sketchup. into Unity and using the 'Adunity' tool to control the Arduino sensors.

그리고 유니티를 이용해 안드로이드 앱 빌드를 하여 안드로이드 환경에서 어플리케이션이 구동될 수 있도록 하는 것을 특징으로 한다.In addition, it is characterized in that the Android app is built using Unity so that the application can be run in the Android environment.

그리고 스마트 디바이스의 어플리케이션은, 개인의 성별 및 신체 정보, 상황정보를 포함하는 사용자 프로파일을 수집하는 프로파일 수집부와, 사용자의 수면 환경 및 수면 상태를 실시간으로 모니터링하는 실시간 모니터링부와, 실시간 모니터링에 따른 원격 제어 및 관리를 하는 원격 제어 및 관리부와, 사용자에게 맞춤형 UI/UX를 제공하는 맞춤형 UI/UX 제공부와, 데이터를 시각화하여 제공하는 데이터 시각화 제공부를 포함하는 것을 특징으로 한다.In addition, the application of the smart device includes a profile collection unit for collecting a user profile including personal gender and body information and situation information, a real-time monitoring unit for monitoring the user's sleep environment and sleep condition in real time, and a real-time monitoring according to It is characterized in that it includes a remote control and management unit for remote control and management, a customized UI/UX providing unit for providing a customized UI/UX to users, and a data visualization providing unit for visualizing and providing data.

그리고 사용자 맞춤형 추천 제어 처리부는 수면 패턴 및 예측 기반 베드 제어를 위하여 침대 표면온도를, 사용자 개개인의 체온, 실내온도, 실외온도에 대한 가중치와 이를 이용하여 나온 침대 표면온도에 사용자의 추가적인 성향 값만큼 온도를 조정해주고 결과값을 실제 범위에 들어가도록 보정하는 것을 특징으로 한다.And the user-customized recommendation control processing unit uses the bed surface temperature for sleep pattern and prediction-based bed control, weights for each user's body temperature, indoor temperature, and outdoor temperature, and the temperature as much as the user's additional propensity value to the bed surface temperature derived using this It is characterized in that it adjusts and corrects the resulting value to fit into the actual range.

다른 목적을 달성하기 위한 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 방법은, 사용자 프로파일 및 수면시 센서로 감지되는 데이터 및 주변 환경 정보를 수집하는 단계; 센서 데이터 및 사용자 프로파일을 분석 및 처리하고, 처리된 사용자 프로파일 및 센서 데이터 정보를 레포지토리에 저장하는 단계; 사용자 프로파일 및 센서 데이터를 기반으로 개인 맞춤형으로 수면 서비스를 제공하기 위한 데이터를 가공 및 처리를 하는 단계; 서비스 이용시에 사용자 개인의 상황정보를 포함하는 사용자 프로파일을 맞춤형 AI 모션 베드를 위한 빅데이터 처리 및 관리 시스템에 전송하는 단계; 및 전송된 정보를 분석 처리하고 최적화된 수면 상황을 검색하여, 이용자 및 주변 환경 정보와 매쉬업 처리하고 매쉬업된 콘텐츠를 사용자 스마트 디바이스 및 AI 모션 베드에 적응화시켜 사용자에게 최적화된 수면 환경을 제공하는 단계;를 포함한다.
사용자 프로파일 및 수면시 센서로 감지되는 데이터 및 주변 환경 정보를 수집하는 단계;센서 데이터 및 사용자 프로파일 분석 및 처리하고, 처리된 사용자 및 센서데이터 정보를 레포지토리에 저장하는 단계;사용자 및 센서 데이터를 개인 맞춤형으로 수면 서비스를 제공하기 위한 데이터 가공 및 처리를 하는 단계;서비스 이용시에 프로파일 및 상황정보를 맞춤형 AI 모션 베드를 위한 빅데이터 처리 및 관리 시스템에 전송하는 단계;전송된 정보를 분석 처리하고 최적화된 수면 상황을 검색하여, 이용자 및 주변 환경 정보와 매쉬업 처리하고 매쉬업된 콘텐츠는 사용자 스마트 디바이스 및 AI 모션 베드에 적응화시켜 사용자에게 최적화된 수면 환경을 제공하는 단계;를 포함하는 것을 특징으로 한다.
In order to achieve another object, a method for controlling sleep tech using AR technology in a smart home environment according to the present invention includes collecting data and surrounding environment information detected by sensors during sleep and a user profile; analyzing and processing the sensor data and user profile, and storing the processed user profile and sensor data information in a repository; Processing and processing data to provide a personalized sleep service based on user profile and sensor data; Transmitting a user profile including personal context information to a big data processing and management system for a customized AI motion bed when using a service; And analyzing and processing the transmitted information and searching for an optimized sleep situation, performing mash-up processing with user and surrounding environment information, and adapting the mash-up content to the user's smart device and AI motion bed to provide an optimized sleep environment for the user; includes
Collecting user profile and data detected by sensors during sleep and surrounding environment information; Analyzing and processing sensor data and user profile; Storing processed user and sensor data information in a repository; Personalizing user and sensor data Step of data processing and processing to provide sleep service; Transmitting profile and situation information to big data processing and management system for customized AI motion bed when using service; Analyzing and processing the transmitted information and optimizing sleep Retrieving the situation, processing the mash-up with user and surrounding environment information, and adapting the mash-up content to the user's smart device and AI motion bed to provide an optimized sleep environment for the user; characterized in that it includes.

그리고 맞춤형 AI 모션 베드 제어를 위하여 침대 표면온도를,And for customized AI motion bed control, the bed surface temperature,

으로 산출하고, 여기서, 는 체온 가중치, 는 실내 온도 가중치, 는 실외 온도 가중치, a+b+c=1이고, TBed Surface는 침대 표면온도, Tbody는 체온, Tindoor는 실내 온도, Toutdoor는 실외온도이며, 는 침대 적정온도에서 사용자가 변경한 값들의 평균 값, 는 계절온도 차 보정 값인 것을 특징으로 한다. Calculated as, where, is the body temperature weight, is the room temperature weight, is the outdoor temperature weight, a + b + c = 1, T Bed Surface is the bed surface temperature, T body is the body temperature, T indoor is the indoor temperature, T outdoor is the outdoor temperature, is the average value of the values changed by the user at the optimal bed temperature, is a seasonal temperature difference correction value.

그리고 매쉬업된 콘텐츠를 사용자 스마트 디바이스 및 AI 모션 베드에 적응화시켜 사용자에게 최적화된 수면 환경을 제공하는 단계에서, 3D 모델링과 증강현실 기술의 사용을 위해 유니티를 기반으로 어플리케이션을 제작하고, 유니티를 통해 UI제작, 3D 모델링 제어, 아두이노 센서 제어를 구현하고, Sketchup을 이용해 만든 3D 모델링을 유니티로 가져오고 아두이노 센서들을 제어하기 위해 '아두니티' 툴을 사용하는 것을 특징으로 한다.In addition, in the step of providing the user with an optimized sleep environment by adapting the mash-up content to the user's smart device and AI motion bed, an application is created based on Unity for the use of 3D modeling and augmented reality technology, and UI through Unity It is characterized by implementing production, 3D modeling control, Arduino sensor control, importing 3D modeling made using Sketchup to Unity, and using the 'Ardunity' tool to control Arduino sensors.

이상에서 설명한 바와 같은 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법은 다음과 같은 효과가 있다.As described above, the apparatus and method for controlling sleep tech using AR technology in a smart home environment according to the present invention have the following effects.

첫째, 스마트홈 모델링을 통하여 스마트홈 제어의 직관성을 높이고, AR 기술을 이용하여 사용자 맞춤형 콘텐츠 및 정보를 제공할 수 있도록 한다.First, the intuitiveness of smart home control is enhanced through smart home modeling, and user-customized content and information can be provided using AR technology.

둘째, 베드에 부착된 IoT 센서 빅데이터를 수집하여 수면자의 수면상태 및 수면환경에 최적화된 수면환경 데이터를 분석하여 제공하여 효과적인 수면경험을 제공하고, 수면 패턴을 예측할 수 있도록 한다.Second, it collects big data from IoT sensors attached to the bed, analyzes and provides sleep environment data optimized for the sleep state and sleep environment of the sleeper, provides an effective sleep experience, and predicts sleep patterns.

셋째, 스마트홈 제어 어플리케이션의 직관성, 편의성을 개선하여 사용자에게 보다 친숙한 스마트홈 환경을 제공하고, 인공지능 기술을 접목하여 보다 개인 맞춤화된 서비스를 제공할 수 있도록 한다.Third, improve the intuitiveness and convenience of smart home control applications to provide a more familiar smart home environment to users, and to provide more personalized services by grafting artificial intelligence technology.

넷째, 증가하는 수면 장애 환자들을 위해 수면에 도움이 될 수 있도록 슬립테크 기능을 증강현실과 모션베드를 이용해 제어할 수 있는 스마트홈 어플리케이션 시스템을 구축할 수 있도록 한다.Fourth, it is possible to build a smart home application system that can control the sleep tech function using augmented reality and motion bed to help sleep for the increasing number of patients with sleep disorders.

다섯째, 증강현실과 3D 모델링을 통해 직관적인 정보 제공이 가능하도록 집 모양의 3D 모델을 화면에 띄워주고 사용자가 직접 모델을 터치하여 제어할 수 있도록 한다.Fifth, a house-shaped 3D model is displayed on the screen so that intuitive information can be provided through augmented reality and 3D modeling, and the user can directly touch and control the model.

여섯째, 스마트 가구 중 하나인 AI 모션 베드를 통한 슬립테크 증강현실 기술을 이용하여 필요한 정보들을 그래픽으로 제공하여 스마트홈 및 AI 모션 베드를 제어할 수 있도록 한다.Sixth, by using SleepTech augmented reality technology through AI motion bed, which is one of the smart furniture, necessary information is provided graphically so that smart home and AI motion bed can be controlled.

도 1a와 도 1b는 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치의 전체 구성도 및 스마트홈 구성도
도 1c 및 도 1d는 3D 모델링을 위한 유니티 제작 화면 및 아두니티 구성 화면의 예시도
도 2는 본 발명의 일 실시 예에 따른 시각화 API 모듈 구성도
도 3은 본 발명의 일 실시 예에 따른 프로파일 리파지토리와 모바일 장치간에 프로파일 교환 구성도
도 4는 사용자 피드백을 반영한 품질 분석 모듈의 일 예를 나타낸 구성도
도 5는 Cascade-hybrid(순차적 혼합) 알고리즘 처리 예시를 나타낸 구성도
도 6은 본 발명에 따른 제스처 입력 인터페이스의 일 예를 나타낸 구성도
도 7은 (a)스마트홈 어플리케이션의 인터페이스, (b)스마트홈 모델, (c)실제 집 모형을 통한 AR기술 활용 슬립테크 제어 구성도
도 8a와 도 8b는 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 방법을 나타낸 플로우 차트
도 9a내지 도 9d는 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 통한 계절별 침대 온도 제어 특성을 나타낸 그래프
도 10은 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 통한 계절별 침대 온도 변화 그래프
1a and 1b are overall configuration diagram and smart home configuration diagram of a device for controlling sleep tech using AR technology in a smart home environment according to the present invention
1c and 1d are examples of a Unity production screen and an Adunity configuration screen for 3D modeling
2 is a configuration diagram of a visualization API module according to an embodiment of the present invention
3 is a configuration diagram of profile exchange between a profile repository and a mobile device according to an embodiment of the present invention.
4 is a configuration diagram showing an example of a quality analysis module reflecting user feedback;
5 is a configuration diagram showing an example of Cascade-hybrid (sequential mixing) algorithm processing
6 is a configuration diagram showing an example of a gesture input interface according to the present invention;
7 is a configuration diagram of (a) a smart home application interface, (b) a smart home model, and (c) a sleep tech control using AR technology through a real house model.
8a and 8b are flowcharts showing a method for controlling sleep tech using AR technology in a smart home environment according to the present invention.
9a to 9d are graphs showing seasonal bed temperature control characteristics through sleep tech control using AR technology in a smart home environment according to the present invention
10 is a graph of seasonal bed temperature change through sleep tech control using AR technology in a smart home environment according to the present invention

이하, 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a device and method for controlling sleep tech using AR technology in a smart home environment according to the present invention will be described in detail.

본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the apparatus and method for controlling sleep tech using AR technology in a smart home environment according to the present invention will become clear through a detailed description of each embodiment below.

도 1a와 도 1b는 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치의 전체 구성도 및 스마트홈 구성도이다.1A and 1B are overall configuration diagrams and smart home configuration diagrams of a device for controlling a sleep tech using AR technology in a smart home environment according to the present invention.

본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법은 스마트홈 모델링을 통하여 스마트홈 제어의 직관성을 높이고, AR 기술을 이용하여 사용자 맞춤형 콘텐츠 및 정보를 제공할 수 있도록 한 것이다.An apparatus and method for controlling sleep tech using AR technology in a smart home environment according to the present invention enhances the intuitiveness of smart home control through smart home modeling and provides user-customized content and information using AR technology. it did

이를 위하여, 스마트홈 환경에 AI 기반의 베드를 도입하여 사용자들에게 최적화된 수면 환경을 제공하고, 효율적으로 관리할 수 있는 맞춤형 AI 모션 베드 플랫폼을 제공하는 구성을 포함할 수 있다.To this end, it may include a configuration that provides an optimized sleep environment to users by introducing an AI-based bed into a smart home environment and provides a customized AI motion bed platform that can be efficiently managed.

또한, 빅데이터/인공지능 기술을 활용하여 사용자와 스마트홈 환경에 최적화된 맞춤형 수면 환경 제공을 위한 플랫폼 서비스 및 시스템에 관한 구성을 포함할 수 있다.In addition, it may include a platform service and system configuration for providing a customized sleep environment optimized for users and smart home environments by utilizing big data/artificial intelligence technology.

본 발명은 IoT 센서로 수집된 빅데이터를 인공지능 기술을 활용하여 수면자의 수면 상태(시간, 온도 등)와 상황(수면, 휴식 등)을 분석하고, 사용자 맞춤형 콘텐츠/정보를 제공하는 구성을 포함할 수 있다.The present invention includes a configuration that analyzes the sleep state (time, temperature, etc.) and situation (sleep, rest, etc.) of the sleeper by using artificial intelligence technology for big data collected by IoT sensors, and provides user-customized content/information. can do.

본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어는 크게 [AR을 통한 제어]와 [모델링을 통한 제어]의 구성을 포함한다.Sleeptech control using AR technology in a smart home environment according to the present invention largely includes the configuration of [control through AR] and [control through modeling].

AR을 통한 제어는 공간 내에서 사물이나 공간에 대한 정보를 제공하거나 마커를 통한 다양한 추가정보를 제공, 이미지를 형상화하는 다양한 정보 제공이 가능하고, 높은 몰입도를 요구하는 공간구성에서 콘텐츠로 활용 가능한 특성을 이용하는 것이다.Control through AR can provide information about objects or spaces within a space, provide various additional information through markers, and provide various information that shapes images, and can be used as content in a spatial configuration that requires a high level of immersion. to use the characteristic.

일 예로, 특정 이미지를 카메라를 통해 스캔을 하면 각종 정보들이 그래픽 형태로 화면에 나타나는 것을 이용하여, 침대에 있는 QR코드를 스캔하게 되면 온도, 습도 정보 및 알람, 기울기 설정이 그래픽으로 나타나고, 이를 터치하여 다시 알람설정, 기울기 설정 등을 하는 형태의 제어가 가능하다.For example, when a specific image is scanned through a camera, various information appears on the screen in graphic form. When a QR code on a bed is scanned, temperature, humidity information, alarm, and tilt settings are displayed graphically, and touch them. By doing so, it is possible to control in the form of alarm setting, tilt setting, etc.

그리고 모델링을 통한 제어는 스마트홈 제어 어플리케이션의 직관성을 높이기 위한 것으로, 집의 모양을 3D 모델로 화면에 표시하여 직관적으로 필요한 정보를 파악할 수 있도록 한 것이다.In addition, control through modeling is to enhance the intuitiveness of smart home control applications, and the shape of the house is displayed on the screen as a 3D model so that necessary information can be grasped intuitively.

본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치는 도 1a에서와 같이, IoT 센서를 통해 수집된 데이터를 기반으로 자동으로 AI 모션 베드의 온도, 높낮이, 기울기 등을 제어하는 AI 모션 베드(10)와, IoT 센서 데이터의 수집처리 및 IoT 센서의 상태를 감지를 하고 AI 모션 베드를 관리 제어하고 자동 각도 조절을 수행하는 AI 모션 베드 관리 제어부(20)와, IoT 센서 데이터를 수집 및 분석하고, 분석한 데이터를 저장하고 시각화 처리를 하는 빅데이터 처리 및 관리부(30)와, 사용자 수면 패턴 분류 및 예측을 하여 수면 패턴 및 예측 기반 베드 제어를 하고, 수면 환경 상태 분석을 하여 사용자 맞춤형 AR 기반 콘텐츠를 제공하는 사용자 맞춤형 추천 제어 처리부(40)와, 사용자 프로파일을 수집하고, 수면 환경 및 상태를 실시간 모니터링하고, 원격 제어 및 관리 및 맞춤형 UI/UX 제공을 하고, 사용자에게 데이터를 시각화하여 제공하는 스마트 디바이스(50)를 포함한다.The apparatus for controlling sleep tech using AR technology in a smart home environment according to the present invention is based on data collected through an IoT sensor, as shown in FIG. 1a, Automatically controls the temperature, height, tilt, etc. An AI motion bed 10 that collects and processes IoT sensor data and detects the state of the IoT sensor, manages and controls the AI motion bed, and performs automatic angle adjustment An AI motion bed management control unit 20 and IoT sensor data The big data processing and management unit 30 that collects and analyzes, stores the analyzed data, and performs visualization processing, classifies and predicts user sleep patterns, performs sleep pattern and prediction-based bed control, and analyzes sleep environment conditions. A user-customized recommendation control processing unit 40 that provides user-customized AR-based content, collects user profiles, monitors sleep environments and conditions in real time, provides remote control and management and customized UI/UX, and provides data to users. It includes a smart device 50 that visualizes and provides.

여기서, AI 모션 베드 관리 제어부(20)는 IoT 센서 데이터 수집처리를 하는 IoT 센서 데이터 수집처리부(21)와, IoT 센서 상태 감지를 하는 IoT 센서 상태 감지부(22)와, 모션 베드 관리 제어를 하는 모션 베드 제어부(23)와, 자동으로 모샨 베드의 각도 조절을 수행하는 자동 각도 조절부(24)를 포함한다.Here, the AI motion bed management control unit 20 includes an IoT sensor data collection processing unit 21 for IoT sensor data collection processing, an IoT sensor state detection unit 22 for detecting IoT sensor status, and motion bed management control. It includes a motion bed controller 23 and an automatic angle adjuster 24 that automatically adjusts the angle of the moshan bed.

그리고 빅데이터 처리 및 관리부(30)는 AI 모션 베드 관리 제어부(20)를 통하여 AI 모션 베드에 부착되어 있는 센서 데이터를 수집하는 센서데이터 수집부(31)와, 센서데이터 수집부(31)에서 수집된 데이터를 분석하여 수면 환경 및 수면자의 수면 상태를 분석하는 센서데이터 분석부(32)와, 센서데이터 분석부(32)에서 분석된 데이터를 저장하는 분석데이터 저장부(33)와, 센서데이터 분석부(32)에서 분석된 데이터를 시각화 처리하는 시각화 처리부(34)를 포함한다.In addition, the big data processing and management unit 30 collects sensor data attached to the AI motion bed through the AI motion bed management control unit 20, and the sensor data collection unit 31 collects data from the sensor data collection unit 31 A sensor data analyzer 32 that analyzes the received data to analyze the sleep environment and the sleep state of the sleeper, an analysis data storage unit 33 that stores the data analyzed by the sensor data analyzer 32, and sensor data analysis A visualization processing unit 34 visualizing the data analyzed in unit 32 is included.

여기서, 센서데이터 수집부(31)는 시간별 수면자의 온도 및 소리 정보를 센서로 수집하고 저장하기 위해 센서 데이터를 시간별로 수집하고 저장하고, 온도 상태 측정은 매트리스 외부에 부착된 온도감지 센서를 통해 수면자의 온도와 실내 온도를 측정하여 최적의 매트리스 온도를 예측하기 위한 데이터 수집을 할 수 있다.Here, the sensor data collection unit 31 collects and stores sensor data hourly in order to collect and store the temperature and sound information of the sleeping person hourly with the sensor, and the temperature state is measured through the temperature sensor attached to the outside of the mattress. By measuring the temperature of the chair and the room temperature, data can be collected to predict the optimal mattress temperature.

그리고 사용자 맞춤형 추천 제어 처리부(40)는 사용자 수면 패턴 분류 및 예측을 하는 사용자 수면 패턴 분류 및 예측부(41)와, 사용자 수면 패턴 분류 및 예측부(41)의 수면 패턴 및 예측 기반의 베드 제어를 하는 수면 패턴 및 예측 기반 베드 제어부(42)와, 수면 환경 상태 분석을 하는 환경 상태 분석부(43)와, 환경 상태 분석부(43)의 분석 결과를 기반으로 사용자 맞춤형 AR 기반 콘텐츠를 제공하는 AR 기반 콘텐츠 제공부(44)를 포함한다.In addition, the user-customized recommendation control processing unit 40 includes a user sleep pattern classification and prediction unit 41 that classifies and predicts a user sleep pattern, and sleep pattern and prediction-based bed control of the user sleep pattern classification and prediction unit 41 A sleep pattern and prediction-based bed control unit 42 that analyzes sleep environment conditions, an environment status analysis unit 43 that analyzes sleep environment conditions, and AR that provides user-customized AR-based content based on the analysis results of the environment status analysis unit 43 A base content providing unit 44 is included.

그리고 스마트 디바이스(50)의 어플리케이션은 개인의 성별 및 신체 정보, 상황정보 등의 사용자 프로파일을 수집하는 프로파일 수집부(51)와, 사용자의 수면 환경 및 수면 상태를 실시간으로 모니터링하는 실시간 모니터링부(52)와, 실시간 모니터링에 따른 원격 제어 및 관리를 하는 원격 제어 및 관리부(53)와, 사용자에게 맞춤형 UI/UX를 제공하고, 데이터를 시각화하여 제공하는 맞춤형 UI/UX 제공부(54) 및 데이터 시각화 제공부(55)를 포함한다.In addition, the application of the smart device 50 includes a profile collection unit 51 that collects user profiles such as individual gender and body information and situation information, and a real-time monitoring unit 52 that monitors the user's sleep environment and sleep condition in real time. ), a remote control and management unit 53 for remote control and management according to real-time monitoring, a customized UI / UX providing unit 54 that provides a customized UI / UX to users, and visualizes data, and data visualization It includes a provision unit 55 .

본 발명은 이와 같은 구성을 갖는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치를 활용하여, 스마트 디바이스(50)의 어플리케이션을 통해 조명을 껐다 켤 수 있고, 창문을 열고 닫을 수 있으며 외출모드를 작동시킬 수 있고, 알람을 울릴 수 있게 하며 추후 다른 빌트인 요소들도 마찬가지로 제어할 수 있을 환경을 구축한다.The present invention utilizes a device for sleep tech control using AR technology in a smart home environment having such a configuration, so that lights can be turned off and on through the application of the smart device 50, windows can be opened and closed, and outing It builds an environment in which the mode can be activated, an alarm can be sounded, and other built-in elements can be controlled in the future.

또한, AI 모션 베드를 관리하는 슬립테크 기술을 스마트홈 제어 어플리케이션 상에서 제어할 수 있고, 이와 관련하여 AI베드 옆에 증강현실을 사용하여 필요한 정보가 화면에 나타나도록 하고 증강현실과의 상호작용을 통하여 일정 제어까지 가능하도록 한다.In addition, the SleepTech technology that manages the AI motion bed can be controlled on the smart home control application, and in this regard, the necessary information is displayed on the screen using augmented reality next to the AI bed, and through interaction with augmented reality It also allows for schedule control.

본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 스마트홈의 구성은 도 1b에서와 같이, 크게 AR, IoT, Modeling 기술이 적용된다.In the smart home environment according to the present invention, the configuration of the smart home for sleep tech control using AR technology is largely applied to AR, IoT, and Modeling technologies, as shown in FIG. 1B.

AR은 Unity라는 툴을, IoT는 Arduino를, Modeling은 SketchUp이라는 툴을 사용하여 구현될 수 있고, 이로 제한되지 않는다.AR can be implemented using a tool called Unity, IoT can be implemented using an Arduino, and Modeling can be implemented using a tool called SketchUp, but is not limited thereto.

(AR)Unity는 증강현실을 사용할 수 있게 해주는 어플리케이션 개발 도구이고, (IoT)Arduino는 실모형을 제어하기 위한 센서들의 제어 도구이고, (Modeling)SketchUp은 스마트 홈 어플리케이션 안에 쓰일 모델링을 제작해주는 도구이다.(AR)Unity is an application development tool that enables the use of augmented reality, (IoT)Arduino is a control tool for sensors to control real models, and (Modeling)SketchUp is a tool that creates modeling to be used in smart home applications. .

본 발명에서는 조명, 침대 등을 카메라 화면을 통해 스캔을 하면 각종 정보가 UI에 그래픽으로 제공되는 AR을 Unity를 이용하여 구현하고, 스마트 홈 모형에 부착되는 각종 센서들(IoT)은 Arduino를 이용하여 구현한다.In the present invention, when lights, beds, etc. are scanned through the camera screen, AR, in which various information is graphically provided to the UI, is implemented using Unity, and various sensors (IoT) attached to the smart home model are implemented using Arduino. implement

또한, 3D 기반의 집 모델링이 화면에 나와야하기 때문에 이를 3D 설계 소프트웨어인 SketchUp 툴을 이용하여 제작 및 구현한다.In addition, since the 3D-based house modeling needs to appear on the screen, it is created and implemented using the SketchUp tool, a 3D design software.

도 1c 및 도 1d는 3D 모델링을 위한 유니티 제작 화면 및 아두니티 구성 화면의 예시도이다.1c and 1d are examples of a Unity production screen and an Adunity configuration screen for 3D modeling.

도 1c는 유니티를 통해 어플리케이션을 제작하는 것을 나타낸 것이다.Figure 1c shows creating an application through Unity.

3D 모델링과 증강현실 기술의 사용을 위해 유니티를 기반으로 어플리케이션을 제작한다. 유니티를 통해 UI제작, 3D 모델링 제어, 아두이노 센서 제어 등을 구현한다. Produce applications based on Unity for the use of 3D modeling and augmented reality technology. UI production, 3D modeling control, and Arduino sensor control are implemented through Unity.

Sketchup을 이용해 만든 3D 모델링을 유니티로 가져오고 실제 모형에 부착되어 있는 아두이노 센서들을 제어하기 위해 '아두니티' 툴을 사용한다. The 3D modeling created using Sketchup is imported into Unity, and the 'Adunity' tool is used to control the Arduino sensors attached to the actual model.

도 1d는 아두니티의 구성 모습을 나타낸 화면으로, 유니티 상에서 아두이노를 제어할 수 있게 한다. 그리고 유니티를 이용해 안드로이드 앱 빌드를 하여 안드로이드 환경에서 어플리케이션이 구동될 수 있도록 한다.Figure 1d is a screen showing the configuration of Arduino, enabling Arduino to be controlled on Unity. And build an Android app using Unity so that the application can run in the Android environment.

도 2는 본 발명의 일 실시 예에 따른 시각화 API 모듈 구성도이다.2 is a configuration diagram of a visualization API module according to an embodiment of the present invention.

본 발명은 빅데이터 분석을 위하여 수집된 데이터(노이즈 감시, 온습도 및 IoT 기기 상태 데이터 등)의 정제 및 분석을 위하여, 정보 데이터 분석 모듈, 데이터 생성 모듈, 그래프 생성 모듈, 정보 시각화 생성 모듈을 구비하는 시각화 API 모듈을 포함한다.The present invention is provided with an information data analysis module, a data generation module, a graph generation module, and an information visualization generation module for refining and analyzing data collected for big data analysis (noise monitoring, temperature and humidity, and IoT device state data, etc.) Contains the visualization API module.

시각화 API 모듈은 AI 모션 베드 센서를 통해 수집되는 빅데이터의 정형/비정형 데이터 정제 및 분석을 하고, 정형 및 비정형 데이터의 명세화 및 정의를 통하여 수집된 데이터의 분석 및 시각화 처리를 하는 UI/UX/API 모듈이다.The visualization API module refines and analyzes structured/unstructured data of big data collected through AI motion bed sensors, and analyzes and visualizes collected data through specification and definition of structured and unstructured data. UI/UX/API It is a module.

도 3은 본 발명의 일 실시 예에 따른 프로파일 리파지토리와 모바일 장치간에 프로파일 교환 구성도이다.3 is a configuration diagram of a profile exchange between a profile repository and a mobile device according to an embodiment of the present invention.

본 발명은 프로파일 리파지토리와 모바일 장치간에 프로파일을 효율적이며 안전하게 교환하고 관리하기 위한 프로파일 교환 구성을 포함한다.The present invention includes a profile exchange configuration for efficiently and safely exchanging and managing profiles between a profile repository and a mobile device.

프로파일 교환 구성은 프로파일의 효율적인 처리를 위해 콘텐츠 맞춤화, 프로파일 동적 생성, 메타데이터 구성, 동적 전송, 사용자 설정 등 프로파일 제공 방법에 관한 구성을 포함한다.The profile exchange configuration includes configurations related to profile provision methods such as content customization, profile dynamic creation, metadata configuration, dynamic transmission, and user setting for efficient profile processing.

본 발명은 사용자 피드백을 반영한 품질 분석 모듈을 포함한다.The present invention includes a quality analysis module reflecting user feedback.

도 4는 사용자 피드백을 반영한 품질 분석 모듈의 일 예를 나타낸 구성도이다.4 is a configuration diagram illustrating an example of a quality analysis module reflecting user feedback.

품질 분석 모듈은 수면 품질 데이터 구조화 모듈, 품질 정보 데이터 생성 모듈, 그래프 생성 모듈, 품질 분석 문서 생성 모듈을 포함하고, 사용자 피드백을 통한 프로파일링 정보 재구축, 분석 및 처리를 수행한다.The quality analysis module includes a sleep quality data structuring module, a quality information data generation module, a graph generation module, and a quality analysis document generation module, and reconstructs, analyzes, and processes profiling information through user feedback.

사용자 피드백은 주관성을 뛰며 자체로도 의미가 있는 데이터이므로 피드백 정보는 가공 단계에서 필터링하여 처리하고, 사용자 피드백 중 수면 환경에 대한 수면 품질 정보를 기반으로 분석처리를 수행하는 것이 바람직하다.Since user feedback is highly subjective and has meaning in itself, it is desirable to filter and process feedback information in the processing step, and perform analysis and processing based on sleep quality information on the sleep environment among user feedback.

도 5는 Cascade-hybrid(순차적 혼합) 알고리즘 처리 예시를 나타낸 구성도이다.5 is a configuration diagram showing an example of Cascade-hybrid (sequential mixing) algorithm processing.

본 발명은 인공지능(AI) 기술을 활용한 학습 가능한 맞춤형 추천 알고리즘을 이용하고, 생성된 사용자 프로파일을 기반으로 모션 베드 및 주변 IoT 장비들을 제어함으로써 사용자에게 최적화된 맞춤형 수면 환경을 제공할 수 있도록 한다.The present invention uses a learnable customized recommendation algorithm using artificial intelligence (AI) technology and controls the motion bed and surrounding IoT devices based on the generated user profile to provide a customized sleep environment optimized for the user. .

이를 통하여, 인공지능 기술을 활용한 학습 가능한 맞춤형 추천, 사용자 수면 패턴 및 날씨, 온습도 등 분석된 상황에 따라 패턴 예측을 하고, 쾌적한 수면을 위해 수면 전,수면 중,수면 후의 상황에 따른 조도, 온도, 습도, 알람 시간 등 설정을 사용자 임의 조정이 가능하도록 한다.Through this, customized recommendations that can be learned using artificial intelligence technology, pattern predictions are made according to analyzed situations such as user sleep patterns and weather, temperature and humidity, and illumination intensity and temperature according to conditions before, during, and after sleep for comfortable sleep. , humidity, alarm time, etc. can be arbitrarily adjusted by the user.

본 발명에서는 일 실시 예로 프로파일 처리 및 생성, 새로운 패턴에 대한 대응, 협업 딥 러닝, 규칙 기반 필터링, 피드백 처리의 순서로 처리되는 순차적 혼합(Cascade-hybrid) 알고리즘을 이용할 수 있고, 이로 제한되지 않는다.In the present invention, as an embodiment, a cascade-hybrid algorithm that is processed in the order of profile processing and generation, response to new patterns, collaborative deep learning, rule-based filtering, and feedback processing may be used, but is not limited thereto.

도 6은 본 발명에 따른 제스처 입력 인터페이스의 일 예를 나타낸 구성도이다.6 is a configuration diagram illustrating an example of a gesture input interface according to the present invention.

본 발명은 맞춤형 콘텐츠/정보 제공에 필요한 모바일 어플리케이션 UI/UX를 통하여 AI 모션 베드 실시간 모니터링 및 원격 제어를 지원하기 위하여 모바일 어플리케이션이 AI 모션 베드 모니터링 및 제어 시나리오, 인터페이스 입출력 구성, 적응형 사용자 자기 조직화 인터페이스, 디바이스에 따른 UI 자동 전환을 위한 반응형 UI, 터치 인터페이스 기반 입출력 구성, 적응형 사용자 자기 조직화 인터페이스, 제스처 입력 인터페이스를 제공할 수 있다.In the present invention, in order to support AI motion bed real-time monitoring and remote control through mobile application UI / UX required to provide customized content / information, the mobile application provides AI motion bed monitoring and control scenarios, interface input / output configuration, and adaptive user self-organization interface , Responsive UI for automatic UI switching according to devices, input/output configuration based on touch interface, adaptive user self-organization interface, and gesture input interface can be provided.

본 발명에 따른 스마트홈 어플리케이션의 실행에 관하여 설명하면 다음과 같다.The execution of the smart home application according to the present invention will be described as follows.

도 7은 (a)스마트홈 어플리케이션의 인터페이스, (b)스마트홈 모델, (c)실제 집 모형을 통한 AR기술 활용 슬립테크 제어 구성도이다.7 is a configuration diagram of sleep tech using AR technology through (a) a smart home application interface, (b) a smart home model, and (c) a real house model.

처음 스마트홈 어플리케이션을 실행하면 도 7의 (a)의 화면이 사용자에게 표출된다.When the smart home application is executed for the first time, the screen of FIG. 7 (a) is displayed to the user.

사용자는 슬립테크를 제어하기 위해서 모델 버튼을 눌러 스마트홈 모델을 가상화로 진입해야 한다. 이 후에 사용자는 침대 모델을 확대한 후 침대 관련 가구를 클릭하여 슬립테크 제어가 가능하다.To control the SleepTech, the user has to press the model button to enter the smart home model into virtualization. After this, the user can enlarge the bed model and click the bed-related furniture to control the SleepTech.

증강현실을 이용한 슬립테크 제어를 하기 위해서는 스캔 버튼을 클릭한다. Click the scan button to control the sleep tech using augmented reality.

이 후에 실제 침대 모형에 스마트폰 카메라를 통해 보게 되면 침대 모형에 슬립테크 관련 침대 상태 정보를 볼 수 있고 온도, 습도, 기울기, 밝기 등 직접 제어할 수 있다.After that, if you look at the actual bed model through the smartphone camera, you can see the bed condition information related to Sleep Tech on the bed model and can directly control temperature, humidity, tilt, and brightness.

이와 같이 본 발명은 3D 기반의 집 모델을 띄워주고 증강현실 기술을 이용하여 필요한 정보들을 그래픽 형태로 화면에 표시하여 직관적으로 정보를 제공할 수 있으며, 모션베드를 제어하는 슬립테크 기술을 도입하여 수면 환경을 효과적으로 관리할 수 있다.As such, the present invention can intuitively provide information by displaying necessary information in graphic form by floating a 3D-based house model and using augmented reality technology, and introducing sleep technology to control a motion bed to improve sleep You can effectively manage your environment.

도 8a와 도 8b는 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 방법을 나타낸 플로우 차트이다.8A and 8B are flowcharts illustrating a method for controlling a sleep tech using AR technology in a smart home environment according to the present invention.

본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 방법은 먼저, 모바일 장치에서 수집 가능한 정보(개인의 성별 및 신체 정보, 상황정보) 입력 및 수면시 센서로 감지되는 데이터 및 주변 환경 정보(수면 시 온/습도, 조도 등의 스마트홈의 상태) 수집을 한다.(S801)In the method for controlling sleep tech using AR technology in a smart home environment according to the present invention, first, data that can be collected from a mobile device (personal gender and body information, situation information) input and data detected by sensors during sleep and surroundings Collect environmental information (state of smart home, such as temperature/humidity, illumination, etc.) (S801)

이어, 센서 데이터 및 사용자 프로파일 분석 및 처리하고, 처리된 사용자 및 센서데이터 정보를 레포지토리에 저장을 한다.(S802)Subsequently, sensor data and user profiles are analyzed and processed, and the processed user and sensor data information is stored in a repository (S802).

그리고 사용자 및 센서 데이터를 개인 맞춤형으로 수면 서비스를 제공하기 위한 데이터 가공 및 처리를 한다.(S803)And processing and processing of user and sensor data to provide personalized sleep service. (S803)

이어, 서비스 이용시에 프로파일 및 상황정보를 맞춤형 AI 모션 베드를 위한 빅데이터 처리 및 관리 시스템에 전송한다.(S804)Then, when using the service, the profile and context information are transmitted to the big data processing and management system for the customized AI motion bed. (S804)

그리고 전송된 정보를 분석 처리하고 최적화된 수면 상황을 검색한다.(S805)Then, the transmitted information is analyzed and processed, and an optimized sleep situation is searched (S805).

이어, 맞춤형으로 제공하기 위해 이용자 및 주변 환경 정보와 매쉬업 처리하고 매쉬업된 콘텐츠는 사용자 스마트 디바이스 및 AI 모션 베드에 적응화시키고 사용자에게 최적화된 수면 환경을 제공한다.(S806)Then, to provide customized information, user and surrounding environment information and mash-up processing are performed, and the mash-up content is adapted to the user's smart device and AI motion bed, and provides an optimized sleep environment to the user. (S806)

본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 방법에 의해 날씨에 따른 창문과 에어컨 등의 제어가 가능하다.According to the method for controlling sleep tech using AR technology in a smart home environment according to the present invention, it is possible to control windows and air conditioners according to weather.

예를 들어, 미리 날씨 값에 따라 최적의 습도와 온도 등을 입력하고, 날씨 정보를 받아와 상황에 따라 창문을 열거나 닫고, 에어컨과 제습기, 가습기 등을 키거나 꺼 사용자의 최적의 환경을 제공할 수 있다.For example, it inputs the optimal humidity and temperature according to the weather value in advance, receives the weather information, opens or closes the windows depending on the situation, and turns on or off the air conditioner, dehumidifier, and humidifier to provide the user with the optimal environment. can do.

또한, 기상 시간 설정 시 그 시간에 침대가 기울어지고, 기타 장치들도 작동하게 하여 기상을 도움을 줄 수 있도록 한다.In addition, when the wake-up time is set, the bed is tilted at that time and other devices are operated to help wake-up.

또한, 취침 도중 혹은 취침 직전 기기들을 제어하기 위하여 따로 움직이지 않고 앱을 사용하여 모델링 혹은 AR을 통하여 기기 제어가 가능하도록 한다.In addition, in order to control devices during or just before bedtime, it is possible to control devices through modeling or AR using an app without moving separately.

그리고 고객들의 프로파일링 정보(특정 환경과 상태일 때의 최적의 수면환경 제공을 위한 요건들)를 제공받아 수면 상태에 따른 파악 후 그에 맞는 대처가 가능하도록 한다.In addition, customers' profiling information (requirements for providing an optimal sleep environment in a specific environment and condition) is provided, and after understanding according to the sleep condition, it is possible to deal with it accordingly.

만약, 센서들을 장치하여 특정 데시벨이 반복이 된다면 코골이라 판별하여 침대를 30도 기울여 주는 등의 단순한 측정과 그에 따른 대처가 가능하다.If a specific decibel is repeated by installing sensors, it is determined that it is snoring, and simple measurements such as tilting the bed by 30 degrees and corresponding actions are possible.

본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 통한 계절별 침대 온도 제어 특성에 관하여 구체적으로 설명하면 다음과 같다.In a smart home environment according to the present invention, a detailed description of seasonal bed temperature control characteristics through sleep tech control using AR technology is as follows.

도 9a내지 도 9d는 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 통한 계절별 침대 온도 제어 특성을 나타낸 그래프이다.9A to 9D are graphs showing seasonal bed temperature control characteristics through sleep tech control using AR technology in a smart home environment according to the present invention.

수면에 영향을 주는 온도요소는 크게 침대 표면온도, 체온, 실내온도, 실외온도 이렇게 4가지가 존재한다.There are four major temperature factors that affect sleep: bed surface temperature, body temperature, indoor temperature, and outdoor temperature.

슬립테크에서 가장 알맞은 침대 표면온도를 제공해주기 위해서는 사용자 개개인의 체온, 실내온도, 실외온도에 대한 가중치와 이를 이용하여 나온 침대 표면온도에 사용자의 추가적인 성향 값만큼 온도를 조정해주고 결과값을 실제 범위에 들어가도록 보정해주는 과정이 필요하다.In order to provide the most suitable bed surface temperature in SleepTech, the weight for each user's body temperature, indoor temperature, and outdoor temperature and the temperature of the bed surface obtained using this are adjusted by the user's additional propensity value, and the result is adjusted to the actual range. It needs a process to correct it.

이를 수식으로 표현하자면 아래와 같다.Expressing this in a formula is as follows:

여기서, 는 체온 가중치, 는 실내 온도 가중치, 는 실외 온도 가중치, a+b+c=1이고, TBed Surface는 침대 표면온도, Tbody는 체온, Tindoor는 실내 온도, Toutdoor는 실외온도이며, 는 침대 적정온도에서 사용자가 변경한 값들의 평균 값, 는 계절온도 차 보정 값here, is the body temperature weight, is the room temperature weight, is the outdoor temperature weight, a + b + c = 1, T Bed Surface is the bed surface temperature, T body is the body temperature, T indoor is the indoor temperature, T outdoor is the outdoor temperature, is the average value of the values changed by the user at the optimal bed temperature, is the seasonal temperature difference correction value

표 1은 침대 적정 온도 설정을 위한 사용자 데이터 설정의 일 예를 나타낸 것이다.Table 1 shows an example of user data settings for setting an appropriate bed temperature.

데이터 셋의 요소는 사용자마다 다른 체온, 실내온도, 실외온도에 대한 가중치와 이를 이용하여 얻은 값인 적정온도에 사용자가 추가로 변경한 값들의 평균 값이 반영되어 나온 최종 결과값이다.The elements of the data set are the final result obtained by reflecting the average value of the values additionally changed by the user to the appropriate temperature, which is the value obtained using weights for body temperature, indoor temperature, and outdoor temperature, which are different for each user.

도 10은 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 통한 계절별 침대 온도 변화 그래프로, 도 9a내지 도 9d의 결과를 시각화하여 나타낸 것이다.10 is a graph of seasonal bed temperature change through sleep tech control using AR technology in a smart home environment according to the present invention, and the results of FIGS. 9a to 9d are visualized and shown.

계절별 적정 침대온도로 알려진 온도와 거의 일치하는 것을 확인할 수 있다.It can be seen that it is almost consistent with the temperature known as the appropriate bed temperature for each season.

이상에서 설명한 본 발명에 따른 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치 및 방법은 3D 기반의 집 모델을 표출하고 증강현실 기술을 이용하여 필요한 정보들을 그래픽 형태로 화면에 나타내주어 직관적으로 정보를 제공할 수 있으며, 모션베드를 제어하는 슬립테크 기술을 도입함으로써 수면 환경을 효율적으로 관리할 수 있도록 한다.The apparatus and method for controlling sleep tech using AR technology in a smart home environment according to the present invention described above expresses a 3D-based house model and displays necessary information on the screen in graphic form using augmented reality technology, thereby providing intuitive information can be provided, and the sleep environment can be efficiently managed by introducing the SleepTech technology that controls the motion bed.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered from an explanatory point of view rather than a limiting point of view, and the scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent range are considered to be included in the present invention. will have to be interpreted

10. AI 모션 베드
20. AI 모션 베드 관리 제어부
30. 빅데이터 처리 및 관리부
40. 사용자 맞춤형 추천 제어 처리부
50. 스마트 디바이스
10. AI motion bed
20. AI motion bed management control unit
30. Big data processing and management department
40. User-customized recommendation control processing unit
50. Smart Devices

Claims (12)

IoT 센서를 통해 수집된 데이터를 기반으로 자동으로 제어되는 AI 모션 베드;
IoT 센서 데이터 수집처리 및 IoT 센서 상태 감지를 하고 AI 모션 베드를 관리 제어하고 AI 모션 베드의 자동 각도 조절을 수행하는 AI 모션 베드 관리 제어부;
IoT 센서 데이터를 수집 및 분석하고, 분석한 데이터를 저장하고 시각화 처리를 하는 빅데이터 처리 및 관리부;
사용자 수면 패턴 분류 및 예측을 하여 수면 패턴 및 예측 기반 베드 제어를 하고, 수면 환경 상태 분석을 하여 사용자 맞춤형 AR 기반 콘텐츠를 제공하는 사용자 맞춤형 추천 제어 처리부; 및
사용자 프로파일을 수집하고, 수면 환경 및 상태를 실시간 모니터링하고, 원격 제어 및 관리와 맞춤형 UI/UX 제공을 하고, 사용자에게 데이터를 시각화하여 제공하는 스마트 디바이스를 포함하며,
맞춤형 AI 모션 베드 제어를 위하여 침대 표면온도를,
으로 제어하고,
여기서, 는 체온 가중치, 는 실내 온도 가중치, 는 실외 온도 가중치, a+b+c=1이고, TBed Surface는 침대 표면온도, Tbody는 체온, Tindoor는 실내 온도, Toutdoor는 실외온도이며, 는 침대 적정온도에서 사용자가 변경한 값들의 평균 값, 는 계절온도 차 보정 값인 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치.
AI motion bed automatically controlled based on data collected through IoT sensors;
AI motion bed management control unit that collects and processes IoT sensor data and detects IoT sensor status, manages and controls the AI motion bed, and automatically adjusts the angle of the AI motion bed;
Big data processing and management unit that collects and analyzes IoT sensor data, stores the analyzed data, and performs visualization processing;
A user-customized recommendation control processing unit that classifies and predicts a user's sleep pattern, performs sleep pattern- and prediction-based bed control, analyzes a sleep environment state, and provides user-customized AR-based content; and
Including a smart device that collects user profiles, monitors sleep environment and status in real time, provides remote control and management, and provides customized UI / UX, and provides visualized data to users,
For customized AI motion bed control, the bed surface temperature,
to control,
here, is the body temperature weight, is the room temperature weight, is the outdoor temperature weight, a + b + c = 1, T Bed Surface is the bed surface temperature, T body is the body temperature, T indoor is the indoor temperature, T outdoor is the outdoor temperature, is the average value of the values changed by the user at the optimal bed temperature, Device for sleep tech control using AR technology in a smart home environment, characterized in that the seasonal temperature difference correction value.
제 1 항에 있어서, AI 모션 베드 관리 제어부는,
IoT 센서 데이터 수집처리를 하는 IoT 센서 데이터 수집처리부와,
IoT 센서 상태 감지를 하는 IoT 센서 상태 감지부와,
AI 모션 베드 관리 제어를 하는 모션 베드 제어부와,
자동으로 모션 베드의 각도 조절을 수행하는 자동 각도 조절부를 포함하는 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치.
The method of claim 1, wherein the AI motion bed management control unit,
An IoT sensor data collection processing unit that collects and processes IoT sensor data;
An IoT sensor state detection unit that detects the state of the IoT sensor;
A motion bed control unit for AI motion bed management control;
A device for controlling sleep tech using AR technology in a smart home environment, characterized in that it includes an automatic angle adjuster that automatically adjusts the angle of the motion bed.
제 1 항에 있어서, 빅데이터 처리 및 관리부는,
AI 모션 베드 관리 제어부를 통하여 AI 모션 베드에 부착되어 있는 센서 데이터를 수집하는 센서데이터 수집부와,
센서데이터 수집부에서 수집된 데이터를 분석하여 수면 환경 및 수면자의 수면 상태를 분석하는 센서데이터 분석부와,
센서데이터 분석부에서 분석된 데이터를 저장하는 분석데이터 저장부와,
센서데이터 분석부에서 분석된 데이터를 시각화 처리하는 시각화 처리부를 포함하는 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치.
The method of claim 1, wherein the big data processing and management unit,
A sensor data collection unit that collects sensor data attached to the AI motion bed through the AI motion bed management control unit;
A sensor data analysis unit that analyzes the data collected by the sensor data collection unit to analyze the sleep environment and sleep state of the sleeper;
An analysis data storage unit for storing the data analyzed by the sensor data analysis unit;
A device for controlling sleep tech using AR technology in a smart home environment, comprising a visualization processing unit for visualizing the data analyzed by the sensor data analysis unit.
제 3 항에 있어서, 센서데이터 수집부는,
시간별 수면자의 온도 및 소리 정보를 센서로 수집하고 저장하기 위해 센서 데이터를 시간별로 수집하고 저장하고,
온도 상태 측정은 매트리스 외부에 부착된 온도감지 센서를 통해 수면자의 온도와 실내 온도를 측정하여 최적의 매트리스 온도를 예측하기 위한 데이터를 수집하는 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치.
The method of claim 3, wherein the sensor data collection unit,
Collect and store sensor data hourly to collect and store the temperature and sound information of the sleeping person hourly with the sensor,
The temperature state measurement measures the temperature of the sleeping person and the room temperature through a temperature sensor attached to the outside of the mattress and collects data to predict the optimal mattress temperature. Sleep Tech using AR technology in a smart home environment. device for control.
제 1 항에 있어서, 사용자 맞춤형 추천 제어 처리부는,
사용자 수면 패턴 분류 및 예측을 하는 사용자 수면 패턴 분류 및 예측부와,
사용자 수면 패턴 분류 및 예측부의 수면 패턴 및 예측을 기반으로 AI 모션 베드 제어를 하는 수면 패턴 및 예측 기반 베드 제어부와,
수면 환경 상태 분석을 하는 환경 상태 분석부와,
환경 상태 분석부의 분석 결과를 기반으로 사용자 맞춤형 AR 기반 콘텐츠를 제공하는 AR 기반 콘텐츠 제공부를 포함하는 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치.
The method of claim 1, wherein the user-customized recommendation control processing unit,
A user sleep pattern classification and prediction unit for classifying and predicting user sleep patterns;
A sleep pattern and prediction-based bed control unit that performs AI motion bed control based on the sleep pattern and prediction of the user sleep pattern classification and prediction unit;
an environmental state analysis unit that analyzes a sleep environment state;
A device for controlling sleep tech using AR technology in a smart home environment, comprising an AR-based content providing unit that provides user-customized AR-based content based on the analysis result of the environmental state analysis unit.
제 5 항에 있어서, AR 기반 콘텐츠 제공부는,
3D 모델링과 증강현실 기술의 사용을 위해 유니티를 기반으로 어플리케이션을 제작하고, 유니티를 통해 UI제작, 3D 모델링 제어, 아두이노 센서 제어를 구현하고,
Sketchup을 이용해 만든 3D 모델링을 유니티로 가져오고 아두이노 센서들을 제어하기 위해 '아두니티' 툴을 사용하는 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치.
The method of claim 5, AR-based content providing unit,
Produce applications based on Unity for the use of 3D modeling and augmented reality technology, implement UI production, 3D modeling control, Arduino sensor control through Unity,
A device for controlling SleepTech using AR technology in a smart home environment, characterized by using the 'Adunity' tool to import 3D modeling made using Sketchup into Unity and control Arduino sensors.
제 6 항에 있어서, 유니티를 이용해 안드로이드 앱 빌드를 하여 안드로이드 환경에서 어플리케이션이 구동될 수 있도록 하는 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치.[Claim 7] The device for controlling SleepTech using AR technology in a smart home environment according to claim 6, wherein the Android app is built using Unity so that the application can be run in the Android environment. 제 1 항에 있어서, 스마트 디바이스의 어플리케이션은,
개인의 성별 및 신체 정보, 상황정보를 포함하는 사용자 프로파일을 수집하는 프로파일 수집부와,
사용자의 수면 환경 및 수면 상태를 실시간으로 모니터링하는 실시간 모니터링부와,
실시간 모니터링에 따른 원격 제어 및 관리를 하는 원격 제어 및 관리부와,
사용자에게 맞춤형 UI/UX를 제공하는 맞춤형 UI/UX 제공부와, 데이터를 시각화하여 제공하는 데이터 시각화 제공부를 포함하는 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치.
The method of claim 1, wherein the application of the smart device,
A profile collection unit that collects user profiles including personal gender, body information, and situation information;
A real-time monitoring unit that monitors the user's sleep environment and sleep condition in real time;
A remote control and management unit for remote control and management according to real-time monitoring;
A device for controlling sleep tech using AR technology in a smart home environment, comprising a customized UI / UX providing unit that provides a customized UI / UX to a user and a data visualization providing unit that visualizes and provides data.
제 1 항에 있어서, 사용자 맞춤형 추천 제어 처리부는 수면 패턴 및 예측 기반 베드 제어를 위하여 침대 표면온도를,
사용자 개개인의 체온, 실내온도, 실외온도에 대한 가중치와 이를 이용하여 나온 침대 표면온도에 사용자의 추가적인 성향 값만큼 온도를 조정해주고 결과값을 실제 범위에 들어가도록 보정하는 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 장치.
The method of claim 1, wherein the user-customized recommendation control processing unit controls the bed surface temperature for sleep pattern and prediction-based bed control,
In a smart home environment, which is characterized by adjusting the temperature by the user's additional propensity value to the weight of the user's individual body temperature, indoor temperature, and outdoor temperature and the bed surface temperature obtained using this, and correcting the resulting value to fit within the actual range. A device for controlling sleep tech using AR technology.
사용자 프로파일 및 수면시 센서로 감지되는 데이터 및 주변 환경 정보를 수집하는 단계;
센서 데이터 및 사용자 프로파일을 분석 및 처리하고, 처리된 사용자 프로파일 및 센서 데이터 정보를 레포지토리에 저장하는 단계;
사용자 프로파일 및 센서 데이터를 기반으로 개인 맞춤형으로 수면 서비스를 제공하기 위한 데이터를 가공 및 처리를 하는 단계;
서비스 이용시에 사용자 개인의 상황정보를 포함하는 사용자 프로파일을 맞춤형 AI 모션 베드를 위한 빅데이터 처리를 수행하고 관리 시스템에 전송하는 단계; 및
전송된 정보를 분석 처리하고 최적화된 수면 상황을 검색하여, 이용자 및 주변 환경 정보와 매쉬업 처리하고 매쉬업된 콘텐츠를 사용자 스마트 디바이스 및 AI 모션 베드에 적응화시켜 사용자에게 최적화된 수면 환경을 제공하는 단계를 포함하며,
맞춤형 AI 모션 베드 제어를 위하여 침대 표면온도를,
으로 제어하고,
여기서, 는 체온 가중치, 는 실내 온도 가중치, 는 실외 온도 가중치, a+b+c=1이고, TBed Surface는 침대 표면온도, Tbody는 체온, Tindoor는 실내 온도, Toutdoor는 실외온도이며, 는 침대 적정온도에서 사용자가 변경한 값들의 평균 값, 는 계절온도 차 보정 값인 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 방법.
Collecting data sensed by a user profile, sleep sensor, and surrounding environment information;
analyzing and processing the sensor data and user profile, and storing the processed user profile and sensor data information in a repository;
Processing and processing data to provide a personalized sleep service based on user profile and sensor data;
Performing big data processing for a customized AI motion bed and transmitting a user profile including personal context information to a management system when using a service; and
Analyzing and processing the transmitted information, searching for an optimized sleep situation, processing mash-up with user and surrounding environment information, and adapting the mash-up content to the user's smart device and AI motion bed to provide an optimized sleep environment for the user. and
For customized AI motion bed control, the bed surface temperature,
to control,
here, is the body temperature weight, is the room temperature weight, is the outdoor temperature weight, a + b + c = 1, T Bed Surface is the bed surface temperature, T body is the body temperature, T indoor is the indoor temperature, T outdoor is the outdoor temperature, is the average value of the values changed by the user at the optimal bed temperature, A method for controlling sleep tech using AR technology in a smart home environment, characterized in that is a seasonal temperature difference correction value.
삭제delete 제 10 항에 있어서, 매쉬업된 콘텐츠를 사용자 스마트 디바이스 및 AI 모션 베드에 적응화시켜 사용자에게 최적화된 수면 환경을 제공하는 단계에서,
3D 모델링과 증강현실 기술의 사용을 위해 유니티를 기반으로 어플리케이션을 제작하고, 유니티를 통해 UI제작, 3D 모델링 제어, 아두이노 센서 제어를 구현하고, Sketchup을 이용해 만든 3D 모델링을 유니티로 가져오고 아두이노 센서들을 제어하기 위해 '아두니티' 툴을 사용하는 것을 특징으로 하는 스마트홈 환경에서 AR 기술을 활용한 슬립테크 제어를 위한 방법.
The method of claim 10, wherein in the step of providing an optimized sleep environment to the user by adapting the mash-up content to the user's smart device and AI motion bed,
Produce applications based on Unity for the use of 3D modeling and augmented reality technology, implement UI production, 3D modeling control, and Arduino sensor control through Unity, and import 3D modeling made using Sketchup to Unity and Arduino A method for controlling sleep tech using AR technology in a smart home environment, characterized by using an 'Adunity' tool to control sensors.
KR1020200142428A 2020-05-07 2020-10-29 System and Method for Sleeptech controlling using AR in Smart Home Environment KR102561210B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200054607 2020-05-07
KR1020200054607 2020-05-07

Publications (2)

Publication Number Publication Date
KR20210136817A KR20210136817A (en) 2021-11-17
KR102561210B1 true KR102561210B1 (en) 2023-07-31

Family

ID=78703128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200142428A KR102561210B1 (en) 2020-05-07 2020-10-29 System and Method for Sleeptech controlling using AR in Smart Home Environment

Country Status (1)

Country Link
KR (1) KR102561210B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114839889B (en) * 2022-05-05 2023-06-16 融营智能科技(上海)有限公司 Mode switching method and system based on big data analysis
KR20240063243A (en) 2022-10-28 2024-05-10 주식회사 누가의료기 Smart bed control system and method based on sleep status monitoring result

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339674A (en) * 2002-05-29 2003-12-02 Yokogawa Electric Corp Method for estimating sleeping stage, and device using the method
KR101722784B1 (en) 2010-09-10 2017-04-04 주식회사 엘지유플러스 Method for providing user interface of using augmeted reality and mobile terminal using therof

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101657565B1 (en) * 2010-04-21 2016-09-19 엘지전자 주식회사 Augmented Remote Controller and Method of Operating the Same
KR101730881B1 (en) 2010-04-21 2017-04-27 엘지전자 주식회사 Augmented Remote Controller and Method of Operating the Same
KR20170142534A (en) * 2016-06-18 2017-12-28 이유지 Pocket Star
EP3472828B1 (en) * 2016-06-20 2022-08-10 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
KR102403257B1 (en) * 2017-06-12 2022-05-30 삼성전자주식회사 Apparatus for controllig home device and operation method thereof
KR20190095608A (en) 2018-01-25 2019-08-16 유현원 Smart bed-based room service system, and method for controlling thereof
KR20190099165A (en) 2019-08-06 2019-08-26 엘지전자 주식회사 Apparatus and method for virtual home service

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339674A (en) * 2002-05-29 2003-12-02 Yokogawa Electric Corp Method for estimating sleeping stage, and device using the method
KR101722784B1 (en) 2010-09-10 2017-04-04 주식회사 엘지유플러스 Method for providing user interface of using augmeted reality and mobile terminal using therof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARDUnity Project_ 아두니티 Sketch Export & Upload(2016.08.02.)*
ARDUnity Project_ 유니티 안드로이드 빌드(2016.09.30.)*

Also Published As

Publication number Publication date
KR20210136817A (en) 2021-11-17

Similar Documents

Publication Publication Date Title
US11050577B2 (en) Automatically learning and controlling connected devices
US11243502B2 (en) Interactive environmental controller
CN105659179B (en) Device and method for interacting with HVAC controller
KR102561210B1 (en) System and Method for Sleeptech controlling using AR in Smart Home Environment
Cook et al. How smart are our environments? An updated look at the state of the art
WO2016180163A1 (en) Household control and adjustment method and system
US11353218B2 (en) Integrated management method and system for kitchen environment using artificial intelligence
CN110494697A (en) Data learning server and for generate and using its learning model method
CN106664773B (en) Light scene creation or modification by means of lighting device usage data
CN109951363B (en) Data processing method, device and system
CN107562023A (en) Smart home managing and control system based on user behavior custom
Cho et al. Platform design for lifelog-based smart lighting control
US11966317B2 (en) Electronic device and method for controlling same
Vanus et al. The design of an indirect method for the human presence monitoring in the intelligent building
KR20190134937A (en) Air conditioner and method for contolling the same
CN117711309B (en) LED display control method and system based on MCU controller
US11530836B2 (en) Air conditioner and control method thereof
CN114442697A (en) Temperature control method, equipment, medium and product
JP2023145437A (en) control system
KR102619200B1 (en) Method and computer program for creating a neural network model that automatically controls environmental facilities based on artificial intelligence
US20220103888A1 (en) Thermostat with interactive features and system and method for use of same
US20220103889A1 (en) Thermostat with interactive features and system and method for use of same
Chenaru et al. IoT gateway for personalized user comfort management in smart home applications
Guo et al. Using Web Data Scraping to Reveal the Relationship between AI Product and Room Layout
CN117872786A (en) Smart home control method, device, equipment and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant