WO2024080647A1 - Method, device, computer program, and computer-readable recording medium for generating and providing sleep content based on user sleep information - Google Patents

Method, device, computer program, and computer-readable recording medium for generating and providing sleep content based on user sleep information Download PDF

Info

Publication number
WO2024080647A1
WO2024080647A1 PCT/KR2023/014988 KR2023014988W WO2024080647A1 WO 2024080647 A1 WO2024080647 A1 WO 2024080647A1 KR 2023014988 W KR2023014988 W KR 2023014988W WO 2024080647 A1 WO2024080647 A1 WO 2024080647A1
Authority
WO
WIPO (PCT)
Prior art keywords
sleep
information
user
providing
present
Prior art date
Application number
PCT/KR2023/014988
Other languages
French (fr)
Korean (ko)
Inventor
이동헌
홍준기
박혜아
김형국
강소라
배재현
김성연
이태영
김대우
김승훈
Original Assignee
주식회사 에이슬립
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이슬립 filed Critical 주식회사 에이슬립
Priority to KR1020247000275A priority Critical patent/KR20240052740A/en
Priority to KR1020237041711A priority patent/KR20240052723A/en
Publication of WO2024080647A1 publication Critical patent/WO2024080647A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video

Definitions

  • the present invention relates to a method, device, computer program, and computer-readable recording medium for generating and providing sleep content based on the user's sleep information. More specifically, the present invention relates to sleep-related information based on sleep information acquired in the user's sleep environment. It is intended to create content and provide it to users.
  • the number of patients with sleep disorders in Korea increased by about 8% on average per year from 2014 to 2018, and the number of patients treated for sleep disorders in Korea in 2018 reached approximately 570,000.
  • Republic of Korea Patent Publication No. 10-2003-0032529 receives the user's physical information and outputs vibration and/or ultrasonic waves in the frequency band detected through repetitive learning according to the user's physical condition during sleep to induce optimal sleep.
  • Republic of Korea Patent Publication No. 10-2022-0015835 relates to an electronic device for evaluating sleep quality and a method of operating the electronic device, which identifies sleep cycles based on sleep-related information acquired by a wearable device during sleep time. And it suggests a method to evaluate sleep quality accordingly.
  • the sleep analysis method using a conventional wearable device had a problem in that sleep analysis was not possible when the wearable device was not in proper contact with the user's body or when the user was not wearing the wearable device. Additionally, when multiple users sleep in the same space, not only does the movement of the non-wearable device wearer interfere with the sleep analysis of the wearable device wearer, but there is also a problem in that sleep analysis for the non-wearable device wearer is impossible.
  • the user can easily obtain sound information related to the sleep environment through a user terminal (e.g., a mobile terminal) carried by the user, and use the user's sleep environment information based on the acquired sound information and other sleep environment information.
  • a user terminal e.g., a mobile terminal
  • a sleep report containing the user's sleep information is provided through an application (or app) installed on the user's terminal.
  • Most of the presented slip reports contain quantitative information. These quantitative sleep reports can cause psychological discomfort in users, and low sleep scores can cause discomfort in users.
  • GPT Generic Pre-trained Transformer
  • Patent Document 1 Republic of Korea Patent Publication No. 2003-0032529 (published on April 26, 2003)
  • Patent Document 2 Republic of Korea Patent Publication No. 2022-0015835 (published on February 8, 2022)
  • the present invention was conceived in consideration of the problems of the prior art described above, and the purpose of the present invention is to convert the user's mood or feeling about last night's sleep into a sleep image or sleep video and provide a sleep image or sleep video to the user.
  • the object is to provide a method, device, and computer-readable recording medium for generating and providing a slip video.
  • the purpose of the present invention is to generate and provide sleep content for the user's sleep using generative artificial intelligence based on information about the user's sleep that can be obtained through a sleep sensor.
  • the purpose of the present invention is to use sleep information to increase the accuracy of sleep analysis, provide useful sleep-related content to users, and improve sleep quality.
  • the purpose of the present invention is to provide a method of generating and providing imagery-inducing information that can induce sleep or improve the quality of sleep.
  • a method for generating and providing a sleep image or a sleep video includes the steps of providing a text input window on a display screen of a user terminal; A text transmission step of transmitting the input text to an external terminal when text about the user's sleeping mood, feeling, or dream memory is input through the text input window; A receiving step of receiving a sleep image or a sleep video corresponding to the text from the external terminal; and a sleep image or sleep video providing step of providing the received sleep image or sleep video to the display screen.
  • example text may be provided in the text input window.
  • the sleep image or sleep video further includes at least one indicator or one-line review among quantitative indicators of the user's sleep, and the one-line review is prepared in advance according to the quantitative indicators. It may have been derived using a mapped lookup table method.
  • the entire sleep image or sleep video is displayed on the display screen, or the sleep image or sleep video is displayed on a portion of the display screen and quantitative indicators of the user's sleep are displayed on the remaining portion of the display screen. Or you can display the calendar.
  • the step of providing the text input window further includes a candidate option providing step of providing candidate options corresponding to the sleeping mood of the user on the display screen, wherein when at least one of the candidate options is selected, the text An input window provision step may be performed.
  • an example image corresponding to the selected option is displayed on the display screen, and in the step of providing the text input window, the text input window may be displayed on the example image.
  • sleep image or sleep video settings for setting at least one of the style, color, sketch, and partially empty picture of the sleep image or sleep video Steps may be further included.
  • a method for generating and providing a sleep image or sleep video includes a candidate group providing step of providing keyword candidates for the user's sleeping mood, feeling, or memory of a dream on a display screen of a user terminal; When at least one of the keyword candidates is selected, a text transmission step of transmitting the text of the selected keyword candidate group to an external terminal; A receiving step of receiving a sleep image or a sleep video corresponding to the text from the external terminal; and a sleep image or sleep video providing step of providing the received sleep image or sleep video to the display screen.
  • the sleep image or sleep video further includes at least one indicator or one-line review among quantitative indicators of the user's sleep, and the one-line review is prepared in advance according to the quantitative indicators. It may have been derived using a mapped lookup table method.
  • the entire sleep image or sleep video is displayed on the display screen, or the sleep image or sleep video is displayed on a portion of the display screen and quantitative indicators of the user's sleep are displayed on the remaining portion of the display screen. Or you can display the calendar.
  • a method for generating and providing a sleep image or sleep video includes a receiving step of receiving a text about the user's sleeping mood, feeling, or memory of a dream from a user terminal; A sleep image or sleep video output step of inputting the text into a learning model stored in a memory and outputting a sleep image or sleep video corresponding to the text from the learning model; and a sleep image or sleep video transmission step of transmitting the output sleep image or sleep video to the user terminal or computing device.
  • the receiving step further includes receiving environmental sensing information from the user terminal, classifying and measuring quantitative indicators of the user's sleep from the environmental sensing information, and the sleep image or sleep video output step is , the style or color of the output sleep image or sleep video can be changed based on the quantitative indicators.
  • the sleep image or sleep video output step may calculate a sleep score for the quantitative indicators, and change the style or color of the sleep image or sleep video according to the calculated sleep score.
  • a computer-readable recording medium stores a computer program that performs the above-described method of generating and providing a sleep image or a sleep video.
  • a user terminal includes a display unit; Department of Wireless Communications; control unit; and a memory that stores program instructions executed by the control unit to perform operations, wherein the operations include providing a text input window on the display screen of the display unit; When a text about the user's sleeping mood, feeling, or dream memory is input through the text input window, transmitting the input text to an external terminal through the wireless communication unit; Receiving the sleep image or sleep video corresponding to the text from the external terminal through the wireless communication unit; and an operation of providing the received sleep image or sleep video to the display screen.
  • a user terminal includes a display unit; Department of Wireless Communications; control unit; and a memory that stores program instructions executed by the control unit to perform operations, wherein the operations provide keyword candidates for the user's sleeping mood, feelings, or memory of dreams on the display screen of the display unit. action; When at least one of the keyword candidates is selected, transmitting the text of the selected keyword candidate group to an external terminal through the wireless communication unit; Receiving the sleep image or sleep video corresponding to the text from the external terminal through the wireless communication unit; and an operation of providing the received sleep image or sleep video to the display screen.
  • An external terminal includes a communication module; processor; And a memory that stores program instructions executed by the processor to perform operations and stores a machine-learned learning model to output a predetermined sleep image or sleep video in response to input text. , an operation of receiving the text about the user's sleeping mood, feeling, or dream memory from the user terminal through the communication module; An operation of inputting the text into the learning model and outputting a sleep image or a sleep video corresponding to the text from the learning model; and transmitting the output sleep image or sleep video to the user terminal or computing device through the communication module.
  • a method for generating and providing imagery-inducing information includes a preparation step of preparing imagery-inducing information; A preparation information providing step of providing the prepared image inducing information to a user; An acquisition step of acquiring sleep state information from the user; An extraction step of extracting features of the user based on the image inducing information provided to the user and the sleep state information obtained from the user; And a generation step of generating feature-based imagery induction information based on the extracted user features.
  • a method for generating and providing imagery induction information including a.
  • the preparation step may provide a method of generating and providing imagery inducing information, including preparing the imagery inducing information based on a lookup table.
  • the preparation step may provide a method of generating and providing imagery inducing information, including preparing the imagery inducing information based on the feature-based imagery inducing information.
  • the preparation information providing step provides one or more of prepared imagery-inducing sound information, prepared imagery-inducing visual information, prepared imagery-inducing text information, and prepared imagery-inducing text sound information, or A method of generating and providing imagery inducing information may be provided, including providing a combination of two or more of these.
  • the step of providing preparation information includes prepared time-series image-inducing sound information with an image-inducing scenario, prepared time-series image-inducing visual information, prepared time-series image-inducing text sound information, and prepared time-series image-inducing sound information.
  • a method of generating and providing imagery inducing information may be provided, including the step of providing one or more of the image inducing text information, or providing a combination of two or more of these.
  • a method of generating and providing imagery inducing information including a generation information providing step of providing the generated feature-based imagery inducing information to a user. can do.
  • the generation information providing step includes at least one of feature-based imagery-inducing sound information, feature-based imagery-inducing visual information, feature-based imagery-inducing text information, and feature-based imagery-inducing text sound information. It is possible to provide a method of generating and providing imagery inducing information, including the step of providing, or providing a combination of two or more of these.
  • the step of providing the generation information includes feature-based time-series image-inducing sound information with an image-inducing scenario, feature-based time-series image-inducing visual information, feature-based time-series image-inducing text sound information, and A method of generating and providing imagery inducing information may be provided, including providing one or more of feature-based time-series image inducing text information, or providing a combination of two or more of them.
  • a method for generating and providing imagery inducing information includes an information preparation step of preparing information related to a user; An extraction step of extracting user features based on the prepared information; And a generation step of generating feature-based imagery induction information based on the extracted user features.
  • a method for generating and providing imagery induction information including a.
  • the information preparation step may provide a method of generating and providing image-inducing information, including an input step of receiving information related to the user from the user.
  • the user-related information input from the user in the input step includes content selected by a swipe method; Text input from the user; and keywords selected by the user among the presented keywords; It is possible to provide a method of generating and providing image-inducing information that is one or more of the above, or a combination of two or more of these.
  • a generation information providing step of providing the generated feature-based imagery induction information to a user Alternatively, a method for generating and providing imagery inducing information may be provided, including an acquisition step of acquiring sleep state information from the user.
  • the feature-based imagery inducing information provided in the generation information providing step is feature-based imagery inducing sound information, feature-based imagery inducing visual information, feature-based imagery inducing text information, and feature-based imagery inducing information. It is possible to provide a method of generating and providing imagery inducing information that is one or more of text sound information, or a combination of two or more of them.
  • the feature-based imagery inducing information provided in the generation information providing step is feature-based time-series imagery inducing sound information with an imagery inducing scenario, feature-based time-series imagery inducing visual information, and feature-based
  • a method of generating and providing imagery inducing information which is one or more of time-series image-inducing text information and feature-based time-series image-inducing text sound information, or a combination of two or more of these, may be provided.
  • the extraction step extracts the user's features based on one or more of the provided feature-based imagery induction information and the obtained sleep state information, or a combination thereof. It is possible to provide a method for generating and providing image-inducing information, including a step.
  • an electronic device includes a memory in which image induction information is recorded; an output unit that outputs the recorded image guidance information; An acquisition unit that acquires sleep state information from the user; And a processor for extracting user features based on the output imagery induction information and the acquired sleep state information, wherein the processor generates feature-based imagery induction information based on the extracted user features.
  • An electronic device having the following characteristics may be provided.
  • the acquisition unit when the acquisition unit acquires sleep state information from a user in another electronic device, the acquisition unit may provide an electronic device that receives the obtained sleep state information from the other electronic device.
  • an electronic device in which the image induction information recorded in the memory is based on a lookup table.
  • an electronic device may be provided in which the image guidance information recorded in the memory is based on the feature-based image guidance information.
  • the recorded image-inducing information output from the output unit includes recorded image-inducing sound information, recorded image-inducing visual information, recorded image-inducing text information, and recorded image-inducing text sound.
  • An electronic device containing one or more pieces of information, or a combination of two or more pieces of information, can be provided.
  • the recorded image-inducing information output from the output unit includes recorded time-series image-inducing sound information with an image-inducing scenario, recorded time-series image-inducing visual information, and recorded time-series image-inducing visual information.
  • An electronic device may be provided that is one or more of image-inducing text sound information and recorded time-series image-inducing text information, or a combination of two or more of these.
  • the output unit may provide an electronic device that outputs the generated feature-based imagery induction information.
  • the feature-based imagery inducing information output from the output unit includes feature-based imagery inducing sound information, feature-based imagery inducing visual information, feature-based imagery inducing text information, and feature-based imagery inducing text sound.
  • An electronic device containing one or more pieces of information, or a combination of two or more pieces of information, can be provided.
  • the feature-based image induction information output from the output unit includes feature-based time-series image-induction sound information with an image-induction scenario, feature-based time-series image-induction visual information, and feature-based time-series image induction information.
  • An electronic device may be provided that is one or more of image-inducing text sound information and feature-based time-series image-inducing text information, or a combination of two or more of these.
  • a memory in which user-related information is recorded; and a processor that extracts user features based on the recorded information, wherein the processor generates feature-based imagery induction information based on the extracted user features.
  • an electronic device may be provided, further comprising an input unit that receives information related to the user from the user.
  • information related to the user input to the input unit includes content selected by a swipe method; Text input from the user; and keywords selected by the user among the presented keywords; An electronic device that is one or more of these, or a combination of two or more of these, can be provided.
  • an output unit for outputting the generated feature-based imagery induction information may be provided that further includes an acquisition unit that acquires sleep state information from the user.
  • the acquisition unit when the acquisition unit obtains sleep state information from a user in another electronic device, the acquisition unit may provide an electronic device that receives the obtained sleep state information from the other electronic device.
  • the feature-based imagery inducing information output from the output unit includes feature-based imagery inducing sound information, feature-based imagery inducing visual information, feature-based imagery inducing text information, and feature-based imagery inducing text sound.
  • An electronic device containing one or more pieces of information, or a combination of two or more pieces of information, can be provided.
  • the feature-based image induction information output from the output unit includes feature-based time-series image-induction sound information with an image-induction scenario, feature-based time-series image-induction visual information, and feature-based time-series image induction information.
  • An electronic device may be provided that is one or more of image-inducing text information and feature-based time-series image-inducing text sound information, or a combination of two or more of these.
  • the processor extracts the user's features based on one or more of the output feature-based imagery induction information and the obtained sleep state information, or a combination thereof.
  • electronic devices can be provided.
  • an electronic device includes a memory in which image induction information is recorded; an output unit that outputs the recorded image guidance information; An acquisition unit that obtains sleep state information from the user; means for transmitting the output image induction information and the obtained sleep state information to a server; When the server extracts the user's features based on the transmitted imagery induction information and the transmitted sleep state information, means for receiving the extracted user's features; and means for generating feature-based imagery induction information based on the received user's features.
  • a memory in which user-related information is recorded; means for transmitting the recorded information to a server;
  • the server extracts the user's features based on the transmitted information, means for receiving the extracted user's features; and means for generating feature-based imagery induction information based on the received user's features.
  • an electronic device includes a memory in which image induction information is recorded; an output unit that outputs the recorded image guidance information; An acquisition unit that obtains sleep state information from the user; means for transmitting the output image induction information and the sleep state information to a server; And when the server extracts the user's features based on the transmitted imagery induction information and the transmitted sleep state information, and the server generates feature-based imagery induction information based on the extracted user's features, the generation An electronic device including means for receiving feature-based image induction information may be provided.
  • a memory in which user-related information is recorded; means for transmitting the recorded information to a server; And when the server extracts the user's features based on the transmitted information and the server generates feature-based imagery induction information based on the extracted user's features, receiving the generated feature-based imagery induction information.
  • An electronic device comprising: means can be provided.
  • an electronic device includes a memory in which image induction information is recorded; an output unit that outputs the recorded image guidance information; An acquisition unit that obtains sleep state information from the user; a processor that extracts user features based on the output image induction information and the acquired sleep state information; means for transmitting the extracted user features to a server; and when the server generates feature-based imagery induction information based on the transmitted features of the user, means for receiving the generated feature-based imagery induction information.
  • a memory in which user-related information is recorded; a processor that extracts user features based on the recorded information; means for transmitting the extracted user features to a server; and when the server generates feature-based imagery induction information based on the transmitted features of the user, means for receiving the generated feature-based imagery induction information.
  • the model for generating and providing imagery inducing information includes the user's sleep state information and the electronic device obtained through an acquisition unit of the electronic device.
  • a server device equipped with an imagery induction information generation and provision model that extracts user features based on imagery induction information output through the output unit of the device and generates feature-based imagery induction information based on the extracted user features. can be provided.
  • the model for generating and providing imagery inducing information includes the user's sleep state information and the electronic device obtained through an acquisition unit of the electronic device.
  • a server device equipped with an imagery induction information generation and provision model that extracts user features based on information related to the user recorded in the device's memory and generates feature-based imagery induction information based on the extracted user features. can be provided.
  • sleep information is acquired from one or more sleep information sensor devices - the sleep information is provided by the user. Includes sleep acoustic information - sleep information acquisition stage; generating one or more data arrays related to the user's sleep based on the acquired sleep information; Inputting the created features about the user's sleep into a content creation artificial intelligence;
  • a method of generating and providing sleep content based on user sleep information using generative artificial intelligence can be provided, including generating user sleep content based on the output of the content generation artificial intelligence.
  • the sleep information acquisition step includes converting the user's sleep sound information into information including changes in frequency components along the time axis and performing analysis on the changed information. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, including;
  • the converted information visualizes changes along the time axis of the frequency components of the sleep sound information, and generates sleep content based on user sleep information using generative artificial intelligence. and provision method may be provided.
  • the sleep information acquisition step includes a sleep information inference step of inferring information about sleep by using the user's sleep sound information as input to a sleep information inference deep learning model; It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
  • the sleep information acquisition step includes outputting the inferred sleep information as a hypnogram in the time domain, based on user sleep information using generative artificial intelligence.
  • a method of creating and providing sleep content can be provided.
  • generating one or more data arrays about the user's sleep includes generating one or more data arrays about the user's sleep based on the inferred sleep information; It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
  • the one or more data arrays about the user's sleep are tensors, and a user utilizing generative artificial intelligence A method of creating and providing sleep content based on sleep information can be provided.
  • the step of generating one or more data arrays about the user's sleep includes combining the inferred sleep information with a large-scale language model to generate one or more data arrays about the user's sleep.
  • a method of generating and providing sleep content based on user sleep information using generative artificial intelligence can be provided, including the step of generating one or more data arrays about the user's sleep by inputting a (Large Language Model). .
  • the Large Language Model is a GPT model-based generative artificial intelligence model, and a method of generating and providing sleep content based on user sleep information using generative artificial intelligence. can be provided.
  • the Large Language Model is a generative artificial intelligence model based on the BERT model, and a method of generating and providing sleep content based on user sleep information using generative artificial intelligence. can be provided.
  • the step of generating one or more data arrays about the user's sleep includes lookup based on the inferred sleep information to generate one or more data arrays about the user's sleep.
  • a method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided, including the step of generating one or more data arrays regarding the user's sleep in a table.
  • the one or more data arrays about the user's sleep are generated based on preference information related to the user's sleep. It is possible to provide a method of creating and providing sleep content based on user sleep information using generative artificial intelligence.
  • the one or more data arrays about the user's sleep are generated based on the user's sleep indicator information.
  • a method of creating and providing sleep content based on user sleep information using generative artificial intelligence can be provided.
  • the one or more data arrays about the user's sleep are generated based on the user's sleep score.
  • a method of creating and providing sleep content based on user sleep information using artificial intelligence can be provided.
  • the inputting step into the content creation artificial intelligence includes a data array processing step for inputting the generated one or more data arrays about the user's sleep into the content creation artificial intelligence. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
  • the data array processing step further includes receiving a user keyword input to input into the content generation artificial intelligence, based on user sleep information using generative artificial intelligence.
  • a method of creating and providing sleep content can be provided.
  • the step of inputting into the content creation artificial intelligence includes generating one or more keywords about the user's sleep based on one or more data arrays about the user's sleep. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
  • the step of generating one or more keywords related to the user's sleep includes information about the user's sleep based on a lookup table corresponding to one or more data arrays related to the user's sleep.
  • a method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided, including the step of generating one or more keywords.
  • the step of generating one or more keywords related to the user's sleep includes generating one or more keywords related to the user's sleep by using one or more data arrays related to the user's sleep as input to a large-scale language model.
  • a method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided, including the step of generating one or more keywords.
  • the feature processing step includes inputting a method for interpreting one or more data arrays regarding the user's sleep to be input to the content creation artificial intelligence.
  • a method of creating and providing sleep content based on user sleep information using artificial intelligence can be provided.
  • the content generation artificial intelligence can provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, which is an artificial intelligence model based on a large-scale language model. there is.
  • the large-scale language model-based content generation artificial intelligence is a GPT model-based generative artificial intelligence model, generating sleep content based on user sleep information using generative artificial intelligence, and A method of provision can be provided.
  • the large-scale language model-based content generation artificial intelligence is a BERT model-based generative artificial intelligence model, generating sleep content based on user sleep information using generative artificial intelligence, and A method of provision can be provided.
  • the step of generating the user sleep content includes generating sleep text content based on the output of the content generation artificial intelligence, using generative artificial intelligence.
  • a method of creating and providing sleep content based on user sleep information can be provided.
  • the step of generating sleep text content includes generating a basic sleep sentence based on the output of the content generation artificial intelligence, and the user using generative artificial intelligence.
  • a method of creating and providing sleep content based on sleep information can be provided.
  • generating sleep text content includes extracting sleep core keywords based on the sleep basic sentences; It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, which further includes the step of receiving user input keywords.
  • the step of generating the user sleep content includes generating sleep sound source content based on the output of the content generation artificial intelligence, where the user using generative artificial intelligence
  • a method of creating and providing sleep content based on sleep information can be provided.
  • the step of generating sleep sound source content measures the similarity between the generated sleep sentence and sound source samples, and generates sleep sound source content by combining the one or more sound source samples based on the similarity. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, including the step of:
  • the step of generating the user sleep content includes generating sleep visual content based on the output of the content generation artificial intelligence, where the user using generative artificial intelligence
  • a method of creating and providing sleep content based on sleep information can be provided.
  • the step of generating the user sleep content includes providing the generated sleep text content and the generated sleep sound source content to the user, using generative artificial intelligence.
  • a method of creating and providing sleep content based on user sleep information can be provided.
  • the step of generating the user sleep content further includes providing the generated sleep visual content to the user, sleep information based on user sleep information using generative artificial intelligence.
  • sleep content is generated based on user sleep information using generative artificial intelligence, in which the generated sleep sound source content and the keywords and titles of the generated sleep text content match in time series. and provision method may be provided.
  • the user keyword input step generating a basic sentence using the input user keyword as input to a large-scale language model; A sleep sentence keyword refining step of selecting sleep sentence keywords based on the generated basic sentences; Selecting a sleep content theme based on the selected sentence keywords;
  • a method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided, including the step of generating sleep content based on the selected sleep content theme.
  • the user keyword input step includes a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, including receiving the user keyword directly from the user. can be provided.
  • the user keyword input step includes a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, including receiving the user keyword from user information. can be provided.
  • the sleep sentence keyword refining step includes extracting sleep sentence keywords by using the generated basic sentence as an input to a large-scale language model.
  • User utilizing generative artificial intelligence A method of creating and providing sleep content based on sleep information can be provided.
  • the sleep content theme selection step includes measuring a first similarity, which is the similarity between the sound source sample title of the sound source sample list, the selected sentence keyword, and the input user keyword; and selecting a sleep content theme based on the measured first similarity.
  • a method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided.
  • the step of selecting the sleep content theme further includes selecting one or more sleep content events based on the selected sleep sentence keyword and the input user keyword.
  • a method of creating and providing sleep content based on user sleep information using artificial intelligence can be provided.
  • selecting the one or more sleep content events includes removing adjectives of the input user keyword; A second similarity measurement step of measuring a second similarity, which is the similarity between the user keyword from which the adjective is removed and the sound source sample title in the sound source sample list; and selecting a sleep content event based on the measured second similarity.
  • a method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided.
  • the step of measuring the second similarity includes determining that the second similarity exists when there is a common word in the sound source sample title and the user keyword from which the adjective is removed. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
  • the step of selecting one or more sleep content events includes determining a third similarity degree, which is the similarity between the sound source sample title of the sound source sample list, the selected sentence keyword, and the input user keyword. measuring; And based on the measured third similarity, selecting a sound source sample title from the sound source sample list excluding the selected sleep content theme as a sleep content event, based on user sleep information using generative artificial intelligence.
  • a method of creating and providing sleep content can be provided.
  • the step of generating sleep content based on the selected sleep content theme and the selected content event includes the generated basic sentence, the selected sleep content theme, and the selected sleep content event.
  • a method of generating and providing sleep content based on user sleep information using generative artificial intelligence can be provided, including generating sleep sound source content based on the generated sleep content sentence.
  • the generated sleep sound source content is user sleep information using generative artificial intelligence that corresponds to the order of the generated sleep content sentences.
  • a method of creating and providing sleep-based content can be provided.
  • sleep content is generated based on user sleep information using generative artificial intelligence.
  • a non-transitory computer-readable storage medium storing one or more programs configured to be executed by one or more processors for generating and providing content, wherein the one or more programs include instructions to perform one or more of the methods described above.
  • a non-transitory computer-readable storage medium may be provided.
  • the device includes: a display unit; One or more processors; and a memory storing one or more programs configured to be executed by the one or more processors, where the one or more programs include instructions for performing one or more of the methods described above.
  • a device that generates and provides sleep content based on a user's sleep information can be provided.
  • the quality of last night's sleep is not directly provided to the user as a quantitative value, so the user does not feel aversion or discomfort toward the quantitative value. There is an advantage to not having it.
  • one or more data arrays are generated based on sleep information, and the data arrays are input into content creation artificial intelligence, thereby generating sleep content related to sleep and providing customized sleep content to the user. It can improve intuitive understanding of sleep and contribute to improving the quality of the user's sleep.
  • the present invention it is possible to induce sleep or improve the quality of sleep of a user by generating and providing imagery-inducing information.
  • FIGS. 1A and 1B are conceptual diagrams showing a system in which various aspects of a sleep content generating device or a sleep content providing device based on user sleep information can be implemented according to an embodiment of the present invention.
  • FIG. 1C is a conceptual diagram illustrating a system in which the creation and provision of sleep content based on user sleep information is implemented in the user terminal 300 according to an embodiment of the present invention.
  • FIG. 1D is a conceptual diagram illustrating a system of an apparatus 100a that generates imagery induction information based on sleep state information according to an embodiment of the present invention.
  • FIG. 1E is a conceptual diagram illustrating a system of a device 200a that provides imagery induction information based on sleep state information according to an embodiment of the present invention.
  • FIG. 1F shows a conceptual diagram illustrating a system in which various aspects of a computing device for creating a sleep environment based on sleep state information can be implemented according to an embodiment of the present invention.
  • Figure 1g shows a conceptual diagram showing a system in which various aspects of a sleep environment control device can be implemented according to another embodiment of the present invention.
  • FIG. 1H is a conceptual diagram showing a system in which various aspects of various electronic devices can be implemented according to another embodiment of the present invention.
  • Figure 1i is a diagram for explaining a system for generating and providing a sleep image according to an embodiment of the present invention.
  • FIG. 2A is a block diagram showing the configuration of a sleep content generating device 700/providing device 800 based on user sleep information according to an embodiment of the present invention.
  • Figure 2b is a block diagram showing the configuration of an electronic device 600 according to the present invention.
  • Figure 2c is an exemplary diagram illustrating a work space related to a user's sleeping environment according to an embodiment of the present invention.
  • FIG. 2D is a block diagram for explaining the computing device 100 according to an embodiment of the present invention.
  • Figure 2e is a block diagram for explaining an external terminal 200 according to an embodiment of the present invention.
  • Figure 2f is a block diagram for explaining the user terminal 300 according to an embodiment of the present invention.
  • Figure 2g shows an exemplary block diagram of a sleep environment control device according to an embodiment of the present invention.
  • Figure 2h shows an example block diagram of a receiving module and a transmitting module according to an embodiment of the present invention.
  • Figure 2i is an example diagram for explaining a second sensor unit that detects whether the user is located in an area (or sleep detection area) 11a where environmental sensing information can be obtained according to an embodiment of the present invention.
  • 3A and 3B are graphs verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention. This is a comparison drawing.
  • Figure 3c is a graph verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results in relation to sleep apnea and hypoventilation and the results according to the present invention.
  • PSG polysomnography
  • This is a diagram comparing the analysis results (AI results) using AI algorithms.
  • Figure 4 is a diagram showing an experimental process for verifying the performance of the sleep analysis method according to the present invention.
  • Figure 5 is an exemplary diagram illustrating a process for obtaining sleep sound information from environmental sensing information according to an embodiment of the present invention.
  • FIG. 6A is an exemplary diagram illustrating a method of obtaining a spectrogram corresponding to sleeping sound information according to an embodiment of the present invention.
  • Figure 6b is a diagram for explaining sleep stage analysis using a spectrogram in the sleep analysis method according to the present invention.
  • Figure 6c is a diagram for explaining sleep disorder determination using a spectrogram in the sleep analysis method according to the present invention.
  • Figure 7 is an exemplary diagram illustrating environmental composition information for each time point generated based on the user's sleeping state, according to an embodiment of the present invention.
  • Figure 8 shows an exemplary flowchart for providing a method for creating a sleep environment based on sleep state information, according to an embodiment of the present invention.
  • Figure 9 is a schematic diagram showing one or more network functions according to an embodiment of the present invention.
  • Figure 10 is a diagram illustrating the structure of a sleep analysis model using deep learning to analyze a user's sleep, according to an embodiment of the present invention.
  • Figure 11 is a conceptual diagram for explaining the operation of the environment creation device according to the present invention.
  • Figure 12 is a block diagram showing the configuration of an environment creation device according to the present invention.
  • Figure 13 is a flowchart illustrating a process for obtaining sleep state information through a sleep measurement mode of an environment creation device according to an embodiment of the present invention.
  • Figure 14 is a flowchart illustrating a process for creating an environment that induces the user to enter sleep according to an embodiment of the present invention.
  • Figure 15 is a flow chart illustrating a process for changing the user's sleep environment during sleep and immediately before waking up according to an embodiment of the present invention.
  • Figure 16 is a diagram for explaining another example of a hypnogram displaying a sleep stage within a user's sleep period according to an embodiment of the present invention.
  • Figure 17a is a diagram for explaining a non-numerical evaluation of a user's sleep according to an embodiment of the present invention.
  • Figure 17b is a diagram to explain the sleep score, which is a numerical evaluation of the user's sleep.
  • Figure 18 is a diagram to explain the structure of the Transformer model, which is the basis of a large language model.
  • Figure 19 is a diagram for explaining the inverter model of the DIFFUSION model in the content creation type artificial intelligence according to an embodiment of the present invention.
  • Figure 20 is a diagram for explaining the generator and discriminator of a GAN (Generative Adversarial Network) in content generation artificial intelligence according to an embodiment of the present invention.
  • GAN Geneative Adversarial Network
  • Figure 21 is a flow chart to explain the steps for generating a sleep plot.
  • Figure 22 is a diagram for explaining sleep sound source content generated by content generation artificial intelligence according to an embodiment of the present invention.
  • Figure 23 is a diagram for explaining sleep content generated by content generation artificial intelligence according to an embodiment of the present invention.
  • Figure 24 is a diagram for explaining the matching of keywords of sleep sound source content and sleep text content generated by content creation artificial intelligence according to an embodiment of the present invention.
  • FIG. 25 is a diagram illustrating an embodiment of a user terminal 300 that provides imagery induction information based on sleep state information according to an embodiment of the present invention.
  • Figure 26a is a diagram for explaining a method in which a user checks certain content by swiping among the emotional modeling methods according to the present invention.
  • Figure 26b is a diagram for explaining a method of inputting a user's preferred text among the emotional modeling methods according to the present invention.
  • Figure 26c is a diagram for explaining a method of selecting a keyword for a user's preferred content among the emotional modeling methods according to the present invention.
  • Figure 27 is a flow chart to explain an example of a method for generating and providing a sleep image according to an embodiment of the present invention.
  • FIGS. 28 to 36 and FIG. 41 are actual example screens in which the flowchart of FIG. 27 is specifically implemented in the user terminal 300.
  • Figure 37 is a diagram showing examples of slip images according to embodiments of the present invention.
  • Figures 38 to 40 are diagrams for explaining sleep images according to other embodiments.
  • Figure 42 is a flowchart for explaining a sleep image provision and method according to another embodiment of the present invention.
  • Figure 43 is a flowchart for explaining a sleep image provision and method according to another embodiment of the present invention.
  • Figure 44 is a flowchart for explaining a sleep image provision and method according to another embodiment of the present invention.
  • Figure 45 is a diagram for explaining consistency training according to an embodiment of the present invention.
  • Figure 46 is a flowchart illustrating a method for analyzing sleep state information including the process of combining sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
  • Figure 47 is a flowchart illustrating a method for analyzing sleep state information including the step of combining the inferred sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
  • Figure 48 is a flowchart illustrating a method for analyzing sleep state information including the step of combining inferred sleep sound information with sleep environment information and multimodal data according to an embodiment of the present invention.
  • Figure 49 is a diagram illustrating a linear regression analysis function used to analyze AHI, a sleep apnea occurrence index, through sleep events that occur during sleep, according to an embodiment of the present invention.
  • the term “unit” or “module” refers to a hardware component such as software, FPGA, or ASIC, and the “unit” or “module” performs certain roles.
  • “part” or “module” is not limited to software or hardware.
  • a “unit” or “module” may be configured to reside on an addressable storage medium and may be configured to run on one or more processors.
  • a “part” or “module” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.
  • the functionality provided within components and “parts” or “modules” can be combined into smaller components and “parts” or “modules” or into additional components and “parts” or “modules”. could be further separated.
  • a computer refers to all types of hardware devices including at least one processor, and depending on the embodiment, it may be understood as encompassing software configurations that operate on the hardware device.
  • a computer can be understood to include, but is not limited to, a smartphone, tablet PC, desktop, laptop, and user clients and applications running on each device.
  • the device may include a portable communication device (eg, mobile phone, smart watch) that includes other functions such as PDA and music player functions.
  • a portable communication device eg, mobile phone, smart watch
  • other functions such as PDA and music player functions.
  • each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and depending on the embodiment, at least part of each step may be performed in a different device.
  • FIGS. 1A and 1B are conceptual diagrams showing a system in which various aspects of a sleep content generating device or a sleep content providing device based on user sleep information can be implemented according to an embodiment of the present invention.
  • a system may include a computing device 100, a user terminal 300, an external server 20, and a network.
  • the sleep content generating device 700 and/or the sleep content providing device 800 based on user sleep information may be implemented as the computing device 100.
  • the imagery inducing information generating device 100a and/or the imagery inducing information providing device 200a may be implemented as the computing device 100 .
  • a sleep image generating device and/or a sleep image providing device may be implemented as the computing device 100.
  • the system in which the device for generating and/or providing sleep content based on user sleep information shown in FIG. 1A is implemented is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1A, and necessary It may be added, changed, or deleted depending on.
  • the system according to embodiments of the present invention may include a user terminal 300, an external server 20, and a network.
  • the sleep content generating device 700 or the sleep content providing device 800 based on user sleep information is operated by the user terminal 300 or an external server ( 20) can be implemented as.
  • the device for generating sleep content based on user sleep information is implemented as a user terminal 300, and the device for providing sleep content based on user sleep information is implemented as an external server 20. It can be implemented as:
  • the device for generating sleep content based on user sleep information is implemented as an external server 20, and the device for providing sleep content based on user sleep information is installed at the user terminal ( 300).
  • both a sleep content generating device based on user sleep information and a sleep content providing device based on user sleep information may be implemented as the user terminal 300.
  • both the device for generating sleep content based on user sleep information and the device for providing sleep content based on user sleep information according to an embodiment of the present invention may be implemented as an external server 20.
  • the imagery inducing information generating device 100a and/or the imagery inducing information providing device 200a may be implemented as a user terminal 300 or an external server 20.
  • the sleep image generating device and/or the sleep image providing device may be implemented as the user terminal 300 or the external server 20.
  • the system in which the device for generating and/or providing sleep content based on user sleep information shown in FIG. 1B is implemented is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1B, and necessary It may be added, changed, or deleted depending on.
  • the external server 20 may be composed of a single server or a plurality of servers. Additionally, according to an embodiment of the present invention, the external server 20 may be implemented as an external terminal 200.
  • a sleep content generating device based on user sleep information can generate sleep content using generative artificial intelligence.
  • a sleep content providing device based on user sleep information can provide sleep content generated using generative artificial intelligence.
  • FIG. 1C is a conceptual diagram illustrating a system in which the creation and provision of sleep content based on user sleep information is implemented in the user terminal 300 according to an embodiment of the present invention.
  • sleep content may be generated and provided based on user sleep information in the user terminal 300 without a separate generating device 700 and/or a separate providing device 800. .
  • a sleep content generating device based on user sleep information can generate sleep content using generative artificial intelligence.
  • a sleep content providing device based on user sleep information can provide sleep content generated using generative artificial intelligence.
  • the device for generating and/or providing sleep content based on user sleep information when the device for generating and/or providing sleep content based on user sleep information according to embodiments of the present invention is implemented as a computing device 100, the computing device 100 , data for the system according to embodiments of the present invention can be mutually transmitted and received through the user terminal 300 and the network.
  • the computing device 100 when the device for generating and/or providing sleep content based on user sleep information according to embodiments of the present invention is implemented as the computing device 100, the computing device 100 ) can mutually transmit and receive data for the system according to embodiments of the present invention with the user terminal 300 and/or the external server 20 through a network.
  • the user terminal 300 is provided through the network. , it can perform the role of the sleep content generating device 700 and/or the providing device 800 based on user sleep information, and mutually transmit and receive data for the system according to embodiments of the present invention.
  • the user terminal 300 is connected to the imagery inducing information generating device ( 100a) and/or the image inducing information providing device 200a, it is possible to mutually transmit and receive data for the system according to embodiments of the present invention.
  • the user terminal 300 functions as a sleep image generating device and/or a sleep image providing device through the network.
  • data for the system according to embodiments of the present invention can be mutually transmitted and received.
  • FIG. 2A is a block diagram showing the configuration of a device 700/800 that generates/provides sleep content based on user sleep information according to an embodiment of the present invention.
  • the device 700 for generating sleep content based on user sleep information using generative artificial intelligence stores a display 720 and one or more programs configured to be executed by one or more processors. It may include a memory 740 and one or more processors 760.
  • the device 800 that provides sleep content based on user sleep information using generative artificial intelligence includes a display 820 and one or more programs configured to be executed by one or more processors. It may include a memory 840 that stores and one or more processors 860.
  • memory 740 or memory 840 that stores one or more programs includes high-speed random access memory such as DRAM, SRAM, DDR RAM, or other random access solid state memory devices. , including non-volatile memory, such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or other non-volatile solid state storage devices. Additionally, the memory may store instructions for performing a method of providing one or more graphical user interfaces representing information about the user's sleep.
  • the processor 760 or processor 860 may be composed of one or more processor means. Additionally, the processor may execute memory that stores one or more programs.
  • the device 700/device 800 for generating/providing sleep content based on user sleep information utilizes generative artificial intelligence to generate sleep content based on user sleep information.
  • the operation of creating or providing content can be performed.
  • FIG. 1D is a conceptual diagram illustrating a system of an apparatus 100a that generates imagery induction information based on sleep state information according to an embodiment of the present invention.
  • the system of the present invention may include a device 100a that generates imagery induction information, a user terminal 300, and a network.
  • FIG. 1E is a conceptual diagram showing a system of a device 200a that provides imagery induction information based on sleep state information according to an embodiment of the present invention. As shown in FIG. 1E, it may include a device 200a, a user terminal 300, and a network that provide image inducing information of the present invention.
  • the device 100a for generating the image guidance information of the present invention and the device 200a for providing the image guidance information of the present invention through the user terminal 300 and the network.
  • Data for systems according to embodiments may be transmitted and received.
  • Figure 1C is a conceptual diagram showing a system for generating and providing imagery induction information based on state information according to an embodiment of the present invention.
  • the user terminal 300 generates the image through the network.
  • data for the system according to embodiments of the present invention can be transmitted and received.
  • the user terminal 300 may provide sleep content through a network.
  • the generating device 700/providing device 800 By performing the role of the generating device 700/providing device 800, data for the system according to embodiments of the present invention can be transmitted and received.
  • the user terminal 300 can connect the device for generating a sleep image and the sleep image through the network.
  • data for systems according to embodiments of the present invention can be transmitted and received.
  • FIG. 1F shows a conceptual diagram illustrating a system in which various aspects of a computing device for creating a sleep environment based on sleep state information can be implemented according to an embodiment of the present invention.
  • a system according to embodiments of the present invention may include a computing device 100, a user terminal 300, an external server 20, an environment creation device 30, and a network.
  • the present invention is a system in which the computing device 100, the user terminal 300, the external server 20, and the environment creation device 30 are connected through a network, according to embodiments of the present invention. You can transmit and receive data for each other.
  • the system for implementing a method for creating a sleep environment based on the sleep state information shown in FIG. 1F is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1F, It may be added, changed, or deleted as needed.
  • Figure 1g shows a conceptual diagram showing a system in which various aspects of a sleep environment control device can be implemented according to another embodiment of the present invention.
  • the system according to embodiments of the present invention may include a sleep environment control device 400, a user terminal 300, an external server 20, and a network.
  • the system for implementing a method for creating a sleep environment based on the sleep state information shown in FIG. 1g is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1g. It may be added, changed, or deleted as needed.
  • FIG. 1H shows a conceptual diagram illustrating a system in which various aspects of various electronic devices can be implemented according to another embodiment of the present invention. As shown in FIG. 1H, the electronic devices shown in FIG. 1H may perform at least one of the operations performed by various devices according to embodiments of the present invention.
  • operations performed by various electronic devices include obtaining environmental sensing information and sleep information, performing learning about sleep analysis, and performing inference about sleep analysis.
  • the operations performed by various devices include generating imagery inducing information, providing imagery inducing information, acquiring environmental sensing information, learning a sleep analysis model, and sleeping state. It may include an operation of learning information, an operation of inferring sleep state information, and an operation of displaying sleep state information.
  • receive information related to the user's sleep transmit or receive at least one of environmental sensing information and sleep information, perform preprocessing on environmental sensing information, determine environmental sensing information and sleep information, or Data obtained by extracting acoustic information from sensing information and sleep information, processing or processing data, processing services, providing services, constructing a learning data set based on environmental sensing information or the user's sleep information, or acquiring data.
  • store a plurality of data that is input to a neural network transmit or receive various information, mutually transmit and receive data for systems according to embodiments of the present invention through a network, or generate sleep content based on user sleep information.
  • This may include actions that create or provide information, actions that generate or provide imagery-inducing information, actions that generate or provide sleep images, actions that generate or provide sleep content using generative artificial intelligence based on the user's sleep information, etc. It may be possible.
  • the electronic devices shown in FIG. 1H may individually perform the operations performed by various electronic devices according to embodiments of the present invention, but may also perform one or more operations simultaneously or in time series.
  • the electronic devices 1a to 1d shown in FIG. 1H may be electronic devices within the range of an area (or sleep detection area) 11a that can obtain environmental sensing information.
  • an area (or sleep detection area) 11a that can obtain environmental sensing information.
  • area 11a the area (or sleep detection area) 11a where environmental sensing information can be obtained.
  • the electronic devices 1a and 1d may be a device composed of a combination of two or more electronic devices.
  • electronic devices 1a and 1b may be electronic devices connected to a network within area 11a.
  • the electronic devices 1c and 1d may be electronic devices not connected to the network within the area 11a.
  • electronic devices 2a to 2b may be electronic devices outside the range of area 11a.
  • FIG. 1H there may be a network that interacts with electronic devices within the scope of area 11a, and there may be a network that interacts with electronic devices outside the scope of area 11a.
  • a network that interacts with electronic devices within the scope of area 11a may serve to transmit and receive information for controlling smart home appliances.
  • the network interacting with electronic devices within the scope of area 11a may be, for example, a local area network or a local network.
  • the network interacting with electronic devices within the scope of area 11a may be, for example, a remote network or a global network.
  • FIG. 1H there may be one or more electronic devices connected through a network outside the range of area 11a, and in this case, the electronic devices may distribute data to each other or perform one or more operations separately.
  • electronic devices connected through a network outside the scope of area 11a may include server devices.
  • the electronic devices may perform various operations independently of each other.
  • various electronic devices according to the present invention can transmit and receive data for the system according to embodiments of the present invention through a network.
  • Figure 1i is a diagram for explaining a system for generating and providing a sleep image according to an embodiment of the present invention.
  • the system includes a computing device 100, an external terminal 200, and a user terminal 300 connected to a network.
  • a computing device 100 the external terminal 200
  • a user terminal 300 connected to a network.
  • the basic hardware structures of the computing device 100, the external terminal 200, and the user terminal 300 will be described.
  • FIG. 2D is a block diagram for explaining the computing device 100 according to an embodiment of the present invention.
  • the computing device 100 includes at least one processor 110, a memory 120, an output device 130, an input device 140, an input/output interface 150, a sensor module 160, It may include a communication module 170.
  • the computing device 100 may obtain sleep state information of the user and adjust the user's sleep environment based on the sleep state information. Specifically, the computing device 100 may obtain sleep state information related to whether the user is before, during, or after sleep based on environmental sensing information, and determine the sleep environment of the space where the user is located according to the sleep state information. can be adjusted.
  • the computing device 100 when the user obtains sleep state information that the user is before sleep, the computing device 100 sets the intensity and illuminance of light (e.g., white light of 3000K, 30 lux) to induce sleep based on the sleep state information. It is possible to generate environmental information related to illuminance) and air quality (fine dust concentration, harmful gas concentration, air humidity, air temperature, etc.).
  • the computing device 100 may transmit environment creation information related to the intensity and illuminance of light and air quality for inducing sleep to the environment creation device 30 .
  • the environment creation device 30 sets the light intensity and illuminance of the space where the user is located based on the environment creation information received from the computing device 100 to an appropriate intensity and illuminance (for example, white light of 3000K) to induce sleep. It can be adjusted to an illuminance of 30 lux. That is, the environment creation information generated by the computing device 100 is transmitted to a lighting device, which is an embodiment of the environment creation device 30, so that the illuminance in the sleeping space can be adjusted.
  • an appropriate intensity and illuminance for example, white light of 3000K
  • the computing device 100 removes fine dust, removes harmful gases, operates allergy care, operates deodorization/sterilization, controls dehumidification/humidification, adjusts blowing intensity, controls air purifier operation noise, and turns on LEDs.
  • Environmental creation information such as various information related to the environment, can be generated.
  • the environment creation information generated by the computing device 100 is transmitted to an air purifier, which is an embodiment of the environment creation device 30, so that the air quality in the room, in the vehicle, or in the sleeping space can be adjusted.
  • the environmental sensing information used by the computing device 100 to analyze the sleeping state may include acoustic information acquired in a non-invasive manner during the user's activities in the work space or during sleep.
  • environmental sensing information may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep.
  • the environmental sensing information may include sleep sound information, and the sleep sound information may mean sound information related to movement patterns and breathing patterns that occur during the user's sleep.
  • environmental sensing information may be obtained through the user terminal 300 carried by the user.
  • environmental sensing information related to the user's activities in the work space may be obtained through a microphone module provided in the user terminal 300.
  • the microphone module provided in the user terminal 300 carried by the user may be configured as a MEMS (Micro-Electro Mechanical System) because it must be provided in the user terminal 300 of a relatively small size.
  • MEMS Micro-Electro Mechanical System
  • These microphone modules can be manufactured very small, but can have a lower signal-to-noise ratio (SNR) than condenser microphones or dynamic microphones.
  • SNR signal-to-noise ratio
  • a low signal-to-noise ratio may mean that the ratio of noise, which is a sound that is not to be identified, to the sound that is to be identified is high, making it difficult to identify the sound (i.e., unclear).
  • Environmental sensing information that is the subject of analysis in the present invention may include sound information related to the user's breathing and movement acquired during sleep, that is, sleep sound information.
  • This sleep sound information is information about very small sounds (i.e., sounds that are difficult to distinguish) such as the user's breathing and movement, and is acquired along with other sounds during the sleep environment, so the microphone with a low signal-to-noise ratio as described above is used. If acquired through modules, detection and analysis can be very difficult.
  • the computing device 100 may obtain sleep state information based on environmental sensing information obtained through a microphone module made of MEMS.
  • the computing device 100 is capable of converting and/or adjusting ambiguously acquired environmental sensing information including a lot of noise into data that can be analyzed, and utilizing the converted and/or adjusted data to learn about an artificial neural network. It can be done.
  • the learned neural network e.g., acoustic analysis model
  • the user based on data (e.g., transformed and/or adjusted) acquired (e.g., transformed and/or adjusted) corresponding to the sleep acoustic information. Sleep state information can be obtained.
  • the sleep state information may include sleep stage information related to changes in the user's sleep stage during sleep, as well as information related to whether the user is sleeping.
  • the sleep state information may include sleep stage information indicating that the user was in REM sleep at a first time point, and that the user was in light sleep at a second time point different from the first time point. In this case, information that the user fell into a relatively deep sleep at the first time and had a lighter sleep at the second time can be obtained through the corresponding sleep state information.
  • the computing device 100 acquires sleep sound information with a low signal-to-noise ratio through a user terminal that is widely used to collect sound (e.g., artificial intelligence speaker, bedroom IoT device, mobile phone, etc.),
  • a user terminal that is widely used to collect sound
  • sleep state information related to changes in sleep stages can be provided. This eliminates the need to have a contact microphone on the user's body to obtain clear sound, and also allows sleep status to be monitored in a typical home environment with just a software update without purchasing an additional device with a high signal-to-noise ratio. This can provide the effect of increasing convenience.
  • the computing device 100 and the environment creation device 30 are separately represented as separate entities, but according to an embodiment of the present invention, the environment creation device 30 is included in the computing device 100 to enable sleep.
  • Condition measurement and environmental adjustment operation functions can also be performed in one integrated device.
  • computing device 100 may be a terminal or a server, and may include any type of device.
  • the computing device 100 is a digital device, such as a laptop computer, a notebook computer, a desktop computer, a web pad, or a mobile phone, and may be a digital device equipped with a processor and computing power with memory.
  • Computing device 100 may be a web server that processes services.
  • the types of servers described above are merely examples and the present invention is not limited thereto.
  • the computing device 100 may be a server that provides cloud computing services. More specifically, the computing device 100 is a type of Internet-based computing and may be a server that provides a cloud computing service that processes information not on the user's computer but on another computer connected to the Internet.
  • the cloud computing service may be a service that stores data on the Internet and can be used anytime, anywhere through Internet access without the user having to install necessary data or programs on his or her computer.
  • the cloud computing service may be a service that allows simple manipulation of data stored on the Internet. You can easily share and forward with a click.
  • cloud computing services not only allow you to simply store data on a server on the Internet, but also allow you to perform desired tasks using the functions of applications provided on the web without having to install a separate program, and allow multiple people to view documents at the same time. It may be a service that allows you to work while sharing. Additionally, cloud computing services may be implemented in at least one of the following forms: Infrastructure as a Service (IaaS), Platform as a Service (PaaS), Software as a Service (SaaS), virtual machine-based cloud server, and container-based cloud server. . That is, the computing device 100 of the present invention may be implemented in at least one form among the cloud computing services described above. The specific description of the cloud computing service described above is merely an example, and may include any platform for constructing the cloud computing environment of the present invention.
  • IaaS Infrastructure as a Service
  • PaaS Platform as a Service
  • SaaS Software as a Service
  • virtual machine-based cloud server virtual machine-based cloud server
  • container-based cloud server container-based cloud server
  • the computing device 100 may perform an operation of generating sleep content based on user sleep information and/or providing sleep content based on user sleep information.
  • the device 700 for generating sleep content based on user sleep information and/or the device 800 for providing sleep content based on user sleep information are not separately provided, and the sleep content is provided with the computing device 100.
  • a creation and delivery system may be implemented.
  • the computing device 100 may perform an operation of generating and/or providing a sleep image.
  • a sleep content generating and providing system equipped with the computing device 100 may be implemented without a separate device for generating and/or providing a sleep image.
  • the computing device 100 may perform an operation of generating and/or providing imagery induction information.
  • the device 100a for generating imagery induction information based on sleep state information and/or the device 200a for providing imagery induction information based on sleep state information are not separately provided, and the computing device 100 The provided sleep content creation and provision system can be implemented.
  • the processor 110 may include one or more application processors (AP), one or more communication processors (CP), or at least one artificial intelligence processor (AI processor).
  • AP application processors
  • CP communication processors
  • AI processor artificial intelligence processor
  • the application processor, communication processor, or AI processor may each be contained within different integrated circuit (IC) packages or may be contained within one IC package.
  • the application processor runs an operating system or application program, controls multiple hardware or software components connected to the application processor, and can perform various data processing/computations, including multimedia data.
  • the application processor may be implemented as a system on chip (SoC).
  • SoC system on chip
  • the processor 110 may further include a graphic processing unit (GPU) (not shown).
  • GPU graphic processing unit
  • the communication processor may perform a function of managing a data link and converting a communication protocol in communication between the computing device 100 and other computing devices connected to a network.
  • a communications processor may be implemented as a SoC.
  • the communications processor may perform at least some of the multimedia control functions.
  • the communication processor may control data transmission and reception of the communication module 170.
  • the communication processor may be implemented to be included as at least part of the application processor.
  • the application processor or the communication processor may load and process commands or data received from at least one of the non-volatile memory or other components connected to the volatile memory. Additionally, the application processor or communication processor may store data received from or generated by at least one of the other components in the non-volatile memory.
  • the computer program When loaded into memory 120, the computer program may include one or more instructions that cause processor 110 to perform methods/operations according to various embodiments of the present invention. That is, the processor 110 can perform methods/operations according to various embodiments of the present invention by executing one or more instructions.
  • the computer program includes obtaining sleep state information of a user, generating environment creation information based on the sleep state information, and transmitting the environment creation information to an environment creation device. It may include one or more instructions to perform a method of creating a sleep environment according to state information.
  • the processor 110 may be composed of one or more cores, such as a central processing unit (CPU) of a computing device, and a general purpose graphics processing unit (GPGPU). , may include a processor for data analysis and deep learning, such as a tensor processing unit (TPU).
  • cores such as a central processing unit (CPU) of a computing device, and a general purpose graphics processing unit (GPGPU).
  • GPU general purpose graphics processing unit
  • TPU tensor processing unit
  • the processor 110 may read a computer program stored in the memory 120 and perform data processing for machine learning according to an embodiment of the present invention. According to one embodiment of the present invention, the processor 110 may perform calculations for learning a neural network.
  • the processor 110 is used for learning neural networks, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. Calculations can be performed.
  • DL deep learning
  • Calculations can be performed.
  • CPU, GPGPU, and TPU of the processor 110 may process learning of the network function.
  • CPU and GPGPU can work together to process learning of network functions and data classification using network functions.
  • the processors of a plurality of computing devices can be used together to process learning of network functions and data classification using network functions.
  • a computer program executed in a computing device according to an embodiment of the present invention may be a CPU, GPGPU, or TPU executable program.
  • network function may be used interchangeably with artificial neural network or neural network.
  • a network function may include one or more neural networks, and in this case, the output of the network function may be an ensemble of the outputs of one or more neural networks.
  • the model may include a network function.
  • a model may include one or more network functions, in which case the output of the model may be an ensemble of the outputs of one or more network functions.
  • the processor 110 may read the computer program stored in the memory 120 and provide a sleep analysis model according to an embodiment of the present invention. According to an embodiment of the present invention, the processor 110 may perform calculations to calculate environmental composition information based on sleep state information. According to one embodiment of the present invention, the processor 110 may perform calculations to learn a sleep analysis model.
  • the sleep analysis model will be explained in more detail below. Based on the sleep analysis model, sleep information related to the user's sleep quality can be inferred. Environmental sensing information acquired in real time or periodically from the user is input as an input value to the sleep analysis model, and data related to the user's sleep is output.
  • Learning of such a sleep analysis model and inference based thereon may be performed by the computing device 100.
  • both learning and inference can be designed to be performed by the computing device 100.
  • learning may be performed in the computing device 100, but inference may be performed in the user terminal 300.
  • learning may be performed in the computing device 100, but inference may be performed in the environment creation device 30 implemented with smart home appliances (TV, lighting, refrigerator, air purifier), etc.
  • this may be performed by the sleep environment control device 400 of FIG. 1G. That is, both learning and inference can be performed by the sleep environment control device 400.
  • learning may be performed in the computing device 100, but inference may be performed in the external terminal 200.
  • the processor 110 may typically process the overall operation of the computing device 100.
  • the processor 110 can provide or process appropriate information or functions to the user terminal by processing signals, data, information, etc. input or output through the components discussed above or by running an application program stored in the memory 120. there is.
  • the processor 110 may obtain information on the user's sleep state.
  • Acquiring sleep state information may be acquiring or loading sleep state information stored in the memory 120. Additionally, acquisition of sleep sound information may involve receiving or loading data from another storage medium, another computing device, or a separate processing module within the same computing device based on wired/wireless communication means.
  • FIG. 2C shows a block diagram of a computing device for creating a sleep environment based on sleep state information related to an embodiment of the present invention.
  • the computing device 100 may include a network unit 180, a memory 120, and a processor 110. It is not limited to the components included in computing device 100 described above. That is, depending on the implementation aspect of the embodiments of the present invention, additional components may be included or some of the above-described components may be omitted.
  • the computing device 100 includes a network unit 180 that transmits and receives data with the user terminal 300, the external server 20, and the environment creation device 30. ) may include.
  • the network unit 180 may transmit and receive data for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, to other computing devices, servers, etc. That is, the network unit 180 may provide a communication function between the computing device 100, the user terminal 300, the external server 20, and the environment creation device 30.
  • the network unit 180 may receive sleep checkup records and electronic health records for multiple users from a hospital server.
  • the network unit 180 may receive environmental sensing information related to the space in which the user operates from the user terminal 300.
  • the network unit 180 may transmit environment creation information for adjusting the environment of the space where the user is located to the environment creation device 30. Additionally, the network unit 180 may allow information to be transferred between the computing device 100, the user terminal 300, and the external server 20 by calling a procedure with the computing device 100.
  • the computing device 100 may be configured to include both the network unit 180 and the communication module 170, but may include only one of the network unit 180 and the communication module 170. It may be configured. Additionally, the communication module 170 may perform the operations of the network unit 180 described above.
  • Memory 120 may include internal memory or external memory.
  • Built-in memory is volatile memory (e.g., dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.) or non-volatile memory (e.g., one time programmable ROM (OTPROM), programmable memory (PROM), etc. ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory, etc.).
  • the internal memory may take the form of a solid state drive (SSD).
  • the external memory may be a flash drive, for example, compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (Mini-SD), or extreme digital (xD). Alternatively, it may further include a memory stick, etc.
  • the memory 120 may store a computer program for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, and the stored computer program may be stored in the processor 110. It can be read and driven by . Additionally, the memory 120 may store any type of information generated or determined by the processor 110 and any type of information received by the network unit 180. Additionally, the memory 120 may store data related to the user's sleep. For example, the memory 120 may store input/output data (e.g., environmental sensing information related to the user's sleep environment, sleep state information corresponding to the environmental sensing information, or environment creation information according to the sleep state information, etc. ) can also be stored temporarily or permanently.
  • input/output data e.g., environmental sensing information related to the user's sleep environment, sleep state information corresponding to the environmental sensing information, or environment creation information according to the sleep state information, etc.
  • the memory 120 is a flash memory type, hard disk type, multimedia card micro type, or card type memory (e.g. (e.g. SD or -Only Memory), and may include at least one type of storage medium among magnetic memory, magnetic disk, and optical disk.
  • the computing device 100 may operate in connection with web storage that performs a storage function of the memory 120 on the Internet.
  • the description of the memory described above is only an example, and the present invention is not limited thereto.
  • the output device 130 may include at least one of a display module and/or a speaker.
  • the output device 130 can display various data including multimedia data, text data, voice data, etc. to the user or output them as sound.
  • the input device 140 may include a touch panel, a digital pen sensor, a key, or an ultrasonic input device.
  • the input device 140 may be the input/output interface 150.
  • the touch panel may recognize touch input in at least one of capacitive, resistive, infrared, or ultrasonic methods. Additionally, the touch panel may further include a controller (not shown). In the case of capacitive type, not only direct touch but also proximity recognition is possible.
  • the touch panel may further include a tactile layer. In this case, the touch panel can provide a tactile response to the user.
  • the digital pen sensor may be implemented using the same or similar method for receiving a user's touch input, or using a separate recognition layer.
  • the key may be a keypad or touch key.
  • An ultrasonic input device is a device that can check data by detecting micro sound waves in a terminal through a pen that generates ultrasonic signals, and enables wireless recognition.
  • the computing device 100 may receive user input from an external device (eg, a network, computer, or server) connected thereto using the communication module 170.
  • the input device 140 may further include a camera module or/and a microphone.
  • a camera module is a device that can capture images and videos, and may include one or more image sensors, an image signal processor (ISP), or a flash LED.
  • ISP image signal processor
  • a microphone can receive voice signals and convert them into electrical signals.
  • the input/output interface 150 transmits commands or data input from the user through the input device 140 or output device 130 to the processor 110, memory 120, communication module 170, etc. through a bus (not shown). It can be delivered. As an example, the input/output interface 150 may provide data about a user's touch input through a touch panel to the processor 110. As an example, the input/output interface 150 may output commands or data received from the processor 110, memory 120, communication module 170, etc. through the bus through the output device 130. As an example, the input/output interface 150 may output voice data processed through the processor 110 to the user through a speaker.
  • the sensor module 160 may include a gesture sensor, gyro sensor, barometric pressure sensor, magnetic sensor, acceleration sensor, grip sensor, proximity sensor, RGB (red, green, blue) sensor, biometric sensor, temperature/humidity sensor, illuminance sensor, or UV ( may include at least one of ultra violet) sensors.
  • the sensor module 160 may measure a physical quantity or detect the operating state of the computing device 100 and convert the measured or sensed information into an electrical signal. Additionally or alternatively, the sensor module 160 may include an olfactory sensor (E-nose sensor), an electromyography sensor (EMG sensor), an electroencephalogram sensor (EEG sensor) (not shown), an electrocardiogram sensor (ECG sensor), and a photoplethysmography sensor (PPG sensor). ), a heart rate monitor sensor (HRM sensor), a perspiration sensor, or a fingerprint sensor.
  • the sensor module 160 may further include a control circuit for controlling at least one sensor included therein.
  • the communication module 170 may include a wireless communication module or an RF module.
  • the wireless communication module may include, for example, Wi-Fi, BT, GPS or NFC.
  • a wireless communication module may provide a wireless communication function using radio frequencies. Additionally or alternatively, the wireless communication module may include a network interface or modem for connecting the computing device 100 to a network (e.g., Internet, LAN, WAN, telecommunication network, cellular network, satellite network, POTS or 5G network, etc.). It can be included.
  • a network e.g., Internet, LAN, WAN, telecommunication network, cellular network, satellite network, POTS or 5G network, etc.
  • the RF module may be responsible for transmitting and receiving data, for example, RF signals or called electronic signals.
  • the RF module may include a transceiver, a power amp module (PAM), a frequency filter, or a low noise amplifier (LNA).
  • the RF module may further include components for transmitting and receiving electromagnetic waves in free space in wireless communication, for example, conductors or wires.
  • the computing device 100 may include at least one of a server, TV, smart TV, refrigerator, oven, clothes styler, robot vacuum cleaner, drone, air conditioner, air purifier, PC, speaker, home CCTV, lighting, washing machine, and smart plug. there is. Since the components of the computing device 100 described in FIG. 2D are examples of components generally provided in a computing device, the computing device 100 is not limited to the components described above, and certain components may be omitted as necessary. and/or may be added.
  • the network unit 180 includes Public Switched Telephone Network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and VDSL (A variety of wired communication systems can be used, such as Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and Local Area Network (LAN).
  • PSTN Public Switched Telephone Network
  • xDSL Digital Subscriber Line
  • RADSL Rate Adaptive DSL
  • MDSL Multi Rate DSL
  • VDSL VDSL
  • wired communication systems such as Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and Local Area Network (LAN).
  • the network unit 180 presented in this specification can use various wireless communication systems that can be realized now and in the future, such as mobile communication systems such as 4G and 5G (LTE), and satellite communication systems such as Starlink. .
  • mobile communication systems such as 4G and 5G (LTE)
  • satellite communication systems such as Starlink.
  • the network unit 180 can be configured regardless of the communication mode, such as wired or wireless, and may be composed of various communication networks such as a personal area network (PAN) and a wide area network (WAN). You can. Additionally, the network may be the well-known World Wide Web (WWW), and may also use wireless transmission technology used for short-distance communication, such as Infrared Data Association (IrDA) or Bluetooth. The techniques described herein can be used in the networks mentioned above, as well as other networks.
  • PAN personal area network
  • WAN wide area network
  • IrDA Infrared Data Association
  • Bluetooth wireless transmission technology used for short-distance communication
  • the computing device 100 implemented in the system according to embodiments of the present invention may be configured to include both the communication module 170 and the network unit 180, but the communication module 170 and the network unit ( 180) may be configured to include only one of them.
  • the operation of the above-described communication module 170 may be performed in the network unit 180, or the operation of the above-described network unit 180 may be performed in the communication module 170.
  • Networks include Public Switched Telephone Network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and Very High Speed DSL (VDSL). ), UADSL (Universal Asymmetric DSL), HDSL (High Bit Rate DSL), and local area network (LAN) can be used.
  • PSTN Public Switched Telephone Network
  • xDSL Digital Subscriber Line
  • RADSL Rate Adaptive DSL
  • MDSL Multi Rate DSL
  • VDSL Very High Speed DSL
  • UADSL Universal Asymmetric DSL
  • HDSL High Bit Rate DSL
  • LAN local area network
  • CDMA Code Division Multi Access
  • TDMA Time Division Multi Access
  • FDMA Frequency Division Multi Access
  • OFDMA Orthogonal Frequency Division Multi Access
  • SC-FDMA Single Carrier-FDMA
  • the network according to embodiments of the present invention can be configured regardless of the communication mode, such as wired or wireless, and is composed of various communication networks such as a personal area network (PAN) and a wide area network (WAN). It can be. Additionally, the network may be the well-known World Wide Web (WWW), and may also use wireless transmission technology used for short-distance communication, such as Infrared Data Association (IrDA) or Bluetooth.
  • IrDA Infrared Data Association
  • Bluetooth wireless transmission technology used for short-distance communication
  • Figure 2e is a block diagram for explaining an external terminal 200 according to an embodiment of the present invention.
  • the external terminal 200 may include a processor 210, a memory 220, and a communication module 270.
  • the external terminal 200 may be an external server 20 or a cloud server.
  • the external server 20 is a digital device, such as a laptop computer, a notebook computer, a desktop computer, a web pad, or a mobile phone, and may be a digital device equipped with a processor and computing power with memory.
  • the external server 20 may be a web server that processes services.
  • the types of servers described above are merely examples and the present invention is not limited thereto.
  • the processor 210 generally controls the external terminal 200.
  • Processor 210 may include AI processor 215.
  • the AI processor 215 can learn a neural network using a program stored in the memory 220.
  • the AI processor 215 can learn a neural network for recognizing data related to the operation of the user terminal 300.
  • the neural network may be designed to simulate human brain structure (eg, neuron structure of a human neural network) on a computer.
  • a neural network may include an input layer, an output layer, and at least one hidden layer. Each layer includes at least one neuron with a weight, and the neural network may include synapses connecting neurons.
  • each neuron can output an input signal input through a synapse as a function value of an activation function for weight and/or bias.
  • the neural network may include a deep learning model developed from a neural network model.
  • a deep learning model multiple network nodes are located in different layers and can exchange data according to convolutional connection relationships.
  • Examples of neural network models include deep neural networks (DNN), convolutional neural networks (CNN), recurrent neural networks, restricted Boltzmann machines, and deep belief networks. ), deep Q-Network, and various deep learning techniques, and can be applied in fields such as vision recognition, speech recognition, natural language processing, and voice/signal processing.
  • processor 210 that performs the functions described above may be a general-purpose processor (e.g., CPU), or may be an AI-specific processor (e.g., GPU, TPU) for artificial intelligence learning.
  • CPU general-purpose processor
  • AI-specific processor e.g., GPU, TPU
  • the memory 220 may store various programs and data necessary for the operation of the user terminal 300 and/or the external terminal 200.
  • the memory 220 is accessed by the AI processor 215, and reading/writing/modifying/deleting/updating data by the AI processor 215 can be performed.
  • the memory 220 may store a neural network model (eg, deep learning model) generated through a learning algorithm for data classification/recognition.
  • the memory 220 may store not only the learning model 221 but also input data, learning data, and learning history.
  • the AI processor 215 may include a data learning unit 215a that learns a neural network for data classification/recognition.
  • the data learning unit 215a can learn standards regarding which learning data to use to determine data classification/recognition and how to classify and recognize data using the learning data.
  • the data learning unit 215a can learn a deep learning model by acquiring learning data to be used for learning and applying the acquired learning data to the deep learning model.
  • the data learning unit 215a may be manufactured in the form of at least one hardware chip and mounted on the external terminal 200.
  • the data learning unit 215a may be manufactured in the form of a dedicated hardware chip for artificial intelligence, and may be manufactured as part of a general-purpose processor (CPU) or graphics processor (GPU) and mounted on the external terminal 200.
  • the data learning unit 215a may be implemented as a software module.
  • the software module When implemented as a software module (or a program module including instructions), the software module may be stored in a non-transitory computer readable recording medium that can be read by a computer. In this case, at least one software module may be provided to an operating system (OS) or may be provided by an application.
  • OS operating system
  • the data learning unit 215a can use the acquired training data to train the neural network model to have a judgment standard on how to classify/recognize certain data.
  • the learning method by the model learning unit can be classified into supervised learning, unsupervised learning, and reinforcement learning.
  • supervised learning refers to a method of training an artificial neural network with a given label for the learning data, and the label is the correct answer (or result value) that the artificial neural network must infer when the learning data is input to the artificial neural network. It can mean.
  • Unsupervised learning can refer to a method of training an artificial neural network in a state where no labels for training data are given.
  • Reinforcement learning can refer to a method of training an agent defined within a specific environment to select an action or action sequence that maximizes the cumulative reward in each state. Additionally, the model learning unit may learn a neural network model using a learning algorithm including error backpropagation or gradient descent. When a neural network model is learned, the learned neural network model may be referred to as a learning model 221.
  • the learning model 221 is stored in the memory 220 and can be used to infer results for new input data other than training data.
  • the AI processor 215 includes a data pre-processing unit 215b and/or a data selection unit 215c to improve the analysis results using the learning model 221 or to save resources or time required for generating the learning model 221. ) may further be included.
  • the data preprocessing unit 215b may preprocess the acquired data so that the acquired data can be used for learning/inference for situational judgment.
  • the data preprocessor 215b may extract feature information as preprocessing for input data received through the communication module 270, and the feature information may include a feature vector and a feature point. It can be extracted in formats such as point or feature map.
  • the data selection unit 215c may select data required for learning from among the training data or the training data preprocessed in the preprocessor.
  • the selected learning data may be provided to the model learning unit.
  • the data selection unit 215c may detect a specific area in an image acquired through a camera of a computing device and select only data about objects included in the specific area as learning data. Additionally, the data selection unit 215c may select data required for inference among input data obtained through an input device or input data preprocessed in a preprocessor.
  • the AI processor 215 may further include a model evaluation unit 215d to improve the analysis results of the neural network model.
  • the model evaluation unit 215d inputs evaluation data into the neural network model, and when the analysis result output from the evaluation data does not meet a predetermined standard, it can cause the model learning unit to learn again.
  • the evaluation data may be preset data for evaluating the learning model 221.
  • the model evaluation unit 215d determines that among the analysis results of the learned neural network model for the evaluation data, when the number or ratio of evaluation data for which the analysis result is inaccurate exceeds a preset threshold, the model evaluation unit 215d determines that the analysis result does not meet a predetermined standard. It can be evaluated as
  • the communication module 270 may transmit the result of AI processing by the AI processor 215 to the user terminal 300. Additionally, it can also be transmitted to the computing device 100 shown in FIG. 1I.
  • Figure 2f is a block diagram for explaining the user terminal 300 according to an embodiment of the present invention.
  • the user terminal 300 is a terminal that can receive information related to the user's sleep through information exchange with the computing device 100, and may refer to a terminal owned by the user.
  • the user terminal 300 may be a terminal related to a user who wants to improve his or her health through information related to his or her sleeping habits.
  • the user can obtain monitoring information related to his or her sleep through the user terminal 300.
  • Monitoring information related to sleep may include, for example, sleep state information related to when the user fell asleep, time spent sleeping, or when the user woke up, or sleep stage information related to changes in sleep stage during sleep.
  • sleep stage information may refer to information on changes in the user's sleep to light sleep, normal sleep, deep sleep, or REM sleep at each time point during the user's 8 hours of sleep last night.
  • the detailed description of the above-described sleep stage information is only an example, and the present invention is not limited thereto.
  • the user terminal 300 may be a mobile phone, a smart phone, a laptop computer, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, a tablet PC, or an ultrabook. ), wearable devices (eg, a watch-type terminal (smartwatch), a glass-type terminal (smart glass), a head mounted display (HMD)), etc.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • a navigation device e.g, a watch-type terminal (smartwatch), a glass-type terminal (smart glass), a head mounted display (HMD)
  • HMD head mounted display
  • the user terminal 300 includes a wireless communication unit 310, an input unit 320, a sensing unit 340, an output unit 350, an interface unit 360, a memory 370, a control unit 380, and a power supply unit 390. ), etc. may be included.
  • the components shown in FIG. 2F are not essential for implementing the user terminal, so the user terminal described herein may have more or fewer components than the components listed above.
  • the wireless communication unit 310 enables wireless communication between the user terminal 300 and the wireless communication system, the user terminal 300 and the computing device 100, or the user terminal 300 and the external terminal 200. It may contain one or more modules. Additionally, the wireless communication unit 310 may include one or more modules that connect the user terminal 300 to one or more networks.
  • This wireless communication unit 310 may include at least one of a broadcast reception module 311, a mobile communication module 312, a wireless Internet module 313, a short-range communication module 314, and a location information module 315. .
  • the input unit 320 includes a camera 321 or an image input unit for inputting an image signal, a microphone or an audio input unit for inputting an audio signal, and a user input unit 323 for receiving information from a user, for example, a touch key (touch key). key), pushkey (mechanical key, etc.). Voice data or image data collected by the input unit 320 may be analyzed and processed as a user's control command.
  • the sensing unit 340 may include one or more sensors for sensing at least one of information within the user terminal, information on the surrounding environment surrounding the user terminal, and user information.
  • the sensing unit 340 includes a proximity sensor (341), an illumination sensor (342), a touch sensor, an acceleration sensor, a magnetic sensor, and a gravity sensor.
  • the user terminal disclosed in this specification can utilize information sensed by at least two of these sensors by combining them.
  • the output unit 350 is for generating output related to vision, hearing, or tactile sensation, and includes at least one of a display unit 351, an audio output unit 352, a haptic module 353, and an optical output unit 354. can do.
  • the display unit 351 can implement a touch screen by forming a layered structure or being integrated with the touch sensor.
  • This touch screen functions as a user input unit 323 that provides an input interface between the user terminal 300 and the user (U), and simultaneously provides an output interface between the user terminal 300 and the user (U). You can.
  • the interface unit 360 serves as a passageway for various types of external devices connected to the user terminal 300.
  • This interface unit 360 connects devices equipped with a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port.
  • an external device eg, computing device 100
  • the user terminal 300 may perform appropriate control related to the connected external device.
  • the memory 370 stores data supporting various functions of the user terminal 300.
  • the memory 370 may store a plurality of application programs (application programs or applications) running on the user terminal 300, data for operating the user terminal 300, commands, or instructions. At least some of these applications may be downloaded from an external server through wireless communication. Additionally, at least some of these applications may be present on the user terminal 300 from the time of shipment for the basic functions of the user terminal 300 (e.g., incoming and outgoing calls, receiving and sending functions). Meanwhile, the application program may be stored in the memory 370, installed on the user terminal 300, and driven by the control unit 380 to perform an operation (or function) of the user terminal.
  • the memory 370 may store instructions for the operation of the control unit 380.
  • control unit 380 In addition to operations related to the application program, the control unit 380 typically controls the overall operation of the user terminal 300.
  • the control unit 380 can provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the components discussed above, or by running an application program stored in the memory 370.
  • the control unit 380 may control at least some of the components examined with FIG. 2F in order to run the application program stored in the memory 370. Furthermore, the control unit 380 may operate at least two of the components included in the user terminal 300 in combination with each other in order to run the application program.
  • the power supply unit 390 receives external power and internal power under the control of the control unit 380 and supplies power to each component included in the user terminal 300.
  • This power supply unit 390 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the above components may cooperate with each other to implement the operation, control, or control method of the user terminal according to various embodiments described below. Additionally, the operation, control, or control method of the user terminal may be implemented on the user terminal by running at least one application program stored in the memory 370.
  • the environment creation device 30 can adjust the user's sleeping environment.
  • the environment creation device 30 may include one or more environment creation modules, and may include air quality, illuminance, temperature, wind direction, humidity, and By operating an environment creation module related to at least one of the sounds, the user's sleeping environment can be adjusted.
  • the environment creation device 30 includes an air purifier capable of controlling air quality, a lighting device capable of controlling the amount of light (illuminance), an air conditioner capable of controlling temperature, a humidifier/dehumidifier capable of controlling humidity, and sound It can be implemented with controllable audio/speakers, etc.
  • Figure 8 shows an exemplary flowchart for providing a method of creating a sleep environment according to sleep state information related to an embodiment of the present invention.
  • the method may include acquiring sleep state information of the user (S1000).
  • the method may include generating environment composition information based on sleep state information (S2000).
  • S2000 sleep state information
  • the method may include transmitting environment creation information to the environment creation device 30 (S3000).
  • the processor 110 may generate environment composition information based on sleep state information and/or sleep stage information.
  • Sleep state information is information related to whether the user is sleeping, and includes first sleep state information that the user is before sleep, second sleep state information that the user is sleeping, and third sleep state information that the user is after sleep. It can contain at least one.
  • the processor 110 may generate first environment composition information based on the first sleep state information. Specifically, when the user obtains first sleep state information indicating that the user is before sleep, the processor 110 may generate first environment creation information based on the first sleep state information.
  • the first environment composition information may be information about the intensity and illuminance of light that naturally induces sleep.
  • the first environment creation information may be control information that supplies 3000K white light at an illumination intensity of 30 lux from the time of sleep induction until the time the second sleep state information is acquired.
  • the time to induce sleep may be determined by the processor 110.
  • the processor 110 may determine the time to induce sleep through information exchange with the user's user terminal 300.
  • the user may set the time at which he or she wants to sleep through the user terminal 300 and transmit the time to the processor 110.
  • the processor 110 may determine the time to induce sleep based on the time when the user wants to sleep from the user terminal 300.
  • the processor 110 may determine a point in time 20 minutes prior to when the user wants to sleep as the time to induce sleep.
  • the processor 110 may determine 10:40 as the time to induce sleep.
  • the specific numerical description of the above-mentioned time points is only an example, and the present invention is not limited thereto.
  • the processor 110 may obtain the user's sleep intention information based on environmental sensing information and determine the time to induce sleep based on the sleep intention information.
  • Sleep intention information may be information that represents the user's intention to sleep in quantitative numbers. For example, as the user's sleep intention is higher, sleep intention information closer to 10 may be calculated, and as the sleep intention is lower, sleep intention information closer to 0 may be calculated.
  • the detailed numerical description of the above-described sleep intention information is only an example, and the present invention is not limited thereto.
  • the environmental composition information may be a signal generated by the computing device 100 based on determination of the user's sleep state information.
  • environment creation information may include information about lowering or increasing illumination, etc. If the environment creation device 30 is a lighting device, the environment creation information may include control information to gradually increase the illuminance of 3000K white light from 0 lux to 250 lux starting 30 minutes before the weather is predicted. .
  • the environment creation information is based on the user's real-time sleep state to remove fine dust (fine dust, ultrafine dust, ultrafine dust), remove harmful gases, drive allergy care, It can include various information related to deodorization/sterilization operation, dehumidification/humidification control, ventilation intensity control, air purifier operation noise control, LED lighting, management of smog-causing substances (SO2, NO2), removal of household odors, etc.
  • the environmental composition information may include control information for adjusting at least one of temperature, humidity, wind direction, or sound.
  • control information for adjusting at least one of temperature, humidity, wind direction, or sound.
  • One or more environment creation modules included in the environment creation device 30 may include, for example, at least one of an illumination control module, a temperature control module, a wind direction control module, a humidity control module, and a sound control module. However, it is not limited thereto, and the one or more environment creation modules may further include various environment creation modules that can bring about changes in the user's sleeping environment. That is, the environment creation device 30 may adjust the user's sleeping environment by operating one or more environment creation modules based on the environment control signal of the computing device 100.
  • the processor 110 may determine the time to induce sleep based on sleep intention information. Specifically, the processor 110 may identify the time when sleep intention information exceeds a predetermined threshold score as the sleep induction time. That is, when high sleep intention information is obtained, the processor 110 may identify this as a time appropriate for sleep induction, that is, a sleep induction time.
  • the processor 110 may determine the timing of inducing the user to sleep. Accordingly, when the user acquires the first sleep state information before sleep, the processor 110 provides first environment creation information ( It can generate 3000K white light at an illuminance of 30 lux.
  • the processor 110 operates from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e., when the second sleep state information is obtained). It is possible to generate first environment creation information to adjust the light up to the point in time), and it can be decided to transmit the first environment creation information to the environment creation device 30. Accordingly, 3000K white light can be supplied at an illumination intensity of 30 lux from 20 minutes before the user falls asleep (eg, the time of inducing sleep) until the moment the user falls asleep. This is an excellent light for secreting melatonin before the user falls asleep, and can improve the user's sleep efficiency by encouraging the user to fall asleep naturally.
  • the processor 110 operates from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e., when the second sleep state information is obtained).
  • the first environment composition information for controlling the air purifier can be generated.
  • first environment composition information that controls the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before the user's sleep) may be generated.
  • the first environment creation information is such as controlling the air purifier to generate noise (white noise) at a level that can induce sleep just before sleep, adjusting the blower intensity below the preset intensity, or lowering the intensity of the LED. May contain information.
  • the first environment creation information may include information for controlling the air purifier to perform dehumidification/humidification based on temperature and humidity information in the sleeping space. Additionally, the first environment creation information may include control information to adjust personalized blowing intensity and noise according to the operation history of the air purifier and the acquired sleep state (quality of sleep).
  • the processor 110 may generate second environment composition information based on second sleep state information.
  • the second environment creation information may be control information that minimizes the illuminance to create a dark room environment without light. For example, if there is interference from light during sleep, the likelihood of sleeping fragmented increases, making it difficult to get a good night's sleep.
  • the processor 110 turns off the LED of the air purifier based on the second sleep state information, operates the air purifier with noise below a preset level, adjusts the blowing intensity to below the preset intensity, or blows the air purifier.
  • Second environment composition information can be generated to control the air purifier to set the temperature within a preset range or maintain the humidity in the sleeping space at a predetermined temperature.
  • the second environment creation information may include control information for increasing the blowing intensity to improve air quality because, depending on the sleep stage, there is less concern about waking up when in deep sleep.
  • the processor 110 when the processor 110 detects that the user has entered sleep (or a sleep stage) (when obtaining second sleep state information), the processor 110 provides control information to prevent light from being supplied or minimize the operation of the air purifier, i.e. , second environment creation information can be generated. Accordingly, the user's probability of having a deep sleep increases and the quality of sleep can be improved.
  • the processor 110 may generate third environment composition information based on the wake-up induction point.
  • the third environment creation information may be characterized as control information to supply 3000K white light by gradually increasing the illuminance from 0 lux to 250 lux from the time of inducing wake-up to the time of waking up.
  • the third environment creation information may be control information related to gradually increasing the illumination intensity starting 30 minutes before the user wakes up (i.e., the time of inducing the user to wake up).
  • the weather induction time may be determined based on the weather prediction time.
  • the weather induction time may be determined based on the weather prediction time.
  • the weather prediction time may be information about the time when the user is expected to wake up.
  • the weather forecast time may be 7 o'clock for the first user.
  • the detailed description of the above-mentioned weather forecast timing is only an example, and the present invention is not limited thereto.
  • the third environment creation information may include information for controlling the air purifier to induce waking up by lowering the blowing intensity and noise at the time of waking up. Additionally, the third environment creation information may include control information for controlling the air purifier to generate white noise to gradually induce waking up. The third environment creation information may include control information for controlling the air purifier to maintain the noise of the air purifier below a preset level after waking up. Additionally, the third environment creation information may include control information for controlling the air purifier in conjunction with the weather prediction time and weather recommendation time. The recommended wake-up time may be a time automatically extracted according to the user's sleep pattern, and the predicted wake-up time is as described below.
  • the weather prediction time may be determined in advance through information exchange with the user's user terminal 300.
  • the user may set the time at which he or she wishes to wake up and transmit the time to the processor 110 through the user terminal 300 . That is, the processor 110 may obtain the weather prediction time based on the time set by the user of the user terminal 300. For example, when the user sets an alarm time through the user terminal 300, the processor 110 may determine the set alarm time as the weather prediction time.
  • the wake-up prediction time may be determined based on the sleep entry time identified through the second sleep state information.
  • the processor 110 may determine the time at which the user enters sleep through second sleep state information indicating that the user is sleeping.
  • the processor 110 may determine the wake-up prediction time based on the sleep entry time to be determined through the second sleep state information. For example, the processor 110 may determine the time point after 8 hours, which is the appropriate sleep time, as the weather prediction time point, based on the time of entering sleep. For a specific example, if the sleep onset time is 11 o'clock, the processor 110 may determine the wake-up prediction time to be 7 o'clock.
  • the specific numerical description for each time point described above is only an example, and the present invention is not limited thereto. That is, the processor 110 may determine the wake-up prediction time based on the time when the user falls asleep.
  • the recommended wake-up time may be determined based on the user's sleep stage information. For example, if a user wakes up in the REM stage, there is a high possibility that he or she will wake up feeling refreshed. During one night's sleep, the user can have sleep cycles in the order of light sleep, deep sleep, light sleep, and REM sleep, and can wake up refreshed when waking up in the REM sleep stage. Preferably, in consideration of the user's appropriate or desired sleep time, the sleep recommendation timing can be determined while at least satisfying the appropriate or desired sleep time.
  • the processor 110 may determine the predicted wake-up time of the user through sleep stage information related to the user's sleep stage. As a specific example, the processor 110 determines the time when the user changes from the REM stage to another sleep stage (preferably, the time immediately before transitioning from the REM stage to another sleep stage) as the recommended wake-up time through sleep stage information. You can. That is, the processor 110 may determine the predicted wake-up time based on information on the sleep stage in which the user can wake up most refreshed (i.e., REM sleep stage).
  • the processor 110 may determine the predicted wake-up time of the user based on at least one of user settings, sleep entry time, and sleep stage information. Additionally, when the processor 110 determines the weather prediction time, which is the time when the user wants to wake up, the processor 110 may determine the wake-up induction time based on the corresponding weather prediction time. For example, the processor 110 may determine a point in time 30 minutes prior to the time the user wants to wake up as the time to induce wake-up. For a specific example, if the time at which the user wants to wake up (i.e., predicted weather time) is 7:00, the processor 110 may determine 6:30 as the wake-up time.
  • the time at which the user wants to wake up i.e., predicted weather time
  • the processor 110 may determine 6:30 as the wake-up time.
  • the specific description of the above-mentioned time points is only an example, and the present invention is not limited thereto.
  • the processor 110 determines the wake-up induction time by determining the weather forecast time at which the user's wake-up is predicted, and emits 3000K white light at 0 lux from the wake-up induction time to the wake-up time (e.g., until the user actually wakes up).
  • Information on creating a third environment can be generated to gradually increase the illuminance to 250 lux.
  • the processor 110 may decide to transmit the corresponding third environment creation information to the environment creation device 30, and accordingly, the environment creation device 30 may determine light-related information in the space where the user is located based on the third environment creation information. Adjustment operations can be performed.
  • the environment creation device 30 can control the light supply module to gradually increase the illuminance of 3000K white light from 0 lux to 250 lux starting 30 minutes before waking up.
  • the processor 110 may obtain fourth environment creation information based on third sleep state information. Specifically, the processor 110 may obtain the user's sleep disease information.
  • sleep disorder information may include delayed sleep phase syndrome. Delayed sleep phase syndrome can be a symptom of a sleep disorder in which one is unable to fall asleep at the desired time and the ideal sleep time is pushed back.
  • blue-light therapy is one of the treatment methods for delayed sleep phase syndrome, and may be a treatment that supplies blue light for about 30 minutes after the user wakes up at the desired wake-up time. If this supply of blue light is repeated every morning, the circadian rhythm can be restored to its original state, preventing people from falling asleep later at night than normal people.
  • the processor 110 may generate the fourth environment creation information based on the sleep disease information and the third sleep state information. For example, when the sleep disease information that the user corresponds to delayed sleep phase syndrome and the third sleep state information that the user is post-sleep (i.e., waking up) are obtained through the user terminal 300, the processor 110 4Environmental composition information can be generated.
  • the fourth environment creation information may be control information to supply blue light with an illumination intensity of 300 lux, a hue of 221 degrees, a saturation of 100%, and a brightness of 56% for a preset time from the time of waking up.
  • blue light with an illuminance of 300 lux, a hue of 221 degrees, 100% saturation, and 56% brightness may refer to blue light for treating delayed sleep phase syndrome.
  • the processor 110 determines the waking up time as 7 o'clock based on the third sleep state information, and starts the preset wake-up time at 7 o'clock.
  • the fourth environment composition information can be generated to supply blue light with an illuminance of 300 lux, a hue of 221 degrees, 100% saturation, and 56% brightness by the time point (e.g., 7:30).
  • the user's circadian rhythm can be adjusted to a normal range (for example, to fall asleep around 12 midnight and wake up around 7 am).
  • the quality of sleep of users with specific sleep disorders can be improved through the creation of fourth environment creation information.
  • the processor 110 may determine to transmit environment creation information to the environment creation device. Specifically, the processor 110 may generate environment creation information related to illuminance adjustment, and determines to transmit the corresponding environment creation information to the environment creation device 30, thereby controlling the illuminance adjustment operation of the environment creation device 30. can do.
  • light may be one of the representative factors that may affect sleep quality. For example, depending on the light intensity, color, exposure level, etc., it can have a good or bad effect on the quality of sleep. Accordingly, the processor 110 can improve the user's sleep quality by adjusting the illuminance. For example, the processor 110 may monitor the situation before or after falling asleep and adjust the illumination to effectively wake the user up accordingly. That is, the processor 110 can determine the sleep state (eg, sleep stage) and automatically adjust the light intensity to maximize the quality of sleep.
  • the sleep state eg, sleep stage
  • the processor 110 may receive sleep plan information from the user terminal 300.
  • Sleep plan information is information generated by the user through the user terminal 300 and may include, for example, information about bedtime and wake-up time.
  • the processor 110 may generate external environment creation information based on sleep plan information.
  • the processor 110 may identify the user's bedtime through sleep plan information and generate external environment creation information based on the corresponding bedtime.
  • the processor 110 can generate first environment composition information to provide white light of 3000K with an illumination intensity of 30 lux based on the bed position 20 minutes before bedtime. there is. In other words, it is possible to create an illumination level that induces the user to naturally fall asleep in relation to bedtime.
  • the processor 110 may determine the point in time at which the user enters sleep, that is, the point in time at which the user enters sleep, through the second sleep state information, and generate second environment creation information based on this. For example, as shown in FIG. 7, the processor 110 can generate second environment creation information to create an atmosphere such as a quiet dark room by minimizing light from the time of entering the water or controlling the air purifier to sleep mode. there is. This second environment creation information has the effect of improving the quality of sleep by allowing the user to fall into a deep sleep.
  • processor 110 may generate external environment composition information based on sleep stage information.
  • the sleep stage information may include information about changes in the user's sleep stage acquired in time series through analysis of sleep sound information.
  • the processor 110 when the processor 110 identifies that the user has entered a sleep stage (e.g., light sleep) through the user's sleep stage information, it minimizes the illumination to create a dark room environment without light or to achieve a good night's sleep.
  • a sleep stage e.g., light sleep
  • external environment creation information can be generated to remove fine dust/harmful gases, control air temperature and humidity, turn on LEDs, adjust the level of driving noise, and blow air volume.
  • the user's sleep efficiency can be improved by creating an optimal sleep environment, that is, optimal illumination for each user's sleep stage.
  • the processor 110 may generate environmental information to provide appropriate illumination or adjust air quality according to changes in the user's sleep stage during sleep. For example, when changing from shallow sleep to deep sleep, fine red light is supplied, or when changing from REM sleep to shallow sleep, lowering the illumination level or supplying blue light, etc., more diverse external environments depending on the change in sleep stage. Composition information can be generated. This can have the effect of maximizing the user's sleep quality by automatically considering the entire sleep experience, not just a part of it, by automatically considering the situation during sleep as well as before sleep or immediately after waking up.
  • the processor 110 may identify the user's wake-up time through sleep plan information, generate a predicted wake-up time based on the corresponding wake-up time, and generate environment composition information accordingly. For example, as shown in FIG. 7, the processor 110 starts from 0 lux of 3000K white light based on the bed location 30 minutes before the weather prediction time and gradually increases the illuminance to reach 250 lux.
  • Environmental composition information can be generated. This third environment creation information can induce a person to wake up naturally and refreshed in response to the desired wake-up time.
  • the processor 110 may determine to transmit environment creation information to the environment creation device 30 . That is, the processor 110 can improve the user's sleep quality by generating external environment creation information that allows the user to easily fall asleep or wake up naturally when going to bed or waking up based on the sleep plan information.
  • processor 110 may generate recommended sleep plan information based on sleep stage information. Specifically, the processor 110 can obtain information about changes in the user's sleep stage (eg, sleep cycle) through sleep stage information, and set the expected wake-up time based on this information. For example, a typical sleep cycle during the day may go through light sleep, deep sleep, front sleep, and REM sleep stages. The processor 110 determines that the time after REM sleep is when the user can wake up most refreshed and determines the wake-up time after REM, thereby generating recommended sleep plan information. Additionally, the processor 110 may determine to generate environment creation information according to the recommended sleep plan information and transmit it to the environment creation device 30 . Accordingly, the user can wake up naturally according to the recommended sleep plan information recommended by the processor 110. This means that the processor 110 recommends the user's wake-up time according to changes in the user's sleep stage. This may be a time when the user's fatigue is minimized, so it can have the advantage of improving the user's sleep efficiency.
  • sleep stage e.g, sleep cycle
  • the sleep environment control device 400, the user terminal 300, and the external server 20 can mutually transmit and receive data for the system according to embodiments of the present invention through a network. there is.
  • the user terminal 300 is a terminal that can receive information related to the user's sleep through information exchange with the sleep environment control device 400, and may refer to a terminal owned by the user. there is.
  • the general configuration and functions of the user terminal 300 may be as described above.
  • the user terminal 300 can acquire sound information related to the space where the user is located.
  • sound information may mean sound information obtained in the space where the user is located.
  • Acoustic information can be obtained in relation to the user's activity or sleep in a non-contact manner.
  • acoustic information may be acquired in the space while the user is sleeping.
  • the sound information acquired through the user terminal 300 may be the basis for obtaining the user's sleep state information in the present invention.
  • sleep state information related to whether the user is before, during, or after sleep may be obtained through sound information obtained in relation to the user's movement or breathing.
  • information about changes in the user's sleep stage during sleep time may be obtained through sound information.
  • the sleep environment control device 400 of the present invention can receive health checkup information or sleep checkup information from the external server 20 and construct a learning data set based on the corresponding information.
  • the description regarding the external server 20 has been described in detail above, and the description will be omitted here.
  • the acoustic information used by the sleep environment control device 400 to analyze the sleep state may be acquired in a non-invasive manner during the user's activities or sleep in the work space.
  • the sound information may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep.
  • the environmental sensing information may include sleep sound information, and the sleep sound information may mean sounds related to movement patterns and breathing patterns that occur during the user's sleep.
  • sound information may be obtained through at least one of the user terminal 300 and the sound collection unit 414 carried by the user.
  • environmental sensing information related to the user's activities in a space may be obtained through a microphone module provided in the user terminal 300 and the sound collection unit 414.
  • the configuration of the microphone module provided in the user terminal 300 or the sound collection unit 414 is the same as described above.
  • the acoustic information that is the subject of analysis in the present invention is related to the user's breathing and movements acquired during sleep, and is information about very small sounds (i.e., sounds that are difficult to distinguish), and is acquired along with other sounds during the sleep environment. Therefore, if it is acquired through a microphone module as described above with a low signal-to-noise ratio, detection and analysis may be very difficult.
  • the sleep environment control device 400 may obtain sleep state information based on acoustic information acquired through a microphone module composed of MEMS. Specifically, the sleep environment control device 400 can convert and/or adjust ambiguously acquired acoustic information including a lot of noise into data that can be analyzed, and use the converted and/or adjusted data to learn about the artificial neural network. can be performed. When pre-training for the artificial neural network is completed, the learned neural network (e.g., acoustic analysis model) is based on the data (e.g., transformed and/or adjusted) acquired (e.g., transformed and/or adjusted) in response to the acoustic information to determine the user's Sleep state information can be obtained.
  • the learned neural network e.g., acoustic analysis model
  • the sleep state information may include sleep stage information related to changes in the user's sleep stage during sleep, as well as information related to whether the user is sleeping.
  • the sleep state information may include sleep stage information indicating that the user was in REM sleep at a first time point, and that the user was in light sleep at a second time point different from the first time point. In this case, through the corresponding sleep state information, information may be obtained that the user fell into a relatively deep sleep at the first time and had a lighter sleep at the second time.
  • the sleep environment control device 400 has a low signal-to-noise ratio through a commonly used user terminal (e.g., artificial intelligence speaker, bedroom IoT device, mobile phone, etc.) or a sound collection unit 414 to collect sound.
  • a commonly used user terminal e.g., artificial intelligence speaker, bedroom IoT device, mobile phone, etc.
  • the processed data can be processed to provide information on whether the user is before, during, or after sleep and sleep state information related to changes in sleep stage. there is.
  • the sleep environment control device 400 may be a terminal or a server, and may include any type of device.
  • the sleep environment control device 400 is a digital device, such as a laptop computer, a notebook computer, a desktop computer, a web pad, or a mobile phone, and may be a digital device equipped with a processor and computing power with memory.
  • the sleep environment control device 400 may be a web server that processes services.
  • the types of servers described above are merely examples and the present invention is not limited thereto.
  • the sleep environment control device 400 may be a server that provides cloud computing services.
  • the server in question has been described in detail above, so the description will be omitted here.
  • 2G shows an exemplary block diagram of a sleep environment control device related to one embodiment of the present invention.
  • the sleep environment control device 400 may include a receiving module 410 and a transmitting module 420.
  • the sleep environment control device 400 may include a transmission module 420 that transmits a wireless signal and a reception module 410 that receives the transmitted wireless signal.
  • the wireless signal may refer to an orthogonal frequency division multiplexing signal.
  • the wireless signal may be a WiFi-based OFDM sensing signal.
  • the transmitting module 420 of the present invention can be implemented through a laptop, smartphone, tablet PC, smart speaker (AI speaker), etc.
  • the receiving module 410 can be implemented through a wifi receiver.
  • the receiving module 410 may be implemented through various computing devices such as laptops, smartphones, and tablet PCs.
  • the transmitting module 420 and the receiving module 410 may be equipped with wireless chips that comply with Wi-Fi 802.11n, 802.11ac, or other standards that support OFDM. That is, the sleep environment control device 400 that acquires object state information with high reliability can be implemented using relatively inexpensive equipment.
  • the transmitting module 420 can transmit a wireless signal in one direction where the object is located, and the receiving module 410 is provided at a predetermined distance from the transmitting module 420, so that the transmitting module 420 ) can receive a wireless signal transmitted from. Since these wireless signals are orthogonal frequency division multiplex signals, they can be transmitted or received through a plurality of subcarriers.
  • the transmitting module 420 and the receiving module 410 may be provided to have a predetermined separation distance.
  • the predetermined separation distance may mean the space in which the object is active or located.
  • the transmitting module 420 and the receiving module 410 may be positioned opposite to each other based on a preset area.
  • the preset area 11a is, for example, an area related to the position where the user sleeps, as shown in FIG. 2I, and may be, for example, an area where a bed is located.
  • the transmitting module 420 and the receiving module 410 may be provided on both sides of the bed where the user sleeps.
  • the sleep environment control device 400 of the present invention provides information about whether the user is located in a preset area and the user based on the WiFi-based OFDM signal transmitted and received through the transmitting module 420 and the receiving module 410.
  • Object state information which is information about movement or breathing, can be obtained.
  • the transmitting module 420 and the receiving module 410 may transmit and receive wireless signals (eg, OFDM signals) through one or more antennas.
  • wireless signals eg, OFDM signals
  • each of the transmitting module 420 and the receiving module 410 is equipped with 3 antennas, channel status related to a total of 192 (i.e., 3 Information can be obtained every frame.
  • 3 Information can be obtained every frame.
  • the detailed numerical description of the antenna and subcarrier described above is only an example, and the present disclosure is not limited thereto.
  • a plurality of transmitting modules 420 and receiving modules 410 may be provided.
  • each of three transmitting modules and four receiving modules may be provided with a predetermined separation distance.
  • wireless signals transmitted and received by each of the plurality of transmitting modules and receiving modules may be different from each other.
  • the wireless signal received through the receiving module 410 is a wireless signal that passes through a channel corresponding to a preset area and may include information indicating the characteristics of the channel.
  • the reception module 410 may obtain channel state information from a wireless signal.
  • the channel state information is information indicating characteristics related to the channel related to the space where the user is located, and may be calculated based on a wireless signal transmitted from the transmitting module 420 and a wireless signal received through the receiving module. .
  • the wireless signal transmitted from the transmission module 420 may pass through a specific channel (i.e., the space where the user is located) and be received through the reception module 410.
  • the wireless signal may be transmitted through a plurality of subcarriers corresponding to each multi-path.
  • the wireless signal received through the receiving module 410 may be a signal reflecting the user's movement in the preset area 11a.
  • the processor can obtain channel state information related to channel characteristics experienced as the wireless signal passes through the channel (i.e., the space where the user is located). This channel state information may consist of amplitude and phase.
  • the sleep environment control device 400 transmits the transmitting module 420 based on the wireless signal transmitted from the transmitting module 420 and the wireless signal received through the receiving module 410 (i.e., a signal reflecting the movement of the object).
  • the receiving module 410 i.e., a signal reflecting the movement of the object.
  • Channel state information related to the characteristics of the space (eg, a preset area) between the receiver and the receiving module 410 can be obtained.
  • the receiving module 410 when the receiving module 410 receives a wireless signal transmitted from the transmitting module 420, it may be characterized in that it detects the user's movement based on the received wireless signal.
  • the receiving module 410 may obtain information regarding whether the user is located in a preset area through a change in channel state information.
  • the information obtained when the user is located or not located between the transmitting module 420 and the receiving module 410 Channel state information may be different from each other.
  • the difference between the channel state information obtained corresponding to the case where the user is located within the area (e.g., a preset area) between the transmitting module 420 and the receiving module 410 and the case where the user is not located is maximized.
  • the transmitting module 420 and the receiving module 410 may be arranged as much as possible.
  • a directional patch antenna may be provided corresponding to each of the transmitting module 420 and the receiving module 410.
  • the directional patch antenna may be an antenna module composed of m x n patches (i.e., the number of m horizontal patches and the number of n vertical patches).
  • the antenna pre-beam may be set to increase the difference in signals when the user is located between the transmitting module 420 and the receiving module 410 or when the user is not located.
  • the beam width of the antenna is preset to be optimal, and the transmitting module 420 and receiving module 410 can be placed so that the user is lying down in the direction of transmitting and receiving signals using this directional patch antenna. That is, a wireless link that is directly secured line-of-sight can be formed between the directional patch antennas of each of the transmitting module 420 and the receiving module 410.
  • the antenna of each module can operate as a directional antenna to form a wireless link in response to a narrower area (eg, a preset area).
  • a wireless link can be formed between the antennas of the transmitting module 420 and the receiving module 410, and when a user is located between these wireless links, the user's body blocks the wireless link and the wireless link is distorted.
  • the signal level i.e., channel state information
  • a change in signal level can be detected through a change in Received Signal Strength Indicator (RSSI) and Channel State Information (CSI), and accordingly, the receiving module 410 allows the user to select a preset signal through these changes. It can be determined whether it is located in the area 11a.
  • RSSI Received Signal Strength Indicator
  • CSI Channel State Information
  • information about whether the user is located in the preset area 11a may be used to determine whether to operate the environment creation unit 415 or to determine the user's intention to sleep.
  • the receiving module 410 may calculate the user's sleep state information and adjust the user's sleep environment based on the sleep state information. Specifically, the receiving module 410 can acquire sleep state information related to whether the user is before, during, or after sleep based on the acquired sensing information, and can determine the sleep state of the space where the user is located according to the sleep state information. You can adjust the environment. For a specific example, when the user acquires sleep state information that the user is before sleep, the receiving module 410 sets the intensity and illuminance of light (e.g., white light of 3000K, 30 lux) to induce sleep based on the sleep state information.
  • Environmental composition information related to illuminance can be generated.
  • the receiving module 410 determines the light intensity and illuminance of the space where the user is located based on the environmental composition information related to the intensity and illuminance of light to induce sleep and sets the appropriate intensity and illuminance to induce sleep (e.g., white light of 3000K). can be adjusted to an illuminance of 30 lux.
  • the receiving module 410 acquires sleep state information that the user is before sleep
  • the receiving module 410 is configured to operate from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e., second sleep state).
  • environmental creation information for controlling the air purifier can be created. Specifically, environmental creation information can be generated to control the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before the user's sleep).
  • environmental creation information includes information such as controlling the air purifier to generate noise (white noise) that can induce sleep just before sleep, adjusting the blower intensity below the preset intensity, or lowering the intensity of the LED. It can be included.
  • the first environment creation information may include information for controlling the air purifier to perform dehumidification/humidification based on temperature and humidity information in the sleeping space. Additionally, the first environment creation information may include control information to adjust personalized blowing intensity and noise according to the operation history of the air purifier and the acquired sleep state (quality of sleep).
  • 2H shows an exemplary block diagram of a receiving module and a transmitting module related to one embodiment of the present invention.
  • the reception module 410 includes a network unit 411, a memory 412, a sensor unit 413, a sound collection unit 414, an environment creation unit 415, and a reception control unit 416. It can be included.
  • the receiving module 410 is not limited to the components described above. That is, depending on the implementation aspect of the embodiments of the present invention, additional components may be included or some of the above-described components may be omitted.
  • the transmission module 420 includes a transmission unit 421 that transmits a wireless signal and a transmission control unit 422 that controls the wireless signal transmission operation of the transmission unit 421, as shown in FIG. 2H. may include.
  • the transmission control unit 422 may determine when a wireless signal is transmitted through the transmission unit 421.
  • the transmission control unit 422 may control the transmission unit 421 in response to the time when the sleep measurement mode is started, thereby allowing a wireless signal to be transmitted.
  • the reception module 410 may include a transmission module 420, a network unit 411 that transmits and receives data with the user terminal 300 and the external server 20.
  • the network unit 411 may transmit and receive data for performing a sleep environment adjustment method according to sleep state information according to an embodiment of the present invention, etc. to other computing devices, servers, etc. That is, the network unit 411 may provide a communication function between the receiving module 410 and the transmitting module 420, the user terminal 300, and the external server 20. for example,
  • the network unit 411 can receive sleep checkup records and electronic health records for multiple users from the hospital server. For another example, the network unit 411 may receive sound information related to the space in which the user operates from the user terminal 300. For another example, the network unit 411 may transmit environment creation information for adjusting the environment of the space where the user is located to the environment creation unit 415. Additionally, the network unit 411 may allow information to be transferred between the sleep environment control device 400, the user terminal 300, and the external server 20 by calling a procedure with the sleep environment control device 400. .
  • the network unit 411 may be composed of any one or a combination of the various wired and wireless communication systems described above.
  • the memory 412 may store a computer program for performing a sleep environment control method based on sleep state information according to an embodiment of the present invention, and the stored computer program may be stored in the reception control unit ( 416) can be read and driven. Additionally, the memory 412 may store any type of information generated or determined by the reception control unit 416 and any type of information received by the network unit 411. Additionally, the memory 412 may store data related to the user's sleep. For example, the memory 412 stores input/output data (e.g., sound information related to the user's sleep environment, sleep state information corresponding to the sound information, or environment creation information according to the sleep state information, etc.). It can also be stored temporarily or permanently.
  • input/output data e.g., sound information related to the user's sleep environment, sleep state information corresponding to the sound information, or environment creation information according to the sleep state information, etc.
  • the memory 412 is a flash memory type, hard disk type, multimedia card micro type, or card type memory (e.g. (e.g. SD or -Only Memory), and may include at least one type of storage medium among magnetic memory, magnetic disk, and optical disk.
  • the sleep environment control device 400 may operate in connection with web storage that performs a storage function of the memory 412 on the Internet.
  • the description of the memory described above is only an example, and the present invention is not limited thereto.
  • the computer program When loaded into the memory 412, the computer program may include one or more instructions that cause the reception control unit 416 to perform methods/operations according to various embodiments of the present invention. That is, the reception control unit 416 can perform methods/operations according to various embodiments of the present invention by executing one or more instructions.
  • the receiving module 410 may include a sensor unit 413 that acquires one or more sensing information related to a space.
  • work space refers to the space where the user lives, and may, for example, refer to a bedroom where the user sleeps.
  • the sensor unit 413 may include a first sensor unit that detects the user's movement in a space.
  • the first sensor unit may include at least one of a PIR sensor (Passive Infrared Sensor) and an ultrasonic sensor.
  • the PIR sensor can detect the user's movement within the detection range by detecting changes in the amount of infrared rays emitted from the user's body.
  • the PIR sensor can detect the user's movements in the bedroom by identifying infrared rays of 8 ⁇ m to 14 ⁇ m emitted by the user's body.
  • An ultrasonic sensor generates sound waves and can detect the movement of an object by detecting a signal that is reflected and returned from a specific object.
  • an ultrasonic sensor generates sound waves in a bedroom space, and as the user enters the bedroom, it can detect the user's movement inside the bedroom through sound waves reflected by the user's body.
  • the sensor unit 413 may include a second sensor unit that detects whether the user is located in a preset area of the work space based on a wireless signal.
  • the second sensor unit may receive a wireless signal transmitted from the transmission module 420 and detect whether the user is located in a preset area based on the received wireless signal.
  • the preset area is related to an area where the user lies down to sleep among areas located in a work space, and may mean, for example, an area equipped with a bed.
  • work space may mean the space inside the bedroom
  • the preset area may mean the space where the bed is located.
  • the second sensor unit may be provided at a position opposite to the transmission module 420 based on a preset area.
  • the transmission module 420 and the second sensor unit may be provided on both sides of the bed where the user sleeps.
  • the sleep environment control device 400 of the present invention provides information about whether the user is located in a preset area and the user based on the WiFi-based OFDM signal transmitted and received through the transmitting module 230 and the receiving module 240.
  • Object state information which is information about movement or breathing, can be obtained.
  • the reception module 410 may allow the environment creation unit 415 to operate when it is determined through the second sensor unit that the user is located in a preset area.
  • the reception module 410 may allow the operation of the environment creation unit 415 only when the user is detected to be located in the preset area 11a. That is, the receiving module 410 can control the operation of the environment creation unit 415 that performs an environment adjustment operation only when the user is located in a preset area.
  • the environment creation unit 415 may not perform an operation to change the sleeping environment if the user is not located in a specific location.
  • the sensor unit 413 may perform one or more environmental sensing functions to obtain indoor environmental information related to at least one of the user's body temperature, indoor temperature, indoor airflow, indoor humidity, and indoor illumination in relation to the user's sleeping environment.
  • Indoor environment information is information related to the user's sleep environment, and may be information that serves as a standard for considering the influence of external factors on the user's sleep through sleep conditions related to changes in the user's sleep stage.
  • One or more environmental sensing modules may include, for example, at least one sensor module selected from a temperature sensor, an airflow sensor, a humidity sensor, an acoustic sensor, and an illuminance sensor. However, it is not limited to this, and may further include various sensors capable of measuring external environments that may affect the user's sleep.
  • the receiving module 410 may include a sound collection unit 414.
  • the sound collection unit 414 includes a small microphone module and can obtain information about sounds occurring in the space where the user sleeps.
  • the microphone module provided in the sound collection unit 414 may be composed of MEMS (Micro-Electro Mechanical Systems) that is relatively small in size. These microphone modules are cost-effective and can be manufactured very compactly, but may have a lower signal-to-noise ratio (SNR) than a condenser microphone or dynamic microphone.
  • SNR signal-to-noise ratio
  • a low signal-to-noise ratio may mean that the ratio of noise, which is a sound that is not to be identified, to the sound that is to be identified is high, making it difficult to identify the sound (i.e., unclear).
  • Information subject to analysis in the present invention may be acoustic information related to the user's breathing and movement acquired during sleep, that is, sleep acoustic information.
  • This sleep sound information is information about very fine sounds such as the user's breathing and movement, and is acquired along with other sounds during the sleep environment, so when it is acquired through the microphone module as described above with a low signal-to-noise ratio, it is detected. and analysis can be very difficult. Accordingly, when sleep sound information with a low signal-to-noise ratio is obtained, the reception control unit 416 may process it into data for processing and/or analysis.
  • the receiving module 410 may include an environment creation unit 415.
  • the environment creation unit 415 can adjust the user's sleeping environment. Specifically, the environment creation unit 415 may adjust at least one of air quality, illumination, temperature, wind direction, humidity, and sound of the space where the user is located based on the environment creation information.
  • the environmental composition information may be a signal generated by the reception control unit 416 based on determination of the user's sleep state information.
  • environment creation information may include information about lowering or increasing illumination, etc.
  • the environmental composition information may include control information for adjusting at least one of temperature, humidity, wind direction, or sound.
  • the environment creation information is based on the user's real-time sleep status and provides various information related to fine dust removal, harmful gas removal, allergy care operation, deodorization/sterilization operation, dehumidification/humidification control, blowing intensity control, air purifier operation noise control, and LED lighting. It may include etc.
  • the detailed description of the above-described environmental composition information is only an example, and the present invention is not limited thereto.
  • the environment creation unit 415 may control at least one of illuminance control, temperature control, wind direction control, humidity control, and sound control. However, it is not limited to this, and the environment creation unit may further perform various control operations that can bring about changes in the user's sleeping environment. That is, the environment creation unit 415 can adjust the user's sleeping environment by performing various control operations based on the environment control signal from the reception control unit 416.
  • the environment creation unit 415 may be implemented through connection through the Internet of Things (IOT). Specifically, the environment creation unit 415 may be implemented through linkage with various devices that can change the indoor environment in relation to the space where the user is located.
  • the environment creation unit 415 may be implemented as a smart air conditioner, smart heater, smart boiler, smart window, smart humidifier, smart dehumidifier, and smart lighting based on connection through the Internet of Things.
  • IOT Internet of Things
  • the environment creation unit 415 may be implemented as a smart air conditioner, smart heater, smart boiler, smart window, smart humidifier, smart dehumidifier, and smart lighting based on connection through the Internet of Things.
  • the specific description of the above-mentioned environmental preparation part is only an example, and the present invention is not limited.
  • the reception control unit 416 may be composed of one or more cores, such as a central processing unit (CPU) of a computing device, and a general purpose graphics processing unit (GPGPU). ), and may include processors for data analysis and deep learning, such as a tensor processing unit (TPU).
  • cores such as a central processing unit (CPU) of a computing device, and a general purpose graphics processing unit (GPGPU).
  • CPU central processing unit
  • GPU general purpose graphics processing unit
  • TPU tensor processing unit
  • the reception control unit 416 may read the computer program stored in the memory 412 and perform data processing for machine learning according to an embodiment of the present invention.
  • the reception control unit 416 can perform calculations for learning a neural network.
  • the reception control unit 416 performs neural network learning, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. calculations can be performed.
  • neural network learning such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. calculations can be performed.
  • At least one of the CPU, GPGPU, and TPU of the reception control unit 416 may process learning of the network function.
  • CPU and GPGPU can work together to process learning of network functions and data classification using network functions.
  • the processors of a plurality of computing devices can be used together to process learning of network functions and data classification using network functions.
  • a computer program executed in a computing device according to an embodiment of the present invention may be a CPU, GPGPU, or TPU executable program.
  • the reception control unit 416 may read the computer program stored in the memory 412 and provide a sleep analysis model according to an embodiment of the present invention. According to an embodiment of the present invention, the reception control unit 416 may perform calculations to calculate environmental composition information based on sleep state information. According to an embodiment of the present invention, the reception control unit 416 may perform calculations to learn a sleep analysis model.
  • the reception control unit 416 can typically process the overall operation of the sleep environment control device 400.
  • the reception control unit 416 processes signals, data, information, etc. input or output through the components discussed above or runs an application program stored in the memory 412 to provide or process appropriate information or functions to the user terminal. You can.
  • the reception control unit 416 may obtain sound information related to the space where the user sleeps. Acquisition of sound information according to an embodiment of the present invention may be acquiring or loading sound information stored in the memory 412. Additionally, acquisition of acoustic information may involve receiving or loading data from another storage medium, another computing device, or a separate processing module within the same computing device based on wired/wireless communication means.
  • the reception control unit 416 may obtain sleep sound information from environmental sensing information.
  • the environmental sensing information may be acoustic information obtained during the user's daily life.
  • environmental sensing information may include various sound information acquired according to the user's life, such as sound information related to cleaning, sound information related to cooking food, and sound information related to watching TV.
  • the reception control unit 416 may identify a singularity in which information of a preset pattern is sensed in environmental sensing information.
  • the preset pattern information may be related to breathing and movement patterns related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed. On the other hand, when the user sleeps, the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder.
  • the reception control unit 416 may identify the point in time at which sound information of a preset pattern related to regular breathing, small body movement, or small breathing sounds, etc., is detected as a singular point in the environmental sensing information. Additionally, the reception control unit 416 may acquire sleep sound information based on environmental sensing information obtained based on the identified singularity. The reception control unit 416 may identify a singularity related to the user's sleep time from the environmental sensing information acquired in time series and obtain sleep sound information based on the singularity.
  • the reception control unit 416 may identify a singularity related to the point in time when a preset pattern is identified from environmental sensing information. Additionally, the reception control unit 416 may acquire sleep sound information based on the identified singular point and sound information acquired after the singular point.
  • the reception control unit 416 can extract and obtain only sleep sound information from a vast amount of sound information by identifying peculiarities related to the user's sleep from environmental sensing information.
  • only sounds related to sleep i.e., sleep sound information
  • This provides convenience by allowing users to automate the process of recording their sleep time, and can also contribute to improving the accuracy of acquired sleep sound information.
  • the reception control unit 416 may calculate sleep state information based on sound information. Specifically, the reception control unit 416 may calculate sleep state information based on the user's sleeping sound information obtained through the sound collection unit 414.
  • sleep state information may include information related to whether the user is sleeping.
  • the sleep state information may include at least one of first sleep state information indicating that the user is before sleep, second sleep state information indicating that the user is sleeping, and third sleep state information indicating that the user is after sleep.
  • This sleep state information may be obtained based on sleep sound information.
  • Sleep sound information may include sound information acquired during the user's sleep in a space where the user is located in a non-contact manner.
  • the reception control unit 416 may obtain sleep state information related to whether the user is before sleep or in sleep based on a singularity identified from the sound information. Specifically, if a singular point is not identified, the reception control unit 416 may determine that the user is before sleeping, and if a singular point is identified, the reception control unit 416 may determine that the user is sleeping after the singular point. In addition, after the singular point is identified, the reception control unit 416 identifies a time point (e.g., waking up time) at which the preset pattern is not observed, and when the corresponding time point is identified, it can be determined that the user has woken up after sleeping. there is.
  • a time point e.g., waking up time
  • the reception control unit 416 determines whether the user is before or during sleep based on whether a singular point is identified in the sound information and whether a preset pattern is continuously detected after the singular point is identified. Alternatively, sleep state information related to whether or not the user is asleep can be obtained.
  • the reception control unit 416 may generate environment creation information based on sensing information and sleep state information. Specifically, the reception control unit 416 may generate environmental composition information based on sensing information obtained through the sensor unit 413 and sleep state information obtained as a result of sound analysis. The reception control unit 416 generates environment creation information based on the sensing information and sleep state information, and transmits the generated environment creation information to the environment creation unit 415, thereby controlling the sleep environment change operation of the environment creation unit 415. You can.
  • the reception control unit 416 may generate environmental composition information based on sleep state information.
  • the reception control unit 416 may generate first environment creation information based on the first sleep state information. Specifically, when the user obtains first sleep state information indicating that the user is before sleep, the reception control unit 416 may generate first environment creation information based on the first sleep state information. That is, when the user's sleep state is before sleep, the reception control unit 416 may generate first environment creation information to supply a preset white light for a certain period of time.
  • the first environment creation information may be control information for controlling the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before) before the user sleeps.
  • the first environment creation information is such as controlling the air purifier to generate noise (white noise) at a level that can induce sleep just before sleep, adjusting the blower intensity below the preset intensity, or lowering the intensity of the LED. May contain information.
  • the first environment creation information may include information for controlling the air purifier to perform dehumidification/humidification based on temperature and humidity information in the sleeping space.
  • the time to induce sleep may be determined by the reception control unit 416.
  • the reception control unit 416 may determine the time to induce sleep through information exchange with the user's user terminal 300.
  • the user can create sleep plan information by setting the time he or she wants to sleep and the time he or she wants to wake up through the user terminal 300, and transmit the generated sleep plan information to the reception control unit 416.
  • the sleep plan information may include desired bedtime information and desired wake-up time information.
  • the reception control unit 416 may identify the time to induce sleep based on desired bedtime information.
  • the reception control unit 416 may obtain the user's sleep intention information based on environmental sensing information and determine the time to induce sleep based on the sleep intention information.
  • the reception control unit 416 may obtain sleep intention information based on environmental sensing information. According to one embodiment, the reception control unit 416 may identify the type of sound included in the environmental sensing information. Additionally, the reception control unit 416 may calculate sleep intention information based on the number of types of identified sounds. The reception control unit 416 can calculate the sleep intention information at a lower level as the number of types of sounds increases, and can calculate the sleep intention information higher as the number of types of sounds decreases.
  • the reception control unit 416 can obtain sleep intention information related to how much the user intends to sleep according to the number of types of sounds included in the environmental sensing information. For example, as more types of sounds are identified, sleep intention information indicating that the user's sleep intention is lower (i.e., sleep intention information with a lower score) may be output.
  • the reception control unit 416 may generate an intent score table by pre-matching different intent scores to each of a plurality of sound information.
  • the reception control unit 416 may obtain sleep intention information based on environmental sensing information and an intention score table.
  • the reception control unit 416 may record an intention score matched to the identified sound in response to a time when at least one of the plurality of sounds included in the intention score table is identified in the environmental sensing information.
  • the reception control unit 416 may obtain sleep intention information based on the sum of intention scores obtained during a predetermined period of time (eg, 10 minutes). That is, the reception control unit 416 can obtain sleep intention information related to how much the user intends to sleep according to the characteristics of the sound included in the environmental sensing information. For example, as sounds related to the user's activity are identified, sleep intention information indicating that the user's sleep intention is low (i.e., sleep intention information with a low score) may be output.
  • the reception control unit 416 may determine the time to induce sleep based on sleep intention information. Specifically, the reception control unit 416 may identify the time when sleep intention information exceeds a predetermined threshold score as the sleep induction time. That is, when high sleep intention information is obtained, the reception control unit 416 can identify this as an appropriate time for sleep induction, that is, a sleep induction time.
  • the reception control unit 416 may calculate sleep intention weighting information based on sensing information acquired through the sensor unit 413. Specifically, when the reception control unit 416 identifies that the user is located in a preset area through the second sensor unit after the user's movement occurs in one space through the first sensor unit, it can determine that the user has a high intention to sleep. In response, sleep intention weighted information related to 1 can be calculated. When the reception control unit 416 detects through the first sensor unit and the second sensor unit that no movement of the user occurs within the work space or preset area and that the user is not located, it determines that the user does not intend to sleep. It can be determined, and correspondingly, sleep intention weighting information related to 0 can be calculated.
  • the reception control unit 416 when the reception control unit 416 detects that the user is located in a specific space (e.g., bed space) through the sensor unit 413, it calculates sleep intention weighting information related to 1 and determines that the user is not located in the specific space. If it is detected that it is not, sleep intention weighting information related to 0 can be calculated. In other words, the reception control unit 416 may calculate sleep intention weighting information related to 0 or 1 depending on whether the user is located in the work space and a preset area.
  • a specific space e.g., bed space
  • the reception control unit 416 may determine the time to induce sleep based on sensing information and sleep state information. Specifically, the reception control unit 416 may determine the time to induce sleep based on the sensing information obtained through the sensor unit 413 and the sleep state information obtained as a result of sound analysis.
  • the reception control unit 416 may determine the time to induce sleep based on sleep intention information calculated based on environmental sensing information and sleep intention weighting information calculated through sensing information. For example, final sleep intention information may be obtained through sleep intention information and sleep intention weighting information, and the time when the final sleep intention information exceeds a certain threshold may be determined as the sleep induction time point.
  • the reception control unit 416 may calculate the final sleep intention information by multiplying the sleep intention information and the sleep intention weighting information. For a specific example, if the sleep intention information calculated based on environmental sensing information is '9' and the sleep intention weighting information calculated based on the sensing information is '0', the final sleep intention information can be calculated as 0. and the reception control unit 416 may determine that it does not exceed a predetermined threshold (eg, 8).
  • a predetermined threshold eg, 8
  • the sleep intention information is '9' and the sleep intention weighting information is '1'
  • the final sleep intention information may be calculated as 9, and the reception control unit 416 may set a predetermined threshold (e.g., 8 ) can be determined to be exceeded, and that point in time can be determined as the time to induce sleep.
  • a predetermined threshold e.g. 8
  • the final sleep intention information may change depending on whether the user is located in a certain location. For example, even if high sleep intention information (e.g., 10) is calculated based on environmental sensing information, if the user is not located in a certain location, the final sleep intention information becomes 0, and it is ultimately determined that the user's sleep intention is low. can do.
  • high sleep intention information e.g. 10
  • the final sleep intention information becomes 0, and it is ultimately determined that the user's sleep intention is low. can do.
  • the reception control unit 416 can determine the timing of inducing the user to sleep. Accordingly, when the user acquires the first sleep state information that is before sleep, the reception control unit 416 provides first environment creation information to adjust the light from the sleep induction point to the point in time when the second sleep state information is acquired. (3000K white light supplied at an illuminance of 30 lux) can be generated.
  • the reception control unit 416 obtains the second sleep state information from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep. It is possible to generate first environment creation information to adjust the light up to the point in time) and decide to transmit the first environment creation information to the environment creation unit 415. Accordingly, 3000K white light can be supplied at an illumination intensity of 30 lux from 20 minutes before the user falls asleep (eg, the time of sleep induction) until the moment the user falls asleep. This is an excellent light for secreting melatonin before the user falls asleep, and can improve the user's sleep efficiency by encouraging the user to fall asleep naturally.
  • the reception control unit 416 may generate second environment creation information based on second sleep state information.
  • the second environment creation information may be control information that minimizes the illuminance to create a dark room environment without light. That is, when the user's sleeping state is sleeping, the reception control unit 416 can minimize the illumination to create a dark room environment without light. For example, if there is interference from light during sleep, the likelihood of sleeping fragmented increases, making it difficult to get a good night's sleep.
  • the second environment creation information is based on the second sleep state information, such as turning off the LED of the air purifier, operating the air purifier with noise below a preset level, or adjusting the blowing intensity below the preset intensity.
  • It may be control information for controlling the air purifier to set the blowing temperature within a preset range or to maintain the humidity in the sleeping space at a predetermined temperature. Users can be induced to sleep by airflow and white noise in a sleeping space where fine dust and harmful gases have been removed just before sleep, and after going to sleep, they can have a good night's sleep with the optimal temperature and humidity controlled.
  • the reception control unit 416 when the reception control unit 416 detects that the user has entered sleep (or sleep stage) (when obtaining second sleep state information), the reception control unit 416 provides control information to prevent light from being supplied, that is, second environment creation information. can be created. Accordingly, the user's probability of having a deep sleep increases and the quality of sleep can be improved.
  • the reception control unit 416 may generate third environment creation information based on the wake-up induction point.
  • the third environment creation information may be control information related to gradually increasing the illumination intensity starting 30 minutes before the user wakes up (i.e., the time of inducing the user to wake up).
  • the weather induction time may be determined based on the weather prediction time.
  • the wake-up induction time may be determined based on desired wake-up time information.
  • the desired wake-up time information may be information about the user's desired wake-up time.
  • the desired wake-up time information may be obtained through information exchange with the user's user terminal 300.
  • the user can set the time when he wants to sleep and when he wants to wake up through the user terminal 300 and transmit the information to the reception control unit 416.
  • the reception control unit 416 may obtain desired wake-up time information based on the wake-up time set by the user of the user terminal 300.
  • the weather induction timing may be determined based on the weather prediction timing.
  • the wake-up prediction time may be determined based on the sleep entry time identified through the second sleep state information.
  • the reception control unit 416 can identify the user's sleep entry point through the second sleep state information indicating that the user is sleeping. The reception control unit 416 may determine the weather prediction time based on the sleep entry time determined through the second sleep state information.
  • the wake-up prediction time may be determined based on the user's sleep stage information. For example, a user may wake up most refreshed if he or she wakes up in the REM stage. During one night's sleep, the user can have sleep cycles in the order of light sleep, deep sleep, light sleep, and REM sleep, and can wake up most refreshed when waking up in the REM sleep stage.
  • the reception control unit 416 can determine the predicted wake-up time of the user through sleep stage information related to the user's sleep stage. For a specific example, the reception control unit 416 may determine the time when the user changes from the REM stage to another sleep stage as the wake-up prediction time through sleep stage information. That is, the reception control unit 416 can determine the predicted wake-up time based on information on the sleep stage at which the user can wake up most refreshed (i.e., REM sleep stage).
  • the reception control unit 416 may determine the predicted wake-up time of the user based on at least one of sleep plan information, sleep entry time, and sleep stage information acquired from the user terminal.
  • the reception control unit 416 may determine the wake-up induction time based on the corresponding weather prediction time. For example, the reception control unit 416 may determine a time point 30 minutes prior to the time the user wants to wake up as the time point for inducing the user to wake up.
  • the reception control unit 416 determines the weather prediction time at which the user's wake-up is predicted to identify the wake-up induction time, and from the wake-up induction time to the wake-up time (e.g., until the user actually wakes up) )
  • Third environment composition information can be generated to supply 3000K white light by gradually increasing the illuminance from 0 lux to 250 lux.
  • the reception control unit 416 may decide to transmit the corresponding third environment creation information to the environment creation unit 415.
  • the environment creation unit 415 may determine light-related information in the space where the user is located based on the third environment creation information. Adjustment operations can be performed. For example, the environmental preparation unit 415 may gradually increase the 3000K white light from 0 lux to 250 lux starting 30 minutes before waking up.
  • the third environment creation information may include information for controlling the air purifier to induce waking up by lowering the blowing intensity and noise at the time of waking up.
  • the third environment creation information may include control information for controlling the air purifier to generate white noise to gradually induce waking up.
  • the third environment creation information may include control information for controlling the air purifier to maintain the noise of the air purifier below a preset level after waking up.
  • the third environment creation information may include control information for controlling the air purifier in conjunction with the weather prediction time and weather recommendation time.
  • sleep stage information may be obtained through a sleep analysis model that analyzes the user's sleep stage based on sound information (i.e., sleep sound information) acquired during sleep. That is, the sleep stage information of the present invention can be obtained through a sleep analysis model.
  • sound information i.e., sleep sound information
  • the reception control unit 416 can obtain environmental sensing information and obtain sleep sound information based on the corresponding sound information.
  • sleep sound information is information related to sounds acquired during the user's sleep, for example, sounds generated as the user tosses and turns during the user's sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep. May include related sounds.
  • the reception control unit 416 may perform preprocessing on sleep sound information. Preprocessing for sleep sound information may be preprocessing for noise removal. Specifically, the reception control unit 416 may classify sleep sound information into one or more sound frames having a predetermined time unit. Additionally, the reception control unit 416 may identify the minimum sound frame with the minimum energy level based on the energy level of each of one or more sound frames. The reception control unit 416 may perform noise removal on sleep sound information based on the minimum sound frame.
  • the reception control unit 416 may classify 30 seconds of sleep sound information into one or more sound frames of a very short 40 ms size. Additionally, the reception control unit 416 may identify the minimum sound frame with the minimum energy level by comparing the sizes of each of the plurality of sound frames with respect to the size of 40 ms. The reception control unit 416 may remove the identified minimum sound frame component from the entire sleep sound information (i.e., 30 seconds of sleep sound information). For example, as the minimum sound frame component is removed from the sleep sound information, preprocessed sleep sound information can be obtained. That is, the reception control unit 416 can perform preprocessing for noise removal by identifying the minimum sound frame as a background noise frame and removing it from the original signal (i.e., sleep sound information).
  • the reception control unit 416 may generate a spectrogram (SP) in response to the sleep sound information (SS), as shown in FIG. 6A.
  • sleep sound information (SS) may mean preprocessed sleep sound information. That is, the reception control unit 416 may generate information or a spectrogram including changes in the frequency components of the sleep sound information along the time axis in response to the preprocessed sleep sound information.
  • the spectrogram that the reception control unit 416 generates in response to the sleep sound information (SS) may include a Mel spectrogram.
  • the reception control unit 416 may obtain a Mel-Spectrogram through a Mel-Filter Bank for the spectrogram.
  • the parts of the human cochlea that vibrate may differ depending on the frequency of voice data.
  • the human cochlea has the characteristic of detecting frequency changes well in low frequency bands and having difficulty detecting frequency changes in high frequency bands. Accordingly, a Mel spectrogram can be obtained from the spectrogram using a Mel filter bank so as to have a recognition ability similar to the characteristics of the human cochlea for voice data.
  • the mel-filter bank may apply a small number of filter banks in a low frequency band and apply a wider filter bank toward higher frequencies.
  • the reception control unit 416 can obtain a Mel spectrogram by applying a Mel filter bank to the spectrogram to recognize voice data similar to the characteristics of the human cochlea.
  • the Mel spectrogram may include frequency components that reflect human hearing characteristics. That is, in the present invention, the spectrogram generated in response to sleep sound information and subject to analysis using a neural network may include the Mel spectrogram described above.
  • the reception control unit 416 may obtain sleep stage information by processing information or a spectrogram (SP) along the time axis of the frequency components of the sleep sound information as input to the sleep analysis model.
  • the sleep analysis model is a model for obtaining sleep stage information related to changes in the user's sleep stage, and can output sleep stage information by inputting sleep sound information acquired during the user's sleep.
  • the sleep analysis model may include a neural network model constructed through one or more network functions.
  • the reception control unit 416 may obtain information or a spectrogram including changes in the frequency components of the sleep sound information along the time axis based on the sleep sound information.
  • conversion of the sleep sound information into information or a spectrogram containing changes along the time axis of the frequency components may be intended to facilitate analysis of breathing or movement patterns related to relatively small sounds.
  • the reception control unit 416 utilizes a sleep analysis model including a feature extraction model and a feature classification model, based on information including changes along the time axis of the frequency components of the acquired sleep sound information or a spectrogram. Sleep stage information can be generated.
  • the sleep analysis model uses as input information or spectrograms that include changes along the time axis of the frequency components of sleep sound information corresponding to multiple epochs so that both past and future information can be considered, and sleep stages are determined. Since prediction can be performed, more accurate sleep stage information can be output.
  • the reception control unit 416 may output sleep stage information or sleep stage probability information corresponding to sleep sound information using the sleep analysis model described above.
  • sleep stage information may be information related to sleep stages that change during the user's sleep.
  • the reception control unit 416 may perform data augmentation based on preprocessed sleep sound information.
  • This data augmentation is intended to enable the sleep analysis model to robustly output sleep state information (e.g., sleep stage information) even in sounds measured in various domains (e.g., different bedrooms, different microphones, different placement locations, etc.).
  • data augmentation may include at least one of pitch shifting, gaussian noise, loudness control, dynamic range control, and spec augmentation.
  • the reception control unit 416 may perform data augmentation related to pitch shifting based on sleep sound information.
  • the reception control unit 416 may perform data augmentation by adjusting the pitch of the sound, such as raising or lowering the pitch of the sound at predetermined intervals.
  • the reception control unit 416 includes not only pitch shifting, but also gaussian noise, which performs data augmentation through correction related to noise, loudness control, which performs data augmentation by correcting the sound to give the feeling that sound quality is maintained even when the volume is changed, and sound Dynamic range control, which performs data augmentation by adjusting the dynamic range, which is a logarithmic ratio measured in dB between the maximum amplitude and minimum amplitude, and spec augmentation related to increasing the specifications of the sound can be performed.
  • the reception control unit 416 performs robust recognition in response to sleep sound acquired in various environments by the sleep analysis model through data augmentation of the sound information (i.e., sleep sound information) that is the basis for the analysis of the present invention. By doing so, the accuracy of sleep stage prediction can be improved.
  • the sound information i.e., sleep sound information
  • the reception control unit 416 may obtain fourth environment creation information based on third sleep state information.
  • fourth environment creation information since it is the same as what was described in relation to the operation of the processor 110 in the embodiment of FIG. 1F, redundant description will be omitted.
  • the reception control unit 416 may decide to transmit environment creation information to the environment creation unit 415. Specifically, the reception control unit 416 may generate environment creation information related to the illuminance adjustment, and determine to transmit the corresponding environment creation information to the environment creation unit 415, thereby controlling the illuminance adjustment operation of the environment creation unit 415. You can.
  • light or air quality may be one of the representative factors that can affect the quality of sleep. For example, depending on the light intensity, color, exposure level, etc., it can have a good or bad effect on the quality of sleep.
  • the quality of sleep is greatly influenced by the type/concentration of fine dust, the type/concentration of harmful gases, the presence or absence of allergic substances, and the temperature or humidity of the air.
  • the reception control unit 416 can improve the user's sleep quality by adjusting the illumination level or air quality.
  • the reception control unit 416 can monitor the situation before or after falling asleep, and adjust the illumination level accordingly to effectively wake the user. That is, the reception control unit 416 can determine the sleep state (eg, sleep stage) and automatically adjust the illumination level or air quality to maximize the quality of sleep.
  • the reception control unit 416 may receive sleep plan information from the user terminal 300.
  • the reception control unit 416 may generate external environment creation information based on the received sleep plan information.
  • the reception control unit 416 receives sleep plan information from the user terminal 300, and based on this, from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e. Until the point at which the second sleep state information is acquired, the first environment creation information for controlling the air purifier may be generated.
  • sleep plan information e.g., sleep induction time
  • the reception control unit 416 can determine the time when the user enters sleep, that is, when the user enters sleep, through the second sleep state information, and generate second environment creation information based on this.
  • the reception control unit 416 may generate environmental composition information based on sleep stage information.
  • the sleep stage information may include information about changes in the user's sleep stage acquired in time series through analysis of sleep sound information.
  • the reception control unit 416 identifies that the user has entered a sleep stage (e.g., light sleep) through the user's sleep stage information
  • the external environment minimizes the illuminance to create a dark room environment without light.
  • Composition information can be generated.
  • the user's sleep efficiency can be improved by creating an optimal sleep environment, that is, optimal illumination for each user's sleep stage.
  • the reception control unit 416 may generate environment creation information to provide appropriate illumination according to changes in the user's sleep stage during sleep. For example, when changing from shallow sleep to deep sleep, fine red light is supplied, or when changing from REM sleep to shallow sleep, lowering the illumination level or supplying blue light, etc., more diverse external environments depending on the change in sleep stage. Composition information can be generated.
  • the reception control unit 416 may identify the user's desired wake-up time through sleep plan information, generate a weather prediction time based on the desired wake-up time, and generate environment creation information accordingly. there is.
  • the reception control unit 416 may decide to transmit environment creation information to the environment creation unit 415. That is, the reception control unit 416 generates environment creation information that allows the user to easily fall asleep or wake up naturally when going to bed or waking up, based on the sleep plan information, and uses the environment creation information to create the environment of the environment creation unit 415. By controlling the composition operation, the user's sleep quality can be improved.
  • the reception control unit 416 may generate recommended sleep plan information based on sleep stage information. Specifically, the reception control unit 416 can obtain information about changes in the user's sleep stage (eg, sleep cycle) through sleep stage information, and set the expected wake-up time based on this information.
  • sleep stage information e.g., sleep cycle
  • the reception control unit 416 may determine to generate environment creation information according to the recommended sleep plan information and transmit it to the environment creation unit 415. Accordingly, the user can wake up naturally according to the recommended sleep plan information recommended by the reception control unit 416. This means that the reception control unit 416 recommends the user's wake-up time according to the change in the user's sleep stage. This may be the time when the user's fatigue is minimized, so it can have the advantage of improving the user's sleep efficiency.
  • the reception control unit 416 may update the environment creation information by comparing the user's actual wake-up time and desired wake-up time information. Specifically, the reception control unit 416 may utilize the second sensor unit to generate actual wake-up time information related to the user's actual wake-up time. For example, as the user wakes up and leaves the bed area (e.g., a preset area), the wireless link that has changed due to the user's body is restored, and the second sensor unit detects this change in signal level to allow the user to get out of bed after waking up. The actual exit time (i.e. actual wake-up time) can be accurately detected. That is, the second sensor unit can generate actual wake-up time information by recording the time the user leaves the preset area.
  • the bed area e.g., a preset area
  • the reception control unit 416 may compare desired wake-up time information and actual wake-up time information, and if the information is different as a result of the comparison, the environment creation information may be updated.
  • the actual wake-up time information compared with the desired wake-up time information may include information about the actual wake-up time accumulated a certain number of times or more.
  • actual wake-up time information may include information about when the user actually woke up during the week.
  • the reception control unit 416 may update environmental composition information by analyzing the difference between the desired wake-up time and the accumulated actual wake-up time. Specifically, when the actual wake-up time is later than the desired wake-up time, the reception control unit 416 may gradually increase the maximum brightness of the white light supplied at the time of waking up to advance the user's circadian rhythm. For example, on the next day when the actual wake-up time is later than the desired wake-up time, the environment creation information can be updated so that the maximum brightness of white light is supplied higher than the previous day in response to the user's wake-up time.
  • the reception control unit 416 may reduce the maximum brightness of the white light supplied at the waking time to delay the user's waking up time. For example, on the next day when the actual wake-up time is earlier than the desired wake-up time, the environment creation information can be updated so that the maximum brightness of white light is supplied lower than the previous day in response to the user's wake-up time. That is, the reception control unit 416 can compare the user's actual waking up time and the desired waking up time, and update environmental composition information to change the user's circadian rhythm according to the comparison result. Accordingly, a sleep environment optimized for the user can be created, and sleep efficiency can be further increased.
  • the reception control unit 416 collects sound information by driving the sound collection unit through at least one measurement mode of the manual sleep measurement mode and the automatic sleep measurement mode, and collects sound information based on the collected sound information. Sleep state information can be calculated.
  • the manual sleep measurement mode may mean that the measurement mode is manually initiated as a sleep input signal is generated by the user.
  • the user can generate a sleep input signal by applying physical pressure to the sleep input button formed on the outer surface of the sleep environment control device 400, or can generate a sleep input signal by utilizing the user terminal.
  • the sleep environment control device 400 i.e., receiving module
  • the manual spherical measurement mode allows the user to directly determine when to start measuring his or her sleep state.
  • the automatic sleep measurement mode may mean that sleep measurement is automatically initiated without the need for a separate user action to generate a sleep input signal.
  • the automatic sleep measurement mode automatically starts the measurement mode when the user's movement within a space is detected through the first sensor unit and the user is identified as being located in a preset area through the second sensor unit. It can be characterized. A detailed description of the automatic sleep measurement mode will be described later with reference to FIG. 13.
  • Figure 13 is a flowchart illustrating a process for obtaining sleep state information through a sleep measurement mode of an environment creation device according to an embodiment of the present invention.
  • the order of the steps shown in FIG. 13 described above may be changed as needed, and at least one step may be omitted or added. That is, the above-described steps are only one embodiment of the present invention, and the scope of the present invention is not limited thereto.
  • the reception control unit 416 can detect the user's movement within a space through the first sensor unit (S1100).
  • the first sensor unit may include at least one of a PIR sensor and an ultrasonic sensor.
  • the reception control unit 416 may identify that the user is located in a preset area through the second sensor unit (S1200).
  • the second sensor unit may receive a wireless signal transmitted from the transmission module 420 and detect whether the user is located in a preset area based on the received wireless signal.
  • the second sensor unit may be provided at a position opposite to the transmission module 420 based on a preset area.
  • the transmission module 420 and the second sensor unit may be provided on both sides of the bed where the user sleeps.
  • the sleep environment control device 400 of the present invention provides information about whether the user is located in a preset area and the user based on the WiFi-based OFDM signal transmitted and received through the transmitting module 420 and the receiving module 410.
  • Object state information which is information about movement or breathing, can be obtained.
  • the reception control unit 416 may collect sound information related to a space by driving the sound collection unit 414 (S1300). That is, the reception control unit 416 detects that the user's movement occurs in a space through the first sensor unit, and automatically detects the user's movement in a preset area through the second sensor unit by automatically entering the sound collection unit ( 414), it is possible to collect acoustic information related to the work space.
  • the reception control unit 416 may calculate sleep state information based on the collected sound information (S1400).
  • the reception control unit 416 may obtain sleep state information related to whether the user is before sleep or in sleep based on the singularity identified from the sound information. Specifically, if a singular point is not identified, the reception control unit 416 may determine that the user is before sleeping, and if a singular point is identified, the reception control unit 416 may determine that the user is sleeping after the singular point.
  • the reception control unit 416 identifies a time point (e.g., waking up time) at which the preset pattern is not observed, and when the corresponding time point is identified, it can be determined that the user has woken up after sleeping. there is.
  • Figure 14 is a flowchart illustrating a process for creating an environment that induces the user to enter sleep related to an embodiment of the present invention.
  • the order of the steps shown in FIG. 14 described above may be changed as needed, and at least one step may be omitted or added. That is, the above-described steps are only one embodiment of the present invention, and the scope of the present invention is not limited thereto.
  • the receiving module 410 may identify the time to induce sleep based on desired bedtime information (S2100).
  • desired bedtime information For a specific example, the user can create sleep plan information by setting the time he/she wants to sleep and the time he/she wants to wake up through the user terminal 300, and transmit the generated sleep plan information to the receiving module 410. You can.
  • the sleep plan information may include desired bedtime information and desired wake-up time information.
  • the receiving module 410 may identify the time to induce sleep based on desired bedtime information.
  • the receiving module 410 may detect whether the user is located in a preset area at the time of inducing sleep through the second sensor unit (S2200).
  • the second sensor unit may receive a wireless signal transmitted from the transmission module 420 and detect whether the user is located in a preset area based on the received wireless signal.
  • the receiving module 410 may transmit a notification to the user terminal (S2300). Specifically, when sleep induction is imminent, but the user is not located in a preset area, a notification to prepare for sleep may be transmitted to the user terminal.
  • the receiving module 410 may generate first environment composition information to supply a preset white light from the time of sleep induction to the time of sleep ( S2400). That is, the first environment creation information can be generated only when the user is located in a preset area corresponding to the sleep induction time.
  • the receiving module 410 can control the operation of the environment creation unit 415 that performs the environment adjustment operation by generating the first environment creation information only when the user is located in a preset area. Accordingly, the environment creation unit 415 may not perform an operation to change the sleeping environment when the user is not located in a specific location.
  • Figure 15 is a flowchart illustrating a process for changing the user's sleep environment during sleep and immediately before waking up related to an embodiment of the present invention.
  • the order of the steps shown in FIG. 15 described above may be changed as needed, and at least one step may be omitted or added. That is, the above-described steps are only one embodiment of the present invention, and the scope of the present invention is not limited thereto.
  • the receiving module 410 may generate second environment creation information to create a dark room environment without light by minimizing the illuminance (S3100). For example, if there is interference from light during sleep, the likelihood of sleeping fragmented increases, making it difficult to get a good night's sleep.
  • S3100 the illuminance
  • the receiving module 410 when the receiving module 410 detects that the user has entered sleep (or sleep stage) (when obtaining second sleep state information), the receiving module 410 provides control information to prevent light from being supplied, that is, second environment creation information. can be created. Accordingly, the user's probability of having a deep sleep increases and the quality of sleep can be improved.
  • the receiving module 410 creates a third environment that allows the user to identify a wake-up induction point based on desired wake-up time information and gradually increase and supply the illuminance of white light from the wake-up induction point to the desired wake-up time.
  • Information can be generated (S3200).
  • Figure 11 is a conceptual diagram for explaining the operation of the environment creation device according to the present invention.
  • Figure 11 (a) is a schematic diagram in which the environment creation device 30 of Figure 1F is implemented as an air purifier 500
  • Figure 11 (b) shows the air purifier 500 with the user terminal 300. This is a schematic diagram of how they operate in conjunction.
  • the air purifier 500 can operate in conjunction with the user terminal 300 and the computing device 100.
  • Computing device 100 may include a network unit 180, memory 120, and processor 110 (see FIG. 2C).
  • the network unit 180 transmits and receives data with the user terminal 300, the external server 20, and the air purifier 500.
  • the network unit 180 may transmit and receive data for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, to other computing devices, servers, etc.
  • the network unit 180 may provide a communication function between the computing device 100, the user terminal 300, the external server 20, and the air purifier 500.
  • the network unit 180 may receive sleep checkup records and electronic health records for multiple users from a hospital server.
  • the network unit 180 may receive environmental sensing information related to the space in which the user operates from the user terminal 300.
  • the network unit 180 may transmit to the air purifier 500 air quality-related environment creation information to adjust the environment of the space where the user is located.
  • the network unit 180 may allow information to be transferred between the computing device 100, the user terminal 300, and the external server 20 by calling a procedure with the computing device 100.
  • the memory 120 may store a computer program for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, and the stored computer program may be read and driven by the processor 110. Additionally, the memory 120 may store any type of information generated or determined by the processor 110 and any type of information received by the network unit 180. Additionally, the memory 120 may store data related to the user's sleep. For example, the memory 120 may store input/output data (e.g., environmental sensing information related to the user's sleeping environment (particularly related to air quality), sleep state information corresponding to the environmental sensing information, or sleep Environment creation information according to status information, etc.) may be stored temporarily or permanently.
  • input/output data e.g., environmental sensing information related to the user's sleeping environment (particularly related to air quality), sleep state information corresponding to the environmental sensing information, or sleep Environment creation information according to status information, etc.
  • the computer program When loaded into memory 120, the computer program may include one or more instructions that cause processor 110 to perform methods/operations according to various embodiments of the present invention.
  • the computer program includes obtaining sleep state information of a user, generating environment creation information based on the sleep state information, and transmitting the environment creation information to an environment creation device. It may include one or more instructions to perform a method of creating a sleep environment according to state information.
  • the operation method, hardware configuration, and software configuration of the network unit 180 and memory 120 are the same as described above.
  • the processor 110 may read the computer program stored in the memory 120 and provide a sleep analysis model according to an embodiment of the present invention. According to an embodiment of the present invention, the processor 110 may perform calculations to calculate environmental composition information based on sleep state information. According to one embodiment of the present invention, the processor 110 may perform calculations to learn a sleep analysis model. The specific details of the sleep analysis model are the same as described above.
  • the processor 110 can obtain the user's sleep state information and environmental sensing information, as described above.
  • the processor 110 may generate first environment creation information to nth environment creation information. Specifically, when the user's state is before bedtime, the processor 110 obtains the second sleep state information from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep. Until the point in time), first environment composition information for controlling the air purifier can be generated.
  • first environment composition information can be generated to control the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before) before the user's sleep.
  • the first environment creation information is such as controlling the air purifier to generate noise (white noise) at a level that can induce sleep just before sleep, adjusting the blower intensity below the preset intensity, or lowering the intensity of the LED. May contain information.
  • the first environment creation information may include information for controlling the air purifier to perform dehumidification/humidification based on temperature and humidity information in the sleeping space.
  • the processor 110 turns off the LED of the air purifier, operates the air purifier with noise below a preset level, adjusts the blowing intensity to below the preset intensity, or lowers the blowing temperature.
  • Second environment creation information can be generated to control the air purifier to fit within a preset range or to maintain the humidity in the sleeping space at a predetermined temperature.
  • the processor 110 may generate third environment creation information and fourth environment creation information based on the third sleep state information and fourth sleep state information.
  • the processor 110 may determine to transmit environmental composition information to the air purifier 500. That is, the processor 110 can improve the user's sleep quality by generating information on creating an external environment that allows the user to easily fall asleep or wake up naturally when going to bed or waking up.
  • the air purifier 500 according to the present invention can operate in conjunction with the user terminal 300. That is, the system of the embodiment according to (b) of FIG. 11 may include an air purifier 500, a user terminal 300, an external server 20, and a network. In this embodiment, the air purifier 500 according to the present invention includes the configuration of the computing device 100 of FIG. 11 (a) and additional components for operating as an air cleaner.
  • FIG. 12 is a block diagram showing the configuration of an environment creation device according to the present invention.
  • the air purifier 500 which is an example of an environment creation device according to the present invention, includes a network unit 510, a memory 520, a processor 530, a driving unit 540, and a measuring unit 550. ) may include.
  • the air purifier 500 may be implemented as an air purifying device embedded in the ceiling or exterior wall of a building, apartment, or house, or as a fixed air purifier fixed to one side of an indoor space, and can be easily carried and moved. It may be implemented as a mobile air purifier, as an in-vehicle air purifier placed in a vehicle, or as a wearable air purifier worn on the body to purify the air quality around the user.
  • the air purifier 500 is a dust collection filter type air purifier that removes dust using pretreatment and a HEPA filter, an adsorption filter type that absorbs harmful gases using activated carbon, a wet type that removes dust or harmful gases using water, and a high voltage air purifier.
  • Electrostatic dust collection type which removes dust using high voltage
  • negative ion type which removes dust by generating negative ions at high voltage and supplying them into the air
  • plasma type which removes harmful gases by generating positive and negative ions with plasma
  • TiO generated by ultraviolet irradiation TiO generated by ultraviolet irradiation.
  • It can be implemented as an air purifier of various types, such as a UV photocatalytic type that removes bad odors and harmful gases through oxidation/reduction of OH radicals and active oxygen, and may also be a complex air purifier that employs two or more methods in combination.
  • the functions, operations, hardware configuration, and software configuration of the network unit 510, memory 520, and processor 530 of the air purifier 500 are the same as described above.
  • the first to nth environment composition information generated by the processor 530 may be transmitted to the driver 540.
  • the driving unit 540 operates various hardware elements provided in the air purifier 500.
  • the measuring unit 550 may include one or more sensors for sensing air components, illuminance, and condition of air purifier components in the space.
  • the measuring unit includes a dust sensor that detects invisible floating particles such as PM1.0, PM2.5, and PM10, a gas sensor that detects indoor harmful gases or odors, an illuminance sensor that detects indoor illumination, and a dust sensor that detects indoor air.
  • TVOC sensor that measures the total concentration of over 300 types of volatile organic compounds
  • CO2 sensor that measures the concentration of carbon dioxide in indoor air
  • radon sensor that measures the concentration of radon
  • a filter replacement time that measures the filter differential pressure according to the life of the filter unit. It may include a pressure sensor that measures the indoor temperature, a temperature sensor that measures the indoor temperature, etc.
  • the air purifier 500 may be composed of a housing equipped with an outlet and an inlet, a filter unit, a blowing fan, a sterilizing unit, a humidifying unit, a heating unit, a cooling unit, a measuring unit, etc.
  • the housing can be designed in various ways depending on the implementation method of the air purifier 500, such as embedded type, fixed type, mobile type, vehicle type, or wearable type.
  • the filter unit can be selected according to the air purification method, such as dust collection filter type, adsorption filter type, wet type, electric dust collection type, anion type, plasma type, and UV photocatalyst type.
  • the blowing fan may be connected to a motor that rotates by power supplied from the power supply.
  • the sterilizing unit has the function of sterilizing the inhaled air using chemical and electrical methods.
  • the humidifying part has the function of humidifying and sending out the sucked air, and the heating part and the cooling part have the function of heating or cooling the sucked air to a predetermined temperature.
  • the hardware elements of the air purifier 500 described above are only an example, and some of them may be integrated and implemented as one configuration, some configurations may be omitted, and air cleaning functions not described above may be used. Various configurations may be added to perform this.
  • environmental sensing information can be obtained through the user terminal 300.
  • the environmental sensing information may be sleep sound information obtained in the bedroom where the user sleeps.
  • the environmental sensing information may be air quality information in the sleeping space obtained from the measurement unit 550 provided in the air purifier 500.
  • Environmental sensing information acquired through the user terminal 300 or the measurement unit 550 may be the basis for obtaining the user's sleep state information in the present invention.
  • sleep state information related to whether the user is before, during, or after sleep can be obtained through environmental sensing information obtained in relation to the user's activities. Additionally, before and during sleep, the user can And information related to surrounding air quality after sleeping can be obtained.
  • the processor 530 may obtain sleep state information based on environmental sensing information obtained through the user terminal 300 and/or the measurement unit 550.
  • the processor 530 may identify a singularity in which information of a preset pattern is sensed in the environmental sensing information.
  • the preset pattern information may be related to breathing and movement patterns related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed.
  • the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder. That is, the processor 530 may identify the point in time at which sound information of a preset pattern related to regular breathing, small body movement, or small breathing sounds is detected as a singular point in the environmental sensing information.
  • the processor 530 may acquire sleep sound information based on environmental sensing information obtained based on the identified singularity.
  • the processor 530 may identify a singularity related to the user's sleep timing from environmental sensing information acquired in time series and obtain sleep sound information based on the singularity.
  • the air quality measured through the measuring unit 550 has a significant impact on the user's sleep.
  • sleep disorders show a statistically significant relationship with air pollution.
  • exposure to PM10 can result in difficulty maintaining sleep, and in particular, it has been confirmed that men are most likely to experience sleep disorders when exposed to PM1.
  • women are most likely to have sleep disorders when exposed to PM1 and PM2.5.
  • wheezing and related sleep disturbances were most likely to occur when SO 2 and O 3 were high.
  • Various studies have been conducted on the relationship between AHI and air quality measurements, and although the results are slightly different for each study, the result is the same: the correlation between air quality and sleep is very high.
  • the air purifier 500 can acquire sleep state information based on environmental sensing information, generate environmental composition information, and use this to perform operations appropriate for the sleep stage.
  • the processor 530 of the air purifier 500 determines that the user's state is in the pre-bedtime state, the user starts from the time when the user is predicted to be preparing for sleep (e.g., the time of sleep induction) to the time when the user falls asleep ( That is, the first environment creation information for controlling the air purifier can be generated until the second sleep state information is acquired.
  • the first environment composition information may be generated by reflecting the PM concentration, harmful gas concentration, CO2 concentration, SO2 concentration, O3 concentration, humidity, temperature, etc. measured by the measuring unit 550.
  • the first environment creation information includes information that controls the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before) before the user's sleep, and noise (white noise) at a level that can induce sleep just before sleep. Control the air purifier to cause noise, adjust the blower intensity below the preset intensity, lower the intensity of the LED, etc., and use the air purifier to perform dehumidification/humidification based on the temperature and humidity information in the sleeping space. It may include information for control, etc.
  • a predetermined time e.g. 20 minutes before
  • noise white noise
  • the processor 530 turns off the LED of the air purifier based on the second sleep state information, operates the air purifier with noise below a preset level, adjusts the blowing intensity to below the preset intensity, or blows the air purifier.
  • Second environment composition information can be generated to control the air purifier to set the temperature within a preset range or maintain the humidity in the sleeping space at a predetermined temperature.
  • the second environment creation information is based on the second sleep state information, such as turning off the LED of the air purifier, operating the air purifier with noise below a preset level, adjusting the blowing intensity to below the preset intensity, or blowing air.
  • This may be control information for controlling the air purifier to set the temperature within a preset range or maintain the humidity in the sleeping space at a predetermined temperature.
  • Users can be induced to sleep by airflow and white noise in a sleeping space where fine dust and harmful gases have been removed just before sleep, and after going to sleep, they can have a good night's sleep with the optimal temperature and humidity controlled.
  • the device 100a for generating imagery induction information or the device 200a for providing imagery induction information may be a terminal or a server, and may be any type of device. Devices can include both.
  • the device 100a for generating imagery inducing information or the device 200a for providing imagery inducing information provides sleep state information corresponding to environmental sensing information by performing learning on one or more network functions through a learning data set.
  • a sleep analysis model for acquisition can be created.
  • the device 100a for generating imagery inducing information or the device 200a for providing imagery inducing information may be a server providing a cloud computing service.
  • it may be a server that provides a cloud computing service that processes information not on the user's computer but on another computer connected to the Internet.
  • a cloud computing service may be a service that stores data on the Internet and allows users to use it anytime, anywhere through an Internet connection without having to install necessary data or programs on their computer. Simple manipulation and clicking of data stored on the Internet is possible. It can be easily shared and delivered.
  • obtaining environmental sensing information performing preprocessing on the obtained environmental sensing information, converting acoustic information included in the preprocessed environmental sensing information into a spectrogram, conversion
  • a step of generating sleep state information based on the generated spectrogram and a step of providing and feeding back imagery induction information based on the generated sleep state information may be performed.
  • an electronic device obtaining environmental sensing information, performing preprocessing on the obtained environmental sensing information, and converting acoustic information included in the preprocessed environmental sensing information into a spectrogram.
  • a step of converting and transmitting the converted spectrogram to the server is performed, and when the server generates sleep state information through learning or inference based on the transmitted spectrogram, the electronic device receives the sleep state information. may be performed.
  • an electronic device where another electronic device acquires environmental sensing information, converts the acoustic information included in the obtained environmental sensing information into a spectrogram, and performs a signal based on the converted spectrogram.
  • another electronic device acquires environmental sensing information, converts the acoustic information included in the obtained environmental sensing information into a spectrogram, and performs a signal based on the converted spectrogram.
  • an electronic device equipped with environmental sensing, image induction information provision, and feedback functions may receive sleep state information from another electronic device.
  • the other electronic device refers to a device different from the electronic device equipped with environmental sensing and image inducing information generation and provision functions, and may correspond to one or more other electronic devices.
  • the steps of acquiring environmental sensing information, converting sound information included in the environmental sensing information into a spectrogram, and generating sleep state information may be performed independently.
  • an electronic device equipped with an image induction information provision and feedback function when there is an electronic device equipped with an image induction information provision and feedback function, another electronic device acquires environmental sensing information and converts the acoustic information included in the obtained environmental sensing information into a spectrum.
  • the server When converted to a gram and the converted spectrogram transmitted to the server, the server generates sleep state information based on the transmitted spectrogram, and an electronic device equipped with an image induction information provision function generates sleep state information generated by the server.
  • a receiving step may also be performed.
  • various operations such as acquisition of environmental sensing information, preprocessing of environmental sensing information, conversion of spectrogram, and generation of sleep state information do not necessarily occur within the same electronic device, This is an example to explain that it can occur in multiple devices, and that it can occur in time series, simultaneously, or independently, so the present invention is not limited to the various embodiments described above.
  • Figure 2b is a block diagram showing the configuration of an electronic device 600 according to the present invention.
  • the electronic device 600 shown in FIG. 2B may correspond to the device 100a that generates image-inducing information or the device 200a that provides image-inducing information, or includes devices corresponding to other devices.
  • the electronic device 600 shown in FIG. 2B may correspond to a user terminal, a device that generates and/or provides a sleep image, and/or generates sleep content based on other user sleep information. Or it may correspond to a provided device.
  • the electronic device 600 may include a memory 610, an output unit 620, a processor 630, and an acquisition unit 640. It is not limited to this.
  • a memory 610 in which image inducing information is recorded; An output unit 620 that outputs the recorded image guidance information; An acquisition unit 640 that acquires sleep state information from the user; means for transmitting the output image induction information and the obtained sleep state information to a server; When the server extracts the user's features based on the transmitted imagery induction information and the transmitted sleep state information, means for receiving the extracted user's features; and means for generating feature-based imagery induction information based on the received user's features.
  • a memory 610 in which image inducing information is recorded; An output unit 620 that outputs the recorded image guidance information; An acquisition unit 640 that acquires sleep state information from the user; means for transmitting the output image induction information and the sleep state information to a server; And when the server extracts the user's features based on the transmitted imagery induction information and the transmitted sleep state information, and the server generates feature-based imagery induction information based on the extracted user's features, the generation An electronic device including means for receiving feature-based image induction information may be provided.
  • a memory 610 in which image inducing information is recorded; An output unit 620 that outputs the recorded image guidance information; An acquisition unit 640 that acquires sleep state information from the user; a processor 630 that extracts user features based on the output image induction information and the acquired sleep state information; means for transmitting the extracted user features to a server; and when the server generates feature-based imagery induction information based on the transmitted features of the user, means for receiving the generated feature-based imagery induction information.
  • the imagery induction information generation and provision model generates the user's features based on the user's sleep state information acquired through the acquisition unit of the electronic device and the imagery induction information output through the output unit of the electronic device.
  • a server device implemented with an imagery induction information generation and provision model that extracts and generates feature-based imagery induction information based on the extracted user's features may be provided.
  • the memory 610 includes image guidance information based on a lookup table, image guidance information based on feature-based image guidance information, and user-related information input from the user according to an embodiment of the present invention.
  • a computer program can be stored, and the stored computer program can be read and driven by the processor 630.
  • the memory 610 may store any type of information generated or determined by the processor 630 and any type of information received from the network.
  • the memory 610 may store data related to the user's sleep.
  • the memory 610 may temporarily or permanently store input/output data.
  • the memory 610 may temporarily or permanently store feature-based imagery induction information generated or determined by the processor 630, but is not limited thereto.
  • imagery inducing information may be recorded in the memory 610.
  • the image guidance information recorded in the memory 610 may be image guidance information based on a lookup table or may be image guidance information based on feature-based image guidance information.
  • a step of preparing image guidance information may be performed in the memory 610, and the step of preparing image guidance information may include preparing image guidance information based on a lookup table or based on feature-based image guidance information. You can also prepare imagery-inducing information.
  • the output unit 620 may output the recorded image induction information.
  • the output unit 620 may set the recorded image inducing information to one or more of recorded image inducing sound information, recorded image inducing visual information, recorded image inducing text information, and recorded image inducing text sound information, Alternatively, a combination of two or more of these can be output.
  • the output unit 620 may output feature-based imagery induction information generated by the processor 630 based on the user's sleep state information.
  • the feature-based imagery inducing information output from the output unit 620 is one or more of feature-based imagery inducing sound information, feature-based imagery inducing visual information, feature-based imagery inducing text information, and feature-based imagery inducing text sound information. It may be a combination of two or more of these, but is not limited thereto.
  • the feature-based imagery inducing information output from the output unit 620 includes feature-based time-series imagery-inducing sound information with an imagery-inducing scenario, feature-based time-series imagery-inducing visual information, and feature-based time-series imagery-inducing text. It may be one or more of acoustic information and feature-based time-series imagery inducing text information, or a combination of two or more of these, but is not limited thereto.
  • the processor 630 may read a computer program stored in the memory 610 and perform data processing for machine learning according to an embodiment of the present invention.
  • the processor 630 may perform calculations for learning a neural network.
  • the processor 630 is used for learning neural networks, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. Calculations can be performed.
  • DL deep learning
  • At least one of the CPU, GPGPU, and TPU of the processor 630 may process learning of the network function.
  • CPU and GPGPU can work together to process learning of network functions and data classification using network functions.
  • the processors of a plurality of electronic devices 600 can be used together to process learning of network functions and data classification using network functions.
  • a computer program executed in the electronic device 600 may be a CPU, GPGPU, or TPU executable program.
  • the processor 630 may read a computer program stored in the memory 610 and provide a sleep analysis model according to an embodiment of the present invention.
  • the processor 630 may perform calculations to calculate configuration information of a series of imagery induction information and feature-based imagery induction information based on sleep state information.
  • imagery induction information based on a lookup table or image induction information based on feature-based imagery is output by the output unit 620
  • the image induction information of the user is based on the sleep state information obtained from the user through the imagery induction information.
  • Features can be extracted.
  • the processor 630 may perform calculations to learn a sleep analysis model. Accordingly, sleep information related to the user's sleep quality can be inferred based on the sleep analysis model.
  • environmental sensing information acquired in real time or periodically from the user is input as an input value to the sleep analysis model to output data related to the user's sleep.
  • Learning of such a sleep analysis model and inference based thereon may be performed by the device 100a that generates image-inducing information or the device 200a that provides image-inducing information.
  • both learning and inference can be designed to be performed by the device 100a that generates image-guided information or the device 200a that provides image-guided information.
  • learning may be performed in the device 100a that generates image-guided information or the device 200a that provides image-guided information, but inference may be performed in the user terminal 300.
  • the processor 630 can typically process the overall operation of the electronic device 600.
  • the processor 630 can provide or process appropriate information or functions to the user terminal by processing signals, data, information, etc. input or output through the components discussed above or by running an application program stored in the memory 610. there is.
  • the processor 630 may obtain information on the user's sleep state.
  • Acquiring sleep state information may be acquiring or loading sleep state information stored in the memory 610.
  • acquisition of sleep sound information may involve receiving or loading data from another storage medium, another electronic device, or a separate processing module within the same electronic device based on wired/wireless communication means.
  • the processor 630 may extract the user's features based on the image induction information output from the output unit 620 and the user's sleep state information obtained from the acquisition unit 640. .
  • the processor 630 may generate feature-based imagery induction information based on the extracted user features.
  • the user's features may be extracted based on the recorded information.
  • the acquisition unit 640 of the electronic device 600 may obtain sleep state information from the user.
  • the acquisition unit 640 may perform a role of receiving the obtained sleep state information from the other electronic device.
  • sleep information can be acquired from one or more sleep information sensor devices in order to achieve the purpose of the present invention.
  • the sleep information may include the user's sleep sound information acquired non-invasively during the user's activities or sleep. Additionally, sleep information may include the user's life information and the user's log data.
  • sleep information may include environmental sensing information and user's life information.
  • the user's life information may include information that affects the user's sleep.
  • information that affects the user's sleep may include the user's age, gender, disease status, occupation, bedtime, wake-up time, heart rate, electrocardiogram, and sleep time. For example, if the user's sleep time is less than the standard time, it may have the effect of requiring more sleep time in the next day's sleep. On the other hand, if the user's sleep time is more than the standard time, it may have the effect of requiring less sleep for the next day.
  • One or more sleep information sensor devices are One or more sleep information sensor devices.
  • one or more sleep sensor devices may include a microphone module, a camera, and an illumination sensor provided in the user terminal 300.
  • information related to the user's activities in a work space may be obtained through a microphone module provided in the user terminal 300.
  • the microphone module since the microphone module must be provided in the user terminal 300 of a relatively small size, it may be configured as a Micro-electro Mechanical System (MEMC).
  • MEMC Micro-electro Mechanical System
  • environmental sensing information of the present invention may be obtained through the user terminal 300.
  • Environmental sensing information may refer to sensing information obtained from the space where the user is located.
  • Environmental sensing information may be sensing information obtained in relation to the user's activities or sleep through a non-contact method.
  • FIG. 1H it may mean sensing information obtained from the sleep detection area 11a, but is not limited thereto.
  • the environmental sensing information may be sleep sound information obtained in the bedroom where the user sleeps.
  • the environmental sensing information acquired through the user terminal 300 may be information that serves as the basis for obtaining the user's sleep state information in the present invention.
  • sleep state information related to whether the user is before, during, or after sleep may be obtained through environmental sensing information obtained in relation to the user's activities.
  • environmental sensing information may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep.
  • the sleep sound information may refer to sound information related to movement patterns and breathing patterns that occur during the user's sleep.
  • the environmental sensing information related to the user's activities in the work space may be obtained through a microphone provided in the user terminal 300.
  • the environmental sensing information may include the user's breathing and movement information.
  • the user terminal 300 may include a radar sensor as a motion sensor.
  • the user terminal 300 may generate a discrete waveform (respiration information) corresponding to the user's breathing by processing the user's movement and distance measured through the radar sensor.
  • Quantitative indicators related to sleep can be obtained based on the discrete waveforms and movements.
  • the environmental sensing information may include measured values obtained through a sensor that measures the temperature, humidity, and lighting level of the user's sleeping space.
  • the user terminal 300 may be equipped with a sensor that measures temperature, humidity, and lighting levels in the bedroom.
  • the device 100a for generating imagery induction information or the device 200a for providing imagery induction information provides sleep state information based on environmental sensing information acquired through a microphone module composed of MEMS. It can be obtained.
  • the device 100a for generating image-inducing information or the device 200a for providing image-inducing information can convert environmental sensing information obtained indistinctly, including a lot of noise, into data that can be analyzed, and the converted You can use data to learn about artificial neural networks.
  • the learned neural network may obtain the user's sleep state information based on the spectrogram obtained in response to the sleep sound information.
  • the learned neural network may be an artificial intelligence sound analysis model, but is not limited to this.
  • the device 100a for generating image induction information, the device 200a for providing image induction information, or the user terminal 300 acquires sleep sound information having a low signal-to-noise ratio, it provides data appropriate for analysis. By processing the processed data, sleep state information can be provided.
  • the device 100a for generating imagery inducing information is represented as a separate entity from the user terminal 300, but according to an embodiment of the present invention, as shown in FIG. 1c, it generates imagery inducing information.
  • the device 100a may be included in the user terminal 300 and perform the functions of measuring sleep status and providing imagery induction information in one integrated device.
  • the device 200a providing imagery inducing information is represented as a separate entity from the user terminal 300, but according to an embodiment of the present invention, as shown in FIG. 1c, imagery inducing information
  • the device 200a that provides may be included in the user terminal 300 and perform functions of measuring sleep state and feeding back information on inducing imagery in one integrated device.
  • This user terminal 300 may refer to any type of entity(s) in the system that has a mechanism for communication with the computing device 100.
  • these user terminals 300 include personal computers (PCs), notebooks (note books), mobile terminals, smart phones, tablet PCs, and artificial intelligence (AI) speakers. and artificial intelligence TVs and wearable devices, and may include all types of terminals that can access wired/wireless networks.
  • the user terminal 300 may include an arbitrary server implemented by at least one of an agent, an application programming interface (API), and a plug-in. Additionally, the user terminal 300 may include an application source and/or a client application.
  • API application programming interface
  • the external server 20 may be a server that stores information about a plurality of learning data for learning a neural network.
  • the plurality of learning data may include, for example, health checkup information or sleep checkup information.
  • the external server 20 may be at least one of a hospital server and an information server, and may be a server that stores information about a plurality of polysomnography records, electronic health records, and electronic medical records.
  • a polysomnographic record may include information on the sleep examination subject's breathing and movements during sleep, and information on sleep diagnosis results (eg, sleep stages, etc.) corresponding to the information.
  • Information stored in the external server 20 can be used as learning data, verification data, and test data to train the neural network in the present invention.
  • the computing device 100 of the present invention may receive health checkup information or sleep checkup information from the external server 20 and construct a learning data set based on the corresponding information.
  • the computing device 100 may generate a sleep analysis model to obtain sleep state information corresponding to environmental sensing information by performing learning on one or more network functions through a learning data set. A detailed description of the construction of the learning data set for learning the neural network of the present invention and the learning method using the learning data set will be described later.
  • sleep information may include environmental sensing information and user's life information.
  • the environmental sensing information may be acoustic information about the user's sleep.
  • One or more sleep information sensor devices may collect raw data about sounds generated from sleep to analyze sleep. Raw data about sounds occurring on the water may be in the time domain.
  • sleep sound information may be related to breathing and movement patterns related to the user's sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed.
  • the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder.
  • loud breathing sounds may occur immediately after apnea as a compensation mechanism. In other words, by collecting raw data about sleep, analysis of sleep can be performed.
  • Figure 6a is a diagram for explaining a method of obtaining a spectrogram corresponding to sleep sound information in the sleep analysis method according to the present invention. As shown in FIG. 6A, a spectrogram can be obtained by converting sleep sound information.
  • the converted information in order to analyze sleep sound information, can be converted into a visual representation of changes in the frequency components of the sleep sound information along the time axis.
  • a method of converting raw data into a spectrogram based only on the amplitude excluding the phase can be used, which not only protects privacy but also improves processing speed by lowering the data capacity.
  • the processor may generate a sleep analysis model using a spectrogram generated based on sleep sound information. If the sleeping sound information expressed as audio data is used as is, the amount of information is very large, so the amount of calculation and calculation time will increase significantly, and not only will the calculation precision be lowered because it includes unwanted signals, but also all of the user's audio. If the signal is transmitted to the server, there is a risk of privacy infringement.
  • the present invention removes noise from sleep sound information, converts it into a spectrogram (Mel spectrogram), and learns the spectrogram to create a sleep analysis model, thereby reducing the amount of computation and computation time, and protecting personal privacy. It can be achieved up to.
  • the processor 110 may generate a spectrogram (SP) in response to the sleep sound information (SS).
  • Raw data (sleeping sound information), which is the basis for creating a spectrogram (SP)
  • the raw data is acquired through the user terminal from the start point entered by the user to the end point, or is obtained through the user's terminal operation (e.g. : It can be acquired from the time when alarm setting) is made to the time corresponding to the terminal operation (e.g., alarm setting time), or the time point can be automatically selected and acquired based on the user's sleep pattern, and the time point of the user's sleep intention can be determined by sound. It can be obtained by automatically determining the viewpoint based on the user's speech, breathing, sounds of peripheral devices (TV, washing machine), etc.) or changes in illumination.
  • a process of preprocessing the input raw data may be further included.
  • the preprocessing process includes a noise reduction process of raw data.
  • noise e.g. white noise
  • the noise reduction process can be accomplished using algorithms such as spectral gating and spectral subtraction to remove background noise.
  • a noise removal process can be performed using a deep learning-based noise reduction algorithm. In other words, through deep learning, a noise reduction algorithm specialized for the user's breathing and breathing sounds can be used.
  • the present invention can generate a spectrogram based only on amplitude excluding phase from raw data, but is not limited to this. This not only protects privacy, but also improves processing speed by lowering data volume.
  • the processor 110 may generate a spectrogram (SP) corresponding to the sleep sound information (SS) by performing fast Fourier transform on the sleep sound information (SS).
  • SP spectrogram
  • a spectrogram (SP) is intended to visualize and understand sound or waves, and may be a combination of waveform and spectrum characteristics.
  • a spectrogram (SP) may represent the difference in amplitude according to changes in the time axis and frequency axis as a difference in printing density or display color.
  • the preprocessed acoustic-related raw data is cut into 30-second increments and converted into a Mel spectrogram. Accordingly, a 30-second Mel spectrogram has dimensions of 20 frequency bins x 1201 time steps.
  • the amount of information can be preserved by using the split-cat method to change the rectangular Mel spectrogram into a square shape.
  • a method of simulating breathing sounds measured in various home environments can be used by adding various noises occurring in a home environment to clean breathing sounds. Because sounds have additive properties, they can be added to each other. However, adding original sound signals such as mp3 or pcm and converting them into a mel spectrogram consumes a lot of computing resources. Therefore, the present invention proposes a method of converting breathing sounds and noise into Mel spectrograms and adding them, respectively. Through this, it is possible to secure robustness in various home environments by simulating breathing sounds measured in various home environments and using them to learn deep learning models.
  • sleep sound information relates to sounds related to breathing and body movements acquired during the user's sleep, and may be a very quiet sound.
  • the processor 110 may convert the sleeping sound information into a spectrogram (SP) and perform sound analysis.
  • the spectrogram (SP) contains information showing how the frequency spectrum of the sound changes over time, making it possible to easily identify breathing or movement patterns related to relatively small sounds, thereby facilitating analysis. Efficiency can be improved.
  • each spectrogram may be configured to have a different concentration of the frequency spectrum.
  • the processor 110 may obtain sleep stage information by processing the spectrogram (SP) as an input to a sleep analysis model.
  • the sleep analysis model is a model for obtaining sleep stage information related to changes in the user's sleep stage, and can output sleep stage information by inputting sleep sound information acquired during the user's sleep.
  • the sleep analysis model may include a neural network model constructed through one or more network functions.
  • Figure 9 is a schematic diagram showing one or more network functions for performing the sleep analysis method according to the present invention.
  • a sleep analysis model is comprised of one or more network functions, and one or more network functions may be comprised of a set of interconnected computational units, which may generally be referred to as 'nodes'. These 'nodes' may also be referred to as 'neurons'.
  • One or more network functions are composed of at least one or more nodes. Nodes (or neurons) that make up one or more network functions may be interconnected by one or more 'links'.
  • one or more nodes connected through a link may form a relative input node and output node relationship.
  • the concepts of input node and output node are relative, and any node in an output node relationship with one node may be in an input node relationship with another node, and vice versa.
  • input node to output node relationships can be created around links.
  • One or more output nodes can be connected to one input node through a link, and vice versa.
  • the value of the output node may be determined based on data input to the input node.
  • the nodes connecting the input node and the output node may have a weight. Weights may be variable and may be varied by the user or algorithm in order for the neural network to perform the desired function. For example, when one or more input nodes are connected to one output node by respective links, the output node is set to the values input to the input nodes connected to the output node and the links corresponding to each input node. The output node value can be determined based on the weight.
  • one or more nodes are interconnected through one or more links to form an input node and output node relationship within the neural network.
  • the characteristics of the neural network may be determined according to the number of nodes and links within the neural network, the correlation between the nodes and links, and the value of the weight assigned to each link. For example, if there are two neural networks with the same number of nodes and links and different weight values between the links, the two neural networks may be recognized as different from each other.
  • Some of the nodes constituting the neural network may form one layer based on the distances from the first input node.
  • a set of nodes with a distance n from the initial input node may constitute n layers.
  • the distance from the initial input node can be defined by the minimum number of links that must be passed to reach the node from the initial input node.
  • this definition of a layer is arbitrary for explanation purposes, and the order of a layer within a neural network may be defined in a different way than described above.
  • a layer of nodes may be defined by distance from the final output node.
  • the initial input node may refer to one or more nodes in the neural network through which data is directly input without going through links in relationships with other nodes. Alternatively, in the relationship between nodes based on a link within a neural network, it may refer to nodes that do not have other input nodes connected by a link. Similarly, the final output node may refer to one or more nodes that do not have an output node in their relationship with other nodes among the nodes in the neural network. Additionally, hidden nodes may refer to nodes constituting a neural network other than the first input node and the last output node.
  • the neural network according to an embodiment of the present invention may have more nodes in the input layer than the nodes in the hidden layer close to the output layer, and may be a neural network in which the number of nodes decreases as it progresses from the input layer to the hidden layer.
  • a neural network may contain one or more hidden layers.
  • the hidden node of the hidden layer can take the output of the previous layer and the output of surrounding hidden nodes as input.
  • the number of hidden nodes for each hidden layer may be the same or different.
  • the number of nodes in the input layer may be determined based on the number of data fields of the input data and may be the same as or different from the number of hidden nodes.
  • Input data input to the input layer can be operated by the hidden node of the hidden layer and output by the fully connected layer (FCL), which is the output layer.
  • FCL fully connected layer
  • a deep neural network may refer to a neural network that includes multiple hidden layers in addition to the input layer and output layer. Deep neural networks allow you to identify latent structures in data. In other words, it is possible to identify the potential structure of a photo, text, video, voice, or music (e.g., what object is in the photo, what the content and emotion of the text are, what the content and emotion of the voice are, etc.) .
  • Deep neural networks include convolutional neural networks (CNN), recurrent neural networks (RNN), auto encoders, generative adversarial networks (GAN), and restricted Boltzmann machines (RBMs). boltzmann machine), deep belief network (DBN), Q network, U network, Siamese network, Transformer, Vision Transformer (ViT), Mobile Vision Transformer (ViT), etc.
  • CNN convolutional neural networks
  • RNN recurrent neural networks
  • GAN generative adversarial networks
  • RBMs restricted Boltzmann machines
  • boltzmann machine deep belief network
  • DNN deep belief network
  • Q network deep belief network
  • U network Siamese network
  • Transformer Vision Transformer
  • ViT Mobile Vision Transformer
  • ViT Mobile Vision Transformer
  • the network function may include an auto encoder.
  • An autoencoder may be a type of artificial neural network to output output data similar to input data.
  • the autoencoder may include at least one hidden layer, and an odd number of hidden layers may be placed between input and output layers.
  • the number of nodes in each layer may be reduced from the number of nodes in the input layer to an intermediate layer called the bottleneck layer (encoding), and then expanded symmetrically and reduced from the bottleneck layer to the output layer (symmetrical to the input layer).
  • the nodes of the dimensionality reduction layer and dimensionality restoration layer may or may not be symmetric. Autoencoders can perform nonlinear dimensionality reduction.
  • the number of input layers and output layers may correspond to the number of sensors remaining after preprocessing of the input data.
  • the number of nodes in the hidden layer included in the encoder may have a structure that decreases as the distance from the input layer increases. If the number of nodes in the bottleneck layer (the layer with the fewest nodes located between the encoder and decoder) is too small, not enough information may be conveyed, so if it is higher than a certain number (e.g., more than half of the input layers, etc.) ) may be maintained.
  • a certain number e.g., more than half of the input layers, etc.
  • a neural network may be trained in at least one of supervised learning, unsupervised learning, and semi-supervised learning. Learning of a neural network is intended to minimize errors in output.
  • learning data is repeatedly input into the neural network, the output of the neural network and the error of the target for the learning data are calculated, and the error of the neural network is transferred from the output layer of the neural network to the input layer in the direction of reducing the error. This is the process of updating the weight of each node in the neural network through backpropagation.
  • supervised learning learning data in which the correct answer is labeled for each learning data is used (i.e., labeled learning data), and in the case of unsupervised learning, the correct answer may not be labeled in each learning data.
  • the learning data may be data in which each training data is labeled with a category. Labeled training data is input to the neural network, and the error can be calculated by comparing the output (category) of the neural network with the label of the training data.
  • the error can be calculated by comparing the input training data with the neural network output. The calculated error is backpropagated in the reverse direction (i.e., from the output layer to the input layer) in the neural network, and the connection weight of each node in each layer of the neural network can be updated according to backpropagation. The amount of change in the connection weight of each updated node may be determined according to the learning rate.
  • the neural network's calculation of input data and backpropagation of errors can constitute a learning cycle (epoch).
  • the learning rate may be applied differently depending on the number of repetitions of the learning cycle of the neural network. For example, in the early stages of neural network training, a high learning rate can be used to increase efficiency by allowing the neural network to quickly achieve a certain level of performance, and in the later stages of training, a low learning rate can be used to increase accuracy.
  • the training data can generally be a subset of real data (i.e., the data to be processed using the learned neural network), and thus the error for the training data is reduced, but the error for the real data is reduced. There may be an incremental learning cycle.
  • Overfitting is a phenomenon in which errors in actual data increase due to excessive learning on training data. For example, a phenomenon in which a neural network that learned a cat by showing a yellow cat fails to recognize that it is a cat when it sees a non-yellow cat may be a type of overfitting. Overfitting can cause errors in AI algorithms to increase. To prevent such overfitting, various optimization methods can be used. To prevent overfitting, methods such as increasing the learning data, regularization or regularization, and dropout, which omits some of the network nodes during the learning process, can be applied.
  • the data structure may include a neural network.
  • the data structure including the neural network may be stored in a computer-readable medium.
  • Data structures including neural networks may also include data input to the neural network, weights of the neural network, hyperparameters of the neural network, data obtained from the neural network, activation functions associated with each node or layer of the neural network, and loss functions for learning the neural network.
  • a data structure containing a neural network may include any of the components disclosed above. In other words, the data structure including the neural network is all or It may be configured to include any combination of these.
  • a data structure containing a neural network may include any other information that determines the characteristics of the neural network. Additionally, the data structure may include all types of data used or generated in the computational process of a neural network and is not limited to the above.
  • Computer-readable media may include computer-readable recording media and/or computer-readable transmission media.
  • a neural network can generally consist of a set of interconnected computational units, which can be referred to as nodes. These nodes may also be referred to as neurons.
  • a neural network consists of at least one node.
  • Figure 10 is a diagram illustrating the structure of a sleep analysis model using deep learning to analyze a user's sleep, according to an embodiment of the present invention.
  • the sleep analysis model provides sleep stage information by classifying each of the features extracted through the feature extraction model and the feature extraction model into one or more sleep stages, which extracts one or more features for each predetermined epoch. It may include a feature classification model to be created.
  • the sleep analysis model (code A) using deep learning for analyzing the user's sleep disclosed in Figure 10 includes a feature extraction model (code B), an intermediate layer (code C), and a feature classification model.
  • Sleep information inference (code E) can be performed through (code D).
  • the sleep analysis model (code A) using deep learning which is composed of a feature extraction model (code B), an intermediate layer (code C), and a feature classification model (code D), learns time-series features and features from multiple images. All of this is done, and the sleep analysis model (code A) using deep learning learned through this can infer the sleep stage in the entire sleep time and can infer sleep events that occur in real time.
  • the feature extraction model (code B) is input using sleep sound information or converted spectrogram input to a sleep analysis model (code A) using deep learning to analyze sleep. Features of the information can be extracted.
  • the feature extraction model (code B) can be constructed through an independent deep learning model (preferably MobileVITV2, Transformer, etc.) learned through a training data set.
  • the feature extraction model (symbol B) can be learned through supervised learning or unsupervised learning methods.
  • a feature extraction model can be trained to output output data similar to input data through a learning data set.
  • the feature extraction model (code B) may be trained by a one-to-one proxy task. Additionally, in the process of learning to extract sleep state information for one spectrogram, it can be learned to extract features by combining a feature extraction model and another NN (Neural Network).
  • NN Neuron
  • information input to a sleep analysis model (symbol A) using deep learning may be a spectrogram.
  • FIG. 6A is an exemplary diagram illustrating a process of acquiring sleep sound information from environmental sensing information related to an embodiment of the present invention.
  • the feature extraction model can extract features related to breathing sounds, breathing patterns, and movement patterns by analyzing the time-series frequency pattern of the spectrogram (SP).
  • the feature extraction model may be constructed from part of a neural network model (e.g., an autoencoder) that has been pre-trained on a training data set.
  • the feature extraction model may be constructed through an encoder in an autoencoder learned through a training data set.
  • Autoencoders can be learned through unsupervised learning methods.
  • An autoencoder can be trained to output output data similar to input data through a training data set.
  • the output data of the hidden layer may be an approximation of the input data (i.e., spectrogram) rather than a perfect copy value.
  • the autoencoder can be trained to adjust the weights so that the output data and input data are as equal as possible.
  • each of the plurality of spectrograms included in the learning data set may be tagged with sleep stage information.
  • Each of the plurality of spectrograms may be input to the encoder, and the output corresponding to each spectrogram may be stored by matching the tagged sleep stage information.
  • first learning data sets i.e., multiple spectrograms
  • first sleep stage information e.g., light sleep
  • the output of the encoder for the corresponding input is related to the input of the encoder.
  • Features may be stored by matching first sleep stage information.
  • one or more features associated with the output of an encoder may be represented in a vector space.
  • the feature data output corresponding to each of the first learning data sets is output through a spectrogram related to the first sleep stage, they may be located at a relatively close distance in the vector space. That is, the encoder can be trained so that a plurality of spectrograms output similar features corresponding to each sleep stage.
  • the decoder can be trained to extract features that enable it to well recover the input data. Therefore, as the feature extraction model is implemented through an encoder among the learned autoencoders, features (i.e., multiple features) that enable the input data (i.e., spectrogram) to be well restored can be extracted.
  • the encoder that configures the feature extraction model through the above-described learning process receives a spectrogram (for example, a spectrogram converted in response to sleep sound information) as input, it can extract features corresponding to the spectrogram.
  • a spectrogram for example, a spectrogram converted in response to sleep sound information
  • the processor 630 processes the spectrogram (SP) generated in response to the sleep sound information (SS) as an input to the feature extraction model to extract features. You can.
  • SP spectrogram
  • SS sleep sound information
  • the processor 630 may divide the spectrogram (SP) into predetermined epochs.
  • the processor 630 may obtain a plurality of spectrograms by dividing the spectrogram (SP) corresponding to the sleep sound information (SS) into 30-second increments.
  • the processor 630 may obtain 840 spectrograms by dividing the spectrogram in 30-second increments.
  • the processor 630 may process each of the plurality of divided spectrograms as input to a feature extraction model to extract a plurality of features corresponding to each of the plurality of spectrograms.
  • the number of spectrograms is 840
  • the number of features extracted by the feature extraction model correspondingly may also be 840.
  • the above-described specific numerical description regarding the spectrogram and number of features is only an example, and the present invention is not limited thereto.
  • the processor 630 may obtain sleep stage information by processing a plurality of features output through the feature extraction model as input to a feature classification model.
  • the feature classification model may be a neural network model pre-trained to predict sleep stages corresponding to features.
  • the feature classification model includes a fully connected layer and may be a model that classifies features into at least one of the sleep stages. For example, when the feature classification model inputs the first feature corresponding to the first spectrogram, it may classify the first feature as shallow water.
  • processors disclosed in the present invention e.g., processor 110, processor 210, control unit 380, etc. can also perform the above-described operations.
  • the feature classification model (code D) processes a plurality of features obtained through the feature extraction model (code B) and the middle layer (code C) as input to the feature classification model (code D) to infer sleep information (code You can proceed with E).
  • the feature classification model may be a neural network model modeled to infer sleep information corresponding to the feature.
  • the feature classification model (code D) may be configured to include a fully connected layer and may be a model that classifies a feature as at least one of sleep information.
  • a feature classification model (code D) inputs a feature corresponding to a spectrogram
  • the feature can be classified as REM sleep.
  • a feature classification model (symbol D) inputs a feature corresponding to a spectrogram, it can classify the feature as apnea during sleep.
  • the processor 110 may obtain sleep state information by processing a plurality of features output through the feature extraction model as input to a feature classification model.
  • the feature classification model may be a neural network model modeled to predict sleep stages in response to features.
  • the feature classification model includes a fully connected layer and may be a model that classifies features into at least one of the sleep stages. For example, when the feature classification model inputs the first feature corresponding to the first spectrogram, the first feature may be classified as shallow water.
  • the feature classification model can perform multi-epoch classification to predict sleep stages of multiple epochs by using spectrograms related to multiple epochs as input.
  • Multi-epoch classification does not provide one sleep stage analysis information in response to the spectrogram of a single epoch (i.e., one spectrogram corresponding to 30 seconds), but spectrograms corresponding to multiple epochs (i.e. It may be used to estimate several sleep stages (e.g., changes in sleep stages according to time changes) at once by using a combination of spectrograms (each corresponding to 30 seconds) as input.
  • the feature classification model may input 40 spectrograms (e.g., 40 spectrograms corresponding to 30 seconds each) and perform prediction for the 20 spectrograms located in the center. That is, all spectrograms from 1 to 40 are examined, but the sleep stage can be predicted through classification corresponding to the spectrograms corresponding to 10 to 20.
  • the detailed numerical description of the number of spectrograms described above is only an example, and the present invention is not limited thereto.
  • spectrograms corresponding to multiple epochs are used as input so that all information related to the past and future can be considered. By doing so, the accuracy of output can be improved.
  • Figure 6b is a diagram for explaining sleep stage analysis using a spectrogram in the sleep analysis method according to the present invention.
  • the second analysis based on sleep acoustic information uses the sleep analysis model described above, as shown in Figure 6b.
  • the corresponding sleep stage (Wake, REM, Light, Deep) can be immediately inferred.
  • secondary analysis based on sleep sound information can extract the time when sleep disorders (sleep apnea, hyperventilation) or snoring occurred through the singularity of the Mel spectrum corresponding to the sleep stage.
  • Figure 6c is a diagram for explaining sleep disorder determination using a spectrogram in the sleep analysis method according to the present invention.
  • the breathing pattern is analyzed in one Mel spectrogram, and if characteristics corresponding to a sleep apnea or hyperpnea event are detected, the point in time can be determined as the time when the sleep disorder occurred. there is. At this time, a process of classifying snoring as snoring rather than sleep apnea or hyperpnea through frequency analysis may be further included.
  • Figure 4 is a diagram showing an experimental process for verifying the performance of the sleep analysis method according to the invention.
  • the user's sleep image and sleep sound are acquired in real time, and the acquired environmental sensing information or sleep sound information includes information on the frequency domain or changes in the frequency components of the acquired information along the time axis. It can be converted into information that it contains.
  • the user's sleep sound information may be converted into a spectrogram. At this time, a preprocessing process of environmental sensing information or sleep sound information may be performed.
  • At least one of data converted into information including changes in the frequency components along the time axis, information on the converted frequency domain, or a spectrogram is input to the sleep analysis model to analyze the sleep stage. It can be. Conversion of information according to an embodiment of the present invention may be performed in real time.
  • the operation may be performed as follows.
  • converted information or a spectrogram containing time series information can be used as input to a CNN-based deep learning model to output a vector with reduced dimensionality.
  • a vector containing implied time series information can be output.
  • the output vector of the transformer-based deep learning model is input to a 1D CNN (1D Convolutional Neural Network) so that the average pooling technique can be applied, and through averaging work on time series information, The process of converting time series information into an N-dimensional vector with implied time can also be performed.
  • the N-dimensional vector containing time series information corresponds to data that still contains time series information, although there is only a difference in resolution from the input data.
  • prediction of various sleep stages can be performed by performing multi-epoch classification on a combination of N-dimensional vectors containing output time series information.
  • continuous prediction of sleep state information can be performed by using the output vectors of transformer-based deep learning models as input to a plurality of fully connected layers (FC).
  • the operation can be performed as follows.
  • the processor according to an embodiment of the present invention can output a vector with reduced dimension by using information or a spectrogram containing time series information as input to a Mobile ViT-based deep learning model.
  • features can be extracted from each spectrogram as the output of a Mobile ViT-based deep learning model.
  • a vector containing time series information can be output by using a vector with a reduced dimension as an input to the intermediate layer.
  • the intermediate layer model may include at least one of the following steps: a linearization step to imply vector information, a layer normalization step to input the average and variance, or a dropout step to disable some nodes. there is.
  • overfitting can be prevented by performing a process of outputting a vector containing time series information by using a vector with a reduced dimension as an input to the intermediate layer.
  • sleep state information can be output by using the output vector of the intermediate layer as an input to a ViT-based deep learning model.
  • output sleep state information corresponding to at least one of information including changes along the time axis of the frequency components, information in the frequency domain containing time series information, a spectrogram, or a mel spectrogram. can do.
  • information on the frequency domain containing time series information, a spectrogram, or At least one of the Mel spectrograms is composed of a series, and sleep state information corresponding to the information composed of the series can be output.
  • various deep learning models in addition to the above-mentioned AI model may be employed to perform learning or inference, and specific descriptions related to the types of deep learning models described above are provided. is merely an example, and the present invention is not limited thereto.
  • the processor 630 may obtain information or a spectrogram including changes in the frequency components of the sleep sound information along the time axis based on the sleep sound information.
  • conversion of the sleep sound information into information or a spectrogram containing changes along the time axis of the frequency components may be intended to facilitate analysis of breathing or movement patterns related to relatively small sounds.
  • the processor 630 utilizes a sleep analysis model including a feature extraction model and a feature classification model to determine sleep based on information or a spectrogram including changes along the time axis of the frequency components of the acquired sleep sound information. Step information can be generated.
  • the sleep analysis model uses as input information or spectrograms that include changes along the time axis of the frequency components of sleep sound information corresponding to multiple epochs so that both past and future information can be considered, and sleep stages are determined. Since prediction can be performed, more accurate sleep stage information can be output.
  • the processor 630 may output sleep stage information corresponding to sleep sound information using the sleep analysis model described above.
  • sleep stage information may be information related to sleep stages that change during the user's sleep.
  • sleep stage information may refer to information about changes in the user's sleep to light sleep, normal sleep, deep sleep, or REM sleep at each time point during the user's 8 hours of sleep last night.
  • the above-described sleep stage information is only an example, and the present invention is not limited thereto.
  • the above-described operation may also be performed by a processor (eg, processor 110 or processor 210, etc.) of devices according to other embodiments of the present invention.
  • an inference model is created to extract the user's sleep state and sleep stage through deep learning of environmental sensing information.
  • environmental sensing information including sound information is converted into a spectrogram, and an inference model is created based on the spectrogram.
  • the inference model according to an embodiment of the present invention may be built in the computing device 100 or the environment creation device 400 of FIG. 1F, as described above.
  • the inference model according to an embodiment of the present invention may be built in the device 100a that generates image-guided information or the device 200a that provides image-guided information, but is not limited to this.
  • it can be built in the user terminal 300, the external terminal 200, and the electronic device 600.
  • environmental sensing information including user sound information acquired through the user terminal 300 is input to the corresponding inference model, and sleep state information and/or sleep stage information are output as result values.
  • learning and inference may be performed by the same entity, but learning and inference may also be performed by separate entities.
  • both learning and inference can be performed by the device 100a that generates image-guided information or the device 200a that provides image-guided information, and learning is performed by the device 100a that generates image-guided information or the device 200a that provides image-guided information.
  • inference may be performed in the information providing device 200a, inference may be performed in the user terminal 300.
  • both learning and inference are performed using the user terminal 300. It can be performed by .
  • both learning and inference may be performed by the computing device 100 of FIG. 1F or the environment control device 400 of FIG. 1G, and learning is performed in the computing device 100 but inference is performed in the user terminal 300.
  • Learning may be performed in the computing device 100, but inference may be performed in the environment creation device 30 implemented with smart home appliances (TV, lighting, refrigerator, air purifier), etc.
  • the processor 110 may obtain sleep state information based on environmental sensing information. Specifically, the processor 110 may identify a singularity in which information of a preset pattern is sensed in the environmental sensing information.
  • the preset pattern information may be related to breathing and movement patterns related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed.
  • the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder.
  • the processor 110 may identify the point in time at which sound information of a preset pattern related to regular breathing, small body movement, or small breathing sounds is detected as a singular point in the environmental sensing information. Additionally, the processor 110 may acquire sleep sound information based on environmental sensing information obtained based on the identified singularity. The processor 110 may identify a singularity related to the user's sleep timing from environmental sensing information acquired in time series and obtain sleep sound information based on the singularity.
  • the processor 110 may identify a singularity (P) related to the point in time at which a preset pattern is identified from the environmental sensing information (E).
  • the processor 110 may acquire sleep sound information (SS) based on the identified singularity and acoustic information acquired after the singularity.
  • the waveforms and singularities related to sound in FIG. 5 are merely examples for understanding the present invention, and the present invention is not limited thereto.
  • the processor 110 can identify singularities related to the user's sleep from environmental sensing information, thereby extracting and obtaining only sleep sound information from a vast amount of acoustic information (i.e., environmental sensing information) based on the singularities. This provides convenience by allowing users to automate the process of recording their sleep time, and can also contribute to improving the accuracy of acquired sleep sound information.
  • the processor 110 may obtain sleep state information related to whether the user is before sleep or in sleep based on the singularity (P) identified from the environmental sensing information (E). Specifically, if the singular point (P) is not identified, the processor 110 may determine that the user is before sleeping, and if the singular point (P) is identified, the processor 110 may determine that the user is sleeping after the singular point (P). there is. In addition, after the outlier P is identified, the processor 110 identifies a time point (e.g., waking up time) at which a preset pattern is not observed, and when the corresponding time point is identified, it determines that the user has woken up after sleeping. can do.
  • a time point e.g., waking up time
  • the processor 110 determines whether the user is before, during, or during sleep based on whether a singular point (P) is identified in the environmental sensing information (E) and whether a preset pattern is continuously detected after the singular point is identified. Sleep state information related to whether or not the user is awake can be obtained.
  • sleep state information may include information related to whether the user is sleeping.
  • the sleep state information may include at least one of first sleep state information indicating that the user is before sleep, second sleep state information indicating that the user is sleeping, and third sleep state information indicating that the user is after sleep.
  • the processor 110 may determine that the user is in a pre-sleep state (i.e., before going to bed), and the second sleep state information is inferred. In this case, it may be determined that the user is in a sleeping state, and if third sleep state information is obtained, it may be determined that the user is in a post-sleep state (i.e., waking up).
  • the sleep state information may include information (e.g., sleep event information) about at least one of sleep apnea, snoring, tossing and turning, coughing, sneezing, or bruxism, in addition to information related to the user's sleep stage.
  • information e.g., sleep event information
  • acoustic information acquired over a long time interval may be required.
  • a relatively short time interval (e.g., 1) before and after the corresponding sleep state occurs. minutes) may require acoustic information acquired.
  • This sleep state information may be obtained based on environmental sensing information.
  • Environmental sensing information may include sensing information obtained in a non-contact manner in the space where the user is located.
  • the processor 110 may obtain sleep state information based on at least one of acoustic information, actigraphy, biometric information, and environmental sensing information obtained from the user terminal 300. Specifically, the processor 110 may identify a singularity in acoustic information.
  • the uniqueness of the acoustic information may be related to breathing and movement patterns related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed.
  • the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder.
  • the processor 110 may identify the point in time at which a pattern of acoustic information related to regular breathing, small body movements, or small breathing sounds is detected as a singular point in the acoustic information. Additionally, the processor 110 may obtain sleep sound information based on sound information obtained based on the identified singularity. The processor 110 may identify a singularity related to the user's sleep time from the sound information acquired in time series and obtain sleep sound information based on the singularity.
  • the processor 110 may obtain environmental sensing information.
  • environmental sensing information may be obtained through the user terminal 300 carried by the user.
  • environmental sensing information related to the space where the user is active may be obtained through the user terminal 300 carried by the user, and the processor 110 may receive the corresponding environmental sensing information from the user terminal 300.
  • the processor 110 may acquire sleep sound information based on environmental sensing information.
  • Environmental sensing information may be acoustic information acquired in a non-contact manner during the user's daily life.
  • environmental sensing information may include various sound information acquired according to the user's life, such as sound information related to cleaning, sound information related to cooking food, sound information related to watching TV, and sleep sound information acquired during sleep.
  • sleep sound information acquired during the user's sleep may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep. That is, sleep sound information in the present invention may mean sound information related to movement patterns and breathing patterns related to the user's sleep.
  • the electronic device 600 may also generate or infer sleep state information. If first sleep state information is inferred regarding the user, the processor 630 may determine that the user is in a pre-sleep state (i.e., before going to bed), and if second sleep state information is inferred, the processor 630 may determine that the user is in a pre-sleep state (i.e., before going to bed). It may be determined that the user is in a sleeping state, and when third sleep state information is obtained, it may be determined that the user is in a post-sleep state (i.e., waking up).
  • the processor 630 may obtain environmental sensing information.
  • environmental sensing information may be obtained through the user terminal 300 carried by the user.
  • environmental sensing information related to the space in which the user operates may be obtained through the user terminal 300 carried by the user, and the processor 630 may receive the corresponding environmental sensing information from the user terminal 300.
  • the processor 630 may acquire sleep sound information based on environmental sensing information.
  • the processor 110 may extract sleep stage information. Sleep stage information may be extracted based on the user's environmental sensing information. Sleep stages can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be further divided into multiple stages (e.g., stages 2 of light and deep, and stages 4 of N1 to N4). there is.
  • the sleep stage setting may be defined as a general sleep stage, but may also be arbitrarily set to various sleep stages depending on the designer. Through sleep stage analysis, it is possible to predict not only sleep-related sleep quality, but also sleep diseases (e.g. sleep apnea) and their underlying causes (e.g. snoring).
  • the processor 110 may generate product recommendation information and verification information related to sleep based on sleep stage information.
  • the processor 110 may generate environment composition information based on sleep stage information. For example, if the sleep stage is in the Ligh stage or N1 stage, environmental information can be generated to control environmental devices (lighting, air purifier, etc.) to induce deep sleep.
  • environmental devices lighting, air purifier, etc.
  • FIG. 3a is a diagram comparing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention.
  • the sleep stage information obtained according to the present invention not only closely matches polysomnography, but also contains more precise and meaningful information related to sleep stages (Wake, Light, Deep, REM).
  • the Hypnodensity graph shown at the bottom of FIG. 3A is a graph showing Sleep Stage Probability information indicating the probability of which sleep stage it belongs to among the four sleep stage classes.
  • Sleep Stage Probability information indicating the probability of which sleep stage it belongs to among the four sleep stage classes.
  • the sleep stage probability information may mean a numerical representation of the proportion of a certain sleep stage in a certain epoch when the sleep stages are classified.
  • the Hypnogram which is the graph shown above the Hypnodensity graph, can be obtained by determining the sleep stage with the highest probability from the Hypnodensity graph.
  • the sleep analysis results obtained according to the present invention showed very consistent performance when compared with the labeling data obtained through polysomnography.
  • Figure 16 is a diagram for explaining another example of a hypnogram displaying a sleep stage within a user's sleep period according to an embodiment of the present invention.
  • the hypnogram 1000 is generally obtained through electroencephalogram (EEGs), electrooculography (EOGs), electromyography (ElectroMyoGraphy), and polysomnography (PSG). can be obtained.
  • EEGs electroencephalogram
  • EOGs electrooculography
  • EMGs electromyography
  • PSG polysomnography
  • the hypnogram displayed as shown in FIG. 16 can express sleep stages by dividing them into REM sleep and non-REM sleep. For example, it can be expressed in four stages: REM sleep, deep sleep, light sleep, and waking.
  • the processor 630 may obtain sleep intention information based on environmental sensing information. According to one embodiment, the processor 630 may identify the type of sound included in environmental sensing information.
  • the processor 630 may calculate sleep intention information based on the number of types of identified sounds.
  • the processor 630 can calculate the sleep intention information at a lower level as the number of types of sounds increases, and can calculate the sleep intention information higher as the number of types of sounds decreases.
  • the processor 630 may calculate the sleep intention information as 2 points. Also, for example, when there is only one type of sound (eg, washing machine) included in the environmental sensing information, the processor 630 may calculate sleep intention information as 6 points.
  • the processor 630 can obtain sleep intention information related to how much the user intends to sleep according to the number of types of sounds included in the environmental sensing information. For example, as more types of sounds are identified, sleep intention information indicating that the user's sleep intention is lower (i.e., sleep intention information with a lower score) may be output.
  • processor 630 has been described, the above-described operation may be performed by another processor (eg, processor 110, processor 210, control unit 380, etc.) disclosed in the present invention.
  • the processor 110 may generate or record an intent score table by pre-matching different intent scores to each of a plurality of acoustic information.
  • the first sound information related to the washing machine may be pre-matched with an intention score of 2 points
  • the second sound information related to the sound of the humidifier may be pre-matched with an intent score of 5 points
  • the intent score related to the voice may be pre-matched.
  • An intent score of 1 point may be matched to the third sound information.
  • the processor 110 pre-matches a relatively high intent score for sound information related to the user's sleep (e.g., sounds generated as the user is active, such as vacuum cleaner, dishwashing, voice sound, etc.), and not related to the user's sleep.
  • An intent score table can be created by pre-matching relatively low intent scores for acoustic information (e.g., sounds unrelated to the user's activities, vehicle noise, rain sounds, etc.).
  • acoustic information e.g., sounds unrelated to the user's activities, vehicle noise, rain sounds, etc.
  • the specific numerical description of the intention score matched to each sound information described above is only an example, and the present invention is not limited thereto.
  • the processor 110 may obtain sleep intention information based on environmental sensing information and an intention score table. Specifically, the processor 110 may record an intention score matched to the identified sound in response to a point in time when at least one of the plurality of sounds included in the intention score table is identified in the environmental sensing information. For a specific example, in the process of acquiring environmental sensing information in real time, when the sound of a vacuum cleaner is identified in response to the first time point, the processor 110 matches 2 intent scores matched to the sound of the vacuum cleaner to the first time point It can be recorded. In the process of acquiring environment scene information, the processor 110 may match and record the intent score matched to the identified sound at that time whenever each of the various sounds is identified.
  • processor 110 may obtain sleep intention information based on the sum of intention scores obtained over a predetermined period of time (eg, 10 minutes). For a specific example, the higher the intention score obtained for 10 minutes, the higher the sleep intention information can be obtained, and the lower the intention score obtained for 10 minutes, the lower the sleep intention information can be obtained.
  • a predetermined period of time eg, 10 minutes.
  • the processor 110 may obtain sleep intention information related to how much the user intends to sleep according to the characteristics of the sound included in the environmental sensing information. For example, as sounds related to the user's activity are identified, sleep intention information indicating that the user's sleep intention is low (i.e., sleep intention information with a low score) may be output.
  • processor 630 operations of the processor 110
  • processor 210 processor 210
  • control unit 380 control unit 380
  • Sleep events include various events that may occur during sleep, such as snoring, sleep breathing (for example, including information related to sleep apnea), and bruxism.
  • sleep event information indicating that a predetermined sleep event has occurred or sleep event probability information indicating the probability of determining that a predetermined sleep event has occurred can be generated.
  • sleep breathing information which is an example of sleep event information, will be described.
  • Figure 3c is a graph verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results in relation to sleep apnea and hypoventilation and the results according to the present invention.
  • PSG polysomnography
  • This is a diagram comparing the analysis results (AI results) using AI algorithms.
  • the probability graph shown at the bottom of FIG. 3C shows the probability of which of the two diseases (sleep apnea and hypoventilation) it belongs to in 30-second increments when predicting a sleep disease by receiving user sleep sound information.
  • the graph shown in the middle of the three graphs shown in FIG. 3C can be obtained by determining the disease with the highest probability from the probability graph shown below.
  • the sleep state information obtained according to the present invention showed performance very consistent with polysomnography.
  • a sleep disorder sleep hyperventilation, sleep hypopnea
  • stimulation tacrine, auditory, olfactory, etc.
  • the sleep disorder may be temporarily alleviated.
  • the probability graph according to an embodiment of the present invention may indicate the probability of which of the two diseases (sleep apnea, hypoventilation) falls into the 30 second unit when predicting a sleep disease by receiving user sleep sound information. It is not limited to seconds.
  • the graph shown in the middle of the three graphs shown in FIG. 3C can be obtained by determining the disease with the highest probability from the probability graph shown below.
  • the sleep state information obtained according to the present invention showed performance very consistent with polysomnography.
  • a sleep disorder sleep hyperventilation, sleep hypopnea
  • stimulation tacrine, auditory, olfactory, etc.
  • the sleep disorder may be temporarily alleviated.
  • CONCEPT-A One embodiment of a multimodal sleep state information analysis method (CONCEPT-A)
  • Figure 46 is a flowchart illustrating a method for analyzing sleep state information including the process of combining sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
  • a method for analyzing sleep state information using sleep sound information and sleep environment information in a multimodal manner includes a first method of acquiring sound information in the time domain related to the user's sleep.
  • S600 An information acquisition step
  • S602 a step of preprocessing the first information
  • S610 second information acquisition step of acquiring user sleep environment information related to the user's sleep
  • S612 a step of performing preprocessing of the second information
  • S620 a combining step of combining multi-modal data
  • S630 deep learning model
  • sound information in the time domain related to the user's sleep may be acquired from the user terminal 300.
  • Sound information in the time domain related to the user's sleep may include sound source information obtained from the sound source detection unit of the user terminal 300.
  • sleep sound information in the time domain is converted into information including changes in the frequency component along the time axis or information in the frequency domain. can do.
  • information in the frequency domain may be expressed as a spectrogram, which may be a Mel spectrogram to which the Mel scale is applied.
  • a spectrogram By converting to a spectrogram, user privacy can be protected and the amount of data processing can be reduced.
  • information converted from sleep sound information in the time domain is visualized, and in this case, sleep state information can be obtained through image analysis by using it as input to an image processing-based artificial intelligence model.
  • the step of performing data preprocessing of the first information may further include extracting features based on the acoustic information.
  • the user's sleep breathing pattern can be extracted based on the acquired acoustic information in the time domain.
  • the acquired acoustic information in the time domain can be converted into information including changes in frequency components along the time axis, and the user's breathing pattern can be extracted based on the converted information.
  • acoustic information on the time domain may be converted into information on the frequency domain, and the user's sleep breathing pattern may be extracted based on the acoustic information on the frequency domain.
  • the converted information is visualized and can be used as input to an image processing-based artificial intelligence model to output information such as the user's breathing pattern.
  • the step of performing data preprocessing of the first information may include a data augmentation process to obtain a sufficient amount of meaningful data to input sleep sound information into a deep learning model.
  • Data augmentation techniques may include pitch shifting (Pitch Shifting) augmentation, TUT (Tile UnTile) augmentation, and noise-added augmentation.
  • Pitch Shifting Pitch Shifting
  • TUT Tile UnTile
  • noise-added augmentation Pitch Shifting
  • the above-described augmentation technique is merely an example, and the present invention is not limited thereto.
  • the time required for hardware to process data can be shortened by the method added by Mel Scale.
  • the second information acquisition step (S610) of acquiring user sleep environment information related to the user's sleep may acquire user sleep environment information through the user terminal 300, an external server, or a network.
  • the user's sleep environment information may refer to information related to sleep obtained in the space where the user is located.
  • Sleep environment information may be sensing information (eg, environmental sensing information) obtained in a space where the user is located through a non-contact method.
  • Sleep environment information may be breathing movement and body movement information measured through radar.
  • Sleep environment information may be information related to the user's sleep obtained from a smart watch, smart home appliance, etc.
  • Sleep environment information may be a photoplethysmography signal (PhotoPlethysmoGraphy).
  • Sleep environment information can be Heart Rate Variability (HRV) and heart rate obtained through PhotoPlethysmoGraphy (PPG), and photoplethysmography signals can be measured by smart watches and smart rings. There is. Sleep environment information may be an electroencephalography (EEG) signal. Sleep environment information may be an Actigraphy signal measured during sleep.
  • HRV Heart Rate Variability
  • PPG PhotoPlethysmoGraphy
  • EEG electroencephalography
  • Sleep environment information may be an Actigraphy signal measured during sleep.
  • the step of preprocessing the second information involves a data augmentation process to obtain a sufficient amount of meaningful data to input the data of the user's sleep environment information into a deep learning model. It can be included.
  • the preprocessing of the second information may include processing data of the user's sleep environment information to extract features.
  • the second information is a photoplethysmography signal (PPG)
  • HRV heart rate variability
  • heart rate can be extracted from the photoplethysmography signal.
  • the image information is subjected to TUT (Tile UnTile) augmentation and noise addition. May include augmentation.
  • TUT Tile UnTile
  • the above-described augmentation technique is merely an example of an augmentation technique for image information, and the present invention is not limited thereto.
  • the user's sleep environment information may be information in various storage formats. Various methods may be employed to augment the user's sleep environment information.
  • the step of combining the first information and the second information that have undergone a data preprocessing process into multimodal data combines the data to input the multimodal data to the deep learning model.
  • a method of combining multimodal data may be combining preprocessed first information and preprocessed second information into data of the same format.
  • the first information may be acoustic image information in the frequency domain
  • the second information may be heart rate image information in the time domain obtained from a smart watch. At this time, since the domains of the first information and the second information are not the same, they can be converted to the same domain and combined.
  • a method of combining multimodal data may be combining preprocessed first information and preprocessed second information into data of the same format.
  • the first information may be acoustic image information in the frequency domain
  • the second information may be heart rate image information in the time domain obtained from a smart watch.
  • each data can be labeled as being related to the first information and the second information.
  • the step of combining multimodal data may be performed by performing first information augmentation, performing second information augmentation, and then combining.
  • the first information may be acoustic information in the user's time domain
  • the second information may be a photoplethysmography signal (PPG), which may be combined into multimodal data.
  • the first information may be sound information on the user's time domain or a spectrogram converted from sound information on the time domain into sound information on the frequency domain
  • the second information may be a photoplethysmography signal (PPG), , this can be combined into multimodal data.
  • the step of combining multimodal data may be performed by performing first information augmentation, extracting second information augmentation and features, and combining them.
  • the first information may be the user's sound information in the time domain or a spectrogram converted from the sound information in the time domain to sound information in the frequency domain
  • the second information may be the heart rate obtained from the photoplethysmography signal (PPG). This can be HRV or heart rate, and can be combined into multimodal data.
  • the step of combining multimodal data (S620) may be performed by performing first information augmentation and feature extraction, and performing second information augmentation.
  • the first information may be the user's breathing pattern extracted based on the user's acoustic information
  • the second information may be heart rate variability (HRV) or heart rate obtained from the photoplethysmography signal (PPG). Rate), and this can be combined into multimodal data.
  • HRV heart rate variability
  • PPG photoplethysmography signal
  • first information augmentation and feature extraction may be performed, and second information augmentation and feature extraction may be performed and combined.
  • first information may be a user's breathing pattern extracted based on the user's acoustic information
  • second information may be heart rate variability (HRV) or heart rate obtained from a photoplethysmography signal (PPG). and can be combined into multimodal data.
  • HRV heart rate variability
  • PPG photoplethysmography signal
  • the step of inputting multimodal combined data into a deep learning model can process the data into a matching form required for inputting the deep learning model to input multimodal combined data.
  • the step of acquiring sleep state information as an output of a deep learning model is to infer sleep state information by using multimodal combined data as an input to a deep learning model for inferring sleep state information.
  • Sleep state information may be information about the user's sleep state.
  • the user's sleep state information may include sleep stage information expressing the user's sleep as a stage. Stages of sleep can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be further divided into multiple stages (e.g., stages 2 of light and deep, and stages 4 of N1 to N4). You can.
  • the sleep stage setting may be defined as a general sleep stage, but may also be arbitrarily set to various sleep stages depending on the designer.
  • the user's sleep state information may include sleep event information expressing sleep-related diseases that occur during the user's sleep or behavior during sleep.
  • sleep event information that occurs during the user's sleep may include sleep apnea and hypopnea information due to the user's sleep disease.
  • sleep event information that occurs during the user's sleep may include whether the user snores, the duration of snoring, whether the user talks in his sleep, the duration of the sleep talking, whether he tosses and turns, and the duration of the tossing and turning.
  • the user's sleep event information described is only an example for expressing events that occur during the user's sleep, and is not limited thereto.
  • Figure 47 is a flowchart illustrating a method for analyzing sleep state information including the step of combining the inferred sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
  • a method for analyzing sleep state information using sleep sound information and sleep environment information in a multimodal manner includes a first method of acquiring sound information in the time domain related to the user's sleep.
  • Information acquisition step (S700) performing preprocessing of the first information (S702), inferring information about sleep by using the first information as input to the deep learning model (S704), user sleep related to the user's sleep
  • a second information acquisition step of acquiring environmental information (S710), a step of preprocessing the second information (S712), a step of inferring information about sleep by using the second information as input to the deep learning model (S714) It may include a combining step of combining multi-modal data (S720) and a step of obtaining sleep state information by combining multi-modal data (S730).
  • the user terminal 300 may acquire sound information in the time domain related to the user's sleep.
  • Sound information in the time domain related to the user's sleep may include sound source information obtained from the sound source detection unit of the user terminal 300.
  • temporal acoustic information on the time domain is converted into information including changes in the frequency component along the time axis or information on the frequency domain. can do.
  • information in the frequency domain may be expressed as a spectrogram, which may be a Mel spectrogram to which the Mel scale is applied.
  • the step of performing data preprocessing of the first information may include a data augmentation process to obtain a sufficient amount of meaningful data to input sleep sound information into a deep learning model.
  • Data augmentation techniques may include pitch shifting (Pitch Shifting) augmentation, TUT (Tile UnTile) augmentation, and noise-added augmentation.
  • Pitch Shifting Pitch Shifting
  • TUT Tile UnTile
  • noise-added augmentation Pitch Shifting
  • the above-described augmentation technique is merely an example, and the present invention is not limited thereto.
  • the time required for hardware to process data can be shortened by the method added by Mel Scale.
  • the second information acquisition step (S710) of acquiring user sleep environment information related to the user's sleep may acquire user sleep environment information through the user terminal 300, an external server, or a network.
  • the user's sleep environment information may refer to information related to sleep obtained in the space where the user is located.
  • Sleep environment information may be sensing information obtained in a space where the user is located using a non-contact method.
  • Sleep environment information may be breathing movement and body movement information measured through radar.
  • Sleep environment information may be information related to the user's sleep obtained from a smart watch, smart home appliance, etc.
  • Sleep environment information may be Heart Rate Variability (HRV) and heart rate obtained through PhotoPlethysmoGraphy (PPG), and photoplethysmography signals can be measured by smart watches and smart rings. You can. Sleep environment information may be an electroencephalography (EEG) signal. Sleep environment information may be an Actigraphy signal measured during sleep.
  • HRV Heart Rate Variability
  • PPG PhotoPlethysmoGraphy
  • EEG electroencephalography
  • Sleep environment information may be an Actigraphy signal measured during sleep.
  • the step of preprocessing the second information involves a data augmentation process to obtain a sufficient amount of meaningful data to input the data of the user's sleep environment information into a deep learning model. It can be included.
  • the image information is converted to TUT (Tile UnTile) augmentation. and noise-added augmentation.
  • TUT Tile UnTile
  • noise-added augmentation augmentation technique
  • the above-described augmentation technique is merely an example of an augmentation technique for image information, and the present invention is not limited thereto.
  • the user's sleep environment information may be information in various storage formats. Various methods may be employed to augment the user's sleep environment information.
  • the step of inferring information about sleep by using the preprocessed first information as an input to a deep learning model involves inferring information about sleep by using the preprocessed first information as an input to a deep learning model. You can.
  • a previously learned deep learning model can use inferred data as input for self-learning through inferred data.
  • a deep learning sleep analysis model that infers information about sleep by using first information about sleep sounds as input may include a feature extraction model and a feature classification model.
  • the feature extraction model is a one-to-one proxy task (Proxy) in which one spectrogram is input and learned to predict sleep state information corresponding to one spectrogram. It can be pre-trained by task.
  • Proxy a one-to-one proxy task
  • learning may be performed by adopting the structure of FC (Fully Connected Layer) or FCN (Fully Connected Neural Network).
  • FC Full Connected Layer
  • FCN Fely Connected Neural Network
  • learning may be performed by adopting the structure of the intermediate layer.
  • the feature classification model inputs a plurality of consecutive spectrograms, predicts sleep state information of each spectrogram, and analyzes the sequence of the plurality of consecutive spectrograms. Thus, it can be learned to predict or classify overall sleep state information.
  • the step (S714) of inferring information about sleep by using the preprocessed second information as input to the inference model information about sleep can be inferred by using the pre-processed second information as input to the inference model.
  • the previously learned inference model may be the sleep deep learning sleep analysis model described above, but is not limited thereto, and the previously learned inference model may be an inference model of various types to achieve the purpose. A variety of methods can be used for the previously learned inference model.
  • the information is combined to determine sleep state information.
  • a method of combining multimodal data may be to combine sleep information inferred through preprocessed first information and information inferred through preprocessed second information into data of the same format.
  • the user's sleep state information in the step of acquiring sleep state information by combining multimodal data (S730), can be determined by combining data obtained through multimodality.
  • Sleep state information may be information about the user's sleep state.
  • the step of acquiring sleep state information by combining multimodal data includes the step of inferring information about sleep by using the preprocessed first information as an input to a deep learning model (S704).
  • the step (S714) of inferring information about sleep using the inferred hypnogram about the user's sleep and the preprocessed second information as input to the inference model the inferred hypnogram about the user's sleep is generated.
  • the step of acquiring sleep state information by combining multimodal data includes the step of inferring information about sleep by using the preprocessed first information as an input to a deep learning model (S704).
  • Graphs can be combined. For example, by substituting the probability of each hypnodensity graph into a formula, the sleep stage with the highest reliability at each time can be obtained as the user's sleep stage information.
  • each hypnodensity graph if the reliability over time exceeds the preset reliability threshold, it is adopted as the user's sleep stage information, and the sleep stage information whose reliability over time exceeds the preset reliability threshold is adopted as the user's sleep stage information. If there is no, sleep state information can be obtained by adopting it as sleep stage information through weighting.
  • the step of acquiring sleep state information by combining multimodal data includes the step of inferring information about sleep by using the preprocessed first information as an input to a deep learning model (S704).
  • a hypnodensity graph about the user's sleep inferred in the step (S714) of inferring information about sleep using the inferred hypnogram about the user's sleep and the preprocessed second information as input to the inference model. graph) can be combined. For example, if the reliability of the sleep stage displayed in the hypnogram and the hypnodensity graph exceeds a preset threshold, information on the user's sleep state can be obtained by adopting it as the user's sleep stage.
  • a weighted calculation is made and adopted as the user's sleep stage to obtain highly reliable user's sleep state information. You can.
  • the user's sleep state information may include sleep stage information expressing the user's sleep as a stage. Stages of sleep can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be further divided into multiple stages (e.g., stages 2 of light and deep, and stages 4 of N1 to N4). You can.
  • the sleep stage setting may be defined as a general sleep stage, but may also be arbitrarily set to various sleep stages depending on the designer.
  • the user's sleep state information may include sleep stage information indicating the user's sleep as a stage.
  • Methods for displaying sleep stages may include a Hypnogram, which displays sleep stages on a graph, and a Hypnodensity graph, which displays the probability of each sleep stage on a graph, but the display method is as follows. It is not limited.
  • the user's sleep state information may include sleep event information expressing sleep-related diseases that occur during the user's sleep or behavior during sleep.
  • sleep event information that occurs during the user's sleep may include sleep apnea and hypopnea information due to the user's sleep disease.
  • sleep event information that occurs during the user's sleep may include whether the user snores, the duration of snoring, whether the user talks in his sleep, the duration of the sleep talking, whether he tosses and turns, and the duration of the tossing and turning.
  • the user's sleep event information described is only an example for expressing events that occur during the user's sleep, and is not limited thereto.
  • CONCEPT-C One embodiment of a multimodal sleep state information analysis method
  • Figure 48 is a flowchart illustrating a method for analyzing sleep state information including the step of combining inferred sleep sound information with sleep environment information and multimodal data according to an embodiment of the present invention.
  • a method for analyzing sleep state information using sleep sound information and sleep environment information in a multimodal manner includes a first method of acquiring sound information in the time domain related to the user's sleep.
  • Information acquisition step (S800) performing preprocessing of the first information (S802), inferring information about sleep by using the first information as input to the deep learning model (S804), user sleep related to the user's sleep It may include a second information acquisition step of acquiring environmental information (S810), a combining step of combining multi-modal data (3220), and a step of acquiring sleep state information by combining multi-modal data (S830).
  • the first information acquisition step (S800) may acquire sound information in the time domain related to the user's sleep from the user terminal 300.
  • Sound information in the time domain related to the user's sleep may include sound source information obtained from the sound source detection unit of the user terminal 300.
  • temporal sound information on the time domain may be converted into information on the frequency domain.
  • information in the frequency domain may be expressed as a spectrogram, which may be a Mel spectrogram to which the Mel scale is applied.
  • the step of performing data preprocessing of the first information may include a data augmentation process to obtain a sufficient amount of meaningful data to input sleep sound information into a deep learning model.
  • Data augmentation techniques may include pitch shifting (Pitch Shifting) augmentation, TUT (Tile UnTile) augmentation, and noise-added augmentation.
  • Pitch Shifting Pitch Shifting
  • TUT Tile UnTile
  • noise-added augmentation Pitch Shifting
  • the above-described augmentation technique is merely an example, and the present invention is not limited thereto.
  • the time required for hardware to process data can be shortened by the method added by Mel Scale.
  • the second information acquisition step (S810) of acquiring user sleep environment information related to the user's sleep may acquire user sleep environment information through the user terminal 300, an external server, or a network.
  • the user's sleep environment information may refer to information related to sleep obtained in the space where the user is located.
  • Sleep environment information may be sensing information obtained in a space where the user is located using a non-contact method.
  • Sleep environment information may be breathing movement and body movement information measured through radar.
  • Sleep environment information may be information related to the user's sleep obtained from a smart watch, smart home appliance, etc.
  • Sleep environment information may be Heart Rate Variability (HRV) and heart rate obtained through PhotoPlethysmoGraphy (PPG), and photoplethysmography signals can be measured by smart watches and smart rings. You can.
  • Sleep environment information may be an electroencephalography (EEG) signal.
  • Sleep environment information may be an Actigraphy signal measured during sleep.
  • Sleep environment information may be labeling data representing user information. Specifically, the labeling data may include the user's age, disease status, physical condition, race, height, weight, and body mass index, and this is only an example of labeling data representing the user's information and is not limited thereto.
  • the above-described sleep environment information is only an example of information that may affect the user's sleep, and is not limited thereto.
  • step (S804) of inferring information about sleep by using the preprocessed first information as an input to the deep learning model information about sleep is inferred by using the pre-processed first information as an input to the deep learning model. You can.
  • a deep learning sleep analysis model that infers information about sleep by using first information about sleep sounds as input may include a feature extraction model and a feature classification model.
  • the feature extraction model is a one-to-one proxy task (Proxy) in which one spectrogram is input and learned to predict sleep state information corresponding to one spectrogram. It can be pre-trained by task.
  • Proxy a one-to-one proxy task
  • learning may be performed by adopting the structure of FC (Fully Connected Layer) or FCN (Fully Connected Neural Network).
  • FC Full Connected Layer
  • FCN Fely Connected Neural Network
  • learning may be performed by adopting the structure of the intermediate layer.
  • the feature classification model inputs a plurality of consecutive spectrograms, predicts sleep state information of each spectrogram, and analyzes the sequence of the plurality of consecutive spectrograms. Thus, it can be learned to predict or classify time-series sleep state information.
  • the step of combining the first information and the second information that have undergone a data preprocessing process into multimodal data combines the data to input the multimodal data to the deep learning model.
  • a method of combining multimodal data may be to combine sleep information inferred through preprocessed first information and information inferred through preprocessed second information into data of the same format.
  • the step of acquiring sleep state information by combining multi-modal data can determine the user's sleep state information by combining data obtained through multi-modality.
  • Sleep state information may be information about the user's sleep state.
  • the user's sleep state information may include sleep stage information expressing the user's sleep as a stage. Stages of sleep can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be further divided into multiple stages (e.g., stages 2 of light and deep, and stages 4 of N1 to N4). You can.
  • the sleep stage setting may be defined as a general sleep stage, but may also be arbitrarily set to various sleep stages depending on the designer.
  • the user's sleep state information may include sleep event information expressing sleep-related diseases that occur during the user's sleep or behavior during sleep.
  • sleep event information that occurs during the user's sleep may include sleep apnea and hypopnea information due to the user's sleep disease.
  • sleep event information that occurs during the user's sleep may include whether the user snores, the duration of snoring, whether the user talks in his sleep, the duration of the sleep talking, whether he tosses and turns, and the duration of the tossing and turning.
  • the user's sleep event information described is only an example for expressing events that occur during the user's sleep, and is not limited thereto.
  • analysis of sleep state information based on acoustic information may include a detection step for sleep events (eg, apnea, hypopnea, snoring, sleep talking, etc.).
  • sleep events eg, apnea, hypopnea, snoring, sleep talking, etc.
  • a detection step for sleep events eg, apnea, hypopnea, snoring, sleep talking, etc.
  • sleep events that occur during sleep have various characteristics related to sleep events. For example, there is no sound during an apnea event, but when the apnea event ends, a loud sound may be generated as air passes again, and sleep events can be detected by learning the characteristics of the apnea event in time series.
  • the deep neural network structure for analyzing the above-described sleep stages can be modified and used. Specifically, sleep stage analysis requires time-series learning of sleep sounds, but sleep event detection occurs on average between 10 and 60 seconds, so 1 epoch or 2 epochs of 30 seconds are used. ) is sufficient to accurately detect. Therefore, the deep neural network structure for analyzing sleep stages according to an embodiment of the present invention can reduce the amount of input and output of the deep neural network structure for analyzing sleep stages. For example, if the deep neural network structure for analyzing sleep stages processes 40 Mel spectrograms and outputs sleep stages of 20 epochs, the deep neural network structure for detecting sleep events processes 14 Mel spectrograms. Thus, the sleep event label of 10 epochs can be output.
  • sleep event labels may include, but are not limited to, no event, apnea, hypopnea, snoring, tossing and turning, etc.
  • a deep neural network structure for detecting sleep events that occur during sleep may include a feature extraction model and a feature classification model.
  • the feature extraction model extracts the features of sleep events found in each mel spectrogram
  • the feature classification model detects multiple epochs, finds epochs containing sleep events, and analyzes neighboring features to identify sleep events in time series. Types of events can be predicted and classified.
  • a method for detecting sleep events that occur during sleep may assign class weights to solve the class imbalance problem of each sleep event. Specifically, among sleep events that occur during sleep, “no event” may have a dominant effect on the overall sleep length, resulting in a decrease in sleep event learning efficiency. Therefore, by assigning a higher weight than “no event” to other sleep events, learning efficiency and accuracy can be improved.
  • the sleep event class is classified into three categories: “No event”, “Apnea”, and “Hypopnea”, in order to reduce the impact of "No event” on learning, "No event” has 1.0, " A weight of 1.3 can be assigned to “apnea” and a weight of 2.1 to “hypopnea.”
  • Figure 45 is a diagram for explaining consistency training according to an embodiment of the present invention.
  • the step of detecting a sleep event that occurs during sleep is to detect a sleep event that occurs during sleep in a home environment and a noise environment, and consistency training is performed as shown in Figure 45 as described above.
  • Consistency Training can be used.
  • Consistency Training is a type of semi-supervised learning model.
  • Consistency Training according to an embodiment of the present invention involves intentionally adding noise to one data, and intentionally adding noise to one data. This may be a method of performing learning with data that has not been added.
  • Consistency Training may be a method of performing learning by generating data of a virtual sleep environment using noise of the target environment.
  • Noise intentionally added according to an embodiment of the present invention may be noise of the target environment, where the noise of the target environment may be noise obtained in an environment other than polysomnography, for example.
  • various noises can be added by adjusting the SNR and type of noise to resemble the actual user's environment. Through this, you can collect and learn about the types of noise obtained in various laboratories and the noise that occurs in actual home environments.
  • corrupted data data to which noise is intentionally added
  • Corrupted data may preferably refer to data to which noise of the target environment has been intentionally added.
  • clean data data to which no noise is intentionally added will be referred to as clean data.
  • noise was intentionally added to the clean data, but noise may actually be included.
  • Clean data used for Consistency Training may be data acquired in a specific environment (preferably, a polysomnography environment), and corrupted data may be data obtained in a different environment or target environment (preferably, This may be data obtained in an environment other than polysomnography.
  • Corrupted data may be data in which noise acquired in another environment or a target environment (preferably, an environment other than polysomnography) is intentionally added to clean data.
  • Consistency Training when clean data and corrupted data are input to the same deep learning model, a loss function or consistency loss is defined so that each output is the same, learning to achieve consistent prediction. This can be done.
  • detection of sleep events may include home noise consistency training.
  • Consistency learning in the home environment can make the model perform robustly even against noise at home.
  • Consistency learning in a home environment can be made robust to noise by performing consistency learning so that the model outputs similar predictions regardless of whether there is noise or not.
  • sleep event detection that occurs during sleep can proceed with consistency learning in the home environment.
  • Consistency learning in the home environment may involve a consistency loss function.
  • consistency loss can be defined as the mean square error (MSE) between the prediction of a clean sleep breathing sound and the prediction of a corrupted version of that sound.
  • MSE mean square error
  • consistency learning in a home environment randomly samples data from the training noise to generate corrupted sounds, and adds noise to clean sleep breathing sounds with a random SNR between -20 and 5. can do.
  • consistency learning in a home environment can be done so that the length of the input sequence is 14 epochs and the total length of sampled noise is 7 minutes or more.
  • detecting a sleep event according to the present invention detects information within a shorter period of time compared to sleep stage analysis according to the present invention, and the accuracy of sleep event detection can be increased.
  • Figure 49 is a diagram illustrating a linear regression analysis function used to analyze AHI, which is a sleep apnea occurrence index, through sleep events that occur during sleep, according to an embodiment of the present invention.
  • the AHI index which means the number of respiratory events that occur per unit time (e.g., 1 hour) is, separately from sleep stage analysis, the length of an epoch for one sleep stage analysis and Analysis can be done independently. Specifically, two or three short sleep events may be included during one epoch, and one long sleep event may be included during multiple epochs.
  • sleep A regression analysis function can be used to estimate the number of actual events that occur from the number of epochs in which sleep events occur.
  • a RANSAC (Random Sample Consensus) regression analysis model can be used.
  • the RANSAC regression model is one of the methods for estimating the parameters of an approximate model (fitting model). It is a method of randomly selecting sample data and then selecting the model that matches the maximum.
  • a method for analyzing a sleep state according to an embodiment of the present invention may include analysis through a deep learning model.
  • the deep learning model according to an embodiment of the present invention is capable of multi-task learning and/or multi-task analysis.
  • multi-task learning and multi-task analysis can simultaneously learn tasks according to the above-described embodiments of the present invention (eg, multi-modal learning, real-time sleep event analysis, sleep stage analysis, etc.).
  • a deep learning model for analyzing sleep states is capable of multi-task learning and multi-task analysis.
  • a deep learning model may adopt a structure with multiple heads.
  • Each of the plurality of heads may be responsible for a specific task or task (eg, multimodal learning, real-time sleep event analysis, sleep stage analysis, etc.).
  • a deep learning model may have a structure with a total of three heads: a first head, a second head, and a third head, and the first head performs inference and/or classification on sleep stage information,
  • the second head may perform detection and/or classification of sleep apnea and hypopnea during the sleep event, and the third head may perform detection and classification of snoring during the sleep event.
  • the detailed description of the specific work or task of the head described above is only an example for explaining the present invention, and is not limited thereto.
  • the deep learning model according to the present invention can perform multi-task learning and analysis through a structure with multiple heads, and can optimize multiple tasks or specific tasks by increasing data efficiency.
  • Existing sleep analysis models predict sleep stages using ECG (Electrocardiogram) or HRV (Heart Rate Variability) as input, but the present invention converts sleep sound information into the frequency domain, spectrogram, or mel spectrogram. By using this as input, you can proceed with sleep stage analysis and inference. Therefore, unlike existing sleep analysis models, because sleep sound information is converted into frequency domain information, spectrogram, or mel spectrogram as input, the sleep stage can be sensed in real time through analysis of the specificity of the sleep pattern. It can be obtained.
  • ECG Electrocardiogram
  • HRV Heart Rate Variability
  • 3A and 3B are graphs verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention. This is a comparison drawing.
  • the sleep analysis results obtained according to the present invention are not only consistent with polysomnography, but also contain more precise and meaningful information related to sleep stages (Wake, Light, Deep, REM). do.
  • the hypnogram shown at the bottom of Figure 4 shows the probability of which of the four classes (Wake, Light, Deep, REM) it belongs to in 30 second increments when predicting the sleep stage by receiving the user's sleep sound information. indicates.
  • the four classes refer to the awake state, light sleep state, deep sleep state, and REM sleep state, respectively.
  • Figure 3c is a graph verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results in relation to sleep apnea and hypoventilation and the results according to the present invention.
  • PSG polysomnography
  • This is a diagram comparing the analysis results (AI results) using AI algorithms.
  • the hypnogram shown at the bottom of FIG. 3C indicates the probability of which of the two diseases (sleep apnea and hypoventilation) it belongs to in 30-second increments when predicting a sleep disease by receiving user sleep sound information.
  • the sleep state information obtained according to the present invention not only closely matches polysomnography, but also contains more precise analysis information related to apnea and hypoventilation. do.
  • the present invention can analyze the user's sleep in real time and identify the point where sleep disorders (sleep apnea, sleep hyperventilation, sleep hypopnea) occur. If stimulation (tactile, auditory, olfactory, etc.) is provided to the user at the moment the sleep disorder occurs, the sleep disorder may be temporarily alleviated. In other words, the present invention can stop the user's sleep disorder and reduce the frequency of sleep disorder based on accurate event detection related to the sleep disorder. In addition, according to the present invention, there is an effect that very accurate sleep analysis is possible by performing sleep analysis in a multimodal manner.
  • one or more data arrays regarding the user's sleep may be generated based on the user's sleep information.
  • One or more data arrays may be scalar data, vector data, matrix data, or tensor data.
  • Scalar data refers to a single number and can be dimensionless data.
  • Vector data can be expressed as a one-dimensional array of numbers and can represent various dimensions.
  • Matrix data is a two-dimensional array of numbers and can be composed of rows and columns.
  • Tensor data refers to an array of three or more dimensions and can be organized to include depth, rows, and columns.
  • one or more data arrays regarding the user's sleep can be generated for input to generative artificial intelligence that generates content.
  • One or more data arrays regarding the user's sleep are generated based on the acquired user's sleep information.
  • One or more data arrays regarding the user's sleep can be created in a lookup table based on the acquired user's sleep information, and can be created by using the acquired user's sleep information as input to a previously learned deep learning model, and
  • One or more data arrays about the user's sleep can be generated by using the user's sleep information as input to a large-scale language model.
  • the user's data arrangement regarding sleep may include preference information related to the user's sleep, the user's sleep indicator information, and the user's sleep score.
  • the user's features regarding sleep of the present invention may be generated based on preference information associated with the user's sleep.
  • preference information related to sleep may include at least one of information on factors that affect the user's sleep quality or emotions after sleep.
  • information on factors that affect the user's emotions after sleep includes temperature, humidity, sound, light, head and body position, scent, air quality, health functional foods, cosmetics used, and hormone levels of the sleeping environment. It can be included.
  • the temperature of the sleeping environment may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping depending on the temperature of the sleeping environment.
  • humidity may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping depending on the humidity of the sleeping environment.
  • the sound may be a numerical expression of the rate of change in the level of comfort the user feels after sleeping, depending on the level of noise in the sleeping environment and the background sounds in the sleeping environment.
  • light may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping, depending on the light amount, light temperature, and light pattern of the sleeping environment.
  • light may be a numerical expression of the rate of change in the degree to which the user feels refreshed after sleeping, depending on the amount of light, light temperature, and light pattern of the sleeping environment.
  • the position of the head and body is a numerical expression of the change rate of comfort felt by the user while sleeping when the angle between the center of gravity of the head and body is 10 degrees, 15 degrees, 20 degrees, and 30 degrees.
  • the scent may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping, depending on the scent of the sleeping environment.
  • air quality may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping due to air humidity, degree of pollution, concentration of fine dust, etc. in the sleeping environment.
  • a health functional food product may express in numbers the rate of change in the level of comfort the user feels after sleeping when the user takes the health functional food before sleeping and then goes to sleep.
  • cosmetics may be a numerical expression of the rate of change in the level of comfort the user feels after sleeping when the user uses the cosmetics before sleeping and then goes to bed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Anesthesiology (AREA)
  • Psychology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Pain & Pain Management (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)

Abstract

The present invention relates to a method, a device, a computer program, and a computer-readable recording medium for generating and providing sleep content based on user sleep information and, more specifically, to generation and provision of a sleep image or sleep video, by which a user's last night sleep can be converted into an image or a video and then visually provided to the user, generation and provision of guided imaginary information, or generation and provision of, using generative artificial intelligence, sleep content based on user sleep information.

Description

사용자 수면 정보 기반의 수면 콘텐츠 생성 및 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록매체 Method, device, computer program, and computer-readable recording medium for generating and providing sleep content based on user sleep information
본 발명은 사용자의 수면 정보에 기초한 수면 콘텐츠 생성 및 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록매체에 관한 것으로, 보다 구체적으로는, 사용자의 수면 환경에서 획득되는 수면 정보에 기초하여 수면과 관련된 콘텐츠를 생성하고, 사용자에게 제공하기 위한 것이다. The present invention relates to a method, device, computer program, and computer-readable recording medium for generating and providing sleep content based on the user's sleep information. More specifically, the present invention relates to sleep-related information based on sleep information acquired in the user's sleep environment. It is intended to create content and provide it to users.
건강을 유지하고 개선하는 방법에는 운동, 식이요법 등 다양한 방법이 있지만, 하루 중 약 30% 이상의 시간을 차지하는 수면을 잘 관리하는 것이 무엇보다 중요하다. 하지만, 현대인들은 기계의 단순한 노동 대체 및 삶의 여유에도 불구하고 불규칙한 식습관과 생활습관 및 스트레스로 인해 숙면을 취하지 못하고, 불면증, 과다수면, 수면 무호흡 증후군, 악몽, 야경증, 몽유병 등과 같은 수면 질환으로 고통받고 있다.There are various ways to maintain and improve your health, such as exercise and diet, but it is most important to manage sleep well, which takes up more than 30% of the day. However, despite the simple replacement of labor by machines and the leisure of life, modern people are unable to sleep well due to irregular eating habits, lifestyle habits, and stress, and suffer from sleep disorders such as insomnia, hypersomnia, sleep apnea syndrome, nightmares, night terrors, and sleepwalking. I'm receiving it.
국민건강보험 공단에 따르면, 국내 수면장애 환자가 2014년부터 2018년까지 연 평균 약 8%씩 증가하는 것으로 나타났으며, 2018년 국내에서 수면장애로 진료받은 환자는 약 57만명에 달한다.According to the National Health Insurance Corporation, the number of patients with sleep disorders in Korea increased by about 8% on average per year from 2014 to 2018, and the number of patients treated for sleep disorders in Korea in 2018 reached approximately 570,000.
또한, 2019년 수면 관련 조사에 의하면 전세계 성인의 62%가 원하는 만큼 수면을 취하지 못하며, 성인의 67%가 매일 밤 최소 한 번 이상의 수면 장애를 겪는다. 그리고, 전 세계 성인 10명 중 8명은 수면을 개선하기 원하지만 60%는 의료 전문가의 도움을 구하지 못하는 실정이고, 전 세계 성인의 44%가 지난 5년 동안 수면의 질이 나빠졌다는 연구 결과가 있다.Additionally, according to a 2019 sleep-related survey, 62% of adults around the world do not get as much sleep as they want, and 67% of adults experience at least one sleep disorder every night. Additionally, 8 out of 10 adults around the world want to improve their sleep, but 60% are unable to seek help from a medical professional, and research has shown that 44% of adults around the world have had poor sleep quality over the past five years. .
숙면이 신체적 또는, 정신적 건강에 영향을 미치는 중요한 요소로 인식되면서 숙면에 대한 관심이 증가하고 있지만, 수면 질환의 개선을 위해서는 전문 의료 기관을 직접 방문해야 하며, 별도의 검사 비용이 요구되고, 그리고 지속적인 관리가 어려움에 따라 치료에 대한 사용자들의 노력이 미비한 실정이다.Interest in good sleep is increasing as it is recognized as an important factor affecting physical and mental health. However, in order to improve sleep disorders, a direct visit to a specialized medical institution is required, a separate test fee is required, and continuous treatment is required. Due to the difficulty in management, users' efforts toward treatment are insufficient.
이와 같이 날로 심각해지는 수면 문제로 인하여 수면 건강 관리에 대한 니즈가 증가하고, 이에 따라 수면 문제를 기술로 해결하려는 슬립테크 시장도 빠르게 성장하고 있다.As sleep problems become more serious day by day, the need for sleep health management is increasing, and the sleep tech market that seeks to solve sleep problems through technology is also growing rapidly.
또한, 수면 건강 관리를 위해 수면에 관한 정보를 분석하고 추론하는 것에 있어 하나의 데이터만을 사용하는 것 보다 멀티모달로 여러 종류의 데이터를 학습하고, 이를 통해서 보다 정확한 추론이 요구되고 있다.In addition, when analyzing and inferring information about sleep for sleep health management, it is required to learn various types of data in a multimodal manner rather than using only one data, and to make more accurate inferences through this.
대한민국 공개특허공보 제10-2003-0032529호는 사용자의 신체 정보를 입력받고, 수면 중 사용자의 신체 상태에 따라 반복적인 학습에 의해 검출한 주파수 대역의 진동 및/또는 초음파를 출력하여 최적의 수면 유도가 가능하도록 하는 취침 유도기 및 수면 유도 방법에 대해 개시하고 있다.Republic of Korea Patent Publication No. 10-2003-0032529 receives the user's physical information and outputs vibration and/or ultrasonic waves in the frequency band detected through repetitive learning according to the user's physical condition during sleep to induce optimal sleep. Discloses a sleep induction device and a sleep induction method that enable.
다만, 종래의 기술은 신체 착용형 장비로 인해 야기되는 불편함으로 수면의 질이 감소될 우려가 있으며, 장비의 주기적인 관리(예컨대, 충전 등)가 필요하다. 이에 따라, 최근에는 비접촉식으로 사용자의 수면을 모니터링하여 수면 상태를 추정하고, 추정된 수면 상태에 따라서 사용자의 수면을 관리하기 위한 연구들이 진행되고 있다.However, in the conventional technology, there is a risk that sleep quality may be reduced due to discomfort caused by body-worn equipment, and periodic management of the equipment (eg, charging, etc.) is required. Accordingly, research has recently been conducted to estimate the sleep state by monitoring the user's sleep in a non-contact manner and to manage the user's sleep according to the estimated sleep state.
특히, 최근에는 웨어러블 디바이스를 이용하여 사용자의 수면을 분석하는 방법이 제안되고 있다. 대한민국 공개특허공보 제10-2022-0015835호는 수면 질을 평가하기 위한 전자장치 및 그 전자 장치에서의 동작 방법에 관한 것으로, 수면 시간 동안 웨어러블 디바이스가 획득한 수면 관련 정보에 기초하여 수면 주기를 식별하고, 이에 따라 수면의 질을 평가하는 방법을 제시하고 있다.In particular, recently, a method of analyzing a user's sleep using a wearable device has been proposed. Republic of Korea Patent Publication No. 10-2022-0015835 relates to an electronic device for evaluating sleep quality and a method of operating the electronic device, which identifies sleep cycles based on sleep-related information acquired by a wearable device during sleep time. And it suggests a method to evaluate sleep quality accordingly.
하지만, 종래의 웨어러블 디바이스를 이용한 수면분석방법은 웨어러블 디바이스가 사용자 신체에 적절하게 접촉되지 않은 경우, 사용자가 웨어러블 디바이스를 착용하지 않은 경우에는 수면분석이 불가능하다는 문제점이 있었다. 또한, 복수의 사용자가 같은 공간에서 수면을 취하는 경우, 웨어러블 디바이스 비착용자의 움직임 때문에 웨어러블 디바이스 착용자의 수면분석에 지장이 생기게 될뿐만 아니라, 웨어러블 디바이스 비착용자에 대한 수면분석은 불가능하다는 문제점이 있었다.However, the sleep analysis method using a conventional wearable device had a problem in that sleep analysis was not possible when the wearable device was not in proper contact with the user's body or when the user was not wearing the wearable device. Additionally, when multiple users sleep in the same space, not only does the movement of the non-wearable device wearer interfere with the sleep analysis of the wearable device wearer, but there is also a problem in that sleep analysis for the non-wearable device wearer is impossible.
따라서, 별도의 장비를 구비하지 않더라도, 사용자가 소지하는 사용자 단말(예컨대, 이동식 단말)을 통해 용이하게 수면 환경에 관련한 음향 정보를 획득하고, 획득한 음향 정보와 다른 수면 환경 정보를 기반으로 사용자의 수면 단계를 분석하여 수면 상태를 감지하고자 하는 기술에 대한 수요가 존재할 수 있다.Therefore, even without separate equipment, the user can easily obtain sound information related to the sleep environment through a user terminal (e.g., a mobile terminal) carried by the user, and use the user's sleep environment information based on the acquired sound information and other sleep environment information. There may be a demand for technology that detects sleep status by analyzing sleep stages.
이에 따라, 최근에는 비접촉식으로 호흡 패턴, 밤 중 몸의 움직임에 따라 자율신경계의 활성화 정도를 모니터링하여 사용자의 수면 상태를 추정하고, 추정된 수면 상태에 따라 사용자의 수면 환경을 조성하기 위한 연구들이 진행되고 있다.Accordingly, research has recently been conducted to estimate the user's sleep state by monitoring the degree of activation of the autonomic nervous system according to breathing patterns and body movements during the night in a non-contact manner, and to create a sleep environment for the user according to the estimated sleep state. It is becoming.
한편, 종래에는 사용자의 수면 정보를 담고 있는 슬립 리포트가 사용자 단말에 설치된 어플리케이션(또는 앱)을 통해 제공되고 있다. 제시되는 슬립 리포트에는 정량적인 정보가 거의 대부분이다. 이러한 정량적인 슬립 리포트는 사용자로 하여금 심리적 거부감을 주고, 낮은 수면 점수는 사용자에게 불쾌감을 불러일으킬 수 있다.Meanwhile, conventionally, a sleep report containing the user's sleep information is provided through an application (or app) installed on the user's terminal. Most of the presented slip reports contain quantitative information. These quantitative sleep reports can cause psychological discomfort in users, and low sleep scores can cause discomfort in users.
이에 따라, 수면 정보를 제공할 때 정량적인 정보 외에 다른 정보도 함께 제공하는 기술에 대한 수요가 존재할 수 있다.Accordingly, there may be a demand for technology that provides other information in addition to quantitative information when providing sleep information.
한편, 사운드 테라피 등에서 확인되는 바와 같이 소리는 수면의 질에 큰 영향을 끼칠 수 있으므로, 수면 정보에 기초하여 소리 정보를 제공하는 기술에 대한 수요가 존재할 수 있다.Meanwhile, as confirmed in sound therapy, etc., sound can have a significant impact on the quality of sleep, so there may be a demand for technology that provides sound information based on sleep information.
또한, 생성형 인공지능(Generation AI)라 불리는 새로운 인공지능 분야가 새롭게 주목받고 있다. 2018년 OPNEAI사는 GPT(Generative Pre-trained Transformer)라는 대규모 언어 모델 시리즈를 발표하였고, 이후 CHATGPT 서비스를 2022년 11월 30일에 발표를 한 바 있다. 따라서, 새로운 대규모 인공지능 모델을 활용하여 상술한 수면분야의 기술적 문제점을 해결하고 사용자의 수면과 관련한 콘텐츠를 생성하는 것에 대한 수요가 존재할 수 있다.Additionally, a new field of artificial intelligence called generative artificial intelligence (Generation AI) is receiving new attention. In 2018, OPNEAI announced a large-scale language model series called GPT (Generative Pre-trained Transformer), and later announced the CHATGPT service on November 30, 2022. Therefore, there may be a demand for using new large-scale artificial intelligence models to solve the technical problems in the sleep field described above and to generate content related to the user's sleep.
[선행기술문헌][Prior art literature]
(특허문헌 1) 대한민국 공개특허공보 제2003-0032529호 (2003.04.26 공개)(Patent Document 1) Republic of Korea Patent Publication No. 2003-0032529 (published on April 26, 2003)
(특허문헌 2) 대한민국 공개특허공보 제2022-0015835호 (2022.02.08 공개)(Patent Document 2) Republic of Korea Patent Publication No. 2022-0015835 (published on February 8, 2022)
본 발명의 상술한 종래 기술의 문제점을 감안하여 안출된 것으로, 본 발명의 목적은 사용자의 지난 밤의 수면에 대한 기분이나 느낌을 슬립이미지 또는 슬립동영상으로 변환하여 사용자에게 제공할 수 있는 슬립이미지 또는 슬립동영상 생성 및 제공 방법, 장치 및 컴퓨터 판독 가능한 기록매체를 제공하는 것에 있다.The present invention was conceived in consideration of the problems of the prior art described above, and the purpose of the present invention is to convert the user's mood or feeling about last night's sleep into a sleep image or sleep video and provide a sleep image or sleep video to the user. The object is to provide a method, device, and computer-readable recording medium for generating and providing a slip video.
또한, 본 발명의 목적은 수면 센서를 통해서 얻을 수 있는 사용자의 수면에 관한 정보에 기반하여 사용자의 수면을 위한 수면 콘텐츠를 생성형 인공지능을 활용하여 생성 및 제공하는 것에 있다. In addition, the purpose of the present invention is to generate and provide sleep content for the user's sleep using generative artificial intelligence based on information about the user's sleep that can be obtained through a sleep sensor.
또한, 본 발명의 목적은 수면 정보를 활용하여, 수면에 대한 분석의 정확성을 높여 사용자에게 유용한 수면에 관한 콘텐츠를 제공하고, 수면의 질을 올리는 것에 있어서 목적이 있다.Additionally, the purpose of the present invention is to use sleep information to increase the accuracy of sleep analysis, provide useful sleep-related content to users, and improve sleep quality.
또한, 본 발명의 목적은 수면을 유도하거나, 수면의 질을 향상시킬 수 있는 심상 유도 정보를 생성하고 제공하는 방법을 제공함에 있다.Additionally, the purpose of the present invention is to provide a method of generating and providing imagery-inducing information that can induce sleep or improve the quality of sleep.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.
본 발명의 일 실시 형태에 따른 슬립이미지 또는 슬립동영상 생성 및 제공 방법은, 사용자 단말의 디스플레이 화면에 텍스트 입력창을 제공하는, 텍스트 입력창 제공 단계; 상기 텍스트 입력창을 통해 사용자의 수면 기분, 느낌 혹은 꿈에 대한 기억에 관한 텍스트가 입력되면, 입력된 상기 텍스트를 외부 단말로 전송하는, 텍스트 전송 단계; 상기 외부 단말로부터 상기 텍스트에 대응되는 슬립이미지 또는 슬립동영상을 수신하는, 수신 단계; 및 수신된 상기 슬립이미지 또는 슬립동영상을 상기 디스플레이 화면에 제공하는, 슬립이미지 또는 슬립동영상 제공 단계;를 포함한다.A method for generating and providing a sleep image or a sleep video according to an embodiment of the present invention includes the steps of providing a text input window on a display screen of a user terminal; A text transmission step of transmitting the input text to an external terminal when text about the user's sleeping mood, feeling, or dream memory is input through the text input window; A receiving step of receiving a sleep image or a sleep video corresponding to the text from the external terminal; and a sleep image or sleep video providing step of providing the received sleep image or sleep video to the display screen.
상기 텍스트 입력창 제공 단계에서, 상기 텍스트 입력창에는 예시 텍스트가 함께 제공될 수 있다.In the step of providing the text input window, example text may be provided in the text input window.
상기 슬립이미지 또는 슬립동영상 제공 단계에서, 상기 슬립이미지 또는 슬립동영상에는 상기 사용자의 수면에 대한 정량적인 지표들 중 적어도 하나의 지표 또는 한줄평이 더 포함되고, 상기 한줄평은 상기 정량적인 지표들에 따라 미리 맵핑된 룩업 테이블 방식으로 도출된 것일 수 있다.In the step of providing the sleep image or sleep video, the sleep image or sleep video further includes at least one indicator or one-line review among quantitative indicators of the user's sleep, and the one-line review is prepared in advance according to the quantitative indicators. It may have been derived using a mapped lookup table method.
상기 슬립이미지 또는 슬립동영상 제공 단계에서, 상기 디스플레이 화면에 상기 슬립이미지 또는 슬립동영상 전체를 표시하거나, 상기 디스플레이 화면의 일부에 상기 슬립이미지 또는 슬립동영상을 나머지에는 상기 사용자의 수면에 대한 정량적인 지표들 또는 달력을 표시할 수 있다.In the step of providing the sleep image or sleep video, the entire sleep image or sleep video is displayed on the display screen, or the sleep image or sleep video is displayed on a portion of the display screen and quantitative indicators of the user's sleep are displayed on the remaining portion of the display screen. Or you can display the calendar.
상기 텍스트 입력창 제공 단계 이전에, 상기 디스플레이 화면에 상기 사용자의 수면 기분에 대응되는 후보 선택지들을 제공하는, 후보 선택지 제공 단계;를 더 포함하고, 상기 후보 선택지들 중 적어도 하나가 선택되면, 상기 텍스트 입력창 제공 단계가 수행될 수 있다.Before the step of providing the text input window, it further includes a candidate option providing step of providing candidate options corresponding to the sleeping mood of the user on the display screen, wherein when at least one of the candidate options is selected, the text An input window provision step may be performed.
상기 후보 선택지들 중 적어도 하나가 선택되면, 선택된 선택지에 대응되는 예시 이미지가 상기 디스플레이 화면에 표시되고, 상기 텍스트 입력창 제공 단계에서, 상기 예시 이미지 위에 상기 텍스트 입력창이 함께 표시될 수 있다.When at least one of the candidate options is selected, an example image corresponding to the selected option is displayed on the display screen, and in the step of providing the text input window, the text input window may be displayed on the example image.
상기 텍스트 입력창을 통해 사용자의 수면 기분에 관한 텍스트가 입력된 후, 상기 슬립이미지 또는 슬립동영상의 스타일, 색상, 밑그림 및 일부가 비어져 있는 그림 중 적어도 하나 이상을 설정하는 슬립이미지 또는 슬립동영상 설정 단계;를 더 포함할 수 있다.After text about the user's sleeping mood is entered through the text input window, sleep image or sleep video settings for setting at least one of the style, color, sketch, and partially empty picture of the sleep image or sleep video Steps may be further included.
본 발명의 다른 실시 형태에 따른 슬립이미지 또는 슬립동영상 생성 및 제공 방법은, 사용자 단말의 디스플레이 화면에 사용자의 수면 기분, 느낌 혹은 꿈에 대한 기억에 대한 키워드 후보군들을 제공하는, 후보군 제공 단계; 상기 키워드 후보군들 중 적어도 하나가 선택되면, 선택된 키워드 후보군의 텍스트를 외부 단말로 전송하는, 텍스트 전송 단계; 상기 외부 단말로부터 상기 텍스트에 대응되는 슬립이미지 또는 슬립동영상을 수신하는, 수신 단계; 및 수신된 상기 슬립이미지 또는 슬립동영상을 상기 디스플레이 화면에 제공하는, 슬립이미지 또는 슬립동영상 제공 단계;를 포함한다.A method for generating and providing a sleep image or sleep video according to another embodiment of the present invention includes a candidate group providing step of providing keyword candidates for the user's sleeping mood, feeling, or memory of a dream on a display screen of a user terminal; When at least one of the keyword candidates is selected, a text transmission step of transmitting the text of the selected keyword candidate group to an external terminal; A receiving step of receiving a sleep image or a sleep video corresponding to the text from the external terminal; and a sleep image or sleep video providing step of providing the received sleep image or sleep video to the display screen.
상기 슬립이미지 또는 슬립동영상 제공 단계에서, 상기 슬립이미지 또는 슬립동영상에는 상기 사용자의 수면에 대한 정량적인 지표들 중 적어도 하나의 지표 또는 한줄평이 더 포함되고, 상기 한줄평은 상기 정량적인 지표들에 따라 미리 맵핑된 룩업 테이블 방식으로 도출된 것일 수 있다.In the step of providing the sleep image or sleep video, the sleep image or sleep video further includes at least one indicator or one-line review among quantitative indicators of the user's sleep, and the one-line review is prepared in advance according to the quantitative indicators. It may have been derived using a mapped lookup table method.
상기 슬립이미지 또는 슬립동영상 제공 단계에서, 상기 디스플레이 화면에 상기 슬립이미지 또는 슬립동영상 전체를 표시하거나, 상기 디스플레이 화면의 일부에 상기 슬립이미지 또는 슬립동영상을 나머지에는 상기 사용자의 수면에 대한 정량적인 지표들 또는 달력을 표시할 수 있다.In the step of providing the sleep image or sleep video, the entire sleep image or sleep video is displayed on the display screen, or the sleep image or sleep video is displayed on a portion of the display screen and quantitative indicators of the user's sleep are displayed on the remaining portion of the display screen. Or you can display the calendar.
상기 키워드 후보군들 중 적어도 하나가 선택된 후, 상기 슬립이미지 또는 슬립동영상의 스타일, 색상, 밑그림 및 일부가 비어져 있는 그림 중 적어도 하나 이상을 설정하는 슬립이미지 또는 슬립동영상 설정 단계;를 더 포함할 수 있다.After at least one of the keyword candidates is selected, a slip image or slip video setting step of setting at least one of the style, color, sketch, and partially empty picture of the slip image or slip video. there is.
본 발명의 다른 실시 형태에 따른 슬립이미지 또는 슬립동영상 생성 및 제공 방법은, 사용자 단말로부터 사용자의 수면 기분, 느낌 혹은 꿈에 대한 기억에 대한 텍스트를 수신하는, 수신 단계; 상기 텍스트를 메모리에 저장된 학습 모델로 입력시켜 상기 학습 모델로부터 상기 텍스트에 대응하는 슬립이미지 또는 슬립동영상이 출력되는, 슬립이미지 또는 슬립동영상 출력 단계; 및 출력된 상기 슬립이미지 또는 슬립동영상을 상기 사용자 단말 또는 컴퓨팅 장치로 전송하는, 슬립이미지 또는 슬립동영상 전송 단계;를 포함한다. A method for generating and providing a sleep image or sleep video according to another embodiment of the present invention includes a receiving step of receiving a text about the user's sleeping mood, feeling, or memory of a dream from a user terminal; A sleep image or sleep video output step of inputting the text into a learning model stored in a memory and outputting a sleep image or sleep video corresponding to the text from the learning model; and a sleep image or sleep video transmission step of transmitting the output sleep image or sleep video to the user terminal or computing device.
상기 수신 단계는 상기 사용자 단말로부터 환경 센싱 정보를 더 수신하고, 상기 환경 센싱 정보로부터 상기 사용자의 수면에 대한 정량적인 지표들을 분류 및 측정하는 단계를 더 포함하고, 상기 슬립이미지 또는 슬립동영상 출력 단계는, 출력된 상기 슬립이미지 또는 슬립동영상의 스타일 또는 색상을 상기 정량적인 지표들에 기초하여 변경할 수 있다.The receiving step further includes receiving environmental sensing information from the user terminal, classifying and measuring quantitative indicators of the user's sleep from the environmental sensing information, and the sleep image or sleep video output step is , the style or color of the output sleep image or sleep video can be changed based on the quantitative indicators.
상기 슬립이미지 또는 슬립동영상 출력 단계는, 상기 정량적인 지표들에 대한 수면 점수를 연산하고, 연산된 상기 수면 점수에 따라 상기 슬립이미지 또는 슬립동영상의 스타일 또는 색상을 변경할 수 있다.The sleep image or sleep video output step may calculate a sleep score for the quantitative indicators, and change the style or color of the sleep image or sleep video according to the calculated sleep score.
본 발명의 또 다른 실시 형태에 따른 컴퓨터 판독 가능한 기록 매체는 상술한 슬립이미지 또는 슬립동영상 생성 및 제공 방법을 수행시키도록 하는 컴퓨터 프로그램을 저장하고 있는 것이다.A computer-readable recording medium according to another embodiment of the present invention stores a computer program that performs the above-described method of generating and providing a sleep image or a sleep video.
본 발명의 또 다른 실시 형태에 따른 사용자 단말은, 디스플레이부; 무선 통신부; 제어부; 및 동작들을 수행하기 위해 상기 제어부에 의해 실행되는 프로그램 명령어를 저장하는 메모리;를 포함하고, 상기 동작들은, 상기 디스플레이부의 디스플레이 화면에 텍스트 입력창을 제공하는 동작; 상기 텍스트 입력창을 통해 사용자의 수면 기분, 느낌 혹은 꿈에 대한 기억에 관한 텍스트가 입력되면, 입력된 상기 텍스트를 상기 무선 통신부를 통해 외부 단말로 전송하는 동작; 상기 외부 단말로부터 상기 무선 통신부를 통해 상기 텍스트에 대응되는 상기 슬립이미지 또는 슬립동영상을 수신하는 동작; 및 수신된 상기 슬립이미지 또는 슬립동영상을 상기 디스플레이 화면에 제공하는 동작;을 포함한다.A user terminal according to another embodiment of the present invention includes a display unit; Department of Wireless Communications; control unit; and a memory that stores program instructions executed by the control unit to perform operations, wherein the operations include providing a text input window on the display screen of the display unit; When a text about the user's sleeping mood, feeling, or dream memory is input through the text input window, transmitting the input text to an external terminal through the wireless communication unit; Receiving the sleep image or sleep video corresponding to the text from the external terminal through the wireless communication unit; and an operation of providing the received sleep image or sleep video to the display screen.
본 발명의 또 다른 실시 형태에 따른 사용자 단말은, 디스플레이부; 무선 통신부; 제어부; 및 동작들을 수행하기 위해 상기 제어부에 의해 실행되는 프로그램 명령어를 저장하는 메모리;를 포함하고, 상기 동작들은, 상기 디스플레이부의 디스플레이 화면에 사용자의 수면 기분, 느낌 혹은 꿈에 대한 기억에 대한 키워드 후보군들을 제공하는 동작; 상기 키워드 후보군들 중 적어도 하나가 선택되면, 선택된 키워드 후보군의 텍스트를 상기 무선 통신부를 통해 외부 단말로 전송하는 동작; 상기 외부 단말로부터 상기 무선 통신부를 통해 상기 텍스트에 대응되는 상기 슬립이미지 또는 슬립동영상을 수신하는 동작; 및 수신된 상기 슬립이미지 또는 슬립동영상을 상기 디스플레이 화면에 제공하는 동작;을 포함한다.A user terminal according to another embodiment of the present invention includes a display unit; Department of Wireless Communications; control unit; and a memory that stores program instructions executed by the control unit to perform operations, wherein the operations provide keyword candidates for the user's sleeping mood, feelings, or memory of dreams on the display screen of the display unit. action; When at least one of the keyword candidates is selected, transmitting the text of the selected keyword candidate group to an external terminal through the wireless communication unit; Receiving the sleep image or sleep video corresponding to the text from the external terminal through the wireless communication unit; and an operation of providing the received sleep image or sleep video to the display screen.
본 발명의 또 다른 실시 형태에 따른 외부 단말은, 통신 모듈; 프로세서; 및 동작들을 수행하기 위해 상기 프로세서에 의해 실행되는 프로그램 명령어를 저장하고, 입력된 텍스트에 응답하여 소정의 슬립이미지 또는 슬립동영상을 출력하도록 기계학습된 학습 모델이 저장된 메모리;를 포함하고, 상기 동작들은, 사용자 단말로부터 사용자의 수면 기분, 느낌 혹은 꿈에 대한 기억에 대한 상기 텍스트를 상기 통신 모듈을 통해 수신하는 동작; 상기 텍스트를 상기 학습 모델로 입력시켜 상기 학습 모델로부터 상기 텍스트에 대응하는 슬립이미지 또는 슬립동영상이 출력되는 동작; 및 출력된 상기 슬립이미지 또는 슬립동영상을 상기 사용자 단말 또는 컴퓨팅 장치로 상기 통신 모듈을 통해 전송하는 동작;을 포함한다.An external terminal according to another embodiment of the present invention includes a communication module; processor; And a memory that stores program instructions executed by the processor to perform operations and stores a machine-learned learning model to output a predetermined sleep image or sleep video in response to input text. , an operation of receiving the text about the user's sleeping mood, feeling, or dream memory from the user terminal through the communication module; An operation of inputting the text into the learning model and outputting a sleep image or a sleep video corresponding to the text from the learning model; and transmitting the output sleep image or sleep video to the user terminal or computing device through the communication module.
한편, 본 발명의 일 실시예에 따른 심상 유도 정보 생성 및 제공 방법에 있어서, 심상 유도 정보를 준비하는 준비단계; 상기 준비된 심상 유도 정보를 사용자에게 제공하는 준비 정보 제공 단계; 사용자로부터 수면 상태 정보를 획득하는 획득 단계; 사용자에게 상기 제공된 심상 유도 정보 및 사용자로부터 상기 획득된 수면 상태 정보에 기초하여 사용자의 피처를 추출하는 추출 단계; 및 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 생성 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. Meanwhile, a method for generating and providing imagery-inducing information according to an embodiment of the present invention includes a preparation step of preparing imagery-inducing information; A preparation information providing step of providing the prepared image inducing information to a user; An acquisition step of acquiring sleep state information from the user; An extraction step of extracting features of the user based on the image inducing information provided to the user and the sleep state information obtained from the user; And a generation step of generating feature-based imagery induction information based on the extracted user features. A method for generating and providing imagery induction information including a.
또한, 본 발명의 일 실시예에 따라, 상기 준비 단계는 룩업 테이블에 기초하여 상기 심상 유도 정보를 준비하는 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the preparation step may provide a method of generating and providing imagery inducing information, including preparing the imagery inducing information based on a lookup table.
또한, 본 발명의 일 실시예에 따라, 상기 준비 단계는 상기 피처 기반 심상 유도 정보에 기초하여 상기 심상 유도 정보를 준비하는 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the preparation step may provide a method of generating and providing imagery inducing information, including preparing the imagery inducing information based on the feature-based imagery inducing information.
또한, 본 발명의 일 실시예에 따라, 상기 준비 정보 제공 단계는 준비된 심상 유도 음향 정보, 준비된 심상 유도 시각 정보, 준비된 심상 유도 텍스트 정보 및 준비된 심상 유도 텍스트 음향 정보 중 어느 하나 이상을 제공하거나, 또는 이들 중 둘 이상의 결합을 제공하는 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the preparation information providing step provides one or more of prepared imagery-inducing sound information, prepared imagery-inducing visual information, prepared imagery-inducing text information, and prepared imagery-inducing text sound information, or A method of generating and providing imagery inducing information may be provided, including providing a combination of two or more of these.
또한, 본 발명의 일 실시예에 따라, 상기　준비 정보 제공 단계는 심상 유도 시나리오를 갖는 준비된 시계열적 심상 유도 음향 정보, 준비된 시계열적 심상 유도 시각 정보, 준비된 시계열적 심상 유도 텍스트 음향 정보 및 준비된 시계열적 심상 유도 텍스트 정보 중 어느 하나 이상을 제공하거나, 또는 이들 중 둘 이상의 결합을 제공하는 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the step of providing preparation information includes prepared time-series image-inducing sound information with an image-inducing scenario, prepared time-series image-inducing visual information, prepared time-series image-inducing text sound information, and prepared time-series image-inducing sound information. A method of generating and providing imagery inducing information may be provided, including the step of providing one or more of the image inducing text information, or providing a combination of two or more of these.
또한, 본 발명의 일 실시예에 따른 심상 유도 정보 생성 및 제공 방법에 있어서, 상기 생성된 피처 기반 심상 유도 정보를 사용자에게 제공하는 생성 정보 제공 단계를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, in the method of generating and providing imagery inducing information according to an embodiment of the present invention, a method of generating and providing imagery inducing information is provided, including a generation information providing step of providing the generated feature-based imagery inducing information to a user. can do.
또한, 본 발명의 일 실시예에 따라, 상기 생성 정보 제공 단계는 피처 기반 심상 유도 음향 정보, 피처 기반 심상 유도 시각 정보, 피처 기반 심상 유도 텍스트 정보 및 피처 기반 심상 유도 텍스트 음향 정보 중 어느 하나 이상을 제공하거나, 또는 이들 중 둘 이상의 결합을 제공하는 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the generation information providing step includes at least one of feature-based imagery-inducing sound information, feature-based imagery-inducing visual information, feature-based imagery-inducing text information, and feature-based imagery-inducing text sound information. It is possible to provide a method of generating and providing imagery inducing information, including the step of providing, or providing a combination of two or more of these.
또한, 본 발명의 일 실시예에 따라, 상기　생성 정보 제공 단계는 심상 유도 시나리오를 갖는 피처 기반 시계열적 심상 유도 음향 정보, 피처 기반 시계열적 심상 유도 시각 정보, 피처 기반 시계열적 심상 유도 텍스트 음향 정보 및 피처 기반 시계열적 심상 유도 텍스트 정보 중 어느 하나 이상을 제공하거나, 또는 이들 중 둘 이상의 결합을 제공하는 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the step of providing the generation information includes feature-based time-series image-inducing sound information with an image-inducing scenario, feature-based time-series image-inducing visual information, feature-based time-series image-inducing text sound information, and A method of generating and providing imagery inducing information may be provided, including providing one or more of feature-based time-series image inducing text information, or providing a combination of two or more of them.
한편, 본 발명의 일 실시예에 따른 심상 유도 정보 생성 및 제공 방법에 있어서, 사용자와 관련된 정보를 준비하는 정보 준비 단계; 상기 준비된 정보에 기초하여 사용자의 피처를 추출하는 추출 단계; 및 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 생성 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. Meanwhile, a method for generating and providing imagery inducing information according to an embodiment of the present invention includes an information preparation step of preparing information related to a user; An extraction step of extracting user features based on the prepared information; And a generation step of generating feature-based imagery induction information based on the extracted user features. A method for generating and providing imagery induction information including a.
또한, 본 발명의 일 실시예에 따라, 상기 정보 준비 단계는 사용자로부터 사용자와 관련된 정보를 입력받는 입력 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the information preparation step may provide a method of generating and providing image-inducing information, including an input step of receiving information related to the user from the user.
또한, 본 발명의 일 실시예에 따라, 상기 입력 단계에서 사용자로부터 입력받는 사용자와 관련된 정보는 스와이프 방식으로 선택된 컨텐츠; 사용자로부터 입력된 텍스트; 및 제시된 키워드 중 사용자로부터 선택된 키워드; 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. Additionally, according to an embodiment of the present invention, the user-related information input from the user in the input step includes content selected by a swipe method; Text input from the user; and keywords selected by the user among the presented keywords; It is possible to provide a method of generating and providing image-inducing information that is one or more of the above, or a combination of two or more of these.
또한, 본 발명의 일 실시예에 따라, 상기 생성된 피처 기반 심상 유도 정보를 사용자에게 제공하는 생성 정보 제공 단계; 또는 사용자로부터 수면 상태 정보를 획득하는 획득 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, a generation information providing step of providing the generated feature-based imagery induction information to a user; Alternatively, a method for generating and providing imagery inducing information may be provided, including an acquisition step of acquiring sleep state information from the user.
또한, 본 발명의 일 실시예에 따라, 상기 생성 정보 제공 단계에서 제공되는 피처 기반 심상 유도 정보는 피처 기반 심상 유도 음향 정보, 피처 기반 심상 유도 시각 정보, 피처 기반 심상 유도 텍스트 정보 및 피처 기반 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the feature-based imagery inducing information provided in the generation information providing step is feature-based imagery inducing sound information, feature-based imagery inducing visual information, feature-based imagery inducing text information, and feature-based imagery inducing information. It is possible to provide a method of generating and providing imagery inducing information that is one or more of text sound information, or a combination of two or more of them.
또한, 본 발명의 일 실시예에 따라, 상기 생성 정보 제공 단계에서 제공되는 피처 기반 심상 유도 정보는 심상 유도 시나리오를 갖는 피처 기반 시계열적 심상 유도 음향 정보, 피처 기반 시계열적 심상 유도 시각 정보, 피처 기반 시계열적 심상 유도 텍스트 정보 및 피처 기반 시계열적 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the feature-based imagery inducing information provided in the generation information providing step is feature-based time-series imagery inducing sound information with an imagery inducing scenario, feature-based time-series imagery inducing visual information, and feature-based A method of generating and providing imagery inducing information, which is one or more of time-series image-inducing text information and feature-based time-series image-inducing text sound information, or a combination of two or more of these, may be provided.
또한, 본 발명의 일 실시예에 따라, 상기 추출 단계는 상기 제공된 피처 기반 심상 유도 정보 및 상기 획득된 수면 상태 정보 중 어느 하나 이상에 기초하거나, 또는 이들의 결합에 기초하여 사용자의 피처를 추출하는 단계;를 포함하는, 심상 유도 정보 생성 및 제공 방법을 제공할 수 있다. In addition, according to an embodiment of the present invention, the extraction step extracts the user's features based on one or more of the provided feature-based imagery induction information and the obtained sleep state information, or a combination thereof. It is possible to provide a method for generating and providing image-inducing information, including a step.
한편, 본 발명의 일 실시예에 따른 전자 장치에 있어서, 심상 유도 정보가 기록된 메모리; 상기 기록된 심상 유도 정보를 출력하는 출력부; 사용자로부터 수면 상태 정보를 획득하는 획득부; 및 상기 출력된 심상 유도 정보 및 상기 획득된 수면 상태 정보에 기초하여 사용자의 피처를 추출하는 프로세서;를 포함하고, 상기 프로세서는 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 것을 특징으로 하는 전자 장치를 제공할 수 있다. Meanwhile, an electronic device according to an embodiment of the present invention includes a memory in which image induction information is recorded; an output unit that outputs the recorded image guidance information; An acquisition unit that acquires sleep state information from the user; And a processor for extracting user features based on the output imagery induction information and the acquired sleep state information, wherein the processor generates feature-based imagery induction information based on the extracted user features. An electronic device having the following characteristics may be provided.
또한, 본 발명의 일 실시예에 따라, 상기 획득부는 다른 전자 장치에서 사용자로부터 수면 상태 정보를 획득하면, 상기 획득된 수면 상태 정보를 상기 다른 전자 장치로부터 수신받는, 전자 장치를 제공할 수 있다. Additionally, according to an embodiment of the present invention, when the acquisition unit acquires sleep state information from a user in another electronic device, the acquisition unit may provide an electronic device that receives the obtained sleep state information from the other electronic device.
또한, 본 발명의 일 실시예에 따라, 상기 메모리에 기록된 심상 유도 정보는 룩업 테이블에 기초한 것인, 전자 장치를 제공할 수 있다. Additionally, according to an embodiment of the present invention, an electronic device can be provided in which the image induction information recorded in the memory is based on a lookup table.
또한, 본 발명의 일 실시예에 따라, 상기 메모리에 기록된 심상 유도 정보는 상기 피처 기반 심상 유도 정보에 기초한 것인, 전자 장치를 제공할 수 있다. Additionally, according to an embodiment of the present invention, an electronic device may be provided in which the image guidance information recorded in the memory is based on the feature-based image guidance information.
또한, 본 발명의 일 실시예에 따라, 상기 출력부에서 출력되는 기록된 심상 유도 정보는 기록된 심상 유도 음향 정보, 기록된 심상 유도 시각 정보, 기록된 심상 유도 텍스트 정보 및 기록된 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 전자 장치를 제공할 수 있다. In addition, according to an embodiment of the present invention, the recorded image-inducing information output from the output unit includes recorded image-inducing sound information, recorded image-inducing visual information, recorded image-inducing text information, and recorded image-inducing text sound. An electronic device containing one or more pieces of information, or a combination of two or more pieces of information, can be provided.
또한, 본 발명의 일 실시예에 따라, 상기　출력부에서 출력되는 기록된 심상 유도 정보는 심상 유도 시나리오를 갖는 기록된 시계열적 심상 유도 음향 정보, 기록된 시계열적 심상 유도 시각 정보, 기록된 시계열적 심상 유도 텍스트 음향 정보 및 기록된 시계열적 심상 유도 텍스트 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 전자 장치를 제공할 수 있다. In addition, according to an embodiment of the present invention, the recorded image-inducing information output from the output unit includes recorded time-series image-inducing sound information with an image-inducing scenario, recorded time-series image-inducing visual information, and recorded time-series image-inducing visual information. An electronic device may be provided that is one or more of image-inducing text sound information and recorded time-series image-inducing text information, or a combination of two or more of these.
또한, 본 발명의 일 실시예에 따라, 상기 출력부는 상기 생성된 피처 기반 심상 유도 정보를 출력하는, 전자 장치를 제공할 수 있다. Additionally, according to an embodiment of the present invention, the output unit may provide an electronic device that outputs the generated feature-based imagery induction information.
또한, 본 발명의 일 실시예에 따라, 상기 출력부에서 출력되는 피처 기반 심상 유도 정보는 피처 기반 심상 유도 음향 정보, 피처 기반 심상 유도 시각 정보, 피처 기반 심상 유도 텍스트 정보 및 피처 기반 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 전자 장치를 제공할 수 있다. In addition, according to an embodiment of the present invention, the feature-based imagery inducing information output from the output unit includes feature-based imagery inducing sound information, feature-based imagery inducing visual information, feature-based imagery inducing text information, and feature-based imagery inducing text sound. An electronic device containing one or more pieces of information, or a combination of two or more pieces of information, can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 출력부에서 출력되는 피처 기반 심상 유도 정보는 심상 유도 시나리오를 갖는 피처 기반 시계열적 심상 유도 음향 정보, 피처 기반 시계열적 심상 유도 시각 정보, 피처 기반 시계열적 심상 유도 텍스트 음향 정보 및 피처 기반 시계열적 심상 유도 텍스트 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 전자 장치를 제공할 수 있다. In addition, according to an embodiment of the present invention, the feature-based image induction information output from the output unit includes feature-based time-series image-induction sound information with an image-induction scenario, feature-based time-series image-induction visual information, and feature-based time-series image induction information. An electronic device may be provided that is one or more of image-inducing text sound information and feature-based time-series image-inducing text information, or a combination of two or more of these.
한편, 본 발명의 일 실시예에 따른 전자 장치에 있어서, 사용자와 관련된 정보가 기록된 메모리; 상기 기록된 정보에 기초하여 사용자의 피처를 추출하는 프로세서;를 포함하고, 상기 프로세서는, 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는, 전자 장치를 제공할 수 있다. Meanwhile, in an electronic device according to an embodiment of the present invention, a memory in which user-related information is recorded; and a processor that extracts user features based on the recorded information, wherein the processor generates feature-based imagery induction information based on the extracted user features.
또한, 본 발명의 일 실시예에 따라, 상기 사용자와 관련된 정보를 사용자로부터 입력 받는 입력부;를 더 포함하는, 전자 장치를 제공할 수 있다. Additionally, according to an embodiment of the present invention, an electronic device may be provided, further comprising an input unit that receives information related to the user from the user.
또한, 본 발명의 일 실시예에 따라, 상기 입력부에 입력되는 사용자와 관련된 정보는 스와이프 방식으로 선택된 컨텐츠; 사용자로부터 입력된 텍스트; 및 제시된 키워드 중 사용자로부터 선택된 키워드; 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 전자 장치를 제공할 수 있다. Additionally, according to an embodiment of the present invention, information related to the user input to the input unit includes content selected by a swipe method; Text input from the user; and keywords selected by the user among the presented keywords; An electronic device that is one or more of these, or a combination of two or more of these, can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 생성된 피처 기반 심상 유도 정보를 출력하는 출력부; 또는 사용자로부터 수면 상태 정보를 획득하는 획득부;를 더 포함하는, 전자 장치를 제공할 수 있다. Additionally, according to an embodiment of the present invention, an output unit for outputting the generated feature-based imagery induction information; Alternatively, an electronic device may be provided that further includes an acquisition unit that acquires sleep state information from the user.
또한, 본 발명의 일 실시예에 따라, 상기 획득부는 다른 전자장치에서 사용자로부터 수면 상태 정보를 획득하면,상기 획득된 수면 상태 정보를 상기 다른 전자장치로부터 수신받는, 전자 장치를 제공할 수 있다. Additionally, according to an embodiment of the present invention, when the acquisition unit obtains sleep state information from a user in another electronic device, the acquisition unit may provide an electronic device that receives the obtained sleep state information from the other electronic device.
또한, 본 발명의 일 실시예에 따라, 상기 출력부에서 출력되는 피처 기반 심상 유도 정보는 피처 기반 심상 유도 음향 정보, 피처 기반 심상 유도 시각 정보, 피처 기반 심상 유도 텍스트 정보 및 피처 기반 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 전자 장치를 제공할 수 있다. In addition, according to an embodiment of the present invention, the feature-based imagery inducing information output from the output unit includes feature-based imagery inducing sound information, feature-based imagery inducing visual information, feature-based imagery inducing text information, and feature-based imagery inducing text sound. An electronic device containing one or more pieces of information, or a combination of two or more pieces of information, can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 출력부에서 출력되는 피처 기반 심상 유도 정보는 심상 유도 시나리오를 갖는 피처 기반 시계열적 심상 유도 음향 정보, 피처 기반 시계열적 심상 유도 시각 정보, 피처 기반 시계열적 심상 유도 텍스트 정보 및 피처 기반 시계열적 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인, 전자 장치를 제공할 수 있다. In addition, according to an embodiment of the present invention, the feature-based image induction information output from the output unit includes feature-based time-series image-induction sound information with an image-induction scenario, feature-based time-series image-induction visual information, and feature-based time-series image induction information. An electronic device may be provided that is one or more of image-inducing text information and feature-based time-series image-inducing text sound information, or a combination of two or more of these.
또한, 본 발명의 일 실시예에 따라, 상기 프로세서는 상기 출력된 피처 기반 심상 유도 정보 및 상기 획득된 수면 상태 정보 중 어느 하나 이상에 기초하거나, 또는 이들의 결합에 기초하여 사용자의 피처를 추출하는, 전자 장치를 제공할 수 있다. In addition, according to an embodiment of the present invention, the processor extracts the user's features based on one or more of the output feature-based imagery induction information and the obtained sleep state information, or a combination thereof. , electronic devices can be provided.
한편, 본 발명의 일 실시예에 따른 전자 장치에 있어서, 심상 유도 정보가 기록된 메모리; 상기 기록된 심상 유도 정보를 출력하는 출력부; 사용자로부터 수면 상태 정보를 획득하는 획득부; 상기 출력된 심상 유도 정보 및 상기 획득된 수면 상태 정보를 서버로 전송하는 수단; 상기 서버가 상기 전송된 심상 유도 정보 및 상기 전송된 수면 상태 정보에 기초하여 사용자의 피처를 추출하면, 상기 추출된 사용자의 피처를 수신하는 수단; 및 상기 수신된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 수단;을 포함하는 전자 장치를 제공할 수 있다. Meanwhile, an electronic device according to an embodiment of the present invention includes a memory in which image induction information is recorded; an output unit that outputs the recorded image guidance information; An acquisition unit that obtains sleep state information from the user; means for transmitting the output image induction information and the obtained sleep state information to a server; When the server extracts the user's features based on the transmitted imagery induction information and the transmitted sleep state information, means for receiving the extracted user's features; and means for generating feature-based imagery induction information based on the received user's features.
한편, 본 발명의 일 실시예에 따른 전자 장치에 있어서, 사용자와 관련된 정보가 기록된 메모리; 상기 기록된 정보를 서버로 전송하는 수단; 상기 서버가 상기 전송된 정보에 기초하여 사용자의 피처를 추출하면, 상기 추출된 사용자의 피처를 수신하는 수단; 및 상기 수신된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 수단;을 포함하는 전자 장치를 제공할 수 있다. Meanwhile, in an electronic device according to an embodiment of the present invention, a memory in which user-related information is recorded; means for transmitting the recorded information to a server; When the server extracts the user's features based on the transmitted information, means for receiving the extracted user's features; and means for generating feature-based imagery induction information based on the received user's features.
한편, 본 발명의 일 실시예에 따른 전자 장치에 있어서, 심상 유도 정보가 기록된 메모리; 상기 기록된 심상 유도 정보를 출력하는 출력부; 사용자로부터 수면 상태 정보를 획득하는 획득부; 상기 출력된 심상 유도 정보 및 상기 수면 상태 정보를 서버로 전송하는 수단; 및 상기 서버가 상기 전송된 심상 유도 정보 및 상기 전송된 수면 상태 정보에 기초하여 사용자의 피처를 추출하고, 상기 서버가 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하면, 상기 생성된 피처 기반 심상 유도 정보를 수신하는 수단;을 포함하는 전자 장치를 제공할 수 있다. Meanwhile, an electronic device according to an embodiment of the present invention includes a memory in which image induction information is recorded; an output unit that outputs the recorded image guidance information; An acquisition unit that obtains sleep state information from the user; means for transmitting the output image induction information and the sleep state information to a server; And when the server extracts the user's features based on the transmitted imagery induction information and the transmitted sleep state information, and the server generates feature-based imagery induction information based on the extracted user's features, the generation An electronic device including means for receiving feature-based image induction information may be provided.
한편, 본 발명의 일 실시예에 따른 전자 장치에 있어서, 사용자와 관련된 정보가 기록된 메모리; 상기 기록된 정보를 서버로 전송하는 수단; 및 상기 서버가 상기 전송된 정보에 기초하여 사용자의 피처를 추출하고, 상기 서버가 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하면, 상기 생성된 피처 기반 심상 유도 정보를 수신하는 수단;을 포함하는 것을 특징으로 하는 전자 장치를 제공할 수 있다. Meanwhile, in an electronic device according to an embodiment of the present invention, a memory in which user-related information is recorded; means for transmitting the recorded information to a server; And when the server extracts the user's features based on the transmitted information and the server generates feature-based imagery induction information based on the extracted user's features, receiving the generated feature-based imagery induction information. An electronic device comprising: means can be provided.
한편, 본 발명의 일 실시예에 따른 전자 장치에 있어서, 심상 유도 정보가 기록된 메모리; 상기 기록된 심상 유도 정보를 출력하는 출력부; 사용자로부터 수면 상태 정보를 획득하는 획득부; 상기 출력된 심상 유도 정보 및 상기 획득된 수면 상태 정보에 기초하여 사용자의 피처를 추출하는 프로세서; 상기 추출된 사용자의 피처를 서버로 전송하는 수단; 및 상기 서버가 상기 전송된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하면, 상기 생성된 피처 기반 심상 유도 정보를 수신하는 수단;을 포함하는 전자 장치를 제공할 수 있다. Meanwhile, an electronic device according to an embodiment of the present invention includes a memory in which image induction information is recorded; an output unit that outputs the recorded image guidance information; An acquisition unit that obtains sleep state information from the user; a processor that extracts user features based on the output image induction information and the acquired sleep state information; means for transmitting the extracted user features to a server; and when the server generates feature-based imagery induction information based on the transmitted features of the user, means for receiving the generated feature-based imagery induction information.
한편, 본 발명의 일 실시예에 따른 전자 장치에 있어서, 사용자와 관련된 정보가 기록된 메모리; 상기 기록된 정보에 기초하여 사용자의 피처를 추출하는 프로세서; 상기 추출된 사용자의 피처를 서버로 전송하는 수단; 및 상기 서버가 상기 전송된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하면, 상기 생성된 피처 기반 심상 유도 정보를 수신하는 수단;을 포함하는 전자 장치를 제공할 수 있다. Meanwhile, in an electronic device according to an embodiment of the present invention, a memory in which user-related information is recorded; a processor that extracts user features based on the recorded information; means for transmitting the extracted user features to a server; and when the server generates feature-based imagery induction information based on the transmitted features of the user, means for receiving the generated feature-based imagery induction information.
한편, 본 발명의 일 실시예에 따른 심상 유도 정보 생성 및 제공 모델이 실장된 서버 장치에 있어서, 상기 심상 유도 정보 생성 및 제공 모델은, 전자 장치의 획득부를 통해 획득된 사용자의 수면 상태 정보 및 전자 장치의 출력부를 통해 출력된 심상 유도 정보에 기초하여 사용자의 피처를 추출하고, 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 심상 유도 정보 생성 및 제공 모델이 실장된 서버 장치를 제공할 수 있다. Meanwhile, in a server device equipped with a model for generating and providing imagery inducing information according to an embodiment of the present invention, the model for generating and providing imagery inducing information includes the user's sleep state information and the electronic device obtained through an acquisition unit of the electronic device. A server device equipped with an imagery induction information generation and provision model that extracts user features based on imagery induction information output through the output unit of the device and generates feature-based imagery induction information based on the extracted user features. can be provided.
한편, 본 발명의 일 실시예에 따른 심상 유도 정보 생성 및 제공 모델이 실장된 서버 장치에 있어서, 상기 심상 유도 정보 생성 및 제공 모델은, 전자 장치의 획득부를 통해 획득된 사용자의 수면 상태 정보 및 전자 장치의 메모리에 기록된 사용자와 관련된 정보에 기초하여 사용자의 피처를 추출하고, 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 심상 유도 정보 생성 및 제공 모델이 실장된 서버 장치를 제공할 수 있다. Meanwhile, in a server device equipped with a model for generating and providing imagery inducing information according to an embodiment of the present invention, the model for generating and providing imagery inducing information includes the user's sleep state information and the electronic device obtained through an acquisition unit of the electronic device. A server device equipped with an imagery induction information generation and provision model that extracts user features based on information related to the user recorded in the device's memory and generates feature-based imagery induction information based on the extracted user features. can be provided.
또는, 본 발명의 일 실시예에 따르면, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법에 있어서, 하나 이상의 수면 정보 센서 장치로부터 수면 정보를 습득하는 - 상기 수면 정보는 사용자의 수면 음향 정보를 포함한다 - 수면 정보 습득 단계; 상기 습득된 수면 정보에 기초하여 사용자의 수면에 관한 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계; 상기 생성된 사용자의 수면에 관한 피처를 콘텐츠 생성형 인공지능에 입력하는 단계; 및 상기 콘텐츠 생성형 인공지능의 출력에 기초하여 사용자 수면 콘텐츠를 생성하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.Alternatively, according to an embodiment of the present invention, in a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, sleep information is acquired from one or more sleep information sensor devices - the sleep information is provided by the user. Includes sleep acoustic information - sleep information acquisition stage; generating one or more data arrays related to the user's sleep based on the acquired sleep information; Inputting the created features about the user's sleep into a content creation artificial intelligence; A method of generating and providing sleep content based on user sleep information using generative artificial intelligence can be provided, including generating user sleep content based on the output of the content generation artificial intelligence.
또한, 본 발명의 일 실시예에 따라, 상기 수면 정보 습득 단계는, 상기 사용자의 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환하여 상기 변화된 정보에 대한 분석을 수행하는 단계;를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the sleep information acquisition step includes converting the user's sleep sound information into information including changes in frequency components along the time axis and performing analysis on the changed information. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, including;
또한, 본 발명의 일 실시예에 따라, 상기 변환된 정보는 상기 수면 음향 정보의 주파수 성분들의 시간축에 따른 변화를 시각화하여 나타낸 것인, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the converted information visualizes changes along the time axis of the frequency components of the sleep sound information, and generates sleep content based on user sleep information using generative artificial intelligence. and provision method may be provided.
또한, 본 발명의 일 실시예에 따라, 상기 수면 정보 습득 단계는, 상기 사용자의 수면 음향 정보를 수면 정보 추론 딥러닝 모델의 입력으로 하여, 수면에 대한 정보를 추론하는, 수면 정보 추론 단계;를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the sleep information acquisition step includes a sleep information inference step of inferring information about sleep by using the user's sleep sound information as input to a sleep information inference deep learning model; It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
또한, 본 발명의 일 실시예에 따라, 상기 상기 수면 정보 습득 단계는, 상기 추론된 수면 정보를 시간 도메인 상의 힙노그램으로 출력하는 단계;를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the sleep information acquisition step includes outputting the inferred sleep information as a hypnogram in the time domain, based on user sleep information using generative artificial intelligence. A method of creating and providing sleep content can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계는, 상기 추론된 수면 정보에 기초하여 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계;를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, generating one or more data arrays about the user's sleep includes generating one or more data arrays about the user's sleep based on the inferred sleep information; It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
또한, 본 발명의 일 실시예에 따라, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계에 있어서, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열은 텐서인, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, in the step of generating one or more data arrays about the user's sleep, the one or more data arrays about the user's sleep are tensors, and a user utilizing generative artificial intelligence A method of creating and providing sleep content based on sleep information can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계는, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하기 위하여 상기 추론된 수면 정보를 대규모 언어 모델(Large Language Model)의 입력으로 하여 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계;를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the step of generating one or more data arrays about the user's sleep includes combining the inferred sleep information with a large-scale language model to generate one or more data arrays about the user's sleep. A method of generating and providing sleep content based on user sleep information using generative artificial intelligence can be provided, including the step of generating one or more data arrays about the user's sleep by inputting a (Large Language Model). .
또한, 본 발명의 일 실시예에 따라, 상기 대규모 언어 모델(Large Language Model)은 GPT모델기반의 생성형 인공지능 모델인, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the Large Language Model is a GPT model-based generative artificial intelligence model, and a method of generating and providing sleep content based on user sleep information using generative artificial intelligence. can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 대규모 언어 모델(Large Language Model)은 BERT모델기반의 생성형 인공지능 모델인, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the Large Language Model is a generative artificial intelligence model based on the BERT model, and a method of generating and providing sleep content based on user sleep information using generative artificial intelligence. can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계는, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하기 위하여 상기 추론된 수면 정보에 기초하여 룩업 테이블에서 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계;를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the step of generating one or more data arrays about the user's sleep includes lookup based on the inferred sleep information to generate one or more data arrays about the user's sleep. A method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided, including the step of generating one or more data arrays regarding the user's sleep in a table.
또한, 본 발명의 일 실시예에 따라, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계에 있어서, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면에 연관된 선호 정보에 기초하여 생성되는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.Additionally, according to an embodiment of the present invention, in the step of generating one or more data arrays about the user's sleep, the one or more data arrays about the user's sleep are generated based on preference information related to the user's sleep. It is possible to provide a method of creating and providing sleep content based on user sleep information using generative artificial intelligence.
또한, 본 발명의 일 실시예에 따라, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계에 있어서, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성되는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, in the step of generating one or more data arrays about the user's sleep, the one or more data arrays about the user's sleep are generated based on the user's sleep indicator information, A method of creating and providing sleep content based on user sleep information using generative artificial intelligence can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계에 있어서, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 점수 에 기초하여 생성되는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, in the step of generating one or more data arrays about the user's sleep, the one or more data arrays about the user's sleep are generated based on the user's sleep score. A method of creating and providing sleep content based on user sleep information using artificial intelligence can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 콘텐츠 생성형 인공지능에 입력하는 단계는, 상기 생성된 사용자의 수면에 관한 하나 이상의 데이터 배열을 콘텐츠 생성형 인공지능에 입력하기 위한 데이터 배열 가공 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the inputting step into the content creation artificial intelligence includes a data array processing step for inputting the generated one or more data arrays about the user's sleep into the content creation artificial intelligence. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
또한, 본 발명의 일 실시예에 따라, 상기 데이터 배열 가공 단계는, 상기 콘텐츠 생성형 인공지능에 입력하기 위해서 사용자 키워드 입력을 받는 단계를 더 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the data array processing step further includes receiving a user keyword input to input into the content generation artificial intelligence, based on user sleep information using generative artificial intelligence. A method of creating and providing sleep content can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 콘텐츠 생성형 인공지능에 입력하는 단계는, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열에 기초하여 사용자의 수면에 관한 하나 이상의 키워드를 생성하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the step of inputting into the content creation artificial intelligence includes generating one or more keywords about the user's sleep based on one or more data arrays about the user's sleep. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
또한, 본 발명의 일 실시예에 따라, 상기 사용자의 수면에 관한 하나 이상의 키워드를 생성하는 단계는, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열에 대응되는 룩업테이블에 기초하여 상기 사용자의 수면에 관한 하나 이상의 키워드를 생성하는 단계;를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the step of generating one or more keywords related to the user's sleep includes information about the user's sleep based on a lookup table corresponding to one or more data arrays related to the user's sleep. A method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided, including the step of generating one or more keywords.
또한, 본 발명의 일 실시예에 따라, 상기 사용자의 수면에 관한 하나 이상의 키워드를 생성하는 단계는, 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 대규모 언어 모델의 입력으로 하여 상기 사용자의 수면에 관한 하나 이상의 키워드를 생성하는 단계;를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the step of generating one or more keywords related to the user's sleep includes generating one or more keywords related to the user's sleep by using one or more data arrays related to the user's sleep as input to a large-scale language model. A method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided, including the step of generating one or more keywords.
또한, 본 발명의 일 실시예에 따라, 상기 피처 가공 단계는, 상기 콘텐츠 생성형 인공지능에 입력하기 위해서 상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 해석하는 방법을 입력하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the feature processing step includes inputting a method for interpreting one or more data arrays regarding the user's sleep to be input to the content creation artificial intelligence. A method of creating and providing sleep content based on user sleep information using artificial intelligence can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 콘텐츠 생성형 인공지능은 대규모 언어 모델 기반의 인공지능 모델인, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the content generation artificial intelligence can provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, which is an artificial intelligence model based on a large-scale language model. there is.
또한, 본 발명의 일 실시예에 따라, 상기 대규모 언어 모델 기반의 콘텐츠 생성형 인공지능은 GPT모델기반의 생성형 인공지능 모델인, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the large-scale language model-based content generation artificial intelligence is a GPT model-based generative artificial intelligence model, generating sleep content based on user sleep information using generative artificial intelligence, and A method of provision can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 대규모 언어 모델 기반의 콘텐츠 생성형 인공지능은 BERT모델기반의 생성형 인공지능 모델인, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the large-scale language model-based content generation artificial intelligence is a BERT model-based generative artificial intelligence model, generating sleep content based on user sleep information using generative artificial intelligence, and A method of provision can be provided.
또한, 본 발명의 일 실시예에 따라, 상기 사용자 수면 콘텐츠를 생성하는 단계는, 상기 콘텐츠 생성형 인공지능의 출력에 기초하여 수면 텍스트 콘텐츠를 생성하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the step of generating the user sleep content includes generating sleep text content based on the output of the content generation artificial intelligence, using generative artificial intelligence. A method of creating and providing sleep content based on user sleep information can be provided.
또한, 본 발명의 일 실시예에 따라, 수면 텍스트 콘텐츠를 생성하는 단계는, 상기 콘텐츠 생성형 인공지능의 출력에 기초하여 수면 기본 문장을 생성하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, according to an embodiment of the present invention, the step of generating sleep text content includes generating a basic sleep sentence based on the output of the content generation artificial intelligence, and the user using generative artificial intelligence. A method of creating and providing sleep content based on sleep information can be provided.
또한, 본 발명의 일 실시예에서, 수면 텍스트 콘텐츠를 생성하는 단계는, 상기 수면 기본 문장에 기초하여 수면 핵심 키워드를 추출하는 단계; 및 사용자 입력 키워드를 입력 받는 단계를 더 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.Additionally, in one embodiment of the present invention, generating sleep text content includes extracting sleep core keywords based on the sleep basic sentences; It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, which further includes the step of receiving user input keywords.
그리고, 본 발명의 일 실시예에서, 상기 사용자 수면 콘텐츠를 생성하는 단계는, 상기 콘텐츠 생성형 인공지능의 출력에 기초하여 수면 음원 콘텐츠를 생성하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.And, in one embodiment of the present invention, the step of generating the user sleep content includes generating sleep sound source content based on the output of the content generation artificial intelligence, where the user using generative artificial intelligence A method of creating and providing sleep content based on sleep information can be provided.
또한, 본 발명의 일 실시예에서, 상기 수면 음원 콘텐츠 생성 단계는, 상기 생성된 수면 문장과 음원 샘플들 간의 유사도를 측정하여, 유사도에 기반하여 상기 하나 이상의 음원 샘플들을 조합하여 수면 음원 콘텐츠를 생성하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, in one embodiment of the present invention, the step of generating sleep sound source content measures the similarity between the generated sleep sentence and sound source samples, and generates sleep sound source content by combining the one or more sound source samples based on the similarity. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, including the step of:
그리고, 본 발명의 일 실시예에서, 상기 사용자 수면 콘텐츠를 생성하는 단계는, 상기 콘텐츠 생성형 인공지능의 출력에 기초하여 수면 시각 콘텐츠를 생성하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.And, in one embodiment of the present invention, the step of generating the user sleep content includes generating sleep visual content based on the output of the content generation artificial intelligence, where the user using generative artificial intelligence A method of creating and providing sleep content based on sleep information can be provided.
또한, 본 발명의 일 실시예에서, 상기 사용자 수면 콘텐츠를 생성하는 단계는, 상기 생성된 수면 텍스트 콘텐츠와 상기 생성된 수면 음원 콘텐츠를 사용자에게 제공하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, in one embodiment of the present invention, the step of generating the user sleep content includes providing the generated sleep text content and the generated sleep sound source content to the user, using generative artificial intelligence. A method of creating and providing sleep content based on user sleep information can be provided.
그리고, 본 발명의 일 실시예에서, 상기 사용자 수면 콘텐츠를 생성하는 단계는, 상기 생성된 수면 시각 콘텐츠를 사용자에게 제공하는 단계를 더 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.And, in one embodiment of the present invention, the step of generating the user sleep content further includes providing the generated sleep visual content to the user, sleep information based on user sleep information using generative artificial intelligence. Can provide methods for creating and providing content.
또한, 본 발명의 일 실시예에서, 상기 생성된 수면 음원 콘텐츠와, 상기 생성된 수면 텍스트 콘텐츠의 키워드 및 타이틀이 시계열적으로 정합하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, in one embodiment of the present invention, sleep content is generated based on user sleep information using generative artificial intelligence, in which the generated sleep sound source content and the keywords and titles of the generated sleep text content match in time series. and provision method may be provided.
한편, 본 발명의 일 실시예에 따른 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법에 있어서, 사용자 키워드 입력 단계; 상기 입력된 사용자 키워드를 대규모 언어 모델의 입력으로 하여 기본 문장을 생성하는 단계; 상기 생성된 기본 문장에 기초하여 수면 문장 키워드를 선정하는 수면 문장 키워드 정제 단계; 상기 선정된 문장 키워드에 기초하여 수면 콘텐츠 테마 선정 단계; 상기 선정된 수면 콘텐츠 테마에 기초하여 수면 콘텐츠를 생성하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.Meanwhile, in the method of generating and providing sleep content based on user sleep information using generative artificial intelligence according to an embodiment of the present invention, the user keyword input step; generating a basic sentence using the input user keyword as input to a large-scale language model; A sleep sentence keyword refining step of selecting sleep sentence keywords based on the generated basic sentences; Selecting a sleep content theme based on the selected sentence keywords; A method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided, including the step of generating sleep content based on the selected sleep content theme.
또한, 본 발명의 일실시예에서, 상기 사용자 키워드 입력 단계는, 상기 사용자 키워드를 사용자로부터 직접 입력 받는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, in one embodiment of the present invention, the user keyword input step includes a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, including receiving the user keyword directly from the user. can be provided.
그리고, 본 발명의 일실시예에서, 상기 사용자 키워드 입력 단계는, 상기 사용자 키워드를 사용자 정보로부터 입력 받는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.And, in one embodiment of the present invention, the user keyword input step includes a method of generating and providing sleep content based on user sleep information using generative artificial intelligence, including receiving the user keyword from user information. can be provided.
또한, 본 발명의 일실시예에서, 상기 수면 문장 키워드 정제 단계는, 상기 생성된 기본 문장을 대규모 언어 모델의 입력으로 하여 수면 문장 키워드를 추출하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, in one embodiment of the present invention, the sleep sentence keyword refining step includes extracting sleep sentence keywords by using the generated basic sentence as an input to a large-scale language model. User utilizing generative artificial intelligence A method of creating and providing sleep content based on sleep information can be provided.
그리고, 본 발명의 일실시예에서, 상기 수면 콘텐츠 테마 선정 단계는, 음원 샘플 리스트의 음원 샘플 타이틀과 상기 선정된 문장 키워드 및 상기 입력된 사용자 키워드와의 유사도인 제1유사도를 측정하는 단계; 및 상기 측정된 제1유사도에 기초하여 수면 콘텐츠 테마를 선정하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In one embodiment of the present invention, the sleep content theme selection step includes measuring a first similarity, which is the similarity between the sound source sample title of the sound source sample list, the selected sentence keyword, and the input user keyword; and selecting a sleep content theme based on the measured first similarity. A method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided.
또한, 본 발명의 일실시예에서, 상기 수면 콘텐츠 테마를 선정하는 단계는, 상기 선정된 수면 문장 키워드 및 상기 입력된 사용자 키워드에 기초하여 하나 이상의 수면 콘텐츠 이벤트를 선정하는 단계를 더 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, in one embodiment of the present invention, the step of selecting the sleep content theme further includes selecting one or more sleep content events based on the selected sleep sentence keyword and the input user keyword. A method of creating and providing sleep content based on user sleep information using artificial intelligence can be provided.
그리고, 본 발명의 일실시예에서, 상기 하나 이상의 수면 콘텐츠 이벤트를 선정하는 단계는, 상기 입력된 사용자 키워드의 형용사를 제거하는 단계; 상기 형용사가 제거된 사용자 키워드와 음원 샘플 리스트의 음원 샘플 타이틀의 유사도인 제2유사도를 측정하는 제2유사도 측정 단계; 및 상기 측정된 제2유사도에 기초하여 수면 콘텐츠 이벤트를 선정하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.And, in one embodiment of the present invention, selecting the one or more sleep content events includes removing adjectives of the input user keyword; A second similarity measurement step of measuring a second similarity, which is the similarity between the user keyword from which the adjective is removed and the sound source sample title in the sound source sample list; and selecting a sleep content event based on the measured second similarity. A method of generating and providing sleep content based on user sleep information using generative artificial intelligence may be provided.
또한, 본 발명의 일실시예에서, 상기 제2유사도를 측정하는 단계는, 상기 음원 샘플 타이틀과 상기 형용사가 제거된 사용자 키워드에 공통된 단어가 있는 경우에 제2유사도가 존재한다고 판단하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, in one embodiment of the present invention, the step of measuring the second similarity includes determining that the second similarity exists when there is a common word in the sound source sample title and the user keyword from which the adjective is removed. It is possible to provide a method of generating and providing sleep content based on user sleep information using generative artificial intelligence.
그리고, 본 발명의 일실시예에서, 상기 하나 이상의 수면 콘텐츠 이벤트를 선정하는 단계는, 상기 음원 샘플 리스트의 음원 샘플 타이틀과 상기 선정된 문장 키워드 및 상기 입력된 사용자 키워드와의 유사도인 제3유사도를 측정하는 단계; 및 상기 측정된 제3유사도에 기초하여 상기 선정된 수면 콘텐츠 테마를 제외한 상기 음원 샘플 리스트의 음원 샘플 타이틀을 수면 콘텐츠 이벤트로 선정하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.And, in one embodiment of the present invention, the step of selecting one or more sleep content events includes determining a third similarity degree, which is the similarity between the sound source sample title of the sound source sample list, the selected sentence keyword, and the input user keyword. measuring; And based on the measured third similarity, selecting a sound source sample title from the sound source sample list excluding the selected sleep content theme as a sleep content event, based on user sleep information using generative artificial intelligence. A method of creating and providing sleep content can be provided.
또한, 본 발명의 일실시예에서, 상기 선정된 수면 콘텐츠 테마 및 상기 선정된 콘텐츠 이벤트에 기초하여 수면 콘텐츠를 생성하는 단계는, 상기 생성된 기본 문장, 상기 선정된 수면 콘텐츠 테마 및 상기 선정된 수면 콘텐츠 이벤트를 대규모 언어 모델의 입력으로 하여 수면 콘텐츠 문장을 생성하는 단계; 및 상기 생성된 수면 콘텐츠 문장에 기초하여 수면 음원 콘텐츠을 생성하는 단계를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.In addition, in one embodiment of the present invention, the step of generating sleep content based on the selected sleep content theme and the selected content event includes the generated basic sentence, the selected sleep content theme, and the selected sleep content event. Generating sleep content sentences by using content events as input to a large-scale language model; A method of generating and providing sleep content based on user sleep information using generative artificial intelligence can be provided, including generating sleep sound source content based on the generated sleep content sentence.
그리고, 본 발명의 일실시예에 따른 상기 수면 음원 콘텐츠를 생성하는 단계에 있어서, 상기 생성되는 수면 음원 콘텐츠는 상기 생성된 수면 콘텐츠 문장의 순서와 대응되는, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법을 제공할 수 있다.And, in the step of generating the sleep sound source content according to an embodiment of the present invention, the generated sleep sound source content is user sleep information using generative artificial intelligence that corresponds to the order of the generated sleep content sentences. A method of creating and providing sleep-based content can be provided.
한편, 본 발명의 일 실시예에 따른 생성형 인공지능을 활용한 사용자 수면정보에 기반하여 수면 콘텐츠의 생성 및 제공하기 위한 저장매체에 있어서, 생성형 인공지능을 활용한 사용자 수면정보에 기반하여 수면 콘텐츠의 생성 및 제공하기 위한 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램은 상술한 방법들 중 하나 이상의 방법을 수행하라는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체를 제공할 수 있다.Meanwhile, in a storage medium for generating and providing sleep content based on user sleep information using generative artificial intelligence according to an embodiment of the present invention, sleep content is generated based on user sleep information using generative artificial intelligence. A non-transitory computer-readable storage medium storing one or more programs configured to be executed by one or more processors for generating and providing content, wherein the one or more programs include instructions to perform one or more of the methods described above. , a non-transitory computer-readable storage medium may be provided.
한편, 본 발명의 일 실시예에 따른 생성형 인공지능을 활용한 사용자 수면정보에 기반하여 수면 콘텐츠의 생성 및 제공하는 장치에 있어서, 디스플레이부; 하나 이상의 프로세서; 및 상기 하나이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하는 메모리 - 상기 하나 이상의 프로그램은 상술한 방법들 중 하나 이상의 방법을 수행하기 위한 명령어들을 포함함 - 를 포함하는, 생성형 인공지능을 활용한 사용자 수면정보에 기반하여 수면 콘텐츠의 생성 및 제공하는 장치를 제공할 수 있다.Meanwhile, in an apparatus for generating and providing sleep content based on user sleep information using generative artificial intelligence according to an embodiment of the present invention, the device includes: a display unit; One or more processors; and a memory storing one or more programs configured to be executed by the one or more processors, where the one or more programs include instructions for performing one or more of the methods described above. A device that generates and provides sleep content based on a user's sleep information can be provided.
본 발명의 실시 형태에 따른 슬립이미지 또는 슬립동영상 생성 및 제공 방법을 사용하면, 사용자에게 지난 밤의 수면의 질을 정량적인 수치로 직접적으로 제공하지 않기 때문에, 정량적인 수치에 대한 거부감이나 불쾌감을 느끼지 않는 이점이 있다.When using the method for generating and providing a sleep image or sleep video according to an embodiment of the present invention, the quality of last night's sleep is not directly provided to the user as a quantitative value, so the user does not feel aversion or discomfort toward the quantitative value. There is an advantage to not having it.
또한, 슬립이미지 또는 슬립동영상 생성 및 공유를 통해, 기존 사용자의 리텐션이 가능하고, 새로운 사용자를 유도할 수 있는 이점이 있다.In addition, there is an advantage in that it is possible to retain existing users and attract new users through the creation and sharing of sleep images or sleep videos.
또한, 사용자의 지난 밤의 수면에 대한 텍스트를 통해 사용자의 정성적인 슬립데이터를 획득할 수 있는 이점이 있다.Additionally, there is an advantage of being able to obtain qualitative sleep data about the user through text about the user's sleep last night.
또한, 본 발명에 따르면, 수면 정보에 기초하여 하나 이상의 데이터 배열을 생성하고, 데이터 배열을 콘텐츠 생성형 인공지능에 입력 함으로써, 수면과 관련된 수면 콘텐츠를 생성하고, 사용자 맞춤형 수면 콘텐츠를 제공하여 사용자의 수면에 대한 직관적인 이해를 제고하고, 사용자의 수면에 질을 향상시키는데 기여할 수 있다.In addition, according to the present invention, one or more data arrays are generated based on sleep information, and the data arrays are input into content creation artificial intelligence, thereby generating sleep content related to sleep and providing customized sleep content to the user. It can improve intuitive understanding of sleep and contribute to improving the quality of the user's sleep.
본 발명에 따르면, 심상 유도 정보를 생성하고 제공함으로써 사용자의 수면을 유도하거나, 수면의 질을 향상시킬 수 있다.According to the present invention, it is possible to induce sleep or improve the quality of sleep of a user by generating and providing imagery-inducing information.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1a 및 도 1b는 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치 또는 수면 콘텐츠 제공 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도이다. 1A and 1B are conceptual diagrams showing a system in which various aspects of a sleep content generating device or a sleep content providing device based on user sleep information can be implemented according to an embodiment of the present invention.
도 1c는 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공이 사용자 단말(300)에서 구현되는 경우의 시스템을 나타낸 개념도이다.FIG. 1C is a conceptual diagram illustrating a system in which the creation and provision of sleep content based on user sleep information is implemented in the user terminal 300 according to an embodiment of the present invention.
도 1d는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 심상 유도 정보를 생성하는 장치(100a)의 시스템을 나타낸 개념도이다. FIG. 1D is a conceptual diagram illustrating a system of an apparatus 100a that generates imagery induction information based on sleep state information according to an embodiment of the present invention.
도 1e는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 심상 유도 정보를 제공하는 장치(200a)의 시스템을 나타낸 개념도이다.FIG. 1E is a conceptual diagram illustrating a system of a device 200a that provides imagery induction information based on sleep state information according to an embodiment of the present invention.
도 1f는 본 발명의 일 실시예에 따라 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 컴퓨팅 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.FIG. 1F shows a conceptual diagram illustrating a system in which various aspects of a computing device for creating a sleep environment based on sleep state information can be implemented according to an embodiment of the present invention.
도 1g는 본 발명의 또 다른 실시예에 따라 수면 환경 조절 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다.Figure 1g shows a conceptual diagram showing a system in which various aspects of a sleep environment control device can be implemented according to another embodiment of the present invention.
도 1h는 본 발명의 또 다른 실시예에 따른 다양한 전자 장치들의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도이다.FIG. 1H is a conceptual diagram showing a system in which various aspects of various electronic devices can be implemented according to another embodiment of the present invention.
도 1i는 본 발명의 일 실시예에 따른 슬립이미지 생성 및 제공 시스템을 설명하기 위한 도면이다.Figure 1i is a diagram for explaining a system for generating and providing a sleep image according to an embodiment of the present invention.
도 2a는 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치(700)/제공 장치(800)의 구성을 나타내는 블록도이다.FIG. 2A is a block diagram showing the configuration of a sleep content generating device 700/providing device 800 based on user sleep information according to an embodiment of the present invention.
도 2b는 본 발명에 따른 전자 장치(600)의 구성을 나타내는 블록도이다. Figure 2b is a block diagram showing the configuration of an electronic device 600 according to the present invention.
도 2c는 본 발명의 일 실시예에 따라 사용자의 수면 환경에 관련한 일 공간을 예시적으로 나타낸 예시도이다.Figure 2c is an exemplary diagram illustrating a work space related to a user's sleeping environment according to an embodiment of the present invention.
도 2d는 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)를 설명하기 위한 블록도이다.FIG. 2D is a block diagram for explaining the computing device 100 according to an embodiment of the present invention.
도 2e는 본 발명의 일 실시예에 따른 외부 단말(200)을 설명하기 위한 블록도이다.Figure 2e is a block diagram for explaining an external terminal 200 according to an embodiment of the present invention.
도 2f는 본 발명의 일 실시예에 따른 사용자 단말(300)을 설명하기 위한 블록도이다.Figure 2f is a block diagram for explaining the user terminal 300 according to an embodiment of the present invention.
도 2g는 본 발명의 일 실시예에 따른 수면 환경 조절 장치의 예시적인 블록구성도를 도시한다.Figure 2g shows an exemplary block diagram of a sleep environment control device according to an embodiment of the present invention.
도 2h는 본 발명의 일 실시예에 따른 수신 모듈 및 송신 모듈의 예시적인 블록 구성도를 도시한다.Figure 2h shows an example block diagram of a receiving module and a transmitting module according to an embodiment of the present invention.
도 2i는 본 발명의 일 실시예에 따라 환경 센싱 정보를 획득할 수 있는 영역 (또는, 수면 감지 영역) (11a)에 사용자가 위치하였는지 여부를 감지하는 제2센서부를 설명하기 위한 예시도이다.Figure 2i is an example diagram for explaining a second sensor unit that detects whether the user is located in an area (or sleep detection area) 11a where environmental sensing information can be obtained according to an embodiment of the present invention.
도 3a 및 도 3b는 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.3A and 3B are graphs verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention. This is a comparison drawing.
도 3c는 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면 무호흡증(apnea), 호흡저하(hypopnea)와 관련하여 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.Figure 3c is a graph verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results in relation to sleep apnea and hypoventilation and the results according to the present invention. This is a diagram comparing the analysis results (AI results) using AI algorithms.
도 4는 본 발명에 따른 수면 분석 방법의 성능을 검증하기 위한 실험과정을 나타내는 도면이다.Figure 4 is a diagram showing an experimental process for verifying the performance of the sleep analysis method according to the present invention.
도 5는 본 발명의 일 실시예에 따라 환경 센싱 정보로부터 수면 음향 정보를 획득하는 과정을 설명하기 위한 예시도이다.Figure 5 is an exemplary diagram illustrating a process for obtaining sleep sound information from environmental sensing information according to an embodiment of the present invention.
도 6a는 본 발명의 일 실시예에 따라 수면 음향 정보에 대응하는 스펙트로그램을 획득하는 방법을 설명하기 위한 예시도이다.FIG. 6A is an exemplary diagram illustrating a method of obtaining a spectrogram corresponding to sleeping sound information according to an embodiment of the present invention.
도 6b는 본 발명에 따른 수면 분석 방법에 있어서 스펙트로그램을 이용한 수면단계분석을 설명하기 위한 도면이다.Figure 6b is a diagram for explaining sleep stage analysis using a spectrogram in the sleep analysis method according to the present invention.
도 6c는 본 발명에 따른 수면 분석 방법에 있어서 스펙트로그램을 이용한 수면장애 판단을 설명하기 위한 도면이다.Figure 6c is a diagram for explaining sleep disorder determination using a spectrogram in the sleep analysis method according to the present invention.
도 7은 본 발명의 일 실시예에 따라, 사용자의 수면 상태에 기초하여 생성되는 시점별 환경 조성 정보를 예시적으로 나타낸 예시도이다.Figure 7 is an exemplary diagram illustrating environmental composition information for each time point generated based on the user's sleeping state, according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따라, 수면 상태 정보에 기초하여 수면 환경 조성 방법을 제공하기 위한 예시적인 순서도를 도시한다.Figure 8 shows an exemplary flowchart for providing a method for creating a sleep environment based on sleep state information, according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따른 하나 이상의 네트워크 함수를 나타낸 개략도이다.Figure 9 is a schematic diagram showing one or more network functions according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따라서, 사용자의 수면을 분석하기 위해서 딥러닝을 활용한 수면 분석 모델의 구조를 설명하기 위한 도면이다.Figure 10 is a diagram illustrating the structure of a sleep analysis model using deep learning to analyze a user's sleep, according to an embodiment of the present invention.
도 11은 본 발명에 따른 환경 조성 장치의 동작을 설명하기 위한 개념도이다.Figure 11 is a conceptual diagram for explaining the operation of the environment creation device according to the present invention.
도 12는 본 발명에 따른 환경 조성 장치의 구성을 나타내는 블록도이다.Figure 12 is a block diagram showing the configuration of an environment creation device according to the present invention.
도 13은 본 발명의 일 실시예에 따른 환경 조성 장치의 수면 측정 모드를 통해 수면 상태 정보를 획득하는 과정을 예시적으로 나타낸 순서도이다.Figure 13 is a flowchart illustrating a process for obtaining sleep state information through a sleep measurement mode of an environment creation device according to an embodiment of the present invention.
도 14는 본 발명의 일 실시예에 따라 사용자의 수면 인입을 유도하는 환경을 조성하는 과정을 예시적으로 나타낸 순서도이다.Figure 14 is a flowchart illustrating a process for creating an environment that induces the user to enter sleep according to an embodiment of the present invention.
도 15는 본 발명의 일 실시예에 따라 수면 중 및 기상 직전에 사용자의 수면 환경을 변화시키는 과정을 예시적으로 나타낸 순서도이다.Figure 15 is a flow chart illustrating a process for changing the user's sleep environment during sleep and immediately before waking up according to an embodiment of the present invention.
도 16은 본 발명의 일 실시예에 따른 사용자의 수면 기간 내 수면 단계를 표시하는 힙노그램의 또 다른 예시를 설명하기 위한 도면이다.Figure 16 is a diagram for explaining another example of a hypnogram displaying a sleep stage within a user's sleep period according to an embodiment of the present invention.
도 17a는 본 발명의 일 실시예에 따른 사용자의 수면에 관한 비수치적인 평가를 설명하기 위한 도면이다.Figure 17a is a diagram for explaining a non-numerical evaluation of a user's sleep according to an embodiment of the present invention.
도 17b는 사용자의 수면에 관한 수치적인 평가인 수면 점수를 설명하기 위한 도면이다.Figure 17b is a diagram to explain the sleep score, which is a numerical evaluation of the user's sleep.
도 18은 대규모 언어 모델(Large Language Model)의 기반이 되는 Transformer모델의 구조를 설명하기 위한 도면이다.Figure 18 is a diagram to explain the structure of the Transformer model, which is the basis of a large language model.
도 19는 본 발명에 일실시예에 따른 콘텐츠 생성형 인공지능에 있어서, DIFFUSION모델의 역확산모델(Inverter Model)을 설명하기 위한 도면이다.Figure 19 is a diagram for explaining the inverter model of the DIFFUSION model in the content creation type artificial intelligence according to an embodiment of the present invention.
도 20은 본 발명에 일실시예에 따른 콘텐츠 생성형 인공지능에 있어서, GAN(Generative Adversarial Network)의 생성자(Generator)와 판별자(Discriminator)를 설명하기 위한 도면이다.Figure 20 is a diagram for explaining the generator and discriminator of a GAN (Generative Adversarial Network) in content generation artificial intelligence according to an embodiment of the present invention.
도 21은 수면 플롯을 생성하기 위한 단계를 설명하기 위한 흐름도이다.Figure 21 is a flow chart to explain the steps for generating a sleep plot.
도 22는 본 발명의 일실시예에 따른, 콘텐츠 생성형 인공지능에 의해서 생성되는 수면 음원 콘텐츠를 설명하기 위한 도면이다.Figure 22 is a diagram for explaining sleep sound source content generated by content generation artificial intelligence according to an embodiment of the present invention.
도 23은 본 발명의 일실시예에 따른, 콘텐츠 생성형 인공지능에 의해서 생성되는 수면 콘텐츠를 설명하기 위한 도면이다.Figure 23 is a diagram for explaining sleep content generated by content generation artificial intelligence according to an embodiment of the present invention.
도 24는 본 발명의 일실시예에 따른, 콘텐츠 생성형 인공지능에 의해서 생성되는 수면 음원 콘텐츠와 수면 텍스트 콘텐츠의 키워드의 정합됨을 설명하기 위한 도면이다.Figure 24 is a diagram for explaining the matching of keywords of sleep sound source content and sleep text content generated by content creation artificial intelligence according to an embodiment of the present invention.
도 25는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 심상 유도 정보를 제공하는 사용자 단말(300)의 한 실시 형태를 나타낸 도면이다. FIG. 25 is a diagram illustrating an embodiment of a user terminal 300 that provides imagery induction information based on sleep state information according to an embodiment of the present invention.
도 26a는 본 발명에 따른 정서적 모델링의 방법 중 사용자가 스와이프를 하며 어떤 컨텐츠를 체크하는 방식을 설명하기 위한 도면이다. Figure 26a is a diagram for explaining a method in which a user checks certain content by swiping among the emotional modeling methods according to the present invention.
도 26b는 본 발명의 따른 정서적 모델링의 방법 중 사용자가 선호하는 텍스트를 입력받는 방식을 설명하기 위한 도면이다. Figure 26b is a diagram for explaining a method of inputting a user's preferred text among the emotional modeling methods according to the present invention.
도 26c는 본 발명에 따른 정서적 모델링의 방법 중 사용자가 선호하는 컨텐츠에 대한 키워드를 선택하는 방식을 설명하기 위한 도면이다. Figure 26c is a diagram for explaining a method of selecting a keyword for a user's preferred content among the emotional modeling methods according to the present invention.
도 27은 본 발명의 실시 형태에 따른 슬립이미지 생성 및 제공 방법의 일 예를 설명하기 위한 순서도이다.Figure 27 is a flow chart to explain an example of a method for generating and providing a sleep image according to an embodiment of the present invention.
도 28 내지 도 36, 및 도 41은 도 27의 순서도가 사용자 단말(300)에서 구체적으로 구현된 실제 예시 화면들이다.FIGS. 28 to 36 and FIG. 41 are actual example screens in which the flowchart of FIG. 27 is specifically implemented in the user terminal 300.
도 37은 본 발명의 실시예들에 따른 슬립이미지의 예시들을 나타낸 도면이다.Figure 37 is a diagram showing examples of slip images according to embodiments of the present invention.
도 38 내지 도 40은 다른 실시 예들에 따른 슬립이미지들을 설명하기 위한 도면들이다.Figures 38 to 40 are diagrams for explaining sleep images according to other embodiments.
도 42는 본 발명의 다른 실시 형태에 따른 슬립이미지 제공 및 제공 방법을 설명하기 위한 순서도이다.Figure 42 is a flowchart for explaining a sleep image provision and method according to another embodiment of the present invention.
도 43은 본 발명의 또 다른 실시 형태에 따른 슬립이미지 제공 및 제공 방법을 설명하기 위한 순서도이다.Figure 43 is a flowchart for explaining a sleep image provision and method according to another embodiment of the present invention.
도 44는 본 발명의 또 다른 실시 형태에 따른 슬립이미지 제공 및 제공 방법을 설명하기 위한 순서도이다.Figure 44 is a flowchart for explaining a sleep image provision and method according to another embodiment of the present invention.
도 45는 본 발명의 일실시예에 따른 컨시스턴시 트레이닝(Consistency Training)을 설명하기 위한 도면이다.Figure 45 is a diagram for explaining consistency training according to an embodiment of the present invention.
도 46은 본 발명의 일실시예에 따른 수면 음향 정보와 수면 환경 정보를 멀티모달 데이터로 결합하는 과정을 포함하는 한 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.Figure 46 is a flowchart illustrating a method for analyzing sleep state information including the process of combining sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
도 47은 본 발명의 일실시예에 따른 수면 음향 정보와 수면 환경 정보 각각을 추론한 것을 멀티모달 데이터로 결합하는 단계를 포함하는 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.Figure 47 is a flowchart illustrating a method for analyzing sleep state information including the step of combining the inferred sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
도 48은 본 발명의 일실시예에 따른 수면 음향 정보를 추론한 것을 수면 환경 정보와 멀티모달 데이터로 결합하는 단계를 포함하는 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.Figure 48 is a flowchart illustrating a method for analyzing sleep state information including the step of combining inferred sleep sound information with sleep environment information and multimodal data according to an embodiment of the present invention.
도 49는 본 발명의 일 실시예에 따른, 수면 중 발생하는 수면 이벤트를 통해 수면 무호흡증 발생 지수인 AHI를 분석하기 위해 활용하는 선형회귀분석 함수를 설명하기 위한 도면이다.Figure 49 is a diagram illustrating a linear regression analysis function used to analyze AHI, a sleep apnea occurrence index, through sleep events that occur during sleep, according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 형태들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 형태들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 형태들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear with reference to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely intended to ensure that the disclosure of the present invention is complete and to provide a general understanding of the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시 형태들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not to be interpreted ideally or excessively unless clearly specifically defined.
명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.As used in the specification, the term “unit” or “module” refers to a hardware component such as software, FPGA, or ASIC, and the “unit” or “module” performs certain roles. However, “part” or “module” is not limited to software or hardware. A “unit” or “module” may be configured to reside on an addressable storage medium and may be configured to run on one or more processors. Thus, as an example, a “part” or “module” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided within components and “parts” or “modules” can be combined into smaller components and “parts” or “modules” or into additional components and “parts” or “modules”. Could be further separated.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 형태에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.In this specification, a computer refers to all types of hardware devices including at least one processor, and depending on the embodiment, it may be understood as encompassing software configurations that operate on the hardware device. For example, a computer can be understood to include, but is not limited to, a smartphone, tablet PC, desktop, laptop, and user clients and applications running on each device.
당업자들은 추가적으로 여기서 개시된 실시 형태들과 관련되어 설명된 다양한 예시 적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 발명내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.Those skilled in the art will additionally recognize that the various illustrative logical blocks, components, modules, circuits, means, logic, and algorithm steps described in connection with the embodiments disclosed herein may be implemented using electronic hardware, computer software, or a combination of both. It must be recognized that it can be implemented with To clearly illustrate the interchangeability of hardware and software, various illustrative components, blocks, configurations, means, logics, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented in hardware or software will depend on the specific application and design constraints imposed on the overall system. A skilled technician can implement the described functionality in a variety of ways for each specific application. However, such implementation decisions should not be construed as departing from the scope of the present invention.
이하의 설명은 예시적인 방법들, 파라미터들 등을 기재하고 있다. 그러나, 이러한 설명이 본 발명의 범주에 대한 제한으로서 의도되지 않고 그 대신에 예시적인 실시예들의 설명으로서 제공된다는 것을 인식해야 한다.The following description sets forth exemplary methods, parameters, etc. However, it should be recognized that this description is not intended as a limitation on the scope of the invention, but instead is provided as a description of illustrative embodiments.
전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 디바이스는 PDA 및 음악 재생기 기능들과 같은 다른 기능들을 포함하는 휴대용 통신 디바이스(예컨대, 이동전화기, 스마트 워치)를 포함할 수 있다. Embodiments of electronic devices, user interfaces for such devices, and associated processes for using such devices are described. In some embodiments, the device may include a portable communication device (eg, mobile phone, smart watch) that includes other functions such as PDA and music player functions.
한편, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법의 필요성이 존재한다. 이는 현대 사회에 있어서, 수면이 인간의 삶에 미치는 중요성이 강조 되고 있으며, 그에 따라서 수면에 관한 콘텐츠의 필요성이 증가했기 때문이다. 사용자의 수면에 관한 콘텐츠를 제공하는 것은 사용자들의 수면에 관한 평가를 의학적인 측면에서 이해하기 위한 정보를 사용자 친화적으로 전달 시킬 수 있으며, 사용자에게 더 적합한 수면에 관한 콘텐츠를 제공시킬 수 있다. 또한, 생성형 인공지능을 활용하여 사용자 개인에게 콘텐츠를 제공함으로써 사용자의 수면 콘텐츠의 적합성을 제고시키고, 직관적인 콘텐츠를 제공함으로써, 사용자의 수면의 질을 향상시킬 수 있다. 추가로, 이러한 기법들은 사용자의 수면에 관한 콘텐츠를 생성 및 제공함을 통해서 수면에 대한 피드백을 제공함으로써, 사용자의 야간 수면 건강에 대한 간접적인 진단을 제공할 수 있다.Meanwhile, there is a need for a method of generating and providing sleep content based on user sleep information using generative artificial intelligence. This is because in modern society, the importance of sleep to human life is being emphasized, and the need for content about sleep has increased accordingly. Providing content about the user's sleep can deliver information to understand the user's sleep evaluation from a medical perspective in a user-friendly manner and provide content about sleep that is more suitable for the user. In addition, by providing content to individual users using generative artificial intelligence, the suitability of the user's sleep content can be improved and the user's sleep quality can be improved by providing intuitive content. Additionally, these techniques can provide indirect diagnosis of the user's nighttime sleep health by providing feedback on sleep through generating and providing content about the user's sleep.
전체적인 구성overall composition
이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 따른 수면 콘텐츠를 생성 및/또는 제공하는 방법, 장치 및 시스템을 상세하게 설명한다.Hereinafter, a method, device, and system for generating and/or providing sleep content according to embodiments of the present invention will be described in detail with reference to the attached drawings.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.Each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and depending on the embodiment, at least part of each step may be performed in a different device.
도 1a 및 도 1b는 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치 또는 수면 콘텐츠 제공 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도이다. 1A and 1B are conceptual diagrams showing a system in which various aspects of a sleep content generating device or a sleep content providing device based on user sleep information can be implemented according to an embodiment of the present invention.
도 1a에 도시된 바와 같이, 본 발명의 실시예들에 따른 시스템은 컴퓨팅 장치(100), 사용자 단말(300), 외부 서버(20) 및 네트워크를 포함할 수 있다. 여기서, 도 1a에 도시된 바와 같이, 사용자 수면정보 기반의 수면 콘텐츠 생성 장치(700) 및/또는 수면 콘텐츠 제공 장치(800)가 컴퓨팅 장치(100)로서 구현될 수 있다. As shown in FIG. 1A, a system according to embodiments of the present invention may include a computing device 100, a user terminal 300, an external server 20, and a network. Here, as shown in FIG. 1A, the sleep content generating device 700 and/or the sleep content providing device 800 based on user sleep information may be implemented as the computing device 100.
또한, 도 1a에 도시된 바와 같이, 심상 유도 정보 생성 장치(100a) 및/또는 심상 유도 정보 제공 장치(200a)가 컴퓨팅 장치(100)로서 구현될 수 있다.Additionally, as shown in FIG. 1A , the imagery inducing information generating device 100a and/or the imagery inducing information providing device 200a may be implemented as the computing device 100 .
또는, 도 1a에 도시된 바와 같이, 슬립이미지 생성 장치 및/또는 슬립이미지 제공 장치가 컴퓨팅 장치(100)로서 구현될 수 있다.Alternatively, as shown in FIG. 1A, a sleep image generating device and/or a sleep image providing device may be implemented as the computing device 100.
여기서, 도 1a에 도시된 사용자 수면정보 기반의 수면 콘텐츠 생성 및/또는 제공 장치가 구현되는 시스템은 일 실시예에 따른 것이고, 그 구성요소가 도 1a에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경, 또는 삭제될 수 있다.Here, the system in which the device for generating and/or providing sleep content based on user sleep information shown in FIG. 1A is implemented is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1A, and necessary It may be added, changed, or deleted depending on.
한편, 도 1b에 도시된 바와 같이, 본 발명의 실시예들에 따른 시스템은 사용자 단말(300), 외부 서버(20) 및 네트워크를 포함할 수 있다. 여기서, 도 1b에 도시된 바와 같이, 사용자 수면정보 기반의 수면 콘텐츠 생성 장치(700) 또는 수면 콘텐츠 제공 장치(800)가 별도의 컴퓨팅 장치(100)가 없이, 사용자 단말(300) 또는 외부 서버(20)로서 구현될 수 있다. Meanwhile, as shown in FIG. 1B, the system according to embodiments of the present invention may include a user terminal 300, an external server 20, and a network. Here, as shown in FIG. 1B, the sleep content generating device 700 or the sleep content providing device 800 based on user sleep information is operated by the user terminal 300 or an external server ( 20) can be implemented as.
도 1b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치가 사용자 단말(300)로서 구현되고, 사용자 수면정보 기반의 수면 콘텐츠 제공 장치가 외부 서버(20)로서 구현될 수 있다.As shown in FIG. 1B, the device for generating sleep content based on user sleep information according to an embodiment of the present invention is implemented as a user terminal 300, and the device for providing sleep content based on user sleep information is implemented as an external server 20. It can be implemented as:
또는, 도 1b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치가 외부 서버(20)로서 구현되고, 사용자 수면정보 기반의 수면 콘텐츠 제공 장치가 사용자 단말(300)로서 구현될 수 있다.Alternatively, as shown in FIG. 1B, the device for generating sleep content based on user sleep information according to an embodiment of the present invention is implemented as an external server 20, and the device for providing sleep content based on user sleep information is installed at the user terminal ( 300).
또는, 도 1b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치와 사용자 수면정보 기반의 수면 콘텐츠 제공 장치가 모두 사용자 단말(300)로서 구현될 수 있다.Alternatively, as shown in FIG. 1B, both a sleep content generating device based on user sleep information and a sleep content providing device based on user sleep information according to an embodiment of the present invention may be implemented as the user terminal 300.
또는, 도 1b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치와 사용자 수면정보 기반의 수면 콘텐츠 제공 장치가 모두 외부 서버(20)로서 구현될 수 있다.Alternatively, as shown in FIG. 1B, both the device for generating sleep content based on user sleep information and the device for providing sleep content based on user sleep information according to an embodiment of the present invention may be implemented as an external server 20.
한편, 도 1b에 도시된 바와 같이, 심상 유도 정보 생성 장치(100a) 및/또는 심상 유도 정보 제공 장치(200a)가 사용자 단말(300) 또는 외부 서버(20)로서 구현될 수 있다.Meanwhile, as shown in FIG. 1B, the imagery inducing information generating device 100a and/or the imagery inducing information providing device 200a may be implemented as a user terminal 300 or an external server 20.
한편, 도 1b에 도시된 바와 같이, 슬립이미지 생성 장치 및/또는 슬립이미지 제공 장치가 사용자 단말(300) 또는 외부 서버(20)로서 구현될 수 있다.Meanwhile, as shown in FIG. 1B, the sleep image generating device and/or the sleep image providing device may be implemented as the user terminal 300 or the external server 20.
여기서, 도 1b에 도시된 사용자 수면정보 기반의 수면 콘텐츠 생성 및/또는 제공 장치가 구현되는 시스템은 일 실시예에 따른 것이고, 그 구성요소가 도 1b에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경, 또는 삭제될 수 있다.Here, the system in which the device for generating and/or providing sleep content based on user sleep information shown in FIG. 1B is implemented is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1B, and necessary It may be added, changed, or deleted depending on.
한편, 본 발명의 실시예들에 따르면, 외부 서버(20)는 단일한 서버로 구성될 수도 있고, 복수 개의 서버로 구성될 수도 있다. 또한, 본 발명의 실시예에 따르면, 외부 서버(20)는 외부 단말(200)로 구현될 수도 있다.Meanwhile, according to embodiments of the present invention, the external server 20 may be composed of a single server or a plurality of servers. Additionally, according to an embodiment of the present invention, the external server 20 may be implemented as an external terminal 200.
한편, 본 발명의 일 실시예에 따르면, 사용자 수면정보 기반의 수면 콘텐츠 생성 장치는 생성형 인공지능을 활용하여 수면 콘텐츠를 생성할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 수면정보 기반의 수면 콘텐츠 제공 장치는 생성형 인공지능을 활용하여 생성된 수면 콘텐츠를 제공할 수 있다.Meanwhile, according to an embodiment of the present invention, a sleep content generating device based on user sleep information can generate sleep content using generative artificial intelligence. Additionally, according to an embodiment of the present invention, a sleep content providing device based on user sleep information can provide sleep content generated using generative artificial intelligence.
도 1c는 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공이 사용자 단말(300)에서 구현되는 경우의 시스템을 나타낸 개념도이다. 도 1c에 도시된 바와 같이, 별도의 생성 장치(700) 및/또는 별도의 제공 장치(800)가 없이, 사용자 단말(300)에서 사용자 수면정보에 기반하여 수면 콘텐츠의 생성 및 제공이 이루어질 수도 있다.FIG. 1C is a conceptual diagram illustrating a system in which the creation and provision of sleep content based on user sleep information is implemented in the user terminal 300 according to an embodiment of the present invention. As shown in FIG. 1C, sleep content may be generated and provided based on user sleep information in the user terminal 300 without a separate generating device 700 and/or a separate providing device 800. .
한편, 본 발명의 일 실시예에 따르면, 사용자 수면정보 기반의 수면 콘텐츠 생성 장치는 생성형 인공지능을 활용하여 수면 콘텐츠를 생성할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 수면정보 기반의 수면 콘텐츠 제공 장치는 생성형 인공지능을 활용하여 생성된 수면 콘텐츠를 제공할 수 있다.Meanwhile, according to an embodiment of the present invention, a sleep content generating device based on user sleep information can generate sleep content using generative artificial intelligence. Additionally, according to an embodiment of the present invention, a sleep content providing device based on user sleep information can provide sleep content generated using generative artificial intelligence.
도 1a 및 도 1b에 도시된 바와 같이, 본 발명의 실시예들에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치 및/또는 제공 장치가 컴퓨팅 장치(100)로 구현되는 경우, 컴퓨팅 장치(100)는, 사용자 단말(300)과 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.As shown in FIGS. 1A and 1B, when the device for generating and/or providing sleep content based on user sleep information according to embodiments of the present invention is implemented as a computing device 100, the computing device 100 , data for the system according to embodiments of the present invention can be mutually transmitted and received through the user terminal 300 and the network.
또한, 도 1a 및 도 1b에 도시된 바와 같이, 본 발명의 실시예들에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치 및/또는 제공 장치가 컴퓨팅 장치(100)로 구현되는 경우, 컴퓨팅 장치(100)는, 사용자 단말(300) 및/또는 외부 서버(20)와 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.In addition, as shown in FIGS. 1A and 1B, when the device for generating and/or providing sleep content based on user sleep information according to embodiments of the present invention is implemented as the computing device 100, the computing device 100 ) can mutually transmit and receive data for the system according to embodiments of the present invention with the user terminal 300 and/or the external server 20 through a network.
도 1c에 도시된 바와 같이, 본 발명의 실시예들에 따른 사용자 수면정보 기반의 수면 콘텐츠 생성 장치(700)와 제공 장치(800)가 별도로 구비되어 있지 않더라도, 사용자 단말(300)이 네트워크를 통해, 사용자 수면정보 기반의 수면 콘텐츠 생성 장치(700) 및/또는 제공 장치(800)의 역할을 수행하여, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.As shown in FIG. 1C, even if the sleep content generating device 700 and the providing device 800 based on user sleep information according to embodiments of the present invention are not separately provided, the user terminal 300 is provided through the network. , it can perform the role of the sleep content generating device 700 and/or the providing device 800 based on user sleep information, and mutually transmit and receive data for the system according to embodiments of the present invention.
또한, 도 1c에 도시된 바와 같이, 심상 유도 정보 생성 장치(100a)와 심상 유도 정보 제공 장치(200a)가 별도로 구비되어 있지 않더라도, 사용자 단말(300)이 네트워크를 통해, 심상 유도 정보 생성 장치 (100a) 및/또는 심상 유도 정보 제공 장치(200a)의 역할을 수행하여, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.In addition, as shown in FIG. 1C, even if the imagery inducing information generating device 100a and the imagery inducing information providing device 200a are not separately provided, the user terminal 300 is connected to the imagery inducing information generating device ( 100a) and/or the image inducing information providing device 200a, it is possible to mutually transmit and receive data for the system according to embodiments of the present invention.
또한, 도 1c에 도시된 바와 같이, 슬립이미지 생성장치와 슬립이미지 제공장치가 별도로 구비되어 있지 않더라도, 사용자 단말(300)이 네트워크를 통해, 슬립이미지 생성장치 및/또는 슬립이미지 제공장치의 역할을 수행하여, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.In addition, as shown in FIG. 1C, even if the sleep image generating device and the sleep image providing device are not separately provided, the user terminal 300 functions as a sleep image generating device and/or a sleep image providing device through the network. By performing this, data for the system according to embodiments of the present invention can be mutually transmitted and received.
도 2a는 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠를 생성하는 장치(700)/제공하는 장치(800)의 구성을 나타내는 블록도이다.FIG. 2A is a block diagram showing the configuration of a device 700/800 that generates/provides sleep content based on user sleep information according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 생성형 인공지능을 활용한 사용자 수면정보에 기반하여 수면 콘텐츠를 생성하는 장치(700)는 디스플레이(720), 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하는 메모리(740), 하나 이상의 프로세서(760)를 포함할 수 있다. According to one embodiment of the present invention, the device 700 for generating sleep content based on user sleep information using generative artificial intelligence stores a display 720 and one or more programs configured to be executed by one or more processors. It may include a memory 740 and one or more processors 760.
또한, 본 발명의 일 실시예에 따르면, 생성형 인공지능을 활용한 사용자 수면정보에 기반하여 수면 콘텐츠를 제공하는 장치(800)는 디스플레이(820), 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하는 메모리(840), 하나 이상의 프로세서(860)를 포함할 수 있다.In addition, according to an embodiment of the present invention, the device 800 that provides sleep content based on user sleep information using generative artificial intelligence includes a display 820 and one or more programs configured to be executed by one or more processors. It may include a memory 840 that stores and one or more processors 860.
본 발명의 일 실시예에 따르면, 하나 이상의 프로그램을 저장하는 메모리(740) 또는 메모리(840)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 엑세서 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 엑세스 메모리를 포함하며, 하나 이상의 자기 디스크 저장 디바이스, 광 디스크 저장 디바이스, 플래시 메모리 디바이스 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스와 같은 비휘발성 메모리를 포함한다. 또한, 메모리는 사용자의 수면에 관한 정보를 나타내는 하나 이상의 그래픽 사용자 인터페이스를 제공하는 방법을 수행하기 위한 명령어들을 저장할 수 있다.According to one embodiment of the invention, memory 740 or memory 840 that stores one or more programs includes high-speed random access memory such as DRAM, SRAM, DDR RAM, or other random access solid state memory devices. , including non-volatile memory, such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or other non-volatile solid state storage devices. Additionally, the memory may store instructions for performing a method of providing one or more graphical user interfaces representing information about the user's sleep.
본 발명의 일 실시예에 따르면, 프로세서(760) 또는 프로세서(860)는 하나 이상의 프로세서 수단으로 구성될 수 있다. 또한, 프로세서는 하나 이상의 프로그램을 저장하는 메모리를 실행시킬 수 있다.According to one embodiment of the present invention, the processor 760 or processor 860 may be composed of one or more processor means. Additionally, the processor may execute memory that stores one or more programs.
한편, 위에서 설명한 대로, 본 발명의 실시예들에 따른 사용자 수면정보 기반의 수면 콘텐츠를 생성하는 장치(700)/제공하는 장치(800)는, 생성형 인공지능을 활용하여 사용자 수면정보 기반의 수면 콘텐츠를 생성하거나, 제공하는 동작을 수행할 수 있다.Meanwhile, as described above, the device 700/device 800 for generating/providing sleep content based on user sleep information according to embodiments of the present invention utilizes generative artificial intelligence to generate sleep content based on user sleep information. The operation of creating or providing content can be performed.
도 1d는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 심상 유도 정보를 생성하는 장치(100a)의 시스템을 나타낸 개념도이다. 도 1d에 도시된 바와 같이, 본 발명의 시스템은 심상 유도 정보를 생성하는 장치(100a), 사용자 단말(300) 및 네트워크를 포함할 수 있다.FIG. 1D is a conceptual diagram illustrating a system of an apparatus 100a that generates imagery induction information based on sleep state information according to an embodiment of the present invention. As shown in FIG. 1D, the system of the present invention may include a device 100a that generates imagery induction information, a user terminal 300, and a network.
한편, 도 1e는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 심상 유도 정보를 제공하는 장치(200a)의 시스템을 나타낸 개념도이다. 도 1e에 도시된 바와 같이, 본 발명의 심상 유도 정보를 제공하는 장치(200a), 사용자 단말(300) 및 네트워크를 포함할 수 있다.Meanwhile, FIG. 1E is a conceptual diagram showing a system of a device 200a that provides imagery induction information based on sleep state information according to an embodiment of the present invention. As shown in FIG. 1E, it may include a device 200a, a user terminal 300, and a network that provide image inducing information of the present invention.
도 1d 및 도 1e에 도시된 바와 같이, 본 발명의 심상 유도 정보를 생성하는 장치(100a)와 심상 유도 정보를 제공하는 장치(200a)는, 사용자 단말(300)과 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.As shown in FIGS. 1D and 1E, the device 100a for generating the image guidance information of the present invention and the device 200a for providing the image guidance information of the present invention through the user terminal 300 and the network. Data for systems according to embodiments may be transmitted and received.
한편, 도 1c는 본 발명의 일 실시예에 따른 상태 정보에 기초하여 심상 유도 정보를 생성 및 제공하는 방법의 시스템을 나타낸 개념도이다. 도 1c에 도시된 바와 같이, 본 발명의 심상 유도 정보를 생성하는 장치(100a)와 심상 유도 정보를 제공하는 장치(200a)가 별도로 구비되어 있지 않더라도, 사용자 단말(300)이 네트워크를 통해, 심상 유도 정보를 생성하는 장치(100a)와 심상 유도 정보를 제공하는 장치(200a)의 역할을 수행하여, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.Meanwhile, Figure 1C is a conceptual diagram showing a system for generating and providing imagery induction information based on state information according to an embodiment of the present invention. As shown in FIG. 1C, even if the device 100a for generating image induction information and the device 200a for providing image induction information of the present invention are not separately provided, the user terminal 300 generates the image through the network. By performing the role of the device 100a for generating guidance information and the device 200a for providing image guidance information, data for the system according to embodiments of the present invention can be transmitted and received.
또는, 본 발명의 일 실시예에 따른 사용자 수면정보 기반의 수면 콘텐츠를 생성하는 장치(700)/제공하는 장치(800)가 별도로 구비되어 있지 않더라도, 사용자 단말(300)이 네트워크를 통해, 수면 콘텐츠를 생성하는 장치(700)/제공하는 장치(800)의 역할을 수행하여, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.Alternatively, even if the device 700 for generating/providing sleep content based on user sleep information according to an embodiment of the present invention is not separately provided, the user terminal 300 may provide sleep content through a network. By performing the role of the generating device 700/providing device 800, data for the system according to embodiments of the present invention can be transmitted and received.
또는, 본 발명의 일 실시예에 따른 슬립이미지를 생성하는 장치와 슬립이미지를 제공하는 장치가 별도로 구비되어 있지 않더라도, 사용자 단말(300)이 네트워크를 통해, 슬립이미지를 생성하는 장치와 슬립이미지를 제공하는 장치의 역할을 수행하여, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.Alternatively, even if the device for generating a sleep image and the device for providing a sleep image according to an embodiment of the present invention are not separately provided, the user terminal 300 can connect the device for generating a sleep image and the sleep image through the network. By acting as a providing device, data for systems according to embodiments of the present invention can be transmitted and received.
도 1f는 본 발명의 일 실시예에 따라 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 컴퓨팅 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다. 본 발명의 실시예들에 따른 시스템은 컴퓨팅 장치(100), 사용자 단말(300), 외부 서버(20), 환경 조성 장치(30) 및 네트워크를 포함할 수 있다. 도 1f에 도시된 바와 같이, 본 발명은 컴퓨팅 장치(100), 사용자 단말(300), 외부 서버(20) 및 환경 조성 장치(30)는 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.FIG. 1F shows a conceptual diagram illustrating a system in which various aspects of a computing device for creating a sleep environment based on sleep state information can be implemented according to an embodiment of the present invention. A system according to embodiments of the present invention may include a computing device 100, a user terminal 300, an external server 20, an environment creation device 30, and a network. As shown in FIG. 1F, the present invention is a system in which the computing device 100, the user terminal 300, the external server 20, and the environment creation device 30 are connected through a network, according to embodiments of the present invention. You can transmit and receive data for each other.
여기서, 도 1f에 도시된 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 방법을 구현하기 위한 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1f에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.Here, the system for implementing a method for creating a sleep environment based on the sleep state information shown in FIG. 1F is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1F, It may be added, changed, or deleted as needed.
한편, 도 1g는 본 발명의 또 다른 실시예에 따라 수면 환경 조절 장치의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다. 본 발명의 실시예들에 따른 시스템은 수면 환경 조절 장치(400), 사용자 단말(300), 외부 서버(20) 및 네트워크를 포함할 수 있다. 여기서, 도 1g에 도시된 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 방법을 구현하기 위한 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1g에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.Meanwhile, Figure 1g shows a conceptual diagram showing a system in which various aspects of a sleep environment control device can be implemented according to another embodiment of the present invention. The system according to embodiments of the present invention may include a sleep environment control device 400, a user terminal 300, an external server 20, and a network. Here, the system for implementing a method for creating a sleep environment based on the sleep state information shown in FIG. 1g is according to one embodiment, and its components are not limited to the embodiment shown in FIG. 1g. It may be added, changed, or deleted as needed.
도 1h는 본 발명의 또 다른 실시예에 따른 다양한 전자 장치들의 다양한 양태가 구현될 수 있는 시스템을 나타낸 개념도를 도시한다. 도 1h에 도시된 바와 같이, 도 1h에 도시된 전자 장치들은, 본 발명의 실시예에 따른 다양한 장치들이 수행하는 동작들 중 적어도 하나 이상을 수행할 수 있다.FIG. 1H shows a conceptual diagram illustrating a system in which various aspects of various electronic devices can be implemented according to another embodiment of the present invention. As shown in FIG. 1H, the electronic devices shown in FIG. 1H may perform at least one of the operations performed by various devices according to embodiments of the present invention.
예를 들어, 본 발명의 실시예들에 따른 다양한 전자 장치들이 수행하는 동작들은 환경 센싱 정보 및 수면 정보를 획득하는 동작, 수면 분석에 대한 학습을 수행하는 동작, 수면 분석에 대한 추론을 수행하는 동작, 수면 상태 정보를 획득하는 동작을 포함할 수 있다.For example, operations performed by various electronic devices according to embodiments of the present invention include obtaining environmental sensing information and sleep information, performing learning about sleep analysis, and performing inference about sleep analysis. , may include an operation of acquiring sleep state information.
또는, 본 발명의 실시예에 따른 다양한 장치들이 수행하는 동작들은 심상 유도 정보를 생성하는 동작, 심상 유도 정보를 제공하는 동작, 환경 센싱 정보를 획득하는 동작, 수면 분석 모델을 학습하는 동작, 수면 상태 정보를 학습하는 동작, 수면 상태 정보를 추론하는 동작, 수면 상태 정보를 디스플레이하는 동작을 포함할 수 있다.Alternatively, the operations performed by various devices according to embodiments of the present invention include generating imagery inducing information, providing imagery inducing information, acquiring environmental sensing information, learning a sleep analysis model, and sleeping state. It may include an operation of learning information, an operation of inferring sleep state information, and an operation of displaying sleep state information.
또는, 예컨대, 사용자의 수면과 관련한 정보를 제공받거나, 환경 센싱 정보 및 수면 정보 중 적어도 하나를 송신 또는 수신하거나, 환경 센싱 정보에 대한 전처리를 수행하거나, 환경 센싱 정보 및 수면 정보를 판별하거나, 환경 센싱 정보 및 수면 정보로부터 음향 정보를 추출하거나, 데이터를 처리 또는 가공하거나, 서비스를 처리하거나, 서비스를 제공하거나, 환경 센싱 정보 또는 사용자의 수면 정보에 기초하여 학습 데이터 세트를 구축하거나, 획득한 데이터 또는 신경망의 입력이 되는 복수의 데이터를 저장하거나, 다양한 정보들을 송신 또는 수신하거나, 네트워크를 통해 본 발명의 실시예들에 따른 시스템을 위한 데이터를 상호 송수신하거나, 사용자 수면정보 기반의 수면 콘텐츠를 생성하거나 제공하는 동작, 심상 유도 정보를 생성하거나 제공하는 동작, 슬립이미지를 생성하거나 제공하는 동작, 사용자의 수면 정보에 기반하여 생성형 인공지능을 활용하여 수면 콘텐츠를 생성하거나 제공하는 동작 등을 포함할 수도 있다.Or, for example, receive information related to the user's sleep, transmit or receive at least one of environmental sensing information and sleep information, perform preprocessing on environmental sensing information, determine environmental sensing information and sleep information, or Data obtained by extracting acoustic information from sensing information and sleep information, processing or processing data, processing services, providing services, constructing a learning data set based on environmental sensing information or the user's sleep information, or acquiring data. Or, store a plurality of data that is input to a neural network, transmit or receive various information, mutually transmit and receive data for systems according to embodiments of the present invention through a network, or generate sleep content based on user sleep information. This may include actions that create or provide information, actions that generate or provide imagery-inducing information, actions that generate or provide sleep images, actions that generate or provide sleep content using generative artificial intelligence based on the user's sleep information, etc. It may be possible.
도 1h에 도시된 전자 장치들은, 본 발명의 실시예들에 따른 다양한 전자 장치들이 수행하는 동작들을 개별적으로 나누어 수행할 수도 있으나, 하나 이상의 동작들을 동시에 또는 시계열적으로 수행할 수도 있다.The electronic devices shown in FIG. 1H may individually perform the operations performed by various electronic devices according to embodiments of the present invention, but may also perform one or more operations simultaneously or in time series.
도 1h를 참조하면, 도 1h에 도시된 전자 장치(1a 내지 1d)는 환경 센싱 정보를 획득할 수 있는 영역(또는, 수면 감지 영역) (11a)의 범위 내에 있는 전자 장치일 수 있다. 이하, 편의상 환경 센싱 정보를 획득할 수 있는 영역(또는, 수면 감지 영역) (11a)을 "영역(11a)"라 지칭하기로 한다.Referring to FIG. 1H, the electronic devices 1a to 1d shown in FIG. 1H may be electronic devices within the range of an area (or sleep detection area) 11a that can obtain environmental sensing information. Hereinafter, for convenience, the area (or sleep detection area) 11a where environmental sensing information can be obtained will be referred to as “area 11a.”
한편, 도 1h를 참조하면, 전자 장치(1a 및 1d)는 2개 이상의 복수 개의 전자 장치의 조합으로 이루어진 장치일 수 있다.Meanwhile, referring to FIG. 1H, the electronic devices 1a and 1d may be a device composed of a combination of two or more electronic devices.
한편, 도 1h를 참조하면, 전자 장치(1a 및 1b)는 영역(11a) 내에서 네트워크와 연결된 전자 장치일 수 있다.Meanwhile, referring to FIG. 1H, electronic devices 1a and 1b may be electronic devices connected to a network within area 11a.
한편, 도 1h를 참조하면, 전자 장치(1c 및 1d)는 영역(11a) 내에서 네트워크와 연결되지 않은 전자 장치일 수 있다.Meanwhile, referring to FIG. 1H, the electronic devices 1c and 1d may be electronic devices not connected to the network within the area 11a.
한편, 도 1h를 참조하면, 전자 장치(2a 내지 2b)는 영역(11a)의 범위 밖에 있는 전자 장치일 수 있다.Meanwhile, referring to FIG. 1H, electronic devices 2a to 2b may be electronic devices outside the range of area 11a.
한편, 도 1h를 참조하면, 영역(11a)의 범위 내에서 전자 장치들과 상호작용하는 네트워크가 있을 수 있고, 영역(11a)의 범위 밖에서 전자 장치들과 상호작용하는 네트워크가 있을 수 있다. Meanwhile, referring to FIG. 1H, there may be a network that interacts with electronic devices within the scope of area 11a, and there may be a network that interacts with electronic devices outside the scope of area 11a.
여기서, 영역(11a)의 범위 내에서 전자 장치들과 상호작용하는 네트워크는 스마트 가전기기를 제어하기 위한 정보를 송수신하기 위한 역할을 수행할 수 있다. Here, a network that interacts with electronic devices within the scope of area 11a may serve to transmit and receive information for controlling smart home appliances.
또한, 영역(11a)의 범위 내에서 전자 장치들과 상호작용하는 네트워크는 예를 들면, 근거리 네트워크 또는 로컬 네트워크일 수 있다. 여기서, 영역(11a)의 범위 내에서 전자 장치들과 상호작용하는 네트워크는 예를 들면, 원거리 네트워크 또는 글로벌 네트워크일 수 있다.Additionally, the network interacting with electronic devices within the scope of area 11a may be, for example, a local area network or a local network. Here, the network interacting with electronic devices within the scope of area 11a may be, for example, a remote network or a global network.
도 1h에 도시된 네트워크들의 동작에 대한 구체적인 설명은 뒤에서 설명하는 내용과 동일하므로, 중복되는 기재는 생략하기로 한다.Since the detailed description of the operation of the networks shown in FIG. 1H is the same as what will be described later, redundant description will be omitted.
한편, 도 1h를 참조하면, 영역(11a)의 범위 밖에서 네트워크를 통해 연결된 전자 장치들은 하나 이상일 수 있으며, 이 경우의 전자 장치들은 서로 데이터를 분산 처리하거나 또는 하나 이상의 동작을 나누어 수행할 수도 있다. 여기서 영역 (11a)의 범위 밖에서 네트워크를 통해 연결된 전자 장치는 서버 장치를 포함할 수 있다.Meanwhile, referring to FIG. 1H, there may be one or more electronic devices connected through a network outside the range of area 11a, and in this case, the electronic devices may distribute data to each other or perform one or more operations separately. Here, electronic devices connected through a network outside the scope of area 11a may include server devices.
또는, 영역(11a)의 범위 밖에서 네트워크를 통해 연결된 전자 장치가 하나 이상인 경우 전자 장치들은 서로 독립하여 다양한 동작을 수행할 수도 있다.Alternatively, when there is more than one electronic device connected through a network outside the range of area 11a, the electronic devices may perform various operations independently of each other.
도 1h에 도시된 바와 같이, 본 발명에 따른 다양한 전자 장치들은 서로 네트워크를 통해, 본 발명의 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.As shown in FIG. 1H, various electronic devices according to the present invention can transmit and receive data for the system according to embodiments of the present invention through a network.
도 1i는 본 발명의 일 실시예에 따른 슬립이미지 생성 및 제공 시스템을 설명하기 위한 도면이다.Figure 1i is a diagram for explaining a system for generating and providing a sleep image according to an embodiment of the present invention.
도 1i을 참조하면, 본 발명의 일 실시예에 따른 시스템은, 네트워크(Network)로 연결된 컴퓨팅 장치(100), 외부 단말(200), 및 사용자 단말(300)을 포함한다. 이하에서는, 컴퓨팅 장치(100), 외부 단말(200) 및 사용자 단말(300)의 기본적인 하드웨어 구조를 설명하도록 한다.Referring to FIG. 1i, the system according to an embodiment of the present invention includes a computing device 100, an external terminal 200, and a user terminal 300 connected to a network. Below, the basic hardware structures of the computing device 100, the external terminal 200, and the user terminal 300 will be described.
컴퓨팅 장치(100)Computing device (100)
도 2d는 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)를 설명하기 위한 블록도이다.FIG. 2D is a block diagram for explaining the computing device 100 according to an embodiment of the present invention.
도 2d를 참조하면, 상기 컴퓨팅 장치(100)는 적어도 하나 이상의 프로세서(110), 메모리(120), 출력 장치(130), 입력 장치(140), 입출력 인터페이스(150), 센서 모듈(160), 통신 모듈(170)을 포함할 수 있다.Referring to FIG. 2D, the computing device 100 includes at least one processor 110, a memory 120, an output device 130, an input device 140, an input/output interface 150, a sensor module 160, It may include a communication module 170.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 사용자의 수면 상태 정보를 획득하고, 그리고 수면 상태 정보에 기초하여 사용자의 수면 환경을 조정할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 환경 센싱 정보에 기초하여 사용자가 수면 전인지, 중인지 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있으며, 해당 수면 상태 정보에 따라 사용자가 위치한 공간의 수면 환경을 조정할 수 있다. According to one embodiment of the present invention, the computing device 100 may obtain sleep state information of the user and adjust the user's sleep environment based on the sleep state information. Specifically, the computing device 100 may obtain sleep state information related to whether the user is before, during, or after sleep based on environmental sensing information, and determine the sleep environment of the space where the user is located according to the sleep state information. can be adjusted.
구체적인 예를 들어, 컴퓨팅 장치(100)는 사용자가 수면 전이라는 수면 상태 정보를 획득한 경우, 해당 수면 상태 정보에 기초하여 수면을 유도하기 위한 광의 세기 및 조도(예컨대, 3000K의 백색광, 30 lux의 조도), 공기질(미세먼지 농도, 유해가스 농도, 공기습도, 공기온도 등)에 관련한 환경 조성 정보를 생성할 수 있다. 컴퓨팅 장치(100)는 수면을 유도하기 위한 광의 세기 및 조도, 공기질에 관련한 환경 조성 정보를 환경 조성 장치(30)로 전송할 수 있다. 이 경우, 환경 조성 장치(30)는 컴퓨팅 장치(100)로부터 수신한 환경 조성 정보에 기초하여 사용자가 위치한 공간의 광의 세기 및 조도를 수면을 유도하기 위한 적절한 세기 및 조도(예컨대, 3000K의 백색광을 30 lux의 조도)로 조정할 수 있다. 즉, 컴퓨팅 장치(100)에서 생성된 환경 조성 정보는 환경 조성 장치(30)의 일 실시형태인 조명장치로 전달되어 수면공간 내의 조도 등이 조절될 수 있다.For a specific example, when the user obtains sleep state information that the user is before sleep, the computing device 100 sets the intensity and illuminance of light (e.g., white light of 3000K, 30 lux) to induce sleep based on the sleep state information. It is possible to generate environmental information related to illuminance) and air quality (fine dust concentration, harmful gas concentration, air humidity, air temperature, etc.). The computing device 100 may transmit environment creation information related to the intensity and illuminance of light and air quality for inducing sleep to the environment creation device 30 . In this case, the environment creation device 30 sets the light intensity and illuminance of the space where the user is located based on the environment creation information received from the computing device 100 to an appropriate intensity and illuminance (for example, white light of 3000K) to induce sleep. It can be adjusted to an illuminance of 30 lux. That is, the environment creation information generated by the computing device 100 is transmitted to a lighting device, which is an embodiment of the environment creation device 30, so that the illuminance in the sleeping space can be adjusted.
또한, 컴퓨팅 장치(100)는 사용자의 수면 상태 정보에 기초하여 미세먼지 제거, 유해가스 제거, 알러지 케어 구동, 탈취/제균 구동, 제습/가습 조절, 송풍 강도 조절, 공기청정기 구동소음 조절, LED 점등과 관련한 다양한 정보 등의 환경 조성 정보를 생성할 수 있다. 컴퓨팅 장치(100)에서 생성된 환경 조성 정보는 환경 조성 장치(30)의 일 실시형태인 공기청정기로 전달되어 실내, 차량내, 혹은 수면공간 내의 공기질이 조절될 수 있다.In addition, based on the user's sleeping state information, the computing device 100 removes fine dust, removes harmful gases, operates allergy care, operates deodorization/sterilization, controls dehumidification/humidification, adjusts blowing intensity, controls air purifier operation noise, and turns on LEDs. Environmental creation information, such as various information related to the environment, can be generated. The environment creation information generated by the computing device 100 is transmitted to an air purifier, which is an embodiment of the environment creation device 30, so that the air quality in the room, in the vehicle, or in the sleeping space can be adjusted.
전술한 수면 상태 정보 및 환경 조성 정보에 관련한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.The detailed description regarding the above-described sleep state information and environmental composition information is only an example, and the present invention is not limited thereto.
일 실시예에 따르면, 컴퓨팅 장치(100)가 수면 상태 분석을 위해 활용하는 환경 센싱 정보는, 일 공간 상에서의 사용자의 활동 또는 수면 동안 비침습적 방식으로 획득되는 음향 정보를 포함할 수 있다. 구체적인 예를 들어, 환경 센싱 정보는, 수면 동안 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향 등을 포함할 수 있다. 실시예에 따르면, 환경 센싱 정보는 수면 음향 정보를 포함할 수 있으며, 해당 수면 음향 정보는, 사용자의 수면 동안에 발생하는 움직임 패턴 및 호흡 패턴에 관련한 음향 정보를 의미할 수 있다.According to one embodiment, the environmental sensing information used by the computing device 100 to analyze the sleeping state may include acoustic information acquired in a non-invasive manner during the user's activities in the work space or during sleep. For example, environmental sensing information may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep. According to an embodiment, the environmental sensing information may include sleep sound information, and the sleep sound information may mean sound information related to movement patterns and breathing patterns that occur during the user's sleep.
실시예에서, 환경 센싱 정보는 사용자가 소지한 사용자 단말(300)을 통해 획득될 수 있다. 예컨대, 사용자 단말(300)에 구비된 마이크 모듈을 통해 일공간 상에서 사용자의 활동에 관련한 환경 센싱 정보가 획득될 수 있다.In an embodiment, environmental sensing information may be obtained through the user terminal 300 carried by the user. For example, environmental sensing information related to the user's activities in the work space may be obtained through a microphone module provided in the user terminal 300.
일반적으로, 사용자가 소지한 사용자 단말(300)에 구비된 마이크 모듈은, 비교적 작은 크기의 사용자 단말(300)에 구비되어야 하므로 MEMS(Micro-Electro Mechanical Systems)로 구성될 수 있다. 이러한 마이크 모듈은 매우 소형으로 제작이 가능하나, 콘덴서 마이크(Condenser Microphone)나 다이나믹 마이크(dynamic microphone)에 비해 낮은 신호 대 잡음비(SNR)를 가질 수 있다. 신호 대 잡음비가 낮다는 것은, 식별하고자 하는 음향 대비 식별하지 않고자 하는 음향인 잡음의 비율이 높은 것으로 음향의 식별이 용이하지 않음(즉, 불분명함)을 의미할 수 있다.In general, the microphone module provided in the user terminal 300 carried by the user may be configured as a MEMS (Micro-Electro Mechanical System) because it must be provided in the user terminal 300 of a relatively small size. These microphone modules can be manufactured very small, but can have a lower signal-to-noise ratio (SNR) than condenser microphones or dynamic microphones. A low signal-to-noise ratio may mean that the ratio of noise, which is a sound that is not to be identified, to the sound that is to be identified is high, making it difficult to identify the sound (i.e., unclear).
본 발명에서 분석의 대상이 되는 환경 센싱 정보는, 수면 동안 획득되는 사용자의 호흡 및 움직임에 관련한 음향 정보 즉, 수면 음향 정보를 포함할 수 있다. 이러한 수면 음향 정보는, 사용자의 호흡 및 움직임 등 매우 작은 음향(즉, 구분이 어려운 음향)에 관한 정보이며, 수면 환경 동안 다른 음향들과 함께 획득되는 것이므로, 낮은 신호 대 잡음비의 상기한 바와 같은 마이크 모듈을 통해 획득되는 경우, 탐지 및 분석이 매우 어려울 수 있다.Environmental sensing information that is the subject of analysis in the present invention may include sound information related to the user's breathing and movement acquired during sleep, that is, sleep sound information. This sleep sound information is information about very small sounds (i.e., sounds that are difficult to distinguish) such as the user's breathing and movement, and is acquired along with other sounds during the sleep environment, so the microphone with a low signal-to-noise ratio as described above is used. If acquired through modules, detection and analysis can be very difficult.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 MEMS로 구성된 마이크 모듈을 통해 획득된 환경 센싱 정보에 기초하여 수면 상태 정보를 획득할 수 있다. 구체적으로, 컴퓨팅 장치(100)는 많은 노이즈를 포함하여 불명료하게 획득된 환경 센싱 정보를 분석이 가능한 데이터 변환 및/또는 조정할 수 있으며, 변환 및/또는 조정된 데이터를 활용하여 인공 신경망에 대한 학습을 수행할 수 있다. 인공 신경망에 대한 사전 학습이 완료된 경우, 학습된 신경망(예컨대, 음향 분석 모델)은 수면 음향 정보에 대응하여 획득된(예컨대, 변환 및/또는 조정된) 데이터(예컨대, 스펙트로그램)에 기초하여 사용자의 수면 상태 정보를 획득할 수 있다. 실시예에서, 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보뿐만 아니라, 수면 동안 사용자의 수면 단계 변화에 관련한 수면 단계 정보를 포함할 수 있다. 구체적인 예를 들어, 수면 상태 정보는 제1시점에는 사용자가 REM수면이었으며, 제1시점과 상이한 제2시점에는 사용자가 얕은 수면이었다는 수면 단계 정보를 포함할 수 있다. 이 경우, 해당 수면 상태 정보를 통해, 사용자는 제1시점에 비교적 깊은 수면에 빠졌으며, 제2시점에는 보다 얕은 수면을 취했다는 정보가 획득될 수 있다.According to one embodiment of the present invention, the computing device 100 may obtain sleep state information based on environmental sensing information obtained through a microphone module made of MEMS. Specifically, the computing device 100 is capable of converting and/or adjusting ambiguously acquired environmental sensing information including a lot of noise into data that can be analyzed, and utilizing the converted and/or adjusted data to learn about an artificial neural network. It can be done. When pre-training for the artificial neural network is completed, the learned neural network (e.g., acoustic analysis model) is used by the user based on data (e.g., transformed and/or adjusted) acquired (e.g., transformed and/or adjusted) corresponding to the sleep acoustic information. Sleep state information can be obtained. In an embodiment, the sleep state information may include sleep stage information related to changes in the user's sleep stage during sleep, as well as information related to whether the user is sleeping. For a specific example, the sleep state information may include sleep stage information indicating that the user was in REM sleep at a first time point, and that the user was in light sleep at a second time point different from the first time point. In this case, information that the user fell into a relatively deep sleep at the first time and had a lighter sleep at the second time can be obtained through the corresponding sleep state information.
즉, 컴퓨팅 장치(100)는 음향을 수집하도록 일반적으로 많이 보급된 사용자 단말(예컨대, 인공지능 스피커, 침실 IoT기기, 휴대폰 등)을 통해 낮은 신호 대 잡음비를 갖는 수면 음향 정보를 획득하는 경우, 이를 분석에 적절한 데이터로 가공하고, 가공된 데이터를 처리하여 수면 단계의 변화에 관련한 수면 상태 정보를 제공할 수 있다. 이는 명료한 음향 획득을 위해 사용자의 신체에 접촉식으로 마이크를 구비하지 않아도 되며, 또한, 높은 신호 대 잡음비를 가진 별도의 추가 디바이스를 구매하지 않고 소프트웨어 업데이트 만으로 일반적인 가정 환경에서 수면 상태를 모니터링할 수 있게 하여 편의성을 증대시키는 효과를 제공할 수 있다.That is, when the computing device 100 acquires sleep sound information with a low signal-to-noise ratio through a user terminal that is widely used to collect sound (e.g., artificial intelligence speaker, bedroom IoT device, mobile phone, etc.), By processing data appropriate for analysis and processing the processed data, sleep state information related to changes in sleep stages can be provided. This eliminates the need to have a contact microphone on the user's body to obtain clear sound, and also allows sleep status to be monitored in a typical home environment with just a software update without purchasing an additional device with a high signal-to-noise ratio. This can provide the effect of increasing convenience.
도 1f에서 컴퓨팅 장치(100) 및 환경 조성 장치(30)가 별도의 엔티티로서 분리되어 표현되었지만, 본 발명의 실시예에 따라서, 환경 조성 장치(30)가 컴퓨팅 장치(100) 내에 포함되어, 수면 상태 측정 및 환경 조정 동작 기능을 하나의 통합 장치에서 수행할 수도 있다.In FIG. 1F, the computing device 100 and the environment creation device 30 are separately represented as separate entities, but according to an embodiment of the present invention, the environment creation device 30 is included in the computing device 100 to enable sleep. Condition measurement and environmental adjustment operation functions can also be performed in one integrated device.
실시예에서, 컴퓨팅 장치(100)는 단말 또는 서버일 수 있으며, 임의의 형태의 장치는 모두 포함할 수 있다. 컴퓨팅 장치(100)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 컴퓨팅 장치(100)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.In an embodiment, computing device 100 may be a terminal or a server, and may include any type of device. The computing device 100 is a digital device, such as a laptop computer, a notebook computer, a desktop computer, a web pad, or a mobile phone, and may be a digital device equipped with a processor and computing power with memory. Computing device 100 may be a web server that processes services. The types of servers described above are merely examples and the present invention is not limited thereto.
본 발명의 일 실시예에 따르면, 컴퓨팅 장치(100)는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 보다 구체적으로, 컴퓨팅 장치(100)는 인터넷 기반 컴퓨팅의 일종으로 정보를 사용자의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 처리하는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 상기 클라우드 컴퓨팅 서비스는 인터넷 상에 자료를 저장해 두고, 사용자가 필요한 자료나 프로그램을 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제 어디서나 이용할 수 있는 서비스일 수 있으며, 인터넷 상에 저장된 자료들을 간단한 조작 및 클릭으로 쉽게 공유하고 전달할 수 있다. 또한, 클라우드 컴퓨팅 서비스는 인터넷 상의 서버에 단순히 자료를 저장하는 것뿐만 아니라, 별도로 프로그램을 설치하지 않아도 웹에서 제공하는 응용프로그램의 기능을 이용하여 원하는 작업을 수행할 수 있으며, 여러 사람이 동시에 문서를 공유하면서 작업을 진행할 수 있는 서비스일 수 있다. 또한, 클라우드 컴퓨팅 서비스는 IaaS(Infrastructure as a Service), PaaS(Platform as a Service), SaaS(Software as a Service), 가상 머신 기반 클라우드 서버 및 컨테이너 기반 클라우드 서버 중 적어도 하나의 형태로 구현될 수 있다. 즉, 본 발명의 컴퓨팅 장치(100)는 상술한 클라우드 컴퓨팅 서비스 중 적어도 하나의 형태로 구현될 수 있다. 전술한 클라우드 컴퓨팅 서비스의 구체적인 기재는 예시일 뿐, 본 발명의 클라우드 컴퓨팅 환경을 구축하는 임의의 플랫폼을 포함할 수도 있다.According to one embodiment of the present invention, the computing device 100 may be a server that provides cloud computing services. More specifically, the computing device 100 is a type of Internet-based computing and may be a server that provides a cloud computing service that processes information not on the user's computer but on another computer connected to the Internet. The cloud computing service may be a service that stores data on the Internet and can be used anytime, anywhere through Internet access without the user having to install necessary data or programs on his or her computer. The cloud computing service may be a service that allows simple manipulation of data stored on the Internet. You can easily share and forward with a click. In addition, cloud computing services not only allow you to simply store data on a server on the Internet, but also allow you to perform desired tasks using the functions of applications provided on the web without having to install a separate program, and allow multiple people to view documents at the same time. It may be a service that allows you to work while sharing. Additionally, cloud computing services may be implemented in at least one of the following forms: Infrastructure as a Service (IaaS), Platform as a Service (PaaS), Software as a Service (SaaS), virtual machine-based cloud server, and container-based cloud server. . That is, the computing device 100 of the present invention may be implemented in at least one form among the cloud computing services described above. The specific description of the cloud computing service described above is merely an example, and may include any platform for constructing the cloud computing environment of the present invention.
한편, 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)는 사용자 수면정보 기반의 수면 콘텐츠를 생성하는 동작 및/또는 사용자 수면정보 기반의 수면 콘텐츠를 제공하는 동작을 수행할 수 있다. 이 경우, 사용자 수면정보 기반의 수면 콘텐츠를 생성하는 장치(700) 및/또는 사용자 수면정보 기반의 수면 콘텐츠를 제공하는 장치(800)가 별도로 구비되지 않고, 컴퓨팅 장치(100)가 구비된 수면 콘텐츠 생성 및 제공 시스템이 구현될 수 있다.Meanwhile, the computing device 100 according to an embodiment of the present invention may perform an operation of generating sleep content based on user sleep information and/or providing sleep content based on user sleep information. In this case, the device 700 for generating sleep content based on user sleep information and/or the device 800 for providing sleep content based on user sleep information are not separately provided, and the sleep content is provided with the computing device 100. A creation and delivery system may be implemented.
또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)는 슬립이미지를 생성하는 동작 및/또는 제공 하는 동작을 수행할 수 있다. 이 경우, 슬립이미지를 생성하는 장치 및/또는 제공하는 장치가 별도로 구비되지 않고, 컴퓨팅 장치(100)가 구비된 수면 콘텐츠 생성 및 제공 시스템이 구현될 수 있다.Additionally, the computing device 100 according to an embodiment of the present invention may perform an operation of generating and/or providing a sleep image. In this case, a sleep content generating and providing system equipped with the computing device 100 may be implemented without a separate device for generating and/or providing a sleep image.
또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)는 심상 유도 정보를 생성하는 동작 및/또는 제공 하는 동작을 수행할 수 있다. 이 경우, 수면 상태 정보에 기초하여 심상 유도 정보를 생성하는 장치(100a) 및/또는 수면 상태 정보에 기초하여 심상 유도 정보를 제공하는 장치(200a)가 별도로 구비되지 않고, 컴퓨팅 장치(100)가 구비된 수면 콘텐츠 생성 및 제공 시스템이 구현될 수 있다.Additionally, the computing device 100 according to an embodiment of the present invention may perform an operation of generating and/or providing imagery induction information. In this case, the device 100a for generating imagery induction information based on sleep state information and/or the device 200a for providing imagery induction information based on sleep state information are not separately provided, and the computing device 100 The provided sleep content creation and provision system can be implemented.
프로세서(110)Processor(110)
프로세서(110)는 하나 이상의 애플리케이션 프로세서(application processor, AP), 하나 이상의 커뮤니케이션 프로세서(communication processor, CP) 또는 적어도 하나 이상의 AI 프로세서(artificial intelligence processor)를 포함할 수 있다. 애플리케이션 프로세서, 커뮤니케이션 프로세서 또는 AI 프로세서는 서로 다른 IC(integrated circuit) 패키지들 내에 각각 포함되거나 하나의 IC 패키지 내에 포함될 수 있다.The processor 110 may include one or more application processors (AP), one or more communication processors (CP), or at least one artificial intelligence processor (AI processor). The application processor, communication processor, or AI processor may each be contained within different integrated circuit (IC) packages or may be contained within one IC package.
애플리케이션 프로세서는 운영체제 또는 응용 프로그램을 구동하여 애플리케이션 프로세서에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리/연산을 수행할 수 있다. 일 례로, 상기 애플리케이션 프로세서는 SoC(system on chip)로 구현될 수 있다. 프로세서(110)는 GPU(graphic prcessing unit, 미도시)를 더 포함할 수 있다.The application processor runs an operating system or application program, controls multiple hardware or software components connected to the application processor, and can perform various data processing/computations, including multimedia data. For example, the application processor may be implemented as a system on chip (SoC). The processor 110 may further include a graphic processing unit (GPU) (not shown).
커뮤니케이션 프로세서는 컴퓨팅 장치(100)와 네트워크로 연결된 다른 컴퓨팅 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 일 례로, 커뮤니케이션 프로세서는 SoC로 구현될 수 있다. 커뮤니케이션 프로세서는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다.The communication processor may perform a function of managing a data link and converting a communication protocol in communication between the computing device 100 and other computing devices connected to a network. As an example, a communications processor may be implemented as a SoC. The communications processor may perform at least some of the multimedia control functions.
또한, 커뮤니케이션 프로세서는 통신 모듈(170)의 데이터 송수신을 제어할 수 있다. 커뮤니케이션 프로세서는 애플리케이션 프로세서의 적어도 일부로 포함되도록 구현될 수도 있다.Additionally, the communication processor may control data transmission and reception of the communication module 170. The communication processor may be implemented to be included as at least part of the application processor.
애플리케이션 프로세서 또는 커뮤니케이션 프로세서는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 애플리케이션 프로세서 또는 커뮤니케이션 프로세서는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장할 수 있다.The application processor or the communication processor may load and process commands or data received from at least one of the non-volatile memory or other components connected to the volatile memory. Additionally, the application processor or communication processor may store data received from or generated by at least one of the other components in the non-volatile memory.
컴퓨터 프로그램은 메모리(120)에 로드될 때, 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작을 수행할 수 있다.When loaded into memory 120, the computer program may include one or more instructions that cause processor 110 to perform methods/operations according to various embodiments of the present invention. That is, the processor 110 can perform methods/operations according to various embodiments of the present invention by executing one or more instructions.
일 실시예에서, 컴퓨터 프로그램은, 사용자의 수면 상태 정보를 획득하는 단계, 상기 수면 상태 정보에 기초하여 환경 조성 정보를 생성하는 단계 및 상기 환경 조성 정보를 환경 조성 장치로 전송하는 단계를 포함하는 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.In one embodiment, the computer program includes obtaining sleep state information of a user, generating environment creation information based on the sleep state information, and transmitting the environment creation information to an environment creation device. It may include one or more instructions to perform a method of creating a sleep environment according to state information.
본 발명의 일 실시예에 따르면, 프로세서(110)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다.According to one embodiment of the present invention, the processor 110 may be composed of one or more cores, such as a central processing unit (CPU) of a computing device, and a general purpose graphics processing unit (GPGPU). , may include a processor for data analysis and deep learning, such as a tensor processing unit (TPU).
프로세서(110)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. 본 발명의 일실시예에 따라 프로세서(110)는 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(110)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.The processor 110 may read a computer program stored in the memory 120 and perform data processing for machine learning according to an embodiment of the present invention. According to one embodiment of the present invention, the processor 110 may perform calculations for learning a neural network. The processor 110 is used for learning neural networks, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. Calculations can be performed.
또한, 프로세서(110)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.Additionally, at least one of the CPU, GPGPU, and TPU of the processor 110 may process learning of the network function. For example, CPU and GPGPU can work together to process learning of network functions and data classification using network functions. Additionally, in one embodiment of the present invention, the processors of a plurality of computing devices can be used together to process learning of network functions and data classification using network functions. Additionally, a computer program executed in a computing device according to an embodiment of the present invention may be a CPU, GPGPU, or TPU executable program.
본 명세서에서 네트워크 함수는 인공 신경망, 뉴럴 네트워크와 상호 교환 가능하게 사용될 수 있다. 본 명세서에서 네트워크 함수는 하나 이상의 뉴럴 네트워크를 포함할 수도 있으며, 이 경우 네트워크 함수의 출력은 하나 이상의 뉴럴 네트워크의 출력의 앙상블(ensemble)일 수 있다.In this specification, network function may be used interchangeably with artificial neural network or neural network. In this specification, a network function may include one or more neural networks, and in this case, the output of the network function may be an ensemble of the outputs of one or more neural networks.
본 명세서에서 모델은 네트워크 함수를 포함할 수 있다. 모델은 하나 이상의 네트워크 함수를 포함할 수도 있으며, 이 경우 모델의 출력은 하나 이상의 네트워크 함수의 출력의 앙상블일 수 있다.In this specification, the model may include a network function. A model may include one or more network functions, in which case the output of the model may be an ensemble of the outputs of one or more network functions.
프로세서(110)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 수면 분석 모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 프로세서(110)는 수면 상태 정보에 기초하여 환경 조성 정보를 산출하기 위한 계산을 수행할 수 있다. 본 발명의 일 실시예에 따라 프로세서(110)는 수면 분석 모델을 학습시키기 위한 계산을 수행할 수 있다. 수면 분석 모델과 관련해서는 아래에서 더욱 상세히 설명하기로 한다. 수면 분석 모델에 기초해서 사용자의 수면의 질과 관련한 수면 정보가 추론될 수 있다. 사용자로부터 실시간 혹은 주기적으로 획득되는 환경 센싱 정보가 상기 수면 분석 모델에 입력값으로 입력되어 사용자의 수면과 관련한 데이터를 출력하게 된다.The processor 110 may read the computer program stored in the memory 120 and provide a sleep analysis model according to an embodiment of the present invention. According to an embodiment of the present invention, the processor 110 may perform calculations to calculate environmental composition information based on sleep state information. According to one embodiment of the present invention, the processor 110 may perform calculations to learn a sleep analysis model. The sleep analysis model will be explained in more detail below. Based on the sleep analysis model, sleep information related to the user's sleep quality can be inferred. Environmental sensing information acquired in real time or periodically from the user is input as an input value to the sleep analysis model, and data related to the user's sleep is output.
이와 같은 수면 분석 모델의 학습과, 이에 기초한 추론은 컴퓨팅 장치(100)에 의하여 수행될 수 있다. 즉, 학습과 추론이 모두 컴퓨팅 장치(100)에 의하여 수행되는 것으로 설계할 수 있다. 다만, 다른 실시예에서는, 학습은 컴퓨팅 장치(100)에서 하되, 추론은 사용자 단말(300)에서 수행될 수 있다. 또한, 학습은 컴퓨팅 장치(100)에서 하되, 추론은 스마트가전(TV, 조명, 냉장고, 공기청정기) 등으로 구현되는 환경 조성 장치(30)에서 수행될 수 있다. 또, 다른 실시예에서는 도 1g의 수면 환경 조절 장치(400)에 의하여 수행될 수 있다. 즉, 학습과 추론이 모두 수면 환경 조절 장치(400)에 의하여 수행될 수 있다. 또는, 학습은 컴퓨팅 장치(100)에서 하되, 추론은 외부 단말(200)에서 수행될 수 있다.Learning of such a sleep analysis model and inference based thereon may be performed by the computing device 100. In other words, both learning and inference can be designed to be performed by the computing device 100. However, in another embodiment, learning may be performed in the computing device 100, but inference may be performed in the user terminal 300. In addition, learning may be performed in the computing device 100, but inference may be performed in the environment creation device 30 implemented with smart home appliances (TV, lighting, refrigerator, air purifier), etc. Additionally, in another embodiment, this may be performed by the sleep environment control device 400 of FIG. 1G. That is, both learning and inference can be performed by the sleep environment control device 400. Alternatively, learning may be performed in the computing device 100, but inference may be performed in the external terminal 200.
본 발명의 일 실시예에 따르면, 프로세서(110)는 통상적으로 컴퓨팅 장치(100)의 전반적인 동작을 처리할 수 있다. 프로세서(110)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자 단말에게 적정한 정보 또는, 기능을 제공하거나 처리할 수 있다.According to one embodiment of the present invention, the processor 110 may typically process the overall operation of the computing device 100. The processor 110 can provide or process appropriate information or functions to the user terminal by processing signals, data, information, etc. input or output through the components discussed above or by running an application program stored in the memory 120. there is.
본 발명의 일 실시예에 따르면, 프로세서(110)는 사용자의 수면 상태 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른, 수면 상태 정보의 획득은, 메모리(120)에 저장된 수면 상태 정보를 획득하거나 또는 로딩(loading)하는 것일 수 있다. 또한, 수면 음향 정보의 획득은, 유/무선 통신 수단에 기초하여 다른 저장 매체에, 다른 컴퓨팅 장치, 동일한 컴퓨팅 장치 내의 별도 처리 모듈로부터 데이터를 수신하거나 또는 로딩하는 것일 수 있다.According to one embodiment of the present invention, the processor 110 may obtain information on the user's sleep state. Acquiring sleep state information according to an embodiment of the present invention may be acquiring or loading sleep state information stored in the memory 120. Additionally, acquisition of sleep sound information may involve receiving or loading data from another storage medium, another computing device, or a separate processing module within the same computing device based on wired/wireless communication means.
본 발명의 컴퓨팅 장치(100)의 구체적인 구성, 기술적 특징들 및 기술적 특징들에 따른 효과들을 첨부된 도면을 참조하면서 설명한다. The specific configuration, technical features, and effects according to the technical features of the computing device 100 of the present invention will be described with reference to the attached drawings.
도 2c는 본 발명의 일 실시예와 관련된 수면 상태 정보에 기초하여 수면 환경을 조성하기 위한 컴퓨팅 장치의 블록 구성도를 도시한다.FIG. 2C shows a block diagram of a computing device for creating a sleep environment based on sleep state information related to an embodiment of the present invention.
도 2c에 도시된 바와 같이, 컴퓨팅 장치(100)는 네트워크부(180), 메모리(120) 및 프로세서(110)를 포함할 수 있다. 전술한 컴퓨팅 장치(100)에 포함된 컴포넌트들로 제한되지 않는다. 즉, 본 발명내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.As shown in FIG. 2C, the computing device 100 may include a network unit 180, a memory 120, and a processor 110. It is not limited to the components included in computing device 100 described above. That is, depending on the implementation aspect of the embodiments of the present invention, additional components may be included or some of the above-described components may be omitted.
도 1f 및 도 2c를 참고하면, 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)는 사용자 단말(300), 외부 서버(20) 및 환경 조성 장치(30)와 데이터를 송수신하는 네트워크부(180)를 포함할 수 있다. 네트워크부(180)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 즉, 네트워크부(180)는 컴퓨팅 장치(100)와 사용자 단말(300), 외부 서버(20) 및 환경 조성 장치(30) 간의 통신 기능을 제공할 수 있다. Referring to FIGS. 1F and 2C, the computing device 100 according to an embodiment of the present invention includes a network unit 180 that transmits and receives data with the user terminal 300, the external server 20, and the environment creation device 30. ) may include. The network unit 180 may transmit and receive data for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, to other computing devices, servers, etc. That is, the network unit 180 may provide a communication function between the computing device 100, the user terminal 300, the external server 20, and the environment creation device 30.
예를 들어, 네트워크부(180)는 병원 서버로부터 복수의 사용자들에 대한 수면검진기록 및 전자건강기록을 수신할 수 있다. 다른 예를 들어, 네트워크부(180)는 사용자 단말(300)로부터 사용자가 활동하는 공간에 관련한 환경 센싱 정보를 수신할 수 있다. For example, the network unit 180 may receive sleep checkup records and electronic health records for multiple users from a hospital server. For another example, the network unit 180 may receive environmental sensing information related to the space in which the user operates from the user terminal 300.
또 다른 예를 들어, 네트워크부(180)는 환경 조성 장치(30)로 사용자가 위치한 공간의 환경을 조정하기 위한 환경 조성 정보를 전송할 수 있다. 추가적으로, 네트워크부(180)는 컴퓨팅 장치(100)로 프로시저를 호출하는 방식으로 컴퓨팅 장치(100)와 사용자 단말(300) 및 외부 서버(20) 간의 정보 전달을 허용할 수 있다.As another example, the network unit 180 may transmit environment creation information for adjusting the environment of the space where the user is located to the environment creation device 30. Additionally, the network unit 180 may allow information to be transferred between the computing device 100, the user terminal 300, and the external server 20 by calling a procedure with the computing device 100.
한편, 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)는 네트워크부(180)와 통신 모듈(170) 모두 포함하여 구성될 수도 있지만, 네트워크부(180)와 통신 모듈(170)중 하나만 포함하여 구성될 수도 있다. 또한, 상술한 네트워크부(180)의 동작을 통신 모듈(170)이 수행할 수도 있다.Meanwhile, the computing device 100 according to an embodiment of the present invention may be configured to include both the network unit 180 and the communication module 170, but may include only one of the network unit 180 and the communication module 170. It may be configured. Additionally, the communication module 170 may perform the operations of the network unit 180 described above.
메모리(120)Memory(120)
메모리(120)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 상기 내장 메모리는 SSD(solid state drive)의 형태를 취할 수도 있다. 상기 외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. Memory 120 may include internal memory or external memory. Built-in memory is volatile memory (e.g., dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.) or non-volatile memory (e.g., one time programmable ROM (OTPROM), programmable memory (PROM), etc. ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory, etc.). According to one embodiment, the internal memory may take the form of a solid state drive (SSD). The external memory may be a flash drive, for example, compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (Mini-SD), or extreme digital (xD). Alternatively, it may further include a memory stick, etc.
본 발명의 일 실시예에 따르면, 메모리(120)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(110)에 의하여 판독되어 구동될 수 있다. 또한, 메모리(120)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(180)가 수신한 임의의 형태의 정보를 저장할 수 있다. 또한, 메모리(120)는 사용자의 수면에 관련한 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 입/출력되는 데이터들(예를 들어, 사용자의 수면 환경에 관련한 환경 센싱 정보, 환경 센싱 정보에 대응하는 수면 상태 정보 또는, 수면 상태 정보에 따른 환경 조성 정보 등)을 임시 또는 영구 저장할 수도 있다.According to an embodiment of the present invention, the memory 120 may store a computer program for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, and the stored computer program may be stored in the processor 110. It can be read and driven by . Additionally, the memory 120 may store any type of information generated or determined by the processor 110 and any type of information received by the network unit 180. Additionally, the memory 120 may store data related to the user's sleep. For example, the memory 120 may store input/output data (e.g., environmental sensing information related to the user's sleep environment, sleep state information corresponding to the environmental sensing information, or environment creation information according to the sleep state information, etc. ) can also be stored temporarily or permanently.
본 발명의 일 실시예에 따르면, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 컴퓨팅 장치(100)는 인터넷(internet) 상에서 상기 메모리(120)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.According to one embodiment of the present invention, the memory 120 is a flash memory type, hard disk type, multimedia card micro type, or card type memory (e.g. (e.g. SD or -Only Memory), and may include at least one type of storage medium among magnetic memory, magnetic disk, and optical disk. The computing device 100 may operate in connection with web storage that performs a storage function of the memory 120 on the Internet. The description of the memory described above is only an example, and the present invention is not limited thereto.
출력 장치(130)Output device (130)
출력 장치(130)는 디스플레이 모듈 또는/및 스피커 중 적어도 하나 이상을 포함할 수 있다. 출력 장치(130)는 사용자에게 멀티미디어 데이터, 텍스트 데이터, 음성 데이터 등을 포함하는 각종 데이터를 표시하거나 소리로 출력할 수 있다.The output device 130 may include at least one of a display module and/or a speaker. The output device 130 can display various data including multimedia data, text data, voice data, etc. to the user or output them as sound.
입력 장치(140)Input Device(140)
입력 장치(140)는 터치 패널(touch panel), 디지털 펜 센서(pen sensor), 키(key), 또는 초음파 입력 장치 등을 포함할 수 있다. 일 례로, 입력 장치(140)는 입출력 인터페이스(150)일 수도 있다. The input device 140 may include a touch panel, a digital pen sensor, a key, or an ultrasonic input device. For example, the input device 140 may be the input/output interface 150.
터치 패널은 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나 이상의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치 패널은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우에 직접 터치 뿐만 아니라 근접 인식도 가능하다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패널은 사용자에게 촉각 반응을 제공할 수 있다. 디지털 펜 센서는 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 레이어(layer)를 이용하여 구현될 수 있다. 키는 키패드 또는 터치키가 이용될 수 있다. 초음파 입력 장치는 초음파 신호를 발생하는 펜을 통해 단말에서 마이크로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 컴퓨팅 장치(100)는 통신 모듈(170)을 이용하여 이와 연결된 외부 장치(예를 들어, 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.The touch panel may recognize touch input in at least one of capacitive, resistive, infrared, or ultrasonic methods. Additionally, the touch panel may further include a controller (not shown). In the case of capacitive type, not only direct touch but also proximity recognition is possible. The touch panel may further include a tactile layer. In this case, the touch panel can provide a tactile response to the user. The digital pen sensor may be implemented using the same or similar method for receiving a user's touch input, or using a separate recognition layer. The key may be a keypad or touch key. An ultrasonic input device is a device that can check data by detecting micro sound waves in a terminal through a pen that generates ultrasonic signals, and enables wireless recognition. The computing device 100 may receive user input from an external device (eg, a network, computer, or server) connected thereto using the communication module 170.
입력 장치(140)는 카메라 모듈 또는/및 마이크로폰을 더 포함할 수 있다. 카메라 모듈은 화상 및 동영상을 촬영할 수 있는 장치로서, 하나 이상의 이미지 센서, ISP(image signal processor) 또는 플래시 LED를 포함할 수 있다. 마이크로폰은 음성 신호를 수신하여 전기 신호로 변환시킬 수 있다.The input device 140 may further include a camera module or/and a microphone. A camera module is a device that can capture images and videos, and may include one or more image sensors, an image signal processor (ISP), or a flash LED. A microphone can receive voice signals and convert them into electrical signals.
입출력 인터페이스(150)Input/output interface (150)
입출력 인터페이스(150)는 입력 장치(140) 또는 출력 장치(130)를 통하여 사용자로부터 입력된 명령 또는 데이터를 버스(미도시)를 통하여 프로세서(110), 메모리(120), 통신 모듈(170) 등에 전달할 수 있다. 일 예로, 입출력 인터페이스(150)는 터치 패널을 통해 입력된 사용자의 터치 입력에 대한 데이터를 프로세서(110)로 제공할 수 있다. 일 예로, 입출력 인터페이스(150)는 버스를 통하여 프로세서(110), 메모리(120), 통신 모듈(170) 등으로부터 수신된 명령 또는 데이터를 출력 장치(130)를 통하여 출력할 수 있다. 일 예로 입출력 인터페이스(150)는 프로세서(110)를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다.The input/output interface 150 transmits commands or data input from the user through the input device 140 or output device 130 to the processor 110, memory 120, communication module 170, etc. through a bus (not shown). It can be delivered. As an example, the input/output interface 150 may provide data about a user's touch input through a touch panel to the processor 110. As an example, the input/output interface 150 may output commands or data received from the processor 110, memory 120, communication module 170, etc. through the bus through the output device 130. As an example, the input/output interface 150 may output voice data processed through the processor 110 to the user through a speaker.
센서 모듈(160)Sensor module (160)
센서 모듈(160)은 제스쳐 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB(red, green, blue) 센서, 생체 센서, 온/습도 센서, 조도 센서 또는 UV(ultra violet) 센서 중의 적어도 하나 이상을 포함할 수 있다. 센서 모듈(160)은 물리량을 계측하거나 컴퓨팅 장치(100)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(160)은, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor), PPG 센서 (photoplethysmography sensor), HRM 센서(heart rate monitor sensor), 땀 분비량 측정 센서(perspiration sensor), 또는 지문 센서(fingerprint sensor) 등을 포함할 수 있다. 센서 모듈(160)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.The sensor module 160 may include a gesture sensor, gyro sensor, barometric pressure sensor, magnetic sensor, acceleration sensor, grip sensor, proximity sensor, RGB (red, green, blue) sensor, biometric sensor, temperature/humidity sensor, illuminance sensor, or UV ( may include at least one of ultra violet) sensors. The sensor module 160 may measure a physical quantity or detect the operating state of the computing device 100 and convert the measured or sensed information into an electrical signal. Additionally or alternatively, the sensor module 160 may include an olfactory sensor (E-nose sensor), an electromyography sensor (EMG sensor), an electroencephalogram sensor (EEG sensor) (not shown), an electrocardiogram sensor (ECG sensor), and a photoplethysmography sensor (PPG sensor). ), a heart rate monitor sensor (HRM sensor), a perspiration sensor, or a fingerprint sensor. The sensor module 160 may further include a control circuit for controlling at least one sensor included therein.
통신 모듈(170)Communication module (170)
통신 모듈(170)은 무선 통신 모듈 또는 RF 모듈를 포함할 수 있다. 무선 통신 모듈은, 예를 들면, Wi-Fi, BT, GPS 또는 NFC를 포함할 수 있다. The communication module 170 may include a wireless communication module or an RF module. The wireless communication module may include, for example, Wi-Fi, BT, GPS or NFC.
예를 들면, 무선 통신 모듈은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 무선 통신 모듈은 컴퓨팅 장치(100)를 네트워크(예: Internet, LAN, WAN, telecommunication network, cellular network, satellite network, POTS 또는 5G network 등)와 연결시키기 위한 네트워크 인터페이스 또는 모뎀 등을 포함할 수 있다.For example, a wireless communication module may provide a wireless communication function using radio frequencies. Additionally or alternatively, the wireless communication module may include a network interface or modem for connecting the computing device 100 to a network (e.g., Internet, LAN, WAN, telecommunication network, cellular network, satellite network, POTS or 5G network, etc.). It can be included.
RF 모듈은 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자 신호의 송수신을 담당할 수 있다. 일 례로, RF 모듈는 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, RF 모듈은 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.The RF module may be responsible for transmitting and receiving data, for example, RF signals or called electronic signals. For example, the RF module may include a transceiver, a power amp module (PAM), a frequency filter, or a low noise amplifier (LNA). Additionally, the RF module may further include components for transmitting and receiving electromagnetic waves in free space in wireless communication, for example, conductors or wires.
컴퓨팅 장치(100)는 서버, TV, 스마트TV, 냉장고, 오븐, 의류 스타일러, 로봇 청소기, 드론, 에어컨, 공기 청정기, PC, 스피커, 홈 CCTV, 조명, 세탁기 및 스마트 플러그 중 적어도 하나를 포함할 수 있다. 도 2d에서 설명한 컴퓨팅 장치(100)의 구성요소는 일반적으로 컴퓨팅 장치에 구비되는 구성요소를 예시한 것이므로, 컴퓨팅 장치(100)는 전술한 구성요소에 한정되지 않으며 필요에 따라 소정의 구성요소가 생략 및/또는 추가될 수 있다.The computing device 100 may include at least one of a server, TV, smart TV, refrigerator, oven, clothes styler, robot vacuum cleaner, drone, air conditioner, air purifier, PC, speaker, home CCTV, lighting, washing machine, and smart plug. there is. Since the components of the computing device 100 described in FIG. 2D are examples of components generally provided in a computing device, the computing device 100 is not limited to the components described above, and certain components may be omitted as necessary. and/or may be added.
네트워크부(180)Network unit (180)
본 발명의 일 실시예에 따른 네트워크부(180)는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다.The network unit 180 according to an embodiment of the present invention includes Public Switched Telephone Network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and VDSL ( A variety of wired communication systems can be used, such as Very High Speed DSL), Universal Asymmetric DSL (UADSL), High Bit Rate DSL (HDSL), and Local Area Network (LAN).
또한, 본 명세서에서 제시되는 네트워크부(180)는 4G, 5G(LTE) 등의 이동 통신 시스템, 스타링크 등의 위성 통신 시스템들과 같은 현재 및 장래 실현될 수 있는 다양한 무선 통신 시스템들을 사용할 수 있다.In addition, the network unit 180 presented in this specification can use various wireless communication systems that can be realized now and in the future, such as mobile communication systems such as 4G and 5G (LTE), and satellite communication systems such as Starlink. .
본 발명에서 네트워크부(180)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.In the present invention, the network unit 180 can be configured regardless of the communication mode, such as wired or wireless, and may be composed of various communication networks such as a personal area network (PAN) and a wide area network (WAN). You can. Additionally, the network may be the well-known World Wide Web (WWW), and may also use wireless transmission technology used for short-distance communication, such as Infrared Data Association (IrDA) or Bluetooth. The techniques described herein can be used in the networks mentioned above, as well as other networks.
한편, 본 발명의 실시예들에 따른 시스템에서 구현되는 컴퓨팅 장치(100)에서는, 통신 모듈(170)과 네트워크부(180)를 모두 포함하여 구성될 수도 있지만, 통신 모듈(170)과 네트워크부(180)중 하나만을 포함하여 구성될 수도 있다. 이 경우, 상술한 통신 모듈(170)의 동작을 네트워크부(180)에서 수행하거나, 또는 상술한 네트워크부(180)의 동작을 통신 모듈(170)에서 수행할 수 있다.Meanwhile, the computing device 100 implemented in the system according to embodiments of the present invention may be configured to include both the communication module 170 and the network unit 180, but the communication module 170 and the network unit ( 180) may be configured to include only one of them. In this case, the operation of the above-described communication module 170 may be performed in the network unit 180, or the operation of the above-described network unit 180 may be performed in the communication module 170.
네트워크network
본 발명의 실시예들에 따른 네트워크는 공중전화 교환망(PSTN: Public Switched Telephone Network), xDSL(x Digital Subscriber Line), RADSL(Rate Adaptive DSL), MDSL(Multi Rate DSL), VDSL(Very High Speed DSL), UADSL(Universal Asymmetric DSL), HDSL(High Bit Rate DSL) 및 근거리 통신망(LAN) 등과 같은 다양한 유선 통신 시스템들을 사용할 수 있다. 또한, 여기서 제시되는 네트워크는 CDMA(Code Division Multi Access), TDMA(Time Division Multi Access), FDMA(Frequency Division Multi Access), OFDMA(Orthogonal Frequency Division Multi Access), SC-FDMA(Single Carrier-FDMA) 및 다른 시스템들과 같은 다양한 무선 통신 시스템들을 사용할 수 있다.Networks according to embodiments of the present invention include Public Switched Telephone Network (PSTN), x Digital Subscriber Line (xDSL), Rate Adaptive DSL (RADSL), Multi Rate DSL (MDSL), and Very High Speed DSL (VDSL). ), UADSL (Universal Asymmetric DSL), HDSL (High Bit Rate DSL), and local area network (LAN) can be used. In addition, the networks presented here include Code Division Multi Access (CDMA), Time Division Multi Access (TDMA), Frequency Division Multi Access (FDMA), Orthogonal Frequency Division Multi Access (OFDMA), Single Carrier-FDMA (SC-FDMA), and A variety of wireless communication systems, such as other systems, may be used.
본 발명의 실시예들에 따른 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN: Personal Area Network), 근거리 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)일 수 있으며, 적외선(IrDA: Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 본 명세서에서 설명된 기술들은 위에서 언급된 네트워크들뿐만 아니라, 다른 네트워크들에서도 사용될 수 있다.The network according to embodiments of the present invention can be configured regardless of the communication mode, such as wired or wireless, and is composed of various communication networks such as a personal area network (PAN) and a wide area network (WAN). It can be. Additionally, the network may be the well-known World Wide Web (WWW), and may also use wireless transmission technology used for short-distance communication, such as Infrared Data Association (IrDA) or Bluetooth. The techniques described herein can be used in the networks mentioned above, as well as other networks.
외부 단말(200)External terminal (200)
도 2e는 본 발명의 일 실시예에 따른 외부 단말(200)을 설명하기 위한 블록도이다.Figure 2e is a block diagram for explaining an external terminal 200 according to an embodiment of the present invention.
외부 단말(200)은 프로세서(210), 메모리(220), 통신 모듈(270)을 포함할 수 있다. 외부 단말(200)은 외부 서버(20) 또는 클라우드 서버일 수 있다. 외부 서버(20)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 외부 서버(20)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.The external terminal 200 may include a processor 210, a memory 220, and a communication module 270. The external terminal 200 may be an external server 20 or a cloud server. The external server 20 is a digital device, such as a laptop computer, a notebook computer, a desktop computer, a web pad, or a mobile phone, and may be a digital device equipped with a processor and computing power with memory. The external server 20 may be a web server that processes services. The types of servers described above are merely examples and the present invention is not limited thereto.
프로세서(210)Processor(210)
프로세서(210)는 외부 단말(200)을 전반적으로 제어한다. 프로세서(210)는 AI 프로세서(215)를 포함할 수 있다.The processor 210 generally controls the external terminal 200. Processor 210 may include AI processor 215.
AI 프로세서(215)는 메모리(220)에 저장된 프로그램을 이용하여 신경망을 학습할 수 있다. 특히, AI 프로세서(215)는 사용자 단말(300)의 동작과 관련된 데이터를 인식하기 위한 신경망을 학습할 수 있다. 여기서, 신경망은 인간의 뇌 구조(예를 들어, 인간의 신경망의 뉴런 구조)를 컴퓨터 상에서 모의하도록 설계될 수 있다. 신경망은 입력층(input layer), 출력층(output layer) 및 적어도 하나의 은닉층(hidden layer)를 포함할 수 있다. 각 층은 가중치를 갖는 적어도 하나의 뉴런을 포함하고, 신경망은 뉴런과 뉴런을 연결하는 시냅스(synapse)를 포함할 수 있다. 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호를 가중치(weight) 및/또는 편향(bias)에 대한 활성함수(activation function)의 함수값으로 출력할 수 있다.The AI processor 215 can learn a neural network using a program stored in the memory 220. In particular, the AI processor 215 can learn a neural network for recognizing data related to the operation of the user terminal 300. Here, the neural network may be designed to simulate human brain structure (eg, neuron structure of a human neural network) on a computer. A neural network may include an input layer, an output layer, and at least one hidden layer. Each layer includes at least one neuron with a weight, and the neural network may include synapses connecting neurons. In a neural network, each neuron can output an input signal input through a synapse as a function value of an activation function for weight and/or bias.
복수의 네트워크 모드들은 뉴런이 시냅스를 통해 신호를 주고받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고받을 수 있다. 여기서 신경망은 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 콘볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 신경망 모델의 예는 심층 신경망(deep neural network, DNN), 합성곱 신경망(convolutional neural network, CNN), 순환 신경망(recurrent neural network), 제한 볼츠만 머신(restricted Boltzmann machine), 심층 신뢰 신경망(deep belief network), 심층 Q-네트워크(deep Q-Network)와 같은 다양한 딥러닝 기법들을 포함하며, 비전인식, 음성인식, 자연어처리, 음성/신호처리 등의 분야에서 적용될 수 있다.Multiple network modes can exchange data according to each connection relationship to simulate the synaptic activity of neurons sending and receiving signals through synapses. Here, the neural network may include a deep learning model developed from a neural network model. In a deep learning model, multiple network nodes are located in different layers and can exchange data according to convolutional connection relationships. Examples of neural network models include deep neural networks (DNN), convolutional neural networks (CNN), recurrent neural networks, restricted Boltzmann machines, and deep belief networks. ), deep Q-Network, and various deep learning techniques, and can be applied in fields such as vision recognition, speech recognition, natural language processing, and voice/signal processing.
한편, 전술한 바와 같은 기능을 수행하는 프로세서(210)는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU, TPU)일 수 있다.Meanwhile, the processor 210 that performs the functions described above may be a general-purpose processor (e.g., CPU), or may be an AI-specific processor (e.g., GPU, TPU) for artificial intelligence learning.
메모리(220)Memory(220)
메모리(220)는 사용자 단말(300) 및/또는 외부 단말(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(220)는 AI 프로세서(215)에 의해 액세스되며, AI 프로세서(215)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 또한, 메모리(220)는 데이터 분류/인식을 위한 학습 알고리즘을 통해 생성된 신경망 모델(예를 들어, 딥러닝 모델)을 저장할 수 있다. 나아가, 메모리(220)는 학습 모델(221)뿐만 아니라, 입력 데이터, 학습 데이터, 학습 히스토리 등을 저장할 수도 있다.The memory 220 may store various programs and data necessary for the operation of the user terminal 300 and/or the external terminal 200. The memory 220 is accessed by the AI processor 215, and reading/writing/modifying/deleting/updating data by the AI processor 215 can be performed. Additionally, the memory 220 may store a neural network model (eg, deep learning model) generated through a learning algorithm for data classification/recognition. Furthermore, the memory 220 may store not only the learning model 221 but also input data, learning data, and learning history.
한편, AI 프로세서(215)는 데이터 분류/인식을 위한 신경망을 학습하는 데이터 학습부(215a)를 포함할 수 있다. 데이터 학습부(215a)는 데이터 분류/인식을 판단하기 위하여 어떤 학습 데이터를 이용할지, 학습 데이터를 이용하여 데이터를 어떻게 분류하고 인식할지에 관한 기준을 학습할 수 있다. 데이터 학습부(215a)는 학습에 이용될 학습 데이터를 획득하고, 획득된 학습데이터를 딥러닝 모델에 적용함으로써, 딥러닝 모델을 학습할 수 있다.Meanwhile, the AI processor 215 may include a data learning unit 215a that learns a neural network for data classification/recognition. The data learning unit 215a can learn standards regarding which learning data to use to determine data classification/recognition and how to classify and recognize data using the learning data. The data learning unit 215a can learn a deep learning model by acquiring learning data to be used for learning and applying the acquired learning data to the deep learning model.
데이터 학습부(215a)는 적어도 하나의 하드웨어 칩 형태로 제작되어 외부 단말(200)에 탑재될 수 있다. 일 예로, 데이터 학습부(215a)는 인공지능을 위한 전용 하드웨어 칩 형태로 제작될 수 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 외부 단말(200)에 탑재될 수 있다. 또한, 데이터 학습부(215a)는 소프트웨어 모듈로 구현될 수도 있다. 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우에 적어도 하나의 소프트웨어 모듈은 OS(operating system)에 제공되거나, 애플리케이션에 의해 제공될 수 있다.The data learning unit 215a may be manufactured in the form of at least one hardware chip and mounted on the external terminal 200. As an example, the data learning unit 215a may be manufactured in the form of a dedicated hardware chip for artificial intelligence, and may be manufactured as part of a general-purpose processor (CPU) or graphics processor (GPU) and mounted on the external terminal 200. . Additionally, the data learning unit 215a may be implemented as a software module. When implemented as a software module (or a program module including instructions), the software module may be stored in a non-transitory computer readable recording medium that can be read by a computer. In this case, at least one software module may be provided to an operating system (OS) or may be provided by an application.
데이터 학습부(215a)는 획득된 학습 데이터를 이용하여, 신경망 모델이 소정의 데이터를 어떻게 분류/인식할지에 관한 판단기준을 가지도록 학습할 수 있다. 이때, 모델 학습부에 의한 학습 방식은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning)으로 분류될 수 있다. 여기서, 지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 지칭하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 특정 환경 안에서 정의된 에이전트(agent)가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 방법을 의미할 수 있다. 또한, 모델 학습부는 오류 역전파법(backpropagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다. 신경망 모델이 학습되면 학습된 신경망 모델은 학습 모델(221)이라 호칭할 수 있다. 학습 모델(221)은 메모리(220)에 저장되어 학습 데이터가 아닌 새로운 입력 데이터에 대한 결과를 추론하는 데 사용될 수 있다.The data learning unit 215a can use the acquired training data to train the neural network model to have a judgment standard on how to classify/recognize certain data. At this time, the learning method by the model learning unit can be classified into supervised learning, unsupervised learning, and reinforcement learning. Here, supervised learning refers to a method of training an artificial neural network with a given label for the learning data, and the label is the correct answer (or result value) that the artificial neural network must infer when the learning data is input to the artificial neural network. It can mean. Unsupervised learning can refer to a method of training an artificial neural network in a state where no labels for training data are given. Reinforcement learning can refer to a method of training an agent defined within a specific environment to select an action or action sequence that maximizes the cumulative reward in each state. Additionally, the model learning unit may learn a neural network model using a learning algorithm including error backpropagation or gradient descent. When a neural network model is learned, the learned neural network model may be referred to as a learning model 221. The learning model 221 is stored in the memory 220 and can be used to infer results for new input data other than training data.
AI 프로세서(215)는 학습 모델(221)을 이용한 분석 결과를 향상시키거나, 학습 모델(221)의 생성에 필요한 리소스 또는 시간을 절약하기 위하여 데이터 전처리부(215b) 및/또는 데이터 선택부(215c)를 더 포함할 수도 있다.The AI processor 215 includes a data pre-processing unit 215b and/or a data selection unit 215c to improve the analysis results using the learning model 221 or to save resources or time required for generating the learning model 221. ) may further be included.
데이터 전처리부(215b)는 획득된 데이터가 상황 판단을 위한 학습/추론에 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 일 예로, 데이터 전처리부(215b)는 통신 모듈(270)을 통해 수신된 입력 데이터에 대하여 전처리로서 특징 정보(feature information)을 추출할 수 있으며, 특징 정보는 특징 벡터(feature vector), 특징점(feature point) 또는 특징맵(feature map) 등의 포맷으로 추출될 수 있다.The data preprocessing unit 215b may preprocess the acquired data so that the acquired data can be used for learning/inference for situational judgment. As an example, the data preprocessor 215b may extract feature information as preprocessing for input data received through the communication module 270, and the feature information may include a feature vector and a feature point. It can be extracted in formats such as point or feature map.
데이터 선택부(215c)는 학습 데이터 또는 전처리부에서 전처리된 학습 데이터 중 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부에 제공될 수 있다. 일 예로, 데이터 선택부(215c)는 컴퓨팅 장치의 카메라를 통해 획득한 영상 중 특정 영역을 검출함으로써, 특정 영역에 포함된 객체에 대한 데이터만을 학습 데이터로 선택할 수 있다. 또한, 데이터 선택부(215c)는 입력 장치를 통해 획득된 입력 데이터 또는 전처리부에서 전처리된 입력 데이터 중 추론에 필요한 데이터를 선택할 수도 있다.The data selection unit 215c may select data required for learning from among the training data or the training data preprocessed in the preprocessor. The selected learning data may be provided to the model learning unit. As an example, the data selection unit 215c may detect a specific area in an image acquired through a camera of a computing device and select only data about objects included in the specific area as learning data. Additionally, the data selection unit 215c may select data required for inference among input data obtained through an input device or input data preprocessed in a preprocessor.
또한, AI 프로세서(215)는 신경망 모델의 분석 결과를 향상시키기 위하여 모델 평가부(215d)를 더 포함할 수 있다. 모델 평가부(215d)는, 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 학습 모델(221)을 평가하기 위한 기 설정된 데이터일 수 있다. 일 예로, 모델 평가부(215d)는 평가 데이터에 대한 학습된 신경망 모델의 분석 결과 중, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우에 소정 기준을 만족하지 못한 것으로 평가할 수 있다.Additionally, the AI processor 215 may further include a model evaluation unit 215d to improve the analysis results of the neural network model. The model evaluation unit 215d inputs evaluation data into the neural network model, and when the analysis result output from the evaluation data does not meet a predetermined standard, it can cause the model learning unit to learn again. In this case, the evaluation data may be preset data for evaluating the learning model 221. As an example, the model evaluation unit 215d determines that among the analysis results of the learned neural network model for the evaluation data, when the number or ratio of evaluation data for which the analysis result is inaccurate exceeds a preset threshold, the model evaluation unit 215d determines that the analysis result does not meet a predetermined standard. It can be evaluated as
통신 모듈(270)Communication module (270)
통신 모듈(270)은 AI 프로세서(215)에 의한 AI 프로세싱 결과를 사용자 단말(300)로 전송할 수 있다. 또한, 도 1i에 도시된 컴퓨팅 장치(100)로도 전송할 수 있다.The communication module 270 may transmit the result of AI processing by the AI processor 215 to the user terminal 300. Additionally, it can also be transmitted to the computing device 100 shown in FIG. 1I.
사용자 단말(300)User terminal (300)
도 2f는 본 발명의 일 실시예에 따른 사용자 단말(300)을 설명하기 위한 블록도이다.Figure 2f is a block diagram for explaining the user terminal 300 according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 사용자 단말(300)은 컴퓨팅 장치(100)와의 정보 교환을 통해 사용자의 수면과 관련한 정보를 제공받을 수 있는 단말로, 사용자가 소지한 단말을 의미할 수 있다. 예컨대, 사용자 단말(300)은 자신의 수면 습관에 관련한 정보들을 통해 건강을 증진시키고자 하는 사용자와 관련한 단말일 수 있다. 사용자는 사용자 단말(300)을 통해 자신의 수면에 관련한 모니터링 정보를 획득할 수 있다. 수면에 관련한 모니터링 정보는 예컨대, 사용자가 잠에 든 시점, 잠을 잔 시간, 잠에서 깨어난 시점 등에 관련한 수면 상태 정보 또는, 수면 동안 수면 단계의 변화에 관련한 수면 단계 정보를 포함할 수 있다. 구체적인 예를 들어, 수면 단계 정보는, 사용자의 지난 밤 8시간 수면 동안 각 시점 별로 사용자의 수면이 얕은 수면, 보통 수면, 깊은 수면 또는 REM 수면 등으로 변화한 정보를 의미할 수 있다. 전술한 수면 단계 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.According to one embodiment of the present invention, the user terminal 300 is a terminal that can receive information related to the user's sleep through information exchange with the computing device 100, and may refer to a terminal owned by the user. For example, the user terminal 300 may be a terminal related to a user who wants to improve his or her health through information related to his or her sleeping habits. The user can obtain monitoring information related to his or her sleep through the user terminal 300. Monitoring information related to sleep may include, for example, sleep state information related to when the user fell asleep, time spent sleeping, or when the user woke up, or sleep stage information related to changes in sleep stage during sleep. For a specific example, sleep stage information may refer to information on changes in the user's sleep to light sleep, normal sleep, deep sleep, or REM sleep at each time point during the user's 8 hours of sleep last night. The detailed description of the above-described sleep stage information is only an example, and the present invention is not limited thereto.
상기 사용자 단말(300)은 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기(smartwatch), 글래스형 단말기(smart glass), HMD(head mounted display)) 등을 포함할 수 있다.The user terminal 300 may be a mobile phone, a smart phone, a laptop computer, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, a tablet PC, or an ultrabook. ), wearable devices (eg, a watch-type terminal (smartwatch), a glass-type terminal (smart glass), a head mounted display (HMD)), etc.
상기 사용자 단말(300)은 무선 통신부(310), 입력부(320), 센싱부(340), 출력부(350), 인터페이스부(360), 메모리(370), 제어부(380) 및 전원 공급부(390) 등을 포함할 수 있다. 도 2f에 도시된 구성요소들은 사용자 단말을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 사용자 단말은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.The user terminal 300 includes a wireless communication unit 310, an input unit 320, a sensing unit 340, an output unit 350, an interface unit 360, a memory 370, a control unit 380, and a power supply unit 390. ), etc. may be included. The components shown in FIG. 2F are not essential for implementing the user terminal, so the user terminal described herein may have more or fewer components than the components listed above.
무선 통신부(310)Wireless communication department (310)
무선 통신부(310)는, 사용자 단말(300)와 무선 통신 시스템 사이, 사용자 단말(300)와 컴퓨팅 장치(100), 또는 사용자 단말(300)과 외부 단말(200) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(310)는, 사용자 단말(300)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.The wireless communication unit 310 enables wireless communication between the user terminal 300 and the wireless communication system, the user terminal 300 and the computing device 100, or the user terminal 300 and the external terminal 200. It may contain one or more modules. Additionally, the wireless communication unit 310 may include one or more modules that connect the user terminal 300 to one or more networks.
이러한 무선 통신부(310)는, 방송 수신 모듈(311), 이동통신 모듈(312), 무선 인터넷 모듈(313), 근거리 통신 모듈(314), 위치정보 모듈(315) 중 적어도 하나를 포함할 수 있다.This wireless communication unit 310 may include at least one of a broadcast reception module 311, a mobile communication module 312, a wireless Internet module 313, a short-range communication module 314, and a location information module 315. .
입력부(320)Input unit (320)
입력부(320)는, 영상 신호 입력을 위한 카메라(321) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰, 또는 오디오 입력부, 사용자로부터 정보를 입력 받기 위한 사용자 입력부(323, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(320)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The input unit 320 includes a camera 321 or an image input unit for inputting an image signal, a microphone or an audio input unit for inputting an audio signal, and a user input unit 323 for receiving information from a user, for example, a touch key (touch key). key), pushkey (mechanical key, etc.). Voice data or image data collected by the input unit 320 may be analyzed and processed as a user's control command.
센싱부(340)Sensing unit (340)
센싱부(340)는 사용자 단말 내 정보, 사용자 단말을 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(340)는 근접센서(341, proximity sensor), 조도 센서(342, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(321 참조)), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 사용자 단말은, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.The sensing unit 340 may include one or more sensors for sensing at least one of information within the user terminal, information on the surrounding environment surrounding the user terminal, and user information. For example, the sensing unit 340 includes a proximity sensor (341), an illumination sensor (342), a touch sensor, an acceleration sensor, a magnetic sensor, and a gravity sensor. Sensor (G-sensor), gyroscope sensor, motion sensor, RGB sensor, IR sensor (infrared sensor), fingerprint scan sensor, ultrasonic sensor , optical sensors (e.g., cameras (see 321)), battery gauges, environmental sensors (e.g., barometers, hygrometers, thermometers, radiation detection sensors, heat detection sensors, gas detection sensors, etc. ), and a chemical sensor (e.g., electronic nose, healthcare sensor, biometric sensor, etc.). Meanwhile, the user terminal disclosed in this specification can utilize information sensed by at least two of these sensors by combining them.
출력부(350)Output unit (350)
출력부(350)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(351), 음향출력부(352), 햅틱 모듈(353), 광 출력부(354) 중 적어도 하나를 포함할 수 있다.The output unit 350 is for generating output related to vision, hearing, or tactile sensation, and includes at least one of a display unit 351, an audio output unit 352, a haptic module 353, and an optical output unit 354. can do.
디스플레이부(351)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 사용자 단말(300)와 사용자(U) 사이의 입력 인터페이스를 제공하는 사용자 입력부(323)로써 기능함과 동시에, 사용자 단말(300)와 사용자(U) 사이의 출력 인터페이스를 제공할 수 있다.The display unit 351 can implement a touch screen by forming a layered structure or being integrated with the touch sensor. This touch screen functions as a user input unit 323 that provides an input interface between the user terminal 300 and the user (U), and simultaneously provides an output interface between the user terminal 300 and the user (U). You can.
인터페이스부(360)Interface unit (360)
인터페이스부(360)는 사용자 단말(300)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(360)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 사용자 단말(300)에서는, 상기 인터페이스부(360)에 외부 기기(예를 들어, 컴퓨팅 장치(100))가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절한 제어를 수행할 수 있다.The interface unit 360 serves as a passageway for various types of external devices connected to the user terminal 300. This interface unit 360 connects devices equipped with a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port. In response to an external device (eg, computing device 100) being connected to the interface unit 360, the user terminal 300 may perform appropriate control related to the connected external device.
메모리(370)Memory(370)
메모리(370)는 사용자 단말(300)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(370)는 사용자 단말(300)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 사용자 단말(300)의 동작을 위한 데이터들, 명령어들, 또는 인스트럭션을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 사용자 단말(300)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 사용자 단말(300)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(370)에 저장되고, 사용자 단말(300) 상에 설치되어, 제어부(380)에 의하여 상기 사용자 단말의 동작(또는 기능)을 수행하도록 구동될 수 있다.The memory 370 stores data supporting various functions of the user terminal 300. The memory 370 may store a plurality of application programs (application programs or applications) running on the user terminal 300, data for operating the user terminal 300, commands, or instructions. At least some of these applications may be downloaded from an external server through wireless communication. Additionally, at least some of these applications may be present on the user terminal 300 from the time of shipment for the basic functions of the user terminal 300 (e.g., incoming and outgoing calls, receiving and sending functions). Meanwhile, the application program may be stored in the memory 370, installed on the user terminal 300, and driven by the control unit 380 to perform an operation (or function) of the user terminal.
메모리(370)는 제어부(380)의 동작에 대한 인스트럭션들을 저장할 수 있다.The memory 370 may store instructions for the operation of the control unit 380.
제어부(380)Control unit (380)
제어부(380)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 사용자 단말(300)의 전반적인 동작을 제어한다. 제어부(380)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(370)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to operations related to the application program, the control unit 380 typically controls the overall operation of the user terminal 300. The control unit 380 can provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the components discussed above, or by running an application program stored in the memory 370.
제어부(380)는 메모리(370)에 저장된 응용 프로그램을 구동하기 위하여, 도 2f와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(380)는 상기 응용 프로그램의 구동을 위하여, 사용자 단말(300)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.The control unit 380 may control at least some of the components examined with FIG. 2F in order to run the application program stored in the memory 370. Furthermore, the control unit 380 may operate at least two of the components included in the user terminal 300 in combination with each other in order to run the application program.
전원공급부(390)Power supply unit (390)
전원공급부(390)는 제어부(380)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 사용자 단말(300)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(390)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.The power supply unit 390 receives external power and internal power under the control of the control unit 380 and supplies power to each component included in the user terminal 300. This power supply unit 390 includes a battery, and the battery may be a built-in battery or a replaceable battery.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 사용자 단말의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 사용자 단말의 동작, 제어, 또는 제어방법은 상기 메모리(370)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 사용자 단말 상에서 구현될 수 있다.At least some of the above components may cooperate with each other to implement the operation, control, or control method of the user terminal according to various embodiments described below. Additionally, the operation, control, or control method of the user terminal may be implemented on the user terminal by running at least one application program stored in the memory 370.
환경 조성 장치(30)Environment creation device (30)
본 발명의 일 실시예에 따르면, 환경 조성 장치(30)는 사용자의 수면 환경을 조정할 수 있다. 구체적으로, 환경 조성 장치(30)는 하나 이상의 환경 조성 모듈을 포함할 수 있으며, 컴퓨팅 장치(100)로부터 수신한 환경 조성 정보에 기초하여 사용자가 위치한 공간의 공기질, 조도, 온도, 풍향, 습도 및 음향 중 적어도 하나에 관련한 환경 조성 모듈을 동작시킴으로써, 사용자의 수면 환경을 조정할 수 있다. According to one embodiment of the present invention, the environment creation device 30 can adjust the user's sleeping environment. Specifically, the environment creation device 30 may include one or more environment creation modules, and may include air quality, illuminance, temperature, wind direction, humidity, and By operating an environment creation module related to at least one of the sounds, the user's sleeping environment can be adjusted.
환경 조성 장치(30)는 공기질을 제어할 수 있는 공기청정기, 광량(조도)을 제어할 수 있는 조명장치, 온도를 제어할 수 있는 냉/난방기, 습도를 제어할 수 있는 가습기/제습기, 음향을 제어할 수 있는 오디오/스피커 등으로 구현될 수 있다.The environment creation device 30 includes an air purifier capable of controlling air quality, a lighting device capable of controlling the amount of light (illuminance), an air conditioner capable of controlling temperature, a humidifier/dehumidifier capable of controlling humidity, and sound It can be implemented with controllable audio/speakers, etc.
도 8은 본 발명의 일 실시예와 관련된 수면 상태 정보에 따른 수면 환경 조성 방법을 제공하기 위한 예시적인 순서도를 도시한다.Figure 8 shows an exemplary flowchart for providing a method of creating a sleep environment according to sleep state information related to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 상기 방법은, 사용자의 수면 상태 정보를 획득하는 단계(S1000)를 포함할 수 있다.According to one embodiment of the present invention, the method may include acquiring sleep state information of the user (S1000).
본 발명의 일 실시예에 따르면, 상기 방법은, 수면 상태 정보에 기초하여 환경 조성 정보를 생성하는 단계(S2000)를 포함할 수 있다.According to an embodiment of the present invention, the method may include generating environment composition information based on sleep state information (S2000).
본 발명의 일 실시예에 따르면, 상기 방법은, 환경 조성 정보를 환경 조성 장치(30)로 전송하는 단계(S3000)를 포함할 수 있다.According to one embodiment of the present invention, the method may include transmitting environment creation information to the environment creation device 30 (S3000).
전술한 도 8에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.The order of the steps shown in FIG. 8 described above may be changed as needed, and at least one step may be omitted or added. That is, the above-described steps are only one embodiment of the present invention, and the scope of the present invention is not limited thereto.
환경 조성 정보Environmental Creation Information
본 발명의 일 실시예에 따르면, 프로세서(110)는 수면 상태 정보 및/또는 수면 단계 정보에 기초하여 환경 조성 정보를 생성할 수 있다. 수면 상태 정보는, 사용자가 수면을 취하는지 여부에 관련한 정보로, 사용자가 수면 전이라는 제1수면 상태 정보, 사용자가 수면 중이라는 제2수면 상태 정보 및 사용자가 수면 후라는 제3 수면 상태 정보 중 적어도 하나를 포함할 수 있다.According to one embodiment of the present invention, the processor 110 may generate environment composition information based on sleep state information and/or sleep stage information. Sleep state information is information related to whether the user is sleeping, and includes first sleep state information that the user is before sleep, second sleep state information that the user is sleeping, and third sleep state information that the user is after sleep. It can contain at least one.
보다 자세히 설명하면, 프로세서(110)는 제1수면 상태 정보에 기초하여 제1환경 조성 정보를 생성할 수 있다. 구체적으로, 프로세서(110)는 사용자가 수면 전이라는 제1수면 상태 정보를 획득한 경우, 해당 제1수면 상태 정보에 기초하여 제1환경 조성 정보를 생성할 수 있다.In more detail, the processor 110 may generate first environment composition information based on the first sleep state information. Specifically, when the user obtains first sleep state information indicating that the user is before sleep, the processor 110 may generate first environment creation information based on the first sleep state information.
실시예에 따르면, 제1환경 조성 정보는, 자연스럽게 수면에 들도록 유도하는 광의 세기 및 조도에 관한 정보일 수 있다. 구체적으로, 제1환경 조성 정보는, 수면 유도 시점을 기준으로 상기 제2수면 상태 정보가 획득되는 시점까지 3000K의 백색광을 30 lux의 조도로 공급하도록 하는 제어 정보일 수 있다.According to an embodiment, the first environment composition information may be information about the intensity and illuminance of light that naturally induces sleep. Specifically, the first environment creation information may be control information that supplies 3000K white light at an illumination intensity of 30 lux from the time of sleep induction until the time the second sleep state information is acquired.
실시예에 따르면, 수면 유도 시점은, 프로세서(110)에 의해 결정될 수 있다. 구체적으로, 프로세서(110)는 사용자의 사용자 단말(300)과의 정보 교환을 통해 수면 유도 시점을 결정할 수 있다. 구체적인 예를 들어, 사용자는 자신이 수면하고자 하는 시점을 사용자 단말(300)을 통해 설정하여 프로세서(110)로 전달할 수 있다. 프로세서(110)는 사용자 단말(300)로부터 사용자가 수면을 취하고자 하는 시점에 기초하여 수면 유도 시점을 결정할 수 있다. 예를 들어, 프로세서(110)는 사용자가 수면을 취하고자 하는 시점을 기준으로 20분 전 시점을 수면 유도 시점으로 결정할 수 있다. 구체적인 예를 들어, 사용자가 설정한 수면을 취하고자 하는 시점이 11시인 경우, 프로세서(110)는 10시 40분을 수면 유도 시점으로 결정할 수 있다. 전술한 시점에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.According to the embodiment, the time to induce sleep may be determined by the processor 110. Specifically, the processor 110 may determine the time to induce sleep through information exchange with the user's user terminal 300. For a specific example, the user may set the time at which he or she wants to sleep through the user terminal 300 and transmit the time to the processor 110. The processor 110 may determine the time to induce sleep based on the time when the user wants to sleep from the user terminal 300. For example, the processor 110 may determine a point in time 20 minutes prior to when the user wants to sleep as the time to induce sleep. For a specific example, if the time at which the user wants to sleep is 11:00, the processor 110 may determine 10:40 as the time to induce sleep. The specific numerical description of the above-mentioned time points is only an example, and the present invention is not limited thereto.
또한 실시예에 따르면, 프로세서(110)는 환경 센싱 정보에 기초하여 사용자의 수면 의도 정보를 획득하고, 수면 의도 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 수면 의도 정보는, 사용자가 수면을 취할 의도를 정량적인 수치로 나타낸 정보일 수 있다. 예컨대, 사용자의 수면 의도가 높을수록 10에 가까운 수면 의도 정보가 산출되며, 수면 의도가 낮을수록 0에 가까운 수면 의도 정보가 산출될 수 있다. 전술한 수면 의도 정보에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.Additionally, according to an embodiment, the processor 110 may obtain the user's sleep intention information based on environmental sensing information and determine the time to induce sleep based on the sleep intention information. Sleep intention information may be information that represents the user's intention to sleep in quantitative numbers. For example, as the user's sleep intention is higher, sleep intention information closer to 10 may be calculated, and as the sleep intention is lower, sleep intention information closer to 0 may be calculated. The detailed numerical description of the above-described sleep intention information is only an example, and the present invention is not limited thereto.
환경 조성 정보는, 사용자의 수면 상태 정보 판정에 기초하여 컴퓨팅 장치(100)로부터 생성된 신호일 수 있다. 예를 들어, 환경 조성 정보는, 조도를 낮추거나 또는 높이는 등에 관한 정보를 포함할 수 있다. 환경 조성 장치(30)가 조명장치인 경우, 환경 조성 정보는, 기상이 예측되는 시점으로부터 30분 전부터 3000K의 백색광을 0 lux 에서 250 lux조도로 점진적으로 증가시키도록 하는 제어 정보를 포함할 수 있다. 또한, 환경 조성 장치(30)가 공기청정기인 경우, 환경 조성 정보는 사용자의 실시간 수면상태에 기초하여 미세먼지(미세먼지, 초미세먼지, 극초미세먼지) 제거, 유해가스 제거, 알러지 케어 구동, 탈취/제균 구동, 제습/가습 조절, 송풍 강도 조절, 공기청정기 구동소음 조절, LED 점등, 스모그원인물질(SO2, NO2) 관리, 생활냄새 제거 등과 관련한 다양한 정보 등을 포함할 수 있다. The environmental composition information may be a signal generated by the computing device 100 based on determination of the user's sleep state information. For example, environment creation information may include information about lowering or increasing illumination, etc. If the environment creation device 30 is a lighting device, the environment creation information may include control information to gradually increase the illuminance of 3000K white light from 0 lux to 250 lux starting 30 minutes before the weather is predicted. . In addition, when the environment creation device 30 is an air purifier, the environment creation information is based on the user's real-time sleep state to remove fine dust (fine dust, ultrafine dust, ultrafine dust), remove harmful gases, drive allergy care, It can include various information related to deodorization/sterilization operation, dehumidification/humidification control, ventilation intensity control, air purifier operation noise control, LED lighting, management of smog-causing substances (SO2, NO2), removal of household odors, etc.
추가적인 예를 들어, 환경 조성 정보는 온도, 습도, 풍향 또는 음향 중 적어도 하나를 조정하기 위한 제어 정보를 포함할 수 있다. 전술한 환경 조성 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.As a further example, the environmental composition information may include control information for adjusting at least one of temperature, humidity, wind direction, or sound. The detailed description of the above-described environmental composition information is only an example, and the present invention is not limited thereto.
환경 조성 장치(30)에 포함된 하나 이상의 환경 조성 모듈은 예를 들어, 조도 제어 모듈, 온도 제어 모듈, 풍향 제어 모듈, 습도 제어 모듈 및 음향 제어 모듈 중 적어도 하나를 포함할 수 있다. 다만, 이에 제한되는 것은 아니고, 하나 이상의 환경 조성 모듈은 사용자의 수면 환경에 변화를 가져올 수 있는 다양한 환경 조성 모듈들을 더 포함할 수 있다. 즉, 환경 조성 장치(30)는 컴퓨팅 장치(100)의 환경 제어 신호에 기초하여 하나 이상의 환경 조성 모듈을 구동시킴으로써, 사용자의 수면 환경을 조정할 수 있다.One or more environment creation modules included in the environment creation device 30 may include, for example, at least one of an illumination control module, a temperature control module, a wind direction control module, a humidity control module, and a sound control module. However, it is not limited thereto, and the one or more environment creation modules may further include various environment creation modules that can bring about changes in the user's sleeping environment. That is, the environment creation device 30 may adjust the user's sleeping environment by operating one or more environment creation modules based on the environment control signal of the computing device 100.
수면 상태에 따른 환경 조성 정보 결정Determination of environmental composition information according to sleep state
수면 유도 시점Timing of inducing sleep
실시예에 따르면, 프로세서(110)는 수면 의도 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 구체적으로, 프로세서(110)는 수면 의도 정보가 미리 정해진 임계 점수를 초과하는 시점을 수면 유도 시점으로 식별할 수 있다. 즉, 프로세서(110)는 높은 수면 의도 정보가 획득되는 경우, 이를 수면 유도에 적절한 시점 즉, 수면 유도 시점으로 식별할 수 있다.According to an embodiment, the processor 110 may determine the time to induce sleep based on sleep intention information. Specifically, the processor 110 may identify the time when sleep intention information exceeds a predetermined threshold score as the sleep induction time. That is, when high sleep intention information is obtained, the processor 110 may identify this as a time appropriate for sleep induction, that is, a sleep induction time.
전술한 바와 같이, 프로세서(110)는 사용자의 수면 유도 시점을 결정할 수 있다. 이에 따라, 프로세서(110)는 사용자가 수면 전이라는 제1수면 상태 정보를 획득하는 경우, 수면 유도 시점을 기준으로 제2수면 상태 정보가 획득되는 시점까지 광을 조정하도록 하는 제1환경 조성 정보(3000K의 백색광을 30 lux의 조도로 공급)를 생성할 수 있다.As described above, the processor 110 may determine the timing of inducing the user to sleep. Accordingly, when the user acquires the first sleep state information before sleep, the processor 110 provides first environment creation information ( It can generate 3000K white light at an illuminance of 30 lux.
취침 전 상태State before bed
즉, 프로세서(110)는 사용자의 상태가 취침 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지 광을 조정하도록 하는 제1환경 조성 정보를 생성할 수 있으며, 해당 제1환경 조성 정보를 환경 조성 장치(30)로 전송할 것을 결정할 수 있다. 이에 따라, 사용자가 잠들기 20분(예컨대, 수면 유도 시점) 전부터 잠에 드는 순간까지 3000K의 백색광이 30 lux의 조도로 공급될 수 있다. 이는 사용자가 잠들기 전 멜라토닌 분비에 탁월한 광이며, 하여금 자연스럽게 수면에 들도록 유도하는 것으로, 사용자의 수면 효율을 향상시킬 수 있다.That is, when the user's state is before bedtime, the processor 110 operates from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e., when the second sleep state information is obtained). It is possible to generate first environment creation information to adjust the light up to the point in time), and it can be decided to transmit the first environment creation information to the environment creation device 30. Accordingly, 3000K white light can be supplied at an illumination intensity of 30 lux from 20 minutes before the user falls asleep (eg, the time of inducing sleep) until the moment the user falls asleep. This is an excellent light for secreting melatonin before the user falls asleep, and can improve the user's sleep efficiency by encouraging the user to fall asleep naturally.
또한, 프로세서(110)는 사용자의 상태가 취침 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지, 공기청정기를 제어하기 위한 제1환경 조성 정보를 생성할 수 있다. 구체적으로, 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거하도록 공기청정기를 제어하는 제1환경 조성 정보를 생성할 수 있다. 그리고, 제1환경 조성 정보는 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 공기청정기를 제어하거나, 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추는 등의 정보를 포함할 수 있다. 이와 함께, 제1환경 조성 정보는 수면공간 내의 온도 및 습도 정보에 기초하여 제습/가습을 실행하도록 공기청정기를 제어하기 위한 정보를 포함할 수 있다. 또한, 제1환경 조성 정보는 공기청정기의 가동 히스토리와 획득되는 수면 상태(수면의 질)에 따라서 개인맞춤형 송풍 세기와 소음을 조절하도록 하는 제어 정보를 포함할 수 있다. In addition, when the user's state is before bedtime, the processor 110 operates from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e., when the second sleep state information is obtained). point), the first environment composition information for controlling the air purifier can be generated. Specifically, first environment composition information that controls the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before the user's sleep) may be generated. In addition, the first environment creation information is such as controlling the air purifier to generate noise (white noise) at a level that can induce sleep just before sleep, adjusting the blower intensity below the preset intensity, or lowering the intensity of the LED. May contain information. In addition, the first environment creation information may include information for controlling the air purifier to perform dehumidification/humidification based on temperature and humidity information in the sleeping space. Additionally, the first environment creation information may include control information to adjust personalized blowing intensity and noise according to the operation history of the air purifier and the acquired sleep state (quality of sleep).
제2 수면 상태second sleep state
본 발명의 일 실시예에 따르면, 프로세서(110)는 제2수면 상태 정보에 기초하여 제2환경 조성 정보를 생성할 수 있다. 제2환경 조성 정보는, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 하는 제어 정보일 수 있다. 예컨대, 수면 중 빛의 간섭이 있을 경우, 파편적으로 잠을 잘 확률이 높아져 좋은 숙면을 취하기 어려울 수 있다.According to one embodiment of the present invention, the processor 110 may generate second environment composition information based on second sleep state information. The second environment creation information may be control information that minimizes the illuminance to create a dark room environment without light. For example, if there is interference from light during sleep, the likelihood of sleeping fragmented increases, making it difficult to get a good night's sleep.
또한, 프로세서(110)는 제2수면 상태 정보에 기초하여 공기청정기의 LED를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기청정기를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하도록 공기청정기를 제어하기 위한 제2환경 조성 정보를 생성할 수 있다. In addition, the processor 110 turns off the LED of the air purifier based on the second sleep state information, operates the air purifier with noise below a preset level, adjusts the blowing intensity to below the preset intensity, or blows the air purifier. Second environment composition information can be generated to control the air purifier to set the temperature within a preset range or maintain the humidity in the sleeping space at a predetermined temperature.
제2환경 조성 정보는 수면 단계에 따라, 깊은 수면(deep sleep)을 취하고 있는 경우 잠에서 깰 염려가 적기 때문에, 공기의 질을 향상시키도록 송풍 세기를 높이기 위한 제어 정보를 포함할 수 있다.The second environment creation information may include control information for increasing the blowing intensity to improve air quality because, depending on the sleep stage, there is less concern about waking up when in deep sleep.
즉, 프로세서(110)는 사용자가 수면(또는 수면 단계)에 진입하였음을 감지하는 경우(제2수면 상태 정보를 획득하는 경우), 광이 공급되지 않도록 하거나 공기청정기의 동작을 최소화하는 제어 정보 즉, 제2환경 조성 정보를 생성할 수 있다. 이에 따라, 사용자가 깊은 잠을 잘 확률이 높아져 수면의 질이 향상될 수 있다.That is, when the processor 110 detects that the user has entered sleep (or a sleep stage) (when obtaining second sleep state information), the processor 110 provides control information to prevent light from being supplied or minimize the operation of the air purifier, i.e. , second environment creation information can be generated. Accordingly, the user's probability of having a deep sleep increases and the quality of sleep can be improved.
기상 유도 시점When to wake up
본 발명의 일 실시예에 따르면, 프로세서(110)는 기상 유도 시점에 기초하여 제3환경 조성 정보를 생성할 수 있다. 제3환경 조성 정보는, 기상 유도 시점으로부터 기상 시점까지 3000K의 백색광을 0 lux에서 250 lux조도로 점진적으로 증가시켜 공급하도록 하는 제어 정보인 것을 특징으로 할 수 있다. 예를 들어, 제3환경 조성 정보는 사용자의 기상 전 30분 전(즉, 기상 유도 시점)부터 조도를 서서히 올리는 것에 관련한 제어 정보일 수 있다. 여기서, 기상 유도 시점은, 기상 예측 시점에 기초하여 결정되는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the processor 110 may generate third environment composition information based on the wake-up induction point. The third environment creation information may be characterized as control information to supply 3000K white light by gradually increasing the illuminance from 0 lux to 250 lux from the time of inducing wake-up to the time of waking up. For example, the third environment creation information may be control information related to gradually increasing the illumination intensity starting 30 minutes before the user wakes up (i.e., the time of inducing the user to wake up). Here, the weather induction time may be determined based on the weather prediction time.
일 실시예에서, 기상 유도 시점은, 기상 예측 시점에 기초하여 결정되는 것을 특징으로 할 수 있다. 기상 예측 시점은, 사용자가 기상할 것으로 예상되는 시점에 관한 정보일 수 있다. 예컨대, 기상 예측 시점은, 제1사용자에게는 7시일 수 있다. 전술한 기상 예측 시점에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.In one embodiment, the weather induction time may be determined based on the weather prediction time. The weather prediction time may be information about the time when the user is expected to wake up. For example, the weather forecast time may be 7 o'clock for the first user. The detailed description of the above-mentioned weather forecast timing is only an example, and the present invention is not limited thereto.
제3환경 조성 정보는 기상 시점에 송풍 세기 및 소음을 낮춰 기상을 유도하도록 공기청정기를 제어하기 위한 정보를 포함할 수 있다. 또한, 제3환경 조성 정보는 기상을 서서히 유도하기 위해 백색 소음을 발생시킬 수 있도록 공기청정기를 제어하기 위한 제어 정보를 포함할 수 있다. 제3환경 조성 정보는 기상 이후 공기청정기의 소음을 기설정된 레벨 이하로 유지하도록 공기청정기를 제어하기 위한 제어 정보를 포함할 수 있다. 또한, 제3환경 조성 정보는 기상 예측 시점, 기상 추천 시점에 연동하여 공기청정기를 제어하기 위한 제어 정보를 포함할 수 있다. 기상 추천 시점은 사용자의 수면 패턴에 따라 자동적으로 추출된 시점일 수 있으며, 기상 예측 시점은 아래에서 설명하는 바와 같다.The third environment creation information may include information for controlling the air purifier to induce waking up by lowering the blowing intensity and noise at the time of waking up. Additionally, the third environment creation information may include control information for controlling the air purifier to generate white noise to gradually induce waking up. The third environment creation information may include control information for controlling the air purifier to maintain the noise of the air purifier below a preset level after waking up. Additionally, the third environment creation information may include control information for controlling the air purifier in conjunction with the weather prediction time and weather recommendation time. The recommended wake-up time may be a time automatically extracted according to the user's sleep pattern, and the predicted wake-up time is as described below.
기상 예측 시점의 판단Judgment of weather forecast timing
일 실시예에서, 기상 예측 시점은 사용자의 사용자 단말(300)과의 정보 교환을 통해 사전 결정되는 것을 특징으로 할 수 있다. 구체적인 예를 들어, 사용자는 자신이 기상하고자 하는 시점을 사용자 단말(300)을 통해 설정하여 프로세서(110)로 전달할 수 있다. 즉, 프로세서(110)는 사용자 단말(300)의 사용자가 설정한 시점에 기초하여 기상 예측 시점을 획득할 수 있다. 예를 들어, 프로세서(110)는 사용자가 사용자 단말(300)을 통해 알람시간을 설정한 경우, 설정한 알람시간을 기상 예측 시점으로 판단할 수 있다.In one embodiment, the weather prediction time may be determined in advance through information exchange with the user's user terminal 300. For a specific example, the user may set the time at which he or she wishes to wake up and transmit the time to the processor 110 through the user terminal 300 . That is, the processor 110 may obtain the weather prediction time based on the time set by the user of the user terminal 300. For example, when the user sets an alarm time through the user terminal 300, the processor 110 may determine the set alarm time as the weather prediction time.
다른 실시예에서, 기상 예측 시점은, 제2수면 상태 정보를 통해 식별된 수면 인입 시점에 기초하여 결정되는 것을 특징으로 할 수 있다. 구체적으로, 프로세서(110)는 사용자가 수면 중이라는 제2수면 상태 정보를 통해 사용자의 수면 인입 시점을 파악할 수 있다. 프로세서(110)는 제2수면 상태 정보를 통해 파악할 수면 인입 시점에 기초하여 기상 예측 시점을 결정할 수 있다. 예를 들어, 프로세서(110)는 수면 인입 시점을 기준으로 적정 수면 시간인 8시간 이후 시점을 기상예측 시점으로 결정할 수 있다. 구체적인 예를 들어, 수면 인입 시점이 11시인 경우, 프로세서(110)는 기상 예측 시점을 7시로 결정할 수 있다. 전술한 각 시점에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다. 즉, 프로세서(110)는 사용자가 수면에 잠든 시점에 기초하여 기상 예측 시점을 결정할 수 있다.In another embodiment, the wake-up prediction time may be determined based on the sleep entry time identified through the second sleep state information. Specifically, the processor 110 may determine the time at which the user enters sleep through second sleep state information indicating that the user is sleeping. The processor 110 may determine the wake-up prediction time based on the sleep entry time to be determined through the second sleep state information. For example, the processor 110 may determine the time point after 8 hours, which is the appropriate sleep time, as the weather prediction time point, based on the time of entering sleep. For a specific example, if the sleep onset time is 11 o'clock, the processor 110 may determine the wake-up prediction time to be 7 o'clock. The specific numerical description for each time point described above is only an example, and the present invention is not limited thereto. That is, the processor 110 may determine the wake-up prediction time based on the time when the user falls asleep.
또 다른 실시예에서, 기상 추천 시점은, 사용자의 수면 단계 정보에 기초하여 결정되는 것을 특징으로 할 수 있다. 예컨대, 사용자는 REM 단계에서 기상하는 경우 개운하게 일어날 가능성이 높다. 하루밤 수면 동안, 사용자는 경도 수면(light), 깊은 수면(deep), 경도 수면, REM 수면 순으로 수면 사이클을 가질 수 있으며, REM 수면 단계에서 기상했을 때 개운하게 기상할 수 있다. 바람직하게는, 사용자의 적정 또는 희망 수면 시간을 고려하여, 적정 또는 희망 수면 시간을 최소한 만족하면서, 수면 추천 시점을 결정할 수 있다.In another embodiment, the recommended wake-up time may be determined based on the user's sleep stage information. For example, if a user wakes up in the REM stage, there is a high possibility that he or she will wake up feeling refreshed. During one night's sleep, the user can have sleep cycles in the order of light sleep, deep sleep, light sleep, and REM sleep, and can wake up refreshed when waking up in the REM sleep stage. Preferably, in consideration of the user's appropriate or desired sleep time, the sleep recommendation timing can be determined while at least satisfying the appropriate or desired sleep time.
이에 따라, 프로세서(110)는 사용자의 수면 단계에 관련한 수면 단계 정보를 통해 사용자의 기상 예측 시점을 결정할 수 있다. 구체적인 예를 들어, 프로세서(110)는 수면 단계 정보를 통해 사용자가 REM 단계에서 다른 수면 단계로 변화하는 시점(바람직하게는, REM 단계에서 다른 수면 단계로 천이하기 직전 시점)을 기상 추천 시점으로 결정할 수 있다. 즉, 프로세서(110)는 사용자가 가장 개운하게 기상할 수 있는 수면 단계 정보(즉, REM 수면 단계)에 기초하여 기상 예측 시점을 결정할 수 있다.Accordingly, the processor 110 may determine the predicted wake-up time of the user through sleep stage information related to the user's sleep stage. As a specific example, the processor 110 determines the time when the user changes from the REM stage to another sleep stage (preferably, the time immediately before transitioning from the REM stage to another sleep stage) as the recommended wake-up time through sleep stage information. You can. That is, the processor 110 may determine the predicted wake-up time based on information on the sleep stage in which the user can wake up most refreshed (i.e., REM sleep stage).
전술한 바와 같이, 프로세서(110)는 사용자 설정, 수면 인입 시점 및 수면 단계 정보 중 적어도 하나에 기초하여 사용자의 기상 예측 시점을 결정할 수 있다. 또한, 프로세서(110)는 사용자가 기상하고자 하는 시점인 기상 예측 시점을 결정한 경우, 해당 기상 예측 시점에 기초하여 기상 유도 시점을 결정할 수 있다. 예를 들어, 프로세서(110)는 사용자가 기상하고자 하는 시점을 기준으로 30분 전 시점을 기상 유도 시점으로 결정할 수 있다. 구체적인 예를 들어, 사용자가 설정한 기상하고자 하는 시점(즉, 기상 예측 시점)이 7시인 경우, 프로세서(110)는 6시 30분을 기상 유도 시점으로 결정할 수 있다. 전술한 시점에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.As described above, the processor 110 may determine the predicted wake-up time of the user based on at least one of user settings, sleep entry time, and sleep stage information. Additionally, when the processor 110 determines the weather prediction time, which is the time when the user wants to wake up, the processor 110 may determine the wake-up induction time based on the corresponding weather prediction time. For example, the processor 110 may determine a point in time 30 minutes prior to the time the user wants to wake up as the time to induce wake-up. For a specific example, if the time at which the user wants to wake up (i.e., predicted weather time) is 7:00, the processor 110 may determine 6:30 as the wake-up time. The specific description of the above-mentioned time points is only an example, and the present invention is not limited thereto.
즉, 프로세서(110)는 사용자의 기상이 예측되는 기상 예측 시점을 파악하여 기상 유도 시점을 결정하고, 기상 유도 시점으로부터 기상 시점(예컨대, 사용자가 실제 기상할 때까지) 3000K의 백색광을 0 lux에서 250 lux조도로 점진적으로 증가시켜 공급하도록 하는 제3환경 조성 정보를 생성할 수 있다. 프로세서(110)는 해당 제3환경 조성 정보를 환경 조성 장치(30) 전송할 것을 결정할 수 있으며, 이에 따라, 환경 조성 장치(30)는 제3환경 조성 정보에 기반하여 사용자가 위치한 공간에서 광에 관련한 조정 동작을 수행할 수 있다. 예컨대, 환경 조성 장치(30)는 광 공급 모듈이 기상 30분 전부터 3000K의 백색광을 0 lux에서 250 lux조도 점진적으로 증가시키도록 제어할 수 있다.That is, the processor 110 determines the wake-up induction time by determining the weather forecast time at which the user's wake-up is predicted, and emits 3000K white light at 0 lux from the wake-up induction time to the wake-up time (e.g., until the user actually wakes up). Information on creating a third environment can be generated to gradually increase the illuminance to 250 lux. The processor 110 may decide to transmit the corresponding third environment creation information to the environment creation device 30, and accordingly, the environment creation device 30 may determine light-related information in the space where the user is located based on the third environment creation information. Adjustment operations can be performed. For example, the environment creation device 30 can control the light supply module to gradually increase the illuminance of 3000K white light from 0 lux to 250 lux starting 30 minutes before waking up.
제4 환경 조성 정보Fourth environment creation information
본 발명의 일 실시예에 따르면, 프로세서(110)는 제3수면 상태 정보에 기초하여 제4환경 조성 정보를 획득할 수 있다. 구체적으로, 프로세서(110)는 사용자의 수면 질병 정보를 획득할 수 있다. 일 실시예에서, 수면 질병 정보는, 수면 위상 지연 증후군을 포함할 수 있다. 수면 위상 지연 증후군이란, 원하는 시간에 잠들지 못하고, 이상적인 수면 시간대가 뒤로 밀리는 수면 장애 증상일 수 있다. 실시예에 따르면, 청색광 치료(blue-light therapy)는 수면 위상 지연 증후군의 치료 방법 중 하나로, 사용자가 희망 기상 시간에 일어난 후 약 30분 정도 청색광을 공급하는 치료일 수 있다. 이러한 청색광 공급을 매일 아침 반복하는 경우, 일주기 리듬(circadian rhythm)을 원상태로 되돌려주어 정상인에 비해 더 늦은 밤시간에 잠이 오게 되는 것이 예방될 수 있다.According to an embodiment of the present invention, the processor 110 may obtain fourth environment creation information based on third sleep state information. Specifically, the processor 110 may obtain the user's sleep disease information. In one embodiment, sleep disorder information may include delayed sleep phase syndrome. Delayed sleep phase syndrome can be a symptom of a sleep disorder in which one is unable to fall asleep at the desired time and the ideal sleep time is pushed back. According to an embodiment, blue-light therapy is one of the treatment methods for delayed sleep phase syndrome, and may be a treatment that supplies blue light for about 30 minutes after the user wakes up at the desired wake-up time. If this supply of blue light is repeated every morning, the circadian rhythm can be restored to its original state, preventing people from falling asleep later at night than normal people.
이에 따라, 프로세서(110)는 수면 질병 정보 및 제3수면 상태 정보에 기초하여 제4환경 조성 정보를 생성할 수 있다. 예를 들어, 사용자 단말(300)을 통해 사용자가 수면 위상 지연 증후군에 해당한다는 수면 질병 정보 및 사용자가 수면 후(즉, 기상)라는 제3수면 상태 정보를 획득하는 경우, 프로세서(110)는 제4환경 조성 정보를 생성할 수 있다. 이 경우, 제4환경 조성 정보는, 기상 시점으로부터 기 설정된 시간 동안 300 lux의 조도, 221도의 색상도, 100% 채도, 56% 밝기의 청색광을 공급하도록 하는 제어 정보일 수 있다. Accordingly, the processor 110 may generate the fourth environment creation information based on the sleep disease information and the third sleep state information. For example, when the sleep disease information that the user corresponds to delayed sleep phase syndrome and the third sleep state information that the user is post-sleep (i.e., waking up) are obtained through the user terminal 300, the processor 110 4Environmental composition information can be generated. In this case, the fourth environment creation information may be control information to supply blue light with an illumination intensity of 300 lux, a hue of 221 degrees, a saturation of 100%, and a brightness of 56% for a preset time from the time of waking up.
일 실시예에서, 300 lux의 조도, 221도의 색상도, 100% 채도, 56% 밝기의 청색광은 수면 위상 지연 증후군을 치료하기 위한 청색광을 의미할 수 있다. 구체적인 예를 들어, 수면 위상 지연 증후군을 가진 사용자가 7시에 기상하는 경우, 프로세서(110)는 제3수면 상태 정보에 기초하여 기상 시점을 7시로 파악하고, 해당 기상 시점인 7시부터 기 설정된 시점(예컨대, 7시 30분)까지 300 lux의 조도, 221도의 색상도, 100% 채도, 56% 밝기의 청색광을 공급하도록 하는 제4환경 조성 정보를 생성할 수 있다. 이에 따라, 사용자의 일주기 리듬이 정상인 범위(예컨대, 밤 12즈음에 잠이 들고, 아침 7시 즈음 기상하도록)로 조정될 수 있다. 즉, 제4환경 조성 정보 생성을 통해 특정 수면 질환을 가진 사용자의 수면의 질이 향상될 수 있다.In one embodiment, blue light with an illuminance of 300 lux, a hue of 221 degrees, 100% saturation, and 56% brightness may refer to blue light for treating delayed sleep phase syndrome. For example, when a user with delayed sleep phase syndrome wakes up at 7 o'clock, the processor 110 determines the waking up time as 7 o'clock based on the third sleep state information, and starts the preset wake-up time at 7 o'clock. The fourth environment composition information can be generated to supply blue light with an illuminance of 300 lux, a hue of 221 degrees, 100% saturation, and 56% brightness by the time point (e.g., 7:30). Accordingly, the user's circadian rhythm can be adjusted to a normal range (for example, to fall asleep around 12 midnight and wake up around 7 am). In other words, the quality of sleep of users with specific sleep disorders can be improved through the creation of fourth environment creation information.
본 발명의 일 실시예에 따르면, 프로세서(110)는 환경 조성 정보를 환경 조성 장치로 전송할 것을 결정할 수 있다. 구체적으로, 프로세서(110)는 조도 조정에 관련한 환경 조성 정보를 생성할 수 있으며, 해당 환경 조성 정보를 환경 조성 장치(30)로 전송할 것을 결정함으로써, 환경 조성 장치(30)의 조도 조정 동작을 제어할 수 있다.According to one embodiment of the present invention, the processor 110 may determine to transmit environment creation information to the environment creation device. Specifically, the processor 110 may generate environment creation information related to illuminance adjustment, and determines to transmit the corresponding environment creation information to the environment creation device 30, thereby controlling the illuminance adjustment operation of the environment creation device 30. can do.
실시예에 따르면, 빛은 수면의 질에 영향을 줄 수 있는 대표적인 요인 중 하나일 수 있다. 예컨대, 빛의 조도, 색, 노출 정도 등에 따라 수면의 질에 좋은 영향을 끼칠 수 있고, 그리고 나쁜 영향을 끼칠 수 있다. 이에 따라, 프로세서(110)는 조도를 조정하여 사용자의 수면의 질을 향상시킬 수 있다. 예를 들어, 프로세서(110)는 잠들기 전이나 잠든 후의 상황을 모니터링 하고, 이에 따라 사용자를 효과적으로 깨우기 위한 조도 조정을 수행할 수 있다. 즉, 프로세서(110)는 수면 상태(예컨대, 수면 단계)를 파악하여 자동으로 조도를 조정하여 수면의 질을 극대화시킬 수 있다.According to embodiments, light may be one of the representative factors that may affect sleep quality. For example, depending on the light intensity, color, exposure level, etc., it can have a good or bad effect on the quality of sleep. Accordingly, the processor 110 can improve the user's sleep quality by adjusting the illuminance. For example, the processor 110 may monitor the situation before or after falling asleep and adjust the illumination to effectively wake the user up accordingly. That is, the processor 110 can determine the sleep state (eg, sleep stage) and automatically adjust the light intensity to maximize the quality of sleep.
수면 계획 정보Sleep Plan Information
일 실시예에서, 프로세서(110)는 사용자 단말(300)로부터 수면 계획 정보를 수신할 수 있다. 수면 계획 정보는, 사용자가 사용자 단말(300)을 통해 생성하는 정보로, 예컨대, 취침 시간 및 기상 시간에 관한 정보를 포함할 수 있다. 프로세서(110)는 수면 계획 정보에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 구체적인 예를 들어, 프로세서(110)는 수면 계획 정보를 통해 사용자의 취침 시간을 식별하고, 해당 취침 시간에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 예컨대, 프로세서(110)는, 도 7에 도시된 바와 같이, 취침 시간 20분 전, 침대 위치를 기준으로 3000K의 백색광을 30 lux의 조도의 빛을 제공하도록 하는 제1환경 조성 정보를 생성할 수 있다. 즉, 취침 시간에 관련하여 사용자가 자연스럽게 수면에 들도록 유도하는 조도를 조성할 수 있다.In one embodiment, the processor 110 may receive sleep plan information from the user terminal 300. Sleep plan information is information generated by the user through the user terminal 300 and may include, for example, information about bedtime and wake-up time. The processor 110 may generate external environment creation information based on sleep plan information. For a specific example, the processor 110 may identify the user's bedtime through sleep plan information and generate external environment creation information based on the corresponding bedtime. For example, as shown in FIG. 7, the processor 110 can generate first environment composition information to provide white light of 3000K with an illumination intensity of 30 lux based on the bed position 20 minutes before bedtime. there is. In other words, it is possible to create an illumination level that induces the user to naturally fall asleep in relation to bedtime.
수면 인입 시점에 따른 동작Behavior depending on the timing of sleep entry
또한, 예를 들어, 프로세서(110)는 제2수면 상태 정보를 통해 사용자가 수면에 인입하는 시점 즉, 수면 인입 시점을 파악할 수 있으며, 이에 기초하여 제2환경 조성 정보를 생성할 수 있다. 예컨대, 프로세서(110)는, 도 7에 도시된 바와 같이, 수면 인입 시점부터 빛을 최소화하거나 공기청정기를 슬립모드로 제어하여 조용한 암실과 같은 분위기를 조성하도록 하는 제2환경 조성 정보를 생성할 수 있다. 이러한 제2환경 조성 정보는, 사용자가 깊은 수면에 빠지도록 하여 수면의 질을 향상시키는 효과가 있다. 실시예에서, 프로세서(110)는 수면 단계 정보에 기초하여 외부 환경 조성 정보를 생성할 수 있다. 실시예에서, 수면 단계 정보는 수면 음향 정보에 대한 분석을 통해 시계열적으로 획득되는 사용자의 수면 단계 변화에 관한 정보를 포함할 수 있다.Additionally, for example, the processor 110 may determine the point in time at which the user enters sleep, that is, the point in time at which the user enters sleep, through the second sleep state information, and generate second environment creation information based on this. For example, as shown in FIG. 7, the processor 110 can generate second environment creation information to create an atmosphere such as a quiet dark room by minimizing light from the time of entering the water or controlling the air purifier to sleep mode. there is. This second environment creation information has the effect of improving the quality of sleep by allowing the user to fall into a deep sleep. In an embodiment, processor 110 may generate external environment composition information based on sleep stage information. In an embodiment, the sleep stage information may include information about changes in the user's sleep stage acquired in time series through analysis of sleep sound information.
수면 단계 정보에 따른 동작Action based on sleep stage information
구체적인 예를 들어, 프로세서(110)는 사용자의 수면 단계 정보를 통해 사용자가 수면 단계(예컨대, 얕은 수면)에 진입했음을 식별하는 경우, 조도를 최소화하여 빛이 없는 암실 환경을 조성하거나, 숙면을 취할 수 있도록 공기청정기를 제어하여 미세먼지/유해가스의 제거, 공기의 온도 및 습도 조절, LED의 점등, 구동소음의 레벨조절, 송풍량 등을 수행하도록 하는 외부 환경 조성 정보를 생성할 수 있다. 즉, 사용자의 수면 단계 별 최적의 조도 즉 최적의 수면 환경을 조성함으로써, 사용자의 수면 효율을 향상시킬 수 있다.For a specific example, when the processor 110 identifies that the user has entered a sleep stage (e.g., light sleep) through the user's sleep stage information, it minimizes the illumination to create a dark room environment without light or to achieve a good night's sleep. By controlling the air purifier, external environment creation information can be generated to remove fine dust/harmful gases, control air temperature and humidity, turn on LEDs, adjust the level of driving noise, and blow air volume. In other words, the user's sleep efficiency can be improved by creating an optimal sleep environment, that is, optimal illumination for each user's sleep stage.
이 밖에도, 프로세서(110)는 수면 중, 사용자의 수면 단계 변화에 따라 적정한 조도를 제공하거나 공기질을 조절하도록 하기 위한 환경 조성 정보를 생성할 수 있다. 예를 들어, 얕은 수면에서 깊은 수면으로 변화되는 경우, 미세한 적색광을 공급하거나, 또는 REM 수면에서 얕은 수면으로 변화되는 경우, 조도를 낮추거나 청생광을 공급하는 등 수면 단계 변화에 따라 보다 다양한 외부 환경 조성 정보를 생성할 수 있다. 이는, 수면 전, 또는 기상 직후뿐만 아닌 수면 중 상황까지 자동으로 고려하여 수면 경험의 일부가 아닌 전체를 고려함으로써 사용자로 하여금 수면의 질을 극대화시키는 효과를 가질 수 있다.In addition, the processor 110 may generate environmental information to provide appropriate illumination or adjust air quality according to changes in the user's sleep stage during sleep. For example, when changing from shallow sleep to deep sleep, fine red light is supplied, or when changing from REM sleep to shallow sleep, lowering the illumination level or supplying blue light, etc., more diverse external environments depending on the change in sleep stage. Composition information can be generated. This can have the effect of maximizing the user's sleep quality by automatically considering the entire sleep experience, not just a part of it, by automatically considering the situation during sleep as well as before sleep or immediately after waking up.
또한, 예를 들어, 프로세서(110)는 수면 계획 정보를 통해 사용자의 기상 시간을 식별하고, 해당 기상 시간에 기초하여 기상 예측 시점을 생성하고, 이에 따라, 환경 조성 정보를 생성할 수 있다. 예컨대, 프로세서(110)는, 도 7에 도시된 바와 같이, 기상 예측 시점 30분 전부터 침대 위치를 기준으로 3000K의 백색광을 0 lux부터 시작해서 250 lux에 도달하게끔 서서히 조도를 서서히 높여주도록 하는 제3환경 조성 정보를 생성할 수 있다. 이러한 제3환경 조성 정보는, 희망 기상 시간에 대응하여 자연스럽고 개운하게 기상하도록 유도할 수 있다.Additionally, for example, the processor 110 may identify the user's wake-up time through sleep plan information, generate a predicted wake-up time based on the corresponding wake-up time, and generate environment composition information accordingly. For example, as shown in FIG. 7, the processor 110 starts from 0 lux of 3000K white light based on the bed location 30 minutes before the weather prediction time and gradually increases the illuminance to reach 250 lux. Environmental composition information can be generated. This third environment creation information can induce a person to wake up naturally and refreshed in response to the desired wake-up time.
또한, 프로세서(110)는 환경 조성 정보를 환경 조성 장치(30)로 전송할 것을 결정할 수 있다. 즉, 프로세서(110)는 수면 계획 정보에 기초하여 취침 또는 기상 시 사용자가 잠에 용이하게 들거나 또는 자연스럽게 일어날 수 있도록 하는 외부 환경 조성 정보를 생성함으로써, 사용자의 수면의 질을 향상시킬 수 있다.Additionally, the processor 110 may determine to transmit environment creation information to the environment creation device 30 . That is, the processor 110 can improve the user's sleep quality by generating external environment creation information that allows the user to easily fall asleep or wake up naturally when going to bed or waking up based on the sleep plan information.
추가적인 실시예에서, 프로세서(110)는 수면 단계 정보에 기초하여 추천 수면 계획 정보를 생성할 수 있다. 구체적으로, 프로세서(110)는 수면 단계 정보를 통해 사용자의 수면 단계 변화에 대한 정보(예컨대, 수면 사이클)를 획득할 수 있으며, 이러한 정보들을 기반으로 기상 예상 시간을 설정할 수 있다. 예컨대, 일반적으로 하루동안의 수면 사이클은, 얕은 수면, 깊은 수면, 앞은 수면, REM 수면 단계를 거칠 수 있다. 프로세서(110)는 REM 수면 이후가 사용자가 가장 개운하게 기상할 수 있는 시점으로 판단하여 REM 시점 이후로 기상 시간을 결정함으로서, 추천 수면 계획 정보를 생성할 수 있다. 또한, 프로세서(110)는 추천 수면 계획 정보에 따라 환경 조성 정보를 생성하고, 이를 환경 조성 장치(30)로 전송할 것을 결정할 수 있다. 따라서, 사용자는 프로세서(110)가 추천한 추천 수면 계획 정보에 따라 자연스럽게 기상할 수 있다. 이는, 프로세서(110)가 사용자의 수면 단계 변화에 따라 사용자의 기상 시점을 추천한 것으로, 사용자의 피로도가 최소화되는 시점일 수 있으므로, 사용자의 수면 효율이 향상된다는 장점을 가질 수 있다.In a further embodiment, processor 110 may generate recommended sleep plan information based on sleep stage information. Specifically, the processor 110 can obtain information about changes in the user's sleep stage (eg, sleep cycle) through sleep stage information, and set the expected wake-up time based on this information. For example, a typical sleep cycle during the day may go through light sleep, deep sleep, front sleep, and REM sleep stages. The processor 110 determines that the time after REM sleep is when the user can wake up most refreshed and determines the wake-up time after REM, thereby generating recommended sleep plan information. Additionally, the processor 110 may determine to generate environment creation information according to the recommended sleep plan information and transmit it to the environment creation device 30 . Accordingly, the user can wake up naturally according to the recommended sleep plan information recommended by the processor 110. This means that the processor 110 recommends the user's wake-up time according to changes in the user's sleep stage. This may be a time when the user's fatigue is minimized, so it can have the advantage of improving the user's sleep efficiency.
수면 환경 조절 장치(400)Sleep environment control device (400)
이하에서는 도 1g에 도시된 수면 환경 조절 장치에 대하여 더욱 구체적으로 설명한다. 도 1g에 도시된 바와 같이, 수면 환경 조절 장치(400), 사용자 단말(300) 및 외부 서버(20)는 네트워크를 통해, 본 발명의 일 실시예들에 따른 시스템을 위한 데이터를 상호 송수신할 수 있다.Hereinafter, the sleep environment control device shown in FIG. 1g will be described in more detail. As shown in Figure 1g, the sleep environment control device 400, the user terminal 300, and the external server 20 can mutually transmit and receive data for the system according to embodiments of the present invention through a network. there is.
본 발명의 실시예들에 따른 네트워크는 위에서 상세히 설명한 바와 같으므로, 중복 설명은 생략한다.Since the network according to the embodiments of the present invention is the same as described in detail above, redundant description will be omitted.
본 발명의 일 실시예에 따르면, 사용자 단말(300)은 수면 환경 조절 장치(400)와의 정보 교환을 통해 사용자의 수면과 관련한 정보를 제공받을 수 있는 단말로, 사용자가 소지한 단말을 의미할 수 있다. 사용자 단말(300)의 일반적인 구성 및 기능은 위에서 설명한 바와 같을 수 있다.According to one embodiment of the present invention, the user terminal 300 is a terminal that can receive information related to the user's sleep through information exchange with the sleep environment control device 400, and may refer to a terminal owned by the user. there is. The general configuration and functions of the user terminal 300 may be as described above.
본 발명의 일 실시예에 따른사용자 단말(300)은 사용자가 위치한 공간에 관련한 음향 정보를 획득할 수 있다. 예컨대, 음향 정보는, 사용자가 위치한 공간에서 획득되는 음향 정보를 의미할 수 있다. 음향 정보는, 비접촉식 방법으로 사용자의 활동 또는 수면과 관련하여 획득될 수 있다. 예를 들어, 음향 정보는, 사용자가 수면을 취하는 동안 해당 공간에서 획득되는 것일 수 있다. 실시예에 따르면, 사용자 단말(300)을 통해 획득되는 음향 정보는, 본 발명에서 사용자의 수면 상태 정보를 획득하기 위한 기반이 되는 정보일 수 있다. 구체적인 예를 들어, 사용자의 움직임 또는 호흡에 관련하여 획득되는 음향 정보를 통해 사용자가 수면 전인지, 수면 중인지 또는 수면 후인지 여부에 관련한 수면 상태 정보가 획득될 수 있다. 또한, 예를 들어, 음향 정보를 통해 수면 시간 동안 사용자의 수면 단계 변화에 대한 정보가 획득될 수 있다.The user terminal 300 according to an embodiment of the present invention can acquire sound information related to the space where the user is located. For example, sound information may mean sound information obtained in the space where the user is located. Acoustic information can be obtained in relation to the user's activity or sleep in a non-contact manner. For example, acoustic information may be acquired in the space while the user is sleeping. According to an embodiment, the sound information acquired through the user terminal 300 may be the basis for obtaining the user's sleep state information in the present invention. For a specific example, sleep state information related to whether the user is before, during, or after sleep may be obtained through sound information obtained in relation to the user's movement or breathing. Additionally, for example, information about changes in the user's sleep stage during sleep time may be obtained through sound information.
본 발명의 수면 환경 조절 장치(400)는 외부 서버(20)로부터 건강검진 정보 또는 수면검진 정보 등을 수신하고, 해당 정보들에 기초하여 학습 데이터 세트를 구축할 수 있다. 외부 서버(20)와 관련한 설명은 위에서 상세히 기재한 바, 여기서는 그 설명을 생략하기로 한다.The sleep environment control device 400 of the present invention can receive health checkup information or sleep checkup information from the external server 20 and construct a learning data set based on the corresponding information. The description regarding the external server 20 has been described in detail above, and the description will be omitted here.
일 실시예에 따르면, 수면 환경 조절 장치(400)가 수면 상태 분석을 위해 활용하는 음향 정보는, 일 공간 상에서의 사용자의 활동 또는 수면 동안 비침습적 방식으로 획득되는 것일 수 있다. 구체적인 예를 들어, 음향 정보는, 수면 동안 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향 등을 포함할 수 있다. 실시예에 따르면, 환경 센싱 정보는 수면 음향 정보를 포함할 수 있으며, 해당 수면 음향 정보는, 사용자의 수면 동안에 발생하는 움직임 패턴 및 호흡 패턴에 관련한 음향을 의미할 수 있다.According to one embodiment, the acoustic information used by the sleep environment control device 400 to analyze the sleep state may be acquired in a non-invasive manner during the user's activities or sleep in the work space. As a specific example, the sound information may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep. According to an embodiment, the environmental sensing information may include sleep sound information, and the sleep sound information may mean sounds related to movement patterns and breathing patterns that occur during the user's sleep.
실시예에서, 음향 정보는 사용자가 소지한 사용자 단말(300) 및 음향 수집부(414) 중 적어도 하나를 통해 획득될 수 있다. 예컨대, 사용자 단말(300) 및 음향수집부(414)에 구비된 마이크 모듈을 통해 일 공간 상에서 사용자의 활동에 관련한 환경 센싱 정보가 획득될 수 있다.In an embodiment, sound information may be obtained through at least one of the user terminal 300 and the sound collection unit 414 carried by the user. For example, environmental sensing information related to the user's activities in a space may be obtained through a microphone module provided in the user terminal 300 and the sound collection unit 414.
사용자 단말(300) 또는 음향수집부(414)에 구비된 마이크 모듈의 구성은 위에서 설명한 바와 동일하다.The configuration of the microphone module provided in the user terminal 300 or the sound collection unit 414 is the same as described above.
본 발명에서 분석의 대상이 되는 음향 정보는, 수면 동안 획득되는 사용자의 호흡 및 움직임에 관련한 것으로, 매우 작은 음향(즉, 구분이 어려운 음향)에 관한 정보이며, 수면 환경 동안 다른 음향들과 함께 획득되는 것이므로, 낮은 신호 대 잡음비의 상기한 바와 같은 마이크 모듈을 통해 획득되는 경우, 탐지 및 분석이 매우 어려울 수 있다.The acoustic information that is the subject of analysis in the present invention is related to the user's breathing and movements acquired during sleep, and is information about very small sounds (i.e., sounds that are difficult to distinguish), and is acquired along with other sounds during the sleep environment. Therefore, if it is acquired through a microphone module as described above with a low signal-to-noise ratio, detection and analysis may be very difficult.
본 발명의 일 실시예에 따르면, 수면 환경 조절 장치(400)는 MEMS로 구성된 마이크 모듈을 통해 획득된 음향 정보에 기초하여 수면 상태 정보를 획득할 수 있다. 구체적으로, 수면 환경 조절 장치(400)는 많은 노이즈를 포함하여 불명료하게 획득된 음향 정보를 분석이 가능한 데이터 변환 및/또는 조정할 수 있으며, 변환 및/또는 조정된 데이터를 활용하여 인공 신경망에 대한 학습을 수행할 수 있다. 인공 신경망에 대한 사전 학습이 완료된 경우, 학습된 신경망(예컨대, 음향 분석 모델)은 음향 정보에 대응하여 획득된(예컨대, 변환 및/또는 조정된) 데이터(예컨대, 스펙트로그램)에 기초하여 사용자의 수면 상태 정보를 획득할 수 있다. 실시예에서, 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보뿐만 아니라, 수면 동안 사용자의 수면 단계 변화에 관련한 수면 단계 정보를 포함할 수 있다. 구체적인 예를 들어, 수면 상태 정보는 제1시점에는 사용자가 REM 수면이었으며, 제1시점과 상이한 제2시점에는 사용자가 얕은 수면이었다는 수면 단계 정보를 포함할 수 있다. 이 경우, 해당 수면 상태 정보를 통해, 사용자는 제1시점에 비교적 깊은 수면에 빠졌으며, 제2시점에는 보다 얕은 수면을 취했다는 정보가 획득될 수 있다.According to one embodiment of the present invention, the sleep environment control device 400 may obtain sleep state information based on acoustic information acquired through a microphone module composed of MEMS. Specifically, the sleep environment control device 400 can convert and/or adjust ambiguously acquired acoustic information including a lot of noise into data that can be analyzed, and use the converted and/or adjusted data to learn about the artificial neural network. can be performed. When pre-training for the artificial neural network is completed, the learned neural network (e.g., acoustic analysis model) is based on the data (e.g., transformed and/or adjusted) acquired (e.g., transformed and/or adjusted) in response to the acoustic information to determine the user's Sleep state information can be obtained. In an embodiment, the sleep state information may include sleep stage information related to changes in the user's sleep stage during sleep, as well as information related to whether the user is sleeping. For a specific example, the sleep state information may include sleep stage information indicating that the user was in REM sleep at a first time point, and that the user was in light sleep at a second time point different from the first time point. In this case, through the corresponding sleep state information, information may be obtained that the user fell into a relatively deep sleep at the first time and had a lighter sleep at the second time.
즉, 수면 환경 조절 장치(400)는 음향을 수집하도록 일반적으로 많이 보급된 사용자 단말(예컨대, 인공지능 스피커, 침실 IoT기기, 휴대폰 등) 또는 음향수집부(414)를 통해 낮은 신호 대 잡음비를 갖는 수면 음향 정보를 획득하는 경우, 이를 분석에 적절한 데이터로 가공하고, 가공된 데이터를 처리하여 사용자가 수면 전인지, 중인지, 후인지에 대한 정보 및 수면 단계의 변화에 관련한 수면 상태 정보를 제공할 수 있다. 이는 명료한 음향 획득을 위해 사용자의 신체에 접촉식으로 마이크를 구비하지 않아도 되며, 또한, 높은 신호 대 잡음비를 가진 별도의 추가 디바이스를 구매하지 않고 소프트웨어 업데이트 만으로 일반적인 가정 환경에서 수면 상태를 모니터링할 수 있게 하여 편의성을 증대시키는 효과를 제공할 수 있다.That is, the sleep environment control device 400 has a low signal-to-noise ratio through a commonly used user terminal (e.g., artificial intelligence speaker, bedroom IoT device, mobile phone, etc.) or a sound collection unit 414 to collect sound. When acquiring sleep sound information, it can be processed into data appropriate for analysis, and the processed data can be processed to provide information on whether the user is before, during, or after sleep and sleep state information related to changes in sleep stage. there is. This eliminates the need to have a contact microphone on the user's body to obtain clear sound, and also allows sleep status to be monitored in a typical home environment with just a software update without purchasing an additional device with a high signal-to-noise ratio. This can provide the effect of increasing convenience.
실시예에서, 수면 환경 조절 장치(400)는 단말 또는 서버일 수 있으며, 임의의 형태의 장치는 모두 포함할 수 있다. 수면 환경 조절 장치(400)는 디지털 기기로서, 랩탑 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다. 수면 환경 조절 장치(400)는 서비스를 처리하는 웹 서버일 수 있다. 전술한 서버의 종류는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.In an embodiment, the sleep environment control device 400 may be a terminal or a server, and may include any type of device. The sleep environment control device 400 is a digital device, such as a laptop computer, a notebook computer, a desktop computer, a web pad, or a mobile phone, and may be a digital device equipped with a processor and computing power with memory. The sleep environment control device 400 may be a web server that processes services. The types of servers described above are merely examples and the present invention is not limited thereto.
본 발명의 일 실시예에 따르면, 수면 환경 조절 장치(400)는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 해당 서버는 위에서 상세히 설명한 바, 여기서는 설명을 생략하기로 한다.According to one embodiment of the present invention, the sleep environment control device 400 may be a server that provides cloud computing services. The server in question has been described in detail above, so the description will be omitted here.
도 2g는 본 발명의 일 실시예와 관련된 수면 환경 조절 장치의 예시적인 블록 구성도를 도시한다.2G shows an exemplary block diagram of a sleep environment control device related to one embodiment of the present invention.
도 2g에 도시된 바와 같이, 수면 환경 조절 장치(400)는 수신 모듈(410) 및 송신 모듈(420)을 포함할 수 있다.As shown in FIG. 2G, the sleep environment control device 400 may include a receiving module 410 and a transmitting module 420.
본 발명의 일 실시예에 따르면, 수면 환경 조절 장치(400)는 무선신호를 송신하는 송신 모듈(420) 및 송신된 무선 신호를 수신하는 수신 모듈(410)을 포함할 수 있다. 일 실시예에서, 무선 신호는, 직교 주파수 분할 다중 방식의 신호를 의미할 수 있다. 예컨대, 무선 신호는, wifi 기반 OFDM 센싱 신호일 수 있다. 또한, 본 발명의 송신 모듈(420)은, 노트북, 스마트폰, 태블릿 PC, 스마트 스피커(AI 스피커) 등을 통해 구현될 수 있으며, 수신 모듈(410)은, wifi 수신기를 통해 구현될 수 있다. 실시예에 따르면, 수신 모듈(410)은 노트북, 스마트폰, 태블릿 PC 등 다양한 컴퓨팅 장치를 통해 구현될 수도 있다. 예를 들어, 송신 모듈(420) 및 수신 모듈(410)에는 Wi-Fi 802.11n, 802.11ac 또는 OFDM을 지원하는 다른 표준을 따르는 무선 칩이 탑재되어 있을 수 있다. 즉, 비교적 저가의 장비를 통해 고신뢰도를 가진 객체 상태 정보의 획득하는 수면 환경 조절 장치(400)가 구현될 수 있다.According to one embodiment of the present invention, the sleep environment control device 400 may include a transmission module 420 that transmits a wireless signal and a reception module 410 that receives the transmitted wireless signal. In one embodiment, the wireless signal may refer to an orthogonal frequency division multiplexing signal. For example, the wireless signal may be a WiFi-based OFDM sensing signal. Additionally, the transmitting module 420 of the present invention can be implemented through a laptop, smartphone, tablet PC, smart speaker (AI speaker), etc., and the receiving module 410 can be implemented through a wifi receiver. According to embodiments, the receiving module 410 may be implemented through various computing devices such as laptops, smartphones, and tablet PCs. For example, the transmitting module 420 and the receiving module 410 may be equipped with wireless chips that comply with Wi-Fi 802.11n, 802.11ac, or other standards that support OFDM. That is, the sleep environment control device 400 that acquires object state information with high reliability can be implemented using relatively inexpensive equipment.
일 실시예에서, 송신 모듈(420)은 객체가 위치한 일 방향으로 무선 신호를 송신할 수 있으며, 수신 모듈(410)은 송신 모듈(420)과 사전 결정된 이격거리를 통해 구비되어, 송신 모듈(420)로부터 송신된 무선 신호를 수신할 수 있다. 이러한 무선 신호는 직교 주파수 분할 다중 방식의 신호임에 따라 복수의 서브 캐리어를 통해 송신 또는 수신될 수 있다.In one embodiment, the transmitting module 420 can transmit a wireless signal in one direction where the object is located, and the receiving module 410 is provided at a predetermined distance from the transmitting module 420, so that the transmitting module 420 ) can receive a wireless signal transmitted from. Since these wireless signals are orthogonal frequency division multiplex signals, they can be transmitted or received through a plurality of subcarriers.
이러한 송신 모듈(420) 및 수신 모듈(410)은 사전 결정된 이격 거리를 갖도록 구비될 수 있다. 이 경우, 사전 결정된 이격 거리는 객체가 활동하거나 또는 위치한 공간을 의미할 수 있다. 구체적인 실시예에서, 송신 모듈(420) 및 수신 모듈(410)은 기 설정된 영역을 기준으로 서로 대향하는 위치가 구비되는 것을 특징으로 할 수 있다. 여기서 기 설정된 영역(11a)이란, 예를 들어, 도 2i에 도시된 바와 같이, 사용자가 수면을 취하는 위치에 관련한 영역으로, 예컨대, 침대가 위치한 영역일 수 있다. 송신 모듈(420) 및 수신 모듈(410)은 사용자가 수면을 취하는 침대를 중심으로 양측면 각각에 구비될 수 있다. 이 경우, 본 발명의 수면 환경 조절 장치(400)는 송신 모듈(420) 및 수신 모듈(410)을 통해 송신 및 수신되는 wifi기반 OFDM 신호에 기반하여 사용자가 기 설정된 영역에 위치하였는지 관한 정보 및 사용자의 움직임이나 또는 호흡에 관한 정보인 객체 상태 정보를 획득할 수 있다.The transmitting module 420 and the receiving module 410 may be provided to have a predetermined separation distance. In this case, the predetermined separation distance may mean the space in which the object is active or located. In a specific embodiment, the transmitting module 420 and the receiving module 410 may be positioned opposite to each other based on a preset area. Here, the preset area 11a is, for example, an area related to the position where the user sleeps, as shown in FIG. 2I, and may be, for example, an area where a bed is located. The transmitting module 420 and the receiving module 410 may be provided on both sides of the bed where the user sleeps. In this case, the sleep environment control device 400 of the present invention provides information about whether the user is located in a preset area and the user based on the WiFi-based OFDM signal transmitted and received through the transmitting module 420 and the receiving module 410. Object state information, which is information about movement or breathing, can be obtained.
일 실시예에 따르면, 송신 모듈(420) 및 수신 모듈(410)은 하나 이상의 안테나를 통해 무선 신호(예컨대, OFDM 신호)를 송신 및 수신할 수 있다. 예를 들어, 송신 모듈(420) 및 수신 모듈(410) 각각에 3개의 안테나가 구비되는 경우, 3개의 안테나와 64개의 서브 캐리어를 통해 총 192개(즉, 3 X 64) 채널에 관련한 채널 상태 정보가 매 프레임 마다 획득될 수 있다. 전술한 안테나 및 서브 캐리어에 대한 구체적인 수치적 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다.According to one embodiment, the transmitting module 420 and the receiving module 410 may transmit and receive wireless signals (eg, OFDM signals) through one or more antennas. For example, when each of the transmitting module 420 and the receiving module 410 is equipped with 3 antennas, channel status related to a total of 192 (i.e., 3 Information can be obtained every frame. The detailed numerical description of the antenna and subcarrier described above is only an example, and the present disclosure is not limited thereto.
일 실시예에 따르면, 송신 모듈(420) 및 수신 모듈(410)은 복수 개로 수비될 수 있다. 보다 구체적인 예를 들어, 3개의 송신 모듈 및 4개의 수신 모듈 각각이 사전 결정된 이격 거리를 통해 구비될 수 있다. 이 경우, 복수 개의 송신 모듈 및 수신 모듈 각각이 송신 및 수신하는 무선 신호는 서로 상이할 수 있다.According to one embodiment, a plurality of transmitting modules 420 and receiving modules 410 may be provided. For a more specific example, each of three transmitting modules and four receiving modules may be provided with a predetermined separation distance. In this case, wireless signals transmitted and received by each of the plurality of transmitting modules and receiving modules may be different from each other.
실시예에서, 수신 모듈(410)을 통해 수신된 무선 신호는, 기 설정된 영역에 대응하는 채널을 통과한 무선 신호로 해당 채널을 특성을 나타내는 정보를 포함할 수 있다. 수신 모듈(410)은 무선 신호로부터 채널 상태 정보를 획득할 수 있다. 채널 상태 정보는 사용자가 위치한 일 공간과 관련한 채널에 관련한 특성을 나타내는 정보이며, 송신 모듈(420)로부터 송신된 무선 신호 및 수신 모듈을 통해 수신된 무선 신호에 기초하여 산출되는 것을 특징으로 할 수 있다.In an embodiment, the wireless signal received through the receiving module 410 is a wireless signal that passes through a channel corresponding to a preset area and may include information indicating the characteristics of the channel. The reception module 410 may obtain channel state information from a wireless signal. The channel state information is information indicating characteristics related to the channel related to the space where the user is located, and may be calculated based on a wireless signal transmitted from the transmitting module 420 and a wireless signal received through the receiving module. .
구체적으로, 송신 모듈(420)로부터 송신된 무선 신호는 특정 채널(즉, 사용자가 위치한 공간)을 통과하여 수신 모듈(410)을 통해 수신될 수 있다. 이 경우, 무선 신호는 멀티 패스(multi-path) 각각에 대응하여 복수의 서브 캐리어를 통해 송신된 것일 수 있다. 이에 따라, 수신 모듈(410)을 통해 수신된 무선 신호는, 기 설정된 영역(11a)에서의 사용자의 움직임이 반영된 신호일 수 있다. 프로세서는 수신된 무선 신호를 통해 무선 신호가 채널(즉, 사용자가 위치한 공간)을 통과하며 경험한 채널 특성에 관련한 채널 상태 정보를 획득할 수 있다. 이러한 채널 상태 정보는, 진폭과 위상으로 구성되어 있을 수 있다. 즉, 수면 환경 조절 장치(400)는 송신 모듈(420)로부터 송신된 무선 신호와 수신 모듈(410)을 통해 수신된 무선 신호(즉, 객체의 움직임이 반영된 신호)에 기반하여 송신 모듈(420)과 수신 모듈(410) 사이 공간(예컨대, 기 설정된 영역)의 특성에 관련한 채널 상태 정보를 획득할 수 있다.Specifically, the wireless signal transmitted from the transmission module 420 may pass through a specific channel (i.e., the space where the user is located) and be received through the reception module 410. In this case, the wireless signal may be transmitted through a plurality of subcarriers corresponding to each multi-path. Accordingly, the wireless signal received through the receiving module 410 may be a signal reflecting the user's movement in the preset area 11a. Through the received wireless signal, the processor can obtain channel state information related to channel characteristics experienced as the wireless signal passes through the channel (i.e., the space where the user is located). This channel state information may consist of amplitude and phase. That is, the sleep environment control device 400 transmits the transmitting module 420 based on the wireless signal transmitted from the transmitting module 420 and the wireless signal received through the receiving module 410 (i.e., a signal reflecting the movement of the object). Channel state information related to the characteristics of the space (eg, a preset area) between the receiver and the receiving module 410 can be obtained.
실시예에 따르면, 수신 모듈(410)은 송신 모듈(420)로부터 송신된 무선 신호를 수신하는 경우, 수신한 무선 신호에 기초하여 사용자의 움직임을 감지하는 것을 특징으로 할 수 있다. 수신 모듈(410)은 채널 상태 정보의 변화를 통해 기 설정된 영역에 사용자가 위치하였는지 여부에 관한 정보를 획득할 수 있다. 실시예에 따르면, 송신 모듈(420) 및 수신 모듈(410)을 통해 무선 신호를 송수신하는 과정에서, 사용자가 송신 모듈(420) 및 수신 모듈(410) 사이에 위치하거나 또는 위치하지 않았을 때 획득되는 채널 상태 정보는 서로 상이할 수 있다. 구체적인 실시예에 따르면, 송신 모듈(420)과 수신 모듈(410) 사이 영역(예컨대, 기 설정된 영역) 내에 사용자가 위치한 경우와, 위치하지 않는 경우 각각에 대응하여 획득되는 채널 상태 정보의 차이가 극대화되도록 송신 모듈(420) 및 수신 모듈(410)이 배치될 수 있다. 추가적인 실시예에 따르면, 송신 모듈(420) 및 수신 모듈(410) 각각에 대응하여 지향성 패치 안테나가 구비될 수 있다. 여기서 지향성 패치 안테나는, m x n패치로 구성된 안테나 모듈(즉, m개의 가로 패치 수 및 n개의 세로 패치 수)일 수 있다. 예컨대, 사용자가 송신 모듈(420) 및 수신 모듈(410) 사이에 위치하거나, 또는 위치하지 않았을 때의 신호의 차이가 커질 수 있도록 안테나 사전 빔이 설정될 수 있다. 안테나의 beam width가 최적이 되도록 사전 설정되고, 이러한 지향성 패치 안테나를 이용하여 신호를 송수신 하는 방향에 사용자가 눕는 위치가 되도록 송신 모듈(420)과 수신 모듈(410)을 배치시킬 수 있다. 즉, 송신 모듈(420)과 수신 모듈(410) 각각의 지향성 패치 안테나 사이에 Line-of-Sight 직접적으로 확보되는 무선 링크가 형성될 수 있다. 이러한 구성을 통해 각 모듈의 안테나를 지향성 안테나로 동작하게 하여 보다 좁은 영역(예컨대, 기 설정된 영역)에 대응하여 무선 링크를 형성할 수 있다.According to an embodiment, when the receiving module 410 receives a wireless signal transmitted from the transmitting module 420, it may be characterized in that it detects the user's movement based on the received wireless signal. The receiving module 410 may obtain information regarding whether the user is located in a preset area through a change in channel state information. According to the embodiment, in the process of transmitting and receiving a wireless signal through the transmitting module 420 and the receiving module 410, the information obtained when the user is located or not located between the transmitting module 420 and the receiving module 410 Channel state information may be different from each other. According to a specific embodiment, the difference between the channel state information obtained corresponding to the case where the user is located within the area (e.g., a preset area) between the transmitting module 420 and the receiving module 410 and the case where the user is not located is maximized. The transmitting module 420 and the receiving module 410 may be arranged as much as possible. According to an additional embodiment, a directional patch antenna may be provided corresponding to each of the transmitting module 420 and the receiving module 410. Here, the directional patch antenna may be an antenna module composed of m x n patches (i.e., the number of m horizontal patches and the number of n vertical patches). For example, the antenna pre-beam may be set to increase the difference in signals when the user is located between the transmitting module 420 and the receiving module 410 or when the user is not located. The beam width of the antenna is preset to be optimal, and the transmitting module 420 and receiving module 410 can be placed so that the user is lying down in the direction of transmitting and receiving signals using this directional patch antenna. That is, a wireless link that is directly secured line-of-sight can be formed between the directional patch antennas of each of the transmitting module 420 and the receiving module 410. Through this configuration, the antenna of each module can operate as a directional antenna to form a wireless link in response to a narrower area (eg, a preset area).
즉, 송신 모듈(420)과 수신 모듈(410)의 안테나 사이에 무선 링크가 형성될 수 있으며, 이러한 무선 링크 사이에 사용자가 위치한 경우, 사용자의 신체가 무선 링크를 가로막게 되어 무선 링크가 왜곡되어 신호 레벨(즉, 채널 상태 정보)이 크게 달라지게 된다. 실시예에서, 신호 레벨의 변화는, RSSI(Received Signal Strength Indicator)와 CSI(Channel State Information)의 변화를 통해 감지할 수 있으며, 이에 따라, 수신 모듈(410)은 이러한 변화를 통해 사용자가 기 설정된 영역(11a)에 위치하였는지 여부를 판별할 수 있다.That is, a wireless link can be formed between the antennas of the transmitting module 420 and the receiving module 410, and when a user is located between these wireless links, the user's body blocks the wireless link and the wireless link is distorted. The signal level (i.e., channel state information) varies greatly. In an embodiment, a change in signal level can be detected through a change in Received Signal Strength Indicator (RSSI) and Channel State Information (CSI), and accordingly, the receiving module 410 allows the user to select a preset signal through these changes. It can be determined whether it is located in the area 11a.
실시예에서, 사용자가 기 설정된 영역(11a)에 위치하였는지 여부에 관한 정보는, 환경조성부(415)의 구동 여부를 결정하는데 활용되거나 또는 사용자의 수면 의도를 파악하는데 활용될 수 있다.In an embodiment, information about whether the user is located in the preset area 11a may be used to determine whether to operate the environment creation unit 415 or to determine the user's intention to sleep.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 사용자의 수면 상태 정보를 산출하고, 그리고 수면 상태 정보에 기초하여 사용자의 수면 환경을 조정할 수 있다. 구체적으로, 수신 모듈(410)은 획득한 센싱 정보에 기초하여 사용자가 수면 전인지, 중인지 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있으며, 해당 수면 상태 정보에 따라 사용자가 위치한 공간의 수면 환경을 조정할 수 있다. 구체적인 예를 들어, 수신 모듈(410)은 사용자가 수면 전이라는 수면 상태 정보를 획득한 경우, 해당 수면 상태 정보에 기초하여 수면을 유도하기 위한 광의 세기 및 조도(예컨대, 3000K의 백색광, 30 lux의 조도)에 관련한 환경 조성 정보를 생성할 수 있다. 또한, 수신 모듈(410)은 수면을 유도하기 위한 광의 세기 및 조도에 관련한 환경 조성 정보에 기초하여 사용자가 위치한 공간의 광의 세기 및 조도를 수면을 유도하기 위한 적절한 세기 및 조도(예컨대, 3000K의 백색광을 30 lux의 조도)로 조정할 수 있다. According to one embodiment of the present invention, the receiving module 410 may calculate the user's sleep state information and adjust the user's sleep environment based on the sleep state information. Specifically, the receiving module 410 can acquire sleep state information related to whether the user is before, during, or after sleep based on the acquired sensing information, and can determine the sleep state of the space where the user is located according to the sleep state information. You can adjust the environment. For a specific example, when the user acquires sleep state information that the user is before sleep, the receiving module 410 sets the intensity and illuminance of light (e.g., white light of 3000K, 30 lux) to induce sleep based on the sleep state information. Environmental composition information related to illuminance can be generated. In addition, the receiving module 410 determines the light intensity and illuminance of the space where the user is located based on the environmental composition information related to the intensity and illuminance of light to induce sleep and sets the appropriate intensity and illuminance to induce sleep (e.g., white light of 3000K). can be adjusted to an illuminance of 30 lux.
또한, 수신 모듈(410)은 사용자가 수면 전이라는 수면 상태 정보를 획득한 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지, 공기청정기를 제어하기 위한 환경 조성 정보를 생성할 수 있다. 구체적으로, 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거하도록 공기청정기를 제어하는 환경 조성 정보를 생성할 수 있다. 그리고, 환경 조성 정보는 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 공기청정기를 제어하거나, 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추는 등의 정보를 포함할 수 있다. 이와 함께, 제1환경 조성 정보는 수면공간 내의 온도 및 습도 정보에 기초하여 제습/가습을 실행하도록 공기청정기를 제어하기 위한 정보를 포함할 수 있다. 또한, 제1환경 조성 정보는 공기청정기의 가동 히스토리와 획득되는 수면 상태(수면의 질)에 따라서 개인맞춤형 송풍 세기와 소음을 조절하도록 하는 제어 정보를 포함할 수 있다. In addition, when the receiving module 410 acquires sleep state information that the user is before sleep, the receiving module 410 is configured to operate from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e., second sleep state). Until the point at which the information is acquired, environmental creation information for controlling the air purifier can be created. Specifically, environmental creation information can be generated to control the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before the user's sleep). In addition, environmental creation information includes information such as controlling the air purifier to generate noise (white noise) that can induce sleep just before sleep, adjusting the blower intensity below the preset intensity, or lowering the intensity of the LED. It can be included. In addition, the first environment creation information may include information for controlling the air purifier to perform dehumidification/humidification based on temperature and humidity information in the sleeping space. Additionally, the first environment creation information may include control information to adjust personalized blowing intensity and noise according to the operation history of the air purifier and the acquired sleep state (quality of sleep).
전술한 수면 상태 정보 및 환경 조성 정보에 관련한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.The detailed description regarding the above-described sleep state information and environmental composition information is only an example, and the present invention is not limited thereto.
도 2h는 본 발명의 일 실시예와 관련된 수신 모듈 및 송신 모듈의 예시적인 블록 구성도를 도시한다.2H shows an exemplary block diagram of a receiving module and a transmitting module related to one embodiment of the present invention.
도 2h에 도시된 바와 같이, 수신 모듈(410)은 네트워크부(411), 메모리(412), 센서부(413), 음향수집부(414), 환경조성부(415) 및 수신제어부(416)를 포함할 수 있다. 수신 모듈(410)은 전술한 컴포넌트들로 제한되지 않는다. 즉, 본 발명내용의 실시예들에 대한 구현 양태에 따라서 추가적인 컴포넌트들이 포함되거나 또는 전술한 컴포넌트들 중 일부가 생략될 수 있다.As shown in Figure 2h, the reception module 410 includes a network unit 411, a memory 412, a sensor unit 413, a sound collection unit 414, an environment creation unit 415, and a reception control unit 416. It can be included. The receiving module 410 is not limited to the components described above. That is, depending on the implementation aspect of the embodiments of the present invention, additional components may be included or some of the above-described components may be omitted.
본 발명의 일 실시예에 따르면, 송신 모듈(420)은 도 2h에 도시된 바와 같이, 무선 신호를 송신하는 송신부(421) 및 송신부(421)의 무선 신호 송신 동작을 제어하는 송신제어부(422)를 포함할 수 있다. 실시예에서, 송신제어부(422)는 송신부(421)를 통해 무선 신호가 송신되는 시점을 결정할 수 있다. 예컨대, 송신제어부(422)는 수면 측정 모드가 개시되는 시점에 대응하여 송신부(421)를 제어함으로써, 무선 신호가 송신되도록 할 수 있다.According to an embodiment of the present invention, the transmission module 420 includes a transmission unit 421 that transmits a wireless signal and a transmission control unit 422 that controls the wireless signal transmission operation of the transmission unit 421, as shown in FIG. 2H. may include. In an embodiment, the transmission control unit 422 may determine when a wireless signal is transmitted through the transmission unit 421. For example, the transmission control unit 422 may control the transmission unit 421 in response to the time when the sleep measurement mode is started, thereby allowing a wireless signal to be transmitted.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 송신 모듈(420), 사용자 단말(300) 및 외부 서버(20)와 데이터를 송수신하는 네트워크부(411)를 포함할 수 있다. 네트워크부(411)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조절 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 즉, 네트워크부(411)는 수신 모듈(410)과 송신 모듈(420), 사용자 단말(300) 및 외부 서버(20) 간의 통신 기능을 제공할 수 있다. 예를 들어,According to one embodiment of the present invention, the reception module 410 may include a transmission module 420, a network unit 411 that transmits and receives data with the user terminal 300 and the external server 20. The network unit 411 may transmit and receive data for performing a sleep environment adjustment method according to sleep state information according to an embodiment of the present invention, etc. to other computing devices, servers, etc. That is, the network unit 411 may provide a communication function between the receiving module 410 and the transmitting module 420, the user terminal 300, and the external server 20. for example,
네트워크부(411)는 병원 서버로부터 복수의 사용자들에 대한 수면검진기록 및 전자건강기록을 수신할 수 있다. 다른 예를 들어, 네트워크부(411)는 사용자 단말(300)로부터 사용자가 활동하는 공간에 관련한 음향 정보를 수신할 수 있다. 또 다른 예를 들어, 네트워크부(411)는 환경조성부(415)로 사용자가 위치한 공간의 환경을 조정하기 위한 환경 조성 정보를 전송할 수 있다. 추가적으로, 네트워크부(411)는 수면 환경 조절 장치(400)로 프로시저를 호출하는 방식으로 수면 환경 조절 장치(400)와 사용자 단말(300) 및 외부 서버(20) 간의 정보 전달을 허용할 수 있다.The network unit 411 can receive sleep checkup records and electronic health records for multiple users from the hospital server. For another example, the network unit 411 may receive sound information related to the space in which the user operates from the user terminal 300. For another example, the network unit 411 may transmit environment creation information for adjusting the environment of the space where the user is located to the environment creation unit 415. Additionally, the network unit 411 may allow information to be transferred between the sleep environment control device 400, the user terminal 300, and the external server 20 by calling a procedure with the sleep environment control device 400. .
본 발명의 일 실시예에 따른 네트워크부(411)는 위에서 설명한 다양한 유무선 통신 시스템 중 어느 하나 혹은 이들의 조합으로 구성될 수 있다.The network unit 411 according to an embodiment of the present invention may be composed of any one or a combination of the various wired and wireless communication systems described above.
본 발명의 일 실시예에 따르면, 메모리(412)는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 수면 환경 조절 방법을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 수신제어부(416)에 의하여 판독되어 구동될 수 있다. 또한, 메모리(412)는 수신제어부(416)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(411)가 수신한 임의의 형태의 정보를 저장할 수 있다. 또한, 메모리(412)는 사용자의 수면에 관련한 데이터를 저장할 수 있다. 예를 들어, 메모리(412)는 입/출력되는 데이터들(예를 들어, 사용자의 수면 환경에 관련한 음향 정보, 음향 정보에 대응하는 수면 상태 정보 또는, 수면 상태 정보에 따른 환경 조성 정보 등)을 임시 또는 영구 저장할 수도 있다.According to an embodiment of the present invention, the memory 412 may store a computer program for performing a sleep environment control method based on sleep state information according to an embodiment of the present invention, and the stored computer program may be stored in the reception control unit ( 416) can be read and driven. Additionally, the memory 412 may store any type of information generated or determined by the reception control unit 416 and any type of information received by the network unit 411. Additionally, the memory 412 may store data related to the user's sleep. For example, the memory 412 stores input/output data (e.g., sound information related to the user's sleep environment, sleep state information corresponding to the sound information, or environment creation information according to the sleep state information, etc.). It can also be stored temporarily or permanently.
본 발명의 일 실시예에 따르면, 메모리(412)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 수면 환경 조절 장치(400)는 인터넷(internet) 상에서 상기 메모리(412)의 저장 기능을 수행하는 웹스토리지(web storage)와 관련되어 동작할 수도 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.According to one embodiment of the present invention, the memory 412 is a flash memory type, hard disk type, multimedia card micro type, or card type memory (e.g. (e.g. SD or -Only Memory), and may include at least one type of storage medium among magnetic memory, magnetic disk, and optical disk. The sleep environment control device 400 may operate in connection with web storage that performs a storage function of the memory 412 on the Internet. The description of the memory described above is only an example, and the present invention is not limited thereto.
컴퓨터 프로그램은 메모리(412)에 로드될 때, 수신제어부(416)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 수신제어부(416)는 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작을 수행할 수 있다.When loaded into the memory 412, the computer program may include one or more instructions that cause the reception control unit 416 to perform methods/operations according to various embodiments of the present invention. That is, the reception control unit 416 can perform methods/operations according to various embodiments of the present invention by executing one or more instructions.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 일 공간에 관련한 하나 이상의 센싱 정보를 획득하는 센서부(413)를 포함할 수 있다. 본 발명에서 일 공간은, 사용자가 생활하는 공간을 의미하는 것으로, 예컨대, 사용자가 수면을 취하는 침실을 의미할 수 있다.According to one embodiment of the present invention, the receiving module 410 may include a sensor unit 413 that acquires one or more sensing information related to a space. In the present invention, work space refers to the space where the user lives, and may, for example, refer to a bedroom where the user sleeps.
실시예에 따르면, 센서부(413)는 일 공간에서의 사용자의 움직임을 감지하는 제1센서부를 포함할 수 있다. 제1센서부는 PIR 센서(Passive Infrared Sensor) 및 초음파 센서 중 적어도 하나를 포함하여 구비될 수 있다. PIR 센서는 사용자의 신체에서 방출되는 적외선의 변화량을 감지하여 감지 범위 안에서 사용자의 움직임을 감지할 수 있다. 예컨대, PIR 센서는 사용자의 신체에 방출되는 8㎛~14㎛의 적외선을 식별하여 침실 내에서의 사용자의 움직임을 감지할 수 있다. 초음파 센서는 음파를 발생시키고, 특정 객체에 반사되어 돌아오는 신호를 감지하여 객체의 움직임을 감지할 수 있다. 예를 들어, 초음파 센서는 침실 공간내에 음파를 발생시키고, 사용자가 침실 내부로 들어옴에 따라 사용자의 신체에 반사되는 음파를 통해 침실 내부에 사용자의 움직임이 발생한 것을 감지할 수 있다.According to an embodiment, the sensor unit 413 may include a first sensor unit that detects the user's movement in a space. The first sensor unit may include at least one of a PIR sensor (Passive Infrared Sensor) and an ultrasonic sensor. The PIR sensor can detect the user's movement within the detection range by detecting changes in the amount of infrared rays emitted from the user's body. For example, the PIR sensor can detect the user's movements in the bedroom by identifying infrared rays of 8㎛ to 14㎛ emitted by the user's body. An ultrasonic sensor generates sound waves and can detect the movement of an object by detecting a signal that is reflected and returned from a specific object. For example, an ultrasonic sensor generates sound waves in a bedroom space, and as the user enters the bedroom, it can detect the user's movement inside the bedroom through sound waves reflected by the user's body.
또한, 실시예에서, 센서부(413)는 무선 신호에 기초하여 사용자가 일 공간의 기 설정된 영역에 위치하였는지 여부를 감지하는 제2센서부를 포함할 수 있다. 제2센서부는 송신 모듈(420)로부터 송신된 무선 신호를 수신하고, 수신한 무선 신호에 기초하여 기 설정된 영역에 사용자가 위치하였는지 여부를 감지할 수 있다. 실시예에서, 기 설정된 영역은, 일 공간 내에 위치한 영역 중 사용자가 수면을 취하기 위해 눕는 영역에 관련한 것으로, 예컨대, 침대가 구비된 영역을 의미할 수 있다. 구체적인 예를 들어, 본 발명에서 일 공간은, 침실 내부 공간을 의미할 수 있으며, 기 설정된 영역은 침대가 위치한 공간을 의미할 수 있다.Additionally, in an embodiment, the sensor unit 413 may include a second sensor unit that detects whether the user is located in a preset area of the work space based on a wireless signal. The second sensor unit may receive a wireless signal transmitted from the transmission module 420 and detect whether the user is located in a preset area based on the received wireless signal. In an embodiment, the preset area is related to an area where the user lies down to sleep among areas located in a work space, and may mean, for example, an area equipped with a bed. For a specific example, in the present invention, work space may mean the space inside the bedroom, and the preset area may mean the space where the bed is located.
실시예에서, 제2센서부는 기 설정된 영역을 기준으로 송신 모듈(420)과 서로 대향하는 위치에 구비되는 것을 특징으로 할 수 있다. 예를 들어, 송신 모듈(420) 및 제2센서부는 사용자가 수면을 취하는 침대를 중심으로 양측면 각각에 구비될 수 있다. 이 경우, 본 발명의 수면 환경 조절 장치(400)는 송신 모듈(230) 및 수신 모듈(240)을 통해 송신 및 수신되는 wifi 기반 OFDM 신호에 기반하여 사용자가 기 설정된 영역에 위치하였는지 관한 정보 및 사용자의 움직임이나 또는 호흡에 관한 정보인 객체 상태 정보를 획득할 수 있다.In an embodiment, the second sensor unit may be provided at a position opposite to the transmission module 420 based on a preset area. For example, the transmission module 420 and the second sensor unit may be provided on both sides of the bed where the user sleeps. In this case, the sleep environment control device 400 of the present invention provides information about whether the user is located in a preset area and the user based on the WiFi-based OFDM signal transmitted and received through the transmitting module 230 and the receiving module 240. Object state information, which is information about movement or breathing, can be obtained.
일 실시예에 따르면, 수신 모듈(410)은 제2센서부를 통해 사용자가 기 설정된 영역에 위치하는 것으로 판별된 경우, 환경조성부(415)의 구동을 허용할 수 있다. 다시 말해, 수신 모듈(410)은 사용자가 기 설정된 영역(11a)에 위치한 것으로 감지된 경우에만 환경조성부(415)의 구동을 허용할 수 있다. 즉, 수신 모듈(410)은 사용자가 기 설정된 영역에 위치한 경우에만, 환경 조정 동작을 수행하는 환경조성부(415)의 구동을 제어할 수 있다. 환경조성부(415)는 사용자가 특정 위치에 위치하지 않는 경우, 수면 환경을 변화시키기 위한 동작을 수행하지 않을 수 있다.According to one embodiment, the reception module 410 may allow the environment creation unit 415 to operate when it is determined through the second sensor unit that the user is located in a preset area. In other words, the reception module 410 may allow the operation of the environment creation unit 415 only when the user is detected to be located in the preset area 11a. That is, the receiving module 410 can control the operation of the environment creation unit 415 that performs an environment adjustment operation only when the user is located in a preset area. The environment creation unit 415 may not perform an operation to change the sleeping environment if the user is not located in a specific location.
추가적인 실시예에서, 센서부(413)는 사용자의 수면 환경과 관련하여 사용자의 신체 온도, 실내 온도, 실내 기류, 실내 습도 및 실내 조도 중 적어도 하나에 관련한 실내 환경 정보를 획득하기 위한 하나 이상의 환경 센싱 모듈을 포함할 수 있다. 실내 환경 정보는, 사용자의 수면 환경과 관련한 정보로서, 사용자의 수면 단계의 변화에 관련한 수면 상태를 통해 사용자의 수면에 대한 외부적 요인의 영향을 고려하기 위한 기준이 되는 정보일 수 있다. 하나 이상의 환경 센싱모듈은 예를 들어, 온도 센서, 기류 센서, 습도 센서, 음향 센서, 조도 센서 중 적어도 하나의 센서 모듈을 포함할 수 있다. 다만, 이에 제한되는 것은 아니고, 사용자의 수면에 영향을 줄 수 있는 외부적 환경을 측정할 수 있는 다양한 센서들을 더 포함할 수도 있다.In a further embodiment, the sensor unit 413 may perform one or more environmental sensing functions to obtain indoor environmental information related to at least one of the user's body temperature, indoor temperature, indoor airflow, indoor humidity, and indoor illumination in relation to the user's sleeping environment. Can contain modules. Indoor environment information is information related to the user's sleep environment, and may be information that serves as a standard for considering the influence of external factors on the user's sleep through sleep conditions related to changes in the user's sleep stage. One or more environmental sensing modules may include, for example, at least one sensor module selected from a temperature sensor, an airflow sensor, a humidity sensor, an acoustic sensor, and an illuminance sensor. However, it is not limited to this, and may further include various sensors capable of measuring external environments that may affect the user's sleep.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 음향수집부(414)를 포함할 수 있다. 음향수집부(414)는 소형의 마이크 모듈을 포함하여 구성되며, 사용자가 수면을 취하는 일 공간에 발생하는 음향에 대한 정보를 획득할 수 있다. 실시예에 따르면, 음향수집부(414)에 구비된 마이크 모듈은 비교적 작은 크기로 구비되는 MEMS(Micro-Electro Mechanical Systems)로 구성될 수 있다. 이러한 마이크 모듈은, 비용적인 측면에서 유리하며, 매우 소형으로 제작이 가능하나, 콘덴서 마이크(Condenser Microphone)나 다이나믹 마이크(dynamic microphone)에 비해 낮은 신호 대 잡음비(SNR)를 가질 수 있다. 신호 대 잡음비가 낮다는 것은, 식별하고자 하는 음향 대비 식별하지 않고자 하는 음향인 잡음의 비율이 높은 것으로 음향의 식별이 용이하지 않음(즉, 불분명함)을 의미할 수 있다. 본 발명에 서 분석의 대상이 되는 정보는, 수면 동안 획득되는 사용자의 호흡 및 움직임에 관련한 음향 정보 즉, 수면 음향 정보일 수 있다. 이러한 수면 음향 정보는, 사용자의 호흡 및 움직임 등 매우 미세한 음향에 관한 정보이며, 수면 환경 동안 다른 음향들과 함께 획득되는 것이므로, 낮은 신호 대 잡음비의 상기한 바와 같은 마이크 모듈을 통해 획득되는 경우, 탐지 및 분석이 매우 어려울 수 있다. 이에 따라, 수신제어부(416)는 낮은 신호 대 잡음비를 가진 수면 음향 정보가 획득되는 경우, 이를 처리 및/또는 분석하기 위한 데이터로 가공 처리할 수 있다.According to one embodiment of the present invention, the receiving module 410 may include a sound collection unit 414. The sound collection unit 414 includes a small microphone module and can obtain information about sounds occurring in the space where the user sleeps. According to the embodiment, the microphone module provided in the sound collection unit 414 may be composed of MEMS (Micro-Electro Mechanical Systems) that is relatively small in size. These microphone modules are cost-effective and can be manufactured very compactly, but may have a lower signal-to-noise ratio (SNR) than a condenser microphone or dynamic microphone. A low signal-to-noise ratio may mean that the ratio of noise, which is a sound that is not to be identified, to the sound that is to be identified is high, making it difficult to identify the sound (i.e., unclear). Information subject to analysis in the present invention may be acoustic information related to the user's breathing and movement acquired during sleep, that is, sleep acoustic information. This sleep sound information is information about very fine sounds such as the user's breathing and movement, and is acquired along with other sounds during the sleep environment, so when it is acquired through the microphone module as described above with a low signal-to-noise ratio, it is detected. and analysis can be very difficult. Accordingly, when sleep sound information with a low signal-to-noise ratio is obtained, the reception control unit 416 may process it into data for processing and/or analysis.
본 발명의 일 실시예에 따르면, 수신 모듈(410)은 환경조성부(415)를 포함할 수 있다. 환경조성부(415)는 사용자의 수면 환경을 조정할 수 있다. 구체적으로, 환경조성부(415)는 환경 조성 정보에 기초하여 사용자가 위치한 공간의 공기질, 조도, 온도, 풍향, 습도 및 음향 중 적어도 하나를 조정할 수 있다. 환경 조성 정보는, 사용자의 수면 상태 정보 판정에 기초하여 수신제어부(416)로부터 생성된 신호일 수 있다. 예를 들어, 환경 조성 정보는, 조도를 낮추거나 또는 높이는 등에 관한 정보를 포함할 수 있다. 추가적인 예를 들어, 환경 조성 정보는 온도, 습도, 풍향 또는 음향 중 적어도 하나를 조정하기 위한 제어정보를 포함할 수 있다. 환경 조성 정보는 사용자의 실시간 수면상태에 기초하여 미세먼지 제거, 유해가스 제거, 알러지 케어 구동, 탈취/제균 구동, 제습/가습 조절, 송풍 강도 조절, 공기청정기 구동소음 조절, LED 점등과 관련한 다양한 정보 등을 포함할 수 있다. 전술한 환경 조성 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.According to one embodiment of the present invention, the receiving module 410 may include an environment creation unit 415. The environment creation unit 415 can adjust the user's sleeping environment. Specifically, the environment creation unit 415 may adjust at least one of air quality, illumination, temperature, wind direction, humidity, and sound of the space where the user is located based on the environment creation information. The environmental composition information may be a signal generated by the reception control unit 416 based on determination of the user's sleep state information. For example, environment creation information may include information about lowering or increasing illumination, etc. As an additional example, the environmental composition information may include control information for adjusting at least one of temperature, humidity, wind direction, or sound. The environment creation information is based on the user's real-time sleep status and provides various information related to fine dust removal, harmful gas removal, allergy care operation, deodorization/sterilization operation, dehumidification/humidification control, blowing intensity control, air purifier operation noise control, and LED lighting. It may include etc. The detailed description of the above-described environmental composition information is only an example, and the present invention is not limited thereto.
환경조성부(415)는, 조도 제어, 온도 제어, 풍향 제어, 습도 제어 및 음향 제어 중 적어도 하나에 대한 제어를 수행할 수 있다. 다만, 이에 제한되는 것은 아니고, 환경조성부는 사용자의 수면 환경에 변화를 가져올 수 있는 다양한 제어 동작을 더 수행할 수 있다. 즉, 환경조성부(415)는 수신제어부(416)의 환경제어 신호에 기초하여 다양한 제어 동작을 수행함으로써, 사용자의 수면 환경을 조정할 수 있다.The environment creation unit 415 may control at least one of illuminance control, temperature control, wind direction control, humidity control, and sound control. However, it is not limited to this, and the environment creation unit may further perform various control operations that can bring about changes in the user's sleeping environment. That is, the environment creation unit 415 can adjust the user's sleeping environment by performing various control operations based on the environment control signal from the reception control unit 416.
추가적인 실시예에서, 환경조성부(415)는 사물 인터넷(IOT, Internet of Things)을 통한 연계를 통해 구현될 수도 있다. 구체적으로, 환경조성부(415)는 사용자가 위치하는 공간에 관련하여 실내 환경의 변화를 줄 수 있는 다양한 기기들과의 연계를 통해 구현될 수 있다. 예를 들어, 환경조성부(415)는 사물인터넷을 통한 연계에 기반한 스마트 에어컨, 스마트 히터, 스마트 보일러, 스마트 창문, 스마트 가습기, 스마트 제습기 및 스마트 조명 등으로 구현될 수 있다. 전술한 환경조성부에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이제 제한되지 않는다.In an additional embodiment, the environment creation unit 415 may be implemented through connection through the Internet of Things (IOT). Specifically, the environment creation unit 415 may be implemented through linkage with various devices that can change the indoor environment in relation to the space where the user is located. For example, the environment creation unit 415 may be implemented as a smart air conditioner, smart heater, smart boiler, smart window, smart humidifier, smart dehumidifier, and smart lighting based on connection through the Internet of Things. The specific description of the above-mentioned environmental preparation part is only an example, and the present invention is not limited.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다.According to one embodiment of the present invention, the reception control unit 416 may be composed of one or more cores, such as a central processing unit (CPU) of a computing device, and a general purpose graphics processing unit (GPGPU). ), and may include processors for data analysis and deep learning, such as a tensor processing unit (TPU).
수신제어부(416)는 메모리(412)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다.The reception control unit 416 may read the computer program stored in the memory 412 and perform data processing for machine learning according to an embodiment of the present invention.
본 발명의 일실시예에 따라 수신제어부(416)는 신경망의 학습을 위한 연산을 수행할 수 있다. 수신제어부(416)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.According to one embodiment of the present invention, the reception control unit 416 can perform calculations for learning a neural network. The reception control unit 416 performs neural network learning, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. calculations can be performed.
또한, 수신제어부(416)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.Additionally, at least one of the CPU, GPGPU, and TPU of the reception control unit 416 may process learning of the network function. For example, CPU and GPGPU can work together to process learning of network functions and data classification using network functions. Additionally, in one embodiment of the present invention, the processors of a plurality of computing devices can be used together to process learning of network functions and data classification using network functions. Additionally, a computer program executed in a computing device according to an embodiment of the present invention may be a CPU, GPGPU, or TPU executable program.
수신제어부(416)는 메모리(412)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 수면 분석 모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 수신제어부(416)는 수면 상태 정보에 기초하여 환경 조성 정보를 산출하기 위한 계산을 수행할 수 있다. 본 발명의 일 실시예에 따라 수신제어부(416)는 수면 분석 모델을 학습시키기 위한 계산을 수행할 수 있다.The reception control unit 416 may read the computer program stored in the memory 412 and provide a sleep analysis model according to an embodiment of the present invention. According to an embodiment of the present invention, the reception control unit 416 may perform calculations to calculate environmental composition information based on sleep state information. According to an embodiment of the present invention, the reception control unit 416 may perform calculations to learn a sleep analysis model.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 통상적으로 수면 환경 조절 장치(400)의 전반적인 동작을 처리할 수 있다. 수신제어부(416)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(412)에 저장된 응용 프로그램을 구동함으로써, 사용자 단말에게 적정한 정보 또는, 기능을 제공하거나 처리할 수 있다.According to one embodiment of the present invention, the reception control unit 416 can typically process the overall operation of the sleep environment control device 400. The reception control unit 416 processes signals, data, information, etc. input or output through the components discussed above or runs an application program stored in the memory 412 to provide or process appropriate information or functions to the user terminal. You can.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 사용자가 수면을 취하는 공간에 관련한 음향 정보를 획득할 수 있다. 본 발명의 일 실시예에 따른, 음향 정보의 획득은, 메모리(412)에 저장된 음향 정보를 획득하거나 또는 로딩(loading)하는 것일 수 있다. 또한, 음향 정보의 획득은, 유/무선 통신 수단에 기초하여 다른 저장 매체에, 다른 컴퓨팅 장치, 동일한 컴퓨팅 장치 내의 별도 처리 모듈로부터 데이터를 수신하거나 또는 로딩하는 것일 수 있다.According to one embodiment of the present invention, the reception control unit 416 may obtain sound information related to the space where the user sleeps. Acquisition of sound information according to an embodiment of the present invention may be acquiring or loading sound information stored in the memory 412. Additionally, acquisition of acoustic information may involve receiving or loading data from another storage medium, another computing device, or a separate processing module within the same computing device based on wired/wireless communication means.
일 실시예에 따르면, 수신제어부(416)는 환경 센싱 정보로부터 수면 음향 정보를 획득할 수 있다. 여기서 환경 센싱 정보는, 사용자의 일상생활 속에서 획득되는 음향 정보일 수 있다. 예컨대, 환경 센싱 정보는, 청소에 관련한 음향 정보, 음식 조리에 관련한 음향 정보, TV 시청에 관련한 음향 정보 등 사용자의 생활에 따라 획득되는 다양한 음향 정보를 포함할 수 있다.According to one embodiment, the reception control unit 416 may obtain sleep sound information from environmental sensing information. Here, the environmental sensing information may be acoustic information obtained during the user's daily life. For example, environmental sensing information may include various sound information acquired according to the user's life, such as sound information related to cleaning, sound information related to cooking food, and sound information related to watching TV.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 환경 센싱 정보에 기 설정된 패턴의 정보가 감지되는 특이점을 식별할 수 있다. 여기서 기 설정된 패턴의 정보는, 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많은 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다. 반면, 사용자가 수면을 취하는 경우에는, 자율신 경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 즉, 수신제어부(416)는 환경 센싱 정보에서, 규칙적인 호흡, 적은 몸의 움직임 또는 적은 호흡음 등에 관련한 기 설정된 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 수신제어부(416)는 식별된 특이점을 기준으로 획득되는 환경 센싱 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 수신제어부(416)는 시계열적으로 획득되는 환경 센싱 정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.According to one embodiment of the present invention, the reception control unit 416 may identify a singularity in which information of a preset pattern is sensed in environmental sensing information. Here, the preset pattern information may be related to breathing and movement patterns related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed. On the other hand, when the user sleeps, the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder. That is, the reception control unit 416 may identify the point in time at which sound information of a preset pattern related to regular breathing, small body movement, or small breathing sounds, etc., is detected as a singular point in the environmental sensing information. Additionally, the reception control unit 416 may acquire sleep sound information based on environmental sensing information obtained based on the identified singularity. The reception control unit 416 may identify a singularity related to the user's sleep time from the environmental sensing information acquired in time series and obtain sleep sound information based on the singularity.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 환경 센싱 정보로부터 기 설정된 패턴이 식별되는 시점에 관련한 특이점을 식별할 수 있다. 또한, 수신제어부(416)는 식별된 특이점을 기준으로 해당 특이점 이후에 획득되는 음향 정보들에 기초하여 수면 음향 정보를 획득할 수 있다.According to one embodiment of the present invention, the reception control unit 416 may identify a singularity related to the point in time when a preset pattern is identified from environmental sensing information. Additionally, the reception control unit 416 may acquire sleep sound information based on the identified singular point and sound information acquired after the singular point.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 환경 센싱 정보로부터 사용자의 수면에 관련한 특이점을 식별함으로써, 방대한 양의 음향 정보로부터 수면 음향 정보만을 추출하여 획득할 수 있다. 다시 말해, 일 공간에서 발생한 음향들 중 수면에 관련한 음향(즉, 수면 음향 정보)만을 획득할 수 있다. 이는, 사용자가 자신의 수면 시간을 기록하는 과정을 자동화하도록 하여 편의성을 제공함과 동시에, 획득되는 수면 음향 정보의 정확성 향상에 기여할 수 있다.According to one embodiment of the present invention, the reception control unit 416 can extract and obtain only sleep sound information from a vast amount of sound information by identifying peculiarities related to the user's sleep from environmental sensing information. In other words, only sounds related to sleep (i.e., sleep sound information) can be obtained among sounds generated in one space. This provides convenience by allowing users to automate the process of recording their sleep time, and can also contribute to improving the accuracy of acquired sleep sound information.
실시예에 따르면, 수신제어부(416)는 음향 정보에 기초하여 수면 상태 정보를 산출할 수 있다. 구체적으로, 수신제어부(416)는 음향수집부(414)를 통해 획득한 사용자의 수면 음향 정보에 기초하여 수면 상태 정보를 산출할 수 있다.According to an embodiment, the reception control unit 416 may calculate sleep state information based on sound information. Specifically, the reception control unit 416 may calculate sleep state information based on the user's sleeping sound information obtained through the sound collection unit 414.
일 실시예에서, 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보를 포함할 수 있다. 구체적으로, 수면 상태 정보는, 사용자가 수면 전이라는 제1수면 상태 정보, 사용자가 수면 중이라는 제2수면 상태 정보 및 사용자가 수면 후라는 제3수면 상태 정보 중 적어도 하나를 포함할 수 있다.In one embodiment, sleep state information may include information related to whether the user is sleeping. Specifically, the sleep state information may include at least one of first sleep state information indicating that the user is before sleep, second sleep state information indicating that the user is sleeping, and third sleep state information indicating that the user is after sleep.
이러한 수면 상태 정보는, 수면 음향 정보에 기초하여 획득되는 것을 특징으로 할 수 있다. 수면 음향 정보는, 비접촉 방식으로 사용자가 위치한 공간에서 사용자의 수면 동안 획득되는 음향 정보를 포함할 수 있다.This sleep state information may be obtained based on sleep sound information. Sleep sound information may include sound information acquired during the user's sleep in a space where the user is located in a non-contact manner.
실시예에서, 수신제어부(416)는 음향 정보로부터 식별된 특이점을 기준으로 사용자가 수면 전인지 또는 수면 중인지 여부에 관련한 수면 상태 정보를 획득할 수 있다. 구체적으로, 수신제어부(416)는 특이점이 식별되지 않는 경우, 사용자가 수면 전인 것으로 판단할 수 있으며, 특이점이 식별되는 경우, 해당 특이점 이후 사용자가 수면 중이라고 판단할 수 있다. 또한, 수신제어부(416)는 특이점이 식별된 이후, 기 설정된 패턴이 관측되지 않는 시점(예컨대, 기상 시점)을 식별하고, 해당 시점이 식별된 경우, 사용자가 수면 후, 즉 기상하였다고 판단할 수 있다.In an embodiment, the reception control unit 416 may obtain sleep state information related to whether the user is before sleep or in sleep based on a singularity identified from the sound information. Specifically, if a singular point is not identified, the reception control unit 416 may determine that the user is before sleeping, and if a singular point is identified, the reception control unit 416 may determine that the user is sleeping after the singular point. In addition, after the singular point is identified, the reception control unit 416 identifies a time point (e.g., waking up time) at which the preset pattern is not observed, and when the corresponding time point is identified, it can be determined that the user has woken up after sleeping. there is.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 음향 정보에서 특이점이 식별되는지 여부 및 특이점이 식별된 이후, 기 설정된 패턴이 지속적으로 감지되는지 여부에 기초하여 사용자가 수면 전인지, 중인지, 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있다.According to one embodiment of the present invention, the reception control unit 416 determines whether the user is before or during sleep based on whether a singular point is identified in the sound information and whether a preset pattern is continuously detected after the singular point is identified. Alternatively, sleep state information related to whether or not the user is asleep can be obtained.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 센싱 정보 및 수면 상태 정보에 기초하여 환경 조성 정보를 생성할 수 있다. 구체적으로, 수신제어부(416)는 센서부(413)를 통해 획득한 센싱 정보 및 음향 분석 결과 획득된 수면 상태 정보에 기초하여 환경 조성 정보를 생성할 수 있다. 수신제어부(416)는 센싱 정보 및 수면 상태 정보에 기초하여 환경 조성 정보를 생성하고, 생성된 환경 조성 정보를 환경조성부(415)로 전송함으로써, 환경조성부(415)의 수면 환경 변화 동작을 제어할 수 있다.According to an embodiment of the present invention, the reception control unit 416 may generate environment creation information based on sensing information and sleep state information. Specifically, the reception control unit 416 may generate environmental composition information based on sensing information obtained through the sensor unit 413 and sleep state information obtained as a result of sound analysis. The reception control unit 416 generates environment creation information based on the sensing information and sleep state information, and transmits the generated environment creation information to the environment creation unit 415, thereby controlling the sleep environment change operation of the environment creation unit 415. You can.
실시예에서, 수신제어부(416)는 수면 상태 정보에 기초하여 환경 조성 정보를 생성할 수 있다. 수신제어부(416)는 제1수면 상태 정보에 기초하여 제1환경 조성 정보를 생성할 수 있다. 구체적으로, 수신제어부(416)는 사용자가 수면 전이라는 제1수면 상태 정보를 획득한 경우, 해당 제1수면 상태 정보에 기초하여 제1환경 조성 정보를 생성할 수 있다. 즉, 수신제어부(416)는 사용자의 수면 상태가 수면 전인 경우, 일정시간 동안 기 설정된 백색광을 공급하도록 하는 제1환경 조성 정보를 생성할 수 있다.In an embodiment, the reception control unit 416 may generate environmental composition information based on sleep state information. The reception control unit 416 may generate first environment creation information based on the first sleep state information. Specifically, when the user obtains first sleep state information indicating that the user is before sleep, the reception control unit 416 may generate first environment creation information based on the first sleep state information. That is, when the user's sleep state is before sleep, the reception control unit 416 may generate first environment creation information to supply a preset white light for a certain period of time.
본 발명의 일 실시예에 따르면, 제1환경 조성 정보는 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거하도록 공기청정기를 제어하기 위한 제어 정보일 수 있다. 그리고, 제1환경 조성 정보는 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 공기청정기를 제어하거나, 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추는 등의 정보를 포함할 수 있다. 이와 함께, 제1환경 조성 정보는 수면공간 내의 온도 및 습도 정보에 기초하여 제습/가습을 실행하도록 공기청정기를 제어하기 위한 정보를 포함할 수 있다.According to an embodiment of the present invention, the first environment creation information may be control information for controlling the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before) before the user sleeps. In addition, the first environment creation information is such as controlling the air purifier to generate noise (white noise) at a level that can induce sleep just before sleep, adjusting the blower intensity below the preset intensity, or lowering the intensity of the LED. May contain information. In addition, the first environment creation information may include information for controlling the air purifier to perform dehumidification/humidification based on temperature and humidity information in the sleeping space.
실시예에 따르면, 수면 유도 시점은, 수신제어부(416)에 의해 결정될 수 있다. 구체적으로, 수신제어부(416)는 사용자의 사용자 단말(300)과의 정보 교환을 통해 수면 유도 시점을 결정할 수 있다. 구체적인 예를 들어, 사용자는 자신이 수면하고자 하는 시간 및 기상하고자 하는 시간을 사용자 단말(300)을 통해 설정하여 수면 계획 정보를 생성할 수 있으며, 생성된 수면 계획 정보를 수신제어부(416)로 전달할 수 있다. 이 경우, 수면 계획 정보는, 희망 취침 시간 정보 및 희망 기상 시간 정보를 포함할 수 있다. 수신제어부(416)는 희망 취침 시간 정보에 기초하여 수면 유도 시점을 식별할 수 있다. According to the embodiment, the time to induce sleep may be determined by the reception control unit 416. Specifically, the reception control unit 416 may determine the time to induce sleep through information exchange with the user's user terminal 300. For a specific example, the user can create sleep plan information by setting the time he or she wants to sleep and the time he or she wants to wake up through the user terminal 300, and transmit the generated sleep plan information to the reception control unit 416. You can. In this case, the sleep plan information may include desired bedtime information and desired wake-up time information. The reception control unit 416 may identify the time to induce sleep based on desired bedtime information.
또한 실시예에 따르면, 수신제어부(416)는 환경 센싱 정보에 기초하여 사용자의 수면 의도 정보를 획득하고, 수면 의도 정보에 기초하여 수면 유도 시점을 결정할 수 있다. Additionally, according to the embodiment, the reception control unit 416 may obtain the user's sleep intention information based on environmental sensing information and determine the time to induce sleep based on the sleep intention information.
본 발명의 일 실시예에 따른 수신제어부(416)는 환경 센싱 정보에 기반하여 수면 의도 정보를 획득할 수 있다. 일 실시예에 따르면, 수신제어부(416)는 환경 센싱 정보에 포함된 음향의 종류를 식별할 수 있다. 또한, 수신제어부(416)는 식별된 음향의 종류의 수에 기초하여 수면 의도 정보를 산출할 수 있다. 수신제어부(416)는 음향의 종류의 수가 많을수록 수면 의도 정보를 낮게 산출할 수 있으며, 음향의 종류가 적을수록 수면 의도 정보를 높게 산출할 수 있다.The reception control unit 416 according to an embodiment of the present invention may obtain sleep intention information based on environmental sensing information. According to one embodiment, the reception control unit 416 may identify the type of sound included in the environmental sensing information. Additionally, the reception control unit 416 may calculate sleep intention information based on the number of types of identified sounds. The reception control unit 416 can calculate the sleep intention information at a lower level as the number of types of sounds increases, and can calculate the sleep intention information higher as the number of types of sounds decreases.
즉, 수신제어부(416)는 환경 센싱 정보에 포함된 음향의 종류의 수에 따라 사용자가 수면을 취할 의도가 얼마나 있는지에 관련한 수면 의도 정보를 획득할 수 있다. 예컨대, 많은 종류의 음향이 식별될수록, 사용자의 수면 의도가 낮다는 수면 의도 정보(즉, 낮은 점수의 수면 의도 정보)가 출력될 수 있다.That is, the reception control unit 416 can obtain sleep intention information related to how much the user intends to sleep according to the number of types of sounds included in the environmental sensing information. For example, as more types of sounds are identified, sleep intention information indicating that the user's sleep intention is lower (i.e., sleep intention information with a lower score) may be output.
또한 실시예에서, 수신제어부(416)는 복수의 음향 정보 각각에 상이한 의도 점수를 사전 매칭하여 의도 점수 테이블을 생성할 수 있다. 수신제어부(416)는 환경 센싱 정보 및 의도 점수 테이블에 기초하여 수면 의도 정보를 획득할 수 있다. 구체적으로, 수신제어부(416)는 환경 센싱 정보에서 의도 점수 테이블에 포함된 복수의 음향 중 적어도 하나가 식별되는 시점에 대응하여, 식별된 음향에 매칭된 의도 점수를 기록할 수 있다. Additionally, in an embodiment, the reception control unit 416 may generate an intent score table by pre-matching different intent scores to each of a plurality of sound information. The reception control unit 416 may obtain sleep intention information based on environmental sensing information and an intention score table. Specifically, the reception control unit 416 may record an intention score matched to the identified sound in response to a time when at least one of the plurality of sounds included in the intention score table is identified in the environmental sensing information.
실시예에서, 수신제어부(416)는 미리 정해진 시간(예컨대, 10분) 동안 획득된 의도 점수의 합에 기초하여 수면 의도 정보를 획득할 수 있다. 즉, 수신제어부(416)는 환경 센싱 정보에 포함된 음향의 특성에 따라 사용자가 수면을 취할 의도가 얼마나 있는지에 관련한 수면 의도 정보를 획득할 수 있다. 예컨대, 사용자의 활동에 관련한 음향이 식별될수록, 사용자의 수면 의도가 낮다는 수면 의도 정보(즉, 낮은 점수의 수면 의도 정보)가 출력될 수 있다.In an embodiment, the reception control unit 416 may obtain sleep intention information based on the sum of intention scores obtained during a predetermined period of time (eg, 10 minutes). That is, the reception control unit 416 can obtain sleep intention information related to how much the user intends to sleep according to the characteristics of the sound included in the environmental sensing information. For example, as sounds related to the user's activity are identified, sleep intention information indicating that the user's sleep intention is low (i.e., sleep intention information with a low score) may be output.
실시예에 따르면, 수신제어부(416)는 수면 의도 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 구체적으로, 수신제어부(416)는 수면 의도 정보가 미리 정해진 임계 점수를 초과하는 시점을 수면 유도 시점으로 식별할 수 있다. 즉, 수신제어부(416)는 높은 수면 의도 정보가 획득되는 경우, 이를 수면 유도에 적절한 시점 즉, 수면 유도 시점으로 식별할 수 있다.According to the embodiment, the reception control unit 416 may determine the time to induce sleep based on sleep intention information. Specifically, the reception control unit 416 may identify the time when sleep intention information exceeds a predetermined threshold score as the sleep induction time. That is, when high sleep intention information is obtained, the reception control unit 416 can identify this as an appropriate time for sleep induction, that is, a sleep induction time.
또한, 실시예에서, 수신제어부(416)는 센서부(413)를 통해 획득한 센싱 정보에 기초하여 수면 의도 가중 정보를 산출할 수 있다. 구체적으로, 수신제어부(416)는 제1센서부를 통해 일 공간에 사용자의 움직임 발생한 이후, 제2센서부를 통해 기 설정된 영역에 사용자가 위치함을 식별한 경우, 사용자가 수면 의도가 높은 것으로 판별할 수 있으며, 이에 대응하여 1에 관련한 수면 의도 가중 정보를 산출할 수 있다. 수신제어부(416)는 제1센서부 및 제2센서부를 통해 일 공간 및 기설정된 영역 내 사용자의 움직임이 발생하지 않으며, 사용자가 위치하지 않음을 감지하는 경우, 사용자가 수면 의도를 갖고 있지 않는 것으로 판별할 수 있으며, 이에 대응하여 0에 관련한 수면 의도 가중 정보를 산출할 수 있다. 즉, 수신제어부(416)는 센서부(413)를 통해 사용자가 특정 공간(예컨대, 침대 공간)에 위치한 것으로 감지되는 경우, 1에 관련한 수면 의도 가중 정보를 산출하고, 특정 공간에 사용자가 위치하지 않았다고 감지하는 경우, 0에 관련한 수면 의도 가중 정보를 산출할 수 있다. 다시 말해, 수신제어부(416)는 일 공간 및 기 설정된 영역에 사용자가 위치하였는지 여부에 따라 0 또는 1에 관련한 수면 의도 가중 정보를 산출할 수 있다.Additionally, in an embodiment, the reception control unit 416 may calculate sleep intention weighting information based on sensing information acquired through the sensor unit 413. Specifically, when the reception control unit 416 identifies that the user is located in a preset area through the second sensor unit after the user's movement occurs in one space through the first sensor unit, it can determine that the user has a high intention to sleep. In response, sleep intention weighted information related to 1 can be calculated. When the reception control unit 416 detects through the first sensor unit and the second sensor unit that no movement of the user occurs within the work space or preset area and that the user is not located, it determines that the user does not intend to sleep. It can be determined, and correspondingly, sleep intention weighting information related to 0 can be calculated. That is, when the reception control unit 416 detects that the user is located in a specific space (e.g., bed space) through the sensor unit 413, it calculates sleep intention weighting information related to 1 and determines that the user is not located in the specific space. If it is detected that it is not, sleep intention weighting information related to 0 can be calculated. In other words, the reception control unit 416 may calculate sleep intention weighting information related to 0 or 1 depending on whether the user is located in the work space and a preset area.
실시예에 따르면, 수신제어부(416)는 센싱 정보 및 수면 상태 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 구체적으로, 수신제어부(416)는 센서부(413)를 통해 획득한 센싱 정보 및 음향 분석 결과 획득된 수면 상태 정보에 기초하여 수면 유도 시점을 결정할 수 있다. According to the embodiment, the reception control unit 416 may determine the time to induce sleep based on sensing information and sleep state information. Specifically, the reception control unit 416 may determine the time to induce sleep based on the sensing information obtained through the sensor unit 413 and the sleep state information obtained as a result of sound analysis.
수신제어부(416)는 환경 센싱 정보에 기반하여 산출된 수면 의도 정보와 센싱 정보를 통해 산출된 수면 의도 가중 정보에 기초하여 수면 유도 시점을 결정할 수 있다. 예컨대, 수면 의도 정보와 수면 의도 가중 정보를 통해 최종 수면 의도 정보가 획득될 수 있으며, 최종 수면 의도 정보가 일정 이상의 임계치를 초과하는 시점을 수면 유도 시점으로 결정할 수 있다. The reception control unit 416 may determine the time to induce sleep based on sleep intention information calculated based on environmental sensing information and sleep intention weighting information calculated through sensing information. For example, final sleep intention information may be obtained through sleep intention information and sleep intention weighting information, and the time when the final sleep intention information exceeds a certain threshold may be determined as the sleep induction time point.
예를 들어, 수신제어부(416)는 수면 의도 정보와 수면 의도 가중 정보의 곱을 통해 최종 수면 의도 정보를 산출할 수 있다. 구체적인 예를 들어, 환경 센싱 정보에 기초하여 산출된 수면 의도 정보가 '9'이며, 센싱 정보에 기초하여 산출된 수면 의도 가중 정보가 '0'인 경우, 최종 수면 의도 정보는 0으로 산출될 수 있으며, 수신제어부(416)는 미리 정해진 임계치(예컨대, 8)를 넘지 못하는 것으로 판별할 수 있다. 다른 예를 들어, 수면 의도 정보가 '9'이며, 수면 의도 가중 정보가 '1'인 경우, 최종 수면 의도 정보는 9로 산출될 수 있으며, 수신제어부(416)는 미리 정해진 임계치(예컨대, 8)를 초과한 것으로 판별하여 해당 시점을 수면 유도 시점으로 결정할 수 있다. 전술한 수면 의도 정보, 수면 의도 가중 정보 및 최종 수면 의도 정보에 관한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다. For example, the reception control unit 416 may calculate the final sleep intention information by multiplying the sleep intention information and the sleep intention weighting information. For a specific example, if the sleep intention information calculated based on environmental sensing information is '9' and the sleep intention weighting information calculated based on the sensing information is '0', the final sleep intention information can be calculated as 0. and the reception control unit 416 may determine that it does not exceed a predetermined threshold (eg, 8). For another example, if the sleep intention information is '9' and the sleep intention weighting information is '1', the final sleep intention information may be calculated as 9, and the reception control unit 416 may set a predetermined threshold (e.g., 8 ) can be determined to be exceeded, and that point in time can be determined as the time to induce sleep. The detailed numerical description of the above-described sleep intention information, sleep intention weighted information, and final sleep intention information is only an example, and the present invention is not limited thereto.
상기와 같이, 음향 정보를 통해 높은 수면 의도 정보가 획득될지라도, 사용자가 일정 위치에 위치하였는지 여부에 따라 최종 수면 의도 정보가 변화될 수 있다. 예컨대, 환경 센싱 정보에 기초하여 높은 수면 의도 정보(예컨대, 10)이 산출되더라도, 사용자가 일정 위치에 위치하지 않는 경우, 최종 수면 의도 정보가 0이 됨에 따라, 최종적으로 사용자의 수면 의도가 낮다고 판별할 수 있다.As described above, even if high sleep intention information is obtained through sound information, the final sleep intention information may change depending on whether the user is located in a certain location. For example, even if high sleep intention information (e.g., 10) is calculated based on environmental sensing information, if the user is not located in a certain location, the final sleep intention information becomes 0, and it is ultimately determined that the user's sleep intention is low. can do.
전술한 바와 같이, 수신제어부(416)는 사용자의 수면 유도 시점을 결정할 수 있다. 이에 따라, 수신제어부(416)는 사용자가 수면 전이라는 제1수면 상태 정보를 획득하는 경우, 수면 유도 시점을 기준으로 제2수면 상태 정보가 획득되는 시점까지 광을 조정하도록 하는 제1환경 조성 정보(3000K의 백색광을 30 lux의 조도로 공급)를 생성할 수 있다.As described above, the reception control unit 416 can determine the timing of inducing the user to sleep. Accordingly, when the user acquires the first sleep state information that is before sleep, the reception control unit 416 provides first environment creation information to adjust the light from the sleep induction point to the point in time when the second sleep state information is acquired. (3000K white light supplied at an illuminance of 30 lux) can be generated.
즉, 수신제어부(416)는 사용자의 상태가 수면 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지 광을 조정하도록 하는 제1환경 조성 정보를 생성할 수 있으며, 해당 제1환경 조성 정보를 환경조성부(415)로 전송할 것을 결정할 수 있다. 이에 따라, 사용자가 잠들기 20분(예컨대, 수면 유도 시점)전부터 잠에 드는 순간까지 3000K의 백색광이 30 lux의 조도로 공급될 수 있다. 이는 사용자가 잠들기 전 멜라토닌 분비에 탁월한 광이며, 하여금 자연스럽게 수면에 들도록 유도하는 것으로, 사용자의 수면 효율을 향상시킬 수 있다.That is, when the user's state is before sleep, the reception control unit 416 obtains the second sleep state information from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep. It is possible to generate first environment creation information to adjust the light up to the point in time) and decide to transmit the first environment creation information to the environment creation unit 415. Accordingly, 3000K white light can be supplied at an illumination intensity of 30 lux from 20 minutes before the user falls asleep (eg, the time of sleep induction) until the moment the user falls asleep. This is an excellent light for secreting melatonin before the user falls asleep, and can improve the user's sleep efficiency by encouraging the user to fall asleep naturally.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 제2수면 상태 정보에 기초하여 제2환경 조성 정보를 생성할 수 있다. 제2환경 조성 정보는, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 하는 제어 정보일 수 있다. 즉, 수신제어부(416)는 사용자의 수면 상태가 수면 중인 경우, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 할 수 있다. 예컨대, 수면 중 빛의 간섭이 있을 경우, 파편적으로 잠을 잘 확률이 높아져 좋은 숙면을 취하기 어려울 수 있다.According to an embodiment of the present invention, the reception control unit 416 may generate second environment creation information based on second sleep state information. The second environment creation information may be control information that minimizes the illuminance to create a dark room environment without light. That is, when the user's sleeping state is sleeping, the reception control unit 416 can minimize the illumination to create a dark room environment without light. For example, if there is interference from light during sleep, the likelihood of sleeping fragmented increases, making it difficult to get a good night's sleep.
또한, 제2환경 조성 정보는 제2수면 상태 정보에 기초한 것으로, 공기청정기의 LED를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기청정기를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하도록 공기청정기를 제어하기 위한 제어 정보일 수 있다. 사용자는 수면 직전 미세먼지, 유해가스가 제거된 수면공간 내에서 공기흐름, 백색소음 등으로 수면이 유도될 수 있고, 입면 후 최적의 온도, 습도 등이 제어된 상태에서 숙면을 취할 수 있게 된다.In addition, the second environment creation information is based on the second sleep state information, such as turning off the LED of the air purifier, operating the air purifier with noise below a preset level, or adjusting the blowing intensity below the preset intensity. , It may be control information for controlling the air purifier to set the blowing temperature within a preset range or to maintain the humidity in the sleeping space at a predetermined temperature. Users can be induced to sleep by airflow and white noise in a sleeping space where fine dust and harmful gases have been removed just before sleep, and after going to sleep, they can have a good night's sleep with the optimal temperature and humidity controlled.
즉, 수신제어부(416)는 사용자가 수면(또는 수면 단계)에 진입하였음을 감지하는 경우(제2수면 상태 정보를 획득하는 경우), 광이 공급되지 않도록 하는 제어 정보 즉, 제2환경 조성 정보를 생성할 수 있다. 이에 따라, 사용자가 깊은 잠을 잘 확률이 높아져 수면의 질이 향상될 수 있다.That is, when the reception control unit 416 detects that the user has entered sleep (or sleep stage) (when obtaining second sleep state information), the reception control unit 416 provides control information to prevent light from being supplied, that is, second environment creation information. can be created. Accordingly, the user's probability of having a deep sleep increases and the quality of sleep can be improved.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 기상 유도 시점에 기초하여 제3환경 조성 정보를 생성할 수 있다. 예를 들어, 제3환경 조성 정보는 사용자의 기상 전 30분 전(즉, 기상 유도 시점)부터 조도를 서서히 올리는 것에 관련한 제어 정보일 수 있다. 여기서, 기상 유도 시점은, 기상 예측 시점에 기초하여 결정되는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the reception control unit 416 may generate third environment creation information based on the wake-up induction point. For example, the third environment creation information may be control information related to gradually increasing the illumination intensity starting 30 minutes before the user wakes up (i.e., the time of inducing the user to wake up). Here, the weather induction time may be determined based on the weather prediction time.
일 실시예에서, 기상 유도 시점은, 희망 기상 시간 정보에 기초하여 결정될 수 있다. 희망 기상 시간 정보는, 사용자가 희망하는 기상 시점에 관한 정보일 수 있다.In one embodiment, the wake-up induction time may be determined based on desired wake-up time information. The desired wake-up time information may be information about the user's desired wake-up time.
일 실시예에서, 희망 기상 시간 정보는 사용자의 사용자 단말(300)과의 정보 교환을 통해 획득되는 것을 특징으로 할 수 있다. 사용자는 자신이 취침하고자 하는 시점 및 자신이 기상하고자 하는 시점을 사용자 단말(300)을 통해 설정하여 수신제어부(416)로 전달할 수 있다. 수신제어부(416)는 사용자 단말(300)의 사용자가 설정한 기상 시점에 기초하여 희망 기상 시간 정보를 획득할 수 있다.In one embodiment, the desired wake-up time information may be obtained through information exchange with the user's user terminal 300. The user can set the time when he wants to sleep and when he wants to wake up through the user terminal 300 and transmit the information to the reception control unit 416. The reception control unit 416 may obtain desired wake-up time information based on the wake-up time set by the user of the user terminal 300.
다른 실시예에서, 기상 유도 시점은 기상 예측 시점에 기초하여 결정될 수 있다. 여기서, 기상 예측 시점은, 제2수면 상태 정보를 통해 식별된 수면 인입 시점에 기초하여 결정되는 것을 특징으로 할 수 있다. 구체적으로, 수신제어부(416)는 사용자가 수면 중이라는 제2수면 상태 정보를 통해 사용자의 수면 인입 시점을 파악할 수 있다. 수신제어부(416)는 제2수면 상태 정보를 통해 파악한 수면 인입 시점에 기초하여 기상 예측 시점을 결정할 수 있다. In another embodiment, the weather induction timing may be determined based on the weather prediction timing. Here, the wake-up prediction time may be determined based on the sleep entry time identified through the second sleep state information. Specifically, the reception control unit 416 can identify the user's sleep entry point through the second sleep state information indicating that the user is sleeping. The reception control unit 416 may determine the weather prediction time based on the sleep entry time determined through the second sleep state information.
또 다른 실시예에서, 기상 예측 시점은, 사용자의 수면 단계 정보에 기초하여 결정되는 것을 특징으로 할 수 있다. 예컨대, 사용자는 REM 단계에서 기상하는 경우 가장 개운하게 일어날 수 있다. 하루밤 수면 동안, 사용자는 경도 수면(light), 깊은 수면(deep), 경도 수면, REM 수면 순으로 수면 사이클을 가질 수 있으며, REM 수면 단계에서 기상했을 때 가장 개운하게 기상할 수 있다.In another embodiment, the wake-up prediction time may be determined based on the user's sleep stage information. For example, a user may wake up most refreshed if he or she wakes up in the REM stage. During one night's sleep, the user can have sleep cycles in the order of light sleep, deep sleep, light sleep, and REM sleep, and can wake up most refreshed when waking up in the REM sleep stage.
이에 따라, 수신제어부(416)는 사용자의 수면 단계에 관련한 수면 단계 정보를 통해 사용자의 기상 예측 시점을 결정할 수 있다. 구체적인 예를 들어, 수신제어부(416)는 수면 단계 정보를 통해 사용자가 REM 단계에서 다른 수면 단계로 변화하는 시점을 기상 예측 시점으로 결정할 수 있다. 즉, 수신제어부(416)는 사용자가 가장 개운하게 기상할 수 있는 수면 단계 정보(즉, REM 수면 단계)에 기초하여 기상 예측 시점을 결정할 수 있다.Accordingly, the reception control unit 416 can determine the predicted wake-up time of the user through sleep stage information related to the user's sleep stage. For a specific example, the reception control unit 416 may determine the time when the user changes from the REM stage to another sleep stage as the wake-up prediction time through sleep stage information. That is, the reception control unit 416 can determine the predicted wake-up time based on information on the sleep stage at which the user can wake up most refreshed (i.e., REM sleep stage).
전술한 바와 같이, 수신제어부(416)는 사용자 단말로부터 획득한 수면 계획 정보, 수면 인입 시점 및 수면 단계 정보 중 적어도 하나에 기초하여 사용자의 기상 예측 시점을 결정할 수 있다. 또한, 수신제어부(416)는 사용자가 기상하고자 하는 시점인 기상 예측 시점을 결정한 경우, 해당 기상 예측 시점에 기초하여 기상 유도 시점을 결정할 수 있다. 예를 들어, 수신제어부(416)는 사용자가 기상하고자 하는 시점을 기준으로 30분 전 시점을 기상 유도 시점으로 결정할 수 있다.As described above, the reception control unit 416 may determine the predicted wake-up time of the user based on at least one of sleep plan information, sleep entry time, and sleep stage information acquired from the user terminal. In addition, when the reception control unit 416 determines the weather prediction time, which is the time when the user wants to wake up, the reception control unit 416 may determine the wake-up induction time based on the corresponding weather prediction time. For example, the reception control unit 416 may determine a time point 30 minutes prior to the time the user wants to wake up as the time point for inducing the user to wake up.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 사용자의 기상이 예측되는 기상 예측 시점을 파악하여 기상 유도 시점을 식별하고, 기상 유도 시점으로부터 기상 시점(예컨대, 사용자가 실제 기상할 때까지) 3000K의 백색광을 0 lux에서 250 lux조도로 점진적으로 증가시켜 공급하도록 하는 제3환경 조성 정보를 생성할 수 있다. 수신제어부(416)는 해당 제3환경 조성 정보를 환경조성부(415)로 전송할 것을 결정할 수 있으며, 이에 따라, 환경조성부(415)는 제3환경 조성 정보에 기반하여 사용자가 위치한 공간에서 광에 관련한 조정 동작을 수행할 수 있다. 예컨대, 환경조성부(415)는 기상 30분 전부터 3000K의 백색광을 0 lux에서 250 lux조도 점진적으로 증가시킬 수 있다. According to one embodiment of the present invention, the reception control unit 416 determines the weather prediction time at which the user's wake-up is predicted to identify the wake-up induction time, and from the wake-up induction time to the wake-up time (e.g., until the user actually wakes up) ) Third environment composition information can be generated to supply 3000K white light by gradually increasing the illuminance from 0 lux to 250 lux. The reception control unit 416 may decide to transmit the corresponding third environment creation information to the environment creation unit 415. Accordingly, the environment creation unit 415 may determine light-related information in the space where the user is located based on the third environment creation information. Adjustment operations can be performed. For example, the environmental preparation unit 415 may gradually increase the 3000K white light from 0 lux to 250 lux starting 30 minutes before waking up.
또는, 본 발명의 일 실시예에 따르면 제3환경 조성 정보는 기상 시점에 송풍 세기 및 소음을 낮춰 기상을 유도하도록 공기청정기를 제어하기 위한 정보를 포함할 수 있다. 또는, 제3환경 조성 정보는 기상을 서서히 유도하기 위해 백색 소음을 발생시킬 수 있도록 공기청정기를 제어하기 위한 제어 정보를 포함할 수 있다. 제3환경 조성 정보는 기상 이후 공기청정기의 소음을 기설정된 레벨 이하로 유지하도록 공기청정기를 제어하기 위한 제어 정보를 포함할 수 있다. 또한, 제3환경 조성 정보는 기상 예측 시점, 기상 추천 시점에 연동하여 공기청정기를 제어하기 위한 제어 정보를 포함할 수 있다.Alternatively, according to an embodiment of the present invention, the third environment creation information may include information for controlling the air purifier to induce waking up by lowering the blowing intensity and noise at the time of waking up. Alternatively, the third environment creation information may include control information for controlling the air purifier to generate white noise to gradually induce waking up. The third environment creation information may include control information for controlling the air purifier to maintain the noise of the air purifier below a preset level after waking up. Additionally, the third environment creation information may include control information for controlling the air purifier in conjunction with the weather prediction time and weather recommendation time.
본 발명의 일 실시예에 따르면, 수면 단계 정보는 수면 동안 획득되는 음향 정보(즉, 수면 음향 정보)에 기반하여 사용자의 수면 단계를 분석하는 수면 분석 모델을 통해 획득되는 것을 특징으로 할 수 있다. 즉, 본 발명의 수면 단계 정보는, 수면 분석 모델을 통해 획득될 수 있다.According to one embodiment of the present invention, sleep stage information may be obtained through a sleep analysis model that analyzes the user's sleep stage based on sound information (i.e., sleep sound information) acquired during sleep. That is, the sleep stage information of the present invention can be obtained through a sleep analysis model.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 환경 센싱 정보를 획득할 수 있으며, 해당 음향 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 이 경우, 수면 음향 정보는, 사용자의 수면 동안에 획득되는 음향에 관련한 정보로, 예를 들어, 사용자의 수면 동안 사용자가 뒤척저림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향을 포함할 수 있다.According to one embodiment of the present invention, the reception control unit 416 can obtain environmental sensing information and obtain sleep sound information based on the corresponding sound information. In this case, sleep sound information is information related to sounds acquired during the user's sleep, for example, sounds generated as the user tosses and turns during the user's sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep. May include related sounds.
일 실시예에 따르면, 수신제어부(416)는 수면 음향 정보에 대한 전처리를 수행할 수 있다. 수면 음향 정보에 대한 전처리는 노이즈 제거에 관한 전처리일 수 있다. 구체적으로, 수신제어부(416)는 수면 음향 정보를 미리 정해진 시간 단위를 갖는 하나 이상의 음향 프레임으로 분류할 수 있다. 또한, 수신제어부(416)는 하나 이상의 음향 프레임 각각의 에너지 레벨에 기초하여 최소 에너지 레벨을 갖는 최소 음향 프레임을 식별할 수 있다. 수신제어부(416)는 최소 음향 프레임에 기초하여 수면 음향 정보에 대한 노이즈 제거를 수행할 수 있다.According to one embodiment, the reception control unit 416 may perform preprocessing on sleep sound information. Preprocessing for sleep sound information may be preprocessing for noise removal. Specifically, the reception control unit 416 may classify sleep sound information into one or more sound frames having a predetermined time unit. Additionally, the reception control unit 416 may identify the minimum sound frame with the minimum energy level based on the energy level of each of one or more sound frames. The reception control unit 416 may perform noise removal on sleep sound information based on the minimum sound frame.
구체적인 예를 들어, 수신제어부(416)는 30초의 수면 음향 정보를 매우 짧은 40ms 크기의 하나 이상의 음향 프레임으로 분류할 수 있다. 또한, 수신제어부(416)는 40ms 크기에 관련한 복수의 음향 프레임 각각의 크기를 비교하여 최소 에너지 레벨을 갖는 최소 음향 프레임을 식별할 수 있다. 수신제어부(416)는 전체 수면 음향 정보(즉, 30초의 수면 음향 정보)에서 식별된 최소 음향 프레임 성분을 제거할 수 있다. 예컨대, 수면 음향 정보에서 최소 음향 프레임 성분이 제거됨에 따라, 전처리된 수면 음향 정보가 획득될 수 있다. 즉, 수신제어부(416)는 최소 음향 프레임을 백그라운드 노이즈 프레임으로써 식별하여 원본 신호(즉, 수면 음향 정보)에서 제거함으로서, 노이즈 제거에 관한 전처리를 수행할 수 있다. For a specific example, the reception control unit 416 may classify 30 seconds of sleep sound information into one or more sound frames of a very short 40 ms size. Additionally, the reception control unit 416 may identify the minimum sound frame with the minimum energy level by comparing the sizes of each of the plurality of sound frames with respect to the size of 40 ms. The reception control unit 416 may remove the identified minimum sound frame component from the entire sleep sound information (i.e., 30 seconds of sleep sound information). For example, as the minimum sound frame component is removed from the sleep sound information, preprocessed sleep sound information can be obtained. That is, the reception control unit 416 can perform preprocessing for noise removal by identifying the minimum sound frame as a background noise frame and removing it from the original signal (i.e., sleep sound information).
또한, 수신제어부(416)는, 도 6a에 도시된 바와 같이, 수면 음향 정보(SS)에 대응하여 스펙트로그램(SP)을 생성할 수 있다. 여기서 수면 음향 정보(SS)는, 전처리된 수면 음향 정보를 의미할 수 있다. 즉, 수신제어부(416)는 전처리된 수면 음향 정보에 대응하여, 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보 또는, 스펙트로그램을 생성할 수 있다.Additionally, the reception control unit 416 may generate a spectrogram (SP) in response to the sleep sound information (SS), as shown in FIG. 6A. Here, sleep sound information (SS) may mean preprocessed sleep sound information. That is, the reception control unit 416 may generate information or a spectrogram including changes in the frequency components of the sleep sound information along the time axis in response to the preprocessed sleep sound information.
본 발명의 일 실시예에 따르면, 수신제어부(416)가 수면 음향 정보(SS)에 대응하여 생성하는 스펙트로그램은, 멜 스펙트로그램을 포함할 수 있다. 수신제어부(416)는, 스펙트로그램에 대한 멜-필터 뱅크(Mel-Filter Bank)를 통해 멜 스펙트로그램(Mel-Spectrogram)을 획득할 수 있다. 일반적으로, 인간의 달팽이관은 음성 데이터의 주파수에 따라 진동하는 부위가 상이할 수 있다. 또한, 인간의 달팽이관은 주파수가 낮은 대역에서 주파수 변화를 잘 감지하며, 높은 대역에서의 주파수 변화를 잘 감지하지 못하는 특성을 가지고 있다. 이에 따라, 음성 데이터에 대한 인간의 달팽이관의 특성과 유사한 인식 능력을 갖도록 멜-필터 뱅크를 활용하여 스펙트로그램으로부터 멜 스펙트로그램을 획득할 수 있다. 즉, 멜-필터 뱅크는, 낮은 주파수 대역에서 적은 필터 뱅크를 적용하고, 고대역으로 갈수록 넓은 필터 뱅크를 적용하는 것 일 수 있다. 다시 말해, 수신제어부(416)는 인간의 달팽이관의 특성과 유사하도록 음성 데이터를 인식하기 위해 멜-필터 뱅크를 스펙트로그램에 적용함으로써, 멜 스펙트로그램을 획득할 수 있다. 멜 스펙트로그램은 인간의 청각특성이 반영된 주파수 성분을 포함할 수 있다. 즉, 본 발명에서 수면 음향 정보에 대응하여 생성되며, 신경망을 활용한 분석의 대상이 되는 스펙트로그램은, 전술한 멜 스펙트로그램을 포함할 수 있다.According to one embodiment of the present invention, the spectrogram that the reception control unit 416 generates in response to the sleep sound information (SS) may include a Mel spectrogram. The reception control unit 416 may obtain a Mel-Spectrogram through a Mel-Filter Bank for the spectrogram. In general, the parts of the human cochlea that vibrate may differ depending on the frequency of voice data. In addition, the human cochlea has the characteristic of detecting frequency changes well in low frequency bands and having difficulty detecting frequency changes in high frequency bands. Accordingly, a Mel spectrogram can be obtained from the spectrogram using a Mel filter bank so as to have a recognition ability similar to the characteristics of the human cochlea for voice data. In other words, the mel-filter bank may apply a small number of filter banks in a low frequency band and apply a wider filter bank toward higher frequencies. In other words, the reception control unit 416 can obtain a Mel spectrogram by applying a Mel filter bank to the spectrogram to recognize voice data similar to the characteristics of the human cochlea. The Mel spectrogram may include frequency components that reflect human hearing characteristics. That is, in the present invention, the spectrogram generated in response to sleep sound information and subject to analysis using a neural network may include the Mel spectrogram described above.
또한, 수신제어부(416)는 수면 음향 정보의 주파수 성분들의 시간 축에 따른 정보 또는 스펙트로그램(SP)을 수면 분석 모델의 입력으로 처리하여 수면 단계 정보를 획득할 수 있다. 여기서 수면 분석 모델은, 사용자의 수면 단계 변화에 관련한 수면 단계 정보를 획득하기 위한 모델로, 사용자의 수면 동안 획득된 수면 음향 정보를 입력으로 하여 수면 단계 정보를 출력할 수 있다. 실시예에서, 수면 분석 모델은, 하나 이상의 네트워크 함수를 통해 구성되는 신경망 모델을 포함할 수 있다.Additionally, the reception control unit 416 may obtain sleep stage information by processing information or a spectrogram (SP) along the time axis of the frequency components of the sleep sound information as input to the sleep analysis model. Here, the sleep analysis model is a model for obtaining sleep stage information related to changes in the user's sleep stage, and can output sleep stage information by inputting sleep sound information acquired during the user's sleep. In embodiments, the sleep analysis model may include a neural network model constructed through one or more network functions.
전술한 바와 같이, 수신제어부(416)는 수면 음향 정보에 기초하여 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보 또는 스펙트로그램을 획득할 수 있다. 이 경우, 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보 또는 스펙트로그램으로의 변환은 비교적 작은 음향에 관련한 호흡 또는 움직임 패턴을 용이하게 분석하도록 하기 위함일 수 있다. 또한, 수신제어부(416)는 피처 추출 모델 및 피처 분류 모델을 포함하여 구성되는 수면 분석 모델을 활용하여, 획득한 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보 또는 스펙트로그램에 기초한 수면 단계 정보를 생성할 수 있다. 이 경우, 수면 분석 모델은 과거와 미래에 관련한 정보를 모두 고려할 수 있도록 복수의 에폭에 해당하는 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보들 또는 스펙트로그램들을 입력으로 하여 수면 단계 예측을 수행할 수 있으므로, 보다 정확도 있는 수면 단계 정보를 출력할 수 있다.As described above, the reception control unit 416 may obtain information or a spectrogram including changes in the frequency components of the sleep sound information along the time axis based on the sleep sound information. In this case, conversion of the sleep sound information into information or a spectrogram containing changes along the time axis of the frequency components may be intended to facilitate analysis of breathing or movement patterns related to relatively small sounds. In addition, the reception control unit 416 utilizes a sleep analysis model including a feature extraction model and a feature classification model, based on information including changes along the time axis of the frequency components of the acquired sleep sound information or a spectrogram. Sleep stage information can be generated. In this case, the sleep analysis model uses as input information or spectrograms that include changes along the time axis of the frequency components of sleep sound information corresponding to multiple epochs so that both past and future information can be considered, and sleep stages are determined. Since prediction can be performed, more accurate sleep stage information can be output.
즉, 수신제어부(416)는 전술한 바와 같은 수면 분석 모델을 활용하여 수면 음향 정보에 대응하는 수면 단계 정보 또는 수면 단계 확률 정보를 출력할 수 있다. 실시예에 따르면, 수면 단계 정보는, 사용자의 수면 동안 변화하는 수면 단계들에 관련한 정보일 수 있다.That is, the reception control unit 416 may output sleep stage information or sleep stage probability information corresponding to sleep sound information using the sleep analysis model described above. According to an embodiment, sleep stage information may be information related to sleep stages that change during the user's sleep.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 전처리된 수면 음향 정보에 기초하여 데이터 증강을 수행할 수 있다. 이러한 데이터 증강은, 수면 분석 모델로 하여금 다양한 도메인에서 측정된 사운드(예컨대, 다른 침실, 다른 마이크, 다른 배치 위치 등)에서도 robust하게 수면 상태 정보(예컨대, 수면 단계 정보)를 출력하도록 하기 위함이다. 실시예에서 데이터 증강은, Pitch shifting, gaussian noise, loudness control, dynamic range control 및 spec augmentation 중 적어도 하나를 포함할 수 있다.According to one embodiment of the present invention, the reception control unit 416 may perform data augmentation based on preprocessed sleep sound information. This data augmentation is intended to enable the sleep analysis model to robustly output sleep state information (e.g., sleep stage information) even in sounds measured in various domains (e.g., different bedrooms, different microphones, different placement locations, etc.). In an embodiment, data augmentation may include at least one of pitch shifting, gaussian noise, loudness control, dynamic range control, and spec augmentation.
일 실시예에 따르면, 수신제어부(416)는 수면 음향 정보에 기초하여 Pitch shifting에 관련한 데이터 증강을 수행할 수 있다. 예컨대, 수신제어부(416)는 미리 정해진 간격으로 사운드의 피치를 높이거나, 또는 내리는 등 음향의 피치를 조정함으로써, 데이터 증강을 수행할 수 있다.According to one embodiment, the reception control unit 416 may perform data augmentation related to pitch shifting based on sleep sound information. For example, the reception control unit 416 may perform data augmentation by adjusting the pitch of the sound, such as raising or lowering the pitch of the sound at predetermined intervals.
수신제어부(416)는 Pitch shifting 뿐만 아니라, 노이즈에 관련한 보정을 통해 데이터 증강을 수행하는 gaussian noise, 음량을 변화시켜도 음질이 유지되는 느낌을 주도록 음향을 보정하여 데이터 증강을 수행하는 loudness control, 음향의 최대 진폭과 최소 진폭 사이를 dB로 측정한 대수비인 다이내믹 레인지를 조정하여 데이터 증강을 수행하는 dynamic range control 및 음향의 사양 증가에 관련한 spec augmentation을 수행할 수 있다.The reception control unit 416 includes not only pitch shifting, but also gaussian noise, which performs data augmentation through correction related to noise, loudness control, which performs data augmentation by correcting the sound to give the feeling that sound quality is maintained even when the volume is changed, and sound Dynamic range control, which performs data augmentation by adjusting the dynamic range, which is a logarithmic ratio measured in dB between the maximum amplitude and minimum amplitude, and spec augmentation related to increasing the specifications of the sound can be performed.
즉, 수신제어부(416)는 본 발명의 분석에 기초가 되는 음향 정보(즉, 수면 음향 정보)에 대한 데이터 증강을 통해, 수면 분석 모델이 다양한 환경에서 획득되는 수면 음향에 대응하여 강인한 인식을 수행하도록 하여 수면 단계 예측의 정확성을 향상시킬 수 있다.That is, the reception control unit 416 performs robust recognition in response to sleep sound acquired in various environments by the sleep analysis model through data augmentation of the sound information (i.e., sleep sound information) that is the basis for the analysis of the present invention. By doing so, the accuracy of sleep stage prediction can be improved.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 제3수면 상태 정보에 기초하여 제4환경 조성 정보를 획득할 수 있다. 제4환경 조성 정보와 관련해서는 도 1f의 실시예의 프로세서(110)의 동작과 관련해서 설명한 바와 동일하므로, 중복 설명은 생략하기로 한다. According to an embodiment of the present invention, the reception control unit 416 may obtain fourth environment creation information based on third sleep state information. Regarding the fourth environment creation information, since it is the same as what was described in relation to the operation of the processor 110 in the embodiment of FIG. 1F, redundant description will be omitted.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 환경 조성 정보를 환경조성부(415)로 전송할 것을 결정할 수 있다. 구체적으로, 수신제어부(416)는 조도 조정에 관련한 환경 조성 정보를 생성할 수 있으며, 해당 환경 조성 정보를 환경조성부(415)로 전송할 것을 결정함으로써, 환경조성부(415)의 조도 조정 동작을 제어할 수 있다.According to an embodiment of the present invention, the reception control unit 416 may decide to transmit environment creation information to the environment creation unit 415. Specifically, the reception control unit 416 may generate environment creation information related to the illuminance adjustment, and determine to transmit the corresponding environment creation information to the environment creation unit 415, thereby controlling the illuminance adjustment operation of the environment creation unit 415. You can.
실시예에 따르면, 빛이나 공기질은 수면의 질에 영향을 줄 수 있는 대표적인 요인 중 하나일 수 있다. 예컨대, 빛의 조도, 색, 노출 정도 등에 따라 수면의 질에 좋은 영향을 끼칠 수 있고, 그리고 나쁜 영향을 끼칠 수 있다. 또한, 미세먼지의 종류/농도, 유해가스의 종류/농도, 알러지성 물질의 유무, 공기의 온도나 습도 등에 의해서도 수면의 질이 크게 좌우된다. 이에 따라, 수신제어부(416)는 조도나 공기질을 조정하여 사용자의 수면의 질을 향상시킬 수 있다. 예를 들어, 수신제어부(416)는 잠들기 전이나 잠든 후의 상황을 모니터링 하고, 이에 따라 사용자를 효과적으로 깨우기 위한 조도 조정을 수행할 수 있다. 즉, 수신제어부(416)는 수면 상태(예컨대, 수면 단계)를 파악하여 자동으로 조도나 공기질을 조정하여 수면의 질을 극대화시킬 수 있다.According to embodiments, light or air quality may be one of the representative factors that can affect the quality of sleep. For example, depending on the light intensity, color, exposure level, etc., it can have a good or bad effect on the quality of sleep. In addition, the quality of sleep is greatly influenced by the type/concentration of fine dust, the type/concentration of harmful gases, the presence or absence of allergic substances, and the temperature or humidity of the air. Accordingly, the reception control unit 416 can improve the user's sleep quality by adjusting the illumination level or air quality. For example, the reception control unit 416 can monitor the situation before or after falling asleep, and adjust the illumination level accordingly to effectively wake the user. That is, the reception control unit 416 can determine the sleep state (eg, sleep stage) and automatically adjust the illumination level or air quality to maximize the quality of sleep.
일 실시예에서, 수신제어부(416)는 사용자 단말(300)로부터 수면 계획 정보를 수신할 수 있다. 수신제어부(416)는 수신된 수면 계획 정보에 기초하여 외부 환경 조성 정보를 생성할 수 있다.In one embodiment, the reception control unit 416 may receive sleep plan information from the user terminal 300. The reception control unit 416 may generate external environment creation information based on the received sleep plan information.
또한, 수신제어부(416)는 사용자 단말(300)로부터 수면 계획 정보를 수신하고, 이에 기초하여, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지, 공기청정기를 제어하기 위한 제1환경 조성 정보를 생성할 수 있다.In addition, the reception control unit 416 receives sleep plan information from the user terminal 300, and based on this, from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep (i.e. Until the point at which the second sleep state information is acquired, the first environment creation information for controlling the air purifier may be generated.
또한, 예를 들어, 수신제어부(416)는 제2수면 상태 정보를 통해 사용자가 수면에 인입하는 시점 즉, 수면 인입 시점을 파악할 수 있으며, 이에 기초하여 제2환경 조성 정보를 생성할 수 있다.In addition, for example, the reception control unit 416 can determine the time when the user enters sleep, that is, when the user enters sleep, through the second sleep state information, and generate second environment creation information based on this.
실시예에서, 수신제어부(416)는 수면 단계 정보에 기초하여 환경 조성 정보를 생성할 수 있다. 실시예에서, 수면 단계 정보는 수면 음향 정보에 대한 분석을 통해 시계열적으로 획득되는 사용자의 수면 단계 변화에 관한 정보를 포함할 수 있다.In an embodiment, the reception control unit 416 may generate environmental composition information based on sleep stage information. In an embodiment, the sleep stage information may include information about changes in the user's sleep stage acquired in time series through analysis of sleep sound information.
구체적인 예를 들어, 수신제어부(416)는 사용자의 수면 단계 정보를 통해 사용자가 수면 단계(예컨대, 얕은 수면)에 진입했음을 식별하는 경우, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 하는 외부 환경 조성 정보를 생성할 수 있다. 또한, 공기청정기의 LED를 점멸시키고, 구동소음을 최소화하는 한편 기설정된 기류가 형성되도록 송풍량과 세기를 조절하기 위한 환경 조성 정보를 생성할 수 있다. 즉, 사용자의 수면 단계 별 최적의 조도 즉 최적의 수면 환경을 조성함으로써, 사용자의 수면 효율을 향상시킬 수 있다.For example, when the reception control unit 416 identifies that the user has entered a sleep stage (e.g., light sleep) through the user's sleep stage information, the external environment minimizes the illuminance to create a dark room environment without light. Composition information can be generated. In addition, it is possible to generate environmental information to blink the air purifier's LED, minimize driving noise, and adjust the blowing volume and intensity to form a preset airflow. In other words, the user's sleep efficiency can be improved by creating an optimal sleep environment, that is, optimal illumination for each user's sleep stage.
이 밖에도, 수신제어부(416)는 수면 중, 사용자의 수면 단계 변화에 따라 적정한 조도를 제공하도록 하기 위한 환경 조성 정보를 생성할 수 있다. 예를 들어, 얕은 수면에서 깊은 수면으로 변화되는 경우, 미세한 적색광을 공급하거나, 또는 REM 수면에서 얕은 수면으로 변화되는 경우, 조도를 낮추거나 청생광을 공급하는 등 수면 단계 변화에 따라 보다 다양한 외부 환경 조성 정보를 생성할 수 있다.In addition, the reception control unit 416 may generate environment creation information to provide appropriate illumination according to changes in the user's sleep stage during sleep. For example, when changing from shallow sleep to deep sleep, fine red light is supplied, or when changing from REM sleep to shallow sleep, lowering the illumination level or supplying blue light, etc., more diverse external environments depending on the change in sleep stage. Composition information can be generated.
이는, 수면 전, 또는 기상 직후뿐만 아닌 수면 중 상황까지 자동으로 고려하여 수면 경험의 일부가 아닌 전체를 고려함으로써 사용자로 하여금 수면의 질을 극대화시키는 효과를 가질 수 있다.This can have the effect of maximizing the user's sleep quality by automatically considering the entire sleep experience, not just a part of it, by automatically considering the situation during sleep as well as before sleep or immediately after waking up.
또한, 예를 들어, 수신제어부(416)는 수면 계획 정보를 통해 사용자의 희망 기상 시간을 식별하고, 해당 희망 기상 시간에 기초하여 기상 예측 시점을 생성하고, 이에 따라, 환경 조성 정보를 생성할 수 있다.In addition, for example, the reception control unit 416 may identify the user's desired wake-up time through sleep plan information, generate a weather prediction time based on the desired wake-up time, and generate environment creation information accordingly. there is.
또한, 수신제어부(416)는 환경 조성 정보를 환경조성부(415)로 전송할 것을 결정할 수 있다. 즉, 수신제어부(416)는 수면 계획 정보에 기초하여 취침 또는 기상 시 사용자가 잠에 용이하게 들거나 또는 자연스럽게 일어날 수 있도록 하는 환경 조성 정보를 생성하고 해당 환경 조성 정보를 통해 환경조성부(415)의 환경 조성 동작을 제어함으로써, 사용자의 수면의 질을 향상시킬 수 있다.Additionally, the reception control unit 416 may decide to transmit environment creation information to the environment creation unit 415. That is, the reception control unit 416 generates environment creation information that allows the user to easily fall asleep or wake up naturally when going to bed or waking up, based on the sleep plan information, and uses the environment creation information to create the environment of the environment creation unit 415. By controlling the composition operation, the user's sleep quality can be improved.
추가적인 실시예에서, 수신제어부(416)는 수면 단계 정보에 기초하여 추천 수면 계획 정보를 생성할 수 있다. 구체적으로, 수신제어부(416)는 수면 단계 정보를 통해 사용자의 수면 단계 변화에 대한 정보(예컨대, 수면 사이클)를 획득할 수 있으며, 이러한 정보들을 기반으로 기상 예상 시간을 설정할 수 있다.In an additional embodiment, the reception control unit 416 may generate recommended sleep plan information based on sleep stage information. Specifically, the reception control unit 416 can obtain information about changes in the user's sleep stage (eg, sleep cycle) through sleep stage information, and set the expected wake-up time based on this information.
또한, 수신제어부(416)는 추천 수면 계획 정보에 따라 환경 조성 정보를 생성하고, 이를 환경조성부(415)로 전송할 것을 결정할 수 있다. 따라서, 사용자는 수신제어부(416)가 추천한 추천 수면 계획 정보에 따라 자연스럽게 기상할 수 있다. 이는, 수신제어부(416)가 사용자의 수면 단계 변화에 따라 사용자의 기상 시점을 추천한 것으로, 사용자의 피로도가 최소화되는 시점일 수 있으므로, 사용자의 수면 효율이 향상된다는 장점을 가질 수 있다.Additionally, the reception control unit 416 may determine to generate environment creation information according to the recommended sleep plan information and transmit it to the environment creation unit 415. Accordingly, the user can wake up naturally according to the recommended sleep plan information recommended by the reception control unit 416. This means that the reception control unit 416 recommends the user's wake-up time according to the change in the user's sleep stage. This may be the time when the user's fatigue is minimized, so it can have the advantage of improving the user's sleep efficiency.
일 실시예에 따르면, 수신제어부(416)는 사용자의 실제 기상 시간과 희망 기상 시간 정보를 비교하여 환경 조성 정보를 업데이트할 수 있다. 구체적으로, 수신제어부(416)는 제2센서부를 활용하여 사용자의 실제 기상 시간에 관련한 실제 기상 시간 정보를 생성할 수 있다. 예컨대, 사용자가 기상하여 침대 영역(예컨대, 기 설정된 영역)를 벗어남에 따라 사용자의 신체로 인해 변화되었던 무선 링크가 회복되며, 제2센서부는 이러한 신호 레벨의 변화를 감지하여 사용자가 기상 후 침대에서 실제로 빠져나간 시간(즉, 실제 기상 시간)을 정확히 감지할 수 있다. 즉, 제2센서부는 사용자가 기 설정된 영역에서 빠져나가는 시간을 기록하여 실제 기상 시간 정보를 생성할 수 있다.According to one embodiment, the reception control unit 416 may update the environment creation information by comparing the user's actual wake-up time and desired wake-up time information. Specifically, the reception control unit 416 may utilize the second sensor unit to generate actual wake-up time information related to the user's actual wake-up time. For example, as the user wakes up and leaves the bed area (e.g., a preset area), the wireless link that has changed due to the user's body is restored, and the second sensor unit detects this change in signal level to allow the user to get out of bed after waking up. The actual exit time (i.e. actual wake-up time) can be accurately detected. That is, the second sensor unit can generate actual wake-up time information by recording the time the user leaves the preset area.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 희망 기상 시간 정보 및 실제 기상 시간 정보에 대한 비교를 수행하고, 비교 결과 각 정보가 서로 상이한 경우, 환경 조성 정보를 업데이트할 수 있다. 여기서, 희망 기상 시간 정보와 비교되는 실제 기상 시간 정보는 일정 횟수 이상 누적된 실제 기상 시간에 관한 정보들을 포함할 수 있다. 예컨대, 실제 기상 시간 정보는, 일주일동안 사용자가 실제 기상한 시점에 관한 정보들을 포함할 수 있다.According to an embodiment of the present invention, the reception control unit 416 may compare desired wake-up time information and actual wake-up time information, and if the information is different as a result of the comparison, the environment creation information may be updated. Here, the actual wake-up time information compared with the desired wake-up time information may include information about the actual wake-up time accumulated a certain number of times or more. For example, actual wake-up time information may include information about when the user actually woke up during the week.
실시예에서, 수신제어부(416)는 희망 기상 시간과 누적된 실제 기상 시간의 차이를 분석하여 환경 조성 정보를 업데이트할 수 있다. 구체적으로, 수신제어부(416)는 희망 기상 시간보다 실제 기상 시간이 늦는 경우, 사용자의 일주기 리듬을 앞당기기 위해 기상 시점에 공급되는 백색광의 최대 밝기를 점진적으로 증가시킬 수 있다. 예컨대, 실제 기상 시간이 희망 기상 시간 보다 늦은 다음 날에는, 사용자의 기상 시점에 대응하여 백색광의 최대 밝기가 전날 보다 더 높게 공급되도록 환경 조성 정보를 업데이트할 수 있다. 이와 반대로, 수신제어부(416)는 실제 기상 시간이 희망 기상 시간보다 빠른 경우, 사용자의 기상 시점을 늦추기 위해 기상 시점에 공급되는 백색광의 최대 밝기를 감소시킬 수 있다. 예를 들어, 실제 기상 시간이 희망 기상 시간 보다 빠른 다음 날에는, 사용자의 기상 시점에 대응하여 백색광의 최대 밝기가 전날 보다 낮게 공급되도록 환경 조성 정보를 업데이트할 수 있다. 즉, 수신제어부(416)는 사용자의 실제 기상 시점과 희망 기상 시점을 비교할 수 있으며, 비교 결과에 따라 사용자의 일주기리듬을 변화시키기 위하여 환경 조성 정보를 업데이트할 수 있다. 이에 따라, 사용자에게 최적화된 수면환경이 조성될 수 있어, 수면 효율이 더욱 증대될 수 있다.In an embodiment, the reception control unit 416 may update environmental composition information by analyzing the difference between the desired wake-up time and the accumulated actual wake-up time. Specifically, when the actual wake-up time is later than the desired wake-up time, the reception control unit 416 may gradually increase the maximum brightness of the white light supplied at the time of waking up to advance the user's circadian rhythm. For example, on the next day when the actual wake-up time is later than the desired wake-up time, the environment creation information can be updated so that the maximum brightness of white light is supplied higher than the previous day in response to the user's wake-up time. Conversely, when the actual waking up time is earlier than the desired waking up time, the reception control unit 416 may reduce the maximum brightness of the white light supplied at the waking time to delay the user's waking up time. For example, on the next day when the actual wake-up time is earlier than the desired wake-up time, the environment creation information can be updated so that the maximum brightness of white light is supplied lower than the previous day in response to the user's wake-up time. That is, the reception control unit 416 can compare the user's actual waking up time and the desired waking up time, and update environmental composition information to change the user's circadian rhythm according to the comparison result. Accordingly, a sleep environment optimized for the user can be created, and sleep efficiency can be further increased.
본 발명의 일 실시예에 따르면, 수신제어부(416)는 수동 수면 측정 모드 및 자동 수면 측정 모드 중 적어도 하나의 측정 모드를 통해 음향수집부를 구동하여 음향 정보를 수집하며, 수집된 음향 정보에 기초하여 수면 상태 정보를 산출할 수 있다.According to one embodiment of the present invention, the reception control unit 416 collects sound information by driving the sound collection unit through at least one measurement mode of the manual sleep measurement mode and the automatic sleep measurement mode, and collects sound information based on the collected sound information. Sleep state information can be calculated.
실시예에서, 수동 수면 측정 모드는, 사용자에 의해 수면 입력 신호가 생성됨에 따라 수동적으로 측정 모드가 개시되는 것을 의미할 수 있다. 예컨대, 사용자는 수면 환경 조절 장치(400)의 외면에 형성된 수면 입력 버튼에 물리적인 압력을 가함으로써 수면 입력 신호를 생성하거나, 사용자 단말을 활용하여 수면 입력 신호를 생성할 수 있다. 수면 입력 신호가 생성되는 경우, 수면 환경 조절 장치(400)(즉, 수신 모듈)은 해당 시점을 기준으로 일 공간에 관련한 음향 정보가 획득되며, 해당 음향 정보를 기초로 사용자의 수면 상태 정보가 획득될 수 있다. 즉, 수동 구면 측정 모드를 통해 사용자는 자신의 수면 상태 측정을 개시하는 시점을 직접 결정할 수 있다.In an embodiment, the manual sleep measurement mode may mean that the measurement mode is manually initiated as a sleep input signal is generated by the user. For example, the user can generate a sleep input signal by applying physical pressure to the sleep input button formed on the outer surface of the sleep environment control device 400, or can generate a sleep input signal by utilizing the user terminal. When a sleep input signal is generated, the sleep environment control device 400 (i.e., receiving module) acquires sound information related to the work space based on that point in time, and obtains sleep state information of the user based on the sound information. It can be. In other words, the manual spherical measurement mode allows the user to directly determine when to start measuring his or her sleep state.
또한, 실시예에 따르면, 자동 수면 측정 모드는 수면 입력 신호를 생성하기 위한 별도의 사용자의 동작이 필요없이 자동으로 수면 측정이 개시되는 것을 의미할 수 있다. 자동 수면 측정 모드는, 제1센서부를 통해 일 공간 내에서 사용자의 움직임이 발생한 것을 감지한 이후, 제2센서부를 통해 사용자가 기 설정된 영역에 위치한 것으로 식별되는 경우, 자동으로 측정 모드가 개시되는 것을 특징으로 할 수 있다. 자동 수면 측정 모드에 관한 구체적인 설명은 도 13을 참조하여 이하에서 후술하도록 한다.Additionally, according to an embodiment, the automatic sleep measurement mode may mean that sleep measurement is automatically initiated without the need for a separate user action to generate a sleep input signal. The automatic sleep measurement mode automatically starts the measurement mode when the user's movement within a space is detected through the first sensor unit and the user is identified as being located in a preset area through the second sensor unit. It can be characterized. A detailed description of the automatic sleep measurement mode will be described later with reference to FIG. 13.
도 13은 본 발명의 일 실시예에 따른 환경 조성 장치의 수면 측정 모드를 통해 수면 상태 정보를 획득하는 과정을 예시적으로 나타낸 순서도이다. 전술한 도 13에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.Figure 13 is a flowchart illustrating a process for obtaining sleep state information through a sleep measurement mode of an environment creation device according to an embodiment of the present invention. The order of the steps shown in FIG. 13 described above may be changed as needed, and at least one step may be omitted or added. That is, the above-described steps are only one embodiment of the present invention, and the scope of the present invention is not limited thereto.
일 실시예에 따르면, 수신제어부(416)는 제1센서부를 통해 일 공간내에서 사용자의 움직임이 발생하는 것을 감지할 수 있다(S1100). 제1센서부는 PIR센서 및 초음파 센서 중 적어도 하나를 포함하여 구비될 수 있다.According to one embodiment, the reception control unit 416 can detect the user's movement within a space through the first sensor unit (S1100). The first sensor unit may include at least one of a PIR sensor and an ultrasonic sensor.
일 실시예에 따르면, 수신제어부(416)는 제2센서부를 통해 사용자가 기 설정된 영역에 위치한 것을 식별할 수 있다(S1200). 제2센서부는 송신 모듈(420)로부터 송신된 무선 신호를 수신하고, 수신한 무선 신호에 기초하여 기 설정된 영역에 사용자가 위치하였는지 여부를 감지할 수 있다. According to one embodiment, the reception control unit 416 may identify that the user is located in a preset area through the second sensor unit (S1200). The second sensor unit may receive a wireless signal transmitted from the transmission module 420 and detect whether the user is located in a preset area based on the received wireless signal.
실시예에서, 제2센서부는 기 설정된 영역을 기준으로 송신 모듈(420)과 서로 대향하는 위치에 구비되는 것을 특징으로 할 수 있다. 예를 들어, 송신 모듈(420) 및 제2센서부는 사용자가 수면을 취하는 침대를 중심으로 양측면 각각에 구비될 수 있다. 이 경우, 본 발명의 수면 환경 조절 장치(400)는 송신 모듈(420) 및 수신 모듈(410)을 통해 송신 및 수신되는 wifi 기반 OFDM 신호에 기반하여 사용자가 기 설정된 영역에 위치하였는지 관한 정보 및 사용자의 움직임이나 또는 호흡에 관한 정보인 객체 상태 정보를 획득할 수 있다.In an embodiment, the second sensor unit may be provided at a position opposite to the transmission module 420 based on a preset area. For example, the transmission module 420 and the second sensor unit may be provided on both sides of the bed where the user sleeps. In this case, the sleep environment control device 400 of the present invention provides information about whether the user is located in a preset area and the user based on the WiFi-based OFDM signal transmitted and received through the transmitting module 420 and the receiving module 410. Object state information, which is information about movement or breathing, can be obtained.
일 실시예에 따르면, 수신제어부(416)는 음향수집부(414)를 구동하여 일 공간에 관련한 음향 정보를 수집할 수 있다(S1300). 즉, 수신제어부(416)는 제1센서부를 통해 일 공간에서 사용자의 움직임이 발생함을 감지하고, 그리고 제2센서부를 통해 기 설정된 영역에 사용자가 움직임을 식별한 경우에 자동으로 음향수집부(414)를 통해 일 공간에 관련한 음향 정보를 수집하도록 할 수 있다.According to one embodiment, the reception control unit 416 may collect sound information related to a space by driving the sound collection unit 414 (S1300). That is, the reception control unit 416 detects that the user's movement occurs in a space through the first sensor unit, and automatically detects the user's movement in a preset area through the second sensor unit by automatically entering the sound collection unit ( 414), it is possible to collect acoustic information related to the work space.
일 실시예에 따르면, 수신제어부(416)는 수집된 음향 정보에 기초하여 수면 상태 정보를 산출할 수 있다(S1400). 수신제어부(416)는 음향 정보로부터 식별된 특이점을 기준으로 사용자가 수면 전인지 또는 수면 중인지 여부에 관련한 수면 상태 정보를 획득할 수 있다. 구체적으로, 수신제어부(416)는 특이점이 식별되지 않는 경우, 사용자가 수면 전인 것으로 판단할 수 있으며, 특이점이 식별되는 경우, 해당 특이점 이후 사용자가 수면 중이라고 판단할 수 있다. 또한, 수신제어부(416)는 특이점이 식별된 이후, 기 설정된 패턴이 관측되지 않는 시점(예컨대, 기상 시점)을 식별하고, 해당 시점이 식별된 경우, 사용자가 수면 후, 즉 기상하였다고 판단할 수 있다.According to one embodiment, the reception control unit 416 may calculate sleep state information based on the collected sound information (S1400). The reception control unit 416 may obtain sleep state information related to whether the user is before sleep or in sleep based on the singularity identified from the sound information. Specifically, if a singular point is not identified, the reception control unit 416 may determine that the user is before sleeping, and if a singular point is identified, the reception control unit 416 may determine that the user is sleeping after the singular point. In addition, after the singular point is identified, the reception control unit 416 identifies a time point (e.g., waking up time) at which the preset pattern is not observed, and when the corresponding time point is identified, it can be determined that the user has woken up after sleeping. there is.
도 14는 본 발명의 일 실시예와 관련된 사용자의 수면 인입을 유도하는 환경을 조성하는 과정을 예시적으로 나타낸 순서도이다. 전술한 도 14에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.Figure 14 is a flowchart illustrating a process for creating an environment that induces the user to enter sleep related to an embodiment of the present invention. The order of the steps shown in FIG. 14 described above may be changed as needed, and at least one step may be omitted or added. That is, the above-described steps are only one embodiment of the present invention, and the scope of the present invention is not limited thereto.
일 실시예에 따르면, 수신 모듈(410)은 사용자의 수면 상태가 수면 전인 경우, 희망 취침 시간 정보에 기초하여 수면 유도 시점을 식별할 수 있다(S2100). 구체적인 예를 들어, 사용자는 자신이 수면하고자 하는 시간 및 기상하고자 하는 시간을 사용자 단말(300)을 통해 설정하여 수면 계획 정보를 생성할 수 있으며, 생성된 수면 계획 정보를 수신 모듈(410)로 전달할 수 있다. 이 경우, 수면계획 정보는, 희망 취침 시간 정보 및 희망 기상 시간 정보를 포함할 수 있다. 수신 모듈(410)은 희망 취침 시간 정보에 기초하여 수면 유도 시점을 식별할 수 있다.According to one embodiment, when the user's sleep state is before sleep, the receiving module 410 may identify the time to induce sleep based on desired bedtime information (S2100). For a specific example, the user can create sleep plan information by setting the time he/she wants to sleep and the time he/she wants to wake up through the user terminal 300, and transmit the generated sleep plan information to the receiving module 410. You can. In this case, the sleep plan information may include desired bedtime information and desired wake-up time information. The receiving module 410 may identify the time to induce sleep based on desired bedtime information.
또한, 수신 모듈(410)은 제2센서부를 통해 수면 유도 시점에 사용자가 기 설정된 영역에 위치하였는지 여부를 감지할 수 있다(S2200). 제2센서부는 송신 모듈(420)로부터 송신된 무선 신호를 수신하고, 수신한 무선 신호에 기초하여 기 설정된 영역에 사용자가 위치하였는지 여부를 감지할 수 있다. Additionally, the receiving module 410 may detect whether the user is located in a preset area at the time of inducing sleep through the second sensor unit (S2200). The second sensor unit may receive a wireless signal transmitted from the transmission module 420 and detect whether the user is located in a preset area based on the received wireless signal.
실시예에서, 기 설정된 영역에 사용자가 위치하지 않았음을 감지하는 경우, 수신 모듈(410)은 사용자 단말에 알림을 전송할 수 있다(S2300). 구체적으로, 수면 유도 시점에 임박했으나, 사용자가 기 설정된 영역에 위치하지 않은 경우, 사용자 단말로 취침을 준비하도록 하는 알림을 전송할 수 있다.In an embodiment, when detecting that the user is not located in the preset area, the receiving module 410 may transmit a notification to the user terminal (S2300). Specifically, when sleep induction is imminent, but the user is not located in a preset area, a notification to prepare for sleep may be transmitted to the user terminal.
또한, 실시예에서, 기 설정된 영역에 사용자가 위치하였음을 감지하는 경우, 수신 모듈(410)은 수면 유도 시점으로부터 수면 시점까지 기 설정된 백색광을 공급하도록 하는 제1환경 조성 정보를 생성할 수 있다(S2400). 즉, 수면 유도시점에 대응하여 사용자가 기 설정된 영역에 위치한 경우에만 제1환경 조성 정보를 생성할 수 있다. 다시 말해, 수신 모듈(410)은 사용자가 기 설정된 영역에 위치한 경우에만 제1환경 조성 정보를 생성함으로써, 환경 조정 동작을 수행하는 환경조성부(415)의 구동을 제어할 수 있다. 이에 따라, 환경조성부(415)는 사용자가 특정위치에 위치하지 않는 경우, 수면 환경을 변화시키기 위한 동작을 수행하지 않을 수 있다.Additionally, in an embodiment, when detecting that the user is located in a preset area, the receiving module 410 may generate first environment composition information to supply a preset white light from the time of sleep induction to the time of sleep ( S2400). That is, the first environment creation information can be generated only when the user is located in a preset area corresponding to the sleep induction time. In other words, the receiving module 410 can control the operation of the environment creation unit 415 that performs the environment adjustment operation by generating the first environment creation information only when the user is located in a preset area. Accordingly, the environment creation unit 415 may not perform an operation to change the sleeping environment when the user is not located in a specific location.
도 15는 본 발명의 일 실시예와 관련된 수면 중 및 기상 직전에 사용자의 수면 환경을 변화시키는 과정을 예시적으로 나타낸 순서도이다. 전술한 도 15에 도시된 단계들은 필요에 의해 순서가 변경될 수 있으며, 적어도 하나 이상의 단계가 생략 또는 추가될 수 있다. 즉, 전술한 단계는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 권리 범위는 이에 제한되지 않는다.Figure 15 is a flowchart illustrating a process for changing the user's sleep environment during sleep and immediately before waking up related to an embodiment of the present invention. The order of the steps shown in FIG. 15 described above may be changed as needed, and at least one step may be omitted or added. That is, the above-described steps are only one embodiment of the present invention, and the scope of the present invention is not limited thereto.
일 실시예에 따르면, 수신 모듈(410)은 사용자의 수면 상태가 수면 중인 경우, 조도를 최소화하여 빛이 없는 암실 환경을 조성하도록 하는 제2환경 조성 정보를 생성할 수 있다(S3100). 예컨대, 수면 중 빛의 간섭이 있을 경우, 파편적으로 잠을 잘 확률이 높아져 좋은 숙면을 취하기 어려울 수 있다.According to one embodiment, when the user's sleeping state is sleeping, the receiving module 410 may generate second environment creation information to create a dark room environment without light by minimizing the illuminance (S3100). For example, if there is interference from light during sleep, the likelihood of sleeping fragmented increases, making it difficult to get a good night's sleep.
즉, 수신 모듈(410)은 사용자가 수면(또는 수면 단계)에 진입하였음을 감지하는 경우(제2수면 상태 정보를 획득하는 경우), 광이 공급되지 않도록 하는 제어 정보 즉, 제2환경 조성 정보를 생성할 수 있다. 이에 따라, 사용자가 깊은 잠을 잘 확률이 높아져 수면의 질이 향상될 수 있다. That is, when the receiving module 410 detects that the user has entered sleep (or sleep stage) (when obtaining second sleep state information), the receiving module 410 provides control information to prevent light from being supplied, that is, second environment creation information. can be created. Accordingly, the user's probability of having a deep sleep increases and the quality of sleep can be improved.
일 실시예에 따르면, 수신 모듈(410)은 사용자가 희망 기상 시간 정보에 기초하여 기상 유도 시점을 식별하고 기상 유도 시점으로부터 희망 기상 시점까지 백색광의 조도를 점진적으로 증가시켜 공급하도록 하는 제3환경 조성 정보를 생성할 수 있다(S3200).According to one embodiment, the receiving module 410 creates a third environment that allows the user to identify a wake-up induction point based on desired wake-up time information and gradually increase and supply the illuminance of white light from the wake-up induction point to the desired wake-up time. Information can be generated (S3200).
공기청정기 (500)Air Purifier (500)
이하에서는 본 발명의 일 실시예에 따라서, 환경을 조절하는 장치가 공기청정기로서 구현되는 경우의 예시에 대하여 상세히 설명하기로 한다. 도 11은 본 발명에 따른 환경 조성 장치의 동작을 설명하기 위한 개념도이다. 구체적으로, 도 11의 (a)는 도 1f의 환경 조성 장치(30)가 공기청정기(500)로 구현된 모식도이고, 도 11의 (b)는 공기청정기(500)가 사용자 단말(300)과 연동하여 동작하는 모식도이다.Hereinafter, an example of a case where a device for controlling the environment is implemented as an air purifier according to an embodiment of the present invention will be described in detail. Figure 11 is a conceptual diagram for explaining the operation of the environment creation device according to the present invention. Specifically, Figure 11 (a) is a schematic diagram in which the environment creation device 30 of Figure 1F is implemented as an air purifier 500, and Figure 11 (b) shows the air purifier 500 with the user terminal 300. This is a schematic diagram of how they operate in conjunction.
도 11의 (a)에 도시된 바와 같이, 본 발명에 따른 공기청정기(500)는 사용자 단말(300) 및 컴퓨팅 장치(100)와 연동하여 동작할 수 있다.As shown in (a) of FIG. 11, the air purifier 500 according to the present invention can operate in conjunction with the user terminal 300 and the computing device 100.
컴퓨팅 장치(100)는 네트워크부(180), 메모리(120) 및 프로세서(110)를 포함할 수 있다(도 2c 참조). 네트워크부(180)는 사용자 단말(300), 외부 서버(20) 및 공기청정기(500)와 데이터를 송수신한다. 네트워크부(180)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. Computing device 100 may include a network unit 180, memory 120, and processor 110 (see FIG. 2C). The network unit 180 transmits and receives data with the user terminal 300, the external server 20, and the air purifier 500. The network unit 180 may transmit and receive data for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, to other computing devices, servers, etc.
즉, 네트워크부(180)는 컴퓨팅 장치(100)와 사용자 단말(300), 외부 서버(20) 및 공기청정기(500) 간의 통신 기능을 제공할 수 있다. 예를 들어, 네트워크부(180)는 병원 서버로부터 복수의 사용자들에 대한 수면검진기록 및 전자건강기록을 수신할 수 있다. 다른 예를 들어, 네트워크부(180)는 사용자 단말(300)로부터 사용자가 활동하는 공간에 관련한 환경 센싱 정보를 수신할 수 있다. 또 다른 예를 들어, 네트워크부(180)는 공기청정기(500)로 사용자가 위치한 공간의 환경을 조정하기 위한 공기질 관련 환경 조성 정보를 전송할 수 있다. 추가적으로, 네트워크부(180)는 컴퓨팅 장치(100)로 프로시저를 호출하는 방식으로 컴퓨팅 장치(100)와 사용자 단말(300) 및 외부 서버(20) 간의 정보 전달을 허용할 수 있다.That is, the network unit 180 may provide a communication function between the computing device 100, the user terminal 300, the external server 20, and the air purifier 500. For example, the network unit 180 may receive sleep checkup records and electronic health records for multiple users from a hospital server. For another example, the network unit 180 may receive environmental sensing information related to the space in which the user operates from the user terminal 300. As another example, the network unit 180 may transmit to the air purifier 500 air quality-related environment creation information to adjust the environment of the space where the user is located. Additionally, the network unit 180 may allow information to be transferred between the computing device 100, the user terminal 300, and the external server 20 by calling a procedure with the computing device 100.
메모리(120)는 본 발명의 일 실시예에 따른 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(110)에 의하여 판독되어 구동될 수 있다. 또한, 메모리(120)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크부(180)가 수신한 임의의 형태의 정보를 저장할 수 있다. 또한, 메모리(120)는 사용자의 수면에 관련한 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 입/출력되는 데이터들(예를 들어, 사용자의 수면 환경에 관련한 환경 센싱 정보(특히, 공기질과 관련함), 환경 센싱 정보에 대응하는 수면 상태 정보 또는, 수면 상태 정보에 따른 환경 조성 정보 등)을 임시 또는 영구 저장할 수도 있다. 컴퓨터 프로그램은 메모리(120)에 로드될 때, 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 일 실시예에서, 컴퓨터 프로그램은, 사용자의 수면 상태 정보를 획득하는 단계, 상기 수면 상태 정보에 기초하여 환경 조성 정보를 생성하는 단계 및 상기 환경 조성 정보를 환경 조성 장치로 전송하는 단계를 포함하는 수면 상태 정보에 따른 수면 환경 조성 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.The memory 120 may store a computer program for performing a method of creating a sleep environment according to sleep state information according to an embodiment of the present invention, and the stored computer program may be read and driven by the processor 110. Additionally, the memory 120 may store any type of information generated or determined by the processor 110 and any type of information received by the network unit 180. Additionally, the memory 120 may store data related to the user's sleep. For example, the memory 120 may store input/output data (e.g., environmental sensing information related to the user's sleeping environment (particularly related to air quality), sleep state information corresponding to the environmental sensing information, or sleep Environment creation information according to status information, etc.) may be stored temporarily or permanently. When loaded into memory 120, the computer program may include one or more instructions that cause processor 110 to perform methods/operations according to various embodiments of the present invention. In one embodiment, the computer program includes obtaining sleep state information of a user, generating environment creation information based on the sleep state information, and transmitting the environment creation information to an environment creation device. It may include one or more instructions to perform a method of creating a sleep environment according to state information.
네트워크부(180) 및 메모리(120)의 동작방식, 하드웨어적 구성, 소프트웨어적 구성은 위에서 설명한 바와 동일하다. The operation method, hardware configuration, and software configuration of the network unit 180 and memory 120 are the same as described above.
프로세서(110)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 수면 분석 모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 프로세서(110)는 수면 상태 정보에 기초하여 환경 조성 정보를 산출하기 위한 계산을 수행할 수 있다. 본 발명의 일 실시예에 따라 프로세서(110)는 수면 분석 모델을 학습시키기 위한 계산을 수행할 수 있다. 수면 분석 모델의 구체적인 사항은 위에서 설명한 바와 동일하다.The processor 110 may read the computer program stored in the memory 120 and provide a sleep analysis model according to an embodiment of the present invention. According to an embodiment of the present invention, the processor 110 may perform calculations to calculate environmental composition information based on sleep state information. According to one embodiment of the present invention, the processor 110 may perform calculations to learn a sleep analysis model. The specific details of the sleep analysis model are the same as described above.
프로세서(110)는 사용자의 수면 상태 정보 및 환경 센싱 정보를 획득할 수 있으며, 이는 위에서 설명한 바와 같다. 프로세서(110)는 제1환경 조성 정보 내지 제n환경 조성 정보를 생성할 수 있다. 구체적으로, 프로세서(110)는 사용자의 상태가 취침 전 상태인 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지, 공기청정기를 제어하기 위한 제1환경 조성 정보를 생성할 수 있다. The processor 110 can obtain the user's sleep state information and environmental sensing information, as described above. The processor 110 may generate first environment creation information to nth environment creation information. Specifically, when the user's state is before bedtime, the processor 110 obtains the second sleep state information from the time when the user is predicted to be preparing for sleep (e.g., sleep induction time) to the time when the user falls asleep. Until the point in time), first environment composition information for controlling the air purifier can be generated.
구체적으로, 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거하도록 공기청정기를 제어하는 제1환경 조성 정보를 생성할 수 있다. 그리고, 제1환경 조성 정보는 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 공기청정기를 제어하거나, 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추는 등의 정보를 포함할 수 있다. 이와 함께, 제1환경 조성 정보는 수면공간 내의 온도 및 습도 정보에 기초하여 제습/가습을 실행하도록 공기청정기를 제어하기 위한 정보를 포함할 수 있다. Specifically, first environment composition information can be generated to control the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before) before the user's sleep. In addition, the first environment creation information is such as controlling the air purifier to generate noise (white noise) at a level that can induce sleep just before sleep, adjusting the blower intensity below the preset intensity, or lowering the intensity of the LED. May contain information. In addition, the first environment creation information may include information for controlling the air purifier to perform dehumidification/humidification based on temperature and humidity information in the sleeping space.
프로세서(110)는 제2수면 상태 정보에 기초하여 공기청정기의 LED를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기청정기를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하도록 공기청정기를 제어하기 위한 제2환경 조성 정보를 생성할 수 있다.Based on the second sleep state information, the processor 110 turns off the LED of the air purifier, operates the air purifier with noise below a preset level, adjusts the blowing intensity to below the preset intensity, or lowers the blowing temperature. Second environment creation information can be generated to control the air purifier to fit within a preset range or to maintain the humidity in the sleeping space at a predetermined temperature.
또한, 프로세서(110)는 제3수면 상태 정보 및 제4수면 상태 정보에 기초하여 제3환경 조성 정보 및 제4환경 조성 정보를 생성할 수 있다.Additionally, the processor 110 may generate third environment creation information and fourth environment creation information based on the third sleep state information and fourth sleep state information.
프로세서(110)는 환경 조성 정보를 공기청정기(500)로 전송할 것을 결정할 수 있다. 즉, 프로세서(110)는 취침 또는 기상 시 사용자가 잠에 용이하게 들거나 또는 자연스럽게 일어날 수 있도록 하는 외부 환경 조성 정보를 생성함으로써, 사용자의 수면의 질을 향상시킬 수 있다.The processor 110 may determine to transmit environmental composition information to the air purifier 500. That is, the processor 110 can improve the user's sleep quality by generating information on creating an external environment that allows the user to easily fall asleep or wake up naturally when going to bed or waking up.
도 11의 (b)에 도시된 바와 같이, 본 발명에 따른 공기청정기(500)는 사용자 단말(300)과 연동하여 동작할 수 있다. 즉, 도 11의 (b)에 따른 실시예의 시스템은 공기청정기(500), 사용자 단말(300), 외부 서버(20) 및 네트워크를 포함할 수 있다. 본 실시예에서, 본 발명에 따른 공기청정기(500)는, 도 11의 (a)의 컴퓨팅 장치(100)의 구성과 공기청정기로써 동작하기 위한 부가구성들을 포함한다.As shown in (b) of FIG. 11, the air purifier 500 according to the present invention can operate in conjunction with the user terminal 300. That is, the system of the embodiment according to (b) of FIG. 11 may include an air purifier 500, a user terminal 300, an external server 20, and a network. In this embodiment, the air purifier 500 according to the present invention includes the configuration of the computing device 100 of FIG. 11 (a) and additional components for operating as an air cleaner.
도 12는 본 발명에 따른 환경 조성 장치의 구성을 나타내는 블록도이다. 도 12에 도시된 바와 같이, 본 발명에 따른 환경 조성 장치의 일 예시인 공기청정기(500)는 네트워크부(510), 메모리(520), 프로세서(530), 구동부(540) 및 측정부(550)를 포함할 수 있다.Figure 12 is a block diagram showing the configuration of an environment creation device according to the present invention. As shown in FIG. 12, the air purifier 500, which is an example of an environment creation device according to the present invention, includes a network unit 510, a memory 520, a processor 530, a driving unit 540, and a measuring unit 550. ) may include.
공기청정기(500)는 빌딩, 아파트, 주택 내의 천장이나 외벽에 매립된 형태의 공기청정장치로 구현될 수도 있고, 실내 공간의 일측에 고정된 고정형 공기청정기로 구현될 수도 있으며, 휴대와 이동이 간편한 이동형 공기청정기로 구현될 수도 있으며, 차량에 배치된 차내 공기청정장치로 구현될 수도 있으며, 신체에 착용되어 사용자 주변의 공기질을 정화하는 웨어러블 공기청정기로 구현될 수도 있다.The air purifier 500 may be implemented as an air purifying device embedded in the ceiling or exterior wall of a building, apartment, or house, or as a fixed air purifier fixed to one side of an indoor space, and can be easily carried and moved. It may be implemented as a mobile air purifier, as an in-vehicle air purifier placed in a vehicle, or as a wearable air purifier worn on the body to purify the air quality around the user.
공기청정기(500)는 전처리 및 헤파필터를 이용하여 분진을 제거하는 집진필터식 공기청정기, 활성탄을 이용하여 유해가스를 흡착하는 흡착필터식, 물을 이용하여 분진이나 유해가스를 제거하는 습식, 고전압을 이용하여 분진을 제거하는 전기집진식, 고전압으로 음이온을 생성하여 공기중으로 공급함으로써 분진을 제거하는 음이온식, 플라즈마로 양/음이온을 생성하여 유해가스를 제거하는 플라즈마식, TiO에 자외선 조사로 생성된 OH라디칼 및 활성산소의 산화/환원으로 악취 및 유해가스를 제거하는 UV광촉매식과 같은 다양한 방식의 공기청정기로 구현될 수 있으며, 둘 이상의 방식을 복합적으로 채용한 복합식 공기청정기일 수도 있다.The air purifier 500 is a dust collection filter type air purifier that removes dust using pretreatment and a HEPA filter, an adsorption filter type that absorbs harmful gases using activated carbon, a wet type that removes dust or harmful gases using water, and a high voltage air purifier. Electrostatic dust collection type, which removes dust using high voltage, negative ion type, which removes dust by generating negative ions at high voltage and supplying them into the air, plasma type, which removes harmful gases by generating positive and negative ions with plasma, and TiO generated by ultraviolet irradiation. It can be implemented as an air purifier of various types, such as a UV photocatalytic type that removes bad odors and harmful gases through oxidation/reduction of OH radicals and active oxygen, and may also be a complex air purifier that employs two or more methods in combination.
공기청정기(500)의 네트워크부(510), 메모리(520), 프로세서(530)의 기능, 동작, 하드웨어적 구성, 소프트웨어적 구성에 대해서는 위에서 설명한 바와 동일하다. 프로세서(530)에 의해서 생성된 제1 내지 제n환경 조성 정보는 구동부(540)로 전달될 수 있다. 구동부(540)는 공기청정기(500)에 구비된 다양한 하드웨어적 요소를 동작시킨다. The functions, operations, hardware configuration, and software configuration of the network unit 510, memory 520, and processor 530 of the air purifier 500 are the same as described above. The first to nth environment composition information generated by the processor 530 may be transmitted to the driver 540. The driving unit 540 operates various hardware elements provided in the air purifier 500.
측정부(550)는 공간 내의 공기성분, 조도 및 공기청정기 부품상태 등을 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 구체적으로, 측정부는 PM1.0, PM2.5, PM10 등 보이지 않는 부유입자를 감지하는 먼지센서, 실내 유해가스나 냄새 등을 검출하는 가스센서, 실내조도를 감지하는 조도센서, 실내공기에 포함된 300여 종의 휘발성 유기화합물의 총 농도를 측정하는 TVOC 센서, 실내공기 중의 이산화탄소 농도를 측정하는 CO2센서, 라돈의 농도를 측정하는 라돈 센서, 필터부의 수명에 따른 필터차압을 측정하여 필터교체시기를 알 수 있게 하는 압력센서, 실내온도를 측정하는 온도센서 등을 포함할 수 있다.The measuring unit 550 may include one or more sensors for sensing air components, illuminance, and condition of air purifier components in the space. Specifically, the measuring unit includes a dust sensor that detects invisible floating particles such as PM1.0, PM2.5, and PM10, a gas sensor that detects indoor harmful gases or odors, an illuminance sensor that detects indoor illumination, and a dust sensor that detects indoor air. TVOC sensor that measures the total concentration of over 300 types of volatile organic compounds, CO2 sensor that measures the concentration of carbon dioxide in indoor air, radon sensor that measures the concentration of radon, and a filter replacement time that measures the filter differential pressure according to the life of the filter unit. It may include a pressure sensor that measures the indoor temperature, a temperature sensor that measures the indoor temperature, etc.
도면에는 도시하지 않았으나, 공기청정기(500)는 토출구와 흡입구가 구비된 하우징, 필터부, 송풍팬, 살균부, 가습부, 가열부, 냉각부, 측정부 등으로 구성될 수 있다. 하우징은 공기청정기(500)의 매립형, 고정형, 이동형, 차량형, 웨어러블형 등 구현방식에 따라 다양하게 설계될 수 있다. 필터부는 집진필터식, 흡착필터식, 습식, 전기집진식, 음이온식, 플라즈마식, UV광촉매식 등의 공기청정방식에 대응하여 선택될 수 있다. 송풍팬은 전원공급부로부터 공급된 전원에 의하여 회전하는 모터에 연결될 수 있다. 살균부는 화학적, 전기적 방식을 이용하여 흡입된 공기를 살균하는 기능을 가진다. 가습부는 흡입된 공기를 가습하여 송출하는 기능을 갖고, 가열부와 냉각부는 흡입된 공기를 소정 온도로 가열하거나 냉각시키는 기능을 갖는다. Although not shown in the drawing, the air purifier 500 may be composed of a housing equipped with an outlet and an inlet, a filter unit, a blowing fan, a sterilizing unit, a humidifying unit, a heating unit, a cooling unit, a measuring unit, etc. The housing can be designed in various ways depending on the implementation method of the air purifier 500, such as embedded type, fixed type, mobile type, vehicle type, or wearable type. The filter unit can be selected according to the air purification method, such as dust collection filter type, adsorption filter type, wet type, electric dust collection type, anion type, plasma type, and UV photocatalyst type. The blowing fan may be connected to a motor that rotates by power supplied from the power supply. The sterilizing unit has the function of sterilizing the inhaled air using chemical and electrical methods. The humidifying part has the function of humidifying and sending out the sucked air, and the heating part and the cooling part have the function of heating or cooling the sucked air to a predetermined temperature.
상술한 공기청정기(500)의 하드웨어적 요소는 일 실시예에 불과하며, 이 중 일부가 통합되어 하나의 구성으로 구현될 수도 있고, 일부 구성이 생략될 수 있으며, 위에서 설명되지 않은 공기청정 기능을 수행하기 위한 다양한 구성이 부가될 수 있을 것이다.The hardware elements of the air purifier 500 described above are only an example, and some of them may be integrated and implemented as one configuration, some configurations may be omitted, and air cleaning functions not described above may be used. Various configurations may be added to perform this.
한편, 환경 센싱 정보는 사용자 단말(300)을 통해 획득될 수 있다. 환경 센싱 정보는, 사용자가 수면을 취하는 침실에서 획득되는 수면 음향 정보일 수 있다.Meanwhile, environmental sensing information can be obtained through the user terminal 300. The environmental sensing information may be sleep sound information obtained in the bedroom where the user sleeps.
또한, 환경 센싱 정보는 공기청정기(500) 내에 구비된 측정부(550)로부터 획득된 수면공간내 공기질 정보일 수 있다. 사용자 단말(300) 또는 측정부(550)를 통해 획득된 환경 센싱 정보는, 본 발명에서 사용자의 수면 상태 정보를 획득하기 위한 기반이 되는 정보일 수 있다. Additionally, the environmental sensing information may be air quality information in the sleeping space obtained from the measurement unit 550 provided in the air purifier 500. Environmental sensing information acquired through the user terminal 300 or the measurement unit 550 may be the basis for obtaining the user's sleep state information in the present invention.
구체적인 예를 들어, 사용자의 활동에 관련하여 획득되는 환경 센싱 정보를 통해 사용자가 수면 전인지, 수면 중인지 또는 수면 후인지 여부에 관련한 수면 상태 정보가 획득될 수 있다 또한, 사용자의 수면 전, 수면 중 및 수면 후 주변 공기질과 관련한 정보가 획득될 수 있다. For a specific example, sleep state information related to whether the user is before, during, or after sleep can be obtained through environmental sensing information obtained in relation to the user's activities. Additionally, before and during sleep, the user can And information related to surrounding air quality after sleeping can be obtained.
프로세서(530)는 사용자 단말(300) 및/또는 측정부(550)를 통해 획득된 환경 센싱 정보에 기초하여 수면 상태 정보를 획득할 수 있다. The processor 530 may obtain sleep state information based on environmental sensing information obtained through the user terminal 300 and/or the measurement unit 550.
구체적으로, 프로세서(530)는 환경 센싱 정보에 기 설정된 패턴의 정보가 감지되는 특이점을 식별할 수 있다. 여기서 기 설정된 패턴의 정보는, 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많은 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다. 반면, 사용자가 수면을 취하는 경우에는, 자율신경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 즉, 프로세서(530)는 환경 센싱 정보에서, 규칙적인 호흡, 적은 몸의 움직임 또는 적은 호흡음 등에 관련한 기 설정된 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 프로세서(530)는 식별된 특이점을 기준으로 획득되는 환경 센싱 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 프로세서(530)는 시계열적으로 획득되는 환경 센싱 정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.Specifically, the processor 530 may identify a singularity in which information of a preset pattern is sensed in the environmental sensing information. Here, the preset pattern information may be related to breathing and movement patterns related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed. On the other hand, when the user sleeps, the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder. That is, the processor 530 may identify the point in time at which sound information of a preset pattern related to regular breathing, small body movement, or small breathing sounds is detected as a singular point in the environmental sensing information. Additionally, the processor 530 may acquire sleep sound information based on environmental sensing information obtained based on the identified singularity. The processor 530 may identify a singularity related to the user's sleep timing from environmental sensing information acquired in time series and obtain sleep sound information based on the singularity.
또한, 측정부(550)를 통해 측정된 공기질은 사용자의 수면에 많은 영향을 미친다. 공기질과 수면 사이의 관계를 분석한 논문에 따르면, 수면 장애는 공기오염과 통계적으로 유의미한 연관성을 보이는 것이 확인되었다. 예를 들어, PM10에 노출된 경우 수면을 유지하는데 어려움을 겪을 수 있고, 특히, 남성이 PM1에 노출되었을 때 수면장애가 나타날 확률이 가장 높은 것을 확인할 수 있었다. 또한, 여성의 경우, PM1, PM2.5에 노출 되었을 때 수면 장애가 생길 가능성이 가장 높다는 것이 확인되었다. 또한, SO2, O3가 높을 때 천명(wheezing)과 관련된 수면 방해가 나타날 확률이 가장 높다는 것이 확인되었다. 뿐만 아니라, 임산부가 임신 31~35주 사이에 PM2.5에 노출 되면 태어난 아이가 수면 길이가 짧아질 가능성이 가장 높다는 것도 확인되었다. AHI와 공기의 질을 측정하는 수치들과의 연관성에 대해 다양한 연구가 진행되었고, 결과는 연구마다 조금씩 다르게 나오고 있지만, 공기질과 수면의 연관성이 매우 높다는 결과는 동일했다.Additionally, the air quality measured through the measuring unit 550 has a significant impact on the user's sleep. According to a paper analyzing the relationship between air quality and sleep, it was confirmed that sleep disorders show a statistically significant relationship with air pollution. For example, exposure to PM10 can result in difficulty maintaining sleep, and in particular, it has been confirmed that men are most likely to experience sleep disorders when exposed to PM1. Additionally, it was confirmed that women are most likely to have sleep disorders when exposed to PM1 and PM2.5. Additionally, it was confirmed that wheezing and related sleep disturbances were most likely to occur when SO 2 and O 3 were high. In addition, it was confirmed that if a pregnant woman is exposed to PM2.5 between 31 and 35 weeks of pregnancy, the child is most likely to have a short sleep period. Various studies have been conducted on the relationship between AHI and air quality measurements, and although the results are slightly different for each study, the result is the same: the correlation between air quality and sleep is very high.
본 발명에 따른 공기청정기(500)는 환경 센싱 정보에 기초하여 수면 상태 정보를 획득한 뒤 환경 조성 정보를 생성하고, 이를 이용하여 수면 단계에 적절한 동작을 수행할 수 있다.The air purifier 500 according to the present invention can acquire sleep state information based on environmental sensing information, generate environmental composition information, and use this to perform operations appropriate for the sleep stage.
구체적으로, 공기청정기(500)의 프로세서(530)는 사용자의 상태가 취침 전 상태인 것으로 판단된 경우, 사용자가 수면을 준비하는 것으로 예측되는 시점(예컨대, 수면 유도 시점)부터 잠이 드는 시점(즉, 제2수면 상태 정보가 획득되는 시점)까지, 공기청정기를 제어하기 위한 제1환경 조성 정보를 생성할 수 있다. 제1환경 조성 정보는 측정부(550)에서 측정된 PM농도, 유해가스농도, CO2농도, SO2농도, O3농도, 습도, 온도 등을 반영하여 생성될 수 있다.Specifically, when the processor 530 of the air purifier 500 determines that the user's state is in the pre-bedtime state, the user starts from the time when the user is predicted to be preparing for sleep (e.g., the time of sleep induction) to the time when the user falls asleep ( That is, the first environment creation information for controlling the air purifier can be generated until the second sleep state information is acquired. The first environment composition information may be generated by reflecting the PM concentration, harmful gas concentration, CO2 concentration, SO2 concentration, O3 concentration, humidity, temperature, etc. measured by the measuring unit 550.
제1환경 조성 정보는, 사용자의 수면 전 소정시간(예: 20분 전)까지 미세먼지 및 유해가스를 미리 제거하도록 공기청정기를 제어하는 정보, 수면 직전 수면을 유도할 수 있는 정도의 소음(백색소음)을 유발하도록 공기청정기를 제어하거나, 송풍세기를 기설정된 세기 이하로 조절하거나, LED의 세기를 낮추는 등의 정보, 수면공간 내의 온도 및 습도 정보에 기초하여 제습/가습을 실행하도록 공기청정기를 제어하기 위한 정보 등을 포함할 수 있다. The first environment creation information includes information that controls the air purifier to remove fine dust and harmful gases in advance until a predetermined time (e.g., 20 minutes before) before the user's sleep, and noise (white noise) at a level that can induce sleep just before sleep. Control the air purifier to cause noise, adjust the blower intensity below the preset intensity, lower the intensity of the LED, etc., and use the air purifier to perform dehumidification/humidification based on the temperature and humidity information in the sleeping space. It may include information for control, etc.
또한, 프로세서(530)는 제2수면 상태 정보에 기초하여 공기청정기의 LED를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기청정기를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하도록 공기청정기를 제어하기 위한 제2환경 조성 정보를 생성할 수 있다.In addition, the processor 530 turns off the LED of the air purifier based on the second sleep state information, operates the air purifier with noise below a preset level, adjusts the blowing intensity to below the preset intensity, or blows the air purifier. Second environment composition information can be generated to control the air purifier to set the temperature within a preset range or maintain the humidity in the sleeping space at a predetermined temperature.
제2환경 조성 정보는 제2수면 상태 정보에 기초한 것으로, 공기청정기의 LED를 오프시키거나, 기설정된 레벨 이하의 소음으로 공기청정기를 동작시키거나, 송풍 강도를 기설정된 세기 이하로 조절하거나, 송풍 온도를 기설정된 범위 내에 맞추거나, 수면공간 내의 습도를 소정 온도로 유지하도록 공기청정기를 제어하기 위한 제어 정보일 수 있다. 사용자는 수면 직전 미세먼지, 유해가스가 제거된 수면공간 내에서 공기흐름, 백색소음 등으로 수면이 유도될 수 있고, 입면 후 최적의 온도, 습도 등이 제어된 상태에서 숙면을 취할 수 있게 된다.The second environment creation information is based on the second sleep state information, such as turning off the LED of the air purifier, operating the air purifier with noise below a preset level, adjusting the blowing intensity to below the preset intensity, or blowing air. This may be control information for controlling the air purifier to set the temperature within a preset range or maintain the humidity in the sleeping space at a predetermined temperature. Users can be induced to sleep by airflow and white noise in a sleeping space where fine dust and harmful gases have been removed just before sleep, and after going to sleep, they can have a good night's sleep with the optimal temperature and humidity controlled.
심상 유도 정보를 생성하는 장치(100a)/제공하는 장치(200a)Device for generating/providing image-inducing information (100a) (200a)
본 발명의 일 실시 형태에 따르면, 도 1h에 도시된 바와 같이, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)는 단말 또는 서버일 수 있으며, 임의의 형태의 장치는 모두 포함할 수 있다. According to one embodiment of the present invention, as shown in FIG. 1H, the device 100a for generating imagery induction information or the device 200a for providing imagery induction information may be a terminal or a server, and may be any type of device. Devices can include both.
또한, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)는 학습 데이터 세트를 통해 하나 이상의 네트워크 함수에 대한 학습을 수행함으로써, 환경 센싱 정보에 대응하는 수면 상태 정보를 획득하기 위한 수면 분석 모델을 생성할 수 있다. In addition, the device 100a for generating imagery inducing information or the device 200a for providing imagery inducing information provides sleep state information corresponding to environmental sensing information by performing learning on one or more network functions through a learning data set. A sleep analysis model for acquisition can be created.
본 발명의 일 실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. According to one embodiment of the present invention, the device 100a for generating imagery inducing information or the device 200a for providing imagery inducing information may be a server providing a cloud computing service.
보다 구체적으로, 정보를 사용자의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 처리하는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. More specifically, it may be a server that provides a cloud computing service that processes information not on the user's computer but on another computer connected to the Internet.
클라우드 컴퓨팅 서비스는 인터넷 상에 자료를 저장해 두고, 사용자가 필요한 자료나 프로그램을 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제 어디서나 이용할 수 있는 서비스일 수 있으며, 인터넷 상에 저장된 자료들을 간단한 조작 및 클릭으로 쉽게 공유하고 전달할 수 있다. A cloud computing service may be a service that stores data on the Internet and allows users to use it anytime, anywhere through an Internet connection without having to install necessary data or programs on their computer. Simple manipulation and clicking of data stored on the Internet is possible. It can be easily shared and delivered.
도 1h에 도시된 전자장치 내에서, 환경 센싱 정보를 획득하는 단계, 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 단계, 전처리된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하는 단계, 변환된 스펙트로그램에 기초하여 수면 상태 정보를 생성하는 단계 및 생성된 수면 상태 정보에 기초하여 심상 유도 정보를 제공하고 피드백하는 단계가 수행될 수도 있다. In the electronic device shown in Figure 1h, obtaining environmental sensing information, performing preprocessing on the obtained environmental sensing information, converting acoustic information included in the preprocessed environmental sensing information into a spectrogram, conversion A step of generating sleep state information based on the generated spectrogram and a step of providing and feeding back imagery induction information based on the generated sleep state information may be performed.
또는, 본 발명의 일 실시형태에 따르면, 전자 장치 내에서, 환경 센싱 정보를 획득하는 단계, 획득된 환경 센싱 정보에 대하여 전처리를 수행하는 단계, 전처리된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하는 단계, 변환된 스펙트로그램이 서버로 전송되는 단계가 수행되고, 서버가 전송된 스펙트로그램에 기초한 학습 또는 추론 등을 통해 수면 상태 정보를 생성하면, 전자 장치가 수면 상태 정보를 수신하는 단계가 수행될 수도 있다.Alternatively, according to an embodiment of the present invention, in an electronic device, obtaining environmental sensing information, performing preprocessing on the obtained environmental sensing information, and converting acoustic information included in the preprocessed environmental sensing information into a spectrogram. A step of converting and transmitting the converted spectrogram to the server is performed, and when the server generates sleep state information through learning or inference based on the transmitted spectrogram, the electronic device receives the sleep state information. may be performed.
또는, 본 발명의 일 실시형태에 따르면, 전자 장치가 있는데, 다른 전자 장치가 환경 센싱 정보를 획득하고, 획득된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하고, 변환된 스펙트로그램에 기초하여 수면 상태 정보를 생성하면, 환경 센싱과 심상 유도 정보 제공 및 피드백 기능이 실장된 전자 장치가 다른 전자 장치로부터 수면 상태 정보를 수신하는 단계가 수행될 수도 있다. Alternatively, according to one embodiment of the present invention, there is an electronic device, where another electronic device acquires environmental sensing information, converts the acoustic information included in the obtained environmental sensing information into a spectrogram, and performs a signal based on the converted spectrogram. When sleep state information is generated, an electronic device equipped with environmental sensing, image induction information provision, and feedback functions may receive sleep state information from another electronic device.
여기서 다른 전자장치란, 환경 센싱과 심상 유도 정보 생성 및 제공 기능이 실장된 전자 장치와 다른 장치로서, 하나 이상의 다른 전자 장치에 해당할 수 있다. Here, the other electronic device refers to a device different from the electronic device equipped with environmental sensing and image inducing information generation and provision functions, and may correspond to one or more other electronic devices.
다른 전자 장치가 복수개인 경우에는 환경 센싱 정보의 획득, 환경 센싱 정보에 포함된 음향 정보의 스펙트로그램으로 변환, 수면 상태 정보를 생성하는 단계를 독립하여 수행할 수도 있다. If there are a plurality of other electronic devices, the steps of acquiring environmental sensing information, converting sound information included in the environmental sensing information into a spectrogram, and generating sleep state information may be performed independently.
예컨대, 본 발명의 일 실시형태에 따르면, 심상 유도 정보 제공 및 피드백 기능이 실장된 전자 장치가 있는 경우, 다른 전자 장치가 환경 센싱 정보를 획득하고, 획득된 환경 센싱 정보에 포함된 음향 정보를 스펙트로그램으로 변환하고, 변환된 스펙트로그램을 서버로 전송하면, 서버가 전송된 스펙트로그램에 기초하여 수면 상태 정보를 생성하고, 심상 유도 정보 제공 기능이 실장된 전자 장치가 서버에서 생성한 수면 상태 정보를 수신받는 단계가 수행될 수도 있다. For example, according to one embodiment of the present invention, when there is an electronic device equipped with an image induction information provision and feedback function, another electronic device acquires environmental sensing information and converts the acoustic information included in the obtained environmental sensing information into a spectrum. When converted to a gram and the converted spectrogram transmitted to the server, the server generates sleep state information based on the transmitted spectrogram, and an electronic device equipped with an image induction information provision function generates sleep state information generated by the server. A receiving step may also be performed.
위에서 설명한 본 발명에 따른 다양한 실시예들은, 환경 센싱 정보의 획득과, 환경 센싱 정보의 전처리와, 스펙트로그램의 변환, 수면 상태 정보의 생성 등의 다양한 동작들이 반드시 같은 전자장치 내에서 일어나는 것이 아니라, 여러 장치에서 일어날 수 있는 것이고, 이는 시계열적으로 일어날 수도 있지만, 동시에 일어날 수도 있고, 독립하여 개별적으로 일어날 수도 있다는 것을 설명하기 위한 예시이므로, 본 발명은 위에 설명한 다양한 실시예들에 한정되는 것은 아니다.In various embodiments of the present invention described above, various operations such as acquisition of environmental sensing information, preprocessing of environmental sensing information, conversion of spectrogram, and generation of sleep state information do not necessarily occur within the same electronic device, This is an example to explain that it can occur in multiple devices, and that it can occur in time series, simultaneously, or independently, so the present invention is not limited to the various embodiments described above.
전자 장치(600)Electronic Device (600)
도 2b는 본 발명에 따른 전자 장치(600)의 구성을 나타내는 블록도이다. Figure 2b is a block diagram showing the configuration of an electronic device 600 according to the present invention.
도 2b에 도시된 전자 장치(600)는 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)에 해당할 수 있고, 또는 이 외의 장치에 해당하는 것을 포함한다. 예컨대, 도 2b에 도시된 전자 장치(600)는 사용자 단말에 해당할 수도 있고, 슬립 이미지를 생성 및/또는 제공하는 장치에 해당할 수도 있고, 그 밖의 사용자 수면정보 기반의 수면콘텐츠를 생성 및/또는 제공하는 장치에 해당할 수도 있다.The electronic device 600 shown in FIG. 2B may correspond to the device 100a that generates image-inducing information or the device 200a that provides image-inducing information, or includes devices corresponding to other devices. For example, the electronic device 600 shown in FIG. 2B may correspond to a user terminal, a device that generates and/or provides a sleep image, and/or generates sleep content based on other user sleep information. Or it may correspond to a provided device.
본 발명의 일 실시예에 따르면, 도 2b에 도시된 바와 같이, 전자 장치(600)는 메모리(610), 출력부(620), 프로세서(630) 및 획득부(640)를 포함할 수 있으나, 이에 한정되지 않는다.According to one embodiment of the present invention, as shown in FIG. 2B, the electronic device 600 may include a memory 610, an output unit 620, a processor 630, and an acquisition unit 640. It is not limited to this.
본 발명의 일 실시 형태에 따르면, 심상 유도 정보가 기록된 메모리(610); 상기 기록된 심상 유도 정보를 출력하는 출력부(620); 사용자로부터 수면 상태 정보를 획득하는 획득부(640); 상기 출력된 심상 유도 정보 및 상기 획득된 수면 상태 정보를 서버로 전송하는 수단; 상기 서버가 상기 전송된 심상 유도 정보 및 상기 전송된 수면 상태 정보에 기초하여 사용자의 피처를 추출하면, 상기 추출된 사용자의 피처를 수신하는 수단; 및 상기 수신된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 수단;을 포함하는 전자 장치가 제공될 수 있다. According to one embodiment of the present invention, a memory 610 in which image inducing information is recorded; An output unit 620 that outputs the recorded image guidance information; An acquisition unit 640 that acquires sleep state information from the user; means for transmitting the output image induction information and the obtained sleep state information to a server; When the server extracts the user's features based on the transmitted imagery induction information and the transmitted sleep state information, means for receiving the extracted user's features; and means for generating feature-based imagery induction information based on the received user's features.
본 발명의 일 실시 형태에 따르면, 심상 유도 정보가 기록된 메모리(610); 상기 기록된 심상 유도 정보를 출력하는 출력부(620); 사용자로부터 수면 상태 정보를 획득하는 획득부(640); 상기 출력된 심상 유도 정보 및 상기 수면 상태 정보를 서버로 전송하는 수단; 및 상기 서버가 상기 전송된 심상 유도 정보 및 상기 전송된 수면 상태 정보에 기초하여 사용자의 피처를 추출하고, 상기 서버가 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하면, 상기 생성된 피처 기반 심상 유도 정보를 수신하는 수단;을 포함하는 전자 장치가 제공될 수 있다. According to one embodiment of the present invention, a memory 610 in which image inducing information is recorded; An output unit 620 that outputs the recorded image guidance information; An acquisition unit 640 that acquires sleep state information from the user; means for transmitting the output image induction information and the sleep state information to a server; And when the server extracts the user's features based on the transmitted imagery induction information and the transmitted sleep state information, and the server generates feature-based imagery induction information based on the extracted user's features, the generation An electronic device including means for receiving feature-based image induction information may be provided.
본 발명의 일 실시 형태에 따르면, 심상 유도 정보가 기록된 메모리(610); 상기 기록된 심상 유도 정보를 출력하는 출력부(620); 사용자로부터 수면 상태 정보를 획득하는 획득부(640); 상기 출력된 심상 유도 정보 및 상기 획득된 수면 상태 정보에 기초하여 사용자의 피처를 추출하는 프로세서(630); 상기 추출된 사용자의 피처를 서버로 전송하는 수단; 및 상기 서버가 상기 전송된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하면, 상기 생성된 피처 기반 심상 유도 정보를 수신하는 수단;을 포함하는 전자 장치가 제공될 수 있다. According to one embodiment of the present invention, a memory 610 in which image inducing information is recorded; An output unit 620 that outputs the recorded image guidance information; An acquisition unit 640 that acquires sleep state information from the user; a processor 630 that extracts user features based on the output image induction information and the acquired sleep state information; means for transmitting the extracted user features to a server; and when the server generates feature-based imagery induction information based on the transmitted features of the user, means for receiving the generated feature-based imagery induction information.
본 발명의 일 실시 형태에 따르면, 심상 유도 정보 생성 및 제공 모델은, 전자 장치의 획득부를 통해 획득된 사용자의 수면 상태 정보 및 전자 장치의 출력부를 통해 출력된 심상 유도 정보에 기초하여 사용자의 피처를 추출하고, 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 심상 유도 정보 생성 및 제공 모델이 실장된 서버 장치가 제공될 수 있다. According to one embodiment of the present invention, the imagery induction information generation and provision model generates the user's features based on the user's sleep state information acquired through the acquisition unit of the electronic device and the imagery induction information output through the output unit of the electronic device. A server device implemented with an imagery induction information generation and provision model that extracts and generates feature-based imagery induction information based on the extracted user's features may be provided.
메모리(610)Memory(610)
본 발명의 일 실시예에 따르면, 메모리(610)는 본 발명의 일 실시예에 따른 룩업 테이블에 기초한 심상 유도 정보, 피처 기반 심상 유도 정보에 기초한 심상 유도 정보, 사용자로부터 입력 받은 사용자와 관련된 정보를 갖는 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 프로세서(630)에 의하여 판독되어 구동될 수 있다. According to an embodiment of the present invention, the memory 610 includes image guidance information based on a lookup table, image guidance information based on feature-based image guidance information, and user-related information input from the user according to an embodiment of the present invention. A computer program can be stored, and the stored computer program can be read and driven by the processor 630.
또한, 메모리(610)는 프로세서(630)가 생성하거나 결정한 임의의 형태의 정보 및 네트워크로부터 수신한 임의의 형태의 정보를 저장할 수 있다. Additionally, the memory 610 may store any type of information generated or determined by the processor 630 and any type of information received from the network.
또한, 메모리(610)는 사용자의 수면에 관련한 데이터를 저장할 수 있다. Additionally, the memory 610 may store data related to the user's sleep.
예를 들어, 메모리(610)는 입/출력되는 데이터들을 임시 또는 영구 저장할 수도 있다. For example, the memory 610 may temporarily or permanently store input/output data.
구체적으로, 메모리(610)는 프로세서(630)가 생성하거나 결정한 피처 기반 심상 유도 정보를 임시 또는 영구 저장할 수 있으나, 이에 한정되지 않는다. Specifically, the memory 610 may temporarily or permanently store feature-based imagery induction information generated or determined by the processor 630, but is not limited thereto.
본 발명의 일 실시예에 따르면, 메모리(610)에는 심상 유도 정보가 기록될 수 있다. According to one embodiment of the present invention, imagery inducing information may be recorded in the memory 610.
메모리(610)에 기록된 심상 유도 정보는 룩업 테이블에 기초하는 심상 유도 정보일 수도 있고, 피처 기반 심상 유도 정보에 기초하는 심상 유도 정보일 수도 있다. The image guidance information recorded in the memory 610 may be image guidance information based on a lookup table or may be image guidance information based on feature-based image guidance information.
또한, 메모리(610)에서 심상 유도 정보가 준비되는 단계가 수행될 수 있으며, 심상 유도 정보가 준비되는 단계는 룩업 테이블에 기초하여 심상 유도 정보를 준비할 수도 있고, 피처 기반 심상 유도 정보에 기초하여 심상 유도 정보를 준비할 수도 있다. Additionally, a step of preparing image guidance information may be performed in the memory 610, and the step of preparing image guidance information may include preparing image guidance information based on a lookup table or based on feature-based image guidance information. You can also prepare imagery-inducing information.
출력부(620)Output unit (620)
본 발명의 일 실시예에 따르면, 출력부(620)는 기록된 심상 유도 정보를 출력할 수 있다. According to one embodiment of the present invention, the output unit 620 may output the recorded image induction information.
예를 들어, 출력부(620)는 기록된 심상 유도 정보는 기록된 심상 유도 음향 정보, 기록된 심상 유도 시각 정보, 기록된 심상 유도 텍스트 정보 및 기록된 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합을 출력할 수 있다. For example, the output unit 620 may set the recorded image inducing information to one or more of recorded image inducing sound information, recorded image inducing visual information, recorded image inducing text information, and recorded image inducing text sound information, Alternatively, a combination of two or more of these can be output.
본 발명의 일 실시예에 따르면, 출력부(620)는 프로세서(630)에서 사용자의 수면 상태 정보에 기초하여 생성되는 피처 기반 심상 유도 정보를 출력할 수 있다. According to one embodiment of the present invention, the output unit 620 may output feature-based imagery induction information generated by the processor 630 based on the user's sleep state information.
예를 들어, 출력부(620)에서 출력되는 피처 기반 심상 유도 정보는 피처 기반 심상 유도 음향 정보, 피처 기반 심상 유도 시각 정보, 피처 기반 심상 유도 텍스트 정보 및 피처 기반 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있고, 이에 한정되지 않는다. For example, the feature-based imagery inducing information output from the output unit 620 is one or more of feature-based imagery inducing sound information, feature-based imagery inducing visual information, feature-based imagery inducing text information, and feature-based imagery inducing text sound information. It may be a combination of two or more of these, but is not limited thereto.
또 다른 예를 들어, 출력부(620)에서 출력되는 피처 기반 심상 유도 정보는 심상 유도 시나리오를 갖는 피처 기반 시계열적 심상 유도 음향 정보, 피처 기반 시계열적 심상 유도 시각 정보, 피처 기반 시계열적 심상 유도 텍스트 음향 정보 및 피처 기반 시계열적 심상 유도 텍스트 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있고, 이에 한정되지 않는다. For another example, the feature-based imagery inducing information output from the output unit 620 includes feature-based time-series imagery-inducing sound information with an imagery-inducing scenario, feature-based time-series imagery-inducing visual information, and feature-based time-series imagery-inducing text. It may be one or more of acoustic information and feature-based time-series imagery inducing text information, or a combination of two or more of these, but is not limited thereto.
프로세서(630)Processor(630)
도 2b에 도시된 바와 같이, 프로세서(630)는 메모리(610)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 기계 학습을 위한 데이터 처리를 수행할 수 있다. As shown in FIG. 2B, the processor 630 may read a computer program stored in the memory 610 and perform data processing for machine learning according to an embodiment of the present invention.
본 발명의 일실시예에 따라 프로세서(630)는 신경망의 학습을 위한 연산을 수행할 수 있다. According to one embodiment of the present invention, the processor 630 may perform calculations for learning a neural network.
프로세서(630)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.The processor 630 is used for learning neural networks, such as processing input data for learning in deep learning (DL), extracting features from input data, calculating errors, and updating the weights of the neural network using backpropagation. Calculations can be performed.
또한, 프로세서(630)의 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. Additionally, at least one of the CPU, GPGPU, and TPU of the processor 630 may process learning of the network function.
예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. For example, CPU and GPGPU can work together to process learning of network functions and data classification using network functions.
또한, 본 발명의 일 실시예에서 복수의 전자 장치(600)의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. Additionally, in one embodiment of the present invention, the processors of a plurality of electronic devices 600 can be used together to process learning of network functions and data classification using network functions.
또한, 본 발명의 일 실시예에 따른 전자 장치(600)에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.Additionally, a computer program executed in the electronic device 600 according to an embodiment of the present invention may be a CPU, GPGPU, or TPU executable program.
본 발명의 일 실시예에 따라서, 프로세서(630)는 메모리(610)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 수면 분석 모델을 제공할 수 있다. According to an embodiment of the present invention, the processor 630 may read a computer program stored in the memory 610 and provide a sleep analysis model according to an embodiment of the present invention.
본 발명의 일 실시예에 따라, 프로세서(630)는 수면 상태 정보에 기초하여 심상 유도 정보의 일련의 순서의 구성 정보, 피처 기반 심상 유도 정보를 산출하기 위한 계산을 수행할 수 있다. According to an embodiment of the present invention, the processor 630 may perform calculations to calculate configuration information of a series of imagery induction information and feature-based imagery induction information based on sleep state information.
구체적으로, 출력부(620)에 의해 룩업테이블에 기초한 심상 유도 정보 또는 피처 기반 심상 유도 정보에 기초한 심상 유도 정보가 출력되면, 상기 심상 유도 정보를 통해 사용자로부터 획득된 수면 상태 정보에 기초하여 사용자의 피처를 추출할 수 있다. Specifically, when imagery induction information based on a lookup table or image induction information based on feature-based imagery is output by the output unit 620, the image induction information of the user is based on the sleep state information obtained from the user through the imagery induction information. Features can be extracted.
본 발명의 일 실시예에 따라 프로세서(630)는 수면 분석 모델을 학습시키기 위한 계산을 수행할 수 있다. 이에 따라, 수면 분석 모델에 기초해서 사용자의 수면의 질과 관련한 수면 정보가 추론될 수 있다. According to one embodiment of the present invention, the processor 630 may perform calculations to learn a sleep analysis model. Accordingly, sleep information related to the user's sleep quality can be inferred based on the sleep analysis model.
본 발명의 실시예에 따르면, 사용자로부터 실시간 혹은 주기적으로 획득되는 환경 센싱 정보가 상기 수면 분석 모델에 입력값으로 입력되어 사용자의 수면과 관련한 데이터를 출력하게 된다.According to an embodiment of the present invention, environmental sensing information acquired in real time or periodically from the user is input as an input value to the sleep analysis model to output data related to the user's sleep.
이와 같은 수면 분석 모델의 학습과, 이에 기초한 추론은 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)에 의하여 수행될 수 있다. Learning of such a sleep analysis model and inference based thereon may be performed by the device 100a that generates image-inducing information or the device 200a that provides image-inducing information.
즉, 학습과 추론이 모두 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)에 의하여 수행되는 것으로 설계할 수 있다. In other words, both learning and inference can be designed to be performed by the device 100a that generates image-guided information or the device 200a that provides image-guided information.
다만, 다른 실시예에서는, 학습은 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)에서 하되, 추론은 사용자 단말(300)에서 수행될 수 있다. However, in another embodiment, learning may be performed in the device 100a that generates image-guided information or the device 200a that provides image-guided information, but inference may be performed in the user terminal 300.
본 발명의 일 실시예에 따르면, 프로세서(630)는 통상적으로 전자 장치(600)의 전반적인 동작을 처리할 수 있다. According to one embodiment of the present invention, the processor 630 can typically process the overall operation of the electronic device 600.
프로세서(630)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(610)에 저장된 응용 프로그램을 구동함으로써, 사용자 단말에게 적정한 정보 또는, 기능을 제공하거나 처리할 수 있다.The processor 630 can provide or process appropriate information or functions to the user terminal by processing signals, data, information, etc. input or output through the components discussed above or by running an application program stored in the memory 610. there is.
본 발명의 일 실시예에 따르면, 프로세서(630)는 사용자의 수면 상태 정보를 획득할 수 있다. According to one embodiment of the present invention, the processor 630 may obtain information on the user's sleep state.
본 발명의 일 실시예에 따른, 수면 상태 정보의 획득은, 메모리(610)에 저장된 수면 상태 정보를 획득하거나 또는 로딩(loading)하는 것일 수 있다. Acquiring sleep state information according to an embodiment of the present invention may be acquiring or loading sleep state information stored in the memory 610.
또한, 수면 음향 정보의 획득은, 유/무선 통신 수단에 기초하여 다른 저장 매체에, 다른 전자 장치, 동일한 전자 장치 내의 별도 처리 모듈로부터 데이터를 수신하거나 또는 로딩하는 것일 수 있다.Additionally, acquisition of sleep sound information may involve receiving or loading data from another storage medium, another electronic device, or a separate processing module within the same electronic device based on wired/wireless communication means.
본 발명의 일 실시 형태에 따르면, 프로세서(630)는 출력부(620)에서 출력되는 심상 유도 정보 및 획득부(640)에서 획득되는 사용자의 수면 상태 정보에 기초하여 사용자의 피처를 추출할 수 있다. According to one embodiment of the present invention, the processor 630 may extract the user's features based on the image induction information output from the output unit 620 and the user's sleep state information obtained from the acquisition unit 640. .
또한, 프로세서(630)는 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성할 수도 있다. Additionally, the processor 630 may generate feature-based imagery induction information based on the extracted user features.
또한, 메모리(610)에 사용자와 관련된 정보가 기록되어 있는 경우, 상기 기록된 정보에 기초하여 사용자의 피처를 추출할 수도 있다. Additionally, if information related to the user is recorded in the memory 610, the user's features may be extracted based on the recorded information.
획득부(640)Acquisition Department (640)
도 2b에 도시된 바와 같이, 본 발명의 일 실시 형태에 따르면, 전자 장치(600)의 획득부(640)는 사용자로부터 수면 상태 정보를 획득할 수 있다. As shown in FIG. 2B, according to an embodiment of the present invention, the acquisition unit 640 of the electronic device 600 may obtain sleep state information from the user.
본 발명의 일 실시 형태에 따르면, 획득부(640)는 다른 전자 장치에서 사용자로부터 수면 상태 정보를 획득하면, 상기 획득된 수면 상태 정보를 상기 다른 전자 장치로부터 수신받는 역할을 수행할 수도 있다. According to one embodiment of the present invention, when another electronic device obtains sleep state information from a user, the acquisition unit 640 may perform a role of receiving the obtained sleep state information from the other electronic device.
수면 정보sleep information
본 발명의 일 실시예에 따르면, 본 발명의 목적을 달성하기 위해서 하나 이상의 수면 정보 센서 장치로부터 수면 정보를 습득할 수 있다. 수면 정보는 사용자의 활동 또는 수면 동안 비침습적 방식으로 획득되는 사용자의 수면 음향 정보를 포함할 수 있다. 또한, 수면 정보는 사용자의 생활 정보 및 사용자의 로그 데이터를 포함할 수 있다.According to one embodiment of the present invention, sleep information can be acquired from one or more sleep information sensor devices in order to achieve the purpose of the present invention. The sleep information may include the user's sleep sound information acquired non-invasively during the user's activities or sleep. Additionally, sleep information may include the user's life information and the user's log data.
한편, 본 발명에 있어서, 수면 정보는 환경 센싱 정보 및 사용자의 생활정보를 포함할 수 있다. 사용자의 생활 정보는 사용자의 수면에 영향을 미치는 정보를 포함할 수 있다. 구체적으로, 사용자의 수면에 영향을 미치는 정보는 사용자의 나이, 성별, 질병 여부, 직업, 입면시간, 기상시간, 심박수, 심전도 및 수면 시간을 포함할 수 있다. 예컨대, 사용자의 수면 시간이 기준 시간보다 부족한 경우에는 다음 날의 수면에 있어서, 더 많은 수면 시간을 요구하는 영향을 미칠 수 있다. 반면, 사용자의 수면 시간이 기준 시간보다 충분한 경우에는 다음 날의 수면에 있어서, 더 적은 시간의 수면을 요구하는 영향을 미칠 수 있다.Meanwhile, in the present invention, sleep information may include environmental sensing information and user's life information. The user's life information may include information that affects the user's sleep. Specifically, information that affects the user's sleep may include the user's age, gender, disease status, occupation, bedtime, wake-up time, heart rate, electrocardiogram, and sleep time. For example, if the user's sleep time is less than the standard time, it may have the effect of requiring more sleep time in the next day's sleep. On the other hand, if the user's sleep time is more than the standard time, it may have the effect of requiring less sleep for the next day.
하나 이상의 수면 정보 센서 장치One or more sleep information sensor devices
본 발명의 일 실시예에 따르면, 하나 이상의 수면 센서 장치는 사용자 단말(300)에 구비된 마이크 모듈, 카메라 및 조도 센서를 포함할 수 있다.According to one embodiment of the present invention, one or more sleep sensor devices may include a microphone module, a camera, and an illumination sensor provided in the user terminal 300.
예컨대, 사용자 단말(300)에 구비된 마이크 모듈을 통해 일 공간 상에서 사용자의 활동에 관련한 정보가 획득될 수 있다.For example, information related to the user's activities in a work space may be obtained through a microphone module provided in the user terminal 300.
또한 마이크 모듈은, 비교적 작은 크기의 사용자 단말(300)에 구비되어야 하므로 MEMC(Micro-electro Mechanical System)로 구성될 수 있다.In addition, since the microphone module must be provided in the user terminal 300 of a relatively small size, it may be configured as a Micro-electro Mechanical System (MEMC).
환경 센싱 정보Environmental sensing information
실시예에서, 사용자 단말(300)을 통해 본 발명의 환경 센싱 정보가 획득될 수 있다. 환경 센싱 정보는, 사용자가 위치한 공간에서 획득되는 센싱 정보를 의미할 수 있다. 환경 센싱 정보는, 비접촉식 방법으로 사용자의 활동 또는 수면과 관련하여 획득되는 센싱 정보일 수 있다. In an embodiment, environmental sensing information of the present invention may be obtained through the user terminal 300. Environmental sensing information may refer to sensing information obtained from the space where the user is located. Environmental sensing information may be sensing information obtained in relation to the user's activities or sleep through a non-contact method.
본 발명의 일 실시예에 따르면, 도 1h에 도시된 바와 같이, 수면 감지 영역(11a)에서 획득되는 센싱 정보를 의미할 수 있으나, 이에 한정되지 않는다. According to an embodiment of the present invention, as shown in FIG. 1H, it may mean sensing information obtained from the sleep detection area 11a, but is not limited thereto.
예를 들어, 환경 센싱 정보는, 사용자가 수면을 취하는 침실에서 획득되는 수면 음향 정보일 수 있다. 실시예에 따르면, 사용자 단말(300)을 통해 획득된 환경 센싱 정보는, 본 발명에서 사용자의 수면 상태 정보를 획득하기 위한 기반이 되는 정보일 수 있다. 구체적인 예를 들어, 사용자의 활동에 관련하여 획득되는 환경 센싱 정보를 통해 사용자가 수면 전인지, 수면 중인지 또는 수면 후인지 여부에 관련한 수면 상태 정보가 획득될 수 있다.For example, the environmental sensing information may be sleep sound information obtained in the bedroom where the user sleeps. According to an embodiment, the environmental sensing information acquired through the user terminal 300 may be information that serves as the basis for obtaining the user's sleep state information in the present invention. For a specific example, sleep state information related to whether the user is before, during, or after sleep may be obtained through environmental sensing information obtained in relation to the user's activities.
또 다른 예를 들어, 환경 센싱 정보는 수면 동안 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향 등을 포함할 수 있다. 상기 수면 음향 정보는, 사용자의 수면 동안에 발생하는 움직임 패턴 및 호흡 패턴에 관련한 음향 정보를 의미할 수 있다. 일공간 상에서 사용자의 활동에 관련한 상기 환경 센싱 정보가 사용자 단말(300)에 구비된 마이크로폰을 통해 획득될 수 있다.For another example, environmental sensing information may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep. The sleep sound information may refer to sound information related to movement patterns and breathing patterns that occur during the user's sleep. The environmental sensing information related to the user's activities in the work space may be obtained through a microphone provided in the user terminal 300.
또는, 상기 환경 센싱 정보는, 사용자의 호흡 및 움직임 정보를 포함할 수 있다. 사용자 단말(300)은 모션 센서(motion sensor)로서의 레이더 센서(radar sensor)를 포함할 수 있다. 사용자 단말(300)은 상기 레이더 센서를 통해 측정된 사용자의 움직임과 거리를 신호처리하여 사용자의 호흡에 해당하는 이산 파형(호흡 정보)를 생성할 수 있다. 상기 이산 파형과 움직임에 기초하여 수면과 관련한 정량적인 지표를 얻을 수 있다.Alternatively, the environmental sensing information may include the user's breathing and movement information. The user terminal 300 may include a radar sensor as a motion sensor. The user terminal 300 may generate a discrete waveform (respiration information) corresponding to the user's breathing by processing the user's movement and distance measured through the radar sensor. Quantitative indicators related to sleep can be obtained based on the discrete waveforms and movements.
상기 환경 센싱 정보는, 사용자의 수면 중인 공간의 온도, 습도 및 조명 수준을 측정하는 센서를 통해 얻은 측정값을 포함할 수 있다. 이를 위해, 사용자 단말(300)은 침실의 온도, 습도 및 조명 수준을 측정하는 센서를 구비할 수 있다.The environmental sensing information may include measured values obtained through a sensor that measures the temperature, humidity, and lighting level of the user's sleeping space. To this end, the user terminal 300 may be equipped with a sensor that measures temperature, humidity, and lighting levels in the bedroom.
본 발명의 일 실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)는 MEMS로 구성된 마이크 모듈을 통해 획득된 환경 센싱 정보에 기초하여 수면 상태 정보를 획득할 수 있다. According to one embodiment of the present invention, the device 100a for generating imagery induction information or the device 200a for providing imagery induction information provides sleep state information based on environmental sensing information acquired through a microphone module composed of MEMS. It can be obtained.
구체적으로, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)는 많은 노이즈를 포함하여 불명료하게 획득된 환경 센싱 정보를 분석이 가능한 데이터로 변환할 수 있으며, 변환된 데이터를 활용하여 인공 신경망에 대한 학습을 수행할 수 있다. Specifically, the device 100a for generating image-inducing information or the device 200a for providing image-inducing information can convert environmental sensing information obtained indistinctly, including a lot of noise, into data that can be analyzed, and the converted You can use data to learn about artificial neural networks.
본 발명의 일실시예에 따르면, 인공 신경망에 대한 사전 학습이 완료된 경우, 학습된 신경망은 수면 음향 정보에 대응하여 획득된 스펙트로그램에 기초하여 사용자의 수면 상태 정보를 획득할 수 있다. According to one embodiment of the present invention, when prior learning for the artificial neural network is completed, the learned neural network may obtain the user's sleep state information based on the spectrogram obtained in response to the sleep sound information.
구체적으로, 상기 학습된 신경망은 인공지능 음향 분석 모델일 수 있으나, 이에 한정되지 않는다. Specifically, the learned neural network may be an artificial intelligence sound analysis model, but is not limited to this.
즉, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 사용자 단말(300) 등은 낮은 신호 대 잡음비를 갖는 수면 음향 정보를 획득하는 경우, 이를 분석에 적절한 데이터로 가공하고, 가공된 데이터를 처리하여 수면 상태 정보를 제공할 수 있다. That is, when the device 100a for generating image induction information, the device 200a for providing image induction information, or the user terminal 300 acquires sleep sound information having a low signal-to-noise ratio, it provides data appropriate for analysis. By processing the processed data, sleep state information can be provided.
이는 명료한 음향 획득을 위해 사용자의 신체에 접촉식으로 마이크를 구비하지 않아도 되며, 또한, 높은 신호 대 잡음비를 가진 별도의 추가 디바이스를 구매하지 않고 소프트웨어 업데이트 만으로 일반적인 가정 환경에서 수면 상태를 모니터링할 수 있게 하여 편의성을 증대시키는 효과를 제공할 수 있다.This eliminates the need to have a contact microphone on the user's body to obtain clear sound, and also allows sleep status to be monitored in a typical home environment with just a software update without purchasing an additional device with a high signal-to-noise ratio. This can provide the effect of increasing convenience.
도 1d에서 심상 유도 정보를 생성하는 장치(100a)가 사용자 단말(300)과 별도의 엔티티로서 분리되어 표현되었지만, 본 발명의 실시예에 따라서, 도 1c에 도시된 바와 같이, 심상 유도 정보를 생성하는 장치(100a)는 사용자 단말(300) 내에 포함되어, 수면 상태 측정 및 심상 유도 정보를 제공하는 기능을 하나의 통합 장치에서 수행할 수도 있다. In FIG. 1D, the device 100a for generating imagery inducing information is represented as a separate entity from the user terminal 300, but according to an embodiment of the present invention, as shown in FIG. 1c, it generates imagery inducing information. The device 100a may be included in the user terminal 300 and perform the functions of measuring sleep status and providing imagery induction information in one integrated device.
마찬가지로, 도 1e에서 심상 유도 정보를 제공하는 장치(200a)가 사용자 단말(300)과 별도의 엔티티로서 분리되어 표현되었지만, 본 발명의 실시예에 따라서, 도 1c에 도시된 바와 같이, 심상 유도 정보를 제공하는 장치(200a)는 사용자 단말(300) 내에 포함되어, 수면 상태 측정 및 심상 유도 정보를 피드백하는 기능을 하나의 통합 장치에서 수행할 수도 있다.Likewise, in FIG. 1E, the device 200a providing imagery inducing information is represented as a separate entity from the user terminal 300, but according to an embodiment of the present invention, as shown in FIG. 1c, imagery inducing information The device 200a that provides may be included in the user terminal 300 and perform functions of measuring sleep state and feeding back information on inducing imagery in one integrated device.
이러한 사용자 단말(300)은 컴퓨팅 장치(100)와 통신을 위한 메커니즘을 갖는 시스템에서의 임의의 형태의 엔티티(들)를 의미할 수 있다. 예를 들어, 이러한 사용자 단말(300)은 PC(personal computer), 노트북(note book), 모바일 단말기(mobile terminal), 스마트 폰(smart phone), 태블릿 PC(tablet pc), 인공지능(AI) 스피커 및 인공지능 TV 및 웨어러블 디바이스(wearable device) 등을 포함할 수 있으며, 유/무선 네트워크에 접속할 수 있는 모든 종류의 단말을 포함할 수 있다. 또한, 사용자 단말(300)은 에이전트, API(Application Programming Interface) 및 플러그-인(Plug-in) 중 적어도 하나에 의해 구현되는 임의의 서버를 포함할 수 도 있다. 또한, 사용자 단말(300)은 애플리케이션 소스 및/또는 클라이언트 애플리케이션을 포함할 수 있다.This user terminal 300 may refer to any type of entity(s) in the system that has a mechanism for communication with the computing device 100. For example, these user terminals 300 include personal computers (PCs), notebooks (note books), mobile terminals, smart phones, tablet PCs, and artificial intelligence (AI) speakers. and artificial intelligence TVs and wearable devices, and may include all types of terminals that can access wired/wireless networks. Additionally, the user terminal 300 may include an arbitrary server implemented by at least one of an agent, an application programming interface (API), and a plug-in. Additionally, the user terminal 300 may include an application source and/or a client application.
본 발명의 일 실시예에 따르면, 외부 서버(20)는 신경망의 학습을 위한 복수의 학습 데이터에 대한 정보들을 저장하는 서버일 수 있다. 복수의 학습데이터는 예컨대, 건강검진 정보 또는 수면검진 정보 등을 포함할 수 있다. 예를 들어, 외부 서버(20)는 병원 서버 및 정보 서버 중 적어도 하나일 수 있으며, 복수의 수면다원검사 기록, 전자건강기록 및 전자의료기록 등에 관한 정보를 저장하는 서버일 수 있다. 예를 들어, 수면다원검사 기록은 수면검진 대상자의 수면 동안의 호흡 및 움직임 등에 대한 정보 및 해당 정보들에 대응하는 수면 진단 결과(예컨대, 수면 단계 등)에 대한 정보를 포함할 수 있다. 외부 서버(20)에 저장된 정보들은 본 발명에서의 신경망을 학습시키기 위한 학습 데이터, 검증 데이터 및 테스트 데이터로 활용될 수 있다.According to one embodiment of the present invention, the external server 20 may be a server that stores information about a plurality of learning data for learning a neural network. The plurality of learning data may include, for example, health checkup information or sleep checkup information. For example, the external server 20 may be at least one of a hospital server and an information server, and may be a server that stores information about a plurality of polysomnography records, electronic health records, and electronic medical records. For example, a polysomnographic record may include information on the sleep examination subject's breathing and movements during sleep, and information on sleep diagnosis results (eg, sleep stages, etc.) corresponding to the information. Information stored in the external server 20 can be used as learning data, verification data, and test data to train the neural network in the present invention.
본 발명의 컴퓨팅 장치(100)는 외부 서버(20)로부터 건강검진 정보 또는 수면검진 정보 등을 수신하고, 해당 정보들에 기초하여 학습 데이터 세트를 구축할 수 있다. 컴퓨팅 장치(100)는 학습 데이터 세트를 통해 하나 이상의 네트워크 함수에 대한 학습을 수행함으로써, 환경 센싱 정보에 대응하는 수면 상태 정보를 획득하기 위한 수면 분석 모델을 생성할 수 있다. 본 발명의 신경망 학습을 위한 학습 데이터 세트를 구축하는 구성 및 학습 데이터 세트를 활용한 학습 방법에 대한 구체적인 설명은 후술하도록 한다.The computing device 100 of the present invention may receive health checkup information or sleep checkup information from the external server 20 and construct a learning data set based on the corresponding information. The computing device 100 may generate a sleep analysis model to obtain sleep state information corresponding to environmental sensing information by performing learning on one or more network functions through a learning data set. A detailed description of the construction of the learning data set for learning the neural network of the present invention and the learning method using the learning data set will be described later.
수면 음향 정보Sleep sound information
한편, 본 발명에 있어서, 수면 정보는 환경 센싱 정보 및 사용자의 생활 정보를 포함할 수 있다. 상기 환경 센싱 정보는 사용자의 수면에 관한 음향 정보일 수 있다. 하나 이상의 수면 정보 센서 장치는 수면에 대한 분석을 위하여 수면에서 발생하는 음향에 관한 로우 정보(raw data)를 수집할 수 있다. 수면에서 발생하는 음향에 관한 로우 데이터는 시간 도메인일 수 있다. 구체적으로, 수면 음향 정보는 사용자의 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화 되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많을 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡소리가 매우 적을 수 있다. 반면, 사용자가 수면을 취하는 경우에는, 자율신경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 또한, 수면 도중 무호흡이 발생하는 경우에는, 보상 기전으로 무호흡 직후 큰 호흡음이 발생할 수 있다. 즉, 수면에 관한 로우 데이터를 수집함으로써, 수면에 대한 분석을 진행할 수 있다. Meanwhile, in the present invention, sleep information may include environmental sensing information and user's life information. The environmental sensing information may be acoustic information about the user's sleep. One or more sleep information sensor devices may collect raw data about sounds generated from sleep to analyze sleep. Raw data about sounds occurring on the water may be in the time domain. Specifically, sleep sound information may be related to breathing and movement patterns related to the user's sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed. On the other hand, when the user sleeps, the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder. Additionally, when apnea occurs during sleep, loud breathing sounds may occur immediately after apnea as a compensation mechanism. In other words, by collecting raw data about sleep, analysis of sleep can be performed.
환경 센싱 정보 또는 수면 음향 정보를 주파수 도메인으로 변환Convert environmental sensing information or sleep acoustic information to the frequency domain
도 6a는 본 발명에 따른 수면 분석 방법에 있어서 수면 음향 정보에 대응하는 스펙트로그램을 획득하는 방법을 설명하기 위한 도면이다. 도 6a에 도시된 바와 같이, 수면 음향 정보를 변환하여 스펙트로그램을 획득할 수 있다.Figure 6a is a diagram for explaining a method of obtaining a spectrogram corresponding to sleep sound information in the sleep analysis method according to the present invention. As shown in FIG. 6A, a spectrogram can be obtained by converting sleep sound information.
본 발명의 일 실시예에 있어서, 수면 음향 정보를 분석하기 위하여 상기 변환된 정보는 수면 음향 정보의 주파수 성분들의 시간축에 따른 변화를 시각화하여 나타낸 것으로 변환할 수 있다. 이때, 로우 데이터에서 페이즈를 제외한 앰플리튜드만에 기초하여 스펙트로그램으로 변환하는 방식을 이용할 수 있고, 이는 프라이버시를 보호할 뿐만 아니라, 데이터 용량을 낮추어 처리 속도를 향상시킬 수 있다. 다만, 다른 실시예에서는 페이즈와 앰플리튜드를 모두 이용하여 스펙트로그램을 생성하는 것도 가능하다.In one embodiment of the present invention, in order to analyze sleep sound information, the converted information can be converted into a visual representation of changes in the frequency components of the sleep sound information along the time axis. At this time, a method of converting raw data into a spectrogram based only on the amplitude excluding the phase can be used, which not only protects privacy but also improves processing speed by lowering the data capacity. However, in another embodiment, it is also possible to generate a spectrogram using both phase and amplitude.
본 발명의 일 실시예에 따른 프로세서는 수면 음향 정보에 기초하여 생성된 스펙트로그램을 이용하여 수면 분석 모델을 생성할 수 있다. 오디오 데이터로 표현되는 수면 음향 정보를 그대로 이용하게 되면 정보량이 매우 많기 때문에 연산량, 연산시간이 큰 폭으로 증가하게 되며, 원치 않는 신호까지 포함되어 있기 때문에 연산 정밀도가 저하될 뿐만 아니라, 사용자의 모든 오디오 신호가 서버로 전송되는 경우 프라이버시 침해의 우려가 있다. 본 발명은 수면 음향 정보의 노이즈를 제거한 뒤, 이를 스펙트로그램(Mel spectrogram)으로 변환하고, 스펙트로그램을 학습시켜 수면 분석 모델을 생성하기 때문에, 연산량, 연산 시간을 줄일 수 있고, 개인의 프라이버시까지 보호까지 도모할 수 있게 된다.The processor according to an embodiment of the present invention may generate a sleep analysis model using a spectrogram generated based on sleep sound information. If the sleeping sound information expressed as audio data is used as is, the amount of information is very large, so the amount of calculation and calculation time will increase significantly, and not only will the calculation precision be lowered because it includes unwanted signals, but also all of the user's audio. If the signal is transmitted to the server, there is a risk of privacy infringement. The present invention removes noise from sleep sound information, converts it into a spectrogram (Mel spectrogram), and learns the spectrogram to create a sleep analysis model, thereby reducing the amount of computation and computation time, and protecting personal privacy. It can be achieved up to.
프로세서(110)는, 도 6a에 도시된 바와 같이, 수면 음향 정보(SS)에 대응하여 스펙트로그램(SP)을 생성할 수 있다. 스펙트로그램(SP) 생성의 기초가 되는 로우 데이터(수면 음향 정보)를 입력받을 수 있는데, 로우 데이터는 사용자가 입력한 시작시점부터 종료시점까지 사용자 단말 등을 통해 획득되거나, 사용자의 단말 조작(예: 알람 설정)이 이루어진 시점부터 단말 조작에 대응되는 시점(예: 알람 설정 시간)까지 획득되거나, 사용자의 수면 패턴에 기초하여 자동적으로 시점이 선택되어 획득될 수도 있고, 사용자의 수면 의도 시점을 사운드(사용자 말소리, 호흡소리, 주변기기(TV, 세탁기) 소리 등)나 조도 변화 등에 기초하여 자동적으로 시점을 결정하여 획득될 수 있다.As shown in FIG. 6A, the processor 110 may generate a spectrogram (SP) in response to the sleep sound information (SS). Raw data (sleeping sound information), which is the basis for creating a spectrogram (SP), can be input. The raw data is acquired through the user terminal from the start point entered by the user to the end point, or is obtained through the user's terminal operation (e.g. : It can be acquired from the time when alarm setting) is made to the time corresponding to the terminal operation (e.g., alarm setting time), or the time point can be automatically selected and acquired based on the user's sleep pattern, and the time point of the user's sleep intention can be determined by sound. It can be obtained by automatically determining the viewpoint based on the user's speech, breathing, sounds of peripheral devices (TV, washing machine), etc.) or changes in illumination.
도 6a에 도시되지는 않았지만, 입력된 로우 데이터를 전처리하는 과정이 더 포함될 수 있다. 전처리 과정은 로우 데이터의 노이즈 리덕션 과정을 포함한다. 노이즈 리덕션 과정에서 로우 데이터에 포함된 노이즈(예: 화이트노이즈)가 제거된다. 노이즈 리덕션 과정은 백그라운드 노이즈(background noise)를 제거하기 위한 스펙트럴 게이팅(spectral gating), 스펙트럴 서브스트랙션(spectral substraction) 등의 알고리즘을 이용하여 이루어질 수 있다. 나아가, 본 발명에서는 딥러닝 기반의 노이즈 리덕션 알고리즘을 이용하여 노이즈 제거 과정을 수행할 수 있다. 즉, 딥러닝을 통해 사용자의 숨소리, 호흡소리에 특화된 노이즈 리덕션 알고리즘을 이용할 수 있다. 특히, 본 발명은 로우 데이터에서 페이즈를 제외한 앰플리튜드만에 기초하여 스펙트로그램을 생성할 수 있지만, 이에 한정되지 않는다. 이는 프라이버시를 보호할 뿐만 아니라, 데이터 용량을 낮추어 처리 속도를 향상시킨다.Although not shown in FIG. 6A, a process of preprocessing the input raw data may be further included. The preprocessing process includes a noise reduction process of raw data. In the noise reduction process, noise (e.g. white noise) included in raw data is removed. The noise reduction process can be accomplished using algorithms such as spectral gating and spectral subtraction to remove background noise. Furthermore, in the present invention, a noise removal process can be performed using a deep learning-based noise reduction algorithm. In other words, through deep learning, a noise reduction algorithm specialized for the user's breathing and breathing sounds can be used. In particular, the present invention can generate a spectrogram based only on amplitude excluding phase from raw data, but is not limited to this. This not only protects privacy, but also improves processing speed by lowering data volume.
프로세서(110)는 수면 음향 정보(SS)에 대한 고속 푸리에 변환을 수행하여 수면 음향 정보(SS)에 대응하는 스펙트로그램(SP)을 생성할 수 있다. 스펙트로그램(SP)은 소리나 파동을 시각화하여 파악하기 위한 것으로, 파형(waveform)과 스펙트럼(spectrum)의 특징이 조합된 것일 수 있다. 스펙트로그램(SP)은 시간 축과 주파수 축의 변화에 따라 진폭을 차이를 인쇄 농도 또는, 표시 색상의 차이로 나타낸 것일 수 있다.The processor 110 may generate a spectrogram (SP) corresponding to the sleep sound information (SS) by performing fast Fourier transform on the sleep sound information (SS). A spectrogram (SP) is intended to visualize and understand sound or waves, and may be a combination of waveform and spectrum characteristics. A spectrogram (SP) may represent the difference in amplitude according to changes in the time axis and frequency axis as a difference in printing density or display color.
전처리된 음향 관련 로우 데이터는 30초 단위로 잘려 멜 스펙트로그램으로 변환 된다. 이에 따라, 30초의 멜 스펙트로그램은 20 frequency bin x 1201 time step의 차원을 갖게 된다. 본 발명에서는 직사각형의 멜 스펙트로그램을 정사각형 형태로 바꾸기 위하여 스플릿-캣(split-cat) 방식을 이용함으로써 정보량을 보존할 수 있게 된다.The preprocessed acoustic-related raw data is cut into 30-second increments and converted into a Mel spectrogram. Accordingly, a 30-second Mel spectrogram has dimensions of 20 frequency bins x 1201 time steps. In the present invention, the amount of information can be preserved by using the split-cat method to change the rectangular Mel spectrogram into a square shape.
한편, 본 발명의 일 실시예에 따르면, 클린한 숨소리에 가정환경에서 발생하는 다양한 노이즈를 더해 다양한 가정환경에서 측정된 숨소리를 시뮬레이션하는 방법을 이용할 수 있다. 소리는 애디티브(additive)한 성질을 가지고 있기 때문에 서로 더할 수 있다. 하지만, mp3나 pcm 등의 원본 음향 신호를 더하고 멜 스펙트로그램으로 변환하는 것은 많은 컴퓨팅 자원이 소모된다. 따라서, 본 발명은 숨소리, 노이즈를 각각 멜 스펙트로그램으로 변환하여 더하는 방법을 제시한다. 이를 통해, 다양한 가정환경에서 측정된 숨소리를 시뮬레이션하여 딥러닝 모델 학습에 활용함으로써 다양한 가정환경에서의 robustness를 확보할 수 있게 된다.Meanwhile, according to one embodiment of the present invention, a method of simulating breathing sounds measured in various home environments can be used by adding various noises occurring in a home environment to clean breathing sounds. Because sounds have additive properties, they can be added to each other. However, adding original sound signals such as mp3 or pcm and converting them into a mel spectrogram consumes a lot of computing resources. Therefore, the present invention proposes a method of converting breathing sounds and noise into Mel spectrograms and adding them, respectively. Through this, it is possible to secure robustness in various home environments by simulating breathing sounds measured in various home environments and using them to learn deep learning models.
본 발명에서 수면 음향 정보(SS)는, 사용자의 수면 시간 동안 획득되는 호흡 및 몸 움직임에 관련한 음향에 관련한 것이므로, 매우 작은 소리일 수 있다. 이에 따라, 프로세서(110)는 수면 음향 정보를 스펙트로그램(SP)으로 변환하여 음향에 대한 분석을 수행할 수 있다. 이 경우, 스펙트로그램(SP)은 전술한 바와 같이, 소리의 주파수 스펙트럼이 시간에 따라 어떻게 변화하는지 보여주는 정보를 포함하고 있으므로, 비교적 작은 음향에 관련한 호흡 또는 움직임 패턴을 용이하게 식별할 수 있어 분석의 효율이 향상될 수 있다.In the present invention, sleep sound information (SS) relates to sounds related to breathing and body movements acquired during the user's sleep, and may be a very quiet sound. Accordingly, the processor 110 may convert the sleeping sound information into a spectrogram (SP) and perform sound analysis. In this case, the spectrogram (SP), as described above, contains information showing how the frequency spectrum of the sound changes over time, making it possible to easily identify breathing or movement patterns related to relatively small sounds, thereby facilitating analysis. Efficiency can be improved.
일 실시예에 따르면, 다양한 수면 단계에 따라, 각각의 스펙트로그램이 상이한 농도의 주파수 스펙트럼을 갖도록 구성될 수 있다. 즉, 수면 음향 정보의 에너지 레벨의 변화만으로는, 깨어있는 상태, REM 수면 상태, 얕은 수면 상태 및 깊은 수면 상태 중 적어도 하나인지를 예측하기 어려울 수 있으나, 수면 음향 정보를 스펙트로그램으로 변환함으로써, 각 주파수의 스펙트럼의 변화를 용이하게 감지할 수 있으므로, 작은 소리(예컨대, 호흡 및 몸 움직임)에 대응한 분석이 가능해질 수 있다.According to one embodiment, according to various sleep stages, each spectrogram may be configured to have a different concentration of the frequency spectrum. In other words, it may be difficult to predict whether the sleep sound information is at least one of the awake state, REM sleep state, light sleep state, and deep sleep state based solely on changes in the energy level of the sleep sound information, but by converting the sleep sound information into a spectrogram, each frequency Since changes in the spectrum can be easily detected, analysis corresponding to small sounds (e.g., breathing and body movements) may be possible.
또한, 프로세서(110)는 스펙트로그램(SP)을 수면 분석 모델의 입력으로 처리하여 수면 단계 정보를 획득할 수 있다. 여기서 수면 분석 모델은, 사용자의 수면 단계 변화에 관련한 수면 단계 정보를 획득하기 위한 모델로, 사용자의 수면 동안 획득된 수면 음향 정보를 입력으로 하여 수면 단계 정보를 출력할 수 있다. 실시예에서, 수면 분석 모델은, 하나 이상의 네트워크 함수를 통해 구성되는 신경망 모델을 포함할 수 있다.Additionally, the processor 110 may obtain sleep stage information by processing the spectrogram (SP) as an input to a sleep analysis model. Here, the sleep analysis model is a model for obtaining sleep stage information related to changes in the user's sleep stage, and can output sleep stage information by inputting sleep sound information acquired during the user's sleep. In embodiments, the sleep analysis model may include a neural network model constructed through one or more network functions.
뉴럴 네트워크neural network
도 9는 본 발명에 따른 수면 분석 방법을 수행하기 위한 하나 이상의 네트워크 함수를 나타낸 개략도이다.Figure 9 is a schematic diagram showing one or more network functions for performing the sleep analysis method according to the present invention.
수면 분석 모델은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 '노드'라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 '노드'들은 '뉴런(neuron)'들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 '링크'에 의해 상호 연결될 수 있다.A sleep analysis model is comprised of one or more network functions, and one or more network functions may be comprised of a set of interconnected computational units, which may generally be referred to as 'nodes'. These 'nodes' may also be referred to as 'neurons'. One or more network functions are composed of at least one or more nodes. Nodes (or neurons) that make up one or more network functions may be interconnected by one or more 'links'.
신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.Within a neural network, one or more nodes connected through a link may form a relative input node and output node relationship. The concepts of input node and output node are relative, and any node in an output node relationship with one node may be in an input node relationship with another node, and vice versa. As described above, input node to output node relationships can be created around links. One or more output nodes can be connected to one input node through a link, and vice versa.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.In a relationship between an input node and an output node connected through one link, the value of the output node may be determined based on data input to the input node. Here, the nodes connecting the input node and the output node may have a weight. Weights may be variable and may be varied by the user or algorithm in order for the neural network to perform the desired function. For example, when one or more input nodes are connected to one output node by respective links, the output node is set to the values input to the input nodes connected to the output node and the links corresponding to each input node. The output node value can be determined based on the weight.
전술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.As described above, in a neural network, one or more nodes are interconnected through one or more links to form an input node and output node relationship within the neural network. The characteristics of the neural network may be determined according to the number of nodes and links within the neural network, the correlation between the nodes and links, and the value of the weight assigned to each link. For example, if there are two neural networks with the same number of nodes and links and different weight values between the links, the two neural networks may be recognized as different from each other.
신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.Some of the nodes constituting the neural network may form one layer based on the distances from the first input node. For example, a set of nodes with a distance n from the initial input node may constitute n layers. The distance from the initial input node can be defined by the minimum number of links that must be passed to reach the node from the initial input node. However, this definition of a layer is arbitrary for explanation purposes, and the order of a layer within a neural network may be defined in a different way than described above. For example, a layer of nodes may be defined by distance from the final output node.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다. 본 발명의 일 실시예에 따른 신경망은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다.The initial input node may refer to one or more nodes in the neural network through which data is directly input without going through links in relationships with other nodes. Alternatively, in the relationship between nodes based on a link within a neural network, it may refer to nodes that do not have other input nodes connected by a link. Similarly, the final output node may refer to one or more nodes that do not have an output node in their relationship with other nodes among the nodes in the neural network. Additionally, hidden nodes may refer to nodes constituting a neural network other than the first input node and the last output node. The neural network according to an embodiment of the present invention may have more nodes in the input layer than the nodes in the hidden layer close to the output layer, and may be a neural network in which the number of nodes decreases as it progresses from the input layer to the hidden layer.
신경망은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.A neural network may contain one or more hidden layers. The hidden node of the hidden layer can take the output of the previous layer and the output of surrounding hidden nodes as input. The number of hidden nodes for each hidden layer may be the same or different. The number of nodes in the input layer may be determined based on the number of data fields of the input data and may be the same as or different from the number of hidden nodes. Input data input to the input layer can be operated by the hidden node of the hidden layer and output by the fully connected layer (FCL), which is the output layer.
딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. A deep neural network (DNN) may refer to a neural network that includes multiple hidden layers in addition to the input layer and output layer. Deep neural networks allow you to identify latent structures in data. In other words, it is possible to identify the potential structure of a photo, text, video, voice, or music (e.g., what object is in the photo, what the content and emotion of the text are, what the content and emotion of the voice are, etc.) .
딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크, 트랜스포머(Transformer), ViT(Vision Transformer), Mobile ViT(Mobile Vision Transformer) 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.Deep neural networks include convolutional neural networks (CNN), recurrent neural networks (RNN), auto encoders, generative adversarial networks (GAN), and restricted Boltzmann machines (RBMs). boltzmann machine), deep belief network (DBN), Q network, U network, Siamese network, Transformer, Vision Transformer (ViT), Mobile Vision Transformer (ViT), etc. The description of the deep neural network described above is only an example and the present invention is not limited thereto.
본 발명에서 네트워크 함수는 오토 인코더를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. In the present invention, the network function may include an auto encoder. An autoencoder may be a type of artificial neural network to output output data similar to input data. The autoencoder may include at least one hidden layer, and an odd number of hidden layers may be placed between input and output layers.
각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. The number of nodes in each layer may be reduced from the number of nodes in the input layer to an intermediate layer called the bottleneck layer (encoding), and then expanded symmetrically and reduced from the bottleneck layer to the output layer (symmetrical to the input layer).
차원 감소 레이어와 차원 복원 레이어의 노드는 대칭일 수도 있고 아닐 수도 있다. 오토 인코더는 비선형 차원 감소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 센서들의 수와 대응될 수 있다. The nodes of the dimensionality reduction layer and dimensionality restoration layer may or may not be symmetric. Autoencoders can perform nonlinear dimensionality reduction. The number of input layers and output layers may correspond to the number of sensors remaining after preprocessing of the input data.
오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.In an auto-encoder structure, the number of nodes in the hidden layer included in the encoder may have a structure that decreases as the distance from the input layer increases. If the number of nodes in the bottleneck layer (the layer with the fewest nodes located between the encoder and decoder) is too small, not enough information may be conveyed, so if it is higher than a certain number (e.g., more than half of the input layers, etc.) ) may be maintained.
뉴럴 네트워크는 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 및 반지도학습(semi supervised learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 출력의 오류를 최소화하기 위한 것이다. 뉴럴 네트워크의 학습에서 반복적으로 학습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다. 지도 학습의 경우 각각의 학습 데이터에 정답이 라벨링되어 있는 학습 데이터를 사용하며(즉, 라벨링된 학습 데이터), 비지도 학습의 경우는 각각의 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 지도 학습의 경우의 학습 데이터는 학습데이터 각각에 카테고리가 라벨링 된 데이터 일 수 있다. 라벨링된 학습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 라벨을 비교함으로써 오류(error)가 계산될 수 있다. 다른 예로, 데이터 분류에 관한 비지도 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다. 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.A neural network may be trained in at least one of supervised learning, unsupervised learning, and semi-supervised learning. Learning of a neural network is intended to minimize errors in output. In neural network learning, learning data is repeatedly input into the neural network, the output of the neural network and the error of the target for the learning data are calculated, and the error of the neural network is transferred from the output layer of the neural network to the input layer in the direction of reducing the error. This is the process of updating the weight of each node in the neural network through backpropagation. In the case of supervised learning, learning data in which the correct answer is labeled for each learning data is used (i.e., labeled learning data), and in the case of unsupervised learning, the correct answer may not be labeled in each learning data. That is, for example, in the case of supervised learning on data classification, the learning data may be data in which each training data is labeled with a category. Labeled training data is input to the neural network, and the error can be calculated by comparing the output (category) of the neural network with the label of the training data. As another example, in the case of unsupervised learning on data classification, the error can be calculated by comparing the input training data with the neural network output. The calculated error is backpropagated in the reverse direction (i.e., from the output layer to the input layer) in the neural network, and the connection weight of each node in each layer of the neural network can be updated according to backpropagation. The amount of change in the connection weight of each updated node may be determined according to the learning rate. The neural network's calculation of input data and backpropagation of errors can constitute a learning cycle (epoch). The learning rate may be applied differently depending on the number of repetitions of the learning cycle of the neural network. For example, in the early stages of neural network training, a high learning rate can be used to increase efficiency by allowing the neural network to quickly achieve a certain level of performance, and in the later stages of training, a low learning rate can be used to increase accuracy.
뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해서는 오류가 증가하는 학습 사이클이 존재할 수 있다. 과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 AI 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 정칙화 또는 정규화(regularization), 학습의 과정에서 네트워크의 노드 일부를 생략하는 드롭아웃(dropout) 등의 방법이 적용될 수 있다.In the learning of neural networks, the training data can generally be a subset of real data (i.e., the data to be processed using the learned neural network), and thus the error for the training data is reduced, but the error for the real data is reduced. There may be an incremental learning cycle. Overfitting is a phenomenon in which errors in actual data increase due to excessive learning on training data. For example, a phenomenon in which a neural network that learned a cat by showing a yellow cat fails to recognize that it is a cat when it sees a non-yellow cat may be a type of overfitting. Overfitting can cause errors in AI algorithms to increase. To prevent such overfitting, various optimization methods can be used. To prevent overfitting, methods such as increasing the learning data, regularization or regularization, and dropout, which omits some of the network nodes during the learning process, can be applied.
본 명세서에 걸쳐, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. (이하에서는 신경망으로 통일하여 기술한다.) 데이터 구조는 신경망을 포함할 수 있다. 그리고 신경망을 포함한 데이터 구조는 컴퓨터 판독가능 매체에 저장될 수 있다. 신경망을 포함한 데이터 구조는 또한 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 학습을 위한 손실 함수를 포함할 수 있다. 신경망을 포함한 데이터 구조는 상기 개시된 구성들 중 임의의 구성 요소들을 포함할 수 있다. 즉, 신경망을 포함한 데이터 구조는 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 트레이닝을 위한 손실 함수 등 전부 또는 이들의 임의의 조합을 포함하여 구성될 수 있다. 전술한 구성들 이외에도, 신경망을 포함한 데이터 구조는 신경망의 특성을 결정하는 임의의 다른 정보를 포함할 수 있다. 또한, 데이터 구조는 신경망의 연산 과정에 사용되거나 발생되는 모든 형태의 데이터를 포함할 수 있으며 전술한 사항에 제한되는 것은 아니다. 컴퓨터 판독 가능 매체는 컴퓨터 판독가능 기록 매체 및/또는 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 신경망은 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다.Throughout this specification, computational model, neural network, network function, and neural network may be used interchangeably. (Hereinafter, it is described collectively as a neural network.) The data structure may include a neural network. And the data structure including the neural network may be stored in a computer-readable medium. Data structures including neural networks may also include data input to the neural network, weights of the neural network, hyperparameters of the neural network, data obtained from the neural network, activation functions associated with each node or layer of the neural network, and loss functions for learning the neural network. there is. A data structure containing a neural network may include any of the components disclosed above. In other words, the data structure including the neural network is all or It may be configured to include any combination of these. In addition to the configurations described above, a data structure containing a neural network may include any other information that determines the characteristics of the neural network. Additionally, the data structure may include all types of data used or generated in the computational process of a neural network and is not limited to the above. Computer-readable media may include computer-readable recording media and/or computer-readable transmission media. A neural network can generally consist of a set of interconnected computational units, which can be referred to as nodes. These nodes may also be referred to as neurons. A neural network consists of at least one node.
수면 분석 모델sleep analysis model
도 10은 본 발명의 일 실시예에 따라서, 사용자의 수면을 분석하기 위해서 딥러닝을 활용한 수면 분석 모델의 구조를 설명하기 위한 도면이다.Figure 10 is a diagram illustrating the structure of a sleep analysis model using deep learning to analyze a user's sleep, according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 수면 분석 모델은, 미리 정해진 에폭 별 하나 이상의 피처를 추출하는 피처 추출 모델 및 피처 추출 모델을 통해 추출된 피처들 각각을 하나 이상의 수면 단계로 분류하여 수면 단계 정보를 생성하는 피처 분류 모델을 포함할 수 있다.According to an embodiment of the present invention, the sleep analysis model provides sleep stage information by classifying each of the features extracted through the feature extraction model and the feature extraction model into one or more sleep stages, which extracts one or more features for each predetermined epoch. It may include a feature classification model to be created.
본 발명의 일 실시예에 따라서, 도 10에 개시된 사용자의 수면을 분석하기 위한 딥러닝을 활용한 수면 분석 모델(부호 A)은 피처 추출 모델(부호 B), 중간층(부호 C) 및 피처 분류 모델(부호 D)을 통해서 수면정보추론(부호 E)을 진행할 수 있다. 피처 추출 모델(부호 B), 중간층(부호 C) 및 피처 분류 모델(부호 D)을 통해서 구성된 딥러닝을 활용한 수면 분석 모델(부호 A)은 시계열적인 피처와 복수의 이미지에 대한 피처의 학습이 모두 진행되고, 이를 통해서 학습된 딥러닝을 활용한 수면 분석 모델(부호 A)은 전체 수면 시간에 있어서의 수면 단계를 추론할 수 있고, 실시간으로 발생하는 수면의 이벤트를 추론할 수 있다.According to an embodiment of the present invention, the sleep analysis model (code A) using deep learning for analyzing the user's sleep disclosed in Figure 10 includes a feature extraction model (code B), an intermediate layer (code C), and a feature classification model. Sleep information inference (code E) can be performed through (code D). The sleep analysis model (code A) using deep learning, which is composed of a feature extraction model (code B), an intermediate layer (code C), and a feature classification model (code D), learns time-series features and features from multiple images. All of this is done, and the sleep analysis model (code A) using deep learning learned through this can infer the sleep stage in the entire sleep time and can infer sleep events that occur in real time.
피처 추출 모델Feature extraction model
본 발명의 일 실시예에 따라서, 피처 추출 모델(부호 B)은 수면을 분석하기 위한 딥러닝을 활용한 수면 분석 모델(부호 A)에 입력된 수면 음향 정보 또는 변환된 스펙트로그램을 입력으로 하여 입력된 정보의 피처를 추출할 수 있다.According to an embodiment of the present invention, the feature extraction model (code B) is input using sleep sound information or converted spectrogram input to a sleep analysis model (code A) using deep learning to analyze sleep. Features of the information can be extracted.
피처 추출 모델(부호 B)은 학습 데이터 세트를 통해 학습된 독자적인 딥러닝 모델(바람직하게는, MobileVITV2, Transformer 등)을 통해 구성될 수 있다. 피처 추출 모델(부호 B)은 지도 학습 또는 비지도 학습 방식을 통해 학습될 수 있다. 피처 추출 모델은 학습 데이터 세트를 통해 입력 데이터와 유사한 출력 데이터를 출력하도록 학습될 수 있다.The feature extraction model (code B) can be constructed through an independent deep learning model (preferably MobileVITV2, Transformer, etc.) learned through a training data set. The feature extraction model (symbol B) can be learned through supervised learning or unsupervised learning methods. A feature extraction model can be trained to output output data similar to input data through a learning data set.
한편, 본 발명의 실시예에 따른, 피처 추출 모델(부호 B)은 One-to-one 프록시 태스크에 의해 학습을 수행할 수도 있다. 또한, 하나의 스펙트로그램에 대한 수면상태정보를 추출하도록 학습하는 과정에 있어서, 피처추출모델과 또 다른 NN(Neural Network)을 결합하여 피처를 추출하도록 학습될 수 있다.Meanwhile, according to an embodiment of the present invention, the feature extraction model (code B) may be trained by a one-to-one proxy task. Additionally, in the process of learning to extract sleep state information for one spectrogram, it can be learned to extract features by combining a feature extraction model and another NN (Neural Network).
본 발명의 일 실시에에 따라서, 딥러닝을 활용한 수면 분석 모델(부호 A)에 입력되는 정보는 스펙트로그램일 수 있다. According to one embodiment of the present invention, information input to a sleep analysis model (symbol A) using deep learning may be a spectrogram.
도 6a은 본 발명의 일 실시예와 관련된 환경 센싱 정보로부터 수면 음향 정보를 획득하는 과정을 설명하기 위한 예시도이다.FIG. 6A is an exemplary diagram illustrating a process of acquiring sleep sound information from environmental sensing information related to an embodiment of the present invention.
도 6a에 도시된 바와 같이, 피처 추출 모델은, 스펙트로그램(SP)의 시계열적 주파수 패턴을 분석하여 호흡음, 호흡패턴, 움직임 패턴에 관련한 피처들을 추출할 수 있다. 일 실시예에서, 피처 추출 모델은 학습 데이터 세트를 통해 사전 학습된 신경망 모델(예컨대, 오토인코더)의 일부를 통해 구성될 수 있다. As shown in FIG. 6A, the feature extraction model can extract features related to breathing sounds, breathing patterns, and movement patterns by analyzing the time-series frequency pattern of the spectrogram (SP). In one embodiment, the feature extraction model may be constructed from part of a neural network model (e.g., an autoencoder) that has been pre-trained on a training data set.
여기서 학습 데이터 세트는, 복수의 스펙트로그램 및 각 스펙트로그램에 대응하는 복수의 수면 단계 정보로 구성될 수 있다.Here, the learning data set may be composed of a plurality of spectrograms and a plurality of sleep stage information corresponding to each spectrogram.
일 실시예에서, 피처 추출 모델은, 학습 데이터 세트를 통해 학습된 오토인코더(Autoencoder)에서 인코더를 통해 구성될 수 있다. 오토인코더는 비지도 학습 방식을 통해 학습될 수 있다. 오토인코더는 학습 데이터 세트를 통해 입력 데이터와 유사한 출력 데이터를 출력하도록 학습될 수 있다. 자세히 설명하면, 인코더를 통해 인코딩 과정에서 입력된 스펙트로그램의 핵심 특징 데이터(또는 피처)만을 히든 레이어를 통해 학습하고 나머지 정보를 손실시킬 수 있다. 이 경우, 디코더를 통한 디코딩 과정에서 히든 레이어의 출력 데이터는 완벽한 복사 값이 아닌 입력 데이터(즉, 스펙트로그램)의 근사치일 수 있다. 즉, 오토인코더는 출력 데이터와 입력 데이터가 최대한 같아지도록 가중치를 조정하도록 학습될 수 있다.In one embodiment, the feature extraction model may be constructed through an encoder in an autoencoder learned through a training data set. Autoencoders can be learned through unsupervised learning methods. An autoencoder can be trained to output output data similar to input data through a training data set. To explain in more detail, only the core feature data (or features) of the spectrogram input during the encoding process through the encoder can be learned through the hidden layer and the remaining information can be lost. In this case, during the decoding process through the decoder, the output data of the hidden layer may be an approximation of the input data (i.e., spectrogram) rather than a perfect copy value. In other words, the autoencoder can be trained to adjust the weights so that the output data and input data are as equal as possible.
실시예에서, 학습 데이터 세트에 포함된 복수의 스펙트로그램 각각에는, 수면 단계 정보가 태깅될 수 있다. 복수의 스펙트로그램 각각을 인코더에 입력될 수 있으며, 각 스펙트로그램에 대응하는 출력은 태깅된 수면 단계 정보와 매칭하여 저장될 수 있다. 구체적으로 인코더를 이용하여 제1 수면 단계 정보(예컨대, 얕은 수면)가 태깅된 제1 학습 데이터 세트들(즉, 복수의 스펙트로그램) 인코더의 입력으로 하는 경우, 해당 입력에 대한 인코더의 출력에 관련한 피처들은 제1 수면 단계 정보와 매칭하여 저장될 수 있다. In an embodiment, each of the plurality of spectrograms included in the learning data set may be tagged with sleep stage information. Each of the plurality of spectrograms may be input to the encoder, and the output corresponding to each spectrogram may be stored by matching the tagged sleep stage information. Specifically, when first learning data sets (i.e., multiple spectrograms) tagged with first sleep stage information (e.g., light sleep) are input to the encoder using an encoder, the output of the encoder for the corresponding input is related to the input of the encoder. Features may be stored by matching first sleep stage information.
실시예에서, 인코더의 출력에 관련한 하나 이상의 피처는 벡터 공간 상에 표시될 수 있다. 이 경우, 제1 학습 데이터 세트들을 각각에 대응하여 출력된 특징 데이터들은 제1 수면 단계에 관련한 스펙트로그램을 통한 출력이므로, 벡터 공간 상에서 비교적 가까운 거리에 위치할 수 있다. 즉, 각 수면 단계에 대응하여 복수의 스펙트로그램들이 유사한 피처를 출력하도록 인코더의 학습이 수행될 수 있다. In embodiments, one or more features associated with the output of an encoder may be represented in a vector space. In this case, since the feature data output corresponding to each of the first learning data sets is output through a spectrogram related to the first sleep stage, they may be located at a relatively close distance in the vector space. That is, the encoder can be trained so that a plurality of spectrograms output similar features corresponding to each sleep stage.
인코더의 경우, 디코더가 입력 데이터를 잘 복원할 수 있도록 하는 특징을 잘 추출하도록 학습될 수 있다. 따라서, 피처 추출 모델은 학습된 오토인코더 중 인코더를 통해 구현됨에 따라, 입력 데이터(즉, 스펙트로그램)을 잘 복원할 수 있도록 하는 특징들(즉, 복수의 피처)를 추출할 수 있다. In the case of the encoder, the decoder can be trained to extract features that enable it to well recover the input data. Therefore, as the feature extraction model is implemented through an encoder among the learned autoencoders, features (i.e., multiple features) that enable the input data (i.e., spectrogram) to be well restored can be extracted.
전술한 학습 과정을 통해 피처 추출 모델을 구성하는 인코더는 스펙트로그램(예컨대, 수면 음향 정보에 대응하여 변환된 스펙크로그램)을 입력으로 하는 경우, 해당 스펙트로그램에 대응하는 피처를 추출할 수 있다.When the encoder that configures the feature extraction model through the above-described learning process receives a spectrogram (for example, a spectrogram converted in response to sleep sound information) as input, it can extract features corresponding to the spectrogram.
도 6a에 도시된 바와 같이, 본 발명의 일 실시예에 따른 프로세서(630)는 수면 음향 정보(SS)에 대응하여 생성된 스펙트로그램(SP)을 피처 추출 모델의 입력으로 처리하여 피처를 추출할 수 있다. As shown in FIG. 6A, the processor 630 according to an embodiment of the present invention processes the spectrogram (SP) generated in response to the sleep sound information (SS) as an input to the feature extraction model to extract features. You can.
여기서, 수면 음향 정보(SS)는 사용자의 수면 동안 시계열적으로 획득되는 시계열 데이터이므로, 프로세서(630)는 스펙트로그램(SP)을 미리 정해진 에폭으로 분할할 수 있다. Here, since the sleep sound information (SS) is time series data acquired in time series during the user's sleep, the processor 630 may divide the spectrogram (SP) into predetermined epochs.
예컨대, 프로세서(630)는 수면 음향 정보(SS)에 대응하는 스펙트로그램(SP)을 30초 단위로 분할하여 복수 개의 스펙트로그램들을 획득할 수 있다. For example, the processor 630 may obtain a plurality of spectrograms by dividing the spectrogram (SP) corresponding to the sleep sound information (SS) into 30-second increments.
예를 들어, 사용자의 7시간(즉, 420분) 수면 동안 수면 음향 정보가 획득된 경우, 프로세서(630)는 30초 단위로 스펙트로그램을 분할하여 840개의 스펙트로그램을 획득할 수 있다. For example, if sleep sound information is acquired during the user's 7-hour (i.e., 420-minute) sleep, the processor 630 may obtain 840 spectrograms by dividing the spectrogram in 30-second increments.
전술한 수면 시간, 스펙트로그램의 분할 시간 단위 및 분할 개수에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.The detailed numerical description of the above-described sleep time, division time unit of the spectrogram, and number of divisions is only an example, and the present invention is not limited thereto.
본 발명의 일 실시 형태에 따르면, 프로세서(630)는 분할된 복수 개의 스펙트로그램들 각각을 피처 추출 모델의 입력으로 처리하여 복수 개의 스펙트로그램들 각각에 대응하는 복수의 피처를 추출할 수 있다. According to one embodiment of the present invention, the processor 630 may process each of the plurality of divided spectrograms as input to a feature extraction model to extract a plurality of features corresponding to each of the plurality of spectrograms.
예컨대, 복수 개의 스펙트로그램들의 개수가 840개인 경우, 이에 대응하여 피처 추출 모델이 추출하는 복수의 피처의 개수 또한 840개일 수 있다. 전술한 스펙트로그램 및 복수의 피처의 개수에 관련한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.For example, if the number of spectrograms is 840, the number of features extracted by the feature extraction model correspondingly may also be 840. The above-described specific numerical description regarding the spectrogram and number of features is only an example, and the present invention is not limited thereto.
또한, 프로세서(630)는 피처 추출 모델을 통해 출력된 복수의 피처를 피처 분류 모델의 입력으로 처리하여 수면 단계 정보를 획득할 수 있다. Additionally, the processor 630 may obtain sleep stage information by processing a plurality of features output through the feature extraction model as input to a feature classification model.
실시예에서, 피처 분류 모델은 피처에 대응하여 수면 단계를 예측하도록 사전 학습된 신경망 모델일 수 있다. In embodiments, the feature classification model may be a neural network model pre-trained to predict sleep stages corresponding to features.
예컨대, 피처 분류 모델은 fully connected layer를 포함하여 구성되며, 피처를 수면 단계들 중 적어도 하나로 분류하는 모델일 수 있다. 예를 들어, 피처 분류 모델은 제1 스펙트로그램에 대응하는 제1 피처를 입력으로 하는 경우, 해당 제1 피처를 얕은 수면으로 분류할 수 있다. 이상으로 프로세서(630)의 동작에 대하여 서술하였으나, 본 발명에 개시된 또 다른 프로세서(예컨대, 프로세서 (110), 프로세서(210), 제어부(380) 등)도 상술한 동작을 수행할 수 있다.For example, the feature classification model includes a fully connected layer and may be a model that classifies features into at least one of the sleep stages. For example, when the feature classification model inputs the first feature corresponding to the first spectrogram, it may classify the first feature as shallow water. Although the operations of the processor 630 have been described above, other processors disclosed in the present invention (e.g., processor 110, processor 210, control unit 380, etc.) can also perform the above-described operations.
피처 분류 모델Feature classification model
도 10에 따르면, 피처 분류 모델(부호 D)은 피처추출 모델(부호 B)과 중간층(부호 C)을 통해서 얻은 복수의 피처를 피처 분류 모델(부호 D)의 입력으로 처리하여 수면 정보 추론(부호 E)을 진행할 수 있다.According to Figure 10, the feature classification model (code D) processes a plurality of features obtained through the feature extraction model (code B) and the middle layer (code C) as input to the feature classification model (code D) to infer sleep information (code You can proceed with E).
본 발명에 따른 일실시예에서, 피처 분류 모델(부호 D)은 피처에 대응하여 수면 정보를 추론하도록 모델링된 신경망 모델일 수 있다. 예컨대, 피처 분류 모델(부호 D)은 Fully connected layer를 포함하여 구성될 수 있고, 피처를 수면 정보들 중 적어도 하나로 분류하는 모델일 수 있다. 예를 들어, 피처 분류 모델(부호 D)은 스펙트로그램에 대응하는 피처를 입력으로 하는 경우, 해당 피처를 렘 수면으로 분류할 수 있다. 예를 들어, 피처 분류 모델(부호 D)은 스펙트로그램에 대응하는 피처를 입력으로 하는 경우, 해당 피처를 수면 중 무호흡으로 분류할 수 있다.In one embodiment according to the present invention, the feature classification model (symbol D) may be a neural network model modeled to infer sleep information corresponding to the feature. For example, the feature classification model (code D) may be configured to include a fully connected layer and may be a model that classifies a feature as at least one of sleep information. For example, when a feature classification model (code D) inputs a feature corresponding to a spectrogram, the feature can be classified as REM sleep. For example, when a feature classification model (symbol D) inputs a feature corresponding to a spectrogram, it can classify the feature as apnea during sleep.
또한, 프로세서(110)는 피처 추출 모델을 통해 출력된 복수의 피처를 피처 분류 모델의 입력으로 처리하여 수면 상태 정보를 획득할 수 있다. 실시예에서, 피처 분류 모델은 피처에 대응하여 수면단계를 예측하도록 모델링된 신경망 모델일 수 있다. 예컨대, 피처 분류 모델은 fully connected layer를 포함하여 구성되며, 피처를 수면단계들 중 적어도 하나로 분류하는 모델일 수 있다. 예를 들어, 피처 분류 모델은 제1스펙트로그램에 대응하는 제1피처를 입력으로 하는 경우, 해당 제1피처를 얕은 수면으로 분류할 수 있다.Additionally, the processor 110 may obtain sleep state information by processing a plurality of features output through the feature extraction model as input to a feature classification model. In an embodiment, the feature classification model may be a neural network model modeled to predict sleep stages in response to features. For example, the feature classification model includes a fully connected layer and may be a model that classifies features into at least one of the sleep stages. For example, when the feature classification model inputs the first feature corresponding to the first spectrogram, the first feature may be classified as shallow water.
피처 분류 모델은 여러 에폭에 관련한 스펙트로그램을 입력으로 하여 여러 에폭의 수면단계를 예측하는 멀티 에폭 분류를 수행할 수 있다. 멀티 에폭 분류란, 단일 에폭의 스펙트로그램(즉, 30초에 해당하는 하나의 스펙트로그램)에 대응하여 하나의 수면단계분석 정보를 제공하는 것이 아닌, 복수의 에폭에 해당하는 스펙트로그램들(즉, 각각 30초에 해당하는 스펙트로그램들의 조합)을 입력으로 하여 여러 수면단계들(예컨대, 시간 변화에 따른 수면단계들의 변화)를 한 번에 추정하기 위한 것일 수 있다. The feature classification model can perform multi-epoch classification to predict sleep stages of multiple epochs by using spectrograms related to multiple epochs as input. Multi-epoch classification does not provide one sleep stage analysis information in response to the spectrogram of a single epoch (i.e., one spectrogram corresponding to 30 seconds), but spectrograms corresponding to multiple epochs (i.e. It may be used to estimate several sleep stages (e.g., changes in sleep stages according to time changes) at once by using a combination of spectrograms (each corresponding to 30 seconds) as input.
예컨대, 호흡 패턴 또는 움직임 패턴은 뇌파 신호 또는 다른 생체 신호에 비해 천천히 변화하기 때문에, 과거와 미래의 시점에서 패턴이 어떻게 변화하는지를 관찰해야 정확한 수면단계 추정이 가능할 수 있다. 구체적인 예를 들어, 피처 분류 모델은, 40개의 스펙트로그램(예컨대, 각각 30초에 해당하는 스펙트로그램이 40개)을 입력으로 하여, 가운데에 위치한 20개의 스펙트로그램에 대한 예측을 수행할 수 있다. 즉, 1 내지 40의 스펙트로그램을 모두를 살펴보나, 10 내지 20에 대응하는 스펙트로그램에 대응하는 분류를 통해 수면단계를 예측할 수 있다. 전술한 스펙트로그램의 개수에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.For example, because breathing or movement patterns change more slowly than brain wave signals or other biological signals, accurate sleep stage estimation may be possible only by observing how the patterns change at past and future points in time. For a specific example, the feature classification model may input 40 spectrograms (e.g., 40 spectrograms corresponding to 30 seconds each) and perform prediction for the 20 spectrograms located in the center. That is, all spectrograms from 1 to 40 are examined, but the sleep stage can be predicted through classification corresponding to the spectrograms corresponding to 10 to 20. The detailed numerical description of the number of spectrograms described above is only an example, and the present invention is not limited thereto.
즉, 수면단계를 추정하는 과정에서, 단일 스펙트로그램 각각에 대응하여 수면단계 예측을 수행하는 것이 아닌, 과거와 미래에 관련한 정보를 모두 고려할 수 있도록 복수의 에폭에 해당하는 스펙트로그램들을 입력으로 활용하도록 함으로써, 출력의 정확도 향상을 도모할 수 있다.In other words, in the process of estimating sleep stages, rather than performing sleep stage prediction in response to each single spectrogram, spectrograms corresponding to multiple epochs are used as input so that all information related to the past and future can be considered. By doing so, the accuracy of output can be improved.
도 6b는 본 발명에 따른 수면 분석 방법에 있어서 스펙트로그램을 이용한 수면단계분석을 설명하기 위한 도면이다.Figure 6b is a diagram for explaining sleep stage analysis using a spectrogram in the sleep analysis method according to the present invention.
본 발명의 일 실시예에 따르면, Actigraphy 및/또는 HRV에 기초한 1차 수면 분석 이후, 수면 음향 정보에 기초한 2차 분석은 상술한 바와 같은 수면 분석 모델을 이용하게 되며, 도 6b에 도시된 바와 같이, 사용자의 수면 음향 정보가 입력되면 그에 대응되는 수면단계(Wake, REM, Light, Deep)가 즉각적으로 추론될 수 있다. 이에 더하여, 수면 음향 정보에 기초한 2차 분석은 수면단계에 대응하는 멜 스펙트럼의 특이점을 통해 수면장애(수면무호흡, 과호흡)나 코골이 등이 발생한 시점을 추출할 수 있다. According to one embodiment of the present invention, after the first sleep analysis based on actigraphy and/or HRV, the second analysis based on sleep acoustic information uses the sleep analysis model described above, as shown in Figure 6b. , When the user's sleep sound information is input, the corresponding sleep stage (Wake, REM, Light, Deep) can be immediately inferred. In addition, secondary analysis based on sleep sound information can extract the time when sleep disorders (sleep apnea, hyperventilation) or snoring occurred through the singularity of the Mel spectrum corresponding to the sleep stage.
도 6c 본 발명에 따른 수면 분석 방법에 있어서 스펙트로그램을 이용한 수면장애 판단을 설명하기 위한 도면이다.Figure 6c is a diagram for explaining sleep disorder determination using a spectrogram in the sleep analysis method according to the present invention.
도 6c 도시된 바와 같이, 하나의 멜 스펙트로그램에 있어서 호흡 패턴을 분석하고, 수면무호흡(apnea)이나 과호흡(hyperpnea) 이벤트에 대응하는 특성이 감지되면 해당 시점을 수면장애가 발생한 시점으로 판단할 수 있다. 이때, 주파수 분석을 통해서 수면무호흡(apnea)이나 과호흡(hyperpnea)이 아닌 코골이로 분류하는 과정을 더 포함할 수도 있다.As shown in Figure 6c, the breathing pattern is analyzed in one Mel spectrogram, and if characteristics corresponding to a sleep apnea or hyperpnea event are detected, the point in time can be determined as the time when the sleep disorder occurred. there is. At this time, a process of classifying snoring as snoring rather than sleep apnea or hyperpnea through frequency analysis may be further included.
도 4는 발명에 따른 수면 분석 방법의 성능을 검증하기 위한 실험과정을 나타내는 도면이다. Figure 4 is a diagram showing an experimental process for verifying the performance of the sleep analysis method according to the invention.
도 4 도시된 바와 같이, 사용자의 수면 영상과 수면음향이 실시간으로 획득되며, 획득된 환경 센싱 정보 또는 수면 음향 정보는, 주파수 도메인상의 정보 또는, 획득된 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환될 수 있다. 본 발명의 일 실시예에 따라, 사용자의 수면 음향 정보가 스펙트로그램으로 변환될 수도 있다. 이때, 환경 센싱 정보 또는 수면 음향 정보의 전처리과정이 이루어질 수 있다. As shown in FIG. 4, the user's sleep image and sleep sound are acquired in real time, and the acquired environmental sensing information or sleep sound information includes information on the frequency domain or changes in the frequency components of the acquired information along the time axis. It can be converted into information that it contains. According to an embodiment of the present invention, the user's sleep sound information may be converted into a spectrogram. At this time, a preprocessing process of environmental sensing information or sleep sound information may be performed.
환경 센싱 정보 또는 수면 음향 정보로부터, 그 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보로 변환된 데이터, 변환된 주파수 도메인상의 정보 또는 스펙트로그램 중 적어도 하나가 수면 분석 모델에 입력되어 수면단계가 분석될 수 있다. 본 발명의 일 실시예에 따른 정보의 변환은 실시간으로 수행될 수도 있다.From environmental sensing information or sleep sound information, at least one of data converted into information including changes in the frequency components along the time axis, information on the converted frequency domain, or a spectrogram is input to the sleep analysis model to analyze the sleep stage. It can be. Conversion of information according to an embodiment of the present invention may be performed in real time.
또한, 본 발명의 일 실시예에 따른 피처 분류 모델에 CNN 또는 트랜스포머(Transformer) 기반의 딥러닝 모델을 채용하는 경우의 동작은 다음과 같이 수행될 수도 있다.Additionally, when a CNN or Transformer-based deep learning model is employed as a feature classification model according to an embodiment of the present invention, the operation may be performed as follows.
본 발명의 일 실시예에 따라 시계열 정보가 포함되어 있는 변환된 정보 또는 스펙트로그램이 CNN 기반의 딥러닝 모델의 입력으로 하여, 차원이 낮아진 벡터를 출력할 수 있다. 이렇게 차원이 낮아진 벡터를 Transformer 기반의 딥러닝 모델의 입력으로 하여, 시계열 정보가 함축된 벡터가 출력될 수 있다.According to an embodiment of the present invention, converted information or a spectrogram containing time series information can be used as input to a CNN-based deep learning model to output a vector with reduced dimensionality. By using this reduced-dimensional vector as an input to a Transformer-based deep learning model, a vector containing implied time series information can be output.
본 발명의 실시예에 따라 Transformer 기반의 딥러닝 모델의 출력 벡터에 대하여 평균 풀링(Average pooling) 기법이 적용될 수 있도록 1D CNN(1D Convolutional Neural Network)에 입력하여, 시계열 정보에 대한 평균화 작업을 통해, 시계열 정보가 함축된 N차원의 벡터로 변환하는 과정을 수행할 수도 있다. 이 경우 시계열 정보가 함축된 N차원의 벡터는 입력 데이터와의 해상도 차이가 있을 뿐, 여전히 시계열 정보를 포함하고 있는 데이터에 해당한다. According to an embodiment of the present invention, the output vector of the transformer-based deep learning model is input to a 1D CNN (1D Convolutional Neural Network) so that the average pooling technique can be applied, and through averaging work on time series information, The process of converting time series information into an N-dimensional vector with implied time can also be performed. In this case, the N-dimensional vector containing time series information corresponds to data that still contains time series information, although there is only a difference in resolution from the input data.
본 발명의 실시예에 따라 출력된 시계열 정보가 함축된 N차원의 벡터들의 조합에 대한 멀티 에폭 분류를 수행하여, 여러 수면단계들에 대한 예측을 수행할 수 있다. 이 경우 트랜스포머(Transformer) 기반의 딥러닝 모델들의 출력 벡터들을 복수 개의 FC(Fully Connected layer)의 입력으로 하여 연속적인 수면 상태 정보의 예측을 수행할 수도 있다.According to an embodiment of the present invention, prediction of various sleep stages can be performed by performing multi-epoch classification on a combination of N-dimensional vectors containing output time series information. In this case, continuous prediction of sleep state information can be performed by using the output vectors of transformer-based deep learning models as input to a plurality of fully connected layers (FC).
또한, 본 발명의 일 실시예에 따른 피처 분류 모델에 ViT 또는 Mobile ViT 기반의 딥러닝 모델을 채용하는 경우 동작은 다음과 같이 수행될 수 있다.Additionally, when a deep learning model based on ViT or Mobile ViT is employed in the feature classification model according to an embodiment of the present invention, the operation can be performed as follows.
본 발명의 일 실시예에 따른 프로세서는, 시계열 정보가 포함되어 있는 정보 또는 스펙트로그램을 Mobile ViT기반의 딥러닝 모델의 입력으로 하여, 차원이 낮아진 벡터를 출력할 수 있다. The processor according to an embodiment of the present invention can output a vector with reduced dimension by using information or a spectrogram containing time series information as input to a Mobile ViT-based deep learning model.
또한, 본 발명의 실시예에 따라 Mobile ViT기반의 딥러닝 모델의 출력으로 각각의 스펙트로그램에서 피처를 추출할 수 있다.Additionally, according to an embodiment of the present invention, features can be extracted from each spectrogram as the output of a Mobile ViT-based deep learning model.
본 발명의 실시예에 따라서 차원이 낮아진 벡터를 Intermediate Layer의 입력으로 하여, 시계열 정보가 함축된 벡터가 출력될 수 있다. Intermediate Layer 모델에서는 벡터의 정보를 함축하는 선형화 단계(Lnearization), 평균과 분산을 입력하기 위한 레이어 정규화(Layer Normalization)단계 또는 일부 노드를 비활성화하는 드롭아웃(dropout)단계 중 적어도 하나 이상의 단계가 포함될 수 있다.According to an embodiment of the present invention, a vector containing time series information can be output by using a vector with a reduced dimension as an input to the intermediate layer. The intermediate layer model may include at least one of the following steps: a linearization step to imply vector information, a layer normalization step to input the average and variance, or a dropout step to disable some nodes. there is.
본 발명의 실시예에 따라서 차원이 낮아진 벡터를 Intermediate Layer의 입력으로 하여 시계열 정보가 함축된 벡터를 출력하는 과정을 수행함으로써, 과적합(overfitting)을 방지할 수 있다.According to an embodiment of the present invention, overfitting can be prevented by performing a process of outputting a vector containing time series information by using a vector with a reduced dimension as an input to the intermediate layer.
본 발명의 실시예에 따라서 Intermediate Layer의 출력 벡터를 ViT기반의 딥러닝 모델의 입력으로 하여 수면 상태 정보를 출력할 수 있다. 이 경우 환경 센싱 정보로부터, 그 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보, 시계열 정보가 포함되어 있는 주파수 도메인상의 정보, 스펙트로그램, 또는 멜 스펙트로그램 중 적어도 하나에 대응하는 수면 상태 정보를 출력할 수 있다.According to an embodiment of the present invention, sleep state information can be output by using the output vector of the intermediate layer as an input to a ViT-based deep learning model. In this case, from the environmental sensing information, output sleep state information corresponding to at least one of information including changes along the time axis of the frequency components, information in the frequency domain containing time series information, a spectrogram, or a mel spectrogram. can do.
또한, 본 발명의 일 실시예에 따른 환경 센싱 정보 또는 수면 음향 정보로부터 변환된, 그 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보, 시계열 정보가 포함되어 있는 주파수 도메인상의 정보, 스펙트로그램, 또는 멜 스펙트로그램 중 적어도 하나가 일련으로 구성되고, 일련으로 구성된 정보들에 대응하는 수면 상태 정보를 출력할 수 있다.In addition, information including changes along the time axis of the frequency components converted from environmental sensing information or sleep sound information according to an embodiment of the present invention, information on the frequency domain containing time series information, a spectrogram, or At least one of the Mel spectrograms is composed of a series, and sleep state information corresponding to the information composed of the series can be output.
한편, 본 발명의 실시예에 따른 피처 추출 모델 또는 피처 분류 모델에는 상기 언급된 AI 모델 외에도 다양한 딥러닝 모델이 채용되어 학습 또는 추론을 수행할 수도 있으며, 전술한 딥러닝 모델의 종류와 관련한 구체적 기재는 단순한 예시일 뿐, 본 발명은 이에 제한되는 것은 아니다.Meanwhile, in the feature extraction model or feature classification model according to an embodiment of the present invention, various deep learning models in addition to the above-mentioned AI model may be employed to perform learning or inference, and specific descriptions related to the types of deep learning models described above are provided. is merely an example, and the present invention is not limited thereto.
한편, 전술한 바와 같이, 프로세서(630)는 수면 음향 정보에 기초하여 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보 또는 스펙트로그램을 획득할 수 있다. 이 경우, 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보 또는 스펙트로그램으로의 변환은 비교적 작은 음향에 관련한 호흡 또는 움직임 패턴을 용이하게 분석하도록 하기 위함일 수 있다. Meanwhile, as described above, the processor 630 may obtain information or a spectrogram including changes in the frequency components of the sleep sound information along the time axis based on the sleep sound information. In this case, conversion of the sleep sound information into information or a spectrogram containing changes along the time axis of the frequency components may be intended to facilitate analysis of breathing or movement patterns related to relatively small sounds.
또한, 프로세서(630)는 피처 추출 모델 및 피처 분류 모델을 포함하여 구성되는 수면 분석 모델을 활용하여, 획득한 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보 또는 스펙트로그램에 기초한 수면 단계 정보를 생성할 수 있다. 이 경우, 수면 분석 모델은 과거와 미래에 관련한 정보를 모두 고려할 수 있도록 복수의 에폭에 해당하는 수면 음향 정보의 주파수 성분들의 시간 축에 따른 변화를 포함하는 정보들 또는 스펙트로그램들을 입력으로 하여 수면 단계 예측을 수행할 수 있으므로, 보다 정확도 있는 수면 단계 정보를 출력할 수 있다.In addition, the processor 630 utilizes a sleep analysis model including a feature extraction model and a feature classification model to determine sleep based on information or a spectrogram including changes along the time axis of the frequency components of the acquired sleep sound information. Step information can be generated. In this case, the sleep analysis model uses as input information or spectrograms that include changes along the time axis of the frequency components of sleep sound information corresponding to multiple epochs so that both past and future information can be considered, and sleep stages are determined. Since prediction can be performed, more accurate sleep stage information can be output.
즉, 프로세서(630)는 전술한 바와 같은 수면 분석 모델을 활용하여 수면 음향 정보에 대응하는 수면 단계 정보를 출력할 수 있다. 실시예에 따르면, 수면 단계 정보는, 사용자의 수면 동안 변화하는 수면 단계들에 관련한 정보일 수 있다. That is, the processor 630 may output sleep stage information corresponding to sleep sound information using the sleep analysis model described above. According to an embodiment, sleep stage information may be information related to sleep stages that change during the user's sleep.
예를 들어, 수면 단계 정보는, 사용자의 지난 밤 8시간 수면 동안 각 시점 별로 사용자의 수면이 얕은 수면, 보통 수면, 깊은 수면 또는 REM 수면 등으로 변화한 정보를 의미할 수 있다. For example, sleep stage information may refer to information about changes in the user's sleep to light sleep, normal sleep, deep sleep, or REM sleep at each time point during the user's 8 hours of sleep last night.
전술한 수면 단계 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다. 또한, 프로세서(630)의 동작으로서 설명하였으나, 상술한 동작은 본 발명의 다른 실시예들에 따른 장치들의 프로세서(예컨대, 프로세서(110) 또는 프로세서(210) 등)에서도 수행될 수 있다.The detailed description of the above-described sleep stage information is only an example, and the present invention is not limited thereto. In addition, although described as an operation of the processor 630, the above-described operation may also be performed by a processor (eg, processor 110 or processor 210, etc.) of devices according to other embodiments of the present invention.
환경 센싱 정보의 심층 학습을 통해 획득된 추론 모델에 의한 수면 상태/수면 단계 추론Sleep state/sleep stage inference using an inference model obtained through deep learning of environmental sensing information
상술한 바와 같이, 환경 센싱 정보의 심층 학습을 통해 사용자의 수면 상태 및 수면 단계를 추출하기 위한 추론 모델이 생성된다. As described above, an inference model is created to extract the user's sleep state and sleep stage through deep learning of environmental sensing information.
다시 간략히 설명하면, 음향 정보 등을 포함하는 환경 센싱 정보는 스펙트로그램으로 변환되며, 스펙트로그램에 기초하여 추론 모델이 생성된다. To briefly explain again, environmental sensing information including sound information is converted into a spectrogram, and an inference model is created based on the spectrogram.
본 발명의 일 실시예에 따른 추론 모델은, 위에서 설명한 바와 같이, 도 1f의 컴퓨팅 장치(100) 또는 환경 조성 장치(400)에 구축될 수 있다. The inference model according to an embodiment of the present invention may be built in the computing device 100 or the environment creation device 400 of FIG. 1F, as described above.
또는, 본 발명의 일 실시예에 따른 추론 모델은, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)에 구축될 수 있으나, 이에 한정하지 않는다. 예컨대, 사용자 단말(300)에도 구축될 수 있고, 외부 단말(200)에도 구축될 수 있으며, 전자 장치(600)에도 구축될 수 있다.Alternatively, the inference model according to an embodiment of the present invention may be built in the device 100a that generates image-guided information or the device 200a that provides image-guided information, but is not limited to this. For example, it can be built in the user terminal 300, the external terminal 200, and the electronic device 600.
이후, 사용자 단말(300)을 통해 획득되는, 사용자 음향 정보를 포함하는 환경 센싱 정보가 해당 추론 모델로 입력되어, 수면 상태 정보 및/또는 수면 단계 정보를 결과값으로 출력한다. 이때, 학습과 추론은 동일한 주체에서 수행될 수도 있으나, 학습과 추론이 별개 주체에서 수행될 수도 있다. Thereafter, environmental sensing information including user sound information acquired through the user terminal 300 is input to the corresponding inference model, and sleep state information and/or sleep stage information are output as result values. At this time, learning and inference may be performed by the same entity, but learning and inference may also be performed by separate entities.
즉, 학습과 추론 모두가 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)에 의하여 수행될 수 있고, 학습은 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)에서 하되 추론은 사용자 단말(300)에서 수행될 수 있다.In other words, both learning and inference can be performed by the device 100a that generates image-guided information or the device 200a that provides image-guided information, and learning is performed by the device 100a that generates image-guided information or the device 200a that provides image-guided information. Although inference may be performed in the information providing device 200a, inference may be performed in the user terminal 300.
또, 도 1c와 같이, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a)가 사용자 단말(300)로 통합된 경우에는, 학습과 추론 모두가 사용자 단말(300)에 의하여 수행될 수 있다.In addition, as shown in FIG. 1C, when the device 100a for generating imagery induction information or the device 200a for providing imagery induction information is integrated into the user terminal 300, both learning and inference are performed using the user terminal 300. It can be performed by .
또는, 학습과 추론 모두가 도 1f의 컴퓨팅 장치(100) 또는 도 1g의 환경 조절 장치(400)에 의하여 수행될 수 있고, 학습은 컴퓨팅 장치(100)에서 하되 추론은 사용자 단말(300)에서 수행될 수 있고, 학습은 컴퓨팅 장치(100)에서 하되 추론은 스마트가전(TV, 조명, 냉장고, 공기청정기) 등으로 구현되는 환경 조성 장치(30)에서 수행될 수 있다.Alternatively, both learning and inference may be performed by the computing device 100 of FIG. 1F or the environment control device 400 of FIG. 1G, and learning is performed in the computing device 100 but inference is performed in the user terminal 300. Learning may be performed in the computing device 100, but inference may be performed in the environment creation device 30 implemented with smart home appliances (TV, lighting, refrigerator, air purifier), etc.
기설정된 패턴 감지에 따른 특이점 식별Identification of outliers based on detection of preset patterns
일 실시예에 따르면, 프로세서(110)는 환경 센싱 정보에 기초하여 수면 상태 정보를 획득할 수 있다. 구체적으로, 프로세서(110)는 환경 센싱 정보에 기 설정된 패턴의 정보가 감지되는 특이점을 식별할 수 있다. 여기서 기 설정된 패턴의 정보는, 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많을 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다. 반면, 사용자가 수면을 취하는 경우에는, 자율신경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 즉, 프로세서(110)는 환경 센싱 정보에서, 규칙적인 호흡, 적은 몸의 움직임 또는 적은 호흡음 등에 관련한 기 설정된 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 프로세서(110)는 식별된 특이점을 기준으로 획득되는 환경 센싱 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 프로세서(110)는 시계열적으로 획득되는 환경 센싱 정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.According to one embodiment, the processor 110 may obtain sleep state information based on environmental sensing information. Specifically, the processor 110 may identify a singularity in which information of a preset pattern is sensed in the environmental sensing information. Here, the preset pattern information may be related to breathing and movement patterns related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed. On the other hand, when the user sleeps, the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder. That is, the processor 110 may identify the point in time at which sound information of a preset pattern related to regular breathing, small body movement, or small breathing sounds is detected as a singular point in the environmental sensing information. Additionally, the processor 110 may acquire sleep sound information based on environmental sensing information obtained based on the identified singularity. The processor 110 may identify a singularity related to the user's sleep timing from environmental sensing information acquired in time series and obtain sleep sound information based on the singularity.
구체적인 예를 들어, 도 5를 참조하면, 프로세서(110)는 환경 센싱 정보(E)로부터 기 설정된 패턴이 식별되는 시점에 관련한 특이점(P)을 식별할 수 있다. 프로세서(110)는 식별된 특이점을 기준으로 해당 특이점 이후에 획득되는 음향 정보들에 기초하여 수면 음향 정보(SS)를 획득할 수 있다. 도 5에서의 음향에 관련한 파형 및 특이점은 본 발명의 이해를 위한 예시에 불과할 뿐, 본 발명은 이에 제한되지 않는다.For a specific example, referring to FIG. 5 , the processor 110 may identify a singularity (P) related to the point in time at which a preset pattern is identified from the environmental sensing information (E). The processor 110 may acquire sleep sound information (SS) based on the identified singularity and acoustic information acquired after the singularity. The waveforms and singularities related to sound in FIG. 5 are merely examples for understanding the present invention, and the present invention is not limited thereto.
즉, 프로세서(110)는 환경 센싱 정보로부터 사용자의 수면에 관련한 특이점을 식별함으로써, 특이점에 기초하여 방대한 양의 음향 정보(즉, 환경 센싱 정보)로부터 수면 음향 정보만을 추출하여 획득할 수 있다. 이는, 사용자가 자신의 수면 시간을 기록하는 과정을 자동화하도록 하여 편의성을 제공함과 동시에, 획득되는 수면 음향 정보의 정확성 향상에 기여할 수 있다.That is, the processor 110 can identify singularities related to the user's sleep from environmental sensing information, thereby extracting and obtaining only sleep sound information from a vast amount of acoustic information (i.e., environmental sensing information) based on the singularities. This provides convenience by allowing users to automate the process of recording their sleep time, and can also contribute to improving the accuracy of acquired sleep sound information.
또한, 실시예에서, 프로세서(110)는 환경 센싱 정보(E)로부터 식별된 특이점(P)을 기준으로 사용자가 수면 전인지 또는 수면 중인지 여부에 관련한 수면 상태 정보를 획득할 수 있다. 구체적으로, 프로세서(110)는 특이점(P)이 식별되지 않는 경우, 사용자가 수면 전인 것으로 판단할 수 있으며, 특이점(P)이 식별되는 경우, 해당 특이점(P) 이후 사용자가 수면 중이라고 판단할 수 있다. 또한, 프로세서(110)는 특이점(P)이 식별된 이후, 기 설정된 패턴이 관측되지 않는 시점(예컨대, 기상 시점)을 식별하고, 해당 시점이 식별된 경우, 사용자가 수면 후, 즉 기상하였다고 판단할 수 있다.Additionally, in an embodiment, the processor 110 may obtain sleep state information related to whether the user is before sleep or in sleep based on the singularity (P) identified from the environmental sensing information (E). Specifically, if the singular point (P) is not identified, the processor 110 may determine that the user is before sleeping, and if the singular point (P) is identified, the processor 110 may determine that the user is sleeping after the singular point (P). there is. In addition, after the outlier P is identified, the processor 110 identifies a time point (e.g., waking up time) at which a preset pattern is not observed, and when the corresponding time point is identified, it determines that the user has woken up after sleeping. can do.
즉, 프로세서(110)는 환경 센싱 정보(E)에서 특이점(P)이 식별되는지 여부 및 특이점이 식별된 이후, 기 설정된 패턴이 지속적으로 감지되는지 여부에 기초하여 사용자가 수면 전인지, 중인지, 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있다.That is, the processor 110 determines whether the user is before, during, or during sleep based on whether a singular point (P) is identified in the environmental sensing information (E) and whether a preset pattern is continuously detected after the singular point is identified. Sleep state information related to whether or not the user is awake can be obtained.
수면 상태 정보의 분석Analysis of sleep state information
수면 상태 정보Sleep status information
일 실시예에서, 수면 상태 정보는, 사용자가 수면을 취하고 있는지 여부에 관련한 정보를 포함할 수 있다. 구체적으로, 수면 상태 정보는, 사용자가 수면 전이라는 제1수면 상태 정보, 사용자가 수면 중이라는 제2수면 상태 정보 및 사용자가 수면 후라는 제3수면 상태 정보 중 적어도 하나를 포함할 수 있다. 다시 말해, 사용자에 관련하여 제1수면 상태 정보가 추론되는 경우, 프로세서(110)는 해당 사용자가 수면 전(즉, 취침 전)인 상태인 것으로 판단할 수 있으며, 제2수면 상태 정보가 추론되는 경우, 해당 사용자가 수면 중인 상태인 것으로 판단할 수 있고, 그리고 제3 수면 상태 정보가 획득되는 경우, 해당 사용자가 수면 후(즉, 기상)인 상태인 것으로 판단할 수 있다.In one embodiment, sleep state information may include information related to whether the user is sleeping. Specifically, the sleep state information may include at least one of first sleep state information indicating that the user is before sleep, second sleep state information indicating that the user is sleeping, and third sleep state information indicating that the user is after sleep. In other words, when first sleep state information is inferred with respect to the user, the processor 110 may determine that the user is in a pre-sleep state (i.e., before going to bed), and the second sleep state information is inferred. In this case, it may be determined that the user is in a sleeping state, and if third sleep state information is obtained, it may be determined that the user is in a post-sleep state (i.e., waking up).
또한, 수면 상태 정보는 사용자의 수면 단계와 관련한 정보 외에도, 수면 무호흡증, 코골이, 뒤척임, 기침, 재채기, 또는 이갈이 여부 중 적어도 하나 이상에 대한 정보(예컨대, 수면 이벤트 정보)를 포함할 수 있다.Additionally, the sleep state information may include information (e.g., sleep event information) about at least one of sleep apnea, snoring, tossing and turning, coughing, sneezing, or bruxism, in addition to information related to the user's sleep stage.
본 발명의 실시예들에 따른 수면 단계 정보를 학습 또는 추론하기 위해서는 긴 시간 간격동안 획득한 음향 정보를 필요로 할 수 있다. In order to learn or infer sleep stage information according to embodiments of the present invention, acoustic information acquired over a long time interval may be required.
반면, 본 발명의 실시예들에 따른 수면 단계 정보 외의 수면 상태 정보(예컨대, 코골이 또는 무호흡증 정보 등)를 학습 또는 예측하기 위해서는 해당 수면상태가 발생하는 시점 전후로 상대적으로 짧은 시간 간격(예컨대, 1분)동안 획득한 음향 정보를 필요로 할 수 있다.On the other hand, in order to learn or predict sleep state information (e.g., snoring or apnea information, etc.) other than sleep stage information according to embodiments of the present invention, a relatively short time interval (e.g., 1) before and after the corresponding sleep state occurs. minutes) may require acoustic information acquired.
이러한 수면 상태 정보는, 환경 센싱 정보에 기초하여 획득되는 것을 특징으로 할 수 있다. 환경 센싱 정보는, 비접촉 방식으로 사용자가 위치한 공간에서 획득되는 센싱 정보를 포함할 수 있다.This sleep state information may be obtained based on environmental sensing information. Environmental sensing information may include sensing information obtained in a non-contact manner in the space where the user is located.
프로세서(110)는 사용자 단말(300)로부터 획득되는 음향 정보, Actigraphy, 생체정보, 환경 센싱 정보 중 적어도 하나에 기초하여 수면상태 정보를 획득할 수 있다. 구체적으로, 프로세서(110)는 음향 정보에서 특이점을 식별할 수 있다. 여기서 음향 정보의 특이점은, 수면에 관련한 호흡 및 움직임 패턴에 관련한 것일 수 있다. 예컨대, 깨어있는 상태(wake)에서는 모든 신경계가 활성화되어 있기 때문에 호흡 패턴이 불규칙적이고 몸의 움직임이 많을 수 있다. 또한, 목 근육의 이완이 이루어지지 않기 때문에 호흡 소리가 매우 적을 수 있다. 반면, 사용자가 수면을 취하는 경우에는, 자율신경계가 안정화되어 호흡이 규칙적으로 변화하고 몸의 움직임 또한 적어질 수 있으며, 호흡음도 커질 수 있다. 즉, 프로세서(110)는 음향 정보에서, 규칙적인 호흡, 적은 몸의 움직임 또는 적은 호흡음 등에 관련한 패턴의 음향 정보가 감지되는 시점을 특이점으로 식별할 수 있다. 또한, 프로세서(110)는 식별된 특이점을 기준으로 획득되는 음향 정보에 기초하여 수면 음향 정보를 획득할 수 있다. 프로세서(110)는 시계열적으로 획득되는 음향 정보에서 사용자의 수면 시점에 관련한 특이점을 식별하고, 해당 특이점을 기준으로 수면 음향 정보를 획득할 수 있다.The processor 110 may obtain sleep state information based on at least one of acoustic information, actigraphy, biometric information, and environmental sensing information obtained from the user terminal 300. Specifically, the processor 110 may identify a singularity in acoustic information. Here, the uniqueness of the acoustic information may be related to breathing and movement patterns related to sleep. For example, in the awake state, all nervous systems are activated, so breathing patterns may be irregular and body movements may be frequent. Additionally, breathing sounds may be very low because the neck muscles are not relaxed. On the other hand, when the user sleeps, the autonomic nervous system stabilizes, breathing changes regularly, body movements may decrease, and breathing sounds may become louder. That is, the processor 110 may identify the point in time at which a pattern of acoustic information related to regular breathing, small body movements, or small breathing sounds is detected as a singular point in the acoustic information. Additionally, the processor 110 may obtain sleep sound information based on sound information obtained based on the identified singularity. The processor 110 may identify a singularity related to the user's sleep time from the sound information acquired in time series and obtain sleep sound information based on the singularity.
일 실시예에 따르면, 프로세서(110)는 환경 센싱 정보를 획득할 수 있다. 또는, 본 발명의 일 실시예에 따르면, 환경 센싱 정보는 사용자가 소지한 사용자 단말(300)을 통해 획득될 수 있다. 예컨대, 사용자가 소지한 사용자 단말(300)을 통해 사용자가 활동하는 공간에 관련한 환경 센싱 정보가 획득될 수 있으며, 프로세서(110)는 해당 환경 센싱 정보를 사용자 단말(300)로부터 수신할 수 있다. 본 발명의 일 실시예에 따른 프로세서(110)는 환경 센싱 정보에 기초하여 수면 음향 정보를 획득할 수 있다.According to one embodiment, the processor 110 may obtain environmental sensing information. Alternatively, according to an embodiment of the present invention, environmental sensing information may be obtained through the user terminal 300 carried by the user. For example, environmental sensing information related to the space where the user is active may be obtained through the user terminal 300 carried by the user, and the processor 110 may receive the corresponding environmental sensing information from the user terminal 300. The processor 110 according to an embodiment of the present invention may acquire sleep sound information based on environmental sensing information.
환경 센싱 정보는, 사용자의 일상 생활 속에서 비접촉 방식으로 획득되는 음향 정보일 수 있다. 예컨대, 환경 센싱 정보는, 청소에 관련한 음향 정보, 음식 조리에 관련한 음향 정보, TV 시청에 관련한 음향 정보, 수면 중 획득되는 수면 음향 정보 등 사용자의 생활에 따라 획득되는 다양한 음향 정보를 포함할 수 있다. 실시예에서, 사용자의 수면 중 획득되는 수면 음향 정보는, 수면 동안 사용자가 뒤척거림에 따라 발생되는 음향, 근육 움직임에 관련한 음향 또는 수면 동안 사용자의 호흡에 관련한 음향 등을 포함할 수 있다. 즉, 본 발명에서의 수면 음향 정보는, 사용자의 수면 동안에 관련한 움직임 패턴 및 호흡 패턴에 관련한 음향 정보를 의미할 수 있다.Environmental sensing information may be acoustic information acquired in a non-contact manner during the user's daily life. For example, environmental sensing information may include various sound information acquired according to the user's life, such as sound information related to cleaning, sound information related to cooking food, sound information related to watching TV, and sleep sound information acquired during sleep. . In an embodiment, sleep sound information acquired during the user's sleep may include sounds generated as the user tosses and turns during sleep, sounds related to muscle movements, or sounds related to the user's breathing during sleep. That is, sleep sound information in the present invention may mean sound information related to movement patterns and breathing patterns related to the user's sleep.
또는, 본 발명의 일 실시예에 따른 전자 장치(600)도 수면 상태 정보를 생성 또는 추론할 수 있다. 사용자에 관련하여 제1 수면 상태 정보가 추론되는 경우, 프로세서(630)는 해당 사용자가 수면 전(즉, 취침 전)인 상태인 것으로 판단할 수 있으며, 제2 수면 상태 정보가 추론되는 경우, 해당 사용자가 수면 중인 상태인 것으로 판단할 수 있고, 그리고 제3 수면 상태 정보가 획득되는 경우, 해당 사용자가 수면 후(즉, 기상)인 상태인 것으로 판단할 수 있다.Alternatively, the electronic device 600 according to an embodiment of the present invention may also generate or infer sleep state information. If first sleep state information is inferred regarding the user, the processor 630 may determine that the user is in a pre-sleep state (i.e., before going to bed), and if second sleep state information is inferred, the processor 630 may determine that the user is in a pre-sleep state (i.e., before going to bed). It may be determined that the user is in a sleeping state, and when third sleep state information is obtained, it may be determined that the user is in a post-sleep state (i.e., waking up).
한편, 본 발명의 일 실시예에 따르면, 프로세서(630)는 환경 센싱 정보를 획득할 수 있다. 또는, 본 발명의 일 실시예에 따르면, 환경 센싱 정보는 사용자가 소지한 사용자 단말(300)을 통해 획득될 수도 있다. 예컨대, 사용자가 소지한 사용자 단말(300)을 통해 사용자가 활동하는 공간에 관련한 환경 센싱 정보가 획득될 수 있으며, 프로세서(630)는 해당 환경 센싱 정보를 사용자 단말(300)로부터 수신할 수 있다. 본 발명의 일 실시예에 따른 프로세서(630)는 환경 센싱 정보에 기초하여 수면 음향 정보를 획득할 수 있다.Meanwhile, according to an embodiment of the present invention, the processor 630 may obtain environmental sensing information. Alternatively, according to an embodiment of the present invention, environmental sensing information may be obtained through the user terminal 300 carried by the user. For example, environmental sensing information related to the space in which the user operates may be obtained through the user terminal 300 carried by the user, and the processor 630 may receive the corresponding environmental sensing information from the user terminal 300. The processor 630 according to an embodiment of the present invention may acquire sleep sound information based on environmental sensing information.
수면 단계 정보Sleep stage information
일 실시예에 따르면, 프로세서(110)는 수면 단계 정보를 추출할 수 있다. 수면 단계 정보는 사용자의 환경 센싱 정보에 기초하여 추출될 수 있다. 수면 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면 단계의 설정은 일반적인 수면 단계로 정의될 수도 있지만, 설계자에 따라 다양한 수면 단계로 임의 설정될 수도 있다. 수면 단계 분석을 통하여 수면과 관련한 수면의 질 뿐만 아니라 수면 질환(예: 수면 무호흡증)과 그의 근본적인 원인(예: 코골이)까지 예측할 수 있다. 프로세서(110)는 수면 단계 정보에 의하여 수면에 관한 용품 추천 정보와 검증 정보를 생성할 수 있다.According to one embodiment, the processor 110 may extract sleep stage information. Sleep stage information may be extracted based on the user's environmental sensing information. Sleep stages can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be further divided into multiple stages (e.g., stages 2 of light and deep, and stages 4 of N1 to N4). there is. The sleep stage setting may be defined as a general sleep stage, but may also be arbitrarily set to various sleep stages depending on the designer. Through sleep stage analysis, it is possible to predict not only sleep-related sleep quality, but also sleep diseases (e.g. sleep apnea) and their underlying causes (e.g. snoring). The processor 110 may generate product recommendation information and verification information related to sleep based on sleep stage information.
또한, 본 발명의 일 실시예에 따른 프로세서(110)는 수면 단계 정보에 의하여 환경 조성 정보를 생성할 수 있다. 예를 들어, 수면 단계가 Ligh 단계 혹은 N1 단계에 있는 경우 딥슬립을 유도하기 위하여 환경 조성 장치(조명, 공기청정기 등)를 제어하기 위한 환경 조성 정보를 생성할 수 있다.Additionally, the processor 110 according to an embodiment of the present invention may generate environment composition information based on sleep stage information. For example, if the sleep stage is in the Ligh stage or N1 stage, environmental information can be generated to control environmental devices (lighting, air purifier, etc.) to induce deep sleep.
힙노그램Hypnogram
도 3a는 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다. Figure 3a is a diagram comparing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention.
도시된 바와 같이, 본 발명에 따라 획득된 수면 단계 정보는 수면다원검사와 매우 일치할 뿐만 아니라, 오히려 수면 단계(Wake, Light, Deep, REM)와 관련한 더욱 정밀하고도 유의미한 정보를 포함한다. As shown, the sleep stage information obtained according to the present invention not only closely matches polysomnography, but also contains more precise and meaningful information related to sleep stages (Wake, Light, Deep, REM).
도 3a의 가장 아래에 도시된 힙노덴시티 그래프(Hypnodensity graph)는 4개의 수면 단계의 클래스 중 어느 수면 단계에 속하는지에 대한 확률을 나타내는 수면 단계 확률(Sleep Stage Probability) 정보를 나타내는 그래프이다. 본 발명의 일 실시예에 따른 힙노덴시티 그래프를 통해, 수면 단계 정보를 예측할 때 하나 이상의 에폭에 따른 주기 단위로 4개의 클래스(Wake, Light, Deep, REM) 중 어느 수면 단계의 클래스에 속하는지에 대한 확률(즉, 수면 단계 확률 정보)을 나타낼 수 있으며, 뿐만 아니라, 5개의 클래스(Wake, N1, N2, N3, REM) 중 어느 수면 단계의 클래스에 속하는지에 대한 확률을 나타낼 수 있으며, 3개의 클래스(Wake, Non-REM, REM) 중 어느 수면 단계의 클래스에 속하는지에 대한 확률을 나타낼 수 있고, 2개의 클래스(Wake, Sleep) 중 어느 수면 단계의 클래스에 속하는지에 대한 확률을 나타낼 수 있다. 여기서, 수면 단계 확률 정보는 수면 단계를 분류하였을 때, 소정의 수면 단계가 소정의 에폭에서 차지하는 정도의 비중을 수치로 나타낸 것을 의미할 수도 있다.The Hypnodensity graph shown at the bottom of FIG. 3A is a graph showing Sleep Stage Probability information indicating the probability of which sleep stage it belongs to among the four sleep stage classes. Through the hypnodensity graph according to an embodiment of the present invention, when predicting sleep stage information, it is determined which sleep stage class (Wake, Light, Deep, REM) belongs to in a cycle unit according to one or more epochs. It can represent the probability (i.e., sleep stage probability information), and can also represent the probability of which sleep stage it belongs to among the five classes (Wake, N1, N2, N3, REM), and the three It can represent the probability of which sleep stage it belongs to among the classes (Wake, Non-REM, REM), and it can represent the probability of which sleep stage it belongs to among the two classes (Wake, Sleep). Here, the sleep stage probability information may mean a numerical representation of the proportion of a certain sleep stage in a certain epoch when the sleep stages are classified.
힙노덴시티 그래프의 위에 도시된 그래프인 힙노그램(Hypnogram)은 본 발명의 일 실시예에 따르면, 힙노덴시티 그래프로부터 가장 높은 확률의 수면 단계를 정하는 방식으로 얻을 수 있다. 도 3b에 도시된 바와 같이, 본 발명에 따라 획득된 수면 분석 결과는 수면 다원 검사를 통해 얻은 라벨링 데이터와 비교하였을 때 매우 일치하는 성능을 보여주었다.According to an embodiment of the present invention, the Hypnogram, which is the graph shown above the Hypnodensity graph, can be obtained by determining the sleep stage with the highest probability from the Hypnodensity graph. As shown in Figure 3b, the sleep analysis results obtained according to the present invention showed very consistent performance when compared with the labeling data obtained through polysomnography.
한편, 도 16은 본 발명의 일 실시예에 따른 사용자의 수면 기간 내 수면 단계를 표시하는 힙노그램의 또 다른 예시를 설명하기 위한 도면이다.Meanwhile, Figure 16 is a diagram for explaining another example of a hypnogram displaying a sleep stage within a user's sleep period according to an embodiment of the present invention.
본 발명의 일 실시예에 따라서, 힙노그램(1000)은 일반적으로 뇌파도(ElectroEnceephaloGram,EEGs), 전기안구검사(ElectroOculoGraphy,EOGs), 근전도검사(ElectroMyoGraphy), 수면다원검사(PSG,polysomnography)를 통해서 얻어질 수 있다.According to one embodiment of the present invention, the hypnogram 1000 is generally obtained through electroencephalogram (EEGs), electrooculography (EOGs), electromyography (ElectroMyoGraphy), and polysomnography (PSG). can be obtained.
도 16에 개시된 바와 같이 표시되는 힙노그램은 수면 단계를 렘 수면과 논-렘(NON-REM)수면으로 구분하여 표현할 수 있다. 예를 들어, 렘 수면, 깊은 잠, 얕은 잠 및 깸 4단계로 표현할 수 있다.The hypnogram displayed as shown in FIG. 16 can express sleep stages by dividing them into REM sleep and non-REM sleep. For example, it can be expressed in four stages: REM sleep, deep sleep, light sleep, and waking.
수면 의도 정보Sleep Intention Information
본 발명의 일 실시 형태에 따르면, 프로세서(630)는 환경 센싱 정보에 기반하여 수면 의도 정보를 획득할 수 있다. 일 실시예에 따르면, 프로세서(630)는 환경 센싱 정보에 포함된 음향의 종류를 식별할 수 있다. According to one embodiment of the present invention, the processor 630 may obtain sleep intention information based on environmental sensing information. According to one embodiment, the processor 630 may identify the type of sound included in environmental sensing information.
또한, 프로세서(630)는 식별된 음향의 종류의 수에 기초하여 수면 의도 정보를 산출할 수 있다. 프로세서(630)는 음향의 종류의 수가 많을수록 수면 의도 정보를 낮게 산출할 수 있으며, 음향의 종류가 적을수록 수면 의도 정보를 높게 산출할 수 있다. Additionally, the processor 630 may calculate sleep intention information based on the number of types of identified sounds. The processor 630 can calculate the sleep intention information at a lower level as the number of types of sounds increases, and can calculate the sleep intention information higher as the number of types of sounds decreases.
구체적인 예를 들어, 환경 센싱 정보에 포함된 음향의 종류가 3가지(예컨대, 청소기 소리, TV소리 및 사용자 목소리)인 경우, 프로세서(630)는 수면 의도 정보를 2점으로 산출할 수 있다. 또한 예를 들어, 환경 센싱 정보에 포함된 음향의 종류가 1가지(예컨대, 세탁기)인 경우, 프로세서(630)는 수면 의도 정보를 6점으로 산출할 수 있다. For a specific example, if there are three types of sounds included in the environmental sensing information (for example, the sound of a vacuum cleaner, the sound of a TV, and the user's voice), the processor 630 may calculate the sleep intention information as 2 points. Also, for example, when there is only one type of sound (eg, washing machine) included in the environmental sensing information, the processor 630 may calculate sleep intention information as 6 points.
즉, 프로세서(630)는 환경 센싱 정보에 포함된 음향의 종류의 수에 따라 사용자가 수면을 취할 의도가 얼마나 있는지에 관련한 수면 의도 정보를 획득할 수 있다. 예컨대, 많은 종류의 음향이 식별될수록, 사용자의 수면 의도가 낮다는 수면 의도 정보(즉, 낮은 점수의 수면 의도 정보)가 출력될 수 있다.That is, the processor 630 can obtain sleep intention information related to how much the user intends to sleep according to the number of types of sounds included in the environmental sensing information. For example, as more types of sounds are identified, sleep intention information indicating that the user's sleep intention is lower (i.e., sleep intention information with a lower score) may be output.
전술한 환경 센싱 정보에 포함된 음향의 종류 및 수면 의도 정보에 관한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다. 또한, 프로세서(630)의 동작으로 설명하였으나, 본 발명에 개시된 다른 프로세서(예컨대, 프로세서(110), 프로세서(210), 제어부(380) 등)에서 상술한 동작을 수행할 수도 있다.The specific numerical description of the type of sound and sleep intention information included in the above-described environmental sensing information is only an example, and the present invention is not limited thereto. In addition, although the operation of the processor 630 has been described, the above-described operation may be performed by another processor (eg, processor 110, processor 210, control unit 380, etc.) disclosed in the present invention.
의도 점수 테이블 방식에 의한 수면 의도 정보 획득Acquisition of sleep intention information using intention score table method
또한 실시예에서, 프로세서(110)는 복수의 음향 정보 각각에 상이한 의도 점수를 사전 매칭하여 의도 점수 테이블을 생성 또는 기록할 수 있다. 예를 들어, 세탁기에 관련한 제1음향 정보에는 2점이라는 의도 점수가 매칭되어 있을 수 있으며, 가습기 소리에 관련한 제2음향 정보에는 5점이라는 의도 점수가 사전 매칭되어 있을 수 있고, 그리고 목소리에 관련한 제3음향 정보에 1점이라는 의도 점수가 매칭되어 있을 수 있다. 프로세서(110)는 사용자의 수면과 관련한 음향 정보(예컨대, 사용자가 활동함에 따라 발생하는 소리로, 청소기, 설거지, 목소리 음향 등)에 대하여 비교적 높은 의도 점수를 사전 매칭하며, 사용자의 수면과 관련없는 음향 정보(예컨대, 사용자의 활동과 무관한 소리로, 차량 소음, 비오는 소리 등)에 대하여 비교적 낮은 의도 점수를 사전 매칭하여 의도 점수 테이블을 생성할 수 있다. 전술한 각 음향 정보에 매칭된 의도 점수에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.Additionally, in an embodiment, the processor 110 may generate or record an intent score table by pre-matching different intent scores to each of a plurality of acoustic information. For example, the first sound information related to the washing machine may be pre-matched with an intention score of 2 points, the second sound information related to the sound of the humidifier may be pre-matched with an intent score of 5 points, and the intent score related to the voice may be pre-matched. An intent score of 1 point may be matched to the third sound information. The processor 110 pre-matches a relatively high intent score for sound information related to the user's sleep (e.g., sounds generated as the user is active, such as vacuum cleaner, dishwashing, voice sound, etc.), and not related to the user's sleep. An intent score table can be created by pre-matching relatively low intent scores for acoustic information (e.g., sounds unrelated to the user's activities, vehicle noise, rain sounds, etc.). The specific numerical description of the intention score matched to each sound information described above is only an example, and the present invention is not limited thereto.
프로세서(110)는 환경 센싱 정보 및 의도 점수 테이블에 기초하여 수면 의도 정보를 획득할 수 있다. 구체적으로, 프로세서(110)는 환경 센싱 정보에서 의도 점수 테이블에 포함된 복수의 음향 중 적어도 하나가 식별되는 시점에 대응하여, 식별된 음향에 매칭된 의도 점수를 기록할 수 있다. 구체적인 예를 들어, 실시간으로 환경 센싱 정보가 획득되는 과정에서 제1시점에 대응하여 청소기 소리가 식별되는 경우, 프로세서(110)는 해당 청소기 소리에 매칭된 의도 점수 2점을 제1시점에 매칭하여 기록할 수 있다. 프로세서(110)는 환경 셍신 정보 획득 과정에서, 다양한 음향 각각이 식별될 때마다 식별된 음향에 매칭된 의도 점수를 해당 시점에 매칭하여 기록할 수 있다.The processor 110 may obtain sleep intention information based on environmental sensing information and an intention score table. Specifically, the processor 110 may record an intention score matched to the identified sound in response to a point in time when at least one of the plurality of sounds included in the intention score table is identified in the environmental sensing information. For a specific example, in the process of acquiring environmental sensing information in real time, when the sound of a vacuum cleaner is identified in response to the first time point, the processor 110 matches 2 intent scores matched to the sound of the vacuum cleaner to the first time point It can be recorded. In the process of acquiring environment scene information, the processor 110 may match and record the intent score matched to the identified sound at that time whenever each of the various sounds is identified.
실시예에서, 프로세서(110)는 미리 정해진 시간(예컨대, 10분) 동안 획득된 의도 점수의 합에 기초하여 수면 의도 정보를 획득할 수 있다. 구체적인 예를 들어, 10분 동안 획득된 의도 점수가 높을수록 높은 수면 의도 정보가 획득될 수 있으며, 10분 동안 획득된 의도 점수가 낮을수록 낮은 수면 의도 정보가 획득될 수 있다. 전술한 미리 정해진 시간에 대한 구체적인 수치적 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.In an embodiment, processor 110 may obtain sleep intention information based on the sum of intention scores obtained over a predetermined period of time (eg, 10 minutes). For a specific example, the higher the intention score obtained for 10 minutes, the higher the sleep intention information can be obtained, and the lower the intention score obtained for 10 minutes, the lower the sleep intention information can be obtained. The specific numerical description of the above-mentioned predetermined time is only an example, and the present invention is not limited thereto.
즉, 프로세서(110)는 환경 센싱 정보에 포함된 음향의 특성에 따라 사용자가 수면을 취할 의도가 얼마나 있는지에 관련한 수면 의도 정보를 획득할 수 있다. 예컨대, 사용자의 활동에 관련한 음향이 식별될수록, 사용자의 수면 의도가 낮다는 수면 의도 정보(즉, 낮은 점수의 수면 의도 정보)가 출력될 수 있다.That is, the processor 110 may obtain sleep intention information related to how much the user intends to sleep according to the characteristics of the sound included in the environmental sensing information. For example, as sounds related to the user's activity are identified, sleep intention information indicating that the user's sleep intention is low (i.e., sleep intention information with a low score) may be output.
한편, 이상의 동작을 프로세서(110)의 동작으로 설명하였으나, 본 발명에 개시된 다른 프로세서(예컨대, 프로세서(630), 프로세서(210), 제어부(380) 등)에서 상술한 동작을 수행할 수도 있다.Meanwhile, although the above operations have been described as operations of the processor 110, the above-described operations may be performed on other processors disclosed in the present invention (e.g., processor 630, processor 210, control unit 380, etc.).
수면 이벤트 정보Sleep event information
본 발명의 일 실시예에 따른 수면 이벤트는 코골이, 수면 호흡(예컨대, 수면 무호흡증과 관련한 정보를 포함한다), 이갈이 등 수면 중 발생할 수 있는 다양한 이벤트를 포함한다.Sleep events according to an embodiment of the present invention include various events that may occur during sleep, such as snoring, sleep breathing (for example, including information related to sleep apnea), and bruxism.
본 발명의 일 실시예에 따르면, 소정의 수면 이벤트가 발생했다는 수면 이벤트 정보 또는, 소정의 수면 이벤트가 발생했다고 판단될 확률을 나타내는 수면 이벤트 확률 정보를 생성할 수 있다. 이하 수면 이벤트 정보의 일 예시인 수면 호흡 정보에 대하여 설명한다.According to an embodiment of the present invention, sleep event information indicating that a predetermined sleep event has occurred or sleep event probability information indicating the probability of determining that a predetermined sleep event has occurred can be generated. Hereinafter, sleep breathing information, which is an example of sleep event information, will be described.
도 3c는 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면 무호흡증(apnea), 호흡저하(hypopnea)와 관련하여 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.Figure 3c is a graph verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results in relation to sleep apnea and hypoventilation and the results according to the present invention. This is a diagram comparing the analysis results (AI results) using AI algorithms.
도 3c의 가장 아래에 도시된 확률 그래프는 사용자 수면 음향 정보를 입력받아서 수면 질환을 예측할 때, 30초 단위로 2개의 질환(수면 무호흡증, 호흡저하) 중 어디에 속하는지에 대한 확률을 나타낸다.The probability graph shown at the bottom of FIG. 3C shows the probability of which of the two diseases (sleep apnea and hypoventilation) it belongs to in 30-second increments when predicting a sleep disease by receiving user sleep sound information.
도 3c에 도시된 세 개의 그래프 중의 가운데에 도시된 그래프는, 그 아래에 도시된 확률 그래프로부터 가장 높은 확률의 질환을 정하는 방식으로 얻을 수 있다.The graph shown in the middle of the three graphs shown in FIG. 3C can be obtained by determining the disease with the highest probability from the probability graph shown below.
본 발명에 따른 수면 분석을 이용하면, 도 3c에 도시된 바와 같이, 본 발명에 따라 획득된 수면 상태 정보는 수면다원검사와 매우 일치하는 성능을 보여주었다. 또한, 무호흡증과 호흡저하와 관련한 더욱 정밀한 분석 정보를 포함한다는 성능을 보여주었다.Using the sleep analysis according to the present invention, as shown in FIG. 3C, the sleep state information obtained according to the present invention showed performance very consistent with polysomnography. In addition, it demonstrated the ability to include more precise analysis information related to apnea and respiratory depression.
본 발명에 따르면, 사용자의 수면 분석을 실시간으로 분석하면서 수면장애(수면무호흡, 수면과호흡, 수면저호흡)가 발생한 지점을 파악할 수 있다. 수면장애가 발생한 순간 사용자에게 자극(촉각적, 자극 청각적 자극, 후각적 자극 등)을 제공하면, 수면장애가 일시적으로 완화될 수 있다. 즉, 본 발명에 따르면 수면장애와 관련한 정확한 이벤트탐지를 바탕으로 사용자의 수면장애를 중단시키고, 수면장애의 빈도를 감소시킬 수 있다.According to the present invention, it is possible to identify the point at which a sleep disorder (sleep apnea, sleep hyperventilation, sleep hypopnea) occurs while analyzing the user's sleep in real time. If stimulation (tactile, auditory, olfactory, etc.) is provided to the user at the moment the sleep disorder occurs, the sleep disorder may be temporarily alleviated. In other words, according to the present invention, it is possible to stop the user's sleep disorder and reduce the frequency of sleep disorder based on accurate event detection related to the sleep disorder.
본 발명의 일 실시예에 따른 확률 그래프에는 사용자 수면 음향 정보를 입력받아서 수면 질환을 예측할 때, 30초 단위로 2개의 질환(수면 무호흡증, 호흡저하) 중 어디에 속하는지에 대한 확률을 나타낼 수도 있지만, 30초에 제한되는 것은 아니다.The probability graph according to an embodiment of the present invention may indicate the probability of which of the two diseases (sleep apnea, hypoventilation) falls into the 30 second unit when predicting a sleep disease by receiving user sleep sound information. It is not limited to seconds.
도 3c에 도시된 세 개의 그래프 중의 가운데에 도시된 그래프는, 그 아래에 도시된 확률 그래프로부터 가장 높은 확률의 질환을 정하는 방식으로 얻을 수 있다.The graph shown in the middle of the three graphs shown in FIG. 3C can be obtained by determining the disease with the highest probability from the probability graph shown below.
본 발명에 따른 수면 분석을 이용하면, 도 3c에 도시된 바와 같이, 본 발명에 따라 획득된 수면 상태 정보는 수면다원검사와 매우 일치하는 성능을 보여주었다. 또한, 무호흡증과 호흡저하와 관련한 더욱 정밀한 분석 정보를 포함한다는 성능을 보여주었다.Using the sleep analysis according to the present invention, as shown in FIG. 3C, the sleep state information obtained according to the present invention showed performance very consistent with polysomnography. In addition, it demonstrated the ability to include more precise analysis information related to apnea and respiratory depression.
본 발명에 따르면, 사용자의 수면 분석을 실시간으로 분석하면서 수면장애(수면무호흡, 수면과호흡, 수면저호흡)가 발생한 지점을 파악할 수 있다. 수면장애가 발생한 순간 사용자에게 자극(촉각적, 자극 청각적 자극, 후각적 자극 등)을 제공하면, 수면장애가 일시적으로 완화될 수 있다. 즉, 본 발명에 따르면 수면장애와 관련한 정확한 이벤트탐지를 바탕으로 사용자의 수면장애를 중단시키고, 수면장애의 빈도를 감소시킬 수 있다.According to the present invention, it is possible to identify the point at which a sleep disorder (sleep apnea, sleep hyperventilation, sleep hypopnea) occurs while analyzing the user's sleep in real time. If stimulation (tactile, auditory, olfactory, etc.) is provided to the user at the moment the sleep disorder occurs, the sleep disorder may be temporarily alleviated. In other words, according to the present invention, it is possible to stop the user's sleep disorder and reduce the frequency of sleep disorder based on accurate event detection related to the sleep disorder.
수면 정보들을 멀티모달로 한 수면 상태 정보를 분석하기 위한 방법Method for analyzing sleep state information using multimodal sleep information
멀티모달로 한 수면 상태 정보 분석 방법의 일 실시예 (CONCEPT-A)One embodiment of a multimodal sleep state information analysis method (CONCEPT-A)
도 46은 본 발명의 일실시예에 따른 수면 음향 정보와 수면 환경 정보를 멀티모달 데이터로 결합하는 과정을 포함하는 한 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.Figure 46 is a flowchart illustrating a method for analyzing sleep state information including the process of combining sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
본 발명의 목적을 달성하기 위하여 일 실시예에 따르면, 수면 음향 정보와 수면 환경 정보를 멀티모달로 한 수면 상태 정보를 분석하기 위한 방법은 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득하는 제1 정보 획득 단계(S600), 제1 정보의 전처리를 수행하는 단계(S602), 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S610), 제2 정보의 전처리를 수행하는 단계(S612), 멀티모달로 데이터를 결합하는 결합단계(S620), 멀티모달 데이터를 딥러닝 모델의 입력하는 단계(S630), 딥러닝 모델의 출력으로 수면 상태 정보를 획득하는 단계(S640)를 포함할 수 있다.In order to achieve the purpose of the present invention, according to one embodiment, a method for analyzing sleep state information using sleep sound information and sleep environment information in a multimodal manner includes a first method of acquiring sound information in the time domain related to the user's sleep. An information acquisition step (S600), a step of preprocessing the first information (S602), a second information acquisition step of acquiring user sleep environment information related to the user's sleep (S610), a step of performing preprocessing of the second information (S612), a combining step of combining multi-modal data (S620), a step of inputting multi-modal data into a deep learning model (S630), and a step of obtaining sleep state information as the output of the deep learning model (S640). can do.
본 발명의 실시예에 따라서, 제1 정보 획득 단계(S600)은 사용자 단말(300)에서 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득할 수 있다. 사용자의 수면과 관련한 시간 도메인 상의 음향 정보는 사용자 단말(300)의 음원 탐지부에서 얻어지는 음원 정보를 포함할 수 있다.According to an embodiment of the present invention, in the first information acquisition step (S600), sound information in the time domain related to the user's sleep may be acquired from the user terminal 300. Sound information in the time domain related to the user's sleep may include sound source information obtained from the sound source detection unit of the user terminal 300.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S602)에서는 시간 도메인 상의 수면 음향 정보를, 주파수 성분의 시간 축에 따른 변화를 포함하는 정보 또는, 주파수 도메인 상의 정보로 변환할 수 있다. 또한, 주파수 도메인 상의 정보는 스펙트로그램으로 표현될 수 있으며, 멜 스케일이 적용된 멜 스펙트로그램일 수 있다. 스펙트로그램으로 변환함으로써, 사용자의 프라이버시 보호 및 데이터 가공량을 줄일 수 있다. 또한, 시간 도메인 상의 수면 음향 정보를 변환한 정보는 시각화한 것으로서, 이러한 경우 이미지 처리 기반의 인공지능 모델의 입력으로 함으로써 이미지 분석을 통해 수면 상태 정보를 획득할 수 있다.According to an embodiment of the present invention, in the step of performing data preprocessing of the first information (S602), sleep sound information in the time domain is converted into information including changes in the frequency component along the time axis or information in the frequency domain. can do. Additionally, information in the frequency domain may be expressed as a spectrogram, which may be a Mel spectrogram to which the Mel scale is applied. By converting to a spectrogram, user privacy can be protected and the amount of data processing can be reduced. In addition, information converted from sleep sound information in the time domain is visualized, and in this case, sleep state information can be obtained through image analysis by using it as input to an image processing-based artificial intelligence model.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S602)에서는 음향 정보에 기초하여 특징을 추출하는 단계를 더 포함할 수 있다. 예를 들어, 획득된 시간 도메인 상의 음향 정보에 기초하여 사용자의 수면 호흡 패턴을 추출할 수 있다. 예를 들어, 획득된 시간 도메인 상의 음향 정보를, 주파수 성분의 시간 축에 따른 변화를 포함하는 정보로 변환하고, 변환된 정보에 기초하여 사용자의 호흡 패턴을 추출할 수 있다. 또는, 시간 도메인상의 음향 정보를 주파수 도메인 상의 정보로 변환하고, 주파수 도메인 상의 음향 정보에 기초하여 사용자의 수면 호흡 패턴을 추출할 수 있다.According to an embodiment of the present invention, the step of performing data preprocessing of the first information (S602) may further include extracting features based on the acoustic information. For example, the user's sleep breathing pattern can be extracted based on the acquired acoustic information in the time domain. For example, the acquired acoustic information in the time domain can be converted into information including changes in frequency components along the time axis, and the user's breathing pattern can be extracted based on the converted information. Alternatively, acoustic information on the time domain may be converted into information on the frequency domain, and the user's sleep breathing pattern may be extracted based on the acoustic information on the frequency domain.
이 경우 변환된 정보들은 시각화된 것으로서, 이미지 처리 기반의 인공지능 모델의 입력으로 하여 사용자의 호흡 패턴 등의 정보를 출력하도록 할 수 있다.In this case, the converted information is visualized and can be used as input to an image processing-based artificial intelligence model to output information such as the user's breathing pattern.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S602)에서는 수면 음향 정보를 딥러닝 모델에 입력 시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다. 데이터 어그멘테이션 기법에는 피치 시프팅(Pitch Shifting) 어그멘테이션, TUT(Tile UnTile) 어그멘테이션 어그멘테이션 및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.According to an embodiment of the present invention, the step of performing data preprocessing of the first information (S602) may include a data augmentation process to obtain a sufficient amount of meaningful data to input sleep sound information into a deep learning model. there is. Data augmentation techniques may include pitch shifting (Pitch Shifting) augmentation, TUT (Tile UnTile) augmentation, and noise-added augmentation. The above-described augmentation technique is merely an example, and the present invention is not limited thereto.
본 발명의 실시예에 따라 멜 스케일에서 부가하는 방법에 의하면 하드웨어가 데이터를 처리하는 데에 소요되는 시간이 단축될 수 있다.According to an embodiment of the present invention, the time required for hardware to process data can be shortened by the method added by Mel Scale.
한편, 전술한 노이즈의 종류에 관한 구체적인 기재는 본 발명의 노이즈 부가 어그멘테이션을 설명하기 위한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.Meanwhile, the detailed description of the types of noise described above is merely an example for explaining the noise addition augmentation of the present invention, and the present invention is not limited thereto.
본 발명의 실시예에 따라서, 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S610)는 사용자 단말(300), 외부서버 또는 네트워크를 통해서 사용자 수면 환경 정보를 획득할 수 있다. 사용자의 수면 환경 정보는 사용자가 위치한 공간에서 획득되는 수면과 관련한 정보를 의미할 수 있다. 수면 환경 정보는, 비접촉식 방법으로 사용자가 위치한 공간에서 획득되는 센싱 정보(예컨대, 환경 센싱 정보)일 수 있다. 수면 환경 정보는, 레이더를 통해 측정되는 호흡 운동 및 신체 움직임 정보일 수 있다. 수면 환경 정보는, 스마트 워치, 스마트 가전 등에서 획득되는 사용자의 수면에 관련한 정보일 수 있다. 수면 환경 정보는, 광혈류 측정 신호(PhotoPlethysmoGraphy)일 수 있다. 수면 환경 정보는 광혈류 측정 신호(PhotoPlethysmoGraphy, PPG)를 통해 얻어지는 심박 변이도(Heart Rate Variability, HRV), 심박수(Heart Rate)일 수 있으며, 광혈류 측정 신호는 스마트 워치 및 스마트 링에 의해서 측정될 수 있다. 수면 환경 정보는, 뇌파 신호(Electro Encephalo Graphy, EEG)일 수 있다. 수면 환경 정보는 수면 중 측정되는 Actigraphy 신호 일 수 있다.According to an embodiment of the present invention, the second information acquisition step (S610) of acquiring user sleep environment information related to the user's sleep may acquire user sleep environment information through the user terminal 300, an external server, or a network. . The user's sleep environment information may refer to information related to sleep obtained in the space where the user is located. Sleep environment information may be sensing information (eg, environmental sensing information) obtained in a space where the user is located through a non-contact method. Sleep environment information may be breathing movement and body movement information measured through radar. Sleep environment information may be information related to the user's sleep obtained from a smart watch, smart home appliance, etc. Sleep environment information may be a photoplethysmography signal (PhotoPlethysmoGraphy). Sleep environment information can be Heart Rate Variability (HRV) and heart rate obtained through PhotoPlethysmoGraphy (PPG), and photoplethysmography signals can be measured by smart watches and smart rings. there is. Sleep environment information may be an electroencephalography (EEG) signal. Sleep environment information may be an Actigraphy signal measured during sleep.
본 발명의 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S612)는 사용자의 수면 환경 정보의 데이터를 딥러닝 모델에 입력시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다.According to an embodiment of the present invention, the step of preprocessing the second information (S612) involves a data augmentation process to obtain a sufficient amount of meaningful data to input the data of the user's sleep environment information into a deep learning model. It can be included.
본 발명의 일 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S612)는 사용자의 수면 환경 정보의 데이터를 가공하여 특징을 추출하는 단계를 포함할 수 있다. 예를 들어, 제2 정보가 광혈류 측정 신호(PPG)인 경우, 광혈류 측정 신호에서 심박변이도(HRV)와 심박수(Heart Rate)를 추출할 수 있다. According to an embodiment of the present invention, the preprocessing of the second information (S612) may include processing data of the user's sleep environment information to extract features. For example, when the second information is a photoplethysmography signal (PPG), heart rate variability (HRV) and heart rate can be extracted from the photoplethysmography signal.
본 발명의 일 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S612)는 사용자의 수면 환경 정보의 데이터가 이미지 정보로 얻어지는 경우, 이미지 정보를 TUT(Tile UnTile) 어그멘테이션및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 이미지 정보의 어그멘테이션 기법에 관한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다. 사용자의 수면 환경 정보는 다양한 저장 형태의 방식의 정보일 수 있다. 사용자의 수면 환경 정보의 어그멘테이션 방법은 다양한 방식이 채용될 수 있다.According to an embodiment of the present invention, in the step of pre-processing the second information (S612), when the data of the user's sleep environment information is obtained as image information, the image information is subjected to TUT (Tile UnTile) augmentation and noise addition. May include augmentation. The above-described augmentation technique is merely an example of an augmentation technique for image information, and the present invention is not limited thereto. The user's sleep environment information may be information in various storage formats. Various methods may be employed to augment the user's sleep environment information.
본 발명의 실시예에 따라서, 데이터 전처리 과정을 거친 제1 정보와 제2 정보를 멀티모달 데이터로 결합하는 단계(S620)은 딥 러닝 모델에 멀티모달 데이터를 입력하기 위하여 데이터를 결합한다.According to an embodiment of the present invention, the step of combining the first information and the second information that have undergone a data preprocessing process into multimodal data (S620) combines the data to input the multimodal data to the deep learning model.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 방법은 전처리된 제1 정보와 전처리된 제2 정보를 동일한 형식의 데이터로 결합하는 것일 수 있다. 구체적으로, 제1 정보는 주파수 도메인 상에서의 음향 이미지 정보이고, 제2 정보는 스마트 워치에서 얻어지는 시간 도메인 상에서의 심박 이미지 정보일 수 있다. 이 때, 제1 정보와 제2 정보는 도메인이 동일하지 않기 때문에, 동일한 도메인으로 변환하여 결합할 수 있다.According to an embodiment of the present invention, a method of combining multimodal data may be combining preprocessed first information and preprocessed second information into data of the same format. Specifically, the first information may be acoustic image information in the frequency domain, and the second information may be heart rate image information in the time domain obtained from a smart watch. At this time, since the domains of the first information and the second information are not the same, they can be converted to the same domain and combined.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 방법은 전처리된 제1 정보와 전처리된 제2 정보를 동일한 형식의 데이터로 결합하는 것일 수 있다. 구체적으로, 제1 정보는 주파수 도메인 상에서의 음향 이미지 정보이고, 제2 정보는 스마트 워치에서 얻어지는 시간 도메인 상에서의 심박 이미지 정보일 수 있다. 이 때, 딥러닝 모델의 입력으로 사용하기 위해 제1 정보와 제2 정보는 도메인이 동일하지 않기 때문에, 각각의 데이터를 제1 정보와 제2 정보에 관한 것이라고 라벨링 할 수 있다.According to an embodiment of the present invention, a method of combining multimodal data may be combining preprocessed first information and preprocessed second information into data of the same format. Specifically, the first information may be acoustic image information in the frequency domain, and the second information may be heart rate image information in the time domain obtained from a smart watch. At this time, because the domains of the first information and the second information are not the same in order to be used as input to a deep learning model, each data can be labeled as being related to the first information and the second information.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 단계(S620)은 제1 정보 어그멘테이션을 진행하고, 제2 정보 어그멘테이션을 진행한 후 결합할 수 있다. 예를 들어, 제1 정보는 사용자의 시간 도메인 상의 음향 정보일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다. 예를 들어, 제1 정보는 사용자의 시간 도메인 상의 음향 정보 또는 시간 도메인 상의 음향 정보를 주파수 도메인 상의 음향 정보로 변환한 스펙트로그램일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다.According to an embodiment of the present invention, the step of combining multimodal data (S620) may be performed by performing first information augmentation, performing second information augmentation, and then combining. For example, the first information may be acoustic information in the user's time domain, and the second information may be a photoplethysmography signal (PPG), which may be combined into multimodal data. For example, the first information may be sound information on the user's time domain or a spectrogram converted from sound information on the time domain into sound information on the frequency domain, and the second information may be a photoplethysmography signal (PPG), , this can be combined into multimodal data.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 단계(S620)는 제1 정보 어그멘테이션을 진행하고, 제2 정보 어그멘테이션 및 특징을 추출을 진행하여 결합할 수 있다. 예를 들어, 제1 정보는 사용자의 시간 도메인 상의 음향 정보 또는 시간 도메인 상의 음향 정보를 주파수 도메인 상의 음향 정보로 변환한 스펙트로그램일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)에서 얻어지는 심박변이도(HRV) 또는 심박수(Heart Rate)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다. 본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 단계(S620)는 제1 정보 어그멘테이션 및 특징 추출을 진행하고, 제2 정보 어그멘테이션을 진행하여 결합할 수 있다. 예를 들어, 예를 들어, 제1 정보는 사용자의 음향 정보에 기초하여 추출된 사용자 호흡 패턴 일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)에서 얻어지는 심박변이도(HRV) 또는 심박수(Heart Rate)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다.According to an embodiment of the present invention, the step of combining multimodal data (S620) may be performed by performing first information augmentation, extracting second information augmentation and features, and combining them. For example, the first information may be the user's sound information in the time domain or a spectrogram converted from the sound information in the time domain to sound information in the frequency domain, and the second information may be the heart rate obtained from the photoplethysmography signal (PPG). This can be HRV or heart rate, and can be combined into multimodal data. According to an embodiment of the present invention, the step of combining multimodal data (S620) may be performed by performing first information augmentation and feature extraction, and performing second information augmentation. For example, the first information may be the user's breathing pattern extracted based on the user's acoustic information, and the second information may be heart rate variability (HRV) or heart rate obtained from the photoplethysmography signal (PPG). Rate), and this can be combined into multimodal data.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 단계(S620)은 제1 정보 어그멘테이션 및 특징 추출을 진행하고, 제2 정보 어그멘테이션 및 특징을 추출을 진행하여 결합할 수 있다. 예를 들어, 제1 정보는 사용자의 음향 정보에 기초하여 추출된 사용자 호흡 패턴 일 수 있고, 제2 정보는 광혈류 측정 신호(PPG)에서 얻어지는 심박변이도(HRV) 또는 심박수(Heart Rate)일 수 있고, 이를 멀티모달 데이터로 결합할 수 있다.According to an embodiment of the present invention, in the step of combining multimodal data (S620), first information augmentation and feature extraction may be performed, and second information augmentation and feature extraction may be performed and combined. . For example, the first information may be a user's breathing pattern extracted based on the user's acoustic information, and the second information may be heart rate variability (HRV) or heart rate obtained from a photoplethysmography signal (PPG). and can be combined into multimodal data.
본 발명의 실시예에 따라서, 딥러닝 모델에 멀티모달 결합 데이터를 입력하는 단계(S630)은 멀티모달 결합 데이터를 입력하기 위해 딥러닝 모델의 입력하기 위해 요구되는 정합하는 형태로 데이터를 가공할 수 있다.According to an embodiment of the present invention, the step of inputting multimodal combined data into a deep learning model (S630) can process the data into a matching form required for inputting the deep learning model to input multimodal combined data. there is.
본 발명의 실시예에 따라서, 딥러닝 모델의 출력으로 수면 상태 정보를 획득하는 단계(S640)은 멀티모달 결합 데이터를 수면 상태 정보를 추론하기 위한 딥러닝 모델의 입력으로 하여, 수면 상태 정보를 추론할 수 있다. 수면 상태 정보는 사용자의 수면의 상태에 관한 정보일 수 있다.According to an embodiment of the present invention, the step of acquiring sleep state information as an output of a deep learning model (S640) is to infer sleep state information by using multimodal combined data as an input to a deep learning model for inferring sleep state information. can do. Sleep state information may be information about the user's sleep state.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면을 단계로서 표현하는 수면 단계 정보를 포함할 수 있다. 수면의 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면 단계의 설정은 일반적인 수면 단계로 정의될 수도 있지만, 설계자에 따라 다양한 수면 단계로 임의 설정될 수도 있다.According to an embodiment of the present invention, the user's sleep state information may include sleep stage information expressing the user's sleep as a stage. Stages of sleep can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be further divided into multiple stages (e.g., stages 2 of light and deep, and stages 4 of N1 to N4). You can. The sleep stage setting may be defined as a general sleep stage, but may also be arbitrarily set to various sleep stages depending on the designer.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면에서 발생하는 수면과 관련한 질환이나 수면 중 행동을 표현하는 수면 이벤트 정보를 포함할 수 있다. 구체적으로, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 수면 질환에 의한 수면 무호흡증 및 저호흡증 정보를 포함할 수 있다. 또한, 구체적으로는, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 코골이 여부, 코골이 지속 시간, 잠꼬대 여부, 잠꼬대 지속 시간, 뒤척임 여부 및 뒤척임 지속 시간을 포함할 수 있다. 서술된 사용자의 수면 이벤트 정보는 사용자의 수면 중에 발생하는 사건을 표현하기 위한 예시에 불과하며, 이에 한정되지 않는다.According to an embodiment of the present invention, the user's sleep state information may include sleep event information expressing sleep-related diseases that occur during the user's sleep or behavior during sleep. Specifically, sleep event information that occurs during the user's sleep may include sleep apnea and hypopnea information due to the user's sleep disease. Additionally, specifically, sleep event information that occurs during the user's sleep may include whether the user snores, the duration of snoring, whether the user talks in his sleep, the duration of the sleep talking, whether he tosses and turns, and the duration of the tossing and turning. The user's sleep event information described is only an example for expressing events that occur during the user's sleep, and is not limited thereto.
멀티모달로 한 수면 상태 정보 분석 방법의 일 실시예 (CONCEPT-B)An embodiment of a multimodal sleep state information analysis method (CONCEPT-B)
도 47은 본 발명의 일실시예에 따른 수면 음향 정보와 수면 환경 정보 각각을 추론한 것을 멀티모달 데이터로 결합하는 단계를 포함하는 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.Figure 47 is a flowchart illustrating a method for analyzing sleep state information including the step of combining the inferred sleep sound information and sleep environment information into multimodal data according to an embodiment of the present invention.
본 발명의 목적을 달성하기 위하여 일 실시예에 따르면, 수면 음향 정보와 수면 환경 정보를 멀티모달로 한 수면 상태 정보를 분석하기 위한 방법은 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득하는 제1 정보 획득 단계(S700), 제1 정보의 전처리를 수행하는 단계(S702), 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S704), 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S710), 제2 정보의 전처리를 수행하는 단계(S712), 제2 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S714), 멀티모달로 데이터를 결합하는 결합단계(S720) 및 멀티모달 데이터의 결합으로 수면 상태 정보를 획득하는 단계(S730)을 포함할 수 있다.In order to achieve the purpose of the present invention, according to one embodiment, a method for analyzing sleep state information using sleep sound information and sleep environment information in a multimodal manner includes a first method of acquiring sound information in the time domain related to the user's sleep. Information acquisition step (S700), performing preprocessing of the first information (S702), inferring information about sleep by using the first information as input to the deep learning model (S704), user sleep related to the user's sleep A second information acquisition step of acquiring environmental information (S710), a step of preprocessing the second information (S712), a step of inferring information about sleep by using the second information as input to the deep learning model (S714), It may include a combining step of combining multi-modal data (S720) and a step of obtaining sleep state information by combining multi-modal data (S730).
본 발명의 실시예에 따라서, 제1 정보 획득 단계(S700)에서는 사용자 단말(300)에서 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득할 수 있다. 사용자의 수면과 관련한 시간 도메인 상의 음향 정보는 사용자 단말(300)의 음원 탐지부에서 얻어지는 음원 정보를 포함할 수 있다.According to an embodiment of the present invention, in the first information acquisition step (S700), the user terminal 300 may acquire sound information in the time domain related to the user's sleep. Sound information in the time domain related to the user's sleep may include sound source information obtained from the sound source detection unit of the user terminal 300.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S702)에서는 시간 도메인 상의 시간 음향 정보를, 주파수 성분의 시간 축에 따른 변화를 포함하는 정보 또는, 주파수 도메인 상의 정보로 변환할 수 있다. 또한, 주파수 도메인 상의 정보는 스펙트로그램으로 표현될 수 있으며, 멜 스케일이 적용된 멜 스펙트로그램일 수 있다. 스펙트로그램으로 변환함으로써, 사용자의 프라이버시 보호 및 데이터 가공량을 줄일 수 있다.According to an embodiment of the present invention, in the step of performing data preprocessing of the first information (S702), temporal acoustic information on the time domain is converted into information including changes in the frequency component along the time axis or information on the frequency domain. can do. Additionally, information in the frequency domain may be expressed as a spectrogram, which may be a Mel spectrogram to which the Mel scale is applied. By converting to a spectrogram, user privacy can be protected and the amount of data processing can be reduced.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S702)에서는 수면 음향 정보를 딥러닝 모델에 입력시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다. 데이터 어그멘테이션 기법에는 피치 시프팅(Pitch Shifting) 어그멘테이션, TUT(Tile UnTile) 어그멘테이션 어그멘테이션 및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.According to an embodiment of the present invention, the step of performing data preprocessing of the first information (S702) may include a data augmentation process to obtain a sufficient amount of meaningful data to input sleep sound information into a deep learning model. there is. Data augmentation techniques may include pitch shifting (Pitch Shifting) augmentation, TUT (Tile UnTile) augmentation, and noise-added augmentation. The above-described augmentation technique is merely an example, and the present invention is not limited thereto.
본 발명의 실시예에 따라 멜 스케일에서 부가하는 방법에 의하면 하드웨어가 데이터를 처리하는 데에 소요되는 시간이 단축될 수 있다.According to an embodiment of the present invention, the time required for hardware to process data can be shortened by the method added by Mel Scale.
한편, 전술한 노이즈의 종류에 관한 구체적인 기재는 본 발명의 노이즈 부가 어그멘테이션을 설명하기 위한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.Meanwhile, the detailed description of the types of noise described above is merely an example for explaining the noise addition augmentation of the present invention, and the present invention is not limited thereto.
본 발명의 실시예에 따라서, 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S710)는 사용자 단말(300), 외부서버 또는 네트워크를 통해서 사용자 수면 환경 정보를 획득할 수 있다. 사용자의 수면 환경 정보는 사용자가 위치한 공간에서 획득되는 수면과 관련한 정보를 의미할 수 있다. 수면 환경 정보는, 비접촉식 방법으로 사용자가 위치한 공간에서 획득되는 센싱 정보일 수 있다. 수면 환경 정보는, 레이더를 통해 측정되는 호흡 운동 및 신체 움직임 정보일 수 있다. 수면 환경 정보는, 스마트 워치, 스마트 가전 등에서 획득되는 사용자의 수면에 관련한 정보일 수 있다. 수면 환경 정보는, 광혈류 측정 신호(PhotoPlethysmoGraphy, PPG)를 통해 얻어지는 심박 변이도(Heart Rate Variability, HRV), 심박수(Heart Rate)일 수 있으며, 광혈류 측정 신호는 스마트 워치 및 스마트 링에 의해서 측정될 수 있다. 수면 환경 정보는, 뇌파 신호(Electro Encephalo Graphy, EEG)일 수 있다. 수면 환경 정보는 수면 중 측정되는 Actigraphy 신호 일 수 있다.According to an embodiment of the present invention, the second information acquisition step (S710) of acquiring user sleep environment information related to the user's sleep may acquire user sleep environment information through the user terminal 300, an external server, or a network. . The user's sleep environment information may refer to information related to sleep obtained in the space where the user is located. Sleep environment information may be sensing information obtained in a space where the user is located using a non-contact method. Sleep environment information may be breathing movement and body movement information measured through radar. Sleep environment information may be information related to the user's sleep obtained from a smart watch, smart home appliance, etc. Sleep environment information may be Heart Rate Variability (HRV) and heart rate obtained through PhotoPlethysmoGraphy (PPG), and photoplethysmography signals can be measured by smart watches and smart rings. You can. Sleep environment information may be an electroencephalography (EEG) signal. Sleep environment information may be an Actigraphy signal measured during sleep.
본 발명의 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S712)는 사용자의 수면 환경 정보의 데이터를 딥러닝 모델에 입력 시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다.According to an embodiment of the present invention, the step of preprocessing the second information (S712) involves a data augmentation process to obtain a sufficient amount of meaningful data to input the data of the user's sleep environment information into a deep learning model. It can be included.
본 발명의 일 실시예에 따라서, 제2 정보의 전처리를 진행하는 단계(S712)는 사용자의 수면 환경 정보의 데이터가 이미지 정보로 얻어지는 경우, 이미지 정보를 TUT(Tile UnTile) 어그멘테이션 어그멘테이션 및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 이미지 정보의 어그멘테이션 기법에 관한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다. 사용자의 수면 환경 정보는 다양한 저장 형태의 방식의 정보일 수 있다. 사용자의 수면 환경 정보의 어그멘테이션 방법은 다양한 방식이 채용될 수 있다.According to an embodiment of the present invention, in the step of pre-processing the second information (S712), when the data of the user's sleep environment information is obtained as image information, the image information is converted to TUT (Tile UnTile) augmentation. and noise-added augmentation. The above-described augmentation technique is merely an example of an augmentation technique for image information, and the present invention is not limited thereto. The user's sleep environment information may be information in various storage formats. Various methods may be employed to augment the user's sleep environment information.
본 발명의 실시예에 따라서, 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S704)는 기 학습된 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론할 수 있다.According to an embodiment of the present invention, the step of inferring information about sleep by using the preprocessed first information as an input to a deep learning model (S704) involves inferring information about sleep by using the preprocessed first information as an input to a deep learning model. You can.
본 발명의 실시예에 따라서, 기 학습된 딥러닝 모델은 추론되는 데이터를 통한 자가 학습을 위하여 추론되는 데이터를 입력으로 사용할 수 있다.According to an embodiment of the present invention, a previously learned deep learning model can use inferred data as input for self-learning through inferred data.
본 발명의 실시예에 따라서, 수면 음향에 관한 제1정보를 입력으로 하여 수면에 관한 정보를 추론하는 딥러닝 수면 분석 모델은 피처 추출 모델과 피처 분류 모델을 포함할 수 있다.According to an embodiment of the present invention, a deep learning sleep analysis model that infers information about sleep by using first information about sleep sounds as input may include a feature extraction model and a feature classification model.
본 발명의 실시예에 따른 딥러닝 수면 분석 모델 중 피처 추출 모델은, 하나의 스펙트로그램이 입력되어, 하나의 스펙트로그램에 해당하는 수면 상태 정보를 예측하도록 학습되는 One-to-one 프록시 태스크(Proxy task)에 의해서 사전 학습(Pre training)될 수 있다. 본 발명의 실시예에 따른 피처 추출 모델에 CNN 딥러닝 모델을 채용하는 경우에, FC(Fully Connected Layer) 또는 FCN(Fully Connected Neural Network)의 구조를 채택하여 학습을 수행할 수도 있다. 본 발명의 실시예에 따른 피처 추출 모델에 MobileViTV2 딥러닝 모델을 채용하는 경우에는, 중간층(Intermediate Layer)의 구조를 채택하여 학습을 수행할 수도 있다.Among the deep learning sleep analysis models according to an embodiment of the present invention, the feature extraction model is a one-to-one proxy task (Proxy) in which one spectrogram is input and learned to predict sleep state information corresponding to one spectrogram. It can be pre-trained by task. When adopting a CNN deep learning model as a feature extraction model according to an embodiment of the present invention, learning may be performed by adopting the structure of FC (Fully Connected Layer) or FCN (Fully Connected Neural Network). When using the MobileViTV2 deep learning model as a feature extraction model according to an embodiment of the present invention, learning may be performed by adopting the structure of the intermediate layer.
본 발명의 실시예에 따른 딥러닝 수면 분석 모델 중 피처 분류 모델은, 복수의 연속된 스펙트로그램이 입력되어, 각각의 스펙트로그램의 수면 상태 정보를 예측하고, 복수의 연속된 스펙트로그램의 시퀀스를 분석하여 전체적인 수면 상태 정보를 예측 또는 분류하도록 학습될 수 있다. Among the deep learning sleep analysis models according to an embodiment of the present invention, the feature classification model inputs a plurality of consecutive spectrograms, predicts sleep state information of each spectrogram, and analyzes the sequence of the plurality of consecutive spectrograms. Thus, it can be learned to predict or classify overall sleep state information.
본 발명의 실시예에 따라서, 전처리된 제2 정보를 추론 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S714)에서는 기 학습된 추론 모델의 입력으로 하여, 수면에 관한 정보를 추론할 수 있다. 기 학습된 추론 모델은, 상술한 수면 딥러닝 수면 분석 모델일 수 있으나 이에 한정되지 아니하고, 기 학습된 추론 모델은 목적을 달성하기 위한 다양한 형태의 방식의 추론 모델 일 수 있다. 기 학습된 추론 모델은 다양한 방식이 채용될 수 있다.According to an embodiment of the present invention, in the step (S714) of inferring information about sleep by using the preprocessed second information as input to the inference model, information about sleep can be inferred by using the pre-processed second information as input to the inference model. there is. The previously learned inference model may be the sleep deep learning sleep analysis model described above, but is not limited thereto, and the previously learned inference model may be an inference model of various types to achieve the purpose. A variety of methods can be used for the previously learned inference model.
본 발명의 실시예에 따라서, 데이터 전처리 과정을 거친 제1 정보와 제2 정보를 멀티모달 데이터로 결합하는 단계(S720)에서는 정보를 결합하여 수면 상태 정보를 결정하기 위하여 데이터를 결합한다.According to an embodiment of the present invention, in the step (S720) of combining the first information and the second information that have undergone a data preprocessing process into multimodal data, the information is combined to determine sleep state information.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 방법은 전처리된 제1 정보를 통해 추론된 수면 정보와 전처리된 제2 정보를 통해 추론된 정보를 동일한 형식의 데이터로 결합하는 것일 수 있다. According to an embodiment of the present invention, a method of combining multimodal data may be to combine sleep information inferred through preprocessed first information and information inferred through preprocessed second information into data of the same format. .
본 발명의 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S730)는 멀티모달로 얻은 데이터를 결합하여 이를 통해서 사용자의 수면 상태 정보를 결정할 수 있다. 수면 상태 정보는 사용자의 수면의 상태에 관한 정보일 수 있다.According to an embodiment of the present invention, in the step of acquiring sleep state information by combining multimodal data (S730), the user's sleep state information can be determined by combining data obtained through multimodality. Sleep state information may be information about the user's sleep state.
본 발명의 일 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S730)은 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S704)에서 추론된 사용자의 수면에 관한 힙노그램(hypnogram)과 전처리된 제2 정보를 추론 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S714)에서 추론된 사용자의 수면에 관한 힙노그램(hypnogram)를 결합할 수 있다. 예를 들어, 각 힙노그램(hypnogram)을 중첩시켜 일치하는 부분에 대한 수면단계에 대한 정보를 채용하고, 일치하지 않는 부분에 대한 수면단계에 대한 정보는 가중치를 부여하여 채용여부를 결정함으로써 수면 상태 정보를 획득할 수 있다.According to an embodiment of the present invention, the step of acquiring sleep state information by combining multimodal data (S730) includes the step of inferring information about sleep by using the preprocessed first information as an input to a deep learning model (S704). In the step (S714) of inferring information about sleep using the inferred hypnogram about the user's sleep and the preprocessed second information as input to the inference model, the inferred hypnogram about the user's sleep is generated. Can be combined. For example, by overlapping each hypnogram, information about the sleep stage for the matching part is adopted, and information about the sleep stage for the non-matching part is weighted to determine whether or not to adopt the sleep state. Information can be obtained.
본 발명의 일 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S730)은 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S704)에서 추론된 사용자의 수면에 관한 힙노덴시티 그래프(hypnodensity graph)와 전처리된 제2 정보를 추론 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S714)에서 추론된 사용자의 수면에 관한 힙노덴시티 그래프(hypnodensity graph) 를 결합할 수 있다. 예를 들어, 각 힙노덴시티 그래프(hypnodensity graph)의 확률을 수식에 대입하여, 각 시각마다 가장 높은 신뢰도를 가지는 수면 단계를 사용자의 수면 단계 정보로 얻을 수 있다. 예를 들어, 각 힙노덴시티 그래프(hypnodensity graph)에서 시간에 따른 신뢰도가 기 설정된 신뢰도 임계치를 넘는 경우는 사용자의 수면 단계 정보로 채용하고, 시간에 따른 신뢰도가 기 설정된 신뢰도 임계치를 넘는 수면 단계 정보가 없는 경우 가중치를 통해 수면 단계 정보로 채용함으로써, 수면 상태 정보를 획득할 수 있다.According to an embodiment of the present invention, the step of acquiring sleep state information by combining multimodal data (S730) includes the step of inferring information about sleep by using the preprocessed first information as an input to a deep learning model (S704). Hypnodensity about the user's sleep inferred in the step (S714) of inferring information about sleep using the inferred hypnodensity graph about the user's sleep and the preprocessed second information as input to the inference model. Graphs (hypnodensity graphs) can be combined. For example, by substituting the probability of each hypnodensity graph into a formula, the sleep stage with the highest reliability at each time can be obtained as the user's sleep stage information. For example, in each hypnodensity graph, if the reliability over time exceeds the preset reliability threshold, it is adopted as the user's sleep stage information, and the sleep stage information whose reliability over time exceeds the preset reliability threshold is adopted as the user's sleep stage information. If there is no, sleep state information can be obtained by adopting it as sleep stage information through weighting.
본 발명의 일 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S730)은 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S704)에서 추론된 사용자의 수면에 관한 힙노그램(hypnogram)과 전처리된 제2 정보를 추론 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S714)에서 추론된 사용자의 수면에 관한 힙노덴시티 그래프(hypnodensity graph)를 결합할 수 있다. 예를 들어, 힙노그램에 표시되는 수면 단계와 힙노덴시티 그래프의 신뢰도가 기 설정된 임계치를 넘는 경우에는, 사용자의 수면 단계로 채용함으로써, 사용자의 수면 상태 정보를 획득할 수 있다. 예를 들어, 힙노그램에 표시되는 수면 단계와 힙노덴시티 그래프의 신뢰도가 기 설정된 임계치를 넘지 않는 경우 가중치를 부과하여 계산하여 사용자의 수면 단계로 채용함으로써, 신뢰도 높은 사용자의 수면 상태 정보를 획득할 수 있다. According to an embodiment of the present invention, the step of acquiring sleep state information by combining multimodal data (S730) includes the step of inferring information about sleep by using the preprocessed first information as an input to a deep learning model (S704). A hypnodensity graph about the user's sleep inferred in the step (S714) of inferring information about sleep using the inferred hypnogram about the user's sleep and the preprocessed second information as input to the inference model. graph) can be combined. For example, if the reliability of the sleep stage displayed in the hypnogram and the hypnodensity graph exceeds a preset threshold, information on the user's sleep state can be obtained by adopting it as the user's sleep stage. For example, if the reliability of the sleep stage displayed in the hypnogram and the hypnodensity graph does not exceed a preset threshold, a weighted calculation is made and adopted as the user's sleep stage to obtain highly reliable user's sleep state information. You can.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면을 단계로서 표현하는 수면 단계 정보를 포함할 수 있다. 수면의 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면 단계의 설정은 일반적인 수면 단계로 정의될 수도 있지만, 설계자에 따라 다양한 수면 단계로 임의 설정될 수도 있다.According to an embodiment of the present invention, the user's sleep state information may include sleep stage information expressing the user's sleep as a stage. Stages of sleep can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be further divided into multiple stages (e.g., stages 2 of light and deep, and stages 4 of N1 to N4). You can. The sleep stage setting may be defined as a general sleep stage, but may also be arbitrarily set to various sleep stages depending on the designer.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면을 단계로서 표시하는 수면 단계 정보를 포함할 수 있다. 수면의 단계를 표시하는 방법은 수면 단계를 그래프에 표시하는 힙노그램(Hypnogram) 및 각 수면 단계의 확률을 그래프에 표시하는 힙노덴시티 그래프(Hypnodensity graph)를 포함할 수 있으나, 표시하는 방법은 이에 한정되지 않는다.According to an embodiment of the present invention, the user's sleep state information may include sleep stage information indicating the user's sleep as a stage. Methods for displaying sleep stages may include a Hypnogram, which displays sleep stages on a graph, and a Hypnodensity graph, which displays the probability of each sleep stage on a graph, but the display method is as follows. It is not limited.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면에서 발생하는 수면과 관련한 질환이나 수면 중 행동을 표현하는 수면 이벤트 정보를 포함할 수 있다. 구체적으로, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 수면 질환에 의한 수면 무호흡증 및 저호흡증 정보를 포함할 수 있다. 또한, 구체적으로는, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 코골이 여부, 코골이 지속 시간, 잠꼬대 여부, 잠꼬대 지속 시간, 뒤척임 여부 및 뒤척임 지속 시간을 포함할 수 있다. 서술된 사용자의 수면 이벤트 정보는 사용자의 수면 중에 발생하는 사건을 표현하기 위한 예시에 불과하며, 이에 한정되지 않는다.According to an embodiment of the present invention, the user's sleep state information may include sleep event information expressing sleep-related diseases that occur during the user's sleep or behavior during sleep. Specifically, sleep event information that occurs during the user's sleep may include sleep apnea and hypopnea information due to the user's sleep disease. Additionally, specifically, sleep event information that occurs during the user's sleep may include whether the user snores, the duration of snoring, whether the user talks in his sleep, the duration of the sleep talking, whether he tosses and turns, and the duration of the tossing and turning. The user's sleep event information described is only an example for expressing events that occur during the user's sleep, and is not limited thereto.
멀티모달로 한 수면 상태 정보 분석 방법의 일 실시예 (CONCEPT-C)One embodiment of a multimodal sleep state information analysis method (CONCEPT-C)
도 48은 본 발명의 일실시예에 따른 수면 음향 정보를 추론한 것을 수면 환경 정보와 멀티모달 데이터로 결합하는 단계를 포함하는 수면 상태 정보를 분석하기 위한 방법을 설명하기 위한 흐름도이다.Figure 48 is a flowchart illustrating a method for analyzing sleep state information including the step of combining inferred sleep sound information with sleep environment information and multimodal data according to an embodiment of the present invention.
본 발명의 목적을 달성하기 위하여 일 실시예에 따르면, 수면 음향 정보와 수면 환경 정보를 멀티모달로 한 수면 상태 정보를 분석하기 위한 방법은 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득하는 제1 정보 획득 단계(S800), 제1 정보의 전처리를 수행하는 단계(S802), 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S804), 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S810), 멀티모달로 데이터를 결합하는 결합단계(3220) 및 멀티모달 데이터의 결합으로 수면 상태 정보를 획득하는 단계(S830)를 포함할 수 있다.In order to achieve the purpose of the present invention, according to one embodiment, a method for analyzing sleep state information using sleep sound information and sleep environment information in a multimodal manner includes a first method of acquiring sound information in the time domain related to the user's sleep. Information acquisition step (S800), performing preprocessing of the first information (S802), inferring information about sleep by using the first information as input to the deep learning model (S804), user sleep related to the user's sleep It may include a second information acquisition step of acquiring environmental information (S810), a combining step of combining multi-modal data (3220), and a step of acquiring sleep state information by combining multi-modal data (S830).
본 발명의 실시예에 따라서, 제1 정보 획득 단계(S800)은 사용자 단말(300)에서 사용자의 수면과 관련한 시간 도메인 상의 음향 정보를 획득할 수 있다. 사용자의 수면과 관련한 시간 도메인 상의 음향 정보는 사용자 단말(300)의 음원 탐지부에서 얻어지는 음원 정보를 포함할 수 있다.According to an embodiment of the present invention, the first information acquisition step (S800) may acquire sound information in the time domain related to the user's sleep from the user terminal 300. Sound information in the time domain related to the user's sleep may include sound source information obtained from the sound source detection unit of the user terminal 300.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S802)에서는 시간 도메인 상의 시간 음향 정보를 주파수 도메인 상의 정보로 변환할 수 있다. 또한, 주파수 도메인 상의 정보는 스펙트로그램으로 표현될 수 있으며, 멜 스케일이 적용된 멜 스펙트로그램일 수 있다. 스펙트로그램으로 변환함으로써, 사용자의 프라이버시 보호 및 데이터 가공량을 줄일 수 있다.According to an embodiment of the present invention, in step S802 of performing data preprocessing of the first information, temporal sound information on the time domain may be converted into information on the frequency domain. Additionally, information in the frequency domain may be expressed as a spectrogram, which may be a Mel spectrogram to which the Mel scale is applied. By converting to a spectrogram, user privacy can be protected and the amount of data processing can be reduced.
본 발명의 실시예에 따라서, 제1 정보의 데이터 전처리를 수행하는 단계(S802)에서는 수면 음향 정보를 딥러닝 모델에 입력시키기 위한 충분한 양의 유의미한 데이터를 얻기 위한 데이터 어그멘테이션 과정을 포함할 수 있다. 데이터 어그멘테이션 기법에는 피치 시프팅(Pitch Shifting) 어그멘테이션, TUT(Tile UnTile) 어그멘테이션 어그멘테이션 및 노이즈 부가 어그멘테이션을 포함할 수 있다. 전술한 어그멘테이션 기법은 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.According to an embodiment of the present invention, the step of performing data preprocessing of the first information (S802) may include a data augmentation process to obtain a sufficient amount of meaningful data to input sleep sound information into a deep learning model. there is. Data augmentation techniques may include pitch shifting (Pitch Shifting) augmentation, TUT (Tile UnTile) augmentation, and noise-added augmentation. The above-described augmentation technique is merely an example, and the present invention is not limited thereto.
본 발명의 실시예에 따라 멜 스케일에서 부가하는 방법에 의하면 하드웨어가 데이터를 처리하는 데에 소요되는 시간이 단축될 수 있다.According to an embodiment of the present invention, the time required for hardware to process data can be shortened by the method added by Mel Scale.
한편, 전술한 노이즈의 종류에 관한 구체적인 기재는 본 발명의 노이즈 부가 어그멘테이션을 설명하기 위한 단순한 예시일 뿐이며, 본 발명은 이에 제한되는 것은 아니다.Meanwhile, the detailed description of the types of noise described above is merely an example for explaining the noise addition augmentation of the present invention, and the present invention is not limited thereto.
본 발명의 실시예에 따라서, 사용자의 수면과 관련한 사용자 수면 환경 정보를 획득하는 제2 정보 획득 단계(S810)는 사용자 단말(300), 외부서버 또는 네트워크를 통해서 사용자 수면 환경 정보를 획득할 수 있다. 사용자의 수면 환경 정보는 사용자가 위치한 공간에서 획득되는 수면과 관련한 정보를 의미할 수 있다. 수면 환경 정보는, 비접촉식 방법으로 사용자가 위치한 공간에서 획득되는 센싱 정보일 수 있다. 수면 환경 정보는, 레이더를 통해 측정되는 호흡 운동 및 신체 움직임 정보일 수 있다. 수면 환경 정보는, 스마트 워치, 스마트 가전 등에서 획득되는 사용자의 수면에 관련한 정보일 수 있다. 수면 환경 정보는, 광혈류 측정 신호(PhotoPlethysmoGraphy, PPG)를 통해 얻어지는 심박 변이도(Heart Rate Variability, HRV), 심박수(Heart Rate)일 수 있으며, 광혈류 측정 신호는 스마트 워치 및 스마트링에 의해서 측정될 수 있다. 수면 환경 정보는, 뇌파 신호(Electro Encephalo Graphy, EEG)일 수 있다. 수면 환경 정보는 수면 중 측정되는 Actigraphy 신호 일 수 있다. 수면 환경 정보는, 사용자의 정보를 표상하는 라벨링 데이터일 수 있다. 구체적으로, 라벨링 데이터는 사용자의 나이, 질병여부, 신체조건, 인종, 키, 몸무게 및 체질량 지수를 포함할 수 있고, 이는 사용자의 정보를 표상하는 라벨링 데이터의 예시일 뿐 이에 한정되지 않는다. 상술한 수면 환경 정보는 사용자의 수면에 영향을 미칠 수 있는 정보의 예시에 불과하며 이에 한정되지 않는다.According to an embodiment of the present invention, the second information acquisition step (S810) of acquiring user sleep environment information related to the user's sleep may acquire user sleep environment information through the user terminal 300, an external server, or a network. . The user's sleep environment information may refer to information related to sleep obtained in the space where the user is located. Sleep environment information may be sensing information obtained in a space where the user is located using a non-contact method. Sleep environment information may be breathing movement and body movement information measured through radar. Sleep environment information may be information related to the user's sleep obtained from a smart watch, smart home appliance, etc. Sleep environment information may be Heart Rate Variability (HRV) and heart rate obtained through PhotoPlethysmoGraphy (PPG), and photoplethysmography signals can be measured by smart watches and smart rings. You can. Sleep environment information may be an electroencephalography (EEG) signal. Sleep environment information may be an Actigraphy signal measured during sleep. Sleep environment information may be labeling data representing user information. Specifically, the labeling data may include the user's age, disease status, physical condition, race, height, weight, and body mass index, and this is only an example of labeling data representing the user's information and is not limited thereto. The above-described sleep environment information is only an example of information that may affect the user's sleep, and is not limited thereto.
본 발명의 실시예에 따라서, 전처리 된 제1 정보를 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론하는 단계(S804)에서는 기 학습된 딥러닝 모델의 입력으로 하여 수면에 관한 정보를 추론할 수 있다.According to an embodiment of the present invention, in the step (S804) of inferring information about sleep by using the preprocessed first information as an input to the deep learning model, information about sleep is inferred by using the pre-processed first information as an input to the deep learning model. You can.
본 발명의 실시예에 따라서, 수면 음향에 관한 제1정보를 입력으로 하여 수면에 관한 정보를 추론하는 딥러닝 수면 분석 모델은 피처 추출 모델과 피처 분류 모델을 포함할 수 있다.According to an embodiment of the present invention, a deep learning sleep analysis model that infers information about sleep by using first information about sleep sounds as input may include a feature extraction model and a feature classification model.
본 발명의 실시예에 따른 딥러닝 수면 분석 모델 중 피처 추출 모델은, 하나의 스펙트로그램이 입력되어, 하나의 스펙트로그램에 해당하는 수면 상태 정보를 예측하도록 학습되는 One-to-one 프록시 태스크(Proxy task)에 의해서 사전 학습(Pre training)될 수 있다. 본 발명의 실시예에 따른 피처 추출 모델에 CNN 딥러닝 모델을 채용하는 경우에, FC(Fully Connected Layer) 또는 FCN(Fully Connected Neural Network)의 구조를 채택하여 학습을 수행할 수도 있다. 본 발명의 실시예에 따른 피처 추출 모델에 MobileViTV2 딥러닝 모델을 채용하는 경우에는, 중간층(Intermediate Layer)의 구조를 채택하여 학습을 수행할 수도 있다.Among the deep learning sleep analysis models according to an embodiment of the present invention, the feature extraction model is a one-to-one proxy task (Proxy) in which one spectrogram is input and learned to predict sleep state information corresponding to one spectrogram. It can be pre-trained by task. When adopting a CNN deep learning model as a feature extraction model according to an embodiment of the present invention, learning may be performed by adopting the structure of FC (Fully Connected Layer) or FCN (Fully Connected Neural Network). When using the MobileViTV2 deep learning model as a feature extraction model according to an embodiment of the present invention, learning may be performed by adopting the structure of the intermediate layer.
본 발명의 실시예에 따른 딥러닝 수면 분석 모델 중 피처 분류 모델은, 복수의 연속된 스펙트로그램이 입력되어, 각각의 스펙트로그램의 수면 상태 정보를 예측하고, 복수의 연속된 스펙트로그램의 시퀀스를 분석하여 시계열적인 수면 상태 정보를 예측 또는 분류하도록 학습될 수 있다. Among the deep learning sleep analysis models according to an embodiment of the present invention, the feature classification model inputs a plurality of consecutive spectrograms, predicts sleep state information of each spectrogram, and analyzes the sequence of the plurality of consecutive spectrograms. Thus, it can be learned to predict or classify time-series sleep state information.
본 발명의 실시예에 따라서, 데이터 전처리 과정을 거친 제1 정보와 제2 정보를 멀티모달 데이터로 결합하는 단계(S820)은 딥 러닝 모델에 멀티모달 데이터를 입력하기 위하여 데이터를 결합한다.According to an embodiment of the present invention, the step of combining the first information and the second information that have undergone a data preprocessing process into multimodal data (S820) combines the data to input the multimodal data to the deep learning model.
본 발명의 일 실시예에 따라서, 멀티모달 데이터로 결합하는 방법은 전처리된 제1 정보를 통해 추론된 수면 정보와 전처리된 제2 정보를 통해 추론된 정보를 동일한 형식의 데이터로 결합하는 것일 수 있다. According to an embodiment of the present invention, a method of combining multimodal data may be to combine sleep information inferred through preprocessed first information and information inferred through preprocessed second information into data of the same format. .
본 발명의 실시예에 따라서, 멀티모달 데이터 결합으로 수면 상태 정보를 획득하는 단계(S830)은 멀티모달로 얻은 데이터를 결합하여 이를 통해서 사용자의 수면 상태 정보를 결정할 수 있다. 수면 상태 정보는 사용자의 수면의 상태에 관한 정보일 수 있다.According to an embodiment of the present invention, the step of acquiring sleep state information by combining multi-modal data (S830) can determine the user's sleep state information by combining data obtained through multi-modality. Sleep state information may be information about the user's sleep state.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면을 단계로서 표현하는 수면 단계 정보를 포함할 수 있다. 수면의 단계는 NREM(non-REM) 수면, REM(Rapid eye movement) 수면으로 구분될 수 있고, NREM 수면은 다시 복수(예: Light, Deep의 2단계, N1 내지 N4의 4단계)로 구분될 수 있다. 수면 단계의 설정은 일반적인 수면 단계로 정의될 수도 있지만, 설계자에 따라 다양한 수면 단계로 임의 설정될 수도 있다.According to an embodiment of the present invention, the user's sleep state information may include sleep stage information expressing the user's sleep as a stage. Stages of sleep can be divided into NREM (non-REM) sleep and REM (rapid eye movement) sleep, and NREM sleep can be further divided into multiple stages (e.g., stages 2 of light and deep, and stages 4 of N1 to N4). You can. The sleep stage setting may be defined as a general sleep stage, but may also be arbitrarily set to various sleep stages depending on the designer.
본 발명의 일 실시예에 따라서, 사용자의 수면 상태 정보는 사용자의 수면에서 발생하는 수면과 관련한 질환이나 수면 중 행동을 표현하는 수면 이벤트 정보를 포함할 수 있다. 구체적으로, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 수면 질환에 의한 수면 무호흡증 및 저호흡증 정보를 포함할 수 있다. 또한, 구체적으로는, 사용자의 수면 중에서 발생하는 수면 이벤트 정보는 사용자의 코골이 여부, 코골이 지속 시간, 잠꼬대 여부, 잠꼬대 지속 시간, 뒤척임 여부 및 뒤척임 지속 시간을 포함할 수 있다. 서술된 사용자의 수면 이벤트 정보는 사용자의 수면 중에 발생하는 사건을 표현하기 위한 예시에 불과하며, 이에 한정되지 않는다.According to an embodiment of the present invention, the user's sleep state information may include sleep event information expressing sleep-related diseases that occur during the user's sleep or behavior during sleep. Specifically, sleep event information that occurs during the user's sleep may include sleep apnea and hypopnea information due to the user's sleep disease. Additionally, specifically, sleep event information that occurs during the user's sleep may include whether the user snores, the duration of snoring, whether the user talks in his sleep, the duration of the sleep talking, whether he tosses and turns, and the duration of the tossing and turning. The user's sleep event information described is only an example for expressing events that occur during the user's sleep, and is not limited thereto.
본 발명의 실시예에 따른 실시간 수면 분석Real-time sleep analysis according to an embodiment of the present invention
본 발명의 실시예에 따른, 음향 정보를 기반으로 한 수면 상태 정보의 분석으로는 수면 이벤트(예컨대, 무호흡, 저호흡, 코골이, 잠꼬대 등)에 대한 탐지 단계가 포함될 수 있다. 그러나, 수면 음향 패턴의 특성은 시간의 흐름에 걸쳐 반영되는 것이기 때문에, 특정 시점의 짧은 음향 데이터만으로는 파악하기 어려울 수 있다. 따라서, 음향 정보를 모델링 하기 위해서는 음향 정보의 시계열 특성에 기초하여 분석이 수행되어야 한다.According to an embodiment of the present invention, analysis of sleep state information based on acoustic information may include a detection step for sleep events (eg, apnea, hypopnea, snoring, sleep talking, etc.). However, because the characteristics of sleep acoustic patterns are reflected over time, it may be difficult to determine them using only short acoustic data at a specific point in time. Therefore, in order to model acoustic information, analysis must be performed based on the time series characteristics of the acoustic information.
또한, 수면 중 발생하는 수면 이벤트(예컨대, 무호흡, 저호흡, 코골이, 잠꼬대 등)은 수면 이벤트와 관련된 다양한 특징들을 가지고 있다. 예를 들어, 무호흡 이벤트 동안에는 소리가 없지만, 무호흡 이벤트가 끝나면 공기가 다시 통과하면서 큰 소리가 발생할 수 있고, 무호흡 이벤트의 특징을 시계열적으로 학습하여 수면 이벤트를 탐지할 수 있다.Additionally, sleep events that occur during sleep (eg, apnea, hypopnea, snoring, sleep talking, etc.) have various characteristics related to sleep events. For example, there is no sound during an apnea event, but when the apnea event ends, a loud sound may be generated as air passes again, and sleep events can be detected by learning the characteristics of the apnea event in time series.
실시간 수면 이벤트 탐지를 위한 딥 뉴럴 네트워크의 차이점Differences between deep neural networks for real-time sleep event detection
본 발명의 실시예에 따른, 수면 중 발생하는 수면 이벤트를 탐지하기 위해서, 상술한 수면 단계를 분석하기 위한 딥 뉴럴 네트워크 구조를 변경하여 사용할 수 있다. 구체적으로, 수면 단계 분석은 수면 음향에 대한 시계열적인 학습이 필요하지만, 수면 이벤트 탐지는 평균적으로 10초에서 60초사이에 발생하므로, 30초를 단위로 하는 1 에폭(epoch) 또는 2 에폭(epoch)을 정확하게 탐지하는 것으로 충분하다. 따라서, 본 발명의 일 실시예에 따른 수면 단계를 분석하기 위한 딥 뉴럴 네트워크 구조는 수면 단계 분석을 위한 딥 뉴럴 네트워크 구조의 입력량과 출력량을 감소시킬 수 있다. 예를 들어, 수면 단계를 분석하기 위한 딥 뉴럴 네트워크 구조는 40개의 멜 스펙트로그램을 처리하여 20 에폭의 수면 단계를 출력한다면, 수면 이벤트를 탐지하기 위한 딥 뉴럴 네트워크 구조는 14개의 멜 스펙트로그램을 처리하여 10 에폭의 수면 이벤트 레이블을 출력할 수 있다. 여기에서, 수면 이벤트 레이블은 이벤트 없음, 무호흡, 저호흡, 코골이 있음, 뒤척임 등을 포함할 수 있으나, 여기에 한정되지 않는다.In order to detect sleep events that occur during sleep according to an embodiment of the present invention, the deep neural network structure for analyzing the above-described sleep stages can be modified and used. Specifically, sleep stage analysis requires time-series learning of sleep sounds, but sleep event detection occurs on average between 10 and 60 seconds, so 1 epoch or 2 epochs of 30 seconds are used. ) is sufficient to accurately detect. Therefore, the deep neural network structure for analyzing sleep stages according to an embodiment of the present invention can reduce the amount of input and output of the deep neural network structure for analyzing sleep stages. For example, if the deep neural network structure for analyzing sleep stages processes 40 Mel spectrograms and outputs sleep stages of 20 epochs, the deep neural network structure for detecting sleep events processes 14 Mel spectrograms. Thus, the sleep event label of 10 epochs can be output. Here, sleep event labels may include, but are not limited to, no event, apnea, hypopnea, snoring, tossing and turning, etc.
또한, 본 발명의 실시예에 따른, 수면 중 발생하는 수면 이벤트를 탐지하기 위한 딥 뉴럴 네트워크 구조는 피처 추출 모델과 피처 분류 모델을 포함할 수 있다. 구체적으로, 피처 추출 모델은 각 멜 스펙트로그램에서 발견되는 수면 이벤트의 특징을 추출하고, 피처 분류 모델은 복수의 에폭을 감지하여 수면 이벤트를 포함하는 에폭을 찾아 이웃하는 특징을 분석하여 시계열적으로 수면 이벤트의 유형을 예측하고 분류할 수 있다.Additionally, a deep neural network structure for detecting sleep events that occur during sleep according to an embodiment of the present invention may include a feature extraction model and a feature classification model. Specifically, the feature extraction model extracts the features of sleep events found in each mel spectrogram, and the feature classification model detects multiple epochs, finds epochs containing sleep events, and analyzes neighboring features to identify sleep events in time series. Types of events can be predicted and classified.
실시간 수면 이벤트 탐지를 위한 클래스 가중치(Class Weights)Class Weights for real-time sleep event detection
본 발명의 일 실시예에 따른, 수면 중 발생하는 수면 이벤트를 탐지하기 위한 방법은 각 수면 이벤트의 클래스 불균형 문제를 해결하기 위해서 클래스 가중치(Class weights)를 부여할 수 있다. 구체적으로, 수면 중 발생하는 수면 이벤트 중 "이벤트 없음"은 전체 수면 길이에 있어서 지배적인 영향을 미칠 수 있어서, 수면 이벤트 학습 효율 저하를 발생시킬 수 있다. 따라서, "이벤트 없음" 보다 높은 가중치를 다른 수면 이벤트에 부여하여, 학습 효율 및 정확성을 향상시킬 수 있다. 예를 들어, 수면 이벤트 클래스가 "이벤트 없음", "무호흡", "저호흡" 3가지로 분류되는 경우, "이벤트 없음"이 학습에 미치는 영향을 감소시키기 위해서, "이벤트 없음"에는 1.0, "무호흡"에는 1.3, "저호흡"에는 2.1의 가중치를 부여할 수 있다.According to an embodiment of the present invention, a method for detecting sleep events that occur during sleep may assign class weights to solve the class imbalance problem of each sleep event. Specifically, among sleep events that occur during sleep, “no event” may have a dominant effect on the overall sleep length, resulting in a decrease in sleep event learning efficiency. Therefore, by assigning a higher weight than “no event” to other sleep events, learning efficiency and accuracy can be improved. For example, if the sleep event class is classified into three categories: "No event", "Apnea", and "Hypopnea", in order to reduce the impact of "No event" on learning, "No event" has 1.0, " A weight of 1.3 can be assigned to “apnea” and a weight of 2.1 to “hypopnea.”
실시간 수면 이벤트 탐지를 위한 컨시스턴시 트레이닝Consistency training for real-time sleep event detection
그리고, 도 45는 본 발명의 일실시예에 따른 컨시스턴시 트레이닝(Consistency Training)을 설명하기 위한 도면이다. 본 발명의 실시예에 따른, 수면 중 발생하는 수면 이벤트를 탐지하는 단계는 가정 환경 및 소음 환경에서의 수면 중 발생하는 수면 이벤트를 탐지하기 위해서, 상술한 바와 같이 도 45에 도시된 바와 같이 컨시스턴시 트레이닝(Consistency Training)을 활용할 수 있다. 컨시스턴시 트레이닝(Consistency Training)은 반지도학습(Semi-Supervised learning)모델의 하나의 종류로서, 본 발명의 실시예에 따른 Consistency Training은 하나의 데이터에 대하여 노이즈를 의도적으로 부가한 것과, 노이즈를 의도적으로 부가하지 않은 데이터를 가지고 학습을 수행하는 방법일 수 있다.And, Figure 45 is a diagram for explaining consistency training according to an embodiment of the present invention. According to an embodiment of the present invention, the step of detecting a sleep event that occurs during sleep is to detect a sleep event that occurs during sleep in a home environment and a noise environment, and consistency training is performed as shown in Figure 45 as described above. (Consistency Training) can be used. Consistency Training is a type of semi-supervised learning model. Consistency Training according to an embodiment of the present invention involves intentionally adding noise to one data, and intentionally adding noise to one data. This may be a method of performing learning with data that has not been added.
또한, 본 발명의 실시예에 따른 Consistency Training은 타겟 환경의 노이즈를 이용하여 가상의 수면 환경의 데이터를 생성하여 학습을 수행하는 방법일 수 있다.Additionally, Consistency Training according to an embodiment of the present invention may be a method of performing learning by generating data of a virtual sleep environment using noise of the target environment.
본 발명의 실시예에 따라 의도적으로 부가되는 노이즈는 타겟 환경의 노이즈일 수 있는데, 여기서 타겟 환경의 노이즈는 예컨대 수면다원검사 이외의 환경에서 획득된 노이즈일 수 있다. 구체적으로, 수면 이벤트를 탐지하는 데 있어서, 실제 사용자의 환경과 유사하게 하기 위해서 SNR과 소음의 종류를 조절함을 통해서, 다양한 노이즈를 부가할 수 있다. 이를 통해서 다양한 실험실에서 얻어지는 노이즈의 종류와 실제 가정환경에서 발생하는 노이즈에 대해서 수집하고, 학습할 수 있다.Noise intentionally added according to an embodiment of the present invention may be noise of the target environment, where the noise of the target environment may be noise obtained in an environment other than polysomnography, for example. Specifically, when detecting a sleep event, various noises can be added by adjusting the SNR and type of noise to resemble the actual user's environment. Through this, you can collect and learn about the types of noise obtained in various laboratories and the noise that occurs in actual home environments.
본 발명의 실시예들에 따르면, 편의상, 노이즈를 의도적으로 부가한 데이터를 Corrupted data로 지칭한다. Corrupted data는 바람직하게는 의도적으로 타겟 환경의 노이즈를 부가한 데이터를 의미할 수 있다.According to embodiments of the present invention, for convenience, data to which noise is intentionally added is referred to as corrupted data. Corrupted data may preferably refer to data to which noise of the target environment has been intentionally added.
또한, 편의상, 노이즈를 의도적으로 부가하지 않은 데이터를 Clean data로 지칭하기로 한다. 여기서 Clean data에는 의도적으로 노이즈를 부가하지 않았을 뿐, 실질적으로 노이즈가 포함될 수도 있다.Additionally, for convenience, data to which no noise is intentionally added will be referred to as clean data. Here, no noise was intentionally added to the clean data, but noise may actually be included.
본 발명의 일실시예에 따른 Consistency Training에 이용되는 Clean data는, 특정 환경(바람직하게는, 수면다원검사 환경)에서 획득한 데이터일 수 있고, Corrupted data는 다른 환경 또는 타겟 환경(바람직하게는, 수면다원검사 이외의 환경)에서 획득한 데이터일 수 있다.Clean data used for Consistency Training according to an embodiment of the present invention may be data acquired in a specific environment (preferably, a polysomnography environment), and corrupted data may be data obtained in a different environment or target environment (preferably, This may be data obtained in an environment other than polysomnography.
본 발명의 일실시예에 따른 Corrupted data는 다른 환경 또는 타겟 환경(바람직하게는, 수면다원검사 이외의 환경)에서 획득한 노이즈를 Clean data에 의도적으로 부가한 데이터일 수 있다.Corrupted data according to an embodiment of the present invention may be data in which noise acquired in another environment or a target environment (preferably, an environment other than polysomnography) is intentionally added to clean data.
Consistency Training에서, 동일한 딥러닝 모델에 Clean data와 Corrupted data를 각각 입력한 경우에 각각의 출력이 서로 같아지도록 손실 함수 또는 일관성 손실(consistency loss)을 정의하여, 일관된 예측(consistent prediction)을 도모하도록 학습이 수행될 수 있다.In Consistency Training, when clean data and corrupted data are input to the same deep learning model, a loss function or consistency loss is defined so that each output is the same, learning to achieve consistent prediction. This can be done.
홈 노이즈 컨시스턴시 트레이닝Home Noise Consistency Training
본 발명의 일 실시예에 따른, 수면 중 발생하는 수면 이벤트(예컨대, 무호흡, 저호흡, 코골기, 잠꼬대 등) 탐지는 가정환경에서의 일관성 학습(Home Noise Consistency Training)을 포함할 수 있다. 가정환경에서의 일관성 학습은 모델이 집에서의 소음에도 강건하게 동작하도록 만둘 수 있다. 가정환경에서의 일관성 학습은 모델이 소음이 있든 없든 비슷한 예측을 출력하도록 일관성 학습을 진행하여 소음에 강건해질 수 있다.According to an embodiment of the present invention, detection of sleep events (eg, apnea, hypopnea, snoring, sleep talking, etc.) that occur during sleep may include home noise consistency training. Consistency learning in the home environment can make the model perform robustly even against noise at home. Consistency learning in a home environment can be made robust to noise by performing consistency learning so that the model outputs similar predictions regardless of whether there is noise or not.
본 발명의 일 실시예에 따른, 수면 중 발생하는 수면 이벤트 탐지는 가정환경에서의 일관성 학습을 진행할 수 있다. 가정환경에서의 일관성 학습은 일관성 손실함수를 포함할 수 있다. 예를 들어, 일관성 손실(Consistency loss)은 깨끗한 수면 호흡 소리의 예측과 그 소리의 손상된 버전의 예측 사이의 평균 제곱 오차(MSE)로 정의될 수 있다.According to an embodiment of the present invention, sleep event detection that occurs during sleep can proceed with consistency learning in the home environment. Consistency learning in the home environment may involve a consistency loss function. For example, consistency loss can be defined as the mean square error (MSE) between the prediction of a clean sleep breathing sound and the prediction of a corrupted version of that sound.
본 발명의 일 실시예에 따른, 가정환경에서의 일관성 학습은 손상된 소리를 생성하기 위해, 훈련 소음에서 무작위로 데이터를 샘플링하고, -20에서 5 사이의 무작위 SNR로 깨끗한 수면 호흡 소리에 노이즈를 부가할 수 있다.According to one embodiment of the present invention, consistency learning in a home environment randomly samples data from the training noise to generate corrupted sounds, and adds noise to clean sleep breathing sounds with a random SNR between -20 and 5. can do.
본 발명의 일 실시예에 따른, 가정환경에서의 일관성 학습은 입력 시퀀스의 길이가 14 epochs, 총 샘플링된 소음의 길이가 7분 이상이 되도록 학습될 수 있다. 이를 통해, 본 발명에 따른 수면 이벤트를 탐지는 본 발명에 따른 수면 단계 분석에 비해 짧은 시간 내의 정보를 탐지하는 것으로, 수면 이벤트 탐지의 정확도가 상승될 수 있다.According to an embodiment of the present invention, consistency learning in a home environment can be done so that the length of the input sequence is 14 epochs and the total length of sampled noise is 7 minutes or more. Through this, detecting a sleep event according to the present invention detects information within a shorter period of time compared to sleep stage analysis according to the present invention, and the accuracy of sleep event detection can be increased.
이벤트 탐지로부터 AHI 값 추정을 위한 회귀분석Regression analysis for AHI value estimation from event detection
도 49는 본 발명의 일 실시예에 따른, 수면 중 발생하는 수면 이벤트를 통해 수면 무호흡증 발생 지수인 AHI 분석하기 위해 활용하는 선형회귀분석 함수를 설명하기 위한 도면이다. Figure 49 is a diagram illustrating a linear regression analysis function used to analyze AHI, which is a sleep apnea occurrence index, through sleep events that occur during sleep, according to an embodiment of the present invention.
본 발명의 일 실시예에 따른, 단위시간(예컨대, 1시간)당 발생하는 호흡 사건의 횟수를 의미하는 AHI 지수는 수면 단계 분석과는 별도로 하나의 수면 단계 분석을 위한 에폭(epoch)의 길이와 독립적으로 분석을 할 수 있다. 구체적으로, 하나의 에폭(epoch)동안 2개 또는 3개의 짧은 수면 이벤트가 포함될 수 있고, 복수의 에폭(epoch)동안 1개의 긴 수면 이벤트가 포함될 수 있다.본 발명의 일실시예에 따른, 수면 중 발생하는 수면 이벤트가 발생한 에폭(epoch)의 개수로부터 실제 이벤트가 발생한 횟수를 추정하기 위하여 회귀분석 함수를 사용할 수 있다. 예컨대, RANSAC(Random Sample Consensus) 회귀 분석 모델을 사용할 수 있다. RANSAC 회귀 분석 모델은 근사 모델(Fitting Model)의 파라미터를 추정하는 방법 중 하나이며, 무작위로 샘플 데이터를 뽑은 다음 최대로 일치하는 모델을 선택하는 방법이다.According to an embodiment of the present invention, the AHI index, which means the number of respiratory events that occur per unit time (e.g., 1 hour), is, separately from sleep stage analysis, the length of an epoch for one sleep stage analysis and Analysis can be done independently. Specifically, two or three short sleep events may be included during one epoch, and one long sleep event may be included during multiple epochs. According to one embodiment of the present invention, sleep A regression analysis function can be used to estimate the number of actual events that occur from the number of epochs in which sleep events occur. For example, a RANSAC (Random Sample Consensus) regression analysis model can be used. The RANSAC regression model is one of the methods for estimating the parameters of an approximate model (fitting model). It is a method of randomly selecting sample data and then selecting the model that matches the maximum.
멀티 헤드를 통한 멀티 태스크 분석Multi-task analysis through multi-head
본 발명의 일 실시예에 따른, 수면 상태를 분석하기 위한 방법은 딥 러닝 모델을 통한 분석을 포함할 수 있다. 본 발명의 일 실시예에 따른 딥 러닝 모델은 멀티 태스크 학습 및/또는 멀티 태스크 분석을 할 수 있다. 구체적으로, 멀티 태스크 학습 및 멀티 태스크 분석은 상술한 본 발명에 따른 실시예들(예컨대, 멀티모달 학습, 실시간 수면 이벤트 분석, 수면 단계 분석 등)에 따른 태스크를 동시에 학습할 수 있다.A method for analyzing a sleep state according to an embodiment of the present invention may include analysis through a deep learning model. The deep learning model according to an embodiment of the present invention is capable of multi-task learning and/or multi-task analysis. Specifically, multi-task learning and multi-task analysis can simultaneously learn tasks according to the above-described embodiments of the present invention (eg, multi-modal learning, real-time sleep event analysis, sleep stage analysis, etc.).
본 발명의 일 실시예에 따른, 수면 상태를 분석하기 위한 딥 러닝 모델은 멀티 태스크 학습 및 멀티 태스크 분석을 할 수 있다. 구체적으로, 멀티 태스크 학습 및 분석을 위해서, 딥 러닝 모델은 복수의 헤드를 갖는 구조를 채택할 수 있다. 복수의 헤드 각각은 특정 작업 또는 태스크(예컨대, 멀티모달 학습, 실시간 수면 이벤트 분석, 수면 단계 분석 등)를 각각 담당할 수 있다. 예를 들어, 딥 러닝 모델은 제1 헤드, 제2 헤드 및 제3 헤드로 총 3개의 헤드를 갖는 구조를 가질 수 있고, 제1 헤드는 수면 단계 정보에 대한 추론 및/또는 분류를 수행하고, 제2 헤드는 수면 이벤트 중 수면 무호흡과 저호흡에 대한 탐지 및/또는 분류를 수행하고, 제3 헤드는 수면 이벤트 중 코골이에 대한 탐지 및 분류를 수행할 수 있다. 상술한 헤드의 특정 작업 또는 태스크에 대한 구체적인 기재는 본 발명을 설명하기 위한 예시에 불과할 뿐, 이에 한정되지 않는다. 본 발명에 따른 딥 러닝 모델은 복수의 헤드를 갖는 구조를 통해서 멀티 태스크 학습 및 분석을 진행할 수 있고, 데이터 효율성을 높임으로써 복수의 태스크 또는 특정 작업을 최적화할 수 있다.A deep learning model for analyzing sleep states according to an embodiment of the present invention is capable of multi-task learning and multi-task analysis. Specifically, for multi-task learning and analysis, a deep learning model may adopt a structure with multiple heads. Each of the plurality of heads may be responsible for a specific task or task (eg, multimodal learning, real-time sleep event analysis, sleep stage analysis, etc.). For example, a deep learning model may have a structure with a total of three heads: a first head, a second head, and a third head, and the first head performs inference and/or classification on sleep stage information, The second head may perform detection and/or classification of sleep apnea and hypopnea during the sleep event, and the third head may perform detection and classification of snoring during the sleep event. The detailed description of the specific work or task of the head described above is only an example for explaining the present invention, and is not limited thereto. The deep learning model according to the present invention can perform multi-task learning and analysis through a structure with multiple heads, and can optimize multiple tasks or specific tasks by increasing data efficiency.
본 발명에 따른 수면 분석 방법의 효과Effect of the sleep analysis method according to the present invention
수면다원검사(polysomnography, PSG) 결과와 비교하면, 수면 음향 정보를 입력으로 하는 수면 분석 모델 결과값이 매우 정확하다는 것을 확인할 수 있었다.Comparing with the results of polysomnography (PSG), it was confirmed that the sleep analysis model results using sleep acoustic information as input were very accurate.
기존 수면 분석 모델은 ECG(Electrocardiogram)이나, HRV(Heart Rate Variability)를 입력으로 하여 수면단계를 예측하였으나, 본 발명은 수면 음향 정보를 주파수 도메인으로 변환한 정보, 스펙트로그램, 또는 멜 스펙트로그램으로 변환하여 입력으로 하여 수면단계 분석 및 추론을 진행할 수 있다. 따라서, 수면 음향 정보를 주파수 도메인으로 변환한 정보, 스펙트로그램, 또는 멜 스펙트로그램으로 변환하여 입력으로 하기 때문에 기존 수면 분석 모델과 달리 수면 패턴의 특이성 분석을 통해서 실시간으로 수면 단계를 센싱(sensing) 또는 획득할 수 있다.Existing sleep analysis models predict sleep stages using ECG (Electrocardiogram) or HRV (Heart Rate Variability) as input, but the present invention converts sleep sound information into the frequency domain, spectrogram, or mel spectrogram. By using this as input, you can proceed with sleep stage analysis and inference. Therefore, unlike existing sleep analysis models, because sleep sound information is converted into frequency domain information, spectrogram, or mel spectrogram as input, the sleep stage can be sensed in real time through analysis of the specificity of the sleep pattern. It can be obtained.
도 3a 및 도 3b는 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다.3A and 3B are graphs verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results (PSG results) and analysis results (AI results) using the AI algorithm according to the present invention. This is a comparison drawing.
도 3a에 도시된 바와 같이, 본 발명에 따라 획득된 수면 분석 결과는 수면다원검사와 매우 일치할 뿐만 아니라, 오히려 수면단계(Wake, Light, Deep, REM)와 관련한 더욱 정밀하고도 유의미한 정보를 포함한다. 도 4의 가장 아래에 도시된 힙노그램(hypnogram)은 사용자 수면 음향 정보를 입력받아 수면단계를 예측할 때, 30초 단위로 4개의 클래스(Wake, Light, Deep, REM) 중 어디에 속하는지에 대한 확률을 나타낸다. 여기서 4개의 클래스는 각각 깨어 있는 상태, 가볍게 잠이 든 상태, 깊게 잠이 든 상태, REM 수면 상태를 의미한다.As shown in Figure 3a, the sleep analysis results obtained according to the present invention are not only consistent with polysomnography, but also contain more precise and meaningful information related to sleep stages (Wake, Light, Deep, REM). do. The hypnogram shown at the bottom of Figure 4 shows the probability of which of the four classes (Wake, Light, Deep, REM) it belongs to in 30 second increments when predicting the sleep stage by receiving the user's sleep sound information. indicates. Here, the four classes refer to the awake state, light sleep state, deep sleep state, and REM sleep state, respectively.
도 3c는 본 발명에 따른 수면 분석 방법의 성능을 검증한 그래프로, 수면 무호흡증(apnea), 호흡저하(hypopnea)와 관련하여 수면다원검사(polysomnography, PSG) 결과(PSG result)와 본 발명에 따른 AI 알고리즘을 이용한 분석 결과(AI result)를 비교한 도면이다. 도 3c의 가장 아래에 도시된 힙노그램(hypnogram)은 사용자 수면 음향 정보를 입력받아서 수면 질환을 예측할 때, 30초 단위로 2개의 질환(수면 무호흡증, 호흡저하) 중 어디에 속하는지에 대한 확률을 나타낸다. 본 발명에 따른 수면 분석을 이용하면, 도 3c에 도시된 바와 같이, 본 발명에 따라 획득된 수면 상태 정보는 수면다원검사와 매우 일치할 뿐만 아니라, 무호흡증과 호흡저하와 관련한 더욱 정밀한 분석 정보를 포함한다. Figure 3c is a graph verifying the performance of the sleep analysis method according to the present invention, showing polysomnography (PSG) results in relation to sleep apnea and hypoventilation and the results according to the present invention. This is a diagram comparing the analysis results (AI results) using AI algorithms. The hypnogram shown at the bottom of FIG. 3C indicates the probability of which of the two diseases (sleep apnea and hypoventilation) it belongs to in 30-second increments when predicting a sleep disease by receiving user sleep sound information. Using sleep analysis according to the present invention, as shown in Figure 3c, the sleep state information obtained according to the present invention not only closely matches polysomnography, but also contains more precise analysis information related to apnea and hypoventilation. do.
본 발명은 사용자의 수면 분석을 실시간으로 분석하면서 수면장애(수면무호흡, 수면과호흡, 수면저호흡)가 발생한 지점을 파악할 수 있다. 수면장애가 발생한 순간 사용자에게 자극(촉각적, 자극 청각적 자극, 후각적 자극 등)을 제공하면, 수면장애가 일시적으로 완화될 수 있다. 즉, 본 발명은 수면장애와 관련한 정확한 이벤트탐지를 바탕으로 사용자의 수면장애를 중단시키고, 수면장애의 빈도를 감소시킬 수 있다. 또한, 본 발명에 따르면 수면 분석을 멀티모달로 수행함으로써 매우 정확한 수면 분석이 가능하다는 효과도 있다.The present invention can analyze the user's sleep in real time and identify the point where sleep disorders (sleep apnea, sleep hyperventilation, sleep hypopnea) occur. If stimulation (tactile, auditory, olfactory, etc.) is provided to the user at the moment the sleep disorder occurs, the sleep disorder may be temporarily alleviated. In other words, the present invention can stop the user's sleep disorder and reduce the frequency of sleep disorder based on accurate event detection related to the sleep disorder. In addition, according to the present invention, there is an effect that very accurate sleep analysis is possible by performing sleep analysis in a multimodal manner.
사용자의 수면에 관한 하나 이상의 데이터 배열 생성 단계Creating one or more arrays of data about the user's sleep
수면에 관한 하나 이상의 사용자의 데이터 배열Array of one or more users' data about sleep
본 발명에 있어서, 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 정보에 기초하여 생성될 수 있다. 하나 이상의 데이터 배열은 스칼라 데이터, 벡터 데이터, 행렬 데이터, 텐서 데이터 일 수 있다. 스칼라 데이터는 단일 숫자를 의미하며, 차원이 없는 데이터 일 수 있다. 벡터 데이터는 숫자의 일차원 배열로 표현될 수 있고, 다양한 차원을 표시할 수 있다. 행렬 데이터는 숫자의 이차원 배열로, 행과 열로 구성될 수 있다. 텐서 데이터는 3차원 이상의 배열을 의미하고 깊이, 행 및 열을 포함하도록 구성될 수 있다.In the present invention, one or more data arrays regarding the user's sleep may be generated based on the user's sleep information. One or more data arrays may be scalar data, vector data, matrix data, or tensor data. Scalar data refers to a single number and can be dimensionless data. Vector data can be expressed as a one-dimensional array of numbers and can represent various dimensions. Matrix data is a two-dimensional array of numbers and can be composed of rows and columns. Tensor data refers to an array of three or more dimensions and can be organized to include depth, rows, and columns.
본 발명에 있어서, 사용자의 수면에 관한 하나 이상의 데이터 배열은 콘텐츠를 생성하는 생성형 인공지능에 입력하기 위해서 생성될 수 있다. 사용자의 수면에 관한 하나 이상의 데이터 배열은 습득된 사용자의 수면 정보에 기초하여 생성된다. 사용자의 수면에 관한 하나 이상의 데이터 배열은 습득된 사용자의 수면 정보에 기초하여 룩업테이블에서 생성할 수 있고, 습득된 사용자의 수면 정보를 기 학습된 딥러닝 모델의 입력으로 하여 생성될 수 있고, 습득된 사용자의 수면 정보를 대규모 언어 모델의 입력으로 하여 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성할 수 있다.In the present invention, one or more data arrays regarding the user's sleep can be generated for input to generative artificial intelligence that generates content. One or more data arrays regarding the user's sleep are generated based on the acquired user's sleep information. One or more data arrays regarding the user's sleep can be created in a lookup table based on the acquired user's sleep information, and can be created by using the acquired user's sleep information as input to a previously learned deep learning model, and One or more data arrays about the user's sleep can be generated by using the user's sleep information as input to a large-scale language model.
또한 본 발명의 일실시예에 따라서, 수면에 관한 사용자의 데이터배열은 사용자의 수면에 연관된 선호 정보, 사용자의 수면 지표 정보 및 사용자의 수면 점수를 포함할 수 있다.Additionally, according to an embodiment of the present invention, the user's data arrangement regarding sleep may include preference information related to the user's sleep, the user's sleep indicator information, and the user's sleep score.
사용자의 수면에 연관된 선호 정보Preference information related to your sleep
본 발명의 수면에 관한 사용자의 피처는 사용자의 수면에 연관된 선호 정보에 기초하여 생성될 수 있다.The user's features regarding sleep of the present invention may be generated based on preference information associated with the user's sleep.
본 발명의 일 실시예에 따라서, 수면에 연관된 선호 정보는 사용자의 수면의 질 또는 수면 후 감정에 영향을 미치는 요소들의 정보 중 적어도 하나 이상을 포함할 수 있다. 구체적으로, 사용자의 수면 후 감정에 영향을 미치는 요소들의 정보는 수면 환경의 온도, 습도, 소리, 빛, 머리와 몸의 위치, 향기, 공기의 질, 건강기능식, 사용한 화장품 및 호르몬 수치 등을 포함할 수 있다. 예를 들어, 수면 환경의 온도는 수면 환경의 온도에 따라서 수면 후 사용자가 편안함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다. 예를 들어, 습도는 수면 환경의 습도에 따라서 수면 후 사용자가 쾌적함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다. 예를 들어, 소리는 수면 환경에서의 소음의 정도 및 수면 환경에서의 배경음에 따라서 수면 후 사용자가 편안함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다. 예를 들어, 빛은 수면 환경의 광량, 광온도, 빛의 패턴에 따라서 사용자가 수면 후 편안함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다. 예를 들어, 빛은 수면 환경의 광량, 광온도, 빛의 패턴에 따라서 사용자가 수면 후 개운함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다. 예를 들어, 머리와 몸의 위치는 사용자의 수면 중 머리와 몸의 무게중심이 이루는 각도가 10도, 15도, 20도 및 30도 일 때 수면에 대해서 사용자가 느끼는 편안함의 변화율을 수치로 표현할 것일 수 있고, 상술된 각도는 단순한 예시일 뿐 이에 한정되지 않는다. 예를 들어, 향기는 수면 환경의 향기에 따라서 수면 후 사용자가 편안함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다. 예를 들어, 공기의 질은 수면 환경에서 공기의 습도, 오염의 정도, 미세먼지의 농도 등에 의해서 수면 후 사용자가 편안함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다. 예를 들어, 건강기능식 제품은 수면 전 사용자가 건강기능식을 복용한 후 입면한 경우 수면 후 사용자가 쾌적함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다. 예를 들어, 화장품은 수면 전 사용자가 화장품을 사용한 후 입면한 경우 수면 후 사용자가 편안함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다. 예를 들어, 호르몬은 수면 전후 사용자의 체내 특정 호르몬 수치(예컨대, 멜라토닌, 코르티솔, 테스토스테론 등)에 따른 수면 후 사용자가 개운함을 느끼는 정도의 변화율을 수치로 표현한 것일 수 있다.According to an embodiment of the present invention, preference information related to sleep may include at least one of information on factors that affect the user's sleep quality or emotions after sleep. Specifically, information on factors that affect the user's emotions after sleep includes temperature, humidity, sound, light, head and body position, scent, air quality, health functional foods, cosmetics used, and hormone levels of the sleeping environment. It can be included. For example, the temperature of the sleeping environment may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping depending on the temperature of the sleeping environment. For example, humidity may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping depending on the humidity of the sleeping environment. For example, the sound may be a numerical expression of the rate of change in the level of comfort the user feels after sleeping, depending on the level of noise in the sleeping environment and the background sounds in the sleeping environment. For example, light may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping, depending on the light amount, light temperature, and light pattern of the sleeping environment. For example, light may be a numerical expression of the rate of change in the degree to which the user feels refreshed after sleeping, depending on the amount of light, light temperature, and light pattern of the sleeping environment. For example, the position of the head and body is a numerical expression of the change rate of comfort felt by the user while sleeping when the angle between the center of gravity of the head and body is 10 degrees, 15 degrees, 20 degrees, and 30 degrees. It may be, and the angles described above are merely examples and are not limited thereto. For example, the scent may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping, depending on the scent of the sleeping environment. For example, air quality may be a numerical expression of the rate of change in the degree to which the user feels comfortable after sleeping due to air humidity, degree of pollution, concentration of fine dust, etc. in the sleeping environment. For example, a health functional food product may express in numbers the rate of change in the level of comfort the user feels after sleeping when the user takes the health functional food before sleeping and then goes to sleep. For example, cosmetics may be a numerical expression of the rate of change in the level of comfort the user feels after sleeping when the user uses the cosmetics before sleeping and then goes to bed. For example, the hormone may be a numerical expression of the rate of change in the degree to which the user feels refreshed after sleep according to the level of a specific hormone in the user's body before and after sleep (e.g., melatonin, cortisol, testosterone, etc.).
본 발명의 일 실시예에서, 수면에 연관된 선호 정보는 사용자에 수면 후 수면에 대한 평가 점수에 영향을 미치는 요소들의 정보일 수 있다. 사용자에 수면 후 수면에 대한 평가 점수는, 사용자의 수면 경험에 기초하여 생성될 수 있고, 객관적인 평가 점수 및 주관적인 평가 점수의 연산으로 계산될 수 있다.In one embodiment of the present invention, preference information related to sleep may be information on factors that affect the user's sleep evaluation score after sleeping. The evaluation score for the user's post-sleep sleep may be generated based on the user's sleep experience and may be calculated by calculating the objective evaluation score and the subjective evaluation score.
본 발명의 일 실시예에서, 수면에 연관된 선호 정보는 사용자의 수면 후 수면에 대한 평가 점수에 영향을 미치는 요소들의 정보일 수 있다. 구체적으로, 사용자의 수면 후 수면에 대한 평가 점수에 미치는 요소들은 침구, 향기 제품 및 건강기능식 중 어느 하나 이상의 제품 조합을 이용한 경우, 제품을 사용한 경우 수면의 평가 점수가 어떻게 개선되었는지에 대한 정보일 수 있다.In one embodiment of the present invention, preference information related to sleep may be information on factors that affect the evaluation score for sleep after the user sleeps. Specifically, the factors that affect the user's sleep evaluation score after sleeping are information on how the sleep evaluation score improved when using a product combination of one or more of bedding, fragrance products, and health functional foods. You can.
사용자의 수면 지표 정보Your sleep indicator information
본 발명에 따른 상기 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 구체적으로, 사용자의 수면 지표 정보는 전체 수면에 대한 지표 정보, 깸 패턴에 대한 지표 정보, 렘 수면에 대한 지표 정보, 딥 수면에 대한 지표 정보 및 수면 분석에 대한 지표 정보가 포함될 수 있고 이에 한정되지 않는다. 구체적으로, 수면 지표 정보는 수면 무호흡 지수, 깊은 수면 비율, 깊은 수면 중 수면 전반기 비중, 수면 초반 깊은 수면 비율, 수면 초반 깸 비율, 수면 중 각성 횟수, REM 수면 비율, 수면 사이클 기울기, REM 수면 지연 시간, 입면 지연 시간, 전체 수면 시간, 수면 사이클 개수, 가장 긴 수면 분절 시간, 수면 사이클 주기 및 수면 효율 중 하나 이상을 포함할 수 있고, 이에 한정되지 않는다.One or more data arrays regarding the user's sleep according to the present invention may be generated based on the user's sleep indicator information. Specifically, the user's sleep indicator information may include, but is not limited to, indicator information for overall sleep, indicator information for waking pattern, indicator information for REM sleep, indicator information for deep sleep, and indicator information for sleep analysis. No. Specifically, sleep indicator information includes sleep apnea index, deep sleep ratio, proportion of the first half of deep sleep, proportion of deep sleep at the beginning of sleep, proportion of awakenings at the beginning of sleep, number of awakenings during sleep, REM sleep ratio, sleep cycle slope, and REM sleep delay time. , may include, but is not limited to, one or more of hypnagogic delay time, total sleep time, number of sleep cycles, longest sleep segment time, sleep cycle period, and sleep efficiency.
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 전체 수면에 대한 지표 정보일 수 있다. 구체적으로, 전체 수면에 대한 지표 정보는 전체 수면의 시간에 대한 지표일 수 있다. 예를 들어, 사용자의 전체 수면의 시간이 191분인 경우, 전체 수면의 시간에 대한 지표는 문장으로 "수면 전체 시간이 191분으로 매우 짧습니다. 정상범위인 420분에서 540분에 미치지 않습니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep indicator information. The user's sleep indicator information may be indicator information about overall sleep. Specifically, the indicator information about total sleep may be an indicator about the time of total sleep. For example, if the user's total sleep time is 191 minutes, the indicator for the total sleep time is the sentence "The total sleep time is very short, 191 minutes. It is below the normal range of 420 to 540 minutes." It can be written as .
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 전체 수면에 대한 지표 정보일 수 있다. 구체적으로, 전체 수면에 대한 지표 정보는 전체 수면의 입면 지연 시간에 대한 지표일 수 있다. 예를 들어, 사용자의 전체 수면의 입면 지연 시간이 20분인 경우, 전체 수면의 입면 지연 시간에 대한 지표는 문장으로 "수면 시작까지 걸린 시간은 20분으로 정상 범위 내에 있습니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep indicator information. The user's sleep indicator information may be indicator information about overall sleep. Specifically, the indicator information for the entire sleep may be an indicator for the elevation delay time of the entire sleep. For example, if the user's total sleep latency is 20 minutes, the indicator for total sleep latency can be expressed as the sentence "The time taken to start sleep is 20 minutes, which is within the normal range." .
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 전체 수면에 대한 지표 정보일 수 있다. 구체적으로, 전체 수면에 대한 지표 정보는 전체 수면 후 측정 종료 시간에 대한 지표일 수 있다. 예를 들어, 사용자의 전체 수면 후 측정 종료 시간이 7분인 경우, 전체 수면 후 측정 종료 시간에 대한 지표는 문장으로 "기상 후 측정 종료 시간이 7분으로 매우 짧습니다. 15분 이내가 적절합니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep index information. The user's sleep indicator information may be indicator information about overall sleep. Specifically, the indicator information for total sleep may be an indicator for the measurement end time after total sleep. For example, if the measurement end time after the user's total sleep is 7 minutes, the indicator for the measurement end time after total sleep is the sentence "The measurement end time after waking up is very short, 7 minutes. Less than 15 minutes is appropriate. "It can be written as:
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 전체 수면에 대한 지표 정보일 수 있다. 구체적으로, 전체 수면에 대한 지표 정보는 전체 수면 중 얕은 잠의 비율에 대한 지표일 수 있다. 예를 들어, 사용자의 전체 수면 중 얕은 잠의 비율이 0.32인 경우, 전체 수면 중 얕은 잠의 비율에 대한 지표는 문장으로 "얕은 잠 수면 비율이 32%로 정삼 범위 내에 있습니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep indicator information. The user's sleep indicator information may be indicator information about overall sleep. Specifically, the indicator information about total sleep may be an indicator about the ratio of light sleep among total sleep. For example, if the user's light sleep percentage of total sleep is 0.32, the indicator for light sleep percentage of total sleep could be written as the sentence "Light sleep percentage is 32%, which is within the positive range." there is.
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 깸 패턴에 대한 지표 정보일 수 있다. 구체적으로, 깸 패턴에 대한 지표 정보는 전체 수면 중 깸 상태의 총 시간에 대한 지표일 수 있다. 예를 들어, 사용자의 전체 수면 중 깸 상태의 총 시간이 219분 인 경우, 전체 수면 중 깸 상태의 총 시간에 대한 지표는 문장으로 "수면 중 깨어있는 시간이 219분으로 매우 깁니다. 30분 이하가 이상적입니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep index information. The user's sleep indicator information may be indicator information about the waking pattern. Specifically, the indicator information about the waking pattern may be an indicator of the total time in the waking state during the entire sleep. For example, if the user's total time awake during all sleep is 219 minutes, an indicator for total time awake during total sleep would be the sentence "The total awake time during sleep was 219 minutes, which is very long. Less than 30 minutes." It can be written as "is ideal."
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 깸 패턴에 대한 지표 정보일 수 있다. 구체적으로, 깸 패턴에 대한 지표 정보는 수면 효율 지표일 수 있다. 예를 들어, 사용자의 수면 효율이 0.50인 경우, 수면 효율 지표는 문장으로 "수면 효율이 50%로 매우 낮습니다. 90% 이상이 이상적입니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep index information. The user's sleep indicator information may be indicator information about the waking pattern. Specifically, indicator information about waking pattern may be a sleep efficiency indicator. For example, if the user's sleep efficiency is 0.50, the sleep efficiency indicator can be expressed as a sentence: "Sleep efficiency is very low at 50%. 90% or more is ideal."
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 깸 패턴에 대한 지표 정보일 수 있다. 구체적으로, 깸 패턴에 대한 지표 정보는 WASO(Wake After Sleep Onset) 패턴 지표일 수 있다. 예를 들어, WASO 패턴이 0.28인 경우, WASO 패턴 지표는 문장으로 "WASO 패턴이 28%로 너무 높습니다. 수면 분절이 심각합니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep indicator information. The user's sleep indicator information may be indicator information about the waking pattern. Specifically, the indicator information about the wake pattern may be a Wake After Sleep Onset (WASO) pattern indicator. For example, if the WASO pattern is 0.28, the WASO pattern indicator could be written as the sentence "WASO pattern is too high at 28%. Sleep fragmentation is severe."
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 렘 수면에 대한 지표 정보일 수 있다. 구체적으로, 렘 수면에 대한 지표 정보는 렘 수면의 수면 후 최초 등장 시간까지의 지연 시간 지표일 수 있다. 예를 들어, 렘 수면이 수면 후 최초 등장까지 74분이 걸린 경우, 렘 수면의 수면 후 최초 등장 시간까지의 지연 시간 지표는 문장으로 "첫 렘 수면이 잠든 이후 74분이 지나서 나타납니다. 이는 정상 범위 내에 있지만 길어서 좋지 않습니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep index information. The user's sleep indicator information may be indicator information about REM sleep. Specifically, the indicator information about REM sleep may be an indicator of the delay time from the time of REM sleep to the first appearance after sleep. For example, if REM sleep took 74 minutes to first appear after falling asleep, the latency indicator for first appearing REM sleep would be the sentence "The first REM sleep occurred 74 minutes after falling asleep. This is within the normal range. It can be written as “but it is not good because it is long.”
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 렘 수면에 대한 지표 정보일 수 있다. 구체적으로, 렘 수면에 대한 지표 정보는 전체 수면 중 렘 수면의 비율 지표일 수 있다. 예를 들어, 렘 수면에 대한 지표 정보는 전체 수면 중 렘 수면의 비율이 0.18인 경우, 렘 수면에 대한 지표 정보는 전체 수면 중 렘 수면의 비율 지표는 문장으로 "렘 수면 비율이 18%로 정상 범위 내에 있습니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep index information. The user's sleep indicator information may be indicator information about REM sleep. Specifically, the indicator information about REM sleep may be an indicator of the ratio of REM sleep among total sleep. For example, if the ratio of REM sleep to total sleep is 0.18, the indicator information for REM sleep is the ratio of REM sleep to total sleep. The indicator is the sentence "The ratio of REM sleep to total sleep is 18%, which is normal." It may be written as “It is within the range.”
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 렘 수면에 대한 지표 정보일 수 있다. 구체적으로, 렘 수면에 대한 지표 정보는 총 수면 중 렘 사이클 반복 횟수 지표일 수 있다. 예를 들어, 총 수면 중 렘 사이클 반복 횟수가 3회인 경우, 총 수면 중 렘 사이클 반복 횟수 지표는 문장으로 "렘 사이클의 개수는 3개로 정상 범위 내에 있습니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep indicator information. The user's sleep indicator information may be indicator information about REM sleep. Specifically, the indicator information about REM sleep may be an indicator of the number of REM cycle repetitions among total sleep. For example, if the number of REM cycle repetitions in the total sleep is 3, the indicator of the number of REM cycle repetitions in the total sleep can be expressed as a sentence: “The number of REM cycles is 3, which is within the normal range.”
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 렘 수면에 대한 지표 정보일 수 있다. 구체적으로, 렘 수면에 대한 지표 정보는 총 수면 중 렘 사이클 반복시 렘 수면 길이의 변화율 지표일 수 있다. 예를 들어, 총 수면 중 렘 사이클 반복시 렘 수면 길이의 변화율이 6.5인 경우, 총 수면 중 렘 사이클 반복시 렘 수면 길이의 변화율 지표는 문장으로 "렘 사이클 변화율이 6.5로 매우 높습니다. 렘 수면이 점점 짧아지는 것이 좋습니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep index information. The user's sleep indicator information may be indicator information about REM sleep. Specifically, the indicator information about REM sleep may be an indicator of the change rate of REM sleep length when REM cycle is repeated among total sleep. For example, if the rate of change of REM sleep length when repeating REM cycles during total sleep is 6.5, the rate of change indicator of REM sleep length when repeating REM cycles during total sleep is the sentence "The REM cycle change rate is 6.5, which is very high. REM sleep is It can be written as “It is better to get shorter and shorter.”
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 렘 수면에 대한 지표 정보일 수 있다. 구체적으로, 렘 수면에 대한 지표 정보는 총 수면 중 전반기 렘 수면의 비율 지표일 수 있다. 예를 들어, 전반기 렘 수면의 비율이 0.28인 경우, 전반기 렘 수면의 비율 지표는 문장으로 "전반기 렘 수면 비율이 28%로 정상 범위 내에 있습니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep index information. The user's sleep indicator information may be indicator information about REM sleep. Specifically, the indicator information about REM sleep may be an indicator of the ratio of REM sleep in the first half of the total sleep. For example, if the ratio of first half REM sleep is 0.28, the ratio indicator of first half REM sleep can be expressed as the sentence "The ratio of first half REM sleep is 28%, which is within the normal range."
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 딥 수면에 대한 지표 정보일 수 있다. 구체적으로, 딥 수면에 대한 지표 정보는 딥 수면의 수면 후 최초 등장 시간까지의 지연 시간 지표일 수 있다. 예를 들어, 딥 수면이 수면 후 최초 등장까지 -0.5분이 걸린 경우, 딥 수면의 수면 후 최초 등장 시간까지의 지연 시간 지표는 문장으로 "딥 수면 시작까지 걸린 시간이 음수이므로 딥 수면이 전혀 없었음을 의미합니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep index information. The user's sleep indicator information may be indicator information about deep sleep. Specifically, the indicator information about deep sleep may be an indicator of the delay time from the time of deep sleep to the first appearance after sleep. For example, if deep sleep took -0.5 minutes to first appear from sleep, the latency indicator for deep sleep to first appear from sleep would be the sentence "Time to onset of deep sleep was negative, so there was no deep sleep at all." It can be written as "means."
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 딥 수면에 대한 지표 정보일 수 있다. 구체적으로, 딥 수면에 대한 지표 정보는 전체 수면 중 딥 수면의 비율 지표일 수 있다. 예를 들어, 딥 수면에 대한 지표 정보는 전체 수면 중 딥 수면의 비율이 0인 경우, 딥 수면에 대한 지표 정보는 전체 수면 중 딥 수면의 비율 지표는 문장으로 "딥 수면 비율이 0%입니다. 딥 수면이 전혀 없었습니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep index information. The user's sleep indicator information may be indicator information about deep sleep. Specifically, the indicator information about deep sleep may be an indicator of the ratio of deep sleep among total sleep. For example, if the indicator information about deep sleep is that the ratio of deep sleep out of total sleep is 0, then the indicator information about deep sleep is the percentage of deep sleep out of total sleep. The indicator is the sentence “The percentage of deep sleep is 0%.” It may be written as “There was no deep sleep at all.”
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 딥 수면에 대한 지표 정보일 수 있다. 구체적으로, 딥 수면에 대한 지표 정보는 총 수면 중 딥 사이클 반복 횟수 지표일 수 있다. 예를 들어, 총 수면 중 딥 사이클 반복 횟수가 -1회인 경우, 총 수면 중 딥 사이클 반복 횟수 지표는 문장으로 "딥 사이클의 개수는 -1개로 매우 이상합니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep indicator information. The user's sleep indicator information may be indicator information about deep sleep. Specifically, the indicator information about deep sleep may be an indicator of the number of deep cycle repetitions among total sleep. For example, if the number of deep cycle repetitions in the total sleep is -1, the index of the number of deep cycle repetitions in the total sleep can be expressed as a sentence, "The number of deep cycles is -1, which is very strange."
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 딥 수면에 대한 지표 정보일 수 있다. 구체적으로, 딥 수면에 대한 지표 정보는 총 수면 중 딥 사이클 반복시 딥 수면 길이의 변화율 지표일 수 있다. 예를 들어, 총 수면 중 딥 사이클 반복시 딥 수면 길이의 변화율이 -1인 경우, 총 수면 중 딥 사이클 반복시 딥 수면 길이의 변화율 지표는 문장으로 "딥 사이클 변화율이 -1로 매우 이상합니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep indicator information. The user's sleep indicator information may be indicator information about deep sleep. Specifically, the indicator information about deep sleep may be an indicator of the change rate of deep sleep length when deep cycle is repeated among total sleep. For example, if the rate of change of deep sleep length when repeating a deep cycle in total sleep is -1, the rate of change indicator for deep sleep length when repeating a deep cycle in total sleep is the sentence "The rate of change in deep sleep is -1, which is very strange." "It can be written as:
본 발명의 일 실시예에 따른 사용자의 수면에 관한 하나 이상의 데이터 배열은 사용자의 수면 지표 정보에 기초하여 생성될 수 있다. 사용자의 수면 지표 정보는 딥 수면에 대한 지표 정보일 수 있다. 구체적으로, 딥 수면에 대한 지표 정보는 총 수면 중 전반기 딥 수면의 비율 지표일 수 있다. 예를 들어, 전반기 딥 수면의 비율이 -1인 경우, 전반기 딥 수면의 비율 지표는 문장으로 "전반기 딥 수면 비율이 -100%로 매우 이상합니다."로 표기 될 수 있다.One or more data arrays related to the user's sleep according to an embodiment of the present invention may be created based on the user's sleep indicator information. The user's sleep indicator information may be indicator information about deep sleep. Specifically, the indicator information about deep sleep may be an indicator of the ratio of deep sleep in the first half of the total sleep. For example, if the ratio of deep sleep in the first half is -1, the ratio indicator of deep sleep in the first half can be expressed as a sentence: "The ratio of deep sleep in the first half is -100%, which is very strange."
상술된 사용자의 수면 지표 정보는 본 발명에 따른 일 실시예이고, 이에 한정되지 아니한다.The user's sleep indicator information described above is an example according to the present invention, and is not limited thereto.
사용자의 비수치적 수면 평가와 수면 점수User's non-numerical sleep evaluation and sleep score
본 발명에 따른 사용자의 수면에 대한 평가는 사용자의 비수치적인 평가와 수치적인 평가를 나타내는 수면 점수를 포함할 수 있으나, 이에 한정되지 않는다.The evaluation of the user's sleep according to the present invention may include, but is not limited to, a sleep score representing the user's non-numerical evaluation and numerical evaluation.
도 17a는 본 발명의 일 실시예에 따른 사용자의 수면에 관한 비수치적인 평가를 설명하기 위한 도면이다.Figure 17a is a diagram for explaining a non-numerical evaluation of a user's sleep according to an embodiment of the present invention.
도 17a는 사용자의 수면에 관한 비수치적인 평가를 설명하기 위한 도면이다. 도 17a에서 도시된 본 발명의 일 실시예에서, 사용자의 수면에 관한 비수치적인 평가를 나타내는 주관적 사용자의 점수는 사용자의 수면에 관한 평가 중 주목성이 높은 텍스트인 제1 수면 문구, 사용자의 수면에 관한 평가를 구성하는 텍스트인 제2 수면 문구를 포함할 수 있다.Figure 17a is a diagram for explaining a non-numerical evaluation of a user's sleep. In one embodiment of the present invention shown in FIG. 17A, the subjective user score representing a non-numerical evaluation of the user's sleep is a first sleep phrase, which is a text with high attention in the evaluation of the user's sleep, and the user's sleep. It may include a second sleep phrase, which is text that constitutes an evaluation regarding.
본 발명의 일 실시예에 따르면, 예를 들어, 제1 수면 문구는 사용자의 수면에 관하여 사용자의 수면이 부족하다는 평가를 내려야 하는 경우 "더 잤으면 좋을 잠", "감질 나는 잠" 등 주목성이 높은 텍스트 일 수 있다. 제1 수면 문구는 룩업테이블에 의해 생성된 텍스트 일 수 있으나, 이에 한정되지 않는다. 제1 수면 문구는 대규모 언어 모델을 통해 생성된 텍스트 일 수 있으나, 이에 한정되지 않는다.According to one embodiment of the present invention, for example, the first sleep phrase may be a noteworthy phrase such as "a sleep that would be nice to sleep more" or "a tantalizing sleep" when an evaluation of the user's lack of sleep is required. This could be high text. The first sleep phrase may be text generated by a lookup table, but is not limited thereto. The first sleep phrase may be text generated through a large-scale language model, but is not limited to this.
본 발명의 일 실시예에 따르면, 예를 들어, 제2 수면 문구는 사용자의 수면에 관하여 사용자의 수면이 부족한 경우 "요즘 많이 바쁘신가봐요. 오늘 밤에는 잠을 보충하면 어떨까요?", "수면이 부족해요. 오늘은 휴식하며 잠을 보충하면 어떨까요?" 등 사용자의 수면에 대한 평가를 구성하는 텍스트 일 수 있다. 제2 수면 문구은 룩업테이블에 의해 생성된 텍스트 일 수 있으나, 이에 한정되지 않는다. 제2 수면 문구는 대규모 언어 모델을 통해서 생성된 텍스트 일 수 있으나, 이에 한정되지 않는다.According to one embodiment of the present invention, for example, the second sleep phrase may be related to the user's sleep when the user lacks sleep: “You must be very busy these days. Why don't you catch up on sleep tonight?”, “I don't have enough sleep. “How about resting and catching up on sleep today?” This may be text that constitutes an evaluation of the user's sleep. The second sleep phrase may be text generated by a lookup table, but is not limited thereto. The second sleep phrase may be text generated through a large-scale language model, but is not limited to this.
본 발명의 일 실시예에 따른 도 17a에 도시된 바와 같이, 사용자의 수면에 관한 비수치적인 평가는 사용자의 수면에 관한 평가에 기초한 조언 텍스트인 제3 수면 문구와 사용자의 수면 정보에 기초하여 사용자의 수면 기간 내 수면 단계에 대한 그래프인 사용자 수면 그래프을 포함할 수 있다.As shown in FIG. 17A according to an embodiment of the present invention, the non-numerical evaluation of the user's sleep is based on the third sleep phrase, which is an advice text based on the evaluation of the user's sleep, and the user's sleep information. It may include a user sleep graph, which is a graph of sleep stages within a sleep period.
본 발명의 일 실시예에 따르면, 예를 들어, 제3 수면 문구는 사용자의 수면에 관하여 렘 수면의 비율에 관한 조언을 하기 위해서 "창의력을 키우려면 REM 수면을 활용하라는 말이 있어요." 등 수면과 관련된 조언 텍스트 일 수 있다. 제3 수면 문구는 룩업테이블에 의해 생성된 텍스트 일 수 있으나, 이에 한정되지 않는다. 제3 수면 문구는 대규모 언어 모델을 통해 생성된 텍스트 일 수 있으나, 이에 한정되지 않는다.According to one embodiment of the present invention, for example, the third sleep phrase may be, "They say to use REM sleep to increase creativity," to provide advice regarding the proportion of REM sleep in relation to the user's sleep. It may be an advice text related to sleep, etc. The third sleep phrase may be text generated by a lookup table, but is not limited thereto. The third sleep phrase may be text generated through a large-scale language model, but is not limited to this.
본 발명의 일 실시예에 따르면, 예를 들어, 사용자 수면 그래프는 사용자의 수면 정보에 기초하여 사용자의 수면 동안의 수면 단계를 나타내는 힙노그램의 형식일 수 있다. 도11에 개시된 바와 같이, 수면 단계는 렘수면, 깸, 일반잠, 깊은잠 4단계일 수 있다.According to one embodiment of the present invention, for example, the user sleep graph may be in the form of a hypnogram representing the sleep stage during the user's sleep based on the user's sleep information. As shown in Figure 11, the sleep stages may be four stages: REM sleep, waking, normal sleep, and deep sleep.
사용자의 수면에 관한 수치적인 평가 점수Numerical evaluation score regarding the user's sleep
도 17b는 사용자의 수면에 관한 수치적인 평가인 수면 점수를 설명하기 위한 도면이다. 도 17b에 도시된 바와 같이, 사용자의 수면에 관한 수치적인 평가인 수면 점수는 하나 이상의 그래픽 유저 인터페이스(301)를 통해서 사용자에게 제공될 수 있다. 또한, 사용자의 수면에 관한 수치적인 평가인 수면 점수는 수면에 대한 종합점수(64)와 수면 단계에 대한 수치적인 평가(65)을 포함할 수 있고, 이에 한정되지 않는다.Figure 17b is a diagram to explain the sleep score, which is a numerical evaluation of the user's sleep. As shown in FIG. 17B, a sleep score, which is a numerical evaluation of the user's sleep, may be provided to the user through one or more graphical user interfaces 301. Additionally, the sleep score, which is a numerical evaluation of the user's sleep, may include, but is not limited to, a comprehensive score for sleep (64) and a numerical evaluation of the sleep stage (65).
본 발명의 일 실시예에 따르면, 사용자의 수면에 관한 수치적인 평가는 주관적 객관적 수면 점수(Objective Sleep Score)와 주관적 수면 점수(Subjective Sleep Score)의 계산을 통해서 구해질 수 있다.According to an embodiment of the present invention, a numerical evaluation of a user's sleep can be obtained through calculation of a subjective and objective sleep score and a subjective sleep score.
본 발명의 일 실시예에 따르면, 사용자의 수면에 관한 수치적인 평가를 나타내는 방법은 사용자의 수면에 영향을 미치는 요소 별 가중치를 고려하여 객관적 수면 점수(Objective Sleep Score)와 주관적 수면 점수(Subjective Sleep Score)수식으로 계산되어 점수로 표현 될 수 있다. 예를 들어, 사용자의 수면에 관한 수치적인 평가를 나타내는 점수는 객관적 수면 점수(Objective Sleep Score)와 주관적 수면 점수(Subjective Sleep Score)가 수면에 영향을 미치는 비율이 같다고 평가되는 경우 객관적 수면 점수와 주관적 수면 점수의 평균으로 계산될 수 있다. 예를 들어, 사용자의 수면에 관한 수치적인 평가를 나타내는 점수는 객관적 수면 점수(Objective Sleep Score)와 주관적 수면 점수(Subjective Sleep Score)가 수면에 영향을 미치는 비율이 다르다고 평가되는 경우 객관적 수면 점수와 주관적 수면 점수의 평균으로 계산될 수 있다. 구체적으로, 주관적 수면 점수의 중요도가 70%이고, 객관적 수면 점수의 중요도가 30%라고 판단되는 경우 주관적 수면 점수에 0.7을 곱한 값과 객관적 수면 점수의 중요도가 0.3을 곱한 값을 더함으로써, 수면에 관한 수치적인 평가를 구할 수 있다.According to one embodiment of the present invention, a method of expressing a numerical evaluation of a user's sleep is based on an Objective Sleep Score and a Subjective Sleep Score by considering the weight of each factor affecting the user's sleep. ) can be calculated using a formula and expressed as a score. For example, the score representing the numerical evaluation of the user's sleep is calculated as the objective sleep score and the subjective sleep score if the objective sleep score and the subjective sleep score are evaluated to have the same influence on sleep. It can be calculated as the average of sleep scores. For example, a score representing a numerical evaluation of the user's sleep may be used if the Objective Sleep Score and the Subjective Sleep Score are assessed to have different rates of influence on sleep. It can be calculated as the average of sleep scores. Specifically, if it is determined that the importance of the subjective sleep score is 70% and the importance of the objective sleep score is 30%, the subjective sleep score multiplied by 0.7 and the importance of the objective sleep score multiplied by 0.3 are added to sleep. A numerical evaluation can be obtained.
본 발명의 일 실시예에 따른 객관적 수면 점수는 100점을 최고점으로 하는 수식으로 계산될 수 있다. 수식에는 수면 효율점수, 전체 수면 시간 점수 및 잠이 들기 위해 걸린 시간(입면시간) 점수 및 깸 단계 탐지 횟수 점수가 포함될 수 있다.The objective sleep score according to an embodiment of the present invention can be calculated using a formula with 100 as the highest score. The formula may include a sleep efficiency score, a total sleep time score, a time taken to fall asleep (fall asleep time) score, and a wake stage detection count score.
본 발명의 일 실시예에 따른 객관적 수면 점수는 100점을 최고점으로하는 수면 효율점수가 포함될 수 있다. 수면 효율 점수 e 는 다음 [수식1]과 같이 표현될 수 있다.The objective sleep score according to an embodiment of the present invention may include a sleep efficiency score with a maximum score of 100. The sleep efficiency score e can be expressed as follows [Equation 1].
[수식1][Formula 1]
Figure PCTKR2023014988-appb-img-000001
Figure PCTKR2023014988-appb-img-000001
전체 수면 시간(TOTAL SLEEP TIME)은 어플리케이션이 구동 혹은 수면 측정을 시작하는 시점부터 수면 측정을 종료한 시점까지의 시간이다. 수면 측정을 시작하기 위한 방법은 어플리케이션이 사용자의 수면을 탐지하여 측정하는 방법, 사용자가 직접 수면 측정 어플을 구동하는 방법을 포함할 수 있으나, 이에 한정되지 않는다. 수면 측정을 종료 하기 위한 방법은, 어플리케이션이 사용자의 수면 종료를 탐지하여 종료하는 방법, 사용자가 직접 수면 종료 후 측정을 종료하는 방법을 포함할 수 있으나, 이에 한정되지 않는다.TOTAL SLEEP TIME is the time from when the application starts running or measuring sleep to when sleep measurement ends. Methods for starting sleep measurement may include, but are not limited to, a method in which an application detects and measures the user's sleep, and a method in which the user directly runs the sleep measurement application. Methods for ending sleep measurement may include, but are not limited to, a method in which the application detects and terminates the end of the user's sleep, and a method in which the user directly terminates the measurement after the end of sleep.
본 발명의 일 실시예에 따른 객관적 수면 점수는 100점을 최고점으로하는 전체 수면 시간 점수(TOTAL SLEEP TIME, TOT)가 포함될 수 있다. 전체 수면 시간 점수(TOT)는 사용자의 전체 수면 시간이 420분 이상 540분 이상인 경우, 100점을 부여하고, 사용자의 전체 수면시간이 420분 미만인 경우,
Figure PCTKR2023014988-appb-img-000002
의 식에 전체 수면시간 t를 대입한 값을 점수로 부여하고, 사용자의 전체 수면 시간이 540분 초과인 경우,
Figure PCTKR2023014988-appb-img-000003
값에 100을 곱한 값을 점수로 부여하고, 만약 전체 수면 시간이 540분 초과이고 위의 식의 값이 0 이하인 경우에는 0점을 부여한다.The objective sleep score according to an embodiment of the present invention may include a TOTAL SLEEP TIME (TOT) score with a maximum score of 100. The total sleep time score (TOT) is given 100 points if the user's total sleep time is between 420 and 540 minutes, and if the user's total sleep time is less than 420 minutes,
Figure PCTKR2023014988-appb-img-000002
The score is given by substituting the total sleep time t in the equation, and if the user's total sleep time exceeds 540 minutes,
Figure PCTKR2023014988-appb-img-000003
The score is given by multiplying the value by 100, and if the total sleep time exceeds 540 minutes and the value in the above equation is less than 0, 0 points are given.
본 발명의 일 실시예에 따른 객관적 수면 점수는 100점을 최고점으로 하는, 잠이 들기 까지 걸린 시간(입면시간) 점수(SLEEP ONSET LATENCY, SOL)가 포함될 수 있다. 잠이 들기 위해 걸린시간(입면시간) 점수는 입면시간이 15분 미만인 경우 100점을 부여하고, 입면시간이 15분 초과 60분 미만이면 60분에서 입면시간을 뺀 값을 45분으로 나눈 값에 100을 곱한 값을 점수로 부여하고, 입면시간이 60분을 초과하면 0점을 부여한다.The objective sleep score according to an embodiment of the present invention may include the time taken to fall asleep (sleep time) score (SLEEP ONSET LATENCY, SOL), with a maximum score of 100. The score for the time taken to fall asleep (falling asleep time) is given as 100 points if the falling asleep time is less than 15 minutes, and if the falling asleep time is more than 15 minutes but less than 60 minutes, the score is calculated by subtracting the falling asleep time from 60 minutes and dividing it by 45 minutes. The score is given as the value multiplied by 100, and if the elevation time exceeds 60 minutes, 0 points are given.
본 발명의 일 실시예에 따른 객관적 수면 점수는 깸 단계 탐지 횟수에 따라서 감점을 진행하기 위한 깸 단계 횟수 점수(AWAKE)가 포함될 수 있다. 수면에 관한 수치적인 평가 점수는 깸 단계가 1번 이하로 탐지되면 0점을 감점하고, 깸 단계가 2번 이상 3번 이하로 탐지되면 5점을 감점하고, 깸 단계가 4번 이상 탐지되면 탐지된 깸 단계의 횟수에 6을 더한 값을 감점한다.The objective sleep score according to an embodiment of the present invention may include an awakening stage count score (AWAKE) for deducting points according to the number of waking stage detections. For the numerical evaluation score regarding sleep, 0 points are deducted if the waking stage is detected less than 1 time, 5 points are deducted if the waking stage is detected more than 2 times but 3 times less, and if the waking stage is detected more than 4 times, 5 points are deducted. Points are deducted by adding 6 to the number of broken steps.
본 발명의 일 실시예에 따른 객관적 수면 점수는 100점을 최고점으로 하는 수식으로 계산될 수 있다. 예를 들어, 최고점이 100점인 수면 효율 점수, 최고점이 100점인 전체 수면 시간 점수 및 최고점이 100점인 잠이 들기 위해 걸린 시간(입면시간) 점수의 각각의 총합의 평균을 최고점이 100점인 수면에 관한 수치적인 평가로 나타낼 수 있고, 수면에 관한 수치적인 평가 점수는 깸 단계 탐지 횟수에 따라 감점 될 수 있고 이는 아래의 [수식2]로 표현될 수 있다.The objective sleep score according to an embodiment of the present invention can be calculated using a formula with 100 as the highest score. For example, the average of the sum of the sleep efficiency score with a maximum score of 100, the total sleep time score with a maximum score of 100, and the time taken to fall asleep (sleep time) score with a maximum score of 100 is calculated as the sleep score with a maximum score of 100. It can be expressed as a numerical evaluation, and the numerical evaluation score for sleep can be deducted depending on the number of awakening stage detections, and this can be expressed as [Formula 2] below.
[수식2][Formula 2]
Figure PCTKR2023014988-appb-img-000004
Figure PCTKR2023014988-appb-img-000004
구체적으로, 수면 효율 점수 e는
Figure PCTKR2023014988-appb-img-000005
으로 계산될 수 있다. 구체적으로, 전체 수면 시간 점수(TOT)는 사용자의 전체 수면 시간이 420분 이상 540분 이상인 경우, 100점을 부여하고, 사용자의 전체 수면시간이 420분 미만인 경우,
Figure PCTKR2023014988-appb-img-000006
의 식에 전체 수면시간 t를 대입한 값을 점수로 부여하고, 사용자의 전체 수면 시간이 540분 초과인 경우,
Figure PCTKR2023014988-appb-img-000007
값에 100을 곱한 값을 점수로 부여하고, 만약 전체 수면 시간이 540분 초과이고 위의 식의 값이 0 이하인 경우에는 0점을 부여한다. 예를 들면, 잠이 들기 위해 걸린시간(입면시간) 점수는 입면시간이 15분 미만인 경우 100점을 부여하고, 입면시간이 15분 초과 60분 미만이면 60분에서 입면시간을 뺀 값을 45분으로 나눈 값에 100을 곱한 값을 점수로 부여하고, 입면시간이 60분을 초과하면 0점을 부여한다. 구체적으로, 수면에 관한 수치적인 평가 점수는 깸 단계가 1번 이하로 탐지되면 0점을 감점하고, 깸 단계가 2번 이상 3번 이하로 탐지되면 5점을 감점하고, 깸 단계가 4번 이상 탐지되면 탐지된 깸 단계의 횟수에 6을 더한 값을 감점한다.Specifically, the sleep efficiency score e is
Figure PCTKR2023014988-appb-img-000005
It can be calculated as Specifically, the total sleep time score (TOT) is given 100 points if the user's total sleep time is 420 minutes or more and 540 minutes or more, and if the user's total sleep time is less than 420 minutes,
Figure PCTKR2023014988-appb-img-000006
The score is given by substituting the total sleep time t in the equation, and if the user's total sleep time exceeds 540 minutes,
Figure PCTKR2023014988-appb-img-000007
The score is given by multiplying the value by 100, and if the total sleep time exceeds 540 minutes and the value in the above equation is less than 0, 0 points are given. For example, the time taken to fall asleep (sleep time) is given 100 points if the fall asleep time is less than 15 minutes, and if the fall asleep time is more than 15 minutes but less than 60 minutes, the score is 60 minutes minus the fall sleep time, giving 45 minutes. The score is given as the value divided by , multiplied by 100, and if the elevation time exceeds 60 minutes, 0 points are given. Specifically, the numerical evaluation score for sleep is deducted 0 points if the waking stage is detected less than 1 time, 5 points are deducted if the waking stage is detected more than 2 times or less than 3 times, and 5 points are deducted if the waking stage is detected more than 4 times. When detected, a score is deducted by adding 6 to the number of wake steps detected.
본 발명의 일실시예에 따른 수면에 관한 주관적 수면 점수는 사용자의 주관적인 수면에 대한 평가를 기초로 하여 계산 될 수 있다. 예를 들어, 100점을 최고점으로 하는 수면에 관한 수식을 통해 계산될 수 있다. 예를 들어, 사용자가 주관적으로 수면에 대한 키워드 또는 평가를 선택하고, 선택에 따른 점수를 부여하여 계산될 수 있다. 예를 들어, 사용자의 수면에 대한 주관적 평가가 작성되면 이를 자연어처리기반의 딥러닝을 통해서 점수를 계산할 수 있다. 예를 들어, 사용자의 수면에 대한 주관적 평가를 룩업테이블에서 제공하고, 사용자가 주관적 평가를 선택하는 경우 룩업테이블에 기초하여 점수를 계산할 수 있다. 상술한 사용자의 수면에 관한 주관적 수면 점수는 사용자가 주관적으로 수면에 대한 어떤 평가를 내리는지를 설명하기 위한 예시일 뿐, 이에 한정되지 않는다.The subjective sleep score related to sleep according to an embodiment of the present invention may be calculated based on the user's subjective evaluation of sleep. For example, it can be calculated using a formula for sleep with a maximum score of 100. For example, it may be calculated by the user subjectively selecting a keyword or evaluation about sleep and giving a score according to the selection. For example, when a subjective evaluation of a user's sleep is written, the score can be calculated through deep learning based on natural language processing. For example, a subjective evaluation of the user's sleep may be provided in a lookup table, and if the user selects the subjective evaluation, a score may be calculated based on the lookup table. The subjective sleep score regarding the user's sleep described above is only an example to explain how the user subjectively evaluates sleep, and is not limited thereto.
본 발명에 일 실시예에 따른, 수면에 관한 수치적인 평가는 수면에 관한 키워드와 수면에 관한 리커트 척도에 기초하여 계산될 수 있다. 구체적으로, 수면에 관한 키워드는 정신적 상태, 신체적 상태 및 감정적 상태에 대한 좋은 키워드와 나쁜 키워드 일 수 있고, 수면에 관한 리커트 척도는 5단계 리커트 척도로, GREAT, GOOD, SO-SO, BAD, AWFUL일 수 있다. According to an embodiment of the present invention, a numerical evaluation of sleep may be calculated based on keywords related to sleep and a Likert scale related to sleep. Specifically, keywords about sleep can be good and bad keywords about mental state, physical state, and emotional state, and the Likert scale about sleep is a 5-level Likert scale: GREAT, GOOD, SO-SO, BAD. , may be AWFUL.
본 발명의 일 실시예에 따른 주관적 수면 점수는 85점을 최고점으로 하고 15점을 최저점으로 하는 수면에 관한 리커트 척도(Likert Scale) 점수와 15점을 최고점으로 하고, 최저점은 -15점으로하는 키워드 점수의 합을 통해 100점을 최고점으로 하는 수식으로 계산될 수 있다. 예를 들어, 리커트 척도 점수는 유저가 리커트 척도에 GREAT로 응답하는 경우 85점을 부여하고, GOOD으로 응답하는 경우 67.5점을 부여하고, SO-SO로 응답하는 경우 50점을 부여하고, BAD로 응답하는 경우 32.5점을 부여하며, AWFUL로 응답하는 경우 15점을 부여한다. 예를 들어, 키워드 점수는 유저가 수면에 관한 키워드를 선택하지 않는 경우에 0점을 부여한다. 예를 들어, 키워드 점수는 정신적 상태의 좋은 키워드(Alert)를 선택하는 경우에 5점을 부여하고, 나쁜 키워드(DROWSY)를 선택하는 경우에 -5점을 부여한다. 예를 들어, 키워드 점수는 신체적 상태의 좋은 키워드(REFRESHED)를 선택하는 경우에 5점을 부여하고, 나쁜 키워드(EXHAUSTED)를 선택하는 경우에 -5점을 부여한다. 예를 들어, 키워드 점수는 감정적 상태의 좋은 키워드(PLEASANT)를 선택하는 경우에 5점을 부여하고, 나쁜 키워드(UNPLEASANT)를 선택하는 경우에 -5점을 부여한다.The subjective sleep score according to an embodiment of the present invention is a Likert scale score for sleep with 85 as the highest score and 15 as the lowest score, 15 as the highest score, and -15 as the lowest score. It can be calculated using a formula where 100 points is the highest score through the sum of keyword scores. For example, the Likert scale score is 85 points if the user responds to the Likert scale with GREAT, 67.5 points if the user responds with GOOD, and 50 points if the user responds with SO-SO. If you respond with BAD, 32.5 points are given, and if you respond with AWFUL, 15 points are given. For example, the keyword score is given a score of 0 if the user does not select a keyword related to sleep. For example, the keyword score is given 5 points when a good keyword for mental state (Alert) is selected, and -5 points is given when a bad keyword (DROWSY) is selected. For example, the keyword score is given 5 points when a keyword with good physical condition (REFRESHED) is selected, and -5 points is given when a bad keyword (EXHAUSTED) is selected. For example, the keyword score is given 5 points when a keyword with a good emotional state (PLEASANT) is selected, and -5 points is given when a bad keyword (UNPLEASANT) is selected.
본 발명의 일 실시예에 따르면, 수면 점수는 100점을 최고점으로 하는 수면의 종합 점수로서 수면에 대한 수치적인 평가를 제공할 수 있다. 수면 스코어는 기 설정된 수면 스코어 산정 공식에 의해 평가될 수 있다. 예를 들어, 수면 단계(예컨대, 렘수면, 깊은잠, 얕은잠, 깸 등)마다 대응되는 점수를 부여하고, 기 설정된 수면 스코어 산정 공식에 대입하여 최종 점수를 얻을 수 있고, 최종 점수를 득점 가능한 최고점수로 나누어 100을 곱한 값이 수면 종합 점수가 될 수 있다. 수면 스코어를 점수로서 평가를 제공함으로써, 수면에 대하여 직관적인 평가를 제공할 수 있다.According to one embodiment of the present invention, the sleep score is a comprehensive score of sleep with the highest score being 100, and can provide a numerical evaluation of sleep. The sleep score can be evaluated using a preset sleep score calculation formula. For example, a corresponding score can be assigned to each sleep stage (e.g., REM sleep, deep sleep, light sleep, awakening, etc.), and the final score can be obtained by substituting it into a preset sleep score calculation formula, and the final score is the highest score possible. The value divided by the score and multiplied by 100 can be the overall sleep score. By providing an evaluation with a sleep score as a score, an intuitive evaluation of sleep can be provided.
콘텐츠 생성형 인공지능 입력Content creation artificial intelligence input
본 발명에 있어서, 콘텐츠 생성형 인공지능은 사용자의 수면에 관한 하나 이상의 데이터 배열에 기초하여 콘텐츠를 생성할 수 있다. 콘텐츠 생성형 인공지능은 대규모 언어 모델(Large Language Model), Diffusion 모델 및 GAN모델 기반의 생성형 인공지능 일 수 있으나, 이에 한정되지 않는다.In the present invention, content generation artificial intelligence can generate content based on one or more data arrays regarding the user's sleep. Content generation artificial intelligence may be, but is not limited to, generative artificial intelligence based on the Large Language Model, Diffusion Model, and GAN model.
키워드 생성 및 사용자의 수면에 관한 하나 이상의 데이터 배열의 해석방법 입력Create keywords and enter interpretation methods for one or more data arrays related to the user's sleep
본 발명에 따른, 사용자의 수면에 관한 하나 이상의 데이터 배열을 콘텐츠 생성형 인공지능에 입력하는 단계는, 생성된 사용자의 수면에 관한 하나 이상의 데이터 배열을 콘텐츠 생성형 인공지능에 입력하기 위하여 데이터 배열을 가공할 수 있다.According to the present invention, the step of inputting one or more data arrays about the user's sleep into the content creation artificial intelligence includes arranging the data to input one or more data arrays about the user's sleep into the content creation artificial intelligence. It can be processed.
본 발명의 일 실시예에 따른, 사용자의 수면에 관한 하나 이상의 데이터 배열을 콘텐츠 생성형 인공지능에 입력하기 위해서, 생성된 사용자의 수면에 관한 하나 이상의 데이터 배열을 가공할 수 있다. 구체적으로, 사용자의 수면에 관한 하나 이상의 데이터 배열에 기초하여 사용자의 수면에 관한 하나 이상의 키워드를 생성할 수 있다. 예를 들어, 사용자의 수면에 관한 하나 이상의 데이터 배열을 대규모 언어 모델(Large language Model)의 입력으로 하여 키워드를 생성할 수 있다. 예를 들어, 사용자의 수면에 관한 하나 이상의 데이터 배열을 룩업 테이블에 기초하여 키워드를 선정할 수 있다.According to an embodiment of the present invention, in order to input one or more data arrays about the user's sleep into a content creation artificial intelligence, the generated one or more data arrays about the user's sleep can be processed. Specifically, one or more keywords related to the user's sleep may be generated based on one or more data arrays related to the user's sleep. For example, keywords can be generated by using one or more data arrays about the user's sleep as input to a large language model. For example, keywords can be selected based on a lookup table of one or more data arrays related to the user's sleep.
또한, 본 발명의 일 실시예에 따른, 사용자의 수면에 관한 하나 이상의 데이터 배열을 콘텐츠 생성형 인공지능에 입력하기 위해서, 생성된 사용자의 수면에 관한 하나 이상의 데이터 배열을 해석하는 방법을 사용자의 수면에 관한 하나 이상의 데이터 배열을 먼저 콘텐츠 생성형 인공지능에 입력할 수 있다. 사용자의 수면에 관한 하나 이상의 데이터 배열을 해석하는 방법은 사용자의 수면 지표를 해석하는 방법일 수 있다. 구체적으로, 사용자의 수면 지표는 전체 수면 지표, 깸 패턴 지표, 램 수면 지표 및 딥 수면 지표를 포함할 수 있으며, 이를 해석하는 방법일 수 있다.In addition, according to an embodiment of the present invention, in order to input one or more data arrays about the user's sleep into the content creation artificial intelligence, a method of interpreting the generated one or more data arrays about the user's sleep is described. One or more data arrays about can first be input into the content creation artificial intelligence. A method of interpreting one or more data arrays regarding the user's sleep may be a method of interpreting the user's sleep index. Specifically, the user's sleep index may include a total sleep index, a waking pattern index, a REM sleep index, and a deep sleep index, and may be a method of interpreting them.
본 발명의 일 실시예에 따른, 사용자의 수면에 관한 하나 이상의 데이터 배열을 해석하는 방법은 사용자의 수면 지표를 해석하는 방법일 수 있다. 구체적으로, 사용자의 수면 지표를 해석하는 방법은 전체 수면 지표를 해석하는 방법일 수 있다. 예를 들어, 전체 수면 지표는 전체 수면의 시간에 대한 지표, 전체 수면의 입면 지연 시간에 대한 지표, 전체 수면 후 측정 종료 시간에 대한 지표 및 전체 수면 중 얕은 잠의 비율에 대한 지표를 포함할 수 있고, 전체 수면 지표를 해석하는 방법은 "1)전체 수면의 시간은 전체 수면시간을 의미합니다. 420분에서 540분 사이가 정상입니다. 2) 전체 수면의 입면 지연 시간은 언제 잠에 들었는지를 의미합니다. 값이 음수라면 잠에 들지 않았음을 뜻하며 이는 매우 심각한 문제가 있음을 의미합니다. 3) 전체 수면 후 측정 종료 시간은 기상 후 수면 측정 종료 시간이 얼마나 긴지를 의미합니다. 4) 전체 수면 중 얕은 잠의 비율은 얕은 잠의 비율을 의미하며 정상 수면은 50%내외입니다."로 콘텐츠 생성형 인공지능에 입력될 수 있다.According to an embodiment of the present invention, a method of interpreting one or more data arrays related to the user's sleep may be a method of interpreting the user's sleep index. Specifically, a method of interpreting a user's sleep index may be a method of interpreting the entire sleep index. For example, a total sleep indicator may include an indicator for the duration of total sleep, an indicator for the hypnagogic latency of total sleep, an indicator for the end time of measurement after total sleep, and an indicator for the proportion of light sleep in total sleep. The way to interpret the total sleep index is "1) The total sleep time refers to the total sleep time. Normal is between 420 and 540 minutes. 2) The total sleep delay time refers to when you fell asleep. A negative value means you haven't fallen asleep, which means there's a very serious problem. 3) The end time of the full sleep measurement is how long the end time of the sleep measurement is after waking up. “The ratio of light sleep refers to the ratio of light sleep, and normal sleep is around 50%.” can be entered into the content creation artificial intelligence.
본 발명의 일 실시예에 따른, 사용자의 수면에 관한 하나 이상의 데이터 배열을 해석하는 방법은 사용자의 수면 지표를 해석하는 방법일 수 있다. 구체적으로, 사용자의 수면 지표를 해석하는 방법은 깸 패턴 지표를 해석하는 방법일 수 있다. 예를 들어, 깸 패턴 지표는 전체 수면 중 깸 상태의 총 시간에 대한 지표, 수면 효율 지표 및 WASO(Wake After Sleep Onset) 패턴 지표를 포함할 수 있고, 깸 패턴 지표를 해석하는 방법은 "1)깸 상태의 총 시간은 전체 깨어있는 시간을 의미합니다. 전체 수면시간에 가까울수록 문제가 있습니다. 2) 수면 효율은 이것은 수면 중 얼마나 깨어나지 않았는지 의미합니다. 3) WASO pattern은 일정 이상이면 수면이 분절되어 있음을 의미합니다."로 콘텐츠 생성형 인공지능에 입력될 수 있다.According to an embodiment of the present invention, a method of interpreting one or more data arrays related to the user's sleep may be a method of interpreting the user's sleep index. Specifically, a method of interpreting a user's sleep index may be a method of interpreting a waking pattern index. For example, the waking pattern indicator may include an indicator for the total time in the waking state during the entire sleep, a sleep efficiency indicator, and a Wake After Sleep Onset (WASO) pattern indicator, and the method of interpreting the waking pattern indicator is described in "1) The closer the total waking time is to the total sleeping time, the more problematic it is. 2) Sleep efficiency refers to how much you are not awake during sleep. 3) If the WASO pattern is above a certain level, your sleep is fragmented. “It means that it is in place.” can be entered into the content creation artificial intelligence.
본 발명의 일 실시예에 따른, 사용자의 수면에 관한 하나 이상의 데이터 배열을 해석하는 방법은 사용자의 수면 지표를 해석하는 방법일 수 있다. 구체적으로, 사용자의 수면 지표를 해석하는 방법은 렘 수면에 대한 지표 정보를 해석하는 방법일 수 있다. 예를 들어, 렘 수면에 대한 지표는 렘 수면의 수면 후 최초 등장 시간까지의 지연 시간 지표, 전체 수면 중 렘 수면의 비율 지표, 총 수면 중 렘 사이클 반복 횟수 지표, 총 수면 중 렘 사이클 반복시 렘 수면 길이의 변화율 지표 및 총 수면 중 전반기 렘 수면의 비율 지표를 포함할 수 있고, 램 수면 지표를 해석하는 방법은 "1)렘 수면의 수면 후 최초 등장 시간까지의 지연 시간 지표는 언제 첫 렘수면이 있었는지를 의미하고, 긴 수치일수록 나쁩니다. 2) 전체 수면 중 렘 수면의 비율 지표는 렘 수면의 비율을 의미하며, 정상 수면의 경우 20%내외입니다. 3) 총 수면 중 렘 사이클 반복 횟수 지표는 렘 사이클의 개수를 의미합니다. 일반적으로는 5개 내외여야 합니다. 4) 총 수면 중 렘 사이클 반복시 렘 수면 길이의 변화율 지표는 렘 사이클이 점점 짧아지는 지를 의미합니다. 양수면 점점 길어짐을 뜻합니다. 5) 총 수면 중 전반기 렘 수면의 비율 지표는 렘 수면은 수면 후반부에 주로 나와야하므로 이 값은 50% 이하 이여야 정상입니다."로 콘텐츠 생성형 인공지능에 입력될 수 있다.According to an embodiment of the present invention, a method of interpreting one or more data arrays related to the user's sleep may be a method of interpreting the user's sleep index. Specifically, a method of interpreting a user's sleep index may be a method of interpreting index information about REM sleep. For example, indicators for REM sleep include an indicator of the delay time to the first appearance of REM sleep in REM sleep, an indicator of the proportion of REM sleep in total sleep, an indicator of the number of REM cycle repetitions in total sleep, and an indicator of REM in REM cycle repetitions in total sleep. It may include an indicator of the change rate of sleep length and an indicator of the ratio of REM sleep in the first half of the total sleep, and the method of interpreting the REM sleep indicator is "1) The delay time indicator from the first appearance of REM sleep after sleep is when the first REM sleep occurs. 2) The percentage of REM sleep out of total sleep refers to the percentage of REM sleep, and for normal sleep, it is around 20%. 3) The number of REM cycle repetitions out of total sleep. This refers to the number of REM cycles. 4) The rate of change in REM sleep length when REM cycles are repeated during total sleep means that the REM cycle becomes shorter and longer. 5) The ratio indicator of REM sleep in the first half of total sleep can be entered into the content creation artificial intelligence as “REM sleep should mainly occur in the second half of sleep, so this value should be less than 50%.”
본 발명의 일 실시예에 따른, 사용자의 수면에 관한 하나 이상의 데이터 배열을 해석하는 방법은 사용자의 수면 지표를 해석하는 방법일 수 있다. 구체적으로, 사용자의 수면 지표를 해석하는 방법은 딥 수면에 대한 지표 정보를 해석하는 방법일 수 있다. 예를 들어, 딥 수면에 대한 지표는 딥 수면의 수면 후 최초 등장 시간까지의 지연 시간 지표, 전체 수면 중 딥 수면의 비율 지표, 총 수면 중 딥 사이클 반복 횟수 지표, 총 수면 중 딥 사이클 반복시 딥 수면 길이의 변화율 지표 및 총 수면 중 전반기 딥 수면의 비율 지표를 포함할 수 있고, 램 수면 지표를 해석하는 방법은 "1) 딥 수면의 수면 후 최초 등장 시간까지의 지연 시간 지표는 언제 첫 딥 면이 있었는지를 의미하고, 렘 수면의 수면 후 최초 등장 시간까지의 지연 시간 지표보다 짧아야 합니다. 2) 전체 수면 중 딥 수면의 비율 지표는 딥 수면의 비율을 의미하며, 정상 수면의 경우 20%내외입니다. 3) 총 수면 중 딥 사이클 반복 횟수 지표는 딥 사이클의 개수를 의미합니다. 0개가 아니라면 정상범주로 분류합니다. 4) 총 수면 중 딥 사이클 반복시 딥 수면 길이의 변화율 지표는 딥 사이클이 점점 짧아지는 지를 의미합니다. 정상수면에서는 음수로 점점 짧아져야합니다. 5) 총 수면 중 전반기 딥 수면의 비율 지표는 딥 수면은 수면 전반부에 주로 나와야하므로 이 값은 50% 이상 이여야 정상입니다."로 콘텐츠 생성형 인공지능에 입력될 수 있다.According to an embodiment of the present invention, a method of interpreting one or more data arrays related to the user's sleep may be a method of interpreting the user's sleep index. Specifically, a method of interpreting a user's sleep index may be a method of interpreting index information about deep sleep. For example, indicators for deep sleep include an indicator of the latency to the first appearance of deep sleep, an indicator of the proportion of deep sleep in total sleep, an indicator of the number of deep cycle repetitions in total sleep, and an indicator of deep cycle repetitions in total sleep. It may include an indicator of the rate of change of sleep length and an indicator of the ratio of deep sleep in the first half of the total sleep, and the method of interpreting the REM sleep indicator is "1) The indicator of the delay time from sleep to the first appearance of deep sleep is when the first deep sleep is 2) The ratio of deep sleep to the total sleep refers to the ratio of deep sleep, which is around 20% in normal sleep. 3) The index for the number of deep cycles repeated among the total sleep refers to the number of deep cycles. 4) The rate of change in deep sleep length when deep cycles are repeated among the total sleep increases. In normal sleep, it should gradually become shorter as a negative number. 5) The ratio of deep sleep in the first half of total sleep is normal. Deep sleep should occur mainly in the first half of sleep, so this value should be over 50%. It can be input into content creation artificial intelligence.
콘텐츠 생성형 인공지능 - LLM 모델Content Creation Artificial Intelligence - LLM Model
도 18은 대규모 언어 모델(Large Language Model)의 기반이 되는 Transformer모델의 구조를 설명하기 위한 도면이다.Figure 18 is a diagram to explain the structure of the Transformer model, which is the basis of a large language model.
본 발명에 있어서, 콘텐츠 생성형 인공지능은 사용자의 수면에 관한 하나 이상의 데이터 배열에 기초하여 콘텐츠를 생성할 수 있다. 콘텐츠 생성형 인공지능은 대규모 언어 모델(Large Language Model)일 수 있으나, 이에 한정되지 않는다. 예를 들어, 대규모 언어 모델(Large Language Model)은 Transformer모델 기반의 GPT(Generative Pretrained Transformer), BERT(Bidirectional Encoder Representations from Transformers)기반의 대규모 언어 모델일 수 있으나, 이에 한정되지 않는다.In the present invention, content generation artificial intelligence can generate content based on one or more data arrays regarding the user's sleep. Content generation artificial intelligence may be a large language model, but is not limited to this. For example, the large language model may be a large language model based on the Transformer model-based GPT (Generative Pretrained Transformer) or BERT (Bidirectional Encoder Representations from Transformers), but is not limited to these.
본 발명의 일실시예에 있어서, 콘텐츠 생성형 인공지능은 Transformer모델 기반의 생성형 인공지능일 수 있다. 도13에 도시된 바와 같이 Transformer모델은 인코더, 디코더로 구성될 수 있고, 주의(Attention), 자기 주의(Self-Attention), 다중 헤드 주의(Multi-Head Attention) 매커니즘을 이용할 수 있다. In one embodiment of the present invention, the content generation artificial intelligence may be a generative artificial intelligence based on the Transformer model. As shown in Figure 13, the Transformer model can be composed of an encoder and a decoder, and can use Attention, Self-Attention, and Multi-Head Attention mechanisms.
도 18에 도시된 바와 같이, 본 발명의 일실시예에 따른 Trnasformer모델은 인코더를 포함할 수 있다. 구체적으로, 인코더는 6개의 동일한 레이어로 구성될 수 있고, 각 레이어는 두 개의 서브레이어로 구성될 수 있다. 여기서, 첫 번째 서브레이어는, 다중 헤드 자기주의 매커니즘(Multi-Head Self-Attention) 매커니즘 레이어 일 수 있고, 두 번째 서브레이어는 위치별 완전 연결 피드포워드 네트워크(Position-wise Fully Connected Feed-forward network)일 수 있다. 이를 통해서 입력되는 데이터 배열이 다른 데이터 배열과 상호작용 할 수 있도록 하여, 문장의 구조와 문맥을 더 잘 이해할 수 있다.As shown in Figure 18, the Trnasformer model according to an embodiment of the present invention may include an encoder. Specifically, the encoder may be composed of six identical layers, and each layer may be composed of two sublayers. Here, the first sublayer may be a Multi-Head Self-Attention mechanism layer, and the second sublayer may be a Position-wise Fully Connected Feed-forward network. It can be. This allows the input data array to interact with other data arrays, allowing for a better understanding of the structure and context of the sentence.
도 18에 도시된 바와 같이, 본 발명의 일실시예에 따른 Trnasformer모델은 디코더를 포함할 수 있다. 구체적으로, 디코더는 6개의 동일한 레이어로 구성될 수 있고, 각 레이어는 세 개의 서브레이어로 구성될 수 있다. 여기서, 첫 번째 서브레이어는 다중 헤드 자기주의 매커니즘(Multi-Head Self-Attention)일 수 있고, 두 번째 서브레이어는 위치별 완전 연결 피드포워드 네트워크(Position-wise Fully Connected Feed-forward network)일 수 있으며, 세 번째 서브레이어는 인코더의 출력에 대해 다중 헤드 주의(Multi-Head Attention)일 수 있다. 여기서, 첫 번째 서브레이어는 각 시점에서의 다음 토큰을 예측하기 위해서, 현재 위치 이후의 정보를 참조하지 않기 위해, 현재 위치 이후의 위치에 주의를 기울이지 않도록 하는 마스킹 과정을 거친다.As shown in Figure 18, the Trnasformer model according to an embodiment of the present invention may include a decoder. Specifically, the decoder may be composed of six identical layers, and each layer may be composed of three sublayers. Here, the first sublayer may be a Multi-Head Self-Attention mechanism, and the second sublayer may be a Position-wise Fully Connected Feed-forward network. , The third sublayer may be multi-head attention for the output of the encoder. Here, the first sublayer goes through a masking process to predict the next token at each point, not to refer to information after the current location, and not to pay attention to the location after the current location.
도 18에 도시된 바와 같이, 본 발명의 일실시예에 따른 Trnasformer모델은 주의(Attention) 매커니즘을 포함할 수 있다. 구체적으로, 쿼리와 일련의 키,값 쌍을 출력으로 매핑할 수 있다. 출력은 값의 가중치 합으로 계산되며, 각 값에 할당된 가중치는 쿼리와 해당 키의 호환성 함수에 의해서 계산될 수 있다. 주의 매커니즘은 시퀀스-투-시퀀스(sequence-to-sequnce) 모델에서 중요한 부분에 더 많은 주의를 기울이도록 훈련하는데 사용될 수 있다.As shown in FIG. 18, the Trnasformer model according to an embodiment of the present invention may include an attention mechanism. Specifically, you can map a query and a set of key, value pairs to output. The output is calculated as a weighted sum of values, and the weight assigned to each value can be calculated by the compatibility function of the query and the corresponding key. Attention mechanisms can be used to train sequence-to-sequence models to pay more attention to important parts.
도 18에 도시된 바와 같이, 본 발명의 일실시예에 따른 Transformer모델은 자기주의(Self-Attention) 매커니즘과 다중 헤드 주의(Multi-head Attention)매커니즘을 포함할 수 있다. 구체적으로, 자기주의(Self-Attention)매커니즘은 입력 시퀀스의 다른 위치에 있는 모든 토큰에 주의를 기울이기 위해서, 다른 위치에 있는 토큰들에 각각 다른 가중치를 부여하고 가중치 합을 진행할 수 있다. 구체적으로, 다중 헤드 주의(Multi-Head Attention)매커니즘은 다양한 특징을 동시에 학습하고 고려하기 위해서, 여러 개의 자기주의(Self-Attention)매커니즘 레이어를 병렬로 사용하여 각각 다른 가중치를 사용할 수 있다.As shown in FIG. 18, the Transformer model according to an embodiment of the present invention may include a self-attention mechanism and a multi-head attention mechanism. Specifically, in order to pay attention to all tokens at different positions in the input sequence, the self-attention mechanism can assign different weights to tokens at different positions and perform weight summation. Specifically, the Multi-Head Attention mechanism can use multiple Self-Attention mechanism layers in parallel and use different weights for each in order to learn and consider various features simultaneously.
본 발명의 일실시예에 있어서, 콘텐츠 생성형 인공지능은 대규모 언어 모델일 수 있고, 대규모 언어 모델은 GPT(Generative Pretrained Transformer)기반 모델 일 수 있다. 구체적으로, GPT모델은 Transformer의 더코더 부분을 활용할 수 있다. 예를 들어, 디코더를 활용함으로써, 주어진 문맥에서 다음 단어를 예측하는 방식으로 문장에 대한 학습과 출력을 처리할 수 있는데, 각 단어를 기반으로 다음 단어를 예측할 수 있다.In one embodiment of the present invention, the content generation artificial intelligence may be a large-scale language model, and the large-scale language model may be a GPT (Generative Pretrained Transformer)-based model. Specifically, the GPT model can utilize the Coder part of Transformer. For example, by using a decoder, you can process the learning and output of sentences by predicting the next word in a given context, predicting the next word based on each word.
본 발명의 일실시예에 있어서, 콘텐츠 생성형 인공지능은 대규모 언어모델일 수 있고, 대규모 언어 모델은 BERT(Bidirectional Encoder Representations from Transformers)기반 모델일 수 있다. 구체적으로, BERT모델은 Transformer의 인코더 부분을 활용할 수 있다. 예를 들어, MLM(Masked Language Model)방식으로 학습될 수 있으며, MLM방식은 일부 단어를 가리고 그 단어를 예측하는 방식의 학습방법이다. 이 경우, 문장 전체를 한 번에 처리하므로 문장의 양쪽 방향에서의 정보를 얻을 수 있고, 문장의 모든 부분에서 문맥적인 정보를 동시에 고려할 수 있으며 이를 통해서 문장의 의미를 더 정확하게 이해할 수 있다.In one embodiment of the present invention, the content generation artificial intelligence may be a large-scale language model, and the large-scale language model may be a BERT (Bidirectional Encoder Representations from Transformers)-based model. Specifically, the BERT model can utilize the encoder part of Transformer. For example, it can be learned using the MLM (Masked Language Model) method, which is a learning method that masks some words and predicts those words. In this case, the entire sentence is processed at once, so information from both sides of the sentence can be obtained, and contextual information in all parts of the sentence can be considered simultaneously, which allows for a more accurate understanding of the meaning of the sentence.
콘텐츠 생성형 인공지능 - Diffusion기반 모델Content creation artificial intelligence - diffusion-based model
도 19는 본 발명에 일실시예에 따른 콘텐츠 생성형 인공지능에 있어서, DIFFUSION 모델의 역확산모델(Inverter Model)을 설명하기 위한 도면이다.Figure 19 is a diagram for explaining the inverter model of the DIFFUSION model in the content creation type artificial intelligence according to an embodiment of the present invention.
본 발명의 일실시예에 따른 콘텐츠 생성형 인공지능은 DIFFUSION 모델 기반의 생성형 인공지능일 수 있다. DIFFUSION 모델은 이미지, 음성, 텍스트 등 다양한 유형의 데이터 생성에 사용될 수 있고, 데이터의 노이즈를 점진적으로 감소시키면서 실제 데이터에 가까운 결과를 생성하도록 학습될 수 있다. 이 경우, 학습된 DIFFUSION 모델은 주어진 데이터 배열을 점진적으로 확산시키는 방식으로 작동할 수 있다.Content generation artificial intelligence according to an embodiment of the present invention may be generative artificial intelligence based on the DIFFUSION model. DIFFUSION models can be used to generate various types of data such as images, voices, and texts, and can be learned to produce results close to actual data while gradually reducing noise in the data. In this case, the learned DIFFUSION model can operate by gradually diffusing a given data array.
본 발명의 일 실시예에 따른 콘텐츠 생성형 인공지능은 DIFFUSION 모델 기반의 생성형 인공지능일 수 있다. DIFFUSION 모델은 노이즈 모델(Nosie Model)과 역확산 모델(Inverter Model)로 구성될 수 있다. 구체적으로, 노이즈 모델(Noise Model)은 초기 데이터에 노이즈를 부가하는 함수이고, 이 함수는 생성자가 시작점으로 사용할 노이즈를 생성하고 시간이 지남에 따라서 노이즈를 감소시킨다. 즉, 노이즈 모델 함수는 초기에는 노이즈가 매우 크지만, 점차적으로 데이터에 미세한 노이즈만 부가하도록 조절될 수 있다.Content generation artificial intelligence according to an embodiment of the present invention may be generative artificial intelligence based on the DIFFUSION model. The DIFFUSION model can be composed of a noise model (Nosie Model) and an inverter model. Specifically, the Noise Model is a function that adds noise to initial data. This function generates noise that the generator uses as a starting point and reduces the noise over time. In other words, the noise model function initially has very large noise, but can be gradually adjusted to add only subtle noise to the data.
본 발명의 일 실시예에 따른 콘텐츠 생성형 인공지능은 DIFFUSION 모델 기반의 생성형 인공지능일 수 있다. DIFFUSION 모델은 노이즈 모델(Nosie Model)과 역확산 모델(Inverter Model)로 구성될 수 있다. 구체적으로, 역확산 모델(Inverter Model)은 생성된 결과를 초기 데이터로 복원하는 함수이고, 이 함수는 생성자가 생성한 결과를 입력으로 하여, 초기 데이터로 되돌리는 노이즈를 제거하는 연산을 진행할 수 있다.Content generation artificial intelligence according to an embodiment of the present invention may be generative artificial intelligence based on the DIFFUSION model. The DIFFUSION model can be composed of a noise model (Nosie Model) and an inverter model. Specifically, the Inverter Model is a function that restores the generated result to the initial data. This function takes the result generated by the generator as input and can perform an operation to remove noise that returns to the initial data. .
본 발명의 일 실시예에 따른 콘텐츠 생성형 인공지능은 DIFFUSION 모델 기반의 생성형 인공지능일 수 있다. DIFFUSION 모델은 노이즈 모델(Nosie Model)과 역확산 모델(Inverter Model)로 구성될 수 있다. 구체적으로, DIFFUSION 모델은 노이즈 모델과 역확산 모델을 번갈아 가며 사용하며, 원하는 출력을 생성하는 과정에서 데이터와 노이즈 부가 및 제거 과정을 개선할 수 있다. 예를 들어서, DIFFUSION 모델에서 사용하는 노이즈는 학습 초기에는 무작위한 노이즈를 사용할 수 있지만, 훈련을 통해서 실제 데이터와 유사한 출력을 생성할 수 있다. DIFFUSION 모델은 노이즈의 부가와 제거의 학습을 통해서 데이터 생성, 이미지 복원, 이미지 편집 등 다양한 분야에서 사용될 수 있다. Content generation artificial intelligence according to an embodiment of the present invention may be generative artificial intelligence based on the DIFFUSION model. The DIFFUSION model can be composed of a noise model (Nosie Model) and an inverter model. Specifically, the DIFFUSION model alternately uses a noise model and a de-diffusion model, and can improve the process of adding and removing data and noise in the process of generating the desired output. For example, the noise used in the DIFFUSION model may be random noise at the beginning of learning, but through training, it can generate output similar to actual data. The DIFFUSION model can be used in various fields such as data generation, image restoration, and image editing through learning to add and remove noise.
콘텐츠 생성형 인공지능 - GAN기반 모델Content creation artificial intelligence - GAN-based model
도 20은 본 발명에 일실시예에 따른 콘텐츠 생성형 인공지능에 있어서, GAN(Generative Adversarial Network)의 생성자(Generator)와 판별자(Discriminator)를 설명하기 위한 도면이다.Figure 20 is a diagram for explaining the generator and discriminator of a GAN (Generative Adversarial Network) in content generation artificial intelligence according to an embodiment of the present invention.
본 발명의 일실시예에 따른 콘텐츠 생성형 인공지능은 GAN(Generative Adversarial Network)모델 기반의 생성형 인공지능일 수 있다. GAN 모델은 생성자(Generator)와 판별자(Discriminator)를 포함할 수 있다. GAN 모델은 이미지, 음성, 텍스트 등 다양한 유형의 데이터 생성에 사용될 수 있고, 실제 데이터와 유사한 출력을 생성할 수 있도록 학습될 수 있다.Content generation artificial intelligence according to an embodiment of the present invention may be generative artificial intelligence based on a GAN (Generative Adversarial Network) model. A GAN model may include a generator and a discriminator. GAN models can be used to generate various types of data such as images, voices, and texts, and can be trained to generate output similar to real data.
본 발명의 일실시예에 따른 콘텐츠 생성형 인공지능은 GAN(Generative Adversarial Network)모델 기반의 생성형 인공지능일 수 있다. GAN 모델은 생성자(Generator)를 포함할 수 있다. 구체적으로, 생성자는 주어진 랜덤 벡터 노이즈를 입력으로 받아 실제 데이터와 유사한 가짜 데이터를 생성할 수 있고, 초기에는 무작위한 출력을 생성하며 훈련 과정에서 실제 데이터와 구분하기 어렵도록 능력을 향상될 수 있다. 구체적으로, 생성자는 판별자를 더 잘 속이도록 학습될 수 있다.Content generation artificial intelligence according to an embodiment of the present invention may be generative artificial intelligence based on a GAN (Generative Adversarial Network) model. A GAN model may include a generator. Specifically, the generator can receive a given random vector noise as input and generate fake data similar to real data, initially generate random output, and improve its ability to make it difficult to distinguish from real data during the training process. Specifically, the generator can be learned to better fool the discriminator.
본 발명의 일실시예에 따른 콘텐츠 생성형 인공지능은 GAN(Generative Adversarial Network)모델 기반의 생성형 인공지능일 수 있다. GAN 모델은 판별자(Discriminator)를 포함할 수 있다. 구체적으로, 판별자는 생성자로부터 생성된 가짜 데이터와 실제 데이터를 구분하는 분류기 역할을 수행할 수 있다. 구체적으로, 판별자는 생성자로부터 생성된 가짜 데이터와 실제 데이터를 구분하여 정확한 예측을 할 수 있도록 학습될 수 있다. 구체적으로, 판별자는 생성자가 생성한 가짜 데이터를 실제 데이터와 더 잘 구분할 수 있도록 학습될 수 있다.Content generation artificial intelligence according to an embodiment of the present invention may be generative artificial intelligence based on a GAN (Generative Adversarial Network) model. The GAN model may include a discriminator. Specifically, the discriminator can serve as a classifier that distinguishes between fake data generated from a generator and real data. Specifically, the discriminator can be trained to make accurate predictions by distinguishing between fake data generated from the generator and real data. Specifically, the discriminator can be trained to better distinguish fake data generated by the generator from real data.
본 발명의 일실시예에 따른 콘텐츠 생성형 인공지능은 대규모 언어 모델, DIFFUSION 모델 및 GAN 모델 중 하나 이상의 조합일 수 있으나, 이에 한정되지 않는다.The content generation artificial intelligence according to an embodiment of the present invention may be a combination of one or more of a large-scale language model, a DIFFUSION model, and a GAN model, but is not limited to this.
본 발명의 일실시예에 따른 콘텐츠 생성형 인공지능은 대규모 언어 모델, DIFFUSION 모델 및 GAN 모델 중 하나 이상의 조합에 기반한 생성형 인공지능 일 수 있으나, 이에 한정되지 않는다.Content generation artificial intelligence according to an embodiment of the present invention may be generative artificial intelligence based on a combination of one or more of a large-scale language model, a DIFFUSION model, and a GAN model, but is not limited to this.
상술한 콘텐츠 생성형 인공지능은 본 발명의 실시예에 따른 생성형 인공지능 모델이며, 이에 한정되지 않는다.The content-generating artificial intelligence described above is a generative artificial intelligence model according to an embodiment of the present invention, and is not limited thereto.
수면 콘텐츠 생성Create sleep content
음원 샘플 리스트- 수면 관련 음원 샘플Sound source sample list - Sleep-related sound source samples
본 발명의 일실시예에 따른, 생성형 인공지능을 활용한 사용자 수면정보에 기반하여 수면 콘텐츠의 생성 및 제공을 하기 위해, 음원 샘플 리스트에 기초하여 콘텐츠를 생성할 수 있다. 음원 샘플 리스트는 음원 샘플 타이틀 및 샘플 음원을 포함할 수 있다.In order to generate and provide sleep content based on user sleep information using generative artificial intelligence according to an embodiment of the present invention, content can be created based on a sound source sample list. The sound source sample list may include sound source sample titles and sample sound sources.
본 발명의 일 실시예에 따른, 음원 샘플 리스트는 백색소음과 연관된 음원, 물과 연관된 음원, 자연과 연관된 음원, ASMR과 연관된 음원, SF/판타지와 관련된 음원, 대화와 관련된 음원, 악기와 관련된 음원, 동물과 관련된 음원, 멜로디와 관련된 음원, 도시와 관련된 음원, 모너럴비트(규칙적인 소리) 음원, 바이노럴 비트(Binaural Beats) 음원 및 솔페지오 주파수(Solfeggio Frequency) 음원을 포함할 수 있으나, 여기에 한정되지 않는다.According to an embodiment of the present invention, the sound source sample list includes sound sources related to white noise, sound sources related to water, sound sources related to nature, sound sources related to ASMR, sound sources related to science fiction/fantasy, sound sources related to conversation, and sound sources related to musical instruments. , may include animal-related sound sources, melody-related sound sources, city-related sound sources, monaural beats (regular sounds) sound sources, binaural beats sound sources, and Solfeggio Frequency sound sources, It is not limited to this.
본 발명의 일 실시예에 따른, 백색소음과 연관된 음원은 딥 브라운 노이즈, 그린 노이즈, 화이팅 노이즈, 핑크 노이즈, 블루 노이즈, 그레이 노이즈, 바이올렛 노이즈, 브라운 노이즈, 에어컨 소리, 우주선을 연상시키는 소리, 비행기를 연상시키는 소리를 포함할 수 있으나, 여기에 한정되지 않는다.According to an embodiment of the present invention, sound sources related to white noise include deep brown noise, green noise, fighting noise, pink noise, blue noise, gray noise, violet noise, brown noise, air conditioner sound, sound reminiscent of a spaceship, and airplane. It may include sounds reminiscent of , but is not limited to this.
본 발명의 일 실시예에 따른, 물과 연관된 음원은 강을 연상시키는 음원, 비를 연상시키는 음원, 바다를 연상시키는 음원, 샤워를 연상시키는 음원, 폭포를 연상시키는 음원, 집중 호우를 연상시키는 음원, 호숫가를 연상시키는 음원, 식기세척기를 연상시키는 음원, 분수를 연상시키는 음원, 비오는 도시를 연상시키는 음원, 아쿠아리움을 연상시키는 음원, 대나무 숲을 연상시키는 음원, 욕실을 연상시키는 음원, 끓는 물약을 연상시키는 음원, 빗속의 드라이브를 연상시키는 음원, 물 위의 보트를 연상시키는 음원, 욕조를 연상시키는 음원, 창문에 떨어지는 비를 연상시키는 음원, 바위에 부서지는 파도를 연상시키는 음원, 동굴을 연상시키는 음원, 항해를 연상시키는 음원, 느린 파도를 연상시키는 음원, 약한 비를 연상시키는 음원, 세찬 비를 연상시키는 음원, 비오는 날을 연상시키는 음원, 수중 환경을 연상시키는 음원, 몰입을 연상시키는 음원, 비오는 우림을 연상시키는 음원, 해변을 연상시키는 음원, 얼음눈을 연상시키는 음원, 지붕에 내리는 비를 연상시키는 음원, 텐트에 떨어지는 비를 연상시키는 음원 및 찰랑거리는 물의 소리를 연상시키는 음원을 포함할 수 있으나, 여기에 한정되지 않는다.According to an embodiment of the present invention, sound sources associated with water include a sound source reminiscent of a river, a sound source reminiscent of rain, a sound source reminiscent of the sea, a sound source reminiscent of a shower, a sound source reminiscent of a waterfall, and a sound source reminiscent of heavy rain. , a sound source reminiscent of a lake, a sound source reminiscent of a dishwasher, a sound source reminiscent of a fountain, a sound source reminiscent of a rainy city, a sound source reminiscent of an aquarium, a sound source reminiscent of a bamboo forest, a sound source reminiscent of a bathroom, a sound source reminiscent of a boiling potion. A sound source reminiscent of a drive in the rain, a sound source reminiscent of a boat on the water, a sound source reminiscent of a bathtub, a sound source reminiscent of rain falling on a window, a sound source reminiscent of waves crashing on rocks, a sound source reminiscent of a cave. , a sound source reminiscent of sailing, a sound source reminiscent of slow waves, a sound source reminiscent of light rain, a sound source reminiscent of heavy rain, a sound source reminiscent of a rainy day, a sound source reminiscent of an underwater environment, a sound source reminiscent of immersion, a rainy rain forest. It may include a sound source reminiscent of a sound source, a sound source reminiscent of a beach, a sound source reminiscent of ice snow, a sound source reminiscent of rain falling on a roof, a sound source reminiscent of rain falling on a tent, and a sound source reminiscent of the sound of lapping water. It is not limited to this.
본 발명의 일 실시예에 따른, 자연과 연관된 음원은 밤을 연상시키는 음원, 바람을 연상시키는 음원, 천둥을 연상시키는 음원, 캠프파이어를 연상시키는 음원, 캐나다의 숲을 연상시키는 음원, 숲 속의 산책을 연상시키는 음원, 심장 박동을 연상시키는 음원, 폭풍을 연상시키는 음원, 화창한 날을 연상시키는 음원, 풍랑을 연상시키는 음원, 숲을 연상시키는 음원, 토스카나를 연상시키는 음원, 오후를 연상시키는 음원, 뇌우를 연상시키는 음원, 주피터를 연상시키는 음원, 숲 속의 바람을 연상시키는 음원, 바스락거리는 잎을 연상시키는 음원 및 불타는 소리를 연상시키는 음원을 포함할 수 있으나, 여기에 한정되지 않는다.According to an embodiment of the present invention, sound sources related to nature include a sound source reminiscent of the night, a sound source reminiscent of the wind, a sound source reminiscent of thunder, a sound source reminiscent of a campfire, a sound source reminiscent of a Canadian forest, and a walk in the forest. A sound source reminiscent of a heartbeat, a sound source reminiscent of a storm, a sound source reminiscent of a sunny day, a sound source reminiscent of a storm, a sound source reminiscent of a forest, a sound source reminiscent of Tuscany, a sound source reminiscent of an afternoon, a thunderstorm It may include, but is not limited to, a sound source reminiscent of , a sound source reminiscent of Jupiter, a sound source reminiscent of the wind in the forest, a sound source reminiscent of rustling leaves, and a sound source reminiscent of a burning sound.
본 발명의 일 실시예에 따른, ASMR과 연관된 음원은 침대 시트를 연상시키는 음원, 점액을 연상시키는 음원, 끈끈한 점액을 연상시키는 음원, 탄산음료를 연상시키는 음원, 거품을 연상시키는 음원, 마이크 긁히는 소리를 연상시키는 음원, 골골송을 연상시키는 음원, 메이크업 브러시를 연상시키는 음원, 끓는 물을 연상시키는 음원, 아이스 큐브 귀 마사지를 연상시키는 음원, 귀에 바람을 불어넣는 것을 연상시키는 음원, 프라이팬을 연상시키는 음원, 에어캡을 연상시키는 음원, 요정의 속삭임을 연상시키는 음원, 말린 허브를 연상시키는 음원, 빗소리를 연상시키는 음원, 손가락 비비는 소리를 연상시키는 음원, 종이 책 페이지 넘기는 소리를 연상시키는 음원, 눈 위를 걷는 것을 연상시키는 음원, 바스락거리는 비닐소리를 연상시키는 음원, 글씨 쓰는 소리를 연상시키는 음원, 귀를 닦는 소리를 연상시키는 음원, 구슬이 떨어지는 소리를 연상시키는 음원 및 귀를 청소하는 소리를 연상시키는 음원을 포함할 수 있으나, 여기에 한정되지 않는다.According to an embodiment of the present invention, sound sources associated with ASMR include sound sources reminiscent of bed sheets, sound sources reminiscent of mucus, sound sources reminiscent of sticky mucus, sound sources reminiscent of carbonated drinks, sound sources reminiscent of bubbles, and microphone scratching sounds. A sound source reminiscent of a sound source, a sound source reminiscent of a boner, a sound source reminiscent of a makeup brush, a sound source reminiscent of boiling water, a sound source reminiscent of an ice cube ear massage, a sound source reminiscent of blowing air into the ear, a sound source reminiscent of a frying pan. , a sound source reminiscent of an air cap, a sound source reminiscent of a fairy's whisper, a sound source reminiscent of dried herbs, a sound source reminiscent of the sound of rain, a sound source reminiscent of the sound of rubbing fingers, a sound source reminiscent of the sound of turning the pages of a paper book, on snow. A sound source reminiscent of walking, a sound source reminiscent of the sound of rustling vinyl, a sound source reminiscent of the sound of writing, a sound source reminiscent of the sound of cleaning ears, a sound source reminiscent of the sound of beads falling, and a sound source reminiscent of the sound of cleaning the ears. It may include, but is not limited to.
본 발명의 일 실시예에 따른, SF/판타지와 연관된 음원은 뇌파 스캐너를 연상시키는 음원, 컴퓨터 신호음을 연상시키는 음원, 레이저 빔을 연상시키는 음원, 리액터를 연상시키는 음원, 우주선을 연상시키는 음원, 서버실을 연상시키는 음원, 로켓 엔진을 연상시키는 음원, 우주의 소리를 연상시키는 음원, 우주선에서 걷는 소리를 연상시키는 음원 및 주피터를 연상시키는 소리를 포함할 수 있으나, 여기에 한정되지 않는다.According to an embodiment of the present invention, sound sources related to science fiction/fantasy include a sound source reminiscent of an brain wave scanner, a sound source reminiscent of a computer beep, a sound source reminiscent of a laser beam, a sound source reminiscent of a reactor, a sound source reminiscent of a spaceship, and a server. It may include, but is not limited to, a sound source reminiscent of a thread, a sound source reminiscent of a rocket engine, a sound source reminiscent of the sound of space, a sound source reminiscent of the sound of walking in a spaceship, and a sound reminiscent of Jupiter.
본 발명의 일 실시예에 따른, 대화와 연관된 음원은 호흡을 연상시키는 음원, 명상을 연상시키는 음원 및 최면 단어를 연상시키는 음원을 포함할 수 있으나, 여기에 한정되지 않는다.According to an embodiment of the present invention, sound sources associated with conversation may include, but are not limited to, sound sources reminiscent of breathing, sound sources reminiscent of meditation, and sound sources reminiscent of hypnotic words.
본 발명의 일 실시예에 따른, 악기와 연관된 음원은 뮤직박스를 연상시키는 음원, 베이비 슈셔를 연상시키는 음원, 콧노래를 연상시키는 음원, 자궁을 연상시키는 음원, 베이비 마림바를 연상시키는 음원, 베이비 벨을 연상시키는 음원, 딸랑이를 연상시키는 음원, 브람스의 자장가를 연상시키는 음원, 비행기를 연상시키는 음원을 포함할 수 있으나 여기에 한정되지 않는다.According to an embodiment of the present invention, sound sources associated with musical instruments include a sound source reminiscent of a music box, a sound source reminiscent of a baby shusher, a sound source reminiscent of a hum, a sound source reminiscent of a womb, a sound source reminiscent of a baby marimba, and a baby bell. It may include, but is not limited to, an evocative sound source, a sound source reminiscent of a rattle, a sound source reminiscent of Brahms' lullaby, and a sound source reminiscent of an airplane.
본 발명의 일 실시예에 따른, 동물과 연관된 음원은 새를 연상시키는 음원, 황소개구리를 연상시키는 음원, 호박벌을 연상시키는 음원, 소를 연상시키는 음원, 아침 새소리를 연상시키는 음원, 돌고래를 연상시키는 음원, 병아리를 연상시키는 음원, 닭을 연상시키는 음원, 오리를 연상시키는 음원, 말발굽 소리를 연상시키는 음원, 열대 새를 연상시키는 음원, 양의 걸음걸이를 연상시키는 음원, 뻐꾸기 소리를 연상시키는 음원, 짹짹 거리는 새의 소리를 연상시키는 음원, 고래가 떠나는 여행을 연상시키는 음원, 고래를 연상시키는 음원, 갈매기를 연상시키는 음원, 올빼미를 연상시키는 음원, 개구리를 연상시키는 음원, 그르렁거리는 고양이 연상시키는 음원, 늑대를 연상시키는 음원, 아비새를 연상시키는 음원, 매미를 연상시키는 음원 및 청개구리를 연상시키는 음원을 포함할 수 있으나, 여기에 한정되지 않는다.According to an embodiment of the present invention, sound sources associated with animals include a sound source reminiscent of a bird, a sound source reminiscent of a bullfrog, a sound source reminiscent of a bumble bee, a sound source reminiscent of a cow, a sound source reminiscent of a morning bird, and a sound source reminiscent of a dolphin. A sound source, a sound source reminiscent of a chick, a sound source reminiscent of a chicken, a sound source reminiscent of a duck, a sound source reminiscent of the sound of horses' hooves, a sound source reminiscent of a tropical bird, a sound source reminiscent of the gait of a sheep, a sound source reminiscent of a cuckoo sound, A sound source reminiscent of a chirping bird, a sound source reminiscent of a whale's journey, a sound source reminiscent of a whale, a sound source reminiscent of a seagull, a sound source reminiscent of an owl, a sound source reminiscent of a frog, a sound source reminiscent of a purring cat, It may include, but is not limited to, a sound source reminiscent of a wolf, a sound source reminiscent of a loon, a sound source reminiscent of a cicada, and a sound source reminiscent of a tree frog.
본 발명의 일 실시예에 따른, 멜로디와 연관된 음원은 영원을 연상시키는 음원, 신스웨이브를 연상시키는 음원, 오케스트라를 연상시키는 음원, 멜로디를 연상시키는 음원, 음율의 선을 연상시키는 음원, 가을을 연상시키는 음원, 업라이트 피아노를 연상시키는 음원, 라운지를 연상시키는 음원, 별을 연상시키는 음원, 부족을 연상시키는 음원, 인도를 연상시키는 음원, 티벳 그릇을 연상시키는 음원, 환희를 연상시키는 음원, 풍경을 연상시키는 음원, 음성을 연상시키는 음원, 관찰하는 느낌을 연상시키는 음원, 베이스 음악을 연상시키는 음원, 궤도를 연상시키는 음원, 드럼을 연상시키는 음원, 피리를 연상시키는 음원, 합창단을 연상시키는 음원, 별을 구경하는 것을 연상시키는 음원, 기타를 치는 것을 연상시키는 음원, 드라마틱한 감정을 연상시키는 음원, 나비를 연상시키는 음원, 중세시대를 연상시키는 음원, 지구를 배경으로 한 드라마를 연상시키는 음원, 꿈을 연상시키는 음원, 추상을 연상시키는 음원, 플루트를 연상시키는 음원, 은하수를 연상시키는 음원, 봄을 연상시키는 음원, 도시를 연상시키는 음원, 작은 티벳볼을 연상시키는 음원, 큰 티벳볼을 연상시키는 음원, 두둑을 연상시키는 음원, 콧노래를 연상시키는 음원, 발리의 안개를 연상시키는 음원, 인도 드림을 연상시키는 음원, 파헬벨 캐논을 연상시키는 음원, 염불을 연상시키는 음원, 작은 싱잉볼을 연상시키는 음원, 중간 싱잉볼을 연상시키는 음원, 큰 싱잉볼을 연상시키는 음원, 마법의 차임벨을 연상시키는 음원, 기도하는 시간을 연상시키는 음원, 고대를 연상시키는 음원, 하모니를 연상시키는 음원을 포함할 수 있으나 여기에 한정되지 않는다.According to an embodiment of the present invention, a sound source associated with a melody is a sound source reminiscent of eternity, a sound source reminiscent of synthwave, a sound source reminiscent of an orchestra, a sound source reminiscent of a melody, a sound source reminiscent of a musical line, and a sound source reminiscent of autumn. A sound source reminiscent of an upright piano, a sound source reminiscent of a lounge, a sound source reminiscent of a star, a sound source reminiscent of a tribe, a sound source reminiscent of India, a sound source reminiscent of a Tibetan bowl, a sound source reminiscent of joy, a sound source reminiscent of a landscape. A sound source reminiscent of a voice, a sound source reminiscent of a feeling of observation, a sound source reminiscent of bass music, a sound source reminiscent of an orbit, a sound source reminiscent of a drum, a sound source reminiscent of a flute, a sound source reminiscent of a choir, a sound source reminiscent of stars. A sound source reminiscent of sightseeing, a sound source reminiscent of playing a guitar, a sound source reminiscent of dramatic emotions, a sound source reminiscent of a butterfly, a sound source reminiscent of the Middle Ages, a sound source reminiscent of a drama set on Earth, a sound source reminiscent of a dream. A sound source reminiscent of abstraction, a sound source reminiscent of a flute, a sound source reminiscent of the Milky Way, a sound source reminiscent of spring, a sound source reminiscent of a city, a sound source reminiscent of a small Tibetan ball, a sound source reminiscent of a large Tibetan ball, patter A sound source reminiscent of a hum, a sound source reminiscent of a Balinese fog, a sound source reminiscent of an Indian dream, a sound source reminiscent of the Pachelbel Canon, a sound source reminiscent of chanting, a sound source reminiscent of a small singing bowl, a medium singing bowl It may include, but is not limited to, a sound source reminiscent of a sound source, a sound source reminiscent of a large singing bowl, a sound source reminiscent of a magic chime, a sound source reminiscent of a time of prayer, a sound source reminiscent of ancient times, and a sound source reminiscent of harmony. .
본 발명의 일 실시예에 따른, 도시와 연관된 음원은 흔들이 선풍기를 연상시키는 음원, 샤워를 연상시키는 음원, 에어컨을 연상시키는 음원, 식기세척기를 연상시키는 음원, 커피숍을 연상시키는 음원, 기차를 연상시키는 음원, 비오는 도시를 연상시키는 음원, 아쿠아리움을 연상시키는 음원, 욕실을 연상시키는 음원, 빗속의 드라이브를 연상시키는 음원, 욕조를 연상시키는 음원, 차가운 금속 소리를 연상시키는 음원, 스프링 쿨러를 연상시키는 음원, 지붕에 내리는 비를 연상시키는 음원, 놀이터를 연상시키는 음원, 대형 괘종시계를 연상시키는 음원, 드라이어를 연상시키는 음원, 도시 분위기를 연상시키는 음원, 뱃고동 소리를 연상시키는 음원, 청소기를 연상시키는 음원, 키보드를 연상시키는 음원, 군중을 연상시키는 음원, 멀리서 오는 기차를 연상시키는 음원, 카니발을 연상시키는 음원, 트럭 엔진을 연상시키는 음원, 헤어드라이기를 연상시키는 음원 및 고속도로를 연상시키는 음원을 포함할 수 있으나, 여기에 한정되지 않는다.According to an embodiment of the present invention, sound sources associated with a city include a sound source reminiscent of a swinging fan, a sound source reminiscent of a shower, a sound source reminiscent of an air conditioner, a sound source reminiscent of a dishwasher, a sound source reminiscent of a coffee shop, and a train. An evocative sound source, a sound source reminiscent of a rainy city, a sound source reminiscent of an aquarium, a sound source reminiscent of a bathroom, a sound source reminiscent of a drive in the rain, a sound source reminiscent of a bathtub, a sound source reminiscent of a cold metal sound, a sound source reminiscent of a sprinkler. A sound source, a sound source reminiscent of rain falling on a roof, a sound source reminiscent of a playground, a sound source reminiscent of a large grandfather clock, a sound source reminiscent of a dryer, a sound source reminiscent of a city atmosphere, a sound source reminiscent of the sound of a boat horn, a sound source reminiscent of a vacuum cleaner. , a sound source reminiscent of a keyboard, a sound source reminiscent of a crowd, a sound source reminiscent of a train coming from afar, a sound source reminiscent of a carnival, a sound source reminiscent of a truck engine, a sound source reminiscent of a hair dryer, and a sound source reminiscent of a highway. However, it is not limited to this.
본 발명의 일 실시예에 따른, 음원 샘플리스트는 모너럴 비트를 포함할 수 있다. 모너럴 비트는 두 개 이상의 서로 다른 주파수를 가진 사인파를 조합하여 만들어 질 수 있고, 서로 다른 주파수의 조합으로 인해서, 각 사인파의 주파수 차이만큼을 주기로 진동하게 되고, 집중할 수 있는 상태를 유도할 수 있다.According to an embodiment of the present invention, the sound source sample list may include monaural bits. Monaural beats can be created by combining sine waves with two or more different frequencies, and due to the combination of different frequencies, they oscillate at a period equal to the frequency difference of each sine wave, and can induce a state of concentration. .
본 발명의 일 실시예에 따른, 음원 샘플 리스트는 바이노럴 비트를 포함할 수 있다. 바이노럴 비트는 서로 다른 주파수를 양쪽 귀에서 듣게 되는 경우 두뇌에서 인지하게되는 제3의 소리일 수 있다.According to one embodiment of the present invention, the sound source sample list may include binaural beats. Binaural beats can be a third sound that the brain perceives when different frequencies are heard in both ears.
본 발명의 일 실시예에 따른, 음원 샘플 리스트는 솔페지오 주파수 소리를 포함할 수 있다. 솔페지오 주파수 소리는 396Hz, 417Hz, 528Hz, 639Hz, 741Hz, 852Hz중 어느 하나 이상을 포함할 수 있으나, 이에 한정되지 않는다.According to an embodiment of the present invention, the sound source sample list may include Solfeggio frequency sounds. Solfeggio frequency sounds may include, but are not limited to, any one or more of 396Hz, 417Hz, 528Hz, 639Hz, 741Hz, and 852Hz.
수면 플롯 생성 GENERATIONGENERATION OF SLEEP PLOT
도 21은 수면 플롯을 생성하기 위한 단계를 설명하기 위한 흐름도이다.Figure 21 is a flow chart to explain the steps for generating a sleep plot.
본 발명의 일실시예에 따른, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법은 사용자로부터 키워드를 입력 받는 사용자 키워드 입력 단계(S100), 사용자 키워드를 대규모 언어 모델의 입력으로 하여 기본 문장을 생성하는 단계(S110), 생성된 기본 문장에 기초하여 수면 문장 키워드를 선정하는 수면 문장 키워드 정제 단계(S120), 상기 선정된 문장 키워드에 기초하여 수면 콘텐츠 테마 선정 단계(S130), 선정된 수면 문장 키워드 및 상기 입력된 사용자 키워드에 기초하여 하나 이상의 수면 콘텐츠 이벤트를 선정 단계(S140), 및 상기 선정된 수면 콘텐츠 테마 및 상기 선정된 콘텐츠 이벤트에 기초하여 수면 콘텐츠를 생성하는 단계(S150)를 포함할 수 있다.According to an embodiment of the present invention, a method of generating and providing sleep content based on user sleep information using generative artificial intelligence includes a user keyword input step (S100) of receiving a keyword from the user, and inputting the user keyword into a large-scale language model. A step of generating a basic sentence (S110), a sleep sentence keyword refining step of selecting sleep sentence keywords based on the generated basic sentence (S120), and a sleep content theme selection step (S130) based on the selected sentence keywords. , selecting one or more sleep content events based on the selected sleep sentence keyword and the input user keyword (S140), and generating sleep content based on the selected sleep content theme and the selected content event ( S150) may be included.
그리고, 본 발명의 일실시예에 따른, 생성형 인공지능을 활용한 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법은 사용자로부터 키워드를 입력 받는 사용자 키워드 입력 단계(S100), 사용자 키워드를 대규모 언어 모델의 입력으로 하여 기본 문장을 생성하는 단계(S110), 생성된 기본 문장에 기초하여 수면 문장 키워드를 선정하는 수면 문장 키워드 정제 단계(S120), 상기 선정된 문장 키워드에 기초하여 수면 콘텐츠 테마 선정 단계(S130) 및 상기 선정된 수면 콘텐츠 테마에 기초하여 수면 콘텐츠를 생성하는 단계(S150)를 포함할 수 있다.In addition, according to an embodiment of the present invention, the method of generating and providing sleep content based on user sleep information using generative artificial intelligence includes a user keyword input step (S100) of receiving a keyword from the user, and a user keyword input step (S100), where the user keyword is entered into a large-scale language model. A step of generating a basic sentence using the input (S110), a sleep sentence keyword refining step of selecting sleep sentence keywords based on the generated basic sentence (S120), and a sleep content theme selection step based on the selected sentence keywords ( S130) and generating sleep content based on the selected sleep content theme (S150).
그리고, 본 발명의 일실시예에 따른, 사용자 키워드 입력 단계(S100)는 키워드 입력 작용을 통해 키워드를 입력 받을 수 있다. 구체적으로, 키워드 입력 작용은 사용자로부터 직접 입력 받는 방법과 사용자 정보로부터 키워드를 입력 받는 방법을 포함할 수 있으나, 이에 한정되지는 않는다.And, in the user keyword input step (S100) according to an embodiment of the present invention, a keyword can be input through a keyword input action. Specifically, the keyword input operation may include a method of receiving input directly from the user and a method of receiving keyword input from user information, but is not limited to this.
또한, 본 발명의 일실시예에 따른, 사용자 키워드 입력 단계(S100)에서는 사용자 키워드를 사용자로부터 직접 입력 받을 수 있다. 구체적으로, 사용자가 직접 키워드 입력 도구를 이용하여 입력할 수 있다. 예를 들어, 사용자가 텍스트를 입력할 수 있는 입력부에 사용자가 "따듯함, 나른함, 기분좋음"이라는 키워드를 입력할 수 있다. 예를 들어, 사용자에게 제공된 하나 이상의 텍스트 세트 "따뜻함, 나른함, 기분좋음, 추움, 피곤함, 어지러움" 중 직접 "따뜻함, 나른함, 기분좋음"을 선택하여 입력할 수 있다.Additionally, in the user keyword input step (S100) according to an embodiment of the present invention, the user keyword can be input directly from the user. Specifically, the user can directly input keywords using a keyword input tool. For example, a user may enter keywords such as “warmth, languidness, and good mood” into the input area where the user can enter text. For example, the user can directly select and input "warm, languid, pleasant" from one or more text sets "warm, languid, pleasant, cold, tired, dizzy" provided to the user.
또한, 본 발명의 일실시예에 따른, 사용자 키워드 입력 단계(S100)에서는 사용자 키워드를 사용자 정보로부터 입력 받을 수 있다. 구체적으로, 사용자 정보는 사용자의 인터넷 사용 기록, 사용자의 수면 콘텐츠에 대한 선호도, 사용자의 일반 콘텐츠에 대한 선호도, 사용자의 건강상태, 사용자의 신체정보, 사용자의 거주지역 정보 및 사용자의 거주지역 시각정보 중 적어도 하나 이상을 포함할 수 있으나, 이에 한정되지는 않는다. 예를 들어, 사용자 정보에 포함 된 사용자의 일반 콘텐츠는 영상 콘텐츠, 시각 콘텐츠, 텍스트 콘텐츠를 포함할 수 있고, 사용자의 일반 콘텐츠에 대한 선호도는 스와이프 방식(예컨대, 선호하면 오른쪽으로 스와이프하고, 선호하지 않으면 왼쪽으로 스와이프)를 통해서 얻을 수 있다. 예를 들어, 사용자 정보에 포함 된 사용자의 수면 콘텐츠에 대한 선호도는 본 발명의 일실시예에 따른 수면 콘텐츠 생성형 인공지능을 활용하여 생성된 수면 콘텐츠에 대해서 사용자의 선호도일 수 있다.Additionally, in the user keyword input step (S100) according to an embodiment of the present invention, the user keyword may be input from user information. Specifically, user information includes the user's Internet usage history, the user's preference for sleeping content, the user's preference for general content, the user's health status, the user's physical information, the user's residential area information, and the user's residential area visual information. It may include at least one or more of the following, but is not limited thereto. For example, the user's general content included in the user information may include video content, visual content, and text content, and the user's preference for general content may be determined by swiping (e.g., swipe to the right if preferred, If you don't prefer it, you can get it by swiping left. For example, the user's preference for sleep content included in the user information may be the user's preference for sleep content generated using sleep content generation artificial intelligence according to an embodiment of the present invention.
또한, 본 발명의 일실시예에 따른, 수면 문장 키워드 정제 단계(S120)에서는 수면 콘텐츠를 생성하기 위해서 기본 문장을 기초로 하여 키워드를 정제할 수 있다. 예를 들어, 수면 문장 키워드 정제 단계(S120)에서는 생성된 기본 문장을 대규모 언어 모델의 입력으로 하여 수면 문장 키워드를 추출할 수 있다.Additionally, in the sleep sentence keyword refining step (S120) according to an embodiment of the present invention, keywords may be refined based on the basic sentence to generate sleep content. For example, in the sleep sentence keyword refining step (S120), sleep sentence keywords can be extracted by using the generated basic sentence as an input to a large-scale language model.
그리고, 본 발명의 일실시예에 따른, 수면 콘텐츠 테마 선정 단계(S130)에서는, 음원 샘플 리스트의 음원 샘플 타이틀과 선정된 문장 키워드 및 상기 입력된 사용자 키워드와의 유사도인 제1유사도를 측정하는 단계 및 측정된 제1유사도에 기초하여 수면 콘텐츠 테마를 선정하는 단계를 포함할 수 있다.And, in the sleep content theme selection step (S130) according to an embodiment of the present invention, a first similarity, which is the similarity between the sound source sample title in the sound source sample list, the selected sentence keyword, and the input user keyword, is measured. and selecting a sleep content theme based on the measured first similarity.
또한, 본 발명의 일실시예에 따른 하나 이상의 수면 콘텐츠 이벤트를 선정하는 단계(S140)는 입력된 사용자 키워드의 형용사를 제거하고, 형용사가 제거된 사용자 키워드와 음원 샘플 리스트의 음원 샘플 타이틀의 유사도인 제2유사도를 측정하는 제2유사도 측정하고, 측정된 제2유사도에 기초하여 수면 콘텐츠 이벤트를 선정할 수 있다. 제2유사도를 측정할 때, 음원 샘플 타이틀과 상기 형용사가 제거된 사용자 키워드에 공통된 단어가 있는 경우에 제2유사도가 존재한다고 판단할 수 있다.In addition, the step (S140) of selecting one or more sleep content events according to an embodiment of the present invention removes the adjectives of the input user keyword, and calculates the similarity between the user keyword from which the adjective was removed and the sound source sample title in the sound source sample list. A second similarity may be measured, and a sleep content event may be selected based on the measured second similarity. When measuring the second similarity, it can be determined that the second similarity exists if there is a word in common between the sound source sample title and the user keyword from which the adjective has been removed.
그리고, 본 발명의 일실시예에 따른, 하나 이상의 수면 콘텐츠 이벤트 테마를 선정하는 단계(S140)에서는 음원 샘플 리스트의 음원 샘플 타이틀과 상기 선정된 문장 키워드 및 상기 입력된 사용자 키워드와의 유사도인 제3유사도를 측정하는 단계 및 측정된 제3유사도에 기초하여 상기 선정된 수면 콘텐츠 테마를 제외한 상기 음원 샘플 리스트의 음원 샘플 타이틀을 수면 콘텐츠 이벤트로 선정할 수 있다.In addition, in the step (S140) of selecting one or more sleep content event themes according to an embodiment of the present invention, a third similarity between the sound source sample title in the sound source sample list, the selected sentence keyword, and the input user keyword is used. Based on the step of measuring similarity and the measured third similarity, sound source sample titles from the sound source sample list excluding the selected sleep content theme may be selected as a sleep content event.
또한, 본 발명의 일실시예에 따른, 선정된 수면 콘텐츠 테마 및 선정된 콘텐츠 이벤트에 기초하여 수면 콘텐츠를 생성하는 단계(S150)에서는 생성된 기본 문장, 선정된 수면 콘텐츠 테마 및 상기 선정된 수면 콘텐츠 이벤트를 대규모 언어 모델의 입력으로 하여 수면 콘텐츠 문장을 생성하는 단계 및 상기 생성된 수면 콘텐츠 문장에 기초하여 수면 음원 콘텐츠을 생성하는 단계를 포함할 수 있다.In addition, in the step (S150) of generating sleep content based on the selected sleep content theme and the selected content event according to an embodiment of the present invention, the generated basic sentence, the selected sleep content theme, and the selected sleep content It may include generating a sleep content sentence by using an event as an input to a large-scale language model, and generating sleep sound source content based on the generated sleep content sentence.
그리고, 본 발명의 일실시예에 따른 수면 음원 콘텐츠를 생성하는 단계에 있어서 생성되는 수면 음원 콘텐츠는 상기 생성된 수면 콘텐츠 문장의 순서와 대응되고, 이를 통해서 사용자는 수면 음원 콘텐츠의 시계열적인 흐름과 수면 콘텐츠 문장의 시계열적인 흐름이 시계열적으로 연결됨을 통해서 자연스러운 콘텐츠의 진행을 심미적으로 경험할 수 있다.In addition, in the step of generating sleep sound source content according to an embodiment of the present invention, the generated sleep sound source content corresponds to the order of the generated sleep content sentences, and through this, the user can observe the time-series flow of sleep sound source content and sleep sound source content. By connecting the time-series flow of content sentences in a time-series manner, you can aesthetically experience the natural progression of content.
수면 콘텐츠 - 수면 음원 콘텐츠Sleep content - Sleep sound source content
본 발명에 일실시예에 따른, 수면 음원 콘텐츠는 음원 샘플 리스트에 기초하여 생성될 수 있다. 구체적으로, 하나 이상의 음원 샘플 리스트의 음원들을 수면 콘텐츠 테마로 선정할 수 있고, 하나 이상의 수면 콘텐츠 테마를 조합하여 수면 음원 콘텐츠를 생성할 수 있다.According to one embodiment of the present invention, sleep sound source content may be generated based on a sound source sample list. Specifically, sound sources from one or more sound source sample lists can be selected as a sleep content theme, and sleep sound source content can be generated by combining one or more sleep content themes.
본 발명에 일실시예에 따른, 수면 콘텐츠 테마는 하나 이상의 수면 콘텐츠 이벤트를 포함할 수 있고, 하나 이상의 음원 샘플 리스트의 음원들을 수면 콘텐츠 이벤트로 선정할 수 있고, 수면 콘텐츠 테마와 하나 이상의 수면 콘텐츠 이벤트 음원을 조합하여 수면 음원 콘텐츠를 생성할 수 있다.According to an embodiment of the present invention, a sleep content theme may include one or more sleep content events, sound sources in one or more sound source sample lists may be selected as sleep content events, and a sleep content theme and one or more sleep content events. Sleep sound content can be created by combining sound sources.
한편, 본 발명의 일 실시예에 따른 수면 음원 콘텐츠는 소리를 기반으로 사용자의 수면을 유도하는 정보를 포함할 수 있다. Meanwhile, sleep sound source content according to an embodiment of the present invention may include information that induces the user to sleep based on sound.
도 22는 본 발명의 일실시예에 따른, 콘텐츠 생성형 인공지능에 의해서 생성되는 수면 음원 콘텐츠를 설명하기 위한 도면이다.Figure 22 is a diagram for explaining sleep sound source content generated by content generation artificial intelligence according to an embodiment of the present invention.
본 발명의 일 실시예에 따른, 수면 음원 콘텐츠는 단일한 음향 정보일 수 있으며, 또는 소리를 기반으로 심상 유도 시나리오를 가진 시계열적 일련의 순서를 가진 음향 정보일 수 있다. 예를 들어, 선정된 수면 콘텐츠 테마에 대응되는 음원을 메인 음원으로 선정하여 재생하고, 선정된 수면 콘텐츠 이벤트를 음원을 조합하여 배치할 수 있다.According to an embodiment of the present invention, sleep sound source content may be single sound information, or may be sound information with a time-series sequence with an image-inducing scenario based on sound. For example, a sound source corresponding to the selected sleep content theme can be selected and played as the main sound source, and the selected sleep content event can be arranged by combining the sound sources.
도 22에 따르면, 본 발명의 일 실시예에 따른 수면 콘텐츠 테마와 대응되는 음원은 수면 음원 콘텐츠가 재생되는 모든 기간 동안 재생되고, 수면 콘텐츠 이벤트1 내지 수면 콘텐츠 이벤트5와 대응되는 음원은 수면 음원 콘텐츠가 재생되는 동안 간헐적으로 재생될 수 있으나, 이에 한정되지 않는다.According to Figure 22, the sound source corresponding to the sleep content theme according to an embodiment of the present invention is played during the entire period during which the sleep sound source content is played, and the sound source corresponding to sleep content event 1 to sleep content event 5 is the sleep sound source content. may be played intermittently while playing, but is not limited to this.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 단일한 음향 정보일 수 있다. 예를 들어, 백색소음, 물 소리, 자연의 소리, ASMR(autonomous sensory meridian response), 사람이 내는 소리, SF 소리, 악기 소리, 동물 소리, 멜로디, 도시 소리, 규칙적인 소리, 바이노럴 비트(Binaural beats), 솔페지오 주파수(solfeggio frequencies), 빗소리, 바다, 강, 호수 소리, 땅, 바람, 불 연상 소리, 수면용 이야기 소리가 선사하는 안식의 소리 등이 포함될 수 있다. According to an embodiment of the present invention, sleep sound source content may be single sound information. For example, white noise, water sounds, nature sounds, ASMR (autonomous sensory meridian response), human sounds, science fiction sounds, musical instrument sounds, animal sounds, melodies, city sounds, regular sounds, binaural beats ( Binaural beats, solfeggio frequencies, sounds of rain, sounds of the sea, rivers, lakes, earth, wind, fire, and sounds of rest provided by sleep stories.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 백색소음을 포함할 수 있다. 백색소음은 딥 브라운 노이즈, 그린 노이즈, 화이팅 노이즈, 핑크 노이즈, 블루 노이즈, 그레이 노이즈, 바이올렛 노이즈, 브라운 노이즈, 에어컨 소리, 우주선 소리, 비행기 소리를 포함할 수 있으나, 이에 한정되지 않는다. According to one embodiment of the present invention, sleep sound source content may include white noise. White noise may include, but is not limited to, deep brown noise, green noise, fighting noise, pink noise, blue noise, gray noise, violet noise, brown noise, air conditioner sound, spaceship sound, and airplane sound.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 물 소리를 포함할 수 있다. 물 소리는 강 소리, 비 소리, 바다 소리, 샤워 소리, 폭포 소리, 호우 소리, 호숫가 소리, 식기 세척기 소리, 분수 소리, 비오는 도시의 소리, 아쿠아리움 소리, 대나무 숲 소리, 욕실 소리, 끓는 물약 소리, 빗속의 드라이브 소리, 물 위의 보트 소리, 욕조 소리, 창문에 떨어지는 비 소리, 바위에 부서지는 파도 소리, 동굴 소리, 항해 소리, 느린 파도 소리, 약한 비 소리, 세찬 비 소리, 비오는 날의 소리, 수중 소리, 호우 소리, 비오는 우림의 소리, 해변의 소리, 얼음 눈의 소리, 지붕에 내리는 비 소리, 텐트에 떨어지는 비의 소리, 찰랑거리는 물의 소리를 포함할 수 있으나, 이에 한정되지 않는다. According to one embodiment of the present invention, sleep sound source content may include water sounds. Water sounds include river sounds, rain sounds, ocean sounds, shower sounds, waterfall sounds, downpour sounds, lakeside sounds, dishwasher sounds, fountain sounds, rainy city sounds, aquarium sounds, bamboo forest sounds, bathroom sounds, boiling potion sounds, The sounds of a drive in the rain, the sounds of a boat on the water, the sounds of a bathtub, the sounds of rain hitting the window, the sounds of waves crashing on the rocks, the sounds of caves, the sounds of sailing, the sounds of slow waves, the sounds of light rain, the sounds of heavy rain, the sounds of rainy days, This may include, but is not limited to, underwater sounds, heavy rain sounds, rain forest sounds, beach sounds, icy snow sounds, rain sounds on a roof, rain sounds on a tent, and lapping water sounds.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 자연의 소리를 포함할 수 있다. 자연의 소리는 밤 소리, 바람 소리, 천둥 소리, 캠프파이어 소리, 캐나다의 숲 소리, 숲 산책 소리, 심장 박동 소리, 폭풍 소리, 화창한 날의 소리, 풍랑 소리, 숲 소리, 토스카나 소리, 오후의 소리, 뇌우 소리, 주피터 소리, 숲 속의 바람 소리, 바스락거리는 잎 소리, 불타는 소리를 포함할 수 있으나, 이에 한정되지 않는다. According to one embodiment of the present invention, sleep sound source content may include sounds of nature. Nature sounds include night sounds, wind sounds, thunder sounds, campfire sounds, Canadian forest sounds, forest walk sounds, heartbeat sounds, storm sounds, sunny day sounds, storm sounds, forest sounds, Tuscan sounds, and afternoon sounds. , may include, but is not limited to, thunderstorm sounds, Jupiter sounds, wind sounds in the forest, rustling leaves, and burning sounds.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 ASMR(autonomous sensory meridian response)을 포함할 수 있다. According to one embodiment of the present invention, sleep sound source content may include ASMR (autonomous sensory meridian response).
ASMR은 침대 시트 소리, 점액 소리, 끈끈한 점액 소리, 탄산음료 소리, 거품 소리, 마이크 긁힘 소리, 골골송 소리, 메이크업 브러시 소리, 끓는 물 소리, 아이스 큐브 귀 마사지 소리, 귀에 바람 불기 소리, 프라이팬 소리, 에어캡 소리, 요정의 속삭임 소리, 말린 허브 소리, 빗소리, 손가락 비비기 소리, 페이지 넘기기 소리, 눈 위 걷기 소리, 바스락거리는 비닐 소리, 글 쓰기 소리, 귀 닦기 소리, 떨어지는 구슬 소리, 귀 청소 소리를 포함할 수 있으나, 이에 한정되지 않는다. ASMR includes bed sheet sounds, slime sounds, sticky slime sounds, soda sounds, bubble sounds, microphone scratching sounds, crackling sounds, makeup brush sounds, boiling water sounds, ice cube ear massage sounds, wind blowing on ears, frying pan sounds, etc. Includes bubble wrap sounds, fairy whispering sounds, dried herb sounds, rain sounds, fingers rubbing sounds, page turning sounds, walking on snow, rustling plastic sounds, writing sounds, ear cleaning sounds, falling beads sounds, and ear cleaning sounds. It can be done, but it is not limited to this.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 사람이 내는 소리를 포함할 수 있다. According to one embodiment of the present invention, sleep sound source content may include sounds made by a person.
사람이 내는 소리는 사람의 호흡 소리, 수면 명상 소리, 최면 단어 소리, 양 세기 소리 등을 포함할 수 있으나, 이에 한정되지 않는다.Sounds made by humans may include, but are not limited to, human breathing sounds, sleep meditation sounds, hypnotic word sounds, and sheep counting sounds.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 SF 소리를 포함할 수 있다. According to one embodiment of the present invention, sleep sound source content may include SF sounds.
SF 소리는 뇌파 스캐너 소리, 컴퓨터 신호음, 레이저 빔 소리, 리액터 소리, 우주선 소리, 로켓 엔진 소리, 우주의 소리, 우주선에서 걷는 소리, 주피터 소리를 포함할 수 있으나, 이에 한정되지 않는다. SF sounds may include, but are not limited to, brain wave scanner sounds, computer beep sounds, laser beam sounds, reactor sounds, spaceship sounds, rocket engine sounds, space sounds, walking sounds in the spaceship, and Jupiter sounds.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 악기 소리를 포함할 수 있다. According to one embodiment of the present invention, sleep sound source content may include musical instrument sounds.
악기 소리는 뮤직박스 소리, 베이비 슈셔 소리, 콧노래 소리, 자궁 소리, 베이비 마림바 소리, 베이비 벨 소리, 딸랑이 소리, 브람스의 자장가 소리, 비행기 소리 등을 포함할 수 있으나, 이에 한정되지 않는다. Instrument sounds may include, but are not limited to, music box sounds, baby shushers, humming sounds, womb sounds, baby marimba sounds, baby bell sounds, rattle sounds, Brahms' lullaby sounds, airplane sounds, etc.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 동물 소리를 포함할 수 있다. According to one embodiment of the present invention, sleep sound source content may include animal sounds.
동물 소리는 새 소리, 황소개구리 소리, 호박벌 소리, 소 소리, 아침 새소리, 돌고래 소리, 병아리 소리, 닭 소리, 오리 소리, 말발굽 소리, 열대새 소리, 양의 걸음 소리, 뻐꾸기 소리, 짹짹 소리, 고래의 여행 소리, 고래 소리, 갈매기 소리, 올빼미 소리, 개구리 소리, 그르렁거리는 고양이 소리, 늑대 소리, 아비새 소리, 매미 소리, 청개구리 소리 등을 포함할 수 있으나, 이에 한정되지 않는다. Animal sounds include birds, bullfrogs, bumblebees, cows, morning birds, dolphins, chicks, chickens, ducks, horses' hooves, tropical birds, sheep's steps, cuckoos, chirps, and whales. It may include, but is not limited to, travel sounds, whale sounds, seagull sounds, owl sounds, frog sounds, purring cat sounds, wolf sounds, loons, cicada sounds, tree frog sounds, etc.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 멜로디를 포함할 수 있다. According to one embodiment of the present invention, sleep sound source content may include a melody.
멜로디는 영원 소리, 신스웨이브 소리, 피아노 소리, 오케스트라 소리, 선 소리, 가을 소리, 업라이트 피아노 소리, 라운지 소리, 별 소리, 부족 소리, 인도 소리, 티벳 그릇 소리, 환희 소리, 풍경 소리, 음성 소리, 관찰 소리, 베이스 음악 소리, 궤도 소리, 드럼 소리, 피리 소리, 합창단 소리, 별 구경 소리, 기타 소리, 드라마틱 소리, 나비 소리, 중세 소리, 지구 드라마 소리, 꿈 소리, 추상 소리, 플루트 소리, 은하수 소리, 봄 소리, 도시 소리, 작은 티벳볼 소리, 중간 티벳볼 소리, 큰 티벳볼 소리, 두둑 소리, 콧노래 소리, 발리의 안개 소리, 인도 드림 소리, 파헬벨 캐논 소리, 염불 소리, 작은 싱잉볼 소리, 큰 싱잉볼 소리, 마법의 차임벨 소리, 기도하는 시간 소리, 고대 소리, Om 소리, 하모니 소리를 포함할 수 있으나, 이에 한정되지 않는다. Melodies include eternity sounds, synthwave sounds, piano sounds, orchestra sounds, Zen sounds, autumn sounds, upright piano sounds, lounge sounds, star sounds, tribal sounds, Indian sounds, Tibetan bowl sounds, joy sounds, wind chime sounds, voice sounds, Observation sounds, bass music sounds, orbital sounds, drum sounds, flute sounds, choir sounds, stargazing sounds, guitar sounds, dramatic sounds, butterfly sounds, medieval sounds, earth drama sounds, dream sounds, abstract sounds, flute sounds, milky way sounds. , spring sound, city sound, small Tibetan ball sound, medium Tibetan ball sound, large Tibetan ball sound, pattering sound, humming sound, Balinese fog sound, Indian dream sound, Pachelbel Canon sound, chanting sound, small singing bowl sound, large It may include, but is not limited to, singing bowl sounds, magic chime sounds, prayer time sounds, ancient sounds, Om sounds, and harmony sounds.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 도시 소리를 포함할 수 있다. According to one embodiment of the present invention, sleep sound source content may include city sounds.
도시 소리는 흔들이 선풍기 소리, 샤워 소리, 에어컨 소리, 식기세척기 소리, 커피숍 소리, 기차 소리, 비오는 도시 소리, 아쿠아리움 소리, 욕실 소리, 빗속의 드라이브 소리, 욕조 소리, 차가운 금속 소리, 스프링쿨러 소리, 지붕에 내리는 비 소리, 놀이터 소리, 대형 괘종시계 소리, 드라이어 소리, 도시 분위기 소리, 뱃고동 소리, 청소기 소리, 키보드 소리, 군중 소리, 멀리서 오는 기차 소리, 카니발 소리, 트럭 엔진 소리, 헤어 드라이기 소리, 고속도로 소리를 포함할 수 있으나, 이에 한정되지 않는다.City sounds include the sound of a swinging fan, shower sound, air conditioner sound, dishwasher sound, coffee shop sound, train sound, rainy city sound, aquarium sound, bathroom sound, drive sound in the rain, bathtub sound, cold metal sound, and sprinkler sound. , the sound of rain falling on the roof, the sound of a playground, the sound of a grandfather clock, the sound of a dryer, the sound of city atmosphere, the sound of a boat horn, the sound of a vacuum cleaner, the sound of a keyboard, the sound of a crowd, the sound of a train coming from afar, the sound of a carnival, the sound of a truck engine, the sound of a hair dryer, It may include, but is not limited to, highway sounds.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 빗소리를 포함할 수 있다. According to one embodiment of the present invention, sleep sound source content may include rain sounds.
빗소리는 열대 우림에 내리는 빗소리, 비 내리는 파리의 밤의 소리, 텐트 위로 떨어지는 빗소리, 나뭇잎 위로 떨어지는 빗소리, 약한 빗소리, 폭우 소리, 도시의 빗소리, 창문에 부딪히는 빗방울 소리, 뇌우 소리, 차 안에서 느끼는 빗소리, 채광창으로 떨어지는 빗줄기 소리, 선종 사원 정원에 부슬부슬 내리는 빗소리, 영화 듄에 등장하는 캘리던 행성을 연상시키는 소리, 등대 별장 소리, 등대 별장의 라디오 소리를 포함할 수 있으나, 이에 한정되지 않는다. The sound of rain can be the sound of rain falling in a tropical rainforest, the sound of a rainy night in Paris, the sound of rain falling on a tent, the sound of rain falling on leaves, the sound of light rain, the sound of heavy rain, the sound of rain in the city, the sound of raindrops hitting the window, the sound of a thunderstorm, the sound of rain felt in a car, etc. This may include, but is not limited to, the sound of rain falling through a skylight, the sound of rain gently falling in the garden of a Zen temple, a sound reminiscent of the planet Caledon from the movie Dune, the sound of the lighthouse lodge, and the sound of the radio in the lighthouse lodge.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 바다, 강, 호수 소리를 포함할 수 있다. According to an embodiment of the present invention, sleep sound source content may include ocean, river, and lake sounds.
바다, 강, 호수 소리는 플라이 낚시 소리, 아이슬란드의 바다 소리, 항해하는 선박의 아래층 간판 소리, 대양의 파도 소리, 이명을 위한 파도 소리, 여객선의 객실 소리, 마리아 메리안의 위대한 탐험 소리, 줄줄 흐르는 시냇물 소리, calm 아일랜드 소리, 폭포 소리, 먼 바다의 파도 소리, 조용히 흐르는 개울 소리, 마음을 진정시켜주는 아쿠아스케이프 소리, 백색 소음 바다 서핑 소리, 산호초 소리, 제스퍼 호수 소리, 물의 원천 소리, 삶의 원천 소리, 산호초의 도시 소리, 태평양 북서부의 소리, 다이아몬드의 바다 소리, 노던 레이크 소리, 산속 노천탕 소리, 사우스웨스트 리버 캐넌 소리, marin headlands 소리, 하이 시에라 레이크 소리, 에버 글레이즈 소리, 해변 캠프파이어 소리 등이 포함될 수 있으나, 이에 한정되지 않는다. The sounds of seas, rivers and lakes include the sounds of fly fishing, the sounds of Iceland's seas, the sounds of the lower deck of a sailing ship, the sounds of ocean waves, the sounds of waves for tinnitus, the sounds of passenger ship cabins, the sounds of Maria Merian's great expedition, the sound of a flowing stream. Sounds, calm island sounds, waterfall sounds, distant ocean waves, quietly flowing creek sounds, soothing aquascape sounds, white noise ocean surf sounds, coral reef sounds, Lake Jesper sounds, water source sounds, source of life sounds , coral reef city sounds, Pacific Northwest sounds, Diamond Sea sounds, Northern Lake sounds, mountain open-air bath sounds, Southwest River Canyon sounds, marin headlands sounds, High Sierra Lake sounds, Everglades sounds, beach campfire sounds, etc. However, it is not limited to this.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 땅, 바람, 불 소리를 포함할 수 있다. According to one embodiment of the present invention, sleep sound source content may include sounds of earth, wind, and fire.
땅, 바다, 불 소리는 아삼 정글 소리, 골프 가든 소리, 봄의 프랑스 마을의 소리, 아이슬란드의 바다 소리, 아이슬란드의 여행을 연상시키는 소리, 매혹적인 이끼의 정원을 연상시키는 소리, 마라케시의 모자이크 공예가를 연상시키는 소리, 팔랑케 유적을 연상시키는 소리, 멕시코 시티를 연상시키는 소리, 구름의 산을 연상시키는 소리, 네덜란드의 겨울을 연상시키는 소리, 네덜란드의 봄을 연상시키는 소리, 빙하 특급 열차를 연상시키는 소리, 마리아 메리안의 위대한 탐험을 연상시키는 소리, 더블린을 연상시키는 소리, 머크로스 호숫가를 연상시키는 소리, 케인곰스를 연상시키는 소리, 뉴질랜드의 북섬을 연상시키는 소리, 뉴질랜드의 남섬을 연상시키는 소리, 로몬드 호수로 떠나는 여행을 연상시키는 소리, 알프스 초원을 연상시키는 소리, 캠프파이어를 연상시키는 소리, 숲의 소리, 알프스 산을 연상시키는 소리, 정엄한 계곡을 연상시키는 소리, 타닥타닥 타는 벽난로를 연상시키는 소리, 소나무숲에서 부는 바람을 연상시키는 소리, 하얀 눈을 연상시키는 소리, 나무 속에서 사는 것을 연상시키는 소리, 밤의 사막을 연상시키는 소리, 등대 별장을 연상시키는 소리, 정글 숲을 연상시키는 소리, 산속 노천탕을 연상시키는 소리, 낙엽수림을 연상시키는 소리, 태평양 북서부를 연상시키는 소리, 침엽수림을 연상시키는 소리, 옥수수밭을 연상시키는 소리, 대나무숲을 연상시키는 소리, 사우스웨스트 리버 캐년을 연상시키는 소리, 빙하의 눈밭을 연상시키는 소리, 숲 속의 종소리, 해변에서의 캠프파이어를 연상시키는 소리, 수확을 연상시키는 소리, 영화 듄에 등장하는 아라키스 행성을 연상시키는 소리, 영화 듄에 등장하는 캘러던 행성을 연상시키는 소리, 포 씨의 도서관을 연상시키는 소리, 고딕 양식의 묘지를 연상시키는 소리, 선풍기 소리, 세탁기 소리, 도시 거리의 소리, 뇌우 소리, 제스퍼 호수를 연상시키는 소리를 포함할 수 있으나, 이에 한정되는 것은 아니다. The sounds of land, sea and fire are the sounds of the Assam jungle, the sounds of a golf garden, the sounds of a French village in spring, the sounds of the sea in Iceland, sounds reminiscent of a trip to Iceland, sounds reminiscent of an enchanting garden of moss, sounds reminiscent of mosaic craftsmen in Marrakech. A sound reminiscent of the Palanque ruins, a sound reminiscent of Mexico City, a sound reminiscent of a mountain of clouds, a sound reminiscent of a Dutch winter, a sound reminiscent of a Dutch spring, a sound reminiscent of a glacier express, Sounds reminiscent of Maria Marian's great expeditions, sounds reminiscent of Dublin, sounds reminiscent of the shores of Lake Muckross, sounds reminiscent of Caningoms, sounds reminiscent of New Zealand's North Island, sounds reminiscent of New Zealand's South Island, Loch Lomond A sound reminiscent of a trip to the Alps, a sound reminiscent of an Alpine meadow, a sound reminiscent of a campfire, a sound reminiscent of a forest, a sound reminiscent of an Alpine mountain, a sound reminiscent of a solemn valley, a sound reminiscent of a crackling fireplace, A sound reminiscent of the wind blowing in a pine forest, a sound reminiscent of white snow, a sound reminiscent of living in a tree, a sound reminiscent of a desert at night, a sound reminiscent of a lighthouse villa, a sound reminiscent of a jungle forest, and an open-air bath in the mountains. Sounds reminiscent of a deciduous forest, sounds reminiscent of the Pacific Northwest, sounds reminiscent of a coniferous forest, sounds reminiscent of a cornfield, sounds reminiscent of a bamboo forest, sounds reminiscent of the Southwest River Canyon, sounds reminiscent of a glacier. A sound reminiscent of a field of snow, a bell in the forest, a sound reminiscent of a campfire on the beach, a sound reminiscent of a harvest, a sound reminiscent of the planet Arrakis from the movie Dune, a sound reminiscent of the planet Calladhan from the movie Dune. Sounds may include, but are not limited to, sounds reminiscent of Mr. Poe's library, sounds reminiscent of a gothic graveyard, fans, washing machines, sounds of city streets, thunderstorms, and sounds reminiscent of Lake Jesper. no.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 수면용 이야기 소리가 선사하는 안식의 소리를 포함할 수 있다. According to an embodiment of the present invention, the sleep sound source content may include the sound of rest provided by the sound of a sleep story.
수면용 이야기 소리가 선사하는 안식의 소리는 골프 가든을 연상시키는 소리, 일곱 언덕의 도시를 연상시키는 소리, 구름의 산을 연상시키는 소리, 빙하 특급 열차를 연상시키는 소리, 마리아 메리안의 위대한 탐험을 연상시키는 소리, 앙코르의 비밀 사원을 연상시키는 소리, 매혹적인 이끼 정원을 연상시키는 소리, 마라케시 모자이크 공예가를 연상시키는 소리를 포함할 수 있으나, 이에 한정되는 것은 아니다. The sounds of rest that sleep stories provide are reminiscent of a golf garden, a sound reminiscent of the City of Seven Hills, a sound reminiscent of the Mountain of Clouds, a sound reminiscent of the Glacier Express, and a sound reminiscent of Maria Marian's great expedition. These may include, but are not limited to, sounds reminiscent of the secret temples of Angkor, sounds reminiscent of enchanting moss gardens, and sounds reminiscent of mosaic artists in Marrakech.
본 발명의 일 실시예에 따르면, 수면 음원 콘텐츠는 사용자가 선호하는 기억과 연관된 음향 정보일 수 있다. 또한, 수면 음원 콘텐츠는 사용자가 선호하는 기억과 연관된 심상 유도 시나리오를 가진 시계열적 음향 정보일 수 있다. According to one embodiment of the present invention, sleep sound source content may be sound information associated with a user's preferred memory. Additionally, sleep sound source content may be time-series sound information with imagery-inducing scenarios associated with the user's preferred memories.
수면 콘텐츠 - 수면 시각 콘텐츠Sleep Content - Sleep Visual Content
본 발명에 일실시예에 따른, 수면 시각 콘텐츠는 생성형 인공지능에 기초하여 생성될 수 있다. 수면 시각 콘텐츠는 이미지를 기반으로 사용자의 수면을 유도하는 정보를 포함할 수 있다. 수면 시각 콘텐츠는 단일한 이미지 정보일 수 있으며, 또는 이미지를 기반으로 심상 유도 시나리오를 가진 시계열적 일련의 순서를 이미지의 조합, 즉 동영상 정보일 수 있다. 또한, 수면 시각 콘텐츠는 입체감을 가지고 사용자에게 제공되는 시각정보일 수 있다.According to an embodiment of the present invention, sleep visual content may be generated based on generative artificial intelligence. Sleep visual content may include information that induces the user to sleep based on images. Sleep visual content may be a single image information, or it may be a combination of images in a time-series sequence with an image-inducing scenario based on the image, that is, video information. Additionally, sleep visual content may be visual information provided to the user with a three-dimensional effect.
백색소음을 연상시키는 시각 정보, 물을 연상시키는 시각 정보, 자연을 연상시키는 시각 정보, ASMR(autonomous sensory meridian response)을 연상시키는 시각 정보, 사람이 소리를 내는 시각 정보, SF 시각 정보, 악기의 시각 정보, 동물 시각 정보, 멜로디 시각 정보, 도시 시각 정보, 규칙적인 소리를 연상시키는 시각 정보, 바이노럴 비트(Binaural beats)를 연상시키는 시각 정보, 솔페지오 주파수(solfeggio frequencies)를 연상시키는 시각 정보, 비를 연상시키는 시각 정보, 바다, 강, 호수를 연상시키는 시각 정보, 땅, 바람, 불을 연상시키는 시각 정보, 수면용 이야기 소리가 선사하는 안식을 연상시키는 시각 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. Visual information reminiscent of white noise, visual information reminiscent of water, visual information reminiscent of nature, visual information reminiscent of ASMR (autonomous sensory meridian response), visual information of a person making sounds, science fiction visual information, visual information of musical instruments information, animal visual information, melodic visual information, city visual information, visual information reminiscent of regular sounds, visual information reminiscent of binaural beats, visual information reminiscent of solfeggio frequencies, It may include, but is limited to, visual information reminiscent of rain, visual information reminiscent of the sea, rivers, and lakes, visual information reminiscent of land, wind, and fire, and visual information reminiscent of the rest provided by the sounds of sleep stories. It doesn't work.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 백색소음을 연상시키는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, sleep visual content may include visual information reminiscent of white noise.
백색소음을 연상시키는 시각 정보는 딥 브라운 노이즈를 연상시키는 시각 정보, 그린 노이즈를 연상시키는 시각 정보, 화이팅 노이즈를 연상시키는 시각 정보, 핑크 노이즈를 연상시키는 시각 정보, 블루 노이즈를 연상시키는 시각 정보, 그레이 노이즈를 연상시키는 시각 정보, 바이올렛 노이즈를 연상시키는 시각 정보, 브라운 노이즈를 연상시키는 시각 정보, 에어컨 소리를 연상시키는 시각 정보, 우주선 소리를 연상시키는 시각 정보, 비행기 소리를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of white noise includes visual information reminiscent of deep brown noise, visual information reminiscent of green noise, visual information reminiscent of fighting noise, visual information reminiscent of pink noise, visual information reminiscent of blue noise, and gray noise. It may include visual information reminiscent of noise, visual information reminiscent of violet noise, visual information reminiscent of brown noise, visual information reminiscent of the sound of an air conditioner, visual information reminiscent of the sound of a spaceship, and visual information reminiscent of the sound of an airplane. However, it is not limited to this.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 물을 연상시키는 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, water visual content may include visual information reminiscent of water.
물을 연상시키는 시각 정보는 강을 연상시키는 시각 정보, 비를 연상시키는 시각 정보, 바다를 연상시키는 시각 정보, 샤워를 연상시키는 시각 정보, 폭포를 연상시키는 시각 정보, 호우를 연상시키는 시각 정보, 호숫가를 연상시키는 시각 정보, 식기 세척기를 연상시키는 시각 정보, 분수를 연상시키는 시각 정보, 비오는 도시를 연상시키는 시각 정보, 아쿠아리움을 연상시키는 시각 정보, 대나무 숲을 연상시키는 시각 정보, 욕실을 연상시키는 시각 정보, 끓는 물약을 연상시키는 시각 정보, 빗속의 드라이브를 연상시키는 시각 정보, 물 위의 보트를 연상시키는 시각 정보, 욕조를 연상시키는 시각 정보, 창문에 떨어지는 비를 연상시키는 시각 정보, 바위에 부서지는 파도를 연상시키는 시각 정보, 동굴을 연상시키는 시각 정보, 항해를 연상시키는 시각 정보, 느린 파도를 연상시키는 시각 정보, 약한 비를 연상시키는 시각 정보, 세찬 비를 연상시키는 시각 정보, 비오는 날을 연상시키는 시각 정보, 수중을 연상시키는 시각 정보, 호우를 연상시키는 시각 정보, 비오는 우림을 연상시키는 시각 정보, 해변을 연상시키는 시각 정보, 얼음 눈을 연상시키는 시각 정보, 지붕에 내리는 비를 연상시키는 시각 정보, 텐트에 떨어지는 비를 연상시키는 시각 정보, 찰랑거리는 물을 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of water includes visual information reminiscent of a river, visual information reminiscent of rain, visual information reminiscent of the sea, visual information reminiscent of a shower, visual information reminiscent of a waterfall, visual information reminiscent of heavy rain, and a lakeside. Visual information reminiscent of, visual information reminiscent of a dishwasher, visual information reminiscent of a fountain, visual information reminiscent of a rainy city, visual information reminiscent of an aquarium, visual information reminiscent of a bamboo forest, visual information reminiscent of a bathroom , visual information reminiscent of a boiling potion, visual information reminiscent of a drive in the rain, visual information reminiscent of a boat on water, visual information reminiscent of a bathtub, visual information reminiscent of rain falling on a window, waves crashing on rocks. Visual information reminiscent of, visual information reminiscent of a cave, visual information reminiscent of sailing, visual information reminiscent of slow waves, visual information reminiscent of light rain, visual information reminiscent of heavy rain, visual information reminiscent of a rainy day. Information, visual information reminiscent of underwater, visual information reminiscent of heavy rain, visual information reminiscent of a rainy rainforest, visual information reminiscent of a beach, visual information reminiscent of ice snow, visual information reminiscent of rain on a roof, tent It may include, but is not limited to, visual information reminiscent of rain falling and visual information reminiscent of lapping water.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 자연을 연상시키는 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, sleep visual content may include visual information reminiscent of nature.
자연을 연상시키는 시각 정보는 밤을 연상시키는 시각 정보, 바람 소리를 연상시키는 시각 정보, 천둥 소리를 연상시키는 시각 정보, 캠프파이어를 연상시키는 시각 정보, 캐나다의 숲을 연상시키는 시각 정보, 숲 산책을 연상시키는 시각 정보, 심장 박동을 연상시키는 시각 정보, 폭풍을 연상시키는 시각 정보, 화창한 날을 연상시키는 시각 정보, 풍랑을 연상시키는 시각 정보, 숲을 연상시키는 시각 정보, 토스카나를 연상시키는 시각 정보, 오후를 연상시키는 시각 정보, 뇌우를 연상시키는 시각 정보, 주피터를 연상시키는 시각 정보, 숲 속의 바람을 연상시키는 시각 정보, 바스락거리는 잎을 연상시키는 시각 정보, 불타는 소리를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of nature includes visual information reminiscent of the night, visual information reminiscent of the sound of the wind, visual information reminiscent of the sound of thunder, visual information reminiscent of a campfire, visual information reminiscent of a Canadian forest, and visual information reminiscent of a forest walk. Visual information reminiscent of a heartbeat, visual information reminiscent of a storm, visual information reminiscent of a sunny day, visual information reminiscent of a storm, visual information reminiscent of a forest, visual information reminiscent of Tuscany, afternoon It may include visual information reminiscent of , visual information reminiscent of a thunderstorm, visual information reminiscent of Jupiter, visual information reminiscent of the wind in the forest, visual information reminiscent of rustling leaves, and visual information reminiscent of a burning sound. , but is not limited to this.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 ASMR(autonomous sensory meridian response)을 연상시키는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, sleep visual content may include visual information reminiscent of ASMR (autonomous sensory meridian response).
ASMR은 침대 시트를 연상시키는 시각 정보, 점액을 연상시키는 시각 정보, 끈끈한 점액을 연상시키는 시각 정보, 탄산음료를 연상시키는 시각 정보, 거품을 연상시키는 시각 정보, 마이크 긁힘을 연상시키는 시각 정보, 골골송을 연상시키는 시각 정보, 메이크업 브러시를 연상시키는 시각 정보, 끓는 물을 연상시키는 시각 정보, 아이스 큐브 귀 마사지를 연상시키는 시각 정보, 귀에 바람 불기를 연상시키는 시각 정보, 프라이팬을 연상시키는 시각 정보, 에어캡을 연상시키는 시각 정보, 요정의 속삭임을 연상시키는 시각 정보, 말린 허브를 연상시키는 시각 정보, 빗소리를 연상시키는 시각 정보, 손가락 비비기를 연상시키는 시각 정보, 페이지 넘기기를 연상시키는 시각 정보, 눈 위 걷기를 연상시키는 시각 정보, 바스락거리는 비닐을 연상시키는 시각 정보, 글 쓰기를 연상시키는 시각 정보, 귀 닦기를 연상시키는 시각 정보, 떨어지는 구슬을 연상시키는 시각 정보, 귀 청소를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. ASMR includes visual information reminiscent of bed sheets, visual information reminiscent of mucus, visual information reminiscent of sticky mucus, visual information reminiscent of soda, visual information reminiscent of bubbles, visual information reminiscent of microphone scratching, and visual information reminiscent of microphone scratching. Visual information reminiscent of, visual information reminiscent of a makeup brush, visual information reminiscent of boiling water, visual information reminiscent of an ice cube ear massage, visual information reminiscent of blowing wind in the ear, visual information reminiscent of a frying pan, air cap visual information reminiscent of, visual information reminiscent of a fairy's whisper, visual information reminiscent of dried herbs, visual information reminiscent of the sound of rain, visual information reminiscent of rubbing fingers, visual information reminiscent of turning a page, walking on snow It may include evocative visual information, visual information reminiscent of rustling plastic, visual information reminiscent of writing, visual information reminiscent of ear cleaning, visual information reminiscent of falling marbles, and visual information reminiscent of ear cleaning, but , but is not limited to this.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 사람이 소리를 내는 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, sleep visual content may include visual information about a person making sounds.
사람이 소리를 내는 시각 정보는 사람의 호흡을 연상시키는 시각 정보, 수면 명상을 연상시키는 시각 정보, 최면 단어를 연상시키는 시각 정보, 양 세기를 연상시키는 시각 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.Visual information reminiscent of human sounds may include, but is not limited to, visual information reminiscent of human breathing, visual information reminiscent of sleep meditation, visual information reminiscent of hypnotic words, visual information reminiscent of sheep counting, etc. No.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 SF 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, sleep visual content may include SF visual information.
SF 시각 정보는 뇌파 스캐너를 연상시키는 시각 정보, 컴퓨터 신호음을 연상시키는 시각 정보, 레이저 빔을 연상시키는 시각 정보, 리액터를 연상시키는 시각 정보, 우주선을 연상시키는 시각 정보, 로켓 엔진을 연상시키는 시각 정보, 우주를 연상시키는 시각 정보, 우주선에서 걷기를 연상시키는 시각 정보, 주피터를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. SF visual information is visual information reminiscent of an brain wave scanner, visual information reminiscent of a computer beep, visual information reminiscent of a laser beam, visual information reminiscent of a reactor, visual information reminiscent of a spaceship, visual information reminiscent of a rocket engine, It may include, but is not limited to, visual information reminiscent of space, visual information reminiscent of walking in a spaceship, and visual information reminiscent of Jupiter.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 악기의 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, sleep visual content may include visual information of a musical instrument.
악기의 시각 정보는 뮤직박스를 연상시키는 시각 정보, 베이비 슈셔를 연상시키는 시각 정보, 콧노래를 연상시키는 시각 정보, 자궁을 연상시키는 시각 정보, 베이비 마림바를 연상시키는 시각 정보, 베이비 벨을 연상시키는 시각 정보, 딸랑이를 연상시키는 시각 정보, 브람스의 자장가를 연상시키는 시각 정보, 비행기 소리를 연상시키는 시각 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. The visual information of the instrument is reminiscent of a music box, visual information reminiscent of a baby shusher, visual information reminiscent of a hum, visual information reminiscent of a womb, visual information reminiscent of a baby marimba, and visual information reminiscent of a baby bell. , visual information reminiscent of a rattle, visual information reminiscent of Brahms' lullaby, visual information reminiscent of the sound of an airplane, etc., but is not limited thereto.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 동물 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, sleep visual content may include animal visual information.
동물 시각 정보는 새를 연상시키는 시각 정보, 황소개구리를 연상시키는 시각 정보, 호박을 연상시키는 시각 정보, 소를 연상시키는 시각 정보, 아침 새를 연상시키는 시각 정보, 돌고래를 연상시키는 시각 정보, 병아리를 연상시키는 시각 정보, 닭을 연상시키는 시각 정보, 오리를 연상시키는 시각 정보, 말발굽을 연상시키는 시각 정보, 열대새를 연상시키는 시각 정보, 양의 걸음을 연상시키는 시각 정보, 뻐꾸기를 연상시키는 시각 정보, 짹짹 소리를 연상시키는 시각 정보, 고래의 여행을 연상시키는 시각 정보, 고래를 연상시키는 시각 정보, 갈매기를 연상시키는 시각 정보, 올빼미를 연상시키는 시각 정보, 개구리를 연상시키는 시각 정보, 그르렁거리는 고양이를 연상시키는 시각 정보, 늑대를 연상시키는 시각 정보, 아비새를 연상시키는 시각 정보, 매미를 연상시키는 시각 정보, 청개구리를 연상시키는 시각 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. Animal visual information includes visual information reminiscent of a bird, visual information reminiscent of a bullfrog, visual information reminiscent of a pumpkin, visual information reminiscent of a cow, visual information reminiscent of a morning bird, visual information reminiscent of a dolphin, and visual information reminiscent of a chick. Visual information reminiscent of a chicken, visual information reminiscent of a duck, visual information reminiscent of a horse's hoof, visual information reminiscent of a tropical bird, visual information reminiscent of a sheep's walk, visual information reminiscent of a cuckoo, Visual information reminiscent of a chirp, visual information reminiscent of a whale's journey, visual information reminiscent of a whale, visual information reminiscent of a seagull, visual information reminiscent of an owl, visual information reminiscent of a frog, visual information reminiscent of a purring cat. It may include, but is not limited to, visual information reminiscent of a wolf, visual information reminiscent of a loon, visual information reminiscent of a cicada, and visual information reminiscent of a tree frog.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 멜로디 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, sleep visual content may include melody visual information.
멜로디 시각 정보는 영원을 연상시키는 시각 정보, 신스웨이브를 연상시키는 시각 정보, 피아노를 연상시키는 시각 정보, 오케스트라를 연상시키는 시각 정보, 선을 연상시키는 시각 정보, 가을을 연상시키는 시각 정보, 업라이트 피아노를 연상시키는 시각 정보, 라운지를 연상시키는 시각 정보, 별을 연상시키는 시각 정보, 부족을 연상시키는 시각 정보, 인도를 연상시키는 시각 정보, 티벳 그릇을 연상시키는 시각 정보, 환희를 연상시키는 시각 정보, 풍경을 연상시키는 시각 정보, 음성을 연상시키는 시각 정보, 관찰을 연상시키는 시각 정보, 베이스 음악을 연상시키는 시각 정보, 궤도를 연상시키는 시각 정보, 드럼을 연상시키는 시각 정보, 피리를 연상시키는 시각 정보, 합창단을 연상시키는 시각 정보, 별 구경을 연상시키는 시각 정보, 기타를 연상시키는 시각 정보, 드라마틱을 연상시키는 시각 정보, 나비를 연상시키는 시각 정보, 중세를 연상시키는 시각 정보, 지구 드라마를 연상시키는 시각 정보, 꿈을 연상시키는 시각 정보, 추상을 연상시키는 시각 정보, 플루트를 연상시키는 시각 정보, 은하수를 연상시키는 시각 정보, 봄을 연상시키는 시각 정보, 도시를 연상시키는 시각 정보, 작은 티벳볼을 연상시키는 시각 정보, 중간 티벳볼을 연상시키는 시각 정보, 큰 티벳볼을 연상시키는 시각 정보, 두둑을 연상시키는 시각 정보, 콧노래를 연상시키는 시각 정보, 발리의 안개를 연상시키는 시각 정보, 인도 드림을 연상시키는 시각 정보, 파헬벨 캐논을 연상시키는 시각 정보, 염불을 연상시키는 시각 정보, 작은 싱잉볼을 연상시키는 시각 정보 , 큰 싱잉볼을 연상시키는 시각 정보, 마법의 차임벨을 연상시키는 시각 정보, 기도하는 시간을 연상시키는 시각 정보, 고대를 연상시키는 시각 정보, Om을 연상시키는 시각 정보, 하모니를 연상시키는 시각 정보 포함할 수 있으나, 이에 한정되지 않는다. Melody visual information is visual information reminiscent of eternity, visual information reminiscent of synthwave, visual information reminiscent of a piano, visual information reminiscent of an orchestra, visual information reminiscent of lines, visual information reminiscent of autumn, and upright piano. Visual information reminiscent of a lounge, visual information reminiscent of a star, visual information reminiscent of a tribe, visual information reminiscent of India, visual information reminiscent of a Tibetan bowl, visual information reminiscent of joy, landscape Visual information reminiscent of a voice, visual information reminiscent of an observation, visual information reminiscent of bass music, visual information reminiscent of a trajectory, visual information reminiscent of a drum, visual information reminiscent of a flute, visual information reminiscent of a choir Evocative visual information, visual information reminiscent of stargazing, visual information reminiscent of guitar, visual information reminiscent of drama, visual information reminiscent of a butterfly, visual information reminiscent of the Middle Ages, visual information reminiscent of an earth drama, dream Visual information reminiscent of , visual information reminiscent of abstraction, visual information reminiscent of a flute, visual information reminiscent of the Milky Way, visual information reminiscent of spring, visual information reminiscent of a city, visual information reminiscent of a small Tibetan ball, Visual information reminiscent of a medium Tibetan ball, visual information reminiscent of a large Tibetan ball, visual information reminiscent of a patter, visual information reminiscent of a hum, visual information reminiscent of Balinese fog, visual information reminiscent of an Indian dream, Pachelbel Visual information reminiscent of a canon, visual information reminiscent of chanting, visual information reminiscent of a small singing bowl, visual information reminiscent of a large singing bowl, visual information reminiscent of a magic chime, visual information reminiscent of prayer time, It may include, but is not limited to, visual information reminiscent of ancient times, visual information reminiscent of Om, and visual information reminiscent of harmony.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 도시 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, sleep time content may include city time information.
도시 시각 정보는 흔들이 선풍기를 연상시키는 시각 정보, 샤워를 연상시키는 시각 정보, 에어컨을 연상시키는 시각 정보, 식기세척기를 연상시키는 시각 정보, 커피숍을 연상시키는 시각 정보, 기차를 연상시키는 시각 정보, 비오는 도시를 연상시키는 시각 정보, 아쿠아리움을 연상시키는 시각 정보, 욕실을 연상시키는 시각 정보, 빗속의 드라이브를 연상시키는 시각 정보, 욕조를 연상시키는 시각 정보, 차가운 금속을 연상시키는 시각 정보, 스프링쿨러를 연상시키는 시각 정보, 지붕에 내리는 비를 연상시키는 시각 정보, 놀이터를 연상시키는 시각 정보, 대형 괘종시계를 연상시키는 시각 정보, 드라이어를 연상시키는 시각 정보, 도시 분위기를 연상시키는 시각 정보, 뱃고동을 연상시키는 시각 정보, 청소기를 연상시키는 시각 정보, 키보드를 연상시키는 시각 정보, 군중을 연상시키는 시각 정보, 멀리서 오는 기차를 연상시키는 시각 정보, 카니발을 연상시키는 시각 정보, 트럭 엔진을 연상시키는 시각 정보, 헤어 드라이기를 연상시키는 시각 정보, 고속도로를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. City visual information is visual information reminiscent of a swinging fan, visual information reminiscent of a shower, visual information reminiscent of an air conditioner, visual information reminiscent of a dishwasher, visual information reminiscent of a coffee shop, visual information reminiscent of a train, Visual information reminiscent of a rainy city, visual information reminiscent of an aquarium, visual information reminiscent of a bathroom, visual information reminiscent of a drive in the rain, visual information reminiscent of a bathtub, visual information reminiscent of cold metal, visual information reminiscent of sprinklers Visual information reminiscent of rain falling on a roof, visual information reminiscent of a playground, visual information reminiscent of a large grandfather clock, visual information reminiscent of a hair dryer, visual information reminiscent of a city atmosphere, visual information reminiscent of a boat horn. Information, visual information reminiscent of a vacuum cleaner, visual information reminiscent of a keyboard, visual information reminiscent of a crowd, visual information reminiscent of a train coming from afar, visual information reminiscent of a carnival, visual information reminiscent of a truck engine, hair dryer It may include reminiscent visual information and visual information reminiscent of a highway, but is not limited thereto.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 비를 연상시키는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, sleep visual content may include visual information reminiscent of rain.
비를 연상시키는 시각 정보는 열대 우림을 연상시키는 시각 정보, 비 내리는 파리의 밤을 연상시키는 시각 정보, 텐트 위로 떨어지는 비를 연상시키는 시각 정보, 나뭇잎 위로 떨어지는 비를 연상시키는 시각 정보, 약한 비를 연상시키는 시각 정보, 폭우를 연상시키는 시각 정보, 도시의 비를 연상시키는 시각 정보, 창문에 부딪히는 빗방울을 연상시키는 시각 정보, 뇌우를 연상시키는 시각 정보, 차 안에서 느끼는 비를 연상시키는 시각 정보, 채광창으로 떨어지는 비를 연상시키는 시각 정보, 선종 사원 정원에 부슬부슬 내리는 비를 연상시키는 시각 정보, 듄: 캘리던을 연상시키는 시각 정보, 등대 별장을 연상시키는 시각 정보, 등대 별장의 라디오를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of rain includes visual information reminiscent of a tropical rainforest, visual information reminiscent of a rainy night in Paris, visual information reminiscent of rain falling on a tent, visual information reminiscent of rain falling on leaves, and visual information reminiscent of light rain. Visual information reminiscent of heavy rain, visual information reminiscent of rain in the city, visual information reminiscent of raindrops hitting a window, visual information reminiscent of a thunderstorm, visual information reminiscent of rain felt in a car, visual information reminiscent of rain falling through a skylight Includes visual information reminiscent of rain, visual information reminiscent of drizzling rain in the garden of a Zen temple, visual information reminiscent of Dune: Caledon, visual information reminiscent of the Lighthouse Villa, and visual information reminiscent of the radio in the Lighthouse Villa. It can be done, but it is not limited to this.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 바다, 강, 호수를 연상시키는 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, water surface visual content may include visual information reminiscent of the sea, river, or lake.
바다, 강, 호수를 연상시키는 시각 정보는 플라이 낚시를 연상시키는 시각 정보, 아이슬란드의 바다를 연상시키는 시각 정보, 항해하는 선박의 아래층 간판을 연상시키는 시각 정보, 대양의 파도를 연상시키는 시각 정보, 이명을 위한 파도를 연상시키는 시각 정보, 여객선의 객실을 연상시키는 시각 정보, 마리아 메리안의 위대한 탐험을 연상시키는 시각 정보, 줄줄 흐르는 시냇물을 연상시키는 시각 정보, calm 아일랜드를 연상시키는 시각 정보, 폭포를 연상시키는 시각 정보, 먼 바다의 파도를 연상시키는 시각 정보, 조용히 흐르는 개울을 연상시키는 시각 정보, 마음을 진정시켜주는 아쿠아스케이프를 연상시키는 시각 정보, 백색 소음의 바다 서핑을 연상시키는 시각 정보, 산호초를 연상시키는 시각 정보, 제스퍼 호수를 연상시키는 시각 정보, 물의 원천을 연상시키는 시각 정보, 삶의 원천를 연상시키는 시각 정보, 산호초의 도시를 연상시키는 시각 정보, 태평양 북서부를 연상시키는 시각 정보, 다이아몬드의 바다를 연상시키는 시각 정보, 노던 레이크를 연상시키는 시각 정보, 산속 노천탕을 연상시키는 시각 정보, 사우스웨스트 리버 캐넌을 연상시키는 시각 정보, marin headlands를 연상시키는 시각 정보, 하이 시에라 레이크를 연상시키는 시각 정보, 에버 글레이즈를 연상시키는 시각 정보, 해변 캠프파이어를 연상시키는 시각 정보 등이 포함될 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of the sea, rivers, and lakes, visual information reminiscent of fly fishing, visual information reminiscent of the sea of Iceland, visual information reminiscent of the downstairs sign of a sailing ship, visual information reminiscent of ocean waves, and so on. Visual information reminiscent of waves, visual information reminiscent of a passenger ship's cabin, visual information reminiscent of Maria Marian's great exploration, visual information reminiscent of a flowing stream, visual information reminiscent of calm island, visual information reminiscent of a waterfall. Visual information, visual information reminiscent of distant ocean waves, visual information reminiscent of a quietly flowing stream, visual information reminiscent of a soothing aquascape, visual information reminiscent of white noise ocean surfing, visual information reminiscent of a coral reef. Visual information, reminiscent of Lake Jasper, Visual information reminiscent of the source of water, Visual information reminiscent of the source of life, Visual information reminiscent of the city of coral reefs, Visual information reminiscent of the Pacific Northwest, Visual information reminiscent of the sea of diamonds A visual reminiscent of a northern lake, a visual reminiscent of a mountain hot spring, a visual reminiscent of the Southwest River Canyon, a visual reminiscent of marin headlands, a visual reminiscent of a High Sierra Lake, a visual reminiscent of the Everglades Visual information reminiscent of a beach campfire may be included, but is not limited to this.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 땅, 바람, 불을 연상시키는 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, water visual content may include visual information reminiscent of land, wind, and fire.
땅, 바다, 불을 연상시키는 시각 정보는 아삼 정글을 연상시키는 시각 정보, 골프 가든을 연상시키는 시각 정보, 봄의 프랑스 마을을 연상시키는 시각 정보, 아이슬란드의 바다를 연상시키는 시각 정보, 아이슬란드의 여행을 연상시키는 시각 정보, 매혹적인 이끼의 정원을 연상시키는 시각 정보, 마라케시의 모자이크 공예가를 연상시키는 시각 정보, 팔랑케 유적을 연상시키는 시각 정보, 멕시코 시티를 연상시키는 시각 정보, 구름의 산을 연상시키는 시각 정보, 네덜란드의 겨울을 연상시키는 시각 정보, 네덜란드의 봄을 연상시키는 시각 정보, 빙하 특급 열차를 연상시키는 시각 정보, 마리아 메리안의 위대한 탐험을 연상시키는 시각 정보, 더블린을 연상시키는 시각 정보, 머크로스 호숫가를 연상시키는 시각 정보, 케인곰스를 연상시키는 시각 정보, 뉴질랜드의 북섬을 연상시키는 시각 정보, 뉴질랜드의 남섬을 연상시키는 시각 정보, 로몬드 호수로 떠나는 여행을 연상시키는 시각 정보, 알프스 초원을 연상시키는 시각 정보, 캠프파이어를 연상시키는 시각 정보, 숲을 연상시키는 시각 정보, 알프스 산을 연상시키는 시각 정보, 정엄한 계곡을 연상시키는 시각 정보, 타닥타닥 타는 벽난로를 연상시키는 시각 정보, 소나무숲에서 부는 바람을 연상시키는 시각 정보, 하얀 눈을 연상시키는 시각 정보, 나무 속에서 사는 것을 연상시키는 시각 정보, 밤의 사막을 연상시키는 시각 정보, 등대 별장을 연상시키는 시각 정보, 정글 숲을 연상시키는 시각 정보, 산속 노천탕을 연상시키는 시각 정보, 낙엽수림을 연상시키는 시각 정보, 태평양 북서부를 연상시키는 시각 정보, 침엽수림을 연상시키는 시각 정보, 옥수수밭을 연상시키는 시각 정보, 대나무숲을 연상시키는 시각 정보, 사우스웨스트 리버 캐년을 연상시키는 시각 정보, 빙하의 눈밭을 연상시키는 시각 정보, 숲 속의 종을 연상시키는 시각 정보, 해변에서의 캠프파이어를 연상시키는 시각 정보, 수확을 연상시키는 시각 정보, 영화 듄에 등장하는 아라키스 행성을 연상시키는 시각 정보, 영화 듄에 등장하는 캘러던 행성을 연상시키는 시각 정보, 포 씨의 도서관을 연상시키는 시각 정보, 고딕 양식의 묘지를 연상시키는 시각 정보, 선풍기를 연상시키는 시각 정보, 세탁기를 연상시키는 시각 정보, 도시 거리를 연상시키는 시각 정보, 뇌우를 연상시키는 시각 정보, 제스퍼 호수를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. Visual information reminiscent of land, sea, and fire, visual information reminiscent of the Assam jungle, visual information reminiscent of a golf garden, visual information reminiscent of a French village in spring, visual information reminiscent of the sea in Iceland, and visual information reminiscent of a trip to Iceland. An evocative visual, a visual reminiscent of an enchanting garden of moss, a visual reminiscent of the mosaics of Marrakech, a visual reminiscent of the Palanque ruins, a visual reminiscent of Mexico City, a visual reminiscent of a mountain of clouds , visual information reminiscent of Dutch winter, visual information reminiscent of Dutch spring, visual information reminiscent of the Glacier Express, visual information reminiscent of Maria Marian's great expedition, visual information reminiscent of Dublin, the shores of Lake Muckross. Reminiscent visual information, visual information reminiscent of Caningoms, visual information reminiscent of New Zealand's North Island, visual information reminiscent of New Zealand's South Island, visual information reminiscent of a trip to Loch Lomond, visual information reminiscent of Alpine meadows , visual information reminiscent of a campfire, visual information reminiscent of a forest, visual information reminiscent of an Alpine mountain, visual information reminiscent of a solemn valley, visual information reminiscent of a crackling fireplace, reminiscent of the wind blowing in a pine forest. Visual information reminiscent of white snow, visual information reminiscent of living in a tree, visual information reminiscent of a desert at night, visual information reminiscent of a lighthouse villa, visual information reminiscent of a jungle forest, and an open-air bath in the mountains. Visual information reminiscent of a deciduous forest, Visual information reminiscent of the Pacific Northwest, Visual information reminiscent of a coniferous forest, Visual information reminiscent of a cornfield, Visual information reminiscent of a bamboo forest, Visual information reminiscent of the Southwest River Canyon Visual information reminiscent of a glacial snow field, visual information reminiscent of a species in the forest, visual information reminiscent of a campfire on the beach, visual information reminiscent of a harvest, visual information reminiscent of the planet Arrakis that appears in the movie Dune. Visual information reminiscent of the planet Calladhan from the movie Dune, visual information reminiscent of Mr. Poe's library, visual information reminiscent of a gothic graveyard, visual information reminiscent of an electric fan, visual information reminiscent of a washing machine. Information, may include, but is not limited to, visual information reminiscent of a city street, visual information reminiscent of a thunderstorm, and visual information reminiscent of Lake Jasper.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 수면용 이야기 소리가 선사하는 안식을 연상시키는 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, sleep visual content may include visual information reminiscent of the sense of rest provided by the sound of a sleep story.
수면용 이야기 소리가 선사하는 안식을 연상시키는 시각 정보는 골프 가든을 연상시키는 시각 정보, 일곱 언덕의 도시를 연상시키는 시각 정보, 구름의 산을 연상시키는 시각 정보, 빙하 특급 열차를 연상시키는 시각 정보, 마리아 메리안의 위대한 탐험을 연상시키는 시각 정보, 앙코르의 비밀 사원을 연상시키는 시각 정보, 매혹적인 이끼 정원을 연상시키는 시각 정보, 마라케시 모자이크 공예가를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. Visual information reminiscent of the rest provided by the sound of the sleeping story is visual information reminiscent of a golf garden, visual information reminiscent of the City of Seven Hills, visual information reminiscent of the Mountain of Clouds, visual information reminiscent of the Glacier Express, This may include, but is not limited to, visual information reminiscent of Maria Marian's great expedition, visual information reminiscent of the secret temples of Angkor, visual information reminiscent of an enchanting moss garden, and visual information reminiscent of the Marrakech mosaic craftsmen.
본 발명의 일 실시예에 따르면, 수면 시각 콘텐츠는 사용자가 선호하는 기억과 연관된 시각 정보일 수 있다. According to one embodiment of the present invention, sleep visual content may be visual information associated with a user's preferred memory.
또한, 수면 시각 콘텐츠는 사용자가 선호하는 기억과 연관된 심상 유도 시나리오를 가진 시계열적 시각 정보일 수 있다. Additionally, sleep visual content may be time-series visual information with imagery-inducing scenarios associated with the user's preferred memories.
수면 콘텐츠 - 수면 텍스트 콘텐츠Sleep Content - Sleep Text Content
본 발명의 일 실시예에 따르면, 수면 텍스트 콘텐츠는 수면 문장 콘텐츠를 포함할 수 있다.According to one embodiment of the present invention, sleep text content may include sleep sentence content.
본 발명의 일 실시예에 따르면, 수면 텍스트 콘텐츠는 입력 또는 선정된 키워드에 기초해서 생성될 수 있다. 구체적으로, 입력 또는 선정된 키워드를 콘텐츠 생성형 인공지능의 입력으로 하여 생성될 수 있다. 예를 들어, 입력 또는 선정된 키워드가 테마 콘텐츠 키워드는 "Morning Sound", 이벤트 콘텐츠 키워드는 "Clam wind, Waves wave, Breathing, Heartbeat, Human humming"인 경우 콘텐츠 생성형 인공지능에 "1. Imagine yourself standing in a peaceful meadow, surrounded by tall trees and a gentle breeze blowing through your hair. 2. As you look up, you see the sky turning a beautiful shade of blue and feel the gentle raindrops falling on your skin, soothing your body and mind. 3. As you focus on your breathing, you feel your heartbeat slowing down and your body relaxing, allowing you to drift off into a peaceful sleep."이라는 3개의 수면 기본 문장을 입력하고, "Morning sounds"를 수면 콘텐츠 테마로 하여, "Calm wind, Heartbeat, Breathing, Human humming, Waves wave"를 수면 콘텐츠 이벤트로 하여 3개의 문장으로 생성하도록 지시할 수 있고, 결과물로 "1. Imagine yourself standing on a quiet beach, feeling the calm wind blowing through your hair and the waves gently lapping at your feet. 2. As you focus on your breathing, you hear the soothing sound of your own heartbeat and the gentle hum of other humans nearby. 3. As you close your eyes, you feel the peacefulness of the morning sounds washing over you, allowing you to fully relax and let go."라는 수면 텍스트 콘텐츠를 얻을 수 있다.According to one embodiment of the present invention, sleep text content may be generated based on input or selected keywords. Specifically, it can be created by using input or selected keywords as input to content creation artificial intelligence. For example, if the input or selected keyword is the theme content keyword is "Morning Sound" and the event content keyword is "Clam wind, Waves wave, Breathing, Heartbeat, Human humming", the content creation artificial intelligence will say "1. Imagine yourself." standing in a peaceful meadow, surrounded by tall trees and a gentle breeze blowing through your hair 2. As you look up, you see the sky turning a beautiful shade of blue and feel the gentle raindrops falling on your skin, soothing your body. mind 3. Enter three basic sleep sentences, “As you focus on your breathing, you feel your heartbeat slowing down and your body relaxing, allowing you to drift off into a peaceful sleep.” and “Morning sounds” as sleep content. As a theme, you can instruct to create three sentences using "Calm wind, Heartbeat, Breathing, Human humming, Waves wave" as a sleep content event, and the result is "1. Imagine yourself standing on a quiet beach, feeling the calm wind blowing through your hair and the waves gently lapping at your feet 2. As you focus on your breathing, you hear the soothing sound of your own heartbeat and the gentle hum of other humans nearby. You can get sleep text content that says, “you feel the peacefulness of the morning sounds washing over you, allowing you to fully relax and let go.”
상술한 수면 텍스트 콘텐츠는 본 발명에 따른 일실시예이며, 이에 한정되지 않는다.The above-described sleep text content is an example according to the present invention, and is not limited thereto.
본 발명의 일 실시예에 따르면, 수면텍스트 콘텐츠는 사용자가 선호하는 기억과 연관된 텍스트 정보일 수 있다. According to one embodiment of the present invention, sleep text content may be text information related to the user's preferred memory.
또한, 시각 텍스트 콘텐츠는 사용자가 선호하는 기억과 연관된 심상 유도 시나리오를 가진 시계열적 텍스트 정보일 수 있다. Additionally, the visual text content may be time-series text information with imagery-inducing scenarios associated with the user's preferred memories.
본 발명에 따른 일실시예에 따른, 수면 콘텐츠의 생성(수면 시각 콘텐츠, 수면 음원 콘텐츠)Generation of sleep content (sleep visual content, sleep sound source content) according to an embodiment of the present invention.
도 23은 본 발명의 일실시예에 따른, 콘텐츠 생성형 인공지능에 의해서 생성되는 수면 콘텐츠를 설명하기 위한 도면이다.Figure 23 is a diagram for explaining sleep content generated by content generation artificial intelligence according to an embodiment of the present invention.
본 발명의 일실시예에 따른, 콘텐츠 생성형 인공지능을 활용한 수면 콘텐츠는 수면 시각 콘텐츠와 수면 음원 콘텐츠를 포함할 수 있다. 예를 들어, 입력 또는 선정된 수면 키워드를 콘텐츠 생성형 인공지능의 입력으로 하여, 키워드에 대응되는 수면 시각 콘텐츠와 수면 음원 콘텐츠를 생성할 수 있다.According to an embodiment of the present invention, sleep content using content generation-type artificial intelligence may include sleep visual content and sleep sound source content. For example, by using the input or selected sleep keyword as an input to the content generation artificial intelligence, sleep visual content and sleep sound source content corresponding to the keyword can be generated.
상술한 바와 같이, 수면 음원 콘텐츠는 수면에 관한 키워드에 기초하여 선정된 수면 콘텐츠 테마와 수면 콘텐츠 이벤트를 기초로 하여 하나 이상의 음원의 조합으로 구성될 수 있다.As described above, sleep sound source content may be composed of a combination of a sleep content theme selected based on a keyword related to sleep and one or more sound sources based on a sleep content event.
또한, 수면 음원 콘텐츠는 수면에 관한 키워드에 기초하여 선정된 적어도 하나 이상의 수면 콘텐츠 테마를 기초로 하여 적어도 하나 이상의 음원의 조합으로 구성될 수 있다.Additionally, sleep sound source content may be composed of a combination of at least one sound source based on at least one sleep content theme selected based on a keyword related to sleep.
본 발명에 따른 일실시예에 따른, 수면 콘텐츠의 생성(수면 텍스트 콘텐츠, 수면 음원 콘텐츠)Generation of sleep content (sleep text content, sleep sound source content) according to an embodiment of the present invention.
도 24는 본 발명의 일실시예에 따른, 콘텐츠 생성형 인공지능에 의해서 생성되는 수면 음원 콘텐츠와 수면 텍스트 콘텐츠의 키워드의 정합됨을 설명하기 위한 도면이다.Figure 24 is a diagram for explaining the matching of keywords of sleep sound source content and sleep text content generated by content creation artificial intelligence according to an embodiment of the present invention.
본 발명의 일실시예에 따른, 콘텐츠 생성형 인공지능을 활용한 수면 콘텐츠는 수면 텍스트 콘텐츠와 수면 음원 콘텐츠를 포함할 수 있다. 예를 들어, 입력 또는 선정된 수면 키워드를 콘텐츠 생성형 인공지능의 입력으로 하여, 키워드에 대응되는 수면 음원 콘텐츠와 수면 텍스트 콘텐츠를 생성할 수 있다.Sleep content using content generation-type artificial intelligence according to an embodiment of the present invention may include sleep text content and sleep sound source content. For example, by using the input or selected sleep keyword as an input to the content generation artificial intelligence, sleep sound source content and sleep text content corresponding to the keyword can be generated.
도 24에 도시된 바와 같이 본 발명의 일실시예에 따른, 콘텐츠 생성형 인공지능을 활용한 수면 콘텐츠는 수면 텍스트 콘텐츠와 수면 음원 콘텐츠를 포함할 수 있다. 구체적으로, 입력 또는 선정된 수면 키워드를 콘텐츠 생성형 인공지능의 입력으로 하여, 상술한 바와 같이 수면 음원 콘텐츠 및 수면 텍스트 콘텐츠를 생성할 수 있다. 생성된 수면 음원 콘텐츠와 수면 텍스트 콘텐츠는 수면 콘텐츠 테마와 수면 콘텐츠 이벤트에 대응되는 키워드의 순서와 정합되게 진행된다. 이를 통해서, 사용자는 독립적으로 인지될 수 있는 수면 음원 콘텐츠와 수면 텍스트 콘텐츠에서 통일성 있는 감각을 받을 수 있다. 예를 들어, 입력 또는 선정된 키워드가 "blue, wind, hearbeat, breathing"인 경우, 수면 텍스트 콘텐츠는 "1. Imagine yourself standing on a quiet beach, feeling the calm wind blowing through your hair and the waves gently lapping at your feet. 2. As you focus on your breathing you hear the soothing sound of your own heartbeat and the gentle hum of other humans nearby. 3. As you close your eyes, you feel the peacefulness of the morning sounds washing over you, allowing you to fully relax and let go."로 생성될 수 있고, 수면 콘텐츠 테마는 "테마1"과 수면 콘텐츠 이벤트는 "이벤트1, 이벤트2, 이벤트3, 이벤트4"로 선정될 수 있다. 이 경우, 수면 콘텐츠 테마와 대응되는 음원은 수면 음원 콘텐츠가 재생되는 모든 기간 동안 재생되고, 수면 콘텐츠 이벤트1 내지 수면 콘텐츠 이벤트4와 대응되는 음원은 수면 음원 콘텐츠가 재생되는 동안 간헐적으로 재생될 수 있고, 이를 통해 사용자는 독립적으로 인지될 수 있는 수면 음원 콘텐츠와 수면 텍스트 콘텐츠에서 통일성 있는 감각을 받을 수 있다.As shown in FIG. 24, sleep content using content creation-type artificial intelligence according to an embodiment of the present invention may include sleep text content and sleep sound source content. Specifically, by using the input or selected sleep keyword as an input to the content generation artificial intelligence, sleep sound source content and sleep text content can be generated as described above. The generated sleep sound source content and sleep text content are processed in accordance with the order of keywords corresponding to the sleep content theme and sleep content event. Through this, the user can receive a sense of unity from the independently recognizable sleep sound source content and sleep text content. For example, if the entered or selected keyword is "blue, wind, hearbeat, breathing", the sleep text content is "1. Imagine yourself standing on a quiet beach, feeling the calm wind blowing through your hair and the waves gently lapping" 2. As you focus on your breathing you hear the soothing sound of your own heartbeat and the gentle hum of other humans nearby. 3. As you close your eyes, you feel the peacefulness of the morning sounds washing over you. It can be created as “allowing you to fully relax and let go.”, and the sleep content theme can be selected as “Theme 1” and the sleep content event as “Event 1, Event 2, Event 3, Event 4.” In this case, the sound source corresponding to the sleep content theme is played during the entire period when the sleep sound source content is played, and the sound source corresponding to sleep content event 1 to sleep content event 4 may be played intermittently while the sleep sound source content is played. , Through this, users can receive a sense of unity from sleep sound source content and sleep text content that can be recognized independently.
본 발명에 따른 일실시예에 따른, 콘텐츠 생성형 인공지능을 활용한 수면 콘텐츠는 콘텐츠 생성형 인공지능을 통해 생성될 수 있다. 적어도 하나 이상의 수면 콘텐츠 테마를 선정하고, 선정된 수면 콘텐츠 테마에 기초하여 콘텐츠를 생성할 수 있다. 또한, 수면 콘텐츠는 수면 음향 콘텐츠, 수면 시각 콘텐츠 및 수면 텍스트 콘텐츠 중 적어도 하나 이상을 포함할 수 있다.According to an embodiment according to the present invention, sleep content using content creation artificial intelligence can be created through content creation artificial intelligence. At least one sleep content theme may be selected, and content may be generated based on the selected sleep content theme. Additionally, the sleep content may include at least one of sleep sound content, sleep visual content, and sleep text content.
상술한 본 발명에 따른 실시예는, 본 발명을 설명하기 위한 실시예에 불과하며 이에 한정되지 않는다.The embodiments according to the present invention described above are merely examples for explaining the present invention and are not limited thereto.
심상 유도 정보imagery guidance information
심상 유도 정보는 지시된 사고 및 암시를 따라 사용자가 펼치는 상상을 통하여 심신을 이완시키고 몰입상태로 유도하는 정보를 포함한다. Imagery-inducing information includes information that relaxes the mind and body and induces a state of immersion through the user's imagination following instructed thoughts and suggestions.
심상 유도 정보는 심신이 분리되어 있는 것이 아니라 서로 연결되어 있다는 것을 전제로 할 수 있다. Imagery-inducing information can be based on the premise that the mind and body are not separate but are connected to each other.
본 발명에 따르면, 심상 유도 정보는 준비된 심상 유도 정보 또는 기록된 심상 유도 정보 또는 피처 기반 심상 유도 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. According to the present invention, the imagery inducing information may include prepared imagery inducing information, recorded imagery inducing information, or feature-based imagery inducing information, but is not limited thereto.
준비된 심상 유도 정보는 수량적 모델링 방법에 있어서 심상 유도 정보를 준비하는 준비 단계에 있어, 준비된 심상 유도 정보를 의미하며, 이하 자세히 서술한다. Prepared imagery induction information refers to imagery induction information prepared in the preparation stage of preparing imagery induction information in a quantitative modeling method, and is described in detail below.
기록된 심상 유도 정보는 수량적 모델링 장치에 있어서 메모리(610)에 기록된 심상 유도 정보를 의미하며, 이하 자세히 서술한다. The recorded image guidance information refers to the image guidance information recorded in the memory 610 in the quantitative modeling device, and will be described in detail below.
피처 기반 심상 유도 정보는 프로세서(630)가 추출된 사용자의 피처레 기반하여 생성하는 심상 유도 정보를 의미하며, 이하 자세히 서술한다. Feature-based imagery induction information refers to imagery induction information that the processor 630 generates based on the extracted user's features, and will be described in detail below.
본 발명의 일 실시예에 따르면, 심상 유도 정보는 심상 유도 음향 정보(13), 심상 유도 시각 정보(12), 심상 유도 텍스트 정보(11) 또는 심상 유도 텍스트 음향 정보(14)일 수 있다. According to an embodiment of the present invention, the imagery-inducing information may be imagery-inducing sound information 13, imagery-inducing visual information 12, imagery-inducing text information 11, or imagery-inducing text sound information 14.
또한, 심상 유도 정보는 심상 유도 음향 정보(13), 심상 유도 시각 정보(12), 심상 유도 텍스트 정보(11), 심상 유도 텍스트 음향 정보(14) 중 둘 이상의 조합일 수 있다. Additionally, the image-inducing information may be a combination of two or more of image-inducing sound information (13), image-inducing visual information (12), image-inducing text information (11), and image-inducing text sound information (14).
구체적으로, 본 발명의 일 실시예에 따르면, 서로 다른 심상 유도 음향 정보(13)의 둘 이상의 조합일 수 있다.Specifically, according to one embodiment of the present invention, it may be a combination of two or more different image-inducing sound information 13.
또한, 본 발명의 일 실시예에 따르면, 심상 유도 정보는 심상 유도 정보는 심상 유도 음향 정보(13), 심상 유도 시각 정보(12), 심상 유도 텍스트 정보(11) 또는 심상 유도 텍스트 음향 정보(14)가 시간에 따라 변화하는 시계열적인 일련의 순서일 수 있다. In addition, according to an embodiment of the present invention, the image-inducing information includes image-inducing sound information (13), image-inducing visual information (12), image-inducing text information (11), or image-inducing text sound information (14). ) may be a time series sequence that changes over time.
또는, 심상 유도 음향 정보(13), 심상 유도 시각 정보(12), 심상 유도 텍스트 정보(11), 심상 유도 텍스트 음향 정보(14) 중 둘 이상의 조합이 시간에 따라 변화하는 시계열적인 일련의 순서일 수 있다. Alternatively, a combination of two or more of the image-inducing sound information (13), the image-inducing visual information (12), the image-inducing text information (11), and the image-inducing text sound information (14) may be a time-series sequence that changes over time. You can.
이하, 심상 유도 정보에 대해 자세히 서술한다. Hereinafter, the image induction information will be described in detail.
심상 유도 음향 정보(13)Image-guided acoustic information (13)
도 25는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 심상 유도 정보를 제공하는 사용자 단말(300)의 한 실시 형태를 나타낸 도면이다. FIG. 25 is a diagram illustrating an embodiment of a user terminal 300 that provides imagery induction information based on sleep state information according to an embodiment of the present invention.
도 25에 도시된 바와 같이, 본 발명의 일실시예에 따라, 사용자가 선호하는 남성의 목소리 또는 사용자가 선호하는 여성의 목소리로 "여러분은 지금 캐나다의 호숫가를 걷고 있습니다"라고 말하는 사람의 음성으로 들리는 심상 유도 텍스트 음향 정보(14)가 사용자에게 제공되고, 사용자 단말(300)의 디스플레이에 이에 알맞는 제목인 '캐나다의 호숫가'라고 심상 유도 텍스트 정보(11)가 나타나고, 심상 유도 시각 정보(12)가 캐나다의 호숫가를 연상시키는, 예를 들어, 캐나다에 있는 호숫가에 곰이 목을 축이고 있는 이미지가 디스플레이에 나타나는 경우, 심상 유도 음향 정보(13)가 캐나다의 호숫가를 연상시키는, 예를 들어, 고요한 풀벌레가 우는 음향과 곰이 호숫가에서 목을 축이는 듯한 음향이 사용자에게 들릴 수 있다. As shown in Figure 25, according to one embodiment of the present invention, a human voice saying "You are now walking along a lake in Canada" in a male voice preferred by the user or a female voice preferred by the user Audible imagery-inducing text sound information 14 is provided to the user, imagery-inducing text information 11 with an appropriate title 'Lakeside in Canada' appears on the display of the user terminal 300, and imagery-inducing visual information 12 ) is reminiscent of a lake in Canada, for example, when an image of a bear quenching its neck on a lake in Canada appears on the display, the image-induced sound information 13 is reminiscent of a lake in Canada, for example. Users can hear the sound of a quiet insect crying or a bear quenching its thirst at the lakeside.
또는 심상 유도 시각 정보(12), 심상 유도 텍스트 음향 정보(14), 심상 유도 텍스트 정보(11)가 변함에 따라서, 심상 유도 음향 정보(13)가 시계열적으로 변할 수 있다. Alternatively, as the image-inducing visual information 12, the image-inducing text sound information 14, and the image-inducing text information 11 change, the image-inducing sound information 13 may change in time series.
도 25에 도시된 바와 같이, 심상 유도 정보는 심상 유도 음향 정보(13)를 포함할 수 있다. As shown in FIG. 25, the image-inducing information may include image-inducing sound information 13.
심상 유도 음향 정보(13)는 소리를 기반으로 사용자의 수면을 유도하는 정보를 포함할 수 있다. The image-inducing sound information 13 may include information that induces the user to sleep based on sound.
심상 유도 음향 정보(13)는 단일한 음향 정보일 수 있으며, 또는 소리를 기반으로 심상 유도 시나리오를 가진 시계열적 일련의 순서를 가진 음향 정보일 수 있다. The image-inducing sound information 13 may be single sound information, or may be sound information with a time-series sequence with an image-inducing scenario based on sound.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 단일한 음향 정보일 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may be a single piece of sound information.
예를 들어, 백색소음, 물 소리, 자연의 소리, ASMR(autonomous sensory meridian response), 사람이 내는 소리, SF 소리, 악기 소리, 동물 소리, 멜로디, 도시 소리, 규칙적인 소리, 바이노럴 비트(Binaural beats), 솔페지오 주파수(solfeggio frequencies), 빗소리, 바다, 강, 호수 소리, 땅, 바람, 불 연상 소리, 수면용 이야기 소리가 선사하는 안식의 소리 등이 포함될 수 있다. For example, white noise, water sounds, nature sounds, ASMR (autonomous sensory meridian response), human sounds, science fiction sounds, musical instrument sounds, animal sounds, melodies, city sounds, regular sounds, binaural beats ( Binaural beats, solfeggio frequencies, sounds of rain, sounds of the sea, rivers, lakes, earth, wind, fire, and sounds of rest provided by sleep stories.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 백색소음을 포함할 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may include white noise.
백색소음은 딥 브라운 노이즈, 그린 노이즈, 화이팅 노이즈, 핑크 노이즈, 블루 노이즈, 그레이 노이즈, 바이올렛 노이즈, 브라운 노이즈, 에어컨 소리, 우주선 소리, 비행기 소리를 포함할 수 있으나, 이에 한정되지 않는다. White noise may include, but is not limited to, deep brown noise, green noise, fighting noise, pink noise, blue noise, gray noise, violet noise, brown noise, air conditioner sound, spaceship sound, and airplane sound.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 물 소리를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may include the sound of water.
물 소리는 강 소리, 비 소리, 바다 소리, 샤워 소리, 폭포 소리, 호우 소리, 호숫가 소리, 식기 세척기 소리, 분수 소리, 비오는 도시의 소리, 아쿠아리움 소리, 대나무 숲 소리, 욕실 소리, 끓는 물약 소리, 빗속의 드라이브 소리, 물 위의 보트 소리, 욕조 소리, 창문에 떨어지는 비 소리, 바위에 부서지는 파도 소리, 동굴 소리, 항해 소리, 느린 파도 소리, 약한 비 소리, 세찬 비 소리, 비오는 날의 소리, 수중 소리, 호우 소리, 비오는 우림의 소리, 해변의 소리, 얼음 눈의 소리, 지붕에 내리는 비 소리, 텐트에 떨어지는 비의 소리, 찰랑거리는 물의 소리를 포함할 수 있으나, 이에 한정되지 않는다. Water sounds include river sounds, rain sounds, ocean sounds, shower sounds, waterfall sounds, downpour sounds, lakeside sounds, dishwasher sounds, fountain sounds, rainy city sounds, aquarium sounds, bamboo forest sounds, bathroom sounds, boiling potion sounds, The sounds of a drive in the rain, the sounds of a boat on the water, the sounds of a bathtub, the sounds of rain hitting the window, the sounds of waves crashing on the rocks, the sounds of caves, the sounds of sailing, the sounds of slow waves, the sounds of light rain, the sounds of heavy rain, the sounds of rainy days, This may include, but is not limited to, underwater sounds, heavy rain sounds, rain forest sounds, beach sounds, icy snow sounds, rain sounds on a roof, rain sounds on a tent, and lapping water sounds.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 자연의 소리를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing sound information 13 may include sounds of nature.
자연의 소리는 밤 소리, 바람 소리, 천둥 소리, 캠프파이어 소리, 캐나다의 숲 소리, 숲 산책 소리, 심장 박동 소리, 폭풍 소리, 화창한 날의 소리, 풍랑 소리, 숲 소리, 토스카나 소리, 오후의 소리, 뇌우 소리, 주피터 소리, 숲 속의 바람 소리, 바스락거리는 잎 소리, 불타는 소리를 포함할 수 있으나, 이에 한정되지 않는다. Nature sounds include night sounds, wind sounds, thunder sounds, campfire sounds, Canadian forest sounds, forest walk sounds, heartbeat sounds, storm sounds, sunny day sounds, storm sounds, forest sounds, Tuscan sounds, and afternoon sounds. , may include, but is not limited to, thunderstorm sounds, Jupiter sounds, wind sounds in the forest, rustling leaves, and burning sounds.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 ASMR(autonomous sensory meridian response)을 포함할 수 있다. According to one embodiment of the present invention, the image-induced sound information 13 may include ASMR (autonomous sensory meridian response).
ASMR은 침대 시트 소리, 점액 소리, 끈끈한 점액 소리, 탄산음료 소리, 거품 소리, 마이크 긁힘 소리, 골골송 소리, 메이크업 브러시 소리, 끓는 물 소리, 아이스 큐브 귀 마사지 소리, 귀에 바람 불기 소리, 프라이팬 소리, 에어캡 소리, 요정의 속삭임 소리, 말린 허브 소리, 빗소리, 손가락 비비기 소리, 페이지 넘기기 소리, 눈 위 걷기 소리, 바스락거리는 비닐 소리, 글 쓰기 소리, 귀 닦기 소리, 떨어지는 구슬 소리, 귀 청소 소리를 포함할 수 있으나, 이에 한정되지 않는다. ASMR includes bed sheet sounds, slime sounds, sticky slime sounds, soda sounds, bubble sounds, microphone scratching sounds, crackling sounds, makeup brush sounds, boiling water sounds, ice cube ear massage sounds, wind blowing on ears, frying pan sounds, etc. Includes bubble wrap sounds, fairy whispering sounds, dried herb sounds, rain sounds, fingers rubbing sounds, page turning sounds, walking on snow, rustling plastic sounds, writing sounds, ear cleaning sounds, falling beads sounds, and ear cleaning sounds. It can be done, but it is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 사람이 내는 소리를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing sound information 13 may include sounds made by a person.
사람이 내는 소리는 사람의 호흡 소리, 수면 명상 소리, 최면 단어 소리, 양 세기 소리 등을 포함할 수 있으나, 이에 한정되지 않는다.Sounds made by humans may include, but are not limited to, human breathing sounds, sleep meditation sounds, hypnotic word sounds, and sheep counting sounds.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 SF 소리를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing sound information 13 may include SF sounds.
SF 소리는 뇌파 스캐너 소리, 컴퓨터 신호음, 레이저 빔 소리, 리액터 소리, 우주선 소리, 로켓 엔진 소리, 우주의 소리, 우주선에서 걷는 소리, 주피터 소리를 포함할 수 있으나, 이에 한정되지 않는다. SF sounds may include, but are not limited to, brain wave scanner sounds, computer beep sounds, laser beam sounds, reactor sounds, spaceship sounds, rocket engine sounds, space sounds, walking sounds in the spaceship, and Jupiter sounds.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 악기 소리를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may include the sound of a musical instrument.
악기 소리는 뮤직박스 소리, 베이비 슈셔 소리, 콧노래 소리, 자궁 소리, 베이비 마림바 소리, 베이비 벨 소리, 딸랑이 소리, 브람스의 자장가 소리, 비행기 소리 등을 포함할 수 있으나, 이에 한정되지 않는다. Instrument sounds may include, but are not limited to, music box sounds, baby shushers, humming sounds, womb sounds, baby marimba sounds, baby bell sounds, rattle sounds, Brahms' lullaby sounds, airplane sounds, etc.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 동물 소리를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may include animal sounds.
동물 소리는 새 소리, 황소개구리 소리, 호박벌 소리, 소 소리, 아침 새소리, 돌고래 소리, 병아리 소리, 닭 소리, 오리 소리, 말발굽 소리, 열대새 소리, 양의 걸음 소리, 뻐꾸기 소리, 짹짹 소리, 고래의 여행 소리, 고래 소리, 갈매기 소리, 올빼미 소리, 개구리 소리, 그르렁거리는 고양이 소리, 늑대 소리, 아비새 소리, 매미 소리, 청개구리 소리 등을 포함할 수 있으나, 이에 한정되지 않는다. Animal sounds include birds, bullfrogs, bumblebees, cows, morning birds, dolphins, chicks, chickens, ducks, horses' hooves, tropical birds, sheep's steps, cuckoos, chirps, and whales. It may include, but is not limited to, travel sounds, whale sounds, seagull sounds, owl sounds, frog sounds, purring cat sounds, wolf sounds, loons, cicada sounds, tree frog sounds, etc.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 멜로디를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may include a melody.
멜로디는 영원 소리, 신스웨이브 소리, 피아노 소리, 오케스트라 소리, 선 소리, 가을 소리, 업라이트 피아노 소리, 라운지 소리, 별 소리, 부족 소리, 인도 소리, 티벳 그릇 소리, 환희 소리, 풍경 소리, 음성 소리, 관찰 소리, 베이스 음악 소리, 궤도 소리, 드럼 소리, 피리 소리, 합창단 소리, 별 구경 소리, 기타 소리, 드라마틱 소리, 나비 소리, 중세 소리, 지구 드라마 소리, 꿈 소리, 추상 소리, 플루트 소리, 은하수 소리, 봄 소리, 도시 소리, 작은 티벳볼 소리, 중간 티벳볼 소리, 큰 티벳볼 소리, 두둑 소리, 콧노래 소리, 발리의 안개 소리, 인도 드림 소리, 파헬벨 캐논 소리, 염불 소리, 작은 싱잉볼 소리, 큰 싱잉볼 소리, 마법의 차임벨 소리, 기도하는 시간 소리, 고대 소리, Om 소리, 하모니 소리를 포함할 수 있으나, 이에 한정되지 않는다. Melodies include eternity sounds, synthwave sounds, piano sounds, orchestra sounds, Zen sounds, autumn sounds, upright piano sounds, lounge sounds, star sounds, tribal sounds, Indian sounds, Tibetan bowl sounds, joy sounds, wind chime sounds, voice sounds, Observation sounds, bass music sounds, orbital sounds, drum sounds, flute sounds, choir sounds, stargazing sounds, guitar sounds, dramatic sounds, butterfly sounds, medieval sounds, earth drama sounds, dream sounds, abstract sounds, flute sounds, milky way sounds. , spring sound, city sound, small Tibetan ball sound, medium Tibetan ball sound, large Tibetan ball sound, pattering sound, humming sound, Balinese fog sound, Indian dream sound, Pachelbel Canon sound, chanting sound, small singing bowl sound, large It may include, but is not limited to, singing bowl sounds, magic chime sounds, prayer time sounds, ancient sounds, Om sounds, and harmony sounds.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 도시 소리를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing sound information 13 may include city sounds.
도시 소리는 흔들이 선풍기 소리, 샤워 소리, 에어컨 소리, 식기세척기 소리, 커피숍 소리, 기차 소리, 비오는 도시 소리, 아쿠아리움 소리, 욕실 소리, 빗속의 드라이브 소리, 욕조 소리, 차가운 금속 소리, 스프링쿨러 소리, 지붕에 내리는 비 소리, 놀이터 소리, 대형 괘종시계 소리, 드라이어 소리, 도시 분위기 소리, 뱃고동 소리, 청소기 소리, 키보드 소리, 군중 소리, 멀리서 오는 기차 소리, 카니발 소리, 트럭 엔진 소리, 헤어 드라이기 소리, 고속도로 소리를 포함할 수 있으나, 이에 한정되지 않는다.City sounds include the sound of a swinging fan, shower sound, air conditioner sound, dishwasher sound, coffee shop sound, train sound, rainy city sound, aquarium sound, bathroom sound, drive sound in the rain, bathtub sound, cold metal sound, and sprinkler sound. , the sound of rain falling on the roof, the sound of a playground, the sound of a grandfather clock, the sound of a dryer, the sound of city atmosphere, the sound of a boat horn, the sound of a vacuum cleaner, the sound of a keyboard, the sound of a crowd, the sound of a train coming from afar, the sound of a carnival, the sound of a truck engine, the sound of a hair dryer, It may include, but is not limited to, highway sounds.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 빗소리를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may include the sound of rain.
빗소리는 열대 우림에 내리는 빗소리, 비 내리는 파리의 밤의 소리, 텐트 위로 떨어지는 빗소리, 나뭇잎 위로 떨어지는 빗소리, 약한 빗소리, 폭우 소리, 도시의 빗소리, 창문에 부딪히는 빗방울 소리, 뇌우 소리, 차 안에서 느끼는 빗소리, 채광창으로 떨어지는 빗줄기 소리, 선종 사원 정원에 부슬부슬 내리는 빗소리, 영화 듄에 등장하는 캘리던 행성을 연상시키는 소리, 등대 별장 소리, 등대 별장의 라디오 소리를 포함할 수 있으나, 이에 한정되지 않는다. The sound of rain can be the sound of rain falling in a tropical rainforest, the sound of a rainy night in Paris, the sound of rain falling on a tent, the sound of rain falling on leaves, the sound of light rain, the sound of heavy rain, the sound of rain in the city, the sound of raindrops hitting the window, the sound of a thunderstorm, the sound of rain felt in a car, etc. This may include, but is not limited to, the sound of rain falling through a skylight, the sound of rain gently falling in the garden of a Zen temple, a sound reminiscent of the planet Caledon from the movie Dune, the sound of the lighthouse lodge, and the sound of the radio in the lighthouse lodge.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 바다, 강, 호수 소리를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may include the sounds of the sea, river, and lake.
바다, 강, 호수 소리는 플라이 낚시 소리, 아이슬란드의 바다 소리, 항해하는 선박의 아래층 간판 소리, 대양의 파도 소리, 이명을 위한 파도 소리, 여객선의 객실 소리, 마리아 메리안의 위대한 탐험 소리, 줄줄 흐르는 시냇물 소리, calm 아일랜드 소리, 폭포 소리, 먼 바다의 파도 소리, 조용히 흐르는 개울 소리, 마음을 진정시켜주는 아쿠아스케이프 소리, 백색 소음 바다 서핑 소리, 산호초 소리, 제스퍼 호수 소리, 물의 원천 소리, 삶의 원천 소리, 산호초의 도시 소리, 태평양 북서부의 소리, 다이아몬드의 바다 소리, 노던 레이크 소리, 산속 노천탕 소리, 사우스웨스트 리버 캐넌 소리, marin headlands 소리, 하이 시에라 레이크 소리, 에버 글레이즈 소리, 해변 캠프파이어 소리 등이 포함될 수 있으나, 이에 한정되지 않는다. The sounds of seas, rivers and lakes include the sounds of fly fishing, the sounds of Iceland's seas, the sounds of the lower deck of a sailing ship, the sounds of ocean waves, the sounds of waves for tinnitus, the sounds of passenger ship cabins, the sounds of Maria Merian's great expedition, the sound of a flowing stream. Sounds, calm island sounds, waterfall sounds, distant ocean waves, quietly flowing creek sounds, soothing aquascape sounds, white noise ocean surf sounds, coral reef sounds, Lake Jesper sounds, water source sounds, source of life sounds , coral reef city sounds, Pacific Northwest sounds, Diamond Sea sounds, Northern Lake sounds, mountain open-air bath sounds, Southwest River Canyon sounds, marin headlands sounds, High Sierra Lake sounds, Everglades sounds, beach campfire sounds, etc. However, it is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 땅, 바람, 불 소리를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may include sounds of earth, wind, and fire.
땅, 바다, 불 소리는 아삼 정글 소리, 골프 가든 소리, 봄의 프랑스 마을의 소리, 아이슬란드의 바다 소리, 아이슬란드의 여행을 연상시키는 소리, 매혹적인 이끼의 정원을 연상시키는 소리, 마라케시의 모자이크 공예가를 연상시키는 소리, 팔랑케 유적을 연상시키는 소리, 멕시코 시티를 연상시키는 소리, 구름의 산을 연상시키는 소리, 네덜란드의 겨울을 연상시키는 소리, 네덜란드의 봄을 연상시키는 소리, 빙하 특급 열차를 연상시키는 소리, 마리아 메리안의 위대한 탐험을 연상시키는 소리, 더블린을 연상시키는 소리, 머크로스 호숫가를 연상시키는 소리, 케인곰스를 연상시키는 소리, 뉴질랜드의 북섬을 연상시키는 소리, 뉴질랜드의 남섬을 연상시키는 소리, 로몬드 호수로 떠나는 여행을 연상시키는 소리, 알프스 초원을 연상시키는 소리, 캠프파이어를 연상시키는 소리, 숲의 소리, 알프스 산을 연상시키는 소리, 정엄한 계곡을 연상시키는 소리, 타닥타닥 타는 벽난로를 연상시키는 소리, 소나무숲에서 부는 바람을 연상시키는 소리, 하얀 눈을 연상시키는 소리, 나무 속에서 사는 것을 연상시키는 소리, 밤의 사막을 연상시키는 소리, 등대 별장을 연상시키는 소리, 정글 숲을 연상시키는 소리, 산속 노천탕을 연상시키는 소리, 낙엽수림을 연상시키는 소리, 태평양 북서부를 연상시키는 소리, 침엽수림을 연상시키는 소리, 옥수수밭을 연상시키는 소리, 대나무숲을 연상시키는 소리, 사우스웨스트 리버 캐년을 연상시키는 소리, 빙하의 눈밭을 연상시키는 소리, 숲 속의 종소리, 해변에서의 캠프파이어를 연상시키는 소리, 수확을 연상시키는 소리, 영화 듄에 등장하는 아라키스 행성을 연상시키는 소리, 영화 듄에 등장하는 캘러던 행성을 연상시키는 소리, 포 씨의 도서관을 연상시키는 소리, 고딕 양식의 묘지를 연상시키는 소리, 선풍기 소리, 세탁기 소리, 도시 거리의 소리, 뇌우 소리, 제스퍼 호수를 연상시키는 소리를 포함할 수 있으나, 이에 한정되는 것은 아니다. The sounds of land, sea and fire are the sounds of the Assam jungle, the sounds of a golf garden, the sounds of a French village in spring, the sounds of the sea in Iceland, sounds reminiscent of a trip to Iceland, sounds reminiscent of an enchanting garden of moss, sounds reminiscent of mosaic craftsmen in Marrakech. A sound reminiscent of the Palanque ruins, a sound reminiscent of Mexico City, a sound reminiscent of a mountain of clouds, a sound reminiscent of a Dutch winter, a sound reminiscent of a Dutch spring, a sound reminiscent of a glacier express, Sounds reminiscent of Maria Marian's great expeditions, sounds reminiscent of Dublin, sounds reminiscent of the shores of Lake Muckross, sounds reminiscent of Caningoms, sounds reminiscent of New Zealand's North Island, sounds reminiscent of New Zealand's South Island, Loch Lomond A sound reminiscent of a trip to the Alps, a sound reminiscent of an Alpine meadow, a sound reminiscent of a campfire, a sound reminiscent of a forest, a sound reminiscent of an Alpine mountain, a sound reminiscent of a solemn valley, a sound reminiscent of a crackling fireplace, A sound reminiscent of the wind blowing in a pine forest, a sound reminiscent of white snow, a sound reminiscent of living in a tree, a sound reminiscent of a desert at night, a sound reminiscent of a lighthouse villa, a sound reminiscent of a jungle forest, and an open-air bath in the mountains. Sounds reminiscent of a deciduous forest, sounds reminiscent of the Pacific Northwest, sounds reminiscent of a coniferous forest, sounds reminiscent of a cornfield, sounds reminiscent of a bamboo forest, sounds reminiscent of the Southwest River Canyon, sounds reminiscent of a glacier. A sound reminiscent of a field of snow, a bell in the forest, a sound reminiscent of a campfire on the beach, a sound reminiscent of a harvest, a sound reminiscent of the planet Arrakis from the movie Dune, a sound reminiscent of the planet Calladhan from the movie Dune. Sounds may include, but are not limited to, sounds reminiscent of Mr. Poe's library, sounds reminiscent of a gothic graveyard, fans, washing machines, sounds of city streets, thunderstorms, and sounds reminiscent of Lake Jesper. no.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 수면용 이야기 소리가 선사하는 안식의 소리를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing sound information 13 may include the sound of rest provided by the sound of a sleep story.
수면용 이야기 소리가 선사하는 안식의 소리는 골프 가든을 연상시키는 소리, 일곱 언덕의 도시를 연상시키는 소리, 구름의 산을 연상시키는 소리, 빙하 특급 열차를 연상시키는 소리, 마리아 메리안의 위대한 탐험을 연상시키는 소리, 앙코르의 비밀 사원을 연상시키는 소리, 매혹적인 이끼 정원을 연상시키는 소리, 마라케시 모자이크 공예가를 연상시키는 소리를 포함할 수 있으나, 이에 한정되는 것은 아니다. The sounds of rest that sleep stories provide are reminiscent of a golf garden, a sound reminiscent of the City of Seven Hills, a sound reminiscent of the Mountain of Clouds, a sound reminiscent of the Glacier Express, and a sound reminiscent of Maria Marian's great expedition. These may include, but are not limited to, sounds reminiscent of the secret temples of Angkor, sounds reminiscent of enchanting moss gardens, and sounds reminiscent of mosaic artists in Marrakech.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 사용자가 선호하는 기억과 연관된 음향 정보일 수 있다. 또한, 심상 유도 음향 정보(13)는 사용자가 선호하는 기억과 연관된 심상 유도 시나리오를 가진 시계열적 음향 정보일 수 있다. According to one embodiment of the present invention, the imagery-inducing sound information 13 may be sound information associated with the user's preferred memory. Additionally, the imagery-inducing sound information 13 may be time-series sound information with an imagery-inducing scenario associated with the user's preferred memory.
심상 유도 시각 정보(12)Imagery-guided visual information (12)
도 25는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 심상 유도 정보를 제공하는 사용자 단말(300)의 한 실시 형태를 나타낸 도면이다. FIG. 25 is a diagram illustrating an embodiment of a user terminal 300 that provides imagery induction information based on sleep state information according to an embodiment of the present invention.
도 25에 도시된 바와 같이, 본 발명의 일실시예에 따라, 심상 유도 음향 정보(13)가 캐나다의 호숫가를 연상시키는, 예를 들어, 고요한 풀벌레가 우는 음향과 곰이 호숫가에서 목을 축이는 듯한 음향이 사용자에게 들리는 경우, 그리고, 사용자가 선호하는 남성의 목소리 또는 사용자가 선호하는 여성의 목소리로 "여러분은 지금 캐나다의 호숫가를 걷고 있습니다"라고 말하는 사람의 음성으로 들리는 심상 유도 텍스트 음향 정보(14)가 사용자에게 제공되고, 사용자 단말(300)의 디스플레이에 이에 알맞는 제목인 '캐나다의 호숫가'라고 심상 유도 텍스트 정보(11)가 나타나는 경우, 심상 유도 시각 정보(12)가 캐나다의 호숫가를 연상시키는, 예를 들어, 캐나다에 있는 호숫가에 곰이 목을 축이고 있는 이미지가 디스플레이에 나타날 수 있다. As shown in Figure 25, according to one embodiment of the present invention, the image-induced sound information 13 is reminiscent of a lake in Canada, for example, the sound of a quiet grass bug crying and a bear quenching its thirst at the lake. This is when the user hears an image-like sound, and an imagery-inducing text sound that is heard as a human voice saying, “You are now walking along a lake in Canada,” in a male voice that the user prefers, or a female voice that the user prefers. When the information 14 is provided to the user and the image-inducing text information 11 appears on the display of the user terminal 300 as the appropriate title 'Lakeside in Canada', the image-inducing visual information 12 is displayed in Canada. An image reminiscent of a lake, for example, a bear quenching its thirst on a lake in Canada, may appear on the display.
또는 심상 유도 음향 정보(13), 심상 유도 텍스트 음향 정보(14), 심상 유도 텍스트 정보(11)가 변함에 따라서, 심상 유도 시각 정보(12)가 시계열적으로 변할 수 있다. Alternatively, as the image-inducing sound information 13, the image-inducing text sound information 14, and the image-inducing text information 11 change, the image-inducing visual information 12 may change in time series.
도 25에 도시된 바와 같이, 심상 유도 정보는 심상 유도 시각 정보(12)를 포함할 수 있다. As shown in FIG. 25, the image-inducing information may include image-inducing visual information 12.
심상 유도 시각 정보(12)는 시각적 이미지를 기반으로 사용자의 수면을 유도하는 정보를 포함할 수 있다. The image-inducing visual information 12 may include information that induces the user to sleep based on the visual image.
심상 유도 시각 정보(12)는 단일한 시각 정보일 수 있으며, 또는 소리를 기반으로 심상 유도 시나리오를 가진 시계열적 시각 정보일 수 있다. The image-inducing visual information 12 may be single visual information, or may be time-series visual information with an image-inducing scenario based on sound.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 단일한 시각 정보일 수 있다. According to one embodiment of the present invention, the image-inducing visual information 12 may be a single visual information.
예를 들어, 백색소음을 연상시키는 시각 정보, 물을 연상시키는 시각 정보, 자연을 연상시키는 시각 정보, ASMR(autonomous sensory meridian response)을 연상시키는 시각 정보, 사람이 소리를 내는 시각 정보, SF 시각 정보, 악기의 시각 정보, 동물 시각 정보, 멜로디 시각 정보, 도시 시각 정보, 규칙적인 소리를 연상시키는 시각 정보, 바이노럴 비트(Binaural beats)를 연상시키는 시각 정보, 솔페지오 주파수(solfeggio frequencies)를 연상시키는 시각 정보, 비를 연상시키는 시각 정보, 바다, 강, 호수를 연상시키는 시각 정보, 땅, 바람, 불을 연상시키는 시각 정보, 수면용 이야기 소리가 선사하는 안식을 연상시키는 시각 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다. For example, visual information reminiscent of white noise, visual information reminiscent of water, visual information reminiscent of nature, visual information reminiscent of ASMR (autonomous sensory meridian response), visual information of human sounds, and science fiction visual information. , visual information of musical instruments, visual information of animals, visual information of melodies, visual information of cities, visual information reminiscent of regular sounds, visual information reminiscent of binaural beats, visual information reminiscent of solfeggio frequencies. It can include visual information reminiscent of rain, visual information reminiscent of rain, visual information reminiscent of the sea, rivers, and lakes, visual information reminiscent of land, wind, and fire, and visual information reminiscent of the rest provided by the sound of sleep stories. However, it is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 백색소음을 연상시키는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing visual information 12 may include visual information reminiscent of white noise.
백색소음을 연상시키는 시각 정보는 딥 브라운 노이즈를 연상시키는 시각 정보, 그린 노이즈를 연상시키는 시각 정보, 화이팅 노이즈를 연상시키는 시각 정보, 핑크 노이즈를 연상시키는 시각 정보, 블루 노이즈를 연상시키는 시각 정보, 그레이 노이즈를 연상시키는 시각 정보, 바이올렛 노이즈를 연상시키는 시각 정보, 브라운 노이즈를 연상시키는 시각 정보, 에어컨 소리를 연상시키는 시각 정보, 우주선 소리를 연상시키는 시각 정보, 비행기 소리를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of white noise includes visual information reminiscent of deep brown noise, visual information reminiscent of green noise, visual information reminiscent of fighting noise, visual information reminiscent of pink noise, visual information reminiscent of blue noise, and gray noise. It may include visual information reminiscent of noise, visual information reminiscent of violet noise, visual information reminiscent of brown noise, visual information reminiscent of the sound of an air conditioner, visual information reminiscent of the sound of a spaceship, and visual information reminiscent of the sound of an airplane. However, it is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 물을 연상시키는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing visual information 12 may include visual information reminiscent of water.
물을 연상시키는 시각 정보는 강을 연상시키는 시각 정보, 비를 연상시키는 시각 정보, 바다를 연상시키는 시각 정보, 샤워를 연상시키는 시각 정보, 폭포를 연상시키는 시각 정보, 호우를 연상시키는 시각 정보, 호숫가를 연상시키는 시각 정보, 식기 세척기를 연상시키는 시각 정보, 분수를 연상시키는 시각 정보, 비오는 도시를 연상시키는 시각 정보, 아쿠아리움을 연상시키는 시각 정보, 대나무 숲을 연상시키는 시각 정보, 욕실을 연상시키는 시각 정보, 끓는 물약을 연상시키는 시각 정보, 빗속의 드라이브를 연상시키는 시각 정보, 물 위의 보트를 연상시키는 시각 정보, 욕조를 연상시키는 시각 정보, 창문에 떨어지는 비를 연상시키는 시각 정보, 바위에 부서지는 파도를 연상시키는 시각 정보, 동굴을 연상시키는 시각 정보, 항해를 연상시키는 시각 정보, 느린 파도를 연상시키는 시각 정보, 약한 비를 연상시키는 시각 정보, 세찬 비를 연상시키는 시각 정보, 비오는 날을 연상시키는 시각 정보, 수중을 연상시키는 시각 정보, 호우를 연상시키는 시각 정보, 비오는 우림을 연상시키는 시각 정보, 해변을 연상시키는 시각 정보, 얼음 눈을 연상시키는 시각 정보, 지붕에 내리는 비를 연상시키는 시각 정보, 텐트에 떨어지는 비를 연상시키는 시각 정보, 찰랑거리는 물을 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of water includes visual information reminiscent of a river, visual information reminiscent of rain, visual information reminiscent of the sea, visual information reminiscent of a shower, visual information reminiscent of a waterfall, visual information reminiscent of heavy rain, and a lakeside. Visual information reminiscent of, visual information reminiscent of a dishwasher, visual information reminiscent of a fountain, visual information reminiscent of a rainy city, visual information reminiscent of an aquarium, visual information reminiscent of a bamboo forest, visual information reminiscent of a bathroom , visual information reminiscent of a boiling potion, visual information reminiscent of a drive in the rain, visual information reminiscent of a boat on water, visual information reminiscent of a bathtub, visual information reminiscent of rain falling on a window, waves crashing on rocks. Visual information reminiscent of, visual information reminiscent of a cave, visual information reminiscent of sailing, visual information reminiscent of slow waves, visual information reminiscent of light rain, visual information reminiscent of heavy rain, visual information reminiscent of a rainy day. Information, visual information reminiscent of underwater, visual information reminiscent of heavy rain, visual information reminiscent of a rainy rainforest, visual information reminiscent of a beach, visual information reminiscent of ice snow, visual information reminiscent of rain on a roof, tent It may include, but is not limited to, visual information reminiscent of rain falling and visual information reminiscent of lapping water.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 자연을 연상시키는 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing visual information 12 may include visual information reminiscent of nature.
자연을 연상시키는 시각 정보는 밤을 연상시키는 시각 정보, 바람 소리를 연상시키는 시각 정보, 천둥 소리를 연상시키는 시각 정보, 캠프파이어를 연상시키는 시각 정보, 캐나다의 숲을 연상시키는 시각 정보, 숲 산책을 연상시키는 시각 정보, 심장 박동을 연상시키는 시각 정보, 폭풍을 연상시키는 시각 정보, 화창한 날을 연상시키는 시각 정보, 풍랑을 연상시키는 시각 정보, 숲을 연상시키는 시각 정보, 토스카나를 연상시키는 시각 정보, 오후를 연상시키는 시각 정보, 뇌우를 연상시키는 시각 정보, 주피터를 연상시키는 시각 정보, 숲 속의 바람을 연상시키는 시각 정보, 바스락거리는 잎을 연상시키는 시각 정보, 불타는 소리를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of nature includes visual information reminiscent of the night, visual information reminiscent of the sound of the wind, visual information reminiscent of the sound of thunder, visual information reminiscent of a campfire, visual information reminiscent of a Canadian forest, and visual information reminiscent of a forest walk. Visual information reminiscent of a heartbeat, visual information reminiscent of a storm, visual information reminiscent of a sunny day, visual information reminiscent of a storm, visual information reminiscent of a forest, visual information reminiscent of Tuscany, afternoon It may include visual information reminiscent of , visual information reminiscent of a thunderstorm, visual information reminiscent of Jupiter, visual information reminiscent of the wind in the forest, visual information reminiscent of rustling leaves, and visual information reminiscent of a burning sound. , but is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 ASMR(autonomous sensory meridian response)을 연상시키는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing visual information 12 may include visual information reminiscent of ASMR (autonomous sensory meridian response).
ASMR은 침대 시트를 연상시키는 시각 정보, 점액을 연상시키는 시각 정보, 끈끈한 점액을 연상시키는 시각 정보, 탄산음료를 연상시키는 시각 정보, 거품을 연상시키는 시각 정보, 마이크 긁힘을 연상시키는 시각 정보, 골골송을 연상시키는 시각 정보, 메이크업 브러시를 연상시키는 시각 정보, 끓는 물을 연상시키는 시각 정보, 아이스 큐브 귀 마사지를 연상시키는 시각 정보, 귀에 바람 불기를 연상시키는 시각 정보, 프라이팬을 연상시키는 시각 정보, 에어캡을 연상시키는 시각 정보, 요정의 속삭임을 연상시키는 시각 정보, 말린 허브를 연상시키는 시각 정보, 빗소리를 연상시키는 시각 정보, 손가락 비비기를 연상시키는 시각 정보, 페이지 넘기기를 연상시키는 시각 정보, 눈 위 걷기를 연상시키는 시각 정보, 바스락거리는 비닐을 연상시키는 시각 정보, 글 쓰기를 연상시키는 시각 정보, 귀 닦기를 연상시키는 시각 정보, 떨어지는 구슬을 연상시키는 시각 정보, 귀 청소를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. ASMR includes visual information reminiscent of bed sheets, visual information reminiscent of mucus, visual information reminiscent of sticky mucus, visual information reminiscent of soda, visual information reminiscent of bubbles, visual information reminiscent of microphone scratching, and visual information reminiscent of microphone scratching. Visual information reminiscent of, visual information reminiscent of a makeup brush, visual information reminiscent of boiling water, visual information reminiscent of an ice cube ear massage, visual information reminiscent of blowing wind in the ear, visual information reminiscent of a frying pan, air cap visual information reminiscent of, visual information reminiscent of a fairy's whisper, visual information reminiscent of dried herbs, visual information reminiscent of the sound of rain, visual information reminiscent of rubbing fingers, visual information reminiscent of turning a page, walking on snow It may include evocative visual information, visual information reminiscent of rustling plastic, visual information reminiscent of writing, visual information reminiscent of ear cleaning, visual information reminiscent of falling marbles, and visual information reminiscent of ear cleaning, but , but is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 사람이 소리를 내는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing visual information 12 may include visual information about a person making a sound.
사람이 소리를 내는 시각 정보는 사람의 호흡을 연상시키는 시각 정보, 수면 명상을 연상시키는 시각 정보, 최면 단어를 연상시키는 시각 정보, 양을 세는 행위를 연상시키는 시각 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.Visual information reminiscent of human sounds may include visual information reminiscent of human breathing, visual information reminiscent of sleep meditation, visual information reminiscent of hypnotic words, visual information reminiscent of the act of counting sheep, etc. It is not limited.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 SF 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing visual information 12 may include SF visual information.
SF 시각 정보는 뇌파 스캐너를 연상시키는 시각 정보, 컴퓨터 신호음을 연상시키는 시각 정보, 레이저 빔을 연상시키는 시각 정보, 리액터를 연상시키는 시각 정보, 우주선을 연상시키는 시각 정보, 로켓 엔진을 연상시키는 시각 정보, 우주를 연상시키는 시각 정보, 우주선에서 걷기를 연상시키는 시각 정보, 주피터를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. SF visual information is visual information reminiscent of an brain wave scanner, visual information reminiscent of a computer beep, visual information reminiscent of a laser beam, visual information reminiscent of a reactor, visual information reminiscent of a spaceship, visual information reminiscent of a rocket engine, It may include, but is not limited to, visual information reminiscent of space, visual information reminiscent of walking in a spaceship, and visual information reminiscent of Jupiter.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 악기의 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing visual information 12 may include visual information of a musical instrument.
악기의 시각 정보는 뮤직박스를 연상시키는 시각 정보, 베이비 슈셔를 연상시키는 시각 정보, 콧노래를 연상시키는 시각 정보, 자궁을 연상시키는 시각 정보, 베이비 마림바를 연상시키는 시각 정보, 베이비 벨을 연상시키는 시각 정보, 딸랑이를 연상시키는 시각 정보, 브람스의 자장가를 연상시키는 시각 정보, 비행기 소리를 연상시키는 시각 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. The visual information of the instrument is reminiscent of a music box, visual information reminiscent of a baby shusher, visual information reminiscent of a hum, visual information reminiscent of a womb, visual information reminiscent of a baby marimba, and visual information reminiscent of a baby bell. , visual information reminiscent of a rattle, visual information reminiscent of Brahms' lullaby, visual information reminiscent of the sound of an airplane, etc., but is not limited thereto.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 동물 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing visual information 12 may include animal visual information.
동물 시각 정보는 새를 연상시키는 시각 정보, 황소개구리를 연상시키는 시각 정보, 호박을 연상시키는 시각 정보, 소를 연상시키는 시각 정보, 아침 새를 연상시키는 시각 정보, 돌고래를 연상시키는 시각 정보, 병아리를 연상시키는 시각 정보, 닭을 연상시키는 시각 정보, 오리를 연상시키는 시각 정보, 말발굽을 연상시키는 시각 정보, 열대새를 연상시키는 시각 정보, 양의 걸음을 연상시키는 시각 정보, 뻐꾸기를 연상시키는 시각 정보, 짹짹 소리를 연상시키는 시각 정보, 고래의 여행을 연상시키는 시각 정보, 고래를 연상시키는 시각 정보, 갈매기를 연상시키는 시각 정보, 올빼미를 연상시키는 시각 정보, 개구리를 연상시키는 시각 정보, 그르렁거리는 고양이를 연상시키는 시각 정보, 늑대를 연상시키는 시각 정보, 아비새를 연상시키는 시각 정보, 매미를 연상시키는 시각 정보, 청개구리를 연상시키는 시각 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. Animal visual information includes visual information reminiscent of a bird, visual information reminiscent of a bullfrog, visual information reminiscent of a pumpkin, visual information reminiscent of a cow, visual information reminiscent of a morning bird, visual information reminiscent of a dolphin, and visual information reminiscent of a chick. Visual information reminiscent of a chicken, visual information reminiscent of a duck, visual information reminiscent of a horse's hoof, visual information reminiscent of a tropical bird, visual information reminiscent of a sheep's walk, visual information reminiscent of a cuckoo, Visual information reminiscent of a chirp, visual information reminiscent of a whale's journey, visual information reminiscent of a whale, visual information reminiscent of a seagull, visual information reminiscent of an owl, visual information reminiscent of a frog, visual information reminiscent of a purring cat. It may include, but is not limited to, visual information reminiscent of a wolf, visual information reminiscent of a loon, visual information reminiscent of a cicada, and visual information reminiscent of a tree frog.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 멜로디 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing visual information 12 may include melody visual information.
멜로디 시각 정보는 영원을 연상시키는 시각 정보, 신스웨이브를 연상시키는 시각 정보, 피아노를 연상시키는 시각 정보, 오케스트라를 연상시키는 시각 정보, 선을 연상시키는 시각 정보, 가을을 연상시키는 시각 정보, 업라이트 피아노를 연상시키는 시각 정보, 라운지를 연상시키는 시각 정보, 별을 연상시키는 시각 정보, 부족을 연상시키는 시각 정보, 인도를 연상시키는 시각 정보, 티벳 그릇을 연상시키는 시각 정보, 환희를 연상시키는 시각 정보, 풍경을 연상시키는 시각 정보, 음성을 연상시키는 시각 정보, 관찰을 연상시키는 시각 정보, 베이스 음악을 연상시키는 시각 정보, 궤도를 연상시키는 시각 정보, 드럼을 연상시키는 시각 정보, 피리를 연상시키는 시각 정보, 합창단을 연상시키는 시각 정보, 별 구경을 연상시키는 시각 정보, 기타를 연상시키는 시각 정보, 드라마틱을 연상시키는 시각 정보, 나비를 연상시키는 시각 정보, 중세를 연상시키는 시각 정보, 지구 드라마를 연상시키는 시각 정보, 꿈을 연상시키는 시각 정보, 추상을 연상시키는 시각 정보, 플루트를 연상시키는 시각 정보, 은하수를 연상시키는 시각 정보, 봄을 연상시키는 시각 정보, 도시를 연상시키는 시각 정보, 작은 티벳볼을 연상시키는 시각 정보, 중간 티벳볼을 연상시키는 시각 정보, 큰 티벳볼을 연상시키는 시각 정보, 두둑을 연상시키는 시각 정보, 콧노래를 연상시키는 시각 정보, 발리의 안개를 연상시키는 시각 정보, 인도 드림을 연상시키는 시각 정보, 파헬벨 캐논을 연상시키는 시각 정보, 염불을 연상시키는 시각 정보, 작은 싱잉볼을 연상시키는 시각 정보 , 큰 싱잉볼을 연상시키는 시각 정보, 마법의 차임벨을 연상시키는 시각 정보, 기도하는 시간을 연상시키는 시각 정보, 고대를 연상시키는 시각 정보, Om을 연상시키는 시각 정보, 하모니를 연상시키는 시각 정보 포함할 수 있으나, 이에 한정되지 않는다. Melody visual information is visual information reminiscent of eternity, visual information reminiscent of synthwave, visual information reminiscent of a piano, visual information reminiscent of an orchestra, visual information reminiscent of lines, visual information reminiscent of autumn, and upright piano. Visual information reminiscent of a lounge, visual information reminiscent of a star, visual information reminiscent of a tribe, visual information reminiscent of India, visual information reminiscent of a Tibetan bowl, visual information reminiscent of joy, landscape Visual information reminiscent of a voice, visual information reminiscent of an observation, visual information reminiscent of bass music, visual information reminiscent of a trajectory, visual information reminiscent of a drum, visual information reminiscent of a flute, visual information reminiscent of a choir Evocative visual information, visual information reminiscent of stargazing, visual information reminiscent of guitar, visual information reminiscent of drama, visual information reminiscent of a butterfly, visual information reminiscent of the Middle Ages, visual information reminiscent of an earth drama, dream Visual information reminiscent of , visual information reminiscent of abstraction, visual information reminiscent of a flute, visual information reminiscent of the Milky Way, visual information reminiscent of spring, visual information reminiscent of a city, visual information reminiscent of a small Tibetan ball, Visual information reminiscent of a medium Tibetan ball, visual information reminiscent of a large Tibetan ball, visual information reminiscent of a patter, visual information reminiscent of a hum, visual information reminiscent of Balinese fog, visual information reminiscent of an Indian dream, Pachelbel Visual information reminiscent of a canon, visual information reminiscent of chanting, visual information reminiscent of a small singing bowl, visual information reminiscent of a large singing bowl, visual information reminiscent of a magic chime, visual information reminiscent of prayer time, It may include, but is not limited to, visual information reminiscent of ancient times, visual information reminiscent of Om, and visual information reminiscent of harmony.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 도시 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing visual information 12 may include city visual information.
도시 시각 정보는 흔들이 선풍기를 연상시키는 시각 정보, 샤워를 연상시키는 시각 정보, 에어컨을 연상시키는 시각 정보, 식기세척기를 연상시키는 시각 정보, 커피숍을 연상시키는 시각 정보, 기차를 연상시키는 시각 정보, 비오는 도시를 연상시키는 시각 정보, 아쿠아리움을 연상시키는 시각 정보, 욕실을 연상시키는 시각 정보, 빗속의 드라이브를 연상시키는 시각 정보, 욕조를 연상시키는 시각 정보, 차가운 금속을 연상시키는 시각 정보, 스프링쿨러를 연상시키는 시각 정보, 지붕에 내리는 비를 연상시키는 시각 정보, 놀이터를 연상시키는 시각 정보, 대형 괘종시계를 연상시키는 시각 정보, 드라이어를 연상시키는 시각 정보, 도시 분위기를 연상시키는 시각 정보, 뱃고동을 연상시키는 시각 정보, 청소기를 연상시키는 시각 정보, 키보드를 연상시키는 시각 정보, 군중을 연상시키는 시각 정보, 멀리서 오는 기차를 연상시키는 시각 정보, 카니발을 연상시키는 시각 정보, 트럭 엔진을 연상시키는 시각 정보, 헤어 드라이기를 연상시키는 시각 정보, 고속도로를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. City visual information is visual information reminiscent of a swinging fan, visual information reminiscent of a shower, visual information reminiscent of an air conditioner, visual information reminiscent of a dishwasher, visual information reminiscent of a coffee shop, visual information reminiscent of a train, Visual information reminiscent of a rainy city, visual information reminiscent of an aquarium, visual information reminiscent of a bathroom, visual information reminiscent of a drive in the rain, visual information reminiscent of a bathtub, visual information reminiscent of cold metal, visual information reminiscent of sprinklers Visual information reminiscent of rain falling on a roof, visual information reminiscent of a playground, visual information reminiscent of a large grandfather clock, visual information reminiscent of a hair dryer, visual information reminiscent of a city atmosphere, visual information reminiscent of a boat horn. Information, visual information reminiscent of a vacuum cleaner, visual information reminiscent of a keyboard, visual information reminiscent of a crowd, visual information reminiscent of a train coming from afar, visual information reminiscent of a carnival, visual information reminiscent of a truck engine, hair dryer It may include reminiscent visual information and visual information reminiscent of a highway, but is not limited thereto.
본 발명의 일 실시예에 따르면, 심상 유도 음향 정보(13)는 비를 연상시키는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing sound information 13 may include visual information reminiscent of rain.
비를 연상시키는 시각 정보는 열대 우림을 연상시키는 시각 정보, 비 내리는 파리의 밤을 연상시키는 시각 정보, 텐트 위로 떨어지는 비를 연상시키는 시각 정보, 나뭇잎 위로 떨어지는 비를 연상시키는 시각 정보, 약한 비를 연상시키는 시각 정보, 폭우를 연상시키는 시각 정보, 도시의 비를 연상시키는 시각 정보, 창문에 부딪히는 빗방울을 연상시키는 시각 정보, 뇌우를 연상시키는 시각 정보, 차 안에서 느끼는 비를 연상시키는 시각 정보, 채광창으로 떨어지는 비를 연상시키는 시각 정보, 선종 사원 정원에 부슬부슬 내리는 비를 연상시키는 시각 정보, 듄: 캘리던을 연상시키는 시각 정보, 등대 별장을 연상시키는 시각 정보, 등대 별장의 라디오를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of rain includes visual information reminiscent of a tropical rainforest, visual information reminiscent of a rainy night in Paris, visual information reminiscent of rain falling on a tent, visual information reminiscent of rain falling on leaves, and visual information reminiscent of light rain. Visual information reminiscent of heavy rain, visual information reminiscent of rain in the city, visual information reminiscent of raindrops hitting a window, visual information reminiscent of a thunderstorm, visual information reminiscent of rain felt in a car, visual information reminiscent of rain falling through a skylight Includes visual information reminiscent of rain, visual information reminiscent of drizzling rain in the garden of a Zen temple, visual information reminiscent of Dune: Caledon, visual information reminiscent of the Lighthouse Villa, and visual information reminiscent of the radio in the Lighthouse Villa. It can be done, but it is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 바다, 강, 호수를 연상시키는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing visual information 12 may include visual information reminiscent of the sea, river, or lake.
바다, 강, 호수를 연상시키는 시각 정보는 플라이 낚시를 연상시키는 시각 정보, 아이슬란드의 바다를 연상시키는 시각 정보, 항해하는 선박의 아래층 간판을 연상시키는 시각 정보, 대양의 파도를 연상시키는 시각 정보, 이명을 위한 파도를 연상시키는 시각 정보, 여객선의 객실을 연상시키는 시각 정보, 마리아 메리안의 위대한 탐험을 연상시키는 시각 정보, 줄줄 흐르는 시냇물을 연상시키는 시각 정보, calm 아일랜드를 연상시키는 시각 정보, 폭포를 연상시키는 시각 정보, 먼 바다의 파도를 연상시키는 시각 정보, 조용히 흐르는 개울을 연상시키는 시각 정보, 마음을 진정시켜주는 아쿠아스케이프를 연상시키는 시각 정보, 백색 소음의 바다 서핑을 연상시키는 시각 정보, 산호초를 연상시키는 시각 정보, 제스퍼 호수를 연상시키는 시각 정보, 물의 원천을 연상시키는 시각 정보, 삶의 원천를 연상시키는 시각 정보, 산호초의 도시를 연상시키는 시각 정보, 태평양 북서부를 연상시키는 시각 정보, 다이아몬드의 바다를 연상시키는 시각 정보, 노던 레이크를 연상시키는 시각 정보, 산속 노천탕을 연상시키는 시각 정보, 사우스웨스트 리버 캐넌을 연상시키는 시각 정보, marin headlands를 연상시키는 시각 정보, 하이 시에라 레이크를 연상시키는 시각 정보, 에버 글레이즈를 연상시키는 시각 정보, 해변 캠프파이어를 연상시키는 시각 정보 등이 포함될 수 있으나, 이에 한정되지 않는다. Visual information reminiscent of the sea, rivers, and lakes, visual information reminiscent of fly fishing, visual information reminiscent of the sea of Iceland, visual information reminiscent of the downstairs sign of a sailing ship, visual information reminiscent of ocean waves, and so on. Visual information reminiscent of waves, visual information reminiscent of a passenger ship's cabin, visual information reminiscent of Maria Marian's great exploration, visual information reminiscent of a flowing stream, visual information reminiscent of calm island, visual information reminiscent of a waterfall. Visual information, visual information reminiscent of distant ocean waves, visual information reminiscent of a quietly flowing stream, visual information reminiscent of a soothing aquascape, visual information reminiscent of white noise ocean surfing, visual information reminiscent of a coral reef. Visual information, reminiscent of Lake Jasper, Visual information reminiscent of the source of water, Visual information reminiscent of the source of life, Visual information reminiscent of the city of coral reefs, Visual information reminiscent of the Pacific Northwest, Visual information reminiscent of the sea of diamonds A visual reminiscent of a northern lake, a visual reminiscent of a mountain hot spring, a visual reminiscent of the Southwest River Canyon, a visual reminiscent of marin headlands, a visual reminiscent of a High Sierra Lake, a visual reminiscent of the Everglades Visual information reminiscent of a beach campfire may be included, but is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 땅, 바람, 불을 연상시키는 시각 정보를 포함할 수 있다. According to an embodiment of the present invention, the imagery-inducing visual information 12 may include visual information reminiscent of land, wind, and fire.
땅, 바다, 불을 연상시키는 시각 정보는 아삼 정글을 연상시키는 시각 정보, 골프 가든을 연상시키는 시각 정보, 봄의 프랑스 마을을 연상시키는 시각 정보, 아이슬란드의 바다를 연상시키는 시각 정보, 아이슬란드의 여행을 연상시키는 시각 정보, 매혹적인 이끼의 정원을 연상시키는 시각 정보, 마라케시의 모자이크 공예가를 연상시키는 시각 정보, 팔랑케 유적을 연상시키는 시각 정보, 멕시코 시티를 연상시키는 시각 정보, 구름의 산을 연상시키는 시각 정보, 네덜란드의 겨울을 연상시키는 시각 정보, 네덜란드의 봄을 연상시키는 시각 정보, 빙하 특급 열차를 연상시키는 시각 정보, 마리아 메리안의 위대한 탐험을 연상시키는 시각 정보, 더블린을 연상시키는 시각 정보, 머크로스 호숫가를 연상시키는 시각 정보, 케인곰스를 연상시키는 시각 정보, 뉴질랜드의 북섬을 연상시키는 시각 정보, 뉴질랜드의 남섬을 연상시키는 시각 정보, 로몬드 호수로 떠나는 여행을 연상시키는 시각 정보, 알프스 초원을 연상시키는 시각 정보, 캠프파이어를 연상시키는 시각 정보, 숲을 연상시키는 시각 정보, 알프스 산을 연상시키는 시각 정보, 정엄한 계곡을 연상시키는 시각 정보, 타닥타닥 타는 벽난로를 연상시키는 시각 정보, 소나무숲에서 부는 바람을 연상시키는 시각 정보, 하얀 눈을 연상시키는 시각 정보, 나무 속에서 사는 것을 연상시키는 시각 정보, 밤의 사막을 연상시키는 시각 정보, 등대 별장을 연상시키는 시각 정보, 정글 숲을 연상시키는 시각 정보, 산속 노천탕을 연상시키는 시각 정보, 낙엽수림을 연상시키는 시각 정보, 태평양 북서부를 연상시키는 시각 정보, 침엽수림을 연상시키는 시각 정보, 옥수수밭을 연상시키는 시각 정보, 대나무숲을 연상시키는 시각 정보, 사우스웨스트 리버 캐년을 연상시키는 시각 정보, 빙하의 눈밭을 연상시키는 시각 정보, 숲 속의 종을 연상시키는 시각 정보, 해변에서의 캠프파이어를 연상시키는 시각 정보, 수확을 연상시키는 시각 정보, 영화 듄에 등장하는 아라키스 행성을 연상시키는 시각 정보, 영화 듄에 등장하는 캘러던 행성을 연상시키는 시각 정보, 포 씨의 도서관을 연상시키는 시각 정보, 고딕 양식의 묘지를 연상시키는 시각 정보, 선풍기를 연상시키는 시각 정보, 세탁기를 연상시키는 시각 정보, 도시 거리를 연상시키는 시각 정보, 뇌우를 연상시키는 시각 정보, 제스퍼 호수를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. Visual information reminiscent of land, sea, and fire, visual information reminiscent of the Assam jungle, visual information reminiscent of a golf garden, visual information reminiscent of a French village in spring, visual information reminiscent of the sea in Iceland, and visual information reminiscent of a trip to Iceland. An evocative visual, a visual reminiscent of an enchanting garden of moss, a visual reminiscent of the mosaics of Marrakech, a visual reminiscent of the Palanque ruins, a visual reminiscent of Mexico City, a visual reminiscent of a mountain of clouds , visual information reminiscent of Dutch winter, visual information reminiscent of Dutch spring, visual information reminiscent of the Glacier Express, visual information reminiscent of Maria Marian's great expedition, visual information reminiscent of Dublin, the shores of Lake Muckross. Reminiscent visual information, visual information reminiscent of Caningoms, visual information reminiscent of New Zealand's North Island, visual information reminiscent of New Zealand's South Island, visual information reminiscent of a trip to Loch Lomond, visual information reminiscent of Alpine meadows , visual information reminiscent of a campfire, visual information reminiscent of a forest, visual information reminiscent of an Alpine mountain, visual information reminiscent of a solemn valley, visual information reminiscent of a crackling fireplace, reminiscent of the wind blowing in a pine forest. Visual information reminiscent of white snow, visual information reminiscent of living in a tree, visual information reminiscent of a desert at night, visual information reminiscent of a lighthouse villa, visual information reminiscent of a jungle forest, and an open-air bath in the mountains. Visual information reminiscent of a deciduous forest, Visual information reminiscent of the Pacific Northwest, Visual information reminiscent of a coniferous forest, Visual information reminiscent of a cornfield, Visual information reminiscent of a bamboo forest, Visual information reminiscent of the Southwest River Canyon Visual information reminiscent of a glacial snow field, visual information reminiscent of a species in the forest, visual information reminiscent of a campfire on the beach, visual information reminiscent of a harvest, visual information reminiscent of the planet Arrakis that appears in the movie Dune. Visual information reminiscent of the planet Calladhan from the movie Dune, visual information reminiscent of Mr. Poe's library, visual information reminiscent of a gothic graveyard, visual information reminiscent of an electric fan, visual information reminiscent of a washing machine. Information, may include, but is not limited to, visual information reminiscent of a city street, visual information reminiscent of a thunderstorm, and visual information reminiscent of Lake Jasper.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 수면용 이야기 소리가 선사하는 안식을 연상시키는 시각 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing visual information 12 may include visual information reminiscent of the sense of rest provided by the sound of a sleep story.
수면용 이야기 소리가 선사하는 안식을 연상시키는 시각 정보는 골프 가든을 연상시키는 시각 정보, 일곱 언덕의 도시를 연상시키는 시각 정보, 구름의 산을 연상시키는 시각 정보, 빙하 특급 열차를 연상시키는 시각 정보, 마리아 메리안의 위대한 탐험을 연상시키는 시각 정보, 앙코르의 비밀 사원을 연상시키는 시각 정보, 매혹적인 이끼 정원을 연상시키는 시각 정보, 마라케시 모자이크 공예가를 연상시키는 시각 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. Visual information reminiscent of the rest provided by the sound of the sleeping story is visual information reminiscent of a golf garden, visual information reminiscent of the City of Seven Hills, visual information reminiscent of the Mountain of Clouds, visual information reminiscent of the Glacier Express, This may include, but is not limited to, visual information reminiscent of Maria Marian's great expedition, visual information reminiscent of the secret temples of Angkor, visual information reminiscent of an enchanting moss garden, and visual information reminiscent of the Marrakech mosaic craftsmen.
본 발명의 일 실시예에 따르면, 심상 유도 시각 정보(12)는 사용자가 선호하는 기억과 연관된 시각 정보일 수 있다. According to one embodiment of the present invention, the imagery-inducing visual information 12 may be visual information associated with the user's preferred memory.
또한, 심상 유도 시각 정보(12)는 사용자가 선호하는 기억과 연관된 심상 유도 시나리오를 가진 시계열적 시각 정보일 수 있다. Additionally, the imagery-inducing visual information 12 may be time-series visual information with an imagery-inducing scenario associated with the user's preferred memory.
심상 유도 텍스트 음향 정보(14)Imagery-guided text sound information (14)
도 25는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 심상 유도 정보를 제공하는 사용자 단말(300)의 한 실시 형태를 나타낸 도면이다. FIG. 25 is a diagram illustrating an embodiment of a user terminal 300 that provides imagery induction information based on sleep state information according to an embodiment of the present invention.
도 25에 도시된 바와 같이, 본 발명의 일실시예에 따라, 심상 유도 텍스트 정보(11)가 '캐나다의 호숫가'라고 사용자 단말(300)의 디스플레이에 나타나면서, 심상 유도 시각 정보(12)가 캐나다의 호숫가를 연상시키는, 예를 들어, 캐나다에 있는 호숫가에 곰이 목을 축이고 있는 이미지가 디스플레이에 나타나면서, 심상 유도 음향 정보(13)가 캐나다의 호숫가를 연상시키는, 예를 들어, 고요한 풀벌레가 우는 음향과 곰이 호숫가에서 목을 축이는 듯한 음향이 사용자에게 들리는 경우, 사용자가 선호하는 남성의 목소리 또는 사용자가 선호하는 여성의 목소리로 "여러분은 지금 캐나다의 호숫가를 걷고 있습니다"라고 말하는 사람의 음성이 들리는 심상 유도 텍스트 음향 정보(14)가 사용자에게 제공될 수 있다. As shown in FIG. 25, according to an embodiment of the present invention, image-inducing text information 11 appears on the display of the user terminal 300 as 'Lakeside in Canada', and image-inducing visual information 12 While an image of a bear quenching its thirst appears on the display, reminiscent of a Canadian lakeshore, for example, a calm pool reminiscent of a Canadian lakeshore, image-induced acoustic information 13 appears on the display. When the user hears the sounds of insects crying and bears choking on the shore of a lake, a male voice (preferred by the user) or a female voice (preferred by the user) says "You are now walking by a lake in Canada." Image-inducing text sound information 14 in which the speaker's voice can be heard may be provided to the user.
또는 심상 유도 음향 정보(13), 심상 유도 텍스트 정보(11), 심상 유도 시각 정보(12)가 변함에 따라서, 심상 유도 텍스트 음향 정보(14)가 시계열적으로 변할 수 있다. Alternatively, as the imagery-inducing sound information 13, imagery-inducing text information 11, and imagery-inducing visual information 12 change, the imagery-inducing text sound information 14 may change in time series.
도 25에 도시된 바와 같이, 심상 유도 정보는 심상 유도 텍스트 음향 정보(14)를 포함할 수 있다. As shown in FIG. 25, the image-inducing information may include image-inducing text sound information 14.
심상 유도 텍스트 음향 정보(14)는 사람의 음성을 기반으로 사용자의 수면을 유도하는 정보를 포함할 수 있다. The image-inducing text sound information 14 may include information that induces the user to sleep based on a person's voice.
심상 유도 텍스트 음향 정보(14)는 단일한 텍스트 음향 정보일 수 있으며, 또는 심상 유도 시나리오를 가진 시계열적 텍스트 음향 정보일 수 있다. The image-inducing text sound information 14 may be single text sound information, or may be time-series text sound information with an image-inducing scenario.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 단일한 텍스트 음향 정보일 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may be a single text sound information.
예를 들어, 백색소음을 연상시키는 텍스트 음향 정보, 물을 연상시키는 텍스트 음향 정보, 자연을 연상시키는 텍스트 음향 정보, ASMR(autonomous sensory meridian response)을 연상시키는 텍스트 음향 정보, SF를 연상시키는 텍스트 음향 정보, 악기를 연상시키는 텍스트 음향 정보, 동물을 연상시키는 텍스트 음향 정보, 멜로디를 연상시키는 텍스트 음향 정보, 도시를 연상시키는 텍스트 음향 정보, 규칙적인 소리를 연상시키는 텍스트 음향 정보, 바이노럴 비트(Binaural beats)를 연상시키는 텍스트 음향 정보, 솔페지오 주파수(solfeggio frequencies)를 연상시키는 텍스트 음향 정보, 비를 연상시키는 텍스트 음향 정보, 바다, 강, 호수를 연상시키는 텍스트 음향 정보, 땅, 바람, 불을 연상시키는 텍스트 음향 정보, 이야기를 연상시키는 텍스트 음향 정보 등이 포함될 수 있다. For example, text sound information reminiscent of white noise, text sound information reminiscent of water, text sound information reminiscent of nature, text sound information reminiscent of ASMR (autonomous sensory meridian response), text sound information reminiscent of science fiction. , text sound information reminiscent of musical instruments, text sound information reminiscent of animals, text sound information reminiscent of a melody, text sound information reminiscent of a city, text sound information reminiscent of regular sounds, binaural beats ), text sound information reminiscent of solfeggio frequencies, text sound information reminiscent of rain, text sound information reminiscent of the sea, river, and lake, land, wind, and fire. Text sound information, text sound information reminiscent of a story, etc. may be included.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(11)는 물을 연상시키는 텍스트 음향 정보를 포함할 수 있다. According to an embodiment of the present invention, the imagery-inducing text sound information 11 may include text sound information reminiscent of water.
물을 연상시키는 텍스트 정보는 강을 연상시키는 텍스트 음향 정보, 비를 연상시키는 텍스트 음향 정보, 바다를 연상시키는 텍스트 음향 정보, 샤워를 연상시키는 텍스트 음향 정보, 폭포를 연상시키는 텍스트 음향 정보, 호우를 연상시키는 텍스트 음향 정보, 호숫가를 연상시키는 텍스트 음향 정보, 식기 세척기를 연상시키는 텍스트 음향 정보, 분수를 연상시키는 텍스트 음향 정보, 비오는 도시를 연상시키는 텍스트 음향 정보, 아쿠아리움을 연상시키는 텍스트 음향 정보, 대나무 숲을 연상시키는 텍스트 음향 정보, 욕실을 연상시키는 텍스트 음향 정보, 끓는 물약을 연상시키는 텍스트 음향 정보, 빗속의 드라이브를 연상시키는 텍스트 음향 정보, 물 위의 보트를 연상시키는 텍스트 음향 정보, 욕조를 연상시키는 텍스트 음향 정보, 창문에 떨어지는 비를 연상시키는 텍스트 음향 정보, 바위에 부서지는 파도를 연상시키는 텍스트 음향 정보, 동굴을 연상시키는 텍스트 음향 정보, 항해를 연상시키는 텍스트 음향 정보, 느린 파도를 연상시키는 텍스트 음향 정보, 약한 비를 연상시키는 텍스트 음향 정보, 세찬 비를 연상시키는 텍스트 음향 정보, 비오는 날을 연상시키는 텍스트 음향 정보, 수중을 연상시키는 텍스트 음향 정보, 호우를 연상시키는 텍스트 음향 정보, 비오는 우림을 연상시키는 텍스트 음향 정보, 해변을 연상시키는 텍스트 음향 정보, 얼음 눈을 연상시키는 텍스트 음향 정보, 지붕에 내리는 비를 연상시키는 텍스트 음향 정보, 텐트에 떨어지는 비를 연상시키는 텍스트 음향 정보, 찰랑거리는 물을 연상시키는 텍스트 음향 정보를 포함할 수 있으나, 이에 한정되지 않는다.Text information reminiscent of water includes text sound information reminiscent of a river, text sound information reminiscent of rain, text sound information reminiscent of the sea, text sound information reminiscent of a shower, text sound information reminiscent of a waterfall, and heavy rain. Text sound information reminiscent of a lakeside, text sound information reminiscent of a dishwasher, text sound information reminiscent of a fountain, text sound information reminiscent of a rainy city, text sound information reminiscent of an aquarium, bamboo forest. Evocative text sound information, text sound information reminiscent of a bathroom, text sound information reminiscent of a boiling potion, text sound information reminiscent of a drive in the rain, text sound information reminiscent of a boat on the water, text sound reminiscent of a bathtub Information, text sound information reminiscent of rain falling on a window, text sound information reminiscent of waves crashing on rocks, text sound information reminiscent of a cave, text sound information reminiscent of sailing, text sound information reminiscent of slow waves, Text sound information reminiscent of light rain, text sound information reminiscent of heavy rain, text sound information reminiscent of a rainy day, text sound information reminiscent of underwater, text sound information reminiscent of heavy rain, text sound reminiscent of a rainy rainforest Information, text sound information reminiscent of a beach, text sound information reminiscent of ice and snow, text sound information reminiscent of rain falling on a roof, text sound information reminiscent of rain falling on a tent, text sound information reminiscent of lapping water. It may include, but is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 자연을 연상시키는 텍스트 음향 정보를 포함할 수 있다. According to an embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information reminiscent of nature.
자연을 연상시키는 텍스트 음향 정보는 밤을 연상시키는 텍스트 음향 정보, 바람을 연상시키는 텍스트 음향 정보, 천둥을 연상시키는 텍스트 음향 정보, 캠프파이어를 연상시키는 텍스트 음향 정보, 캐나다의 숲을 연상시키는 텍스트 음향 정보, 숲 산책을 연상시키는 텍스트 음향 정보, 심장 박동을 연상시키는 텍스트 음향 정보, 폭풍을 연상시키는 텍스트 음향 정보, 화창한 날을 연상시키는 텍스트 음향 정보, 풍랑 소리를 연상시키는 텍스트 음향 정보, 숲 소리를 연상시키는 텍스트 음향 정보, 토스카나를 연상시키는 텍스트 음향 정보, 오후를 연상시키는 텍스트 음향 정보, 뇌우를 연상시키는 텍스트 음향 정보, 주피터를 연상시키는 텍스트 음향 정보, 숲 속의 바람을 연상시키는 텍스트 음향 정보, 바스락거리는 잎을 연상시키는 텍스트 음향 정보, 불타는 소리를 연상시키는 텍스트 음향 정보를 포함할 수 있으나, 이에 한정되지 않는다. Text sound information reminiscent of nature includes text sound information reminiscent of the night, text sound information reminiscent of the wind, text sound information reminiscent of thunder, text sound information reminiscent of a campfire, and text sound information reminiscent of a Canadian forest. , text sound information reminiscent of a walk in the forest, text sound information reminiscent of a heartbeat, text sound information reminiscent of a storm, text sound information reminiscent of a sunny day, text sound information reminiscent of the sound of a storm, text sound information reminiscent of the sound of a forest. Text sound information, text sound information reminiscent of Tuscany, text sound information reminiscent of an afternoon, text sound information reminiscent of a thunderstorm, text sound information reminiscent of Jupiter, text sound information reminiscent of the wind in the forest, rustling leaves. It may include, but is not limited to, text sound information reminiscent of text sound information and text sound information reminiscent of a burning sound.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 ASMR(autonomous sensory meridian response)을 연상시키는 텍스트 음향 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information reminiscent of ASMR (autonomous sensory meridian response).
ASMR은 침대 시트를 연상시키는 텍스트 음향 정보, 점액을 연상시키는 텍스트 음향 정보, 끈끈한 점액을 연상시키는 텍스트 음향 정보, 탄산음료를 연상시키는 텍스트 음향 정보, 거품을 연상시키는 텍스트 음향 정보, 마이크 긁힘을 연상시키는 텍스트 음향 정보, 골골송을 연상시키는 텍스트 음향 정보, 메이크업 브러시를 연상시키는 텍스트 음향 정보, 끓는 물을 연상시키는 텍스트 음향 정보, 아이스 큐브 귀 마사지를 연상시키는 텍스트 음향 정보, 귀에 바람 불기를 연상시키는 텍스트 음향 정보, 프라이팬을 연상시키는 텍스트 음향 정보, 에어캡을 연상시키는 텍스트 음향 정보, 요정의 속삭임을 연상시키는 텍스트 음향 정보, 말린 허브를 연상시키는 텍스트 음향 정보, 빗소리를 연상시키는 텍스트 음향 정보, 손가락 비비기를 연상시키는 텍스트 음향 정보, 페이지 넘기기를 연상시키는 텍스트 음향 정보, 눈 위 걷기를 연상시키는 텍스트 음향 정보, 바스락거리는 비닐을 연상시키는 텍스트 음향 정보, 글 쓰기를 연상시키는 텍스트 음향 정보, 귀 닦기를 연상시키는 텍스트 음향 정보, 떨어지는 구슬을 연상시키는 텍스트 음향 정보, 귀 청소를 연상시키는 텍스트 음향 정보를 포함할 수 있으나, 이에 한정되지 않는다. ASMR is text sound information reminiscent of bed sheets, text sound information reminiscent of slime, text sound information reminiscent of sticky slime, text sound information reminiscent of soda, text sound information reminiscent of bubbles, and microphone scratching. Text sound information, text sound information reminiscent of a boner, text sound information reminiscent of a makeup brush, text sound information reminiscent of boiling water, text sound information reminiscent of an ice cube ear massage, text sound reminiscent of blowing wind into the ears. Information, text sound information reminiscent of a frying pan, text sound information reminiscent of an air cap, text sound information reminiscent of a fairy's whisper, text sound information reminiscent of dried herbs, text sound information reminiscent of the sound of rain, reminiscent of rubbing fingers. Text sound information reminiscent of turning a page, text sound information reminiscent of walking on snow, text sound information reminiscent of rustling vinyl, text sound information reminiscent of writing, text sound information reminiscent of ear cleaning. It may include, but is not limited to, information, text sound information reminiscent of falling marbles, and text sound information reminiscent of ear cleaning.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 사람이 소리를 내는 텍스트 음향 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information about a person making a sound.
사람이 소리를 내는 텍스트 정보는 사람의 호흡을 연상시키는 텍스트 음향 정보, 수면 명상을 연상시키는 텍스트 음향 정보, 최면 단어를 연상시키는 텍스트 음향 정보, 양 세기를 연상시키는 텍스트 음향 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.Text information that makes human sounds may include text sound information reminiscent of human breathing, text sound information reminiscent of sleep meditation, text sound information reminiscent of hypnosis words, text sound information reminiscent of sheep counting, etc. , but is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 SF 텍스트 음향 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include SF text sound information.
SF 텍스트 음향 정보는 뇌파 스캐너를 연상시키는 텍스트 음향 정보, 컴퓨터 신호음을 연상시키는 텍스트 음향 정보, 레이저 빔을 연상시키는 텍스트 음향 정보, 리액터를 연상시키는 텍스트 음향 정보, 우주선을 연상시키는 텍스트 음향 정보, 로켓 엔진을 연상시키는 텍스트 음향 정보, 우주를 연상시키는 텍스트 음향 정보, 우주선에서 걷기를 연상시키는 텍스트 음향 정보, 주피터를 연상시키는 텍스트 음향 정보를 포함할 수 있으나, 이에 한정되지 않는다. SF text sound information is text sound information reminiscent of an brain wave scanner, text sound information reminiscent of a computer beep sound, text sound information reminiscent of a laser beam, text sound information reminiscent of a reactor, text sound information reminiscent of a spaceship, and rocket engine. It may include, but is not limited to, text sound information reminiscent of space, text sound information reminiscent of space, text sound information reminiscent of walking in a spaceship, and text sound information reminiscent of Jupiter.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 악기를 연상시키는 텍스트 음향 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information reminiscent of a musical instrument.
악기를 연상시키는 텍스트 음향 정보는 뮤직박스를 연상시키는 텍스트 음향 정보, 베이비 슈셔를 연상시키는 텍스트 음향 정보, 콧노래를 연상시키는 텍스트 음향 정보, 자궁을 연상시키는 텍스트 음향 정보, 베이비 마림바를 연상시키는 텍스트 음향 정보, 베이비 벨을 연상시키는 텍스트 음향 정보, 딸랑이를 연상시키는 텍스트 음향 정보, 브람스의 자장가를 연상시키는 텍스트 음향 정보, 비행기 소리를 연상시키는 텍스트 음향 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. Text sound information reminiscent of a musical instrument includes text sound information reminiscent of a music box, text sound information reminiscent of a baby shusher, text sound information reminiscent of a hum, text sound information reminiscent of a womb, and text sound information reminiscent of a baby marimba. , text sound information reminiscent of a baby bell, text sound information reminiscent of a rattle, text sound information reminiscent of Brahms' lullaby, text sound information reminiscent of the sound of an airplane, etc., but is not limited thereto.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 동물을 연상시키는 텍스트 음향 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information reminiscent of animals.
동물을 연상시키는 텍스트 음향 정보는 새를 연상시키는 텍스트 음향 정보, 황소개구리를 연상시키는 텍스트 음향 정보, 호박을 연상시키는 텍스트 음향 정보, 소를 연상시키는 텍스트 음향 정보, 아침 새를 연상시키는 텍스트 음향 정보, 돌고래를 연상시키는 텍스트 음향 정보, 병아리를 연상시키는 텍스트 음향 정보, 닭을 연상시키는 텍스트 음향 정보, 오리를 연상시키는 텍스트 음향 정보, 말발굽을 연상시키는 텍스트 음향 정보, 열대새를 연상시키는 텍스트 음향 정보, 양의 걸음을 연상시키는 텍스트 음향 정보, 뻐꾸기를 연상시키는 텍스트 음향 정보, 짹짹 소리를 연상시키는 텍스트 음향 정보, 고래의 여행을 연상시키는 텍스트 음향 정보, 고래를 연상시키는 텍스트 음향 정보, 갈매기를 연상시키는 텍스트 음향 정보, 올빼미를 연상시키는 텍스트 음향 정보, 개구리를 연상시키는 텍스트 음향 정보, 그르렁거리는 고양이를 연상시키는 텍스트 음향 정보, 늑대를 연상시키는 텍스트 정보, 아비새를 연상시키는 텍스트 정보, 매미를 연상시키는 텍스트 정보, 청개구리를 연상시키는 텍스트 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. Text sound information reminiscent of animals includes text sound information reminiscent of birds, text sound information reminiscent of a bullfrog, text sound information reminiscent of a pumpkin, text sound information reminiscent of a cow, text sound information reminiscent of a morning bird, Text sound information reminiscent of a dolphin, text sound information reminiscent of a chick, text sound information reminiscent of a chicken, text sound information reminiscent of a duck, text sound information reminiscent of a horseshoe, text sound information reminiscent of a tropical bird, sheep Text sound information reminiscent of a cuckoo, text sound information reminiscent of a cuckoo, text sound information reminiscent of a chirp, text sound information reminiscent of a whale's journey, text sound information reminiscent of a whale, text sound reminiscent of a seagull Information, text sound information reminiscent of an owl, text sound information reminiscent of a frog, text sound information reminiscent of a purring cat, text information reminiscent of a wolf, text information reminiscent of a loon, text information reminiscent of a cicada, tree frog It may include text information reminiscent of , but is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 도시를 연상시키는 텍스트 음향 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information reminiscent of a city.
도시를 연상시키는 텍스트 음향 정보는 흔들이 선풍기를 연상시키는 텍스트 음향 정보, 샤워를 연상시키는 텍스트 음향 정보, 에어컨을 연상시키는 텍스트 음향 정보, 식기세척기를 연상시키는 텍스트 음향 정보, 커피숍을 연상시키는 텍스트 음향 정보, 기차를 연상시키는 텍스트 음향 정보, 비오는 도시를 연상시키는 텍스트 음향 정보, 아쿠아리움을 연상시키는 텍스트 음향 정보, 욕실을 연상시키는 텍스트 음향 정보, 빗속의 드라이브를 연상시키는 텍스트 음향 정보, 욕조를 연상시키는 텍스트 음향 정보, 차가운 금속을 연상시키는 텍스트 음향 정보, 스프링쿨러를 연상시키는 텍스트 음향 정보, 지붕에 내리는 비를 연상시키는 텍스트 음향 정보, 놀이터를 연상시키는 텍스트 음향 정보, 대형 괘종시계를 연상시키는 텍스트 음향 정보, 드라이어를 연상시키는 텍스트 음향 정보, 도시 분위기를 연상시키는 텍스트 음향 정보, 뱃고동을 연상시키는 텍스트 음향 정보, 청소기를 연상시키는 텍스트 음향 정보, 키보드를 연상시키는 텍스트 음향 정보, 군중을 연상시키는 텍스트 음향 정보, 멀리서 오는 기차를 연상시키는 텍스트 음향 정보, 카니발을 연상시키는 텍스트 음향 정보, 트럭 엔진을 연상시키는 텍스트 음향 정보, 헤어 드라이기를 연상시키는 텍스트 음향 정보, 고속도로를 연상시키는 텍스트 음향 정보를 포함할 수 있으나, 이에 한정되지 않는다.Text sound information reminiscent of a city includes text sound information reminiscent of a swinging fan, text sound information reminiscent of a shower, text sound information reminiscent of an air conditioner, text sound information reminiscent of a dishwasher, and text sound information reminiscent of a coffee shop. Information, text sound information reminiscent of a train, text sound information reminiscent of a rainy city, text sound information reminiscent of an aquarium, text sound information reminiscent of a bathroom, text sound information reminiscent of a drive in the rain, text reminiscent of a bathtub Sound information, text sound information reminiscent of cold metal, text sound information reminiscent of sprinklers, text sound information reminiscent of rain falling on the roof, text sound information reminiscent of a playground, text sound information reminiscent of a large grandfather clock, Text sound information reminiscent of a dryer, text sound information reminiscent of a city atmosphere, text sound information reminiscent of a boat horn, text sound information reminiscent of a vacuum cleaner, text sound information reminiscent of a keyboard, text sound information reminiscent of a crowd, from afar It may include, but is limited to, text sound information reminiscent of an oncoming train, text sound information reminiscent of a carnival, text sound information reminiscent of a truck engine, text sound information reminiscent of a hair dryer, and text sound information reminiscent of a highway. It doesn't work.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 비를 연상시키는 텍스트 음향 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information reminiscent of rain.
비를 연상시키는 텍스트 음향 정보는 열대 우림을 연상시키는 텍스트 음향 정보, 비 내리는 파리의 밤을 연상시키는 텍스트 음향 정보, 텐트 위로 떨어지는 비를 연상시키는 텍스트 음향 정보, 나뭇잎 위로 떨어지는 비를 연상시키는 텍스트 음향 정보, 약한 비를 연상시키는 텍스트 음향 정보, 폭우를 연상시키는 텍스트 음향 정보, 도시의 비를 연상시키는 텍스트 음향 정보, 창문에 부딪히는 빗방울을 연상시키는 텍스트 음향 정보, 뇌우를 연상시키는 텍스트 음향 정보, 차 안에서 느끼는 비를 연상시키는 텍스트 음향 정보, 채광창으로 떨어지는 비를 연상시키는 텍스트 음향 정보, 선종 사원 정원에 부슬부슬 내리는 비를 연상시키는 텍스트 음향 정보, 듄: 캘리던을 연상시키는 텍스트 음향 정보, 등대 별장을 연상시키는 텍스트 음향 정보, 등대 별장의 라디오를 연상시키는 텍스트 음향 정보를 포함할 수 있으나, 이에 한정되지 않는다. Text sound information reminiscent of rain includes text sound information reminiscent of a tropical rainforest, text sound information reminiscent of a rainy night in Paris, text sound information reminiscent of rain falling on a tent, and text sound information reminiscent of rain falling on leaves. , text sound information reminiscent of light rain, text sound information reminiscent of heavy rain, text sound information reminiscent of rain in the city, text sound information reminiscent of raindrops hitting a window, text sound information reminiscent of a thunderstorm, the feeling in a car Text sound information reminiscent of rain, text sound information reminiscent of rain falling through a skylight, text sound information reminiscent of rain drizzling in a Zen temple garden, text sound information reminiscent of Dune: Caledon, lighthouse villa reminiscent of text sound information. It may include, but is not limited to, text sound information and text sound information reminiscent of a radio in a lighthouse villa.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 바다, 강, 호수를 연상시키는 텍스트 음향 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information reminiscent of the sea, river, or lake.
바다, 강, 호수를 연상시키는 텍스트 음향 정보는 플라이 낚시를 연상시키는 텍스트 음향 정보, 아이슬란드의 바다를 연상시키는 텍스트 음향 정보, 항해하는 선박의 아래층 간판을 연상시키는 텍스트 음향 정보, 대양의 파도를 연상시키는 텍스트 음향 정보, 이명을 위한 파도를 연상시키는 텍스트 음향 정보, 여객선의 객실을 연상시키는 텍스트 음향 정보, 마리아 메리안의 위대한 탐험을 연상시키는 텍스트 음향 정보, 줄줄 흐르는 시냇물을 연상시키는 텍스트 음향 정보, calm 아일랜드를 연상시키는 텍스트 음향 정보, 폭포를 연상시키는 텍스트 음향 정보, 먼 바다의 파도를 연상시키는 텍스트 음향 정보, 조용히 흐르는 개울을 연상시키는 텍스트 음향 정보, 마음을 진정시켜주는 아쿠아스케이프를 연상시키는 텍스트 음향 정보, 백색 소음의 바다 서핑을 연상시키는 텍스트 음향 정보, 산호초를 연상시키는 텍스트 음향 정보, 제스퍼 호수를 연상시키는 텍스트 음향 정보, 물의 원천을 연상시키는 텍스트 음향 정보, 삶의 원천를 연상시키는 텍스트 음향 정보, 산호초의 도시를 연상시키는 텍스트 음향 정보, 태평양 북서부를 연상시키는 텍스트 음향 정보, 다이아몬드의 바다를 연상시키는 텍스트 음향 정보, 노던 레이크를 연상시키는 텍스트 음향 정보, 산속 노천탕을 연상시키는 텍스트 음향 정보, 사우스웨스트 리버 캐넌을 연상시키는 텍스트 음향 정보, marin headlands를 연상시키는 텍스트 음향 정보, 하이 시에라 레이크를 연상시키는 텍스트 음향 정보, 에버 글레이즈를 연상시키는 텍스트 음향 정보, 해변 캠프파이어를 연상시키는 텍스트 음향 정보 등이 포함될 수 있으나, 이에 한정되지 않는다.Text sound information reminiscent of the sea, river, and lake, text sound information reminiscent of fly fishing, text sound information reminiscent of the sea of Iceland, text sound information reminiscent of the downstairs sign of a sailing ship, and text sound information reminiscent of ocean waves. Text sound information, text sound information reminiscent of waves for tinnitus, text sound information reminiscent of the cabin of a passenger ship, text sound information reminiscent of Maria Marian's great exploration, text sound information reminiscent of a flowing stream, calm island Evocative text sound information, text sound information reminiscent of a waterfall, text sound information reminiscent of distant ocean waves, text sound information reminiscent of a quietly flowing stream, text sound information reminiscent of a soothing aquascape, white Text sound information reminiscent of surfing the ocean of noise, text sound information reminiscent of a coral reef, text sound information reminiscent of Lake Jesper, text sound information reminiscent of the source of water, text sound information reminiscent of the source of life, a city of coral reefs. Text sound information reminiscent of the Pacific Northwest, text sound information reminiscent of the Sea of Diamonds, text sound information reminiscent of the Northern Lake, text sound information reminiscent of an open-air bath in the mountains, text sound information reminiscent of the Southwest River Canyon. It may include, but is not limited to, text sound information, text sound information reminiscent of marin headlands, text sound information reminiscent of a High Sierra Lake, text sound information reminiscent of the Everglades, text sound information reminiscent of a beach campfire, etc. No.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 땅, 바람, 불을 연상시키는 텍스트 음향 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information reminiscent of land, wind, and fire.
땅, 바다, 불을 연상시키는 텍스트 음향 정보는 아삼 정글을 연상시키는 텍스트 음향 정보, 골프 가든을 연상시키는 텍스트 음향 정보, 봄의 프랑스 마을을 연상시키는 텍스트 음향 정보, 아이슬란드의 바다를 연상시키는 텍스트 음향 정보, 아이슬란드의 여행을 연상시키는 텍스트 음향 정보, 매혹적인 이끼의 정원을 연상시키는 텍스트 음향 정보, 마라케시의 모자이크 공예가를 연상시키는 텍스트 음향 정보, 팔랑케 유적을 연상시키는 텍스트 음향 정보, 멕시코 시티를 연상시키는 텍스트 음향 정보, 구름의 산을 연상시키는 텍스트 음향 정보, 네덜란드의 겨울을 연상시키는 텍스트 음향 정보, 네덜란드의 봄을 연상시키는 텍스트 음향 정보, 빙하 특급 열차를 연상시키는 텍스트 음향 정보, 마리아 메리안의 위대한 탐험을 연상시키는 텍스트 음향 정보, 더블린을 연상시키는 텍스트 음향 정보, 머크로스 호숫가를 연상시키는 텍스트 음향 정보, 케인곰스를 연상시키는 텍스트 음향 정보, 뉴질랜드의 북섬을 연상시키는 텍스트 음향 정보, 뉴질랜드의 남섬을 연상시키는 텍스트 음향 정보, 로몬드 호수로 떠나는 여행을 연상시키는 텍스트 음향 정보, 알프스 초원을 연상시키는 텍스트 음향 정보, 캠프파이어를 연상시키는 텍스트 음향 정보, 숲을 연상시키는 텍스트 음향 정보, 알프스 산을 연상시키는 텍스트 음향 정보, 정엄한 계곡을 연상시키는 텍스트 음향 정보, 타닥타닥 타는 벽난로를 연상시키는 텍스트 음향 정보, 소나무숲에서 부는 바람을 연상시키는 텍스트 음향 정보, 하얀 눈을 연상시키는 텍스트 음향 정보, 나무 속에서 사는 것을 연상시키는 텍스트 음향 정보, 밤의 사막을 연상시키는 텍스트 음향 정보, 등대 별장을 연상시키는 텍스트 음향 정보, 정글 숲을 연상시키는 텍스트 음향 정보, 산속 노천탕을 연상시키는 텍스트 음향 정보, 낙엽수림을 연상시키는 텍스트 음향 정보, 태평양 북서부를 연상시키는 텍스트 음향 정보, 침엽수림을 연상시키는 텍스트 음향 정보, 옥수수밭을 연상시키는 텍스트 음향 정보, 대나무숲을 연상시키는 텍스트 음향 정보, 사우스웨스트 리버 캐년을 연상시키는 텍스트 음향 정보, 빙하의 눈밭을 연상시키는 텍스트 음향 정보, 숲 속의 종을 연상시키는 텍스트 음향 정보, 해변에서의 캠프파이어를 연상시키는 텍스트 음향 정보, 수확을 연상시키는 텍스트 음향 정보, 영화 듄에 등장하는 아라키스 행성을 연상시키는 텍스트 음향 정보, 영화 듄에 등장하는 캘러던 행성을 연상시키는 텍스트 음향 정보, 포 씨의 도서관을 연상시키는 텍스트 음향 정보, 고딕 양식의 묘지를 연상시키는 텍스트 음향 정보, 선풍기를 연상시키는 텍스트 음향 정보, 세탁기를 연상시키는 텍스트 음향 정보, 도시 거리를 연상시키는 텍스트 음향 정보, 뇌우를 연상시키는 텍스트 음향 정보, 제스퍼 호수를 연상시키는 텍스트 음향 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. Text sound information reminiscent of land, sea, and fire. Text sound information reminiscent of the Assam jungle, text sound information reminiscent of a golf garden, text sound information reminiscent of a French village in spring, text sound information reminiscent of the sea in Iceland. , text-sound information reminiscent of a trip to Iceland, text-sound information reminiscent of an enchanting moss garden, text-sound information reminiscent of mosaic craftsmen in Marrakech, text-sound information reminiscent of the Palanque ruins, text-sound information reminiscent of Mexico City. Information, text-sound information reminiscent of a mountain of clouds, text-sound information reminiscent of a Dutch winter, text-sound information reminiscent of a Dutch spring, text-sound information reminiscent of a glacier express, reminiscent of Maria Merian's great expedition Text sound information, text sound information reminiscent of Dublin, text sound information reminiscent of Muckross Lake, text sound information reminiscent of Caningoms, text sound information reminiscent of New Zealand's North Island, text sound information reminiscent of New Zealand's South Island , text sound information reminiscent of a trip to Loch Lomond, text sound information reminiscent of an Alpine meadow, text sound information reminiscent of a campfire, text sound information reminiscent of a forest, text sound information reminiscent of an Alpine mountain, Text sound information reminiscent of a harsh valley, text sound information reminiscent of a crackling fireplace, text sound information reminiscent of the wind blowing in a pine forest, text sound information reminiscent of white snow, text sound reminiscent of living in a tree. Information, text sound information reminiscent of a desert at night, text sound information reminiscent of a lighthouse villa, text sound information reminiscent of a jungle forest, text sound information reminiscent of an open-air bath in the mountains, text sound information reminiscent of a deciduous forest, Pacific Northwest Text sound information reminiscent of, text sound information reminiscent of a coniferous forest, text sound information reminiscent of a corn field, text sound information reminiscent of a bamboo forest, text sound information reminiscent of the Southwest River Canyon, and text sound information reminiscent of a glacier snow field. Text sound information, text sound information reminiscent of a species in the forest, text sound information reminiscent of a campfire on the beach, text sound information reminiscent of a harvest, text sound information reminiscent of the planet Arrakis that appears in the movie Dune, movie Text sound information reminiscent of the planet Calladan from Dune, text sound information reminiscent of Mr. Poe's library, text sound information reminiscent of a gothic graveyard, text sound information reminiscent of a fan, text sound reminiscent of a washing machine. Information, text sound information reminiscent of a city street, text sound information reminiscent of a thunderstorm, and text sound information reminiscent of Lake Jasper may be included, but is not limited thereto.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 수면용 이야기 소리가 선사하는 안식을 연상시키는 텍스트 음향 정보를 포함할 수 있다.According to one embodiment of the present invention, the imagery-inducing text sound information 14 may include text sound information reminiscent of the sense of rest provided by the sound of a sleep story.
수면용 이야기 소리가 선사하는 안식을 연상시키는 텍스트 음향 정보는 골프 가든을 연상시키는 텍스트 음향 정보, 일곱 언덕의 도시를 연상시키는 텍스트 음향 정보, 구름의 산을 연상시키는 텍스트 음향 정보, 빙하 특급 열차를 연상시키는 텍스트 음향 정보, 마리아 메리안의 위대한 탐험을 연상시키는 텍스트 음향 정보, 앙코르의 비밀 사원을 연상시키는 텍스트 음향 정보, 매혹적인 이끼 정원을 연상시키는 텍스트 음향 정보, 마라케시 모자이크 공예가를 연상시키는 텍스트 음향 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. The text sound information reminiscent of the rest provided by the sound of the sleep story is text sound information reminiscent of a golf garden, text sound information reminiscent of the City of Seven Hills, text sound information reminiscent of the Mountain of Clouds, and glacier express train. It may include text-to-sound information, text-to-sound information to be reminiscent of Maria Merian's great expedition, text-to-sound information to be reminiscent of the secret temples of Angkor, text-to-sound information to be reminiscent of an enchanting moss garden, and text-to-sound information to be reminiscent of the mosaic craftsmen of Marrakech. However, it is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 음향 정보(14)는 사용자가 선호하는 기억과 연관된 텍스트 음향 정보일 수 있다. According to one embodiment of the present invention, the imagery-inducing text sound information 14 may be text sound information associated with the user's preferred memory.
또한, 심상 유도 텍스트 음향 정보(14)는 사용자가 선호하는 기억과 연관된 심상 유도 시나리오를 가진 시계열적 텍스트 음향 정보일 수 있다. Additionally, the imagery-inducing text sound information 14 may be time-series text sound information with an imagery-inducing scenario associated with the user's preferred memory.
심상 유도 텍스트 정보(11)Imagery-guided text information (11)
도 25는 본 발명의 일 실시예에 따른 수면 상태 정보에 기초하여 심상 유도 정보를 제공하는 사용자 단말(300)의 한 실시 형태를 나타낸 도면이다. FIG. 25 is a diagram illustrating an embodiment of a user terminal 300 that provides imagery induction information based on sleep state information according to an embodiment of the present invention.
도 25에 도시된 바와 같이, 본 발명의 일실시예에 따라, 심상 유도 시각 정보(12)가 캐나다의 호숫가를 연상시키는, 예를 들어, 캐나다에 있는 호숫가에 곰이 목을 축이고 있는 이미지가 디스플레이에 나타나면서, 심상 유도 음향 정보(13)가 캐나다의 호숫가를 연상시키는, 예를 들어, 고요한 풀벌레가 우는 음향과 곰이 호숫가에서 목을 축이는 듯한 음향이 사용자에게 들리는 경우, 그리고, 사용자가 선호하는 남성의 목소리 또는 사용자가 선호하는 여성의 목소리로"여러분은 지금 캐나다의 호숫가를 걷고 있습니다"라고 말하는 사람의 음성으로 들리는 심상 유도 텍스트 음향 정보(14)가 사용자에게 제공되는 경우에, 사용자 단말(300)의 디스플레이에 이에 알맞는 제목인 '캐나다의 호숫가'라고 심상 유도 텍스트 정보(11)가 나타날 수 있다. 또는 심상 유도 음향 정보(13), 심상 유도 텍스트 음향 정보(14), 심상 유도 시각 정보(12)가 변함에 따라서, 심상 유도 텍스트 정보(11)가 시계열적으로 변할 수 있다. As shown in Figure 25, according to one embodiment of the present invention, the image-inducing visual information 12 displays an image reminiscent of a lake in Canada, for example, a bear quenching its neck on a lake in Canada. As it appears, the image-induced sound information 13 is reminiscent of a lake in Canada, for example, when the user hears a quiet sound of grass bugs crying and a sound like a bear quenching its throat at the lake, and, If the user is provided with imagery-inducing text sound information 14 that sounds like a human voice saying "You are now walking along a lake in Canada" in a male voice preferred by the user or a female voice preferred by the user, the user Image-inducing text information 11 may appear on the display of the terminal 300 with an appropriate title, ‘Lakeside in Canada.’ Alternatively, as the image-inducing sound information 13, the image-inducing text sound information 14, and the image-inducing visual information 12 change, the image-inducing text information 11 may change in time series.
도 25에 도시된 바와 같이, 심상 유도 정보는 심상 유도 텍스트 정보(11)를 포함할 수 있다. As shown in FIG. 25, the image-inducing information may include image-inducing text information 11.
심상 유도 텍스트 정보(11)는 텍스트를 기반으로 사용자의 수면을 유도하는 정보를 포함할 수 있다. The image-inducing text information 11 may include information that induces the user to sleep based on text.
심상 유도 텍스트 정보(11)는 단일한 텍스트 정보일 수 있으며, 또는 소리를 기반으로 심상 유도 시나리오를 가진 시계열적 텍스트 정보일 수 있다. The image-inducing text information 11 may be single text information, or may be time-series text information with an image-inducing scenario based on sound.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 단일한 텍스트 정보일 수 있다. According to one embodiment of the present invention, the image-inducing text information 11 may be single text information.
예를 들어, 백색소음을 연상시키는 텍스트 정보, 물을 연상시키는 텍스트 정보, 자연을 연상시키는 텍스트 정보, ASMR(autonomous sensory meridian response)을 연상시키는 텍스트 정보, 사람이 소리를 내는 텍스트 정보, SF 텍스트 정보, 악기의 텍스트 정보, 동물 텍스트 정보, 멜로디 텍스트 정보, 도시 텍스트 정보, 규칙적인 소리를 연상시키는 텍스트 정보, 바이노럴 비트(Binaural beats)를 연상시키는 텍스트 정보, 솔페지오 주파수(solfeggio frequencies)를 연상시키는 텍스트 정보, 비를 연상시키는 텍스트 정보, 바다, 강, 호수를 연상시키는 텍스트 정보, 땅, 바람, 불을 연상시키는 텍스트 정보, 이야기를 연상시키는 텍스트 정보 등이 포함될 수 있다. For example, text information reminiscent of white noise, text information reminiscent of water, text information reminiscent of nature, text information reminiscent of ASMR (autonomous sensory meridian response), text information reminiscent of human sounds, science fiction text information , text information of musical instruments, animal text information, melody text information, city text information, text information reminiscent of regular sounds, text information reminiscent of binaural beats, solfeggio frequencies. It may include text information reminiscent of rain, text information reminiscent of rain, text information reminiscent of the sea, river, and lake, text information reminiscent of land, wind, and fire, and text information reminiscent of a story.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 백색소음을 연상시키는 텍스트 정보를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing text information 11 may include text information reminiscent of white noise.
백색소음을 연상시키는 텍스트 정보는 딥 브라운 노이즈를 연상시키는 텍스트 정보, 그린 노이즈를 연상시키는 텍스트 정보, 화이팅 노이즈를 연상시키는 텍스트 정보, 핑크 노이즈를 연상시키는 텍스트 정보, 블루 노이즈를 연상시키는 텍스트 정보, 그레이 노이즈를 연상시키는 텍스트 정보, 바이올렛 노이즈를 연상시키는 텍스트 정보, 브라운 노이즈를 연상시키는 텍스트 정보, 에어컨 소리를 연상시키는 텍스트 정보, 우주선 소리를 연상시키는 텍스트 정보, 비행기 소리를 연상시키는 텍스트 정보를 포함할 수 있으나, 이에 한정되지 않는다. Text information reminiscent of white noise includes text information reminiscent of deep brown noise, text information reminiscent of green noise, text information reminiscent of fighting noise, text information reminiscent of pink noise, text information reminiscent of blue noise, gray It may include text information reminiscent of noise, text information reminiscent of violet noise, text information reminiscent of brown noise, text information reminiscent of the sound of an air conditioner, text information reminiscent of the sound of a spaceship, and text information reminiscent of the sound of an airplane. However, it is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 물을 연상시키는 텍스트 정보를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing text information 11 may include text information reminiscent of water.
물을 연상시키는 텍스트 정보는 강을 연상시키는 텍스트 정보, 비를 연상시키는 텍스트 정보, 바다를 연상시키는 텍스트 정보, 샤워를 연상시키는 텍스트 정보, 폭포를 연상시키는 텍스트 정보, 호우를 연상시키는 텍스트 정보, 호숫가를 연상시키는 텍스트 정보, 식기 세척기를 연상시키는 텍스트 정보, 분수를 연상시키는 텍스트 정보, 비오는 도시를 연상시키는 텍스트 정보, 아쿠아리움을 연상시키는 텍스트 정보, 대나무 숲을 연상시키는 텍스트 정보, 욕실을 연상시키는 텍스트 정보, 끓는 물약을 연상시키는 텍스트 정보, 빗속의 드라이브를 연상시키는 텍스트 정보, 물 위의 보트를 연상시키는 텍스트 정보, 욕조를 연상시키는 텍스트 정보, 창문에 떨어지는 비를 연상시키는 텍스트 정보, 바위에 부서지는 파도를 연상시키는 텍스트 정보, 동굴을 연상시키는 텍스트 정보, 항해를 연상시키는 텍스트 정보, 느린 파도를 연상시키는 텍스트 정보, 약한 비를 연상시키는 텍스트 정보, 세찬 비를 연상시키는 텍스트 정보, 비오는 날을 연상시키는 텍스트 정보, 수중을 연상시키는 텍스트 정보, 호우를 연상시키는 텍스트 정보, 비오는 우림을 연상시키는 텍스트 정보, 해변을 연상시키는 텍스트 정보, 얼음 눈을 연상시키는 텍스트 정보, 지붕에 내리는 비를 연상시키는 텍스트 정보, 텐트에 떨어지는 비를 연상시키는 텍스트 정보, 찰랑거리는 물을 연상시키는 텍스트 정보를 포함할 수 있으나, 이에 한정되지 않는다.Text information reminiscent of water includes text information reminiscent of a river, text information reminiscent of rain, text information reminiscent of the sea, text information reminiscent of a shower, text information reminiscent of a waterfall, text information reminiscent of heavy rain, and a lakeside. Text information reminiscent of, text information reminiscent of a dishwasher, text information reminiscent of a fountain, text information reminiscent of a rainy city, text information reminiscent of an aquarium, text information reminiscent of a bamboo forest, text information reminiscent of a bathroom , text information reminiscent of a boiling potion, text information reminiscent of a drive in the rain, text information reminiscent of a boat on the water, text information reminiscent of a bathtub, text information reminiscent of rain falling on a window, waves crashing on rocks. Text information reminiscent of, text information reminiscent of a cave, text information reminiscent of sailing, text information reminiscent of slow waves, text information reminiscent of light rain, text information reminiscent of strong rain, text reminiscent of a rainy day. Information, text information reminiscent of underwater, text information reminiscent of heavy rain, text information reminiscent of a rainy rain forest, text information reminiscent of a beach, text information reminiscent of ice snow, text information reminiscent of rain falling on a roof, tent It may include, but is not limited to, text information reminiscent of rain falling and text information reminiscent of lapping water.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 자연을 연상시키는 텍스트를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing text information 11 may include text reminiscent of nature.
자연을 연상시키는 텍스트는 밤을 연상시키는 텍스트, 바람을 연상시키는 텍스트, 천둥을 연상시키는 텍스트, 캠프파이어를 연상시키는 텍스트, 캐나다의 숲을 연상시키는 텍스트, 숲 산책을 연상시키는 텍스트, 심장 박동을 연상시키는 텍스트, 폭풍을 연상시키는 텍스트, 화창한 날을 연상시키는 텍스트, 풍랑 소리를 연상시키는 텍스트, 숲 소리를 연상시키는 텍스트, 토스카나를 연상시키는 텍스트, 오후를 연상시키는 텍스트, 뇌우를 연상시키는 텍스트, 주피터를 연상시키는 텍스트, 숲 속의 바람을 연상시키는 텍스트, 바스락거리는 잎을 연상시키는 텍스트, 불타는 소리를 연상시키는 텍스트를 포함할 수 있으나, 이에 한정되지 않는다. Text reminiscent of nature includes text reminiscent of the night, text reminiscent of the wind, text reminiscent of thunder, text reminiscent of a campfire, text reminiscent of a Canadian forest, text reminiscent of a walk in the forest, and text reminiscent of a heartbeat. Text reminiscent of a storm, text reminiscent of a sunny day, text reminiscent of the sound of a storm, text reminiscent of the sound of a forest, text reminiscent of Tuscany, text reminiscent of an afternoon, text reminiscent of a thunderstorm, Jupiter It may include, but is not limited to, evocative text, text reminiscent of the wind in the forest, text reminiscent of rustling leaves, and text reminiscent of the sound of burning.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 ASMR(autonomous sensory meridian response)을 연상시키는 텍스트 정보를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing text information 11 may include text information reminiscent of ASMR (autonomous sensory meridian response).
ASMR은 침대 시트를 연상시키는 텍스트 정보, 점액을 연상시키는 텍스트 정보, 끈끈한 점액을 연상시키는 텍스트 정보, 탄산음료를 연상시키는 텍스트 정보, 거품을 연상시키는 텍스트 정보, 마이크 긁힘을 연상시키는 텍스트 정보, 골골송을 연상시키는 텍스트 정보, 메이크업 브러시를 연상시키는 텍스트 정보, 끓는 물을 연상시키는 텍스트 정보, 아이스 큐브 귀 마사지를 연상시키는 텍스트 정보, 귀에 바람 불기를 연상시키는 텍스트 정보, 프라이팬을 연상시키는 텍스트 정보, 에어캡을 연상시키는 텍스트 정보, 요정의 속삭임을 연상시키는 텍스트 정보, 말린 허브를 연상시키는 텍스트 정보, 빗소리를 연상시키는 텍스트 정보, 손가락 비비기를 연상시키는 텍스트 정보, 페이지 넘기기를 연상시키는 텍스트 정보, 눈 위 걷기를 연상시키는 텍스트 정보, 바스락거리는 비닐을 연상시키는 텍스트 정보, 글 쓰기를 연상시키는 텍스트 정보, 귀 닦기를 연상시키는 텍스트 정보, 떨어지는 구슬을 연상시키는 텍스트 정보, 귀 청소를 연상시키는 텍스트 정보를 포함할 수 있으나, 이에 한정되지 않는다. ASMR refers to text information reminiscent of bed sheets, text information reminiscent of slime, text information reminiscent of sticky slime, text information reminiscent of carbonated drinks, text information reminiscent of bubbles, text information reminiscent of microphone scratching, text information reminiscent of microphone scratching, and bone marrow. Text information reminiscent of, text information reminiscent of a makeup brush, text information reminiscent of boiling water, text information reminiscent of an ice cube ear massage, text information reminiscent of blowing wind into the ear, text information reminiscent of a frying pan, air cap Text information reminiscent of, text information reminiscent of a fairy's whisper, text information reminiscent of dried herbs, text information reminiscent of the sound of rain, text information reminiscent of rubbing fingers, text information reminiscent of turning pages, walking on snow. It may include evocative text information, text information reminiscent of rustling vinyl, text information reminiscent of writing, text information reminiscent of ear cleaning, text information reminiscent of falling beads, and text information reminiscent of ear cleaning. , but is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 사람이 소리를 내는 텍스트 정보를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing text information 11 may include text information about a person making a sound.
사람이 소리를 내는 텍스트 정보는 사람의 호흡을 연상시키는 텍스트 정보, 수면 명상을 연상시키는 텍스트 정보, 최면 단어를 연상시키는 텍스트 정보, 양 세기를 연상시키는 텍스트 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.Text information reminiscent of human sounds may include, but is not limited to, text information reminiscent of human breathing, text information reminiscent of sleep meditation, text information reminiscent of hypnosis words, text information reminiscent of sheep counting, etc. No.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 SF 텍스트 정보를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing text information 11 may include SF text information.
SF 텍스트 정보는 뇌파 스캐너를 연상시키는 텍스트 정보, 컴퓨터 신호음을 연상시키는 텍스트 정보, 레이저 빔을 연상시키는 텍스트 정보, 리액터를 연상시키는 텍스트 정보, 우주선을 연상시키는 텍스트 정보, 로켓 엔진을 연상시키는 텍스트 정보, 우주를 연상시키는 텍스트 정보, 우주선에서 걷기를 연상시키는 텍스트 정보, 주피터를 연상시키는 텍스트 정보를 포함할 수 있으나, 이에 한정되지 않는다. SF text information includes text information reminiscent of a brain wave scanner, text information reminiscent of a computer beep, text information reminiscent of a laser beam, text information reminiscent of a reactor, text information reminiscent of a spaceship, text information reminiscent of a rocket engine, It may include, but is not limited to, text information reminiscent of space, text information reminiscent of walking in a spaceship, and text information reminiscent of Jupiter.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 악기의 텍스트 정보를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing text information 11 may include text information about a musical instrument.
악기의 텍스트 정보는 뮤직박스를 연상시키는 텍스트 정보, 베이비 슈셔를 연상시키는 텍스트 정보, 콧노래를 연상시키는 텍스트 정보, 자궁을 연상시키는 텍스트 정보, 베이비 마림바를 연상시키는 텍스트 정보, 베이비 벨을 연상시키는 텍스트 정보, 딸랑이를 연상시키는 텍스트 정보, 브람스의 자장가를 연상시키는 텍스트 정보, 비행기 소리를 연상시키는 텍스트 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. The text information of the instrument is text information reminiscent of a music box, text information reminiscent of a baby shusher, text information reminiscent of a hum, text information reminiscent of a womb, text information reminiscent of a baby marimba, and text information reminiscent of a baby bell. , text information reminiscent of a rattle, text information reminiscent of Brahms' lullaby, text information reminiscent of the sound of an airplane, etc., but is not limited thereto.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 동물 텍스트 정보를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing text information 11 may include animal text information.
동물 텍스트 정보는 새를 연상시키는 텍스트 정보, 황소개구리를 연상시키는 텍스트 정보, 호박을 연상시키는 텍스트 정보, 소를 연상시키는 텍스트 정보, 아침 새를 연상시키는 텍스트 정보, 돌고래를 연상시키는 텍스트 정보, 병아리를 연상시키는 텍스트 정보, 닭을 연상시키는 텍스트 정보, 오리를 연상시키는 텍스트 정보, 말발굽을 연상시키는 텍스트 정보, 열대새를 연상시키는 텍스트 정보, 양의 걸음을 연상시키는 텍스트 정보, 뻐꾸기를 연상시키는 텍스트 정보, 짹짹 소리를 연상시키는 텍스트 정보, 고래의 여행을 연상시키는 텍스트 정보, 고래를 연상시키는 텍스트 정보, 갈매기를 연상시키는 텍스트 정보, 올빼미를 연상시키는 텍스트 정보, 개구리를 연상시키는 텍스트 정보, 그르렁거리는 고양이를 연상시키는 텍스트 정보, 늑대를 연상시키는 텍스트 정보, 아비새를 연상시키는 텍스트 정보, 매미를 연상시키는 텍스트 정보, 청개구리를 연상시키는 텍스트 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. Animal text information includes text information reminiscent of a bird, text information reminiscent of a bullfrog, text information reminiscent of a pumpkin, text information reminiscent of a cow, text information reminiscent of a morning bird, text information reminiscent of a dolphin, and text information reminiscent of a chick. Text information reminiscent of a chicken, text information reminiscent of a duck, text information reminiscent of a horse's hoof, text information reminiscent of a tropical bird, text information reminiscent of a sheep's walk, text information reminiscent of a cuckoo, Text information reminiscent of a chirp sound, text information reminiscent of a whale's travel, text information reminiscent of a whale, text information reminiscent of a seagull, text information reminiscent of an owl, text information reminiscent of a frog, text information reminiscent of a purring cat. It may include, but is not limited to, text information reminiscent of a wolf, text information reminiscent of a loon, text information reminiscent of a cicada, and text information reminiscent of a tree frog.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 멜로디 텍스트 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery inducing text information 11 may include melody text information.
멜로디 텍스트 정보는 영원을 연상시키는 텍스트 정보, 신스웨이브를 연상시키는 텍스트 정보, 피아노를 연상시키는 텍스트 정보, 오케스트라를 연상시키는 텍스트 정보, 선을 연상시키는 텍스트 정보, 가을을 연상시키는 텍스트 정보, 업라이트 피아노를 연상시키는 텍스트 정보, 라운지를 연상시키는 텍스트 정보, 별을 연상시키는 텍스트 정보, 부족을 연상시키는 텍스트 정보, 인도를 연상시키는 텍스트 정보, 티벳 그릇을 연상시키는 텍스트 정보, 환희를 연상시키는 텍스트 정보, 풍경을 연상시키는 텍스트 정보, 음성을 연상시키는 텍스트 정보, 관찰을 연상시키는 텍스트 정보, 베이스 음악을 연상시키는 텍스트 정보, 궤도를 연상시키는 텍스트 정보, 드럼을 연상시키는 텍스트 정보, 피리를 연상시키는 텍스트 정보, 합창단을 연상시키는 텍스트 정보, 별 구경을 연상시키는 텍스트 정보, 기타를 연상시키는 텍스트 정보, 드라마틱을 연상시키는 텍스트 정보, 나비를 연상시키는 텍스트 정보, 중세를 연상시키는 텍스트 정보, 지구 드라마를 연상시키는 텍스트 정보, 꿈을 연상시키는 텍스트 정보, 추상을 연상시키는 텍스트 정보, 플루트를 연상시키는 텍스트 정보, 은하수를 연상시키는 텍스트 정보, 봄을 연상시키는 텍스트 정보, 도시를 연상시키는 텍스트 정보, 작은 티벳볼을 연상시키는 텍스트 정보, 중간 티벳볼을 연상시키는 텍스트 정보, 큰 티벳볼을 연상시키는 텍스트 정보, 두둑을 연상시키는 텍스트 정보, 콧노래를 연상시키는 텍스트 정보, 발리의 안개를 연상시키는 텍스트 정보, 인도 드림을 연상시키는 텍스트 정보, 파헬벨 캐논을 연상시키는 텍스트 정보, 염불을 연상시키는 텍스트 정보, 작은 싱잉볼을 연상시키는 텍스트 정보 , 큰 싱잉볼을 연상시키는 텍스트 정보, 마법의 차임벨을 연상시키는 텍스트 정보, 기도하는 시간을 연상시키는 텍스트 정보, 고대를 연상시키는 텍스트 정보, Om을 연상시키는 텍스트 정보, 하모니를 연상시키는 텍스트 정보 포함할 수 있으나, 이에 한정되지 않는다. Melody text information includes text information reminiscent of eternity, text information reminiscent of synthwave, text information reminiscent of a piano, text information reminiscent of an orchestra, text information reminiscent of lines, text information reminiscent of autumn, and upright piano. Text information reminiscent of a lounge, text information reminiscent of a star, text information reminiscent of a tribe, text information reminiscent of India, text information reminiscent of a Tibetan bowl, text information reminiscent of joy, landscape. Text information reminiscent of a voice, text information reminiscent of an observation, text information reminiscent of bass music, text information reminiscent of a trajectory, text information reminiscent of a drum, text information reminiscent of a flute, choir. Evocative text information, text information reminiscent of stargazing, text information reminiscent of a guitar, text information reminiscent of drama, text information reminiscent of a butterfly, text information reminiscent of the Middle Ages, text information reminiscent of an earth drama, dream Text information reminiscent of , text information reminiscent of abstraction, text information reminiscent of a flute, text information reminiscent of the Milky Way, text information reminiscent of spring, text information reminiscent of a city, text information reminiscent of a small Tibetan ball, Text information reminiscent of a medium Tibetan ball, text information reminiscent of a large Tibetan ball, text information reminiscent of a patter, text information reminiscent of a hum, text information reminiscent of Balinese fog, text information reminiscent of an Indian dream, Pachelbel Text information reminiscent of a canon, text information reminiscent of chanting, text information reminiscent of a small singing bowl, text information reminiscent of a large singing bowl, text information reminiscent of a magic chime, text information reminiscent of prayer time, It may include, but is not limited to, text information reminiscent of ancient times, text information reminiscent of Om, and text information reminiscent of harmony.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 도시 텍스트 정보를 포함할 수 있다. According to one embodiment of the present invention, the image-inducing text information 11 may include city text information.
도시 텍스트 정보는 흔들이 선풍기를 연상시키는 텍스트 정보, 샤워를 연상시키는 텍스트 정보, 에어컨을 연상시키는 텍스트 정보, 식기세척기를 연상시키는 텍스트 정보, 커피숍을 연상시키는 텍스트 정보, 기차를 연상시키는 텍스트 정보, 비오는 도시를 연상시키는 텍스트 정보, 아쿠아리움을 연상시키는 텍스트 정보, 욕실을 연상시키는 텍스트 정보, 빗속의 드라이브를 연상시키는 텍스트 정보, 욕조를 연상시키는 텍스트 정보, 차가운 금속을 연상시키는 텍스트 정보, 스프링쿨러를 연상시키는 텍스트 정보, 지붕에 내리는 비를 연상시키는 텍스트 정보, 놀이터를 연상시키는 텍스트 정보, 대형 괘종시계를 연상시키는 텍스트 정보, 드라이어를 연상시키는 텍스트 정보, 도시 분위기를 연상시키는 텍스트 정보, 뱃고동을 연상시키는 텍스트 정보, 청소기를 연상시키는 텍스트 정보, 키보드를 연상시키는 텍스트 정보, 군중을 연상시키는 텍스트 정보, 멀리서 오는 기차를 연상시키는 텍스트 정보, 카니발을 연상시키는 텍스트 정보, 트럭 엔진을 연상시키는 텍스트 정보, 헤어 드라이기를 연상시키는 텍스트 정보, 고속도로를 연상시키는 텍스트 정보를 포함할 수 있으나, 이에 한정되지 않는다.City text information includes text information reminiscent of a rocking fan, text information reminiscent of a shower, text information reminiscent of an air conditioner, text information reminiscent of a dishwasher, text information reminiscent of a coffee shop, text information reminiscent of a train, Text information reminiscent of a rainy city, text information reminiscent of an aquarium, text information reminiscent of a bathroom, text information reminiscent of a drive in the rain, text information reminiscent of a bathtub, text information reminiscent of cold metal, text information reminiscent of sprinklers Text information reminiscent of rain falling on a roof, text information reminiscent of a playground, text information reminiscent of a large grandfather clock, text information reminiscent of a hair dryer, text information reminiscent of a city atmosphere, text reminiscent of a boat horn. Information, text information reminiscent of a vacuum cleaner, text information reminiscent of a keyboard, text information reminiscent of a crowd, text information reminiscent of a train coming from afar, text information reminiscent of a carnival, text information reminiscent of a truck engine, hair dryer It may include evocative text information and text information reminiscent of a highway, but is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 비를 연상시키는 텍스트 정보를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing text information 11 may include text information reminiscent of rain.
비를 연상시키는 텍스트 정보는 열대 우림을 연상시키는 텍스트 정보, 비 내리는 파리의 밤을 연상시키는 텍스트 정보, 텐트 위로 떨어지는 비를 연상시키는 텍스트 정보, 나뭇잎 위로 떨어지는 비를 연상시키는 텍스트 정보, 약한 비를 연상시키는 텍스트 정보, 폭우를 연상시키는 텍스트 정보, 도시의 비를 연상시키는 텍스트 정보, 창문에 부딪히는 빗방울을 연상시키는 텍스트 정보, 뇌우를 연상시키는 텍스트 정보, 차 안에서 느끼는 비를 연상시키는 텍스트 정보, 채광창으로 떨어지는 비를 연상시키는 텍스트 정보, 선종 사원 정원에 부슬부슬 내리는 비를 연상시키는 텍스트 정보, 듄: 캘리던을 연상시키는 텍스트 정보, 등대 별장을 연상시키는 텍스트 정보, 등대 별장의 라디오를 연상시키는 텍스트 정보를 포함할 수 있으나, 이에 한정되지 않는다. Text information reminiscent of rain includes text information reminiscent of a tropical rainforest, text information reminiscent of a rainy night in Paris, text information reminiscent of rain falling on a tent, text information reminiscent of rain falling on leaves, and text information reminiscent of light rain. Text information reminiscent of heavy rain, text information reminiscent of rain in the city, text information reminiscent of raindrops hitting a window, text information reminiscent of a thunderstorm, text information reminiscent of rain felt in a car, text information reminiscent of rain falling through a skylight Includes text information reminiscent of rain, text information reminiscent of drizzling rain in the garden of a Zen temple, text information reminiscent of Dune: Caledon, text information reminiscent of a lighthouse villa, and text information reminiscent of a radio in a lighthouse villa. It can be done, but it is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 바다, 강, 호수를 연상시키는 텍스트 정보를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing text information 11 may include text information reminiscent of the sea, river, or lake.
바다, 강, 호수를 연상시키는 텍스트 정보는 플라이 낚시를 연상시키는 텍스트 정보, 아이슬란드의 바다를 연상시키는 텍스트 정보, 항해하는 선박의 아래층 간판을 연상시키는 텍스트 정보, 대양의 파도를 연상시키는 텍스트 정보, 이명을 위한 파도를 연상시키는 텍스트 정보, 여객선의 객실을 연상시키는 텍스트 정보, 마리아 메리안의 위대한 탐험을 연상시키는 텍스트 정보, 줄줄 흐르는 시냇물을 연상시키는 텍스트 정보, calm 아일랜드를 연상시키는 텍스트 정보, 폭포를 연상시키는 텍스트 정보, 먼 바다의 파도를 연상시키는 텍스트 정보, 조용히 흐르는 개울을 연상시키는 텍스트 정보, 마음을 진정시켜주는 아쿠아스케이프를 연상시키는 텍스트 정보, 백색 소음의 바다 서핑을 연상시키는 텍스트 정보, 산호초를 연상시키는 텍스트 정보, 제스퍼 호수를 연상시키는 텍스트 정보, 물의 원천을 연상시키는 텍스트 정보, 삶의 원천을 연상시키는 텍스트 정보, 산호초의 도시를 연상시키는 텍스트 정보, 태평양 북서부를 연상시키는 텍스트 정보, 다이아몬드의 바다를 연상시키는 텍스트 정보, 노던 레이크를 연상시키는 텍스트 정보, 산속 노천탕을 연상시키는 텍스트 정보, 사우스웨스트 리버 캐넌을 연상시키는 텍스트 정보, marin headlands를 연상시키는 텍스트 정보, 하이 시에라 레이크를 연상시키는 텍스트 정보, 에버 글레이즈를 연상시키는 텍스트 정보, 해변 캠프파이어를 연상시키는 텍스트 정보 등이 포함될 수 있으나, 이에 한정되지 않는다.Text information reminiscent of the sea, river, and lake, text information reminiscent of fly fishing, text information reminiscent of the sea of Iceland, text information reminiscent of the downstairs signboard of a sailing ship, text information reminiscent of ocean waves, two names. Text information reminiscent of waves, text information reminiscent of a passenger ship's cabin, text information reminiscent of Maria Marian's great exploration, text information reminiscent of a flowing stream, text information reminiscent of calm island, text information reminiscent of a waterfall. Text information, text information reminiscent of distant ocean waves, text information reminiscent of a quietly flowing stream, text information reminiscent of a soothing aquascape, text information reminiscent of white noise ocean surfing, text information reminiscent of a coral reef. Text information, text information reminiscent of Lake Jasper, text information reminiscent of the source of water, text information reminiscent of the source of life, text information reminiscent of the city of coral reefs, text information reminiscent of the Pacific Northwest, text information reminiscent of the sea of diamonds Text information reminiscent of northern lakes, text information reminiscent of open-air baths in the mountains, text information reminiscent of the Southwest River Canyon, text information reminiscent of marin headlands, text information reminiscent of High Sierra Lakes, Everglades It may include evocative text information, text information reminiscent of a beach campfire, etc., but is not limited to this.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 땅, 바람, 불을 연상시키는 텍스트 정보를 포함할 수 있다. According to an embodiment of the present invention, the image-inducing text information 11 may include text information reminiscent of land, wind, and fire.
땅, 바다, 불을 연상시키는 텍스트 정보는 아삼 정글을 연상시키는 텍스트 정보, 골프 가든을 연상시키는 텍스트 정보, 봄의 프랑스 마을을 연상시키는 텍스트 정보, 아이슬란드의 바다를 연상시키는 텍스트 정보, 아이슬란드의 여행을 연상시키는 텍스트 정보, 매혹적인 이끼의 정원을 연상시키는 텍스트 정보, 마라케시의 모자이크 공예가를 연상시키는 텍스트 정보, 팔랑케 유적을 연상시키는 텍스트 정보, 멕시코 시티를 연상시키는 텍스트 정보, 구름의 산을 연상시키는 텍스트 정보, 네덜란드의 겨울을 연상시키는 텍스트 정보, 네덜란드의 봄을 연상시키는 텍스트 정보, 빙하 특급 열차를 연상시키는 텍스트 정보, 마리아 메리안의 위대한 탐험을 연상시키는 텍스트 정보, 더블린을 연상시키는 텍스트 정보, 머크로스 호숫가를 연상시키는 텍스트 정보, 케인곰스를 연상시키는 텍스트 정보, 뉴질랜드의 북섬을 연상시키는 텍스트 정보, 뉴질랜드의 남섬을 연상시키는 텍스트 정보, 로몬드 호수로 떠나는 여행을 연상시키는 텍스트 정보, 알프스 초원을 연상시키는 텍스트 정보, 캠프파이어를 연상시키는 텍스트 정보, 숲을 연상시키는 텍스트 정보, 알프스 산을 연상시키는 텍스트 정보, 정엄한 계곡을 연상시키는 텍스트 정보, 타닥타닥 타는 벽난로를 연상시키는 텍스트 정보, 소나무숲에서 부는 바람을 연상시키는 텍스트 정보, 하얀 눈을 연상시키는 텍스트 정보, 나무 속에서 사는 것을 연상시키는 텍스트 정보, 밤의 사막을 연상시키는 텍스트 정보, 등대 별장을 연상시키는 텍스트 정보, 정글 숲을 연상시키는 텍스트 정보, 산속 노천탕을 연상시키는 텍스트 정보, 낙엽수림을 연상시키는 텍스트 정보, 태평양 북서부를 연상시키는 텍스트 정보, 침엽수림을 연상시키는 텍스트 정보, 옥수수밭을 연상시키는 텍스트 정보, 대나무숲을 연상시키는 텍스트 정보, 사우스웨스트 리버 캐년을 연상시키는 텍스트 정보, 빙하의 눈밭을 연상시키는 텍스트 정보, 숲 속의 종을 연상시키는 텍스트 정보, 해변에서의 캠프파이어를 연상시키는 텍스트 정보, 수확을 연상시키는 텍스트 정보, 영화 듄에 등장하는 아라키스 행성을 연상시키는 텍스트 정보, 영화 듄에 등장하는 캘러던 행성을 연상시키는 텍스트 정보, 포 씨의 도서관을 연상시키는 텍스트 정보, 고딕 양식의 묘지를 연상시키는 텍스트 정보, 선풍기를 연상시키는 텍스트 정보, 세탁기를 연상시키는 텍스트 정보, 도시 거리를 연상시키는 텍스트 정보, 뇌우를 연상시키는 텍스트 정보, 제스퍼 호수를 연상시키는 텍스트 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. Text information reminiscent of land, sea, and fire, text information reminiscent of the Assam jungle, text information reminiscent of a golf garden, text information reminiscent of a French village in spring, text information reminiscent of the sea in Iceland, and text information reminiscent of a trip to Iceland. Evocative text information, Text information reminiscent of an enchanting garden of moss, Text information reminiscent of the mosaic craftsmen of Marrakech, Text information reminiscent of the Palanque ruins, Text information reminiscent of Mexico City, Text information reminiscent of the Mountain of Clouds , text information reminiscent of Dutch winter, text information reminiscent of Dutch spring, text information reminiscent of the Glacier Express, text information reminiscent of Maria Marian's great expedition, text information reminiscent of Dublin, and the shores of Muckross Lake. Text information reminiscent of Cane Gomes, text information reminiscent of the North Island of New Zealand, text information reminiscent of the South Island of New Zealand, text information reminiscent of a trip to Loch Lomond, text information reminiscent of the Alps. , text information reminiscent of a campfire, text information reminiscent of a forest, text information reminiscent of an Alpine mountain, text information reminiscent of a solemn valley, text information reminiscent of a crackling fireplace, reminiscent of the wind blowing in a pine forest. Text information reminiscent of white snow, text information reminiscent of living in a tree, text information reminiscent of a desert at night, text information reminiscent of a lighthouse villa, text information reminiscent of a jungle forest, and an open-air bath in the mountains. Text information reminiscent of a deciduous forest, text information reminiscent of the Pacific Northwest, text information reminiscent of a coniferous forest, text information reminiscent of a cornfield, text information reminiscent of a bamboo forest, text information reminiscent of the Southwest River Canyon Text information reminiscent of a glacial snow field, text information reminiscent of a species in the forest, text information reminiscent of a campfire on the beach, text information reminiscent of a harvest, and reminiscent of the planet Arrakis that appears in the movie Dune. Text information reminiscent of the planet Caladon that appears in the movie Dune, text information reminiscent of Mr. Poe's library, text information reminiscent of a Gothic graveyard, text information reminiscent of an electric fan, text reminiscent of a washing machine. Information, text information reminiscent of a city street, text information reminiscent of a thunderstorm, and text information reminiscent of Lake Jasper may be included, but is not limited thereto.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 수면용 이야기 소리가 선사하는 안식을 연상시키는 텍스트 정보를 포함할 수 있다. According to one embodiment of the present invention, the imagery-inducing text information 11 may include text information reminiscent of the sense of rest provided by the sound of a sleep story.
수면용 이야기 소리가 선사하는 안식을 연상시키는 텍스트 정보는 골프 가든을 연상시키는 텍스트 정보, 일곱 언덕의 도시를 연상시키는 텍스트 정보, 구름의 산을 연상시키는 텍스트 정보, 빙하 특급 열차를 연상시키는 텍스트 정보, 마리아 메리안의 위대한 탐험을 연상시키는 텍스트 정보, 앙코르의 비밀 사원을 연상시키는 텍스트 정보, 매혹적인 이끼 정원을 연상시키는 텍스트 정보, 마라케시 모자이크 공예가를 연상시키는 텍스트 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. Text information reminiscent of the rest provided by the sound of the sleep story is text information reminiscent of a golf garden, text information reminiscent of the City of Seven Hills, text information reminiscent of the Mountain of Clouds, text information reminiscent of a glacier express train, It may include, but is not limited to, text information reminiscent of Maria Marian's great expedition, text information reminiscent of the secret temples of Angkor, text information reminiscent of an enchanting moss garden, and text information reminiscent of the Marrakech mosaic craftsmen.
본 발명의 일 실시예에 따르면, 심상 유도 텍스트 정보(11)는 사용자가 선호하는 기억과 연관된 텍스트 정보일 수 있다.According to one embodiment of the present invention, the image-inducing text information 11 may be text information associated with the user's preferred memory.
또한, 심상 유도 텍스트 정보(11)는 사용자가 선호하는 기억과 연관된 심상 유도 시나리오를 가진 시계열적 텍스트 정보일 수 있다. Additionally, the imagery-inducing text information 11 may be time-series text information with an imagery-inducing scenario associated with the user's preferred memory.
심상 유도 음향 정보(13), 심상 유도 시각 정보(12) 및 심상 유도 텍스트 정보(11), 심상 유도 텍스트 음향 정보(14) 중 둘 이상의 조합A combination of two or more of imagery-inducing sound information (13), imagery-inducing visual information (12), imagery-inducing text information (11), and imagery-inducing text sound information (14).
상술한 바와 같이, 심상 유도 정보는 단일한 심상 유도 음향 정보(13) 및 단일한 심상 유도 시각 정보(12), 단일한 심상 유도 텍스트 음향 정보(14)를 포함할 수 있으나, 바람직하게는 단일한 심상 유도 음향 정보(13)와 단일한 심상 유도 시각 정보(12)와 심상 유도 텍스트 음향 정보(14)가 결합된 것을 포함할 수 있다. As described above, the imagery inducing information may include a single imagery inducing sound information 13, a single imagery inducing visual information 12, and a single imagery inducing text sound information 14, but preferably a single imagery inducing information. It may include a combination of image-inducing sound information 13, single image-inducing visual information 12, and image-inducing text sound information 14.
또한 심상 유도 정보는 단일한 심상 유도 음향 정보(13) 및 단일한 심상 유도 텍스트 정보(11) 및 심상 유도 텍스트 음향 정보(14)를 포함할 수 있으나 바람직하게는 단일한 심상 유도 음향 정보(13)와 단일한 심상 유도 텍스트 정보(11)와 심상 유도 텍스트 음향 정보(14)가 결합된 것을 포함할 수 있다. In addition, the imagery-inducing information may include a single imagery-inducing sound information (13), a single imagery-inducing text information (11), and imagery-inducing text sound information (14), but preferably a single imagery-inducing sound information (13). It may include a combination of single image-inducing text information (11) and image-inducing text sound information (14).
또한, 심상 유도 정보는 단일한 심상 유도 음향 정보(13), 단일한 심상 유도 텍스트 정보(11) 및 단일한 심상 유도 시각 정보(12) 및 단일한 심상 유도 텍스트 음향 정보(14)를 포함할 수 있으나, 가장 바람직하게는 단일한 심상 유도 음향 정보(13)와 단일한 심상 유도 텍스트 정보(11)와 단일한 심상 유도 시각 정보(12)와 심상 유도 텍스트 음향 정보(14)가 모두 결합된 것을 포함할 수 있다.In addition, the imagery-inducing information may include a single imagery-inducing sound information (13), a single imagery-inducing text information (11), a single imagery-inducing visual information (12), and a single imagery-inducing text sound information (14). However, most preferably, it includes a combination of a single image-inducing sound information (13), a single image-inducing text information (11), a single image-inducing visual information (12), and a single image-inducing text sound information (14). can do.
더 바람직하게는, 심상 유도 정보는 심상 유도 음향 정보(13)를 기반으로, 심상 유도 시각 정보(12)와 심상 유도 텍스트 정보(11)와 심상 유도 텍스트 음향 정보(14)를 모두 결합하여 심상 유도 시나리오를 가진 시계열적 정보인 것을 포함할 수 있다.More preferably, the imagery inducing information is based on the imagery inducing sound information 13, and combines the imagery inducing visual information 12, the imagery inducing text information 11, and the imagery inducing text sound information 14 to induce imagery. It may include time-series information with scenarios.
심상 유도 음향 정보(13), 심상 유도 시각 정보(12) 및 심상 유도 텍스트 정보(11) 중 둘 이상의 결합의 심상 유도 시나리오를 갖는 시계열적 조합A time-series combination with an imagery-inducing scenario of two or more combinations of imagery-inducing sound information (13), imagery-inducing visual information (12), and imagery-inducing text information (11).
상술한 바와 같이, 심상 유도 정보는 시계열적 심상 유도 음향 정보(13), 시계열적 심상 유도 시각 정보(12) 및 시계열적 심상 유도 텍스트 음향 정보(14)를 포함할 수 있으나, 바람직하게는 시계열적 심상 유도 음향 정보(13)와 시계열적 심상 유도 시각 정보(12)와 시계열적 심상 유도 텍스트 음향 정보(14)가 결합된 것을 포함할 수 있다. As described above, the image-inducing information may include time-series image-inducing sound information 13, time-series image-inducing visual information 12, and time-series image-inducing text sound information 14, but preferably time-series image-inducing sound information 13. It may include a combination of image-inducing sound information (13), time-series image-inducing visual information (12), and time-series image-inducing text sound information (14).
또한, 심상 유도 정보는 시계열적 심상 유도 음향 정보(13), 시계열적 심상 유도 텍스트 정보(11) 및 시계열적 심상 유도 텍스트 음향 정보(14)를 포함할 수 있으나, 바람직하게는 시계열적 심상 유도 음향 정보(13)와 시계열적 심상 유도 텍스트 정보(11)와 시계열적 심상 유도 텍스트 음향 정보(14)가 결합된 것을 포함할 수 있다. In addition, the imagery-inducing information may include time-series imagery-inducing sound information (13), time-series imagery-inducing text information (11), and time-series imagery-inducing text sound information (14), but is preferably time-series imagery-inducing sound. It may include a combination of information 13, time-series image-inducing text information 11, and time-series image-inducing text sound information 14.
또한, 심상 유도 정보는 시계열적 심상 유도 음향 정보(13), 시계열적 심상 유도 텍스트 정보(11), 시계열적 심상 유도 시각 정보(12) 및 시계열적 심상 유도 텍스트 음향 정보(14)를 포함할 수 있으나, 바람직하게는 시계열적 심상 유도 음향 정보(13)와 시계열적 심상 유도 텍스트 정보(11)와 시계열적 심상 유도 시각 정보(12)와 시계열적 심상 유도 텍스트 음향 정보(14)가 모두 결합된 것을 포함할 수 있다.In addition, the imagery-inducing information may include time-series imagery-inducing sound information (13), time-series imagery-inducing text information (11), time-series imagery-inducing visual information (12), and time-series imagery-inducing text sound information (14). However, preferably, the time-series image-inducing sound information (13), the time-series image-inducing text information (11), the time-series image-inducing visual information (12), and the time-series image-inducing text sound information (14) are all combined. It can be included.
더 바람직하게는, 심상 유도 정보는 심상 유도 시나리오를 갖는 시계열적 심상 유도 음향 정보(13)와 같은 심상 유도 시나리오를 갖는 시계열적 심상 유도 시각 정보(12) 및 심상 유도 텍스트 정보(11) 및 시계열적 심상 유도 텍스트 음향 정보(14)가 모두 결합된 것을 포함할 수 있다. More preferably, the imagery-inducing information includes time-series imagery-inducing visual information 12 and imagery-inducing text information 11, and time-series imagery-inducing audio information 13 having an imagery-inducing scenario. It may include all of the image-inducing text-sound information 14 combined.
본 발명의 일실시예에 따르면, 심상 유도 시나리오는 사용자의 수면에 도움이 되도록 심리적인 안정감을 줄 수 있으며, 사용자에게 일련의 경험을 제공할 수 있다. According to one embodiment of the present invention, an imagery-inducing scenario can provide psychological stability to help the user sleep and provide a series of experiences to the user.
구체적으로, 심상 유도 시나리오는 심상 유도 음향 정보(13), 심상 유도 텍스트 정보(11), 심상 유도 텍스트 음향 정보(14), 심상 유도 시각 정보(12) 중 어느 하나를 활용하여 사용자의 감각들을 통해 총체적인 경험을 제공할 수 있다.Specifically, the imagery-inducing scenario utilizes any one of imagery-inducing sound information (13), imagery-inducing text information (11), imagery-inducing text sound information (14), and imagery-inducing visual information (12) through the user's senses. Can provide a holistic experience.
본 발명의 일실시예에 따르면, 심상 유도 시나리오는 사용자의 감각들을 통해 총체적인 경험을 제공하는 것이므로, 이에 따라, 사용자가 반드시 시각적인 연상을 하도록 유도할 필요는 없고, 시각적인 연상과 추상적인 경험이 혼재되는 것도 포함할 수 있다. According to one embodiment of the present invention, the imagery induction scenario provides a holistic experience through the user's senses, and therefore, it is not necessary to induce the user to make visual associations, and visual associations and abstract experiences are provided. It can also include mixed things.
예를 들어, 심상 유도 시나리오가 사용자에게 깊은 바다 속으로 들어가는 시나리오를 제공하는 경우, 심상 유도 시나리오는 사용자에게 깊은 바다 속으로 들어가는 시각적인 연상의 경험을 유도할 수 있으나, 사용자에게 깊은 바다 속으로 들어가는 추상적인 경험을 유도할 수도 있다. 또한, 깊은 바다 속으로 들어가는 시각적인 연상의 경험과 추상적인 경험 모두를 유도할 수도 있다. For example, if an imagery-inducing scenario provides the user with a scenario of going into the deep sea, the imagery-inducing scenario may induce the user to experience a visual association of going into the deep sea; It can also induce abstract experiences. Additionally, it can induce both a visually reminiscent experience and an abstract experience of entering the deep sea.
본 발명의 일실시예에 따르면, 심상 유도 시나리오는 두 개 이상이 제공될 수 있으며, 본 발명은 사용자에게 두 개 이상의 독립된 시나리오를 부드럽게 연결하여 제공할 수 있다. According to one embodiment of the present invention, two or more imagery inducing scenarios may be provided, and the present invention may provide the user with two or more independent scenarios by smoothly connecting them.
이에 따라, 사용자의 입면 전까지 시나리오 장면의 큰 변화가 1회 이상일 수 있다. Accordingly, there may be one or more major changes in the scenario scene before the user enters the scene.
본 발명의 일실시예에 따르면, 심상 유도 정보는 두 개 이상의 독립된 시나리오를 포함할 수 있다. According to one embodiment of the present invention, imagery induction information may include two or more independent scenarios.
그러나, 두 개 이상의 독립된 시나리오의 조합이 사용자의 수면에 부정적인 영향을 끼치는 경우, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 해당 조합이 사용자의 수면에 부정적인 영향을 끼쳤음을 기초로 하여, 다른 조합을 제공하는 등의 선택을 할 수 있다. However, if the combination of two or more independent scenarios has a negative effect on the user's sleep, the device 100a for generating imagery-inducing information, the device 200a for providing imagery-inducing information, or another device may Based on the negative impact on sleep, choices can be made, such as offering different combinations.
본 발명의 일실시예에 따르면, 심상 유도 시나리오의 장면은 한 장면으로 지속될 수 있으나, 심상 유도 시나리오의 장면은 변화할 수 있다. According to one embodiment of the present invention, the scene of the imagery-inducing scenario may continue as one scene, but the scene of the imagery-inducing scenario may change.
바람직하게는, 심상 유도 시나리오의 장면의 변화가 있을 경우, 장면의 변화에 대한 경계를 뚜렷하지 않게 하여 사용자에게 자각되지 않도록 할 수 있다. Preferably, when there is a change in the scene of the imagery inducing scenario, the boundary for the change in the scene can be made unclear so that the user is not aware of it.
구체적으로, 사용자는 심상 유도 시나리오의 기존의 장면에 대하여 새로운 장면이 나타나는 경우, 새로운 장면이 지속되는 동안 장면의 변화된 시점을 인지하지 못할 수 있다.Specifically, when a new scene appears in relation to an existing scene in an imagery-inducing scenario, the user may not recognize the changed viewpoint of the scene while the new scene continues.
본 발명의 일실시예에 따르면, 심상 유도 시나리오는 사용자가 다수의 감각을 이용해 느낄 수 있는 것을 포함한다. According to one embodiment of the present invention, the imagery-inducing scenario includes what the user can feel using multiple senses.
바람직하게는, 심상 유도 시나리오는 시나리오가 진행됨에 따라 사용자가 이용하는 감각의 개수가 증가하지 않도록 진행될 수 있다. Preferably, the imagery induction scenario may proceed so that the number of senses used by the user does not increase as the scenario progresses.
더 바람직하게는, 심상 유도 시나리오는 시나리오가 진행됨에 따라 이용하는 사용자의 감각의 개수가 감소하도록 진행될 수 있다. More preferably, the imagery induction scenario may progress so that the number of the user's senses decreases as the scenario progresses.
시나리오가 진행됨에 따라 시간이 경과됨으로써, 사용자가 수면에 점점 진입하기 때문에 사용자가 인지하는 감각의 개수는 감소할 수 있다.As time passes as the scenario progresses, the number of sensations perceived by the user may decrease as the user gradually enters sleep.
본 발명의 일 실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 사용자가 사용자 창작 텍스트를 입력하면 해당 텍스트에 맞는 시나리오를 생성할 수 있다. According to one embodiment of the present invention, the device 100a for generating imagery inducing information, the device 200a for providing imagery inducing information, or another device generates a scenario suitable for the text when the user inputs user-created text. You can.
본 발명의 일 실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 사용자가 심상 유도 텍스트를 입력할 때, 3줄의 시나리오를 입력하면, 각각의 줄의 텍스트에 대응하는 심상 유도 시각 정보(12)와 심상 유도 음향 정보(13), 심상 유도 텍스트 음향 정보(14)를 생성할 수 있다. According to one embodiment of the present invention, the device 100a for generating imagery inducing information, the device 200a for providing imagery inducing information, or another device inputs a three-line scenario when a user inputs imagery inducing text. Then, imagery-inducing visual information 12, imagery-inducing sound information 13, and imagery-inducing text sound information 14 corresponding to the text of each line can be generated.
본 발명의 일 실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 사용자가 사용자 개개인에 맞는 심상 유도 텍스트를 입력하면 해당 심상 유도 텍스트에 맞는 심상 유도 시각 정보(12)와 심상 유도 음향 정보(13)와 심상 유도 텍스트 음향 정보(14)를 생성할 수 있으며, 또는 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 사용자에게 맞는 심상 유도 텍스트 정보(11)를 제공할 수 있다.According to one embodiment of the present invention, the device 100a for generating image induction information, the device 200a for providing image induction information, or another device is provided when a user inputs an image induction text tailored to each user. It is possible to generate image-inducing visual information (12), image-inducing sound information (13), and image-inducing text sound information (14), or a device (100a) that generates image-inducing information or provides image-inducing information. The device 200a or another device may provide image-inducing text information 11 tailored to the user.
심상 유도 정보 제공 방법How to provide imagery-inducing information
본 발명의 일 실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a)가 사용자에게 심상 유도 정보를 랜덤하게 제공한 후, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 환경 센싱 정보에 기초하여 사용자가 수면 전인지, 중인지 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있으며, 해당 수면 상태 정보에 따라서, 또는 사용자의 기상 후 사용자의 수면 만족도를 수집한 데이터에 따라서 각각의 사용자에 맞는 각각의 심상 유도 정보를 채택할 수 있다. According to one embodiment of the present invention, after the device 100a for generating imagery inducing information randomly provides imagery inducing information to the user, the device 100a for generating imagery inducing information or the device providing imagery inducing information (200a) or another device may acquire sleep state information related to whether the user is before, during, or after sleep based on environmental sensing information, and may determine the user's sleep according to the sleep state information or after the user wakes up. Depending on the data collected on satisfaction, each image-inducing information suitable for each user can be adopted.
구체적으로, 각각의 사용자에 맞는 심상 유도 정보는 사용자의 입면 시간이 가장 짧은 심상 유도 정보를 포함할 수 있다. Specifically, the image-inducing information suitable for each user may include the image-inducing information in which the user's elevation time is the shortest.
또한, 본 발명의 일 실시예에 따르면, 각각의 사용자에 맞는 각각의 심상 유도 정보를 채택함에 있어서, 사용자가 심상 유도 정보를 듣다가 해당 심상 유도 정보를 끄거나, 다른 심상 유도 정보로 변경하는 경우, 해당 추천 방식에 패널티를 부과할 수 있다. Additionally, according to one embodiment of the present invention, when selecting each image-inducing information suitable for each user, when the user listens to the image-inducing information and then turns off the corresponding image-inducing information or changes to other image-inducing information. , a penalty may be imposed on the recommendation method.
본 발명의 일실시예에 따르면, 각각의 사용자에 맞는 심상 유도 정보는 사용자의 입면 후 수면 중 깨어날 때까지 걸린 시간(WASO)이 상대적으로 긴 심상 유도 정보 또는 사용자가 수면 중 깨어난 횟수가 상대적으로 적은 심상 유도 정보 또는 사용자의 깊은 수면이 최초로 나타나는데 까지 걸리는 시간이 상대적으로 적은 심상 유도 정보 또는 사용자의 깊은 수면 시간이 긴 심상 유도 정보 등을 포함할 수 있으나, 이에 한정되지 않는다. According to one embodiment of the present invention, the imagery inducing information suitable for each user is imagery inducing information in which the time taken from the user's nap to waking up from sleep (WASO) is relatively long, or the number of times the user wakes up during sleep is relatively long. It may include, but is not limited to, little imagery-inducing information, imagery-inducing information in which the time it takes for the user's deep sleep to first appear is relatively short, or imagery-inducing information in which the user's deep sleep time is long.
본 발명의 일 실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치가 각각의 사용자에 맞는 각각의 심상 유도 시각 정보(12)를 채택하면, 심상 유도 정보를 생성하는 장치(100a)는 채택된 심상 유도 시각 정보(12) 중에서 사용자에게 추천된 심상 유도 시각 정보(12)를 제공할 수 있다. According to one embodiment of the present invention, the device 100a for generating image induction information, the device 200a for providing image induction information, or another device adopts each image induction visual information 12 suitable for each user. In this case, the device 100a for generating imagery inducing information may provide the image inducing visual information 12 recommended to the user from among the selected imagery inducing visual information 12.
본 발명의 일 실시예에 따르면, 만약 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치가 사용자의 수면 상태 정보에 따라 해당 사용자에 맞는 심상 유도 텍스트 정보(11)를 채택하지 못한 경우, 심상 유도 정보를 생성하는 장치(100a)는 사용자에게 기 제공되지 않은 다른 심상 유도 텍스트 정보(11)를 랜덤하게 제공할 수 있다. According to an embodiment of the present invention, if the device 100a for generating imagery inducing information, the device 200a for providing imagery inducing information, or another device provides imagery inducing text information tailored to the user according to the user's sleep state information. If (11) is not adopted, the device 100a for generating image-inducing information may randomly provide other image-inducing text information 11 that has not been previously provided to the user.
이 때, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 환경 센싱 정보에 기초하여 사용자가 수면 전인지, 중인지 또는 후인지 여부에 관련한 수면 상태 정보를 획득할 수 있으며, 해당 수면 상태 정보에 따라 해당 사용자에 맞는 심상 유도 텍스트 정보(11)를 채택할 수 있다. At this time, the device 100a for generating image induction information, the device 200a for providing image induction information, or other devices provides sleep state information related to whether the user is before, during, or after sleep based on environmental sensing information. can be obtained, and image-inducing text information 11 suitable for the user can be adopted according to the corresponding sleep state information.
구체적으로, 해당 사용자에 맞는 심상 유도 텍스트 정보(11)는 해당 사용자의 입면 시간이 가장 짧은 심상 유도 텍스트 정보(11)를 포함할 수 있다. Specifically, the image-inducing text information 11 suitable for the user may include the image-inducing text information 11 in which the user's elevation time is the shortest.
본 발명의 일실시예에 따르면, 심상 유도 정보를 제공하거나 피드백하는 방법에 있어서, 심상 유도 정보를 생성하는 장치(100a)가 사용자에게 심상 유도 정보를 더 효과적으로 제공하기 위하여, 사용자에게 선호하는 음향 정보, 시각 정보 및 텍스트 정보에 대한 설문조사 등을 시행한 후, 상기 설문조사를 바탕으로 사용자가 선호하는 소리의 범주를 파악하고, 해당 범주 내에서 심상 유도 음향 정보(13)를 랜덤하게 제공할 수도 있다. According to one embodiment of the present invention, in the method of providing or feeding back imagery inducing information, the device 100a for generating imagery inducing information provides sound information preferred to the user in order to more effectively provide imagery inducing information to the user. After conducting a survey on visual information and text information, the user's preferred sound category can be identified based on the survey, and image-inducing sound information (13) can be randomly provided within that category. there is.
본 발명의 일실시예에 따르면, 심상 유도 정보를 제공하거나 피드백하는 방법에 있어서, 심상 유도 정보를 생성하는 장치(100a)가 사용자에게 심상 유도 정보를 더 효과적으로 제공하기 위하여, 사용자의 인터넷 사용 기록 또는 사용자의 유투브 시청 기록 또는 사용자의 인터넷 쿠키 등을 기초로 하여 사용자가 선호하는 음향 정보, 시각 정보 및 텍스트 정보의 범주를 파악하고, 해당 범주 내에서 심상 유도 정보를 랜덤하게 제공할 수도 있다. According to one embodiment of the present invention, in the method of providing or feeding back image-inducing information, the device 100a for generating image-inducing information is used to provide the user with the image-inducing information more effectively, by using the user's Internet usage record or Based on the user's YouTube viewing history or the user's Internet cookies, the user's preferred categories of sound information, visual information, and text information can be identified, and imagery-inducing information within the corresponding categories can be randomly provided.
본 발명의 일실시예에 따르면, 심상 유도 정보를 제공하거나 피드백하는 방법에 있어서, 심상 유도 정보를 생성하는 장치(100a)가 사용자에게 심상 유도 정보를 더 효과적으로 제공하기 위하여, 사용자의 이전 수면에서 나타난 잠꼬대 등을 기초로 하여 사용자가 선호하는 음향 정보, 시각 정보, 텍스트 정보 및 텍스트 음향 정보의 범주를 파악하고, 해당 범주 내에서 심상 유도 정보를 랜덤하게 제공할 수도 있다. According to one embodiment of the present invention, in the method of providing or feedbacking imagery inducing information, the device 100a for generating imagery inducing information is used to provide imagery inducing information to the user more effectively. Based on sleep talk, etc., the user's preferred categories of sound information, visual information, text information, and text sound information can be identified, and image-inducing information can be randomly provided within those categories.
심상 유도 정보를 생성하고 제공하는 방법은 사용자 모델링과 사용자 모델링에 따른 심상 유도 정보의 제공을 포함한다. A method of generating and providing imagery inducing information includes user modeling and providing imagery inducing information according to user modeling.
또한, 사용자 모델링에 따른 심상 유도 정보의 제공으로 인해 얻어진 정보도 사용자 모델링에 사용될 수 있다. Additionally, information obtained by providing imagery induction information according to user modeling can also be used for user modeling.
이하, 사용자 모델링과 사용자 모델링에 따른 심상 유도 정보의 제공에 대해 설명한다.Hereinafter, user modeling and provision of imagery induction information according to user modeling will be described.
정서적 모델링emotional modeling
도 26a는 본 발명에 따른 정서적 모델링의 방법 중 사용자가 스와이프를 하며 어떤 컨텐츠를 체크하는 방식을 설명하기 위한 도면이다. Figure 26a is a diagram for explaining a method in which a user checks certain content by swiping among the emotional modeling methods according to the present invention.
도 26b는 본 발명에 따른 정서적 모델링의 방법 중 사용자가 선호하는 텍스트를 입력받는 방식을 설명하기 위한 도면이다. Figure 26b is a diagram for explaining a method of inputting a user's preferred text among the emotional modeling methods according to the present invention.
도 26c는 본 발명에 따른 정서적 모델링의 방법 중 사용자가 선호하는 컨텐츠에 대한 키워드를 선택하는 방식을 설명하기 위한 도면이다. Figure 26c is a diagram for explaining a method of selecting a keyword for a user's preferred content among the emotional modeling methods according to the present invention.
사용자 모델링은 심상 유도 정보를 생성하고 제공하는 방법에 있어서, 정서적 모델링과 환경 센싱 정보에 의한 수량적인 모델링을 포함할 수 있다. User modeling may include emotional modeling and quantitative modeling using environmental sensing information in the method of generating and providing image-inducing information.
정서적 모델링은 사용자가 좋은 기억을 가지고 있는 상황 혹은 사용자가 편안함을 느끼는 상황에 대한 모델링을 포함할 수 있다. Affective modeling may include modeling situations for which the user has good memories or situations in which the user feels comfortable.
본 발명의 일 실시 형태에 따른, 정서적 모델링 방법은 사용자와 관련된 정보를 준비하는 정보 준비 단계; 상기 준비된 정보에 기초하여 사용자의 피처를 추출하는 추출 단계; 및 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 생성 단계;를 포함할 수 있다. According to an embodiment of the present invention, an emotional modeling method includes an information preparation step of preparing information related to a user; An extraction step of extracting user features based on the prepared information; and a generation step of generating feature-based imagery induction information based on the extracted user features.
구체적으로, 사용자와 관련된 정보는 사용자로부터 입력받을 수 있으며, 이에 따라, 심상 유도 정보 생성 및 제공 방법은 입력 단계;를 더 포함할 수 있다. Specifically, information related to the user may be input from the user, and accordingly, the method of generating and providing imagery inducing information may further include an input step.
본 발명의 일 실시 형태에 따른, 입력 단계에서 사용자로부터 입력받는 사용자와 관련된 정보는 스와이프 방식으로 선택된 컨텐츠; 사용자로부터 입력된 텍스트; 및 제시된 키워드 중 사용자로부터 선택된 키워드; 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있다. According to an embodiment of the present invention, user-related information received from the user in the input step includes content selected by a swipe method; Text input from the user; and keywords selected by the user among the presented keywords; It may be any one or more of these, or a combination of two or more of them.
본 발명의 일 실시 형태에 따른, 정서적 모델링 장치는 사용자와 관련된 정보가 기록된 메모리(610); 상기 기록된 정보에 기초하여 사용자의 피처를 추출하는 프로세서(630);를 포함하고, 상기 프로세서(630)는 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성할 수 있다. According to one embodiment of the present invention, an emotional modeling device includes a memory 610 in which information related to a user is recorded; and a processor 630 that extracts user features based on the recorded information, and the processor 630 may generate feature-based imagery guidance information based on the extracted user features.
구체적으로, 사용자와 관련된 정보는 사용자로부터 입력받을 수 있으며, 이에 따라, 심상 유도 정보 생성 및 제공 장치는 사용자로부터 사용자와 관련된 정보를 입력 받는 입력부;를 더 포함할 수 있다. Specifically, information related to the user may be input from the user, and accordingly, the apparatus for generating and providing imagery inducing information may further include an input unit that receives information related to the user from the user.
본 발명의 일 실시 형태에 따른, 입력부에서 사용자로부터 입력받는 사용자와 관련된 정보는 스와이프 방식으로 선택된 컨텐츠; 사용자로부터 입력된 텍스트; 및 제시된 키워드 중 사용자로부터 선택된 키워드; 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있다. According to an embodiment of the present invention, user-related information received from the user in the input unit includes content selected by a swipe method; Text input from the user; and keywords selected by the user among the presented keywords; It may be any one or more of these, or a combination of two or more of them.
본 발명의 일 실시 형태에 따른, 정서적 모델링 장치는 사용자와 관련된 정보가 기록된 메모리(610); 상기 기록된 정보를 서버로 전송하는 수단; 상기 서버가 상기 전송된 정보에 기초하여 사용자의 피처를 추출하면, 상기 추출된 사용자의 피처를 수신하는 수단; 및 상기 수신된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 수단;을 포함할 수 있다. According to one embodiment of the present invention, an emotional modeling device includes a memory 610 in which information related to a user is recorded; means for transmitting the recorded information to a server; When the server extracts the user's features based on the transmitted information, means for receiving the extracted user's features; and means for generating feature-based imagery induction information based on the received user's features.
구체적으로, 사용자와 관련된 정보는 사용자로부터 입력받을 수 있으며, 이에 따라, 심상 유도 정보 생성 및 제공 장치는 사용자로부터 사용자와 관련된 정보를 입력 받는 입력부;를 더 포함할 수 있다. Specifically, information related to the user may be input from the user, and accordingly, the apparatus for generating and providing imagery inducing information may further include an input unit that receives information related to the user from the user.
본 발명의 일 실시 형태에 따른, 입력부에서 사용자로부터 입력받는 사용자와 관련된 정보는 스와이프 방식으로 선택된 컨텐츠; 사용자로부터 입력된 텍스트; 및 제시된 키워드 중 사용자로부터 선택된 키워드; 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있다. According to an embodiment of the present invention, user-related information received from the user in the input unit includes content selected by a swipe method; Text input from the user; and keywords selected by the user among the presented keywords; It may be any one or more of these, or a combination of two or more of them.
본 발명의 일 실시 형태에 따른, 정서적 모델링 장치는 사용자와 관련된 정보가 기록된 메모리(610); 상기 기록된 정보를 서버로 전송하는 수단; 및 상기 서버가 상기 전송된 정보에 기초하여 사용자의 피처를 추출하고, 상기 서버가 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하면, 상기 생성된 피처 기반 심상 유도정보를 수신하는 수단;을 포함할 수 있다. According to one embodiment of the present invention, an emotional modeling device includes a memory 610 in which information related to a user is recorded; means for transmitting the recorded information to a server; And when the server extracts the user's features based on the transmitted information and the server generates feature-based imagery guidance information based on the extracted user's features, receiving the generated feature-based imagery guidance information. It may include means;
본 발명의 일 실시 형태에 따른, 정서적 모델링 장치는 사용자와 관련된 정보가 기록된 메모리(610); 상기 기록된 정보에 기초하여 사용자의 피처를 추출하는 프로세서(630); 상기 추출된 사용자의 피처를 서버로 전송하는 수단; 및 상기 서버가 상기 전송된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하면, 상기 생성된 피처 기반 심상 유도 정보를 수신하는 수단;을 포함할 수 있다. According to one embodiment of the present invention, an emotional modeling device includes a memory 610 in which information related to a user is recorded; a processor 630 that extracts user features based on the recorded information; means for transmitting the extracted user features to a server; and when the server generates feature-based imagery induction information based on the transmitted features of the user, means for receiving the generated feature-based imagery induction information.
본 발명의 일 실시 형태에 따른, 정서적 모델링 서버 장치에 있어서, 상기 심상 유도 정보 생성 및 제공 모델은, 전자 장치의 획득부를 통해 획득된 사용자의 수면 상태 정보 및 전자 장치(600)의 메모리(610)에 기록된 사용자와 관련된 정보에 기초하여 사용자의 피처를 추출하고, 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성할 수 있다. In the emotional modeling server device according to an embodiment of the present invention, the image induction information generation and provision model includes the user's sleep state information acquired through an acquisition unit of the electronic device and the memory 610 of the electronic device 600. The user's features can be extracted based on the information related to the user recorded in and feature-based imagery induction information can be generated based on the extracted user's features.
이하, 사용자로부터 입력받는 사용자와 관련된 정보에 대해 도면을 참조하여 설명한다. Hereinafter, user-related information input from the user will be described with reference to the drawings.
도 26a에 도시된 바와 같이, 사용자 모델링 중 정서적 모델링은 사용자가 컨텐츠를 스와이프 하는 과정에서 사용자가 좋은 기억을 가지고 있는 상황 혹은 사용자가 편안하게 느끼는 상황을 체크하는 방식을 포함할 수 있다. As shown in FIG. 26A, emotional modeling among user modeling may include a method of checking situations in which the user has a good memory or situations in which the user feels comfortable while swiping content.
예를 들어, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 사용자가 해당 컨텐츠에 체류하는 시간이 상대적으로 긴 컨텐츠가 존재하는 경우, 해당 컨텐츠를 사용자가 선호하는 것으로 인식할 수 있다. For example, the device 100a for generating imagery inducing information, the device 200a for providing imagery inducing information, or another device may generate the content when there is content for which the user stays on the content for a relatively long time. It can be recognized as something the user prefers.
도 26b에 도시된 바와 같이, 사용자 모델링 중 정서적 모델링은 사용자에게 텍스트를 통해 사용자가 선호하는 컨텐츠를 입력하는 방식을 포함할 수 있다. As shown in FIG. 26b, affective modeling among user modeling may include a method of inputting the user's preferred content through text.
예를 들어, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치가 사용자에게 "편안함을 느끼는 상황에 대해서 입력하시오" 라고 질문하는 경우, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 사용자가 입력하는 텍스트가 사용자가 좋은 기억을 가지고 있는 상황 혹은 편안하게 느끼는 상황이라고 인식할 수 있다. For example, when the device 100a for generating imagery inducing information, the device 200a for providing imagery inducing information, or another device asks the user, “Enter a situation in which you feel comfortable,” the imagery inducing information is The generating device 100a, the device 200a providing image-inducing information, or another device may recognize that the text input by the user is a situation in which the user has a good memory or a situation in which the user feels comfortable.
도 26c에 도시된 바와 같이, 사용자 모델링 중 정서적 모델링은 사용자가 선호하는 컨텐츠에 대한 키워드를 선택하는 방식을 포함할 수 있다. As shown in FIG. 26C, affective modeling among user modeling may include a method of selecting keywords for content preferred by the user.
예를 들어, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치가 사용자에게 "당신이 흥미로워하는 단어를 선택하시오" 라고 질문하는 경우, 사용자가 "health" 라는 텍스트를 선택한 경우, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 사용자가 선택한 "health"가 사용자가 좋은 기억을 가지고 있는 상황 혹은 편안하게 느끼는 상황이라고 인식할 수 있다. For example, when the device 100a for generating imagery-inducing information, the device 200a for providing imagery-inducing information, or another device asks the user, “Select a word that interests you,” the user asks “health.” When the text "" is selected, the device 100a for generating imagery-inducing information, the device 200a for providing imagery-inducing information, or another device determines whether the "health" selected by the user is a situation in which the user has a good memory or is comfortable. It can be recognized as a feeling situation.
수량적 모델링Quantitative modeling
사용자 모델링은 심상 유도 정보를 생성하고 제공하는 방법에 있어서, 정서적 모델링과 수량적 모델링을 포함할 수 있다. User modeling may include affective modeling and quantitative modeling in the method of generating and providing image-inducing information.
수량적 모델링은 환경 센싱 정보에 기반할 수 있다.Quantitative modeling can be based on environmental sensing information.
수량적 모델링은 사용자의 수면 결과에 기반한 모델링 방식일 수 있다. Quantitative modeling may be a modeling method based on the user's sleep results.
구체적으로, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 특정 심상 유도 정보를 제공하였을 때의 수면의 질을 평가하여, 사용자에게 제공된 특정 심상 유도 정보에 대해 평가할 수 있다. Specifically, the device 100a for generating imagery inducing information or the device 200a for providing imagery inducing information or another device evaluates the quality of sleep when providing specific imagery inducing information and induces the specific imagery provided to the user. Information can be evaluated.
본 발명의 일실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 특정 심상 유도 정보를 제공하였을 때의 수면의 질을 평가하여, 사용자의 수면의 질이 좋지 못한 경우, 특정 심상 유도 정보에 패널티를 부여할 수 있다. According to one embodiment of the present invention, the device 100a for generating imagery inducing information, the device 200a for providing imagery inducing information, or another device evaluates the quality of sleep when providing specific imagery inducing information, If the user's sleep quality is poor, a penalty may be assigned to specific imagery-inducing information.
예를 들어, 특정 심상 유도 정보를 제공한 경우, 사용자의 입면 후 수면 중 깨어날 때까지 걸린 시간(WASO)이 상대적으로 짧거나, 또는 사용자가 수면 중 깨어난 횟수가 상대적으로 많거나 또는 사용자의 깊은 수면이 최초로 나타나는데 까지 걸리는 시간이 상대적으로 긴 경우, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 해당 심상 유도 정보에 패널티를 부여할 수 있다. For example, when specific imagery-inducing information is provided, the time it takes for the user to wake up from sleep (WASO) after hypnosis is relatively short, or the number of times the user wakes up during sleep is relatively high, or the user's deep sleep is relatively low. If the time it takes for sleep to first appear is relatively long, the device 100a for generating image-inducing information, the device 200a for providing image-inducing information, or another device may impose a penalty on the corresponding image-inducing information.
구체적으로, 본 발명의 일실시예에 따르면, 도 25에 도시된 바와 같이, 본 발명의 일실시예에 따라, 심상 유도 텍스트 정보(11)가 '캐나다의 호숫가'라고 사용자 단말(300)의 디스플레이에 나타나면서, 심상 유도 시각 정보(12)가 캐나다의 호숫가를 연상시키는, 예를 들어, 캐나다에 있는 호숫가에 곰이 목을 축이고 있는 이미지가 디스플레이에 나타나면서, 심상 유도 음향 정보(13)가 캐나다의 호숫가를 연상시키는, 예를 들어, 고요한 풀벌레가 우는 음향과 곰이 호숫가에서 목을 축이는 듯한 음향이 사용자에게 들리는 경우, 사용자가 선호하는 남성의 목소리 또는 사용자가 선호하는 여성의 목소리로 "여러분은 지금 캐나다의 호숫가를 걷고 있습니다"라고 말하는 사람의 음성이 들리는 심상 유도 텍스트 음향 정보(14)가 사용자에게 제공될 수 있다. Specifically, according to an embodiment of the present invention, as shown in FIG. 25, according to an embodiment of the present invention, the image-inducing text information 11 is displayed on the user terminal 300 as 'a lakeside in Canada'. As the image-inducing visual information 12 appears on the display, the image-inducing visual information 12 is reminiscent of a lake in Canada, for example, an image of a bear quenching its neck on a lake in Canada appears on the display, and the image-inducing sound information 13 is reminiscent of a lake in Canada. If the user hears a sound reminiscent of a lakeside, for example, a quiet sound of insects crying or a bear quenching its throat at the lakeside, the user's preferred male voice or the user's preferred female voice will be used. Imagery-guided text sound information 14 may be provided to the user, in which a person's voice is heard saying, "You are now walking along a lake in Canada."
또는 심상 유도 음향 정보(13), 심상 유도 텍스트 정보(11), 심상 유도 시각 정보(12)가 변함에 따라서, 심상 유도 텍스트 음향 정보(14)가 시계열적으로 변할 수 있다. Alternatively, as the imagery-inducing sound information 13, imagery-inducing text information 11, and imagery-inducing visual information 12 change, the imagery-inducing text sound information 14 may change in time series.
예를 들어, 상기 상황에 대하여, 20대 남성의 목소리로 "여러분은 지금 캐나다의 호숫가를 걷고 있습니다"라고 말하는 사람의 음성이 들리는 심상 유도 텍스트 음향 정보(14)가 사용자에게 제공된 경우, 사용자의 입면 후 수면 중 깨어날 때까지 걸린 시간(WASO)이 상대적으로 짧거나, 또는 사용자가 수면 중 깨어난 횟수가 상대적으로 많거나 또는 사용자의 깊은 수면이 최초로 나타나는데 까지 걸리는 시간이 상대적으로 긴 경우, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 해당 심상 유도 텍스트 음향 정보에 패널티를 부여할 수 있다. For example, for the above situation, if the image-inducing text sound information 14 is provided to the user, in which the voice of a man in his 20s says, "You are now walking along a lake in Canada," the user's elevation If the time it takes to wake up after sleep (WASO) is relatively short, or the number of times the user wakes up during sleep is relatively high, or the time it takes for the user to first appear in deep sleep is relatively long, imagery induction information The device 100a that generates or the device 200a that provides image-inducing information or another device may impose a penalty on the corresponding image-inducing text sound information.
이와 같은 경우, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 20대 남성의 목소리가 아닌, 20대 여성의 목소리로 "여러분은 지금 캐나다의 호숫가를 걷고 있습니다"라고 말하는 사람의 음성이 들리는 심상 유도 텍스트 음향 정보(14)를 제공할 수 있다. In this case, the device 100a for generating image-inducing information, the device 200a for providing image-inducing information, or another device says, “You are now at a lake in Canada,” in the voice of a woman in her 20s, not in the voice of a man in his 20s. It is possible to provide image-guided text sound information (14) in which a person's voice is heard saying, "I'm walking."
이와 같이, 환경 센싱 정보에 의한 수량적 모델링을 통하여, 사용자가 선호하는 심상 유도 정보를 채택할 수 있으나, 상기 제시된 실시예에 한정되지 않는다. In this way, the user's preferred image inducing information can be adopted through quantitative modeling based on environmental sensing information, but the present invention is not limited to the embodiment presented above.
심상 유도 정보를 생성하고 제공하는 방법은 사용자 모델링과 사용자 모델링에 따른 심상 유도 정보의 제공을 포함한다. A method of generating and providing imagery inducing information includes user modeling and providing imagery inducing information according to user modeling.
구체적으로, 사용자 모델링에 따른 심상 유도 정보를 제공하는 것은 사용자 모델링을 통해 생성된 사용자의 피처(feature)에 기반하여, 제공하려는 컨텐츠의 키워드를 샘플링할 수 있다. Specifically, providing imagery induction information according to user modeling can sample keywords of content to be provided based on user features generated through user modeling.
본 발명의 일실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 샘플링된 키워드를 기반으로 하여 심상 유도 텍스트 정보(11)를 1차적으로 생성할 수 있다. According to one embodiment of the present invention, the device 100a for generating image induction information, the device 200a for providing image induction information, or another device generates image induction text information 11 based on sampled keywords. It can be created sequentially.
이에 따라, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 심상 유도 텍스트 정보(11)를 기초로 이와 매칭되는 심상 유도 음향 정보(13) 또는 심상 유도 시각 정보(12) 또는 심상 유도 텍스트 음향 정보(14)를 생성할 수 있다. Accordingly, the device 100a for generating image induction information or the device 200a for providing image induction information or another device generates image induction sound information 13 or image information based on the image induction text information 11. Guided visual information 12 or image-guided text sound information 14 can be generated.
본 발명의 일실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 샘플링된 키워드를 기반으로 하여 심상 유도 텍스트 정보(11)를 1차적으로 생성할 수 있다. According to one embodiment of the present invention, the device 100a for generating image induction information, the device 200a for providing image induction information, or another device generates image induction text information 11 based on sampled keywords. It can be created sequentially.
예를 들어, 샘플링된 키워드를 기반으로 하여 심상 유도 텍스트 정보(11)를 생성하기 위하여, LLM (Large Language Model)을 활용할 수 있으나, 이에 한정되지 않는다. For example, to generate imagery-inducing text information 11 based on sampled keywords, LLM (Large Language Model) can be used, but the method is not limited to this.
본 발명의 일실시예에 따르면, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치가 제공한 심상 유도 정보를 사용자가 원하지 않는 경우, 심상 유도 정보를 생성하는 장치(100a) 또는 심상 유도 정보를 제공하는 장치(200a) 또는 다른 장치는 사용자의 피처에 기반하여 키워드를 다시 샘플링하는 작업을 반복할 수 있다. According to one embodiment of the present invention, if the user does not want the imagery induction information provided by the device 100a for generating imagery induction information, the device 200a for providing imagery induction information, or another device, the imagery induction information is provided. The generating device 100a, the device 200a providing image guidance information, or another device may repeat the operation of resampling keywords based on the user's features.
본 발명의 일 실시 형태에 따른, 수량적 모델링 방법은 심상 유도 정보를 준비하는 준비 단계; 상기 준비된 심상 유도 정보를 사용자에게 제공하는 준비 정보 제공 단계; 사용자로부터 수면 상태 정보를 획득하는 획득 단계; 사용자에게 상기 제공된 심상 유도 정보 및 사용자로부터 상기 획득된 수면 상태 정보에 기초하여 사용자의 피처를 추출하는 추출 단계; 및 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 생성 단계;를 포함할 수 있다. According to one embodiment of the present invention, the quantitative modeling method includes a preparation step of preparing imagery induction information; A preparation information providing step of providing the prepared image inducing information to a user; An acquisition step of acquiring sleep state information from the user; An extraction step of extracting features of the user based on the image inducing information provided to the user and the sleep state information obtained from the user; and a generation step of generating feature-based imagery induction information based on the extracted user features.
구체적으로, 준비 단계는 룩업 테이블에 기초하여 상기 심상 유도 정보를 준비할 수 있으며, 룩업 테이블에 기초한 심상 유도 정보는 준비된 심상 유도 음향 정보, 준비된 심상 유도 시각 정보, 준비된 심상 유도 텍스트 정보 및 준비된 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있다. Specifically, the preparation step may prepare the imagery inducing information based on a lookup table, and the imagery inducing information based on the lookup table may include prepared imagery inducing sound information, prepared imagery inducing visual information, prepared imagery inducing text information, and prepared imagery inducing information. It may be one or more of text sound information, or a combination of two or more of them.
또한, 룩업 테이블에 기초한 심상 유도 정보는 심상 유도 시나리오를 갖는 준비된 시계열적 심상 유도 음향 정보, 준비된 시계열적 심상 유도 시각 정보, 준비된 시계열적 심상 유도 텍스트 음향 정보 및 준비된 시계열적 심상 유도 텍스트 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있다. In addition, the image induction information based on the lookup table is any one of prepared time series image induction sound information with an image induction scenario, prepared time series image induction visual information, prepared time series image induction text sound information, and prepared time series image induction text information. It may be more than one, or a combination of two or more of them.
또한, 다른 실시 형태에 의하면, 준비 단계는 피처 기반 심상 유도 정보에 기초하여 심상 유도 정보를 준비하는 단계일 수 있다. Additionally, according to another embodiment, the preparation step may be a step of preparing imagery inducing information based on feature-based imagery inducing information.
피처 기반 심상 유도 정보는 추출된 사용자의 피처에 기초하여 생성된 심상 유도 정보를 의미하며, 이를 이용하여 매 회의 준비 단계를 새로운 피처 기반 심상 유도 정보에 기초하여 반복하여 수행할 수 있다. Feature-based imagery induction information refers to imagery induction information generated based on extracted user features, and using this, the preparation step for each meeting can be repeatedly performed based on new feature-based imagery induction information.
이에 따라, 생성된 피처 기반 심상 유도 정보를 사용자에게 제공하는 생성 정보 제공 단계를 더 포함할 수 있다. Accordingly, a generation information provision step of providing the generated feature-based image induction information to the user may be further included.
상기 생성 정보 제공 단계는 피처 기반 심상 유도 음향 정보, 피처 기반 심상 유도 시각 정보, 피처 기반 심상 유도 텍스트 정보 및 피처 기반 심상 유도 텍스트 음향 정보 중 어느 하나 이상을 제공하거나, 또는 이들 중 둘 이상의 결합을 제공할 수 있다. The generation information providing step provides at least one of feature-based imagery-inducing sound information, feature-based imagery-inducing visual information, feature-based imagery-inducing text information, and feature-based imagery-inducing text sound information, or provides a combination of two or more of these. can do.
상기　생성 정보 제공 단계는 심상 유도 시나리오를 갖는 피처 기반 시계열적 심상 유도 음향 정보, 피처 기반 시계열적 심상 유도 시각 정보, 피처 기반 시계열적 심상 유도 텍스트 음향 정보 및 피처 기반 시계열적 심상 유도 텍스트 정보 중 어느 하나 이상을 제공하거나, 또는 이들 중 둘 이상의 결합을 제공할 수 있다. The generation information provision step is any one of feature-based time-series image-inducing sound information with an image-inducing scenario, feature-based time-series image-inducing visual information, feature-based time-series image-inducing text sound information, and feature-based time-series image-inducing text information. More than one may be provided, or a combination of two or more of them may be provided.
본 발명의 일 실시 형태에 따르면, 심상 유도 정보가 기록된 메모리(610); 상기 기록된 심상 유도 정보를 출력하는 출력부(620); 사용자로부터 수면 상태 정보를 획득하는 획득부(640); 및 상기 출력된 심상 유도 정보 및 상기 획득된 수면 상태 정보에 기초하여 사용자의 피처를 추출하는 프로세서(630);를 포함하고, 상기 프로세서(630)는 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성할 수 있다. According to one embodiment of the present invention, a memory 610 in which image inducing information is recorded; An output unit 620 that outputs the recorded image guidance information; An acquisition unit 640 that acquires sleep state information from the user; and a processor 630 that extracts user features based on the output image induction information and the acquired sleep state information, wherein the processor 630 generates feature-based imagery based on the extracted user features. Derived information can be generated.
구체적으로, 상기 획득부(640)는 다른 전자 장치에서 사용자로부터 수면 상태 정보를 획득하면, 상기 획득된 수면 상태 정보를 상기 다른 전자 장치로부터 수신받을 수 있다. Specifically, when the acquisition unit 640 obtains sleep state information from a user in another electronic device, it can receive the obtained sleep state information from the other electronic device.
구체적으로, 메모리(610)에 기록된 심상 유도 정보는 룩업 테이블에 기초할 수 있으며, 룩업 테이블에 기초한 심상 유도 정보는 준비된 심상 유도 음향 정보, 준비된 심상 유도 시각 정보, 준비된 심상 유도 텍스트 정보 및 준비된 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있다. Specifically, the image inducing information recorded in the memory 610 may be based on a lookup table, and the image inducing information based on the lookup table includes prepared image inducing sound information, prepared image inducing visual information, prepared image inducing text information, and prepared imagery. It may be any one or more of the derived text sound information, or a combination of two or more of them.
또한, 룩업 테이블에 기초한 심상 유도 정보는 심상 유도 시나리오를 갖는 준비된 시계열적 심상 유도 음향 정보, 준비된 시계열적 심상 유도 시각 정보, 준비된 시계열적 심상 유도 텍스트 음향 정보 및 준비된 시계열적 심상 유도 텍스트 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있다. In addition, the image induction information based on the lookup table is any one of prepared time series image induction sound information with an image induction scenario, prepared time series image induction visual information, prepared time series image induction text sound information, and prepared time series image induction text information. It may be more than one, or a combination of two or more of them.
또한, 다른 실시 형태에 의하면, 기록된 심상 유도 정보는 피처 기반 심상 유도 정보에 기초한 심상 유도 정보일 수 있다. Additionally, according to another embodiment, the recorded imagery inducing information may be imagery inducing information based on feature-based imagery inducing information.
피처 기반 심상 유도 정보는 추출된 사용자의 피처에 기초하여 생성된 심상 유도 정보를 의미하며, 이를 이용하여 매 회의 준비 단계를 새로운 피처 기반 심상 유도 정보에 기초하여 반복하여 수행할 수 있다. Feature-based imagery induction information refers to imagery induction information generated based on extracted user features, and using this, the preparation step for each meeting can be repeatedly performed based on new feature-based imagery induction information.
이에 따라, 생성된 피처 기반 심상 유도 정보를 사용자에게 출력하는 출력부(620)를 더 포함할 수 있다. Accordingly, it may further include an output unit 620 that outputs the generated feature-based image guidance information to the user.
상기 출력(620)부에서 출력되는 피처 기반 심상 유도 정보는 피처 기반 심상 유도 음향 정보, 피처 기반 심상 유도 시각 정보, 피처 기반 심상 유도 텍스트 정보 및 피처 기반 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있다. The feature-based imagery inducing information output from the output unit 620 is one or more of feature-based imagery inducing sound information, feature-based imagery inducing visual information, feature-based imagery inducing text information, and feature-based imagery inducing text sound information, or It may be a combination of two or more of these.
상기　출력부(620)에서 출력되는 피처 기반 심상 유도 정보는 심상 유도 시나리오를 갖는 피처 기반 시계열적 심상 유도 음향 정보, 피처 기반 시계열적 심상 유도 시각 정보, 피처 기반 시계열적 심상 유도 텍스트 음향 정보 및 피처 기반 시계열적 심상 유도 텍스트 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합일 수 있다. The feature-based imagery inducing information output from the output unit 620 includes feature-based time-series imagery-inducing sound information with an imagery-inducing scenario, feature-based time-series imagery-inducing visual information, feature-based time-series imagery inducing text sound information, and feature-based It may be one or more of the time-series image-inducing text information, or a combination of two or more of them.
슬립이미지 또는 슬립동영상 생성 및 제공 방법How to create and provide a slip image or slip video
이하에서는, 도 1i 내지 도 2f에 도시된 컴퓨팅 장치(100), 외부 단말(200) 및 사용자 단말(300)을 통해, 본 발명의 실시 형태에 따른 슬립이미지 또는 슬립동영상 생성 및 제공 방법을 구체적으로 설명하도록 한다.Hereinafter, a method for generating and providing a sleep image or sleep video according to an embodiment of the present invention will be described in detail through the computing device 100, external terminal 200, and user terminal 300 shown in FIGS. 1I to 2F. Let me explain.
도 1i 내지 도 2f를 참조하면, 사용자(U)는 사용자 단말(300)로 최근 수면에 대한 기분, 느낌 혹은 꿈에 대한 기억을 텍스트로서 입력하고, 사용자 단말(300)로부터 상기 텍스트에 대응하는 슬립이미지, 슬립동영상, 사진, 밑그림 중 적어도 하나 이상을 제공받을 수 있다. 여기서, 사용자(U)는 상기 슬립이미지, 슬립동영상, 사진, 밑그림 중 적어도 하나 이상을 컴퓨팅 장치(100)를 통해서도 제공받을 수 있다.Referring to FIGS. 1i to 2f, the user (U) inputs a recent sleep mood, feeling, or memory of a dream as text into the user terminal 300, and receives a sleep message corresponding to the text from the user terminal 300. You can receive at least one of images, slip videos, photos, and sketches. Here, the user (U) can receive at least one of the sleep image, sleep video, photo, and sketch through the computing device 100.
상기 텍스트는, 적어도 하나 이상의 단어, 문장, 또는 키워드, 혹은 이들의 조합일 수 있고, 사용자 단말(300)의 입력부(320)를 통해 사용자 단말(300)로 입력될 수 있다. The text may be at least one word, sentence, or keyword, or a combination thereof, and may be input into the user terminal 300 through the input unit 320 of the user terminal 300.
상기 슬립이미지는, 사용자 단말(300)의 출력부(350)를 통해 표시될 수 있다. 예를 들어, 사용자 단말(300)의 디스플레이부(352)에 디스플레이될 수 있다. The sleep image may be displayed through the output unit 350 of the user terminal 300. For example, it may be displayed on the display unit 352 of the user terminal 300.
상기 슬립이미지는 외부 단말(200)에서 생성될 수 있다. 사용자 단말(300)로 입력된 텍스트를 포함한 텍스트 정보가 네트워크를 통해 외부 단말(200)로 전송될 수 있고, 외부 단말(200)에서는 상기 텍스트에 대응되는 슬립이미지가 생성될 수 있다. 생성된 슬립이미지는 네트워크를 통해 사용자 단말(300)로 전송될 수 있다. The sleep image may be generated in the external terminal 200. Text information, including text input to the user terminal 300, may be transmitted to the external terminal 200 through a network, and a sleep image corresponding to the text may be generated in the external terminal 200. The generated sleep image may be transmitted to the user terminal 300 through a network.
외부 단말(200)은 사용자 단말(300)로부터 수신된 사용자(U)의 수면에 대한 텍스트에 대응되는 슬립이미지를 생성할 수 있다. 상기 슬립이미지는 외부 단말(200)에 미리 학습된 학습 모델을 통해 출력될 수 있다. 상기 학습 모델은 상기 텍스트를 입력으로 하고, 상기 슬립이미지를 출력하는 딥러닝 모델일 수 있다.The external terminal 200 may generate a sleep image corresponding to the text about the user U's sleep received from the user terminal 300. The sleep image may be output to the external terminal 200 through a pre-trained learning model. The learning model may be a deep learning model that takes the text as input and outputs the slip image.
외부 단말(200)의 통신 모듈(270)은 AI 프로세서(215)에 의한 AI 프로세싱 결과인, 상기 슬립이미지를 사용자 단말(300)로 전송할 수 있다. 또한, 도 1i에 도시된 컴퓨팅 장치(100)로도 전송할 수 있다. 컴퓨팅 장치(100)는 도 1i에서 도시한 네트워크를 통해 상기 슬립이미지를 수신하고, 수신된 슬립이미지를 컴퓨팅 장치(100)의 출력 장치(130)를 통해 디스플레이할 수 있다.The communication module 270 of the external terminal 200 may transmit the sleep image, which is a result of AI processing by the AI processor 215, to the user terminal 300. Additionally, it can also be transmitted to the computing device 100 shown in FIG. 1I. The computing device 100 may receive the sleep image through the network shown in FIG. 1I and display the received sleep image through the output device 130 of the computing device 100.
일 실시예에 따른 슬립이미지 생성 및 제공 방법의 순서도 (도 27)Flowchart of a method for generating and providing a sleep image according to an embodiment (FIG. 27)
도 27는 본 발명의 실시 형태에 따른 슬립이미지 생성 및 제공 방법의 일 예를 설명하기 위한 순서도이고, 도 28 내지 도 35은 도 27의 순서도가 사용자 단말(300)에서 구체적으로 구현된 실제 예시 화면들이다.FIG. 27 is a flowchart for explaining an example of a method for generating and providing a sleep image according to an embodiment of the present invention, and FIGS. 28 to 35 are actual example screens in which the flowchart of FIG. 27 is specifically implemented in the user terminal 300. admit.
도 27 내지 도 35을 참조하면, 본 발명의 실시 형태에 따른 슬립이미지 생성 및 제공 방법의 일 예는 다수의 후보 선택지들을 제공하는 단계(S501), 후보 선택지가 선택되었는지 여부를 판별하는 단계(S502), 예시 이미지를 제공하는 단계(S503), 텍스트 입력창을 제공하는 단계(S504), 텍스트가 입력되었는지 여부를 판별하는 단계(S505), 슬립이미지를 생성하는 단계(S506), 슬립이미지를 제공하는 단계(S507)를 포함할 수 있다. 또한, 슬립리포트를 생성하는 단계(S508) 및 슬립리포트를 제공하는 단계(S509)를 더 포함할 수 있다. 이하 각 단계를 설명한다.Referring to FIGS. 27 to 35, an example of a method for generating and providing a sleep image according to an embodiment of the present invention includes providing a plurality of candidate options (S501) and determining whether a candidate option has been selected (S502). ), providing an example image (S503), providing a text input window (S504), determining whether text has been entered (S505), generating a slip image (S506), providing a slip image It may include a step (S507). In addition, a step of generating a sleep report (S508) and a step of providing a sleep report (S509) may be further included. Each step is explained below.
다수의 후보 선택지들을 제공하는 단계(S501)는, 도 28에 도시된 바와 같이, 디스플레이 화면(301)에 다수의 후보 선택지들(60)을 제공하는 단계이다. 디스플레이 화면(301)은 도 2f에 도시된 사용자 단말(300)의 디스플레이부(351)를 통해 표시되는 화면으로서, 사용자의 수면을 관리하는 소정의 어플리케이션에 의해 실행되어 표시된 것일 수 있다. 다수의 후보 선택지들(60)은 사용자의 지난 밤의 수면 기분에 대응되는 선택지들로서, 미리 설정된 선택지들일 수 있다. 예를 들어, 다수의 후보 선택지들(60)은, '잘 잤어요', '무난해요', 및 '잘 못 잤어요' 의 선택지들을 포함할 수 있다. The step of providing a plurality of candidate options (S501) is a step of providing a plurality of candidate options 60 on the display screen 301, as shown in FIG. 28. The display screen 301 is a screen displayed through the display unit 351 of the user terminal 300 shown in FIG. 2F, and may be displayed by running a predetermined application that manages the user's sleep. The plurality of candidate options 60 are options corresponding to the user's sleeping mood last night and may be preset options. For example, the plurality of candidate options 60 may include the options 'I slept well', 'I slept well', and 'I slept poorly'.
후보 선택지가 선택되었는지 여부를 판별하는 단계(S502)는, 도 29에 도시된 바와 같이, 사용자가 다수의 후보 선택지들(60) 중 적어도 어느 하나의 선택지(61)를 선택하였는지를 판별한다. 사용자는 도 2f에 도시된 사용자 단말(300)의 디스플레이부(351) 또는 사용자 입력부(323)을 통해, 디스플레이 화면(301)에 제시된 다수의 후보 선택지들(60) 중 적어도 어느 하나의 선택지(61)를 선택할 수 있다. 적어도 어느 하나의 선택지(61)가 선택되면, 사용자 단말은 선택된 선택지(61)만을 디스플레이 화면(301)에 표시할 수 있다.In the step of determining whether a candidate option has been selected (S502), as shown in FIG. 29, it is determined whether the user has selected at least one option 61 among a plurality of candidate options 60. The user selects at least one option 61 among a plurality of candidate options 60 presented on the display screen 301 through the display unit 351 or the user input unit 323 of the user terminal 300 shown in FIG. 2F. ) can be selected. When at least one option 61 is selected, the user terminal can display only the selected option 61 on the display screen 301.
예시 이미지를 제공하는 단계(S503)는, 도 30 내지 도 31에 도시된 바와 같이, 디스플레이 화면(301)에 예시 이미지(63)을 제공한다. 예시 이미지(63)은 추후에 사용자에게 제공할 또는 이미 다른 사용자들에게 제공되었던 슬립이미지의 일종일 수 있다. 혹은, 예시 이미지(63)는 선택된 선택지(61)에 대응하는 이미지일 수 있다. 여기서, 도 31는 선택된 선택지(61)가 최종적으로 확정되었음을 보여주는 도면으로서, 생략될 수 있다. In the step of providing an example image (S503), as shown in FIGS. 30 and 31, an example image 63 is provided on the display screen 301. The example image 63 may be a type of slip image that will be provided to the user in the future or has already been provided to other users. Alternatively, the example image 63 may be an image corresponding to the selected option 61. Here, FIG. 31 is a diagram showing that the selected option 61 has been finally confirmed, and may be omitted.
한편, S502 단계에서, 사용자는 다수의 후보 선택지들(60) 중 어느 것도 선택하지 않을 수 있다. 예를 들어, 도 28에 도시된 바와 같이, 사용자는 '건너뛰기(70)'를 선택하여, 다수의 후보 선택지들(60) 중 어느 것도 선택하지 않을 수 있다. 이 경우, S505 단계가 다음으로 수행될 수 있다.Meanwhile, in step S502, the user may not select any of the multiple candidate options 60. For example, as shown in FIG. 28, the user may select 'Skip 70' and not select any of the multiple candidate options 60. In this case, step S505 may be performed next.
텍스트 입력창을 제공하는 단계(S504)는, 도 32에 도시된 바와 같이, 디스플레이 화면(301)에 사용자의 지난 밤의 수면에 대한 느낌이나 꿈에 대한 설명을 기입할 수 있는 텍스트 입력창(80)을 제공한다. As shown in FIG. 32, the step of providing a text input window (S504) includes a text input window 80 in which the user can enter a description of his or her feelings about last night's sleep or a dream on the display screen 301. ) is provided.
텍스트 입력창(80)에는 텍스트 입력창(80)을 기입하는 방법이나 예시 단어나 예시 문장이 제시될 수 있다. 이를 통해 사용자에게 텍스트 입력창(80)의 사용법을 인지시킬 수 있다.In the text input window 80, methods for filling in the text input window 80, example words, or example sentences may be presented. Through this, the user can be made aware of how to use the text input window 80.
텍스트 입력창(80)은 예시 이미지(63)의 일부와 겹쳐지도록 제공될 수 있다. The text input window 80 may be provided to overlap a portion of the example image 63.
텍스트 입력창(80)의 위에 S502 단계에서 선택된 선택지(61)가 함께 제공될 수 있으나, 선택지가 선택되지 않았으면 이는 제공되지 않을 수 있다.The option 61 selected in step S502 may be provided on top of the text input window 80, but if the option is not selected, it may not be provided.
디스플레이 화면(301)에는 텍스트 입력창(80)에 텍스트를 기입하기 위한 가상 키보드(85)가 함께 제공될 수 있다. The display screen 301 may be provided with a virtual keyboard 85 for writing text in the text input window 80.
텍스트가 입력되었는지 여부를 판별하는 단계(S505)는, 도 33 내지 도 34에 도시된 바와 같이, 사용자에 의해 텍스트 입력창(80)에 소정 글자수 이상의 텍스트가 기입하고, 가상의 '확인' 버튼(89)이 선택됨으로서 판별될 수 있다. 여기서, 도 34는 텍스트 입력창(80)에 입력된 소정의 텍스트가 최종적으로 확정되었음을 보여주는 도면으로서, 생략될 수 있다.In the step of determining whether text has been entered (S505), as shown in FIGS. 33 and 34, the user enters text of a predetermined number of characters or more in the text input window 80 and presses a virtual 'Confirm' button. It can be determined that (89) is selected. Here, FIG. 34 is a diagram showing that a certain text input into the text input window 80 has been finally confirmed, and may be omitted.
S505 단계에서 텍스트가 텍스트 입력창(80)에 입력되면, 입력된 텍스트에 대응되는 슬립이미지를 생성하는 단계(S506)가 수행된다. 슬립이미지를 생성하는 과정은 도 35 내지 도 36를 참조하여 후술한다.When text is input into the text input window 80 in step S505, a step of generating a sleep image corresponding to the input text is performed (S506). The process of generating a slip image will be described later with reference to FIGS. 35 and 36.
이하에서는 S506 단계에서 슬립이미지를 생성하는 과정을 도 35 내지 도 36를 참조하여 상세히 설명한다.Hereinafter, the process of generating a sleep image in step S506 will be described in detail with reference to FIGS. 35 and 36.
S505 단계에서 텍스트가 텍스트 입력창(80)에 입력되면, 도 35에 도시된 바와 같이, 디스플레이 화면(301)에 슬립이미지가 생성 중임을 알리는 알림문구(90)가 표시될 수 있다. 또한, 디스플레이 화면(301)에 다른 사용자에 의해 생성된 하나 이상의 슬립이미지(91)가 함께 표시될 수 있다. 다른 사용자에 의해 생성된 슬립 이미지는, '좋아요'가 많이 눌러진 슬립이미지, 최근에 만들어진 슬립이미지들일 수 있다.When text is entered into the text input window 80 in step S505, as shown in FIG. 35, a notification message 90 notifying that a sleep image is being created may be displayed on the display screen 301. Additionally, one or more sleep images 91 created by other users may be displayed on the display screen 301. Sleep images created by other users may be sleep images with a lot of ‘likes’ or recently created sleep images.
S505 단계에서 텍스트가 텍스트 입력창(80)에 입력되면, 사용자 단말(300)은 외부 단말(200)로 상기 텍스트를 전송하고, 외부 단말(200)에게 상기 텍스트에 대응하는 슬립이미지를 요청할 수 있다.When text is entered into the text input window 80 in step S505, the user terminal 300 may transmit the text to the external terminal 200 and request a sleep image corresponding to the text from the external terminal 200. .
상기 슬립이미지는 도 1i 및 도 2e에 도시된 외부 단말(200)에서 생성될 수 있다. 외부 단말(200)은 사용자 단말(300)로 입력된 텍스트를 수신하고, 상기 텍스트를 학습 모델(221)에 입력시키고, 상기 학습 모델(221)로부터 출력되는 슬립이미지를 사용자 단말(300)로 전송할 수 있다. 상기 학습 모델(221)은 외부 단말(200)의 메모리(220)에 저장된 것으로서, 상기 학습 모델(221)은 신경망 모델이 미리 구축된 학습 데이터 셋트로 기계학습된 것일 수 있다. 여기서, 학습 데이터 셋트는 입력 데이터로서의 복수의 텍스트들 및 출력 데이터로서의 복수의 슬립이미지를 포함하는 것일 수 있다.The sleep image may be generated in the external terminal 200 shown in FIGS. 1I and 2E. The external terminal 200 receives the text input to the user terminal 300, inputs the text to the learning model 221, and transmits the sleep image output from the learning model 221 to the user terminal 300. You can. The learning model 221 is stored in the memory 220 of the external terminal 200, and the learning model 221 may be machine-learned using a learning data set in which a neural network model has been previously constructed. Here, the learning data set may include a plurality of texts as input data and a plurality of slip images as output data.
외부 단말(200)에서 슬립이미지가 생성되면, 외부 단말(200)은 생성된 슬립이미지를 사용자 단말(300)로 전송하고, 사용자 단말(300)은, 도 36에 도시된 바와 같이, 수신된 슬립이미지(95)를 디스플레이 화면(301)에 출력할 수 있다(S507).When a sleep image is generated in the external terminal 200, the external terminal 200 transmits the generated sleep image to the user terminal 300, and the user terminal 300, as shown in FIG. 36, receives the sleep image. The image 95 can be output to the display screen 301 (S507).
정량적인 지표에 기초하여 생성Generated based on quantitative indicators
한편, 외부 단말(200)은 상기 슬립이미지를 상기 텍스트와 사용자의 수면에 대한 정량적인 지표에 기초하여 생성할 수 있다. Meanwhile, the external terminal 200 may generate the sleep image based on the text and a quantitative indicator of the user's sleep.
상기 정량적인 지표는, 아래 <표 1>과 같이, 주관적 수면 평가, 수면 효율, 깊은 수면 비율, 렘 수면 비율, 수면 시간, 입면 시간, 자다깬 횟수 중 적어도 하나 이상을 포함할 수 있다. The quantitative indicator may include at least one of subjective sleep evaluation, sleep efficiency, deep sleep rate, REM sleep rate, sleep time, bedtime, and number of awakenings, as shown in <Table 1> below.
주관적 수면 평가Subjective sleep assessment 깊은 수면deep sleep 렘 수면REM sleep 수면 시간sleep time 입면 시간elevation time 깸Wake up
좋음good 15~30%15-30% 15~25%15-25% 6~8시간6-8 hours 0~10분0~10 minutes 0~2회0~2 times
보통commonly 5~10%5-10% 10~15%10-15% 4~6시간4-6 hours 10~20분10-20 minutes 2~5회2~5 times
나쁨bad 0~5%0~5% 0~10%0~10% 0~4시간0~4 hours 20분 이상20 minutes or more 5회 이상5 or more times
상기 정량적인 지표는, 사용자의 수면 중에 사용자 단말(300)에서 측정된 환경 센싱 정보에 기초하여 분류되고 측정된 것일 수 있다. The quantitative indicator may be classified and measured based on environmental sensing information measured by the user terminal 300 while the user is sleeping.
외부 단말(200)은 상기 정량적인 지표를 종합하여 사용자의 수면에 대한 수면 점수를 연산할 수 있다. 예를 들어, 위 <표 1>의 각 지표들의 범위에 따라 점수를 매기고, 모든 지표들의 점수를 모두 합산하여 상기 수면 점수를 도출할 수 있다. The external terminal 200 may calculate a sleep score for the user's sleep by combining the quantitative indicators. For example, the sleep score can be derived by assigning scores according to the range of each indicator in <Table 1> above and adding up the scores of all indicators.
외부 단말(200)은 학습 모델(221)에서 출력된 슬립이미지의 그림 스타일 또는/및 컬러를 상기 수면 점수에 따라 달라지도록 변경할 수 있다. 예를 들어, 도 37의 (a)에 도시된 바와 같이, 도출된 수면 점수가 '좋음'에 해당하는 제1 기준값보다 큰 경우, 상기 슬립이미지의 컬러를 활발한(vivid) 컬러로 변경하거나, 상기 슬립이미지의 그림 스타일을 만화나 사진 스타일로 변경할 수 있다. 또한, 도 37의 (b)에 도시된 바와 같이, 도출된 수면 점수가 상기 제1 기준값보다 낮고, '보통'에 해당하는 제2 기준값보다 큰 경우, 상기 슬립이미지의 컬러를 파스텔(pastel) 컬러로 변경하거나, 상기 슬립이미지의 그림 스타일을 꿈을 꾸는 듯한(dreamy) 스타일 또는 풍경화(landscape) 스타일로 변경할 수 있다. 또한, 도 37의 (c)에 도시된 바와 같이, 도출된 수면 점수가 상기 제2 기준값보다 낮은 경우, 상기 슬립이미지의 컬러를 흑백(black and white) 컬러로 변경하거나, 상기 슬립이미지의 그림 스타일을 연필(pencil), 스탠실(stencil), 또는 기하학(geometry) 스타일로 변경할 수 있다.The external terminal 200 may change the picture style and/or color of the sleep image output from the learning model 221 to vary depending on the sleep score. For example, as shown in (a) of FIG. 37, when the derived sleep score is greater than the first reference value corresponding to 'good', the color of the sleep image is changed to a vivid color, or the You can change the drawing style of the slip image to a cartoon or photo style. In addition, as shown in (b) of FIG. 37, when the derived sleep score is lower than the first reference value and greater than the second reference value corresponding to 'normal', the color of the sleep image is changed to a pastel color. Alternatively, the picture style of the slip image can be changed to a dreamy style or a landscape style. In addition, as shown in (c) of FIG. 37, when the derived sleep score is lower than the second reference value, the color of the sleep image is changed to black and white, or the picture style of the sleep image is changed to black and white. You can change the style to pencil, stencil, or geometry.
한편, 상기 슬립이미지는 상기 정량적인 지표만에 기초하여 생성될 수도 있다. 상기 슬립이미지는 외부 단말(200) 또는 사용자 단말(300)에서 생성될 수 있다. 생성 방법은, 상기 정량적인 지표들을 종합하여 지난 밤의 수면 점수를 생성하는 알고리즘을 이용할 수 있다. 예를 들어, 위 <표 1>의 정량적인 지표들 중에서 5개 이상이 '좋음'이면 좋은 그림 스타일이 슬립이미지로 맵핑되고, 3개 이상이면 보통 그림 스타일이 슬립이미지로 맵핑되고, 3개 미만이면 나쁨 그림 스타일이 슬립이미지로 맵핑되는 룩업 테이블 방식일 수 있다. 여기서, 상기 정량적인 지표들의 조합이나 각 지표들의 가중치에 따라, 그림 스타일이나 실제 그림의 내용이 달라질 수 있다. Meanwhile, the slip image may be generated based only on the quantitative indicator. The sleep image may be generated in the external terminal 200 or the user terminal 300. The generation method may use an algorithm that generates last night's sleep score by combining the above quantitative indicators. For example, among the quantitative indicators in <Table 1> above, if 5 or more are 'good', a good drawing style is mapped to a slip image, if 3 or more are 'good', an average drawing style is mapped to a slip image, and if less than 3 are 'good', the good drawing style is mapped to a slip image. If so, it may be a lookup table method in which the bad picture style is mapped to the slip image. Here, depending on the combination of the quantitative indicators or the weight of each indicator, the picture style or actual content of the picture may vary.
여기서, 상기 정량적인 지표만으로 슬립이미지가 생성되는 경우, 생성된 슬립이미지가 사용자의 수면에 대한 기분과 맵핑되지 않을 가능성이 다소 존재할 수 있다. 이러한 가능성을 낮추기 위해, 해당 사용자가 이전에 텍스트 입력창을 통해 입력했던 텍스트 히스토리를 참고하여 슬립이미지를 생성할 수도 있다. 이렇게 슬립이미지를 생성하게 되면, 해당 사용자의 수면에 대한 기분과 더 맵핑되는 슬립이미지를 얻을 수 있다.Here, when a sleep image is generated only with the quantitative indicator, there may be a possibility that the generated sleep image is not mapped to the user's mood about sleep. To reduce this possibility, a slip image can be created by referring to the text history that the user previously entered through the text input window. By creating a sleep image in this way, you can obtain a sleep image that better maps to the user's mood while sleeping.
정량적인 지표와 슬립이미지에 기초한 학습Learning based on quantitative indicators and slip images
외부 단말(200)에 다수의 사용자들의 슬립이미지가 많이 축적되면, 어떤 특정한 수면의 정량적인 지표를 가졌던 사용자는 그에 대응되는 소정의 슬립이미지가 생성되는 관계가 계속 매핑될 수 있다. 따라서, 다수의 사용자들의 슬립이미지가 축적되면, 다수의 사용자들의 정량적인 지표와 슬립이미지를 학습 데이터로 구성하여, 별도의 인공지능 모델을 학습시킬 수 있다. 이렇게 학습된 별도의 학습 모델은 정량적인 지표를 입력받아 소정의 슬립이미지를 출력할 수 있다. 즉, 외부 단말(200)은 상기 정량적인 지표들만을 이용하여, 사용자의 슬립이미지를 생성할 수도 있다.When a large number of sleep images of multiple users are accumulated in the external terminal 200, a relationship in which a corresponding sleep image is generated for a user who has a specific quantitative indicator of sleep can be continuously mapped. Therefore, when sleep images of multiple users are accumulated, quantitative indicators and sleep images of multiple users can be configured as learning data to train a separate artificial intelligence model. A separate learning model learned in this way can receive quantitative indicators as input and output a certain slip image. That is, the external terminal 200 may generate a user's sleep image using only the quantitative indicators.
다시, 도 27를 참조하여, S507 단계의 슬립이미지의 제공 단계를 설명한다.Again, referring to FIG. 27, the sleep image provision step in step S507 will be described.
S507 단계는, 도 36에 도시된 바와 같이, 사용자 단말(300)의 디스플레이 화면(301)에 슬립이미지(95)를 표시하는 것일 수 있다. 디스플레이 화면(301)에 표시되는 슬립이미지는 이에 한정되지 않는다. 도 38 내지 도 40을 참조하여 다른 실시 예들에 따른 슬립이미지들을 설명한다.In step S507, as shown in FIG. 36, a sleep image 95 may be displayed on the display screen 301 of the user terminal 300. The sleep image displayed on the display screen 301 is not limited to this. Sleep images according to different embodiments will be described with reference to FIGS. 38 to 40.
도 38을 참조하면, 다른 실시 예에 따른 슬립이미지(95')는 디스플레이 화면(301) 전체에 표시되고, 상기 슬립이미지(95')에는 한줄평(One sentence comment, 96) 또는/및 정량적인 지표(97)이 더 포함될 수 있다. Referring to FIG. 38, a sleep image 95' according to another embodiment is displayed on the entire display screen 301, and the sleep image 95' includes a one-line comment (96) or/and a quantitative indicator. (97) may be further included.
상기 한줄평(96)은 위 <표 1>의 정량적인 지표들에 기초하여 사용자 단말(300) 또는 외부 단말(200)에서 생성될 수 있다. 상기 한줄평은 룩업 테이블 방식으로, 상기 정량적인 지표들에 따라 그에 대응되는 한줄평들이 미리 맵핑된 것일 수 있다.The one-line review 96 may be generated in the user terminal 300 or the external terminal 200 based on the quantitative indicators in Table 1 above. The one-line review may be a look-up table method, and corresponding one-line reviews may be mapped in advance according to the quantitative indicators.
상기 정량적인 지표(97)는 위 <표 1>의 지표들 중 어느 하나 이상의 지표일 수 있다. 상기 정량적인 지표(97)는 위 <표 1>의 지표들 중 특정 지표로 설정될 수도 있고, 사용자 단말(300)에서 사용자에 의해 설정될 수도 있다. 상기 정량적인 지표(97)는 둘 이상이 상기 슬립이미지(95')에 포함될 수도 있다.The quantitative indicator 97 may be any one or more of the indicators in <Table 1> above. The quantitative indicator 97 may be set as a specific indicator among the indicators in <Table 1> above, or may be set by the user in the user terminal 300. Two or more of the quantitative indicators 97 may be included in the slip image 95'.
도 39을 참조하면, 또 다른 실시 예에 따른 슬립이미지(95'')는 디스플레이 화면(301)의 일 부분에 표시될 수 있고, 디스플레이 화면(301)의 나머지 부분에는 달력(98)이나 위 <표 1>의 정량적인 지표들 중 적어도 다수개의 지표들(97')이 표시될 수 있다. Referring to FIG. 39, a sleep image 95'' according to another embodiment may be displayed on one part of the display screen 301, and a calendar 98 or the above < Among the quantitative indicators in Table 1, at least a plurality of indicators 97' may be displayed.
도 40의 (a)를 참조하면, 또 다른 실시 예에 따른 슬립이미지(95''')의 일부가 디스플레이 화면(301)의 일부에 표시되고, 한줄평, 정량적인 지표들이 디스플레이 화면(301)에 함께 표시될 수 있다. 도 40의 (b)를 참조하면, 사용자에 의해 슬립이미지(95''')가 선택되면, 소정의 카드에 슬립이미지(95''')의 전체 또는/및 소정의 텍스트가 함께 포함되어 디스플레이 화면(301)에 표시될 수 있다. 상기 슬립이미지(95''')와 상기 텍스트를 포함한 카드는 '공유하기(99)'를 통해 다양한 매체로 전달될 수 있다. Referring to (a) of FIG. 40, a portion of the sleep image 95''' according to another embodiment is displayed on a portion of the display screen 301, and one-line and quantitative indicators are displayed on the display screen 301. can be displayed together. Referring to (b) of FIG. 40, when the sleep image 95''' is selected by the user, the entire sleep image 95''' or/and a certain text are included and displayed on a predetermined card. It may be displayed on screen 301. The card containing the slip image 95''' and the text can be transmitted through various media through 'Share 99'.
다시, 도 27를 참조하면, S505 단계에서, 사용자는 텍스트 입력창(80)의 기입을 스킵할 수 있다. 예를 들어, 도 33에 도시된 바와 같이, 사용자는 '건너뛰기(70)'를 선택하여, 텍스트 입력창(80)의 기입을 스킵할 수 있다. 이 경우, 도 41에 도시된 바와 같이, 디스플레이 화면(301)에 슬립이미지가 없는 (슬립)리포트가 발행될 수 있음을 나타내는 알림창(90)이 제공될 수 있다. 사용자는 알림창(90)의 '계속 작성하기'를 선택하여 도 32 내지 도 34에 도시된 바와 같이 텍스트 입력창(80)에 수면에 대한 느낌이나 꿈 설명을 기입할 수 있고, 알림창(90)의 '건너뛰기'를 선택하면 S508 및 S509 단계가 수행될 수 있다. Referring again to FIG. 27, in step S505, the user can skip writing in the text input window 80. For example, as shown in FIG. 33, the user can select 'Skip 70' to skip writing in the text input window 80. In this case, as shown in FIG. 41, a notification window 90 indicating that a (sleep) report without a sleep image may be issued may be provided on the display screen 301. The user can select 'Continue Writing' in the notification window 90 to enter a feeling about sleep or a dream description in the text input window 80 as shown in FIGS. 32 to 34, and enter the information in the notification window 90. If 'Skip' is selected, steps S508 and S509 may be performed.
S508에서 생성되는 슬립리포트는 위 <표 1>의 정량적인 지표를 포함할 수 있다, 예를 들어, 이러한 정량적인 지표는, S509 단계에서 막대기 타입 등의 그래프로 변환되어 슬립리포트와 함께 사용자 단말(300) 또는 컴퓨팅 장치(100)로 제공될 수 있다. The sleep report generated in S508 may include the quantitative indicators shown in <Table 1> above. For example, these quantitative indicators are converted into a graph such as a bar type in step S509 and displayed on the user terminal ( 300) or may be provided as a computing device 100.
슬립리포트에 기초한 전자기기의 동작 제어Operation control of electronic devices based on sleep report
여기서, 슬립리포트에 기초하여 컴퓨팅 장치(100)의 동작이 제어될 수 있다. 이를 통해 슬립리포트를 사용자에게 시각적으로 보여주는 것 뿐만 아니라 컴퓨팅 장치의 동작을 통해 직간접적으로 느낄 수 있게 해줄 수 있다. 사용자의 컴퓨팅 장치들이 스마트하게 자신의 상태를 파악한다는 느낌을 받을 수 있고, 이미지 및 이슈 메이킹이 가능하여 컴퓨팅 장치의 마케팅에도 도움을 줄 수 있다. 예를 들어, 컴퓨팅 장치(100)가 조명 장치이거나 조명 기능을 포함하는 경우, 슬립리포트에 기초하여 지난 밤의 수면이 나쁨으로 판별된 경우 붉은색으로 조명되도록 하고, 좋음으로 판별된 경우 파란색으로 조명되도록 제어할 수 있다. 다른 예를 들어, 컴퓨팅 장치(100)가 공기청정기인 경우에 송풍 강도 및 노이즈가 지난 밤의 수면의 질에 따라 동작하거나, 컴퓨팅 장치(100)가 냉장고인 경우에 지난 밤의 수면의 질에 따라 냉장고 외관의 조명 색상을 바꿔주거나, 컴퓨팅 장치(100)가 정수기인 경우에 사용자가 일어나서 아침에 물 한 잔을 마실 때 음성 안내로 지난 밤의 수면의 질에 대해 브리핑하게 하거나, 컴퓨팅 장치(100)가 스타일러인 경우에 지난 밤의 수면의 질에 따라 다른 섬유 향수를 내부에 거치된 옷에 뿌려줄 수 있다.Here, the operation of the computing device 100 may be controlled based on the sleep report. Through this, the sleep report can not only be displayed visually to the user, but can also be felt directly or indirectly through the operation of the computing device. Users can feel that their computing devices are smartly aware of their status, and image and issue making is possible, which can also help with the marketing of computing devices. For example, if the computing device 100 is a lighting device or includes a lighting function, if the last night's sleep is determined to be poor based on the sleep report, it is illuminated in red, and if it is determined to be good, it is illuminated in blue. It can be controlled as much as possible. For another example, if the computing device 100 is an air purifier, the blowing intensity and noise are operated according to the quality of sleep last night, or if the computing device 100 is a refrigerator, the blowing intensity and noise are operated according to the quality of sleep last night. Change the color of the lighting on the exterior of the refrigerator, or, if the computing device 100 is a water purifier, brief the user about the quality of last night's sleep through voice guidance when the user wakes up and drink a glass of water in the morning, or use the computing device 100 If you are a styler, you can spray different fabric perfumes on the clothes placed inside depending on the quality of your sleep last night.
일 실시예에 따른 슬립이미지 생성 및 제공 방법의 순서도 (도 42)Flowchart of a method for generating and providing a sleep image according to an embodiment (FIG. 42)
도 42은 본 발명의 다른 실시 형태에 따른 슬립이미지 제공 및 제공 방법을 설명하기 위한 순서도이다.Figure 42 is a flowchart for explaining a sleep image provision and method according to another embodiment of the present invention.
도 42에 도시된 본 발명의 다른 실시 형태에 따른 슬립이미지 제공 및 제공 방법은 도 27에 도시된 본 발명의 일 실시 형태에 따른 슬립이미지 제공 및 제공 방법에서 일부 단계들(S501~S503)이 생략된 것과 같다. In the method for providing and providing a sleep image according to another embodiment of the present invention shown in FIG. 42, some steps (S501 to S503) are omitted from the method for providing and providing a sleep image according to an embodiment of the present invention shown in FIG. 27. It's the same as what happened.
도 42에 도시된 S504 내지 S507 단계들은 앞서 설명한 도 27의 S504 내지 S507 단계와 동일하므로, 구체적인 설명은 상술한 내용으로 대체한다. Since steps S504 to S507 shown in FIG. 42 are the same as steps S504 to S507 of FIG. 27 described above, the detailed description will be replaced with the above-described content.
또한, 도 42에 도시된 S508 및 S509 단계들도 도 27의 S508 및 S509 단계와 동일하므로, 구체적인 설명은 상술한 내용으로 대체한다. Additionally, since steps S508 and S509 shown in FIG. 42 are the same as steps S508 and S509 of FIG. 27, the detailed description will be replaced with the above-described content.
일 실시예에 따른 슬립이미지 생성 및 제공 방법의 순서도 (도 43)Flowchart of a method for generating and providing a sleep image according to an embodiment (FIG. 43)
도 43은 본 발명의 또 다른 실시 형태에 따른 슬립이미지 제공 및 제공 방법을 설명하기 위한 순서도이다.Figure 43 is a flowchart for explaining a sleep image provision and method according to another embodiment of the present invention.
도 43에 도시된 본 발명의 또 다른 실시 형태에 따른 슬립이미지 제공 및 제공 방법은, 도 42의 슬립이미지 제공 및 제공 방법과 비교하여, S2101 단계와 S2102 단계가 차이가 있고 나머지 단계들은 동일하므로, 이하에서는 S2101 단계와 S2102 단계에 대해서 상세히 설명한다.The method of providing and providing a sleep image according to another embodiment of the present invention shown in FIG. 43 is different from the method of providing and providing a sleep image of FIG. 42 in steps S2101 and S2102 and the remaining steps are the same. Below, steps S2101 and S2102 will be described in detail.
S2101 단계는 수면 기분에 대한 키워드 후보군을 제공하는 단계이고, S2012 단계는 키워드 후보군의 선택을 완료하였는지 여부를 판별하는 단계이다.Step S2101 is a step of providing keyword candidates for sleep mood, and step S2012 is a step of determining whether the selection of keyword candidates has been completed.
사용자가 도 27 또는 도 42의 S504~S505 단계의 키워드나 줄글을 텍스트로 입력하면, 이를 귀찮아 하는 경우가 있을 수 있다. 이러한 사용자의 불편함을 해소하기 위해서, S2101 내지 S2102 단계와 같이 수면 기분에 대한 여러 키워드의 후보군을 디스플레이 화면에 표시하고, 사용자가 표시된 다수의 키워드 후보군에서 적어도 하나 이상의 키워드 후보군을 선택(S2102)함으로서, 슬립이미지를 생성하는데 기초가 되는 텍스트를 도출할 수 있다.If the user inputs keywords or lines in steps S504 to S505 of FIG. 27 or FIG. 42 as text, there may be cases where this is annoying. In order to resolve the user's inconvenience, in steps S2101 and S2102, several keyword candidates for sleep mood are displayed on the display screen, and the user selects at least one keyword candidate from the displayed plurality of keyword candidates (S2102). , the text that is the basis for creating a slip image can be derived.
일 실시예에 따른 슬립이미지 생성 및 제공 방법의 순서도 (도 44)Flowchart of a method for generating and providing a sleep image according to an embodiment (FIG. 44)
도 44는 본 발명의 또 다른 실시 형태에 따른 슬립이미지 제공 및 제공 방법을 설명하기 위한 순서도이다.Figure 44 is a flowchart for explaining a sleep image provision and method according to another embodiment of the present invention.
도 44에 도시된 본 발명의 또 다른 실시 형태에 따른 슬립이미지 제공 및 제공 방법은, 도 27 또는 도 42의 S505 단계와 S506 단계 사이에 슬립이미지를 설정하는 단계(S5056)를 더 포함한다. The sleep image provision and providing method according to another embodiment of the present invention shown in FIG. 44 further includes a step (S5056) of setting a sleep image between steps S505 and S506 of FIG. 27 or FIG. 42.
슬립이미지를 설정하는 단계(S5056)는, S506 단계에서 생성될 슬립이미지의 스타일, 색상, 밑그림 및 일부가 비어져 있는 그림 중 적어도 하나 이상을 설정하는 단계일 수 있다. The step of setting a slip image (S5056) may be a step of setting at least one of the style, color, sketch, and partially empty picture of the slip image to be created in step S506.
여기서, 스타일의 설정은, 만화(cartoon) 스타일, 리얼리스틱(realistic) 스타일, 하이퍼 리얼리스틱(hyper realistic) 스타일 등 중 사용자의 지난 밤 수면에 대응하는 스타일을 선택하는 것일 수 있다. 스타일이 설정되면, S506 단계에서 생성되는 슬립이미지의 스타일이 선택된 상기 스타일로 설정될 수 있다.Here, setting the style may be selecting a style corresponding to the user's last night's sleep among cartoon style, realistic style, hyper realistic style, etc. Once the style is set, the style of the slip image generated in step S506 may be set to the selected style.
색상의 설정은 사용자의 지난 밤 수면에 대응하는 컬러를 선택하는 것일 수 있다. 색상이 설정되면, S506 단계에서 생성되는 슬립이미지의 색상이 선택된 상기 색상으로 설정될 수 있다.Setting the color may be selecting a color that corresponds to the user's sleep last night. Once the color is set, the color of the slip image generated in step S506 may be set to the selected color.
밑그림의 설정은 사용자의 지난 밤 수면에 대응하는 밑그림을 선택하는 것일 수 있다. 밑그림은 다수개가 제공될 수 있고, 그중 어느 하나 이상을 사용자가 선택함으로서 밑그림이 설정될 수 있다. 밑그림이 설정되면, S506 단계에서 생성되는 슬립이미지의 색상이 선택된 상기 색상으로 설정될 수 있다.Setting the sketch may be selecting a sketch corresponding to the user's last night's sleep. A plurality of drafts may be provided, and the draft may be set by the user selecting one or more of them. Once the draft is set, the color of the slip image generated in step S506 may be set to the selected color.
일부가 비어져 있는 그림의 설정은, 슬립이미지의 특정 부분을 공란으로 설정하는 것일 수 있다. 일부가 비어져 있는 그림이 설정되면, S506 단계에서 생성되는 슬립이미지의 일 부분이 공란으로 설정될 수 있다.Setting a partially empty picture may mean setting a specific part of the slip image to be blank. If a partially blank image is set, a portion of the slip image generated in step S506 may be set to blank.
도 27, 도 42, 도 43, 도 44에서 생성된 슬립이미지는, 도 1i에 도시된 컴퓨팅 장치(100)를 통해 사용자(U)에게 제공될 수도 있다. 슬립이미지를 제공하는 컴퓨팅 장치(100)는 디스플레이를 가진 TV, 스마트 TV, 프로젝터, 스탠바이미, 스타일러, 모니터, 냉장고, 스마트 미러 중 어느 하나일 수 있다. 상기 컴퓨팅 장치(100)의 제조사측은, 디스플레이 화면이 꺼지지 않기를 바라는 요구가 있다. 왜냐하면, 컴퓨팅 장치(100)가 계속해서 켜져 있어야 사용자가 계속해서 사용할 수 있기 때문이다. 종래의 디스플레이를 가진 컴퓨팅 장치는, 스탠바이 모드 또는 액자 모드를 통해 단순히 명화가 디스플레이되고 있는데, 명화 대신에 사용자(U)의 지난 밤의 수면을 대표할 수 있는 슬립이미지(및 한줄평 등)를 컴퓨팅 장치의 스탠바이 모드에서 노출시키면, 컴퓨팅 장치의 제조사측의 요구를 만족시킬 수 있다. 나아가, 사용자(U)의 활발한 컴퓨팅 장치의 사용도 유도할 수 있는 이점이 있다.The sleep images generated in FIGS. 27, 42, 43, and 44 may be provided to the user U through the computing device 100 shown in FIG. 1I. The computing device 100 that provides a sleep image may be any one of a TV with a display, a smart TV, a projector, a standby mirror, a styler, a monitor, a refrigerator, and a smart mirror. The manufacturer of the computing device 100 has a request that the display screen not turn off. This is because the computing device 100 must be continuously turned on so that the user can continue to use it. A computing device with a conventional display simply displays a famous painting in standby mode or a picture frame mode, but instead of a famous painting, the computing device displays a sleep image (and a line image, etc.) that can represent the user's (U) last night's sleep. By exposing it in standby mode, it can satisfy the requirements of manufacturers of computing devices. Furthermore, there is an advantage in encouraging the user (U) to actively use the computing device.
슬립동영상slip video
한편, 도 1i 내지 도 44에서 상술한 슬립이미지는 슬립동영상으로 대체될 수 있다. 즉, 사용자가 텍스트 입력창을 통해 입력한 텍스트에 대응하여 슬립동영상이 외부 단말(200)에서 생성될 수 있고, 생성된 슬립동영상이 사용자 단말(300)을 통해 사용자(U)에게 제공될 수 있다. 이 경우, 외부 단말(200)은 입력된 텍스트에 대응하는 슬립동영상을 출력하는 학습 모델을 구비할 수 있다. 상기 학습 모델을 학습시키기 위한 학습 데이터는, 입력이 텍스트이고, 출력이 슬립동영상이 된다. 외부 단말(200)은 상기 학습 데이터를 이용하여 소정의 인공지능 모델을 학습시켜 상기 학습 모델을 구축할 수 있다. 예를 들어, 상기 학습 모델은 텍스트가 입력으로 주어지면, 기본 비디오 생성 모델과 일련의 인터리브 공간 및 시간 비디오 초해상도 모델을 사용하여 고화질의 슬립동영상을 생성할 수 있다.Meanwhile, the slip image described above in FIGS. 1I to 44 can be replaced with a slip video. That is, a slip video can be generated in the external terminal 200 in response to the text entered by the user through the text input window, and the generated slip video can be provided to the user (U) through the user terminal 300. . In this case, the external terminal 200 may be equipped with a learning model that outputs a slip video corresponding to the input text. The learning data for training the learning model has text as input and a slip video as output. The external terminal 200 can construct the learning model by learning a predetermined artificial intelligence model using the learning data. For example, given text as input, the learning model can generate a high-quality slip video using a basic video generation model and a series of interleaved spatial and temporal video super-resolution models.
본 발명의 실시 형태와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with the embodiment of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 형태는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.The components of the present invention may be implemented as a program (or application) and stored in a medium in order to be executed in conjunction with a hardware computer. Components of the invention may be implemented as software programming or software elements, and similarly, embodiments may include various algorithms implemented in combinations of data structures, processes, routines or other programming constructs, such as C, C++, , may be implemented in a programming or scripting language such as Java, assembler, etc. Functional aspects may be implemented as algorithms running on one or more processors.
본 발명의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시 형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 발명의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.Those skilled in the art will understand that various illustrative logical blocks, modules, processors, means, circuits and algorithm steps described in connection with the embodiments disclosed herein may be used in electronic hardware, (for convenience) It will be understood that the implementation may be implemented by various forms of program or design code (referred to herein as “software”) or a combination of both. To clearly illustrate this interoperability of hardware and software, various illustrative components, blocks, modules, circuits and steps have been described above generally with respect to their functionality. Whether this functionality is implemented as hardware or software depends on the specific application and design constraints imposed on the overall system. A person skilled in the art may implement the described functionality in various ways for each specific application, but such implementation decisions should not be construed as departing from the scope of the present invention.
여기서 제시된 다양한 실시 형태들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다. 용어 "기계-판독가능 매체"는 명령(들) 및/또는 데이터를 저장, 보유, 및/또는 전달할 수 있는 무선채널 및 다양한 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.The various embodiments presented herein may be implemented as a method, apparatus, or article of manufacture using standard programming and/or engineering techniques. The term “article of manufacture” includes a computer program, carrier, or media accessible from any computer-readable device. For example, computer-readable media include magnetic storage devices (e.g., hard disks, floppy disks, magnetic strips, etc.), optical disks (e.g., CDs, DVDs, etc.), smart cards, and flash memory. Includes, but is not limited to, devices (e.g., EEPROM, cards, sticks, key drives, etc.). Additionally, various storage media presented herein include one or more devices and/or other machine-readable media for storing information. The term “machine-readable media” includes, but is not limited to, wireless channels and various other media capable of storing, retaining, and/or transmitting instruction(s) and/or data.
제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 발명의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다. It is to be understood that the specific order or hierarchy of steps in the processes presented is an example of illustrative approaches. It is to be understood that the specific order or hierarchy of steps in processes may be rearranged within the scope of the present invention, based on design priorities. The appended method claims present elements of the various steps in a sample order but are not meant to be limited to the particular order or hierarchy presented.
제시된 실시 형태들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시 형태들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시 형태들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시 형태들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the presented embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these embodiments will be apparent to those skilled in the art, and the general principles defined herein may be applied to other embodiments without departing from the scope of the invention. Thus, the present invention is not limited to the embodiments presented herein, but is to be construed in the broadest scope consistent with the principles and novel features presented herein.

Claims (20)

  1. 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법에 있어서,In the method of creating and providing sleep content based on user sleep information,
    사용자 단말의 디스플레이 화면에 텍스트 입력창을 제공하는, 텍스트 입력창 제공 단계;A text input window providing step of providing a text input window on the display screen of the user terminal;
    상기 텍스트 입력창을 통해 사용자의 수면 기분, 느낌 혹은 꿈에 대한 기억에 관한 텍스트가 입력되면, 입력된 상기 텍스트를 외부 단말로 전송하는, 텍스트 전송 단계; A text transmission step of transmitting the input text to an external terminal when text about the user's sleeping mood, feeling, or dream memory is input through the text input window;
    상기 외부 단말로부터 상기 텍스트에 대응되는 슬립이미지 또는 슬립동영상을 수신하는, 수신 단계; 및A receiving step of receiving a sleep image or a sleep video corresponding to the text from the external terminal; and
    수신된 상기 슬립이미지 또는 슬립동영상을 상기 디스플레이 화면에 제공하는, 슬립이미지 또는 슬립동영상 제공 단계;A sleep image or sleep video providing step of providing the received sleep image or sleep video to the display screen;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  2. 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법에 있어서,In the method of creating and providing sleep content based on user sleep information,
    사용자 단말의 디스플레이 화면에 사용자의 수면 기분, 느낌 혹은 꿈에 대한 기억에 대한 키워드 후보군들을 제공하는, 후보군 제공 단계;A candidate group providing step of providing keyword candidates for the user's sleeping mood, feeling, or dream memory on the display screen of the user terminal;
    상기 키워드 후보군들 중 적어도 하나가 선택되면, 선택된 키워드 후보군의 텍스트를 외부 단말로 전송하는, 텍스트 전송 단계;When at least one of the keyword candidates is selected, a text transmission step of transmitting the text of the selected keyword candidate group to an external terminal;
    상기 외부 단말로부터 상기 텍스트에 대응되는 슬립이미지 또는 슬립동영상을 수신하는, 수신 단계; 및A receiving step of receiving a sleep image or a sleep video corresponding to the text from the external terminal; and
    수신된 상기 슬립이미지 또는 슬립동영상을 상기 디스플레이 화면에 제공하는, 슬립이미지 또는 슬립동영상 제공 단계;A sleep image or sleep video providing step of providing the received sleep image or sleep video to the display screen;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  3. 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법에 있어서,In the method of creating and providing sleep content based on user sleep information,
    사용자 단말로부터 사용자의 수면 기분, 느낌 혹은 꿈에 대한 기억에 대한 텍스트를 수신하는, 수신 단계;A receiving step of receiving a text about the user's sleeping mood, feeling, or dream memory from the user terminal;
    상기 텍스트를 메모리에 저장된 학습 모델로 입력시켜 상기 학습 모델로부터 상기 텍스트에 대응하는 슬립이미지 또는 슬립동영상이 출력되는, 슬립이미지 또는 슬립동영상 출력 단계; 및A sleep image or sleep video output step of inputting the text into a learning model stored in a memory and outputting a sleep image or sleep video corresponding to the text from the learning model; and
    출력된 상기 슬립이미지 또는 슬립동영상을 상기 사용자 단말 또는 컴퓨팅 장치로 전송하는, 슬립이미지 또는 슬립동영상 전송 단계;A sleep image or sleep video transmission step of transmitting the output sleep image or sleep video to the user terminal or computing device;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  4. 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법에 있어서, In the method of creating and providing sleep content based on user sleep information,
    심상 유도 정보를 준비하는 준비 단계;a preparatory phase in which imagery-inducing information is prepared;
    상기 준비된 심상 유도 정보를 사용자에게 제공하는 준비 정보 제공 단계;A preparation information providing step of providing the prepared image inducing information to a user;
    사용자로부터 수면 상태 정보를 획득하는 획득 단계;An acquisition step of acquiring sleep state information from the user;
    사용자에게 상기 제공된 심상 유도 정보 및 사용자로부터 상기 획득된 수면 상태 정보에 기초하여 사용자의 피처를 추출하는 추출 단계; 및 An extraction step of extracting features of the user based on the image inducing information provided to the user and the sleep state information obtained from the user; and
    상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 생성 단계;A generation step of generating feature-based imagery induction information based on the extracted user features;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  5. 제 4항에 있어서,According to clause 4,
    상기 준비 단계는,The preparation step is,
    룩업 테이블에 기초하여 상기 심상 유도 정보를 준비하는 단계;preparing the image guidance information based on a lookup table;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  6. 제 5항에 있어서,According to clause 5,
    상기 준비 단계는,The preparation step is,
    상기 피처 기반 심상 유도 정보에 기초하여 상기 심상 유도 정보를 준비하는 단계;preparing the imagery induction information based on the feature-based imagery induction information;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  7. 제 4항 내지 제 6항 중 어느 한 항에 있어서,According to any one of claims 4 to 6,
    상기 준비 정보 제공 단계는,The preparation information provision step is,
    준비된 심상 유도 음향 정보, 준비된 심상 유도 시각 정보, 준비된 심상 유도 텍스트 정보 및 준비된 심상 유도 텍스트 음향 정보 중 어느 하나 이상을 제공하거나, 또는 이들 중 둘 이상의 결합을 제공하는 단계;Providing any one or more of prepared image-inducing sound information, prepared image-inducing visual information, prepared image-inducing text information, and prepared image-inducing text sound information, or providing a combination of two or more of these;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  8. 제 4항에 있어서,According to clause 4,
    상기 생성된 피처 기반 심상 유도 정보를 사용자에게 제공하는 생성 정보 제공 단계;A generation information providing step of providing the generated feature-based imagery induction information to a user;
    를 더 포함하는,Containing more,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  9. 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법에 있어서, In the method of creating and providing sleep content based on user sleep information,
    사용자와 관련된 정보를 준비하는 정보 준비 단계; an information preparation stage that prepares information relevant to the user;
    상기 준비된 정보에 기초하여 사용자의 피처를 추출하는 추출 단계; 및 An extraction step of extracting user features based on the prepared information; and
    상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는 생성 단계;A generation step of generating feature-based imagery induction information based on the extracted user features;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  10. 제 9항에 있어서, According to clause 9,
    상기 정보 준비 단계는,The information preparation step is,
    사용자로부터 사용자와 관련된 정보를 입력받는 입력 단계;An input step of receiving information related to the user from the user;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  11. 제 10항에 있어서, According to clause 10,
    상기 입력 단계에서 사용자로부터 입력받는 사용자와 관련된 정보는,The user-related information received from the user in the input step is:
    스와이프 방식으로 선택된 컨텐츠, 사용자로부터 입력된 텍스트 및 제시된 키워드 중 사용자로부터 선택된 키워드 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인,It is one or more of content selected by a swipe method, text input by the user, and keywords selected by the user among the presented keywords, or a combination of two or more of these,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  12. 제 9항 내지 제 11항 중 어느 한 항에 있어서, According to any one of claims 9 to 11,
    상기 생성된 피처 기반 심상 유도 정보를 사용자에게 제공하는 생성 정보 제공 단계;A generation information providing step of providing the generated feature-based imagery induction information to a user;
    를 더 포함하는,Containing more,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  13. 제 12항에 있어서, According to clause 12,
    상기 생성 정보 제공 단계에서 제공되는 피처 기반 심상 유도 정보는,The feature-based imagery induction information provided in the generation information provision step is,
    피처 기반 심상 유도 음향 정보, 피처 기반 심상 유도 시각 정보, 피처 기반 심상 유도 텍스트 정보 및 피처 기반 심상 유도 텍스트 음향 정보 중 어느 하나 이상이거나, 또는 이들 중 둘 이상의 결합인,At least one of feature-based imagery-inducing sound information, feature-based imagery-inducing visual information, feature-based imagery-inducing text information, and feature-based imagery-inducing text sound information, or a combination of two or more of these,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  14. 전자 장치에 있어서,In electronic devices,
    심상 유도 정보가 기록된 메모리;Memory in which imagery-inducing information is recorded;
    상기 기록된 심상 유도 정보를 출력하는 출력부;an output unit that outputs the recorded image guidance information;
    사용자로부터 수면 상태 정보를 획득하는 획득부; 및An acquisition unit that obtains sleep state information from the user; and
    상기 출력된 심상 유도 정보 및 상기 획득된 수면 상태 정보에 기초하여 사용자의 피처를 추출하는 프로세서;a processor that extracts user features based on the output image induction information and the acquired sleep state information;
    를 포함하고,Including,
    상기 프로세서는 상기 추출된 사용자의 피처에 기초하여 피처 기반 심상 유도 정보를 생성하는,The processor generates feature-based imagery guidance information based on the extracted user features,
    전자 장치.Electronic devices.
  15. 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법에 있어서,In the method of creating and providing sleep content based on user sleep information,
    하나 이상의 수면 정보 센서 장치로부터 수면 정보를 습득하는 - 상기 수면 정보는 사용자의 수면 음향 정보를 포함한다 - 수면 정보 습득 단계;Acquiring sleep information from one or more sleep information sensor devices - the sleep information includes sleep sound information of the user - acquiring sleep information;
    상기 습득된 수면 정보에 기초하여 사용자의 수면에 관한 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계;generating one or more data arrays related to the user's sleep based on the acquired sleep information;
    상기 생성된 사용자의 수면에 관한 피처를 콘텐츠 생성형 인공지능에 입력하는 단계; 및Inputting the created features about the user's sleep into a content creation artificial intelligence; and
    상기 콘텐츠 생성형 인공지능의 출력에 기초하여 사용자 수면 콘텐츠를 생성하는 단계;generating user sleep content based on the output of the content generation artificial intelligence;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  16. 제 15항에 있어서,According to clause 15,
    상기 수면 정보 습득 단계는,The sleep information acquisition step is,
    상기 사용자의 수면 음향 정보를 수면 정보 추론 딥러닝 모델의 입력으로 하여, 수면에 대한 정보를 추론하는, 수면 정보 추론 단계;A sleep information inference step of inferring information about sleep by using the user's sleep sound information as input to a sleep information inference deep learning model;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  17. 제 16항에 있어서,According to clause 16,
    상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계는,Generating one or more data arrays regarding the user's sleep includes:
    상기 추론된 수면 정보에 기초하여 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계;generating one or more data arrays regarding the user's sleep based on the inferred sleep information;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  18. 제 17항에 있어서,According to clause 17,
    상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계는,Generating one or more data arrays regarding the user's sleep includes:
    상기 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하기 위하여 상기 추론된 수면 정보를 대규모 언어 모델(Large Language Model)의 입력으로 하여 사용자의 수면에 관한 하나 이상의 데이터 배열을 생성하는 단계;Generating one or more data arrays about the user's sleep by using the inferred sleep information as input to a large language model to generate one or more data arrays about the user's sleep;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  19. 사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법에 있어서,In the method of creating and providing sleep content based on user sleep information,
    사용자 키워드 입력 단계;User keyword input step;
    상기 입력된 사용자 키워드를 대규모 언어 모델의 입력으로 하여 기본 문장을 생성하는 단계;generating a basic sentence using the input user keyword as input to a large-scale language model;
    상기 생성된 기본 문장에 기초하여 수면 문장 키워드를 선정하는 수면 문장 키워드 정제 단계; A sleep sentence keyword refining step of selecting sleep sentence keywords based on the generated basic sentences;
    상기 선정된 문장 키워드에 기초하여 수면 콘텐츠 테마 선정 단계; 및Selecting a sleep content theme based on the selected sentence keywords; and
    상기 선정된 수면 콘텐츠 테마에 기초하여 수면 콘텐츠를 생성하는 단계;generating sleep content based on the selected sleep content theme;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
  20. 제 19항에 있어서,According to clause 19,
    상기 수면 문장 키워드 정제 단계는,The sleep sentence keyword refining step is,
    상기 생성된 기본 문장을 대규모 언어 모델의 입력으로 하여 수면 문장 키워드를 추출하는 단계;Extracting sleep sentence keywords using the generated basic sentence as input to a large-scale language model;
    를 포함하는,Including,
    사용자 수면정보 기반의 수면 콘텐츠 생성 및 제공 방법.Method for creating and providing sleep content based on user sleep information.
PCT/KR2023/014988 2022-10-13 2023-09-27 Method, device, computer program, and computer-readable recording medium for generating and providing sleep content based on user sleep information WO2024080647A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020247000275A KR20240052740A (en) 2022-10-13 2023-09-27 Method, device, computer program, and computer-readable recording medium for providing guided imagery information and obtaining sleep state information
KR1020237041711A KR20240052723A (en) 2022-10-13 2023-09-27 Method, device, computer program, and computer-readable recording medium for generating and providing sleep content based on user sleep information

Applications Claiming Priority (16)

Application Number Priority Date Filing Date Title
KR20220131829 2022-10-13
KR10-2022-0131829 2022-10-13
KR20220134472 2022-10-18
KR10-2022-0134472 2022-10-18
KR20220149003 2022-11-09
KR10-2022-0149003 2022-11-09
KR10-2023-0026104 2023-02-27
KR20230026104 2023-02-27
KR10-2023-0044340 2023-04-04
KR20230044340 2023-04-04
KR10-2023-0068718 2023-05-26
KR20230068718 2023-05-26
KR20230071935 2023-06-02
KR10-2023-0071935 2023-06-02
KR20230107174 2023-08-16
KR10-2023-0107174 2023-08-16

Publications (1)

Publication Number Publication Date
WO2024080647A1 true WO2024080647A1 (en) 2024-04-18

Family

ID=90669548

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/014988 WO2024080647A1 (en) 2022-10-13 2023-09-27 Method, device, computer program, and computer-readable recording medium for generating and providing sleep content based on user sleep information

Country Status (2)

Country Link
KR (1) KR20240052723A (en)
WO (1) WO2024080647A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6550257B2 (en) * 2015-04-13 2019-07-24 日本電信電話株式会社 Sleep state display device, method and program
KR20200061294A (en) * 2018-11-23 2020-06-02 주식회사 스칼라웍스 Method and apparatus for inferring invisible image using machine learning
KR20220078457A (en) * 2020-12-03 2022-06-10 한국전자기술연구원 System and method for user-customized modular sleep management
KR20220082146A (en) * 2020-12-09 2022-06-17 주식회사 닥터송 Medical content production and management system based on artificial intelligence and natural language processing
KR102429256B1 (en) * 2021-12-31 2022-08-04 주식회사 에이슬립 Method, computing device and computer program for analyzing a user's sleep state through sound information

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100456730B1 (en) 2001-10-18 2004-11-10 이동민 Appratus for inducing sleep and using method thereof
KR20220015835A (en) 2020-07-31 2022-02-08 삼성전자주식회사 Electronic device for and method for evaluating sleep quality in the electronic device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6550257B2 (en) * 2015-04-13 2019-07-24 日本電信電話株式会社 Sleep state display device, method and program
KR20200061294A (en) * 2018-11-23 2020-06-02 주식회사 스칼라웍스 Method and apparatus for inferring invisible image using machine learning
KR20220078457A (en) * 2020-12-03 2022-06-10 한국전자기술연구원 System and method for user-customized modular sleep management
KR20220082146A (en) * 2020-12-09 2022-06-17 주식회사 닥터송 Medical content production and management system based on artificial intelligence and natural language processing
KR102429256B1 (en) * 2021-12-31 2022-08-04 주식회사 에이슬립 Method, computing device and computer program for analyzing a user's sleep state through sound information

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAI HONG TRAN: "Prediction of Sleep Stages Via Deep Learning Using Smartphone Audio Recordings in Home Environments: Model Development and Validation", JOURNAL OF MEDICAL INTERNET RESEARCH, JMIR PUBLICATIONS, CA, vol. 25, 1 June 2023 (2023-06-01), CA , pages e46216, XP093159265, ISSN: 1438-8871, DOI: 10.2196/46216 *
HONG JOONKI, HAI TRAN, JINHWAN JEONG, HYERYUNG JANG, IN-YOUNG YOON, JUNG KYUNG HONG, JEONG-WHUN KIM: "0348 SLEEP STAGING USING END-TO-END DEEP LEARNING MODEL BASED ON NOCTURNAL SOUND FOR SMARTPHONES", SLEEP, vol. 45, no. Suppl 1, 25 May 2022 (2022-05-25), pages A156, XP093131680, DOI: 10.1101/2021.10.13.21264974 *
HONG JOONKI, TRAN HAI HONG, JUNG JINHWAN, JANG HYERYUNG, LEE DONGHEON, YOON IN-YOUNG, HONG JUNG KYUNG, KIM JEONG-WHUN: "End-to-End Sleep Staging Using Nocturnal Sounds from Microphone Chips for Mobile Devices", NATURE AND SCIENCE OF SLEEP, DOVE MEDICAL PRESS, vol. 14, 1 June 2022 (2022-06-01), pages 1187 - 1201, XP093131683, ISSN: 1179-1608, DOI: 10.2147/NSS.S361270 *
HONG JUNG KYUNG, LEE TAEYOUNG, DELOS REYES ROBEN DEOCAMPO, HONG JOONKI, TRAN HAI HONG, LEE DONGHEON, JUNG JINHWAN, YOON IN-YOUNG: "Confidence-Based Framework Using Deep Learning for Automated Sleep Stage Scoring", NATURE AND SCIENCE OF SLEEP, DOVE MEDICAL PRESS, vol. Volume 13, 1 January 2021 (2021-01-01), pages 2239 - 2250, XP093131678, ISSN: 1179-1608, DOI: 10.2147/NSS.S333566 *
JONGMOK KIM: "Sound-Based Sleep Staging By Exploiting Real-World Unlabeled Data. ", T ICLR 2023. WORKSHOP ON TIME SERIES REPRESENTATION LEARNING FOR HEALTH (TSRL4H), 2 March 2023 (2023-03-02), pages - 7, XP093159263 *
LE VU LINH, KIM DAEWOO, CHO EUNSUNG, JANG HYERYUNG, REYES ROBEN DELOS, KIM HYUNGGUG, LEE DONGHEON, YOON IN-YOUNG, HONG JOONKI, KIM: "Real-Time Detection of Sleep Apnea Based on Breathing Sounds and Prediction Reinforcement Using Home Noises: Algorithm Development and Validation", JOURNAL OF MEDICAL INTERNET RESEARCH, JMIR PUBLICATIONS, CA, vol. 25, 22 February 2023 (2023-02-22), CA , pages e44818, XP093131684, ISSN: 1438-8871, DOI: 10.2196/44818 *

Also Published As

Publication number Publication date
KR20240052723A (en) 2024-04-23

Similar Documents

Publication Publication Date Title
WO2019177400A1 (en) Foldable virtual reality equipment
Ostwald The semiotics of human sound
US7224282B2 (en) Control apparatus and method for controlling an environment based on bio-information and environment information
CN107106063A (en) Intelligent audio headset system
US11141556B2 (en) Apparatus and associated methods for adjusting a group of users&#39; sleep
WO2023128713A1 (en) Method, computing apparatus, and computer program for analyzing sleeping state of user through sound information
CN113195031B (en) System and method for delivering audio output
WO2024080647A1 (en) Method, device, computer program, and computer-readable recording medium for generating and providing sleep content based on user sleep information
CN118742971A (en) Centralized hub device for determining and displaying health-related metrics
US20240001068A1 (en) Mood adjusting method and system based on real-time biosensor signals from a subject
WO2023146271A1 (en) Ai-based non-contact sleep analysis method and real-time sleep environment creation method
KR20240052740A (en) Method, device, computer program, and computer-readable recording medium for providing guided imagery information and obtaining sleep state information
WO2024080646A1 (en) Method, apparatus, and system for creating environment through ai-based non-contact sleep analysis
WO2024096419A1 (en) Method for providing graphical user interface representing information or evaluation of user&#39;s sleep
WO2024019567A1 (en) Method, apparatus, and computer program for generating sleep analysis model predicting sleep state on the basis of sound information
WO2024058488A1 (en) System for providing real-time sleep health management service by using ai-based brain wave synchronization and autonomic nervous system control
Nielsen et al. Beyond Vision. Moving and Feeling in Colour Illuminated Space
Flanagan et al. Future fashion–at the interface
JP2020103491A (en) Environment control system and environment control method
JP2020103536A (en) Environment control system and environment control method
US20230256192A1 (en) Systems and methods for inducing sleep of a subject
CN117539356B (en) Meditation-based interactive user emotion perception method and system
WO2022244298A1 (en) Information processing device, information processing method, and program
Oney Jazz Singing
JP2023041658A (en) Video creation device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23877575

Country of ref document: EP

Kind code of ref document: A1