WO2023058789A1 - 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법 - Google Patents

사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법 Download PDF

Info

Publication number
WO2023058789A1
WO2023058789A1 PCT/KR2021/013719 KR2021013719W WO2023058789A1 WO 2023058789 A1 WO2023058789 A1 WO 2023058789A1 KR 2021013719 W KR2021013719 W KR 2021013719W WO 2023058789 A1 WO2023058789 A1 WO 2023058789A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
artificial intelligence
information
acoustic
content
Prior art date
Application number
PCT/KR2021/013719
Other languages
English (en)
French (fr)
Inventor
정성원
최진구
오경석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2021/013719 priority Critical patent/WO2023058789A1/ko
Priority to KR1020247006474A priority patent/KR20240046523A/ko
Publication of WO2023058789A1 publication Critical patent/WO2023058789A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies

Definitions

  • the present invention relates to an artificial intelligence device that provides user-customized content based on a user situation estimated from a surrounding environment and a method for controlling the device.
  • An object of the present invention is to solve the above problems and other problems, and detects the characteristics of contents that are effective in improving efficiency or efficiency according to the personal characteristics of the user for each situation, and presents the contents according to the detected characteristics. It is to provide an artificial intelligence device that is searched and provided and a method for controlling the device.
  • the present invention can increase the processing efficiency of the artificial intelligence algorithm of each device and shorten the processing time of the artificial intelligence algorithm of each device. Its object is to provide an intelligent device and a method for controlling the device.
  • an artificial intelligence device establishes a communication connection with a content source and at least one biometric information collection device that collects user's biometric information.
  • a communication unit that performs, estimating the user's situation based on the collected biometric information, detecting the effect of the acoustic environment around the user on the user's biosignal according to the change in the collected biometric information, and
  • An artificial intelligence unit that learns a user-customized acoustic characteristic corresponding to the estimated user situation based on the estimated user situation, and at least one content based on the user-customized acoustic characteristic according to a learning result of the artificial intelligence unit, the contents and a control unit controlling the communication unit and the output device so that a source is searched and an audio signal of the searched content is output from an output device connected through the communication unit.
  • the communication unit further performs a communication connection with at least one acoustic information collecting device that collects acoustic information from around the user, and the control unit performs at least one of the collected biometric information and the collected acoustic information. Estimation of the user's situation based on one, and determining the effect of the acoustic environment around the user on the user's biosignal based on at least one of the acoustic signal of the content output from the output device and the collected acoustic information characterized by detection.
  • the acoustic environment around the user is characterized in that it is formed by at least one of a sound signal of the content output from the output device and noise caused by natural objects around the user.
  • the artificial intelligence unit may have a positive effect on the acoustic environment around the user according to whether a change in the biometric information for the acoustic environment around the user corresponds to the currently estimated user's situation. It is characterized in that the user-customized acoustic characteristics are learned by determining whether they have a negative effect or not, and reflecting the acoustic characteristics detected from the collected acoustic information according to the determined result.
  • the artificial intelligence unit may affect the acoustic environment around the user when the change in the biometric information is greater than the change in the user's biometric information pre-learned for the estimated user's situation. It is characterized by determining whether or not to give.
  • the content synthesizer may further include a content synthesis unit generating synthesized content by synthesizing a plurality of partial content extracted from a plurality of content, wherein the control unit includes at least one user-customized sound characteristic learned from the content source. Searching for the plurality of contents matching the search, extracting a part matching the learned at least one user-customized acoustic characteristic for each of the searched contents, generating the plurality of partial contents, and generating the plurality of partial contents. and controlling the content synthesis unit to create the synthesized content by synthesizing the content.
  • control unit modulates at least some of the plurality of partial contents according to the learned at least one user-customized acoustic characteristic, and synthesizes the contents to generate synthesized contents including the modulated contents. It is characterized by controlling wealth.
  • the control unit when there are a plurality of devices that collect specific biometric information from among the biometric information collection devices, the control unit obtains the specific biometric information from any one of the plurality of devices based on a preset condition. and the predetermined condition is at least one of the estimated user's situation and biometric information collection accuracy of a device that collects biometric information.
  • the acoustic information collection device includes a mobile device that moves along with the movement of the user or a fixed device that is fixedly disposed in a specific place, and the control unit is connected through the communication unit or collected.
  • the acoustic information collecting device transmitting one acoustic information is the fixed device, it is characterized in that the situation of the user is estimated based on the place where the fixed device is placed.
  • the communication unit is characterized in that it performs a communication connection with at least one biometric information collection device or at least one acoustic information collection device in a low power Bluetooth method.
  • the control unit may perform an artificial intelligence algorithm among the at least one biometric information collecting device and the at least one acoustic information collecting device.
  • the searched device is searched for, the searched device and data related to the artificial intelligence algorithm processing applied to each of the artificial intelligence devices are exchanged, and the data exchanged between the searched device and the artificial intelligence device is It is characterized in that it includes information related to an artificial intelligence algorithm applied to each artificial intelligence device and information related to variables required for processing of the artificial intelligence algorithm applied to each of the searched device and the artificial intelligence device.
  • the information related to the variables includes information on the variables and a processing time capable of being processed by an artificial intelligence algorithm applied to each device for each of the variables, and the control unit includes the variable It is characterized in that a processing subject for the exchanged variables is determined based on information related to the variables.
  • the data exchanged between the artificial intelligence device and each of the searched devices is characterized in that it includes service authority information for the use authority of data provided by any one device to another device.
  • a method for controlling an artificial intelligence device includes a first step of collecting user's biometric information from at least one biometric information collecting device; , a second step of estimating the user's situation based on the collected biometric information of the user, and a third step of retrieving from the content source content that matches the pre-learned user-customized acoustic characteristics for the estimated user situation. and a fourth step of outputting the audio signal of the searched content through an output device connected to the artificial intelligence device, and the effect of the acoustic environment around the user on the user's biosignal according to the change in the user's biometric information collected.
  • the 7-1 step of collecting acoustic information from at least one acoustic information collection device that collects acoustic information from the user's surroundings and the collected at least one acoustic information are common.
  • the first step may include a 1 ⁇ -1 step of searching for a device to which an artificial intelligence algorithm is applied among at least one biometric information collecting device, the searched device, and artificial intelligence applied to each of the artificial intelligence devices.
  • It is characterized in that it comprises steps 1-5 of collecting the user's biometric information based on the artificial intelligence algorithm according to and transmitting the collected biometric information to the artificial intelligence device.
  • steps 1-3 include step a of detecting variables processable by the artificial intelligence device among variables required for processing of an artificial intelligence algorithm applied to the searched device, and step a.
  • the present invention can create a user environment capable of maximizing efficiency by providing content effective in improving efficiency or enhancing efficiency according to the user's personal characteristics for each situation. It works.
  • the present invention has an effect of increasing the processing efficiency of the artificial intelligence algorithm for the user-customized content providing service and shortening the processing time by distributing and processing variables according to the computing power of each device to which the artificial intelligence algorithm is applied.
  • FIG. 1 is a conceptual diagram for explaining the configuration of a system including biometric information collection devices, acoustic information collection devices, and artificial intelligence devices according to an embodiment of the present invention.
  • FIG. 2 is a block diagram for explaining the configuration of an artificial intelligence device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an operation process in which an artificial intelligence device according to an embodiment of the present invention provides user-customized content according to a user's situation.
  • FIG. 4 is a flowchart illustrating an operation process in which an artificial intelligence device according to an embodiment of the present invention learns user-customized acoustic characteristics based on acoustic information collected from surroundings.
  • FIG. 5 is a flowchart illustrating an operation process in which an artificial intelligence device according to an embodiment of the present invention generates user-customized content based on pre-learned acoustic characteristics.
  • FIG. 6 is a flowchart illustrating an operation process in which an artificial intelligence device according to an embodiment of the present invention cooperates with other devices to which an artificial intelligence algorithm is applied.
  • FIG. 7 is an exemplary diagram illustrating an example of information exchanged by an artificial intelligence device according to an embodiment of the present invention with other devices to which the artificial intelligence algorithm is applied for collaboration.
  • FIG. 8 is a conceptual diagram illustrating a structure in which an artificial intelligence device according to an embodiment of the present invention controls another device based on information collected according to the collaboration.
  • FIG. 9 is a flowchart illustrating an operation process in which an artificial intelligence device according to an embodiment of the present invention negotiates with another device to which the artificial intelligence algorithm is applied for collaboration.
  • FIG. 1 is a conceptual diagram for explaining the configuration of a system 1 including biometric information collecting devices 20, acoustic information collecting devices 30, and an artificial intelligence device 10 according to an embodiment of the present invention.
  • an artificial intelligence device 10 includes at least one biometric information collection device 20, a content source 40, and an output device 50 and a preset wireless communication method. can be connected to It may also be connected to at least one acoustic information collection device 30 .
  • the biometric information collection device 20 may be a device that collects biometric information about a user.
  • the biometric information collection device 20 is a wearable device that can be worn by a user, and can be a device that is attached to the user's body and can detect biometric information such as the user's heart rate, blood pressure, body temperature, or brainwave from the attached part. there is.
  • the biometric information may include the user's motion.
  • the biometric information collection device 20 may include at least one of a smart watch, smart glasses, and a smart band that can be worn by a user.
  • the biometric information collecting device 20 may be a device that senses a sound signal generated from a user at a specific location.
  • the biometric information collection device 20 may be a device (eg, a microphone) disposed at a specific location to sense acoustic information generated from a user under a specific situation.
  • the biometric information collection device 20 may be an acoustic sensor attached to a user's bed to sense an acoustic signal generated from a sleeping user, such as breathing or nose of a user in a sleep preparation state or sleeping state.
  • the biometric information collection device 20 may be a smartphone held or carried by the user.
  • the smart phone may include at least one biosensor capable of collecting user's biometric information, and may collect biometric information of a contacted user using the provided biosensor.
  • a smart phone is provided with a photo-plethysmography (PPG) sensor to detect photoplethysmography from a user holding the smartphone and measure the user's respiration rate based on the detected photoplethysmography.
  • PPG photo-plethysmography
  • ECG electrocardiogram
  • the artificial intelligence device 10 may be simultaneously or sequentially connected to one or more biometric information collection devices 20 through a wireless communication connection according to a preset method, and one or more connected biometric information collection devices ( 20) can collect the user's biometric information sensed.
  • the artificial intelligence device 10 may select and select the biometric information collected by each biometric information collecting device 20 based on preset conditions.
  • the preset condition may be an estimated user's situation. That is, the artificial intelligence device 10 may determine a device to collect biometric information based on the estimated user's situation, and may receive only the user's biometric information collected through the determined collection device.
  • the preset condition may be related to a device that collects biometric information.
  • the artificial intelligence device may select any one of the collection devices according to the operating state or specifications of the collection device, and collect the information through the selected collection device. It is possible to receive only the user's biometric information.
  • the preset condition may be related to accuracy of collected biometric information.
  • biosignals that can be detected from the user's skin such as heart rate
  • the artificial intelligence device 10 may determine that the user's heart rate detected from the smart location worn on the user's wrist is more accurate than the user's heart rate detected from the user's palm contacted through gripping. Accordingly, the artificial intelligence device 10 may select and receive the heart rate measured by the smart watch.
  • the artificial intelligence device 10 may estimate the current user's situation based on the user's biometric information collected from at least one connected biometric information collection device 20 . For example, when the detected heart rate or breathing rate of the user corresponds to the sleeping state, the artificial intelligence device 10 may determine that the user is currently in the sleeping state. Alternatively, when the detected heart rate and respiration rate of the user are more than a certain number of times and motions of a certain level or more detected by the user are regularly detected, it can be estimated that the user is currently exercising.
  • the artificial intelligence device 10 may further use not only the user's biometric information but also environment information (eg, location information, visual information, illuminance information, etc.) around the user, and the user's surroundings.
  • the environment information of may be directly collected by the artificial intelligence device 10 or collected from at least one other connected device.
  • at least one device that collects environment information around the user includes a biometric information collection device 20 that collects the biometric information, or an output device 50 connected to the artificial intelligence device 10 or It may include at least one acoustic information collection device 30 .
  • the artificial intelligence device 10 may estimate the user's current situation based on biometric information sensed from at least one connected biometric information collecting device 20 .
  • the output device 50 may be controlled to retrieve user-customized content according to the estimated user situation from the content source 40 and output the content retrieved from the content source 40 through the output device 50.
  • the artificial intelligence device 10 can detect the effect of the currently output content on the user based on the biometric information received from the biometric information collecting device 20, and according to the estimated user's situation, It is possible to determine whether the output content has a positive or negative effect on the user.
  • user-customized music characteristics corresponding to currently estimated user situations may be learned according to the influence of currently output content on the user.
  • the user-customized content that the artificial intelligence device 10 retrieves from the content source 40 according to the estimated user's situation may be based on previously learned user-customized music characteristics. Further, the learning result may be continuously updated based on the result of detecting the influence of the currently output content on the user.
  • the user may be affected by various other sounds included in the reproduced content as well as the reproduced content.
  • the change in biometric information sensed by the user is not only the current estimated situation, that is, the content output for meditation, but also the sound of the rain. it could be That is, not only content that is simply reproduced, but also various other sounds that the user can hear, such as nature sounds and life noises, can affect changes in the user's biometric information.
  • the artificial intelligence device 10 in order to detect not only the output content but also the sound that the user can hear, that is, the acoustic information around the user, at least one acoustic information capable of detecting the acoustic information around the user It may further be connected with the collection device 30 .
  • the acoustic information collection device 30 may be a fixed type fixedly disposed in a specific place, or a mobile type that can be worn or possessed by a user and moved together with the user, such as a user's smart phone or wearable device. . Meanwhile, when the connected acoustic information collection device 30 is of a fixed type, the artificial intelligence device 10 estimates the user's situation based on the connected acoustic information collection device 30 or the acoustic information collection device providing the collected acoustic information. can do.
  • the artificial intelligence device 10 determines that the user is in the current bed when the acoustic information collection device is connected or acoustic information is transmitted from the acoustic information collection device. condition can be judged. And based on the acoustic information or biometric information sensed from the acoustic information collection device or the biometric information collection device, it may be determined whether the user in bed is sleeping.
  • the learning of the artificial intelligence device 10 and the output of user-customized content may be performed separately. That is, even when the user does not request the output of the content, the artificial intelligence device 10 is connected to the user's biometric information and at least one acoustic information collection device 30 based on at least one biometric information collection device 20 and at least one acoustic information collection device 30. Acoustic information around the user may be collected, and learning may be performed according to the collected information.
  • the artificial intelligence device 10 responds to the user's sound by natural sounds around the user, such as the sound of wind, rain, or birds chirping, based on biometric information collected from the user. Changes in the biological state can be determined. In addition, it is possible to determine whether the change in the biological state is positive or negative according to the situation of the user estimated based on the biometric information collected from the user.
  • the artificial intelligence device 10 may collect the user's biosignal through the biometric information collecting device 20 .
  • the collected bio-signals such as heart rate or blood pressure, are more stable, it is possible to detect whether the nature sound has a positive or negative effect on the user based on the estimated user's situation.
  • a natural sound such as a sound of water droplets having a repetitive melodic structure or a sound of wind caused by a breeze (hereinafter referred to as natural sound) is detected around the user, and the detected user's heart rate or blood pressure is stabilized.
  • the artificial intelligence device 10 may determine that the natural sound has a positive effect on the user. Then, the artificial intelligence device 10 analyzes the characteristics of the natural sound, that is, the tempo, loudness, pitch, etc., and analyzes the currently estimated user situation according to the analyzed characteristics of the natural sound, that is, the user situation corresponding to meditation or sleep. Learning can be performed as customized content for
  • the artificial intelligence device 10 it can be determined that natural sounds have a negative effect on the user. In this case, the artificial intelligence device 10 may not perform learning on the currently sensed natural sound.
  • the artificial intelligence device 10 performs learning on the currently detected natural sound. may not For example, when the user's state estimated from the collected biometric information is exercising, the artificial intelligence device 10 may determine that the currently sensed natural sound is ineffective in enhancing the user's exercise effect. Then, the artificial intelligence device 10 may not perform learning on the currently sensed natural sound.
  • the user's situation is estimated based on the user's biometric information collected from the biometric information collection device 20, and the sound information around the user collected from the acoustic information collection device 30 and the change in the collected biometric information
  • An artificial intelligence device (10) for determining whether or not the sound information around the user has a valid effect on the estimated user's situation based on the above, and learning the characteristics of the user-customized content according to the estimated user's situation based on the determination result. ) will be examined in more detail in FIG. 2 below.
  • the artificial intelligence device 10 may be connected to a content source 40 including at least one piece of content, and may be connected to an output device 50 capable of reproducing content retrieved from the content source 40.
  • the content source 40 may be a device around the artificial intelligence device 10 including at least one piece of content data.
  • the content source 40 includes mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation devices, slate PCs, and tablet PCs.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • slate PCs slate PCs
  • tablet PCs tablet PCs.
  • wearable device eg, watch type terminal (smartwatch), glass type terminal (smart glass), head mounted display (HMD)
  • It may also include a desktop computer or a digital TV.
  • the content source 40 may be a preset server that can be connected through a wireless network connection.
  • the server may be a server that provides the requested sound source in a real-time streaming method.
  • the artificial intelligence device 10 may search the server for content according to the pre-learned user-customized music characteristics for the currently estimated user's situation, and request the searched content to the server. Then, the server may provide the content requested by the artificial intelligence device 10 in a real-time streaming manner, and the artificial intelligence device 10 controls the output device 50 to provide the content from the server, that is, the content source 40. content can be output.
  • the content provided by the content source 40 and output from the output device 50 may be auditory content.
  • the output device 50 may include at least one speaker for reproducing auditory content provided from the content source 40 .
  • the content provided and output from the content source 40 may be visual content.
  • the output device 50 may include a display capable of reproducing visual content.
  • the artificial intelligence device 10 estimates the user's situation based on the user's biometric information collected by at least one biometric information collecting device 20, and the reproduced visual content in the estimated user situation is positive for the user. You can determine whether it has an impact or a negative impact. Further, according to the determination result, user-customized characteristics, in this case, user-customized visual content characteristics, may be learned.
  • the content is auditory content.
  • the present invention is not limited thereto, and can be applied even when the content is visual content.
  • the user-customized content characteristics learned by the artificial intelligence device 10 may be user-customized visual content characteristics.
  • the artificial intelligence device 10 may be connected to at least one visual information collection device (not shown) for collecting visual information around the user.
  • the visual information collecting device (not shown) is for collecting visual information around the user, and can collect information about the illuminance around the user or the space around the user (eg, the size of the space), , a sensor for collecting the visual information, and the like.
  • FIG. 2 is a block diagram for explaining the configuration of an artificial intelligence device 10 according to an embodiment of the present invention.
  • the artificial intelligence device 10 includes a control unit 100, a communication unit 110 connected to the control unit 100, a content characteristic analysis unit 120, and artificial intelligence. It may be configured to include a unit 130 and a memory 150 . And it may be configured to further include a content synthesis unit 140.
  • the components shown in FIG. 2 are not essential to implement the artificial intelligence device 10, so the artificial intelligence device 10 described in this specification has more or fewer components than the components listed above. can have
  • the artificial intelligence device 10 may be implemented in various devices.
  • the artificial intelligence device 10 includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a PDA, a PMP, a navigation device, a slate PC, a tablet PC, an ultrabook, and a wearable device (eg, a watch type terminal). It can be implemented in the form of a smartwatch, glass-type terminal, HMD, etc. In addition, it can also be implemented in a desktop computer, digital TV, etc., of course.
  • the communication unit 110 performs wireless communication between at least one biometric information collecting device 20 and at least one acoustic information collecting device 30 and the artificial intelligence device 10 using a preset communication technology.
  • the communication unit 110 connects between the at least one biometric information collecting device 20 and the artificial intelligence device 10 or the at least one acoustic information according to Bluetooth or Bluetooth Low Energy (BLE) technology.
  • Wireless communication between the collection device 30 and the artificial intelligence device 10 may be made.
  • the artificial intelligence device 10 performs wireless communication with at least one other device (eg, at least one biometric information collection device, at least one acoustic information collection device, and an output device, etc.)
  • at least one other device eg., at least one biometric information collection device, at least one acoustic information collection device, and an output device, etc.
  • the content characteristic analyzer 120 determines the acoustic information collected from the acoustic information collection device 30 or the acoustic characteristics of specific content currently output through the output device 50 under the control of the controller 100. can be analyzed.
  • the content characteristic analysis unit 120 may analyze beat, pitch, timbre, volume, and the like from the specific content or collected sound information as sound characteristics.
  • the content characteristic analysis unit 120 may further analyze additional information according to the analysis target. For example, when the analysis target is specific content, background information of the content, for example, composer or singer of the content, gender of the instrument or singer played, and genre of the content may be additionally analyzed.
  • the analysis target is collected sound information
  • information such as the interval at which a certain melody is repeated (repetition period) and sound type (eg, water sound, wind sound, rain sound, etc.) can be additionally analyzed in the collected sound information. .
  • the artificial intelligence unit 130 serves to process information based on artificial intelligence technology, and includes one or more modules that perform at least one of information learning, information reasoning, information perception, and natural language processing. can include
  • the artificial intelligence unit 130 uses machine running technology to store a vast amount of information such as information stored in the artificial intelligence device 10, environmental information around the artificial intelligence device 10, and information stored in a communicable external storage. At least one of information (big data, big data) learning, reasoning, and processing may be performed.
  • the machine learning technology is a technology that collects and learns large-scale information based on at least one algorithm, and determines and predicts information based on the learned information. Learning of information is an operation of identifying characteristics, rules, criteria, etc. of information, quantifying the relationship between information and predicting new data using quantified patterns.
  • the algorithms used by these machine learning technologies can be algorithms based on statistics, for example, decision trees that use the tree structure as a predictive model, artificial algorithms that mimic the structure and function of neural networks in living things.
  • Neural networks genetic programming based on biological evolution algorithms, clustering that distributes observed examples into subsets called clusters, Monte Carlo that calculates function values as probabilities through randomly extracted random numbers method (Monter carlo method) and the like.
  • the deep learning technology is a technology that performs at least one of learning, judgment, and processing of information using an artificial neural network algorithm.
  • An artificial neural network may have a structure that connects layers and transmits data between layers.
  • This deep learning technology can learn a vast amount of information through an artificial neural network using a graphic processing unit (GPU) optimized for parallel computation.
  • GPU graphic processing unit
  • the artificial intelligence unit 130 may collect a vast amount of information for applying machine learning technology through information collection devices connected to the artificial intelligence device 10 .
  • the information collection devices may include at least one biometric information collection device 20 and an acoustic information collection device 30, and at least one device for collecting other information about the user's surrounding environment in addition to the biometric information and the acoustic information.
  • An information collection device may be included.
  • the collection of information hereinafter refers to an operation of detecting information through a sensor, extracting information stored in the memory 150, or receiving information from another device connected through communication, for example, the at least one information collection device. It can be understood as a term including.
  • the artificial intelligence unit 130 estimates (or infers) the user's situation using the information learned using the machine learning technology, and based on the estimated user's situation, the currently output content or the information collected from the user's surroundings It is possible to determine whether the sound information is positive or negative for the estimated user situation.
  • the artificial intelligence unit 130 determines that the currently output content or sound information collected around the user has a positive effect on the user when the biometric information sensed from the user matches the estimated user's situation, If the biometric information sensed from the user does not match the estimated user's situation, it may be determined that currently output content or acoustic information collected around the user has a negative effect on the user.
  • the user's customized acoustic characteristics for the currently estimated user's situation may be learned.
  • the artificial intelligence unit 130 transmits a control command for controlling other components of the artificial intelligence device 10 or executing a specific operation to the control unit 100 based on information learned using machine learning technology.
  • the controller 100 controls the artificial intelligence device 10 based on a control command to learn user-customized acoustic characteristics according to the estimated user situation, and to provide content matching the learned acoustic characteristics from the content source 40. You can search.
  • the communication unit 110 may be controlled to receive the searched content from the content source 40, and the output device 50 may be controlled to output the received content.
  • the artificial intelligence unit 130 and the control unit 100 may be understood as the same component.
  • the functions performed by the control unit 100 described in this specification can be expressed as being performed by the artificial intelligence unit 130, and the control unit 100 is named the artificial intelligence unit 130 or, conversely, the artificial intelligence unit 130.
  • the intelligence unit 130 may also be referred to as the control unit 100.
  • the artificial intelligence unit 130 and the control unit 100 may be understood as separate components.
  • the artificial intelligence unit 130 and the control unit 100 may perform various controls on the artificial intelligence device 10 through data exchange with each other.
  • the control unit 100 Based on the result derived from the artificial intelligence unit 130, the control unit 100 performs at least one function among functions executable in the artificial intelligence device 10, or at least one of the components of the artificial intelligence device 10. You can control one.
  • the artificial intelligence unit 130 may operate under the control of the control unit 180 .
  • the memory 150 stores data supporting various functions of the artificial intelligence device 10 .
  • the memory 150 includes a plurality of application programs (application programs or applications) running in the artificial intelligence device 10, data for the operation of the artificial intelligence device 10, instructions, and the artificial intelligence unit 130. It may store data for the operation of (eg, at least one algorithm information for machine learning, etc.).
  • the memory 150 may include information about at least one information collection device connectable to the artificial intelligence device 10 .
  • collection information collected from each information collection device may be stored.
  • it may include information about a user situation that can be estimated based on at least one piece of collected user biometric information.
  • data for determining a user's biological state that matches the estimated user's situation and a user's biological state that changes based on the collected biometric information may be included.
  • the artificial intelligence unit 130 can determine a trend in which the user's biometric state changes through the collected user biometric information, and determines whether the trend of change matches the estimated user situation. It is possible to determine whether output content or sound information collected around the user positively or negatively affects the estimated user situation.
  • the memory 150 may store information on user-customized sound characteristics corresponding to each situation of the user according to the learning of the artificial intelligence unit 130. Also, the memory 150 may store content received from the content source 40 . Also, the memory 150 may store data for controlling the output device 50 to output the stored content.
  • the controller 100 may control overall operations of the artificial intelligence device 10 .
  • the control unit 100 may control the communication unit 110 to receive information collected by the information collection devices from at least one communication-connected information collection device.
  • the artificial intelligence unit 130 may be controlled to estimate the user's situation based on the received collection information, and the environment around the user, that is, the content being output or the sound around the user, may be controlled for the estimated user's situation. It is possible to determine whether the acoustic environment formed by the user's surroundings has an effect on the estimated user's situation, and if so, whether the effect is positive or negative.
  • the controller 100 determines the factors that create the acoustic environment around the user, that is, the content currently output through the output device 50 or the sound around the user.
  • the content characteristic analyzer 120 may be controlled to analyze acoustic characteristics.
  • control unit 100 learns user-customized acoustic characteristics according to the current estimated user situation based on the analyzed acoustic characteristics, searches for content matching the learned acoustic characteristics from the content source 40, and provides information about the search.
  • the output device 50 may be controlled to output content received as a response. Therefore, the control unit 100 outputs the content that has a positive effect on the user in the currently estimated user situation according to the user's personal characteristics as a result of learning through the output device 50, thus having a positive effect on the currently estimated user situation. to create an acoustic environment that gives
  • the controller 100 may generate contents corresponding to the learned user-customized acoustic characteristics through content synthesis.
  • the control unit 100 determines that the user-customized sound characteristics derived as a result of sufficient learning for the currently estimated user situation are a voice of a specific gender (eg female), a specific genre (eg ballad), or a specific composer, Contents having characteristics matching the user-customized sound characteristics may be searched from the content source 40 . In addition, one content (composite content) composed of a plurality of searched content may be generated, and the output device 50 may be controlled to output the generated synthesized content.
  • a specific gender eg female
  • a specific genre eg ballad
  • the output device 50 may be controlled to output the generated synthesized content.
  • the controller 100 may synthesize user-customized content from searched contents according to the user-customized sound characteristics derived by the learning. For example, the control unit 100 searches for contents having at least some of the user-customized acoustic characteristics derived from the content source 40 for the currently estimated user situation, and selects portions matching the user-customized acoustic characteristics from the retrieved contents. can be extracted. In addition, the extracted partial contents may be connected and synthesized into one contents.
  • the controller 100 controls the Among the contents, contents related to the sound of waterdrops may be searched, and only parts matching the beat of the user-customized sound characteristic may be extracted from the searched contents.
  • the synthesized content may be generated by synthesizing the extracted parts.
  • control unit 100 may partially modulate the searched content according to the user-customized acoustic characteristics derived by the learning to generate the synthesized content. For example, the control unit 100 searches for contents related to the sound of water droplets among the contents of the content source 40, extracts parts corresponding to the sound of water drops from the searched contents, and converts the beats of the extracted parts into user-customized sound characteristics. It can be modulated according to the beat.
  • the synthesized content may be generated by synthesizing the modulated or extracted parts.
  • the artificial intelligence device 10 extracts at least a portion from the content retrieved and received from the content source 40, and synthesizes the plurality of extracted portions with each other. It may be configured to further include a synthesis unit 140.
  • control unit 100 of the artificial intelligence device 10 when there is another device to which an artificial intelligence algorithm is applied among other connectable devices (eg, information collection devices), the user-customized sound
  • other connectable devices eg, information collection devices
  • the user-customized sound In order to further shorten the time required for characteristic learning and providing content according to the learning result, collaboration with other devices to which the artificial intelligence algorithm is applied may be performed.
  • the control unit 100 when another device to which an artificial intelligence algorithm is applied (hereinafter referred to as another artificial intelligence device) is detected, the other artificial intelligence device, the artificial intelligence unit 130, and the artificial intelligence applied to the other artificial intelligence device
  • Information about intelligent algorithms can be exchanged.
  • information about software versions of artificial intelligence algorithms applied to the artificial intelligence unit 130 and the other artificial intelligence devices may be exchanged.
  • the artificial intelligence unit 130 and the other artificial intelligence device can identify the characteristics and learning method of the artificial intelligence algorithm applied to the other device.
  • the information is exchanged in such a way that the artificial intelligence device 10 broadcasts the information of the artificial intelligence unit 130, and the other artificial intelligence device receives its own information in response to the broadcasted information. It can be done in a way that transmits.
  • the artificial intelligence unit 130 and the other artificial intelligence devices learn the user-customized acoustic characteristics for the estimated user situation according to the above-described embodiment of the present invention through the information exchange, and according to the learned acoustic characteristics Information on variables required for a service providing customized contents can be exchanged. In addition, information about the expected processing time that can be processed for each variable can be exchanged.
  • the control unit 100 of the artificial intelligence device 10 may obtain information about variables required by each of the other connectable artificial intelligence devices and the processing time of each variable, and among the variables, the artificial intelligence device ( 10) can detect whether there is a variable that can be processed. And, if there is a detected variable, based on the time available for processing by the artificial intelligence device 10, a device capable of processing the detected variable in a faster time (another algorithm device or artificial intelligence device corresponding to the detected variable) ))) can be detected. And according to the result, the control unit 100 performs a processing process for the variable corresponding to the detected variable so that any one of the other algorithm devices or the artificial intelligence device 10 corresponding to the detected variable processes the variable. can negotiate with other algorithmic devices that
  • the information exchanged between the other artificial intelligence device and the artificial intelligence device 10 may further include information on readiness, information on service authority, and the like.
  • the information on the preparation state may include information on the operating state of the device.
  • the information on the service authority may be information on whether other devices can use exchanged information and provided data.
  • the artificial intelligence device 10 according to an embodiment of the present invention and other devices connected to the artificial intelligence device 10 (biometric information collection device 20, acoustic information collection device 30, content source (40) and the output device (50), and the configuration of the artificial intelligence device (10) has been described in detail.
  • FIG. 3 is a flowchart illustrating an operation process in which the artificial intelligence device 10 according to an embodiment of the present invention provides user-customized content according to the user's situation.
  • the control unit 100 provided in the artificial intelligence device 10 first receives information from at least one biometric information collection device 20 to which communication is connected, and each biometric information collection device ( 20) may receive the biometric information of the user sensed (S300). And based on the received at least one piece of user biometric information, a current user's situation may be estimated.
  • the artificial intelligence device 10 may obtain biometric information related to the user's heart rate, body temperature, and respiratory rate from a smart band or smart watch worn by the user.
  • information about the movement of the user's wrist may be acquired from the smart band or smart watch.
  • the user's current situation may be estimated based on the obtained heart rate, body temperature, respiratory rate, and movement information.
  • the controller 100 recalls a movement that regularly moves with a fast heart rate, a higher respiratory rate than usual, a rise in body temperature, and a displacement above a certain level. It can be detected from a smart band or smart watch. Accordingly, the controller 100 may estimate that the user is currently exercising based on the detected biometric information.
  • the control unit 100 allows the user to meditate or fall asleep. For this, the user's situation can be estimated by lying on the bed.
  • the controller 100 may more accurately estimate the user's situation based on information collected through at least one acoustic information collecting device 30 .
  • a sound normally detected during a normal sleep of a user hereinafter referred to as a sound during sleep
  • the controller 100 may estimate the user's situation as that the user is sleeping.
  • the controller 100 may determine that the user is meditating.
  • the sound during sleep of the user may be determined by learning according to the user's sleep, which means that the artificial intelligence device 10 or the at least one biometric information collection device 20 is a device to which an artificial intelligence algorithm is applied. In this case, it may be determined according to learning made in the at least one biometric information collection device 20 .
  • the determination of whether the user performs meditation according to the sound of the specific content is the learning result of the artificial intelligence device 10 according to the pattern of sound information detected when the user repeatedly performs meditation, or the collection of the at least one sound information. If the device 30 is a device to which an artificial intelligence algorithm is applied, it may be determined according to learning made in the at least one acoustic information collecting device 30 .
  • the controller 100 may search for content related to the estimated user's situation (S304).
  • the control unit 100 controls the learned user-customized acoustic characteristic in step S304. It is possible to search the content source 40 for content having characteristics that match the . For example, in step S304, the controller 100 may search the content source 40 for at least one content matched to a beat, timbre, sound type, etc. according to the user-customized sound characteristics.
  • the controller 100 can search for generally recommended content according to the currently estimated user's situation. For example, the controller 100 may search for at least one content included in a classification matched to a user's situation according to the content classification provided by the content source 40 . That is, if the estimated user's situation is meditation, the controller 100 may search the content source 40 for at least one content classified into a category corresponding to meditation.
  • the controller 100 may search for at least one piece of content according to a preset search criterion according to a currently estimated user situation.
  • content search criteria for each user's situation may be pre-stored in the memory 150, and the controller 100 may store pre-stored search criteria (eg, beat or tempo corresponding to the meditation performance situation) according to the estimated user's situation.
  • At least one content may be searched based on (tempo), time signature or tempo corresponding to an exercise performance situation.
  • the controller 100 receives the retrieved content from the content source 40 and controls the output device 50 to reproduce the received content. It can (S306). Then, from the user's biometric information collected from at least one connected biometric information collection device 20, a change in the user's biosignal according to the playback of the content may be detected (S310).
  • controller 100 may determine whether reproduction of the content is effective based on the detected change in the user's biological signal (S310).
  • the controller 100 may first determine whether or not reproduction of the content affects a change in the user's biosignal. That is, the controller 100 may compare the user's biometric information collected after a predetermined time has elapsed since the reproduction of the content started, and the user's biometric information collected before the predetermined time elapsed. Further, if the comparison result shows that the user's biological information difference is within an error range, it can be determined that the reproduction of the content does not affect the user's biological signal change. In addition, it may be determined that reproduction of the content has no effect on the currently estimated user's situation.
  • the control unit 100 reproduces the content It can be determined that this affects the situation of the currently estimated user. In addition, when it is determined that the reproduction of the content has an effect on the currently estimated user's situation, it is possible to determine whether the effect of the reproduction of the content is positive or negative.
  • control unit 100 determines whether the effect of playing the content is positive or negative according to whether the difference in the collected biometric information, that is, whether the change in the user's biometric signal corresponds to the currently estimated user's situation. can do.
  • the estimated user's situation is a meditation performance situation
  • the heart rate or respiration rate is changed more regularly and stably
  • the reproduction of the content is currently estimated. It can be determined that it has a positive effect on the user's situation, that is, meditation performance.
  • the change in the user's bio-signal is detected and the heart rate or respiration rate is more irregular and unstable, it can be determined that the reproduction of the content has a negative effect on the user's situation (meditation).
  • the controller 100 may determine whether reproduction of the current content has a positive or negative effect based on the user's situation. Accordingly, even if changes in biosignals are similar, when the situation of the estimated user is different, the determination result may also be different from each other.
  • the control unit 100 detects a change in the user's biological signal according to the difference between the user's biometric information collected after a predetermined time elapses after content reproduction and the user's biometric information collected before the predetermined time. , If the user's heart rate or respiration rate becomes faster and increases faster than a predetermined level, it is possible to determine whether the reproduction of the current content has a positive or negative effect according to the currently estimated user's situation. That is, if the currently estimated user's situation is a situation in which he is exercising, the controller 100 can determine that the reproduction of the content has a positive effect on the currently estimated user's situation. On the other hand, if the currently estimated user's situation is meditating, the controller 100 may determine that the reproduction of the content negatively affects the currently estimated user's situation.
  • control unit 100 may determine a change in the user's biometric signal according to a difference between the user's biometric information collected after a predetermined time elapses after content reproduction and the user's biometric information collected before the predetermined time, the current estimation Depending on the user's situation, whether or not the reproduction of the content affects the currently estimated user's situation may be determined according to whether the bio-signal change rate is faster or slower than the pre-learned bio-signal change speed.
  • the control unit 100 controls the rate of change of the detected bio-signal for a predetermined time after playing the content rather than the rate of increase in the heart rate or respiratory rate that normally increases according to the user's exercise situation. If is faster, it can be determined that there is an effect of reproduction of the content.
  • the rate of change of heart rate or respiratory rate which normally increases according to the user's exercise situation, may be learned based on biometric information collected in the user's exercise situation.
  • the control unit 100 controls the biosignal detected for a predetermined time after playing the content to stabilize to a certain level, that is, lower than the heart rate or respiratory rate that slows down according to the user's meditation situation. It can be determined that there is an effect of reproducing the content when the change speed of is faster and slower.
  • the rate of change in heart rate or respiratory rate which is normally slowed down according to the user's meditation situation, may be learned based on biometric information collected in the user's meditation situation.
  • the controller 100 may analyze the acoustic characteristics of the currently played content.
  • the controller 100 may analyze various sound characteristics such as time signature, tempo, timbre, and sound type from the reproduced content. Then, content having the same characteristics as the analyzed acoustic characteristics may be searched again from the content source 40 (S312).
  • the output device 50 may be controlled to output the currently searched content.
  • the controller 100 may re-perform the process of steps S308 and S310 with respect to the currently outputted content, that is, content having the same characteristics as the searched for.
  • the output device 50 may output another content having the same characteristics after the currently reproduced content is completed.
  • the influence of other content having the same characteristics on the user's situation may be analyzed, and the process of searching for and outputting other content having the same characteristics may be repeated according to the analyzed result.
  • the currently estimated user's situation is in a state of preparation for meditation or sleep
  • content that stabilizes the user's mind and body and slows down the heart rate or breathing rate can be continuously output when the user listens.
  • control unit Step 100 may search the content source 40 for content at least partially different from the sound characteristics of the currently reproduced content (S314). Then, proceeding to step S306, the output device 50 may be controlled to output the currently searched content.
  • control unit 100 can analyze the effect of reproduction of the content on the user through the process of steps S308 and S310 with respect to the currently output content, that is, the content re-searched in the step S314. Then, according to the analysis result, another content having the same acoustic characteristics as the currently played content is further searched (step S312), or content having at least some acoustic characteristics is searched again (step S314), and the process proceeds to step S306. , It is possible to control the output device 50 to output the content searched in step S312 or step S314.
  • the currently output content has an effect (positive influence) on the user's situation
  • content with the same acoustic characteristics can be continuously output, and if it is not effective on the user's situation, other acoustic characteristics can be output.
  • the content to have may be output through the output device 50 .
  • the controller 100 can detect whether or not the currently estimated situation of the estimated user has changed when re-entering the step S306 in which the searched content is reproduced. To this end, the controller 100 may re-estimate the user's situation based on the biometric information collected from the connected biometric information collecting device 20, as described in steps S300 and S302. In addition, it may be determined whether the estimated user's situation is the same as the pre-estimated user's situation.
  • step S304 content related to the changed user situation may be retrieved from the content source 40. Then, proceeding to steps S306 to S310, the searched content may be reproduced, a change in the user's biological signal according to the reproduced content may be detected, and an effect of the reproduced content may be analyzed according to the detected change in the biological signal. In addition, new content may be searched in step S312 or step S314 according to the analyzed result.
  • the change in the user's biological signal detected is not only the sound according to the content output through the output device 50, but also various natural noises around the user. may be a result of That is, the change in the user's biological signal may be based on an acoustic environment around the user that includes at least one of the sound of output content and natural noise around the user.
  • the artificial intelligence device 10 affects not only the acoustic environment around the user including the sound of the output content, but also the effect of the acoustic environment when the sound of the output content is not included on the user. It may be connected to at least one acoustic information collection device 30 that collects acoustic information around the user in order to detect a change in the user's bio-signal and learn the user-customized acoustic characteristics accordingly. The user-customized acoustic characteristics may be learned based on acoustic information collected from the at least one acoustic information collection device 30 connected thereto.
  • FIG. 4 is a flowchart illustrating an operation process in which the artificial intelligence device 10 according to an embodiment of the present invention learns user-customized acoustic characteristics based on acoustic information collected around the user.
  • the control unit 100 of the artificial intelligence device 10 may first collect acoustic information around the user from at least one acoustic information collecting device 30 connected ( S400).
  • the acoustic information collection device 30 may include various wearable devices such as a smart watch or a smart band worn by a user.
  • the wearable device may be a biometric information collection device as described above. That is, some of the acoustic information collection devices and some of the biometric information collection devices may be the same device, and in this case, the corresponding devices may separately and simultaneously collect biometric information and acoustic information.
  • the controller 100 may collect user's biometric information through at least one biometric information collection device 20 connected thereto (S402). And based on the collected biometric information of the user, the current user's situation can be estimated (S404). Steps S402 and S404 may be the same as or similar to steps S300 and S302 of estimating the user's situation based on the biometric information of the user collected in FIG. 3 . Alternatively, the user estimation results of steps S300 and S302 may be used as they are.
  • the controller 100 may determine whether or not the acoustic environment around the user has an effect on the currently estimated user's situation (S406).
  • the step S406 may be a process similar to the process of determining whether the sound of the content has an effect on the user in the step S310 of FIG. 3 . That is, the controller 100 detects a change in the user's biological signal according to a difference between the user's biometric information received after a predetermined time and the user's biometric information received before the predetermined time under the estimated user situation. can be detected. In addition, it is possible to determine whether the acoustic environment around the current user has a positive effect on the user according to whether the change in the detected biosignal corresponds to the currently estimated user situation.
  • the controller 100 may analyze the acoustic characteristics of the currently collected acoustic information (S408 ). For example, the control unit 100 may analyze acoustic characteristics common to a plurality of acoustic information collected from a plurality of different acoustic information collecting devices in step S408.
  • the acoustic characteristics may include a timbre, a sound type, and a beat or tempo of a melody that the plurality of acoustic information have in common.
  • control unit 100 may extract at least one of the timbre, sound type, and time signature or tempo of the melody that the plurality of acoustic information has in common as the acoustic characteristic of the collected acoustic information. .
  • step S408 if at least one acoustic characteristic is extracted from the collected acoustic information, a user-customized acoustic characteristic for the currently estimated user's situation may be learned according to the extracted at least one acoustic characteristic (S410). ).
  • the controller 100 may perform learning of the user-customized acoustic characteristics through a learning algorithm of machine learning, for example, deep learning. Then, when the learning is completed, the control unit 100 proceeds to step S400 again, repeats the process from step S400 to step S406, and performs the process of step S408 to step S410 again according to the determination result of step S406.
  • step S406 if the acoustic environment around the current user has no effect on the currently estimated user situation, the controller 100 proceeds to step S400 again to collect acoustic information around the user.
  • steps S402 to S406 may be performed again without learning.
  • the process described in FIG. 4 is to perform user-customized acoustic characteristic learning according to acoustic information detected around the user, and can be performed even when content is not output through the output device 50 . That is, it may be a process that is performed separately from the output of the content.
  • the artificial intelligence device 10 since the learning process can be performed separately from the output of the content, the artificial intelligence device 10 according to the embodiment of the present invention is in a state in which the output device 50 is not controlled, that is, in a state in which no content is output. Learning may be performed according to sounds detected around the user. Therefore, the artificial intelligence device 10 may analyze the effect of natural sounds such as rain, water droplets, or wind on the user with respect to the currently estimated user's situation, and based on the natural sound, the current Acoustic characteristics that can positively affect the estimated user situation, that is, user-customized acoustic characteristics may be learned.
  • natural sounds such as rain, water droplets, or wind
  • step S304 of FIG. 3 may be a step of retrieving content according to the learned user-customized acoustic characteristics from the content source 40 .
  • the control unit 100 that is, the artificial intelligence unit 130 extracts common characteristics of the collected acoustic information regardless of whether or not the collected acoustic information has a positive effect, and the user's effect of the acoustic information Different weights can be set for each characteristic extracted based on For example, the controller 100 sets a positive (+) weight when the collected sound information has a positive effect on the user according to the currently estimated user's situation, and sets a negative weight when the collected sound information has a negative effect on the user. (-) weight can be set.
  • control unit 100 can acquire both user-customized sound characteristics having a positive effect on a specific user situation and user-customized sound characteristics having a negative effect on the specific user situation. there is.
  • the artificial intelligence device 10 generates new content based on the learned acoustic characteristics by controlling the content synthesis unit 140 when there are sufficiently learned user-customized acoustic characteristics for a specific situation. You may.
  • FIG. 5 is a flowchart illustrating an operation process in which the artificial intelligence device 10 according to an embodiment of the present invention generates user-customized content based on pre-learned acoustic characteristics.
  • the artificial intelligence device 10 may search for pre-learned user-customized acoustic characteristics corresponding to a currently estimated user situation (S500).
  • acoustic characteristic may be searched in step S500. For example, a specific beat or tempo, a specific tone, a specific sound type, a specific composer, a specific genre, or a specific singer may be searched for as the user-customized sound characteristics.
  • the controller 100 may search the contents source 40 for contents including the searched user-customized sound characteristics (S502).
  • the controller 100 may search not only all of the searched user-customized sound characteristics, but also contents having the same sound characteristics as a predetermined number or more. Accordingly, among the contents of the content source 40, contents whose acoustic characteristics match at least some of the user-customized acoustic characteristics retrieved in the step S500 may be searched in the step S502.
  • the controller 100 may search for contents including a part of the contents of the contents source 40 that match the user-customized sound characteristics searched in step S500. That is, if the user-customized sound characteristics retrieved in the step S500 are a tempo corresponding to moderato and a sound type corresponding to the sound of falling water droplets, the controller 100 produces the sound of water drops repeatedly falling at a normal speed. Content including at least a part of may be retrieved from the content source 40 .
  • the controller 100 may extract at least a part that matches the user-customized sound characteristics searched in step S500 from each of the searched contents (S504). In this case, if all of the searched content matches the user-customized sound characteristic, the entire content may be extracted, and if a part of the searched content matches the user-customized sound characteristic, a part of the content may be extracted in step S504.
  • the control unit 100 may synthesize the extracted contents to create new user-customized acoustic contents (S506).
  • the control unit 100 may connect the contents extracted in step S504 to each other to create new contents corresponding to a preset time.
  • the predetermined time may be set in advance by the user, or may be determined according to the duration of the currently estimated user's situation.
  • the controller 100 may determine the preset time according to a learning result related to the duration of the user situation. That is, the controller 100 learns the duration of the currently estimated user context based on data on the times the currently estimated user context is maintained, and sets the play time calculated based on the learned context duration.
  • the branch may generate the synthetic content.
  • the artificial intelligence device 10 when there is another device to which an artificial intelligence algorithm is applied among other connectable devices (eg, information collection devices), the artificial intelligence device 10 of the present invention
  • the artificial intelligence device 10 of the present invention In order to further shorten the time required for the service according to the embodiment, that is, the service that learns user-customized acoustic characteristics and provides content according to the learned result, it can collaborate with other devices to which the artificial intelligence algorithm is applied.
  • FIG. 6 is a flowchart illustrating an operation process in which the artificial intelligence device 10 according to an embodiment of the present invention collaborates with other devices to which an artificial intelligence algorithm is applied.
  • 7 is an exemplary view showing an example of information exchanged between the artificial intelligence device 10 according to an embodiment of the present invention and other devices to which the artificial intelligence algorithm is applied for collaboration.
  • 8 is a conceptual diagram illustrating a structure in which the artificial intelligence device 10 according to an embodiment of the present invention controls another device based on information collected according to the collaboration.
  • FIG. 6 may be an operation process performed for connection with at least one other device in the present invention, for example, at least one biometric information collection device or at least one acoustic information collection device.
  • the at least one collection device may be connected to the artificial intelligence device 10 according to an embodiment of the present invention, and the result detected by the sensor provided in each collection device, the artificial intelligence device 10 It may be processed based on the processing process negotiated with the intelligent device 10 and the processed result may be transmitted to the artificial intelligence device 10 as collected data. Accordingly, the biometric information or acoustic information collected in step S300 of FIG. 3 or step S400 or S402 of FIG. 4 is processed by the biometric information collecting device or the acoustic information collecting device according to the operation process and negotiation process of FIG. 6 below. , may be data transmitted to the artificial intelligence device 10.
  • the control unit 100 of the artificial intelligence device 10 may first search for at least one device from which to collect information around the user (S600).
  • at least one information collection device eg, biometric information collection device, acoustic information collection device, location information collection device, etc.
  • worn by the user or disposed around the user may be searched.
  • the controller 100 may detect a device to which an artificial intelligence algorithm is applied from among at least one information collection device searched in step S600 (S602).
  • Data related to processing of the artificial intelligence algorithm may be exchanged with the detected devices, that is, devices to which the artificial intelligence algorithm is applied (hereinafter, other artificial intelligence devices) (S604).
  • the data exchange of the information is performed by the artificial intelligence device 10 broadcasting the data of the artificial intelligence unit 130, and the other artificial intelligence device itself in response to receiving the broadcasted data. It can be made in a way of transmitting data of.
  • the artificial intelligence device 10 may exchange information about variables required for a service that learns user-customized acoustic characteristics and provides customized content according to the learned acoustic characteristics with other artificial intelligence devices.
  • information about the expected processing time that can be processed for each variable can be exchanged. 7 illustrates an example of information included in data exchanged between the artificial intelligence device 10 and other artificial intelligence devices for this purpose.
  • exchanged data 700 includes a header 710 and basic algorithm information 720 ), processing time information 730, readiness information 740, service authority 750, and other data 760.
  • the header 710 may include identification information of an artificial intelligence device transmitting the exchanged data 700 shown in FIG. 7 .
  • information about the serial number of a segment of data may be included. Accordingly, the device receiving the exchanged data 700 of FIG. 7 can identify the sender device that sent the exchanged data 700 based on the information included in the header 710 .
  • the original data can be restored by merging the exchanged data transmitted from the sender device based on the segment serial number.
  • the exchange data 700 may include basic information about an algorithm applied to the sender device, that is, algorithm basic information 720 .
  • algorithm basic information 720 may include information about the software name and software version of the artificial intelligence algorithm applied to the caller's device.
  • it may include information on which of the methods applied in the algorithm, for example, decision tree, artificial neural network, genetic programming, clustering, and Monte Carlo method is applied.
  • the artificial intelligence device 10 and the other artificial intelligence device can identify the characteristics and learning method of the artificial intelligence algorithm applied to the counterpart device.
  • processing time information 730 may include information on variables 731a and 732a requiring processing for a service according to an embodiment of the present invention. And it may include information on processing time (hereinafter referred to as processing time information 731b and 732b) that may be required for the sender device to process each of the variables.
  • the exchange data 700 may further include readiness information 740 for operation readiness and information on service authority 750 .
  • the information on the preparation state may include an operating state of the device, that is, whether or not a service can be provided.
  • the information on the service authority may be information on whether other devices can use exchanged information and provided data.
  • the collected information (eg, biometric information or acoustic information) is artificially Whether or not the intelligent device 10 can be used to provide a service may be indicated through the service authority. That is, when a user studies in a place that requires quietness, such as a reading room, the biometric information collection device provides information limiting the use of biometric information collected based on the environment around the user and the user's location as the service authorization information. It can be provided to the artificial intelligence device 10.
  • the artificial intelligence device 10 receives the biometric information with limited service authority, and accordingly, even if there is a user's customized sound characteristic learned in advance for the user's study situation, it may not search for and output the corresponding content. there is.
  • the artificial intelligence device 10 may use the received information for user-customized acoustic characteristic learning according to the currently estimated user's situation.
  • the artificial intelligence device 10 may include acoustic information received from at least one acoustic information collection device 30 connected and biometric information received from at least one biometric information collection device 20 connected (a biometric information having limited service authority). information), it is possible to learn a user-customized sound characteristic for a current situation, that is, a situation in which a user is studying in a reading room.
  • the other data 760 may include various additional data not described above.
  • the other data 670 may include information collected by the caller's device, for example, collected biometric information or acoustic information.
  • the other data 670 may include information collected by the caller's device, for example, collected biometric information or acoustic information.
  • other information collected in other related devices eg, location information collection devices may be included.
  • the control unit 100 exchanges the exchange data 700 including the information shown in FIG. 7, the variables required by each of the other connectable artificial intelligence devices and the processing time of each variable. information can be obtained. And based on the obtained variables and the processing time of each variable, the control unit 100 may perform negotiations with other artificial intelligence devices 10 for variable processing (S606). In this case, the control unit 100 may detect a device capable of processing a corresponding variable more quickly based on the time available for processing by the artificial intelligence device 10 . Further, based on the detection result, negotiation may be performed to determine a subject to process the corresponding variable.
  • step S606 the control unit 100, together with at least one other artificial intelligence device, processes variables required in the negotiated artificial intelligence algorithm processing process, and according to the processed variables, the controller 100 processes the at least one Data transmitted from one other artificial intelligence device may be collected (S608).
  • the specific artificial intelligence device has a Wi-Fi module and at least one wireless Location information of the user may be calculated based on information of a wireless access point (AP).
  • AP wireless access point
  • the artificial intelligence device 10 can more quickly and simply calculate the location information of the user through the GPS module.
  • the location information of the user may be calculated within a shorter time by the artificial intelligence device 10 than the specific artificial intelligence device.
  • the difference in calculation time that is, information on the processing time can be exchanged between the specific artificial intelligence device and the artificial intelligence device 10 through the exchange of the exchange data 700 .
  • step S606 the control unit 100 determines whether the artificial intelligence device 10 calculates the user location information or the specific artificial intelligence device based on the variable, that is, the user location information and the processing time of the variable. It is possible to negotiate whether to calculate user location information. Accordingly, the controller 100 may negotiate a processing process of the user location information (variable) with the specific artificial intelligence device so that the artificial intelligence device 10, not the specific artificial intelligence device, calculates the user location information. .
  • the artificial intelligence device 10 may calculate the location information of the user and provide it to the specific artificial intelligence device. Accordingly, since the time for calculating the variable required by the specific artificial intelligence device to provide the service, that is, the user location information, is shortened, the specific artificial intelligence device takes time to generate data to be provided to the artificial intelligence device 10 time may be shortened. In addition, due to the reduction in the required time, the overall time required to provide the service according to the embodiment of the present invention can be reduced.
  • the artificial intelligence device 10 may process a specific variable instead of the specific biometric information collection device 21 through the negotiation performed in step S606 of FIG. 6 .
  • the specific biometric information collection device 21 receives a variable processed by the artificial intelligence device 10 instead of processing the specific variable itself, processes the received variable, and requests the artificial intelligence device 10. can generate and provide information that can be used.
  • the artificial intelligence device 10 processes variables (eg, user location) required for collection of biometric information from the specific biometric information collection device 21 according to process processing negotiation.
  • variables eg, user location
  • processed variable information that is, variable information (eg, user location information) 800 may be transmitted to the specific biometric information collecting device 21 .
  • the specific biometric information collection device 21 collects the biometric information requested by the artificial intelligence device 10 through an artificial intelligence algorithm based on the provided variable (user location information) 800 and artificially converts the collected biometric information to artificial intelligence. to the intelligent device 10.
  • the specific biometric information collection device 21 may collect the user's biometric information by reflecting the variable information, that is, the user location information 800 received from the artificial intelligence device 10 .
  • the specific biometric information collection device 21 determines that the reason why the user's breathing has become low is that the user is meditating, etc. It can be determined that it is due to a positional reason, not a reason such as being physically stabilized as in the case of performing.
  • the specific biometric information collection device 21 generates biometric information indicating that the user's biosignal is in a normal state and sends it to the artificial intelligence device 10. It can transmit (810).
  • the information transmitted from the specific biometric information collection device 21 to the artificial intelligence device 10, that is, exchange data may include service authority information.
  • the service authority may include information about the authority to use the information included in the exchange data.
  • the service authority may be determined according to environment information obtained from the user's surroundings, such as location information or time information.
  • the specific biometric information collecting device 21 may identify that the current user's location is a 'reading room' based on the variable information 800 received from the artificial intelligence device 10, that is, the user location information. . Then, the specific biometric information collecting device 21 determines the authority (service authority) to use the currently collected biometric information of the user based on the location according to the user's location, and transmits the information including the determined service authority to the collected data. It can be transmitted along with biometric information.
  • the authority service authority
  • the specific biometric information collection device 21 may include and transmit information indicating that the user has no authority to use biometric information as a service authority.
  • the artificial intelligence device 10 may receive biometric information together with service authority information in which the use of biometric information is restricted. Therefore, the artificial intelligence device 10 may be restricted from outputting 820 content through the output device 50 using the collected biometric information. However, learning based on the received biometric information may be possible.
  • FIG. 9 is a flowchart illustrating in detail the operation process of step S606 of FIG. 6 in which the artificial intelligence device 10 according to an embodiment of the present invention negotiates with another device to which an artificial intelligence algorithm is applied for collaboration.
  • the control unit 100 of the artificial intelligence device 10 the artificial intelligence algorithm for each device detected that the current artificial intelligence algorithm is applied for the negotiation of the processing process, Variables required for processing can be detected.
  • a variable that can be calculated by the artificial intelligence device 10 may be detected (S900).
  • control unit 100 of the artificial intelligence device 10 may calculate expected processing times for each of the variables capable of being calculated by the controller 100 in step S900 (S902). For each of the calculated variables, the expected processing time calculated in step S902 may be compared with the variable processing time in another artificial intelligence device. And based on the comparison result, it is possible to determine a processing subject for each variable that can be calculated (S904).
  • the controller 100 sets the specific variable to the artificial intelligence device 10.
  • a processing process for the specific variable may be negotiated with the other artificial intelligence device to be processed.
  • the preset threshold time is calculated by considering the increase in computational load on the artificial intelligence device 10 as the artificial intelligence device 10 processes the specific variable instead, and is calculated over the threshold time.
  • the processing time is shorter than the variable processing time, it may be determined that it is more advantageous for the artificial intelligence device 10 to process the specific variable.
  • the critical time may be a time determined through a plurality of experiments conducted in relation to the present invention.
  • the threshold time may be a time reflecting the time required to transmit the specific variable from the artificial intelligence device 10 to the other artificial intelligence device.
  • the critical time may have a value greater than the time required to transmit the variable information calculated by the artificial intelligence device 10 to the other artificial intelligence device 10 .
  • the above-described present invention can be implemented as computer readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. , and also includes those implemented in the form of a carrier wave (eg, transmission over the Internet).
  • the computer may include the control unit 100 of the artificial intelligence device 10. Therefore, the above detailed description should not be construed as limiting in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)

Abstract

본 발명은 주변의 환경으로부터 추정되는 사용자 상황에 근거하여 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스에 관한 것으로, 컨텐츠 소스 및, 사용자의 생체 정보를 수집하는 적어도 하나의 생체정보 수집 디바이스와 통신 연결을 수행하는 통신부와, 상기 수집된 생체 정보에 근거하여 사용자의 상황을 추정하고, 수집된 생체 정보의 변화에 따라 사용자 주변의 음향 환경이 상기 사용자의 생체 신호에 미치는 영향을 검출 및, 검출된 영향과 상기 추정된 사용자 상황에 근거하여 상기 추정된 사용자 상황에 대응하는 사용자 맞춤형 음향 특성을 학습하는 인공지능부 및, 상기 인공지능부의 학습 결과에 따른 사용자 맞춤형 음향 특성에 근거하여 적어도 하나의 컨텐츠를 상기 컨텐츠 소스에서 검색 및, 검색된 컨텐츠의 음향 신호가 상기 통신부를 통해 연결되는 출력 디바이스에서 출력될 수 있도록, 상기 통신부 및 출력 디바이스를 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법
본 발명은 주변의 환경으로부터 추정되는 사용자 상황에 근거하여 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및 그 디바이스를 제어하는 방법에 대한 것이다.
업무나 공부 또는 명상 등의 경우, 고요한 것보다 음악을 함께 듣는 것이 업무 또는 학습능률을 향상시키고 집중력을 높일 수 있음이 널리 알려져 있다. 또한 운동 등의 경우에 빠르고 흥겨운 음악을 들으면서 운동을 하는 것이 그렇지 않은 경우보다 사용자의 기분을 고양시켜 운동 효과를 향상할 수 있음이 널리 알려져 있다.
일반적으로 업무나 공부 또는 명상 등과 같이, 사용자의 정서적 안정이 요구되는 경우, 함께 들어서 능률 향상에 도움이 되는 음악으로는 클래식 음악이나 피아노 선율의 음악, 또는 음악에 주변 소음이나 백색 소음이 섞여서 일정한 주파수 스펙트럼을 가지는 로파이(Lo-Fi, Low Fidelity) 장르의 음악이나, 물방울 소리나 바람 소리 등 자연적인 소리 등이 혼합되어 반복적이고 정서적으로 편안함을 주는 멜로디 구조를 가지는 앰비언트(Ambient) 음악 등이 주로 이용된다. 또한 운동 등의 경우에는 사용자의 기분을 고양하기 위해 빠른 박자의 댄스곡이나 팝(Pop), 또는 록(Rock) 장르의 음악 등이 이용된다.
그런데 각각의 사용자마다 어떤 상황에서 어떤 음악을 듣는 것이 보다 효율적인지에 대해서는 개인별로 큰 격차가 존재한다. 따라서 어떤 특성의 음악이 자신에게, 현재 상황에서 보다 적합한지를 알기 어렵다는 문제가 있다.
따라서 업무나 공부 시, 또는 운동 시에 음악을 함께 듣는 경우, 사용자의 상황에 대해 효과가 있다고 널리 알려진 음악이나 타인이 추천한 음악을 선택하거나, 또는 사용자가 자신의 취향에 따라 사용자가 임의로 선택한 음악을 선택하는 것이 일반적이다.
그러나 자신에게 적합한 특성을 정확하게 모르는 상태에서 음악을 선택하는 것은, 큰 개인차로 인하여 오히려 음악을 듣지 않는 것보다 능률이나 집중도를 보다 낮추거나 효과를 떨어뜨릴 수 있다. 이에 업무나 학업, 또는 운동 등 다양한 사용자의 상황 하에서, 학습이나 업무 능률, 또는 운동 효과를 최대화시킬 수 있는 주변 환경을 조성할 수 있도록 하는 사용자 맞춤형 컨텐츠에 대한 사용자들의 니즈(needs)가 발생하고 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, 각 상황별로 사용자의 개인적 특성에 따라 능률 향상 또는 효율 증진에 효과가 있는 컨텐츠의 특성을 검출하고, 검출된 특성에 따른 컨텐츠를 검색하여 제공하는 인공지능 디바이스 및 그 디바이스의 제어 방법을 제공하는 것이다.
또한 본 발명은 사용자 맞춤형 컨텐츠를 제공하는 서비스를 위해 복수의 인공지능 디바이스가 협업하는 경우, 각 디바이스의 인공지능 알고리즘 처리 효율을 보다 높이고, 각 디바이스의 인공지능 알고리즘 처리 시간을 보다 단축할 수 있는 인공지능 디바이스 및 그 디바이스의 제어 방법을 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 인공지능 디바이스는, 컨텐츠 소스 및, 사용자의 생체 정보를 수집하는 적어도 하나의 생체정보 수집 디바이스와 통신 연결을 수행하는 통신부와, 상기 수집된 생체 정보에 근거하여 사용자의 상황을 추정하고, 수집된 생체 정보의 변화에 따라 사용자 주변의 음향 환경이 상기 사용자의 생체 신호에 미치는 영향을 검출 및, 검출된 영향과 상기 추정된 사용자 상황에 근거하여 상기 추정된 사용자 상황에 대응하는 사용자 맞춤형 음향 특성을 학습하는 인공지능부 및, 상기 인공지능부의 학습 결과에 따른 사용자 맞춤형 음향 특성에 근거하여 적어도 하나의 컨텐츠를 상기 컨텐츠 소스에서 검색 및, 검색된 컨텐츠의 음향 신호가 상기 통신부를 통해 연결되는 출력 디바이스에서 출력될 수 있도록, 상기 통신부 및 출력 디바이스를 제어하는 제어부를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 통신부는, 사용자 주변으로부터 음향 정보를 수집하는 적어도 하나의 음향정보 수집 디바이스와 더 통신 연결을 수행하며, 상기 제어부는, 상기 수집된 생체 정보 및 상기 수집된 음향 정보 중 적어도 하나에 근거하여 상기 사용자의 상황을 추정 및, 상기 출력 디바이스로부터 출력되는 컨텐츠의 음향 신호 및 상기 수집된 음향 정보 중 적어도 하나에 근거하여, 사용자 주변의 음향 환경이 상기 사용자의 생체 신호에 미치는 영향을 검출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 사용자 주변의 음향 환경은, 상기 출력 디바이스로부터 출력되는 컨텐츠의 음향 신호 및, 상기 사용자 주변의 자연물에 의한 소음 중 적어도 하나에 의해 형성되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 인공지능부는, 상기 사용자 주변의 음향 환경에 대한 상기 생체 정보의 변화가 현재 추정된 사용자의 상황에 부합하는지 여부에 따라, 상기 사용자 주변의 음향 환경이 사용자에게 긍정적인 영향을 미치는지 부정적인 영향을 미치는지 판단하고, 판단된 결과에 따라 상기 수집된 음향 정보로부터 검출되는 음향 특성을 반영하여 상기 사용자 맞춤형 음향 특성을 학습하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 인공지능부는, 상기 생체 정보의 변화가, 상기 추정된 사용자의 상황에 대해 기 학습된 사용자 생체 정보의 변화보다 더 큰 경우에 상기 사용자 주변의 음향 환경이 사용자에게 영향을 주는지 여부를 판별하는 것을 특징으로 한다.
일 실시 예에 있어서, 복수의 컨텐츠로부터 추출되는 복수의 부분 컨텐츠를 합성한 합성 컨텐츠를 생성하는 컨텐츠 합성부를 더 포함하며, 상기 제어부는, 상기 컨텐츠 소스로부터, 학습된 적어도 하나의 상기 사용자 맞춤형 음향 특성에 매칭되는 상기 복수의 컨텐츠를 검색하고, 검색된 컨텐츠 각각에 대하여 상기 학습된 적어도 하나의 상기 사용자 맞춤형 음향 특성에 매칭되는 부분을 추출하여 상기 복수의 부분 컨텐츠를 생성 및, 생성된 복수의 부분 컨텐츠를 합성하여 상기 합성 컨텐츠가 생성되도록 상기 컨텐츠 합성부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 복수의 부분 컨텐츠 중 적어도 일부를, 상기 학습된 적어도 하나의 상기 사용자 맞춤형 음향 특성에 따라 변조하고, 변조된 컨텐츠를 포함하는 합성 컨텐츠가 생성되도록 상기 컨텐츠 합성부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 생체정보 수집 디바이스들 중, 특정 생체 정보를 수집하는 복수의 디바이스가 있는 경우, 기 설정된 조건에 근거하여 상기 복수의 디바이스 중 어느 하나로부터 상기 특정 생체 정보를 수신하며, 상기 기 설정된 조건은, 상기 추정된 사용자의 상황, 생체 정보를 수집하는 디바이스의 생체 정보 수집 정확도 중 적어도 하나임을 특징으로 한다.
일 실시 예에 있어서, 상기 음향정보 수집 디바이스는, 상기 사용자의 이동에 따라 함께 이동되는 이동형 디바이스 또는 특정 장소에 고정적으로 배치되는 고정형 디바이스를 포함하며, 상기 제어부는, 상기 통신부를 통해 연결되거나, 수집한 음향 정보를 전송하는 음향정보 수집 디바이스가 상기 고정형 디바이스인 경우, 상기 고정형 디바이스가 배치된 장소에 근거하여 사용자의 상황을 추정하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 통신부는, 저전력 블루투스 방식으로 적어도 하나의 생체정보 수집 디바이스 또는 적어도 하나의 음향정보 수집 디바이스와 통신 연결을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 통신부를 통해 상기 수집된 생체 정보 또는 수집된 음향 정보를 수신하기 전에, 상기 적어도 하나의 생체정보 수집 디바이스 및 상기 적어도 하나의 음향정보 수집 디바이스 중 인공지능 알고리즘이 적용된 디바이스를 검색하고, 검색된 디바이스와, 상기 인공지능 디바이스 각각에 적용된 인공지능 알고리즘 처리에 관련된 데이터를 교환하며, 상기 검색된 디바이스와, 상기 인공지능 디바이스 사이에서 교환되는 데이터는, 상기 검색된 디바이스와 상기 인공지능 디바이스 각각에 적용된 인공지능 알고리즘에 관련된 정보 및, 상기 검색된 디바이스와 상기 인공지능 디바이스 각각에 적용된 인공지능 알고리즘의 처리를 위해 요구되는 변수들에 관련된 정보들을 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 변수들에 관련된 정보는, 상기 변수들 및 상기 변수들 각각에 대해 상기 각 디바이스에 적용된 인공지능 알고리즘이 처리가능한 처리 시간에 대한 정보를 포함하며, 상기 제어부는, 상기 변수들에 관련된 정보에 근거하여, 상기 교환된 변수들에 대한 처리 주체를 결정하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 인공지능 디바이스와 상기 검색된 각 디바이스 사이에 교환되는 데이터는, 어느 하나의 디바이스가 다른 디바이스로 제공하는 데이터의 사용 권한에 대한 서비스 권한 정보를 포함하는 것을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 인공지능 디바이스의 제어 방법은, 적어도 하나의 생체정보 수집 디바이스로부터 사용자의 생체 정보를 수집하는 제1 단계와, 상기 수집된 사용자의 생체 정보에 근거하여, 사용자의 상황을 추정하는 제2 단계와, 상기 추정된 사용자 상황에 대하여 기 학습된 사용자 맞춤형 음향 특성에 매칭되는 컨텐츠를 상기 컨텐츠 소스로부터 검색하는 제3 단계와, 검색된 컨텐츠의 음향 신호를, 상기 인공지능 디바이스에 연결되는 출력 디바이스를 통해 출력하는 제4 단계와, 수집되는 사용자 생체 정보의 변화에 따라 사용자 주변의 음향 환경이 상기 사용자의 생체 신호에 미치는 영향을 검출하는 제5 단계와, 상기 사용자 생체 정보의 변화가 상기 추정된 사용자의 상황에 부합하는지 여부에 따라, 상기 사용자 주변의 음향 환경이 사용자에게 긍정적인 영향을 미치는지 부정적인 영향을 미치는지 판단하는 제6 단계와, 상기 사용자 주변의 음향 환경이 사용자에게 미치는 영향의 판단 결과에 따라 상기 출력되는 컨텐츠의 음향 특성을 반영하여 상기 사용자 맞춤형 음향 특성을 학습하는 제7 단계와, 상기 사용자 주변의 음향 환경이 사용자에게 미치는 영향의 판단 결과에 따라 상기 출력되는 컨텐츠의 음향 특성과 같은 음향 특성을 가지는 컨텐츠 또는 다른 특성을 가지는 컨텐츠를 상기 컨텐츠 소스로부터 검색하는 제8 단계 및, 검색된 컨텐츠의 음향 신호를 출력하는 상기 제4 단계 내지 상기 제8 단계에 이르는 과정을 반복하는 제9 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제7 단계는, 사용자 주변으로부터 음향 정보를 수집하는 적어도 하나의 음향정보 수집 디바이스로부터, 음향 정보를 수집하는 제7-1 단계와, 수집된 적어도 하나의 음향 정보가 공통적으로 가지는 적어도 하나의 음향 특성을 분석하는 제7-2 단계 및, 상기 사용자 생체 정보의 변화에 따라 상기 사용자 주변의 음향 환경이 사용자에게 미치는 영향을 판단 및, 판단 결과에 따라 상기 제7-2 단계에서 분석된 음향 특성을 반영하여 상기 사용자 맞춤형 음향 특성을 학습하는 제7-3 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제1 단계는, 적어도 하나의 생체정보 수집 디바이스 중 인공지능 알고리즘이 적용된 디바이스를 검색하는 제1ㅇ-1 단계와, 검색된 디바이스와, 상기 인공지능 디바이스 각각에 적용된 인공지능 알고리즘 처리에 관련된 데이터를 교환하는 제1-2 단계와, 상기 교환된 데이터에 근거하여, 상기 검색된 디바이스에 적용된 인공지능 알고리즘의 처리를 위해 요구되는 변수들 및 각 변수들에 대해 상기 검색된 디바이스가 처리가능한 처리 시간들에 대응하는 변수 처리 시간들을 포함하는 정보를 획득하고, 획득된 정보에 근거하여 상기 변수들 각각에 대한 처리 주체를 결정하는 제1-3 단계와, 상기 제1-3 단계에서 결정된 각 변수별 처리 주체에 근거하여, 상기 인공지능 디바이스가 처리할 변수들을 처리 및, 처리한 변수에 대한 변수 정보를 상기 검색된 디바이스에 제공하는 제1-4 단계 및, 상기 검색된 디바이스가, 상기 변수 정보에 따른 인공지능 알고리즘에 근거하여 상기 사용자의 생체 정보를 수집하고, 수집한 생체 정보를 상기 인공지능 디바이스에 전송하는 제1-5 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제1-3 단계는, 상기 검색된 디바이스에 적용된 인공지능 알고리즘의 처리를 위해 요구되는 변수들 중, 상기 인공지능 디바이스가 처리 가능한 변수들을 검출하는 a 단계와, 상기 a 단계에서 검출된 변수들 각각에 대해, 상기 인공지능 디바이스가 처리 가능한 예상 처리 시간을 산출하는 b 단계 및, 상기 a 단계에서 검출된 변수들 각각에 대응하는 상기 변수 처리 시간과 상기 예상 처리 시간을 비교하여, 상기 a 단계에서 검출된 변수들 각각을 처리할 처리 주체를 결정하는 c 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 인공지능 디바이스 및 그 디바이스를 제어하는 방법에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 각 상황별로 사용자의 개인적 특성에 따라 능률 향상 또는 효율 증진에 효과가 있는 컨텐츠를 제공함으로써, 효율을 최대화시킬 수 있는 사용자 환경을 조성할 수 있다는 효과가 있다.
또한 본 발명은 인공지능 알고리즘이 적용된 디바이스 각각의 연산 능력에 따라 변수들을 분산 처리함으로써, 상기 사용자 맞춤형 컨텐츠 제공 서비스를 위한 인공지능 알고리즘의 처리 효율을 높이고 처리 시간을 보다 단축시킬 수 있다는 효과가 있다.
도 1은 본 발명의 실시 예에 따라 생체 정보 수집 디바이스들과 음향 정보 수집 디바이스들 및 인공지능 디바이스를 포함하는 시스템의 구성을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시 예에 따른 인공지능 디바이스의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 인공지능 디바이스가, 사용자의 상황에 따른 사용자 맞춤형 컨텐츠를 제공하는 동작 과정을 도시한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 인공지능 디바이스가, 주변에서 수집되는 음향 정보에 근거하여 사용자 맞춤형 음향 특성을 학습하는 동작 과정을 도시한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 인공지능 디바이스가, 기 학습된 음향 특성에 근거하여 사용자 맞춤형 컨텐츠를 생성하는 동작 과정을 도시한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 인공지능 디바이스가, 인공지능 알고리즘이 적용된 다른 기기들과 협업하는 동작 과정을 도시한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 인공지능 디바이스가, 협업을 위해 상기 인공지능 알고리즘이 적용된 다른 기기들과 교환하는 정보의 예를 도시한 예시도이다.
도 8은 본 발명의 실시 예에 따른 인공지능 디바이스가, 상기 협업에 따라 수집된 정보에 근거하여 다른 디바이스를 제어하는 구조를 도시한 개념도이다.
도 9는 본 발명의 실시 예에 따른 인공지능 디바이스가, 협업을 위해 상기 인공지능 알고리즘이 적용된 다른 기기와 협상을 수행하는 동작 과정을 도시한 흐름도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다
본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 또한 이하에서 설명되는 각각의 실시 예들 뿐만 아니라, 실시 예들의 조합은 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물 내지 대체물로서, 본 발명의 사상 및 기술 범위에 해당될 수 있음은 물론이다.
도 1은 생체 정보 수집 디바이스들(20)과 음향 정보 수집 디바이스들(30) 및 인공지능 디바이스(10)를 포함하는 본 발명의 실시 예에 따른 시스템(1)의 구성을 설명하기 위한 개념도이다.
도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 적어도 하나의 생체정보 수집 디바이스(20)와 컨텐츠 소스(40), 그리고 출력 디바이스(50)와 기 설정된 무선 통신 방식으로 연결될 수 있다. 또한 적어도 하나의 음향정보 수집 디바이스(30)와 연결될 수 있다.
여기서 상기 생체정보 수집 디바이스(20)는 사용자에 대한 생체 정보를 수집하는 디바이스일 수 있다. 일 예로 상기 생체정보 수집 디바이스(20)는 사용자가 착용 가능한 웨어러블 디바이스로서, 사용자의 신체에 부착되어 부착된 부위로부터 사용자의 심박수나 혈압, 체온 또는 뇌파 등의 생체 정보를 감지할 수 있는 디바이스일 수 있다. 또한 상기 생체 정보는 사용자의 움직임을 포함할 수 있다. 이 경우 상기 생체정보 수집 디바이스(20)는 사용자가 착용 가능한 스마트 워치(watch), 스마트 글래스(glass) 또는 스마트 밴드(band) 중 적어도 하나를 포함할 수 있다.
또는 상기 생체정보 수집 디바이스(20)는 특정 위치에서 사용자로부터 발생하는 음향 신호를 센싱하는 기기일 수 있다. 예를 들어 상기 생체정보 수집 디바이스(20)는 특정 위치에 배치되어 특정 상황 하에 있는 사용자로부터 발생되는 음향 정보를 센싱하기 위한 기기(예 : 마이크)일 수 있다. 일 예로 상기 생체정보 수집 디바이스(20)는, 수면 준비 상태 또는 수면 상태에 있는 사용자의 숨소리나 콧소리 등, 잠든 사용자로부터 발생하는 음향 신호를 센싱하기 위해 사용자의 침대에 부착된 음향 센서일 수 있다.
또는 상기 생체정보 수집 디바이스(20)는 사용자가 파지 또는 휴대한 스마트폰일 수도 있다. 이 경우 스마트폰은 사용자의 생체정보를 수집할 수 있는 적어도 하나의 바이오 센서(bio sensor)를 구비할 수 있으며, 구비된 바이오 센서를 이용하여 접촉된 사용자의 생체 정보를 수집할 수 있다. 예를 들어 스마트폰은 PPG(photo-plethysmography, 광용적맥파) 센서를 구비하여, 스마트폰을 파지한 사용자로부터 광용적맥파를 감지 및, 감지된 광용적맥파에 근거하여 사용자의 호흡수를 측정할 수 있다. 또한 ECG(electrocardiogram, 심전도) 센서를 구비하여, 스마트폰을 파지한 사용자로부터 심전도를 감지 및, 감지된 심전도에 근거하여 사용자의 심박수를 측정할 수 있다.
본 발명의 실시 예에 따른 인공지능 디바이스(10)는 하나 이상의 생체정보 수집 디바이스(20)와 기 설정된 방식에 따른 무선 통신 연결을 통해 동시 또는 순차적으로 연결될 수 있으며, 연결된 하나 이상의 생체정보 수집 디바이스(20)가 감지한 사용자의 생체 정보를 수집할 수 있다.
여기서 인공지능 디바이스(10)는 각 생체정보 수집 디바이스(20)에서 수집된 생체 정보를 기 설정된 조건에 근거하여 취사선택할 수 있다. 일 예로 상기 기 설정된 조건은 추정된 사용자의 상황일 수 있다. 즉 인공지능 디바이스(10)는 추정되는 사용자의 상황에 근거하여 생체정보를 수집할 디바이스를 결정할 수 있으며, 결정된 수집 디바이스를 통해 수집되는 사용자의 생체 정보만을 수신할 수 있다.
또는 상기 기 설정된 조건은, 생체 정보를 수집하는 디바이스에 관련될 수 있다. 예를 들어 동일한 생체 정보를 수집하는 복수의 수집 디바이스가 있는 경우 인공지능 디바이스는, 수집 디바이스의 동작 상태 또는 수집 디바이스의 사양에 따라 상기 어느 하나의 수집 디바이스를 선택할 수 있으며, 선택된 수집 디바이스를 통해 수집되는 사용자의 생체 정보만을 수신할 수 있다.
또는 상기 기 설정된 조건은, 수집된 생체 정보의 정확도에 관련될 수 있다. 예를 들어 사용자의 피부로부터 검출될 수 있는 생체 신호, 예를 들어 심박수의 경우, 사용자가 파지한 스마트폰을 통해 또는 사용자가 착용한 스마트 워치를 통해 검출될 수 있다. 이 경우 인공지능 디바이스(10)는 파지를 통해 접촉된 사용자의 손바닥으로부터 검출되는 사용자의 심박수 보다 사용자의 손목에 착용된 스마트 위치로부터 검출되는 사용자의 심박수가 보다 정확하다고 판단할 수 있다. 따라서 인공지능 디바이스(10)는 스마트 워치에서 측정되는 심박수를 선택하여 수신할 수 있다.
한편 인공지능 디바이스(10)는, 연결된 적어도 하나의 생체정보 수집 디바이스(20)로부터 수집되는 사용자의 생체 정보에 근거하여, 현재 사용자의 상황을 추정할 수 있다. 일 예로 감지된 사용자의 심박수나 호흡수 등이 수면 상태에 대응하는 경우, 인공지능 디바이스(10)는 현재 사용자가 수면 상태에 있는 것으로 판단할 수 있다. 또는 감지된 사용자의 심박수와 호흡수가 일정 횟수 이상이고, 사용자로부터 감지되는 일정 수준 이상의 움직임이 규칙적으로 감지되는 경우, 사용자가 현재 운동을 하고 있는 것으로 추정할 수 있다.
이러한 사용자의 상황을 추정하기 위하여, 인공지능 디바이스(10)는 사용자의 생체 정보 뿐만 아니라, 사용자 주변의 환경 정보(예 : 위치 정보, 시각 정보, 조도 정보 등)를 더 이용할 수 있으며, 상기 사용자 주변의 환경 정보는 상기 인공지능 디바이스(10)가 직접 수집하거나 또는 연결된 적어도 하나의 다른 디바이스로부터 수집될 수 있다. 여기서 상기 사용자 주변의 환경 정보를 수집하는 적어도 하나의 디바이스는, 상기 생체 정보를 수집하는 생체정보 수집 디바이스(20)를 포함하거나, 또는 상기 인공지능 디바이스(10)와 연결되는 출력 디바이스(50)나 적어도 하나의 음향정보 수집 디바이스(30)를 포함할 수 있다.
한편 상기 인공지능 디바이스(10)는 연결된 적어도 하나의 생체정보 수집 디바이스(20)로부터 센싱된 생체 정보에 근거하여, 사용자의 현재 상황을 추정할 수 있다. 그리고 추정된 사용자 상황에 따른 사용자 맞춤형 컨텐츠를 컨텐츠 소스(40)로부터 검색하고, 출력 디바이스(50)를 통해 상기 컨텐츠 소스(40)로부터 검색된 컨텐츠를 출력하도록 상기 출력 디바이스(50)를 제어할 수 있다. 이를 위해 상기 인공지능 디바이스(10)는, 생체정보 수집 디바이스(20)로부터 수신되는 생체 정보에 근거하여, 현재 출력되는 컨텐츠가 사용자에게 미치는 영향을 검출할 수 있으며, 추정된 사용자의 상황에 따라 상기 출력되는 컨텐츠가 사용자에게 미치는 영향이 긍정적인지 부정적인지 여부를 판별할 수 있다. 그리고 현재 출력되는 컨텐츠가 사용자에게 미치는 영향에 따라 현재 추정된 사용자 상황에 대응하는 사용자 맞춤형 음악 특성을 학습할 수 있다.
여기서, 인공지능 디바이스(10)가, 추정된 사용자의 상황에 따라 상기 컨텐츠 소스(40)로부터 검색하는 사용자 맞춤형 컨텐츠는, 이전에 학습된 사용자 맞춤형 음악 특성에 따른 것일 수 있다. 그리고 현재 출력되는 컨텐츠가 사용자에게 미치는 영향을 감지한 결과에 근거하여, 상기 학습 결과가 지속적으로 갱신될 수 있다.
한편 사용자는 재생되는 컨텐츠 뿐만 아니라 재생되는 컨텐츠에 포함된 다양한 다른 음향에 영향을 받을 수 있다. 일 예로 추정된 사용자의 상황이 명상 상황이고 현재 날씨가 비가 오는 날씨인 경우, 사용자로부터 감지되는 생체 정보의 변화는, 현재 추정된 상황, 즉 명상을 위해 출력되는 컨텐츠 뿐만 아니라, 상기 빗 소리에 의한 것일 수 있다. 즉, 단순히 재생되는 컨텐츠 뿐만 아니라, 사용자가 들을 수 있는 다양한 다른 소리들, 예를 들어 자연 소리나 생활 소음등이 사용자의 생체 정보 변화에 영향을 미칠 수 있다.
이에 인공지능 디바이스(10)는, 출력되는 컨텐츠 뿐만 아니라 사용자가 들을 수 있는 소리, 즉 사용자 주변의 음향 정보를 감지하기 위해, 사용자 주변에서 사용자 주변의 음향 정보를 감지할 수 있는 적어도 하나의 음향정보 수집 디바이스(30)와 더 연결될 수 있다.
여기서 상기 음향정보 수집 디바이스(30)는 특정 장소에 고정적으로 배치되는 고정형일 수 있으며, 또는 사용자의 스마트폰이나 웨어러블 디바이스와 같이, 사용자가 착용 또는 소지하여 사용자와 함께 이동될 수 있는 이동형일 수 있다. 한편 연결되는 음향정보 수집 디바이스(30)가 고정형인 경우, 인공지능 디바이스(10)는 연결된 음향정보 수집 디바이스(30) 또는 수집된 음향 정보를 제공하는 음향정보 수집 디바이스에 근거하여 사용자의 상황을 추정할 수 있다. 일 예로 음향정보 수집 디바이스가 사용자의 침대에 부착되거나 배치된 경우, 인공지능 디바이스(10)는 그 음향정보 수집 디바이스가 연결되거나 또는 그 음향정보 수집 디바이스로부터 음향 정보가 전송되면, 사용자가 현재 침대에 있는 상태라고 판단할 수 있다. 그리고 음향정보 수집 디바이스 또는 생체정보 수집 디바이스로부터 감지되는 음향 정보 또는 생체 정보에 근거하여, 침대에 있는 사용자가 수면을 취하고 있는지 여부를 판별할 수 있다.
한편 인공지능 디바이스(10)의 학습과 사용자 맞춤형 컨텐츠의 출력은 각각 별개로 이루어질 수 있다. 즉, 사용자가 컨텐츠의 출력을 요청하지 않은 경우에도 인공지능 디바이스(10)는 연결된 적어도하나의 생체정보 수집 디바이스(20) 및 적어도 하나의 음향정보 수집 디바이스(30)에 근거하여 사용자의 생체 정보 및 사용자 주변의 음향 정보를 수집할 수 있으며, 수집된 정보들에 따른 학습을 수행할 수 있다.
일 예로, 인공지능 디바이스(10)는 사용자가 컨텐츠의 출력을 요청하지 않은 경우, 사용자로부터 수집되는 생체 정보에 근거하여, 바람 소리나 빗소리 또는 새들의 지저귐과 같은 사용자 주변의 자연 소리에 의한 사용자의 생체 상태의 변화를 판별할 수 있다. 그리고 상기 사용자로부터 수집되는 생체 정보에 근거하여 추정되는 사용자의 상황에 따라, 상기 생체 상태의 변화가 긍정적인지 부정적인지 여부를 판단할 수 있다.
일 예로 컨텐츠 출력에 따른 음향 신호 없이 사용자 주변에서 자연 소리만 감지되는 경우에도, 인공지능 디바이스(10)는 생체정보 수집 디바이스(20)를 통해 사용자의 생체 신호를 수집할 수 있다. 그리고 수집된 생체 신호, 즉 심박수나 혈압 등이 보다 안정화되는 경우, 추정된 사용자의 상황에 근거하여 상기 자연 소리가 사용자에게 긍정적인 영향을 주는지 또는 부정적인 영향을 주는지를 검출할 수 있다.
예를 들어 일정 크기 이하이며 반복적인 멜로디 구조를 가지는 물방울 소리 또는 미풍에 의한 바람 소리와 같은 자연적인 소리(이하 자연 소리)가 사용자 주변에서 감지되고, 또한 감지되는 사용자의 심박수나 혈압 등이 안정화되는 경우에, 추정되는 사용자의 상황이 수면을 취하거나 또는 명상을 수행하는 상태라면, 인공지능 디바이스(10)는 상기 자연 소리가 사용자에게 긍정적인 영향을 주는 것으로 판별할 수 있다. 그러면 인공지능 디바이스(10)는 상기 자연 소리의 특성, 즉 박자나 크기, 음의 높이 등을 분석하고, 분석된 자연 소리의 특성에 따라 현재 추정된 사용자 상황, 즉 명상 또는 수면에 대응하는 사용자 상황에 대한 맞춤형 컨텐츠로서 학습을 수행할 수 있다.
반면, 같은 사용자의 상황이 추정된 상태에서, 동일한 자연 소리가 감지되는 경우라고 할지라도 감지되는 사용자의 심박수나 혈압 등에 변화가 없거나 오히려 심박수 또는 혈압이 상승하는 경우에 인공지능 디바이스(10)는 상기 자연 소리가 사용자에게 부정적인 영향을 주는 것으로 판별할 수 있다. 이 경우 인공지능 디바이스(10)는 현재 감지되는 자연 소리에 대한 학습을 수행하지 않을 수 있다.
또는, 동일한 자연 소리가 감지되고, 감지되는 사용자의 심박수나 혈압 등이 안정화되는 경우라고 할지라도, 추정되는 사용자의 상황이 다른 경우 인공지능 디바이스(10)는 현재 감지되는 자연 소리에 대한 학습을 수행하지 않을 수 있다. 일 예로 수집된 생체정보로부터 추정되는 사용자의 상태가 운동을 하고 있는 상황인 경우, 인공지능 디바이스(10)는 현재 감지되는 자연 소리가 사용자의 운동 효과 증진에 효과가 없는 것으로 판단할 수 있다. 그러면 인공지능 디바이스(10)는 현재 감지되는 자연 소리에 대한 학습을 수행하지 않을 수 있다.
이처럼, 생체정보 수집 디바이스(20)로부터 수집된 사용자의 생체 정보에 근거하여 사용자의 상황을 추정하고, 음향정보 수집 디바이스(30)로부터 수집된 사용자 주변의 음향 정보와 상기 수집된 생체 정보의 변화에 근거하여 상기 사용자 주변의 음향 정보가 상기 추정된 사용자의 상황에 유효한 효과가 있는지 여부를 판단, 및 판단 결과에 따라 상기 추정된 사용자의 상황에 따른 사용자 맞춤형 컨텐츠의 특성을 학습하는 인공지능 디바이스(10)에 대하여 하기 도 2에서 보다 자세히 살펴보기로 한다.
한편 상기 인공지능 디바이스(10)는 적어도 하나의 컨텐츠를 포함하는 컨텐츠 소스(40)와 연결될 수 있으며, 상기 컨텐츠 소스(40)에서 검색된 컨텐츠를 재생할 수 있는 출력 디바이스(50)와 연결될 수 있다.
여기서 상기 컨텐츠 소스(40)는 적어도 하나의 컨텐츠 데이터를 포함하는 상기 인공지능 디바이스(10) 주변의 기기일 수 있다. 일 예로 상기 컨텐츠 소스(40)는 휴대폰, 스마트 폰, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포함할 수 있다. 뿐만 아니라 데스크탑 컴퓨터나 디지털 TV 등을 포함할 수도 있다.
또는 상기 컨텐츠 소스(40)는 무선 네트워크 연결을 통해 연결될 수 있는 기 설정된 서버일 수도 있다. 여기서 상기 서버는 실시간 스트리밍 방식으로 요청된 음원을 제공하는 서버일 수 있다. 이 경우 인공지능 디바이스(10)는 현재 추정된 사용자의 상황에 대해 기 학습된 사용자 맞춤형 음악 특성에 따른 컨텐츠를 상기 서버로부터 검색하고, 검색한 컨텐츠를 상기 서버에 요청할 수 있다. 그러면 상기 서버는 인공지능 디바이스(10)가 요청한 컨텐츠를 실시간 스트리밍 방식으로 제공할 수 있으며, 인공지능 디바이스(10)는 출력 디바이스(50)를 제어하여, 상기 서버, 즉 컨텐츠 소스(40)에서 제공되는 컨텐츠를 출력할 수 있다.
여기서 상기 컨텐츠 소스(40)에서 제공되고 출력 디바이스(50)에서 출력되는 컨텐츠는 청각 컨텐츠일 수 있다. 이 경우 출력 디바이스(50)는 상기 컨텐츠 소스(40)로부터 제공되는 청각 컨텐츠를 재생하기 위한 적어도 하나의 스피커를 포함하여 형성될 수 있다.
한편 상기 컨텐츠 소스(40)에서 제공되어 출력되는 컨텐츠는 시각 컨텐츠일 수도 있다. 이 경우 상기 출력 디바이스(50)는 시각 컨텐츠의 재생이 가능한 디스플레이부를 포함할 수 있다.
그리고 인공지능 디바이스(10)는 적어도 하나의 생체정보 수집 디바이스(20)에서 수집되는 사용자의 생체 정보에 근거하여, 사용자의 상황을 추정 및 추정된 사용자 상황에 상기 재생되는 시각 컨텐츠가 사용자에게 긍정적인 영향을 주는지 부정적인 영향을 주는지를 판별할 수 있다. 그리고 판별 결과에 따라 사용자 맞춤형 특성, 이 경우 사용자 맞춤형 시각 컨텐츠 특성을 학습할 수 있다.
한편 이하의 설명에서는, 설명의 편의상 상기 컨텐츠가 청각 컨텐츠임을 가정하여 설명하기로 한다. 그러나 상술한 바와 같이 본 발명이 이에 한정되는 것이 아님은 물론이며, 얼마든지 상기 컨텐츠가 시각 컨텐츠인 경우에도 적용될 수 있음은 물론이다.
이 경우 본 발명의 실시 예에 따른 인공지능 디바이스(10)에서 학습되는 사용자 맞춤형 컨텐츠 특성은 사용자 맞춤형 시각 컨텐츠 특성일 수 있다. 그러면 인공지능 디바이스(10)는 사용자 주변의 시각 정보를 수집하기 위한 적어도 하나의 시각정보 수집 디바이스(도시되지 않음)와 연결될 수 있음다. 이 경우 상기 시각정보 수집 디바이스(도시되지 않음)는 사용자 주변의 시각 정보를 수집하기 위한 것으로, 사용자 주변의 조도 또는 사용자 주변의 공간(예 : 공간의 넓이 등)에 대한 정보 등을 수집할 수 있으며, 상기 시각 정보의 수집을 위한 센서 등을 포함할 수 있다.
도 2는 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 구성을 설명하기 위한 블록도이다.
도 2를 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는, 제어부(100)와 상기 제어부(100)에 연결되는 통신부(110), 컨텐츠 특성 분석부(120), 인공지능부(130), 메모리(150)를 포함하여 구성될 수 있다. 그리고 컨텐츠 합성부(140)를 더 포함하여 구성될 수 있다. 도 2에 도시된 구성요소들은 인공지능 디바이스(10)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 인공지능 디바이스(10)는, 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
한편 상기 인공지능 디바이스(10)는 다양한 기기로 구현될 수 있다. 일 예로 상기 인공지능 디바이스(10)는 휴대폰, 스마트 폰, 노트북 컴퓨터, 디지털방송용 단말기, PDA, PMP, 네비게이션, 슬레이트 PC, 태블릿 PC, 울트라북, 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기, HMD 등의 형태로 구현될 수 있다. 뿐만 아니라 데스크탑 컴퓨터나 디지털 TV 등으로 구현될 수도 있음은 물론이다.
먼저, 통신부(110)는 기 설정된 통신 기술을 이용하여, 적어도 하나의 생체정보 수집 디바이스(20) 및 적어도 하나의 음향정보 수집 디바이스(30)와 인공지능 디바이스(10) 사이의 무선 통신을 수행할 수 있다. 일 예로 통신부(110)는 블루투스(Bluetooth) 또는 저전력 블루투스(BLE, Bluetooth Low Energy) 기술에 따라 상기 적어도 하나의 생체정보 수집 디바이스(20)와 인공지능 디바이스(10) 사이 또는 상기 적어도 하나의 음향정보 수집 디바이스(30)와 인공지능 디바이스(10) 사이의 무선 통신이 이루어지도록 할 수 있다.
여기서 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 적어도 하나의 다른 디바이스(예 : 적어도 하나의 생체정보 수집 디바이스, 적어도 하나의 음향정보 수집 디바이스, 및 출력 디바이스 등)와 무선 통신을 수행하는 데 있어서, 저전력 블루투스 기술을 이용하는 것이 소모 전력 절약 측면에서 보다 바람직할 수 있다.
그리고 컨텐츠 특성 분석부(120)는, 제어부(100)의 제어에 따라, 음향정보 수집 디바이스(30)로부터 수집된 음향 정보 또는, 현재 출력 디바이스(50)를 통해 출력되는 특정 컨텐츠에 대한 음향 특성을 분석할 수 있다. 일 예로 컨텐츠 특성 분석부(120)는 상기 특정 컨텐츠나 수집된 음향 정보로부터 박자, 음정, 음색, 소리 크기 등을 음향 특성으로서 분석할 수 있다. 여기서 상기 컨텐츠 특성 분석부(120)는 분석 대상에 따라 추가적인 정보들을 더 분석할 수 있다. 예를 들어 분석 대상이 특정 컨텐츠인 경우, 그 컨텐츠의 배경 정보, 예를 들어 그 컨텐츠의 작곡가나 가수, 연주되는 악기나 가수의 성별, 그리고 컨텐츠의 장르 등의 정보를 추가적으로 더 분석할 수 있다. 반면 분석 대상이 수집된 음향 정보인 경우, 수집된 음향 정보에서 일정한 멜로디가 반복되는 간격(반복 주기) 및 소리 유형(예 : 물소리, 바람소리, 빗소리 등) 등의 정보를 추가적으로 더 분석할 수 있다.
한편 인공지능부(130)는, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다.
인공지능부(130)는 머신 러닝(machine running) 기술을 이용하여, 인공지능 디바이스(10) 내에 저장된 정보, 인공지능 디바이스(10) 주변의 환경 정보, 통신 가능한 외부 저장소에 저장된 정보 등 방대한 양의 정보(빅데이터, big data)를 학습, 추론, 처리 중 적어도 하나를 수행할 수 있다.
여기서 학습은 상기 머신 러닝 기술을 통해 이루어질 수 있다. 상기 머신 러닝 기술은 적어도 하나의 알고리즘에 근거하여, 대규모의 정보들을 수집 및 학습하고, 학습된 정보를 바탕으로 정보를 판단 및 예측하는 기술이다. 정보의 학습이란 정보들의 특징, 규칙, 판단 기준 등을 파악하여, 정보와 정보 사이의 관계를 정량화하고, 정량화된 패턴을 이용하여 새로운 데이터들을 예측하는 동작이다.
이러한 머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다.
상기 머신 러닝 기술의 한 분야로써, 딥러닝 기술은 인공 신경망 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망은 레이어와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 GPU(graphic processing unit)를 이용하여 인공 신경망을 통하여 방대한 양의 정보를 학습할 수 있다.
한편, 인공지능부(130)는 머신 러닝 기술을 적용하기 위한 방대한 양의 정보들은 인공지능 디바이스(10)에 연결된 정보 수집 디바이스들을 통해 수집될 수 있다. 여기서 정보 수집 디바이스들은 적어도 하나의 생체정보 수집 디바이스(20) 및 음향정보 수집 디바이스(30)를 포함할 수 있으며, 상기 생체 정보와 음향 정보 외에 사용자의 주변 환경에 대한 다른 정보를 수집하는 적어도 하나의 정보 수집 디바이스를 포함할 수 있다. 또한 이하에서 정보의 수집이란, 센서를 통하여 정보를 감지하거나, 메모리(150)에 저장된 정보를 추출하거나, 통신을 통하여 연결된 다른 디바이스, 예를 들어 상기 적어도 하나의 정보 수집 디바이스로부터 정보들을 수신하는 동작을 포함하는 용어로 이해될 수 있다.
인공지능부(130)는 상기 머신 러닝 기술을 이용하여 학습된 정보들을 이용하여, 사용자의 상황을 추정(또는 추론)하고, 추정된 사용자의 상황에 근거하여 현재 출력되는 컨텐츠 또는 사용자 주변에서 수집되는 음향 정보가 상기 추정된 사용자 상황에 긍정적인지 또는 부정적인지를 판별할 수 있다.
즉, 인공지능부(130)는 사용자로부터 감지되는 생체 정보가 상기 추정된 사용자의 상황에 부합하는 경우 현재 출력되는 컨텐츠 또는 사용자 주변에서 수집되는 음향 정보가 사용자에게 긍정적인 효과를 가지는 것으로 판별하고, 용자로부터 감지되는 생체 정보가 상기 추정된 사용자의 상황에 부합하지 않는 경우 현재 출력되는 컨텐츠 또는 사용자 주변에서 수집되는 음향 정보가 사용자에게 부정적인 효과를 가지는 것으로 판별할 수 있다.
그리고 판별 결과에 따라, 현재 출력되는 컨텐츠 또는 사용자 주변에서 수집되는 음향 정보의 음향 특성에 근거하여, 현재 추정된 사용자의 상황에 대한 사용자의 맞춤형 음향 특성에 대한 학습을 수행할 수 있다.
그리고 인공지능부(130)는 머신 러닝 기술을 이용하여 학습된 정보들을 바탕으로, 인공지능 디바이스(10)의 다른 구성 요소들을 제어하거나, 특정 동작을 실행하기 위한 제어 명령을 제어부(100)로 전달할 수 있다. 제어부(100)는 제어 명령에 근거하여, 인공지능 디바이스(10)를 제어함으로써, 추정된 사용자 상황에 따른 사용자 맞춤형 음향 특성을 학습하고, 학습된 음향 특성에 매칭되는 컨텐츠를 컨텐츠 소스(40)로부터 검색할 수 있다. 그리고 검색된 컨텐츠를 컨텐츠 소스(40)로부터 수신하도록 통신부(110)를 제어하고, 상기 수신된 컨텐츠가 출력되도록 출력 디바이스(50)를 제어할 수 있다.
한편, 본 명세서에서, 인공지능부(130)와 제어부(100)는 동일한 구성요소로도 이해될 수 있다. 이 경우, 본 명세서에서 설명되는 제어부(100)에서 수행되는 기능은, 인공지능부(130)에서 수행된다고 표현할 수 있으며, 제어부(100)는 인공지능부(130)로 명명되거나, 이와 반대로, 인공지능부(130)가 제어부(100)로 명명되어도 무방하다.
또한, 이와 다르게, 본 명세서에서, 인공지능부(130)와 제어부(100)는 별도의 구성요소로 이해될 수 있다. 이 경우, 인공지능부(130)와 제어부(100)는 서로 데이터 교환을 통하여, 인공지능 디바이스(10) 상에서 다양한 제어를 수행할 수 있다. 제어부(100)는 인공지능부(130)에서 도출된 결과를 기반으로, 인공지능 디바이스(10)에서 실행 가능한 기능들 중 적어도 하나의 기능을 수행하거나, 인공지능 디바이스(10)의 구성요소 중 적어도 하나를 제어할 수 있다. 나아가, 인공지능부(130)는 제어부(180)의 제어 하에 동작될 수도 있다.
또한 메모리(150)는 인공지능 디바이스(10)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(150)는 인공지능 디바이스(10)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 인공지능 디바이스(10)의 동작을 위한 데이터들, 명령어들, 인공지능부(130)의 동작을 위한 데이터들(예를 들어, 머신 러닝을 위한 적어도 하나의 알고리즘 정보 등)을 저장할 수 있다.
또한 메모리(150)에는 인공지능 디바이스(10)와 연결 가능한 적어도 하나의 정보 수집 디바이스에 대한 정보를 포함할 수 있다. 또한 각각의 정보 수집 디바이스로부터 수집되는 수집 정보들을 저장할 수 있다. 그리고 적어도 하나의 수집된 사용자 생체 정보에 근거하여 추정할 수 있는 사용자 상황에 대한 정보들을 포함할 수 있다. 또한 추정된 사용자 상황에 부합하는 사용자 생체 상태 및, 수집된 생체 정보에 근거하여 변화하는 사용자 생체 상태를 판별하기 위한 데이터들이 포함될 수 있다.
이러한 데이터에 근거하여 상기 인공지능부(130)는 수집된 사용자 생체 정보들을 통해 사용자의 생체 상태가 변화하는 추이를 판별할 수 있고, 상기 변화 추이가 상기 추정된 사용자 상황에 부합하는지 여부에 따라 현재 출력되는 컨텐츠 또는 사용자 주변에서 수집되는 음향 정보가 상기 추정된 사용자 상황에 긍정적으로 작용하는지 또는 부정적으로 작용하는지를 판별할 수 있다.
한편 메모리(150)는 상기 인공지능부(130)의 학습에 따라 사용자의 각 상황에 대응하는 사용자 맞춤형 음향 특성에 대한 정보를 저장할 수 있다. 그리고 메모리(150)는 상기 컨텐츠 소스(40)로부터 수신되는 컨텐츠를 저장할 수 있다. 또한 메모리(150)는 상기 저장된 컨텐츠를 출력할 출력 디바이스(50)를 제어하기 위한 데이터들을 저장할 수 있다.
한편, 제어부(100)는 인공지능 디바이스(10)의 전반적인 동작을 제어할 수 있다. 예를 들어 제어부(100)는 통신부(110)를 제어하여 통신 연결된 적어도 하나의 정보 수집 디바이스들로부터, 상기 정보 수집 디바이스들이 수집한 정보들을 수신할 수 있다. 그리고 수신된 수집 정보에 근거하여 사용자의 상황을 추정하도록 인공지능부(130)를 제어할 수 있으며, 추정된 사용자의 상황에 대하여 사용자 주변의 환경, 즉 출력되고 있는 컨텐츠나 또는 사용자 주변의 소리에 의해 형성되는 사용자 주변의 음향 환경이, 상기 추정된 사용자의 상황에 영향을 주는지, 그리고 영향을 주는 경우 긍정적인 영향인지 또는 부정적인 영향인지 여부를 판별할 수 있다.
그리고 상기 사용자 주변의 음향 환경이 사용자에게 주는 영향에 따라, 제어부(100)는 상기 사용자 주변의 음향 환경을 조성하는 요소들, 즉 현재 출력 디바이스(50)를 통해 출력되는 컨텐츠 또는 사용자 주변의 소리로부터 음향 특성을 분석하도록 컨텐츠 특성 분석부(120)를 제어할 수 있다.
그리고 제어부(100)는 분석된 음향 특성에 근거하여 현재 추정된 사용자 상황에 따른 사용자 맞춤형 음향 특성을 학습하고, 학습된 음향 특성에 매칭되는 컨텐츠를 상기 컨텐츠 소스(40)로부터 검색 및, 검색에 대한 응답으로 수신된 컨텐츠를 출력하도록 출력 디바이스(50)를 제어할 수 있다. 따라서 제어부(100)는, 학습 결과 사용자의 개인적인 특성에 따라 현재 추정된 사용자 상황에서 사용자에게 긍정적인 영향을 주는 컨텐츠가 출력 디바이스(50)를 통해 출력되도록 하므로, 현재 추정된 사용자 상황에 긍정적인 영향을 주는 음향 환경이 조성될 수 있도록 한다.
한편 추정된 사용자 상황에 대한 사용자 맞춤형 음향 특성에 대한 학습이 충분히 이루어진 경우, 제어부(100)는 컨텐츠의 합성을 통해 상기 학습된 사용자 맞춤형 음향 특성에 대응하는 컨텐츠를 생성할 수도 있다.
일 예로 제어부(100)는 현재 추정된 사용자 상황에 대한 충분한 학습 결과 도출된 사용자 맞춤형 음향 특성이, 특정 성별의 목소리(예 : 여성), 특정 장르(예 : 발라드), 특정 작곡가로 판명되는 경우, 상기 사용자 맞춤형 음향 특성에 매칭되는 특성을 가지는 컨텐츠들을 컨텐츠 소스(40)로부터 검색할 수 있다. 그리고 검색된 복수의 컨텐츠로 이루어진 하나의 컨텐츠(합성 컨텐츠)를 생성하고, 생성된 합성 컨텐츠가 출력되도록 출력 디바이스(50)를 제어할 수 있다.
또는 제어부(100)는, 상기 학습에 의해 도출된 사용자 맞춤형 음향 특성에 따라 검색된 컨텐츠들로부터 사용자 맞춤형 컨텐츠를 합성할 수 있다. 일 예로 제어부(100)는 컨텐츠 소스(40)로부터 현재 추정된 사용자 상황에 대해 도출된 사용자 맞춤형 음향 특성을 적어도 일부 가지는 컨텐츠들을 검색하고, 검색된 컨텐츠들로부터 상기 사용자 맞춤형 음향 특성에 매칭되는 일부분들을 추출할 수 있다. 그리고 추출된 부분 컨텐츠를 연결하여 하나의 컨텐츠로 합성할 수 있다.
예를 들어 상기 학습에 의해 도출된 사용자 맞춤형 음향 특성이, 일정한 박자로 반복되는 특정 유형의 소리(예 : 일정한 박자로 물방울이 떨어지는 소리 등)인 경우, 제어부(100)는 컨텐츠 소스(40)의 컨텐츠들 중 물방울 소리와 관련된 컨텐츠들을 검색하고, 검색된 컨텐츠들로부터 사용자 맞춤형 음향 특성의 박자에 매칭되는 부분들만을 추출할 수 있다. 그리고 추출된 부분들을 합성하여 상기 합성 컨텐츠를 생성할 수 있다.
또는 제어부(100)는 상기 학습에 의해 도출된 사용자 맞춤형 음향 특성에 따라 검색된 컨텐츠를 일부 변조하여 상기 합성 컨텐츠를 생성할 수도 있다. 일 예로 제어부(100)는 컨텐츠 소스(40)의 컨텐츠들 중 물방울 소리와 관련된 컨텐츠들을 검색하고, 검색된 컨텐츠들로부터 물방울 소리에 대응하는 부분들을 추출 및, 추출된 부분들의 박자를 사용자 맞춤형 음향 특성의 박자에 따라 변조할 수 있다. 그리고 변조 또는 추출된 부분들을 합성하여 상기 합성 컨텐츠를 생성할 수 있다.
이러한 컨텐츠의 합성을 위해, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 컨텐츠 소스(40)로부터 검색 및 수신된 컨텐츠들로부터 적어도 일부를 추출하고, 복수의 추출된 부분들을 서로 합성하는 컨텐츠 합성부(140)를 더 포함하여 구성될 수 있다.
한편 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는, 연결 가능한 다른 기기들(예 : 정보 수집 디바이스들) 중 인공지능 알고리즘이 적용된 다른 기기가 있는 경우, 상기 사용자 맞춤형 음향 특성 학습 및, 학습 결과에 따른 컨텐츠를 제공하는데 소요되는 시간을 보다 단축하기 위해 상기 인공지능 알고리즘이 적용된 다른 기기와 협업을 수행할 수 있다.
일 예로 제어부(100)는, 인공지능 알고리즘이 적용된 다른 기기(이하 다른 인공지능 기기)가 검출되는 경우, 상기 다른 인공지능 기기와, 상기 인공지능부(130) 및 상기 다른 인공지능 기기에 적용된 인공지능 알고리즘에 대한 정보를 교환할 수 있다. 일 예로 인공지능부(130) 및 상기 다른 인공지능 기기에 적용된 인공지능 알고리즘의 소프트웨어 버전에 대한 정보들이 교환될 수 있다. 이 경우 상기 교환된 정보에 근거하여 상기 인공지능부(130) 및 상기 다른 인공지능 기기는, 상대방 기기에 적용된 인공지능 알고리즘의 특성 및 학습 방식 등을 식별할 수 있다. 이 경우 상기 정보의 교환은, 인공지능 디바이스(10)는 상기 인공지능부(130)의 정보를 브로드캐스팅하는 방식으로, 상기 다른 인공지능 기기는, 상기 브로드캐스팅된 정보에 대한 응답으로 자신의 정보를 전송하는 방식으로 이루어질 수 있다.
한편 상기 인공지능부(130) 및 상기 다른 인공지능 기기는, 상기 정보 교환을 통해 상술한 본 발명의 실시 예에 따라 추정된 사용자 상황에 대한 사용자 맞춤형 음향 특성을 학습하고, 학습된 음향 특성에 따른 맞춤형 컨텐츠를 제공하는 서비스를 위해 요구되는 변수들에 대한 정보를 교환할 수 있다. 또한 각 변수에 대해 처리가능한 예상 처리 시간에 대한 정보를 교환할 수 있다.
따라서 인공지능 디바이스(10)의 제어부(100)는, 연결 가능한 다른 인공지능 기기들 각각에서 요구되는 변수들 및 각 변수들의 처리 시간에 대한 정보를 획득할 수 있으며, 그 변수들 중 인공지능 디바이스(10)가 처리 가능한 변수가 있는지를 검출할 수 있다. 그리고 검출된 변수가 있는 경우 인공지능 디바이스(10)에서 처리 가능한 시간에 근거하여, 검출된 변수를 보다 빠른 시간에 처리할 수 있는 기기(검출된 변수에 대응하는 다른 알고리즘 기기 또는 인공지능 디바이스(10))를 검출할 수 있다. 그리고 그 결과에 따라 상기 검출된 변수에 대응하는 다른 알고리즘 기기 또는 인공지능 디바이스(10) 중 어느 하나가 해당 변수를 처리하도록, 제어부(100)는 해당 변수에 대한 처리 과정을 상기 검출된 변수에 대응하는 다른 알고리즘 기기와 협상할 수 있다.
한편 상기 다른 인공지능 기기와 인공지능 디바이스(10) 간에 교환되는 정보는 준비 상태에 대한 정보 및, 서비스 권한에 대한 정보 등을 더 포함할 수 있다. 여기서 상기 준비 상태에 대한 정보는, 기기의 동작 상태에 대한 정보를 포함할 수 있다. 또한 상기 서비스 권한에 대한 정보는 교환되는 정보 및 제공되는 데이터들을 다른 기기가 사용할 수 있는지 여부에 대한 정보일 수 있다.
이처럼 본 발명의 실시 예에 따른 인공지능 디바이스(10)가 다른 인공지능 기기들과 서비스의 제공에 필요한 시간을 단축하기 위해, 프로세스 처리 과정에 대한 협상을 수행하는 과정과, 상기 협상에 따라 변수의 처리 주체가 결정되는 과정, 및, 상기 인공지능 디바이스(10)와 상기 다른 인공지능 기기 간에 교환되는 정보에 대하여 하기 도 6 내지 도 9를 참조하여 보다 자세히 살펴보기로 한다.
한편 이상의 설명에서는 본 발명의 실시 예에 따른 인공지능 디바이스(10) 및 상기 인공지능 디바이스(10)와 연결되는 다른 기기들(생체정보 수집 디바이스(20), 음향정보 수집 디바이스(30), 컨텐츠 소스(40) 및 출력 디바이스(50)) 및, 상기 인공지능 디바이스(10)의 구성에 대하여 자세히 설명하였다.
이하에서는 상술한 인공지능 디바이스(10)를 포함하는 시스템에서, 상기 인공지능 디바이스(10)에서 구현될 수 있는 제어 방법과 관련된 실시 예들을 첨부된 도면들을 참조하여 살펴보도록 한다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
도 3은 본 발명의 실시 예에 따른 인공지능 디바이스(10)가, 사용자의 상황에 따른 사용자 맞춤형 컨텐츠를 제공하는 동작 과정을 도시한 흐름도이다.
도 3을 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)에 구비되는 제어부(100)는 먼저 통신이 연결된 적어도 하나의 생체정보 수집 디바이스(20)로부터, 각 생체정보 수집 디바이스(20)가 감지한 사용자의 생체 정보를 수신할 수 있다(S300). 그리고 수신된 적어도 하나의 사용자 생체 정보에 근거하여, 현재 사용자의 상황을 추정할 수 있다.
일 예로 인공지능 디바이스(10)는 사용자가 착용한 스마트 밴드 또는 스마트 워치로부터 사용자의 심박수와 체온, 그리고 호흡수 등에 관련된 생체 정보를 획득할 수 있다. 또한 상기 스마트 밴드나 스마트 워치로부터 사용자의 팔목의 움직임에 대한 정보를 획득할 수 있다. 그리고 상기 획득된 심박수와 체온, 호흡수 및 움직임 정보에 근거하여 사용자의 현재 상황을 추정할 수 있다.
일 예로 사용자가 러닝머신 등을 통해 운동을 하고 있는 상황인 경우, 제어부(100)는 빠른 심박수와 통상의 경우보다 잦은 호흡수, 그리고 체온의 상승 및 일정 수준 이상의 변위로 규칙적으로 이동하는 움직임을 상기 스마트 밴드나 스마트 워치로부터 감지할 수 있다. 따라서 제어부(100)는 감지된 생체 정보들에 근거하여 사용자가 현재 운동을 하는 상황임을 추정할 수 있다.
반면 연결된 적어도 하나의 생체정보 수집 디바이스(20)를 통해, 통상의 경우보다 느리고 규칙적인 심박수와 호흡수, 그리고 거의 정지된 신체 움직임이 감지되는 경우라면, 제어부(100)는 사용자가 명상을 하거나 수면을 위해 침대에 누운 것으로 사용자의 상황을 추정할 수 있다.
이 경우, 제어부(100)는 적어도 하나의 음향정보 수집 디바이스(30)를 통해 수집되는 정보에 근거하여 보다 정밀하게 사용자의 상황을 추정할 수 있다. 일 예로 상술한 바와 같이 통상의 경우보다 느리고 규칙적인 심박수와 호흡수, 그리고 거의 정지된 신체 움직임이 감지된 상태에서, 사용자의 통상적인 수면 시에 통상적으로 감지되는 소리(이하 수면 중 소리), 예를 들어 코골이 소리나 사용자의 수면 중 숨소리가 감지되는 경우 제어부(100)는 사용자가 수면을 취하는 것으로 사용자의 상황을 추정할 수 있다. 그러나 상기 수면 중 소리 대신, 사용자 주변으로부터 특정 컨텐츠의 음향이 감지되는 경우라면, 제어부(100)는 사용자가 명상을 수행하고 있는 상황으로 판단할 수 있다.
이 경우 상기 사용자의 수면 중 소리는 사용자의 수면에 따른 학습에 의해 판단될 수 있으며, 이는 상기 인공지능 디바이스(10) 또는 상기 적어도 하나의 생체정보 수집 디바이스(20)가 인공지능 알고리즘이 적용된 기기인 경우, 상기 적어도 하나의 생체정보 수집 디바이스(20)에서 이루어진 학습에 따라 판별될 수 있다. 또한 상기 특정 컨텐츠의 음향에 따른 사용자의 명상 수행 여부 판단은, 반복된 사용자의 명상 수행 시 감지되는 음향 정보의 패턴에 따른 상기 인공지능 디바이스(10)의 학습 결과, 또는 상기 적어도 하나의 음향정보 수집 디바이스(30)가 인공지능 알고리즘이 적용된 기기인 경우, 상기 적어도 하나의 음향정보 수집 디바이스(30)에서 이루어진 학습에 따라 판별될 수 있다.
한편 상기 S302 단계에서 사용자의 상황이 추정되는 경우, 제어부(100)는 추정된 사용자 상황에 관련된 컨텐츠를 검색할 수 있다(S304). 이 경우 인공지능부(130)의 학습 결과, 현재 추정된 사용자 상황에 대응하는 기 설정된 수준 이상 학습된 사용자 맞춤형 음향 특성이 있는 경우라면 제어부(100)는 상기 S304 단계에서 상기 학습된 사용자 맞춤형 음향 특성에 매칭하는 특성을 가지는 컨텐츠를 컨텐츠 소스(40)로부터 검색할 수 있다. 예를 들어 제어부(100)는 상기 S304 단계에서, 상기 사용자 맞춤형 음향 특성에 따른 박자, 음색, 소리 유형 등에 매칭되는 적어도 하나의 컨텐츠를 컨텐츠 소스(40)로부터 검색할 수 있다.
한편 상기 학습된 사용자 맞춤형 음향 특성이 없는 경우에는, 제어부(100)는 현재 추정된 사용자의 상황에 따라 일반적으로 추전되는 컨텐츠를 검색할 수 있다. 일 예로 제어부(100)는, 상기 컨텐츠 소스(40)에서 제공하는 컨텐츠 분류에 따라 사용자의 상황에 매칭되는 상황에 매칭되는 분류에 포함되는 적어도 하나의 컨텐츠를 검색할 수 있다. 즉, 추정된 사용자의 상황이 명상 수행인 경우라면, 제어부(100)는 명상 수행에 대응하는 카테고리로 분류된 적어도 하나의 컨텐츠를 상기 컨텐츠 소스(40)로부터 검색할 수 있다.
또는 제어부(100)는 현재 추정된 사용자 상황에 따른 기 설정된 검색 기준에 따라 적어도 하나의 컨텐츠를 검색할 수 있다. 일 예로 메모리(150)에는 사용자의 상황 별로 컨텐츠 검색 기준이 미리 저장되어 있을 수 있으며, 제어부(100)는 추정된 사용자의 상황에 따른 기 저장된 검색 기준(예 : 명상 수행 상황에 대응하는 박자 또는 템포(tempo), 운동 수행 상황에 대응하는 박자 또는 템포)에 근거하여 적어도 하나의 컨텐츠를 검색할 수 있다.
상기 S304 단계에서 추정된 사용자 상황에 관련된 적어도 하나의 컨텐츠가 검색되면, 제어부(100)는 컨텐츠 소스(40)로부터 상기 검색된 컨텐츠를 수신하고, 수신된 컨텐츠를 재생하도록 출력 디바이스(50)를 제어할 수 있다(S306). 그리고 연결된 적어도 하나의 생체정보 수집 디바이스(20)에서 수집되는 사용자의 생체 정보로부터, 상기 컨텐츠의 재생에 따른 사용자의 생체 신호 변화를 검출할 수 있다(S310).
그리고 제어부(100)는 검출된 사용자의 생체 신호 변화에 근거하여, 상기 컨텐츠의 재생이 효과가 있는지를 판별할 수 있다(S310).
이를 위해 제어부(100)는, 먼저 상기 컨텐츠의 재생이 사용자의 생체 신호 변화에 영향을 주는지 여부를 판별할 수 있다. 즉, 제어부(100)는 상기 컨텐츠의 재생이 시작된 이후 기 설정된 시간이 경과된 이후에 수집된 사용자의 생체 정보와, 상기 기 설정된 시간 경과 전에 수집되었던 사용자의 생체 정보를 서로 비교할 수 있다. 그리고 비교 결과 사용자의 생체 정보 차이가 오차 범위 이내인 경우라면, 상기 컨텐츠의 재생이 사용자의 생체 신호 변화에 영향을 주지 않은 것으로 판단할 수 있다. 그리고 상기 컨텐츠의 재생이 현재 추정된 사용자의 상황에 효과가 없는 것으로 판별할 수 있다.
한편 상기 컨텐츠의 재생이 시작된 이후 기 설정된 시간이 경과된 후에 수집된 사용자의 생체 정보와 상기 기 설정된 시간 경과 전에 수집되었던 사용자의 생체 정보가 차이가 있는 경우라면, 제어부(100)는 상기 컨텐츠의 재생이 현재 추정된 사용자의 상황에 영향을 미치는 것으로 판별할 수 있다. 그리고 상기 컨텐츠의 재생이 현재 추정된 사용자의 상황에 영향을 미치는 것으로 판별된 경우, 상기 컨텐츠의 재생이 미치는 영향이 긍정적인 것인지 부정적인 것인지 여부를 판별할 수 있다.
이 경우 제어부(100)는 상기 수집된 생체 정보의 차이, 즉 사용자 생체 신호의 변화가 현재 추정된 사용자의 상황에 부합하는지 여부에 따라 상기 컨텐츠의 재생이 미치는 영향이 긍정적인지 또는 부정적인지 여부를 판별할 수 있다.
예를 들어 제어부(100)는 추정된 사용자의 상황이 명상 수행 상황인 경우, 상기 사용자 생체 신호의 변화를 검출한 결과 심박수나 호흡수가 보다 규칙적이고 안정적으로 변화된 경우에는, 상기 컨텐츠의 재생이 현재 추정된 사용자의 상황, 즉 명상 수행에 긍정적인 영향을 주는 것으로 판별할 수 있다. 반면 사용자 생체 신호의 변화를 검출한 결과 심박수나 호흡수가 보다 불규칙적이고 불안하게 변화된 경우에는, 상기 컨텐츠의 재생이 사용자의 상황(명상 수행)에 부정적인 영향을 주는 것으로 판별할 수 있다.
이와 같이 제어부(100)는, 사용자의 상황에 근거하여 현재 컨텐츠의 재생이 긍정적인 영향을 미치는지 또는 부정적인 영향을 미치는지 여부를 판별할 수 있다. 따라서 생체 신호의 변화가 유사하더라도 추정되는 사용자의 상황이 다른 경우, 상기 판별 결과 역시 서로 달라질 수 있음은 물론이다.
일 예로 제어부(100)는 컨텐츠의 재생 이후 기 설정된 시간이 경과된 후에 수집된 사용자의 생체 정보와 상기 기 설정된 시간 이전에 수집된 사용자의 생체 정보의 차이에 따른 사용자 생체 신호의 변화를 검출한 결과, 사용자의 심박수나 호흡수가 보다 빨라지고 기 설정된 수준 이상 빠르게 증가한 경우, 현재 추정된 사용자의 상황에 따라 현재 컨텐츠의 재생이 긍정적인 영향을 미치는지 또는 부정적인 영향을 미치는지 여부를 판별할 수 있다. 즉, 현재 추정된 사용자의 상황이 운동 중인 상황이라면, 제어부(100)는 상기 컨텐츠의 재생이 현재 추정된 사용자의 상황에 긍정적인 영향을 미치는 것으로 판별할 수 있다. 반면 현재 추정된 사용자의 상황이 명상 중인 상황이라면, 제어부(100)는 상기 컨텐츠의 재생이 현재 추정된 사용자의 상황에 부정적인 영향을 미치는 것으로 판별할 수 있다.
또는 제어부(100)는, 컨텐츠의 재생 이후 기 설정된 시간이 경과된 후에 수집된 사용자의 생체 정보와 상기 기 설정된 시간 이전에 수집된 사용자의 생체 정보의 차이에 따른 사용자 생체 신호의 변화가, 현재 추정된 사용자의 상황에 따라 기 학습된 생체 신호 변화 속도보다 빠른지 또는 느린지에 따라 상기 컨텐츠의 재생이 현재 추정된 사용자의 상황에 영향을 주는지 그렇지 않은지를 판별할 수 있다.
예를 들어 제어부(100)는 사용자가 운동을 하는 상황인 경우, 사용자의 운동 상황에 따라 통상적으로 증가하는 심박수나 호흡수 증가 속도 보다 상기 컨텐츠 재생 이후 기 설정된 시간 동안의 검출된 생체 신호의 변화 속도가 더 빠른 경우에 상기 컨텐츠의 재생에 의한 영향이 있는 것으로 판별할 수 있다. 여기서 상기 사용자의 운동 상황에 따라 통상적으로 증가하는 심박수나 호흡수의 변화 속도 등은, 사용자가 운동하는 상황에서 수집되는 생체 정보들에 근거하여 학습될 수 있다.
또는 제어부(100)는 사용자가 명상을 하는 상황인 경우, 사용자의 명상 상황에 따라 통상적으로 일정 수준까지 안정화, 즉 느려지는 심박수나 호흡수 속도 보다 상기 컨텐츠 재생 이후 기 설정된 시간 동안의 검출된 생체 신호의 변화 속도가 더 빠르게 느려지는 경우에 상기 컨텐츠의 재생에 의한 영향이 있는 것으로 판별할 수 있다. 여기서 상기 사용자의 명상 상황에 따라 통상적으로 느려지는 심박수나 호흡수의 변화 속도 등은, 사용자가 명상하는 상황에서 수집되는 생체 정보들에 근거하여 학습될 수 있다.
한편 상기 S310 단계의 판별 결과, 현재 추정된 사용자의 상황에 대해, 현재 재생되는 컨텐츠의 효과, 즉 긍정적인 영향이 있는 경우, 제어부(100)는 현재 재생되는 컨텐츠의 음향 특성을 분석할 수 있다. 이 경우 제어부(100)는 상기 재생되는 컨텐츠로부터, 박자, 템포, 음색, 소리 유형 등 다양한 음향 특성을 분석할 수 있다. 그리고 분석된 음향 특성들과 동일한 특성을 가지는 컨텐츠를 컨텐츠 소스(40)에서 다시 검색할 수 있다(S312).
그리고 상기 S306 단계로 진행하여, 현재 검색된 컨텐츠가 출력되도록 출력 디바이스(50)를 제어할 수 있다. 그리고 제어부(100)는 현재 출력되는 컨텐츠, 즉 상기 검색된 동일한 특성을 가지는 컨텐츠에 대하여 상기 S308 단계 및 S310 단계에 이르는 과정을 다시 수행할 수 있다.
따라서 출력 디바이스(50)는 현재 재생되는 컨텐츠의 재생이 완료된 이후에, 상기 동일한 특성을 가지는 다른 컨텐츠를 이어서 출력할 수 있다. 그리고 상기 동일한 특성을 가지는 다른 컨텐츠가 사용자의 상황에 미치는 영향이 분석될 수 있으며, 분석된 결과에 따라 동일한 특성을 가지는 다른 컨텐츠가 검색 및 출력되는 과정이 반복될 수 있다.
이에 따라 현재 추정된 사용자의 상황이 명상 또는 수면을 위한 준비 상태에 있는 경우라면, 사용자가 청취할 때에 사용자의 심신을 안정시켜 심박수 또는 호흡수를 보다 느려지도록 하는 컨텐츠가 연속적으로 출력되도록 할 수 있다. 이에 따라 사용자가 명상 중인 경우 보다 심신이 안정된 상태에 빨리 도달할 수 있도록 하고, 사용자가 수면 준비 상태인 경우 수면 상태로 진입하는데 소요되는 시간(입면 지연 시간)을 보다 단축할 수 있다.
한편 상기 S310 단계의 판별 결과, 현재 추정된 사용자의 상황에 대해, 현재 재생되는 컨텐츠의 효과가 없는 경우, 즉 컨텐츠의 재생이 현재 추정된 사용자의 상황에 영향을 주지 않거나 부정적인 영향을 주는 경우, 제어부(100)는 현재 재생되는 컨텐츠의 음향 특성과 적어도 일부가 다른 컨텐츠를 컨텐츠 소스(40)에서 검색할 수 있다(S314). 그리고 상기 S306 단계로 진행하여, 현재 검색된 컨텐츠가 출력되도록 출력 디바이스(50)를 제어할 수 있다.
그리고 제어부(100)는 현재 출력되는 컨텐츠, 즉 다시 상기 S314 단계에서 다시 검색된 컨텐츠에 대하여 상기 S308 단계 및 S310 단계에 이르는 과정을 통해, 컨텐츠의 재생이 사용자에게 미치는 영향을 분석할 수 있다. 그리고 분석 결과에 따라 현재 재생되는 컨텐츠와 동일한 음향 특성을 가지는 다른 컨텐츠를 더 검색하거나(S312 단계), 또는 적어도 일부의 음향 특성을 가지는 컨텐츠르 다시 검색하고(S314 단계), 상기 S306 단계로 진행하여, 상기 S312 단계 또는 S314 단계에서 검색된 컨텐츠가 출력되도록 출력 디바이스(50)를 제어할 수 있다. 이에 따라 현재 출력되는 컨텐츠가, 사용자의 상황에 효과가 있는 경우(긍정적인 영향을 주는 경우) 동일한 음향 특성을 가지는 컨텐츠가 지속적으로 출력될 수 있으며, 사용자의 상황에 효과가 없는 경우 다른 음향 특성을 가지는 컨텐츠가 출력 디바이스(50)를 통해 출력될 수 있다.
한편, 제어부(100)는 검색된 컨텐츠가 재상되는 상기 S306 단계로 다시 진입하는 경우, 현재 추정된 추정된 사용자의 상황이 변경되었는지 여부를 검출할 수 있다. 이를 위해 제어부(100)는 상기 S300 단계 및 S302 단계에서 설명한 바와 같이, 연결된 생체정보 수집 디바이스(20)로부터 수집된 생체 정보들에 근거하여 사용자의 상황을 다시 추정할 수 있다. 그리고 추정된 사용자의 상황이 기 추정된 사용자의 상황과 동일한지 여부를 판단할 수 있다.
그리고 추정된 사용자 상황이 달라진 경우, 상기 S304 단계로 진행하여, 변경된 사용자 상황에 관련된 컨텐츠를 컨텐츠 소스(40)로부터 검색할 수 있다. 그리고 S306 단계 내지 S310 단계로 진행하여, 검색된 컨텐츠를 재생 및 재생된 컨텐츠에 따른 사용자 생체 신호의 변화를 검출하고 검출된 생체 신호 변화에 따라, 상기 재생되는 컨텐츠가 미치는 영향을 분석할 수 있다. 그리고 분석된 결과에 따라 S312 단계 또는 S314 단계에서 새로운 컨텐츠를 검색할 수 있다.
한편 도 3에서 살펴본 바와 같이 컨텐츠가 출력 디바이스(50)를 통해 출력되는 경우 감지되는 사용자 생체 신호의 변화는, 상기 출력 디바이스(50)를 통해 출력되는 컨텐츠에 따른 음향 뿐 아니라 사용자 주변의 다양한 자연 소음에 의한 결과일 수 있다. 즉, 상기 사용자 생체 신호의 변화는, 출력되는 컨텐츠의 음향 및 사용자 주변의 자연 소음 중 적어도 하나를 포함하는 사용자 주변의 음향 환경에 따른 것일 수 있다.
이에 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 출력되는 컨텐츠의 음향을 포함하는 사용자 주변의 음향 환경 뿐만 아니라, 상기 출력되는 컨텐츠의 음향이 포함되지 않는 경우의 음향 환경이 사용자에게 주는 영향에 따라 사용자 생체 신호의 변화를 검출하고, 그에 따른 사용자 맞춤형 음향 특성을 학습하기 위하여, 사용자 주변의 음향 정보를 수집하는 적어도 하나의 음향정보 수집 디바이스(30)와 연결될 수 있다. 그리고 상기 연결된 적어도 하나의 음향정보 수집 디바이스(30)로부터 수집되는 음향 정보에 근거하여 상기 사용자 맞춤형 음향 특성을 학습할 수 있다.
도 4는 이처럼 본 발명의 실시 예에 따른 인공지능 디바이스(10)가, 사용자 주변에서 수집되는 음향 정보에 근거하여 사용자 맞춤형 음향 특성을 학습하는 동작 과정을 도시한 흐름도이다.
도 4를 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는 먼저 연결된 적어도 하나의 음향정보 수집 디바이스(30)로부터 사용자 주변의 음향 정보를 수집할 수 있다(S400). 여기서 상기 음향정보 수집 디바이스(30)는 사용자가 착용한 스마트 워치나 스마트 밴드 등 다양한 웨어러블 디바이스를 포함할 수 있다.
한편 상기 웨어러블 디바이스는 상술한 바와 같이 생체정보 수집 디바이스 일 수 있다. 즉, 일부의 음향정보 수집 디바이스와 일부의 생체정보 수집 디바이스는 서로 같은 기기일 수 있으며, 이 경우 해당 디바이스는 생체 정보의 수집과 음향 정보의 수집을 각각 별개로 동시에 수행할 수 있다.
그리고 제어부(100)는 연결된 적어도 하나의 생체정보 수집 디바이스(20)를 통해 사용자의 생체 정보를 수집할 수 있다(S402). 그리고 수집된 사용자의 생체 정보에 근거하여 현재 사용자의 상황을 추정할 수 있다(S404). 여기서 상기 S402 단계 및 S404 단계는, 상기 도 3에서 수집된 사용자의 생체 정보에 근거하여 사용자의 상황을 추정하는 S300 단계 및 S302 단계와 동일 또는 유사한 단계일 수 있다. 또는 상기 S300 단계 및 S302 단계의 사용자 추정 결과를 그대로 이용할 수도 있다.
한편 상기 S404 단계에서 사용자의 상황이 추정되면, 제어부(100)는 사용자 주변의 음향 환경이, 현재 추정된 사용자의 상황에 효과가 있는지 여부를 판별할 수 있다(S406).
여기서 상기 S406 단계는, 상기 도 3의 S310 단계에서 컨텐츠의 음향이 사용자에게 효과가 있는지 여부를 판별하는 과정과 유사한 과정일 수 있다. 즉, 제어부(100)는, 추정된 사용자 상황 하에서, 기 설정된 시간 이후에 수신된 사용자의 생체 정보와 상기 기 설정된 시간 이전에 수신된 사용자의 생체 정보의 차이에 따라, 사용자의 생체 신호의 변화를 검출할 수 있다. 그리고 검출된 생체 신호의 변화가 현재 추정된 사용자 상황에 부합하는지 여부에 따라 현재 사용자 주변의 음향 환경이 사용자에게 긍정적인 영향, 즉 효과가 있는지 여부를 판별할 수 있다.
한편 상기 S406 단계의 판별 결과, 현재 사용자 주변의 음향 환경이 현재 추정된 사용자 상황에 효과가 있는 것으로 판별된 경우라면, 제어부(100)는 현재 수집된 음향 정보들의 음향 특성을 분석할 수 있다(S408). 일 예로 제어부(100)는 상기 S408 단계에서 서로 다른 복수의 음향정보 수집 디바이스에서 수집된 복수의 음향 정보가 공통적으로 가지는 음향 특성들을 분석할 수 있다. 여기서 상기 음향 특성들은 상기 복수의 음향 정보가 공통적으로 가지는 음색, 소리 유형, 및 멜로디의 박자 또는 템포를 포함할 수 있다. 이 경우, 제어부(100)는 상기 S408 단계에서, 상기 복수의 음향 정보가 공통적으로 가지는 음색, 소리 유형, 및 멜로디의 박자 또는 템포 중 적어도 하나를 상기 수집된 음향 정보의 음향 특성으로서 추출할 수 있다.
그리고 상기 S408 단계의 분석 결과, 수집된 음향 정보로부터 적어도 하나의 음향 특성이 추출되면, 추출된 적어도 하나의 음향 특성에 따라 현재 추정된 사용자의 상황에 대한 사용자 맞춤형 음향 특성을 학습할 수 있다(S410). 이를 위해 제어부(100)는 머신 러닝, 예를 들어 딥 러닝(deep learning) 방식의 학습 알고리즘을 통해 상기 사용자 맞춤형 음향 특성의 학습을 수행할 수 있다. 그리고 제어부(100)는, 상기 학습이 완료되면 다시 S400 단계로 진행하여 상기 S400 단계 내지 S406 단계에 이르는 과정을 반복 및, 상기 S406 단계의 판별 결과에 따라 S408 단계 내지 S410 단계의 과정을 다시 수행할 수 있다.
한편 상기 S406 단계의 판별 결과, 현재 사용자 주변의 음향 환경이 현재 추정된 사용자 상황에 효과가 없는 경우라면, 제어부(100)는 다시 S400 단계로 진행하여 사용자 주변의 음향 정보를 수집하는 과정을 수행할 수 있다. 따라서 사용자 주변에서 검출되는 음향 정보가, 현재 추정된 사용자 환경에 효과가 없는 경우, 학습 없이 S402 단계 내지 S406 단계가 다시 수행될 수 있다.
한편 상기 도 4에서 설명한 과정은, 사용자 주변에서 감지되는 음향 정보에 따라, 사용자 맞춤형 음향 특성 학습을 수행하는 것으로, 출력 디바이스(50)를 통해 컨텐츠가 출력되지 않는 경우에도 수행될 수 있다. 즉, 컨텐츠의 출력과는 별개로 수행되는 과정일 수 있다.
이처럼 컨텐츠의 출력과 별개로 상기 학습 과정이 수행될 수 있으므로, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 출력 디바이스(50)가 제어되지 않는 상태, 즉 어떤 컨텐츠도 출력되지 않는 상태에서 사용자 주변에서 감지되는 소리에 따른 학습을 수행할 수 있다. 따라서 인공지능 디바이스(10)는, 현재 추정된 사용자의 상황에 대하여, 빗 소리, 물방울 소리 또는 바람 소리와 같은 자연적인 소리가 사용자에게 주는 영향을 분석할 수 있고, 상기 자연적인 소리에 근거하여 현재 추정된 사용자 상황에 긍정적인 영향을 미칠 수 있는 음향 특성, 즉 사용자 맞춤형 음향 특성을 학습할 수 있다. 그리고 상기 사용자 맞춤형 음향 특성이 충분히 학습되는 경우, 제어부(100)는 상기 도 3의 S304 단계에서 추정된 사용자 상황에 관련된 컨텐츠를 검색하기 위해 상기 학습된 사용자 맞춤형 음향 특성을 이용할 수 있다. 이 경우, 상기 도 3의 S304 단계는, 상기 학습된 사용자 맞춤형 음향 특성에 따른 컨텐츠를 컨텐츠 소스(40)로부터 검색하는 단계일 수 있다.
한편 상술한 설명에서는, 수집된 음향 정보가 사용자에게 긍정적인 영향을 주는지 여부에 따라 학습이 이루어지는 예를 설명하였으나, 이와는 달리 사용자에게 부정적인 영향을 주는 경우와, 사용자에게 영향을 주지 않는 경우에 대해서도 상기 학습이 이루어질 수도 있음은 물론이다.
이 경우 제어부(100), 즉 인공지능부(130)는 수집된 음향 정보가 긍정적인 영향을 주는지 여부에 상관없이 수집된 음향 정보들이 가지는 공통적인 특성을 추출하고, 상기 음향 정보가 주는 사용자의 영향에 근거하여 추출된 각 특성에 서로 다른 가중치를 설정할 수 있다. 예를 들어, 제어부(100)는 상기 수집된 음향 정보가, 현재 추정된 사용자의 상황에 따라 사용자에게 긍정적인 영향을 미치는 경우 양(+)의 가중치를 설정하고, 사용자에게 부정적인 영향을 미치는 경우 음(-)의 가중치를 설정할 수 있다.
이와 같은 방식으로 학습이 이루어지는 경우, 제어부(100)는 특정 사용자 상황에 대해 긍정적인 효과를 가지는 사용자 맞춤형 음향 특성 뿐만 아니라, 상기 특정 사용자 상황에 대해 부정적인 효과를 가지는 사용자 맞춤형 음향 특성을 함께 획득할 수 있다.
한편 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 충분히 학습된 특정 상황에 대한 사용자 맞춤형 음향 특성이 있는 경우, 컨텐츠 합성부(140)를 제어하여 학습된 음향 특성에 근거하여 새로운 컨텐츠를 생성할 수도 있다.
도 5는 이처럼 본 발명의 실시 예에 따른 인공지능 디바이스(10)가, 기 학습된 음향 특성에 근거하여 사용자 맞춤형 컨텐츠를 생성하는 동작 과정을 도시한 흐름도이다.
도 5를 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 현재 추정된 사용자 상황에 대응하는 기 학습된 사용자 맞춤형 음향 특성을 검색할 수 있다(S500). 이 경우 적어도 하나의 서로 다른 음향 특성이 S500 단계에서 검색될 수 있다. 일 예로, 특정 박자나 템포, 특정 음색, 특정 소리 유형, 또는 특정 작곡가나 특정 장르, 및 특정 가수 등이 상기 사용자 맞춤형 음향 특성으로 검색될 수 있다.
그리고 제어부(100)는, 검색된 사용자 맞춤형 음향 특성을 포함하는 컨텐츠들을 상기 컨텐츠 소스(40)로부터 검색할 수 있다(S502). 여기서 제어부(100)는 검색된 사용자 맞춤형 음향 특성 전부 뿐만 아니라 일정 개수 이상의 음향 특성이 동일한 컨텐츠들을 검색할 수 있다. 따라서 컨텐츠 소스(40)의 컨텐츠들 중, 가지고 있는 음향 특성들이 상기 S500 단계에서 검색된 사용자 맞춤형 음향 특성들 중 적어도 일부에 매칭되는 컨텐츠들이 상기 S502 단계에서 검색될 수 있다.
뿐만 아니라 제어부(100)는, 상기 컨텐츠 소스(40)의 컨텐츠들 중 상기 S500 단계에서 검색된 사용자 맞춤형 음향 특성에 매칭되는 부분을 일부 포함하는 컨텐츠들도 검색할 수 있다. 즉, 상기 S500 단계에서 검색된 사용자 맞춤형 음향 특성이 모데라토(moderato)에 대응하는 템포 및, 떨어지는 물방울 소리에 대응하는 소리 유형인 경우라면, 제어부(100)는 보통 빠르기의 속도로 물방울이 반복적으로 떨어지는 소리를 적어도 일부 포함하는 컨텐츠를 상기 컨텐츠 소스(40)로부터 검색할 수 있다.
그리고 상기 S502 단계에서 컨텐츠들이 검색되면, 제어부(100)는 검색된 컨텐츠들 각각으로부터, 상기 S500 단계에서 검색된 사용자 맞춤형 음향 특성에 매칭되는 적어도 일부를 추출할 수 있다(S504). 이 경우 검색된 컨텐츠의 전체가 상기 사용자 맞춤형 음향 특성에 매칭되는 경우라면 컨텐츠 전체가, 검색된 컨텐츠의 일부가 상기 사용자 맞춤형 음향 특성에 매칭되는 경우라면 컨텐츠의 일부가 상기 S504 단계에서 추출될 수 있다.
상기 S504 단계에서, 사용자 맞춤형 음향 특성에 매칭되는 컨텐츠들의 추출이 완료되면, 제어부(100)는 추출된 컨텐츠들을 합성하여 새로운 사용자 맞춤형 음향 컨텐츠를 생성할 수 있다(S506). 일 예로 제어부(100)는 상기 S504 단계에서 추출된 컨텐츠들을 서로 연결하여 기 설정된 시간에 대응하는 새로운 컨텐츠를 생성할 수 있다. 여기서 상기 기 설정된 시간은 사용자에 의해 미리 설정되거나, 또는 현재 추정된 사용자의 상황이 지속되는 시간에 따라 결정될 수 있다.
이 경우 제어부(100)는 사용자 상황이 지속된 시간과 관련된 학습 결과에 따라 상기 기 설정된 시간을 결정할 수도 있다. 즉, 제어부(100)는 현재 추정된 사용자 상황이 유지되는 시간들에 대한 데이터들에 근거하여, 현재 추정된 사용자 상황의 지속 시간을 학습하고, 학습된 상황 지속 시간에 근거하여 산출되는 재생 시간을 가지는 상기 합성 컨텐츠를 생성할 수도 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는, 연결 가능한 다른 기기들(예 : 정보 수집 디바이스들) 중 인공지능 알고리즘이 적용된 다른 기기가 있는 경우, 본 발명의 실시 예에 따른 서비스, 즉 사용자 맞춤형 음향 특성을 학습 및, 학습된 결과에 따른 컨텐츠를 제공하는 서비스에 소요되는 시간을 보다 단축하기 위해, 상기 인공지능 알고리즘이 적용된 다른 기기와 협업을 수행할 수 있음을 언급한 바 있다.
도 6은 이처럼 본 발명의 실시 예에 따른 인공지능 디바이스(10)가, 인공지능 알고리즘이 적용된 다른 기기들과 협업하는 동작 과정을 도시한 흐름도이다. 그리고 도 7은 본 발명의 실시 예에 따른 인공지능 디바이스(10)가, 협업을 위해 상기 인공지능 알고리즘이 적용된 다른 기기들과 교환하는 정보의 예를 도시한 예시도이다. 그리고 도 8은 본 발명의 실시 예에 따른 인공지능 디바이스(10)가, 상기 협업에 따라 수집된 정보에 근거하여 다른 디바이스를 제어하는 구조를 도시한 개념도이다.
먼저 도 6은 본 발명에서 적어도 하나의 다른 기기, 예를 들어 적어도 하나의 생체정보 수집 디바이스 또는 적어도 하나의 음향정보 수집 디바이스와 연결을 위해 수행되는 동작 과정일 수 있다.
즉, 하기 도 6의 동작 과정을 거쳐서 상기 적어도 하나의 수집 디바이스들이 본 발명의 실시 예에 따른 인공지능 디바이스(10)와 연결될 수 있으며, 각 수집 디바이스에 구비된 센서에서 감지된 결과를, 상기 인공지능 디바이스(10)와 협상된 처리 프로세스에 근거하여 처리하고 처리된 결과를 상기 인공지능 디바이스(10)에 수집된 데이터로서 전송할 수 있다. 따라서 상기 도 3의 S300 단계, 또는 도 4의 S400 단계나 S402 단계에서 수집되는 생체 정보 또는 음향 정보는, 하기 도 6의 동작 과정 및 협상 과정에 따라 생체정보 수집 디바이스 또는 음향정보 수집 디바이스에서 처리되어, 인공지능 디바이스(10)로 전송되는 데이터들일 수 있다.
도 6을 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는 먼저 사용자 주변의 정보를 수집할 적어도 하나의 디바이스를 검색할 수 있다(S600). 이 경우 상기 검색 결과로서 사용자가 착용하거나 사용자의 주변에 배치된 적어도 하나의 정보 수집 디바이스(예 : 생체정보 수집 디바이스, 음향정보 수집 디바이스, 위치정보 수집 디바이스 등)가 검색될 수 있다.
한편 제어부(100)는 상기 S600 단계에서 검색된 적어도 하나의 정보 수집 디바이스들 중 인공지능 알고리즘이 적용된 디바이스를 검출할 수 있다(S602). 그리고 검출된 디바이스들, 즉 인공지능 알고리즘이 적용된 디바이스(이하 다른 인공지능 디바이스)들과, 상기 인공지능 알고리즘의 처리에 관련된 데이터를 교환할 수 있다(S604). 이 경우 상기 정보의 데이터의 교환은, 인공지능 디바이스(10)가 상기 인공지능부(130)의 데이터를 브로드캐스팅하고, 상기 다른 인공지능 디바이스가, 상기 브로드캐스팅된 데이터의 수신에 대한 응답으로 자신의 데이터를 전송하는 방식으로 이루어질 수 있다.
여기서 인공지능 디바이스(10)는, 사용자 맞춤형 음향 특성을 학습하고 학습된 음향 특성에 따른 맞춤형 컨텐츠를 제공하는 서비스를 위해 요구되는 변수들에 대한 정보를 다른 인공지능 디바이스들과 교환할 수 있다. 또한 각 변수에 대해 처리 가능한 예상 처리 시간에 대한 정보를 교환할 수 있다. 도 7은 이를 위해 인공지능 디바이스(10)와 다른 인공지능 디바이스들 간에 교환되는 데이터에 포함되는 정보들의 예를 도시한 것이다.
도 7을 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)와 다른 인공지능 디바이스들 간에 교환되는 데이터(이하 교환 데이터(700))는, 헤더(710) 및 알고리즘 기본 정보(720), 그리고 처리시간 정보(730), 준비상태 정보(740), 서비스 권한(750), 및 기타 데이터(760)를 포함할 수 있다.
여기서 상기 헤더(710)는 상기 도 7에서 보이고 있는 교환 데이터(700)를 전송하는 인공지능 디바이스의 식별 정보를 포함할 수 있다. 또한 데이터의 세그먼트(segment) 일렬번호에 대한 정보를 포함할 수 있다. 이에 도 7의 교환 데이터(700)를 수신하는 디바이스는, 상기 헤더(710)에 포함된 정보에 근거하여, 상기 교환 데이터(700)를 발신한 발신자 디바이스를 식별할 수 있다. 그리고 버퍼 또는 네트워크 용량 등 환경적 요인으로 데이터가 분할되어 복수의 교환 데이터가 전송되는 경우, 상기 세그먼트 일렬번호에 근거하여 발신자 디바이스로부터 전송된 교환 데이터들을 병합함으로써 원본 데이터를 복원할 수 있다.
한편 상기 교환 데이터(700)는 상기 발신자 디바이스에 적용된 알고리즘에 대한 기본 정보, 즉 알고리즘 기본 정보(720)를 포함할 수 있다. 여기서 상기 알고리즘 기본정보(720)는 상기 발신자 디바이스에 적용된 인공지능 알고리즘의 소프트웨어 명칭 및, 소프트웨어 버전에 대한 정보를 포함할 수 있다. 또한 알고리즘에서 적용되는 방식, 예를 들어 의사 결정 나무, 인공 신경망, 유전자 프로그래밍, 군집화, 및 몬테카를로 방법 중 어느 방식이 적용되었는지에 대한 정보 등을 포함할 수 있다.
이에 따라 상기 교환 데이터(700)에 근거하여, 상기 인공지능 디바이스(10) 및 상기 다른 인공지능 디바이스는, 상대방 디바이스에 적용된 인공지능 알고리즘의 특성 및 학습 방식 등을 식별할 수 있다.
한편 상기 처리시간 정보(730)는 본 발명의 실시 예에 따른 서비스를 위해 처리가 요구되는 변수들(731a, 732a)에 대한 정보를 포함할 수 있다. 그리고 상기 발신자 디바이스가 상기 변수들 각각을 처리하는데 소요될 수 있는 처리 시간에 대한 정보들(이하 처리 시간 정보들(731b, 732b))을 포함할 수 있다.
또한 상기 교환 데이터(700)는, 동작 준비 상태에 대한 준비상태 정보(740) 및, 서비스 권한(750)에 대한 정보를 더 포함할 수 있다. 여기서 상기 준비 상태에 대한 정보는, 기기의 동작 상태, 즉 서비스의 제공이 가능한 상태인지 여부를 포함할 수 있다. 또한 상기 서비스 권한에 대한 정보는 교환되는 정보 및 제공되는 데이터들을 다른 기기가 사용할 수 있는지 여부에 대한 정보일 수 있다.
일 예로 생체정보 수집 디바이스(20) 또는 음향정보 수집 디바이스(30)는 인공지능 디바이스(10)와 연결된 상태에서 상기 정보를 교환하는 과정에서, 수집된 정보(예 : 생체 정보 또는 음향 정보)를 인공지능 디바이스(10)가 서비스의 제공에 사용할 수 있는지 여부를 상기 서비스 권한을 통해 표시할 수 있다. 즉, 사용자가 독서실과 같이 정숙을 요하는 장소에서 공부하는 경우, 생체정보 수집 디바이스는 사용자 주변의 환경 및 사용자의 위치에 근거하여 수집된 생체 정보에 대한 활용을 제한하는 정보를 상기 서비스 권한 정보로서 인공지능 디바이스(10)에 제공할 수 있다.
그러면 인공지능 디바이스(10)는 서비스 권한이 제한된 생체 정보를 수신하게 되고, 이에 따라 사용자가 공부하는 상황에 대해서 사전에 학습된 사용자의 맞춤형 음향 특성이 있다고 하더라도 그에 따른 컨텐츠를 검색 및 출력하지 않을 수 있다.
다만 이처럼 서비스 권한이 제한된 정보라고 하더라도 인공지능 디바이스(10)는 수신된 정보를, 현재 추정된 사용자의 상황에 따른 사용자 맞춤형 음향 특성 학습에 사용할 수 있다.
일 예로, 인공지능 디바이스(10)는 연결된 적어도 하나의 음향정보 수집 디바이스(30)에서 수신되는 음향 정보 및, 연결된 적어도 하나의 생체정보 수집 디바이스(20)로부터 수신되는 생체 정보(서비스 권한이 제한된 생체 정보)에 근거하여 현재 상황, 즉 독서실에서 사용자가 공부를 하는 상황에 대한 사용자 맞춤형 음향 특성을 학습할 수 있다.
한편 기타 데이터(760)는 앞에서 설명하지 않은 다양한 부가 데이터들을 포함할 수 있다. 예를 들어 상기 기타 데이터(670)에는 발신자 디바이스가 수집한 정보, 예를 들어 수집된 생체 정보 또는 음향 정보가 포함될 수 있다. 또는 생체 정보와 음향 정보 외에, 연관된 다른 디바이스(예를 들어 위치정보 수집 디바이스)에 수집된 다른 정보가 포함될 수 있다.
한편 제어부(100)는 상기 S604 단계에서, 상기 도 7에서 도시한 정보들을 포함하는 교환 데이터(700)의 교환을 통해, 연결 가능한 다른 인공지능 디바이스들 각각에서 요구되는 변수들 및 각 변수들의 처리 시간에 대한 정보를 획득할 수 있다. 그리고 획득된 변수들 및 각 변수들의 처리 시간에 근거하여, 제어부(100)는 다른 인공지능 디바이스(10)와 변수의 처리를 위한 협상을 수행할 수 있다(S606). 이 경우 제어부(100)는 인공지능 디바이스(10)에서 처리 가능한 시간에 근거하여, 해당 변수를 보다 빠르게 처리할 수 있는 기기를 검출할 수 있다. 그리고 검출 결과에 근거하여 해당 변수를 처리할 주체를 결정하기 위한 협상을 수행할 수 있다.
그리고 상기 S606 단계의 프로세스 처리 협상이 완료되면, 제어부(100)는 적어도 하나의 다른 인공지능 디바이스와 함께, 상기 협상된 인공지능 알고리즘 처리 프로세스에서 요구되는 변수들을 처리하고, 처리된 변수에 따라 상기 적어도 하나의 다른 인공지능 디바이스로부터 전송되는 데이터들을 수집할 수 있다(S608).
일 예로, 특정 인공지능 디바이스에서 요구되는 변수 중 사용자의 위치 정보가 있는 경우, 상기 특정 인공지능 디바이스에 GPS 기기가 구비되지 않은 경우라면, 상기 특정 인공지능 디바이스는 Wi-Fi 모듈과 적어도 하나의 무선 AP(Wireless Access Point)의 정보에 기반하여 상기 사용자의 위치 정보를 산출할 수 있다. 반면 인공지능 디바이스(10)가 GPS 모듈을 포함하는 경우, 인공지능 디바이스(10)는 상기 GPS 모듈을 통해 사용자의 위치 정보를 보다 빠르고 간단하게 산출할 수 있다.
이러한 경우, 상기 사용자의 위치 정보는, 상기 특정 인공지능 디바이스보다 상기 인공지능 디바이스(10)에 의해 보다 짧은 시간 내에 산출될 수 있다. 그리고 이러한 산출 시간의 차이, 즉 처리 시간에 대한 정보는 상기 교환 데이터(700)의 교환을 통해, 상기 특정 인공지능 디바이스와 인공지능 디바이스(10) 사이에서 교환될 수 있다.
그리고 제어부(100)는 상기 S606 단계에서, 상기 변수, 즉 사용자 위치 정보와, 변수의 처리 시간에 근거하여 인공지능 디바이스(10)가 상기 사용자 위치 정보를 산출할 것인지 또는 상기 특정 인공지능 디바이스가 상기 사용자 위치 정보를 산출할 것인지를 협상할 수 있다. 따라서 제어부(100)는 상기 특정 인공지능 디바이스가 아니라 상기 인공지능 디바이스(10)가 상기 사용자 위치 정보를 산출하도록, 상기 사용자 위치 정보(변수)의 처리 프로세스를 상기 특정 인공지능 디바이스와 협상할 수 있다.
그리고 이러한 협상 과정에 의하여, 상기 특정 인공지능 디바이스 대신, 인공지능 디바이스(10)가 사용자의 위치 정보를 산출하고 이를 상기 특정 인공지능 디바이스에 제공할 수 있다. 이에 따라 서비스를 제공하기 위해 상기 특정 인공지능 디바이스에서 요구되는 변수, 즉 사용자 위치 정보를 산출하는 시간이 단축되므로, 상기 특정 인공지능 디바이스에서 인공지능 디바이스(10)에 제공할 데이터를 생성하는데 소요되는 시간이 단축될 수 있다. 그리고 이러한 소요 시간 단축으로 인하여, 전체적으로 본 발명의 실시 예에 따른 서비스를 제공을 위해 소요되는 시간이 단축될 수 있다.
도 8은 이처럼 본 발명의 실시 예에 따른 인공지능 디바이스(10)와, 다른 인공지능 디바이스 사이에서 이루어진 프로세스 처리 협상에 따라 변수의 산출이 이루어지고, 산출된 변수에 따라 생성된 수집 정보가 인공지능 디바이스(10)에 제공되는 예를 도시한 도면이다.
도 8을 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)는 상기 도 6의 S606 단계에서 이루어진 협상을 통해 특정 변수를, 특정 생체정보 수집 디바이스(21) 대신 처리할 수 있다. 이 경우 상기 특정 생체정보 수집 디바이스(21)는 자신이 상기 특정 변수를 처리하는 대신, 인공지능 디바이스(10)에서 처리되는 변수를 제공받고 제공받은 변수를 처리하여 상기 인공지능 디바이스(10)에서 요구되는 정보를 생성 및 이를 제공할 수 있다.
따라서 도 8에서 보이고 있는 바와 같이, 프로세스 처리 협상에 따라 인공지능 디바이스(10)가, 상기 특정 생체정보 수집 디바이스(21)에서 생체 정보의 수집을 위해 요구되는 변수(예 : 사용자 위치)를 처리할 수 있다. 그리고 처리한 변수의 정보, 즉 변수 정보(예 : 사용자 위치 정보)(800)를 상기 특정 생체정보 수집 디바이스(21)에 전송할 수 있다. 그러면 특정 생체정보 수집 디바이스(21)는 제공받은 변수(사용자 위치 정보)(800)에 근거한 인공지능 알고리즘을 통해, 상기 인공지능 디바이스(10)에서 요구하는 생체 정보를 수집 및 수집된 생체 정보를 인공지능 디바이스(10)로 전송할 수 있다.
일 예로 상기 특정 생체정보 수집 디바이스(21)는 상기 인공지능 디바이스(10)로부터 수신한 변수 정보, 즉 사용자 위치 정보(800)를 반영하여 사용자의 생체 정보를 수집할 수 있다. 예를 들어 상기 사용자 위치 정보(800)에 따른 사용자 위치가, 정숙이 요구되는 독서실과 같은 위치인 경우, 상기 특정 생체정보 수집 디바이스(21)는, 사용자의 숨소리 등이 작아진 이유가 사용자가 명상 등을 수행하는 경우와 같이 신체적으로 안정화되는 등의 이유가 아니라, 위치적인 이유에 의한 것으로 판별할 수 있다.
따라서 사용자의 숨소리 등이 통상적인 경우보다 작아진 경우라고 할지라도, 상기 특정 생체정보 수집 디바이스(21)는 사용자의 생체 신호가 통상적인 상태임을 나타내는 생체 정보를 생성 및 이를 인공지능 디바이스(10)에 전송할 수 있다(810).
한편 이와 같이 상기 특정 생체정보 수집 디바이스(21)로부터 인공지능 디바이스(10)로 전송되는 정보, 즉 교환 데이터에는 서비스 권한에 대한 정보가 포함될 수 있다. 이 경우 서비스 권한은, 상기 교환 데이터에 포함된 정보를 사용할 권한에 대한 정보가 포함될 수 있다. 그리고 상기 서비스 권한은, 장소 정보 또는 시간 정보 등 사용자 주변으로부터 획득되는 환경 정보에 따라 결정될 수 있다.
이 경우, 상기 특정 생체정보 수집 디바이스(21)는, 인공지능 디바이스(10)로부터 수신된 변수 정보(800), 즉 사용자 위치 정보에 근거하여, 현재 사용자의 위치가 '독서실'임을 식별할 수 있다. 그러면 상기 특정 생체정보 수집 디바이스(21)는 상기 사용자의 위치에 따른 장소에 근거하여 현재 수집된 사용자의 생체 정보를 사용할 권한(서비스 권한)을 결정하고, 결정된 서비스 권한을 포함하는 정보를 상기 수집된 생체 정보와 함께 전송할 수 있다.
이 경우 상술한 바와 같이 사용자의 위치가 정숙이 요구되는 '독서실'인 경우 상기 특정 생체정보 수집 디바이스(21)는 서비스 권한으로서 생체 정보를 사용할 권한이 없음을 나타내는 정보를 포함하여 전송할 수 있다.
그러면, 도 8에서 보이고 있는 바와 같이, 인공지능 디바이스(10)는 생체 정보의 사용이 제한된 서비스 권한 정보와 함께 생체 정보를 수신할 수 있다. 따라서 인공지능 디바이스(10)는 상기 수집된 생체 정보를 사용하여 출력 디바이스(50)를 통해 컨텐츠를 출력(820)하는 것은 제한될 수 있다. 다만 수신된 생체 정보에 따른 학습은 가능할 수 있다.
한편 도 9는 본 발명의 실시 예에 따른 인공지능 디바이스(10)가, 협업을 위해 인공지능 알고리즘이 적용된 다른 디바이스와 협상을 수행하는 도 6의 S606 단계의 동작 과정을 보다 자세히 도시한 흐름도이다.
도 9를 참조하여 살펴보면, 본 발명의 실시 예에 따른 인공지능 디바이스(10)의 제어부(100)는, 상기 처리 프로세스의 협상을 위해 현재 인공지능 알고리즘이 적용된 것으로 검출된 각 디바이스 별로, 인공지능 알고리즘 처리를 위해 요구되는 변수들을 검출할 수 있다. 그리고 상기 검출된 변수들 중 인공지능 디바이스(10)에서 산출 가능한 변수를 검출할 수 있다(S900).
그리고 인공지능 디바이스(10)의 제어부(100)는, 상기 S900 단계에서 자신이 산출 가능한 변수들 각각에 대한 예상 처리 시간들을 산출할 수 있다(S902). 그리고 상기 산출 가능한 변수들 각각에 대하여, 상기 S902 단계에서 산출된 예상 처리 시간과 다른 인공지능 디바이스에서의 변수 처리 시간을 비교할 수 있다. 그리고 비교 결과에 근거하여 상기 산출 가능한 각 변수에 대한 처리 주체를 결정할 수 있다(S904).
예를 들어 제어부(100)는 특정 변수에 대하여 산출된 예상 처리 시간이, 다른 인공지능 디바이스에서 산출된 변수 처리 시간보다 기 설정된 임계 시간 이상 짧은 경우에, 상기 특정 변수를 상기 인공지능 디바이스(10)가 처리하도록 상기 다른 인공지능 디바이스와 상기 특정 변수에 대한 처리 프로세스를 협상할 수 있다.
여기서 상기 기 설정된 임계 시간은, 상기 인공지능 디바이스(10)가 상기 특정 변수를 대신 처리함에 따라 상기 인공지능 디바이스(10)에 증가되는 연산 부하 증가량을 고려하여 산출되는 것으로, 상기 임계 시간이상 상기 예상 처리 시간이 상기 변수 처리 시간보다 짧은 경우에 상기 특정 변수를 상기 인공지능 디바이스(10)가 처리하는 것이 더 유리하다고 판단될 수 있다. 이 경우 상기 임계 시간은, 본 발명과 관련되어 진행된 복수의 실험을 통해 결정되는 시간일 수 있다.
또는 상기 임계 시간은, 상기 특정 변수를 상기 인공지능 디바이스(10)에서 상기 다른 인공지능 디바이스로 전송하는데 소요되는 시간을 반영한 시간일 수 있다. 이 경우 상기 임계 시간은, 상기 인공지능 디바이스(10)에서 산출된 변수 정보를, 상기 다른 인공지능 디바이스(10)로 전송하는데 소요되는 시간 보다 큰 값을 가질 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 상기 컴퓨터는 상기 인공지능 디바이스(10)의 제어부(100)를 포함할 수 있다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (17)

  1. 컨텐츠 소스 및, 사용자의 생체 정보를 수집하는 적어도 하나의 생체정보 수집 디바이스와 통신 연결을 수행하는 통신부;
    상기 수집된 생체 정보에 근거하여 사용자의 상황을 추정하고, 수집된 생체 정보의 변화에 따라 사용자 주변의 음향 환경이 상기 사용자의 생체 신호에 미치는 영향을 검출 및, 검출된 영향과 상기 추정된 사용자 상황에 근거하여 상기 추정된 사용자 상황에 대응하는 사용자 맞춤형 음향 특성을 학습하는 인공지능부; 및,
    상기 인공지능부의 학습 결과에 따른 사용자 맞춤형 음향 특성에 근거하여 적어도 하나의 컨텐츠를 상기 컨텐츠 소스에서 검색 및, 검색된 컨텐츠의 음향 신호가 상기 통신부를 통해 연결되는 출력 디바이스에서 출력될 수 있도록, 상기 통신부 및 출력 디바이스를 제어하는 제어부를 포함하는 것을 특징으로 하는 인공지능 디바이스.
  2. 제1항에 있어서,
    상기 통신부는,
    사용자 주변으로부터 음향 정보를 수집하는 적어도 하나의 음향정보 수집 디바이스와 더 통신 연결을 수행하며,
    상기 제어부는,
    상기 수집된 생체 정보 및 상기 수집된 음향 정보 중 적어도 하나에 근거하여 상기 사용자의 상황을 추정 및,
    상기 출력 디바이스로부터 출력되는 컨텐츠의 음향 신호 및 상기 수집된 음향 정보 중 적어도 하나에 근거하여, 사용자 주변의 음향 환경이 상기 사용자의 생체 신호에 미치는 영향을 검출하는 것을 특징으로 하는 인공지능 디바이스.
  3. 제2항에 있어서, 상기 사용자 주변의 음향 환경은,
    상기 출력 디바이스로부터 출력되는 컨텐츠의 음향 신호 및, 상기 사용자 주변의 자연물에 의한 소음 중 적어도 하나에 의해 형성되는 것을 특징으로 하는 인공지능 디바이스.
  4. 제2항에 있어서, 상기 인공지능부는,
    상기 사용자 주변의 음향 환경에 대한 상기 생체 정보의 변화가 현재 추정된 사용자의 상황에 부합하는지 여부에 따라, 상기 사용자 주변의 음향 환경이 사용자에게 긍정적인 영향을 미치는지 부정적인 영향을 미치는지 판단하고, 판단된 결과에 따라 상기 수집된 음향 정보로부터 검출되는 음향 특성을 반영하여 상기 사용자 맞춤형 음향 특성을 학습하는 것을 특징으로 하는 인공지능 디바이스.
  5. 제4항에 있어서, 상기 인공지능부는,
    상기 생체 정보의 변화가, 상기 추정된 사용자의 상황에 대해 기 학습된 사용자 생체 정보의 변화보다 더 큰 경우에 상기 사용자 주변의 음향 환경이 사용자에게 영향을 주는지 여부를 판별하는 것을 특징으로 하는 인공지능 디바이스.
  6. 제1항에 있어서,
    복수의 컨텐츠로부터 추출되는 복수의 부분 컨텐츠를 합성한 합성 컨텐츠를 생성하는 컨텐츠 합성부를 더 포함하며,
    상기 제어부는,
    상기 컨텐츠 소스로부터, 학습된 적어도 하나의 상기 사용자 맞춤형 음향 특성에 매칭되는 상기 복수의 컨텐츠를 검색하고, 검색된 컨텐츠 각각에 대하여 상기 학습된 적어도 하나의 상기 사용자 맞춤형 음향 특성에 매칭되는 부분을 추출하여 상기 복수의 부분 컨텐츠를 생성 및, 생성된 복수의 부분 컨텐츠를 합성하여 상기 합성 컨텐츠가 생성되도록 상기 컨텐츠 합성부를 제어하는 것을 특징으로 하는 인공지능 디바이스.
  7. 제6항에 있어서, 상기 제어부는,
    상기 복수의 부분 컨텐츠 중 적어도 일부를, 상기 학습된 적어도 하나의 상기 사용자 맞춤형 음향 특성에 따라 변조하고, 변조된 컨텐츠를 포함하는 합성 컨텐츠가 생성되도록 상기 컨텐츠 합성부를 제어하는 것을 특징으로 하는 인공지능 디바이스.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 생체정보 수집 디바이스들 중, 특정 생체 정보를 수집하는 복수의 디바이스가 있는 경우, 기 설정된 조건에 근거하여 상기 복수의 디바이스 중 어느 하나로부터 상기 특정 생체 정보를 수신하며,
    상기 기 설정된 조건은,
    상기 추정된 사용자의 상황, 생체 정보를 수집하는 디바이스의 생체 정보 수집 정확도 중 적어도 하나임을 특징으로 하는 인공지능 디바이스.
  9. 제2항에 있어서,
    상기 음향정보 수집 디바이스는,
    상기 사용자의 이동에 따라 함께 이동되는 이동형 디바이스 또는 특정 장소에 고정적으로 배치되는 고정형 디바이스를 포함하며,
    상기 제어부는,
    상기 통신부를 통해 연결되거나, 수집한 음향 정보를 전송하는 음향정보 수집 디바이스가 상기 고정형 디바이스인 경우, 상기 고정형 디바이스가 배치된 장소에 근거하여 사용자의 상황을 추정하는 것을 특징으로 하는 인공지능 디바이스.
  10. 제2항에 있어서, 상기 통신부는,
    저전력 블루투스 방식으로 적어도 하나의 생체정보 수집 디바이스 또는 적어도 하나의 음향정보 수집 디바이스와 통신 연결을 수행하는 것을 특징으로 하는 인공지능 디바이스.
  11. 제2항에 있어서, 상기 제어부는,
    상기 통신부를 통해 상기 수집된 생체 정보 또는 수집된 음향 정보를 수신하기 전에, 상기 적어도 하나의 생체정보 수집 디바이스 및 상기 적어도 하나의 음향정보 수집 디바이스 중 인공지능 알고리즘이 적용된 디바이스를 검색하고,
    검색된 디바이스와, 상기 인공지능 디바이스 각각에 적용된 인공지능 알고리즘 처리에 관련된 데이터를 교환하며,
    상기 검색된 디바이스와, 상기 인공지능 디바이스 사이에서 교환되는 데이터는,
    상기 검색된 디바이스와 상기 인공지능 디바이스 각각에 적용된 인공지능 알고리즘에 관련된 정보 및, 상기 검색된 디바이스와 상기 인공지능 디바이스 각각에 적용된 인공지능 알고리즘의 처리를 위해 요구되는 변수들에 관련된 정보들을 포함하는 것을 특징으로 하는 인공지능 디바이스.
  12. 제11항에 있어서,
    상기 변수들에 관련된 정보는,
    상기 변수들 및 상기 변수들 각각에 대해 상기 각 디바이스에 적용된 인공지능 알고리즘이 처리가능한 처리 시간에 대한 정보를 포함하며,
    상기 제어부는,
    상기 변수들에 관련된 정보에 근거하여, 상기 교환된 변수들에 대한 처리 주체를 결정하는 것을 특징으로 하는 인공지능 디바이스.
  13. 제11항에 있어서,
    상기 인공지능 디바이스와 상기 검색된 각 디바이스 사이에 교환되는 데이터는,
    어느 하나의 디바이스가 다른 디바이스로 제공하는 데이터의 사용 권한에 대한 서비스 권한 정보를 포함하는 것을 특징으로 하는 인공지능 디바이스.
  14. 컨텐츠 소스와 적어도 하나의 생체정보 수집 디바이스와 통신 연결되는 인공지능 디바이스의 제어 방법에 있어서,
    상기 적어도 하나의 생체정보 수집 디바이스로부터 사용자의 생체 정보를 수집하는 제1 단계;
    상기 수집된 사용자의 생체 정보에 근거하여, 사용자의 상황을 추정하는 제2 단계;
    상기 추정된 사용자 상황에 대하여 기 학습된 사용자 맞춤형 음향 특성에 매칭되는 컨텐츠를 상기 컨텐츠 소스로부터 검색하는 제3 단계;
    검색된 컨텐츠의 음향 신호를, 상기 인공지능 디바이스에 연결되는 출력 디바이스를 통해 출력하는 제4 단계;
    수집되는 사용자 생체 정보의 변화에 따라 사용자 주변의 음향 환경이 상기 사용자의 생체 신호에 미치는 영향을 검출하는 제5 단계;
    상기 사용자 생체 정보의 변화가 상기 추정된 사용자의 상황에 부합하는지 여부에 따라, 상기 사용자 주변의 음향 환경이 사용자에게 긍정적인 영향을 미치는지 부정적인 영향을 미치는지 판단하는 제6 단계;
    상기 사용자 주변의 음향 환경이 사용자에게 미치는 영향의 판단 결과에 따라 상기 출력되는 컨텐츠의 음향 특성을 반영하여 상기 사용자 맞춤형 음향 특성을 학습하는 제7 단계;
    상기 사용자 주변의 음향 환경이 사용자에게 미치는 영향의 판단 결과에 따라 상기 출력되는 컨텐츠의 음향 특성과 같은 음향 특성을 가지는 컨텐츠 또는 다른 특성을 가지는 컨텐츠를 상기 컨텐츠 소스로부터 검색하는 제8 단계; 및,
    검색된 컨텐츠의 음향 신호를 출력하는 상기 제4 단계 내지 상기 제8 단계에 이르는 과정을 반복하는 제9 단계를 포함하는 것을 특징으로 하는 인공지능 디바이스의 제어 방법.
  15. 제14항에 있어서, 상기 제7 단계는,
    사용자 주변으로부터 음향 정보를 수집하는 적어도 하나의 음향정보 수집 디바이스로부터, 음향 정보를 수집하는 제7-1 단계;
    수집된 적어도 하나의 음향 정보가 공통적으로 가지는 적어도 하나의 음향 특성을 분석하는 제7-2 단계; 및,
    상기 사용자 생체 정보의 변화에 따라 상기 사용자 주변의 음향 환경이 사용자에게 미치는 영향을 판단 및, 판단 결과에 따라 상기 제7-2 단계에서 분석된 음향 특성을 반영하여 상기 사용자 맞춤형 음향 특성을 학습하는 제7-3 단계를 포함하는 것을 특징으로 하는 인공지능 디바이스의 제어 방법.
  16. 제14항에 있어서, 상기 제1 단계는,
    적어도 하나의 생체정보 수집 디바이스 중 인공지능 알고리즘이 적용된 디바이스를 검색하는 제1ㅇ-1 단계;
    검색된 디바이스와, 상기 인공지능 디바이스 각각에 적용된 인공지능 알고리즘 처리에 관련된 데이터를 교환하는 제1-2 단계;
    상기 교환된 데이터에 근거하여, 상기 검색된 디바이스에 적용된 인공지능 알고리즘의 처리를 위해 요구되는 변수들 및 각 변수들에 대해 상기 검색된 디바이스가 처리가능한 처리 시간들에 대응하는 변수 처리 시간들을 포함하는 정보를 획득하고, 획득된 정보에 근거하여 상기 변수들 각각에 대한 처리 주체를 결정하는 제1-3 단계;
    상기 제1-3 단계에서 결정된 각 변수별 처리 주체에 근거하여, 상기 인공지능 디바이스가 처리할 변수들을 처리 및, 처리한 변수에 대한 변수 정보를 상기 검색된 디바이스에 제공하는 제1-4 단계; 및,
    상기 검색된 디바이스가, 상기 변수 정보에 따른 인공지능 알고리즘에 근거하여 상기 사용자의 생체 정보를 수집하고, 수집한 생체 정보를 상기 인공지능 디바이스에 전송하는 제1-5 단계를 포함하는 것을 특징으로 하는 인공지능 디바이스의 제어 방법.
  17. 제16항에 있어서, 상기 제1-3 단계는,
    상기 검색된 디바이스에 적용된 인공지능 알고리즘의 처리를 위해 요구되는 변수들 중, 상기 인공지능 디바이스가 처리 가능한 변수들을 검출하는 a 단계;
    상기 a 단계에서 검출된 변수들 각각에 대해, 상기 인공지능 디바이스가 처리 가능한 예상 처리 시간을 산출하는 b 단계; 및,
    상기 a 단계에서 검출된 변수들 각각에 대응하는 상기 변수 처리 시간과 상기 예상 처리 시간을 비교하여, 상기 a 단계에서 검출된 변수들 각각을 처리할 처리 주체를 결정하는 c 단계를 포함하는 것을 특징으로 하는 인공지능 디바이스의 제어 방법.
PCT/KR2021/013719 2021-10-06 2021-10-06 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법 WO2023058789A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2021/013719 WO2023058789A1 (ko) 2021-10-06 2021-10-06 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법
KR1020247006474A KR20240046523A (ko) 2021-10-06 2021-10-06 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/013719 WO2023058789A1 (ko) 2021-10-06 2021-10-06 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법

Publications (1)

Publication Number Publication Date
WO2023058789A1 true WO2023058789A1 (ko) 2023-04-13

Family

ID=85804378

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013719 WO2023058789A1 (ko) 2021-10-06 2021-10-06 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법

Country Status (2)

Country Link
KR (1) KR20240046523A (ko)
WO (1) WO2023058789A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008931A1 (ko) * 2013-07-19 2015-01-22 전자부품연구원 감정 분석을 통한 선호 음원 관리 장치 및 방법
US20170169358A1 (en) * 2015-12-09 2017-06-15 Samsung Electronics Co., Ltd. In-storage computing apparatus and method for decentralized machine learning
KR20180015586A (ko) * 2016-08-03 2018-02-13 주식회사 버즈뮤직코리아 상황별 음악 추천 방법 및 이를 이용하는 장치
KR20180063163A (ko) * 2015-09-29 2018-06-11 앰퍼 뮤직 인코포레이티드 언어 및/또는 그래픽 아이콘 기반 음악적 경험 디스크립터를 채택한 자동화된 음악 작곡 및 생성 기계, 시스템 및 프로세스
KR20210073145A (ko) * 2019-12-10 2021-06-18 한국전자통신연구원 분산-병렬 딥러닝 학습의 스케줄링 기반 학습 데이터/모델 할당 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008931A1 (ko) * 2013-07-19 2015-01-22 전자부품연구원 감정 분석을 통한 선호 음원 관리 장치 및 방법
KR20180063163A (ko) * 2015-09-29 2018-06-11 앰퍼 뮤직 인코포레이티드 언어 및/또는 그래픽 아이콘 기반 음악적 경험 디스크립터를 채택한 자동화된 음악 작곡 및 생성 기계, 시스템 및 프로세스
US20170169358A1 (en) * 2015-12-09 2017-06-15 Samsung Electronics Co., Ltd. In-storage computing apparatus and method for decentralized machine learning
KR20180015586A (ko) * 2016-08-03 2018-02-13 주식회사 버즈뮤직코리아 상황별 음악 추천 방법 및 이를 이용하는 장치
KR20210073145A (ko) * 2019-12-10 2021-06-18 한국전자통신연구원 분산-병렬 딥러닝 학습의 스케줄링 기반 학습 데이터/모델 할당 방법 및 장치

Also Published As

Publication number Publication date
KR20240046523A (ko) 2024-04-09

Similar Documents

Publication Publication Date Title
WO2016060296A1 (ko) 음향 정보 녹음 장치 및 그 제어 방법
CN109256146B (zh) 音频检测方法、装置及存储介质
US8987571B2 (en) Method and apparatus for providing sensory information related to music
WO2019112342A1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
EP2839428A1 (en) Method of displaying multimedia exercise content based on exercise amount and multimedia apparatus applying the same
WO2015133713A1 (en) Voice synthesis apparaatus and method for synthesizing voice
WO2020130549A1 (en) Electronic device and method for controlling electronic device
US7242952B2 (en) Portable terminal device and method of generating call sound
WO2020116930A1 (en) Electronic device for outputting sound and operating method thereof
WO2021101073A1 (ko) 생체 데이터를 획득하는 장치 및 그 방법
CN108763475B (zh) 一种录制方法、录制装置及终端设备
CN110706679B (zh) 一种音频处理方法及电子设备
WO2023058789A1 (ko) 사용자 맞춤형 컨텐츠를 제공하는 인공지능 디바이스 및, 그 디바이스를 제어하는 방법
WO2021125592A1 (ko) 인공지능 기반 능동형 스마트 보청기 피팅 방법 및 시스템
JP2014130467A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2006018551A (ja) 情報処理装置および方法、並びにプログラム
CN110870322B (zh) 信息处理设备、信息处理方法
WO2013141667A1 (ko) 일상 건강 정보 제공 시스템 및 일상 건강 정보 제공 방법
WO2021118229A1 (en) Information providing method and electronic device for supporting the same
US20100036657A1 (en) Speech estimation system, speech estimation method, and speech estimation program
CN113066462B (zh) 一种修音方法、装置、设备及存储介质
US20220020368A1 (en) Output apparatus, output method and non-transitory computer-readable recording medium
WO2022139004A1 (ko) 청지각능력 훈련 방법
CN111782858B (zh) 音乐匹配的方法和装置
CN107835323B (zh) 一种歌曲处理方法、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21960001

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20247006474

Country of ref document: KR

Kind code of ref document: A