WO2022139004A1 - 청지각능력 훈련 방법 - Google Patents

청지각능력 훈련 방법 Download PDF

Info

Publication number
WO2022139004A1
WO2022139004A1 PCT/KR2020/018855 KR2020018855W WO2022139004A1 WO 2022139004 A1 WO2022139004 A1 WO 2022139004A1 KR 2020018855 W KR2020018855 W KR 2020018855W WO 2022139004 A1 WO2022139004 A1 WO 2022139004A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
audible
content
auditory perception
frequency
Prior art date
Application number
PCT/KR2020/018855
Other languages
English (en)
French (fr)
Inventor
홍장택
Original Assignee
주식회사 프로젝트레인보우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 프로젝트레인보우 filed Critical 주식회사 프로젝트레인보우
Publication of WO2022139004A1 publication Critical patent/WO2022139004A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/121—Audiometering evaluating hearing capacity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense

Definitions

  • the present invention relates to a method for training auditory perception. Specifically, the present invention relates to an auditory perception ability training method for examining a user's auditory perception ability and providing content capable of training and improving the user's auditory perception ability based on this.
  • Auditory perception ability is closely related to problems such as lack of concentration, poor learning, and developmental disabilities, as well as the ability to simply understand and respond to information heard by ear. For example, if the auditory perception ability development is insufficient, it is known that concentration is easily disturbed, there is a problem in speaking, reading, writing, etc., or there is a high possibility of being distracted by many actions.
  • auditory perception ability is an important factor for normal brain development, language development, and emotional development
  • various training programs or medical devices capable of improving auditory perception ability have been developed.
  • the conventional auditory perception training program is configured to repeatedly learn the sensitive or insensitive frequency band or decibel simply using a predetermined value for the frequency or decibel.
  • These programs require a rather high concentration for people with poor auditory perception, and there is a problem in that it is difficult to resolve the objection to auditory perception treatment due to the boredom that comes from repetitive learning.
  • Another object of the present invention is to provide a method for training auditory perception that can provide encoded content based on a user's audible frequency and audible decibel.
  • Another object of the present invention is to provide an auditory perception training method capable of providing encoded content by adjusting the size of decibels in different units at a specific frequency according to the user's sensitivity at a specific frequency.
  • an object of the present invention is to evaluate the improvement rate of a user's auditory perception ability through the auditory perception ability training content provided to the user as a game, and based on this, auditory perception that can provide auditory perception training content tailored to the user It is to provide a method of skill training.
  • Another object of the present invention is to provide a method of training for auditory perception capable of providing content with the highest expected improvement rate according to a user's auditory perception ability test result.
  • the auditory perception ability training method for achieving the above technical problem is the auditory perception ability training method performed in an auditory perception ability training system linked to a user terminal, wherein the auditory perception ability is provided to the user terminal providing content that can be inspected; measuring, through the content, an audible decibel of a user for a plurality of frequencies; based on the measured audible decibel, the audible decibel for each frequency is within a normal range determining whether or not the audible decibel is included in the normal range, classifying a frequency that is not included in the normal range as an abnormal frequency, and encoding the sound source included in the content based on the audible decibel of the user for the abnormal frequency Step, while the encoded content is provided to the user terminal, through a mission included in the content, re-measuring the user's audible decibels at the abnormal frequency and measuring the re-measured audible decibels at the abnormal frequency based on the re-encoding of the sound
  • the encoding of the sound source determines the sensitivity of the user in the abnormal frequency, and when the user is sensitive to the abnormal frequency, adjusts the decibel for the abnormal frequency in the sound source to be greater than the audible decibel, and the user When insensitive to the abnormal frequency, the decibel for the abnormal frequency in the sound source may be adjusted to be smaller than the audible decibel.
  • the audible decibel of the user at a specific frequency when the audible decibel of the user at a specific frequency is less than the normal range, it is determined that the user is sensitive at the specific frequency, and the audible decibel of the user at the specific frequency is greater than the normal range In this case, it is determined that the user is insensitive at the specific frequency, and when the audible decibel of the user at the specific frequency is within a normal range, the user may determine that the user is normal at the specific frequency.
  • the user's sensitivity is re-determined at the abnormal frequency, and when the user is sensitive to the abnormal frequency, the decibel for the abnormal frequency in the sound source is adjusted to be greater than the audible decibel, When the user is insensitive to the abnormal frequency, the sound source adjusts the decibel for the abnormal frequency to be less than the audible decibel, and if the user is normal at the abnormal frequency, the sound source sets the decibel for the abnormal frequency in the normal range This may include keeping it within
  • the adjustment level of the audible decibel may be determined in proportion to a difference between the user's audible decibel for the abnormal frequency and the normal range.
  • the measuring of the audible decibels may include measuring the user's audible frequencies with respect to a plurality of preset frequencies, and the plurality of preset frequencies may be applied differently depending on the user's language.
  • the language used by the user may be derived based on the user's voice recognition or may be set by the language input by the user.
  • the sound source is continuously reproduced while the content is provided to the user terminal, and the mission includes an instruction for performing a specific action by the user in the process of performing the content, the directive , may be generated based on the audible decibels of the user at the abnormal frequency.
  • the providing of the content includes using a learning unit that receives the personal information previously input by the user, the audible spectrum for each frequency, and information on the content, and outputs an expected improvement rate for the content as an output.
  • a learning unit that receives the personal information previously input by the user, the audible spectrum for each frequency, and information on the content, and outputs an expected improvement rate for the content as an output.
  • the learning unit an input layer using the information of the personal information, the audible spectrum, and the content as an input node, an output layer having the expected improvement rate as an output node, is disposed between the input layer and the output layer one or more hidden layers, and weights of nodes and edges between the input node and the output node may be updated by a learning process of the learning unit.
  • the measuring of the audible decibel and the encoding of the sound source may be performed independently of each of the user's left and right ears.
  • the auditory perception ability training method is performed in an auditory perception training system linked to a user terminal, and content for testing auditory perception ability is provided to the user terminal step of, through the content, measuring the user's audible decibels for a plurality of frequencies, based on the measured audible decibels, determining whether the audible decibels for each frequency are within a normal range , Classifying a frequency whose audible decibel is not included in the normal range as an abnormal frequency, and encoding a sound source included in the content based on the audible decibel of the user for the abnormal frequency, the method comprising:
  • the step of providing the content includes receiving personal information previously input by the user, audible decibels for each frequency, and information about the content, and using a learning unit that outputs the expected improvement rate for the received content as an output. , deriving an expected improvement rate for each content, and providing the content having the highest expected improvement rate to the user terminal.
  • the auditory perception ability training method is performed in an auditory perception training system linked to a user terminal, and content for testing auditory perception ability is provided to the user terminal step of, through the content, measuring the user's audible decibels for a plurality of frequencies, based on the measured audible decibels, determining whether the audible decibels for each frequency are within a normal range , Classifying a frequency in which the audible decibel is not included in the normal range as an abnormal frequency, and encoding a sound source included in the content based on the audible decibel of the user for the abnormal frequency, the audible In the measuring decibel, the user's audible frequency is measured with respect to a plurality of preset frequencies, and the plurality of preset frequencies are applied differently depending on the user's language.
  • the auditory perception training method may provide a gamified auditory perception training content to the user, thereby increasing the user's accessibility and concentration on auditory perception training.
  • the present invention measures the user's audible frequency and audible decibel for each of the left and right ears, and encodes and provides the content based on them, thereby effectively improving the auditory perception ability of each of the left and right ears.
  • the present invention provides content whose decibels are adjusted according to the user's sensitivity at a specific frequency, thereby mitigating different sensitivity deviations at a specific frequency.
  • the present invention provides auditory perception ability training contents that can increase the improvement rate of the user's auditory perception ability, thereby minimizing the burden and rejection of the user's auditory perception training training, and effectively improving the user's auditory perception ability. have.
  • the user's auditory perception ability can be effectively improved by deriving an expected improvement rate for each content according to the user's auditory perception ability test result and providing the content with the highest expected improvement rate.
  • the effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present invention.
  • FIG. 1 is a schematic diagram illustrating an auditory perception training system according to some embodiments of the present invention.
  • FIG. 2 is a block diagram illustrating the components of the auditory perception training system of FIG. 1 .
  • FIG. 3 is a block diagram illustrating a schematic operation method for the auditory perception training system of FIG. 1 .
  • FIG. 4 is a diagram illustrating the configuration of the learning unit of FIG. 2 .
  • FIG. 5 is a flowchart illustrating a method for training auditory perception ability according to some embodiments of the present invention.
  • FIG. 6 is a flowchart illustrating a method for training auditory perception ability according to some embodiments of the present invention.
  • FIG. 7 is a diagram for explaining the steps of classifying an abnormal frequency and encoding a sound source in the auditory perception ability training method according to some embodiments of the present invention.
  • FIG. 8 is a diagram for explaining the step of determining the user's sensitivity to an abnormal frequency in the auditory perception training method according to some embodiments of the present invention.
  • 9 to 12 are diagrams illustrating examples of content provided to a user terminal of a method for training auditory perception according to some embodiments of the present invention.
  • 13 is a view for explaining the deviation of auditory perception ability before and after performing the auditory perception ability training method according to some embodiments of the present invention.
  • components may be subdivided for convenience of description, but these components may be implemented in one device or module, or one component may include a plurality of devices or modules. It may be implemented by being divided into .
  • deep learning is a technology used to cluster or classify objects or data.
  • deep learning is a technology that inputs a large amount of data into a computer and classifies similar ones.
  • machine learning algorithms have already appeared on how to classify data.
  • Deep learning is a machine learning method proposed to overcome the limitations of artificial neural networks.
  • Deep Learning a type of machine learning, learns by going down to a deep level in multiple stages based on data.
  • Deep learning may represent a set of machine learning algorithms that extract core data from a plurality of data as the level increases.
  • the deep learning structure may include an artificial neural network (ANN), for example, the deep learning structure is a Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Deep Belief Network (DBN), Graphic Neural Networks (GNN), etc. It can be composed of a deep neural network (DNN) of However, this is only an example, and the present invention is not limited to the above embodiment.
  • ANN artificial neural network
  • DNN deep neural network
  • frequency may be interpreted as a frequency band, but hereinafter, for convenience of description, terms will be unified with frequency.
  • FIGS. 1 to 13 the auditory perception training system and method of the present invention will be described in detail with reference to FIGS. 1 to 13 .
  • FIG. 1 is a schematic diagram illustrating an auditory perception training system according to some embodiments of the present invention.
  • FIG. 2 is a block diagram illustrating the components of the auditory perception training system of FIG. 1 .
  • FIG. 3 is a block diagram illustrating a schematic operation method for the auditory perception training system of FIG. 1 .
  • FIG. 4 is a diagram illustrating the configuration of the learning unit of FIG. 2 .
  • the auditory perception training system includes an auditory perception training module 100 , a content recommendation module 200 , and a user terminal 300 .
  • the auditory perception training module 100 and the user terminal 300 may be implemented as a server-client system.
  • the auditory perception ability training module 100 may select the auditory perception ability improvement process and provide it to the user terminal 300 .
  • the auditory perception training module 100 may transmit/receive data to and from the user terminal 300 through a wired/wireless network.
  • the content recommendation module 200 may analyze the developmental situation of each user by using big data analysis technology based on data received from each user terminal 300 and diagnose the degree of developmental disability through this. In addition, based on the diagnosis result, it is possible to provide an improvement process and training content suitable for each user's situation.
  • the content recommendation module 200 may diagnose auditory perception ability using artificial neural networks learned by using each user's data, and provide an improvement process and training content suitable therefor. A detailed description of the content recommendation module 200 using an artificial neural network will be described later in detail with reference to FIGS. 3 and 4 .
  • the auditory perception training system diagnoses a user's auditory perception ability and provides an improvement process and training contents suitable for each user based on this will be described in stages.
  • the auditory perception training module 100 collects various data that can be indicators for diagnosing the user's developmental situation.
  • the auditory perception training system may collect personal information and user input.
  • the personal information includes information on at least one of age, gender, family history, medical history, and living environment.
  • the user input includes mission performance information performed through the user terminal 300 .
  • the user input may include audible decibel (dB) test information input for each frequency of the left and right ears and working memory according to an auditory instruction.
  • dB decibel
  • the auditory perception training module 100 may provide the user of the above-described user terminal 300 with a task set through training content, that is, a mission. In the process of performing the training content, the auditory perception training module 100 may collect a user input of the user.
  • the auditory perception training module 100 may select a recommendation improvement process and training content suitable for the user based on the collected personal information and user input.
  • the selected improvement process and training content may be provided to the corresponding user terminal 300 .
  • the user terminal 300 may be a mobile communication device such as a mobile phone, but the present invention is not limited thereto, and the present invention is not limited thereto.
  • Handheld PC web pad (WebPad), tablet PC (Tablet PC), etc. may be various types of information terminals having a communication port.
  • the user terminal 300 can access the Internet or a network using a communication port.
  • the user terminal 300 may operate by pairing with various additional devices. For example, the user terminal 300 may operate by being connected to the auditory perception test device by wire or wireless.
  • the auditory perception training module 100 may use professional data input from a separate medical institution server to increase the accuracy of judgment on auditory perception disability.
  • the user input collected in the auditory perception training system may be collected in synchronization with the current provision state of the mission provided by the improvement process and the training content. That is, when a specific user input is collected, the mission provided by the user and the mission performance information are synchronized and stored together, so that accurate inspection information can be analyzed.
  • the present invention can lower the price of the auditory perception training service by providing the auditory perception ability improvement process and training contents using a portable terminal that is easy to access by general users, and users of various places and countries or of various income levels services can be widely disseminated.
  • the auditory perception training module 100 includes an information collection unit 110 , an auditory perception ability test unit 120 , a content providing unit 130 , and a database unit 140 . can do.
  • the information collection unit 110 receives the user's personal information and user input through the user terminal 300 .
  • the information collection unit 110 may store the received information in the database unit 140 or the memory unit 230 in the content recommendation module 200 .
  • the personal information may include the user's age, gender, family history, medical history, pathological symptoms, and test result information such as various periods and hospitals.
  • the information collection unit 110 receives a user input performed through the user terminal 300 .
  • the information collection unit 110 collects intermediate test results according to user input while the user performs auditory perception ability test contents, and collects mission performance information for each content after performing.
  • the mission performance information may include content information and performance information performed by the user through the user terminal 300 , mission correct rate, auditory perception ability improvement rate, mission performance singularity, and the like.
  • the auditory perception ability test unit 120 is configured to test the auditory perception ability of the user based on the information collected by the information collection unit 110 .
  • the auditory perceptual ability test unit 120 provides a user input for a mission such as a sound source and an instruction included in the auditory perceptual ability test content performed by the user through the user terminal 300 from the information collecting unit 110 . can receive
  • the auditory perception test unit 120 may analyze the user input, measure the audible decibels for each frequency, and determine whether the audible decibels are within the normal range R1.
  • the auditory perception test unit 120 classifies frequencies whose audible decibels are not included in the normal range R1 as abnormal frequencies, and encodes the sound source included in the content based on the audible decibels for the abnormal frequencies.
  • the auditory perception test unit 120 transmits the audible spectrum and content information derived by analyzing the user input to the content recommendation module 200 .
  • the audible spectrum may mean a set of audible decibels for each frequency included in a predetermined frequency band.
  • the content providing unit 130 may provide the user terminal 300 with content for testing auditory perception.
  • Content capable of testing auditory perception is configured to test the user's audible decibels for a plurality of frequencies.
  • the content providing unit 130 may provide the user terminal 300 with content for training auditory perception.
  • Content that can train auditory perception may use an encoded sound source and directive so as to alleviate the user's sensitivity or insensitivity to the user's abnormal frequency.
  • the content providing unit 130 encodes the content derived from the content recommendation unit 210 and the learning unit 220 based on the audible spectrum in response to the test result of the auditory perception ability test unit 120 to the user terminal 300 . ) can be provided.
  • the content providing unit 130 may rearrange the content execution step according to the intermediate test result value or re-derive a possible situation.
  • the derived content may include a user-customized improvement process, an optimal improvement period and frequency for each user's age and symptom level, and setting of a reminder.
  • the database unit 140 may store various data related to the operation of the auditory perception training module 100 .
  • the database unit 140 may separate the user's account and store and manage data related to the user.
  • the database unit 140 may store various contents provided to the user terminal 300 .
  • the content recommendation module 200 may include a content recommendation unit 210 , a learning unit 220 , and a memory unit 230 .
  • the content recommendation unit 210 may recommend content showing the highest preliminary improvement rate to the user based on the audible spectrum and content information collected through the auditory perception training module 100 .
  • the learning unit 220 receives the user's personal information, audible spectrum, and content information for the task, and outputs an expected improvement rate as an output thereof.
  • the learning unit 220 may store data in the memory unit 230 or classify similar data according to categories.
  • the learning unit 220 may derive content that needs to be performed by using the artificial neural network learned based on big data, and may derive an interim examination schedule and the like.
  • the learner 220 may perform machine learning on parameters input as learning factors.
  • the memory unit 230 may store data used for machine learning, result data, and the like.
  • the learning unit 220 may use various well-known deep learning structures.
  • the learning unit 220 may use a structure such as a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), a Deep Belief Network (DBN), or a Graph Neural Network (GNN).
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • DNN Deep Belief Network
  • NNN Graph Neural Network
  • CNN Convolutional Neural Network
  • CNN is a human brain function created based on the assumption that when a person recognizes an object, it extracts the basic features of the object, then performs complex calculations in the brain and recognizes the object based on the result. It is a simulated model.
  • RNN Recurrent Neural Network
  • RNN Recurrent Neural Network
  • DBN Deep Belief Network
  • RBM Restricted Boltzman Machine
  • DBN Deep Belief Network
  • GNN Graphic Neural Network, hereinafter, GNN
  • GNN represents an artificial neural network structure implemented in such a way that similarities and feature points between modeling data are derived using modeling data modeled based on data mapped between specific parameters. .
  • artificial neural network learning of the learning unit 220 may be performed by adjusting the weight of the connection line between nodes (and adjusting a bias value if necessary) so that a desired output is obtained with respect to a given input.
  • the artificial neural network can continuously update the weight value by learning.
  • a method such as back propagation may be used for learning the artificial neural network.
  • the memory unit 230 may be loaded with an artificial neural network (Artificial Neural Network) pre-trained by machine learning.
  • an artificial neural network Artificial Neural Network
  • the learning unit 220 of the content recommendation module 200 may perform a machine learning-based improvement process recommendation operation using modeling data for the derived parameter as input data.
  • both unsupervised learning and supervised learning may be used as the machine learning method of the artificial neural network.
  • the learning unit 220 may be controlled to automatically update the artificial neural network structure for outputting an expected improvement rate after learning according to a setting.
  • the operation of the learning unit 220 may be performed in a separate cloud server (not shown).
  • the learning unit 220 may derive an optimal linked therapist for each content performance type. In this case, the therapist can supervise and intervene in the treatment process through the developmental disability improvement system.
  • the learning unit 220 implemented and operated in a CNN structure will be described as an example.
  • the learning unit 220 includes an input layer using the user's personal information, audible spectrum, and content information as input nodes, an output layer using an expected improvement rate as an output node, and an input layer and M hidden layers disposed between the output layer and the output layer.
  • a weight may be set on an edge connecting the nodes of each layer.
  • the presence or absence of such weights or edges may be added, removed, or updated during the learning process. Accordingly, through the learning process, weights of nodes and edges disposed between k input nodes and i output nodes may be updated.
  • all nodes and edges may be set to initial values. However, when cumulative information is input, the weights of nodes and edges are changed, and in this process, parameters input as learning factors (ie, personal information, audible spectrum, and content information) and values assigned to output nodes (That is, matching between expected improvement rates) can be made.
  • learning factors ie, personal information, audible spectrum, and content information
  • values assigned to output nodes That is, matching between expected improvement rates
  • the learning unit 220 may receive and process a large number of parameters. Accordingly, the learning unit 220 may perform learning based on a large amount of data.
  • weights of nodes and edges between the input and output nodes constituting the learning unit 220 may be updated by the learning process of the learning unit 220 .
  • the expected improvement rate output from the learning unit 220 may be used to derive the user's improvement process and training content.
  • FIGS. 5 to 8 a auditory perception ability training method according to some embodiments of the present invention will be described with reference to FIGS. 5 to 8 .
  • 5 is a flowchart illustrating a method for training auditory perception ability according to some embodiments of the present invention.
  • 6 is a flowchart illustrating a method for training auditory perception ability according to some embodiments of the present invention.
  • 7 is a diagram for explaining the steps of classifying an abnormal frequency and encoding a sound source in the auditory perception ability training method according to some embodiments of the present invention.
  • 8 is a diagram for explaining the step of determining the user's sensitivity to an abnormal frequency in the auditory perception training method according to some embodiments of the present invention.
  • the auditory perception training module 100 provides the user terminal 300 with content for testing auditory perception ( S110 ).
  • the content may be composed of a sound source or an indicator having a specific frequency or a specific decibel so as to check the user's audible frequency and audible decibel.
  • the auditory perception training module 100 receives personal information and a user input from the user terminal 300 (S120). Specifically, the user may input a reaction for an audible frequency or decibel while using the content. Accordingly, the auditory perception training module 100 may receive the user's reaction input, that is, the user input.
  • the auditory perception training module may measure audible decibels of the corresponding frequency by listening to the user terminal 300 from a reference decibel (eg, 0 dB) for a specific frequency among a plurality of frequencies.
  • a reference decibel eg, 0 dB
  • the plurality of frequencies may be preset frequencies according to the user's language. Also, a plurality of frequencies according to a language used may be set differently from each other.
  • the plurality of frequencies may be 125 Hz to 4,000 Hz when the user uses Korean, and 500 Hz to 12,000 Hz when using English.
  • the plurality of frequencies may be 125 Hz to 6,000 Hz if the user speaks German, 125 Hz to 4,000 Hz if the user speaks Portuguese, Spanish, or French, and 125 Hz to 3,000 Hz if the user speaks Japanese or Chinese can be
  • the auditory perception training module 100 can measure the user's audible decibels for a specific frequency between 125Hz and 4,000Hz when the user speaks Korean by adjusting decibels to hear it. .
  • the user's language may be derived based on the user's voice recognition or may be set by the user's input language.
  • a plurality of frequencies for Korean may be used.
  • a plurality of frequencies for German may be used.
  • audible decibels for 64Hz, 250Hz, 1KHz, 2KHz, 4KHz, and 16KHz are included in the normal range R1, and thus may be determined to be normal.
  • audible decibels for 32 Hz, 125 Hz, 800 Hz, and 8000 Hz are not included in the normal range R1, it may be determined that there is an abnormality in the user's hearing at the corresponding frequency.
  • the normal range R1 may be set differently for each frequency and may be set to a different range for each language used.
  • a frequency in which the audible decibel is not included in the normal range R1 is classified as an abnormal frequency (S150).
  • an abnormal frequency For example, as described in step S140, 32 Hz, 125 Hz, 800 Hz, and 8000 Hz in which audible decibels are not included in the normal range R1 may be classified as abnormal frequencies.
  • the auditory perception training module 100 may encode a sound source included in the content based on audible decibels for frequencies classified as abnormal frequencies.
  • the auditory perception training module 100 may determine whether the user is sensitive at a specific frequency by comparing the user's audible decibels and normal ranges (R2, R3) at a specific frequency.
  • the auditory perception training module 100 may determine that the user is sensitive at the specific frequency when the user's audible decibels at a specific frequency are less than the normal range (R2, R3).
  • the auditory perception training module 100 may determine that the user is insensitive at the specific frequency when the user's audible decibels at a specific frequency are greater than the normal ranges R2 and R3.
  • the auditory perception training module 100 may determine that the user is normal at the specific frequency when the user's audible decibels are within the normal range (R2, R3) at the specific frequency.
  • the auditory perception training module 100 may determine that the user is insensitive at 1000 Hz.
  • the user's second audible decibel (dB2) at 5000 Hz was tested to be lower than the normal range (R3) at 5000 Hz. That is, since the user responds to a case in which a decibel is heard at 5000 Hz in a decibel lower than the normal range R3, the auditory perception training module 100 may determine that the user is sensitive at 5000 Hz.
  • the auditory perception training module 100 determines that the user is normal at 1000 Hz and 5000 Hz. can do.
  • the normal ranges R2 and R3 may be different for each frequency. That is, each frequency may have a normal range of a different decibel band.
  • the user's sensitivity to the abnormal frequency is determined ( S151 ), and the decibel for the abnormal frequency in the sound source can be adjusted according to the sensitivity.
  • the decibel for the abnormal frequency in the sound source may be adjusted to be greater than the audible decibel (S152A).
  • the decibel for the abnormal frequency from the sound source may be adjusted to be smaller than the audible decibel (S152A).
  • the user's audible decibels are insensitive at 32Hz, 125Hz, and 8KHz among the abnormal frequencies, so that the decibels for the abnormal frequencies in the sound source can be adjusted to be smaller than the audible decibels.
  • the auditory perception ability training module 100 provides the user with a sound source in which the decibel for the abnormal frequency is smaller than the audible decibel until the first audible decibel (dB1) of the user is checked within the normal range (R2). You can train your auditory perception skills. That is, the auditory perception training module 100 may train the user so that the user who is insensitive to audible decibels can also hear sounds of relatively low decibels.
  • the auditory perception training module 100 provides the user with a sound source whose decibel for an abnormal frequency is higher than the audible decibel to the user until the second audible decibel (dB2) is checked within the normal range (R3) in FIG. of auditory perception skills can be trained. That is, the auditory perception training module 100 may train the user so that the user sensitive to audible decibels can also hear sounds of relatively high decibels.
  • the adjustment level of the audible decibel may be adjusted in proportion to the difference between the user's audible decibel for the abnormal frequency and the normal range.
  • the difference between the user's audible decibels and the normal range R1 at 125Hz and 8Khz is greater than the difference between the user's audible decibels and the normal range R1 at 32Hz.
  • the sound source may be encoded so that the adjustment amount of the audible decibel at 125 Hz and 8Khz is greater than the adjustment amount of the audible decibel at 32 Hz.
  • the encoded content is provided to the user terminal 300 (S170). While the encoded content is provided to the user terminal 300 , the user performs a mission included in the encoded content, so that the user may input a reaction to a directive included in the mission.
  • the directive may be a specific sound indicating that the user performs a specific action.
  • the directive may be generated based on the user's audible decibels at the user's ideal frequency.
  • the auditory perception training module 100 re-receives the user input for the encoded content ( S180 ).
  • the user's audible decibels at the abnormal frequency are re-measured (S190), and the sound source included in the content is re-encoded based on the re-measured audible decibels (S200).
  • the user's sensitivity is determined based on the re-measured audible decibels at the abnormal frequency, and the decibels for the abnormal frequency are adjusted.
  • the auditory perception training module 100 adjusts the decibel for the abnormal frequency in the sound source to be greater than the audible decibel when the user is sensitive to the abnormal frequency, and when insensitive to the abnormal frequency, the decibel to the abnormal frequency in the sound source Adjust to less than audible decibels.
  • the audible decibel is included in the normal range at the abnormal frequency as a result of the re-measurement, the decibel for the frequency in the sound source can be maintained within the normal range, or the increase/decrease width can be set smaller than before.
  • the auditory perception ability training module 100 may train the user's auditory perception ability by repeatedly performing steps S140 to S180 until the user's audible decibels are within the normal range.
  • the auditory perception ability training method according to some embodiments of the present invention may be independently performed for each of the user's left and right ears.
  • the auditory perception ability of the user's left and right ears may be different from each other. Accordingly, the auditory perception ability may be tested for each of the user's left and right ears, and the user's audible frequencies and audible decibels for the left and right ears may be measured, respectively. Also, it is possible to encode a sound source and an indicator included in the content based on the user's audible frequency and audible decibel measured for each of the left and right ears.
  • content encoded with different audible frequencies and audible decibels may be provided to the left and right ears. Accordingly, the auditory perception ability of each of the left and right ears can be effectively improved.
  • the auditory perception training method encodes a sound source and a directive included in the content based on the user's audible frequency and audible decibel, and provides the encoded content to the user terminal 300 .
  • the user may be trained to hear the sensitive or insensitive frequency or decibel by performing a mission through the content encoded in the sensitive or insensitive frequency or decibel. Accordingly, as the user repeatedly performs the encoded content, it is possible to train and improve the user's auditory perception ability.
  • 9 to 12 are diagrams illustrating examples of content provided to a user terminal of a method for training auditory perception according to some embodiments of the present invention.
  • 13 is a view for explaining the deviation of auditory perception ability before and after performing the auditory perception ability training method according to some embodiments of the present invention.
  • the auditory perception training method may be performed through content provided to the user terminal 300 .
  • the content may be gamified content.
  • ⁇ A1> is an interface before content execution
  • ⁇ A2> is an interface during content execution
  • ⁇ A3> is an interface where content execution is completed.
  • the user may press the left ear button AL or the right ear button AR with respect to the sound source heard according to the flow of the area A11.
  • the user may press the left ear button AL to make a user input.
  • the sound source for the sound displayed in the area A11 is for the right ear
  • the user may press the right ear button AR to make a user input.
  • the sound source provided in the contents of ⁇ A1> to ⁇ A3> may be a sound source encoded with audible decibel measured independently for each of the left and right ears. That is, the audible frequency and audible decibel of the sound source performed on the left ear and the audible frequency and audible decibel of the sound source performed on the right ear may be different from each other.
  • the auditory perception training module 100 may determine that the user does not hear the encoded sound source.
  • ⁇ B1> to ⁇ B3> are interfaces for performing missions for the left ear and/or the right ear.
  • the user can perform the content through the directives included in the mission.
  • the indicator may be an audible decibel-encoded indicator independently measured for each of the left and right ears.
  • the content may be independently provided to the left and right ears.
  • a directive may be provided while performing content.
  • the directive may be provided by voice, and while the instruction is provided, the voice display B11 may be activated to inform the user that the voice instruction is being provided.
  • the voice indicator included in the content may be 'go left', 'go right', or 'go straight'.
  • the user may select the left button B12 to perform the mission.
  • the user can select the right button B14 to perform the mission, and when the instruction performed in the content is 'go straight', the user goes straight
  • the mission can be performed by selecting the button B13.
  • the indicator may be an animal sound. Accordingly, the user may perform a mission by selecting a corresponding animal according to an instruction provided through the content, that is, an animal sound.
  • the user may select the first button B31 to perform the mission.
  • the user can select the second button (B32) to perform the mission, and when the monkey's cry is provided through the content, the user can select the third button (B33) ) to perform the mission.
  • the auditory perception training module 100 may determine that the user does not hear the encoded instruction.
  • ⁇ C1> to ⁇ C3> are interfaces for performing missions for the left ear and/or the right ear.
  • the user may select the left button (C11), the simultaneous button (C12), or the right button (C13) according to the sound source or instruction provided through the content.
  • the user may perform the mission by selecting the left button C11 or the right button C13, respectively.
  • the user may select the simultaneous button C12 to perform the mission.
  • the user's auditory perception ability training level may be displayed in C21.
  • a pop-up C22 for selecting whether to restart may be provided so that the user may re-perform the mission at the corresponding level.
  • a gauge for finally completing the mission for the corresponding level may be displayed in the C31 area. That is, as the number of times the user succeeds in performing the mission increases, the gauge of the C31 area may increase.
  • ⁇ D1> to ⁇ D3> are interfaces for performing missions for the left ear and/or the right ear.
  • sound sources and directives may be provided in combination.
  • the user may continuously provide a sound source as a background sound (BGM) while performing the contents of ⁇ D1> to ⁇ D3>, and at the same time provide an instruction.
  • BGM background sound
  • the user may select the treasure box D11 to perform the mission.
  • the character can be moved by selecting the left, right or front side on the interface.
  • the mission may be re-performed by selecting the restart button (Restart) D12.
  • the content may continuously reproduce the encoded sound source so as to lower the user's sensitivity or insensitivity at an abnormal frequency.
  • the content may measure the improvement of the user's auditory perception ability.
  • the auditory perception ability training method encodes the sound source and directive included in the content based on the user's audible frequency and audible decibel, and provides the encoded content to the user terminal 300 .
  • the user may be trained to hear the sensitive or insensitive frequency or decibel by performing a mission through the content encoded in the sensitive or insensitive frequency or decibel. Accordingly, as the user repeatedly performs the encoded content, it is possible to train and improve the user's auditory perception ability.
  • ⁇ E1> and ⁇ E2> show graphs before and after performing the auditory perception training method for the left and right ears.
  • the deviation of auditory perception ability is relatively large in the left and right ears by frequency and decibel.
  • the deviation of the auditory perception ability of the user's left and right ears is relatively reduced by frequency and decibel. That is, as the user trains the auditory perception ability through the performance of the content, the user's sensitivity or insensitivity to the decibel of a sensitive or insensitive frequency may be somewhat alleviated, and through this, the user's auditory perception ability may be improved. have.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hematology (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Anesthesiology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Vascular Medicine (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 청지각능력 훈련 방법에 관한 것이다. 상기 청지각능력 훈련 방법은 사용자 단말기와 연계되는 청지각능력 훈련 시스템에서 수행되는 청지각능력 훈련 방법에 있어서, 상기 사용자 단말기에 청지각능력을 검사할 수 있는 컨텐츠를 제공하는 단계, 상기 컨텐츠를 통해, 복수의 주파수에 대한 사용자의 가청 데시벨을 측정하는 단계, 측정된 상기 가청 데시벨을 기초로, 각각의 주파수에 대한 상기 가청 데시벨이 정상범위 내에 포함되는지 여부를 판단하는 단계, 상기 가청 데시벨이 정상범위에 포함되지 않는 주파수를 이상 주파수로 분류하는 단계, 상기 이상 주파수에 대한 사용자의 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 인코딩하는 단계, 상기 인코딩된 컨텐츠가 상기 사용자 단말기에 제공되는 동안, 상기 컨텐츠에 포함된 미션을 통하여, 상기 이상 주파수에서 사용자의 가청 데시벨을 재측정하는 단계 및 상기 이상 주파수에서의 재측정된 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 재인코딩하는 단계를 포함한다.

Description

청지각능력 훈련 방법
본 발명은 청지각능력 훈련 방법에 관한 것이다. 구체적으로, 본 발명은 사용자의 청지각능력을 검사하고, 이를 바탕으로 사용자의 청지각능력을 훈련 및 개선시킬 수 있는 컨텐츠를 제공하는 청지각능력 훈련 방법에 관한 것이다.
청지각능력은 단순히 귀로 들은 정보를 이해하고 대응하는 능력뿐만 아니라, 집중력 부족, 학습 부진, 발달 장애 등의 문제와 밀접한 관련이 있다. 예를 들어, 청지각능력 발달이 미흡한 경우, 쉽게 집중력이 흐트러지고, 말하기, 읽기, 쓰기 등에 문제가 있거나, 행동이 많고 산만할 가능성이 높은 것으로 알려져 있다.
이에, 청지각능력이 정상적인 두뇌발달, 언어발달, 정서 발달을 위해 중요한 요소임에 따라, 청지각능력을 개선할 수 있는 다양한 훈련 프로그램 또는 의료기기가 개발되었다.
다만, 종래의 청지각능력 훈련 프로그램은 민감하거나 둔감한 주파수 대역 또는 데시벨에 대해, 단순히 해당 주파수 또는 데시벨을 미리 정해진 값을 이용하여 반복적으로 학습하도록 구성된다. 이러한 프로그램들은 청지각능력이 부족한 사람들에게 다소 높은 집중력을 필요로 하고, 반복적인 학습에서 오는 지루함으로 인해, 청지각능력 치료에 대한 거부감을 해소하기 어렵다는 문제점이 있다.
이러한 문제점을 보완하기 위해, 최근에는 게임화 컨텐츠를 활용하여 청지각능력 개선을 위한 데이터베이스를 이용하는 소프트웨어들이 많이 출시되고 있으며, 그에 적합한 인터페이스를 제공하는 다양한 장치들이 출시되고 있다.
본 발명의 목적은, 컨텐츠를 통해 사용자의 청지각능력을 검사하고, 검사 결과를 이용하여 사용자의 청지각능력을 개선하기 위한 컨텐츠를 제공할 수 있는 청지각능력 훈련 방법을 제공하는 것이다.
또한, 본 발명의 목적은 사용자의 가청 주파수 및 가청 데시벨을 기초로 인코딩된 컨텐츠를 제공할 수 있는 청지각능력 훈련 방법을 제공하는 것이다.
또한, 본 발명의 목적은 사용자의 특정 주파수에서의 민감도에 따라, 특정 주파수에서 서로 다른 단위로 데시벨의 크기를 조절하여 인코딩한 컨텐츠를 제공할 수 있는 청지각능력 훈련 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 게임화되어 사용자에게 제공되는 청지각능력 훈련 컨텐츠를 통하여 사용자의 청지각능력 개선율을 평가하고, 이를 기초로 사용자에게 맞춘 청지각능력 훈련 컨텐츠를 제공할 수 있는 청지각능력 훈련 방법을 제공하는 것이다.
또한, 본 발명의 목적은 사용자의 청지각능력 검사 결과에 따라 예상 개선율이 가장 높은 컨텐츠를 제공할 수 있는 청지각능력 훈련 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법은 사용자 단말기와 연계되는 청지각능력 훈련 시스템에서 수행되는 청지각능력 훈련 방법에 있어서, 상기 사용자 단말기에 청지각능력을 검사할 수 있는 컨텐츠를 제공하는 단계, 상기 컨텐츠를 통해, 복수의 주파수에 대한 사용자의 가청 데시벨을 측정하는 단계, 측정된 상기 가청 데시벨을 기초로, 각각의 주파수에 대한 상기 가청 데시벨이 정상범위 내에 포함되는지 여부를 판단하는 단계, 상기 가청 데시벨이 정상범위에 포함되지 않는 주파수를 이상 주파수로 분류하는 단계, 상기 이상 주파수에 대한 사용자의 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 인코딩하는 단계, 상기 인코딩된 컨텐츠가 상기 사용자 단말기에 제공되는 동안, 상기 컨텐츠에 포함된 미션을 통하여, 상기 이상 주파수에서 사용자의 가청 데시벨을 재측정하는 단계 및 상기 이상 주파수에서의 재측정된 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 재인코딩하는 단계를 포함한다.
또한, 상기 음원을 인코딩하는 단계는, 상기 이상 주파수에서 사용자의 민감도를 판단하고, 사용자가 상기 이상 주파수에서 민감한 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 가청 데시벨보다 크게 조절하고, 사용자가 상기 이상 주파수에서 둔감한 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 가청 데시벨보다 작게 조절할 수 있다.
또한, 상기 민감도를 판단하는 단계는, 특정 주파수에서 사용자의 상기 가청 데시벨이 정상범위보다 작은 경우, 사용자가 상기 특정 주파수에서 민감한 것으로 판단하고, 상기 특정 주파수에서 사용자의 상기 가청 데시벨이 정상범위보다 큰 경우, 사용자가 상기 특정 주파수에서 둔감한 것으로 판단하고, 상기 특정 주파수에서 사용자의 상기 가청 데시벨이 정상범위 이내인 경우, 사용자가 상기 특정 주파수에서 정상인 것으로 판단할 수 있다.
또한, 상기 음원을 재인코딩하는 단계는, 상기 이상 주파수에서 사용자의 민감도를 다시 판단하고, 사용자가 상기 이상 주파수에서 민감한 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 가청 데시벨보다 크게 조절하고, 사용자가 상기 이상 주파수에서 둔감한 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 가청 데시벨보다 작게 조절하고, 사용자가 상기 이상 주파수에서 정상인 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 정상범위 이내로 유지하는 것을 포함할 수 있다.
또한, 상기 가청 데시벨의 조절 크기는, 상기 이상 주파수에 대한 사용자의 상기 가청 데시벨과 상기 정상범위 간의 차이에 비례하여 결정될 수 있다.
또한, 상기 가청 데시벨을 측정하는 단계는, 미리 설정된 복수의 주파수에 대하여 사용자의 가청 주파수를 측정하되, 상기 미리 설정된 복수의 주파수는, 사용자의 사용언어에 따라 서로 다르게 적용될 수 있다.
또한, 상기 사용자의 사용언어는, 사용자의 음성인식을 기초로 도출되거나, 사용자가 입력한 언어에 의해 설정될 수 있다.
또한, 상기 음원은, 상기 컨텐츠가 상기 사용자 단말기에 제공되는 동안, 지속적으로 재생되고, 상기 미션은, 상기 컨텐츠를 수행하는 과정에서, 사용자가 특정 행동을 수행할 것에 대한 지시어를 포함하며, 상기 지시어는, 상기 이상 주파수에서의 사용자의 상기 가청 데시벨을 기초로 생성될 수 있다.
또한, 상기 컨텐츠를 제공하는 단계는, 사용자가 미리 입력한 개인정보, 각각의 주파수에 대한 가청 스펙트럼, 컨텐츠에 대한 정보를 입력받고, 이에 대한 출력으로 상기 컨텐츠에 대한 예상 개선율을 출력하는 학습부를 이용하여, 각 컨텐츠별 예상 개선율을 도출하고, 상기 예상 개선율이 가장 높은 컨텐츠를 상기 사용자 단말기에 제공하는 것을 포함할 수 있다.
또한, 상기 학습부는, 상기 개인정보, 상기 가청 스펙트럼, 및 상기 컨텐츠의 정보를 입력 노드로 하는 입력 레이어와, 상기 예상 개선율을 출력 노드로 하는 출력 레이어와, 상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고, 상기 입력 노드와 상기 출력 노드 사이의 노드 및 에지의 가중치는 상기 학습부의 학습 과정에 의해 업데이트될 수 있다.
또한, 상기 가청 데시벨을 측정하는 단계 및 상기 음원을 인코딩하는 단계는, 사용자의 좌귀 및 우귀 각각에 독립적으로 수행될 수 있다.
본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법은 사용자 단말기와 연계되는 청지각능력 훈련 시스템에서 수행되는 청지각능력 훈련 방법에 있어서, 상기 사용자 단말기에 청지각능력을 검사할 수 있는 컨텐츠를 제공하는 단계, 상기 컨텐츠를 통해, 복수의 주파수에 대한 사용자의 가청 데시벨을 측정하는 단계, 측정된 상기 가청 데시벨을 기초로, 각각의 주파수에 대한 상기 가청 데시벨이 정상범위 내에 포함되는지 여부를 판단하는 단계, 상기 가청 데시벨이 정상범위에 포함되지 않는 주파수를 이상 주파수로 분류하는 단계, 및 상기 이상 주파수에 대한 사용자의 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 인코딩하는 단계를 포함하되, 상기 컨텐츠를 제공하는 단계는, 사용자가 미리 입력한 개인정보, 각각의 주파수에 대한 가청 데시벨, 컨텐츠에 대한 정보를 입력받고, 이에 대한 출력으로 상기 입력받은 컨텐츠에 대한 예상 개선율을 출력하는 학습부를 이용하여, 각 컨텐츠별 예상 개선율을 도출하고, 상기 예상 개선율이 가장 높은 컨텐츠를 상기 사용자 단말기에 제공하는 것을 포함한다.
본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법은 사용자 단말기와 연계되는 청지각능력 훈련 시스템에서 수행되는 청지각능력 훈련 방법에 있어서, 상기 사용자 단말기에 청지각능력을 검사할 수 있는 컨텐츠를 제공하는 단계, 상기 컨텐츠를 통해, 복수의 주파수에 대한 사용자의 가청 데시벨을 측정하는 단계, 측정된 상기 가청 데시벨을 기초로, 각각의 주파수에 대한 상기 가청 데시벨이 정상범위 내에 포함되는지 여부를 판단하는 단계, 상기 가청 데시벨이 정상범위에 포함되지 않는 주파수를 이상 주파수로 분류하는 단계 및 상기 이상 주파수에 대한 사용자의 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 인코딩하는 단계를 포함하고, 상기 가청 데시벨을 측정하는 단계는, 미리 설정된 복수의 주파수에 대하여 사용자의 가청 주파수를 측정하되, 상기 미리 설정된 복수의 주파수는, 사용자의 사용언어에 따라 서로 다르게 적용된다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따른 청지각능력 훈련 방법은, 사용자에게 게임화된 청지각능력 훈련 컨텐츠를 제공하여, 청지각능력 훈련에 대한 사용자의 접근성과 집중도를 높일 수 있다.
또한, 본 발명은 사용자의 가청 주파수 및 가청 데시벨을 좌귀 및 우귀 각각에 대해 측정하고, 이를 기초로 컨텐츠를 인코딩하여 제공함에 따라, 좌귀 및 우귀 각각의 청지각능력을 효과적으로 개선할 수 있다.
또한, 본 발명은 특정 주파수에서의 사용자의 민감도에 따라 데시벨이 조절된 컨텐츠를 제공함으로써, 특정 주파수에서 서로 다른 민감도 편차를 완화할 수 있다.
또한, 본 발명은 사용자의 청지각능력의 개선율을 높일 수 있는 청지각능력 훈련 컨텐츠를 제공함으로써, 사용자의 청지각능력 훈련에 대한 부담감과 거부감을 최소화하고, 사용자의 청지각능력을 효과적으로 개선할 수 있다.
또한, 본 발명은 사용자의 청지각능력 검사 결과에 따라 컨텐츠별 예상 개선율을 도출하여, 예상 개선율이 가장 높은 컨텐츠를 제공함으로써, 사용자의 청지각능력을 효과적으로 개선할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 몇몇 실시예에 청지각능력 훈련 시스템을 나타내는 개략도이다.
도 2는 도 1의 청지각능력 훈련 시스템의 구성요소를 설명하기 위한 블럭도이다.
도 3은 도 1의 청지각능력 훈련 시스템에 대한 개략적인 동작 방법을 설명하기 위한 블럭도이다.
도 4는 도 2의 학습부의 구성을 도시한 도면이다.
도 5는 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법에서 이상 주파수를 분류하고, 음원을 인코딩하는 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법에서의 이상 주파수에서 사용자의 민감도를 판단하는 단계를 설명하기 위한 도면이다.
도 9 내지 도 12는 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법의 사용자 단말기에 제공되는 컨텐츠의 실시예를 나타내는 도면이다.
도 13은 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법의 수행 전 후의 청지각능력의 편차를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
본 발명에서 딥러닝(Deep Learning)은 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술이다. 즉, 딥러닝은 많은 양의 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술이다. 이때 데이터를 어떻게 분류할 것인가를 놓고 이미 많은 기계학습 알고리즘이 등장했다. 딥러닝은 인공신경망의 한계를 극복하기 위해 제안된 기계학습 방법이다.
보다 자세히 설명하자면, 머신 러닝(Machine Learning)의 일종인 딥러닝(Deep Learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.
딥러닝(Deep learning)은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)를 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network), GNN(Graphic Neural Networks) 등의 심층신경망(DNN)으로 구성될 수 있다. 다만, 이는 하나의 예시에 불과하며 본 발명이 위 실시예에 한정되는 것은 아니다.
또한, 본 발명에서 주파수는 주파수 대역으로 해석되어 실시될 수 있으나, 이하에서는 설명의 편의를 위하여 주파수로 용어를 통일하여 설명하도록 한다.
이하에서는 도 1 내지 도 13을 참조하여, 본 발명의 청지각능력 훈련 시스템 및 방법에 대해 자세히 설명하기로 한다.
도 1은 본 발명의 몇몇 실시예에 청지각능력 훈련 시스템을 나타내는 개략도이다. 도 2는 도 1의 청지각능력 훈련 시스템의 구성요소를 설명하기 위한 블럭도이다. 도 3은 도 1의 청지각능력 훈련 시스템에 대한 개략적인 동작 방법을 설명하기 위한 블럭도이다. 도 4는 도 2의 학습부의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 시스템은 청지각능력 훈련 모듈(100), 컨텐츠 추천 모듈(200) 및 사용자 단말기(300)를 포함한다.
청지각능력 훈련 모듈(100)과 사용자 단말기(300)는 서버-클라이언트 시스템으로 구현될 수 있다. 이때, 청지각능력 훈련 모듈(100)은 청지각능력 개선 프로세스를 선정하고 사용자 단말기(300)에 제공할 수 있다. 청지각능력 훈련 모듈(100)은 유무선 네트워크를 통해 사용자 단말기(300)와 데이터를 송수신할 수 있다.
컨텐츠 추천 모듈(200)은 각각의 사용자 단말기(300)로부터 수신된 데이터들에 기초한 빅데이터 분석기술을 이용하여 각 사용자의 발달 상황을 분석하고, 이를 통해 발달장애 정도를 진단할 수 있다. 또한, 진단한 결과를 바탕으로 각 사용자 상황에 알맞은 개선 프로세스 및 훈련 컨텐츠를 제공할 수 있다.
이 과정에서 컨텐츠 추천 모듈(200)은 각 사용자의 데이터를 이용하여 학습된 인공신경망(Neural Networks)을 이용하여 청지각능력을 진단하고, 그에 맞는 개선 프로세스 및 훈련 컨텐츠를 제공할 수 있다. 인공신경망을 이용한 컨텐츠 추천 모듈(200)에 대한 구체적인 설명은 도 3 및 도 4를 참조하여 자세히 후술하도록 한다.
이하에서는 청지각능력 훈련 시스템이 사용자의 청지각능력을 진단하고 이를 기초로 각 사용자들에게 적합한 개선 프로세스 및 훈련 컨텐츠를 제공하는 과정을 단계적으로 설명한다.
청지각능력 훈련 모듈(100)은 사용자의 발달상황을 진단하는데 지표가 될 수 있는 각종 데이터를 수집한다. 이때, 청지각능력 훈련 시스템은 개인정보 및 사용자 입력을 수집할 수 있다.
여기에서, 상기 개인정보는, 연령, 성별, 가족력, 병력, 및 생활환경 중 적어도 하나에 대한 정보를 포함한다. 또한, 사용자 입력은 사용자 단말기(300)를 통해 수행된 미션수행정보를 포함한다.
구체적으로, 사용자 입력은 좌귀, 우귀의 주파수 별 가청 데시벨(dB) 검사 정보 입력 및 청각 지시에 따른 작업기억력을 포함할 수 있다.
청지각능력 훈련 모듈(100)은 상술한 사용자 단말기(300)의 사용자에게 훈련 컨텐츠를 통해 설정된 과제, 즉, 미션을 제공할 수 있다. 훈련 컨텐츠를 수행하는 과정에서 청지각능력 훈련 모듈(100)은 사용자의 사용자 입력을 수집할 수 있다.
이어서, 청지각능력 훈련 모듈(100)은 수집된 개인정보와 사용자 입력을 기초로 사용자에게 적합한 추천 개선 프로세스 및 훈련 컨텐츠를 선정할 수 있다. 선정된 개선 프로세스 및 훈련 컨텐츠는 해당 사용자 단말기(300)에 제공될 수 있다.
본 발명에서, 사용자 단말기(300)는 휴대폰 등의 이동 통신 장치가 될 수 있으나, 본 발명이 이에 한정되는 것은 아니며, 노트북(laptop), PC(Personal computer), PDA(Personal Digital Assistant), HPC(Handheld PC), 웹패드(WebPad), 태블릿 PC(Tablet PC), 등 통신 포트를 갖는 다양한 형태의 정보단말기가 될 수 있다. 사용자 단말기(300)는 통신 포트를 이용하여 인터넷 또는 네트워크 접속이 가능하다. 추가적으로, 사용자 단말기(300)는 다양한 부가장치와 페어링되어 동작할 수 있다. 예를 들어, 사용자 단말기(300)는 청지각 검사 장치와 유무선으로 연결되어 동작할 수 있다.
한편, 청지각능력 훈련 모듈(100)은 별도의 의료기관서버에서 입력된 전문 데이터를 이용하여, 청지각능력장애에 대한 판단 정확도를 높일 수 있다.
추가적으로, 청지각능력 훈련 시스템에서 수집되는 사용자 입력은, 개선 프로세스 및 훈련 컨텐츠가 제공하고 있는 미션의 현재 제공 상태와 동기되어 수집될 수 있다. 즉, 특정 사용자 입력이 수집될 때, 사용자가 제공받고 있는 미션과 미션수행정보는 함께 동기되어 저장됨으로써 정확한 검사정보 분석이 이루어지도록 할 수 있다.
또한, 본 발명은 일반 사용자가 접근하기 쉬운 휴대용 단말기를 이용하여 청지각능력 개선 프로세스 및 훈련 컨텐츠를 제공함으로써, 청지각능력 훈련 서비스의 가격을 낮출 수 있고, 다양한 장소 및 국가 또는 다양한 소득수준의 사용자들에게 서비스를 널리 보급할 수 있다.
구체적으로, 도 2 및 도 3을 참조하면, 청지각능력 훈련 모듈(100)은 정보 수집부(110), 청지각능력 검사부(120), 컨텐츠 제공부(130) 및 데이터베이스부(140)를 포함할 수 있다.
정보 수집부(110)는 사용자 단말기(300)를 통해 사용자의 개인정보 및 사용자 입력을 수신한다. 정보 수집부(110)는 수신된 정보들을 데이터베이스부(140) 또는 컨텐츠 추천 모듈(200) 내 메모리부(230)에 저장할 수 있다.
여기에서, 개인정보는 사용자의 연령, 성별, 가족력, 병력, 병리증상, 다양한 기간 및 병원 등의 검사결과정보 등이 포함될 수 있다.
또한, 정보 수집부(110)는 사용자 단말기(300)를 통해 수행되는 사용자 입력을 수신한다. 정보 수집부(110)는 사용자가 청지각능력 검사 컨텐츠를 수행하는 동안 사용자 입력에 따른 중간검사 결과를 수집하며, 수행 후 컨텐츠별 미션수행정보를 수집한다. 미션수행정보는 사용자 단말기(300)를 통해 사용자가 수행한 수행 컨텐츠 정보 및 수행정보, 미션 정답률, 청지각능력 개선율 및 미션수행 특이점 등을 포함할 수 있다.
청지각능력 검사부(120)는 정보 수집부(110)가 수집한 정보를 기초로 사용자의 청지각능력을 검사하도록 구성된다. 예를 들어, 청지각능력 검사부(120)는 사용자가 사용자 단말기(300)를 통해 수행한 청지각능력 검사 컨텐츠에 포함된 음원, 지시어 등의 미션에 대한 사용자 입력을 정보 수집부(110)로부터 제공받을 수 있다.
또한, 청지각능력 검사부(120)는 사용자 입력을 분석하여, 주파수별 가청 데시벨을 측정하고, 가청 데시벨이 정상범위(R1) 내에 포함되는지 여부를 판단할 수 있다.
이어서, 청지각능력 검사부(120)는 가청 데시벨이 정상범위(R1)에 포함되지 않는 주파수를 이상 주파수로 분류하여, 이상 주파수에 대한 가청 데시벨을 기초로 컨텐츠에 포함된 음원을 인코딩할 수 있다.
청지각능력 검사부(120)는 사용자 입력을 분석하여 도출해낸 가청 스펙트럼 및 컨텐츠 정보를 컨텐츠 추천 모듈(200)에 전달한다. 여기에서, 가청 스펙트럼은 미리 정해진 주파수 대역에 포함된 각각의 주파수에 대한 가청 데시벨의 집합을 의미할 수 있다.
컨텐츠 제공부(130)는 청지각능력을 검사할 수 있는 컨텐츠를 사용자 단말기(300)에 제공할 수 있다. 청지각능력을 검사할 수 있는 컨텐츠는 복수의 주파수에 대한 사용자의 가청 데시벨을 검사할 수 있도록 구성된다.
이어서, 컨텐츠 제공부(130)는 청지각능력을 훈련할 수 있는 컨텐츠를 사용자 단말기(300)에 제공할 수 있다. 청지각능력을 훈련할 수 있는 컨텐츠는 사용자의 이상 주파수에 대하여 사용자의 민감도 또는 둔감도를 완화시켜 줄 수 있도록 인코딩된 음원 및 지시어를 이용할 수 있다.
또한, 컨텐츠 제공부(130)는 청지각능력 검사부(120)의 검사결과에 대응하여 컨텐츠 추천부(210) 및 학습부(220)에서 도출되는 컨텐츠를 가청 스펙트럼을 기초로 인코딩하여 사용자 단말기(300)에 제공할 수 있다.
이어서, 컨텐츠 제공부(130)는 사용자가 과제를 수행하는 동안, 중간 검사 결과 수치에 따른 컨텐츠 수행단계를 재배치하거나 발생가능한 상황을 재도출 할 수 있다. 도출되는 컨텐츠에는 사용자 맞춤형 개선 프로세스, 사용자 연령 및 증상레벨 별 최적의 개선기간 및 빈도, 리마인더 설정 등이 포함될 수 있다.
데이터베이스부(140)는 청지각능력 훈련 모듈(100)의 동작 중에 수행되는 관련된 각종 데이터들을 저장할 수 있다. 이때, 데이터베이스부(140)는 사용자의 계정을 별도로 분리하여, 해당 사용자와 관련된 데이터들을 저장 및 관리할 수 있다. 또한, 데이터베이스부(140)는 사용자 단말기(300)에 제공되는 각종 컨텐츠들이 저장될 수 있다.
한편, 컨텐츠 추천 모듈(200)은 컨텐츠 추천부(210), 학습부(220) 및 메모리부(230)를 포함할 수 있다.
컨텐츠 추천부(210)는 청지각능력 훈련 모듈(100)을 통해 수집한 가청 스펙트럼 및 컨텐츠 정보를 기초로, 사용자에게 가장 높은 예비 개선율을 나타내는 컨텐츠를 추천할 수 있다.
학습부(220)는 과제에 대한 사용자의 개인정보, 가청 스펙트럼, 및 컨텐츠 정보를 입력받고, 이에 대한 출력으로 예상개선율을 출력한다. 이때, 학습부(220)는 데이터를 메모리부(230)에 저장하거나, 유사 데이터를 카테고리에 따라 분류할 수 있다. 이어서, 학습부(220)는 빅데이터를 기초로 학습된 인공신경망을 이용하여 수행이 필요로 되는 컨텐츠를 도출하고, 중간검사 일정 등을 도출할 수 있다.
또한, 학습부(220)는 학습 인자로 입력되는 파라미터들에 대하여 머신 러닝(machine learning)을 수행할 수 있다. 메모리부(230)는 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
학습부(220)는 공지된 다양한 딥러닝 구조를 이용할 수 있다. 예를 들어, 학습부(220)는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network), GNN(Graph Neural Network) 등의 구조를 이용할 수 있다.
구체적으로, CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.
RNN(Recurrent Neural Network)은 자연어 처리 등에 많이 이용되며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.
DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여 일정 수의 레이어가 되면, 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)이 구성될 수 있다.
GNN(Graphic Neural Network, 그래픽 인공신경망, 이하, GNN)는 특정 파라미터 간 매핑된 데이터를 기초로 모델링된 모델링 데이터를 이용하여, 모델링 데이터 간의 유사도와 특징점을 도출하는 방식으로 구현된 인공신경망 구조를 나타낸다.
한편, 학습부(220)의 인공신경망 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트 시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.
한편, 메모리부(230)에는 머신 러닝으로 미리 학습된 인공신경망(Artificial Neural Network)이 탑재될 수 있다.
컨텐츠 추천 모듈(200)의 학습부(220)는 도출된 파라미터에 대한 모델링 데이터를 입력 데이터로 하는 머신 러닝(machine learning) 기반의 개선 프로세스 추천 동작을 수행할 수 있다. 이때, 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 또한, 학습부(220)는 설정에 따라 학습 후 예상개선율을 출력하기 위한 인공신경망 구조를 자동 업데이트하도록 제어될 수 있다.
추가적으로, 도면에 명확하게 도시하지는 않았으나, 본 발명의 다른 실시예에서, 학습부(220)의 동작은 별도의 클라우드 서버(미도시)에서 실시될 수 있다. 또한, 학습부(220)는 컨텐츠 수행 형태별 최적의 연계 치료전문가를 도출할 수 있다. 이때, 치료전문가는 발달장애 개선 시스템을 통해 치료 프로세스의 수퍼 바이징 및 개입 등을 할 수 있다.
이하에서는 설명의 편의를 위하여, CNN 구조로 구현되어 동작하는 학습부(220)를 예로 들어 설명하도록 한다.
도 4를 참조하면, 학습부(220)는 사용자의 개인정보, 가청 스펙트럼 및 컨텐츠 정보를 입력노드로 하는 입력 레이어(input)와, 예상개선율을 출력노드로 하는 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 M 개의 히든 레이어를 포함한다.
여기서, 각 레이어들의 노드를 연결하는 에지(edge)에는 가중치가 설정될 수 있다. 이러한 가중치 혹은 에지의 유무는 학습 과정에서 추가, 제거, 또는 업데이트 될 수 있다. 따라서, 학습 과정을 통하여, k개의 입력노드와 i개의 출력 노드 사이에 배치되는 노드들 및 에지들의 가중치는 업데이트될 수 있다.
학습부(220)가 학습을 수행하기 전에는 모든 노드와 에지는 초기값으로 설정될 수 있다. 그러나, 누적하여 정보가 입력될 경우, 노드 및 에지들의 가 중치는 변경되고, 이 과정에서 학습인자로 입력되는 파라미터들(즉, 개인정보, 가청 스펙트럼 및 컨텐츠 정보)과 출력노드로 할당되는 값(즉, 예상개선율) 사이의 매칭이 이루어질 수 있다.
추가적으로, 클라우드 서버(미도시)를 이용하는 경우, 학습부(220)는 많은 수의 파라미터들을 수신하여 처리할 수 있다. 따라서, 학습부(220)는 방대한 데이터에 기반하여 학습을 수행할 수 있다.
또한, 학습부(220)를 구성하는 입력노드와 출력노드 사이의 노드 및 에지의 가중치는 학습부(220)의 학습 과정에 의해 업데이트될 수 있다. 학습부(220)에서 출력되는 예상개선율은 사용자의 개선 프로세스 및 훈련 컨텐츠를 도출하는데 이용될 수 있다.
이하에서는, 도 5 내지 도 8을 참조하여, 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법을 설명한다.
도 5는 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법을 설명하기 위한 순서도이다. 도 6은 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법을 설명하기 위한 순서도이다. 도 7은 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법에서 이상 주파수를 분류하고, 음원을 인코딩하는 단계를 설명하기 위한 도면이다. 도 8은 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법에서의 이상 주파수에서 사용자의 민감도를 판단하는 단계를 설명하기 위한 도면이다.
먼저, 도 5를 참조하면, 청지각능력 훈련 모듈(100)은 사용자 단말기(300)에 청지각능력을 검사할 수 있는 컨텐츠를 제공한다(S110). 이때, 컨텐츠는 사용자의 가청 주파수 및 가청 데시벨을 검사할 수 있도록 특정 주파수 또는 특정 데시벨을 가지는 음원 또는 지시어로 구성될 수 있다.
이어서, 청지각능력 훈련 모듈(100)은 사용자 단말기(300)로부터 개인정보 및 사용자 입력을 수신한다(S120). 구체적으로, 사용자는 컨텐츠를 사용하는 동안, 들을 수 있는 주파수 또는 데시벨에 대한 리액션을 입력할 수 있다. 이에, 청지각능력 훈련 모듈(100)은 사용자의 리액션 입력, 즉, 사용자 입력을 수신할 수 있다.
이어서, 복수의 주파수에 대한 가청 데시벨을 측정한다(S130). 청지각 훈련 모듈은 사용자 단말기(300)에 복수의 주파수 중 특정 주파수에 대해, 기준 데시벨(예를 들어, 0dB)부터 들려줌에 따라, 해당 주파수의 가청 데시벨을 측정할 수 있다.
이때, 복수의 주파수는 사용자의 사용언어에 따라 미리 설정된 주파수일 수 있다. 또한, 사용언어에 따른 복수의 주파수는, 서로 다르게 설정될 수 있다.
예를 들어, 복수의 주파수는 사용자가 한국어를 사용하는 경우, 125Hz 내지 4,000Hz일 수 있고, 영어를 사용하는 경우 500Hz 내지 12,000Hz일 수 있다. 또한, 복수의 주파수는 사용자가 독일어를 사용하는 경우 125Hz 내지 6,000Hz, 포루투갈어, 스페인어, 프랑스어를 사용하는 경우 125Hz 내지 4,000Hz일 수 있으며, 사용자가 일본어 또는 중국어를 사용하는 경우, 125Hz 내지 3,000Hz일 수 있다.
이에, 청지각능력 훈련 모듈(100)은 사용자가 한국어를 사용하는 경우 125Hz 내지 4,000Hz 사이의 특정 주파수에 대해, 데시벨을 조절하여 들려줌에 따라, 해당 주파수에 대한 사용자의 가청 데시벨을 측정할 수 있다.
한편, 사용자의 사용언어는 사용자의 음성인식을 기초로 도출되거나, 사용자가 입력한 언어에 의해 설정될 수 있다. 예를 들어, 컨텐츠에 표시되는 언어가 한국어로 설정된 경우, 한국어에 대한 복수의 주파수가 이용될 수 있다. 다른 예로, 컨텐츠 내에서 사용자가 발화한 언어가 독일어로 인식되는 경우, 독일어에 대한 복수의 주파수가 이용될 수 있다. 다만, 몇몇 예시에 불과하며, 본 발명이 이에 제한되는 것은 아니다.
이어서, 측정된 가청 데시벨을 기초로, 각각의 주파수에 대한 가청 데시벨이 정상범위(R1) 내에 포함되는지 여부를 판단한다(S140).
예를 들어, 도 7을 참조하면, 64Hz, 250Hz, 1KHz, 2KHz, 4KHz 및 16KHz에 대한 가청 데시벨은 정상범위(R1)에 포함되므로, 정상으로 판단될 수 있다. 다만, 32Hz, 125Hz, 800Hz 및 8000Hz에 대한 가청 데시벨은 정상범위(R1)에 포함되지 않으므로, 사용자의 청각은 해당 주파수에서 이상이 있는 것으로 판단될 수 있다.
이때, 정상범위(R1)는 주파수별로 다르게 설정될 수 있으며, 사용언어 별로 다른 범위로 설정될 수 있다.
이어서, 가청 데시벨이 정상범위(R1)에 포함되지 않는 주파수를 이상 주파수로 분류한다(S150). 예를 들어, S140 단계에서 설명한 바와 같이, 가청 데시벨이 정상범위(R1)에 포함되지 않는 32Hz, 125Hz, 800Hz 및 8000Hz를 이상 주파수로 분류할 수 있다.
이어서, 이상 주파수에 대한 사용자의 가청 데시벨을 기초로, 컨텐츠에 포함된 음원을 인코딩한다(S160). 청지각능력 훈련 모듈(100)은 이상 주파수로 분류된 주파수에 대한 가청 데시벨을 기초로 컨텐츠에 포함된 음원을 인코딩할 수 있다.
도 5 및 도 6을 참조하면, 음원을 인코딩하는 단계(S160)에서는 이상 주파수에서 사용자의 민감도를 판단할 수 있다(S151). 청지각능력 훈련 모듈(100)은 특정 주파수에서 사용자의 가청 데시벨과 정상범위(R2, R3)를 비교하여, 사용자가 특정 주파수에서 민감한지 여부를 판단할 수 있다.
구체적으로, 청지각능력 훈련 모듈(100)은 특정 주파수에서 사용자의 가청 데시벨이 정상범위(R2, R3)보다 작은 경우, 사용자가 특정 주파수에서 민감한 것으로 판단할 수 있다.
또한, 청지각능력 훈련 모듈(100)은 특정 주파수에서 사용자의 가청 데시벨이 정상범위(R2, R3)보다 큰 경우, 사용자가 특정 주파수에서 둔감한 것으로 판단할 수 있다.
또한, 청지각능력 훈련 모듈(100)은 특정 주파수에서 사용자의 가청 데시벨이 정상범위(R2, R3) 이내인 경우, 사용자가 특정 주파수에서 정상인 것으로 판단할 수 있다.
예를 들어, 도 8을 참조하면, 1000Hz에서 사용자의 제1 가청 데시벨(dB1)은 1000Hz에서의 정상범위(R2)보다 높은 것으로 검사되었다. 즉, 사용자는 1000Hz에서 정상범위(R2)보다 큰 데시벨로 들려주는 경우에 반응하므로, 청지각능력 훈련 모듈(100)은 사용자가 1000Hz에서 둔감한 것으로 판단할 수 있다.
또한, 5000Hz에서 사용자의 제2 가청 데시벨(dB2)은 5000Hz에서의 정상범위(R3)보다 낮은 것으로 검사되었다. 즉, 사용자는 5000Hz에서 정상범위(R3)보다 작은 데시벨로 들려주는 경우에 반응하므로, 청지각능력 훈련 모듈(100)은 사용자가 5000Hz에서 민감한 것으로 판단할 수 있다.
다만, 제3 가청 데시벨(dB3)과 같이 1000Hz 및 5000Hz 모두에서 사용자의 가청 데시벨이 정상범위(R2, R3) 이내인 경우, 청지각능력 훈련 모듈(100)은 사용자가 1000Hz 및 5000Hz에서 정상인 것으로 판단할 수 있다.
한편, 정상범위(R2, R3)는 주파수 별로 상이할 수 있다. 즉, 각각의 주파수는 서로 다른 데시벨 대역의 정상범위를 가질 수 있다.
다시 도 5 및 도 6을 참조하면, 음원을 인코딩하는 단계(S160)에서는 이상 주파수에서 사용자의 민감도를 판단하여(S151), 민감도에 따라 음원에서 이상 주파수에 대한 데시벨을 조절할 수 있다.
예를 들어, 사용자가 이상 주파수에서 민감한 경우, 음원에서 이상 주파수에 대한 데시벨을 가청 데시벨보다 크게 조절할 수 있다(S152A).
또한, 사용자가 이상 주파수에서 둔감한 경우, 음원에서 이상 주파수에 대한 데시벨을 가청 데시벨보다 작게 조절할 수 있다(S152A).
구체적으로, 도 7을 참조하면, 이상 주파수 중 32Hz, 125Hz 및 8KHz 에서는 사용자의 가청 데시벨이 둔감한 것으로 판단되어, 음원에서 이상 주파수에 대한 데시벨은 가청 데시벨보다 작게 조절될 수 있다.
이에, 청지각능력 훈련 모듈(100)은 사용자의 제1 가청 데시벨(dB1)이 정상범위(R2) 이내로 검사될 때까지, 사용자에게 이상 주파수에 대한 데시벨이 가청 데시벨보다 작은 음원을 제공함으로써 사용자의 청지각능력을 훈련할 수 있다. 즉, 청지각능력 훈련 모듈(100)은 가청 데시벨이 둔감한 사용자가 상대적으로 낮은 데시벨의 소리도 들을 수 있도록 사용자를 훈련할 수 있다.
이와 반대로, 이상 주파수 중 500Hz에서는 사용자의 가청 데시벨이 민감한 것으로 판단되어, 음원에서 이상 주파수에 대한 데시벨을 가청 데시벨보다 크게 조절하였다.
이에, 청지각능력 훈련 모듈(100)은 도 8에서 제2 가청 데시벨(dB2)이 정상범위(R3) 이내로 검사될 때까지, 사용자에게 이상 주파수에 대한 데시벨이 가청 데시벨보다 높은 음원을 제공함으로써 사용자의 청지각능력을 훈련할 수 있다. 즉, 청지각능력 훈련 모듈(100)은 가청 데시벨이 민감한 사용자가 상대적으로 높은 데시벨의 소리도 들을 수 있도록 사용자를 훈련할 수 있다.
한편, 음원을 인코딩하는 단계(S160)에서 가청 데시벨의 조절 크기는 이상 주파수에 대한 사용자의 가청 데시벨과 정상범위 사이의 차이에 비례하여 조절될 수 있다.
예를 들어, 도 7을 참조하면, 125Hz 및 8Khz에서의 사용자의 가청 데시벨과 정상범위(R1) 사이의 차이는, 32Hz에서의 사용자의 가청 데시벨과 정상범위(R1) 사이의 차이보다 크다. 이에, 음원을 인코딩하는 단계(S160)에서는 32Hz에서의 가청 데시벨의 조절 크기보다 125Hz 및 8Khz에서의 가청 데시벨의 조절 크기가 더 크도록 음원이 인코딩될 수 있다.
다시 도 5 및 도 6을 참조하면, 사용자 단말기(300)에 인코딩된 컨텐츠를 제공한다(S170). 인코딩된 컨텐츠가 사용자 단말기(300)에 제공되는 동안, 사용자는 인코딩된 컨텐츠에 포함된 미션을 수행함으로써, 사용자는 미션에 포함된 지시어에 대한 리액션을 입력할 수 있다. 여기서, 지시어는 사용자가 특정 행동을 수행할 것을 나타내는 특정 소리일 수 있다. 사용자의 청지각능력을 훈련하기 위하여, 지시어는 사용자의 이상 주파수에서의 사용자의 가청 데시벨을 기초로 생성될 수 있다.
이어서, 사용자가 인코딩된 컨텐츠에 대한 미션을 수행하기 위해 지시어에 대한 리액션을 입력함에 따라, 청지각능력 훈련 모듈(100)은 인코딩된 컨텐츠에 대한 사용자 입력을 재수신한다(S180).
이어서, 재수신한 사용자 입력을 기초로, 이상 주파수에서의 사용자의 가청 데시벨을 재측정하고(S190), 재측정된 가청 데시벨을 기초로 컨텐츠에 포함된 음원을 재인코딩한다(S200).
음원을 재인코딩하는 단계에서는 이상 주파수에서 재측정된 가청 데시벨을 기초로 사용자의 민감도를 판단하여, 이상 주파수에 대한 데시벨을 조절한다.
구체적으로, 청지각능력 훈련 모듈(100)은 사용자가 이상 주파수에서 민감한 경우, 음원에서 이상 주파수에 대한 데시벨을 가청 데시벨보다 크게 조절하고, 이상 주파수에서 둔감한 경우, 음원에서 이상 주파수에 대한 데시벨을 가청 데시벨보다 작게 조절한다. 또한, 재측정 결과 이상 주파수에서 가청 데시벨이 정상범위에 포함된 경우, 음원에서 해당 주파수에 대한 데시벨을 정상범위 이내로 유지하거나, 증감폭을 이전보다 작게 설정할 수 있다.
즉, 청지각능력 훈련 모듈(100)은 사용자의 가청 데시벨이 정상범위 이내에 포함될 때까지 S140 단계 내지 S180 단계를 반복 수행하여, 사용자의 청지각능력을 훈련할 수 있다.
한편, 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법은 사용자의 좌귀 및 우귀 각각에 독립적으로 수행될 수 있다.
예를 들어, 사용자의 좌귀 및 우귀의 청지각능력은 서로 다를 수 있다. 이에, 사용자의 좌귀 및 우귀 각각에 대해 청지각능력을 검사하고, 좌귀 및 우귀에 대한 사용자의 가청 주파수 및 가청 데시벨을 각각 측정할 수 있다. 또한, 좌귀 및 우귀 각각에 대해 측정된 사용자의 가청 주파수 및 가청 데시벨을 기초로 컨텐츠에 포함된 음원 및 지시어를 인코딩할 수 있다.
즉, 좌귀 및 우귀에 서로 다른 가청 주파수 및 가청 데시벨로 인코딩된 컨텐츠가 제공될 수 있다. 이에, 좌귀 및 우귀 각각의 청지각능력을 효과적으로 개선할 수 있다.
정리하면, 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법은 사용자의 가청 주파수 및 가청 데시벨을 기초로 컨텐츠에 포함된 음원 및 지시어를 인코딩하고, 인코딩된 컨텐츠를 사용자 단말기(300)에 제공할 수 있다. 이에, 사용자는 민감하거나 둔감한 주파수 또는 데시벨로 인코딩된 컨텐츠를 통해 미션을 수행함으로써, 민감하거나 둔감한 주파수 또는 데시벨을 들을 수 있도록 훈련할 수 있다. 이에, 사용자가 인코딩된 컨텐츠를 반복 수행함에 따라, 사용자의 청지각능력을 훈련하고 개선시킬 수 있다.
이하에서는 도 9 내지 도 13을 참조하여, 본 발명의 청지각능력 훈련 방법을 통해 사용자 단말기에 제공되는 컨텐츠에 대해 설명한다.
도 9 내지 도 12는 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법의 사용자 단말기에 제공되는 컨텐츠의 실시예를 나타내는 도면이다. 도 13은 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법의 수행 전 후의 청지각능력의 편차를 설명하기 위한 도면이다.
도 9를 참조하면, 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법은 사용자 단말기(300)에 제공되는 컨텐츠를 통해 수행될 수 있다. 컨텐츠는 게임화 컨텐츠일 수 있다.
먼저 도 9를 참조하면, <A1>은 컨텐츠가 실행되기 전의 인터페이스이고, <A2>는 컨텐츠 실행 중의 인터페이스이며, <A3>는 컨텐츠 실행이 완료되어가는 인터페이스이다.
사용자는 A11 영역의 흐름에 따라 들리는 음원에 대하여, 좌귀 버튼(AL) 또는 우귀 버튼(AR)을 누를 수 있다.
예를 들어, A11 영역에서 표시되는 음에 대한 음원이 좌귀에 대한 것이라면, 사용자는 좌귀 버튼(AL)을 눌러 사용자 입력을 할 수 있다. 이와 마찬가지로, A11 영역에서 표시되는 음에 대한 음원이 우귀에 대한 것이라면, 사용자는 우귀 버튼(AR)을 눌러 사용자 입력을 할 수 있다.
<A2>를 참조하면, 사용자가 컨텐츠에 제공되는 음원에 대하여 좌귀 버튼(AL) 또는 우귀 버튼(AR)을 올바르게 선택하는 경우, A21 영역에는 사용자 입력이 올바른지 여부가 표시될 수 있다.
<A1> 내지 <A3>의 컨텐츠에서 제공되는 음원은 좌귀 및 우귀 각각에 독립적으로 측정된 가청 데시벨로 인코딩된 음원일 수 있다. 즉, 좌귀에 수행되는 음원의 가청 주파수 및 가청 데시벨과 우귀에 수행되는 음원의 가청 주파수 및 가청 데시벨이 서로 상이할 수 있다.
다만, 일정 시간동안 사용자의 입력이 없는 경우, 청지각능력 훈련 모듈(100)은 사용자가 인코딩된 음원을 듣지 못하는 것으로 판단할 수 있다.
도 10을 참조하면, <B1> 내지 <B3>은 좌귀 및/또는 우귀에 대한 미션을 수행하는 인터페이스이다. 사용자는 미션에 포함된 지시어를 통해 컨텐츠를 수행할 수 있다. 이때, 지시어는 좌귀 및 우귀 각각에 독립적으로 측정된 가청 데시벨로 인코딩된 지시어일 수 있다. 또한, 컨텐츠는 좌귀 및 우귀에 독립적으로 제공될 수 있다.
<B1> 및 <B2>를 참조하면, 컨텐츠를 수행하는 동안 지시어가 제공될 수 있다. 지시어는 음성으로 제공될 수 있으며, 지시어가 제공되는 동안에는 음성 표시(B11)가 활성화되어 사용자에게 음성 지시어가 제공되고 있음을 알릴 수 있다.
예를 들어, 컨텐츠에 포함된 음성 지시어는 '좌측으로 가시오', '우측으로 가시오' 또는 '직진하시오' 일 수 있다. 이때, 사용자는 컨텐츠에서 수행되는 지시어가 '좌측으로 가시오' 인 경우, 좌측 버튼(B12)을 선택하여 미션을 수행할 수 있다.
이와 마찬가지로, 컨텐츠에서 수행되는 지시어가 '우측으로 가시오'인 경우, 사용자는 우측 버튼(B14)을 선택하여 미션을 수행할 수 있으며, 컨텐츠에서 수행되는 지시어가 '직진하시오'인 경우, 사용자는 직진 버튼(B13)을 선택하여 미션을 수행할 수 있다.
또한, <B3>를 참조하면, 지시어는 동물 소리일 수 있다. 이에, 사용자는 컨텐츠를 통해 제공되는 지시어, 즉, 동물 소리에 따라 해당 동물을 선택하여 미션을 수행할 수 있다.
예를 들어, 컨텐츠를 통해 곰의 울음 소리가 제공되는 경우, 사용자는 제1 버튼(B31)을 선택하여 미션을 수행할 수 있다. 이와 마찬가지로, 컨텐츠를 통해 사자 울음 소리가 제공되는 경우, 사용자는 제2 버튼(B32)을 선택하여 미션을 수행할 수 있고, 컨텐츠를 통해 원숭이 울음 소리가 제공되는 경우, 사용자는 제3 버튼(B33)을 선택하여 미션을 수행할 수 있다.
다만, 일정 시간동안 사용자의 입력이 없는 경우, 청지각능력 훈련 모듈(100)은 사용자가 인코딩된 지시어를 듣지 못하는 것으로 판단할 수 있다.
도 11을 참조하면, <C1> 내지 <C3>은 좌귀 및/또는 우귀에 대한 미션을 수행하는 인터페이스이다.
<C1>을 참조하면, 사용자는 컨텐츠를 통해 제공되는 음원 또는 지시어에 따라 왼쪽 버튼(C11), 동시 버튼(C12) 또는 오른쪽 버튼(C13)을 선택할 수 있다.
예를 들어, 좌귀 또는 우귀에만 음원이 제공되는 경우, 사용자는 각각 왼쪽 버튼(C11) 또는 오른쪽 버튼(C13)을 선택하여 미션을 수행할 수 있다. 또한, 좌귀 및 우귀 모두에 음원이 제공되는 경우, 사용자는 동시 버튼(C12)을 선택하여 미션을 수행할 수 있다.
<C2>를 참조하면, C21에는 사용자의 청지각능력 훈련 레벨이 표시될 수 있다. 또한, 사용자가 <C1>에서 미션 수행에 실패하는 경우, 재시작 여부를 선택할 수 있는 팝업(C22)을 제공하여, 사용자가 해당 레벨에서의 미션을 재수행하도록 할 수 있다.
<C3>을 참조하면, <C1>에서 미션 수행에 성공하는 경우, C31 영역에 해당 레벨에 대한 미션을 최종 완료하기 위한 게이지(Gage)가 표시될 수 있다. 즉, 사용자가 미션 수행에 성공하는 횟수가 증가할수록 C31영역의 게이지가 증가할 수 있다.
도 12를 참조하면, <D1> 내지 <D3>은 좌귀 및/또는 우귀에 대한 미션을 수행하는 인터페이스이다. <D1> 내지 <D3>에서는 음원 및 지시어가 복합적으로 제공될 수 있다. 사용자는 <D1> 내지 <D3>의 컨텐츠를 수행하는 동안 음원이 배경음(BGM)으로 지속적으로 제공될 수 있으며, 이와 동시에 지시어가 제공될 수 있다.
예를 들어, '보물 상자를 여시오' 라는 지시어가 제공되는 경우, 사용자는 보물 상자(D11)를 선택하여 미션을 수행할 수 있다. 또한, '캐릭터를 이동시키시오' 라는 지시어가 제공되는 경우, 인터페이스 상에서 좌측, 우측 또는 정면을 선택하여 캐릭터를 이동시킬 수 있다.
다만, 사용자가 미션을 완료하지 못하는 경우, 재시작 버튼(Restart)(D12)를 선택하여, 미션을 재수행할 수 있다.
도 9 내지 도 12의 미션을 수행하는 과정에서, 컨텐츠는 사용자의 이상 주파수에서의 민감도 또는 둔감도를 낮출 수 있도록 인코딩된 음원을 지속적으로 재생할 수 있다. 이와 동시에, 컨텐츠는 사용자에게 계속해서 이상 주파수에 대한 미션을 제공함으로써, 사용자의 청지각능력의 개선도를 측정할 수 있다.
즉, 본 발명의 몇몇 실시예에 따른 청지각능력 훈련 방법은 사용자의 가청 주파수 및 가청 데시벨을 기초로 컨텐츠에 포함된 음원 및 지시어를 인코딩하고, 인코딩된 컨텐츠를 사용자 단말기(300)에 제공할 수 있다. 이에, 사용자는 민감하거나 둔감한 주파수 또는 데시벨로 인코딩된 컨텐츠를 통해 미션을 수행함으로써, 민감하거나 둔감한 주파수 또는 데시벨을 들을 수 있도록 훈련할 수 있다. 이에, 사용자가 인코딩된 컨텐츠를 반복 수행함에 따라, 사용자의 청지각능력을 훈련하고 개선시킬 수 있다.
도 13을 참조하면, <E1> 및 <E2>는 좌귀 및 우귀에 대한 청지각능력 훈련 방법 수행 전 후의 그래프를 나타낸다.
<E1>을 참조하면, 청지각능력 훈련 방법 수행 전, 좌귀 및 우귀는 주파수 및 데시벨 별로 청지각능력의 편차가 상대적으로 크다.
그러나, <E2>를 참조하면, 청지각능력 훈련 방법 수행 후, 사용자의 좌귀 및 우귀는 주파수 및 데시벨 별로 청지각능력의 편차가 상대적으로 감소한 것을 확인할 수 있다. 즉, 사용자가 컨텐츠의 수행을 통하여 청지각능력을 훈련함에 따라, 민감하거나 둔감한 주파수의 데시벨에 대한 사용자의 민감도 또는 둔감도는 다소 완화될 수 있으며, 이를 통해 사용자의 청지각능력은 개선될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

  1. 사용자 단말기와 연계되는 청지각능력 훈련 시스템에서 수행되는 청지각능력 훈련 방법에 있어서,
    상기 사용자 단말기에 청지각능력을 검사할 수 있는 컨텐츠를 제공하는 단계;
    상기 컨텐츠를 통해, 복수의 주파수에 대한 사용자의 가청 데시벨을 측정하는 단계;
    측정된 상기 가청 데시벨을 기초로, 각각의 주파수에 대한 상기 가청 데시벨이 정상범위 내에 포함되는지 여부를 판단하는 단계;
    상기 가청 데시벨이 정상범위에 포함되지 않는 주파수를 이상 주파수로 분류하는 단계;
    상기 이상 주파수에 대한 사용자의 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 인코딩하는 단계;
    상기 인코딩된 컨텐츠가 상기 사용자 단말기에 제공되는 동안, 상기 컨텐츠에 포함된 미션을 통하여, 상기 이상 주파수에서 사용자의 가청 데시벨을 재측정하는 단계; 및
    상기 이상 주파수에서의 재측정된 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 재인코딩하는 단계를 포함하는
    청지각능력 훈련 방법.
  2. 제1 항에 있어서,
    상기 음원을 인코딩하는 단계는,
    상기 이상 주파수에서 사용자의 민감도를 판단하고,
    사용자가 상기 이상 주파수에서 민감한 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 가청 데시벨보다 크게 조절하고,
    사용자가 상기 이상 주파수에서 둔감한 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 가청 데시벨보다 작게 조절하는
    청지각능력 훈련 방법.
  3. 제2 항에 있어서,
    상기 민감도를 판단하는 단계는,
    특정 주파수에서 사용자의 상기 가청 데시벨이 정상범위보다 작은 경우, 사용자가 상기 특정 주파수에서 민감한 것으로 판단하고,
    상기 특정 주파수에서 사용자의 상기 가청 데시벨이 정상범위보다 큰 경우, 사용자가 상기 특정 주파수에서 둔감한 것으로 판단하고,
    상기 특정 주파수에서 사용자의 상기 가청 데시벨이 정상범위 이내인 경우, 사용자가 상기 특정 주파수에서 정상인 것으로 판단하는
    청지각능력 훈련 방법.
  4. 제2 항에 있어서,
    상기 음원을 재인코딩하는 단계는,
    상기 이상 주파수에서 사용자의 민감도를 다시 판단하고,
    사용자가 상기 이상 주파수에서 민감한 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 가청 데시벨보다 크게 조절하고,
    사용자가 상기 이상 주파수에서 둔감한 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 가청 데시벨보다 작게 조절하고,
    사용자가 상기 이상 주파수에서 정상인 경우, 상기 음원에서 상기 이상 주파수에 대한 데시벨을 상기 정상범위 이내로 유지하는 것을 포함하는
    청지각능력 훈련 방법.
  5. 제2 항에 있어서,
    상기 가청 데시벨의 조절 크기는,
    상기 이상 주파수에 대한 사용자의 상기 가청 데시벨과 상기 정상범위 간의 차이에 비례하여 결정되는
    청지각능력 훈련 방법.
  6. 제1 항에 있어서,
    상기 가청 데시벨을 측정하는 단계는,
    미리 설정된 복수의 주파수에 대하여 사용자의 가청 주파수를 측정하되,
    상기 미리 설정된 복수의 주파수는, 사용자의 사용언어에 따라 서로 다르게 적용되는
    청지각능력 훈련 방법.
  7. 제6 항에 있어서,
    상기 사용자의 사용언어는,
    사용자의 음성인식을 기초로 도출되거나, 사용자가 입력한 언어에 의해 설정되는
    청지각능력 훈련 방법.
  8. 제1 항에 있어서,
    상기 음원은, 상기 컨텐츠가 상기 사용자 단말기에 제공되는 동안, 지속적으로 재생되고,
    상기 미션은, 상기 컨텐츠를 수행하는 과정에서, 사용자가 특정 행동을 수행할 것에 대한 지시어를 포함하며,
    상기 지시어는, 상기 이상 주파수에서의 사용자의 상기 가청 데시벨을 기초로 생성되는
    청지각능력 훈련 방법.
  9. 제1 항에 있어서,
    상기 컨텐츠를 제공하는 단계는,
    사용자가 미리 입력한 개인정보, 각각의 주파수에 대한 가청 스펙트럼, 컨텐츠에 대한 정보를 입력받고, 이에 대한 출력으로 상기 컨텐츠에 대한 예상 개선율을 출력하는 학습부를 이용하여, 각 컨텐츠별 예상 개선율을 도출하고,
    상기 예상 개선율이 가장 높은 컨텐츠를 상기 사용자 단말기에 제공하는 것을 포함하는
    청지각능력 훈련 방법.
  10. 제9 항에 있어서,
    상기 학습부는,
    상기 개인정보, 상기 가청 스펙트럼, 및 상기 컨텐츠의 정보를 입력 노드로 하는 입력 레이어와,
    상기 예상 개선율을 출력 노드로 하는 출력 레이어와,
    상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고,
    상기 입력 노드와 상기 출력 노드 사이의 노드 및 에지의 가중치는 상기 학습부의 학습 과정에 의해 업데이트되는
    청지각능력 훈련 방법.
  11. 제1 항에 있어서,
    상기 가청 데시벨을 측정하는 단계 및 상기 음원을 인코딩하는 단계는, 사용자의 좌귀 및 우귀 각각에 독립적으로 수행되는
    청지각능력 훈련 방법.
  12. 사용자 단말기와 연계되는 청지각능력 훈련 시스템에서 수행되는 청지각능력 훈련 방법에 있어서,
    상기 사용자 단말기에 청지각능력을 검사할 수 있는 컨텐츠를 제공하는 단계;
    상기 컨텐츠를 통해, 복수의 주파수에 대한 사용자의 가청 데시벨을 측정하는 단계;
    측정된 상기 가청 데시벨을 기초로, 각각의 주파수에 대한 상기 가청 데시벨이 정상범위 내에 포함되는지 여부를 판단하는 단계;
    상기 가청 데시벨이 정상범위에 포함되지 않는 주파수를 이상 주파수로 분류하는 단계; 및
    상기 이상 주파수에 대한 사용자의 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 인코딩하는 단계를 포함하되,
    상기 컨텐츠를 제공하는 단계는,
    사용자가 미리 입력한 개인정보, 각각의 주파수에 대한 가청 데시벨, 컨텐츠에 대한 정보를 입력받고, 이에 대한 출력으로 상기 입력받은 컨텐츠에 대한 예상 개선율을 출력하는 학습부를 이용하여, 각 컨텐츠별 예상 개선율을 도출하고,
    상기 예상 개선율이 가장 높은 컨텐츠를 상기 사용자 단말기에 제공하는 것을 포함하는
    청지각능력 훈련 방법.
  13. 사용자 단말기와 연계되는 청지각능력 훈련 시스템에서 수행되는 청지각능력 훈련 방법에 있어서,
    상기 사용자 단말기에 청지각능력을 검사할 수 있는 컨텐츠를 제공하는 단계;
    상기 컨텐츠를 통해, 복수의 주파수에 대한 사용자의 가청 데시벨을 측정하는 단계;
    측정된 상기 가청 데시벨을 기초로, 각각의 주파수에 대한 상기 가청 데시벨이 정상범위 내에 포함되는지 여부를 판단하는 단계;
    상기 가청 데시벨이 정상범위에 포함되지 않는 주파수를 이상 주파수로 분류하는 단계; 및
    상기 이상 주파수에 대한 사용자의 상기 가청 데시벨을 기초로, 상기 컨텐츠에 포함된 음원을 인코딩하는 단계를 포함하고,
    상기 가청 데시벨을 측정하는 단계는,
    미리 설정된 복수의 주파수에 대하여 사용자의 가청 주파수를 측정하되,
    상기 미리 설정된 복수의 주파수는, 사용자의 사용언어에 따라 서로 다르게 적용되는
    청지각능력 훈련 방법.
PCT/KR2020/018855 2020-12-21 2020-12-22 청지각능력 훈련 방법 WO2022139004A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0179314 2020-12-21
KR1020200179314A KR102496412B1 (ko) 2020-12-21 2020-12-21 청지각능력 훈련 시스템의 동작 방법

Publications (1)

Publication Number Publication Date
WO2022139004A1 true WO2022139004A1 (ko) 2022-06-30

Family

ID=82159901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018855 WO2022139004A1 (ko) 2020-12-21 2020-12-22 청지각능력 훈련 방법

Country Status (2)

Country Link
KR (1) KR102496412B1 (ko)
WO (1) WO2022139004A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117241201A (zh) * 2023-11-14 2023-12-15 玖益(深圳)医疗科技有限公司 一种助听器验配方案的确定方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114038A (ja) * 1992-10-05 1994-04-26 Mitsui Petrochem Ind Ltd 聴覚検査・訓練装置
EP1031955A1 (en) * 1997-09-25 2000-08-30 Fumio Denda Auditory sense training method and sound processing method for auditory sense training
KR101105549B1 (ko) * 2010-04-26 2012-01-17 부산대학교 산학협력단 다수의 피검자를 동시에 검사할 수 있는 순음청력검사 시스템 및 그 방법
JP4963035B2 (ja) * 2006-04-17 2012-06-27 独立行政法人産業技術総合研究所 聴覚機能訓練方法および装置
JP2016531655A (ja) * 2013-07-16 2016-10-13 アイヒヤ メディカル インコーポレイテッド 聴力プロファイル検査システム及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442022B1 (ko) * 2012-09-04 2014-09-25 (주)다하미 커뮤니케이션즈 청력테스트 결과에 따른 난청 보정 서비스 방법 및 그 장치
GB2554634B (en) * 2016-07-07 2020-08-05 Goshawk Communications Ltd Enhancement of audio signals
TWI683651B (zh) 2019-03-27 2020-02-01 美律實業股份有限公司 聽力測試系統以及判斷聽力測試可信度的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114038A (ja) * 1992-10-05 1994-04-26 Mitsui Petrochem Ind Ltd 聴覚検査・訓練装置
EP1031955A1 (en) * 1997-09-25 2000-08-30 Fumio Denda Auditory sense training method and sound processing method for auditory sense training
JP4963035B2 (ja) * 2006-04-17 2012-06-27 独立行政法人産業技術総合研究所 聴覚機能訓練方法および装置
KR101105549B1 (ko) * 2010-04-26 2012-01-17 부산대학교 산학협력단 다수의 피검자를 동시에 검사할 수 있는 순음청력검사 시스템 및 그 방법
JP2016531655A (ja) * 2013-07-16 2016-10-13 アイヒヤ メディカル インコーポレイテッド 聴力プロファイル検査システム及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117241201A (zh) * 2023-11-14 2023-12-15 玖益(深圳)医疗科技有限公司 一种助听器验配方案的确定方法、装置、设备和存储介质
CN117241201B (zh) * 2023-11-14 2024-03-01 玖益(深圳)医疗科技有限公司 一种助听器验配方案的确定方法、装置、设备和存储介质

Also Published As

Publication number Publication date
KR20220089043A (ko) 2022-06-28
KR102496412B1 (ko) 2023-02-06

Similar Documents

Publication Publication Date Title
WO2021177730A1 (ko) 음성 및 연하 장애를 유발하는 질환 진단 장치 및 그 진단 방법
WO2022080774A1 (ko) 말 장애 평가 장치, 방법 및 프로그램
WO2020013428A1 (ko) 개인화 asr 모델을 생성하는 전자 장치 및 이를 동작하는 방법
WO2015178600A1 (en) Speech recognition method and apparatus using device information
WO2020091503A1 (en) Electronic apparatus and control method thereof
WO2021033827A1 (ko) 딥러닝 모듈을 이용한 발달장애 개선 시스템 및 방법
WO2019112342A1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
WO2018182201A1 (ko) 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
WO2020045835A1 (ko) 전자 장치 및 그 제어 방법
WO2022139004A1 (ko) 청지각능력 훈련 방법
WO2021071110A1 (en) Electronic apparatus and method for controlling electronic apparatus
WO2022050719A1 (ko) 사용자의 치매 정도 결정 방법 및 장치
WO2019164144A1 (ko) 전자 장치 및 이의 자연어 생성 방법
EP3785258A1 (en) Electronic device and method for providing or obtaining data for training thereof
WO2022164192A1 (ko) 사용자의 발화 입력에 관련된 추천 문장을 제공하는 디바이스 및 방법
US11310608B2 (en) Method for training a listening situation classifier for a hearing aid and hearing system
Tait et al. The predictive value of measures of preverbal communicative behaviors in young deaf children with cochlear implants
WO2021125479A1 (ko) 탈모 관리 장치 및 그의 탈모 관리 지침 제공 방법
WO2021085947A1 (en) Parkinson&#39;s disease diagnostic application
WO2024063573A1 (ko) 의과학 및 성분학 기반의 정신 상태 분석 장치, 방법 및 프로그램
WO2022031025A1 (en) Digital apparatus and application for treating social communication disorder
WO2022235073A1 (ko) 독해와 작문 능력의 향상을 가이드하는 방법 및 그 장치
WO2020004727A1 (ko) 실시간 소리 분석 방법 및 장치
WO2021020727A1 (ko) 대상의 언어 수준을 식별하는 전자 장치 및 방법
WO2014073849A1 (ko) 말지각 검사 장치 및 이를 이용한 말지각 검사방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20967075

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 24/10/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20967075

Country of ref document: EP

Kind code of ref document: A1