WO2021137395A1 - 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법 - Google Patents

심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법 Download PDF

Info

Publication number
WO2021137395A1
WO2021137395A1 PCT/KR2020/013867 KR2020013867W WO2021137395A1 WO 2021137395 A1 WO2021137395 A1 WO 2021137395A1 KR 2020013867 W KR2020013867 W KR 2020013867W WO 2021137395 A1 WO2021137395 A1 WO 2021137395A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
information
neural network
stimulus
feedback
Prior art date
Application number
PCT/KR2020/013867
Other languages
English (en)
French (fr)
Inventor
김문상
이덕원
이상협
전국성
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to EP20910993.3A priority Critical patent/EP4086811A4/en
Publication of WO2021137395A1 publication Critical patent/WO2021137395A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Definitions

  • the present invention relates to a problem behavior classification system and method based on a deep neural network algorithm.
  • An object of the present invention is to provide a problem behavior classification system and method based on a deep neural network algorithm that can solve conventional problems.
  • the problem behavior classification method based on a deep neural network algorithm for solving the above problem is to measure and classify the feedback behavior of the test subject with respect to the conditional stimulus information predefined in the database in a limited environment, and to make a database. step; presenting the conditional stimulus to the subject by the stimulus transmitting unit; acquiring data on the feedback behavioral response of the test subject to the conditional stimulus from the stimulus measuring unit; and classifying the problem behavior among the feedback behavioral responses by using a deep neural network algorithm for the human body data for the feedback behavioral response.
  • a system for executing a problem behavior classification method based on a deep neural network algorithm includes: a stimulus delivery unit for presenting conditional stimulus information to a test subject; a stimulus measurement unit for measuring and collecting feedback behavioral response information of the test subject to the conditional stimulus; and a deep learning information processing unit that provides the conditional stimulus information to the stimulus transmission unit, receives the feedback behavior response information collected from the stimulus measurement unit, and classifies problem behaviors among the feedback behavior responses using a deep neural network algorithm.
  • the deep neural network algorithm-based abnormal behavior recognition analysis system and method it is possible to objectively classify problem behaviors by learning a large amount of data based on the deep neural network algorithm to derive results. There is this.
  • FIG. 1 is a block diagram illustrating a problem behavior classification system based on a deep neural network algorithm according to an embodiment of the present invention.
  • 2 to 4 are exemplary views showing an example of feedback behavior information of the test subject for the conditional stimulus information.
  • FIG. 5 is an exemplary diagram of an operation flowchart of the deep neural network algorithm shown in FIG. 1 .
  • FIG. 6 is a flowchart illustrating a problem behavior classification method based on a deep neural network algorithm according to an embodiment of the present invention.
  • FIG. 7 is a more detailed flowchart of the process S740 shown in FIG. 6 .
  • FIG 8 illustrates an example computing environment in which one or more embodiments disclosed herein may be implemented.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.
  • first can modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components.
  • first user equipment and the second user equipment may represent different user equipment regardless of order or importance.
  • a first component may be referred to as a second component, and similarly, the second component may also be renamed as a first component.
  • a component eg, a first component is "coupled with/to (operatively or communicatively)" to another component (eg, a second component);
  • another component eg, a second component
  • the certain element may be directly connected to the other element or may be connected through another element (eg, a third element).
  • a component eg, a first component
  • another component eg, a second component
  • the expression “configured to (or configured to)” depends on the context, for example, “suitable for,” “having the capacity to ,” “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or configured to)” may not necessarily mean only “specifically designed to” in hardware. Instead, in some circumstances, the expression “a device configured to” may mean that the device is “capable of” with other devices or parts.
  • a processor configured (or configured to perform) A, B, and C refers to a dedicated processor (eg, an embedded processor) for performing the operations, or by executing one or more software programs stored in a memory device.
  • a dedicated processor eg, an embedded processor
  • a generic-purpose processor eg, a CPU or an application processor
  • the present invention is an invention for use in subjects with abnormal behavioral disorders, such as a diagnosis of ADHD (Attention Deficit Hyperactivity Disorder), and the above-mentioned ADHD (Attention Deficit Hyperactivity Disorder) is 'developmentally inadequate attention' by the American Psychiatric Association. It is defined as 'a condition in which abnormal activity and impulsive tendencies are severe and persistent, significantly affecting the child's daily life'.
  • the cause of ADHD may be a symptom caused by complex characteristics in which neurological, chemical factors, and other anatomical, genetic, and environmental factors interact.
  • the behaviors that meet the diagnostic criteria for ADHD are specified in the Diagnostic and Statistical Manual of Mental Disorder IV (DSM-IV), and the ADHD criteria has a total of 18 behavioral symptoms consisting of 9 inattentive behavioral characteristics and 9 hyperactive and impulsive characteristics. have.
  • the deep neural network algorithm-based problem behavior classification system and method to be described in the present invention present conditional stimulus information to the test subject, and the feedback response information of the test subject to normal behavior and problems within a predefined range in the database. It is an invention that aims to include a new behavior definition within the existing problem behavior category through expert advice on behavior that is classified as a behavior and falls into an undefined category.
  • deep learning and deep learning are defined as a set of machine learning algorithms that attempt high-level abstractions through a combination of several nonlinear transformation methods, and It could be a branch of machine learning that teaches computers how to do it.
  • ANNs artificial neural networks
  • Deep learning can train a computer to classify objects by mimicking the information processing method that the human brain discovers patterns in numerous data and then distinguishes objects. If deep learning technology is applied, computers can recognize, reason, and make decisions on their own, even if humans do not set all judgment criteria. It can be widely used for voice/image recognition and photo analysis.
  • the machine analyzes massive sample data, repeats the training data, extracts rules, regulations, expressions, conditions, and judgment criteria by itself, and accumulates them in a database for learning.
  • the machine analyzes and identifies the data based on the accumulated database, thinks and predicts relationships, and can replace the 'thinking' task that humans normally do.
  • a neural network is a type of machine learning and may be a technology that mimics the human brain.
  • the neural network extracts the 'feature value' of an object and can learn it in a way similar to that of a human. For example, the human brain learns and has 'features' for judging whether the human brain is a dog or a cat through previous experiences, and based on that, sees some images and classifies them into 'dog' and 'cat' can do.
  • a feature value can be calculated rather than a rule suggested by a human to identify an object. If the feature value is taught as 'dog', it can be classified as a dog. repeat
  • the machine can calculate the feature value by itself, increasing the amount of information that can be classified as a dog.
  • the feature value handled by the computer may be a number in the form of a vector. Because the features are automatically learned by the machine through training, developers can be freed from the traditional task of defining detailed rules. If you input an image, if it matches, it can be classified as a cat. The feature value for judging a dog is not created and provided by a human, but a machine can calculate it by itself through learning.
  • a neural network may include an input layer, an output layer, and an intermediate layer.
  • the middle layer can be called a hidden layer.
  • the presence of an intermediate layer can increase the layer of the group of neurons responsible for processing.
  • a deep neural network having a multi-layered neuron layer in the middle layer can be called a deep neural network.
  • Machine learning in deep neural networks can be called deep learning.
  • the middle layer can be further multi-layered to train and process more data. If the middle layer is too multi-layered, the number of parameters becomes too large, and the number of neurons becomes too many and complicated, which can lead to over-fitting by increasing unrelated connections. Overfitting can degrade performance. Convolutional Neural Networks (CNNs) can solve this problem.
  • CNNs Convolutional Neural Networks
  • Convolutional neural networks are a type of multilayer perceptrons designed to use minimal preprocessing.
  • CNN consists of one or several convolutional layers and general artificial neural network layers on top of it, and can additionally utilize weights and pooling layers.
  • CNNs can fully utilize the input data of a two-dimensional structure. Compared with other deep learning structures, CNN can show good performance in both video and audio fields.
  • CNNs can also be trained through standard back-passing. CNNs are easier to train than other feed-forward neural network techniques and have the advantage of using fewer parameters.
  • the convolutional neural network can analyze a part of an image, slide the window of that region, and iterate to the next region and then to the next region. It is possible to propagate information in the identified image region to only neurons with high relation, rather than to all neurons. This can solve the overfitting problem.
  • a recurrent neural network which shows high performance in time series data analysis, may include an input layer, an intermediate layer, and an output layer, and the value of the current intermediate layer may affect the calculation of the next output layer.
  • a recurrent neural network may be a type of artificial neural network in which nodes in the middle layer are connected by directed edges to form a directed cycle. The core of a recurrent neural network may be to find optimal parameters between nodes and layers.
  • a recurrent neural network can be extended to a bidirectional recurrent neural network. When a bidirectional recurrent neural network models sequencing data, the current sequencing data may be affected by the before data as well as the after data. Unlike unidirectional recurrent neural networks that only refer to the previous and current data, bidirectional recurrent neural networks can refer to both before and after data and current data.
  • the time series data may be data in which observation values are recorded at regular intervals with the lapse of time.
  • Time series data analysis techniques can be used in many fields, such as finance, military, and manufacturing. Accurately analyzing time-series data can be very important for financial forecasting, manufacturing diagnostics, etc. For example, if signals input from a large system of a power plant are accurately predicted, failures can be predicted and maintenance intervals can be accurately calculated, thereby reducing the risk of accidents and remarkably reducing maintenance costs.
  • Multiple time series data may be records of multiple variables that change over time.
  • multi-time series data may include changes in a number of stock prices per hour, and changes in a number of exchange rates per hour.
  • Time series data can be persistent. For example, people may understand each word based on previous words, and previous video frames may influence their understanding of the current frame.
  • time series data can have multiple characteristics. For example, there may be time series data that changes relatively smoothly over time, and time series data that changes rapidly (high frequency). Also, there may be time series data that repeats a specific pattern.
  • time series data can be analyzed and predicted.
  • time series data there may be a limitation that a large amount of training data is required. Realistically, it may be difficult to obtain a lot of data or it may take a long time. It is explained in advance that the appropriate deep learning algorithm may be different for each time series data.
  • FIG. 1 is a block diagram showing a problem behavior classification system based on a deep neural network algorithm according to an embodiment of the present invention
  • FIGS. 2 to 4 are exemplary views showing an example of feedback behavior information of a test subject for conditional stimulus information
  • FIG. 5 is an exemplary diagram of an operation flowchart of the deep neural network algorithm shown in FIG. 1 .
  • the problem behavior classification system 100 based on a deep neural network algorithm includes a stimulus transmitting unit 210 and a stimulus measuring unit 220 .
  • the stimulus transmission unit 210 and a deep learning information processing server 300 .
  • the stimulus measuring unit 220 may be of a formable form.
  • the stimulus transmitting unit 210 and the stimulus measuring unit 220 are mobile terminals within a restricted environment or fixed terminals at a location set by the administrator.
  • mobile and stationary robots, smart TVs, projectors, etc. It may correspond to a device capable of displaying
  • the stimulus delivery unit 210 is a terminal that receives the conditional stimulus information provided from the deep learning information processing server 300 and then presents the conditional stimulus information to the test subject, and the stimulus transfer unit 210 acts on the test subject. may provide instructions, instructions through physical actions, or content-based instruction information on the screen.
  • the stimulus measuring unit 220 may be a terminal that measures, records, and stores feedback behavioral response information of the test subject to the conditional stimulus for a preset time.
  • the stimulus measuring unit 220 may collect and record the feedback response information of the test subject as a forward response / a false response before a forward response / a false response / a positive response before a false response for each conditional stimulus information presented to the test subject.
  • the stimulus measuring unit 220 may be combined with a robot, various sensors installed in the environment, and a configuration for inputting subjective judgment information (facilitator input information) of the moderator.
  • the subjective judgment information may be information including information that is difficult to provide as prepared measurement data.
  • the stimulus measuring unit 220 uses at least one of a three-dimensional depth sensor, a two-dimensional camera, an ultrasonic sensor, an infrared sensor, a laser scanner, a microphone, a position recognition sensor, and a motion recognition sensor to provide feedback behavioral response information of the test subject.
  • Human body data (kinetic information) may be collected and transmitted to the deep learning information processing server 300 to be described later.
  • conditional stimulus information may be indication information in which at least one or more of location information, object designation information, sound indication information, color indication information, and action indication information of a restricted environment is combined or arranged.
  • conditional stimulus information “Follow the road and stop at the arrow”, “Sit with your right hand”, “If you see a witch, sit down”, “Sit in the circle with the largest number”, “Red Draw the flag, then the blue flag, then the yellow flag.”
  • the stimulus measuring unit 220 separates the feedback information of the test subject for the conditional stimulus information into a forward response / a false response before a forward response / a false response / a positive response before a false response, and collects and records.
  • conditional stimulus information is “Sit when you see a witch, and wave your hand when you see your friends,” the positive/false response may be an unclear sitting posture or an action not to shake hands.
  • Misreaction before forward response/Misreaction before false response refers to the behavior when the subject modifies the feedback response.
  • the stimulus transmitting unit 210 and the stimulus measuring unit 220 analyze the image information of the test subject transmitted from the deep learning information processing server 300 based on the object recognition algorithm to match the image information. can be moved to
  • the stimulus measuring unit 220 may measure a game progress time performed in a limited space, a reaction time to conditional stimulus information, a distance traveled by the test subject during a game played in a limited space, and the like.
  • the stimulus measuring unit 220 may record the collected human body data, which is feedback behavioral response information of the test subject, in a time series or non-time series method.
  • the deep learning information processing unit 300 provides the conditional stimulus information to the stimulus delivery unit 210 , and receives the feedback behavioral response information of the test subject collected by the stimulus measurement unit 220 , a deep neural network It performs a function of classifying the problem behavior among the feedback behavior responses using an algorithm.
  • the deep learning information processing unit 300 may include a conditional stimulus information providing unit 310 , a conditional classification unit 320 , a behavioral information classification unit 330 , and a feedback processing unit 340 .
  • the conditional stimulation information providing unit 310 provides conditional stimulation information suitable for the individual characteristics of the test subject to the stimulation transmitting unit 210 .
  • the condition classification unit 320 sub-classifies the behavioral information in the feedback reaction information of the test subject into conditions in the conditional reaction information.
  • the detailed classified behavior information is provided to the behavior information classification unit 330 to be described later.
  • the behavior information classification unit 330 uses a deep neural network algorithm to determine the time series or non-time series association and/or continuity relationship of the actions detailed in the condition classification unit 330, and then determines the details in the conditional response information set in the database. After judging whether it is included in the defined behavior category consisting of conditions, the feedback behavior response information is classified into defined behavior and undefined behavior (Anomaly Detection).
  • the behavior information classification unit 330 may classify detailed behaviors in the feedback behavioral response into normal behaviors and abnormal behaviors by comparing them with behaviors in a defined behavior category.
  • the feedback processing unit 340 provides information classified as undefined behavior among the feedback behavioral responses of the test subject to an external terminal (expert terminal), and then provides feedback that is the undefined behavior in the external terminal (expert terminal). It may be a configuration in which the definition information of the behavioral response is received as feedback, and the definition information of the feedback behavioral response is additionally defined as a new problem behavior in the behavior category defined in the database.
  • the predefined behavior category is classified into a predefined normal behavior category and a predefined problem behavior category, and the normal behavior category and problem behavior category may be categories of predictable behaviors of experts.
  • the conditional stimulus information is “1 Follow the road 2 Follow 3 Stop 4 Stop”
  • the normal behavior category is an action that satisfies the four condition information
  • the problem behavior category is at least one of the four condition information. It may be a behavior when one or more of the other foreseeable conditions are included. For example, it may be a case in which it goes round and round and stops in a circle.
  • conditional stimulus information is “If you see 1 a witch 2, sit down”, the normal behavior category is a behavior that satisfies the three condition information, and the problem behavior category is predicted by at least one of the three condition information It could be an action when included in other possible conditions. For example, if you see a witch and have to sit and wave your hand, this may be the case.
  • conditional stimulus information is “Sit when you see a witch, and wave your hand when you see your friends”
  • the positive/false response may be an indefinite sitting posture or an action not to wave your hand.
  • Misreaction before forward response/Misreaction before false response refers to the behavior when the subject modifies the feedback response.
  • the undefined behavioral category is a category of behaviors that experts cannot predict. For example, if the conditional stimulus information assumes that “1 follow the road 2 follow 3 stop 4 stop at the arrow,” the subject of the experiment will be on the road. It could be the behavior of sitting down or lying face down on the road.
  • FIG. 6 is a flowchart illustrating a problem behavior classification method based on a deep neural network algorithm according to an embodiment of the present invention
  • FIG. 7 is a more detailed flowchart of the process S740 shown in FIG.
  • the deep neural network algorithm-based problem behavior classification method S700 may be implemented through the deep neural network algorithm-based problem behavior classification system shown in FIG. 1 .
  • the deep neural network algorithm-based problem behavior classification method (S700) first measures and classifies the feedback behavior of the test subject for the conditional stimulus information predefined in the database in a limited environment. It is made into a database (S710).
  • conditional stimulus information may be indication information in which at least one or more of location information, object designation information, sound indication information, color indication information, and action indication information of a restricted environment is combined or arranged.
  • conditional stimulus information “Follow the road and stop at the arrow”, “Sit with your right hand”, “If you see a witch, sit down”, “Sit in the circle with the largest number”, “Red Draw the flag, then the blue flag, then the yellow flag.”
  • measurement and classification information for feedback behavior may be behavioral information within a predictable category (normal category) through the presented conditional stimulus information.
  • conditional stimulus information “Follow the road and stop at the arrow,” is presented to the test subject
  • the behavioral information within the predictable category is 1 not following the road, 2 only following the road. It can be classified into actions such as doing, 3 sitting on the road, 4 lying down on the road, and 5 turning arrows around.
  • the predictable category (normal category) may be a behavioral region including a behavior that satisfies at least one of several pieces of condition information included in the conditional stimulus information.
  • the stimulus delivery unit 210 delivers or presents the conditional stimulus information provided from the deep learning information processing unit 300 to the test subject (S720).
  • the stimulus delivery unit 210 includes conditional stimulus information (eg, instruction information that combines or arranges at least one of location information in a restricted environment, object designation information, sound instruction information, color instruction information, and action instruction information) At least one device capable of outputting .
  • conditional stimulus information eg, instruction information that combines or arranges at least one of location information in a restricted environment, object designation information, sound instruction information, color instruction information, and action instruction information
  • the feedback behavioral response information collected by the stimulus measuring unit 220 includes at least one of joint data, depth data, color data, sound data, and position data, and may be merged information of data output from a plurality of sensors, , may also include subjective judgment information of the moderator (information input by the moderator).
  • the subjective judgment information may be information including information that is difficult to provide as prepared measurement data.
  • the stimulus measuring unit 220 acquires human body data on the feedback behavioral response of the test subject to the conditional stimulus, and transfers the human body data on the acquired feedback behavioral response to the deep learning information processing server 300 . to provide (S730).
  • the deep learning information processing server 300 classifies the problem behavior among the feedback behavioral responses by using the deep neural network algorithm for the human body data for the feedback behavioral response (S740).
  • the process S740 includes an information collection step S741 , a behavior classification step S742 , and a feedback step S743 .
  • the information collecting step (S741) may be a step of collecting human body data on the feedback behavioral response of the test subject transmitted from the stimulus measuring unit 200 .
  • the behavior classification step (S742) uses a deep neural network algorithm to determine whether detailed behaviors in the feedback behavioral response are included in a defined behavior category consisting of detailed conditions in the conditional stimulus information, and then determines whether the behavior is defined or undecided (Anomaly). Detection) classifies the feedback behavioral response.
  • the behavior classification step ( S742 ) may further include classifying the detailed behaviors in the feedback behavioral response into normal behaviors and problem behaviors by comparing them with behaviors in a defined behavior category.
  • the undefined behavior of the feedback behavioral response is provided to an external terminal (expert terminal), and then the definition information of the feedback behavioral response that is the undefined behavior is fed back from the external terminal (expert terminal), It may be a step of additionally defining the definition information of the feedback behavioral response as a new problem behavior in the defined behavior category in the database.
  • computing device 1100 may be a personal computer, server computer, handheld or laptop device, mobile device (mobile phone, PDA, media player, etc.), multiprocessor system, consumer electronics, minicomputer, mainframe computer, distributed computing environments including any of the aforementioned systems or devices, and the like.
  • the computing device 1100 may include at least one processing unit 1110 and a memory 1120 .
  • the processing unit 1110 may include, for example, a central processing unit (CPU), a graphic processing unit (GPU), a microprocessor, an Application Specific Integrated Circuit (ASIC), Field Programmable Gate Arrays (FPGA), and the like. and may have a plurality of cores.
  • the memory 1120 may be a volatile memory (eg, RAM, etc.), a non-volatile memory (eg, ROM, flash memory, etc.), or a combination thereof.
  • computing device 1100 may include additional storage 1130 .
  • Storage 1130 includes, but is not limited to, magnetic storage, optical storage, and the like.
  • the storage 1130 may store computer readable instructions for implementing one or more embodiments disclosed herein, and other computer readable instructions for implementing an operating system, an application program, and the like. Computer readable instructions stored in storage 1130 may be loaded into memory 1120 for execution by processing unit 1110 . Computing device 1100 may also include input device(s) 1140 and output device(s) 1150 .
  • the input device(s) 1140 may include, for example, a keyboard, mouse, pen, voice input device, touch input device, infrared camera, video input device, or any other input device, or the like.
  • the output device(s) 1150 may include, for example, one or more displays, speakers, printers, or any other output device, or the like.
  • the computing device 1100 may use an input device or an output device included in another computing device as the input device(s) 1140 or the output device(s) 1150 .
  • Computing device 1100 may also include communication connection(s) 1160 that enable computing device 1100 to communicate with another device (eg, computing device 1300 ).
  • another device eg, computing device 1300
  • communication connection(s) 1160 may be a modem, network interface card (NIC), integrated network interface, radio frequency transmitter/receiver, infrared port, USB connection, or other for connecting computing device 1100 to another computing device. It may include interfaces. Also, the communication connection(s) 1160 may include a wired connection or a wireless connection. Each component of the above-described computing device 1100 may be connected by various interconnections such as a bus (eg, peripheral component interconnection (PCI), USB, firmware (IEEE 1394), optical bus structure, etc.) and may be interconnected by the network 1200 .
  • PCI peripheral component interconnection
  • IEEE 1394 firmware
  • optical bus structure etc.
  • a component can be, but is not limited to being, a process running on a processor, a processor, an object, an executable, a thread of execution, a program, and/or a computer.
  • an application running on a controller and a controller may be a component.
  • One or more components may reside within a process and/or thread of execution, and components may be localized on one computer or distributed between two or more computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 방법은 제한된 환경에서 데이터베이스에 기 정의된 조건부 자극정보에 대한 실험 대상자의 피드백 행동을 측정 및 분류하여 데이터베이스화하는 단계; 자극전달부에서 상기 조건부 자극을 대상자에게 제시하는 단계; 자극측정부에서 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응에 대한 데이터를 획득하는 단계; 및 상기 피드백 행동반응에 대한 인체 데이터를 심층신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 단계를 포함한다.

Description

심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법
본 발명은 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법에 관한 것이다.
최근 유비쿼터스 기술의 발전은 고속 네트워크, 고성능 컴퓨터 및 다양한 목적의 센서들을 가능하게 하였다. 이러한 고성능 장치들을 실생활에 접목하기 위해, 필요한 위치에 다양한 센서들을 위치시키고, 고속 네트워크를 통해 해당 정보를 전달받아 효과적으로 고성능 컴퓨터에서 분석하기 위한 다양한 기법들이 연구되었다. 이러한 목적으로 연구된 다양한 분유 중에서도 사람의 행동을 분석하여 이상 행동을 검출하기 위한 연구가 활발히 연구되고 있다.
본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법을 제공하는데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 방법은 제한된 환경에서 데이터베이스에 기 정의된 조건부 자극정보에 대한 실험 대상자의 피드백 행동을 측정 및 분류하여 데이터베이스화하는 단계; 자극전달부가 상기 조건부 자극을 대상자에게 제시하는단계; 자극측정부에서 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응에 대한 데이터를 획득하는 단계; 및 상기 피드백 행동반응에 대한 인체 데이터를 심층신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 단계를 포함한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 방법을 실행하는 시스템은 실험 대상자에게 조건부 자극정보를 제시하는 자극전달부; 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응정보를 측정 및 수집하는 자극측정부; 및 상기 자극전달부로 상기 조건부 자극정보를 제공하고, 상기 자극측정부에서 수집한 상기 피드백 행동반응정보를 제공받아, 심층신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 딥러닝 정보처리부를 포함한다.
본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 이상행동인지 분석 시스템 및 방법을 이용하면, 심층신경망 알고리즘을 기반으로 대량의 데이터를 학습하여 결과를 도출하기 때문에 문제행동의 객관적 분류가 가능하다는 이점이 있다.
또한, 콘텐츠 환경에서 다양한 문제행동 분류가 가능하다는 이점이 있다.
또한, 검출하고자 하는 문제행동을 수정함에 있어 학습을 통한 미분류된 문제행동의 새로운 정의를 용이하게 구축할 수 있다는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 시스템을 나타낸 블록도이다.
도 2 내지 도 4는 조건부 자극정보에 대한 실험 대상자의 피드백 행동정보의 일 예를 나타낸 예시도이다.
도 5는 도 1에 도시된 심층신경망 알고리즘의 동작 흐름도의 일 예시도이다.
도 6은 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동분류 방법을 설명한 흐름도이다.
도 7은 도 6에 도시된 S740 과정을 보다 구체화한 흐름도이다.
도 8은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.
이하, 본 명세서의 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents),및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는"A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 명세서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정 하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 명세서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법을 보다 상세하게 설명하도록 한다.
먼저, 본 발명은 ADHD(Attention Deficit Hyperactivity Disorder) 진단 등과 같이 이상행동장애를 갖는 대상자에게 활용하기 위한 발명으로, 상술한 ADHD(Attention Deficit Hyperactivity Disorder)는 미국정신의학협회에 의해 '발달적으로 부적절한 주의력과 비정상적인 활발함, 그리고 충동적인 성향이 심각하고 지속적이어서 아동의 일상생활에 상당한 영향을 끼지는 상태' 정의된다.
여기서, ADHD의 원인은 신경, 화학적 요인, 기타 해부학적, 유전적, 환경적 요인들이 상호 작용을 하는 복잡한 특성으로 야기되는 증상일 수 있다.
미국소아과학회는 ADHD에 대한 진단 기준을 일원화하기 위하여 소아과 의사들이 주의력 결핍, 과잉행동, 충동성과 학습부진 또는 행동문제로 의뢰된 아이들을 평가할 수 있는 진단지침을 만들었다.
ADHD의 진단기준에 맞는 행동들은 정신장애의 진단 및 통계편람 IV(DSM-IV)에 명시되어 있으며, ADHD 기준은 부주의 행동특성 9개와 과잉행동 및 충동성 특성 9가지로 구성된 총 18가지 행동 증상이 있다.
18가지 행동 중 뚜렷한 증상을 보이고, 각 유형에 있는 9가지 행동 중에서 적어도 6가지가 일치하는 아이들은 ADHD로 진단받는 경우가 많다.
이에 본 발명에서 설명하고자 하는 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법은 실험 대상자에게 조건부 자극정보를 제시하고, 이에 대한 실험 대상자의 피드백 반응정보를 데이터베이스에서 미리 정의된 범주 내에서 정상행동과 문제행동으로 분류하고, 정의되지 않는 범주에 해당하는 행동에 대하여 전문가의 조언을 통해 기존의 문제행동 범주 내에 새로운 행동정의를 포함시키고자 하는 발명이다.
여기서, 심층신경망 알고리즘 기반의 문제행동분류 시스템의 경우, 딥러닝 알고리즘인 심층신경망 알고리즘을 기반으로 피드백 반응정보에 대한 분류를 실시할 수 있다.
참고로, 딥러닝(deep learning), 심층학습은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야일 수 있다.
컴퓨터가 여러 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습 기술일 수 있다. 딥러닝은 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킬 수 있다. 딥러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지, 추론, 판단할 수 있게 될 수 있다. 음성·이미지 인식과 사진 분석 등에 광범위하게 활용될 수 있다.
기계학습은 기계가 방대한 샘플 데이터를 분석하고, 훈련 데이터를 반복하여, 규칙, 규정, 표현, 조건, 판단 기준 등을 스스로 추출한 후 데이터베이스에 축적해 학습할 수 있다. 인식 및 분석이 필요한 데이터가 입력된 경우, 기계는 축적된 데이터베이스를 근거로 데이터를 분석하고 식별하고 관계성을 생각하고 예측하며, 인간이 평소에 하는 '생각하는' 작업을 대체할 수 있다.
신경망은 기계학습의 한 종류로, 인간의 뇌를 모방한 기술 일 수 있다. 신경망은 사물의 '특징값'을 추출하여, 인간과 비슷한 방법으로 학습을 할 수 있다. 예를 들어, 인간은 인간의 뇌가 지금까지의 경험을 통해 개인지 고양이인지를 판단하기 위한 '특징'을 학습해서 가지고 있고, 그것을 기반으로 몇 개의 이미지를 보고 '개'와 '고양이'로 분류할 수 있다.
신경망에서는 대상을 식별하기 위해 인간이 제시한 규칙이 아니라 특징값을 산출할 수 있다. 특징값을 '개'라고 가르치면 개로 분류할 수 있다. 반복
하면 기계 스스로가 특징값을 산출해 개로 분류할 정보가 늘어날 수 있다. 컴퓨터가 다루는 특징값은 벡터 형태의 수치일 수 있다. 특징들은 훈련을 통해 기계가 자동으로 학습하기 때문에 개발자는 기존과 같이 세세한 규칙을 정의해야 하는 업무에서 해방될 수 있다. 이미지를 입력하면 그 일치할 경우 고양이라고 판단해 분류할 수 있다. 개를 판단하는 특징값을 인간이 만들어서 제공한 것이 아니라 기계가 학습을 통해 스스로 계산할 수 있다.
신경망은 입력층, 출력층, 및 중간층을 포함할 수 있다. 중간층은 은닉층이라 할 수 있다. 중간층이 있으면 처리를 담당하는 뉴런군의 층이 증가할 수 있다. 중간층에 다층 뉴런 층을 가지는 것을 심층신경망이라 할 수 있다. 심층신경망에서 이뤄지는 기계학습을 딥러닝이라 할 수 있다. 더 많은 데이터를 훈련시켜 처리하기 위해 중간층을 더욱 다층화시킬 수 있다. 중간층이 과다하게 다층화되면, 파라미터의 수가 너무 많아지고, 뉴런이 많고 복잡해져 아무 관계도 없던 결합이 늘어나 과적합(over-fitting)될 수 있다. 과적합으로 인해 성능이 저하될 수 있다. 합성곱 신경망(CNN: Convolution Neural Network)이 문제를 해결할 수 있다.
합성곱 신경망은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용할 수 있다. CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여줄 수 있다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들 보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
합성곱 신경망은 이미지의 일부 영역을 분석하고, 그 영역의 창을 미끄러지듯 옮겨 다음 영역, 그리고 다음 영역으로 반복해 나갈 수 있다. 파악한 이미지 영역의 정보를 모든 뉴런으로 전파하지 않고, 관계성이 높은 뉴런에만 전파할 수 있다. 이를 통해 과적합 문제를 해결할 수 있다.
시계열 데이터 분석에 높은 성능을 보이는 리커런트 신경망(RNN: Recurrent Neural Network)은 입력층, 중간층, 출력층을 포함할 수 있는데, 현재 중간층의 값이 다음 출력층의 계산에 영향을 줄 수 있다. 리커런트 신경망은 중간층의 노드가 방향을 가진 엣지로 연결돼 순환구조를 이루는(directed cycle) 인공신경망의 한 종류일 수 있다. 리커런트 신경망의 핵심은 노드간, 층간 최적 파라미터를 찾는 것일 수 있다. 리커런트 신경망을 양방향 리커런트 신경망으로 확장할수 있다. 양방향 리커런트 신경망은 순서 데이터를 모델링할 때, 현재 순서 데이터가 전 데이터뿐만 아니라 후 데이터에 영향을 받을 수 있다. 단방향 리커런트 신경망이 전 데이터와 현재 데이터만 참조하는 것과는 달리, 양방향 리커런트 신경망은 전 데이터와 후 데이터 그리고 현재 데이터를 모두 참조할 수 있다.
시계열 데이터는 시간의 경과와 함께 일정한 간격마다 관측 값이 기록되어 있는 데이터일 수 있다. 시계열 데이터 분석 기법은 금융, 군사, 제조 등 많은 분야에서 사용될 수 있다. 시계열 데이터를 정확하게 분석하는 것은 금융 예측, 제조 진단 등에 매우 중요할 수 있다. 예를 들어, 발전소의 대형 시스템에서 입력되는 신호를 정확하게 예측하면, 고장을 예측하고 정비주기를 정확하게 산정하여 사고의 위험을 줄일 뿐만 아니라, 정비의 비용을 현저하게 줄일 수 있다. 다중 시계열 데이터는 시간에 따라 변화하는 다수의 변수의 기록일 수 있다.
예를 들어 다중 시계열 데이터는 시간별 다수의 주식 가격, 시간별 다수의 환율의 변화를 포함할 수 있다. 시계열 데이터는 지속성이 있을 수 있다. 예를 들어, 사람들은 각 단어를 이전 단어들에 기반을 두어 이해할 수 있고, 이전 비디오 프레임들이 현재 프레임을 이해하는 데 영향을 미칠 수도 있다. 정적 데이터와 달리 시계열 데이터는 여러 특성이 있을 수 있다. 예를 들어, 시간의 경과에 따라 상대적으로 부드럽게 변화하는 시계열 데이터가 있을 수 있고, 급변하게 변하는(고주파) 시계열 데이터가 있을 수 있다. 또한, 특정 패턴을 반복하는 시계열 데이터가 있을 수 있다.
딥러닝 기술의 발전으로 인해 정적인 데이터의 분석뿐만 아니라, 시계열 데이터도 분석 및 예측할 수 있다. 시계열 데이터를 딥러닝을 통해 신뢰성 높은 분석 및 예측 결과를 얻으려면 많은 양의 학습 데이터가 필요하다는 제약이 있을 수 있다. 현실적으로 많은 데이터를 구하기가 어렵거나 시간이 오래 걸릴 수 있다. 각각의 시계열 데이터에 따라 적합한 딥러닝 알고리즘이 다를 수 있다는 것을 미리 설명한다.
도 1은 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 시스템을 나타낸 블록도이고, 도 2 내지 도 4는 조건부 자극정보에 대한 실험 대상자의 피드백 행동정보의 일 예를 나타낸 예시도이고, 도 5는 도 1에 도시된 심층신경망 알고리즘의 동작 흐름도의 일 예시도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 시스템(100)은 자극전달부(210), 자극측정부(220)
및 딥러닝 정보처리서버(300)를 포함할 수 있다. 여기서, 상기 자극전달부(210) 및
자극측정부(220)는 결합가능한 형태일 수 있다.
상기　자극전달부(210) 및 상기 자극측정부(220)는 제한된 환경 내에서 이동가능한 단말이거나 또는 관리자가 정해놓은 위치에 고정된 단말로서,　예컨대,　이동형 및 고정형　로봇이나　스마트　TV 및　프로젝터 등과 같이 화면을 표시할 수 있는 기기에 해당할 수 있다.
상기 자극전달부(210)는 딥러닝 정보처리서버(300)에서 제공된 조건부 자극정보를 수신한 후, 실험 대상자에게 조건부 자극정보를 제시하는 단말로서, 상기 자극전달부(210)는 실험 대상자에게 행위를 지시하거나, 물리적 행위를 통한 지시, 화면에서 컨텐츠 기반의 지시정보를 제공할 수 있다.
상기 자극측정부(220)는 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응정보를 기 설정된 시간동안 측정하여 기록 및 저장하는 단말일 수 있다.
여기서, 자극측정부(220)는 실험 대상자에게 제시된 조건부 자극정보별로 정반응/정반응전 오반응/오반응/오반응 전 정반응으로 실험 대상자의 피드백 반응정보를 수집 및 기록할 수 있다.
상술한 정반응/정반응전 오반응/오반응/오반응 전 정반응에 대한 예는 후술하도록 한다.
상기 자극측정부(220)은 로봇, 환경에 설치된 다양한 센서 및 진행자의 주관적 판단정보(진행자 입력정보)를 입력하기 위한 구성으로 조합될 수 있다. 여기서, 주관적 판단정보는 준비된 측정 데이터로 제공하기 어려운 정보들을 포함한 정보일 수 있다.
주관적 판단정보의 일 예로, 아이들의 표정정보나 눈치보기 등 기존 센서로 측정하기 어려운 정보들이 이에 해당한다.
상기 자극측정부(220)는 3차원 깊이 센서, 2차원 카메라, 초음파 센서, 적외선 센서, 레이저 스캐너, 마이크, 위치인식센서, 모션인식센서 중 적어도 하나 이상을 이용하여 실험 대상자의 피드백 행동반응정보인 인체데이터(키네틱 정보)를 수집하여 후술하는 딥러닝 정보처리서버(300)로 전송할 수 있다.
여기서, 상기 조건부 자극정보는 제한된 환경의 위치정보, 사물지칭정보, 소리지시정보, 색상지시정보 및 행동지시정보 중 적어도 하나 이상을 조합 또는 배열한 지시정보일 수 있다.
상기 조건부 자극정보의 일 예로, “길을 따라가다 화살표에서 멈추세요”, “오른손을 들고 앉아보세요”, “마녀가 보이면 앉으세요”, “가장 큰 숫자가 표시된 원안에 앉으세요”, “빨간색 깃발, 파란색 깃발, 노랑색 깃발을 차례로 뽑으세요” 등일 수 있다.
상기 자극측정부(220)는 조건부 자극정보에 대한 실험 대상자의 피드백 정보를 정반응/정반응전 오반응/오반응/오반응 전 정반응으로 분리하여 수집 및 기록한다.
예컨대, 조건부 자극정보가 “마녀가 보이면 앉고, 친구들이 보이면 손을 흔들어 보세요”라고 가정할 경우, 정반응/오반응 반응은 앉는 행동이 불명확한 자세이거나, 손을 흔들리 않는 행위 등일 수 있다.
정반응 전 오반응/오반응 전 오반응 반응은 실험 대상자가 피드백 반응을 수정하는 경우의 행동을 의미한다.
가령, 앉으려다가 손을 흔드는 행동, 손을 흔들려 하다가 앉는 행동을 의미한다.
한편, 상기 자극전달부(210) 및 상기 자극측정부(220)는 객체인식 알고리즘을 기초로 딥러닝 정보처리서버(300)에서 전송된 실험 대상자의 이미지 정보를 분석하여 이미지 정보에 매칭되는 실험 대상자로 이동할 수 있다.
또한, 상기 자극측정부(220)은 제한된 공간 내에서 수행하는 게임 진행 시간, 조건부 자극정보에 대한 반응시간, 제한된 공간 내에서 진행하는 게임 중 실험 대상자가 이동한 거리 등을 측정할 수 있다.
또한, 자극측정부(220)는 수집한 실험 대상자의 피드백 행동반응정보인 인체데이터를 시계열 또는 비시계열 방식으로 기록할 수 있다.
다음으로, 딥러닝 정보처리부(300)는 상기 자극전달부(210)로 상기 조건부 자극정보를 제공하고, 상기 자극측정부(220)에서 수집한 실험대상자의 피드백 행동반응정보를 제공받아, 심층신경망 알고리즘을 이용하여 상기 피드백 행동 반응 중 문제행동을 분류하는 기능을 수행한다.
상기 딥러닝 정보처리부(300)는 조건부 자극정보 제공부(310), 조건 분류부(320), 행동정보 분류부(330) 및 피드백 처리부(340)를 포함할 수 있다.
상기 조건부 자극정보 제공부(310)는 실험 대상자의 개인특성에 맞는 조건부 자극정보를 자극전달부(210)로 제공한다.
상기 조건 분류부(320)는 실험대상자의 피드백 반응정보 내의 행동정보를 조건부 반응정보 내의 조건들로 세부 분류한다. 세부 분류된 행동정보는 후술하는 행동정보 분류부(330)로 제공된다.
상기 행동정보 분류부(330)는 심층신경망 알고리즘을 이용하여 조건분류부(330)에서 세부 분류된 행동들의 시계열 또는 비시계열적 연관 및/연속관계를 판단한 후, 데이터베이스에 설정한 조건부 반응정보 내의 세부 조건들로 이루어진 정의된 행동범주 내에 포함되는 지를 판단한 후, 정의된 행동 및 미 정의된 행동(Anomaly Detection)으로 피드백 행동반응정보를 분류한다.
또한, 상기 행동정보 분류부(330)는 피드백 행동반응 내의 세부행동들을 정의된 행동범주 내의 행동들과 비교하여 정상행동 및 비정상행동으로 분류할 수 있다.
다음으로, 피드백 처리부(340)는 실험 대상자의 피드백 행동반응 중 미 정의된 행동으로 분류된 정보를 외부단말(전문가 단말)로 제공한 후, 외부 단말(전문가 단말)에서 상기 미정의된 행동인 피드백 행동반응의 정의정보를 피드백받아, 피드백 행동반응의 정의정보를 데이터베이스 내의 정의된 행동범주에 새로운 문제 행동으로 추가 정의하는 구성일 수 있다.
여기서, 미리 정의된 행동범주는 미리 정의된 정상행동범주와 미리 정의된 문제 행동 범주로 분류되며, 정상행동범주와 문제행동범주는 전문가들의 예상 가능한 행동들의 범주일 수 있다.
가령, 조건부 자극정보가 “①길을 ②따라가다 ③화살표에서 ④멈추세요” 라고 가정할 경우, 정상행동범주는 4가지 조건정보를 만족하는 행동이고, 문제행동범주는 4가지 조건정보 중 적어도 하나 이상이 예측가능한 다른 조건에 포함될 경우의 행동일 수 있다. 가령, 길을 빙빙돌다가 원에 멈추는 경우 등일 수 있다.
다른 예로, 조건부 자극정보가 “①마녀가 ②보이면 ③앉으세요”라고 가정할 경우, 정상행동범주는 3가지 조건정보를 만족하는 행동이고, 문제행동범주는 3가지 조건정보 중 적어도 하나 이상이 예측가능한 다른 조건에 포함될 경우의 행동일 수 있다. 가령, 마녀 보여 앉아야 하는데 손을 흔드는 경우 등이 이에 해당할 수 있다
또한, 조건부 자극정보가 “마녀가 보이면 앉고, 친구들이 보이면 손을 흔들어 보세요”라고 가정할 경우, 정반응/오반응 반응은 앉는 행동이 불명확한 자세이거나, 손을 흔들지 않는 행위 등일 수 있다.
정반응 전 오반응/오반응 전 오반응 반응은 실험 대상자가 피드백 반응을 수정하는 경우의 행동을 의미한다.
가령, 앉으려다가 손을 흔드는 행동, 손을 흔들려 하다가 앉는 행동을 의미한다.
다음으로, 미정의된 행동범주는 전문가들이 예측불가한 행동들의 범주로서, 가령, 조건부 자극정보가 “①길을 ②따라가다 ③화살표에서 ④멈추세요”라고 가정할 경우, 실험 대상자가 길 위에 주저 앉는다거나 또는 길에서 엎드려 있다거나 하는 경우들의 행동일 수 있다.
도 6은 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 방법을 설명한 흐름도이고, 도 7은 도 6에 도시된 S740 과정을 보다 구체화한 흐름도이다
도 6을 참조하면, 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 방법(S700)은 도 1에 도시된 심층신경망 알고리즘 기반의 문제 행동 분류 시스템을 통해 구현될 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른 심층신경망 알고리즘 기반의 문제 행동 분류 방법(S700)은 먼저, 제한된 환경에서 데이터베이스에 기정의된 조건부 자극정보에 대한 실험 대상자의 피드백 행동을 측정 및 분류하여 데이터베이스화(S710)한다.
여기서, 조건부 자극정보는 제한된 환경의 위치정보, 사물지칭정보, 소리지시정보, 색상지시정보 및 행동지시정보 중 적어도 하나 이상을 조합 또는 배열한 지시정보일 수 있다.
상기 조건부 자극정보의 일 예로, “길을 따라가다 화살표에서 멈추세요”, “오른손을 들고 앉아보세요”, “마녀가 보이면 앉으세요”, “가장 큰 숫자가 표시된 원안에 앉으세요”, “빨간색 깃발, 파란색 깃발, 노랑색 깃발을 차례로 뽑으세요” 등일 수 있다.
또한, 피드백 행동에 대한 측정 및 분류정보는 제시된 조건부 자극 정보를 통해 예측가능한 범주(정상범주) 내에 행동정보일 수 있다.
가령, 실험 대상자에게 “길을 따라가다 화살표에서 멈추세요” 라는 조건부 자극정보를 제시할 경우, 예측가능한 범주(정상범주) 내에 행동정보는 ①길을 따라가지 않는 행동, ②길을 따라가기만 하는 행동, ③길에 앉는 행동, ④길에서 엎드리는 행동, ⑤화살표를 빙빙도는 행동 등으로 분류될 수 있다.
여기서, 예측가능한 범주(정상범주)는 조건부 자극정보 내에 포함된 여러 개의 조건정보 중 적어도 하나 이상을 만족하는 행동이 포함된 행동영역일 수 있다.
이후, S710 과정이 완료되면, 자극전달부(210)는 딥러닝 정보처리부(300)에서 제공된 조건부 자극정보를 실험 대상자에게 전달 또는 제시(S720)한다.
참고로, 상기 자극전달부(210)는 조건부 자극정보(예컨대, 제한된 환경의 위치정보, 사물지칭정보, 소리지시정보, 색상지시정보 및 행동지시정보 중 적어도 하나 이상을 조합 또는 배열한 지시정보)를 출력할 수 있는 적어도 하나 이상의 디바이스를 구비할 수 있다.
자극측정부(220)에서 수집한 피드백 행동반응 정보는 관절 데이터, 깊이 데이터, 색상 데이터, 소리 데이터, 위치 데이터 중 하나 이상을 포함하고, 복수 개의 센서로부터 출력된 데이터들의 병합된 병합정보일 수 있고, 또한, 진행자의 주관적 판단정보(진행자 입력정보)를 포함할 수 있다. 여기서, 주관적 판단정보는 준비된 측정 데이터로 제공하기 어려운 정보들을 포함한 정보일 수 있다.
상기 S720 과정이 완료되면, 자극측정부(220)에서 조건부 자극에 대한 실험 대상자의 피드백 행동반응에 대한 인체데이터를 획득하고, 획득된 피드백 행동반응에 대한 인체데이터를 딥러닝 정보처리서버(300)로 제공(S730)한다.
딥러닝 정보처리서버(300)는 피드백 행동반응에 대한 인체 데이터를 심층신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류(S740)한다.
여기서, 도 7을 참조, 상기 S740 과정은 정보수집 단계(S741), 행동 분류 단계(S742) 및 피드백 단계(S743)를 포함한다.
상기 정보수집단계(S741)는 자극측정부(200)에서 전송된 실험 대상자의 피드백 행동반응에 대한 인체데이터를 수집하는 단계일 수 있다.
상기 행동분류단계(S742)는 심층신경망 알고리즘을 이용하여 피드백 행동반응 내의 세부행동들이 조건부 자극정보 내의 세부 조건들로 이루어진 정의된 행동범주 내에 포함되는 지를 판단한 후, 정의된 행동 및 미정된 행동(Anomaly Detection)으로 상기 피드백 행동반응을 분류한다.
또한, 상기 행동분류단계(S742)는 피드백 행동반응 내의 세부행동들을 정의된 행동범주 내의 행동들과 비교하여 정상행동 및 문제행동으로 분류하는 단계를 더 포함할 수 있다.
상기 피드백 단계(S743)는 피드백 행동반응 중 미정의된 행동을 외부단말(전문가 단말)로 제공한 후, 외부단말(전문가 단말)에서 상기 미정의된 행동인 피드백 행동반응의 정의정보를 피드백받아, 피드백 행동반응의 정의정보를 데이터베이스 내의 정의된 행동범주에 새로운 문제행동으로 추가 정의하는 단계일 수 있다.
도 8은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.
여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.
또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.
여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호 접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.
예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
100: 심층신경망 알고리즘 기반의 문제 행동 분류 시스템.
210: 자극전달부
220: 자극측정부
300: 딥러닝 정보처리부
310: 조건부 자극정보 제공부
320: 조건 분류부
330: 행동정보 분류부
340: 피드백 처리부

Claims (13)

  1. 제한된 환경에서 데이터베이스에 기 정의된 조건부 자극정보에 대한 실험 대상자의 피드백 행동을 측정 및 분류하여 데이터베이스화하는 단계;
    자극전달부에서 상기 조건부 자극을 대상자에게 제시하는 단계;
    자극측정부에서 상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응에 대한 데이터를 획득하는 단계; 및
    상기 피드백 행동반응에 대한 인체 데이터를 심층신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 단계를 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
  2. 제1항에 있어서,
    상기 문제행동의 정상 및 비정상 여부를 판단하는 단계를 더 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
  3. 제1항에 있어서,
    상기 문제행동을 분류하는 단계는
    정의된 범주를 벗어나는 행동에 대한 미정의 행동분류(Anomaly Detection)단계를 더 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
  4. 제3항에 있어서,
    상기 미정의 행동분류 중 기존의 분류체계에 속하지 않는 분류대상은 전문가의 피드백을 통해 새로운 문제행동으로 추가 정의하는 단계를 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
  5. 제1항에 있어서,
    상기 제한된 환경은 특정 규칙을 갖는 게임이나 훈련 형태로 제작된 컨텐츠로 운영되는 환경이고,
    상기 문제행동은 상기 제한된 환경에서 미리 정의된 정상행동에서 벗어나는 행동인 것을 특징으로 하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
  6. 상기 데이터는
    상기 자극측정부를 통한 관절 데이터, 깊이 데이터, 색상 데이터, 소리 데이터, 위치 데이터 및 진행자 입력정보 중 하나 이상을 포함하고, 복수 개의 센서로부터 출력된 데이터들의 병합된 형태를 포함하는 심층신경망 알고리즘 기반의 문제행동 분류 방법.
  7. 제1항에 있어서,
    상기 조건부 자극정보는
    제한된 환경의 위치정보, 사물지칭정보, 소리지시정보, 색상지시정보 및 행동지시정보 중 적어도 하나 이상을 배열한 지시정보인 것을 특징으로 하는 심층신경망 알고리즘 기반의 문제 행동 분류 방법.
  8. 심층신경망 알고리즘 기반의 문제 행동 분류 방법을 실행하는 시스템에 있어서,
    실험 대상자에게 조건부 자극정보를 제시하는 자극전달부;
    상기 조건부 자극에 대한 실험 대상자의 피드백 행동반응정보를 수집하는 자극측정부; 및
    상기 자극전달부로 상기 조건부 자극정보를 제공하고, 상기 자극측정부에서 수집한 상기 피드백 행동반응정보를 제공받아, 심층신경망 알고리즘을 이용하여 상기 피드백 행동반응 중 문제행동을 분류하는 딥러닝 정보처리부를 포함하는 심층신경망 알고리즘 기반의 문제 행동 분류 시스템.
  9. 제8항에 있어서,
    상기 자극측정부는
    3차원 깊이 센서, 2차원 카메라, 초음파 센서, 적외선 센서, 레이저 스캐너, 마이크, 위치인식센서, 모션인식센서 중 적어도 하나 이상을 이용하여 실험 대상자의 피드백 행동반응정보인 인체데이터를 수집하는 것을 특징으로 하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.
  10. 제8항에 있어서,
    상기 자극전달부 및 상기 자극측정부 중 적어도 하나는 상기 제한된 환경 내에서 이동가능하거나 또는 위치고정인 것을 특징으로 하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.
  11. 제8항에 있어서,
    상기 딥러닝 정보처리부는
    실험 대상자의 개인특성에 맞는 조건부 자극정보를 상기 자극전달부로 제공하는 조건부 자극정보 제공부;
    실험 대상자의 피드백 반응정보 내의 행동정보를 조건부 반응정보 내의 조건들로 세부 분류하는 조건 분류부; 및
    심층신경망 알고리즘을 이용하여 상기 조건 분류부에서 세부 분류된 행동들의 시계열 또는 비시계열적 연관 및/연속관계를 판단한 후, 데이터베이스에 설정한 조건부 자극정보 내의 세부 조건들로 이루어진 정의된 행동범주 내에 포함되는지를 판단하고, 정의된 행동 및 미 정의된 행동(Anomaly Detection)으로 피드백 행동반응정보를 분류하는 행동정보 분류부를 포함하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.
  12. 제11항에 있어서,
    상기 행동정보 분류부는
    피드백 행동반응 내의 세부행동들을 정의된 행동범주 내의 행동들과 비교하여 정상행동 및 문제행동으로 분류하는 것을 특징으로 하는 포함하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.
  13. 제11항에 있어서,
    실험 대상자의 피드백 행동반응 중 미 정의된 행동으로 분류된 정보를 외부단말로 제공한 후, 상기 외부단말에서 상기 미정의된 행동인 피드백 행동반응의 정의정보를 피드백받아, 피드백 행동반응의 정의정보를 데이터베이스 내의 정의된 행동범주에 새로운 문제 행동으로 추가 정의하는 피드백 처리부를 더 포함하는 심층신경망 알고리즘 기반의 문제 행동분류 시스템.
PCT/KR2020/013867 2019-12-31 2020-10-12 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법 WO2021137395A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20910993.3A EP4086811A4 (en) 2019-12-31 2020-10-12 PROBLEMATIC BEHAVIOR CLASSIFICATION SYSTEM AND METHOD BASED ON A DEEP NEURONAL NETWORK CALGORITHM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190179603A KR102297111B1 (ko) 2019-12-31 2019-12-31 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법
KR10-2019-0179603 2019-12-31

Publications (1)

Publication Number Publication Date
WO2021137395A1 true WO2021137395A1 (ko) 2021-07-08

Family

ID=76686848

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013867 WO2021137395A1 (ko) 2019-12-31 2020-10-12 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법

Country Status (3)

Country Link
EP (1) EP4086811A4 (ko)
KR (1) KR102297111B1 (ko)
WO (1) WO2021137395A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557799B1 (ko) 2021-07-14 2023-07-21 고려대학교 산학협력단 주의력 결핍 과잉 행동 장애 진단 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160083411A (ko) * 2014-12-31 2016-07-12 경운대학교 산학협력단 치매 예방 및 치료를 위한 인지향상 증강현실 시스템
KR20170059664A (ko) * 2015-11-23 2017-05-31 주식회사 이르테크 언어장애 자율 검사 시스템 및 방법
KR20170141490A (ko) * 2016-06-15 2017-12-26 (주)팜스포 발달장애 재활을 위한 운동치료시스템
KR20180041089A (ko) * 2015-03-12 2018-04-23 아킬리 인터랙티브 랩스 인크. 인지 능력 측정을 위한 프로세서 구현 시스템 및 방법
KR101897923B1 (ko) * 2017-09-20 2018-10-31 한국전력공사 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3335126A4 (en) * 2015-08-11 2019-05-01 Cognoa, Inc. METHODS AND APPARATUS FOR DETERMINING DEVELOPMENT EVOLUTION THROUGH ARTIFICIAL INTELLIGENCE AND USER INPUT

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160083411A (ko) * 2014-12-31 2016-07-12 경운대학교 산학협력단 치매 예방 및 치료를 위한 인지향상 증강현실 시스템
KR20180041089A (ko) * 2015-03-12 2018-04-23 아킬리 인터랙티브 랩스 인크. 인지 능력 측정을 위한 프로세서 구현 시스템 및 방법
KR20170059664A (ko) * 2015-11-23 2017-05-31 주식회사 이르테크 언어장애 자율 검사 시스템 및 방법
KR20170141490A (ko) * 2016-06-15 2017-12-26 (주)팜스포 발달장애 재활을 위한 운동치료시스템
KR101897923B1 (ko) * 2017-09-20 2018-10-31 한국전력공사 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4086811A4 *

Also Published As

Publication number Publication date
KR102297111B1 (ko) 2021-09-03
KR102297111B9 (ko) 2022-04-15
KR20210085978A (ko) 2021-07-08
EP4086811A1 (en) 2022-11-09
EP4086811A4 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
WO2019216504A1 (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
CN110188615B (zh) 一种人脸表情识别方法、装置、介质及系统
WO2023095989A1 (ko) 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
US11670421B2 (en) Method and system enabling digital biomarker data integration and analysis for clinical treatment impact
WO2021246700A1 (ko) 사용자 상태를 예측하기 위한 방법 및 그 장치
WO2023043215A1 (ko) 표준 운용 수준 평가 기반 산업 설비 운용 제어 장치 및 그 동작 방법
US11213015B2 (en) System and a method of lab animal observation
KR102494380B1 (ko) 기저귀 대변 이미지를 활용한 아기 건강 진단 솔루션 제공 방법, 장치 및 시스템
WO2021137395A1 (ko) 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법
WO2022181907A1 (ko) 대변 이미지 분석 기반 영양 정보 제공 방법, 장치 및 시스템
CN110192860B (zh) 一种面向网络信息认知的脑成像智能测试分析方法及系统
Rabbi et al. Autism spectrum disorder detection using transfer learning with VGG 19, inception V3 and DenseNet 201
Zhao et al. Two-channel lstm for severity rating of parkinson’s disease using 3d trajectory of hand motion
Goyal et al. Internet of things information analysis using fusion based learning with deep Neural Network
WO2022139170A1 (ko) 의료 영상 기반의 병변 분석 방법
CN112115870A (zh) 一种基于YOLOv3的考试作弊小抄识别方法
KR102465318B1 (ko) 웨어러블 센서를 이용한 일상 행동 패턴의 자동인식 및 분류하는 시스템 및 방법
WO2024106604A1 (ko) 인공지능 기반 행동 모니터링 방법, 프로그램 및 장치
CN118512173B (zh) 一种基于深度学习的儿童听力检测方法及系统
WO2023177172A1 (ko) 인공 신경망을 이용하여 피부 상태 또는 피부 유형을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
WO2024053996A1 (ko) 사마귀 또는 티눈 예측에 대한 정보 제공 방법 및 이를 이용한 장치
WO2023149653A1 (ko) 다중지표 기반 인공지능을 이용한 자폐증 진단 시스템
WO2023113347A1 (ko) 의료 영상을 분석하기 위한 방법
WO2023048470A2 (ko) 설명 가능한 인공지능에 기반한 의료 데이터의 해석 방법, 프로그램 및 장치
WO2024101723A1 (ko) 월경 관련 정보를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20910993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020910993

Country of ref document: EP

Effective date: 20220801