WO2026014789A1 - 영유아의 움직임 분석 장치 및 그 방법 - Google Patents

영유아의 움직임 분석 장치 및 그 방법

Info

Publication number
WO2026014789A1
WO2026014789A1 PCT/KR2025/009262 KR2025009262W WO2026014789A1 WO 2026014789 A1 WO2026014789 A1 WO 2026014789A1 KR 2025009262 W KR2025009262 W KR 2025009262W WO 2026014789 A1 WO2026014789 A1 WO 2026014789A1
Authority
WO
WIPO (PCT)
Prior art keywords
infant
movement
toddler
acceleration data
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/009262
Other languages
English (en)
French (fr)
Inventor
문영진
고은재
이승학
조영준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asan Foundation
University of Ulsan Foundation for Industry Cooperation
Original Assignee
Asan Foundation
University of Ulsan Foundation for Industry Cooperation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asan Foundation, University of Ulsan Foundation for Industry Cooperation filed Critical Asan Foundation
Publication of WO2026014789A1 publication Critical patent/WO2026014789A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6828—Leg
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/04—Babies, e.g. for SIDS detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Definitions

  • the present disclosure relates to a device and method for analyzing the movements of infants and toddlers.
  • the purpose of the embodiments disclosed in this disclosure is to provide a device and method capable of analyzing the movements of infants and toddlers.
  • An electronic device for analyzing the movement of infants and toddlers for solving the above-described technical problem includes a memory storing a process for analyzing the movement of infants and toddlers; and a processor executing the process, wherein the processor determines whether a movement occurs for a plurality of body parts of the infant and toddler based on acceleration data measured from sensors respectively attached to the plurality of body parts of the infant and toddler, and determines whether the movement of the infant and toddler is normal based on the acceleration data measured for the plurality of body parts where the movement occurs based on the determined result.
  • the processor can detect a motion area from the acceleration data based on a preset threshold value to determine whether the motion has occurred, and can determine whether the motion of the infant or toddler is normal based on the acceleration data of the detected motion area.
  • the processor can output a diagnosis result on whether the movement of the infant or toddler is normal based on the type of abnormal movement, the time point and frequency of occurrence of the abnormal movement among the movements of the infant or toddler determined based on acceleration data of the detected movement area.
  • the processor determines whether the movement of the infant or toddler is normal based on the acceleration data using a pre-learned artificial intelligence model, and the artificial intelligence model may be learned based on learning data including a general movement assessment (GMA) for a plurality of infants or toddlers, brain imaging findings for the plurality of infants or toddlers, neurological examination findings, and occurrence of a neurological disease for the plurality of infants or toddlers.
  • GMA general movement assessment
  • the above artificial intelligence model can be used to predict the neurodevelopmental prognosis of the infant or toddler.
  • the electronic device further includes a camera that photographs the infant or toddler, and the processor can check whether the recognition result of the infant or toddler's movement in the photographed image of the camera and the measured acceleration data match at preset intervals.
  • the processor can classify acceleration data determined to be CS (Cramped-Synchronized) among acceleration data measured for the plurality of body parts, and derive a CS ratio among the measured acceleration data based on the classification result.
  • CS Carped-Synchronized
  • a method for analyzing the movement of an infant or toddler performed by a processor of an electronic device for solving the above-described technical problem includes a step of determining whether a movement has occurred in each body part of the infant or toddler based on acceleration data measured from sensors attached to each of the plurality of body parts of the infant or toddler; and a step of determining whether the movement of the infant or toddler is normal based on the acceleration data measured for the plurality of body parts where the movement has occurred according to the determination result.
  • the normality determination step includes a step of detecting a motion area from the acceleration data based on a preset threshold value to determine whether the motion has occurred; and a step of determining whether the motion of the infant or toddler is normal based on the acceleration data of the detected motion area.
  • the above normality determination step may further include a step of outputting a diagnosis result on whether the movement of the infant or toddler is normal based on the type of abnormal movement, the time point and frequency of occurrence of the abnormal movement among the movements of the infant or toddler determined based on the acceleration data of the detected movement area.
  • the above normality judgment step uses a pre-learned artificial intelligence model to judge whether the movement of the infant or toddler is normal based on the acceleration data, and the artificial intelligence model may be learned based on learning data including a general movement assessment (GMA) for a plurality of infants or toddlers, brain imaging findings for the plurality of infants or toddlers, neurological examination findings, and occurrence of a neurological disease for the plurality of infants or toddlers.
  • GMA general movement assessment
  • the method for analyzing infant/toddler movement according to the present disclosure can predict the neurodevelopmental prognosis of the infant/toddler using the artificial intelligence model.
  • the method for analyzing movements of infants and toddlers may further include a step of photographing the infant and toddler through a camera and a step of checking whether the recognition result of the movement of the infant and toddler in the captured image of the camera and the measured acceleration data match at preset intervals.
  • the infant/toddler movement analysis method may further include a step of classifying acceleration data determined to be CS (Cramped-Synchronized) among acceleration data measured for the plurality of body parts, and a step of deriving a CS ratio among the measured acceleration data based on the classification result.
  • CS Carped-Synchronized
  • a computer program stored in a computer-readable recording medium for executing a method for implementing the present disclosure may be further provided.
  • a computer-readable recording medium recording a computer program for executing a method for implementing the present disclosure may be further provided.
  • FIG. 1 is a schematic diagram of a movement analysis system for infants and toddlers according to an embodiment of the present disclosure.
  • Figure 2 is a drawing illustrating sensors attached to each body part of the infant or toddler in Figure 1.
  • Figure 3 is a block diagram of a device for analyzing movement of infants and toddlers according to an embodiment of the present disclosure.
  • Figure 4 is a flowchart of a method for analyzing the movement of infants and toddlers according to an embodiment of the present disclosure.
  • Figure 5 is a diagram illustrating a process in which a processor analyzes and classifies acceleration data.
  • Figure 6 is a diagram illustrating a process in which a processor analyzes acceleration data of raw data.
  • Fig. 7 is a diagram illustrating detection of a motion area from acceleration data in Fig. 6.
  • Figure 8 is a diagram illustrating the application of a composite filter to determine similarity in Figure 6.
  • Figure 9 is a diagram illustrating the use of the Euclidean distance method to determine similarity in Figure 6.
  • Figure 10 is a diagram illustrating the use of a dynamic time joining technique for similarity determination in Figure 6.
  • Figure 10 is a drawing illustrating a synchronization area in each operation area of Figure 6.
  • Figure 11 is a diagram illustrating detection of ternary data.
  • first, second, etc. are used to distinguish one component from another, and the components are not limited by the aforementioned terms.
  • the identification codes for each step are used for convenience of explanation and do not describe the order of each step. Each step may be performed in a different order than specified unless the context clearly indicates a specific order.
  • an electronic device encompasses a variety of devices capable of performing computational processing and providing results to a user.
  • an electronic device may include a computer, a server device, and a portable terminal, or may be any one of them.
  • the computer may include, for example, a notebook, desktop, laptop, tablet PC, slate PC, etc. equipped with a web browser.
  • the above server device is a server that processes information by communicating with an external device, and may include an application server, a computing server, a database server, a file server, a game server, a mail server, a proxy server, and a web server.
  • the above portable terminal may include, for example, all kinds of handheld-based wireless communication devices such as PCS, GSM, PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminals, smart phones, etc., as well as wearable devices such as watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted devices (HMD).
  • handheld-based wireless communication devices such as PCS, GSM, PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminals, smart phones, etc., as well as wearable devices such as watches, rings
  • the artificial intelligence-related functions are operated through a processor and a storage unit.
  • the processor may be composed of one or more processors.
  • one or more processors may be a general-purpose processor such as a CPU, an AP, a Digital Signal Processor (DSP), a graphics-only processor such as a GPU or a Vision Processing Unit (VPU), or an artificial intelligence-only processor such as an NPU.
  • DSP Digital Signal Processor
  • GPU Graphics
  • VPU Vision Processing Unit
  • an artificial intelligence-only processor such as an NPU.
  • One or more processors control the processing of input data according to predefined operation rules or artificial intelligence models stored in the storage unit.
  • the artificial intelligence-only processor may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • the predefined operation rules or artificial intelligence models are characterized by being created through learning.
  • being created through learning means that the basic artificial intelligence model is learned by a learning algorithm using a plurality of learning data, thereby creating the predefined operation rules or artificial intelligence models set to perform a desired characteristic (or purpose).
  • This learning may be performed on the device itself on which the artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • An artificial intelligence model may be composed of multiple neural network layers.
  • Each of the multiple neural network layers has multiple weights, and performs neural network operations through operations between the operation results of the previous layer and the multiple weights.
  • the multiple weights of the multiple neural network layers may be optimized based on the learning results of the artificial intelligence model. For example, the multiple weights may be updated so that the loss value or cost value obtained from the artificial intelligence model is reduced or minimized during the learning process.
  • the artificial neural network may include a deep neural network (DNN), and examples thereof include, but are not limited to, a convolutional neural network (CNN), a deep neural network (DNN), a recurrent neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or a deep Q-network.
  • DNN deep neural network
  • a processor can implement artificial intelligence.
  • Artificial intelligence refers to a machine learning method based on an artificial neural network that mimics human neurons (biological neurons) to enable machines to learn.
  • Artificial intelligence methodologies can be categorized into supervised learning, where input and output data are provided together as training data, thereby determining the solution (output data) to a problem (input data); unsupervised learning, where only input data is provided without output data, so that the solution (output data) to a problem (input data) is not determined; and reinforcement learning, where a reward is provided from an external environment each time an action is taken in the current state, and learning proceeds in a direction that maximizes this reward.
  • artificial intelligence methodologies can be categorized by the architecture of the learning model.
  • the architectures of widely used deep learning technologies can be categorized into convolutional neural networks, recurrent neural networks, transformers, and generative adversarial networks.
  • the device may include an artificial intelligence model.
  • the artificial intelligence model may be a single artificial intelligence model or may be implemented as multiple artificial intelligence models.
  • the artificial intelligence model may be composed of a neural network (or artificial neural network) and may include statistical learning algorithms that mimic biological neurons in machine learning and cognitive science.
  • a neural network may refer to a model in general that has problem-solving capabilities by changing the binding strength of synapses through learning, formed by artificial neurons (nodes) that form a network by combining synapses.
  • the neurons of the neural network may include a combination of weights or biases.
  • the neural network may include one or more layers composed of one or more neurons or nodes.
  • the device may include an input layer, a hidden layer, and an output layer. The neural network constituting the device can infer a desired outcome from an arbitrary input by changing the weights of the neurons through learning.
  • the processor can create a neural network, train (or learn) a neural network, perform a calculation based on received input data, generate an information signal based on the calculation result, or retrain the neural network.
  • the models of the neural network can include various types of models such as CNN, R-CNN, RPN, RNN, S-DNN, S-SDNN, Deconvolution Network, DBN, RBM, Fully Convolutional Network, LSTM Network, Classification Network, etc., such as GoogleNet, AlexNet, VGG Network, etc., but are not limited thereto.
  • the processor can include one or more processors for performing calculations according to the models of the neural network.
  • the neural network can include a deep neural network.
  • Neural networks include CNN, RNN, perceptron, multilayer perceptron, Feed Forward (FF), Radial Basis Network (RBF), Deep Feed Forward (DFF), Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU), Auto Encoder (AE), Variational Auto Encoder (VAE), Denoising Auto Encoder (DAE), Sparse Auto Encoder (SAE), MC (Markov Chain), HN (Hopfield Network), BM (Boltzmann Machine), RBM (Restricted Boltzmann Machine), DBN (Depp Belief Network), DCN (Deep Convolutional Network), DN (Deconvolutional Network), DCIGN (Deep Convolutional Inverse Graphics Network), GAN (Generative Adversarial Network), LSM (Liquid State Machine), ELM (Extreme Learning) Machine), ESN (Echo State Network), DRN (Deep Residual Network), DNC (Differentiable Network) It will be understood by
  • the processor may be configured to perform a process for generating a CNN (Convolution Neural Network) such as GoogleNet, AlexNet, VGG Network, Region with Convolution Neural Network (R-CNN), Region Proposal Network (RPN), Recurrent Neural Network (RNN), Stacking-based deep Neural Network (S-DNN), State-Space Dynamic Neural Network (S-SDNN), Deconvolution Network, Deep Belief Network (DBN), Restrcted Boltzman Machine (RBM), Fully Convolutional Network, Long Short-Term Memory (LSTM) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, BERT, SP-BERT, MRC/QA for natural language processing, Text Analysis, Dialog System, GPT-3, GPT-4, Visual Analytics for vision processing, Visual Understanding, Video Synthesis, ResNet for data intelligence, Anomaly Detection, Prediction, Time-Series Forecasting, Various artificial intelligence
  • CNN Convolution Neural Network
  • FIG. 1 is a schematic diagram of a movement analysis system for infants and toddlers according to an embodiment of the present disclosure.
  • Figure 2 is a drawing illustrating sensors attached to each body part of the infant or toddler in Figure 1.
  • system (10) may include fewer or more components than those illustrated in FIG. 1.
  • the infant movement analysis system (10) can receive acceleration data (30) measured from sensors attached to each body part of an infant (20) by an electronic device (100), analyze the data, and output diagnostic data (40) including the result of determining whether the movement of the infant (20) is normal.
  • the sensor unit (140) can include a sensor (141) attached to the left arm, a sensor (142) attached to the right arm, a sensor (143) attached to the left leg, a sensor (144) attached to the right leg, a sensor (145) attached to the head, and a sensor (146) attached to the torso.
  • each body part may have multiple sensors attached to improve measurement accuracy.
  • the electronic device (100) may further include a photographing unit (160) including at least one camera for photographing an infant or toddler, and the processor (110) of the electronic device (100) may compare an image captured through the camera with acceleration data measured and received from a sensor.
  • a photographing unit (160) including at least one camera for photographing an infant or toddler
  • the processor (110) of the electronic device (100) may compare an image captured through the camera with acceleration data measured and received from a sensor.
  • the processor (110) of the electronic device (100) can check whether the recognition result of the movement of the infant or toddler in the captured image of the camera matches the acceleration data measured through the sensor unit (140) at preset intervals.
  • Figure 3 is a block diagram of a device for analyzing movement of infants and toddlers according to an embodiment of the present disclosure.
  • the infant/toddler movement analysis device includes a processor (110), a communication unit (120), a memory (130), a sensor unit (140), a detection unit (150), a photographing unit (160), and an output unit (170).
  • the electronic device (100) may include fewer or more components than those illustrated in FIG. 3.
  • the processor (110) may be implemented as a storage unit that stores data regarding an algorithm for controlling the operation of components within the device or a program that reproduces the algorithm, and at least one processor (110) that performs the aforementioned operation using the data stored in the storage unit.
  • the storage unit and the processor (110) may each be implemented as separate chips.
  • the storage unit and the processor (110) may be implemented as a single chip.
  • processor (110) can control any one or a combination of the components described above to implement various embodiments according to the present disclosure described in the drawings below on the device.
  • the processor (110) can typically control the overall operation of the device.
  • the processor (110) can process signals, data, information, etc. input or output through the components described above, or run application programs stored in the storage unit, thereby providing or processing appropriate information or functions to the user.
  • the processor (110) may control at least some of the components of the device to run an application program stored in the storage unit. Furthermore, the processor (110) may operate at least two or more of the components included in the device in combination to run the application program.
  • the processor (110) may be implemented as one or more. Hereinafter, even if the processor (110) is expressed as singular, it may be considered as plural.
  • the processor (110) may control the configurations of the electronic device (100).
  • the processor (110) may refer to a data processing device built into hardware that has a physically structured circuit to perform a function expressed by a code or command included in a program.
  • the processor (110) is an example of a data processing device built into hardware, and may encompass processing devices such as a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC), and a field programmable gate array (FPGA), but the scope of the present invention is not limited thereto.
  • the processor (110) may separately include a learning processor (110) for performing artificial intelligence operations, or may include a learning processor (110) on its own.
  • the processor (110) may include one or more of a central processing unit (CPU), an application processor (AP), or a communication processor (CP). At least a portion of the processor (110) may be hardware, access memory (130), and perform functions related to instructions stored in the memory (130).
  • CPU central processing unit
  • AP application processor
  • CP communication processor
  • At least a portion of the processor (110) may be hardware, access memory (130), and perform functions related to instructions stored in the memory (130).
  • the communication unit (120) may include one or more modules that connect the electronic device (100) to one or more networks.
  • the communication unit (120) may include one or more components that enable communication with an external device, and may include, for example, at least one of a broadcast reception module, a wired communication module, a wireless communication module, a short-range communication module, and a location information module.
  • the wired communication module may include various wired communication modules such as a Local Area Network (LAN) module, a Wide Area Network (WAN) module, or a Value Added Network (VAN) module, as well as various cable communication modules such as a Universal Serial Bus (USB), a High Definition Multimedia Interface (HDMI), a Digital Visual Interface (DVI), RS-232 (recommended standard 232), power line communication, or plain old telephone service (POTS).
  • LAN Local Area Network
  • WAN Wide Area Network
  • VAN Value Added Network
  • USB Universal Serial Bus
  • HDMI High Definition Multimedia Interface
  • DVI Digital Visual Interface
  • RS-232 recommended standard 232
  • POTS plain old telephone service
  • the wireless communication module may include a wireless communication module that supports various wireless communication methods such as GSM (global System for Mobile Communication), CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), UMTS (universal mobile telecommunications system), TDMA (Time Division Multiple Access), LTE (Long Term Evolution), 4G, 5G, and 6G, in addition to a WiFi module and a Wireless Broadband module.
  • GSM Global System for Mobile Communication
  • CDMA Code Division Multiple Access
  • WCDMA Wideband Code Division Multiple Access
  • UMTS universalal mobile telecommunications system
  • TDMA Time Division Multiple Access
  • LTE Long Term Evolution
  • 4G Long Term Evolution
  • 5G Fifth Generation
  • 6G Wireless Broadband
  • the wireless communication module may include a wireless communication interface including an antenna and a transmitter for transmitting communication signals. Furthermore, the wireless communication module may further include a signal conversion module that modulates a digital control signal output from the processor (110) through the wireless communication interface into an analog wireless signal under the control of the processor (110).
  • the short-range communication module is for short-range communication, and can support short-range communication using at least one of Bluetooth (Bluetooth TM ), RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra-Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies.
  • Bluetooth Bluetooth
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra-Wideband
  • ZigBee Low Field Communication
  • Wi-Fi Wireless-Fidelity
  • Wi-Fi Direct Wireless USB (Wireless Universal Serial Bus) technologies.
  • the communication unit (120) may also use the name of the communication interface.
  • the communication interface can establish communication between the electronic device (100) and an external device.
  • the communication interface can communicate with the external device via wireless communication (e.g., Wi-Fi (Wireless Fidelity), Bluetooth, NFC (Near Field Communication), MST (Magnetic Stripe Transmission), etc.) or wired communication.
  • wireless communication e.g., Wi-Fi (Wireless Fidelity), Bluetooth, NFC (Near Field Communication), MST (Magnetic Stripe Transmission), etc.
  • Wi-Fi Wireless Fidelity
  • Bluetooth Wireless Fidelity
  • NFC Near Field Communication
  • MST Magnetic Stripe Transmission
  • the memory (130) can store data supporting various functions of the device.
  • the memory (130) can store a plurality of application programs (or applications) running on the device, data for the operation of the device, and commands. At least some of these application programs may exist for the basic functions of the device. Meanwhile, the application programs can be stored in the memory (130), installed on the device, and driven to perform operations (or functions) by the processor (110).
  • the memory (130) can store data supporting various functions of the device and programs for the operation of the processor (110), input/output data (e.g., music files, still images, moving images, etc.) can be stored, and a plurality of application programs (or applications) run on the device, data for the operation of the device, and commands can be stored. At least some of these application programs can be downloaded from an external server via wireless communication.
  • input/output data e.g., music files, still images, moving images, etc.
  • application programs or applications
  • At least some of these application programs can be downloaded from an external server via wireless communication.
  • the memory (130) may include at least one type of storage medium among a flash memory (130) type, a hard disk type, an SSD (Solid State Disk type), an SDD (Silicon Disk Drive) type, a multimedia card micro type, a card type memory (e.g., SD or XD memory, etc.), a random access memory (RAM), a static random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and an optical disk.
  • the memory (130) may be a database that is separate from the device but is connected by wire or wirelessly.
  • the memory (130) may be electrically connected to the processor (110) and may store at least one code executed by the processor (110).
  • the memory (130) may collectively refer to various types of storage devices.
  • the memory (130) may store information necessary for performing operations using artificial intelligence, machine learning, and artificial neural networks.
  • the memory (130) can store various learning models.
  • the learning models stored in the memory (130) can infer result values for new input data other than learning data, and the inferred values can be used as a basis for judgment to perform a certain action.
  • the learning models stored in the memory (130) can perform learning based on label information, and various backpropagation algorithms can be applied so that the loss function has a target value to increase the accuracy of learning.
  • the memory (130) may have multiple processes for the electronic device (100).
  • the sensor unit (140) may include at least one sensor attached to each body part of an infant or toddler as described with reference to FIG. 2, and may transmit measured acceleration data to the communication unit (120) of the electronic device (100) via a wired/wireless communication method.
  • the sensor unit (140) senses at least one of the internal information of the device, the surrounding environmental information surrounding the device, and the user information, and generates a sensing signal corresponding thereto. Based on this sensing signal, the processor (110) can control the operation or behavior of the device, or perform data processing, functions, or operations related to an application program installed in the device.
  • the sensor unit (140) may include at least one of a proximity sensor, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, a G-sensor, a gyroscope sensor, a motion sensor, an RGB sensor, an infrared sensor (IR sensor), a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor (e.g., a camera), a microphone, an environmental sensor (e.g., at least one of a barometer, a hygrometer, a thermometer, a radiation detection sensor, a heat detection sensor, and a gas detection sensor), and a chemical sensor (e.g., a healthcare sensor, a biometric recognition sensor, etc.). Meanwhile, the present device may utilize information sensed by at least two or more of these sensors in combination.
  • a proximity sensor e.g., an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, a G-sensor, a gyroscope sensor, a motion sensor, an RGB sensor, an in
  • the detection unit (150) can detect a motion area where the infant or toddler is judged to have actually moved from the acceleration data measured and received through the sensor unit (140).
  • the memory (130) can store threshold values and algorithms for detecting the motion area.
  • the camera unit (160) may include at least one camera for photographing infants and toddlers, and may transmit the photographed image to the communication unit (120) of the electronic device (100).
  • the camera processes image frames, such as still images or video, obtained by the image sensor in shooting mode.
  • image frames such as still images or video
  • the processed image frames can be displayed or stored in a storage device.
  • the camera can capture still images and videos. For example, when the electronic device (100) is mounted on the HMD device, the camera can capture images of at least the front area of the HMD device.
  • the camera can be activated after a specified time has elapsed since the electronic device (100) is mounted on the HMD device and the HMD device starts operating. In various embodiments, the camera can be activated from the time the electronic device (100) is mounted on the HMD device. Alternatively, the camera can be activated from the time the user puts on the HMD device.
  • the camera may include, for example, at least one depth camera (e.g., a Time Of Flight (TOF) type or a structured light type) and a color camera (e.g., an RGB camera).
  • the camera may further include at least one sensor (e.g., a proximity sensor), a light source (e.g., an LED array), etc., in relation to performing a function.
  • the at least one sensor may be configured as a separate module from the camera and may perform sensing of at least a front area of the HMD device.
  • the sensor e.g., a proximity sensor
  • the sensor module may perform sensing of an object by emitting infrared light (or transmitting ultrasonic waves) to the front area of the HMD device and receiving infrared light (or receiving ultrasonic waves) reflected from an object.
  • the camera may be activated from the time when at least one object is sensed by the sensor module.
  • the output unit (170) is for generating output related to visual, auditory, or tactile sensations, and may include at least one of a display unit, an audio output unit (170), a haptic module, and an optical output unit (170).
  • the display unit may be formed as a layer structure with a touch sensor or formed as an integral part, thereby implementing a touch screen. This touch screen may function as a user input unit that provides an input interface between the device and a user, and at the same time, provide an output interface between the device and the user.
  • the processor (110) can output the judgment result and diagnosis result regarding the infant's movement through the output unit (170).
  • the output unit (170) does not necessarily have to be included in the configuration of the electronic device (100), and the electronic device (100) may transmit and provide the judgment result or diagnosis result determined based on the movement of the infant or toddler to the terminal of the guardian of the infant or toddler, or to a medical staff device.
  • the electronic device (100) may further include components such as an input unit and an interface unit as follows.
  • the input unit is for inputting video information (or signal), audio information (or signal), data, or information input from a user, and may include at least one camera, at least one microphone, and at least one user input unit. Voice data or image data collected from the input unit may be analyzed and processed into a user control command.
  • the input unit is for receiving information from the user, and when information is input through the input unit, the processor (110) can control the operation of the device to correspond to the input information.
  • the input unit may include a hardware physical key (e.g., a button located on at least one of the front, rear, and side of the device, a dome switch, a jog wheel, a jog switch, etc.) and a software touch key.
  • the touch key may be a virtual key, a soft key, or a visual key displayed on a touch screen type display unit through software processing, or may be a touch key disposed on a part other than the touch screen.
  • the virtual key or visual key may have various forms and be displayed on the touch screen, and may be, for example, formed of a graphic, text, an icon, a video, or a combination thereof.
  • the interface unit serves as a passageway for various types of external devices connected to the device.
  • the interface unit may include at least one of a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, a port for connecting a device equipped with an identification module (SIM), an audio I/O (Input/Output) port, a video I/O (Input/Output) port, and an earphone port.
  • SIM identification module
  • the device may perform appropriate control related to the external device connected to the interface unit.
  • the input/output interface may serve as an interface that can transmit commands or data input from a user or other external device to other components of the electronic device (100).
  • the input/output interface may output commands or data received from other components of the electronic device (100) to the user or other external device.
  • Figure 4 is a flowchart of a method for analyzing the movement of infants and toddlers according to an embodiment of the present disclosure.
  • FIGS. 5 to 11 are various exemplary drawings for explaining a device, method, and program for analyzing movement of infants and toddlers according to an embodiment of the present disclosure.
  • FIGS. 4 to 11 a device, method, and program for analyzing movement of infants and toddlers according to an embodiment of the present disclosure will be described.
  • the processor (110) receives acceleration data measured from the sensor unit (140). (S410)
  • the sensor unit (140) includes at least one sensor attached to each of a plurality of body parts of the infant or toddler.
  • the multiple body parts include a left arm, a right arm, a left leg, and a right leg.
  • At least one sensor is attached to each of the left arm, right arm, left leg, and right leg of the infant or toddler, and acceleration data measured from each sensor can be transmitted to the electronic device (100) through the communication unit (120).
  • the processor (110) determines whether movement occurs in each body part of the infant or toddler based on the acceleration data received from S410. (S420)
  • the processor (110) checks whether a motion area is detected from the acceleration data. (S430)
  • the processor (110) can determine whether motion occurs in each body part based on acceleration data measured from sensors attached to each of multiple body parts of the infant or toddler.
  • the processor (110) can detect a motion area from acceleration data based on a preset threshold value to determine whether motion has occurred.
  • the preset threshold may be set differently depending on the information of the infant or toddler.
  • the processor (110) determines whether the infant's movements are normal based on acceleration data in the movement area. (S440)
  • the processor (110) can determine whether the infant's movement is normal based on the acceleration data measured for multiple body parts where the movement is determined to have occurred according to the judgment result of S430.
  • the processor (110) can determine whether the infant's movement is normal or abnormal based on acceleration data corresponding to the movement area.
  • the processor (110) can determine whether the infant's movement is normal based on the acceleration data measured for two body parts where the movement is determined to have occurred.
  • the processor (110) can determine whether the infant's movements are normal based on acceleration data measured for two body parts among the infant's left arm, right arm, left leg, and right leg.
  • the processor (110) outputs the diagnosis results for the infant's movements. (S450)
  • the processor (110) can determine the form of abnormal movement, the time and frequency at which the abnormal movement occurs, and the infant's movement based on acceleration data of the detected movement area, and output a diagnosis result for the infant's movement based on the determined form of abnormal movement, the time and frequency at which the abnormal movement occurs.
  • the electronic device (100) can diagnose infants and toddlers using artificial intelligence.
  • the artificial intelligence model is characterized in that it is learned based on learning data including at least one of a general movement assessment (GMA) for a plurality of infants and toddlers, brain imaging (e.g., ultrasound, MRI) findings and neurological examination findings for the plurality of infants and toddlers, and whether or not the plurality of infants and toddlers have a neurological disease.
  • GMA general movement assessment
  • brain imaging e.g., ultrasound, MRI
  • the artificial intelligence model can analyze the received images of the plurality of infants and toddlers along with the General Movement Assessment (GMA) to calculate the acceleration of each body part according to the movement pattern in the images of the plurality of infants and toddlers, and learn the General Movement Assessment and the calculated acceleration data.
  • the processor (110) can measure the acceleration of each body part based on the three-dimensional position coordinates and frame rates of each body part of the plurality of infants and toddlers from the plurality of image frames in which the plurality of infants and toddlers were captured.
  • the processor (110) can input the acceleration data of the infant or toddler into the artificial intelligence model learned in this way and obtain the possibility of the infant or toddler developing a neurological disease.
  • the processor (110) can input acceleration data of the infant or toddler into the artificial intelligence model learned in this manner and obtain a predicted value for the neurodevelopmental prognosis of the infant or toddler as an output value.
  • the processor (110) can input acceleration data of the infant or toddler into the artificial intelligence model learned in this manner and obtain the probability of the infant or toddler developing each of a plurality of neurological diseases as an output value.
  • Figure 5 is a diagram illustrating a process in which a processor (110) analyzes and classifies acceleration data.
  • the processor (110) performs a process (510) of analyzing acceleration data determined to be a motion area from acceleration data measured and received through the sensor unit (140), and classifies acceleration data determined to be an abnormal motion.
  • the processor (110) can input the classified acceleration data into the first classifier (520) and classify it into three types: PR (Poor Repertoire), CS (Cramped Synchronized), and CH (Chaotic).
  • the processor (110) can input the classified data into the second classifier (530) to derive the ratio (%) that can be determined as CS in the acceleration data.
  • the CS ratio (540) derived in this way can be used by medical staff as a guide to determine whether the newborn's movements correspond to CS.
  • the second classifier (530) may be a CS classifier and may target a combination of data for two body parts among the left arm, right arm, left leg, and right leg.
  • Figure 6 is a diagram illustrating a process in which a processor (110) analyzes acceleration data of raw data.
  • the processor (110) can classify raw data (610) received from the sensor unit (140) into first data (620) and second data (630), perform filtering on the first data (620) at a level that is not distorted by a filter such as a moving average, and perform a process (640) of detecting an operation area, and perform filtering on the second data (630) at a level that is not distorted by a filter such as a moving average, and perform a process (650) of detecting an operation area.
  • a filter such as a moving average
  • a process (670) is performed to filter the first data (620) and the second data (630), extract similarity using a similarity judgment tool, and then determine a synchronized section.
  • the processor (110) performs a result analysis process (680) based on the results obtained by performing processes 640, 650, and 670.
  • Fig. 7 is a diagram illustrating detection of a motion area from acceleration data in Fig. 6.
  • Figure 7 (A) illustrates acceleration data measured and received from a sensor attached to the left leg of the target, and (B) illustrates acceleration data measured and received from a sensor attached to the right leg of the target.
  • the processor (110) detects an area having an acceleration exceeding a preset threshold value (5 in Fig. 7) from the acceleration data measured and received from the sensor unit (140) as an operation area.
  • one or more most suitable similarity judgment tools among various composite filters may be applied to determine similarity.
  • the electronic device (100) can perform image analysis-based similarity analysis.
  • the processor (110) can generate an image based on acceleration data acquired for two different body parts and perform similarity analysis by comparing the two images.
  • the processor (110) determines the similarity between two images based on brightness, contrast, and structural differences using the SSIM (Structural Similarity Index Measure) algorithm.
  • SSIM Structuretural Similarity Index Measure
  • Figure 8 is a diagram illustrating the application of a composite filter to determine similarity in Figure 6.
  • Figure 9 is a diagram illustrating the use of the Euclidean distance method to determine similarity in Figure 6.
  • FIG. 8 illustrates the application of a moving average and a bandpass filter to acceleration data measured and received from a sensor attached to the left leg of a target
  • FIG. 8 illustrates the application of a moving average and a bandpass filter to acceleration data measured and received from a sensor attached to the right leg of a target.
  • the processor (110) can apply a composite filter (such as an N-layered Moving Average) that successively applies moving averages with different window sizes, and then apply a bandpass filter (BPF) to remove high-frequency noise and low-frequency offset components. Thereafter, the processor (110) can apply a similarity measurement method, such as the Euclidean distance method as shown in FIG. 9, to the first data and the second data to derive/produce similarity.
  • a composite filter such as an N-layered Moving Average
  • BPF bandpass filter
  • the processor (110) can measure the similarity between two time series data using the dynamic time warping (DTW) technique.
  • DTW dynamic time warping
  • Figure 10 is a drawing illustrating a synchronization area in each operation area of Figure 6.
  • Figure 11 is a diagram illustrating the derivation of ternary data.
  • a ternary transformation is illustrated, and Act + sync (1210), Synchro Section (1220), and Action Section (1230) are illustrated on a graph, respectively, and in order to facilitate visual distinction, levels 0, 1, and 2 are illustrated as levels 1, 3, and 6, respectively.
  • the processor (110) can set a synchronization area as in the Synchro Section (1110) of FIG. 10.
  • the processor (110) can convert three types of binary trajectory data, such as those in FIG. 10, into ternary data according to the following criteria.
  • the processor (110) can convert the remaining data into ternary data, excluding data determined to be normal from the acceleration data measured through the sensor unit (140).
  • the ternary data can be derived for the first data and the second data as shown in Fig. 11.
  • the processor (110) can obtain the ratio of each ternary data as a percentage from this conversion, and based on this ratio, can quantitatively determine how close the motion of the upper and lower extremities (or other measurement parts), which are inputs to the second classifier, is to CS or, conversely, to Normal.
  • the method according to one embodiment of the present disclosure described above can be implemented as a program (or application) and stored in a medium to be executed in combination with a hardware server.
  • the above-described program may include codes coded in a computer language, such as C, C++, JAVA, or machine language, that can be read by the processor (CPU) of the computer through the device interface of the computer, so that the computer reads the program and executes the methods implemented as a program.
  • codes may include functional codes related to functions that define functions necessary to execute the methods, and may include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure.
  • such codes may further include memory reference-related codes regarding which location (address address) of the internal or external memory of the computer should reference additional information or media necessary for the processor of the computer to execute the functions.
  • the code may further include communication-related code regarding how to communicate with any other computer or server located remotely using the communication module of the computer, and what information or media to send and receive during communication.
  • the above storage medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory.
  • examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. That is, the program can be stored in various recording media on various servers that the computer can access or in various recording media on the user's computer.
  • the medium can be distributed across network-connected computer systems, so that computer-readable code can be stored in a distributed manner.
  • the steps of a method or algorithm described in connection with the embodiments of the present disclosure may be implemented directly in hardware, implemented as a software module executed by hardware, or implemented by a combination thereof.
  • the software module may reside in a random access memory (RAM), a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, a CD-ROM, or any other form of computer-readable recording medium well known in the art to which the present disclosure pertains.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 개시는 영유아의 움직임 분석 장치 및 그 방법에 관한 것으로, 본 장치는 영유아의 움직임 분석을 위한 프로세스가 저장된 메모리; 및 상기 프로세스를 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 영유아의 복수의 신체 부위에 각각 부착된 센서로부터 측정된 가속도 데이터를 기반으로 상기 복수의 신체 부위에 대한 동작의 발생 여부를 판단하고, 상기 판단된 결과에 따라 상기 동작이 발생된 상기 복수의 신체 부위에 대하여 측정된 상기 가속도 데이터를 기반으로 상기 영유아의 동작의 정상 여부를 판단할 수 있다.

Description

영유아의 움직임 분석 장치 및 그 방법
본 개시는 영유아의 움직임을 분석하는 장치 및 그 방법에 관한 것이다.
영유아의 상태나 행동을 부모 등이 음향 및 영상으로 모니터링할 수 있는 장치들이 다수 보급되어 있다. 이러한 장치들은 주요 목적은 실시간으로 영유아의 상황을 파악하여 낙상, 전복 등 위험한 상황에 대한 빠른 대응을 할 수 있게 해주는 것에 있다.
위와 같은 종래 기술의 단순 모니터링의 한계를 극복하기 위해, 영유아의 일상적인 움직임을 꾸준하게 모니터링하고, 이를 통해 움직임 패턴을 분석하여 향후 영유아의 발단문제를 사전에 예측할 수 있는 기술이 필요한 상황이지만, 현재로서는 이러한 기술이 공개되어 있지 않은 실정이다.
본 개시에 개시된 실시예는 영유아의 움직임을 분석할 수 있는 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시에 따른 영유아의 움직임 분석을 위한 전자 장치는, 영유아의 움직임 분석을 위한 프로세스가 저장된 메모리; 및 상기 프로세스를 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 영유아의 복수의 신체 부위에 각각 부착된 센서로부터 측정된 가속도 데이터를 기반으로 상기 복수의 신체 부위에 대한 동작의 발생 여부를 판단하고, 상기 판단된 결과에 따라 상기 동작이 발생된 상기 복수의 신체 부위에 대하여 측정된 상기 가속도 데이터를 기반으로 상기 영유아의 동작의 정상 여부를 판단할 수 있다.
이때, 상기 프로세서는 상기 동작 발생 여부를 판단하기 위하여 기 설정된 문턱값을 기반으로 상기 가속도 데이터에서 동작 영역을 검출하고, 상기 검출된 동작 영역의 가속도 데이터를 기반으로 상기 영유아의 동작에 대한 정상 여부를 판단할 수 있다.
또한, 상기 프로세서는 상기 검출된 동작 영역의 가속도 데이터를 기반으로 판단된 상기 영유아의 동작 중에서 이상 동작의 형태, 이상 동작이 발생하는 시점 및 빈도를 기반으로, 상기 영유아의 동작 정상 여부에 대한 진단 결과를 출력할 수 있다.
또한, 상기 프로세서는 미리 학습된 인공지능 모델을 이용하여 상기 가속도 데이터를 기반으로 상기 영유아의 동작에 대한 정상 여부를 판단하며, 상기 인공지능 모델은 복수의 영유아에 대한 일반 운동 평가(GMA: General Movement Assessment), 상기 복수의 영유아에 대한 뇌 영상 소견, 신경학적 검사 소견 및 상기 복수의 영유아의 신경학적 질병 발생 여부를 포함하는 학습데이터를 기반으로 학습된 것일 수 있다.
또한, 상기 인공지능 모델을 이용하여 상기 영유아의 신경발달학적 예후를 예측할 수 있다.
또한, 본 전자 장치는 상기 영유아를 촬영하는 카메라를 더 포함하고, 상기 프로세서는 기 설정된 시간마다 상기 카메라의 촬영 영상 내 상기 영유아의 움직임에 대한 인식 결과 및 상기 측정된 가속도 데이터가 일치하는지 여부를 확인할 수 있다.
또한, 상기 프로세서는 상기 복수의 신체 부위에 대하여 측정된 가속도 데이터 중에서 CS(Cramped-Synchronised)로 판단되는 가속도 데이터를 분류하고, 상기 분류한 결과를 기반으로 상기 측정된 가속도 데이터 중 CS 비율을 도출할 수 있다.
또한, 상술한 기술적 과제를 해결하기 위한 본 개시에 따른 전자 장치의 프로세서에 의해 수행되는 영유아의 움직임 분석 방법은 영유아의 복수의 신체 부위에 각각 부착된 센서로부터 측정된 가속도 데이터를 기반으로 각 신체 부위의 동작 발생 여부를 판단하는 단계; 및 상기 판단 결과에 따라 동작이 발생된 상기 복수의 신체 부위에 대하여 측정된 상기 가속도 데이터를 기반으로 상기 영유아의 동작의 정상 여부를 판단할 수 있다.
이때, 상기 정상 여부 판단 단계는 상기 동작 발생 여부를 판단하기 위하여 기 설정된 문턱값을 기반으로 상기 가속도 데이터에서 동작 영역을 검출하는 단계; 및 상기 검출된 동작 영역의 가속도 데이터를 기반으로 상기 영유아의 동작에 대한 정상 여부를 판단할 수 있다.
또한, 상기 정상 여부 판단 단계는 상기 검출된 동작 영역의 가속도 데이터를 기반으로 판단된 상기 영유아의 동작 중에서 이상 동작의 형태, 이상 동작이 발생하는 시점 및 빈도를 기반으로, 상기 영유아의 동작 정상 여부에 대한 진단 결과를 출력하는 단계를 더 포함할 수 있다.
또한, 상기 정상 여부 판단 단계는 미리 학습된 인공지능 모델을 이용하여 상기 가속도 데이터를 기반으로 상기 영유아의 동작에 대한 정상 여부를 판단하며, 상기 인공지능 모델은 복수의 영유아에 대한 일반 운동 평가(GMA: General Movement Assessment), 상기 복수의 영유아에 대한 뇌 영상 소견, 신경학적 검사 소견 및 상기 복수의 영유아의 신경학적 질병 발생 여부를 포함하는 학습데이터를 기반으로 학습된 것일 수 있다.
또한, 본 개시에 따른 영유아 움직임 분석 방법은 상기 인공지능 모델을 이용하여 상기 영유아의 신경발달학적 예후를 예측할 수 있다.
또한, 본 개시에 따른 영유아 움직임 분석 방법은 카메라를 통해 상기 영유아를 촬영하는 단계 및 기 설정된 시간마다 상기 카메라의 촬영 영상 내 상기 영유아의 움직임에 대한 인식 결과 및 상기 측정된 가속도 데이터가 일치하는지 여부를 확인하는 단계를 더 포함할 수 있다.
또한, 본 개시에 따른 영유아 움직임 분석 방법은 상기 복수의 신체 부위에 대하여 측정된 가속도 데이터 중에서 CS(Cramped-Synchronised)로 판단되는 가속도 데이터를 분류하는 단계 및 상기 분류한 결과를 기반으로 상기 측정된 가속도 데이터 중 CS 비율을 도출하는 단계를 더 포함할 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 영유아의 움직임을 분석할 수 있는 효과를 제공한다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 실시예에 따른 영유아의 움직임 분석 시스템의 개략도이다.
도 2는 도 1의 영유아의 각 신체부위에 부착된 센서를 예시한 도면이다.
도 3은 본 개시의 실시예에 따른 영유아의 움직임 분석 장치의 블록도이다.
도 4는 본 개시의 실시예에 따른 영유아의 움직임 분석 방법의 흐름도이다.
도 5는 프로세서가 가속도 데이터를 분석하여 분류하는 프로세스를 예시한 도면이다.
도 6은 프로세서가 로우 데이터의 가속도 데이터를 분석하는 프로세스를 예시한 도면이다.
도 7은 도 6에서 가속도 데이터에서 동작 영역을 검출하는 것을 예시한 도면이다.
도 8은 도 6에서 유사도 판단을 위해 복합 필터를 적용한 것을 예시한 도면이다.
도 9는 도 6에서 유사도 판단을 위해 유클리디언 거리법을 이용하는 것을 예시한 도면이다.
도 10은 도 6에서 유사도 판단을 위해 동적 시간 접합 기법을 이용하는 것을 예시한 도면이다.
도 10은 도 6의 각 동작 영역에서 동기화 영역을 표시한 것을 예시한 도면이다.
도 11은 삼진화 데이터를 검출한 것을 예시한 도면이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '본 개시에 따른 전자 장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 전자 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저가 탑재된 노트북, 데스크톱, 랩톱, 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS, GSM, PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 저장부를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 저장부에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/ 또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습, 비지도 형 학습, 준지도형 학습 또는 강화 학습이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들을 갖고 있으며, 이전 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경 망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스 값 또는 코스트 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 등이 있으나, 전술한 예에 한정되지 않는다.
본 개시의 예시적인 실시예에 따르면, 프로세서는 인공지능을 구현할 수 있다. 인공지능이란 사람의 신경세포(biological neuron)를 모사하여 기계가 학습하도록 하는 인공신경망 기반의 기계 학습법을 의미한다. 인공지능의 방법론에는 학습 방식에 따라 훈련데이터로서 입력데이터와 출력데이터가 같이 제공됨으로써 문제(입력 데이터)의 해답(출력 데이터)이 정해져 있는 지도학습(supervised learning), 및 출력데이터 없이 입력데이터만 제공되어 문제(입력 데이터)의 해답(출력 데이터)이 정해지지 않는 비지도학습(unsupervised learning), 및 현재의 상태에서 어떤 행동을 취할 때마다 외부 환경에서 보상이 주어지는데, 이러한 보상을 최대화하는 방향으로 학습을 진행하는 강화학습(reinforcement learning)으로 구분될 수 있다. 또한, 인공지능의 방법론은 학습 모델의 구조인 아키텍처에 따라 구분될 수도 있는데, 널리 이용되는 딥러닝 기술의 아키텍처는, 합성곱신경망, 순환신경망, 트랜스포머, 생성적 대립 신경망 등으로 구분될 수 있다.
본 장치는 인공지능 모델을 포함할 수 있다. 인공지능 모델은 하나의 인공지능 모델일 수 있고, 복수의 인공지능 모델로 구현될 수도 있다. 인공지능 모델은 뉴럴 네트워크(또는 인공 신경망)로 구성될 수 있으며, 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어를 포함할 수 있다. 예시적으로, 장치는 input layer, hidden layer, output layer를 포함할 수 있다. 장치를 구성하는 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력으로부터 예측하고자 하는 결과를 추론할 수 있다.
프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호를 생성하거나, 뉴럴 네트워크를 재훈련할 수 있다. 뉴럴 네트워크의 모델들은 GoogleNet, AlexNet, VGG Network 등과 같은 CNN, R-CNN, RPN, RNN, S-DNN, S-SDNN, Deconvolution Network, DBN, RBM, Fully Convolutional Network, LSTM Network, Classification Network 등 다양한 종류의 모델들을 포함할 수 있으나 이에 제한되지는 않는다. 프로세서는 뉴럴 네트워크의 모델들에 따른 연산을 수행하기 위한 하나 이상의 프로세서를 포함할 수 있다. 예를 들어 뉴럴 네트워크는 심층 뉴럴 네트워크를 포함할 수 있다.
뉴럴 네트워크는 CNN, RNN, 퍼셉트, 다층 퍼셉트론, FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.
본 개시의 예시적인 실시예에 따르면, 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다. 이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
도 1은 본 개시의 실시예에 따른 영유아의 움직임 분석 시스템의 개략도이다.
도 2는 도 1의 영유아의 각 신체부위에 부착된 센서를 예시한 도면이다.
다만, 몇몇 실시예에서 시스템(10)은 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.
도 1을 참조하면, 본 개시의 실시예에 따른 영유아의 움직임 분석 시스템(10)은 전자 장치(100)가 영유아(20)의 각 신체 부위에 부착된 센서로부터 측정된 가속도 데이터(30)를 수신하고, 이를 분석하여 영유아(20)의 동작에 대한 정상 여부의 판단 결과를 포함하는 진단 데이터(40)를 출력할 수 있다.
도 2와 같이, 영유아의 각 신체 부위에는 적어도 하나의 센서가 부착될 수 있으며, 도면 상에 도시된 바와 같이 센서부(140)는 좌측 팔에 부착된 센서(141), 우측 팔에 부착된 센서(142), 좌측 다리에 부착된 센서(143), 우측 다리에 부착된 센서(144), 머리에 부착된 센서(145) 및 몸통에 부착된 센서(146)를 포함할 수 있다.
이때, 각 신체 부위는 측정 정확도를 향상시키기 위해서 복수개의 센서가 부착될 수도 있다.
도 2를 참조하면, 실시예에 따라서 전자 장치(100)는 영유아를 촬영하는 적어도 하나의 카메라를 포함하는 촬영부(160)를 더 포함할 수 있으며, 전자 장치(100)의 프로세서(110)는 카메라를 통해 촬영되는 영상과 센서로부터 측정되어 수신되는 가속도 데이터를 비교할 수 있다.
전자 장치(100)의 프로세서(110)는 기 설정된 시간마다 카메라의 촬영 영상 내 영유아의 움직임에 대한 인식 결과와 센서부(140)를 통해 측정된 가속도 데이터가 일치하는지 여부를 확인할 수 있다.
아래에서는, 다른 도면들을 참조하여 본 개시의 실시예에 따른 영유아의 움직임 분석 장치, 장치의 제어 방법, 프로그램에 관하여 보다 상세하게 설명하도록 한다.
도 3은 본 개시의 실시예에 따른 영유아의 움직임 분석 장치의 블록도이다.
도 3을 참조하면, 본 개시의 실시예에 따른 영유아의 움직임 분석 장치는 프로세서(110), 통신부(120), 메모리(130), 센서부(140), 검출부(150), 촬영부(160) 및 출력부(170)를 포함한다.
다만, 몇몇 실시예에서 전자 장치(100)는 도 3에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.
프로세서(110)는 본 장치 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 저장부, 및 저장부에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(110)로 구현될 수 있다. 이때, 저장부와 프로세서(110)는 각각 별개의 칩으로 구현될 수 있다. 또는, 저장부와 프로세서(110)는 단일 칩으로 구현될 수도 있다.
또한, 프로세서(110)는 이하의 도면에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
프로세서(110)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 본 장치의 전반적인 동작을 제어할 수 있다. 프로세서(110)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 저장부에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(110)는 저장부에 저장된 응용 프로그램을 구동하기 위하여, 본 장치의 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(110)는 상기 응용 프로그램의 구동을 위하여, 본 장치에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작 시킬 수 있다.
프로세서(110)는 하나 이상으로 구현될 수 있다. 이하에서, 프로세서(110)는 단수로 표현되더라도 복수로 간주될 수 있다. 프로세서(110)는 전자 장치(100)의 구성들을 컨트롤할 수 있다. 프로세서(110)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이, 프로세서(110)는 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 프로세서(110)는 인공 지능 연산을 수행하기 위한 러닝 프로세서(110)를 별도로 구비하거나, 자체적으로 러닝 프로세서(110)를 구비할 수 있다.
다양한 실시 예에서, 프로세서(110)는 중앙처리장치(Central Processing Unit; CPU), 어플리케이션 프로세서(Application Processor; AP), 또는 커뮤니케이션 프로세서(Communication Processor; CP) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(110)의 적어도 일부는 하드웨어로써, 메모리(130)를 액세스하고, 메모리(130)에 저장된 명령어들과 관련한 기능을 수행할 수 있다.
통신부(120)는 전자 장치(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
통신부(120)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 통신 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 프로세서(110)의 제어에 따라 무선 통신 인터페이스를 통해 프로세서(110)로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 신호 변환 모듈을 더 포함할 수 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(BluetoothTM), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
통신부(120)는 통신 인터페이스의 명칭을 이용할 수도 있다.
통신 인터페이스는 전자 장치(100)와 외부 장치 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스는 무선 통신(예: Wi-Fi(Wireless Fidelity), Bluetooth, NFC(Near Field Communication), MST(magnetic stripe transmission) 등) 또는 유선 통신을 통해서 상기 외부 장치와 통신할 수 있다.
메모리(130)는 본 장치의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(130)는 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 본 장치의 기본적인 기능을 위하여 존재할 수 있다. 한편, 응용 프로그램은, 메모리(130)에 저장되고, 장치에 설치되어, 프로세서(110)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.
메모리(130)는 본 장치의 다양한 기능을 지원하는 데이터와, 프로세서(110)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)이 저장될 수 있고, 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리(130)는 플래시 메모리(130) 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(130)는 본 장치와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.
메모리(130)는 프로세서(110)와 전기적으로 연결될 수 있고, 프로세서(110)에서 수행되는 적어도 하나의 코드(Code)를 저장할 수 있다. 메모리(130)는 다양한 형태의 저장 장치를 통칭할 수 있다. 메모리(130)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다.
메모리(130)는 다양한 학습 모델을 저장할 수 있다. 메모리(130)에 저장된 학습 모델들은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론할 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다. 메모리(130) 저장된 학습 모델들은 레이블(Label) 정보에 기초하여 학습이 수행될 수 있고, 학습의 정확도를 높이기 위해, 손실 함수가 목표의 값을 갖도록 다양한 역전파(Backpropagation) 알고리즘이 적용될 수 있다.
또한, 메모리(130)는 전자 장치(100)를 위한 복수의 프로세스를 구비할 수 있다.
센서부(140)는 도 2를 참조하여 설명한 바와 같이 영유아의 각 신체 부위에 부착된 적어도 하나의 센서를 포함할 수 있으며, 측정된 가속도 데이터를 유/무선 통신방식을 통해서 전자 장치(100)의 통신부(120)로 전송할 수 있다.
센서부(140)는 본 장치의 내 정보, 본 장치를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 프로세서(110)는 이러한 센싱 신호에 기초하여, 본 장치의 구동 또는 동작을 제어하거나, 본 장치에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행할 수 있다.
상기와 같은, 센서부(140)는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라), 마이크로폰, 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 중 적어도 하나를 포함함), 화학 센서(예를 들어, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 장치는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
검출부(150)는 센서부(140)를 통해 측정되어 수신된 가속도 데이터에서 영유아가 실제로 움직인 것으로 판단되는 동작 영역을 검출할 수 있다. 이를 위해서 메모리(130)는 동작 영역을 검출하기 위한 문턱값, 알고리즘이 저장될 수 있다.
촬영부(160)는 영유아를 촬영하는 적어도 하나의 카메라를 포함할 수 있으며, 촬영 영상을 전자 장치(100)의 통신부(120)로 전송할 수 있다.
카메라는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 에 표시되거나 저장부에 저장될 수 있다.
카메라는 정지 영상 및 동영상을 촬영할 수 있다. 예를 들어, 전자 장치(100)가 HMD 장치에 장착되면, 카메라는 적어도 HMD 장치의 전방 영역에 대한 영상을 촬영할 수 있다. 일 실시예에서, 카메라는 전자 장치(100)가 HMD 장치에 장착된 이후, HMD 장치의 구동 개시로부터 지정된 시간이 경과하면 활성화될 수 있다. 다양한 실시 예에서, 카메라는 전자 장치(100)가 HMD 장치에 장착되는 시점부터 활성화될 수도 있다. 또는, 카메라는 사용자가 HMD 장치를 착용하는 시점부터 활성화될 수도 있다.
다양한 실시 예에서, 카메라는 예컨대, 적어도 하나의 depth 카메라(예: TOF(Time Of Flight; TOF) 방식 또는, 구조광(structure light)방식) 및 색상 카메라(예: RGB 카메라)를 포함할 수 있다. 또한, 카메라는 기능 수행과 관련하여 적어도 하나의 센서(예: 근접 센서), 광원(예: LED array) 등을 더 포함할 수 있다. 다양한 실시 예에서, 상기 적어도 하나의 센서는 카메라와는 별도의 모듈로 구성되어, 적어도 HMD 장치의 전방 영역에 대한 센싱을 수행할 수 있다. 예를 들어, 센서(예: 근접 센서) 모듈은 HMD 장치의 전방 영역에 적외선을 발광(또는, 초음파를 발신)하고, 오브젝트로부터 반사되어 돌아오는 적외선을 수광(또는, 초음파를 수신)함으로써, 오브젝트의 센싱을 수행할 수 있다. 이 경우, 카메라는 센서 모듈에 의하여 적어도 하나의 오브젝트가 센싱되는 시점부터 활성화될 수 있다.
출력부(170)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부(170), 햅틱 모듈(Haptic Module) 및 광 출력부(170) 중 적어도 하나를 포함할 수 있다. 디스플레이부는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 본 장치와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 본 장치와 사용자 간에 출력 인터페이스를 제공할 수 있다.
프로세서(110)는 영유아의 동작에 대한 판단 결과, 진단 결과를 출력부(170)를 통해서 출력할 수 있다.
하지만, 출력부(170)가 반드시 전자 장치(100)의 구성으로 포함되어야 하는 것은 아니며, 전자 장치(100)는 영유아의 동작을 기반으로 판단된 판단 결과, 진단 결과를 영유아의 보호자의 단말로 전송하여 제공하거나, 의료진 디바이스로 전송하여 제공할 수도 있다.
몇몇 실시예에서, 전자 장치(100)는 아래와 같이 입력부, 인터페이스부와 같은 구성들을 더 포함할 수도 있다.
입력부는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 적어도 하나의 카메라, 적어도 하나의 마이크로폰 및 사용자 입력부 중 적어도 하나를 포함할 수 있다. 입력부에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
입력부는 사용자로부터 정보를 입력받기 위한 것으로서, 입력부를 통해 정보가 입력되면, 프로세서(110)는 입력된 정보에 대응되도록 본 장치의 동작을 제어할 수 있다. 이러한, 입력부는 하드웨어식 물리 키(예를 들어, 본 장치의 전면, 후면 및 측면 중 적어도 하나에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 소프트웨어식 터치 키를 포함할 수 있다. 일 예로서, 터치 키는, 소프트웨어적인 처리를 통해 터치스크린 타입의 디스플레이부 상에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.
인터페이스부는 본 장치에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부는 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 저장부 카드(memory card) 포트, 식별 모듈(SIM)이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 본 장치에서는, 상기 인터페이스부에 연결된 외부 기기와 관련된 적절한 제어를 수행할 수 있다.
입출력 인터페이스는 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(100)의 다른 구성요소들에 전달할 수 있는 인터페이스의 역할을 수행할 수 있다. 또한, 입출력 인터페이스는 전자 장치(100)의 다른 구성요소들로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
도 4는 본 개시의 실시예에 따른 영유아의 움직임 분석 방법의 흐름도이다.
도 5 내지 도 11은 본 개시의 실시예에 따른 영유아의 움직임 분석 장치, 방법 및 프로그램을 설명하기 위한 각종 예시 도면이다.
도 4 내지 도 11을 참조하여, 본 개시의 실시예에 따른 영유아의 움직임 분석 장치, 방법 및 프로그램을 설명하도록 한다.
프로세서(110)가 센서부(140)에서 측정된 가속도 데이터를 수신한다. (S410)
본 개시의 실시예에서, 센서부(140)는 영유아의 복수의 신체 부위 각각에 부착된 적어도 하나의 센서를 포함한다.
복수의 신체 부위는 왼쪽 팔, 오른쪽 팔, 왼쪽 다리 및 오른쪽 다리를 포함한다. 하지만, 이는 일 실시예이며 가속도를 측정하기 위한 영유아의 신체 부위가 이로 한정되는 것은 아니다.
즉, 영유아의 왼쪽 팔, 오른쪽 팔, 왼쪽 다리 및 오른쪽 다리에는 각각 적어도 하나의 센서가 부착되고, 각 센서로부터 측정된 가속도 데이터가 통신부(120)를 통해 전자 장치(100)로 전송될 수 있다.
프로세서(110)가 S410에서 수신된 가속도 데이터를 기반으로 영유아의 각 신체 부위의 동작 발생 여부를 판단한다. (S420)
프로세서(110)가 가속도 데이터에서 동작 영역이 검출되는지 확인한다. (S430)
프로세서(110)는 영유아의 복수의 신체 부위에 각각 부착된 센서로부터 측정된 가속도 데이터를 기반으로 각 신체 부위의 동작 발생 여부를 판단할 수 있다.
프로세서(110)는 동작 발생 여부를 판단하기 위해 기 설정된 문턱값을 기반으로 가속도 데이터에서 동작 영역을 검출할 수 있다.
이때, 기 설정된 문턱값은 영유아의 정보에 따라서 상이하게 설정될 수도 있다.
프로세서(110)가 동작 영역의 가속도 데이터를 기반으로 영유아의 동작에 대한 정상 여부를 판단한다. (S440)
프로세서(110)는 S430의 판단 결과에 따라 동작이 발생한 것으로 판단되는 복수의 신체 부위에 대하여 측정된 가속도 데이터를 기반으로 영유아의 동작에 대한 정상 여부를 판단할 수 있다.
일 실시예로, 프로세서(110)는 동작 영역에 해당하는 가속도 데이터를 기반으로 영유아의 해당 동작이 정상인지 비정상인지 여부를 판단할 수 있다.
이때, 프로세서(110)는 동작이 발생한 것으로 판단되는 2개의 신체 부위에 대하여 측정된 가속도 데이터를 기반으로 영유아의 동작에 대한 정상 여부를 판단할 수 있다.
상세하게는, 프로세서(110)는 영유아의 왼쪽 팔, 오른쪽 팔, 왼쪽 다리 및 오른쪽 다리 중 2개의 신체 부위에 대하여 측정된 가속도 데이터를 기반으로 영유아의 동작에 대한 정상 여부를 판단할 수 있다.
프로세서(110)가 영유아의 동작에 대한 진단 결과를 출력한다. (S450)
상세하게는, 프로세서(110)는 검출된 동작 영역의 가속도 데이터를 기반으로 영유아의 동작 중에서 이상 동작의 형태, 이상 동작이 발생하는 시점과 빈도를 판단하고, 상기 판단된 이상 동작의 형태, 이상 동작이 발생하는 시점과 빈도를 기반으로 영유아의 동작에 대한 진단 결과를 출력할 수 있다.
일 실시예로, 전자 장치(100)는 인공지능을 이용하여 영유아를 진단할 수 있다.
상세하게는, 미리 학습된 인공지능 모델을 이용하여 상기 가속도 데이터를 기반으로 상기 영유아의 동작에 대한 정상 여부를 판단할 수 있다.
이때, 인공지능 모델은 복수의 영유아에 대한 일반 운동 평가(GMA: General Movement Assessment), 상기 복수의 영유아에 대한 뇌 영상(예로, 초음파, MRI) 소견과 신경학적 검사 소견 및 상기 복수의 영유아의 신경학적 질병 발생 여부 중 적어도 하나를 포함하는 학습데이터를 기반으로 학습된 것을 특징으로 한다.
인공지능 모델은 일반 운동 평가(GMA)와 함께 수신된 상기 복수의 영유아의 영상을 분석하여 상기 복수의 영유아의 영상 내 움직임 패턴에 따른 각 신체부위의 가속도를 산출하고, 일반 운동 평가와 산출된 가속도 데이터를 학습할 수 있다. 프로세서(110)는 상기 복수의 영유아가 촬영된 복수의 영상 프레임으로부터 상기 복수의 영유아의 각 신체 부위의 3차원 위치 좌표 및 프레임 속도를 기반으로 각 신체 부위의 가속도를 측정할 수 있다.
즉, 프로세서(110)는 이와 같이 학습된 인공지능 모델에 해당 영유아의 가속도 데이터를 입력하고, 해당 영유아의 신경학적 질병 발생 가능성을 획득할 수 있다.
프로세서(110)는 이와 같이 학습된 인공지능 모델에 해당 영유아의 가속도 데이터를 입력하여 해당 영유아의 신경발달학적 예후에 대한 예측값을 출력값으로 획득할 수 있다.
또한, 프로세서(110)는 이와 같이 학습된 인공지능 모델에 해당 영유아의 가속도 데이터를 입력하고, 복수의 신경학적 질병 각각에 대한 해당 영유아의 발병 가능성을 출력값으로 획득할 수 있다.
도 5는 프로세서(110)가 가속도 데이터를 분석하여 분류하는 프로세스를 예시한 도면이다.
도 5를 참조하면, 프로세서(110)는 센서부(140)를 통해 측정되어 수신된 가속도 데이터에서 동작 영역으로 판단된 가속도 데이터를 분석하는 프로세스(510)를 수행하고, 비정상(이상) 동작(abnormal motion)인 것으로 판단되는 가속도 데이터를 분류한다.
그리고, 프로세서(110)는 분류된 가속도 데이터를 제1 분류기(520)에 입력하여 PR (Poor Repertoire), CS (Cramped Synchronised), CH (Chaotic)의 3가지로 분류할 수 있다.
그리고, 최종적으로 프로세서(110)는 분류된 데이터를 제2 분류기(530)에 입력하여 가속도 데이터에서 CS로 판별될 수 있는 비율(%)을 도출할 수 있다.
이와 같이 도출된 CS 비율(540)을 통해 의료진은 해당 신생아의 동작이 CS에 해당됨을 판정하기 위한 가이드로 활용할 수 있다.
제2 분류기(530)는 CS 분류기일 수 있으며, 왼쪽 팔, 오른쪽 팔, 왼쪽 다리 및 오른쪽 다리 중 2개의 신체부위에 대한 데이터 조합을 대상으로 할 수 있다.
도 6은 프로세서(110)가 로우 데이터(Raw Data)의 가속도 데이터를 분석하는 프로세스를 예시한 도면이다.
프로세서(110)는 센서부(140)로부터 수신된 로우 데이터(610)를 제1 데이터(620) 및 제2 데이터(630)로 분류하고, 제1 데이터(620)에 대하여 이동평균과 같은 필터에 의해서 왜곡되지 않는 수준에서 필터링을 수행하고, 동작 영역을 검출하는 프로세스(640)를 수행하고, 제2 데이터(630)에 대하여 이동평균과 같은 필터에 의해서 왜곡되지 않는 수준에서 필터링을 수행하고, 동작 영역을 검출하는 프로세스(650)를 수행할 수 있다.
그리고, 제1 데이터(620) 및 제2 데이터(630)에 대하여 필터링하고 유사도 판단툴을 이용하여 유사도를 추출한 후 싱크된 색션을 판단하는 프로세스(670)를 수행한다.
다음으로, 프로세서(110)는 640, 650, 670의 프로세스를 수행하여 획득한 결과를 기반으로 결과 분석 프로세스(680)를 수행하게 된다.
도 7은 도 6에서 가속도 데이터에서 동작 영역을 검출하는 것을 예시한 도면이다.
도 7의 (A)는 타겟의 좌측 다리에 부착된 센서로부터 측정되어 수신된 가속도 데이터이고, (B)는 타겟의 우측 다리에 부착된 센서로부터 측정되어 수신된 가속도 데이터가 예시되어 있다.
도 7과 같이, 프로세서(110)는 센서부(140)로부터 측정되어 수신된 가속도 데이터에서 기 설정된 문턱값(도 7의 5)을 초과하는 가속도를 갖는 영역은 동작 영역으로 검출하게 된다.
본 개시의 실시예에서, 유사도 판단을 위해서는 다양한 복합 필터 중에서 가장 적합한 하나 이상의 유사도 판단툴이 적용될 수 있다.
예를 들어, 전자 장치(100)는 이미지 분석 기반의 유사도 분석을 수행할 수 있다.
프로세서(110)는 서로 다른 2개 신체 부위에 대하여 획득한 가속도 데이터를 기반으로 이미지를 생성하고, 2개의 이미지를 비교하여 유사도 분석을 수행할 수 있다.
일 실시예로, 프로세서(110)는 SSIM(Structural Similarity Index Measure) 알고리즘을 이용하여 두 이미지의 휘도, 대비, 구조적 차이로 유사도를 판단한다.
도 8은 도 6에서 유사도 판단을 위해 복합 필터를 적용한 것을 예시한 도면이다.
도 9는 도 6에서 유사도 판단을 위해 유클리디언 거리법을 이용하는 것을 예시한 도면이다.
도 8의 (A)는 타겟의 좌측 다리에 부착된 센서로부터 측정되어 수신된 가속도 데이터에 이동 평균과 밴드패스 필터를 적용한 것이 예시되어 있고, (B)는 타겟의 우측 다리에 부착된 센서로부터 측정되어 수신된 가속도 데이터에 이동 평균과 밴드패스 필터를 적용한 것이 예시되어 있다.
프로세서(110)는 다른 윈도우 크기를 가지는 이동평균을 연속적으로 적용하는 등의 복합 필터 (N-layered Moving Average 등)를 적용하고, 이후 밴드패스 필터(BPF)를 적용하여 고주파 노이즈 및 저주파성 옵셋 성분을 제거할 수 있다. 이후, 프로세서(110)는 제1 데이터 및 제2 데이터에 대하여 도 9와 같은 유클리디안 거리법(Euclidean Distance Method) 등과 같은 유사도 측정법을 적용하여 유사도를 도출/산출할 수 있다.
도 9의 (A)에서 각 데이터에 대한 High similarity의 시간대별 그래프(910)가 예시되어 있고, 이에 대한 시간대별 차이값(920)이 도시되어 있다.
도 9의 (B)에서 각 데이터에 대한 Low similarity의 시간대별 그래프(930)가 예시되어 있고, 이에 대한 시간대별 차이값(940)이 도시되어 있다.
프로세서(110)는 동적 시간 접합(DTW: Dynamic Time Warping) 기법을 이용하여 2개의 시계열 데이터 간의 유사도를 측정할 수 있다.
도 10은 도 6의 각 동작 영역에서 동기화 영역을 표시한 것을 예시한 도면이다.
도 11은 삼진화 데이터를 도출한 것을 예시한 도면이다.
도 11을 참조하면, 삼진화 변환이 예시되어 있으며, Act + sync(1210), Synchro Section(1220), Action Section(1230)을 각각 그래프 상에 도시한 것이 예시되어 있고, 이에 대한 시각적 구분이 용이하도록 하기 위해 0, 1, 2의 레벨을 각각 1, 3, 6의 레벨로 도시하였다.
위의 프로세스들을 수행한 후, 프로세서(110)는 도 10의 Synchro Section(1110)과 같이 동기화 영역을 설정할 수 있다.
그리고, 프로세서(110)는 도 10과 같은 세 종류의 이진화 궤적 데이터를 아래와 같은 기준에 따라서 삼진화 데이터로 변환할 수 있다.
프로세서(110)는 센서부(140)를 통해 측정된 가속도 데이터에서 정상으로 판단되는 데이터를 제외하고 나머지 데이터를 삼진화 데이터로 변환할 수 있다.
① 데이터 i 동작영역 F & 동기화 영역 F
② 데이터 i 동작영역 T & 동기화 영역 F
③ 데이터 i 동작영역 T & 동기화 영역 T
(이때 i = 1, 2, T 는 True, F 는 False를 의미한다.)
삼진화 데이터는 제1 데이터 및 제2 데이터에 대하여 도 11과 같이 도출될 수 있다. 프로세서(110)는 이 변환으로부터 각 삼진화 데이터의 비율을 퍼센테이지로 구할 수 있으며, 이 비율에 따라서 제2 분류기의 입력인 양측 상하지(또는 다른 측정부위)의 동작이 얼마나 CS에 가까운지 또는 반대로 Normal에 가까운지 정량적으로 판단할 수 있다.
이상에서 전술한 본 개시의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램`은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (14)

  1. 영유아의 움직임 분석을 위한 프로세스가 저장된 메모리; 및
    상기 프로세스를 실행하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 영유아의 복수의 신체 부위에 각각 부착된 센서로부터 측정된 가속도 데이터를 기반으로 상기 복수의 신체 부위에 대한 동작의 발생 여부를 판단하고,
    상기 판단된 결과에 따라 상기 동작이 발생된 상기 복수의 신체 부위에 대하여 측정된 상기 가속도 데이터를 기반으로 상기 영유아의 동작의 정상 여부를 판단하는 것을 특징으로 하는,
    전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 동작 발생 여부를 판단하기 위하여 기 설정된 문턱값을 기반으로 상기 가속도 데이터에서 동작 영역을 검출하고,
    상기 검출된 동작 영역의 가속도 데이터를 기반으로 상기 영유아의 동작에 대한 정상 여부를 판단하는 것을 특징으로 하는,
    전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 검출된 동작 영역의 가속도 데이터를 기반으로 판단된 상기 영유아의 동작 중에서 이상 동작의 형태, 이상 동작이 발생하는 시점 및 빈도를 기반으로, 상기 영유아의 동작 정상 여부에 대한 진단 결과를 출력하는 것을 특징으로 하는,
    전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    미리 학습된 인공지능 모델을 이용하여 상기 가속도 데이터를 기반으로 상기 영유아의 동작에 대한 정상 여부를 판단하며,
    상기 인공지능 모델은,
    복수의 영유아에 대한 일반 운동 평가(GMA: General Movement Assessment), 상기 복수의 영유아에 대한 뇌 영상 소견, 신경학적 검사 소견 및 상기 복수의 영유아의 신경학적 질병 발생 여부를 포함하는 학습데이터를 기반으로 학습된 것을 특징으로 하는,
    전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 인공지능 모델을 이용하여 상기 영유아의 신경발달학적 예후를 예측하는 것을 특징으로 하는,
    전자 장치.
  6. 제1항에 있어서,
    상기 영유아를 촬영하는 카메라를 더 포함하고,
    상기 프로세서는,
    기 설정된 시간마다 상기 카메라의 촬영 영상 내 상기 영유아의 움직임에 대한 인식 결과 및 상기 측정된 가속도 데이터가 일치하는지 여부를 확인하는 것을 특징으로 하는,
    전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 신체 부위에 대하여 측정된 가속도 데이터 중에서 CS(Cramped-Synchronised)로 판단되는 가속도 데이터를 분류하고,
    상기 분류한 결과를 기반으로 상기 측정된 가속도 데이터 중 CS 비율을 도출하는 것을 특징으로 하는,
    전자 장치.
  8. 전자 장치의 프로세서에 의해 수행되는, 영유아의 움직임 분석 방법에 있어서,
    영유아의 복수의 신체 부위에 각각 부착된 센서로부터 측정된 가속도 데이터를 기반으로 각 신체 부위의 동작 발생 여부를 판단하는 단계; 및
    상기 판단 결과에 따라 동작이 발생된 상기 복수의 신체 부위에 대하여 측정된 상기 가속도 데이터를 기반으로 상기 영유아의 동작의 정상 여부를 판단하는 것을 특징으로 하는,
    방법.
  9. 제8항에 있어서,
    상기 정상 여부 판단 단계는,
    상기 동작 발생 여부를 판단하기 위하여 기 설정된 문턱값을 기반으로 상기 가속도 데이터에서 동작 영역을 검출하는 단계; 및
    상기 검출된 동작 영역의 가속도 데이터를 기반으로 상기 영유아의 동작에 대한 정상 여부를 판단하는 단계를 포함하는 것을 특징으로 하는,
    방법.
  10. 제9항에 있어서,
    상기 정상 여부 판단 단계는,
    상기 검출된 동작 영역의 가속도 데이터를 기반으로 판단된 상기 영유아의 동작 중에서 이상 동작의 형태, 이상 동작이 발생하는 시점 및 빈도를 기반으로, 상기 영유아의 동작 정상 여부에 대한 진단 결과를 출력하는 단계를 더 포함하는 것을 특징으로 하는,
    방법.
  11. 제9항에 있어서,
    상기 정상 여부 판단 단계는, 미리 학습된 인공지능 모델을 이용하여 상기 가속도 데이터를 기반으로 상기 영유아의 동작에 대한 정상 여부를 판단하며,
    상기 인공지능 모델은,
    복수의 영유아에 대한 일반 운동 평가(GMA: General Movement Assessment), 상기 복수의 영유아에 대한 뇌 영상 소견, 신경학적 검사 소견 및 상기 복수의 영유아의 신경학적 질병 발생 여부를 포함하는 학습데이터를 기반으로 학습된 것을 특징으로 하는,
    방법.
  12. 제11항에 있어서,
    상기 인공지능 모델을 이용하여 상기 영유아의 신경발달학적 예후를 예측하는 것을 특징으로 하는,
    방법.
  13. 제8항에 있어서,
    카메라를 통해 상기 영유아를 촬영하는 단계; 및
    기 설정된 시간마다 상기 카메라의 촬영 영상 내 상기 영유아의 움직임에 대한 인식 결과 및 상기 측정된 가속도 데이터가 일치하는지 여부를 확인하는 단계를 더 포함하는 것을 특징으로 하는,
    방법.
  14. 제8항에 있어서,
    상기 복수의 신체 부위에 대하여 측정된 가속도 데이터 중에서 CS(Cramped-Synchronised)로 판단되는 가속도 데이터를 분류하는 단계; 및
    상기 분류한 결과를 기반으로 상기 측정된 가속도 데이터 중 CS 비율을 도출하는 단계를 더 포함하는 것을 특징으로 하는,
    방법.
PCT/KR2025/009262 2024-07-10 2025-06-30 영유아의 움직임 분석 장치 및 그 방법 Pending WO2026014789A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2024-0091408 2024-07-10
KR1020240091408A KR20260009168A (ko) 2024-07-10 2024-07-10 영유아의 움직임 분석 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
WO2026014789A1 true WO2026014789A1 (ko) 2026-01-15

Family

ID=98387166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/009262 Pending WO2026014789A1 (ko) 2024-07-10 2025-06-30 영유아의 움직임 분석 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR20260009168A (ko)
WO (1) WO2026014789A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190007128A (ko) * 2017-07-11 2019-01-22 주식회사 아이앤나 유아의 위험상태 예측을 위한 카메라장치와 그 방법
KR20200043740A (ko) * 2018-10-18 2020-04-28 주식회사 올케어러블 움직임 문턱치 제어 기반의 영유아 안전 모니터링 방법 및 그 서비스
KR20230018800A (ko) * 2021-07-30 2023-02-07 주식회사 한국플랫폼시스템 센싱된 정보의 노이즈 제거를 이용한 영유아 모니터링 서버, 방법 및 프로그램
KR20230050067A (ko) * 2021-10-07 2023-04-14 서울대학교병원 영유아의 움직임 복잡도 자동 평가 방법 및 시스템
JP2023122319A (ja) * 2022-02-22 2023-09-01 花王株式会社 育児支援システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277967B1 (ko) 2021-02-02 2021-07-16 (주)무지개반사 인공지능 기반 영유아 모니터링 서비스 제공 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190007128A (ko) * 2017-07-11 2019-01-22 주식회사 아이앤나 유아의 위험상태 예측을 위한 카메라장치와 그 방법
KR20200043740A (ko) * 2018-10-18 2020-04-28 주식회사 올케어러블 움직임 문턱치 제어 기반의 영유아 안전 모니터링 방법 및 그 서비스
KR20230018800A (ko) * 2021-07-30 2023-02-07 주식회사 한국플랫폼시스템 센싱된 정보의 노이즈 제거를 이용한 영유아 모니터링 서버, 방법 및 프로그램
KR20230050067A (ko) * 2021-10-07 2023-04-14 서울대학교병원 영유아의 움직임 복잡도 자동 평가 방법 및 시스템
JP2023122319A (ja) * 2022-02-22 2023-09-01 花王株式会社 育児支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MA LIANG; YANG BINGSHANG; MENG LINGDAN; WANG BAOHONG; ZHENG CHUNHUI; CAO AIHUA: "Effect of early intervention on premature infants’ general movem", BRAIN & DEVELOPMENT, AMSTERDAM, NL, vol. 37, no. 4, 19 July 2014 (2014-07-19), NL , pages 387 - 393, XP029203823, ISSN: 0387-7604, DOI: 10.1016/j.braindev.2014.07.002 *

Also Published As

Publication number Publication date
KR20260009168A (ko) 2026-01-19

Similar Documents

Publication Publication Date Title
WO2019216732A1 (ko) 전자 장치 및 이의 제어 방법
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2020122432A1 (ko) 전자 장치 및 그의 3d 이미지 표시 방법
WO2020256172A1 (ko) 카트 로봇
WO2019135534A1 (ko) 전자 장치 및 그의 제어 방법
US12591299B2 (en) Method, server and device for outputting XR content corresponding to a target within a construction site based on voice recognition
WO2018164435A1 (en) Electronic apparatus, method for controlling the same, and non-transitory computer readable recording medium
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2023075161A1 (ko) 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법
EP3577583A1 (en) Electronic apparatus, method for controlling the same, and non-transitory computer readable recording medium
WO2026014789A1 (ko) 영유아의 움직임 분석 장치 및 그 방법
WO2021215668A1 (ko) 로봇 장치 및 그 제어 방법
WO2025084457A2 (ko) 생성형 ai 기반의 애플리케이션 자동 제작 서버, 방법 및 프로그램
WO2023106662A1 (ko) 웨어러블 디바이스를 이용한 제스처 인식 방법 및 그 장치
WO2025135277A1 (ko) 실시간 자동 비디오 프로토콜 변환 장치 및 방법
WO2023140580A1 (ko) 인공지능 기반의 차량 as 공정 관리 서비스 제공 방법, 장치 및 프로그램
WO2026014695A1 (ko) 이미지 분석 기반의 골프 스윙 분석 장치 및 이의 제어 방법
WO2025033663A1 (ko) 증강 현실 기반의 재활 훈련 제공 장치 및 방법
WO2025018493A1 (ko) 말라리아 진단 및 탐지를 위한 머신러닝 앙상블 모델이 적용가능한 전자 장치 및 그 동작 방법
WO2021137395A1 (ko) 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법
WO2025037853A1 (ko) 자동으로 중증도 분류 및 대응 처리 제어 방법, 장치 및 시스템
WO2025033771A1 (ko) 조직 절편기의 파라핀 블록 위치를 자동으로 조절하는 장치 및 방법
WO2020159036A1 (ko) 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법
WO2025143807A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2024154840A1 (ko) 이동체에 가해진 충격의 판정

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25837590

Country of ref document: EP

Kind code of ref document: A1