WO2017090815A1 - 관절 가동 범위를 측정하는 장치 및 방법 - Google Patents

관절 가동 범위를 측정하는 장치 및 방법 Download PDF

Info

Publication number
WO2017090815A1
WO2017090815A1 PCT/KR2015/013487 KR2015013487W WO2017090815A1 WO 2017090815 A1 WO2017090815 A1 WO 2017090815A1 KR 2015013487 W KR2015013487 W KR 2015013487W WO 2017090815 A1 WO2017090815 A1 WO 2017090815A1
Authority
WO
WIPO (PCT)
Prior art keywords
pain
joint
facial expression
range
calculating
Prior art date
Application number
PCT/KR2015/013487
Other languages
English (en)
French (fr)
Inventor
장준수
정창진
김근호
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Publication of WO2017090815A1 publication Critical patent/WO2017090815A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Definitions

  • the present invention relates to a technical idea of calculating information on a section in which a subject feels pain in measuring a range of motion based on markerless motion capture.
  • the range of motion is an important measure for diagnosing and evaluating musculoskeletal disorders.
  • Mechanical measurement method is used to measure the range of motion. Such a mechanical measuring method is inconvenient to use by directly measuring the range of motion of a joint using a machine such as a goniometer or an inclinometer, and thus the reliability of the result value is not high.
  • the joint movement range is measured using a technique such as attaching an inertial sensor around the joint or using an optical motion capture device.
  • the measurement of the range of joint movement is mainly used to determine the range of pain of the subject, but it is not appropriate to record the presence of pain naturally in the joint movement situation.
  • a measurement method of asking a patient after stopping at a specific location may be used. This method is not only reliable but also distorted by the joint movement itself. Joint motion cannot be measured. For example, if it is necessary to measure a section where pain is present during walking, the patient cannot be asked to stop in the middle of walking, and even if it stops at the beginning of pain, it cannot be a measure of the patient's original walking. .
  • Joint motion range test is the most basic test in oriental rehabilitation or orthopedics. However, most of the cases still depend on the eyes of doctors, and it is common to require expensive marker type motion capture equipment to obtain accurate data. However, even if such expensive equipment is used, the presence of pain cannot be confirmed.
  • an auxiliary computing device may include a processor configured to track a range of joint movement from an input image, an identifier configured to analyze a facial expression corresponding to the tracked range of joint movement, and the tracked joint movement according to the analyzed facial expression. It includes a calculation unit for calculating the pain interval of the range.
  • the predetermined pattern is recorded and maintained in a database, which is trained using facial expression images measured from the subject.
  • the identification unit analyzes at least one reference expression collected from the subject and a facial expression corresponding to the tracked range of motion of the joint before calculating the pain interval.
  • At least one reference expression collected from the subject includes a facial expression image in a neutral state (neutral), the identification unit in comparison with the reference facial expression that the analyzed facial expression differs by more than a threshold value Identifying the time point, the calculator calculates the identified time point as the start position of the pain interval.
  • the identification unit may determine whether a predetermined pattern and the facial expression coincide with a threshold value or more, and the calculation unit is a joint position when the predetermined pattern and the facial expression coincide with a threshold value or more. Is calculated as the start position of the pain section.
  • the identification unit detects a change of a threshold or more for a specific pattern of voice collected from a subject, and the calculator calculates a time point at which the voice pattern is detected as a start position of the pain section.
  • the identification unit analyzes a voice corresponding to the tracked joint movement range
  • the calculation unit includes a pain interval among the tracked joint movement ranges according to the analyzed voice information and the analyzed facial expression. To calculate.
  • the identification unit analyzes a voice corresponding to the tracked joint movement range to identify a voice level
  • the calculator calculates the pain interval according to the identified voice level and the analyzed facial expression. do.
  • the calculator calculates a pain size for the pain section according to the identified voice level.
  • the identification unit may analyze voice corresponding to the tracked joint movement range to identify voice information, and the calculator may calculate the pain interval according to the identified voice information and the analyzed facial expression. do.
  • the calculator calculates a pain size for the pain section according to the identified voice level.
  • an auxiliary computing device includes a processor configured to track a range of joint movement from an input image, an identifier configured to analyze a voice corresponding to the tracked range of joint movement, and the tracked range of joint movement according to the analyzed voice. It includes a calculation unit for calculating the pain interval.
  • the identification unit analyzes the voice to identify a voice level
  • the calculator calculates the pain interval according to the identified voice level and the analyzed facial expression.
  • the calculator calculates a pain size for the pain section according to the identified voice level.
  • the identification unit analyzes the voice to identify voice information, and the calculator calculates the pain interval according to the identified voice information and the analyzed facial expression.
  • the calculator calculates a pain size for the pain section according to the identified voice level.
  • a method of tracking a range of motion of a joint from an input image analyzing a facial expression corresponding to the range of motion of the tracked joint, and pain in the tracked range of motion of the joint according to the analyzed facial expression. Calculating an interval.
  • the analyzing of the facial expressions may include determining whether a predetermined pattern and the facial expression coincide with a threshold value or more, and calculating the pain interval includes: a predetermined pattern and the The joint position in the case where the facial expression coincides more than the threshold value is calculated as the start position of the pain section.
  • the method may further include: tracking a range of motion of the joint from an input image, analyzing a voice corresponding to the range of motion of the tracked joint, and determining a pain interval of the tracked range of motion of the joint according to the analyzed voice. Calculating.
  • the program may include a command set for tracking a range of motion of a joint from an input image, a command set for analyzing a facial expression corresponding to the range of motion of a tracked joint, and the tracked range of motion of a joint according to the analyzed facial expression. Including a set of instructions for calculating the pain interval.
  • 1 is a view for explaining a technique for measuring the range of motion of the joint according to an embodiment.
  • FIG. 2 is a diagram illustrating a computing assistant device according to an exemplary embodiment.
  • 3A, 3B, and 3C illustrate embodiments in which the computing assist device calculates pain intervals in a range of joint movement.
  • 4A and 4B are diagrams for explaining the principle required to calculate the joint movable range.
  • FIG. 5 is a diagram illustrating a method of measuring a range of motion of a joint according to an exemplary embodiment.
  • FIG. 6 is a view for explaining a method of measuring the range of joint motion according to another embodiment.
  • Embodiments according to the inventive concept may be variously modified and have various forms, so embodiments are illustrated in the drawings and described in detail herein. However, this is not intended to limit the embodiments in accordance with the concept of the present invention to specific embodiments, and includes modifications, equivalents, or substitutes included in the spirit and scope of the present invention.
  • first or second may be used to describe various components, but the components should not be limited by the terms. The terms are only for the purpose of distinguishing one component from another component, for example, without departing from the scope of the rights according to the inventive concept, the first component may be called a second component, Similarly, the second component may also be referred to as the first component.
  • 1 is a view for explaining a technique for measuring the range of motion of the joint according to an embodiment.
  • marker-type motion capture data is difficult to use in general clinical due to expensive equipment price.
  • the technique for measuring the range of motion of the joints described in the present invention is advantageous to enter the market in view of the equipment price side than the conventional marker type motion capture method.
  • the apparatus for measuring the range of motion of the joints is based on markerless motion capture without any restraints attached to the body of the subject 110. Specifically, the device for measuring the range of motion of the joint calculates the information on the section in which the subject 110 feels pain in synchronization with the measurement.
  • the facial expression or speech information may be utilized. Therefore, the present invention does not require a separate device for restraining the body to ensure the reliability of the test, it is possible to utilize the existing method of testing the range of joint movement.
  • the measurement can be performed with little effect on the results of the original joint movement range measurement.
  • the device since the device according to an embodiment utilizes a markerless motion capture method and facial expression or speech information, the subject 110 does not use a measurement protocol that may wear additional equipment for measurement or affect joint motion. It is possible to measure the range of joint movement with pain information synchronized.
  • the device according to an embodiment may utilize the size of the facial expression change or the size of the vocalization as the size of the pain felt by the subject 110.
  • the subject 110 may be required to adjust the size of the facial expression or vocalization in proportion to the size of the pain felt during the measurement.
  • the present invention can measure the joint angle and pain presence or intensity every frame (frame) in the operating time interval.
  • the term 'measurement' refers to tracking within a joint motion time interval.
  • the device may include at least one or more cameras 120, 2D camera, 3D camera may be included.
  • At least one or more cameras 120 may be prepared for use for face (head) measurement and body measurement of the subject 110. If a plurality of cameras are used, synchronization between the cameras 120 is required.
  • the camera for face (head) measurement can focus on the area around the face for the purpose of facial expression analysis, head angle monitoring (measuring cervical joint movement range).
  • the at least one or more cameras 120 may include a plurality of cameras capable of photographing a body part for measuring an arm and leg joint range.
  • facial expression analysis may be performed on the face area while photographing the whole body with one camera.
  • shoulder joint range and facial expression analysis may be performed on the same video input.
  • the microphone 130 is synchronized with at least one camera 120 to convert a voice (a person's groan, speech, a specific word) signal into an electrical signal. Accordingly, the device may calculate the presence or absence of pain, pain interval, etc. by analyzing the converted signal.
  • the device may recognize facial expressions such as mouth opening or frowning of the subject, and determine whether there is pain present based on the facial expression.
  • the presence or absence of pain may be determined by considering the expression and the voice together.
  • the subject 110 may actively make a facial expression (excessive eye distortion, lip opening, etc.), and when there is no pain, the subject 110 may make a negative expression or stop talking.
  • test subject 110 may adjust the intensity of expression and the size of vocalization in proportion to the degree of pain.
  • FIG. 2 is a diagram illustrating an example of a computing assisting device 200 according to an exemplary embodiment.
  • the computing assisting device 200 may recognize a facial expression such as mouth opening or frown and a subject's voice, and determine whether there is pain.
  • the present invention is divided into a technique for calculating a pain interval through facial expression of a subject, a technique for calculating a pain interval in consideration of facial expression and voice, and a technique for calculating a pain interval using only voice.
  • the computing assisting apparatus 200 includes a processor 210, an identifier 220, and a calculator 230.
  • the processor 210 tracks a joint movement range from an input image.
  • shoulder joint, elbow joint, wrist joint, thumb joint, hip joint, knee joint, metatarsal joint, limb joint, proximal phalanx joint, and spine can be measured according to predetermined criteria.
  • the spine can measure the range of motion by bending the body forward at the neutral position to measure the forearm angle, or by tilting the body backwards to measure the degree of flexion.
  • the normal value of the spinal angle of the back of the spine is set to 90 degrees
  • the normal value of the lateral angle and left and right rotation angle is set to 30 degrees.
  • the processor 210 measures a range of motion of the joint according to the notification of the date of health welfare from an input image photographing the motion of the joint using at least one camera.
  • the processor 210 may measure the angle of the joint of interest with respect to time in an input image collected by using a 2D camera or a 3D camera.
  • the processor 210 may measure the range of joint movement through image analysis for marker recognition. .
  • the processor 210 may execute tracking of a skeleton of a body from an input image photographed using a 3D camera such as Kinect. For example, the processor 210 may track the angle information of the skeleton and utilize it as a joint movement range measurement.
  • the identification unit 220 analyzes a facial expression corresponding to the range of motion of the joint to be tracked.
  • the identification unit 220 may analyze a subject's facial expression through image analysis. For example, the identification unit 220 may distinguish whether the subject's expression is expressionless or pain expression.
  • the identification unit 220 may utilize an active appearance model (AAM).
  • AAM active appearance model
  • the coordinates of the main landmark feature points of the face can be obtained, and feature point tracking can be performed for each frame.
  • the identification unit 220 may first define a neutral expression.
  • the identification unit 220 may determine the facial expression of the subject by using a neutral expression as a reference expression.
  • the neutral facial expression may use a predetermined value or may use an image photographed by requesting a neutral facial expression from a subject.
  • the calculator 230 calculates a pain section of the tracked joint movement range according to the analyzed facial expression. For example, the calculator 230 may calculate the joint position when the predetermined pattern and the facial expression coincide with the threshold value or more as the start position of the pain section.
  • This embodiment requires a process of reading a painful facial expression pattern from an instrumented database, and does not require acquiring a facial expression of a subject in advance in order to determine a pain interval.
  • the predetermined pattern is information recorded and maintained in a database, and may be interpreted as information extracted from an image of a facial expression measured from a plurality of subjects.
  • a pattern is formed from feature points extracted from facial expressions when the subjects begin to feel pain, and the patterns thus generated can be recorded and maintained in a database.
  • the calculator 230 may determine whether the current subject begins to feel pain by comparing the pattern recorded and maintained with the facial expression of the current subject with reference to the database.
  • the predetermined pattern is information extracted from images of facial expressions measured from a plurality of subjects, and patterns are formed from feature points extracted from facial expressions when the subjects are not feeling pain, that is, neutral facial expressions.
  • the patterns thus generated can be recorded and maintained in a database.
  • the calculator 230 may compare the pattern recorded and maintained with the current facial expression of the current subject with reference to the database, and determine that the current subject is in a state before feeling pain.
  • the database may be trained using facial expression images measured from the subject, so that the accuracy of the measurement result may be improved as the training is repeated.
  • the identification unit 220 may analyze by comparing the facial expression corresponding to the at least one reference expression collected from the subject and the range of the joint movement to be tracked before calculating the pain interval.
  • This embodiment does not require a process of reading the painful facial expression pattern from the instrumented database. That is, in order to determine the pain interval, the subject's facial expression may be acquired in advance, and the pain interval of the subject may be calculated using the subject's facial expression.
  • the at least one reference facial expression collected from the subject may include a facial expression image in a neutral state or a facial expression image in a painful state. If the reference facial expression is a facial expression image in a neutral state, the identification unit 220 identifies a time point at which the facial expressions analyzed for the reference facial expression differ by more than a threshold value, and the calculation unit 230. May be calculated as the start position of the pain interval.
  • the identification unit 220 may determine whether the predetermined pattern maintained in the database and the current subject's facial expression match the threshold value or more, and compare the reference expression collected from the subject with the current facial expression of the subject. It can be determined whether they match.
  • the identification unit 220 may calculate how far the face deviates from the neutral expression by calculating a change in the position of the facial landmark feature point in the neutral expression.
  • Neutral facial expressions can be determined by learning from various facial expression databases.
  • the subject may be used to have a neutral expression before the experiment.
  • facial expression in case of pain can also be learned from the facial expression database, and subjects can make and use facial expressions in case of pain before the experiment.
  • the subject is asked to make a facial expression during pain to calculate the position change value of the feature points corresponding to the neutral facial expression, and the identification unit 220 uses this to distinguish the neutral facial expression from the facial expression at pain. It is also possible to set a threshold for.
  • the extreme pain expression may be made, and the identification unit 220 may estimate the pain intensity by linearly estimating the position change value of the feature point corresponding to each expression.
  • the identification unit 220 may set the threshold and linearly estimate the pain intensity when the position of the eye point of the facial expression of the neutral facial expression and the maximum pain is 5 pixels. In addition, the identification unit 220 may estimate the neutral state when the position change of the eye point is less than 2 pixels. The identification unit 220 may use a standard deviation of feature point position change by measuring a plurality of neutral expressions.
  • the identification unit 220 may distinguish the size of the pain in stages. For example, it is possible to distinguish between small, medium, and small pain sizes by distinguishing the case where the position of the eye point is 3 pixels, 4 pixels, or 5 pixels.
  • the coordinates of the two feature points of the object to be compared are normalized by appropriate methods.
  • the coordinates may be normalized by using the average of the coordinates of all the feature points or by using the coordinates of the feature points (such as the nose center or the center of the cranial center) whose positions have not changed.
  • the calculator 230 may calculate a pain section according to the analyzed facial expressions.
  • the secondary computing device 200 may utilize voice along with facial expressions of the subject.
  • the auxiliary computing device 200 includes a processor 210 for tracking a range of joint movement from an input image, an identifier 220 for analyzing a facial expression corresponding to the tracked range of joint movement, and an analysis. It may include a calculation unit 230 for calculating the pain interval of the tracked joint movement range according to the facial expression.
  • the identification unit 220 further analyzes a voice corresponding to the range of motion of the joint to be tracked, and the calculation unit 230 calculates a pain interval among the range of motion of the tracked joint using the analyzed voice and the analyzed facial expression. can do. For example, the identification unit 220 determines whether the predetermined pattern and the facial expression match the threshold or more, and the calculation unit 230 matches the predetermined pattern and the facial expression or the threshold or more, and analyzes the reference voice. The joint position when the negative voice coincides with the threshold value or more may be calculated as the start position of the pain section.
  • the identification unit 220 may identify a voice level by analyzing a voice corresponding to the tracked joint movement range for voice analysis. That is, the identification unit 220 may identify the size of the voice in consideration of the decibel or amplitude that can be measured from the voice, and the calculation unit 230 may calculate the pain interval according to the voice level and the analyzed facial expression. .
  • the identification unit 220 may identify the voice information by analyzing the voice corresponding to the tracked joint movement range for voice analysis. Specifically, the voice information may be interpreted as a meaningful voice such as a word, for example, 'one', 'yi', and 'three'.
  • the calculator 230 may calculate a pain section according to the analyzed voice information and the analyzed facial expression.
  • the secondary computing device 200 may utilize the subject's voice (or speech) to calculate a pain interval.
  • Auxiliary computing device 200 is a processor 210 for tracking the range of motion of the joint from the input image, identification unit 220 for analyzing the voice corresponding to the range of motion of the joint movement, according to the analyzed voice It may include a calculation unit 230 for calculating the pain interval of the tracked joint movement range.
  • the identification unit 220 may identify a voice level by analyzing a voice corresponding to the tracked joint movement range for voice analysis. That is, the identification unit 220 may identify the size of the voice in consideration of the decibels or amplitudes that can be measured from the voice, and the calculator 230 may calculate the pain interval according to the voice level.
  • the auxiliary computing device 200 may calculate a pain interval by a subject uttering a voice having a predetermined size and detecting a change in the size of the voice that is spoken.
  • the identification unit 220 may detect a change of the threshold value or more for a specific pattern of voice collected from the subject while the subject is uttering a certain size of voice, and the calculation unit 230 may determine that the voice pattern is The detected time point may be calculated as a start position of the pain section. For example, while the subject is uttering a voice of a certain size, pain may reduce the size of the voice above a threshold value or generate a high frequency of a specific frequency band, and the identification unit 220 may detect a pattern at this time. have.
  • the identification unit 220 may identify the voice information by analyzing the voice corresponding to the tracked joint movement range for voice analysis. Specifically, the voice information may be interpreted as a meaningful voice such as a word, for example, 'one', 'yi', and 'three'.
  • the calculator 230 may calculate a pain section according to the analyzed voice information.
  • 3A, 3B, and 3C illustrate embodiments in which the computing assist device calculates pain intervals in a range of joint movement.
  • FIG. 3A an example of shoulder impingement is shown.
  • the subject moves the arm in a semicircle from the bottom to the top, and at this time, the leg side may be divided by 0 degrees and the head 180 degrees to express the rotation angle.
  • the 0 to 70 degrees section and the 120 to 180 degrees section correspond to a section in which the subject does not feel pain
  • the 70 to 120 degrees section corresponds to a section in which the subject feels pain
  • FIG. 3B corresponds to an embodiment of calculating a pain interval in a range of joint movement through a computing assist device for the situation of FIG. 3A.
  • Reference numeral 310 is a graphical representation of the angle with time for the subject to move the arm from 0 degrees to 180 degrees and then back to 180 degrees to 0 degrees.
  • the middle peak corresponds to 180 degrees.
  • the subject may grimace or utter a facial expression in the section identified by reference numeral 320 while raising the arm and in the section identified by reference numeral 330 while lowering the arm.
  • section identified by reference numeral 320 and the section identified by reference numeral 330 may be interpreted as a section in which the subject feels pain (painful arc), which corresponds to a section of 70 to 120 degrees in FIG. 3A.
  • the computing assistant device may analyze a change in the facial expression 340 of the subject or may analyze the voice 350.
  • the computing assist device may calculate the corresponding section as a pain section.
  • 3C corresponds to an embodiment 360 in which a right leg is set as a region of interest among a region of interest (joints) of a subject and a pain section is measured with respect to the set region of interest.
  • Reference numeral 370 is a graph representing the degree of movement of the joint according to the movement of the subject, specifically, reference numeral 372 represents the movement of the subject's right leg when moving.
  • the computing assist device may analyze the change in the facial expression of the subject or analyze the voice 350 as shown by reference numeral 380. In addition, by checking the movement angle of the right leg at a time when the subject's facial expression is greatly changed or when the voice is greatly changed, it may be confirmed that the subject is feeling pain at the movement angle. Therefore, the computing assist device may calculate the corresponding section as a pain section.
  • the computing assist device may be installed in a smart phone in the form of an application, and may be utilized by various individuals as well as medical.
  • the computing aid may be utilized for stretching during yoga or gymnastics. That is, the computing assist device may recognize facial expressions, voices, and the like of the subject, and measure at which point in time the pain is felt during stretching. Accordingly, the subject may conveniently measure the exercise effect or the degree of flexibility during yoga or gymnastics through his smartphone.
  • the computing assistant may transmit such numerically measured data to the outside of the network.
  • a subject being treated for fifty dogs may transmit the degree of arm movement along the stretch to the doctor's smartphone or the hospital's system to which the doctor belongs.
  • stretching physiotherapy is required every day, which not only helps the treatment, but also transmits the measurement results and receives the feedback from the attending physician for efficient treatment.
  • 4A is a diagram for explaining the principle required to calculate the joint movable range.
  • the computing assist device may measure the angle of the cervical spine joint by tracking a head from an input image generated using a 2D camera or a 3D camera.
  • a computing aid device may assume the head as a geometric model such as a cylinder or an ellipsoid and measure the angle of the cervical spine by tracking the yaw, pitch, and roll angles of the geometric model. have.
  • 4A corresponds to an embodiment when using a cylinder model.
  • the subject's cervical spine is correctly positioned in the image, and the computing assisting device according to the exemplary embodiment sets the feature point 410 at the corresponding position by setting the yaw, pitch, and roll angles to 0 degrees. Can be set.
  • the cylinder may move as indicated by reference numeral 430 at 420.
  • the computing assist device may find corresponding points in two adjacent frame images, and calculate a change amount of yaw, pitch, and roll identified from reference numeral 440 using the matching pair. .
  • FIG. 4B illustrates an embodiment in which the head movement of an actual subject is tracked using the embodiment described in FIG. 4A.
  • the head of the subject corresponding to the position 450 may be represented by the cylinder region 451.
  • the amount of change in yaw, pitch, and roll can be calculated and represented by the cylinder region 461.
  • FIG. 5 is a diagram illustrating a method of measuring a range of motion of a joint according to an exemplary embodiment.
  • the method of measuring the range of motion of the joint may track the range of motion of the joint from the input image (step 501).
  • the range of motion of the joint may be measured based on the notice of the Ministry of Health and Welfare of July 27, 2011.
  • the range of joint motion to track may include shoulder joints, elbow joints, wrist joints, thumb joints, hip joints, knee joints, metatarsal joints, limb joints, proximal phalanx joints, spine, and the like.
  • the method of measuring the range of motion of the joint analyzes the voice corresponding to the range of motion of the joint being tracked (step 502).
  • a method of measuring a range of motion of a joint may identify voice levels by analyzing voice corresponding to a range of motion of a joint to be tracked for voice analysis. For example, the loudness of the voice may be identified in consideration of decibels and amplitudes that can be measured from the voice.
  • the method for measuring the range of motion of the joint may identify voice information by analyzing voice corresponding to the range of motion of the tracked motion for voice analysis.
  • the voice information may be interpreted as a meaningful voice such as a word, for example, 'one', 'yi', and 'three'.
  • the method for measuring the range of motion of the joint calculates the pain interval of the tracked range of motion according to the analyzed voice (step 503).
  • the pain interval may be calculated according to the voice level in step 503. If the voice information is identified in step 502, the pain section may be calculated according to the voice information in step 503.
  • FIG. 6 is a view for explaining a method of measuring the range of joint motion according to another embodiment.
  • a method of measuring a range of joint motion tracks a range of motion of a joint from an input image (step 601).
  • the range of motion of the joint may be measured based on the notice of the Ministry of Health and Welfare dated July 27, 2011.
  • the range of joint motion to track may include shoulder joints, elbow joints, wrist joints, thumb joints, hip joints, knee joints, metatarsal joints, limb joints, proximal phalanx joints, spine, and the like.
  • a method of measuring a range of motion of a joint analyzes a facial expression corresponding to the range of motion of a joint to be tracked (step 602).
  • the method may determine whether a predetermined pattern and the facial expression match a threshold or more. For example, a change in the position of the facial landmark feature point in the neutral facial expression may be calculated to calculate how far away the neutral facial expression is from the neutral facial expression.
  • the neutral expression may be determined by learning from various facial expression databases.
  • the subject may be used to have a neutral expression before the experiment.
  • the method for measuring a range of motion of a joint calculates pain intervals of tracked range of motion of joints according to the analyzed facial expressions (step 603).
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments are, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable gate arrays (FPGAs).
  • ALUs arithmetic logic units
  • FPGAs field programmable gate arrays
  • PLU programmable logic unit
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

본 발명은 마커리스 모션 캡쳐에 기반하여 관절가동범위의 측정에 있어서 피험자가 통증을 느끼는 구간에 대한 정보를 산출하는 기술적 사상에 관한 것으로서, 일실시예에 따른 장치는 입력영상으로부터 관절 가동 범위를 추적하는 처리부, 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 식별부, 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부를 포함한다.

Description

관절 가동 범위를 측정하는 장치 및 방법
마커리스 모션 캡쳐에 기반하여 관절가동범위의 측정에 있어서 피험자가 통증을 느끼는 구간에 대한 정보를 산출하는 기술적 사상에 관한 것이다.
관절가동범위는 근골격계 질환을 진단, 평가하는데 중요한 척도이다.
관절가동범위의 측정을 위해서는 기계식 측정방법을 이용하고 있다. 이러한 기계식 측정방법은 측각기나 경사계 등의 기계를 이용해서 관절의 가동범위를 직접 측정하는 점에서 사용이 불편하고 이로 인해 결과값의 신뢰가 높지 않다.
최근에는 기계식 측정을 대신하여, 관성센서를 관절 주위에 부착하거나, 광학식 모션 캡쳐 장치를 활용하는 등의 기술을 활용하여 관절가동범위를 측정하는 추세이다.
관절가동범위의 측정은 주로 피험자의 통증이 존재하는 범위를 알아보기 위해 사용되지만, 아직까지 통증의 유무를 관절가동상황에서 자연스럽게 기록하는 방법이 마땅치 않은 실정이다.
통증이 존재하는 위치의 시작 구간 등을 알기 위해서 특정위치에서 정지한 후 환자에게 질문하는 형태의 측정 방식이 사용될 수도 있는데, 이러한 방식은 신뢰성이 떨어질 뿐만 아니라 관절운동자체가 왜곡되기 때문에 검사 본연의 목적인 관절가동을 측정할 수 없다. 일예로 보행 중 통증이 존재하는 구간에 대한 측정이 필요하다고 하면 환자에게 보행중간에 멈춰보라는 식의 요구를 할 수 없고, 통증시작부분에서 멈춘다 하더라도 이는 환자의 원래 보행에 대한 측정이 될 수 없다.
관절가동범위 검사는 한의재활이나 정형외과 등에서 가장 기본적인 검사이다. 하지만 아직까지 대부분의 경우에는 의사의 눈으로 의존하는 실정이며, 정확한 데이터를 얻기 위해 고가의 마커타입 모션캡쳐 장비가 필요한 것이 일반적이다. 그러나, 이러한 고가의 장비를 사용하더라도, 통증 유무에 대해서는 확인할 수 없는 실정이다.
일실시예에 따른 보조 컴퓨팅 장치는 입력영상으로부터 관절 가동 범위를 추적하는 처리부, 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 식별부, 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부를 포함한다.
일실시예에 따른 미리 지정된 패턴은 데이터베이스에 기록 및 유지되고, 상기 데이터베이스는 피험자로부터 측정되는 얼굴 표정 이미지를 이용해서 트래이닝(training)된다.
일실시예에 따른 식별부는, 통증구간의 산출 이전, 피험자로부터 수집된 적어도 하나 이상의 기준 표정과 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 대비하여 분석한다.
일실시예에 따른 상기 피험자로부터 수집된 적어도 하나 이상의 기준 표정은 중립적인(neutral) 상태에서의 표정 이미지를 포함하고, 상기 식별부는 상기 기준 표정에 대비하여 상기 분석되는 얼굴 표정이 임계값 이상 차이나는 시점을 식별하며, 상기 산출부는, 상기 식별된 시점을 통증구간의 시작 위치로 산출한다.
일실시예에 따른 상기 식별부는, 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하고, 상기 산출부는, 상기 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 상기 통증구간의 시작 위치로 산출한다.
일실시예에 따른 상기 식별부는, 피험자로부터 수집되는 특정 패턴의 음성에 대해 임계값 이상의 변화를 감지하고, 상기 산출부는, 상기 음성 패턴이 감지된 시점을 상기 통증구간의 시작 위치로 산출한다.
일실시예에 따른 상기 식별부는, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하고, 상기 산출부는, 상기 분석된 음성 정보 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중에서, 통증구간을 산출한다.
일실시예에 따른 상기 식별부는, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별하고, 상기 산출부는, 상기 식별된 음성 레벨 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출한다.
일실시예에 따른 상기 산출부는, 상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출한다.
일실시예에 따른 상기 식별부는, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별하고, 상기 산출부는, 상기 식별된 음성 정보 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출한다.
일실시예에 따른 상기 산출부는, 상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출한다.
일실시예에 따른 보조 컴퓨팅 장치는 입력영상으로부터 관절 가동 범위를 추적하는 처리부, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 식별부, 및 상기 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부를 포함한다.
일실시예에 따른 상기 식별부는, 상기 음성을 분석하여 음성 레벨을 식별하고, 상기 산출부는, 상기 식별된 음성 레벨 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출한다.
일실시예에 따른 상기 산출부는, 상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출한다.
일실시예에 따른 상기 식별부는, 상기 음성을 분석하여 음성 정보를 식별하고, 상기 산출부는, 상기 식별된 음성 정보 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출한다.
일실시예에 따른 상기 산출부는, 상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출한다.
일실시예에 따른 방법은 입력영상으로부터 관절 가동 범위를 추적하는 단계, 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 단계, 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 단계를 포함한다.
일실시예에 따른 상기 얼굴 표정을 분석하는 단계는, 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하는 단계를 포함하고, 상기 통증구간을 산출하는 단계는, 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 상기 통증구간의 시작 위치로 산출한다.
일실시예에 따른 방법은 입력영상으로부터 관절 가동 범위를 추적하는 단계, 상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 단계, 및 상기 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 단계를 포함한다.
일실시예에 따른 프로그램은 입력영상으로부터 관절 가동 범위를 추적하는 명령어 세트, 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 명령어 세트, 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 명령어 세트를 포함한다.
도 1은 일실시예에 따른 관절 가동 범위를 측정하는 기술을 설명하는 도면이다.
도 2는 일실시예에 따른 컴퓨팅 보조 장치를 설명하는 도면이다.
도 3a, 도 3b 및 도 3c는 컴퓨팅 보조 장치가 관절 가동 범위 중 통증구간을 산출하는 실시예를 설명한다.
도 4a 및 도 4b는 관절 가동 범위를 산출하는데 필요한 원리를 설명하는 도면이다.
도 5는 일실시예에 따른 관절 가동 범위를 측정하는 방법을 설명하는 도면이다.
도 6은 다른 일실시예에 따른 관절 가동 범위를 측정하는 방법을 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 관절 가동 범위를 측정하는 기술을 설명하는 도면이다.
일반적으로 마커타입의 모션캡쳐 데이터는 고가의 장비 가격으로 인해 일반 임상에서 쉽게 활용되기 어렵다. 본 발명에서 설명하는 관절 가동 범위를 측정하는 기술은 기존 마커타입 모션캡쳐 방식보다 장비 가격 측면을 고려할 때 시장 진입에 유리하다.
일실시예에 따른 관절 가동 범위를 측정하는 장치는 피험자(110)의 몸에 어떠한 구속장치도 부착하지 않은 마커리스 모션 캡쳐에 기반한다. 구체적으로, 관절 가동 범위를 측정하는 장치는 피험자(110)가 통증을 느끼는 구간에 대한 정보를 측정과 동기화하여 산출한다.
특히, 관절가동 중 통증의 표현을 위한 불필요한 동작을 최소화하기 위해서 얼굴 표정 또는 발성 유무 정보를 활용할 수 있다. 따라서, 본 발명은 신체를 구속하는 별도의 장치가 불필요하여 검사의 신뢰성이 보장되며, 기존 관절가동범위 검사 방법을 그대로 활용할 수 있다.
예를 들어, 어깨 관절가동범위 측정시 피험자(110)가 통증의 유무를 알리기 위해서 표정이나 발성을 활용하면 원래 관절가동범위 측정의 결과에 영향을 거의 주지 않고 측정이 가능하다.
일실시예에 따른 장치는 마커리스 모션 캡쳐 방법과 얼굴 표정이나 발성 정보를 활용하기 때문에, 피험자(110)가 측정을 위한 부가적인 장비를 착용하거나 관절 움직임에 영향을 줄 수 있는 측정 프로토콜을 사용하지 않고 통증정보가 동기화된 관절가동범위 측정이 가능하다.
또한, 일실시예에 따른 장치는 얼굴 표정 변화의 크기나 발성의 크기를 피험자(110)가 느끼는 통증의 크기로 활용할 수 있다. 이를 위해, 측정 시 피험자(110)에게 느끼는 통증의 크기에 비례하여 표정 혹은 발성의 크기를 조절하도록 요구할 수도 있다.
본 발명은 동작 시간 구간 안에서 매 샘플(frame)마다 관절각도 및 통증 유무 또는 강도를 측정할 수 있다.
본 명세서에서 사용되는 '측정'이라 함은 관절 동작 시간 구간 안에서의 추적(tracking)을 의미한다.
보다 구체적인 실시예로, 일실시예에 따른 장치는 적어도 하나 이상의 카메라(120)를 포함할 수 있고, 이 중에서는 2D 카메라, 3D 카메라가 포함될 수도 있다.
적어도 하나 이상의 카메라(120)는 피험자(110)의 얼굴(헤드) 측정용과 신체 측정용으로 활용하기 위해 여러 대가 준비될 수 있다. 만약, 다수의 카메라를 활용하는 경우 카메라(120)간에 동기화 필요하다.
얼굴(헤드) 측정용 카메라는 얼굴 표정 분석, 헤드각도 모니터링(경추관절 가동 범위의 측정) 등의 목적으로 얼굴 주변 영역에 포커스 할 수 있다. 또한, 적어도 하나 이상의 카메라(120)는 팔, 다리 등 관절가동범위 측정을 위한 신체 부분을 촬영할 수 있는 다수의 카메라를 포함할 수 있다.
일례로, 1대의 카메라로 전신을 촬영하면서 얼굴 영역에 대해서 얼굴 표정 분석을 할 수도 있다. 예를 들어, 동일한 비디오 입력에서 어깨 관절가동범위 측정 및 얼굴 표정 분석을 할 수도 있다.
마이크(130)는 적어도 하나 이상의 카메라(120)와 동기화 되어서 음성(사람의 신음, 발성, 특정 단어) 신호를 전기 신호로 변환한다. 이에 장치는 변환된 신호를 분석하여 통증의 존재 유무, 통증구간 등을 산출할 수 있다.
예를 들어, 장치는 피험자의 입벌어짐이나 눈 찌푸림과 같은 얼굴 표정을 인식하고, 이를 기반으로 통증 존재 유무를 판단할 수도 있다. 또한, 표정 및 음성을 함께 고려하여 통증 존재 유무을 판단할 수도 있다.
보다 구체적으로, 피험자(110)에게 통증이 있으면 적극적으로 얼굴 표정(과도한 눈 찡그림, 입술 개방 등)을 짓도록 하고, 통증이 없으면 무표정(neutral)을 짓거나, 발성을 중지 할 수 있다.
또한, 피험자(110)는 통증의 정도에 비례하여 표정의 강도, 발성의 크기를 조절할 수 있다.
도 2는 일실시예에 따른 컴퓨팅 보조 장치(200)를 설명하는 도면이다.
일실시예에 따른 컴퓨팅 보조 장치(200)는 피험자의 입벌어짐이나 눈 찌푸림과 같은 얼굴 표정이나 피험자의 음성을 인식하고, 이를 기반으로 통증 존재 유무를 판단할 수 있다.
이하의 실시예에서는 피험자의 얼굴표정을 통해 통증구간을 산출하는 기술, 얼굴표정과 음성을 함께 고려하여 통증구간을 산출하는 기술, 그리고 음성만을 이용하여 통증구간을 산출하는 기술을 구분하여 본 발명을 설명한다.
<얼굴표정을 통해 통증구간을 산출하는 실시예>
이를 위해, 일실시예에 따른 컴퓨팅 보조 장치(200)는 처리부(210), 식별부(220), 산출부(230)를 포함한다.
일실시예에 따른 처리부(210)는 입력영상으로부터 관절 가동 범위를 추적한다.
관절 가동 범위는 2011년7월27일자 보건복지부고시에 기반하는 것으로서, 신체의 각도 측정의 일반원칙에 따른다.
관절 가동 범위에는 어깨관절, 팔꿈치관절, 손목관절, 엄지손가락 관절, 고관절, 무릎관절, 중족지절관절, 지관절, 근위지절관절, 척추 등을 미리 지정된 기준에 따라 측정할 수 있다.
예를 들어, 척추는 중립위의 위치에서 몸을 앞으로 굽혀서 전굴각을 측정하거나, 몸을 뒤로 젖혀서 후굴각을 측정하는 방법으로 관절 가동 범위를 측정할 수 있다. 또한, 중립위에서 제5요추극돌기를 기준으로 좌우로 몸을 굽혀 측굴각을 측정할 수 있고, 중립위에서 골반을 잡아 움직이지 않게 하고 좌우로 몸을 비틀어 몸통이 돌아간 좌우회전각을 측정할 수 있다.
상기 일자 보건복지부고시에 따른 척추의 전굴각의 정상치는 90도, 후굴각의 정상치는 30도, 측굴각 및 좌우회전각의 정상치는 30도로 책정한다.
일실시예에 따른 처리부(210)는 적어도 하나 이상의 카메라를 이용하여 관절의 움직임을 촬영한 입력영상으로부터 상기 일자 보건복지부고시에 따른 관절 가동 범위를 측정한다.
일실시예에 따른 처리부(210)는 2D 카메라 또는 3D 카메라를 이용하여 수집한 입력영상에서 관심 관절의 각도를 시간에 대해서 추적(tracking)함으로써, 측정할 수 있다.
측면으로 특정 평면을 정하고 엘이디 등의 액티브 마커(active marker)를 주요 관절 부위에 붙인 경우에 대해, 일실시예에 따른 처리부(210)는 마커 인식을 위한 영상분석을 통하여 관절가동범위 측정이 가능하다. 또한, 패시브 컬러 마커(passive color marker)를 주요 관절 부위에 붙인 경우에 대해 2D 영상 분석을 통하여 관절가동범위 측정 가능하다.
일실시예에 따른 처리부(210)는 키넥트와 같은 3D 카메라를 이용하여 촬영된 입력영상으로부터 신체의 뼈대 추적(tracking)을 실행할 수 있다. 예를 들어, 처리부(210)는 뼈대의 각도 정보를 추적하여 관절가동범위 측정치로 활용할 수 있다.
입력영상으로부터 관절 가동 범위를 측정하는 기술은 이하 도 4a 및 도 4b를 통해 상세히 설명한다.
일실시예에 따른 식별부(220)는 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석한다.
일실시예에 따른 식별부(220)는 영상분석을 통해 피험자의 얼굴 표정을 분석할 수 있다. 예를 들어, 식별부(220)는 피험자의 표정이 무표정인지 통증표현인지를 구분할 수 있다.
얼굴 표정 분석을 위해, 식별부(220)는 AAM(active appearance model)을 활용할 수 있다. AAM의 결과는 얼굴의 주요 랜드마크 특징점의 좌표를 얻을 수 있는데, 매 프레임에 대해서 특징점 추적을 실시할 수 있다.
이를 위해, 식별부(220)는 중립적인(Neutral) 표정에 대해 먼저 정의할 수 있다.
식별부(220)는 중립적인(Neutral) 표정을 기준 표정으로 활용하여 피험자의 얼굴 표정을 판단할 수 있다. 이때, 중립적인(Neutral) 표정은 미리 지정된 값을 활용할 수도 있고, 피험자로부터 중립적인 표정을 요청하여 촬영한 영상을 활용할 수도 있다.
일실시예에 따른 산출부(230)는 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출한다. 예를 들어, 산출부(230)는 미리 지정된 패턴과 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 통증구간의 시작 위치로 산출할 수 있다. 이 실시예는 통증을 느끼는 표정의 패턴을 기구축된 데이터베이스로부터 독출하는 과정이 필요하고, 통증구간의 판단을 위해 사전에 피험자의 얼굴 표정을 취득할 필요 없다.
구체적으로, 미리 지정된 패턴은 데이터베이스에 기록 및 유지되는 정보로서, 다수의 피험자들로부터 측정된 얼굴 표정의 이미지로부터 추출되는 정보로 해석될 수 있다. 예를 들어, 피험자들이 통증을 느끼기 시작할 때의 표정으로부터 추출되는 특징점들로부터 패턴이 형성되고, 이렇게 생성된 패턴들이 데이터베이스에 기록 및 유지될 수 있다. 이후, 산출부(230)는 데이터베이스를 참조하여 기록 및 유지되는 패턴과 현재 피험자의 얼굴 표정을 비교하여 현재 피험자가 통증을 느끼기 시작했는지를 판단할 수 있다.
미리 지정된 패턴은 다수의 피험자들로부터 측정된 얼굴 표정의 이미지로부터 추출되는 정보로서, 피험자들이 아무런 통증을 느끼고 있지 않을 때의 표정, 즉 중립적인(neutral) 표정으로부터 추출되는 특징점들로부터 패턴이 형성되고, 이렇게 생성된 패턴들이 데이터베이스에 기록 및 유지될 수 있다. 이후, 산출부(230)는 데이터베이스를 참조하여 기록 및 유지되는 패턴과 현재 피험자의 얼굴 표정을 비교하여 현재 피험자가 통증을 느끼기 전의 상태임을 판단할 수 있다.
일례로, 데이터베이스는 피험자로부터 측정되는 얼굴 표정 이미지를 이용해서 트래이닝(training)을 진행 함으로써, 트래이닝이 반복될수록 측정 결과의 정확도가 향상될 수 있다.
한편, 식별부(220)는 통증구간의 산출 이전에 피험자로부터 수집된 수집된 적어도 하나 이상의 기준 표정과 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 대비하여 분석할 수 있다. 이 실시예는 통증을 느끼는 표정의 패턴을 기구축된 데이터베이스로부터 독출하는 과정이 필요하지 않다. 즉, 통증구간의 판단을 위해 사전에 피험자의 얼굴 표정을 취득하고, 이를 활용하여 피험자의 통증 구간을 산출할 수 있다.
일례로, 피험자로부터 수집된 적어도 하나 이상의 기준 표정은 중립적인(neutral) 상태에서의 표정 이미지 또는 통증을 느끼는 상태에서의 표정 이미지를 포함할 수 있다. 만약, 기준 표정이 중립적인(neutral) 상태에서의 표정 이미지인 경우라면, 식별부(220)는 기준 표정에 대비하여 분석되는 얼굴 표정이 임계값 이상 차이나는 시점을 식별하고, 산출부(230)는, 식별된 시점을 통증구간의 시작 위치로 산출할 수 있다.
즉, 식별부(220)는 데이터베이스에 유지되고 있는 미리 지정된 패턴과 현재 피험자의 얼굴 표정이 임계값 이상 일치하는지 여부를 판단할 수 있고, 피험자로부터 수집한 기준 표정과 피험자의 현재 얼굴 표정을 대비하여 일치하는지 여부를 판단할 수 있다.
예를 들어, 식별부(220)는 중립적인(Neutral) 표정에서 얼굴 랜드마크 특징점 위치의 변화를 계산하여 얼굴이 얼마나 중립적인(Neutral) 표정에서 벗어났는지를 계산할 수 있다. 중립적인(Neutral) 표정은 다양한 얼굴 표정 데이터베이스로부터 학습하여 결정할 수 있다. 또한, 피험자에게 실험 전 중립적인(Neutral) 표정을 짓도록 하여 이를 활용할 수도 있다.
또한, 통증시 얼굴 표정도 얼굴 표정 데이터베이스로부터 학습할 수도 있으며, 피험자에게 실험 전 통증 시 표정을 짓도록 하고 이를 활용할 수도 있다.
구체적인 예로, 피험자에게 통증시 표정을 짓도록 하여 중립적인(Neutral) 표정에 상응하는 특징점들의 위치 변화값을 계산하고 식별부(220)는 이를 이용하여 중립적인(Neutral) 표정과 통증시 표정의 구분을 위한 임계값을 설정할 수도 있다.
또한, 가장 극단의 통증 표정을 짓도록 하고 식별부(220)는 각각의 표정에 상응하는 특징점의 위치 변화값을 선형적으로 추정하여 통증의 강도를 추정할 수도 있다.
예를 들면, 식별부(220)는 중립적인(Neutral) 표정과 최대 통증시 표정의 눈꼬리 점의 위치변화가 5 pixel 일 때 임계값 설정 및 선형적으로 통증강도를 추정할 수 있다. 또한, 식별부(220)는 눈꼬리 점의 위치변화가 2 pixel 이하일때는 중립적인 상태로 추정할 수 있다. 식별부(220)는 다수의 중립적인(Neutral) 표정을 측정하여 특징점 위치변화의 표준편차 등을 활용할 수도 있다.
식별부(220)는 통증의 크기를 단계별로 구별할 수도 있다. 예를 들어, 눈꼬리 점의 위치변화가 3pixel, 4pixel, 5 pixel인 경우를 구분하여, 통증크기의 소, 중, 대로 구별할 수 있다.
특징점들의 위치변화를 계산할 때 비교대상의 두 얼굴 특징점 좌표들은 적절한 방법을 통하여 정규화되었다고 가정할 수 있다. 예를 들어, 모든 특징점들의 좌표 평균을 활용하거나, 위치가 변화하지 않은 특징점(코 중심, 또는 미간 중심 등)의 좌표를 이용하여 정규화할 수 있다.
산출부(230)는 분석된 얼굴 표정에 따라 통증구간을 산출할 수 있다.
<얼굴표정과 음성을 함께 고려하여 통증구간을 산출하는 실시예>
일실시예에 따른 보조 컴퓨팅 장치(200)는 피험자의 얼굴표정과 함께 음성을 활용할 수도 있다.
이를 위해, 일실시예에 따른 보조 컴퓨팅 장치(200)는 입력영상으로부터 관절 가동 범위를 추적하는 처리부(210), 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 식별부(220), 및 분석된 얼굴 표정에 따라 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부(230)를 포함할 수 있다.
이때의 식별부(220)는 추적되는 관절 가동 범위에 상응하는 음성을 더 분석하고, 산출부(230)는 분석된 음성과 분석된 얼굴 표정을 이용하여 추적된 관절 가동 범위 중에서, 통증구간을 산출할 수 있다. 예를 들어, 식별부(220)는 미리 지정된 패턴과 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하고, 산출부(230)는 미리 지정된 패턴과 얼굴 표정이 임계값 이상 일치하고, 기준음성과 분석된 음성이 임계값 이상 일치하는 경우에서의 관절 위치를 통증구간의 시작 위치로 산출할 수 있다.
일례로, 식별부(220)는 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별할 수 있다. 즉, 식별부(220)는 음성으로부터 측정 가능한 데시벨이나 진폭 등을 고려하여 음성의 크기를 식별할 수 있고, 산출부(230)는 음성 레벨 및 분석된 얼굴 표정에 따라 통증구간을 산출할 수 있다.
다른 예로, 식별부(220)는 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별할 수 있다. 구체적으로, 음성 정보는 단어, 예를 들어 '일', '이', '삼'과 같이 의미있는 음성으로 해석될 수 있다. 산출부(230)는 분석된 음성 정보 및 분석된 얼굴 표정에 따라 통증구간을 산출할 수 있다.
<음성만을 이용하여 통증구간을 산출하는 실시예>
일실시예에 따른 보조 컴퓨팅 장치(200)는 통증구간을 산출하기 위해 피험자의 음성(또는 발성)을 활용할 수 있다.
이하에서는 피험자의 음성만을 이용하여 통증구간을 산출하는 기술에 대해서 설명한다.
일실시예에 따른 보조 컴퓨팅 장치(200)는 입력영상으로부터 관절 가동 범위를 추적하는 처리부(210), 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 식별부(220), 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부(230)를 포함할 수 있다.
일례로, 식별부(220)는 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별할 수 있다. 즉, 식별부(220)는 음성으로부터 측정 가능한 데시벨이나 진폭 등을 고려하여 음성의 크기를 식별할 수 있고, 산출부(230)는 음성 레벨에 따라 통증구간을 산출할 수 있다.
예를 들어, 보조 컴퓨팅 장치(200)는 피험자가 일정한 크기의 음성을 발성하고, 발성되는 음성의 크기 변화를 감지하여 통증구간을 산출할 수 있다.
이를 위해, 피험자가 일정한 크기의 음성을 발성하는 도중에 식별부(220)는, 피험자로부터 수집되는 특정 패턴의 음성에 대해 임계값 이상의 변화를 감지할 수 있고, 산출부(230)는, 음성 패턴이 감지된 시점을 상기 통증구간의 시작 위치로 산출할 수 있다. 일례로, 피험자가 일정한 크기의 음성을 발성하는 도중 통증으로 인해 음성의 크기가 임계값 이상으로 작아지거나, 특정 주파수 대역 이상의 고음을 발생할 수 있는데, 식별부(220)는 이때의 패턴을 감지할 수 있다.
다른 예로, 식별부(220)는 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별할 수 있다. 구체적으로, 음성 정보는 단어, 예를 들어 '일', '이', '삼'과 같이 의미있는 음성으로 해석될 수 있다. 산출부(230)는 분석된 음성 정보에 따라 통증구간을 산출할 수 있다.
도 3a, 도 3b 및 도 3c는 컴퓨팅 보조 장치가 관절 가동 범위 중 통증구간을 산출하는 실시예를 설명한다.
먼저 도 3a에서는, 어깨 충돌 증후군(shoulder impingement) 예시를 나타낸다.
도 3a의 도면(300)에서 보는 바와 같이, 피험자가 팔을 아래에서 위로 반원을 그리며 움직이고, 이 때 다리쪽을 0도 머리쪽을 180도로 구분하여 회전각을 표현할 수 있다.
0도에서 70도 구간과 120도에서 180도 구간까지는 피험자가 통증을 느끼지 않는 구간(painless movement)에 해당하고, 70도에서 120도 구간까지는 피험자가 통증을 느끼는 구간(painful arc)에 해당한다.
도 3b에서는 도 3a의 상황에 대해 컴퓨팅 보조 장치를 통해 관절 가동 범위 중 통증구간을 산출하는 실시예에 해당한다.
도면부호 310은 피험자가 팔을 0도에서 180도로 움직였다가 다시 180에서 0도로 내리는 동작에 대한 시간에 따른 각도를 그래프로 표현한 것이다. 가운데 피크치가 180도에 해당한다.
피험자는 팔을 올리는 도중 도면부호 320로 식별되는 구간과, 팔을 내리는 도중 도면부호 330으로 식별되는 구간에서 얼굴표정을 찡그리거나, 발성을 낼 수 있다.
즉, 도면부호 320로 식별되는 구간과 도면부호 330으로 식별되는 구간은 피험자가 통증을 느끼는 구간(painful arc)으로서, 도 3a에서 70도에서 120도 구간에 해당하는 것으로 해석할 수 있다.
이에, 일실시예에 따른 컴퓨팅 보조 장치는 피험자의 얼굴 표정(340)의 변화를 분석하거나, 음성(350)을 분석할 수 있다. 또한, 피험자의 얼굴 표정(340)이 크게 변하는 시간 또는 음성(350)이 크게 변하는 시간 대에서의 팔의 움직임 각도를 확인하여, 해당 움직임 각도에서 피험자가 통증을 느끼고 있음을 확인할 수 있다. 따라서, 컴퓨팅 보조 장치는 해당 구간을 통증구간으로 산출할 수 있다.
도 3c는 피험자의 관심 영역(관절)들 중에서 오른쪽 다리를 관심 영역으로 설정하고, 설정된 관심 영역에 대해 통증 구간을 측정하는 실시예(360)에 해당한다.
피험자는 오른쪽 다리를 움직여 걷는 도중 일부 구간(371)에서 통증을 느낄 수 있다. 도면부호 370의 그래프는 피험자의 이동에 따른 관절의 움직임 정도를 표현한 것으로서, 구체적으로 도면부호 372는 피험자의 오른쪽 다리가 이동 시 움직이는 동작을 그래프로 표현한 것이다.
일실시예에 따른 컴퓨팅 보조 장치는 도면부호 380과 같이 피험자의 얼굴 표정의 변화를 분석하거나, 음성(350)을 분석할 수 있다. 또한, 피험자의 얼굴 표정이 크게 변하는 시간 또는 음성이 크게 변하는 시간 대에서의 오른쪽 다리의 움직임 각도를 확인하여, 해당 움직임 각도에서 피험자가 통증을 느끼고 있음을 확인할 수 있다. 따라서, 컴퓨팅 보조 장치는 해당 구간을 통증구간으로 산출할 수 있다.
이상으로 설명한 실시예에서는, 의료용으로서의 컴퓨팅 보조 장치의 동작을 설명하였다. 그러나, 컴퓨팅 보조 장치는 어플리케이션의 형태로 스마트폰에 설치되어 의료용뿐만 아니라 개인이 다양한 분야에서 활용할 수 있다. 예를 들어, 컴퓨팅 보조 장치는 요가 또는 체조 시 스트레칭에 활용할 수 있다. 즉, 컴퓨팅 보조 장치는 피험자의 얼굴표정, 음성 등을 인식하여 스트레칭 도중 어느 시점부터 통증을 느끼는지에 대해서 측정할 수 있다. 이로써, 피험자는 본인의 스마트폰을 통해 요가 또는 체조시 편리하세 운동 효과나 유연성 정도를 수치적으로 측정할 수 있다.
뿐만 아니라, 컴퓨팅 보조 장치는 이렇게 수치적으로 측정한 데이터를 네트워크를 통해 외부로 전송할 수도 있다. 예를 들어, 오십견을 치료받는 피험자의 경우 스트레칭에 따른 팔 움직임의 정도를 매일 주치의의 스마트폰 또는 주치의가 소속된 병원의 시스템으로 전송할 수 있다. 이 경우, 스트레칭(물리치료)을 매일 해야 하기 때문에 치료에 도움이 될 뿐 아니라, 측정 결과를 전송하고 그에 따른 피드백을 주치의로부터 전달 받음으로써 효율적인 치료가 가능하다.
도 4a는 관절 가동 범위를 산출하는데 필요한 원리를 설명하는 도면이다.
일실시예에 따른 컴퓨팅 보조 장치는 2D 카메라 또는 3D 카메라를 이용하여 생성한 입력영상으로부터 머리(head)를 추적(tracking) 함으로써 경추 관절의 각도를 측정할 수 있다.
일실시예에 따른 컴퓨팅 보조 장치는 머리를 실린더(cylinder) 또는 타원체(ellipsoid) 등의 기하학적 모형으로 가정하고 이 기하학적 모형의 yaw, pitch, roll 각도를 추적하는 방법으로 경추 관절의 각도를 측정할 수 있다.
도 4a는 실린더 모델을 사용하는 경우의 실시예에 해당한다.
영상에서 피험자 경추를 정위치 시키고 일실시예에 따른 컴퓨팅 보조 장치는 해당 위치에서 특징점(410)을 요(yaw), 피치(pitch), 및 롤(roll)의 각도를 모두 0도 세팅하여 기준으로 설정할 수 있다.
만약, 피험자가 머리를 움직이면 실린더는 도면부호 420에서 도면부호 430과 같이 움직일 수 있다. 실린더 영역안에 존재하는 특징점들을 검출하여 이들 점이 실린더 표면에 있다고 가정할 수 있다. 일실시예에 따른 컴퓨팅 보조 장치는 인접한 두 프레임 영상에서 대응점들을 찾고 이 매칭쌍을 이용하여 도면부호 440으로부터 확인되는 요(yaw), 피치(pitch), 및 롤(roll)의 변화량을 계산할 수 있다.
도 4b는 도 4a에서 설명하는 실시예를 이용하여 실제 피험자의 머리 움직임을 추적하는 실시예를 설명한다.
도 4b에서 보는 바와 같이, 도면부호 450의 위치에 해당하는 피험자의 머리는 실린더 영역(451)로 표현될 수 있다. 또한, 도면부호 460과 같이 피험자의 머리가 움직인 경우에는, 요(yaw), 피치(pitch), 및 롤(roll)의 변화량을 계산하여 실린더 영역(461)로 표현할 수 있다.
도 5는 일실시예에 따른 관절 가동 범위를 측정하는 방법을 설명하는 도면이다.
일실시예에 따른 관절 가동 범위를 측정하는 방법은 입력영상으로부터 관절 가동 범위를 추적할 수 있다(단계 501).
일실시예에 따른 방법에 따르면, 2011년7월27일자 보건복지부고시에 기반하여 관절 가동 범위를 측정할 수 있다. 구체적으로, 추적하는 관절 가동 범위는 어깨관절, 팔꿈치관절, 손목관절, 엄지손가락 관절, 고관절, 무릎관절, 중족지절관절, 지관절, 근위지절관절, 척추 등을 포함할 수 있다.
관절 가동 범위를 측정하는 방법은 추적되는 관절 가동 범위에 상응하는 음성을 분석한다(단계 502).
일실시예에 따른 관절 가동 범위를 측정하는 방법은 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별할 수 있다. 예를 들면, 음성으로부터 측정 가능한 데시벨이나 진폭 등을 고려하여 음성의 크기를 식별할 수 있다.
한편, 일실시예에 따른 관절 가동 범위를 측정하는 방법은 음성분석을 위해, 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별할 수 있다. 구체적으로, 음성 정보는 단어, 예를 들어 '일', '이', '삼'과 같이 의미있는 음성으로 해석될 수 있다.
다음으로, 일실시예에 따른 관절 가동 범위를 측정하는 방법은 분석된 음성에 따라 추적된 관절 가동 범위 중 통증구간을 산출한다(단계 503).
단계 502에서 음성 레벨을 분석한 경우라면, 단계 503에서는 음성 레벨에 따라 통증구간을 산출할 수 있다. 또한, 단계 502에서 음성 정보를 식별한 경우라면, 단계 503에서는 음성 정보에 따라 통증구간을 산출할 수 있다.
도 6은 다른 일실시예에 따른 관절 가동 범위를 측정하는 방법을 설명하는 도면이다.
일실시예에 따른 관절 가동 범위를 측정하는 방법은 입력영상으로부터 관절 가동 범위를 추적한다(단계 601).
마찬가지로, 단계 601에서는 2011년7월27일자 보건복지부고시에 기반하여 관절 가동 범위를 측정할 수 있다. 구체적으로, 추적하는 관절 가동 범위는 어깨관절, 팔꿈치관절, 손목관절, 엄지손가락 관절, 고관절, 무릎관절, 중족지절관절, 지관절, 근위지절관절, 척추 등을 포함할 수 있다.
일실시예에 따른 관절 가동 범위를 측정하는 방법은 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석한다(단계 602).
일실시예에 따른 방법은 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단할 수 있다. 예를 들면, 중립적인(Neutral) 표정에서 얼굴 랜드마크 특징점 위치의 변화를 계산하여 얼굴이 얼마나 중립적인(Neutral) 표정에서 벗어났는지를 계산할 수 있다. 이때의 중립적인(Neutral) 표정은 다양한 얼굴 표정 데이터베이스로부터 학습하여 결정할 수 있다. 또한, 피험자에게 실험 전 중립적인(Neutral) 표정을 짓도록 하여 이를 활용할 수도 있다.
일실시예에 따른 관절 가동 범위를 측정하는 방법은 분석된 얼굴 표정에 따라 추적된 관절 가동 범위 중 통증구간을 산출한다(단계 603).
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

  1. 컴퓨터에 의해 적어도 일시적으로 구현되는:
    입력영상으로부터 관절 가동 범위를 추적하는 처리부;
    상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 식별부; 및
    상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부
    를 포함하는 보조 컴퓨팅 장치.
  2. 제1항에 있어서,
    상기 식별부는,
    미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하고,
    상기 산출부는,
    상기 미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 상기 통증구간의 시작 위치로 산출하는 보조 컴퓨팅 장치.
  3. 제2항에 있어서,
    상기 미리 지정된 패턴은 데이터베이스에 기록 및 유지되고, 상기 데이터베이스는 피험자로부터 측정되는 얼굴 표정 이미지를 이용해서 트래이닝(training)되는 보조 컴퓨팅 장치.
  4. 제1항에 있어서,
    상기 식별부는,
    통증구간의 산출 이전, 피험자로부터 수집된 적어도 하나 이상의 기준 표정과 상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 대비하여 분석하는 보조 컴퓨팅 장치.
  5. 제4항에 있어서,
    상기 피험자로부터 수집된 적어도 하나 이상의 기준 표정은 중립적인(neutral) 상태에서의 표정 이미지를 포함하고,
    상기 식별부는 상기 기준 표정에 대비하여 상기 분석되는 얼굴 표정이 임계값 이상 차이나는 시점을 식별하며,
    상기 산출부는,
    상기 식별된 시점을 통증구간의 시작 위치로 산출하는 보조 컴퓨팅 장치.
  6. 제1항에 있어서,
    상기 식별부는,
    상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하고,
    상기 산출부는,
    상기 분석된 음성 및 상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중에서, 통증구간을 산출하는 보조 컴퓨팅 장치.
  7. 제6항에 있어서,
    상기 식별부는,
    피험자로부터 수집되는 특정 패턴의 음성에 대해 임계값 이상의 변화를 감지하고,
    상기 산출부는,
    상기 음성 패턴이 감지된 시점을 상기 통증구간의 시작 위치로 산출하는 보조 컴퓨팅 장치.
  8. 제6항에 있어서,
    상기 식별부는,
    상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 레벨을 식별하고,
    상기 산출부는,
    상기 식별된 음성 레벨 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출하는 보조 컴퓨팅 장치.
  9. 제8항에 있어서,
    상기 산출부는,
    상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출하는 보조 컴퓨팅 장치.
  10. 제6항에 있어서,
    상기 식별부는,
    상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하여 음성 정보를 식별하고,
    상기 산출부는,
    상기 식별된 음성 정보 및 상기 분석된 얼굴 표정에 따라 상기 통증구간을 산출하는 보조 컴퓨팅 장치.
  11. 제10항에 있어서,
    상기 산출부는,
    상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출하는 보조 컴퓨팅 장치.
  12. 컴퓨터에 의해 적어도 일시적으로 구현되는:
    입력영상으로부터 관절 가동 범위를 추적하는 처리부;
    상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 식별부; 및
    상기 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 산출부
    를 포함하는 보조 컴퓨팅 장치.
  13. 제12항에 있어서,
    상기 식별부는,
    상기 음성을 분석하여 음성 레벨을 식별하고,
    상기 산출부는,
    상기 식별된 음성 레벨에 따라 상기 통증구간을 산출하는 보조 컴퓨팅 장치.
  14. 제13항에 있어서,
    상기 산출부는,
    상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출하는 보조 컴퓨팅 장치.
  15. 제12항에 있어서,
    상기 식별부는,
    상기 음성을 분석하여 음성 정보를 식별하고,
    상기 산출부는,
    상기 식별된 음성 정보에 따라 상기 통증구간을 산출하는 보조 컴퓨팅 장치.
  16. 제15항에 있어서,
    상기 산출부는,
    상기 식별된 음성 레벨에 따라 상기 통증구간에 대한 통증크기를 산출하는 보조 컴퓨팅 장치.
  17. 컴퓨터에 의해 적어도 일시적으로 구현되는 프로세서의 동작 방법에 있어서:
    입력영상으로부터 관절 가동 범위를 추적하는 단계;
    상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 단계; 및
    상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 단계
    를 포함하는 방법.
  18. 제17항에 있어서,
    상기 얼굴 표정을 분석하는 단계는,
    미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는지 여부를 판단하는 단계
    를 포함하고,
    상기 산출부는,
    상기 통증구간을 산출하는 단계는,
    미리 지정된 패턴과 상기 얼굴 표정이 임계값 이상 일치하는 경우에서의 관절 위치를 상기 통증구간의 시작 위치로 산출하는 단계
    를 포함하는 방법.
  19. 컴퓨터에 의해 적어도 일시적으로 구현되는 프로세서의 동작 방법에 있어서:
    입력영상으로부터 관절 가동 범위를 추적하는 단계;
    상기 추적되는 관절 가동 범위에 상응하는 음성을 분석하는 단계; 및
    상기 분석된 음성에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 단계
    를 포함하는 방법.
  20. 제17항 내지 제19항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  21. 기록매체에 저장되는 프로그램으로서, 상기 프로그램은 컴퓨팅 시스템에서 실행되는:
    입력영상으로부터 관절 가동 범위를 추적하는 명령어 세트;
    상기 추적되는 관절 가동 범위에 상응하는 얼굴 표정을 분석하는 명령어 세트; 및
    상기 분석된 얼굴 표정에 따라 상기 추적된 관절 가동 범위 중 통증구간을 산출하는 명령어 세트
    를 포함하는 프로그램.
PCT/KR2015/013487 2015-11-27 2015-12-10 관절 가동 범위를 측정하는 장치 및 방법 WO2017090815A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0167663 2015-11-27
KR1020150167663A KR101796361B1 (ko) 2015-11-27 2015-11-27 관절 가동 범위를 측정하는 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2017090815A1 true WO2017090815A1 (ko) 2017-06-01

Family

ID=58763248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/013487 WO2017090815A1 (ko) 2015-11-27 2015-12-10 관절 가동 범위를 측정하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101796361B1 (ko)
WO (1) WO2017090815A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021108056A (ja) * 2019-12-27 2021-07-29 ユニ・チャーム株式会社 提案装置、提案方法および提案プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101992919B1 (ko) * 2017-08-08 2019-06-26 유의식 관절 검진 시스템
KR101967997B1 (ko) 2017-08-29 2019-04-10 안영샘 관절가동범위를 측정하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102216907B1 (ko) * 2019-02-15 2021-02-17 고민수 재활운동 모니터링을 위한 운동 동작 측정 센서 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
JP2013111449A (ja) * 2011-12-01 2013-06-10 Canon Inc 映像生成装置、映像生成方法及びプログラム
JP2013165754A (ja) * 2012-02-14 2013-08-29 Toshiba Corp 医用画像診断装置
JP2014136137A (ja) * 2013-01-18 2014-07-28 Toshiba Corp 医用情報処理装置及びプログラム
JP2015036858A (ja) * 2013-08-12 2015-02-23 株式会社東芝 医用情報処理装置、システム及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
JP2013111449A (ja) * 2011-12-01 2013-06-10 Canon Inc 映像生成装置、映像生成方法及びプログラム
JP2013165754A (ja) * 2012-02-14 2013-08-29 Toshiba Corp 医用画像診断装置
JP2014136137A (ja) * 2013-01-18 2014-07-28 Toshiba Corp 医用情報処理装置及びプログラム
JP2015036858A (ja) * 2013-08-12 2015-02-23 株式会社東芝 医用情報処理装置、システム及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021108056A (ja) * 2019-12-27 2021-07-29 ユニ・チャーム株式会社 提案装置、提案方法および提案プログラム
JP7063879B2 (ja) 2019-12-27 2022-05-09 ユニ・チャーム株式会社 提案装置、提案方法および提案プログラム

Also Published As

Publication number Publication date
KR101796361B1 (ko) 2017-11-09
KR20170062174A (ko) 2017-06-07

Similar Documents

Publication Publication Date Title
US9710920B2 (en) Motion information processing device
WO2017090815A1 (ko) 관절 가동 범위를 측정하는 장치 및 방법
US20150320343A1 (en) Motion information processing apparatus and method
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
WO2014115817A1 (ja) 動作情報処理装置
Venugopalan et al. Kinect-based rehabilitation system for patients with traumatic brain injury
DE60212658D1 (de) Computerunterstützes, automatisches System zum Abgleich von vitalen Akupunkturpunkten
Gholami et al. A microsoft kinect-based point-of-care gait assessment framework for multiple sclerosis patients
WO2021251587A1 (en) Adaptive respiratory condition assessment
WO2022039559A1 (en) Method and system for breathing measurement and management using an electronic device
CN113728394A (zh) 身体活动执行和训练的评分度量
WO2020054954A1 (en) Method and system for providing real-time virtual feedback
WO2017191878A1 (ko) 치아 움직임 추적 장치 및 그 방법
Haratian et al. Toward flexibility in sensor placement for motion capture systems: a signal processing approach
WO2016105102A1 (ko) 근골격계 질환의 발생가능성의 판단 장치 및 방법
EP3808268B1 (en) System and method for shoulder proprioceptive analysis
Lopez et al. Statistical validation for clinical measures: repeatability and agreement of Kinect™-based software
WO2024063321A1 (ko) 스마트 인솔 기반 부분 체중 부하 보행 가이드 제공 방법 및 그 시스템
Sosa et al. Improved front-view tracking of human skeleton from Kinect data for rehabilitation support in Multiple Sclerosis
WO2019035586A1 (ko) 자세 가이드 제공 방법 및 그 장치
WO2022182096A1 (en) Real-time limb motion tracking
JP2009285273A (ja) 運動機能評価装置、運動機能評価方法、およびプログラム
WO2021225249A1 (ko) 보행 분석 시스템 및 방법
WO2020159276A1 (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
JP6558820B2 (ja) 計測装置、計測方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15909364

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15909364

Country of ref document: EP

Kind code of ref document: A1