WO2023007930A1 - 判定方法、判定装置、及び、判定システム - Google Patents

判定方法、判定装置、及び、判定システム Download PDF

Info

Publication number
WO2023007930A1
WO2023007930A1 PCT/JP2022/021370 JP2022021370W WO2023007930A1 WO 2023007930 A1 WO2023007930 A1 WO 2023007930A1 JP 2022021370 W JP2022021370 W JP 2022021370W WO 2023007930 A1 WO2023007930 A1 WO 2023007930A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
dimensional
unit
skeletal
determination
Prior art date
Application number
PCT/JP2022/021370
Other languages
English (en)
French (fr)
Inventor
健吾 和田
吉浩 松村
貴拓 相原
太一 濱塚
文博 成瀬
智恵 南
崚太 鈴木
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023538301A priority Critical patent/JPWO2023007930A1/ja
Priority to CN202280051042.0A priority patent/CN117769726A/zh
Publication of WO2023007930A1 publication Critical patent/WO2023007930A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to a determination method, a determination device, and a determination system.
  • Nursing facilities have traditionally provided training (so-called rehabilitation) services for the elderly so that they can live independently.
  • rehabilitation nursing facility staff who are qualified to create a training plan visit the elderly's home, determine the state of the elderly's physical function and daily living (ADL: Activities of Daily Living), Create a training plan according to the condition.
  • Rehabilitation is carried out according to the prepared training plan.
  • Patent Document 1 in evaluation of rehabilitation, motion information of a subject performing a predetermined motion is acquired, the acquired motion information is analyzed, and a display based on an analysis value regarding motion of a specified part is disclosed.
  • a motion information processor for displaying information is disclosed.
  • Patent Document 1 when creating a rehabilitation training plan, the subject's rehabilitation cannot be accurately evaluated unless the subject's state of daily living activities is accurately determined.
  • the present invention provides a determination method, a determination device, and a determination system that can easily and accurately determine the state of a subject's activities of daily living.
  • a determination method is a determination method executed by a computer, and includes an instruction step of instructing a subject to perform a specific action, and the subject performing the specific action as a subject.
  • a determination device includes an instruction unit that instructs a subject to perform a specific action, a camera that captures an image including the subject performing the specific action as a subject, and an estimating unit for estimating a skeletal model of the subject in the image based on the image; and a plurality of three-dimensional regions around the skeletal model based on positions of a plurality of skeletal points in the estimated skeletal model.
  • a specifying unit that specifies a three-dimensional region including the skeletal points of the subject's wrist in the specific motion among the plurality of set three-dimensional regions; and the specified three-dimensional a determination unit that determines the state of the subject's daily living activities based on the area.
  • a determination system is a system comprising an information terminal and a server device connected to the information terminal via communication, wherein the information terminal includes a communication unit that communicates with the server device. an instruction unit that instructs a target person to perform a specific action; and a camera that captures an image including the target person performing the specific action as a subject, wherein the server device captures an image captured by the camera.
  • an estimating unit for estimating a skeletal model of the subject in the image based on the obtained image; a setting unit for setting a region; a specifying unit for specifying a three-dimensional region including the skeletal points of the subject's wrist in the specific motion among the plurality of set three-dimensional regions; and a determination unit that determines the state of the subject's daily living activities based on the original region.
  • a determination method, a determination device, and a determination system that can easily and accurately determine the state of a subject's daily living activities are realized.
  • FIG. 1 is a block diagram showing an example of a functional configuration of a determination system according to an embodiment.
  • FIG. 2 is a flow chart showing a first example of operation of the determination system according to the embodiment.
  • FIG. 3 is a flow chart showing a second example of the operation of the determination system according to the embodiment.
  • FIG. 4 is a diagram conceptually showing estimation of a two-dimensional skeleton model of a subject.
  • FIG. 5 is a diagram conceptually showing estimation of a three-dimensional skeleton model.
  • FIG. 6 is a diagram conceptually showing setting of a plurality of three-dimensional regions.
  • FIG. 7 is a diagram conceptually showing identification of a three-dimensional region in which the wrist is located.
  • FIG. 8 is a diagram showing an example of a database.
  • FIG. 1 is a block diagram showing an example of a functional configuration of a determination system according to an embodiment.
  • FIG. 2 is a flow chart showing a first example of operation of the determination system according to the embodiment.
  • FIG. 9 is a diagram showing an example of presentation information.
  • FIG. 10 is a diagram showing an example of presentation information.
  • FIG. 11 is a diagram showing an example of presentation information.
  • FIG. 12 is a diagram showing another example of presentation information.
  • FIG. 13 is a diagram showing another example of presentation information.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same code
  • FIG. 1 is a block diagram showing an example of the functional configuration of the determination system according to the embodiment.
  • the determination system 10 sets a plurality of three-dimensional regions around a skeletal model estimated based on an image of a subject performing a specific action, and determines whether the subject performs the specific action in the set three-dimensional regions.
  • This system specifies a three-dimensional region that includes skeletal points of the wrist of the subject, and determines the state of the subject's daily living activities based on the specified three-dimensional region. A determination method will be described later.
  • the target person is a person whose physical function, which is the ability to move the body due to disease, injury, aging, or disability, has decreased.
  • the user is, for example, a physical therapist, an occupational therapist, a nurse, or a rehabilitation professional.
  • the determination system 10 includes, for example, a camera 20, an information terminal 30, and a server device 40.
  • the camera 20 captures an image (for example, a moving image composed of a plurality of images) including a target person performing a specific action as a subject.
  • the camera 20 may be a camera using a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or may be a camera using a CCD (Charge Coupled Device) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the information terminal 30 instructs the subject to perform a specific action, acquires an image (more specifically, image data or image information) of the subject captured by the camera 20, and sends the acquired image to the server. Send to device 40 .
  • the information terminal 30 is, for example, a portable computer device such as a smart phone or a tablet terminal used by a user, but may be a stationary computer device such as a personal computer.
  • the information terminal 30 specifically includes a first communication unit 31a, a second communication unit 31b, a control unit 32, a storage unit 33, a reception unit 34, a presentation unit 35, and an instruction unit 36. .
  • the first communication unit 31a is a communication circuit (in other words, a communication module) for the information terminal 30 to communicate with the camera 20 via the local communication network.
  • the first communication unit 31a is, for example, a wireless communication circuit that performs wireless communication, but may be a wired communication circuit that performs wired communication.
  • the communication standard for communication performed by the first communication unit 31a is not particularly limited.
  • the first communication unit 31a may communicate with the camera 20 via a router (not shown) using Wi-Fi (registered trademark) or the like, or may communicate directly with the camera 20 using Bluetooth (registered trademark). good too.
  • the second communication unit 31b is a communication circuit (in other words, a communication module) for the information terminal 30 to communicate with the server device 40 via the wide area communication network 5 such as the Internet.
  • the second communication unit 31b is, for example, a wireless communication circuit that performs wireless communication, but may be a wired communication circuit that performs wired communication. Note that the communication standard for communication performed by the second communication unit 31b is not particularly limited.
  • the control unit 32 performs various information processing related to the information terminal 30 based on the operation input received by the receiving unit 34.
  • the control unit 32 is implemented by, for example, a microcomputer, but may be implemented by a processor.
  • the storage unit 33 is a storage device that stores a dedicated application program and the like for the control unit 32 to execute.
  • the storage unit 33 is implemented by, for example, a semiconductor memory.
  • the reception unit 34 is an input interface that receives operation inputs from users of the information terminal 30 (for example, rehabilitation specialists). For example, the reception unit 34 transmits to the server device 40 a weighting condition in the determination by the determination unit 42e, an extraction condition for the determination result, or a condition such as a presentation method to the presentation unit 35, and an instruction to start or end measurement. Accepts a user's input operation to perform.
  • the reception unit 34 is specifically realized by a touch panel display or the like. For example, when the reception unit 34 is equipped with a touch panel display, the touch panel display functions as the presentation unit 35 and the reception unit 34 .
  • reception unit 34 is not limited to a touch panel display, and may be, for example, a keyboard, a pointing device (for example, a touch pen or mouse), hardware buttons, or the like. Further, the receiving unit 34 may be a microphone when receiving an input by voice. Further, the accepting unit 34 may be a camera when accepting an input by a gesture.
  • the presentation unit 35 presents the determination result of the state of daily living activities to the user.
  • the presentation unit 35 presents to the user information regarding the state of the subject's daily living activities extracted based on the user's instruction.
  • the instruction unit 36 is, for example, at least one of a display panel such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, a speaker, and earphones.
  • a display panel such as a liquid crystal panel or an organic EL (Electro Luminescence) panel
  • a speaker and earphones.
  • the presentation unit 35 may be a display panel and a speaker or earphones, or may be a display panel, a speaker and earphones.
  • the instruction unit 36 instructs the subject to perform a specific action.
  • the instruction unit 36 may instruct the subject using at least one of voice, text, and video.
  • the instruction unit 36 is, for example, at least one of a display panel such as a liquid crystal panel or an organic EL panel, a speaker, and earphones.
  • the instruction unit 36 may be a display panel and a speaker or earphones, or may be a display panel, a speaker and earphones.
  • the instruction unit 36 may function as the presentation unit 35 depending on the mode of instruction, and the presentation unit 35 may function as the instruction unit 36. That is, the instruction section 36 may be integrated with the presentation section 35 .
  • the server device 40 acquires an image transmitted from the information terminal 30, estimates a skeletal model in the acquired image, and determines the state of the subject's daily living activities based on the estimated skeletal model.
  • the server device 40 includes a communication section 41 , an information processing section 42 and a storage section 43 .
  • the communication unit 41 is a communication circuit (in other words, a communication module) for the server device 40 to communicate with the information terminal 30 .
  • the communication unit 41 may include a communication circuit (communication module) for communicating via the wide area communication network 5 and a communication circuit (communication module) for communicating via the local communication network.
  • the communication unit 41 is, for example, a wireless communication circuit that performs wireless communication. Note that the communication standard for communication performed by the communication unit 41 is not particularly limited.
  • the information processing section 42 performs various types of information processing regarding the server device 40 .
  • the information processing unit 42 is implemented by, for example, a microcomputer, but may be implemented by a processor.
  • the functions of the information processing section 42 are realized by, for example, executing a computer program stored in the storage section 43 by a microcomputer, processor, or the like that constitutes the information processing section 42 .
  • the information processing unit 42 includes an acquisition unit 42a, an estimation unit 42b, an identification unit 42d, a determination unit 42e, and an output unit 42f.
  • the acquisition unit 42a acquires an image (for example, a moving image composed of a plurality of images) transmitted from the information terminal 30 and the user's operation input received by the reception unit 34.
  • an image for example, a moving image composed of a plurality of images
  • the estimation unit 42b estimates the skeleton model of the subject in the image based on the image acquired by the acquisition unit 42a. More specifically, the estimating unit 42b estimates a skeleton model for each of a plurality of images forming the moving image based on the moving image including the plurality of images. For example, the estimation unit 42b estimates a two-dimensional skeleton model of the subject based on the image, and uses the learned model 44, which is a machine learning model that has been trained, based on the estimated two-dimensional skeleton model. Estimate a 3D skeletal model of a person.
  • the setting unit 42c sets a plurality of three-dimensional regions around the skeletal model based on the positions of the skeletal points in the skeletal model estimated by the estimating unit 42b. More specifically, for example, the setting unit 42c sets a plurality of three-dimensional regions based on the three-dimensional skeleton model. For example, the setting unit 42c sets a plurality of three-dimensional regions around the skeletal model with one of the skeletal points of the skeletal model as a base point. For details of estimating a two-dimensional skeleton model and a three-dimensional skeleton model, and setting a plurality of three-dimensional regions, see [2. Since the description will be made in [First example] of [Operation], the description will be omitted here.
  • the specifying unit 42d specifies a three-dimensional region in which the skeletal points of the target person's wrist are located in a specific motion among the plurality of three-dimensional regions set by the setting unit 42c.
  • the determining unit 42e determines the state of the subject's daily life activities based on the three-dimensional area specified by the specifying unit 42d. For example, the determination unit 42e determines based on the database 45 in which a specific action, a three-dimensional region in which the wrist is positioned in the specific action, and a daily life action corresponding to the specific action are stored in association with each other. By determining whether or not the three-dimensional area specified by the unit 42d matches the three-dimensional area stored in the database 45, the state of the subject's daily living activities is determined.
  • the output unit 42f outputs, for example, at least one of the determination result of the state of the subject's daily living activities and information on the state of the subject's daily living activities. Furthermore, the output unit 42f outputs the three-dimensional skeleton model in the moving image of the subject, the feature amount (for example, data of physical function such as the range of motion of the joint) used for the determination result of the state of the daily living activity, the body of the subject A function determination result, a rehabilitation training plan, or the like may be output.
  • the feature amount for example, data of physical function such as the range of motion of the joint
  • the storage unit 43 is a storage device that stores the image data acquired by the acquisition unit 42a.
  • the storage unit 43 also stores computer programs to be executed by the information processing unit 42 .
  • a database 45 in which a specific action, a three-dimensional region in which the wrist is positioned in the specific action, and a daily life action corresponding to the specific action are stored in association with each other, A learned machine learning model (learned model 44) is stored.
  • the storage unit 43 is realized by a semiconductor memory, HDD (Hard Disk Drive), or the like.
  • the determination system 10 is composed of a plurality of devices in the example of FIG. 1, it may be a single device.
  • FIG. 2 is a flow chart showing a first example of operation of the determination system 10 according to the embodiment.
  • FIG. 4 is a diagram conceptually showing setting of a plurality of three-dimensional regions.
  • FIG. 5 is a diagram conceptually showing estimation of a two-dimensional skeleton model of a subject.
  • FIG. 6 is a diagram conceptually showing estimation of a three-dimensional skeleton model.
  • the determination system 10 acquires an image captured by the camera 20 and identifies the subject in the acquired image.
  • a known image analysis technique is used to identify the subject in the image.
  • the instruction unit 36 instructs the target person to perform a specific action (S11).
  • the camera 20 captures an image including a target person performing a specific action as a subject (S12), and transmits the captured image (hereinafter also referred to as image data) to the information terminal 30 (not shown).
  • the camera 20 may capture a moving image composed of a plurality of images.
  • the information terminal 30 acquires the image data transmitted from the camera 20 via the first communication unit 31a (not shown), and transmits the acquired data to the server device 40 via the second communication unit 31b. (not shown). At this time, the information terminal 30 may anonymize the image data and transmit it to the server device 40 . This protects the privacy data of the subject.
  • the estimation unit 42b of the server device 40 estimates the skeleton model of the subject in the image based on the image (image data) acquired by the acquisition unit 42a (S13). Note that when the acquiring unit 42a acquires a moving image composed of a plurality of images, the estimating unit 42b estimates a skeleton model for each of the plurality of images constituting the moving image based on the acquired moving image. may
  • the estimation unit 42b estimates a two-dimensional skeleton model of the subject based on the image, and based on the estimated two-dimensional skeleton model, the learned model 44, which is a machine learning model that has been trained, may be used to estimate the subject's three-dimensional coordinate data (so-called three-dimensional skeleton model).
  • FIG. 4 is a diagram conceptually showing the estimation of the subject's two-dimensional skeleton model.
  • the two-dimensional skeleton model is a model in which the positions (circles in the drawing) of the joints 100 of the subject 1 appearing in the image are connected by links (lines in the drawing).
  • Existing pose and skeleton estimation algorithms are used to estimate the two-dimensional skeleton model.
  • FIG. 5 is a diagram conceptually showing estimation of a three-dimensional skeleton model.
  • the learned model 44 (learning model in the figure) is pre-constructed by machine learning using a two-dimensional skeleton model with known three-dimensional coordinate data of each joint as learning data and the three-dimensional coordinate data as teacher data. It is a discriminator.
  • the trained model 44 can receive a two-dimensional skeleton model as an input and output three-dimensional coordinate data, that is, a three-dimensional skeleton model.
  • the estimation unit 42b may estimate the three-dimensional coordinate data (three-dimensional skeleton model) based on the image acquired by the acquisition unit 42a.
  • a trained model indicating the relationship between the subject's image and the three-dimensional coordinate data may be used.
  • the setting unit 42c sets a plurality of three-dimensional regions around the skeletal model based on the positions of the skeletal points in the skeletal model estimated by the estimating unit 42b in step S13. More specifically, for example, the setting unit 42c sets a plurality of three-dimensional regions based on the three-dimensional skeleton model. For example, the setting unit 42c sets a plurality of three-dimensional regions around the skeletal model with one of the skeletal points of the skeletal model as a base point. Setting of a plurality of three-dimensional regions will be specifically described below.
  • FIG. 6 is a diagram conceptually showing setting of a plurality of three-dimensional areas.
  • FIG. 6(b), FIG. 6(d) and FIG. 6(f) As shown in (b) of FIG. 6, (d) of FIG. 6, and (f) of FIG. A back area A3 on the back side of the subject (see (f) in FIG. 6) and a front area A2 on the front side provided adjacent to each other across a first reference axis Z1 that is a longitudinal axis and passes through the base point. (see (d) of FIG. 6) and the front region A1 (see (b) of FIG. 6) provided adjacent to the front side region and on the front side of the subject. In addition, as shown in FIGS.
  • the left region B2 and the right region B1 of the subject which are provided adjacent to each other across a second reference axis Z2 that is a vertical axis and passes through the base point, each of the left region B2 and the right region B1 is the subject It includes a predetermined number of regions divided vertically from the head to the legs of the person.
  • each of the left region B2 and the right region B1 of the front region A1 includes three regions divided in the horizontal direction perpendicular to the vertical direction from the subject's head to the leg.
  • the predetermined number of regions are included in the same number for the right side region B1 and the left side region B2, but different numbers are included in each of the back region A3, the front region A2 and the front region A1.
  • the first reference axis Z1 is set with the skeletal points of the neck and waist of the subject as the base points
  • the second reference axis Z2 is set with the skeletal points of the neck and the elbows of the subject as the base points. It may be set as a base point.
  • the setting unit 42c for example, as shown in FIG. 6(b), FIG. 6(d), and FIG.
  • the first distance L1 which is the distance from the top of the hand to the tip of the hand, is set as the width W1 of each of the back area A3, the front area A2, and the front area A1.
  • FIG. 7 is a diagram conceptually showing identification of a three-dimensional region in which the wrist is located. Based on the three-dimensional coordinate data (so-called three-dimensional skeleton model) of the subject in the image, the specifying unit 42d determines which one of the plurality of three-dimensional regions the coordinates of the skeleton point of the wrist of the subject are located. (in other words, included). The identified three-dimensional area is the shaded area shown in FIG.
  • the determining unit 42e determines the state of the subject's daily life activities based on the three-dimensional region specified by the specifying unit 42d in step S15 (S16). For example, the determination unit 42e stores a specific motion, a three-dimensional region where the wrist is positioned in the specific motion, and a daily life motion corresponding to the specific motion in a database 45 that is associated with and stored. to determine whether the three-dimensional region specified by the specifying unit 42d matches the three-dimensional region stored in the database 45 in association with the specific motion, thereby determining whether the subject's daily life activity state may be determined.
  • FIG. 8 is a diagram showing an example of the database 45.
  • the database 45 stores specific motions, three-dimensional regions in which the target person's wrist is positioned in the specific motions, and activities of daily living (ADL) in association with each other.
  • ADL daily living
  • the specific action is banzai
  • the three-dimensional regions where the subject's wrist is positioned in the specific action are D2-2 (region where the right wrist is positioned) and G2-2 (region where the left wrist is positioned) shown in FIG. )
  • daily life activities such as eating, grooming (face washing, shaving, makeup), and washing are possible.
  • the determination system 10 may perform the processing of steps S11 to S16 as one loop processing each time the subject performs a plurality of specific actions, or may perform the processing of steps S11 and S12 multiple times. , and after the subject completes all the specific actions, steps S13 to S16 may be performed for each of the plurality of specific actions.
  • the determination system 10 estimates a skeletal model in an image including a target person performing a specific action as a subject, and sets a plurality of three-dimensional regions around the estimated skeletal model. By specifying in which of the plurality of three-dimensional regions the subject's wrist is located, the state of the subject's daily living activities can be determined simply and accurately.
  • the subject may be instructed to stand up from a sitting posture.
  • the determination system 10 may determine whether or not the subject can stand up based on the image of the subject photographed by the camera 20, or may determine based on the user's instruction.
  • the determination may be made by the determination unit 42e.
  • An image-based determination may be made, for example, by estimating a skeletal model of the subject in the image.
  • the user's instruction may be, for example, a gesture, a voice, or input by operating a touch panel or a remote control button.
  • the gesture may be shaking one hand from side to side, shaking the head from side to side, or crossing both arms to take the shape of a cross. If the action is possible, it may be nodding, thumbs up, or making a circle with both hands.
  • the voice may also utter short words such as, for example, "no" or "yes.”
  • the state of the subject's daily living activities can be determined efficiently and accurately.
  • the determination system 10 sets a plurality of three-dimensional regions based on the three-dimensional skeleton model of the subject performing a specific action, and By identifying the three-dimensional area where the wrist of the subject is located, the state of the subject's activities of daily living was determined.
  • modification 2 of the first example furthermore, by determining whether or not the target person's finger movement is possible (for example, opening and closing of the hand (gooper), finger confrontation (OK sign), etc.), the target person determine the state of activities of daily living.
  • the control unit 32 instructs the instruction unit 36 to perform an action involving finger movement.
  • the information terminal 30 When the information terminal 30 acquires the image captured by the camera 20 and including the target person performing the action involving finger movement as a subject, the information terminal 30 receives the instruction received by the reception unit 34 and the image captured by the camera 20 (specifically, , the image data) is transmitted to the server device 40 .
  • the determination unit 42e of the server device 40 uses, for example, another trained model (not shown) different from the trained model 44, and when goo and par are identified in the image, the hand can be opened and closed. It may be determined that there is In addition, the determination unit 42e uses another learned model to identify whether or not the tip of the index finger and the tip of the thumb are attached in the image, and the shape and size of the space between the index finger and the thumb. , may determine whether finger conflict motion is possible.
  • the determination unit 42e derives the positions of two non-joint parts 101 of the subject 1 that are connected via a predetermined joint 100, and derives 2 Based on the straight line connecting the positions of the two non-joint parts 101, the joint angle (non shown).
  • the joint angle associated with bending of the elbow joint is derived based on three-dimensional coordinate data (three-dimensional skeleton model) estimated based on the two-dimensional skeleton model.
  • the determination unit 42e determines the body function of the subject based on a database (not shown) in which the range of joint angles related to bending of the elbow joint in a specific motion and the determination result of the body function are stored in association with each other. function may be determined.
  • a database not shown
  • the range of joint angles related to bending of the elbow joint in a specific motion and the determination result of the body function are stored in association with each other. function may be determined.
  • the database not only the joint angles but also the following feature amounts may be similarly stored in association with the determination results of the physical functions.
  • the determination unit 42e derives the distance between the predetermined joint 100 and the end part in a specific motion, the fluctuation range of the position of the predetermined joint 100, etc., and determines whether or not these values are equal to or greater than the threshold value, or , it may be determined whether or not it is within a predetermined range.
  • the determining unit 42e derives the fluctuation and the fluctuation range of the position of the predetermined joint 100 or the end part (for example, the tip of the hand), thereby You may determine the presence or absence of
  • a feature quantity indicating the movement characteristics of the subject's skeleton in a specific motion is derived, and the body function of the subject is determined based on the derived feature quantity.
  • FIG. 3 is a flow chart showing a second example of the operation of the determination system 10 according to the embodiment.
  • an example of presenting information about the state of activities of daily living extracted based on a user's instruction from the state of activities of daily living of the subject determined in the first example will be described.
  • the determination unit 42e outputs the state of the subject's daily living activities (hereinafter also referred to as determination results) to the output unit 42f.
  • the output unit 42 f outputs the acquired determination result to the information terminal 30 via the communication unit 41 .
  • the output determination result may be anonymized by the information processing section 42 .
  • the presentation unit 35 presents the acquired determination result of the state of activities of daily living (S21).
  • step S21 when the subject performs a plurality of specific actions, the determination result of the state of the daily living activity linked to each of the specific actions may be presented, or the determination result may be bad. may only be presented. These determination results may be presented in descending order of results.
  • the reception unit 34 receives an instruction from the user (S22).
  • the user's instruction may be a specification of an extraction condition for extracting desired information from the determination result under a predetermined condition, a specification of a presentation method of the determination result, or a specification of the extraction condition and the presentation method.
  • the intended information may be, for example, a 3D skeleton model in an image including a target person performing a specific action as a subject, a 3D skeleton model in a model image, or the state of bodily functions.
  • the presentation method is, for example, presentation of only image information including characters, presentation of image information and audio information, or the like.
  • the information terminal 30 transmits the user's instruction received by the receiving unit 34 in step S22 to the server device 40 (not shown).
  • the determination unit 42e of the server device 40 extracts information regarding the state of daily living activities based on the user's instruction (S23). For example, if the user's instruction is to specify an extraction condition for weighting the daily living activities related to the transfer, the determination result of the state of the daily living activities related to the transfer is given priority among the daily living activities corresponding to a plurality of specific movements. extracted.
  • the output unit 42f of the server device 40 outputs the information (hereinafter also referred to as the extracted information or the extraction result) regarding the daily life activities extracted by the determination unit 42e in step S23 to the information terminal 30 (not shown).
  • the information about the state of activities in daily life includes, for example, at least one of a three-dimensional skeleton model of the subject who performs a specific action, a determination result of the subject's physical function, and training content proposed to the subject.
  • the information about the state of activities of daily living includes the physical function of the subject, and the physical function of the subject is, for example, the movement of opening and closing the hand of the subject (gooper), and the movement of the fingers (OK sign).
  • a determination is made based on at least one of the conditions.
  • the presentation unit 35 presents the information on the daily life activities extracted in step S23 to the user (S24).
  • the determination system 10 may notify the user that the determination has been completed before presenting the determination result. Accordingly, information desired by the user can be extracted from the determination result and presented to the user.
  • FIG. 9 is a diagram showing an example of determination of the state of the daily living activity in the action of touching the back.
  • 9 to 11 are diagrams showing examples of presentation information. In the following, descriptions of the contents described with reference to FIGS. 2 and 3 are omitted or simplified.
  • the user is presented with the determination result of the state of activities of daily living. Present information to the user.
  • the information terminal 30 transmits the instruction to the server device 40 .
  • the information processing section 42 When the server device 40 acquires the instruction, the information processing section 42 outputs presentation information to be presented by the presentation section 35 to the information terminal 30 .
  • the presentation unit 35 presents the presentation information
  • the instruction unit 36 instructs the target person to perform a specific action (step S11 in FIG. 2).
  • the instruction may be given, for example, by outputting a voice such as "Raise your hands up with your hands folded behind your back.”
  • the camera 20 captures an image (here, a moving image) including a target person performing a specific action as a subject (S12 in FIG. 2), and the estimating unit 42b, based on the captured moving image, A skeleton model is estimated (S13).
  • the process of step S23 in FIG. 3 is performed in parallel with the process of step S13.
  • the presentation unit 35 presents these skeleton models.
  • the setting unit 42c sets a plurality of three-dimensional regions around the skeletal model based on the positions of the plurality of skeletal points (circles in the drawing) in the skeletal model that has been processed (S14 in FIG. 2). .
  • the process of step S23 in FIG. 3 is performed in parallel with the process of step S14. For example, when a plurality of three-dimensional regions are set in step S14, an image is presented in which a plurality of three-dimensional regions are displayed around the three-dimensional skeleton model, as shown in (b) of FIGS. It is presented in part 35 .
  • the specifying unit 42d specifies a three-dimensional region in which the skeletal points of the target person's wrist are positioned in a specific motion from among the plurality of three-dimensional regions set by the setting unit 42c (S15 in FIG. 2), and determines The unit 42e determines the state of the subject's activities of daily living based on the three-dimensional region specified by the specifying unit 42d in step S15 (S16 in FIG. 2).
  • the processes of steps S21 and S23 of FIG. 3 are performed in parallel with the processes of steps S15 and S16.
  • step S15 an image in which the three-dimensional region where the subject's wrist is positioned among the plurality of three-dimensional regions is marked up as shown in FIG. Presented by the presentation unit 35 .
  • the three-dimensional area through which the wrist passes may also be marked up so that the movement trajectory of the position of the subject's wrist can be known.
  • FIGS. 10B and 11B the three-dimensional area through which the wrist passes may also be marked up so that the movement trajectory of the position of the subject's wrist can be known.
  • FIGS. 10B and 11B the three-dimensional area through which the wrist passes may also be marked up so that the movement trajectory of the position of the subject's wrist can be known.
  • FIGS. 9 to 11 from the viewpoint of visibility, only the three-dimensional region where one wrist is positioned may be marked up, or both wrists may be marked up. A three-dimensional region may be marked up.
  • step S16 when the state of the subject's activities of daily living is determined in step S16, the activities of daily living (ADL) associated with the specific activities are shown in (c) of FIGS. and the determination result of the state of daily living activities are presented.
  • FIG. 9 and FIG. 10 when the specific motion is a back touch, the regions (three-dimensional regions E3-1 and H3-1) where the wrist is positioned in the specific motion (three-dimensional regions E3-1 and H3-1) (FIG. 6 and FIG. 8), the subject's wrist is not positioned, so it is determined that the state of daily living activities related to clothing such as taking off the jacket is impossible, and the determination result is displayed on the presentation unit 35. .
  • the presentation unit 35 may output the determination result of the presentation information by voice.
  • 12 and 13 are diagrams showing other examples of presentation information. 12 and 13, (a) shows a two-dimensional skeleton model in an image (here, a moving image) captured by the camera 20, and (b) shows a three-dimensional skeleton model and a plurality of A three-dimensional area is shown.
  • the specific action is banzai, and the target person's wrist is positioned in the region (three-dimensional regions D2-2 and G2-2) (see FIGS. 6 and 8) where the wrist is positioned in the specific action. Therefore, it is determined that daily life activities such as eating, grooming (face washing, shaving, makeup), and washing are possible, and the determination result is presented to the user by voice.
  • the specific motion is a back-of-the-head touch
  • the target person's wrist is positioned in the region (three-dimensional regions D3 and G3) (see FIGS. 6 and 8) where the wrist is positioned in the specific motion.
  • shampooing, etc. is determined to be possible, and the determination result is presented to the user by voice.
  • the region above the skeleton point of the neck (that is, toward the head) is set according to the orientation of the face and the inclination of the neck. .
  • the state of activities of daily living including the presence or absence of compensatory activities.
  • Modification 2 of Second Example in addition to the determination result of the state of the activities of daily living and the information on the activities of daily living, a rehabilitation training plan is generated and presented to the user. Specifically, the information processing unit 42 of the server device 40 creates a rehabilitation training plan based on the determination result of the state of the subject's daily living activities. At this time, for example, the information processing unit 42 may create a rehabilitation training plan based on the determination result of the subject's physical function in addition to the determination result of the state of the activities of daily living.
  • the information processing unit 42 may generate a training plan for enabling the daily living activity determined to be impossible among the determination results based on a plurality of specific actions. . Further, for example, even when it is determined that all of the determination results based on a plurality of specific actions are possible, the information processing unit 42 selects the daily living action with the inferior result among the determination results, A training plan may be developed to improve or maintain physical function so that activities of daily living can be carried out more smoothly. Further, for example, the information processing unit 42 adds, in addition to the above determination result, training for enhancing or maintaining the physical function for grasping an object, for example, based on the determination result of the physical function of the subject. may
  • the determination method is a determination method executed by a computer.
  • a photographing step (S12) of photographing an image including a subject an estimating step (S13) of estimating a skeleton model of the subject in the image based on the photographed image, and a plurality of skeleton points in the estimated skeleton model.
  • Such a determination method identifies a 3D region in which the skeletal points of the subject's wrist in a specific motion are located, among a plurality of 3D regions set around the skeletal model.
  • the state of living activities can be determined simply and accurately.
  • a specific action, a three-dimensional region where the wrist is positioned in the specific action, and a daily life action corresponding to the specific action are stored in association with each other.
  • the state of the subject's daily living activities can be determined. judge.
  • Such a determination method determines whether or not the three-dimensional region in which the skeletal points of the wrist of the subject performing a specific action are located matches the three-dimensional region stored in the database 45 in association with the specific action. By doing so, it is possible to easily determine the state of the subject's daily living activities.
  • the photographing step (S12) a moving image composed of a plurality of images is photographed, and in the estimating step (S13), based on the moving image, a plurality of images constituting the moving image are selected. Estimate the skeletal model in each.
  • Such a determination method can estimate a skeletal model corresponding to the movement of the target person performing the specific action based on the skeletal model in the moving image in which the target person performing the specific action is included as a subject.
  • a plurality of three-dimensional areas can be set according to the movement of the subject.
  • a two-dimensional skeleton model of the subject is estimated based on the image, and based on the estimated two-dimensional skeleton model, a learned model, which is a trained machine learning model is used to estimate a three-dimensional skeleton model of the subject, and in the setting step, a plurality of three-dimensional regions are set based on the three-dimensional skeleton model.
  • Such a determination method can estimate a three-dimensional skeleton model using a trained model with a two-dimensional skeleton model in an image as an input. can determine the state of the subject's activities of daily living.
  • a plurality of three-dimensional regions are set around the skeletal model using one of the plurality of skeletal points in the skeletal model as a base point, and the plurality of three-dimensional regions are is a vertical axis extending from the head to the legs of the subject in a side view of the subject and adjacent to the subject's back side with a first reference axis Z1 passing through the base point.
  • Each of the regions A1 includes a left side region B2 and a right side region B1 of the subject, which are provided adjacent to each other across a second reference axis Z2 passing through the base point, which is the longitudinal axis when viewed from the front of the subject.
  • the left region B2 and the right region B1 each include a predetermined number of regions divided in the horizontal direction orthogonal to the vertical direction from the subject's head to the leg.
  • the size and position of the three-dimensional region where the subject's wrist is positioned in a specific motion are set according to the subject's daily life motion, so that the subject's daily life can be more accurately measured.
  • the state of daily activities can be determined.
  • the determination method is such that the first reference axis Z1 is based on the skeletal points of the neck and waist of the subject, and the second reference axis Z2 is set on the skeletal points of the neck and elbows of the subject.
  • the first distance L1 which is the distance from the skeletal point of the elbow of the subject to the tip of the hand in the lateral view of the subject, is set to the back area A3, the front area A2, and the front area A1. is set as the width W1 of each of the left region B2 and the right region Set as the width W2 of each of B1.
  • widths of a plurality of three-dimensional regions are set based on the positions of skeleton points, for example, even if the height of the subject is the same, A plurality of three-dimensional regions can be set according to the skeleton.
  • the determination method further includes a presentation step (S21 in FIG. 3) of presenting to the user the state of the subject's daily living activities determined in the determination step, and a reception step (S22 of FIG. 3) of receiving an instruction regarding user's operation. ), and in the determination step (S16 in FIG. 2), based on the user's instruction received in the reception step (S22), information on the state of the subject's daily life activities is extracted (S23) and presented In step (S21), the information extracted in determination step (S23) is presented to the user (S24).
  • the information about the state of activities in daily life includes at least one of a three-dimensional skeletal model of the subject performing the specific movement, the determination result of the body function of the subject, and training content proposed to the subject. including.
  • Such a determination method can extract necessary information for the user from among the information regarding the state of the subject's daily living activities based on the user's instructions and present it to the user.
  • the information related to the state of activities of daily living includes the physical function of the subject, and the physical function of the subject includes at least the movement of opening and closing the hand of the subject and the movement of the fingers. It is determined based on either state.
  • Such a determination method can determine, for example, whether or not the subject can grasp an object by determining whether or not the subject can perform an action involving finger movement. state can be determined more accurately.
  • the determination device includes an instruction unit 36 for instructing the target person to perform a specific action, a camera 20 for capturing an image including the target person performing the specific action as a subject, and based on the captured image, an estimating unit 42b for estimating a skeletal model of a subject in an image; a setting unit 42c for setting a plurality of three-dimensional regions around the skeletal model based on the positions of a plurality of skeletal points in the estimated skeletal model; a specifying unit 42d that specifies a three-dimensional region that includes the skeletal points of the subject's wrist in a specific motion from among the plurality of three-dimensional regions that have been identified; and a determination unit 42e that determines the state of
  • Such a determination device identifies a 3D region in which the skeletal points of the subject's wrist in a specific motion are located, from among a plurality of 3D regions set around the skeleton model, thereby determining the subject's daily life.
  • the state of living activities can be determined simply and accurately.
  • the determination system 10 is a system including an information terminal 30 and a server device 40 connected to the information terminal 30 via communication, and the information terminal 30 communicates with the server device 40. , an instruction unit 36 for instructing the target person to perform a specific action, and a camera 20 for capturing an image including the target person performing the specific action as a subject. an estimating unit 42b for estimating a skeletal model of the subject in the image based on the obtained image; and setting a plurality of three-dimensional regions around the skeletal model based on the positions of a plurality of skeletal points in the estimated skeletal model.
  • a specifying unit 42d for specifying a three-dimensional region including the skeletal points of the subject's wrist in a specific motion from among the plurality of set three-dimensional regions; and based on the specified three-dimensional region , and a determination unit 42e that determines the state of the subject's daily life activities.
  • Such a determination system 10 identifies, from among a plurality of three-dimensional regions set around the skeleton model, a three-dimensional region in which the skeleton point of the subject's wrist in a specific motion is located, thereby determining whether the subject's The state of activities of daily living can be easily and accurately determined.
  • processing executed by a specific processing unit may be executed by another processing unit.
  • order of multiple processes may be changed, and multiple processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • each component may be realized by hardware.
  • Each component may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • the present invention may be implemented as a determination method, a program for causing a computer to execute the determination method, or a computer-readable non-temporary program in which such a program is recorded. may be realized as a recording medium.
  • the determination system includes a camera, an information terminal, and a server device
  • the determination system may be realized as a single device such as an information terminal, It may be implemented by multiple devices.
  • the determination system may be implemented as a client-server system.
  • the components provided in the determination system described in the above embodiment may be distributed to the plurality of devices in any way.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

判定方法は、コンピュータが実行する判定方法であって、対象者に特定の動作を行うように指示する指示ステップ（Ｓ１１）と、特定の動作を行う対象者を被写体として含む画像を撮影する撮影ステップ（Ｓ１２）と、撮影された画像に基づいて、画像における対象者の骨格モデルを推定する推定ステップ（Ｓ１３）と、推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する設定ステップ（Ｓ１４）と、設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が位置する三次元領域を特定する特定ステップ（Ｓ１５）と、特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する判定ステップ（Ｓ１６）と、を含む。

Description

判定方法、判定装置、及び、判定システム
　本発明は、判定方法、判定装置、及び、判定システムに関する。
　従来、介護施設では、高齢者が自立して生活できるように訓練（いわゆる、リハビリテーション）を行うサービスがある。リハビリテーションでは、訓練計画を作成する資格を有する介護施設の職員が高齢者の居宅を訪問して、高齢者の身体機能及び日常生活動作（ＡＤＬ：Ａｃｔｉｖｉｔｉｅｓ　ｏｆ　Ｄａｉｌｙ　Ｌｉｖｉｎｇ）の状態を判定し、ＡＤＬの状態に応じた訓練計画を作成する。リハビリテーションは、作成された訓練計画に従って行われる。
　例えば、特許文献１には、リハビリテーションの評価において、所定の動作を実行する対象者の動作情報を取得し、取得された動作情報を解析して、指定された部位の動きに関する解析値に基づく表示情報を表示する動作情報処理装置が開示されている。
特開２０１５－０６１５７９号公報
　しかしながら、特許文献１に記載の技術では、リハビリテーションの訓練計画を作成するにあたり、対象者の日常生活動作の状態が正確に判定されていないと、対象者のリハビリテーションを正確に評価することができない。
　本発明は、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる判定方法、判定装置、及び、判定システムを提供する。
　本発明の一態様に係る判定方法は、コンピュータが実行する判定方法であって、対象者に特定の動作を行うように指示する指示ステップと、前記特定の動作を行う前記対象者を被写体として含む画像を撮影する撮影ステップと、撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定ステップと、推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定ステップと、設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定ステップと、特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定ステップと、を含む。
　本発明の一態様に係る判定装置は、対象者に特定の動作を行うように指示する指示部と、前記特定の動作を行う前記対象者を被写体として含む画像を撮影するカメラと、撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定部と、設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定部と、特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、を備える。
　本発明の一態様に係る判定システムは、情報端末と前記情報端末と通信を介して接続されるサーバ装置とを備えるシステムであって、前記情報端末は、前記サーバ装置と通信を行う通信部と、対象者に特定の動作を行うように指示する指示部と、前記特定の動作を行う前記対象者を被写体として含む画像を撮影するカメラと、を備え、前記サーバ装置は、前記カメラで撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定部と、設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定部と、特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、を備える。
　本発明によれば、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる判定方法、判定装置、及び、判定システムが実現される。
図１は、実施の形態に係る判定システムの機能構成の一例を示すブロック図である。 図２は、実施の形態に係る判定システムの動作の第１の例を示すフローチャートである。 図３は、実施の形態に係る判定システムの動作の第２の例を示すフローチャートである。 図４は、対象者の二次元骨格モデルの推定を概念的に示す図である。 図５は、三次元骨格モデルの推定を概念的に示す図である。 図６は、複数の三次元領域の設定を概念的に示す図である。 図７は、手首が位置する三次元領域の特定を概念的に示す図である。 図８は、データベースの一例を示す図である。 図９は、提示情報の一例を示す図である。 図１０は、提示情報の一例を示す図である。 図１１は、提示情報の一例を示す図である。 図１２は、提示情報の他の例を示す図である。 図１３は、提示情報の他の例を示す図である。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
　（実施の形態）
　［１．構成］
　まず、実施の形態に係る判定システムの構成について説明する。図１は、実施の形態に係る判定システムの機能構成の一例を示すブロック図である。
　判定システム１０は、特定の動作を行う対象者の画像に基づいて推定された骨格モデルの周囲に複数の三次元領域を設定し、設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が含まれる三次元領域を特定し、特定された三次元領域に基づいて対象者の日常生活動作の状態を判定するシステムである。判定方法については後述される。
　対象者は、例えば、疾患、外傷、高齢化、又は、障害により身体を動かすための能力である身体機能が低下した人である。ユーザは、例えば、理学療法士、作業療法士、看護師、又は、リハビリ専門職員である。
　図１に示されるように、判定システム１０は、例えば、カメラ２０と、情報端末３０と、サーバ装置４０とを備える。
　［カメラ］
　カメラ２０は、特定の動作を行う対象者を被写体として含む画像（例えば、複数の画像によって構成される動画像）を撮影する。カメラ２０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いたカメラであってもよいし、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサを用いたカメラであってもよい。図１の例では、カメラ２０は、情報端末３０と通信により接続されるカメラであるが、情報端末３０に取り付けられる外付けのカメラであってもよく、情報端末３０に搭載されたカメラであってもよい。
　［情報端末］
　情報端末３０は、対象者に特定の動作を行うように指示し、カメラ２０によって撮影された対象者の画像（より詳細には、画像データ又は画像情報）を取得し、取得された画像をサーバ装置４０に送信する。情報端末３０は、例えば、ユーザによって使用されるスマートフォン又はタブレット端末などの携帯型のコンピュータ装置であるが、パーソナルコンピュータなどの据え置き型のコンピュータ装置であってもよい。情報端末３０は、具体的には、第１通信部３１ａと、第２通信部３１ｂと、制御部３２と、記憶部３３と、受付部３４と、提示部３５と、指示部３６とを備える。
　第１通信部３１ａは、情報端末３０が局所通信ネットワークを介してカメラ２０と通信を行うための通信回路（言い換えると、通信モジュール）である。第１通信部３１ａは、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。なお、第１通信部３１ａが行う通信の通信規格については特に限定されない。例えば、第１通信部３１ａは、Ｗｉ－Ｆｉ（登録商標）などによりルータ（不図示）を介してカメラ２０と通信してもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）などによりカメラ２０と直接通信してもよい。
　第２通信部３１ｂは、情報端末３０がインターネットなどの広域通信ネットワーク５を介してサーバ装置４０と通信を行うための通信回路（言い換えると、通信モジュール）である。第２通信部３１ｂは、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。なお、第２通信部３１ｂが行う通信の通信規格については特に限定されない。
　制御部３２は、受付部３４によって受け付けられた操作入力に基づいて、情報端末３０に関する各種情報処理を行う。制御部３２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。
　記憶部３３は、制御部３２が実行するための専用のアプリケーションプログラムなどが記憶される記憶装置である。記憶部３３は、例えば、半導体メモリなどによって実現される。
　受付部３４は、情報端末３０のユーザ（例えば、リハビリ専門職員など）による操作入力を受け付ける入力インタフェースである。例えば、受付部３４は、判定部４２ｅによる判定における重み付けの条件、判定結果の抽出条件、又は、提示部３５への提示方法などの条件、及び、測定開始又は終了の指示をサーバ装置４０に送信するために行うためのユーザの入力操作を受け付ける。受付部３４は、具体的には、タッチパネルディスプレイなどによって実現される。例えば、受付部３４がタッチパネルディスプレイを搭載している場合は、タッチパネルディスプレイが提示部３５及び受付部３４として機能する。なお、受付部３４は、タッチパネルディスプレイに限らず、例えば、キーボード、ポインティングデバイス（例えばタッチペンもしくはマウス）、又は、ハードウェアボタンなどであってもよい。また、受付部３４は、音声による入力を受け付ける場合、マイクロフォンであってもよい。また、受付部３４は、ジェスチャによる入力を受け付ける場合、カメラであってもよい。
　提示部３５は、例えば、日常生活動作の状態の判定結果をユーザに提示する。また、提示部３５は、ユーザの指示に基づいて抽出された対象者の日常生活動作の状態に関する情報をユーザに提示する。指示部３６は、例えば、液晶パネル又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの表示パネル、スピーカ、及び、イヤフォンの少なくともいずれかである。例えば、音声と映像とで指示が行われる場合、提示部３５は、表示パネルとスピーカ又はイヤフォンであってもよいし、表示パネル、スピーカ及びイヤフォンであってもよい。
　指示部３６は、対象者に特定の動作を行うように指示する。指示部３６は、音声、文字及び映像の少なくとも１つにより対象者に指示してもよい。指示部３６は、例えば、液晶パネル又は有機ＥＬパネルなどの表示パネル、スピーカ、及び、イヤフォンの少なくともいずれかである。例えば、音声と映像とで指示が行われる場合、指示部３６は、表示パネルとスピーカ又はイヤフォンであってもよいし、表示パネル、スピーカ及びイヤフォンであってもよい。
　なお、指示部３６は、指示の態様によっては、提示部３５として機能してもよく、提示部３５が指示部３６として機能してもよい。つまり、指示部３６は、提示部３５と一体化されてもよい。
　［サーバ装置］
　サーバ装置４０は、情報端末３０から送信された画像を取得し、取得された画像における骨格モデルを推定し、推定された骨格モデルに基づいて対象者の日常生活動作の状態を判定する。サーバ装置４０は、通信部４１と、情報処理部４２と、記憶部４３とを備える。
　通信部４１は、サーバ装置４０が情報端末３０と通信を行うための通信回路（言い換えると、通信モジュール）である。通信部４１は、広域通信ネットワーク５を介して通信を行うための通信回路（通信モジュール）と、局所通信ネットワークを介して通信を行うための通信回路（通信モジュール）とを備えてもよい。通信部４１は、例えば、無線通信を行う無線通信回路である。なお、通信部４１が行う通信の通信規格については特に限定されない。
　情報処理部４２は、サーバ装置４０に関する各種情報処理を行う。情報処理部４２は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。情報処理部４２の機能は、例えば、情報処理部４２を構成するマイクロコンピュータまたはプロセッサ等が記憶部４３に記憶されたコンピュータプログラムを実行することによって実現される。具体的には、情報処理部４２は、取得部４２ａと、推定部４２ｂと、特定部４２ｄと、判定部４２ｅと、出力部４２ｆとを備える。
　取得部４２ａは、情報端末３０から送信された画像（例えば、複数の画像から構成される動画像）、及び、受付部３４により受け付けられたユーザの操作入力を取得する。
　推定部４２ｂは、取得部４２ａにより取得された画像に基づいて、画像における対象者の骨格モデルを推定する。より具体的には、推定部４２ｂは、複数の画像から構成される動画像に基づいて、動画像を構成する複数の画像のそれぞれにおける骨格モデルを推定する。例えば、推定部４２ｂは、画像に基づいて、対象者の二次元骨格モデルを推定し、推定された二次元骨格モデルに基づいて、学習済みの機械学習モデルである学習済みモデル４４を用いて対象者の三次元骨格モデルを推定する。
　設定部４２ｃは、推定部４２ｂにより推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する。より具体的には、例えば、設定部４２ｃは、三次元骨格モデルに基づいて、複数の三次元領域を設定する。例えば、設定部４２ｃは、骨格モデルにおける複数の骨格点のうち１つの骨格点を基点として骨格モデルの周囲に複数の三次元領域を設定する。二次元骨格モデル、三次元骨格モデルの推定、及び、複数の三次元領域の設定の詳細については、［２．動作］の［第１の例］で説明するため、ここでの説明を省略する。
　特定部４２ｄは、設定部４２ｃにより設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が位置する三次元領域を特定する。
　判定部４２ｅは、特定部４２ｄにより特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する。例えば、判定部４２ｅは、特定の動作と、特定の動作において手首が位置する三次元領域と、特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベース４５に基づいて、特定部４２ｄにより特定された三次元領域がデータベース４５に格納された三次元領域と一致するか否かを判定することにより、対象者の日常生活動作の状態を判定する。
　出力部４２ｆは、例えば、対象者の日常生活動作の状態の判定結果、及び、対象者の日常生活動作の状態に関する情報の少なくともいずれかを出力する。さらに、出力部４２ｆは、対象者の動画像における三次元骨格モデル、日常生活動作の状態の判定結果に使用された特徴量（例えば、関節可動域などの身体機能のデータ）、対象者の身体機能の判定結果、又は、リハビリ訓練計画などを出力してもよい。
　記憶部４３は、取得部４２ａによって取得された画像データが蓄積される記憶装置である。記憶部４３には、情報処理部４２が実行するためのコンピュータプログラムなども記憶されている。また、例えば、記憶部４３には、特定の動作と、特定の動作において手首が位置する三次元領域と、特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベース４５と、学習済みの機械学習モデル（学習済みモデル４４）とが記憶されている。記憶部４３は、具体的には、半導体メモリまたはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などによって実現される。
　なお、図１の例では、判定システム１０は、複数の装置から構成されるが、単一の装置であってもよい。
　［２．動作］
　続いて、判定システム１０の動作について図面を参照しながら具体的に説明する。
　［第１の例］
　まず、動作の第１の例について図２を参照しながら説明する。図２は、実施の形態に係る判定システム１０の動作の第１の例を示すフローチャートである。図４は、複数の三次元領域の設定を概念的に示す図である。図５は、対象者の二次元骨格モデルの推定を概念的に示す図である。図６は、三次元骨格モデルの推定を概念的に示す図である。
　図示していないが、判定システム１０は、受付部３４により動作を開始する指示が受け付けられると、カメラ２０により撮影された画像を取得し、取得した画像における対象者を識別する。画像における対象者の識別には、公知の画像解析技術が用いられる。
　次に、判定システム１０により対象者が識別されると、指示部３６は、対象者に特定の動作を行うように指示する（Ｓ１１）。
　次に、カメラ２０は、特定の動作を行う対象者を被写体として含む画像を撮影し（Ｓ１２）、撮影された画像（以下、画像データともいう）を情報端末３０に送信する（不図示）。なお、ステップＳ１２では、カメラ２０は、複数の画像から構成される動画像を撮影してもよい。
　次に、情報端末３０は、カメラ２０から送信された画像データを、第１通信部３１ａを介して取得し（不図示）、取得されたデータを、第２通信部３１ｂを介してサーバ装置４０に送信する（不図示）。このとき、情報端末３０は、画像データを秘匿化してサーバ装置４０に送信してもよい。これにより、対象者のプライバシデータが保護される。
　次に、サーバ装置４０の推定部４２ｂは、取得部４２ａにより取得された画像（画像データ）に基づいて、画像における対象者の骨格モデルを推定する（Ｓ１３）。なお、取得部４２ａが複数の画像から構成される動画像を取得した場合、推定部４２ｂは、取得された動画像に基づいて、動画像を構成する複数の画像のそれぞれにおける骨格モデルを推定してもよい。
　例えば、ステップＳ１３では、推定部４２ｂは、画像に基づいて、対象者の二次元骨格モデルを推定し、推定された二次元骨格モデルに基づいて、学習済みの機械学習モデルである学習済みモデル４４を用いて対象者の三次元座標データ（いわゆる三次元骨格モデル）を推定してもよい。
　図４は、対象者の二次元骨格モデルの推定を概念的に示す図である。図４に示されるように、二次元骨格モデルは、画像に映る対象者１の関節１００の位置（図中の丸）をリンク（図中の線）で結んだモデルである。二次元骨格モデルの推定には、既存の姿勢及び骨格の推定アルゴリズムが用いられる。
　図５は、三次元骨格モデルの推定を概念的に示す図である。学習済みモデル４４（図中の学習モデル）は、各関節の三次元座標データが既知である二次元骨格モデルを学習データとし、上記三次元座標データを教師データとする機械学習によって予め構築された識別器である。学習済みモデル４４は、二次元骨格モデルを入力として、その三次元座標データ、つまり、三次元骨格モデルを出力することができる。
　また、例えば、ステップＳ１３では、推定部４２ｂは、取得部４２ａにより取得された画像に基づいて三次元座標データ（三次元骨格モデル）を推定してもよい。この場合、例えば、対象者の画像と三次元座標データとの関係性を示す学習済みモデルが用いられてもよい。
　次に、設定部４２ｃは、ステップＳ１３で推定部４２ｂにより推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する。より具体的には、例えば、設定部４２ｃは、三次元骨格モデルに基づいて、複数の三次元領域を設定する。例えば、設定部４２ｃは、骨格モデルにおける複数の骨格点のうち１つの骨格点を基点として骨格モデルの周囲に複数の三次元領域を設定する。以下、複数の三次元領域の設定について具体的に説明する。
　図６は、複数の三次元領域の設定を概念的に示す図である。まず、図６の（ｂ）、図６の（ｄ）及び図６の（ｆ）を参照しながら説明する。図６の（ｂ）、図６の（ｄ）及び図６の（ｆ）に示されるように、複数の三次元領域は、対象者の側面視において、対象者の頭部から脚部に向かう縦方向の軸であって上記基点を通る第１基準軸Ｚ１を挟んで隣接して設けられた対象者の背面側の背面領域Ａ３（図６の（ｆ）参照）及び正面側の正面領域Ａ２（図６の（ｄ）参照）と、正面側の領域に隣接して対象者の前方側に設けられた前方領域Ａ１（図６の（ｂ）参照）とのいずれかの領域に含まれる。また、図６の（ａ）、図６の（ｃ）及び図６の（ｅ）に示されるように、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれは、対象者の正面視において、縦方向の軸であって、基点を通る第２基準軸Ｚ２を挟んで隣接して設けられた対象者の左側領域Ｂ２及び右側領域Ｂ１を含み、左側領域Ｂ２及び右側領域Ｂ１のそれぞれは、対象者の頭部から脚部にかけて縦方向に分割された所定の数の領域を含む。例えば、図６の（ａ）では、前方領域Ａ１の左側領域Ｂ２及び右側領域Ｂ１のそれぞれは、対象者の頭部から脚部にかけて縦方向と直交する横方向に分割された３つの領域を含む。図６に示されるように、所定の数の領域は、右側領域Ｂ１及び左側領域Ｂ２に対して同じ数含まれるが、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれにおいて、異なる数含まれてもよい。
　また、例えば、第１基準軸Ｚ１は、対象者の首の骨格点及び腰の骨格点を上記基点として設定され、第２基準軸Ｚ２は、対象者の首の骨格点及び肘の骨格点を上記基点として設定されてもよい。この場合、設定部４２ｃは、例えば、図６の（ｂ）、図６の（ｄ）及び図６の（ｆ）に示されるように、対象者の側面視において、対象者の肘の骨格点から手の先端までの距離である第１距離Ｌ１を、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれの幅Ｗ１として設定し、例えば、図６の（ａ）、図６の（ｃ）及び図６の（ｅ）に示されるように、対象者の正面視において、対象者の首の骨格点から肩の骨格点までの第２距離Ｌ２の２倍の距離を、左側領域Ｂ２及び右側領域Ｂ１のそれぞれの幅Ｗ２として設定してもよい。なお、上記の基点及び幅の設定は一例であり、これに限られない。
　再び図２を参照する。ステップＳ１４で設定部４２ｃにより骨格モデルの周囲に複数の三次元領域が設定されると、特定部４２ｄは、設定部４２ｃにより設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が位置する三次元領域を特定する（Ｓ１５）。図７は、手首が位置する三次元領域の特定を概念的に示す図である。特定部４２ｄは、画像における対象者の三次元座標データ（いわゆる、三次元骨格モデル）に基づいて、対象者の手首の骨格点の座標が複数の三次元領域のうちのいずれの領域に位置する（言い換えると、含まれる）かを特定する。特定された三次元領域は、図７に示される網掛けが付された領域である。
　次に、判定部４２ｅは、ステップＳ１５で特定部４２ｄにより特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する（Ｓ１６）。例えば、判定部４２ｅは、判定部４２ｅは、特定の動作と、特定の動作において手首が位置する三次元領域と、特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベース４５を参照して、特定部４２ｄにより特定された三次元領域がデータベース４５に特定の動作と紐づけて格納された三次元領域と一致するか否かを判定することにより、対象者の日常生活動作の状態を判定してもよい。
　図８は、データベース４５の一例を示す図である。図８に示されるように、データベース４５は、特定の動作と、特定の動作において対象者の手首が位置する三次元領域と、日常生活動作（ＡＤＬ）とが紐づけられて格納されている。例えば、特定の動作がバンザイである場合、特定の動作において対象者の手首が位置する三次元領域が図６に示されるＤ２－２（右手首が位置する領域）及びＧ２－２（左手首が位置する領域）であれば、食事、整容（洗顔、髭剃り、メイク）、及び、洗濯などの日常生活動作が可能であると判定される。
　なお、判定システム１０は、ステップＳ１１～ステップＳ１６の処理を１ループ処理として、対象者が複数の特定の動作のそれぞれを行う度に実行してもよいし、ステップＳ１１及びステップＳ１２の処理を複数の特定の動作のそれぞれについて実行し、対象者がすべての特定の動作を終了してから、複数の特定の動作のそれぞれについてステップＳ１３～ステップＳ１６の処理を行ってもよい。
　以上のように、本実施の形態に係る判定システム１０では、特定の動作を行う対象者を被写体として含む画像における骨格モデルを推定し、推定された骨格モデルの周囲に複数の三次元領域を設定し、複数の三次元領域のうちいずれの領域に対象者の手首が位置するかを特定することにより、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる。
　［第１の例の変形例１］
　第１の例では、対象者に特定の動作を行うように指示する際に、対象者の身体機能に応じて特定の動作を選定していないが、第１の例の変形例では、特定の動作の指示を行う前に、対象者の身体機能に応じて対象者に行わせる動作を選定してもよい。
　例えば、図２のステップＳ１１の前に、座位の姿勢から立ち上がる動作を行うように対象者に指示をしてもよい。このとき、判定システム１０はカメラ２０により撮影された対象者の画像に基づいて対象者が立ち上がる動作をできるか否かを判定してもよいし、ユーザの指示により判定してもよい。当該判定は、判定部４２ｅにより行われてもよい。画像に基づく判定は、例えば、画像における対象者の骨格モデルを推定して行われてもよい。ユーザの指示は、例えば、ジェスチャであってもよいし、音声であってもよし、タッチパネル又はリモコンのボタンなどの操作により入力されてもよい。ジェスチャは、例えば、対象者が立ち上がる動作をできない場合、片手を左右に振る、首を左右に振る、又は、両腕を交差させてバツの形を取るであってもよいし、対象者が立ち上がる動作をできる場合、首を縦に振る、親指を立てる、又は、両手で丸の形を取るであってもよい。また、音声は、例えば、「ノー」又は「イエス」などの短い言葉を発するであってもよい。
　以上のように、対象者の身体機能に応じて特定の動作を選定することにより、対象者の日常生活動作の状態を効率よく、かつ、正確に判定することができる。
　［第１の例の変形例２］
　第１の例及び第１の例の変形例１では、判定システム１０は、特定の動作を行う対象者の三次元骨格モデルに基づいて複数の三次元領域を設定し、特定の動作において対象者の手首が位置する三次元領域を特定することにより、対象者の日常生活動作の状態を判定した。第１の例の変形例２では、さらに、対象者の指の動きを伴う動作（例えば、手の開閉（グーパー）、指の対立（ＯＫサイン）など）の可否を判定することにより、対象者の日常生活動作の状態を判定する。
　例えば、情報端末３０の受付部３４が指の動きを伴う動作の可否判定の指示を受け付けると、制御部３２は指示部３６に指の動きを伴う動作を行うように指示させる。
　情報端末３０は、カメラ２０で撮影された指の動きを伴う動作を行う対象者を被写体として含む画像を取得すると、受付部３４により受け付けられた指示と、カメラ２０により撮影された画像（具体的には、画像データ）とをサーバ装置４０に送信する。
　サーバ装置４０の判定部４２ｅは、例えば、学習済みモデル４４と異なる他の学習済みモデル（不図示）を用いて、画像においてグー及びパーが識別された場合に、手の開閉の動作が可能であると判定してもよい。また、判定部４２ｅは、他の学習済みモデルを用いて、画像において人差し指の先と親指の先とがくっついているか否か、人差し指と親指との間の空間の形状及び大きさを識別して、指の対立の動作が可能であるか否かを判定してもよい。
　以上のように、対象者の指の動きを伴う動作の可否を判定することにより、例えば、対象者が物を把持できるか否かを判定することができるため、対象者の日常生活動作の状態をより精度よく判定することができる。
　［第１の例の変形例３］
　第１の例の変形例３では、推定部４２ｂにより推定された骨格モデルに基づいて、特定の動作における対象者の骨格の動きの特徴を示す特徴量を導出し、特徴量に基づいて、対象者の身体動作を行うための能力である身体機能を判定する。
　図４を再び参照する。例えば、判定部４２ｅは、推定部４２ｂにより推定された骨格モデルに基づいて、所定の関節１００を介して繋がり、かつ、対象者１における２つの非関節部位１０１の位置を導出し、導出した２つの非関節部位１０１の位置を結ぶ直線に基づいて、特徴量として、所定の関節１００の屈曲、伸展、外転、内転、外旋、及び、内旋の少なくともいずれかに関わる関節角度（不図示）を導出する。例えば、肘関節の屈曲に関わる関節角度は、二次元骨格モデルに基づいて推定される三次元座標データ（三次元骨格モデル）に基づいて導出される。判定部４２ｅは、例えば、特定の動作における肘関節の屈曲に関わる関節角度の範囲と、身体機能の判定結果とが対応付けられて格納されたデータベース（不図示）に基づいて、対象者の身体機能を判定してもよい。データベースには、関節角度だけでなく、以下の特徴量についても、同様に、身体機能の判定結果が紐づけられて格納されてもよい。
　例えば、判定部４２ｅは、特定の動作における所定の関節１００と末端部位との距離、所定の関節１００の位置の変動幅などを導出して、それらの値が閾値以上であるか否か、又は、所定の範囲内であるか否かを判定してもよい。
　また、例えば、判定部４２ｅは、所定の関節１００又は末端部位（例えば、手の先）の位置の変動及び変動幅を導出することにより、特定の動作を行う際の対象者１の身体のふらつきの有無を判定してもよい。
　以上のように、対象者の骨格モデルに基づいて、特定の動作における対象者の骨格の動きの特徴を示す特徴量を導出し、導出された特徴量に基づいて対象者の身体機能を判定することにより、日常生活動作の状態だけでなく、筋力などの身体機能を把握することができる。これにより、例えば、日常生活動作に問題がない対象者に対して、筋力などの身体機能に基づいて身体機能の維持又は向上のために必要な訓練計画を提供することができる。
　［第２の例］
　次に、動作の第２の例について図３を参照しながら説明する。図３は、実施の形態に係る判定システム１０の動作の第２の例を示すフローチャートである。第２の例では、第１の例で判定された対象者の日常生活動作の状態から、ユーザの指示に基づいて抽出された日常生活動作の状態に関する情報を提示する例について説明する。
　図示していないが、図２に示される処理フローが終了すると、判定部４２ｅは、対象者の日常生活動作の状態（以下、判定結果ともいう）を出力部４２ｆに出力する。出力部４２ｆは、取得した判定結果を、通信部４１を介して情報端末３０に出力する。このとき、出力される判定結果は、情報処理部４２で秘匿化されてもよい。
　次に、情報端末３０がサーバ装置４０から判定結果を取得すると、提示部３５は、取得された日常生活動作の状態の判定結果を提示する（Ｓ２１）。ステップＳ２１では、対象者が複数の特定の動作を行った場合、それらの特定の動作のそれぞれに紐づけられた日常生活動作の状態の判定結果が提示されてよいし、判定結果が悪かったもののみ提示されてもよい。これらの判定結果は結果が劣る順に提示されてもよい。
　次に、受付部３４は、ユーザからの指示を受け付ける（Ｓ２２）。ユーザの指示は、判定結果から所定の条件で所期の情報を抽出する抽出条件の指定であってもよく、判定結果の提示方法の指定であってもよく、抽出条件及び提示方法の指定であってもよい。所期の情報は、例えば、特定の動作を行う対象者を被写体として含む画像における三次元骨格モデル、手本となる画像における三次元骨格モデル、又は、身体機能の状態などであってもよい。また、提示方法は、例えば、文字を含む画像情報のみの提示、又は、画像情報及び音声情報による提示などである。
　次に、情報端末３０は、ステップＳ２２で受付部３４により受け付けられたユーザの指示をサーバ装置４０に送信する（不図示）。サーバ装置４０の判定部４２ｅは、情報端末３０からユーザの指示を取得すると、ユーザの指示に基づいて、日常生活動作の状態に関する情報を抽出する（Ｓ２３）。例えば、ユーザの指示が移乗に関する日常生活動作に重み付けをする抽出条件の指定である場合、複数の特定の動作に対応する日常生活動作のうち移乗に関する日常生活動作の状態の判定結果が優先的に抽出される。サーバ装置４０の出力部４２ｆは、ステップＳ２３で判定部４２ｅにより抽出された日常生活動作に関する情報（以下、抽出された情報、又は、抽出結果ともいう）を情報端末３０に出力する（不図示）。日常生活動作の状態に関する情報は、例えば、特定の動作を行う対象者の三次元骨格モデル、対象者の身体機能の判定結果、及び、対象者に提案する訓練内容の少なくともいずれかを含む。日常生活動作の状態に関する情報は、対象者の身体機能を含み、対象者の身体機能は、例えば、対象者の手の開閉（グーパー）の動作、及び、指の対立（ＯＫサイン）の動作の少なくともいずれかの状態に基づいて判定される。
　次に、情報端末３０がサーバ装置４０から抽出結果を取得すると、提示部３５は、ステップＳ２３で抽出された日常生活動作に関する情報をユーザに提示する（Ｓ２４）。
　なお、第２の例では、対象者の日常生活の状態の判定結果が提示されてから、ユーザの指示により判定結果から所定の条件で抽出された日常生活動作の状態に関する情報を提示するが、ユーザは判定結果の提示の前に、抽出条件などの指示を入力してもよい。このとき、例えば、判定システム１０は、判定結果の提示の前に、例えば、判定が終了したことをユーザに通知してもよい。これにより、判定結果からユーザが所望する情報を抽出してユーザに提示することができる。
　［第２の例の変形例１］
　次に、第２の例の変形例１について図９、図１０及び図１１を参照しながら説明する。図９は、背中タッチの動作における日常生活動作の状態の判定の一例を示す図である。図９～図１１は、提示情報の一例を示す図である。以下では、図２及び図３で説明した内容については説明を省略又は簡略化する。
　第２の例では、日常生活動作の状態の判定結果をユーザに提示したが、第２の例の変形例では、日常生活動作の判定を行いながら、ユーザに判定結果及び日常生活動作の状態に関する情報をユーザに提示する。
　例えば、情報端末３０の受付部３４が判定と並行して提示する指示を受け付けると、情報端末３０は、当該指示をサーバ装置４０に送信する。
　サーバ装置４０が当該指示を取得すると、情報処理部４２は、提示部３５に提示させる提示情報を情報端末３０へ出力する。
　情報端末３０が提示情報を取得すると、提示部３５は、提示情報を提示し、指示部３６は対象者に特定の動作を行うように指示する（図２のステップＳ１１）。当該指示は、例えば、「両手を背中の後ろで組んだまま上にあげてください」などの音声を出力することで行われてもよい。
　図９～図１１のそれぞれにおいて、（ａ）はカメラ２０で撮影された画像（ここでは、動画像）における二次元骨格モデルが示されており、（ｂ）は、三次元骨格モデルと複数の三次元領域とが示されており、（ｃ）は、特定の動作に対応する日常生活動作（ＡＤＬ）とその判定結果とが示されている。
　カメラ２０は、特定の動作を行う対象者を被写体として含む画像（ここでは、動画像）を撮影し（図２のＳ１２）、推定部４２ｂは、撮影された動画像に基づいて、対象者の骨格モデルを推定する（Ｓ１３）。第２の例の変形例１では、ステップＳ１３の処理と並行して、図３のステップＳ２３の処理が行われる。例えば、ステップＳ１３で二次元骨格モデル及び三次元骨格モデルが推定されると、これらの骨格モデルが提示部３５に提示される。
　次に、設定部４２ｃは、須千栄された骨格モデルにおける複数の骨格点（図中の丸）の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する（図２のＳ１４）。第２の例の変形例１では、ステップＳ１４の処理と並行して、図３のステップＳ２３の処理が行われる。例えば、ステップＳ１４で複数の三次元領域が設定されると、図９～図１１の（ｂ）に示されるように、三次元骨格モデルの周囲に複数の三次元領域が表示された画像が提示部３５に提示される。
　次に、特定部４２ｄは、設定部４２ｃにより設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が位置する三次元領域を特定し（図２のＳ１５）、判定部４２ｅは、ステップＳ１５で特定部４２ｄにより特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する（図２のＳ１６）。第２の例の変形例１では、ステップＳ１５及びステップＳ１６の処理と並行して、図３のステップＳ２１及びステップＳ２３の処理が行われる。例えば、ステップＳ１５で複数の三次元領域が設定されると、図９の（ｂ）に示されるように複数の三次元領域のうち対象者の手首が位置する三次元領域をマークアップした画像が提示部３５に提示される。なお、図１０の（ｂ）及び図１１の（ｂ）に示されるように、対象者の手首の位置の移動軌跡がわかるように、手首が通過した三次元領域もマークアップされてもよい。また、図９～図１１の（ｂ）に示されるように、見やすさの観点から、片方の手首が位置する三次元領域のみがマークアップされてもよいし、両方の手首のそれぞれが位置する三次元領域がマークアップされてもよい。また、例えば、ステップＳ１６で対象者の日常生活動作の状態が判定されると、図９～図１１の（ｃ）に示されるように、特定の動作に対応付けられた日常生活動作（ＡＤＬ）と、日常生活動作の状態の判定結果とが提示される。図９の（ｃ）及び図１０の（ｃ）では、特定の動作が背中タッチである場合に、当該特定の動作において手首が位置する領域（三次元領域Ｅ３－１及びＨ３－１）（図６及び図８参照）に対象者の手首が位置していないため、上着を脱ぐなどの着衣に関する日常生活動作の状態は、不可能と判定され、当該判定結果が提示部３５に表示される。一方、図１１の（ｃ）では、特定の動作において手首が位置する領域に対象者の手首が位置しているため、上着を脱ぐなどの着衣に関する日常生活動作の状態は、可能であると判定され、当該判定結果が提示部３５に表示される。
　なお、提示部３５は、上記の提示情報のうち判定結果を音声で出力してもよい。図１２及び図１３は、提示情報の他の例を示す図である。図１２及び図１３についても、（ａ）は、カメラ２０で撮影された画像（ここでは、動画像）における二次元骨格モデルが示されており、（ｂ）は、三次元骨格モデルと複数の三次元領域とが示されている。
　図１２では、特定の動作は、バンザイであり、当該特定の動作における手首が位置する領域（三次元領域Ｄ２－２及びＧ２－２）（図６及び図８参照）に対象者の手首が位置するため、食事、整容（洗顔、髭剃り、メイク）、洗濯などに関する日常生活動作の状態は、可能であると判定され、当該判定結果がユーザに音声で提示される。
　図１３では、特定の動作は、頭後ろタッチであり、当該特定の動作における手首が位置する領域（三次元領域Ｄ３及びＧ３）（図６及び図８参照）に対象者の手首が位置するため、洗髪などに関する日常生活動作の状態は、可能であると判定され、当該判定結果がユーザに音声で提示される。
　なお、図１２及び図１３に示されるように、複数の三次元領域のうち首の骨格点よりも上側（つまり、頭側）の領域は、顔の向き及び首の傾きに応じて設定される。これにより、例えば、代償動作の有無を含めて日常生活動作の状態を判定することができる。
　［第２の例の変形例２］
　第２の例の変形例２では、日常生活動作の状態の判定結果及び日常生活動作に関する情報に加えて、リハビリテーションの訓練計画を生成し、ユーザに提示する。具体的には、サーバ装置４０の情報処理部４２は、対象者の日常生活動作の状態の判定結果に基づいて、リハビリテーションの訓練計画を作成する。このとき、例えば、情報処理部４２は、日常生活動作の状態の判定結果に加えて、対象者の身体機能の判定結果に基づいて、リハビリテーションの訓練計画を作成してもよい。
　例えば、情報処理部４２は、複数の特定の動作に基づく判定結果のうち不可能と判定された日常生活動作がある場合、当該日常生活動作を可能にするための訓練計画を生成してもよい。また、例えば、情報処理部４２は、複数の特定の動作に基づく判定結果が全て可能と判定された場合でも、それらの判定結果のうち結果が劣る日常生活動作を選択して、対象者が当該日常生活動作をよりスムーズに行えるように身体機能を高める又は維持する訓練計画を作成してもよい。また、例えば、情報処理部４２は、上記の判定結果に加えて、対象者の身体機能の判定結果に基づいて、例えば物を把持するための身体機能を高める又は維持するの訓練などを追加してもよい。
　［３．効果等］
　以上説明したように、判定方法は、コンピュータが実行する判定方法であって、対象者に特定の動作を行うように指示する指示ステップ（図２のＳ１１）と、特定の動作を行う対象者を被写体として含む画像を撮影する撮影ステップ（Ｓ１２）と、撮影された画像に基づいて、画像における対象者の骨格モデルを推定する推定ステップ（Ｓ１３）と、推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する設定ステップ（Ｓ１４）と、設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が位置する三次元領域を特定する特定ステップ（Ｓ１５）と、特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する判定ステップ（Ｓ１６）と、を含む。
　このような判定方法は、骨格モデルの周囲に設定された複数の三次元領域のうち、特定の動作における対象者の手首の骨格点が位置する三次元領域を特定することにより、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる。
　また、例えば、判定方法は、判定ステップ（Ｓ１６）では、特定の動作と、特定の動作において手首が位置する三次元領域と、特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベース４５に基づいて、特定ステップ（Ｓ１５）により特定された三次元領域がデータベース４５に格納された三次元領域と一致するか否かを判定することにより、対象者の日常生活動作の状態を判定する。
　このような判定方法は、特定の動作を行う対象者の手首の骨格点が位置する三次元領域がデータベース４５に特定の動作に対応付けて格納された三次元領域と一致するか否かを判定することにより、簡便に、対象者の日常生活動作の状態を判定することができる。
　また、例えば、判定方法は、撮影ステップ（Ｓ１２）では、複数の画像から構成される動画像を撮影し、推定ステップ（Ｓ１３）では、動画像に基づいて、動画像を構成する複数の画像のそれぞれにおける骨格モデルを推定する。
　このような判定方法は、特定の動作を行う対象者が被写体として含まれる動画像における骨格モデルに基づいて、特定の動作を行う対象者の動きに対応する骨格モデルを推定することができるため、対象者の動きに応じて複数の三次元領域を設定することができる。
　また、例えば、判定方法は、推定ステップでは、画像に基づいて、対象者の二次元骨格モデルを推定し、推定された二次元骨格モデルに基づいて、学習済みの機械学習モデルである学習済みモデルを用いて対象者の三次元骨格モデルを推定し、設定ステップでは、三次元骨格モデルに基づいて、複数の三次元領域を設定する。
　このような判定方法は、画像における二次元骨格モデルを入力として学習済みモデルを用いて三次元骨格モデルを推定することができるため、１台のカメラ２０から得られる画像（又は動画像）に基づいて、対象者の日常生活動作の状態を判定することができる。
　また、例えば、判定方法は、設定ステップ（Ｓ１４）では、骨格モデルにおける複数の骨格点のうち１つの骨格点を基点として骨格モデルの周囲に複数の三次元領域を設定し、複数の三次元領域は、対象者の側面視において、対象者の頭部から脚部に向かう縦方向の軸であって基点を通る第１基準軸Ｚ１を挟んで隣接して設けられた対象者の背面側の背面領域Ａ３及び正面側の正面領域Ａ２と、正面側の領域に隣接して対象者の前方側に設けられた前方領域Ａ１とのいずれかの領域に含まれ、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれは、対象者の正面視において、縦方向の軸であって、基点を通る第２基準軸Ｚ２を挟んで隣接して設けられた対象者の左側領域Ｂ２及び右側領域Ｂ１を含み、左側領域Ｂ２及び右側領域Ｂ１のそれぞれは、対象者の頭部から脚部にかけて縦方向と直交する横方向に分割された所定の数の領域を含む。
　このような判定方法は、対象者の日常生活動作に応じて、特定の動作における対象者の手首が位置する三次元領域の大きさ及び位置が設定されているため、より精度良く対象者の日常生活動作の状態を判定することができる。
　また、例えば、判定方法は、第１基準軸Ｚ１は、対象者の首の骨格点及び腰の骨格点を基点とし、第２基準軸Ｚ２は、対象者の首の骨格点及び肘の骨格点を基点とし、設定ステップ（Ｓ１４）では、対象者の側面視において、対象者の肘の骨格点から手の先端までの距離である第１距離Ｌ１を、背面領域Ａ３、正面領域Ａ２及び前方領域Ａ１のそれぞれの幅Ｗ１として設定し、対象者の正面視において、対象者の首の骨格点から肩の骨格点までの距離である第２距離Ｌ２の２倍の距離を、左側領域Ｂ２及び右側領域Ｂ１のそれぞれの幅Ｗ２として設定する。
　このような判定方法は、骨格点の位置に基づいて複数の三次元領域の幅（正面視での横幅及び奥行き幅）が設定されるため、例えば、対象者の身長が同じ場合であっても骨格に応じて複数の三次元領域を設定することができる。
　また、例えば、判定方法は、さらに、判定ステップにより判定された対象者の日常生活動作の状態をユーザに提示する提示ステップ（図３のＳ２１）と、ユーザの操作に関する指示を受け付ける受付ステップ（Ｓ２２）と、を含み、判定ステップ（図２のＳ１６）では、受付ステップ（Ｓ２２）により受け付けられたユーザの指示に基づいて、対象者の日常生活動作の状態に関する情報を抽出し（Ｓ２３）、提示ステップ（Ｓ２１）では、判定ステップ（Ｓ２３）により抽出された情報をユーザに提示する（Ｓ２４）。例えば、判定方法では、日常生活動作の状態に関する情報は、特定の動作を行う対象者の三次元骨格モデル、対象者の身体機能の判定結果、及び、対象者に提案する訓練内容の少なくともいずれかを含む。
　このような判定方法は、ユーザの指示に基づいて、対象者の日常生活動作の状態に関する情報のうちユーザに必要な情報を抽出してユーザに提示することができる。
　また、例えば、判定方法では、日常生活動作の状態に関する情報は、対象者の身体機能を含み、対象者の身体機能は、対象者の手の開閉の動作、及び、指の対立の動作の少なくともいずれかの状態に基づいて判定される。
　このような判定方法は、対象者の指の動きを伴う動作の可否を判定することにより、例えば、対象者が物を把持できるか否かを判定することができるため、対象者の日常生活動作の状態をより精度よく判定することができる。
　また、判定装置は、対象者に特定の動作を行うように指示する指示部３６と、特定の動作を行う対象者を被写体として含む画像を撮影するカメラ２０と、撮影された画像に基づいて、画像における対象者の骨格モデルを推定する推定部４２ｂと、推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する設定部４２ｃと、設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が含まれる三次元領域を特定する特定部４２ｄと、特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する判定部４２ｅと、を備える。
　このような判定装置は、骨格モデルの周囲に設定された複数の三次元領域のうち、特定の動作における対象者の手首の骨格点が位置する三次元領域を特定することにより、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる。
　また、判定システム１０は、情報端末３０と情報端末３０と通信を介して接続されるサーバ装置４０とを備えるシステムであって、情報端末３０は、サーバ装置４０と通信を行う第２通信部３１ｂと、対象者に特定の動作を行うように指示する指示部３６と、特定の動作を行う対象者を被写体として含む画像を撮影するカメラ２０と、を備え、サーバ装置４０は、カメラ２０で撮影された画像に基づいて、画像における対象者の骨格モデルを推定する推定部４２ｂと、推定された骨格モデルにおける複数の骨格点の位置に基づいて、骨格モデルの周囲に複数の三次元領域を設定する設定部４２ｃと、設定された複数の三次元領域のうち特定の動作において対象者の手首の骨格点が含まれる三次元領域を特定する特定部４２ｄと、特定された三次元領域に基づいて、対象者の日常生活動作の状態を判定する判定部４２ｅと、を備える。
　このような判定システム１０は、骨格モデルの周囲に設定された複数の三次元領域のうち、特定の動作における対象者の手首の骨格点が位置する三次元領域を特定することにより、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる。
　（その他の実施の形態）
　以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本発明は、判定方法として実現されてもよいし、判定方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータで読み取り可能な非一時的な記録媒体として実現されてもよい。
　また、上記実施の形態では、判定システムは、カメラと、情報端末と、サーバ装置とを備える例を示したが、判定システムは、情報端末などの単一の装置として実現されてもよいし、複数の装置によって実現されてもよい。例えば、判定システムは、クライアントサーバシステムとして実現されてもよい。判定システムが複数の装置によって実現される場合、上記実施の形態で説明された判定システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
　１　対象者
　１０　判定システム
　２０　カメラ
　３０　情報端末
　３１ｂ　第２通信部
　３４　受付部
　３５　提示部
　３６　指示部
　４０　サーバ装置
　４２ｂ　推定部
　４２ｃ　設定部
　４２ｄ　特定部
　４２ｅ　判定部
　４３　記憶部
　４４　学習済みモデル
　４５　データベース
　Ｚ１　第１基準軸
　Ｚ２　第２基準軸
　Ａ１　前方領域
　Ａ２　正面領域
　Ａ３　背面領域
　Ｂ１　右側領域
　Ｂ２　左側領域
　Ｌ１　第１距離
　Ｌ２　第２距離
　Ｗ１　幅
　Ｗ２　幅

Claims (11)

  1. 　コンピュータが実行する判定方法であって、
    　対象者に特定の動作を行うように指示する指示ステップと、
    　前記特定の動作を行う前記対象者を被写体として含む画像を撮影する撮影ステップと、
    　撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定ステップと、
    　推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定ステップと、
    　設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が位置する三次元領域を特定する特定ステップと、
    　特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定ステップと、
    　を含む、
    　判定方法。
  2. 　前記判定ステップでは、
    　特定の動作と、前記特定の動作において手首が位置する三次元領域と、前記特定の動作に対応する日常生活動作とが紐づけられて格納されたデータベースに基づいて、前記特定ステップにより特定された前記三次元領域が前記データベースに格納された前記三次元領域と一致するか否かを判定することにより、前記対象者の日常生活動作の状態を判定する、
    　請求項１に記載の判定方法。
  3. 　前記撮影ステップでは、複数の前記画像から構成される動画像を撮影し、
    　前記推定ステップでは、前記動画像に基づいて、前記動画像を構成する複数の前記画像のそれぞれにおける前記骨格モデルを推定する、
    　請求項１又は２に記載の判定方法。
  4. 　前記推定ステップでは、
    　前記画像に基づいて、前記対象者の二次元骨格モデルを推定し、
    　推定された前記二次元骨格モデルに基づいて、学習済みの機械学習モデルである学習済みモデルを用いて前記対象者の三次元骨格モデルを推定し、
    　前記設定ステップでは、
    　前記三次元骨格モデルに基づいて、前記複数の三次元領域を設定する、
    　請求項１～３のいずれか１項に記載の判定方法。
  5. 　前記設定ステップでは、
    　前記骨格モデルにおける前記複数の骨格点のうち１つの骨格点を基点として前記骨格モデルの周囲に前記複数の三次元領域を設定し、
    　前記複数の三次元領域は、
    　前記対象者の側面視において、前記対象者の頭部から脚部に向かう縦方向の軸であって前記基点を通る第１基準軸を挟んで隣接して設けられた前記対象者の背面側の背面領域及び正面側の正面領域と、前記正面側の領域に隣接して前記対象者の前方側に設けられた前方領域とのいずれかの領域に含まれ、
    　前記背面領域、前記正面領域及び前記前方領域のそれぞれは、前記対象者の正面視において、前記縦方向の軸であって、前記基点を通る第２基準軸を挟んで隣接して設けられた前記対象者の左側領域及び右側領域を含み、
    　前記左側領域及び前記右側領域のそれぞれは、前記対象者の前記頭部から前記脚部にかけて前記縦方向と直交する横方向に分割された所定の数の領域を含む、
    　請求項１～４のいずれか１項に記載の判定方法。
  6. 　前記第１基準軸は、前記対象者の首の骨格点及び腰の骨格点を前記基点とし、
    　前記第２基準軸は、前記対象者の前記首の骨格点及び肘の骨格点を前記基点とし、
    　前記設定ステップでは、
    　前記対象者の側面視において、前記対象者の肘の骨格点から手の先端までの距離である第１距離を、前記背面領域、前記正面領域及び前記前方領域のそれぞれの幅として設定し、
    　前記対象者の正面視において、前記対象者の首の骨格点から肩の骨格点までの距離である第２距離の２倍の距離を、前記左側領域及び前記右側領域のそれぞれの幅として設定する、
    　請求項５に記載の判定方法。
  7. 　さらに、
    　前記判定ステップにより判定された前記対象者の日常生活動作の状態をユーザに提示する提示ステップと、
    　前記ユーザの操作に関する指示を受け付ける受付ステップと、
    　を含み、
    　前記判定ステップでは、前記受付ステップにより受け付けられた前記ユーザの指示に基づいて、前記対象者の日常生活動作の状態に関する情報を抽出し、
    　前記提示ステップでは、前記判定ステップにより抽出された前記情報を前記ユーザに提示する、
    　請求項１～６のいずれか１項に記載の判定方法。
  8. 　前記日常生活動作の状態に関する情報は、前記特定の動作を行う前記対象者の三次元骨格モデル、前記対象者の身体機能の判定結果、及び、前記対象者に提案する訓練内容の少なくともいずれかを含む、
    　請求項７に記載の判定方法。
  9. 　前記日常生活動作の状態に関する情報は、前記対象者の身体機能を含み、
    　前記対象者の身体機能は、前記対象者の手の開閉の動作、及び、指の対立の動作の少なくともいずれかの状態に基づいて判定される、
    　請求項８に記載の判定方法。
  10. 　対象者に特定の動作を行うように指示する指示部と、
    　前記特定の動作を行う前記対象者を被写体として含む画像を撮影するカメラと、
    　撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、
    　推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定部と、
    　設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定部と、
    　特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、
    　を備える、
    　判定装置。
  11. 　情報端末と前記情報端末と通信を介して接続されるサーバ装置とを備えるシステムであって、
    　前記情報端末は、
    　前記サーバ装置と通信を行う通信部と、
    　対象者に特定の動作を行うように指示する指示部と、
    　前記特定の動作を行う前記対象者を被写体として含む画像を撮影するカメラと、
    　を備え、
    　前記サーバ装置は、
    　前記カメラで撮影された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、
    　推定された前記骨格モデルにおける複数の骨格点の位置に基づいて、前記骨格モデルの周囲に複数の三次元領域を設定する設定部と、
    　設定された前記複数の三次元領域のうち前記特定の動作において前記対象者の手首の骨格点が含まれる三次元領域を特定する特定部と、
    　特定された前記三次元領域に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、
    　を備える、
    　判定システム。
PCT/JP2022/021370 2021-07-28 2022-05-25 判定方法、判定装置、及び、判定システム WO2023007930A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023538301A JPWO2023007930A1 (ja) 2021-07-28 2022-05-25
CN202280051042.0A CN117769726A (zh) 2021-07-28 2022-05-25 判定方法、判定装置以及判定系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021122906 2021-07-28
JP2021-122906 2021-07-28

Publications (1)

Publication Number Publication Date
WO2023007930A1 true WO2023007930A1 (ja) 2023-02-02

Family

ID=85086533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021370 WO2023007930A1 (ja) 2021-07-28 2022-05-25 判定方法、判定装置、及び、判定システム

Country Status (3)

Country Link
JP (1) JPWO2023007930A1 (ja)
CN (1) CN117769726A (ja)
WO (1) WO2023007930A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004322244A (ja) * 2003-04-23 2004-11-18 Toyota Motor Corp ロボット動作規制方法とその装置およびそれを備えたロボット
JP2015159935A (ja) * 2014-02-27 2015-09-07 株式会社東芝 リハビリテーション支援装置
US20210029305A1 (en) * 2018-11-29 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for adding a video special effect, terminal device and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004322244A (ja) * 2003-04-23 2004-11-18 Toyota Motor Corp ロボット動作規制方法とその装置およびそれを備えたロボット
JP2015159935A (ja) * 2014-02-27 2015-09-07 株式会社東芝 リハビリテーション支援装置
US20210029305A1 (en) * 2018-11-29 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for adding a video special effect, terminal device and storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HARUKA SONODA, NAGAI TAKAYUKI: "Motion analysis of presenter and its application to self-reflection tool for rehearsal video", IPSJ SIG TECHNICAL REPORT. CLE, INFORMATION PROCESSING SOCIETY OF JAPAN, JP, vol. 2020-CLE-30, no. 5, 1 March 2020 (2020-03-01), JP , XP093028659, ISSN: 2188-8620 *

Also Published As

Publication number Publication date
CN117769726A (zh) 2024-03-26
JPWO2023007930A1 (ja) 2023-02-02

Similar Documents

Publication Publication Date Title
CN104274183B (zh) 动作信息处理装置
CN102981603B (zh) 图像处理装置和图像处理方法
WO2017181717A1 (zh) 电子教练实现方法及系统
JP2019198638A (ja) 測定情報提供システム、測定情報提供方法、サーバ装置、通信端末、及びコンピュータプログラム
US20150320343A1 (en) Motion information processing apparatus and method
JP7008342B2 (ja) 運動評価システム
JP2016101229A (ja) 歩行解析システムおよび歩行解析プログラム
Fieraru et al. Learning complex 3D human self-contact
JP2020174910A (ja) 運動支援システム
Li et al. An automatic rehabilitation assessment system for hand function based on leap motion and ensemble learning
JP2024016153A (ja) プログラム、装置、及び方法
US11386615B2 (en) Creating a custom three-dimensional body shape model
WO2023007930A1 (ja) 判定方法、判定装置、及び、判定システム
JP6439106B2 (ja) 身体歪みチェッカー、身体歪みチェック方法およびプログラム
JP6577150B2 (ja) 人体モデル表示システム、人体モデル表示方法、通信端末装置、及びコンピュータプログラム
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
WO2023100679A1 (ja) 判定方法、判定装置、及び、判定システム
JP7382581B2 (ja) 日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイス
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
WO2023157500A1 (ja) 動画編集方法、動画編集装置、及び、表示システム
WO2023127870A1 (ja) 介護支援装置、介護支援プログラム、介護支援方法
WO2024176465A1 (ja) 情報処理プログラム、および情報処理装置
WO2024069944A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240112367A1 (en) Real-time pose estimation through bipartite matching of heatmaps of joints and persons and display of visualizations based on the same
WO2023188217A1 (ja) 情報処理プログラム、情報処理方法、および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22849009

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023538301

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280051042.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18290767

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22849009

Country of ref document: EP

Kind code of ref document: A1