WO2023189551A1 - 情報処理システム、情報処理方法、及び、プログラム - Google Patents

情報処理システム、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2023189551A1
WO2023189551A1 PCT/JP2023/009878 JP2023009878W WO2023189551A1 WO 2023189551 A1 WO2023189551 A1 WO 2023189551A1 JP 2023009878 W JP2023009878 W JP 2023009878W WO 2023189551 A1 WO2023189551 A1 WO 2023189551A1
Authority
WO
WIPO (PCT)
Prior art keywords
body region
image
frame
target person
unit
Prior art date
Application number
PCT/JP2023/009878
Other languages
English (en)
French (fr)
Inventor
奈々 河村
弘泰 馬場
宇紀 深澤
穂 森田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023189551A1 publication Critical patent/WO2023189551A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing

Definitions

  • the present technology relates to an information processing system, an information processing method, and a program, and in particular, an information processing system, an information processing method, and a program that can detect various forms of respiratory abnormalities from a video (image) of a target person. Regarding the program.
  • Patent Document 1 discloses that a distance image indicating the distance to a target person is acquired, a breathing area of the target person is estimated based on the distance image, and a distance time from a plane including the breathing area to a three-dimensional position of the target person is calculated. Techniques are disclosed for detecting a target person's breathing based on changes.
  • Breathing abnormalities include not only abnormal breathing rates measured as vital signs, but also cases where one lung is not functioning or when only the stomach expands without the chest expanding due to pneumothorax, etc. Sometimes the way you breathe itself is abnormal. Abnormalities in breathing itself are difficult to detect using vital signs alone, and currently can only be confirmed visually by a doctor or nurse.
  • This technology was developed in view of this situation, and allows various forms of breathing abnormalities to be detected from videos (images) of a target person.
  • the information processing system or program of the present technology includes an estimation unit that estimates the position of the joint point of the target person from each frame image of the target person; a calculation unit that calculates a relative positional relationship between the position of the body region of the target person and the joint point estimated by the estimation unit with respect to the image of the first frame; Determine the position of the body region of the target person in the image of the arbitrary frame based on the position of the joint point estimated by the estimation unit with respect to the image of the frame and the relative positional relationship. and a detection unit that detects a three-dimensional position change of the body region of the target person based on the position of the body region of the target person in the image of the arbitrary frame. , or a program for causing a computer to function as such an information processing system.
  • the estimating unit of an information processing system including an estimating unit, a calculating unit, a determining unit, and a detecting unit calculates joint points of the target person from images of each frame in which the target person is captured.
  • the calculation unit estimates the position of the body region of the target person in the image of the first frame specified by the user and the position estimated by the estimation unit with respect to the image of the first frame.
  • a relative positional relationship with the joint point is calculated, and the determining unit calculates the position of the joint point estimated by the estimating unit with respect to the image of an arbitrary frame different from the first frame, and the relative positional relationship with the joint point.
  • the position of the body region of the target person in the image of the arbitrary frame is determined based on the positional relationship, and the detection unit determines the position of the body region of the target person in the image of the arbitrary frame.
  • the information processing method detects a three-dimensional positional change of the body region of the target person based on the information processing method.
  • the positions of the joint points of the target person are estimated from each frame image of the target person, and the position of the joint point of the target person is estimated from the image of the first frame specified by the user.
  • the relative positional relationship between the position of the body region of the target person and the joint point estimated for the image of the first frame is calculated, and the relative positional relationship is calculated for the image of an arbitrary frame different from the first frame.
  • the position of the body region of the target person in the image of the arbitrary frame is determined based on the estimated position of the joint point and the relative positional relationship, and the position of the body region of the target person in the image of the arbitrary frame is determined. Based on the position of the body region of the target person, a three-dimensional positional change of the body region of the target person is detected.
  • FIG. 1 is a block diagram showing an information processing system according to an embodiment to which the present technology is applied.
  • FIG. 2 is a block diagram illustrating a functional configuration of an information processing device.
  • FIG. 6 is a diagram illustrating a specific example of determination when abnormal respiration due to paradoxical respiration is detected in the abnormal respiration determining section.
  • FIG. 6 is a diagram illustrating a specific example of determination when abnormal respiration due to paradoxical respiration is detected in the abnormal respiration determining section.
  • FIG. 3 is a diagram illustrating candidate regions for body region designation positions that are automatically set for a patient image.
  • FIG. 6 is a diagram illustrating calculation of relative position information in a relative position calculation section.
  • FIG. 6 is a diagram illustrating calculation of relative position information in a relative position calculation section.
  • FIG. 6 is a diagram illustrating calculation of relative position information in a relative position calculation section.
  • FIG. 7 is a diagram illustrating a process when a body region position determination unit determines a body region setting position. 12 is a flowchart illustrating a specific example of a procedure for specifying a body region specifying position.
  • FIG. 7 is a diagram illustrating an example of a screen displayed on the display unit when specifying a body region specifying position.
  • FIG. 7 is a diagram illustrating an example of a screen displayed on the display unit when specifying a body region specifying position.
  • FIG. 7 is a diagram illustrating an example of a screen displayed on the display unit when specifying a body region specifying position.
  • FIG. 7 is a diagram illustrating an example of a screen displayed on the display unit when specifying a body region specifying position.
  • FIG. 7 is a diagram illustrating an example of a screen displayed on the display unit when specifying a body region specifying position.
  • FIG. 7 is a diagram illustrating an example of a screen displayed on the display unit when specifying a body region specifying position.
  • FIG. 7 is a diagram illustrating an example of a screen displayed on the display unit when specifying a body region specifying position.
  • 1 is a block diagram showing a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram showing an information processing system according to an embodiment to which the present technology is applied.
  • the information processing system 1 includes a camera 11, an information processing device 12, and an in-hospital server 13.
  • the camera 11 is installed, for example, in an ICU (Intensive Care Unit) or a ward of a hospital, and photographs a target person (patient).
  • the camera 11 is, for example, an RGB-D camera, and acquires a color image of a subject and a distance to the subject (distance information (depth information)) as image information.
  • Image information acquired by the camera 11 is supplied to the information processing device 12.
  • the camera 11 may acquire a grayscale image instead of a color image, and the color image or grayscale image acquired by the camera 11 is simply referred to as an image.
  • the image obtained by the camera 11 is referred to as a patient image.
  • the camera 11 acquires patient images as moving images by acquiring patient images at a predetermined period (or continuously at predetermined time intervals).
  • a patient image as a moving image is a combination of patient images as still images captured at different times in chronological order, and each patient image as a still image is called a frame. It is assumed that distance information among the image information acquired by the camera 11 is included in each frame.
  • the camera 11 may be a camera that does not acquire distance information.
  • the information processing device 12 is, for example, a general computer connected to an in-hospital communication network (in-hospital network), and executes a respiratory monitoring process by executing a program included in installed software. Note that the information processing device 12 may be incorporated in any device connected to the in-hospital network.
  • the information processing device 12 monitors the breathing of the target person based on the image information supplied from the camera 11, and supplies the monitoring result information and the image information from the camera 11 to the in-hospital server 13 via the communication network.
  • the in-hospital server 13 is connected to the in-hospital network and stores monitoring result information and image information from the information processing device 12. Information stored in the hospital server 13 can be referenced from a terminal device connected to the hospital network.
  • FIG. 2 is a block diagram illustrating the functional configuration of the information processing device 12. As shown in FIG.
  • the information processing device 12 includes a body region setting section 31 and a body region tracking section 32.
  • the body region setting unit 31 performs a body region setting process on the patient image acquired by the camera 11 to set a body region to be focused on (observed) in order to detect respiratory abnormalities.
  • the body region tracking section 32 tracks the body region set by the body region setting section 31 on the patient image acquired by the camera 11, and detects abnormalities in breathing and the like.
  • the body region setting section 31 includes a body region specifying section 51, a skeleton estimating section 52, and a relative position calculating section 53.
  • the body area specifying unit 51 uses an input device to specify the position of the body area that a user such as a doctor or nurse focuses on (observing) on the screen of the display (display unit) on which the patient image acquired by the camera 11 is displayed. This is the input section used to specify.
  • the input device may be a pointing device such as a mouse that operates a pointer displayed on the display screen, or may be a touch panel installed on the display screen, and is not limited to a specific type of device. .
  • the position of the body area on the screen (patient image) specified by the body area specifying unit 51 (hereinafter also referred to as body area specified position) is supplied to the relative position calculating unit 53.
  • the body region designated position is represented by two-dimensional coordinates (XY coordinates) on the patient image.
  • the patient image acquired by the camera 11 basically shows the front side of the patient in the supine position.
  • the body area specification position can be specified either by specifying the body area by a point or by specifying the body area, and also by specifying one body area or specifying multiple body areas. Either is possible. Details will be described later.
  • the skeleton estimation unit 52 performs skeleton estimation in the latest frame (current frame) of the patient image, based on the patient image acquired by the camera 11, every time a new frame of the patient image is supplied from the camera 11.
  • Skeletal estimation is a process of estimating the positions of the patient's joint points on the patient image by inputting the patient image to an inference model (posture estimation model) using machine learning technology.
  • inference models pose estimation models generated by deep learning methods such as Pose Proposal Network, Cascaded Pyramid Network (CPN), and GW-Pose are known.
  • the pose inference model consists of two-dimensional pose estimation, which estimates the positions of joint points on an image (two-dimensional positions), and three-dimensional pose estimation, which estimates the positions of joint points in three-dimensional space (three-dimensional positions).
  • the model may do either.
  • the skeleton estimating unit 52 estimates the two-dimensional positions of joint points on the patient image, so a posture inference model that performs two-dimensional posture estimation may be used, or a three-dimensional posture estimation model may be used.
  • a posture inference model that performs estimation may be used to calculate the two-dimensional positions of the joint points on the patient image from the estimated three-dimensional positions of the joint points.
  • Estimated joint point positions include, for example, shoulders, elbows, wrists, buttocks (hips), knees, and ankles that exist on the left and right sides of the human body. , the positions of the eyes and ears, and the positions of the neck and nose, which are located in the center of the human body.
  • the skeleton estimation unit 52 performs skeleton estimation every time a new frame of the patient image is supplied from the camera 11, and calculates the virtual joint point positions of the patient in the latest frame (current frame) of the patient image by using the relative position calculation unit 53. supply to.
  • the relative position calculation unit 53 calculates the body area specified position on the patient image from the body area specification unit 51 and the virtual joint point position estimated from the posture image of the frame when the body area specified position was specified. Based on this, the relative position with respect to the virtual joint points around the body area designated position is calculated and is supplied to the body area position determination unit 71 of the body area tracking unit 32 as relative position information.
  • the virtual joint points around the designated body region position are at least two or more virtual joint points that are located at a close distance to the designated body region position.
  • the relative position calculation unit 53 determines joint points (hereinafter also referred to as reference joint points or reference joint points) when representing the body region designated position as a relative position based on the body region designated position, and The relative position of the body region designated position with respect to the position of the reference joint point (hereinafter also referred to as reference joint point position) is calculated as relative position information.
  • the relative position information is used as information for specifying the patient's body region specified by the body region specifying unit 51 in new frames of patient images sequentially supplied from the camera 11, regardless of the displacement of the patient. .
  • the relative position information indicating the relative position between the body region specified position and the reference joint point position is information for setting the position of the body region of interest of the patient in the patient image of any frame, and
  • the position of the body area set based on the relative position information in the patient image is also referred to as the body area setting position, and the relative position information is also referred to as the relative position information of the body area setting position.
  • the virtual joint point serving as the reference joint point for the body region designated position is determined in advance with respect to the position of the body region designated by the body region designated position.
  • the body region tracking section 32 includes a skeleton estimation section 52, a body region position determination section 71, a motion amount calculation section 72 (motion amount detection section), and an abnormal breathing determination section 73.
  • the skeletal estimation unit 52 is a processing unit that is the same as or equivalent to the skeletal estimation unit 52 in the body region setting unit 31, and performs skeletal estimation based on the patient image acquired by the camera 11, and estimates the latest frame (current frame). Each time a new frame of patient image is supplied from the camera 11, the virtual joint point position in a patient image of a frame is estimated.
  • the skeleton estimation unit 52 determines the position of the virtual joint point corresponding to the reference joint point determined by the relative position calculation unit 53 from among the virtual joint point positions estimated in the patient image of the current frame. Each time a new frame of the patient image is supplied from the camera 11, the point position is supplied to the body region position determination unit 71.
  • the body region position determination unit 71 calculates the reference joint point positions in the patient image of the current frame and the reference joint point positions from the relative position calculation unit 53. Based on the relative position information of the body area setting position, the body area setting position in the patient image of the current frame corresponding to the body area designation position specified by the body area specifying unit 51 is determined. The body region position determination section 71 sends the determined body region setting position in the patient image of the current frame to the motion amount calculation section 72 every time the reference joint point positions in the patient image of a new frame are supplied from the skeleton estimation section 52.
  • the body region position determining unit 71 acquires information not only regarding the reference joint points but also virtual joint points other than the reference joint points from the skeleton estimating unit 52, and determines the positions of the virtual joint points of both shoulders, eyes and nose.
  • the posture (body position) of the patient may be determined based on whether or not virtual joint points are detected. This allows the process to determine whether there is a breathing abnormality to be performed only when the patient is in the supine position, and the process to determine whether there is a breathing abnormality to be interrupted when the patient is in the prone or lateral position. good.
  • the motion amount calculation section 72 calculates the amount of motion based on the body region setting position of the current frame and the patient image of the current frame. , calculate the amount of movement of the body area setting position in the current frame.
  • the amount of movement is, for example, the amount of change (referred to as depth change amount) in the distance (depth value) at the body region setting position indicated by distance information (depth information) added to the patient image of the current frame with respect to a reference value.
  • the reference value may be the depth value at the body region setting position indicated by the distance information in the patient image of the initial frame, or it may be an arbitrary value, or it may be a temporal value of the depth value at the body region setting position. It may be an average value.
  • the amount of movement is a value indicating the magnitude of movement (three-dimensional position change) of the body area setting position, and is not limited to the amount of change in depth of the body area setting position, but in this embodiment, the amount of movement is Assume that it is the amount of change in depth.
  • the body area setting position is also set as the position of the point.
  • the body region setting position is also set as the region position.
  • the amount of movement of the body area setting position represents the amount of movement at the set point.
  • the amount of movement of the body area setting position is, for example, the average value, median value, maximum value, or minimum value of the amount of movement at multiple points within the set area. The user may be allowed to select which of the average value, median value, maximum value, or minimum value should be used as the amount of movement of the body region setting position.
  • the movement amount calculation unit 72 detects an abnormality in the amount of movement (depth change amount) calculated for the body area setting position in the patient image of the current frame. It is supplied to the respiration determining section 73.
  • the abnormal breathing determination unit 73 determines whether or not the patient's breathing is abnormal based on the amount of movement at the body region setting position from the movement amount calculation unit 72. For example, the abnormal breathing determining unit 73 tracks the movement of the body area setting position based on the amount of movement (depth change amount) of the body area setting position supplied from the movement amount calculation unit 72, and Detects changes in the amount of movement (changes in depth). As a result, if we detect a movement that is more intense than normal breathing (normal breathing), for example, if we detect that the amplitude (fluctuation range) of depth change exceeds a predetermined threshold, It is determined that the breathing is abnormal (abnormal breathing).
  • the abnormal breathing determining unit 73 detects depth changes at the two body area setting positions based on the designation of the two body area specifying positions by the body area specifying unit 51.
  • the abnormal breathing determination unit 73 detects a relative change amount (temporal change in the difference in depth change between the two body region setting positions), which is the difference in depth change between the two body region setting positions.
  • the difference in depth change between the two body area setting positions includes a temporally constant DC component (constant component) due to the difference in depth values due to the difference in body area position, but the relative change amount Alternatively, the DC component may be removed.
  • the abnormal respiration determining unit 73 determines whether the respiration is It is determined that it is abnormal (abnormal breathing).
  • Paradoxical respiratory movements are when the left and right lung (chest) regions do not move symmetrically (change in depth), when the chest and abdomen do not move in sync, or when one part of the ribcage moves in the opposite direction to the other. This refers to cases where When the abnormal breathing determination unit 73 detects abnormal breathing, it notifies the user of the abnormal breathing by displaying a warning on a display or by making a warning sound from a speaker device (not shown).
  • Example of abnormal respiration determination in abnormal respiration determining unit 73 3 and 4 are diagrams illustrating a specific example of determination when abnormal respiration due to paradoxical respiration is detected by the abnormal respiration determination unit 73.
  • a graph showing changes in depth of the chest and a graph showing changes in depth of the abdomen are the regions of the patient's chest in the body region specifying section 51 of the body region setting section 31 in FIG. and the abdomen area are designated as body area setting positions, the abnormal breathing determination unit 73 of the body area tracking unit 32 in FIG.
  • the graph shows an example of a temporal change (depth change) in the depth value detected as follows.
  • the graph representing the relative change amount is a graph illustrating the temporal change in the difference between the depth value of the chest region and the depth value of the abdominal region.
  • the graph representing this relative amount of change corresponds to the graph representing the difference between the graph representing the depth change of the chest and the graph representing the depth change of the abdomen on the left side of FIG.
  • FIG. 3 shows the case of normal breathing
  • the abnormal breathing determination unit 73 detects the relative change amount from the depth change of the two regions of the chest and abdomen as shown in the relative change amount graph of FIG. If the fluctuation range of the relative change amount is less than or equal to a predetermined threshold value, it is determined that breathing is normal.
  • FIG. 4 On the left side of FIG. 4, a graph showing changes in the depth of the chest and a bluff showing changes in the depth of the abdomen are created in the body region specifying section 51 of the body region setting section 31 in FIG. 2, respectively, as in FIG. , when the patient's chest region and abdomen region are designated as body region designation positions, the abnormal breathing determining section 73 of the body region tracking section 32 in FIG. FIG. 4 illustrates temporal changes in depth values (depth changes) detected as body region setting positions, respectively.
  • the graph representing the relative change amount is a graph illustrating the temporal change in the difference between the depth value of the chest region and the depth value of the abdominal region, similar to FIG. 3.
  • FIG. 4 shows a case of abnormal breathing
  • the abnormal breathing determination unit 73 detects the relative change amount from the depth change of the two regions of the chest and abdomen as shown in the relative change amount graph of FIG. If the fluctuation range of the relative change amount exceeds a predetermined threshold value, it is determined that breathing is abnormal.
  • a doctor reviews a patient's vital data
  • data on the presence or absence of abnormal breathing can be reviewed along with the video.
  • various types of respiratory abnormalities can be detected depending on the patient's condition.
  • the doctor etc. is notified of the fact, so the doctor can notice changes in the patient's condition at an early stage, and can evaluate the severity by reviewing the patient's condition.
  • breathing patterns can be determined from video, breathing patterns can be accurately determined even when viewing a patient through video, such as in telemedicine.
  • the body region specifying section 51 of the body region setting section 31 in FIG. When specifying, it may be possible to select from among a plurality of candidate positions (candidate regions) that are automatically set based on the positions of the virtual joint points estimated by the skeleton estimation unit 52.
  • FIG. 5 is a diagram illustrating candidate regions for body region designation positions that are automatically set for a patient image.
  • candidate areas AC1 to AC6 are the sternocleidomastoid muscle (AC1), scalene muscle (AC2-L, R), and lung (AC3), which are automatically set as candidate areas for body area designated positions, respectively.
  • -L, R representing the chest (AC4), solar plexus (AC5), and abdominal (AC6) regions.
  • the position of the candidate region AC1 of the sternocleidomastoid muscle is set by using, for example, the nose, left ear, right ear, left shoulder, and right shoulder as reference joint points among the virtual joint points estimated by the skeleton estimation unit 52. .
  • the position of each vertex of the candidate region AC1 of the sternocleidomastoid muscle is determined based on a predetermined standard relative positional relationship with respect to the position of each reference joint point.
  • the left and right candidate areas AC2-L and R of scalene muscles are based on, for example, the nose, left ear, right ear, left shoulder, and right shoulder among the virtual joint points estimated by the skeleton estimation unit 52, respectively. Set as a point.
  • the left and right candidate areas AC3-L and R of the lungs are set, for example, as reference joint points of the left shoulder, right shoulder, left buttock, and right buttock among the virtual joint points estimated by the skeleton estimation unit 52, respectively. Ru.
  • Candidate areas AC4, AC5, and AC6 for the chest, solar plexus, and abdomen are all virtual joint points estimated by the skeleton estimation unit 52, for example, the left shoulder, right shoulder, left buttock, and right buttock. Set as the reference joint point.
  • the body region specifying unit 51 by using the body region specifying unit 51 to select a body region that the user wants to focus on (observe) from among the sternocleidomastoid muscle, scalene muscle, lungs, chest, solar plexus, and abdomen, the body region corresponding to the selected body region is selected.
  • the candidate region is designated as a body region designation position, or is superimposed and displayed as a candidate region on a patient image displayed on a display (display unit). It is also possible for the user to be able to change the shape and position of the body region designated as the body region designation position with respect to the candidate region, based on the candidate region superimposed on the patient image.
  • the body region position determining section 71 of the body region tracking section 32 in FIG. Based on this, the body region setting position in the patient image of each frame corresponding to the body region designation position designated by the body region designation unit 51 is determined.
  • the relative position calculation unit 53 calculates relative position information based on the reference joint point position in the patient image of the frame when the body area position is specified by the body area specification unit 51 and the position of the body area specified by the user. is calculated.
  • FIG. 6 is a diagram illustrating calculation of relative position information by the relative position calculation unit 53 when the body region designated position is designated by a point.
  • a designated point P-1 represents a point designated by the user as a body region designated position in the patient image by the body region designation unit 51.
  • Reference joint points PB-1 to PB-4 represent the positions of virtual joint points in the patient image when the specified point P-1 is expressed as a relative position as the body region specified position, and each of them is calculated by the skeleton estimation unit 52 in FIG. Represents the estimated positions of the joint points of the right shoulder, left shoulder, left buttock, and right buttock.
  • the relative position calculation unit 53 calculates whether any one of the reference joint points PB-1 to PB-4 (referred to as the joint point of interest PB-m) and other joint points other than the joint point of interest PB-m.
  • ⁇ k angle ⁇ k
  • the relative position calculation unit 53 calculates a line segment (straight line) connecting the joint point of interest PB-m and another reference joint point PB-n, and another reference joint point PB-n and the specified point P-1.
  • the position (coordinates) of the specified point P-1 in the patient image can be specified as a relative position with respect to the reference joint points PB-1 to PB-4 if at least one set of angles ⁇ k and ⁇ l is specified.
  • the relative position calculation unit 53 calculates one or more sets of angles ⁇ k and ⁇ l as relative position information.
  • FIG. 6 illustrates angles ⁇ 1 to ⁇ 8, and the combinations of the target joint point PB-m and other reference joint points PB-n (also referred to as combinations of reference joint points) are calculated in the following cases. Represents angles ⁇ k and ⁇ l.
  • Angles ⁇ 1 and ⁇ 2 represent angles ⁇ k and ⁇ l calculated by the combination of reference joint points PB-1 and PB-2.
  • Angles ⁇ 3 and ⁇ 4 represent angles ⁇ k and ⁇ l calculated by the combination of reference joint points PB-2 and PB-3.
  • Angles ⁇ 5 and ⁇ 6 represent angles ⁇ k and ⁇ l calculated by the combination of reference joint points PB-3 and PB-4.
  • Angles ⁇ 7 and ⁇ 8 represent angles ⁇ k and ⁇ l calculated by the combination of reference joint points PB-1 and PB-4.
  • the relative position calculation unit 53 selects the joint point of interest PB-m and the other reference joint points PB-n from among the reference joint points PB-1 to PB-4, and calculates the joint point PB-m in one or more ways. Create combinations of reference joint points, and calculate a set of angles ⁇ k and ⁇ l for each combination. Note that if two or more virtual joint points are set as reference joint points for one designated point P-1, the relative position calculation unit 53 can create one or more combinations of reference joint points. , angles ⁇ k and ⁇ l for their combination can be calculated as relative position information of the specified point P-1. When four reference joint points are set as shown in FIG. 6, there are a maximum of six combinations of reference joint points.
  • the position of the designated point P-1 is specified by the position (coordinates) of the reference joint point in any one of these combinations and a set of angles ⁇ k and ⁇ l that are relative position information for that combination. can be done. Therefore, the relative position calculation unit 53 may calculate the angles ⁇ k and ⁇ l for one or more combinations of reference joint points among all combinations of reference joint points as relative position information. However, calculating the angles ⁇ k and ⁇ l for many combinations of reference joint points as relative position information improves the reliability of the body area setting position determined by the body area position determination unit 71 based on the relative position information. Therefore, in this explanation using FIG. 6, the angles ⁇ 1 to ⁇ 8 for the combination of four reference joint points will be calculated as relative position information.
  • the relative position calculation unit 53 selects any one of the reference joint points PB-1 to PB-4 (referred to as the first joint point PB-m1, for example, PB-1). ) and a reference joint point other than the first joint point PB-m1 (another reference joint point PB-n1, for example, PB-2) is defined as the first line segment (straight line). , a reference joint point other than the first joint point PB-m1 and another reference joint point PB-n1 (referred to as a second joint point PB-m2, for example, PB-4), and a second joint point PB-m2.
  • a line segment connecting other reference joint points (hereinafter referred to as another reference joint point PB-n2, for example, PB-3) is defined as a second line segment (straight line).
  • the relative position calculation unit 53 calculates the points where a straight line (referred to as an index straight line) that passes through the specified point P-1 and satisfies a predetermined condition (referred to as a straight line condition) intersects each of the first line segment and the second line segment. , respectively, as internal dividing points ri and rj (for example, r1 and r3).
  • the straight line condition of the index straight line any one of a plurality of forms can be adopted.
  • the slope of the index straight line is the slope of the line segment (straight line) connecting the first joint point PB-m1 and the second joint point PB-m2, and the reference It is assumed that it is the average of the slopes of the line segments (straight lines) connecting the joint point PB-n1 and the reference joint point PB-n2.
  • the slope of the index straight line is a predetermined slope.
  • the index straight line is a straight line in the vertical direction or the horizontal direction on the patient image.
  • one set of internal division points ri and rj specifies one index straight line passing through designated point P-1. If two index straight lines having at least different slopes are identified, the position (coordinates) of the specified point P-1 in the patient image is determined as the position of the intersection of these index straight lines. Therefore, the relative position calculation unit 53 calculates the relative position by using information on two or more sets of internal division points ri and rj that specify two or more index straight lines having different slopes with respect to the reference joint points PB-1 to PB-4. Calculate as information.
  • the relative position calculation unit 53 calculates, for example, an internal division ratio at which the internal division points ri and rj internally divide the first line segment and the second line segment, respectively. If the internal division ratio at which the internal division points ri and rj internally divide the line segment is expressed by the same symbols ri and rj as the internal division points, the relative position calculation unit 53 calculates the internal division ratio for the first line segment and the second line segment. Calculate the fractional ratios ri and rj.
  • the internal division ratio ri for the first line segment is the value obtained by dividing the length from the first joint point PB-m1 of interest on the first line segment to the internal division point ri by the length of the first line segment. This corresponds to the length from the first joint point PB-m1 to the internal division point ri when the length of one line segment is 1. That is, the internal division ratio ri represents the value of ri when the first line segment is divided by the index straight line at the ratio (ri:1-ri). Similarly, the internal division ratio rj for the second line segment is the value obtained by dividing the length from the second joint point PB-m2 of interest on the second line segment to the internal division point rj by the length of the second line segment.
  • the internal division ratio rj represents the value of rj when the second line segment is divided by the index straight line at the ratio (rj:1-rj).
  • FIG. 6 shows examples of internal division points r1 to r4 when the first form of the straight line condition of the index straight line is adopted, and the first joint point PB-m1 forming the first line segment and the other
  • a combination with the reference joint point PB-n1 also referred to as a combination of reference joint points for the first line segment
  • PB-n2 also referred to as a combination of reference joint points for the second line segment
  • another reference joint point PB-n2 represents internal division points ri to rj specified in the following case.
  • Internal division points r1 and r3 are a combination of reference joint points PB-1 and PB-2 (reference joint point PB-1 is the first joint point PB-m1) for the first line segment, Internal division points ri to rj when reference joint points PB-4 and PB-3 (reference joint point PB-4 is the second joint point PB-m2) are used as a combination of reference joint points for the second line segment It is.
  • Internal division points r2 and r4 are a combination of reference joint points PB-1 and PB-4 (reference joint point PB-1 is the first joint point PB-m1) for the first line segment, Internal division points ri to rj when reference joint points PB-2 and PB-3 (reference joint point PB-2 is the second joint point PB-m2) are used as a combination of reference joint points for the second line segment It is.
  • the relative position calculation unit 53 calculates the internal division ratios r1 and r3 of internal division points r1 and r3, respectively, as the relative position information of the specified point P-1 in one set with respect to one index straight line (first index straight line).
  • the internal division ratios r2 and r4 of internal division points r2 and r4 are calculated as a set of internal division ratios ri to rj for one other index straight line (second index straight line). do.
  • the relative position calculation unit 53 converts the first joint point PB-m1 and the reference joint point PB-n1, and the second joint point PB-m2 and the reference joint point PB-n2 into the reference joint point PB.
  • -1 to PB-4 are selected to create combinations of reference joint points for the first and second line segments (multiple index straight lines with different slopes) of a plurality of segments (multiple sets).
  • the relative position calculation unit 53 calculates internal division ratios ri and rj for each combination of reference joint points for the first line segment and the second line segment of each set.
  • first line segment and the second line segment of each group only need to be different from the first line segment and the second line segment of the other group, so the relative position calculation unit 53 , it is sufficient to create one or more more line segments than the number of sets of first line segments and second line segments for which the internal division ratios ri and rj are calculated.
  • first line segment and the second line segment corresponding thereto are such that if the second joint point PB-m2 is different from the first joint point PB-m1 and other reference joint points PB-n1, Another reference joint point PB-n2 for the second joint point PB-m2 may be common to the first joint point PB-m1 and other reference joint points PB-n1, so three or more reference joints If a point exists, you can create two or more line segments. For example, if there are a reference joint points, a maximum of ⁇ a ⁇ (a ⁇ 1)/2 ⁇ line segments can be created, and ⁇ a ⁇ (a ⁇ 1)/2 ⁇ 1 ⁇ It is possible to create the first line segment and the second line segment of the segment (group segment).
  • the relative position calculation unit 53 calculates the It is also possible to calculate the internal division ratios ri and rj for the second line segment (5 index straight lines). However, in this description, as in the example of FIG. The set and the set of internal division ratios r2 and r4 are calculated as relative position information.
  • the relative position calculation unit 53 calculates the external division ratio ri or rj by rephrasing the above-mentioned internal division point as the external division point, and by rephrasing the internal division ratio ri or rj as the external division ratio ri or rj. .
  • the algorithm used when the relative position calculation unit 53 calculates the external ratio is the same as when calculating the internal ratio, in the following, when ri or rj is a value outside the range of 0 to 1,
  • the internal division ratios ri and rj (or ratio values) are assumed to be internal division ratios regardless of whether the values ri or rj calculated by the relative position calculation unit 53 are internal division ratios or external division ratios.
  • the relative position calculation unit 53 internally divides the internal division ratio rj of the internal division ratio ri and rj for the first line segment and the second line segment of each set. Calculated as the same value as ratio ri.
  • the relative position calculation unit 53 calculates the angles ⁇ 1 to ⁇ 8 in FIG. 6 and the internal division ratios (ratio values) r1 to r4 with respect to the specified point P-1 as relative position information of the body area setting position. It is calculated and supplied to the body region position determining section 71 in FIG. Note that the relative position information also includes information specifying the type of reference joint point used when calculating each of the angles ⁇ 1 to ⁇ 8 and the internal division ratios (ratio values) r1 to r4.
  • FIG. 7 is a diagram illustrating calculation of relative position information by the relative position calculation unit 53 when the body region designated position is designated by a region.
  • designated points P-1 to P-4 are designated areas A-1 when a user designates an area (designated area A-1) as a body region designated position in a patient image using the body region designation unit 51. Represents the vertex of 1.
  • the user specifies the position of the specified area A-1 by specifying the position of each of the specified points P-1 to P-4, which are the vertices of the specified area A-1, in the patient image.
  • the reference joint points PB-1 to PB-4 are the same as those in FIG. 6, so their explanation will be omitted.
  • the relative position calculation unit 53 calculates the angles ⁇ 1 to ⁇ 8 and the internal division ratio (ratio Value) Calculate r1 to r4. Since the calculation procedure is the same as that in FIG. 6, the explanation will be omitted.
  • the relative position calculation unit 53 calculates the body area shown in FIG.
  • the area position determination unit 71 is supplied with the information.
  • the body region position determining section 71 in FIG. Based on this, the body region setting position in the patient image of each frame corresponding to the body region designation position designated by the body region designation unit 51 is determined (calculated).
  • FIG. 8 is a diagram illustrating a process when the body region position determination unit 71 determines the body region setting position for the specified point P-1 in FIG. 6.
  • a set point P-1 is a set point P-1 that is set by the body region position determination section 71 at a specified point P-1 designated by the user as a body region designated position in the patient image by the body region designation section 51 in FIG. represents the point determined (set) as the body region setting position in the patient image of the frame (frame of interest).
  • the reference joint points PB-1 to PB-4 correspond to the reference joint points PB-1 to PB-4 used by the relative position calculation unit 53 in FIG. 6 when calculating the relative position information of the designated point P-1.
  • the body region position determining unit 71 When the positions of all the reference joint points used for calculating the correlation position information are estimated and supplied to the patient image of the frame of interest by the skeleton estimation unit 52, the body region position determining unit 71 performs the process shown in FIG. As shown in A, the angles ⁇ 1 and ⁇ 8 in FIG. 6 and the internal division ratios (ratio values) r1 to r4 regarding the specified point P-1 supplied as relative position information from the relative position calculation unit 53, and the reference joint The position of set point P-1 is calculated based on the positions of points PB-1 to PB-4.
  • the position of the set point P-1 can be specified from the information of angles ⁇ 1 and ⁇ 2, angles ⁇ 3 and ⁇ 4, angles ⁇ 5 and ⁇ 6, angles ⁇ 7 and ⁇ 8, and any one of the ratio values r1 to r4.
  • the body region position determination unit 71 calculates the set point P-1 as the body region setting position using the weighting coefficient as follows.
  • the body region position determination unit 71 determines a set point P- specified from each of angles ⁇ 1 and ⁇ 2, angles ⁇ 3 and ⁇ 4, angles ⁇ 5 and ⁇ 6, angles ⁇ 7 and ⁇ 8, and internal division ratios (ratio values) r1 to r4. 1 position (XY coordinates) as P-1(x,y) a1 , P-1(x,y) a2 , P-1(x,y) a3 , P-1(x,y) a4 , and Calculate as P-1(x,y) b .
  • P-1(x,y) a1 is a set point specified from the positions (XY coordinates) of reference joint points PB-1 and PB-2 in the frame of interest and angles ⁇ 1 and ⁇ 2.
  • P-1(x,y) a1 is a straight line passing through the reference joint point PB-1 at an angle ⁇ 1 with respect to the line segment connecting the reference joint points PB-1 and PB-2, and an angle ⁇ 2 represents the position of the intersection with the straight line passing through the reference joint point PB-2.
  • P-1(x,y) a2 is a set point specified from the positions (XY coordinates) of reference joint points PB-2 and PB-3 in the frame of interest and angles ⁇ 3 and ⁇ 4.
  • P-1(x,y) a2 is a straight line passing through the reference joint point PB-2 at an angle ⁇ 3 with respect to the line segment connecting the reference joint points PB-2 and PB-3, and an angle ⁇ 4 represents the position of the intersection with the straight line passing through the reference joint point PB-3.
  • P-1(x,y) a3 is a set point specified from the positions (XY coordinates) of reference joint points PB-3 and PB-4 in the frame of interest and angles ⁇ 5 and ⁇ 6.
  • P-1(x,y) a3 is a straight line passing through the reference joint point PB-3 at an angle ⁇ 5 with respect to the line segment connecting the reference joint points PB-3 and PB-4, and an angle ⁇ 6 represents the position of the intersection with the straight line passing through the reference joint point PB-4.
  • P-1(x,y) a4 is a set point specified from the positions (XY coordinates) of reference joint points PB-4 and PB-1 in the frame of interest and angles ⁇ 7 and ⁇ 8.
  • P-1(x,y) a4 is a straight line passing through the reference joint point PB-4 at an angle ⁇ 7 and an angle ⁇ 8 with respect to the line segment connecting the reference joint points PB-4 and PB-1.
  • P-1(x,y) b is a set point specified from the positions (XY coordinates) of reference joint points PB-1 to PB-4 in the frame of interest and internal division ratios (ratio values) r1 to r4. be.
  • P-1(x,y) b is the first line segment connecting reference joint points PB-1 and PB-2, and the second line segment connecting reference joint points PB-4 and PB-3.
  • the body region position determination unit 71 calculates these calculated P-1(x,y) a1 , P-1(x,y) a2 , P-1(x,y) a3 , P-1(x,y) a4 and P-1(x,y) b , use predetermined weighting coefficients W a1 , W a2 , W a3 , W a4 , and W b to determine the final As the position (XY coordinates), P-1(x,y) is determined by the weighted sum (weighted average of the X coordinate value and the Y coordinate value) of the following equation (1). Note that the total sum of the weighting coefficients W a1 , W a2 , W a3 , W a4 , and W b is 1.
  • P-1(x,y) W a1 ⁇ P-1(x,y) a1 +W a2 ⁇ P-1(x,y) a2 +W a3 ⁇ P-1(x,y) a3 +W a4 ⁇ P- 1(x,y) a4 +W b ⁇ P ⁇ 1(x,y) b ⁇ (1)
  • the weighting coefficients W a1 , W a2 , W a3 , W a4 , and W b are P ⁇ 1(x,y )
  • the weighting coefficient W b for b is set to a value larger than the weighting coefficients W a1 , W a2 , W a3 , and W a4 .
  • the position of the set point P-1 is set with high reliability and high robustness. is calculated as the specified area setting position.
  • the above formula (1) calculates the internal division ratios r1 and r3 for the two sets of the first line segment and second line segment (two index straight lines) of the two sets (two sets), and This is a case where the position (XY coordinates) of one set point P-1(x,y) b is calculated based on the ratios r2 and r4.
  • the positions of two or more set points are determined based on the internal division ratios ri and rj of three or more sets of first line segments and second line segments (three or more index straight lines). (XY coordinates), the positions of the plurality of set points may also be added as a weighted sum in the same manner as in equation (1) above.
  • the body region position determination unit 71 determines the positions (candidate positions) of a plurality of set points P-1 that can be specified based on the relative position information from the relative position calculation unit 53 with respect to one specified point P-1. exists, and the final position of the set point P-1 is determined by the weighted sum (weighted average) of all candidate positions of the set point P-1 as shown in equation (1) above. do not have.
  • the body region position determining unit 71 may determine one of the plurality of candidate positions as the final setting point P-1, or may decide one of the plurality of candidate positions as the final setting point P-1, or may The final position of the set point P-1 may be determined by a weighted sum of the positions.
  • the body region position determination unit 71 determines that the position of one of the reference joint points used for calculating the correlation position information is determined by the skeleton estimation unit 52 with respect to the patient image of the frame of interest. If it is not estimated and not supplied, the position of the set point P-1 is calculated using only information from which the position of the set point P-1 can be calculated out of the relative position information. For example, if the positions of the reference joint points PB-3 and PB-4 cannot be estimated as shown in B in FIG.
  • the reference joint points PB-1 and PB-2 and the angles ⁇ 1 and ⁇ 2 of the relative position information The position of the set point P-1 is calculated using That is, in equation (1), the weighting coefficient W a1 is set to 1, W a2 , W a3 , W a4 , and W b are set to 0, and the final position (XY coordinates) of the set point P-1 is P- Calculate 1(x,y).
  • the body region position determination unit 71 determines the body region setting position corresponding to the body region designation position designated by the body region designation unit 51 in the patient image of the frame of interest. Note that when the body region designated position is designated by a region (designated region A-1) as shown in FIG. For each of the positions (XY coordinates) of set points P-1 to P-4 in the frame of interest corresponding to P-4, relative position information is obtained, similar to FIG. 8 when the body area designated position is designated by a point. Calculated based on. The body region position determination unit 71 determines the region having the calculated setting points P-1 to P-4 as its vertices as the body region setting position.
  • FIG. 9 is a flowchart illustrating a specific example of the procedure for specifying the body region specification position, and the specific example of the procedure for specifying the body region specification position will be explained using the screen examples of the display section shown in FIGS. 10 to 15 as appropriate. do.
  • step S11 the user freely selects the abnormal breathing mode mode in which the body region position of interest is selected from the type of abnormal breathing with respect to the patient image from the camera 11 displayed on the display unit.
  • Free selection mode to choose and choose one.
  • FIG. 10 is a selection screen for selecting either the abnormal breathing pattern mode or the free selection mode. On the selection screen shown in FIG. 10, the user selects and decides on the button indicating the mode to be selected. Here, it is assumed that the user has selected the free selection mode. In this case, in FIG. 9, the process proceeds from step S11 to step S12.
  • step S12 the screen shown in FIG. 11 is displayed on the display unit, and the user checks the checkbox corresponding to the body region that he/she wishes to observe.
  • the candidate area A-1 corresponding to the body area whose checkbox is checked is displayed as a candidate for the body area designation position, superimposed on the patient image displayed on the display unit.
  • Candidate area A-1 is set based on a predetermined standard relative positional relationship with respect to the body area, as described with reference to FIG.
  • FIG. 11 a case is illustrated in which the user has checked the checkbox for the left lung, and a candidate area A-1 on a quadrangle with vertices P-1 to P-4 is superimposed on the patient image. Is displayed. If the user needs to modify the candidate area A-1 on the screen of FIG. 11, the process proceeds to step S13, and if there is no need to modify it, the process proceeds to step S14.
  • step S13 the user selects (designates) the first position as the body region designation position with reference to the candidate area A-1 displayed on the screen of FIG. 11.
  • the specified position is specified as the body area specification position.
  • the user specifies the second and subsequent positions on the condition that three or more positions are specified.
  • the body region specifying unit 51 sets that position as the body area specifying position, and when the user specifies three or more points, the body area specifying section 51 selects those specified positions.
  • the area at the apex is set as the body area specified position.
  • step S14 if the user wants to additionally designate a second body region, he or she newly checks the checkbox corresponding to the body region that he or she wants to add.
  • FIG. 13 shows a screen on the display unit when a second body region is additionally designated. In the example of FIG. 13, a case is illustrated in which the user newly checks the checkbox for the right lung, and candidate region A-2 is additionally displayed superimposed on the patient image. If the user needs to modify the candidate area A-2 on the screen of FIG. 13, the user modifies the candidate area A-2 in the same manner as in step S13. When the user wants to finish specifying the body area, the user selects an end button at the bottom of the screen.
  • step S11 when the user selects the button labeled abnormal breathing pattern selection mode as shown in the selection screen of FIG. 14, the process proceeds from step S11 to step S15.
  • step S15 the user checks the checkbox corresponding to the type of abnormal breathing that he/she wishes to observe.
  • FIG. 15 illustrates a screen displayed on the display unit when the abnormal breathing pattern selection mode is selected.
  • the types of abnormal breathing selected are paradoxical breathing (both lungs), paradoxical breathing (chest/abdomen), paradoxical breathing (in the solar plexus/chest), and forced breathing (sternocleidomastoid muscle/scalene muscle). It is possible.
  • Paradoxical breathing (both lungs) is selected when abnormality in breathing is detected by specifying both the left and right lungs as body region specification positions.
  • Paradoxical breathing (chest/abdomen) is selected when abnormality in breathing is detected by specifying the chest and abdomen as body region designation positions.
  • Paradoxical breathing (sickness/chest) is selected when abnormality in breathing is detected by specifying the solar plexus and chest as body region designation positions.
  • Forced breathing sternocleidomastoid muscle/scalene muscle
  • step S13 the process proceeds to step S13 described above, and the user modifies the candidate area A-1 or A-2. If the user needs to modify candidate area A-1 or A-2, the process proceeds to step S16 and selects the end button displayed at the bottom of the screen in FIG. This completes the designation of the body area.
  • the series of processes of the information processing device 12 described above can be executed by hardware or software.
  • the programs that make up the software are installed on the computer.
  • the computer includes a computer built into dedicated hardware, and a general-purpose personal computer that can execute various functions by installing various programs.
  • FIG. 16 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processes using a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 205 is further connected to the bus 204.
  • An input section 206 , an output section 207 , a storage section 208 , a communication section 209 , and a drive 210 are connected to the input/output interface 205 .
  • the input unit 206 consists of a keyboard, mouse, microphone, etc.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 executes the above-described series by, for example, loading a program stored in the storage unit 208 into the RAM 203 and executing it via the input/output interface 205 and the bus 204. processing is performed.
  • a program executed by the computer (CPU 201) can be provided by being recorded on a removable medium 211 such as a package medium, for example. Additionally, programs may be provided via wired or wireless transmission media, such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the storage unit 208 via the input/output interface 205 by installing the removable medium 211 into the drive 210. Further, the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208. Other programs can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer may be a program in which processing is performed chronologically in accordance with the order described in this specification, in parallel, or at necessary timing such as when a call is made. It may also be a program that performs processing.
  • the processing that a computer performs according to a program does not necessarily have to be performed chronologically in the order described as a flowchart. That is, the processing that a computer performs according to a program includes processing that is performed in parallel or individually (for example, parallel processing or processing using objects).
  • program may be processed by one computer (processor) or may be processed in a distributed manner by multiple computers. Furthermore, the program may be transferred to a remote computer and executed.
  • a system refers to a collection of multiple components (devices, modules (components), etc.), regardless of whether all the components are located in the same casing. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
  • the configuration described as one device (or processing section) may be divided and configured as a plurality of devices (or processing sections).
  • the configurations described above as a plurality of devices (or processing units) may be configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the entire system are substantially the same. .
  • the present technology can take a cloud computing configuration in which one function is shared and jointly processed by multiple devices via a network.
  • the above-mentioned program can be executed on any device. In that case, it is only necessary that the device has the necessary functions (functional blocks, etc.) and can obtain the necessary information.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by multiple devices.
  • the multiple processes included in that one step can be executed by one device or can be shared and executed by multiple devices.
  • multiple processes included in one step can be executed as multiple steps.
  • processes described as multiple steps can also be executed together as one step.
  • the processing of the steps described in the program may be executed in chronological order according to the order described in this specification, in parallel, or in a manner in which calls are made. It may also be configured to be executed individually at necessary timings such as at certain times. In other words, the processing of each step may be executed in a different order from the order described above, unless a contradiction occurs. Furthermore, the processing of the step of writing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • the present technology can also have the following configuration.
  • An information processing system comprising: a detection unit that detects a three-dimensional positional change of the body region of the target person based on a position of the body region of the target person in the image of the arbitrary frame.
  • the information processing system according to (1) further comprising: a determination unit that determines abnormal breathing based on the position change of the body region of the target person detected by the detection unit.
  • the body regions of the target person are a chest and an abdomen, The information processing system according to (2), wherein the determination unit determines the abnormal breathing based on the position change of the chest and the position change of the abdomen.
  • the calculation unit is configured to calculate a straight line passing through the position of the body region specified by the user, a first line segment connecting the two joint points, and a second line segment different from the first line connecting the two joint points.
  • the information processing system according to any one of (8) to (10), wherein a ratio value for dividing each line segment is calculated as the ratio information.
  • the determining unit calculates the position of the body region by a weighted sum of the position of the body region determined based on the angle information and the position of the body region determined based on the ratio information.
  • the information processing system according to any one of (8) to (11).
  • the information processing system further comprising a designation section for designating the type of abnormal breathing observed by the user;
  • the information processing system according to any one of (1) to (12), wherein the designation unit automatically designates the position of the body region corresponding to the type designated by the user.
  • the information processing system includes an estimating section, a calculating section, a determining section, and a detecting section.
  • the calculation unit calculates the relative position of the body region of the target person in the image of the first frame specified by the user and the joint point estimated by the estimation unit with respect to the image of the first frame.
  • the determining unit determines the image of the arbitrary frame based on the position of the joint point estimated by the estimating unit with respect to the image of the arbitrary frame different from the first frame, and the relative positional relationship. determining the position of the body region of the target person; The information processing method, wherein the detection unit detects a three-dimensional positional change of the body region of the target person based on the position of the body region of the target person in the image of the arbitrary frame.
  • an estimation unit that estimates the positions of the joint points of the target person from the frame-by-frame images of the target person; a relative positional relationship between the position of the body region of the target person in the image of the first frame specified by the user and the joint point estimated by the estimation unit with respect to the image of the first frame;
  • a calculation unit that calculates; Based on the position of the joint point estimated by the estimator with respect to the image of an arbitrary frame different from the first frame and the relative positional relationship, the position of the target person in the image of the arbitrary frame is determined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、対象人物の映像（画像）から様々な形態の呼吸の異常を検出できるようにする情報処理システム、情報処理方法、及び、プログラムに関する。 対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置が推定され、ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して推定された前記関節点との相対的な位置関係が算出され、前記第１フレームと異なる任意フレームの前記画像に対して推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置が決定され、前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化が検出される。

Description

情報処理システム、情報処理方法、及び、プログラム
　本技術は、情報処理システム、情報処理方法、及び、プログラムに関し、特に、対象人物の映像（画像）から様々な形態の呼吸の異常を検出できるようにした情報処理システム、情報処理方法、及び、プログラムに関する。
　特許文献１には、対象人物までの距離を示す距離画像を取得し、距離画像に基づいて対象人物の呼吸エリアを推定し、呼吸エリアを含む平面から対象人物の３次元位置までの距離の時間変化に基づいて、対象人物の呼吸を検知する技術が開示されている。
特開２０１８－１８７０９０号公報
　ICUや病棟において患者の呼吸の異常を検知する手法が求められている。呼吸の異常には、バイタルサインとして測定される呼吸数が異常な場合だけではなく、片方の肺が機能していない場合や、気胸などによって胸が膨らまずにお腹だけが膨らむ場合のように、呼吸の仕方自体が異常な場合もある。呼吸の仕方自体の異常は、バイタルサインだけでの検出では困難であり、現状では医師や看護師による目視でしか確認することができない。
　本技術はこのような状況に鑑みてなされたものであり、対象人物の映像（画像）から様々な形態の呼吸の異常を検出できるようにする。
　本技術の情報処理システム、又は、プログラムは、対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置を推定する推定部と、ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して前記推定部により推定された前記関節点との相対的な位置関係を算出する算出部と、前記第１フレームと異なる任意フレームの前記画像に対して前記推定部により推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置を決定する決定部と、前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化を検出する検出部とを有する情報処理システム、又は、そのような情報処理システムとして、コンピュータを機能させるためのプログラムである。
　本技術のデータ処理方法は、推定部と、算出部と、決定部と、検出部とを有する情報処理システムの前記推定部が、対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置を推定し、前記算出部が、ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して前記推定部により推定された前記関節点との相対的な位置関係を算出し、前記決定部が、前記第１フレームと異なる任意フレームの前記画像に対して前記推定部により推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置を決定し、前記検出部が、前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化を検出する情報処理方法である。
　本技術の情報処理システム、情報処理方法、及び、プログラムにおいては、対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置が推定され、ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して推定された前記関節点との相対的な位置関係が算出され、前記第１フレームと異なる任意フレームの前記画像に対して推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置が決定され、前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化が検出される。
本技術が適用される実施の形態に係る情報処理システムを示したブロック図である。 情報処理装置の機能構成を例示したブロック図である。 異常呼吸判定部において奇異呼吸による異常な呼吸を検出する場合の具体的な判定例を説明する図である。 異常呼吸判定部において奇異呼吸による異常な呼吸を検出する場合の具体的な判定例を説明する図である。 患者画像に対して自動的に設定される体領域指定位置の候補領域を例示した図である。 相対位置算出部における相対位置情報の算出について説明する図である。 相対位置算出部における相対位置情報の算出について説明する図である。 体領域位置決定部が体領域設定位置を決定する際の処理を説明する図である。 体領域指定位置の指定手順の具体例を説明するフローチャートである。 体領域指定位置の指定の際に表示部に表示される画面例を示した図である。 体領域指定位置の指定の際に表示部に表示される画面例を示した図である。 体領域指定位置の指定の際に表示部に表示される画面例を示した図である。 体領域指定位置の指定の際に表示部に表示される画面例を示した図である。 体領域指定位置の指定の際に表示部に表示される画面例を示した図である。 体領域指定位置の指定の際に表示部に表示される画面例を示した図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。
＜＜本実施の形態に係る情報処理システム＞＞
　図１は、本技術が適用される実施の形態に係る情報処理システムを示したブロック図である。図１において、本情報処理システム１は、カメラ１１、情報処理装置１２、及び、院内サーバ１３を有する。カメラ１１は、例えば病院のICU（Intensive Care Unit：集中治療室）や病棟に設置され、対象人物（患者）を撮影する。カメラ１１は、例えばRGB-Dカメラであり、被写体のカラー画像と被写体までの距離（距離情報（デプス情報））とを画像情報として取得する。カメラ１１で取得された画像情報は情報処理装置１２に供給される。なお、カメラ１１は、カラー画像ではなくグレースケール画像を取得する場合であってもよく、カメラ１１で取得されるカラー画像又はグレースケール画像を単に画像という。特に、カメラ１１は対象人物（患者）の画像を取得する目的で使用されるため、カメラ１１で取得される画像を患者画像という。また、カメラ１１は、所定周期で（又は所定の時間間隔おきに連続して）患者画像を取得することで動画像として患者画像を取得することとする。動画像としての患者画像は、撮像時刻が異なる静止画像としての患者画像を時系列順につなげたものであり、静止画像としての患者画像のそれぞれをフレームという。カメラ１１が取得する画像情報のうちの距離情報は、各フレームに含まれることとする。ただし、カメラ１１は、距離情報を取得しないカメラであってもよい。
　情報処理装置１２は、例えば病院内の通信ネットワーク（院内ネットワーク）に接続されたに一般的なコンピュータであり、インストールされたソフトウエアに含まれるプログラムの実行により、呼吸監視処理を実行する。なお、情報処理装置１２は、院内ネットワークに接続された任意の機器に組み込まれていてもよい。情報処理装置１２は、カメラ１１から供給された画像情報に基づいて、対象人物の呼吸を監視し、監視結果情報やカメラ１１からの画像情報を通信ネットワークを介して院内サーバ１３に供給する。
　院内サーバ１３は、院内ネットワークに接続され、情報処理装置１２からの監視結果情報や画像情報を保存する。院内サーバ１３に保存された情報は、院内ネットワークに接続された端末装置から参照され得る。
＜情報処理装置１２＞
　図２は、情報処理装置１２の機能構成を例示したブロック図である。情報処理装置１２は、体領域設定部３１と体領域トラッキング部３２とを有する。
　体領域設定部３１は、カメラ１１で取得された患者画像に対して呼吸の異常を検出するために着目（観察）する体領域を設定する体領域設定処理を行う。
　体領域トラッキング部３２は、カメラ１１で取得された患者画像に対して体領域設定部３１により設定された体領域をトラッキングし、呼吸の異常等を検出する。
　体領域設定部３１は、体領域指定部５１、骨格推定部５２、及び、相対位置算出部５３を有する。
　体領域指定部５１は、カメラ１１で取得された患者画像が表示されたディスプレイ（表示部）の画面上において、医師又は看護師等のユーザが着目（観察）する体領域の位置を入力装置を用いて指定する入力部である。入力装置は、ディスプレイの画面上に表示されたポインタを操作するマウス等のポインティング装置であってもよいし、ディスプレイの画面に設置されたタッチパネルであってもよく、特定の種類の装置に限定されない。体領域指定部５１により指定された画面上（患者画像）上における体領域の位置（以下、体領域指定位置ともいう）は、相対位置算出部５３に供給される。体領域指定位置は、具体的には患者画像上の2次元座標（XY座標）で表される。なお、カメラ１１で取得された患者画像には、原則として仰臥位の状態の患者の正面側が写されていることとする。また、体領域指定位置は、体領域を点により指定する場合と領域により指定する場合とのいずれでも可能であり、また、１つの体領域を指定する場合と複数の体領域を指定する場合のいずれでも可能である。詳細は後述する。
　骨格推定部５２は、カメラ１１で取得された患者画像に基づいて、最新のフレーム（現フレーム）の患者画像における骨格推定を、カメラ１１から新たなフレームの患者画像が供給されるごとに行う。骨格推定は、機械学習の技術が用いられた推論モデル（姿勢推定モデル）に対して、患者画像を入力することで患者画像上における患者の関節点の位置を推定する処理である。推論モデルとしては、Pose Proposal Network、Cascaded Pyramid Network(CPN)、GW-Pose等のDeep Learningの手法により生成された姿勢推定モデルが知られている。姿勢推論モデルは、画像上での関節点の位置（2次元位置）を推定する2次元姿勢推定と、3次元空間での関節点の位置（3次元位置）を推定する3次元姿勢推定とのいずれを行うモデルであってよい。本実施の形態では、骨格推定部５２は、患者画像上における関節点の2次元位置を推定するので、2次元姿勢推定を行う姿勢推論モデルが用いられる場合であってもよいし、3次元姿勢推定を行う姿勢推論モデルが用いられて、推定された関節点の3次元位置から患者画像上での関節点の2次元位置が算出される場合であってもよい。推定される関節点の位置（以下、仮想関節点の位置、又は、仮想関節点位置ともいう）は、例えば、人体の左右に存在する、肩、肘、手首、尻（腰）、膝、足首、目、及び耳のそれぞれの位置と、人体の中央に存在する首、及び鼻のそれぞれの位置とがある。ただし、推定される仮想関節点位置はこれに限らない。骨格推定部５２は、カメラ１１から新たなフレームの患者画像が供給されるごとに、骨格推定を行い、最新のフレーム（現フレーム）の患者画像における患者の仮想関節点位置を相対位置算出部５３に供給する。
　相対位置算出部５３は、体領域指定部５１からの患者画像上における体領域指定位置と、体領域指定位置の指定が行われた際のフレームの姿勢画像から推定された仮想関節点位置とに基づいて、体領域指定位置の周辺の仮想関節点に対する相対位置を算出し、相対位置情報として体領域トラッキング部３２の体領域位置決定部７１に供給する。ここで、体領域指定位置の周辺の仮想関節点とは、体領域指定位置に対して、近い距離に存在する少なくとも２点以上の仮想関節点とする。相対位置算出部５３は、体領域指定位置を相対位置で表す場合の関節点を（以下、基準の関節点、又は、基準関節点ともいう）、体領域指定位置に基づいて決定し、それらの基準関節点の位置（以下、基準関節点位置ともいう）に対する体領域指定位置の相対位置を相対位置情報として算出する。なお、相対位置情報は、カメラ１１からの逐次供給される新たなフレームの患者画像において、患者の変位にかかわらず、体領域指定部５１により指定された患者の体領域を特定する情報として用いられる。したがって、体領域指定位置と基準関節点位置との相対位置を示す相対位置情報は、任意のフレームの患者画像において、患者の着目する体領域の位置を設定するための情報であり、任意のフレームの患者画像において相対位置情報に基づいて設定される体領域の位置を体領域設定位置ともいい、相対位置情報を体領域設定位置の相対位置情報ともいうこととする。また、本実施の形態では、体領域指定位置に対して基準関節点となる仮想関節点は、その体領域指定位置が指定された体領域の位置に対して予め決められていることとする。
　体領域トラッキング部３２は、骨格推定部５２、体領域位置決定部７１、動き量算出部７２（動き量検出部）、及び、異常呼吸判定部７３を有する。
　骨格推定部５２は、体領域設定部３１における骨格推定部５２と同一、又は、同等の処理部であり、カメラ１１で取得された患者画像に基づいて、骨格推定を行い、最新のフレーム（現フレーム）の患者画像における仮想関節点位置を、カメラ１１から新たなフレームの患者画像が供給されるごとに推定する。骨格推定部５２は、現フレームの患者画像において推定した仮想関節点位置のうち、相対位置算出部５３で決定された基準関節点に対応する仮想関節点の位置を現フレームの患者画像における基準関節点位置として、カメラ１１から新たなフレームの患者画像が供給されるごとに体領域位置決定部７１に供給する。
　体領域位置決定部７１は、骨格推定部５２から新たなフレームの患者画像における基準関節点位置が供給されるごとに、現フレームの患者画像における基準関節点位置と、相対位置算出部５３からの体領域設定位置の相対位置情報とに基づいて、体領域指定部５１で指定された体領域指定位置に対応する現フレームの患者画像における体領域設定位置を決定する。体領域位置決定部７１は、骨格推定部５２から新たなフレームの患者画像における基準関節点位置が供給されるごとに、決定した現フレームの患者画像における体領域設定位置を動き量算出部７２に供給する。なお、体領域位置決定部７１は、骨格推定部５２から、基準関節点に関してだけでなく、基準関節点以外の仮想関節点の情報を取得し、両肩の仮想関節点の位置や目や鼻の仮想関節点の検出の有無から、患者の姿勢（体位）を判定するようにしてもよい。これにより、患者が仰臥位の場合にのみ呼吸の異常を判定する処理が行われるようにし、患者の伏臥位や側臥位の場合には呼吸の異常を判定する処理が中断されるようにしてもよい。
　動き量算出部７２は、体領域位置決定部７１から新たなフレームの患者画像のおける体領域設定位置が供給されるごとに、現フレームの体領域設定位置と現フレームの患者画像とに基づいて、現フレームの体領域設定位置の動き量を算出する。動き量は、例えば、現フレームの患者画像に付加された距離情報（デプス情報）が示す体領域設定位置における距離（デプス値）の基準値に対する変化量（デプス変化量という）である。基準値とは、初期のフレームの患者画像における距離情報が示す体領域設定位置におけるデプス値であってもよいし、任意の値であってもよいし、体領域設定位置におけるデプス値の時間的な平均値であってもよい。また、動き量は、体領域設定位置の動き（3次元的な位置変化）の大きさを示す値であり、体領域設定位置のデプス変化量に限定されないが、本実施の形態では動き量はデプス変化量であるとする。また、体領域指定位置として、着目する体領域の位置が点で指定された場合、体領域設定位置も点の位置として設定される。体領域指定位置として、着目する体領域の位置が領域で指定された場合、体領域設定位置も領域の位置として設定される。体領域設定位置が点の位置として設定された場合、体領域設定位置の動き量は、設定された点における動き量を表す。体領域設定位置が領域の位置として設定された場合、体領域設定位置の動き量は、例えば、設定された領域内の複数点における動き量の平均値、中央値、最大値、又は最小値であってよく、それらの平均値、中央値、最大値、又は最小値のうちのいずれを体領域設定位置の動き量とするかをユーザが選択できるようにしてもよい。動き量算出部７２は、新たなフレームの患者画像における体領域設定位置が供給されるごとに、現フレームの患者画像のおける体領域設定位置に対して算出した動き量（デプス変化量）を異常呼吸判定部７３に供給する。
　異常呼吸判定部７３は、動き量算出部７２からの体領域設定位置における動き量に基づいて、患者の呼吸が異常であるか否かを判定する。例えば、異常呼吸判定部７３は、動き量算出部７２から供給された体領域設定位置の動き量（デプス変化量）に基づいて、体領域設定位置の動きをトラッキングし、体領域設定位置の時間的な動き量の変化（デプス変化）を検出する。その結果、通常の呼吸（正常な呼吸）の場合と比較して激しい動きを検出した場合、例えば、デプス変化の振幅（変動幅）が予め決められた閾値を超えることを検出した場合には、呼吸が異常である（異常な呼吸である）と判定する。
　また、異常呼吸判定部７３は、体領域指定部５１による２つの体領域指定位置の指定により、２つの体領域設定位置のデプス変化を検出する。異常呼吸判定部７３は、それらの２つの体領域設定位置のデプス変化の差分である相対変化量（２つの体領域設定位置のデプス変化量の差分の時間的な変化）を検出する。なお、２つの体領域設定位置のデプス変化の差分には、体領域の位置の相違によるデプス値の相違に起因して時間的に一定の直流成分（定数成分）が含まれるが、相対変化量としては、直流成分は除去されている場合であってもよい。異常呼吸判定部７３は、相対変化量を検出した結果、奇異呼吸の動きを検出した場合、例えば、相対変化量の変動幅が予め決められた閾値を超えることを検出した場合には、呼吸が異常である（異常な呼吸である）と判定する。奇異呼吸の動きとは、左右の肺（胸部）の領域が対称的な動き（デプス変化）でない場合、胸部と腹部との動きが同調していない場合、胸郭の一部が他と逆の動きをする場合等をいう。異常呼吸判定部７３は、呼吸の異常を検出した場合には、ディスプレイでの警告表示やスピーカ装置（不図示）による警告音などで呼吸の異常を通知する。
＜異常呼吸判定部７３における異常呼吸判定例＞
　図３及び図４は、異常呼吸判定部７３において奇異呼吸による異常な呼吸を検出する場合の具体的な判定例を説明する図である。
　図３の左側において、胸のデプス変化を表したグラフと、腹のデプス変化を表したグラフとは、それぞれ、図２の体領域設定部３１の体領域指定部５１において、患者の胸部の領域と、腹部の領域とが体領域指定位置として指定された場合に、図２の体領域トラッキング部３２の異常呼吸判定部７３が、それらの胸部の領域と腹部の領域とをそれぞれ体領域設定位置として検出するデプス値の時間的な変化（デプス変化）を例示している。
　図３の右側において、相対変化量を表したグラフは、胸部の領域のデプス値と腹部の領域のデプス値との差分の時間的な変化を例示したグラフである。この相対変化量を表したグラフは、図３の左側の胸のデプス変化を表したグラフと、腹のデプス変化を表したグラフの差分を表したグラフに相当する。図３は、正常な呼吸の場合を表しており、異常呼吸判定部７３は、図３の相対変化量のグラフのように胸部と腹部の２つの領域のデプス変化から相対変化量を検出し、その相対変化量の変動幅が予め決められた閾値以下である場合には正常な呼吸であると判定する。
　図４の左側において、胸部のデプス変化を表したグラフと、腹部のデプス変化を表したブラフとは、図３と同様に、それぞれ、図２の体領域設定部３１の体領域指定部５１において、患者の胸部の領域と、腹部の領域とが体領域指定位置として指定された場合に、図２の体領域トラッキング部３２の異常呼吸判定部７３が、それらの胸部の領域と腹部の領域とをそれぞれ体領域設定位置として検出するデプス値の時間的な変化（デプス変化）を例示している。
　図４の右側において、相対変化量を表したグラフは、図３と同様に、胸部の領域のデプス値と腹部の領域のデプス値との差分の時間的な変化を例示したグラフである。図４は、異常な呼吸の場合を表しており、異常呼吸判定部７３は、図４の相対変化量のグラフのように胸部と腹部の２つの領域のデプス変化から相対変化量を検出し、その相対変化量の変動幅が予め決められた閾値を超えた場合には異常な呼吸であると判定する。このように複数の体領域の相対変化量を検出することで、常に患者の異常な呼吸の有無をモニタリングすることができので、患者の異常呼吸に早期に気づくことができ、早期に適切な処置を行うことができる。また、医師が患者のバイタルデータを見直すように異常呼吸の有無のデータも映像とともに見直すことができる。また、監視する複数の体領域をユーザが指定することができるので、患者の状態に応じて様々な種類の呼吸の異常を検出することができるようになる。呼吸の異常が検出された場合にその旨が医師等に通知されるので、医師が患者の状態変化に早期に気づくことができ、患者の状態の振り返りをすることで重症度の評価ができる。また、映像から呼吸様式を把握することができるため遠隔医療のように映像越しで患者を見た際も呼吸様式を正確に把握することができる。
＜体領域指定部５１における体領域の指定例＞
　図２の体領域設定部３１の体領域指定部５１により、カメラ１１で取得された患者画像が表示されたディスプレイ（表示部）の画面上において、ユーザが着目（観察）する体領域の位置を指定する際に、骨格推定部５２により推定された仮想関節点の位置に基づいて自動的に設定される複数の候補位置（候補領域）の中から選択できるようにしてもよい。
　図５は、患者画像に対して自動的に設定される体領域指定位置の候補領域を例示した図である。
　図５において、候補領域ＡＣ１乃至ＡＣ６は、それぞれ、体領域指定位置の候補領域として自動的に設定される、胸鎖乳突筋（ＡＣ１）、斜角筋（ＡＣ２－Ｌ、Ｒ）、肺（ＡＣ３－Ｌ、Ｒ）、胸（ＡＣ４）、みぞおち（ＡＣ５）、及び、腹（ＡＣ６）の領域を表す。胸鎖乳突筋の候補領域ＡＣ１の位置は、骨格推定部５２により推定された仮想関節点のうち、例えば、鼻、左耳、右耳、左肩、及び、右肩を基準関節点として設定される。例えば、胸鎖乳突筋の候補領域ＡＣ１の各頂点の位置は、各基準関節点の位置に対して、予め決められた標準的な相対位置関係に基づいて決定される。
　斜角筋の左右の候補領域ＡＣ２－Ｌ、Ｒは、それぞれ、骨格推定部５２により推定された仮想関節点のうち、例えば、鼻、左耳、右耳、左肩、及び、右肩を基準関節点として設定される。
　肺の左右の候補領域ＡＣ３－Ｌ、Ｒは、それぞれ、骨格推定部５２により推定された仮想関節点のうち、例えば、左肩、右肩、左尻、及び、右尻を基準関節点として設定される。
　胸、みぞおち、及び、腹の候補領域ＡＣ４、ＡＣ５、及び、ＡＣ６は、いずれも骨格推定部５２により推定された仮想関節点のうち、例えば、左肩、右肩、左尻、及び、右尻を基準関節点として設定される。
　例えば、体領域指定部５１によりユーザが着目（観察）したい体領域を、胸鎖乳突筋、斜角筋、肺、胸、みぞおち、及び、腹の中から選択することで、選択した体領域に対応する候補領域が、体領域指定位置として指定され、又は、候補領域としてディスプレイ（表示部）に表示された患者画像に重畳表示される。ユーザは、患者画像に重畳表示された候補領域を基準にして体領域指定位置として指定する体領域の形状や位置を候補領域に対して変更できるようにすることも可能である。
＜体領域設定位置の決定＞
　図２の体領域トラッキング部３２の体領域位置決定部７１は、骨格推定部５２からの各フレームの患者画像における基準関節点位置と、相対位置算出部５３からの体領域設定位置の相対位置情報とに基づいて、体領域指定部５１で指定された体領域指定位置に対応する各フレームの患者画像における体領域設定位置を決定する。相対位置算出部５３では、体領域指定部５１により体領域の位置が指定された際のフレームの患者画像における基準関節点位置と、ユーザにより指定された体領域の位置とに基づいて相対位置情報の算出が行われる。
（相対位置情報の算出）
　図６は、体領域指定位置が点によって指定された場合の相対位置算出部５３における相対位置情報の算出について説明する図である。図６において、指定点Ｐ－１は、体領域指定部５１によりユーザが患者画像において体領域指定位置として指定した点を表す。基準関節点ＰＢ－１乃至ＰＢ－４は、指定点Ｐ－１を体領域指定位置として相対位置で表す場合の仮想関節点の患者画像における位置を表し、それぞれ、図２の骨格推定部５２により推定された右肩、左肩、左尻、及び右尻の関節点の位置を表す。このとき、相対位置算出部５３は、各基準関節点ＰＢ－１乃至ＰＢ－４のうちのいずれか１つの基準関節点（着目関節点ＰＢ－ｍとする）と、着目関節点ＰＢ－ｍ以外の基準関節点（他の基準関節点ＰＢ－ｎとする）とを結ぶ線分（直線）と、着目関節点ＰＢ－ｍと指定点Ｐ－１とを結ぶ線分（直線）とのなす角θk（角度θk）を算出する。また、相対位置算出部５３は、着目関節点ＰＢ－ｍと他の基準関節点ＰＢ－ｎとを結ぶ線分（直線）と、他の基準関節点ＰＢ－ｎと指定点Ｐ－１とを結ぶ線分（直線）とのなす角θl（角度θl）を算出する。ここで、患者画像における指定点Ｐ－1の位置（座標）は、少なくとも1組の角度θk及びθlが特定されれば、基準関節点ＰＢ－１乃至ＰＢ－４に対する相対位置として特定され得るので、相対位置算出部５３は、1組以上の角度θk及びθlを相対位置情報として算出する。図６には角度θ1乃至θ8が例示されており、それぞれ着目関節点ＰＢ－ｍと他の基準関節点ＰＢ－ｎとの組み合わせ（基準関節点の組み合わせもという）が次の場合に算出される角度θk及びθlを表す。角度θ1及びθ2は、基準関節点ＰＢ－１及びＰＢ－２の組み合わせにより算出される角度θk及びθlを表す。角度θ3及びθ4は、基準関節点ＰＢ－２及びＰＢ－３の組み合わせにより算出される角度θk及びθlを表す。角度θ5及びθ6は、基準関節点ＰＢ－３及びＰＢ－４の組み合わせにより算出される角度θk及びθlを表す。角度θ7及びθ8は、基準関節点ＰＢ－１及びＰＢ－４の組み合わせにより算出される角度θk及びθlを表す。このように、相対位置算出部５３は、着目関節点ＰＢ－ｍと他の基準関節点ＰＢ－ｎとをそれぞれ基準関節点ＰＢ－１乃至ＰＢ－４の中から選択して、１又は複数通りの基準関節点の組み合わせを作り、それぞれの組み合わせに対して1組の角度θk及びθlを算出する。なお、1つの指定点Ｐ－１に対して2つ以上の仮想関節点が基準関節点として設定されていれば、相対位置算出部５３は、1通り以上の基準関節点の組み合わせ作ることができ、それらの組み合わせに対する角度θk及びθlを指定点Ｐ－１の相対位置情報として算出することができる。図６のように４つの基準関節点が設定されている場合には、基準関節点の組み合わせは最大で6通り存在する。指定点Ｐ－１の位置は、それらの組み合わせのうちのいずれか1つの組み合わせにおける、基準関節点の位置（座標）と、その組み合わせに対する相対位置情報である1組の角度θk及びθlとにより特定され得る。従って、相対位置算出部５３は、基準関節点の全ての組み合わせのうち、1つ以上の基準関節点の組み合わせに対する角度θk及びθlを相対位置情報として算出すればよい。ただし、多くの基準関節点の組み合わせに対する角度θk及びθlを相対位置情報として算出した方が、体領域位置決定部７１が、相対位置情報に基づいて決定する体領域設定位置の信頼度が向上するので、図６を用いた本説明では、4つの基準関節点の組み合わせに対する角度θ1乃至θ8を相対位置情報として算出することとする。
　また、図６において、相対位置算出部５３は、各基準関節点ＰＢ－１乃至ＰＢ－４のうちのいずれか１つの基準関節点（第１着目関節点ＰＢ－ｍ１とする。例えばＰＢ－１）と、第１着目関節点ＰＢ－ｍ１以外の基準関節点（他の基準関節点ＰＢ－ｎ１とする。例えばＰＢ－２）とを結ぶ線分（直線）を第１線分（直線）とし、第１着目関節点ＰＢ－ｍ１及び他の基準関節点ＰＢ－ｎ１以外の基準関節点（第２着目関節点ＰＢ－ｍ２とする。例えばＰＢ－４）と、第２着目関節点ＰＢ－ｍ２以外の基準関節点（他の基準関節点ＰＢ－ｎ２とする。例えばＰＢ－３）とを結ぶ線分を第２線分（直線）とする。相対位置算出部５３は、指定点Ｐ－１を通り、かつ、所定の条件（直線条件という）を満たす直線（指標直線という）が、第１線分及び第２線分のそれぞれに交わる点を、それぞれ内分点ri及びrj（例えばr1及びr3）として特定する。
　指標直線の直線条件としては、複数の形態のうちのいずれかを採用することができる。直線条件の形態（第１形態）としては、例えば、指標直線の傾きが、第１着目関節点ＰＢ－ｍ１と第２着目関節点ＰＢ－ｍ２とを結ぶ線分（直線）の傾きと、基準関節点ＰＢ－ｎ１と基準関節点ＰＢ－ｎ２とを結ぶ線分（直線）の傾きとの平均であるとする。直線条件の他の形態（第２形態）としては、例えば、指標直線が、第１線分及び第２線分をそれぞれ同一の内分比で内分する内分点ri及びrj（＝ri）を通過する直線であるとする。直線条件の他の形態（第３形態）としては、指標直線の傾きが、予め決められた傾きであるとする。例えば、指標直線は患者画像上において上下方向又は左右方向の直線であるとする。
　ここで、1組の内分点ri及びrjは、指定点Ｐ－1を通る1本の指標直線を特定する。患者画像における指定点Ｐ－1の位置（座標）は、少なくとも傾きが異なる2本の指標直線が特定されれば、それらの指標直線の交点の位置として特定される。したがって、相対位置算出部５３は、基準関節点ＰＢ－１乃至ＰＢ－４に対して傾きが異なる2本以上の指標直線を特定する2組以上の内分点ri及びrjの情報を、相対位置情報として算出する。内分点ri及びrjの情報としては、相対位置算出部５３は、例えば、内分点ri及びrjがそれぞれ第１線分及び第２線分を内分する内分比を算出する。内分点ri及びrjが線分を内分する内分比を内分点と同一符号ri及びrjで表すこととすると、相対位置算出部５３は、第１線分及び第２線分に対する内分比ri及びrjを算出する。第１線分に対する内分比riは、第１線分上における第１着目関節点ＰＢ－ｍ１から内分点riまでの長さを第１線分の長さで除算した値であり、第１線分の長さを1としたときの第１着目関節点ＰＢ－ｍ１から内分点riまでの長さに相当する。即ち、内分比riは、第１線分が指標直線により比（ri：1－ri）で分割される場合のriの値を表す。同様に、第２線分に対する内分比rjは、第２線分上における第２着目関節点ＰＢ－ｍ２から内分点rjまでの長さを第２線分の長さで除算した値であり、第２線分の長さを1としたときの第２着目関節点ＰＢ－ｍ２から内分点rjまでの長さに相当する。即ち、内分比rjは、第２線分が指標直線により比（rj：1－rj）で分割される場合のrjの値を表す。
　図６には、指標直線の直線条件の第１形態を採用した場合における内分点r1乃至r4が例示されており、それぞれ第１線分を形成する第１着目関節点ＰＢ－ｍ１と他の基準関節点ＰＢ－ｎ１との組み合わせ（第１線分に対する基準関節点の組み合わせもという）と、第２線分を形成する第２着目関節点ＰＢ－ｍ２と他の基準関節点ＰＢ－ｎ２との組み合わせ（第２線分に対する基準関節点の組み合わせもという）とが次の場合に特定される内分点ri乃至rjを表す。内分点r1及びr3は、基準関節点ＰＢ－１及びＰＢ－２（基準関節点ＰＢ－１を第１着目関節点ＰＢ－ｍ１とする）を第１線分に対する基準関節点の組み合わせとし、基準関節点ＰＢ－４及びＰＢ－３（基準関節点ＰＢ－４を第２着目関節点ＰＢ－ｍ２とする）を第２線分に対する基準関節点の組み合わせとした場合における内分点ri乃至rjである。内分点r2及びr4は、基準関節点ＰＢ－１及びＰＢ－４（基準関節点ＰＢ－１を第１着目関節点ＰＢ－ｍ１とする）を第１線分に対する基準関節点の組み合わせとし、基準関節点ＰＢ－２及びＰＢ－３（基準関節点ＰＢ－２を第２着目関節点ＰＢ－ｍ２とする）を第２線分に対する基準関節点の組み合わせとした場合における内分点ri乃至rjである。
　相対位置算出部５３は、指定点Ｐ－１の相対位置情報として、内分点r1及びr3のそれぞれの内分比r1及びr3を1本の指標直線（第１指標直線）に対する1組の内分比ri乃至rjとして算出し、内分点r2及びr4のそれぞれの内分比r2及びr4を他の1本の指標直線（第２指標直線）に対する1組の内分比ri乃至rjとして算出する。
　このように、相対位置算出部５３は、第１着目関節点ＰＢ－ｍ１及び基準関節点ＰＢ－ｎ１、並びに、第２着目関節点ＰＢ－ｍ２及び基準関節点ＰＢ－ｎ２をそれぞれ基準関節点ＰＢ－１乃至ＰＢ－４の中から選択して、複数通り分（複数組分）の第１線分及び第２線分（傾きが異なる複数分の指標直線）に対する基準関節点の組み合わせを作る。相対位置算出部５３は、それぞれの組の第１線分及び第２線分に対する基準関節点の組み合わせに対して内分比ri及びrjを算出する。なお、各組の第１線分及び第２線分は、いずれか一方の線分が他の組の第１線分及び第２線分と相違していれば良いので、相対位置算出部５３は、内分比ri及びrjを算出する第１線分及び第２線分の組数分より1つ以上多い数の線分を作成すれば良い。また、第１線分とそれに対する第２線分とは、第２着目関節点ＰＢ－ｍ２が、第１着目関節点ＰＢ－ｍ１及び他の基準関節点ＰＢ－ｎ１と相違していれば、第２着目関節点ＰＢ－ｍ２に対する他の基準関節点ＰＢ－ｎ２が第１着目関節点ＰＢ－ｍ１及び他の基準関節点ＰＢ－ｎ１と共通していても良いので、3つ以上の基準関節点が存在すれば2つ以上の線分を作成することができる。例えば、a個の基準関節点が存在する場合、最大で｛a・（a－1）／2｝個の線分を作成することができ、｛｛a・（a－1）／2｝－1｝通り分（組分）の第１線分及び第２線分を作成することができる。図６のように4つの基準関節点ＰＢ－１乃至ＰＢ－４が存在する場合、最大で6つの線分を作成することができ、相対位置算出部５３は、5組分の第１線分及び第２線分（5本分の指標直線）に対する内分比ri及びrjを算出することが可能である。ただし、本説明では、図６の例のように、相対位置算出部５３は、2組分の第１線分及び第２線分（2本分の指標直線）に対する内分比r1及びr3の組と、内分比r2及びr4の組とを相対位置情報として算出することとする。
　なお、指標直線が、第１線分又は第２線分を内分する内分点が存在せず、第１線分又は第２線分を外分する外分点を通る場合もあり得る。この場合、上述の内分点を外分点と言い換え、内分比ri又はrjを外分比ri又はrjとして言い換えて、相対位置算出部５３は、外分比ri又はrjを算出することする。ただし、相対位置算出部５３が外分比を算出する場合のアルゴリズムは内分比を算出する場合と同様であるので、以下においてri又はrjが0乃至1の範囲以外の値の場合には外分比であることとして、相対位置算出部５３が算出する値ri又はrjが内分比か外分比かにかかわらず内分比ri及びrj（又は比率値）ということとする。また、指標直線の直線条件の第３形態を採用した場合、相対位置算出部５３は、各組の第１線分及び第２線分に対する内分比ri及びrjの内分比rjを内分比riと同一値として算出する。
　以上のように、相対位置算出部５３は、体領域設定位置の相対位置情報として、指定点Ｐ－１についての図６の角度θ1乃至θ8、及び、内分比（比率値）r1乃至r4を算出し、図２の体領域位置決定部７１に供給する。なお、相対位置情報には、角度θ1乃至θ8、及び、内分比（比率値）r1乃至r4のそれぞれを算出する際に用いられた基準関節点の種類を特定する情報も含まれる。
　図７は、体領域指定位置が領域によって指定された場合の相対位置算出部５３における相対位置情報の算出について説明する図である。
　図７において、指定点Ｐ－１乃至Ｐ－４は、体領域指定部５１によりユーザが患者画像において体領域指定位置として領域（指定領域Ａ－１）を指定する場合に、その指定領域Ａ－１の頂点を表す。この場合、ユーザは、指定領域Ａ－１の頂点である指定点Ｐ－１乃至Ｐ－４のそれぞれの患者画像における位置を指定することで、指定領域Ａ－１の位置を指定する。基準関節点ＰＢ－１乃至ＰＢ－４は、は図６と同じであるので説明を省略する。
　このとき、相対位置算出部５３は、指定領域Ａ－１の頂点である指定点Ｐ－１乃至Ｐ－４のそれぞれについて、図６と同様に、角度θ1乃至θ8、及び、内分比（比率値）r1乃至r4を算出する。算出手順については図６と同様であるので説明を省略する。相対位置算出部５３は、指定点Ｐ－１乃至Ｐ－４のそれぞれについて角度θ1乃至θ8、及び、内分比（比率値）r1乃至r4を体領域設定位置の相対位置情報として図２の体領域位置決定部７１に供給する。
（体領域設定位置の算出）
　一方、図２の体領域位置決定部７１は、相対位置算出部５３からの体領域設定位置の相対位置情報と、骨格推定部５２から供給される各フレームの患者画像における基準関節点位置とに基づいて、体領域指定部５１で指定された体領域指定位置に対応する各フレームの患者画像における体領域設定位置を決定（算出）する。
　図８は、図６の指定点Ｐ－１に対して体領域位置決定部７１が体領域設定位置を決定する際の処理を説明する図である。
　図８において、設定点Ｐ－１は、図６で体領域指定部５１によりユーザが患者画像において体領域指定位置として指定した指定点Ｐ－１に対して、体領域位置決定部７１が、所定のフレーム（着目フレーム）の患者画像において体領域設定位置として決定（設定）する点を表す。基準関節点ＰＢ－１乃至ＰＢ－４は、図６で相対位置算出部５３が指定点Ｐ－１の相対位置情報を算出する際に使用した基準関節点ＰＢ－１乃至ＰＢ－４に対応する、着目フレームの患者画像における基準関節点の位置を表し、それぞれ、図２の骨格推定部５２により着目フレームの患者画像に対して推定された右肩、左肩、左尻、及び右尻の関節点の位置を表す。
　体領域位置決定部７１は、着目フレームの患者画像に対して、相関位置情報の算出に使用されたすべての基準関節点の位置が骨格推定部５２で推定され、供給された場合、図８のＡに示すように、相対位置算出部５３から相対位置情報として供給された指定点Ｐ－１についての図６の角度θ1及びθ8、及び、内分比（比率値）r1乃至r4と、基準関節点ＰＢ－１乃至ＰＢ－４の位置とに基づいて、設定点Ｐ－１の位置を算出する。このとき、角度θ1及びθ2、角度θ3及びθ4、角度θ5及びθ6、角度θ7及びθ8、並びに、比率値r1乃至r4のうちのいずれかの情報から設定点Ｐ－１の位置が特定され得るが、体領域位置決定部７１は、重み係数を用いて次にように、設定点Ｐ－１を体領域設定位置として算出する。
　体領域位置決定部７１は、角度θ1及びθ2、角度θ3及びθ4、角度θ5及びθ6、角度θ7及びθ8、並びに、内分比（比率値）r1乃至r4のそれぞれから特定される設定点Ｐ－1の位置（XY座標）をＰ－1(x,y)a1、Ｐ－1(x,y)a2、Ｐ－1(x,y)a3、Ｐ－1(x,y)a4、及び、Ｐ－1(x,y)bとして算出する。即ち、Ｐ－1(x,y)a1は、着目フレームにおける基準関節点ＰＢ－１及びＰＢ－２の位置（XY座標）と、角度θ1及びθ2とから特定される設定点である。具体的には、Ｐ－1(x,y)a1は、基準関節点ＰＢ－１及びＰＢ－２を結ぶ線分に対して、角度θ1で基準関節点ＰＢ－１を通る直線と、角度θ2で基準関節点ＰＢ－２を通る直線との交点の位置を表す。Ｐ－1(x,y)a2は、着目フレームにおける基準関節点ＰＢ－２及びＰＢ－３の位置（XY座標）と、角度θ3及びθ4とから特定される設定点である。具体的には、Ｐ－1(x,y)a2は、基準関節点ＰＢ－２及びＰＢ－３を結ぶ線分に対して、角度θ3で基準関節点ＰＢ－２を通る直線と、角度θ4で基準関節点ＰＢ－３を通る直線との交点の位置を表す。Ｐ－1(x,y)a3は、着目フレームにおける基準関節点ＰＢ－３及びＰＢ－４の位置（XY座標）と、角度θ5及びθ6とから特定される設定点である。具体的には、Ｐ－1(x,y)a3は、基準関節点ＰＢ－３及びＰＢ－４を結ぶ線分に対して、角度θ5で基準関節点ＰＢ－３を通る直線と、角度θ6で基準関節点ＰＢ－４を通る直線との交点の位置を表す。Ｐ－1(x,y)a4は、着目フレームにおける基準関節点ＰＢ－４及びＰＢ－１の位置（XY座標）と、角度θ7及びθ8とから特定される設定点である。具体的には、Ｐ－1(x,y)a4は、基準関節点ＰＢ－４及びＰＢ－１を結ぶ線分に対して、角度θ7で基準関節点ＰＢ－４を通る直線と、角度θ8で基準関節点ＰＢ－１を通る直線との交点の位置を表す。Ｐ－1(x,y)bは、着目フレームにおける基準関節点ＰＢ－１乃至ＰＢ－４の位置（XY座標）と、内分比（比率値）r1乃至r4とから特定される設定点である。具体的には、Ｐ－1(x,y)bは、基準関節点ＰＢ－１及びＰＢ－２を結ぶ第１線分と基準関節点ＰＢ－４及びＰＢ－３を結ぶ第２線分とをそれぞれ内分比r1及びr3で内分する内分点r1及びr3同士を結ぶ線分（第１指標直線）と、基準関節点ＰＢ－１及びＰＢ－４を結ぶ第１線分と基準関節点ＰＢ－２及びＰＢ－４を結ぶ第２線分とをそれぞれ内分比r2及びr4で内分する内分点r2及びr4同士を結ぶ線分（第２指標直線）との交点の位置を表す。
　体領域位置決定部７１は、これらの算出したＰ－1(x,y)a1、Ｐ－1(x,y)a2、Ｐ－1(x,y)a3、Ｐ－1(x,y)a4、及び、Ｐ－1(x,y)bに対して、予め決められた重み係数Ｗa1、Ｗa2、Ｗa3、Ｗa4、及び、Ｗbを用いて設定点Ｐ－1の最終的な位置（XY座標）としてＰ－1(x,y)を次式（１）の重み付け加算和（X座標値及びY座標値それぞれの加重平均）により決定する。なお、重み係数Ｗa1、Ｗa2、Ｗa3、Ｗa4、及び、Ｗbの総和は1とする。
　Ｐ－1(x,y)＝Ｗa1・Ｐ－1(x,y)a1＋Ｗa2・Ｐ－1(x,y)a2＋Ｗa3・Ｐ－1(x,y)a3＋Ｗa4・Ｐ－1(x,y)a4＋Ｗb・Ｐ－1(x,y)b　　　・・・（１）
　なお、重み係数Ｗa1、Ｗa2、Ｗa3、Ｗa4、及び、Ｗbは、位置特定の信頼性が高い内分比（比率値）r1乃至r4から算出されたＰ－1(x,y)bに対する重み係数Ｗbを重み係数Ｗa1、Ｗa2、Ｗa3、及び、Ｗa4よりも大きな値とすることで、信頼性が高く、かつ、ロバスト性が高い設定点Ｐ－１の位置が指定領域設定位置として算出される。また、上式（１）は、2通り分（2組分）の第１線分及び第２線分（2本分の指標直線）に対する2組分の内分比r1及びr3、並びに、内分比r2及びr4に基づいて、1つ設定点Ｐ－1(x,y)bの位置（XY座標）が算出される場合である。これに対して、3組以上の第１線分及び第２線分（3本以上の指標直線）に対する3組分以上の内分比ri及びrjに基づいて、2つ以上の設定点の位置（XY座標）が算出される場合には、それらの複数の設定点の位置についても上式（１）と同様に重み付け加算和として加算されるようにしてもよい。また、体領域位置決定部７１は、１つの指定点Ｐ－１に対して、相対位置算出部５３からの相対位置情報に基づいて特定され得る複数の設定点Ｐ－１の位置（候補位置）が存在する場合に、上式（１）のようにそれら全ての設定点Ｐ－１の候補位置の重み付け加算和（加重平均）により最終的な設定点Ｐ－１の位置を決定する場合に限らない。例えば、体領域位置決定部７１は、複数の候補位置のいずれかを最終的な設定点Ｐ－１の位置として決定する場合であってもよいし、複数の候補位置のうちの一部の候補位置の重み付け加算和により最終的な設定点Ｐ－１の位置を決定する場合であってもよい。
　これに対して、体領域位置決定部７１は、着目フレームの患者画像に対して、相関位置情報の算出に使用された基準関節点のうちいずれかの基準関節点の位置が骨格推定部５２で推定されず、供給されない場合には、相対位置情報のうち、設定点Ｐ－１の位置を算出することできる情報のみを用いて設定点Ｐ－１の位置を算出する。例えば、図８のＢのように基準関節点ＰＢ－３及びＰＢ－４の位置が推定できなかった場合には、基準関節点ＰＢ－１及びＰＢ－２と、相対位置情報の角度θ1及びθ2とを用いて、設定点Ｐ－１の位置を算出する。即ち、式（１）において、重み係数Ｗa1を1とし、Ｗa2、Ｗa3、Ｗa4、及び、Ｗbを0として、設定点Ｐ－1の最終的な位置（XY座標）としてＰ－1(x,y)を算出する。
　これにより、体領域位置決定部７１は、着目フレームの患者画像において、体領域指定部５１により指定された体領域指定位置に対応する体領域設定位置が決定される。なお、図７のように体領域指定位置が領域（指定領域Ａ－１）によって指定された場合、体領域位置決定部７１は、指定領域Ａ－１の頂点であるそれぞれの指定点Ｐ－１乃至Ｐ－４に対応する着目フレームにおける設定点Ｐ－１乃至Ｐ－４の位置（XY座標）のそれぞれについて、体領域指定位置が点によって指定された場合の図８と同様に、相対位置情報に基づいて算出する。体領域位置決定部７１は、算出した設定点Ｐ－１乃至Ｐ－４の位置を頂点とする領域を体領域設定位置として決定する。
＜体領域指定位置の指定手順例＞
　図９は、体領域指定位置の指定手順の具体例を説明するフローチャートであり、図１０乃至図１５の表示部の画面例を適宜使用して、体領域指定位置の指定手順の具体例について説明する。
　図９において、ステップＳ１１では、ユーザは、表示部に表示されているカメラ１１からの患者画像に対して着目する体領域位置の指定を異常呼吸の種類から選択する異常呼吸様式モードと、自由に選択する自由選択モードとのいずれかを選択する。図１０は、異常呼吸様式モードと自由選択モードとのいずれかを選択するための選択画面である。ユーザは、図１０の選択画面において、選択するモードが表記されたボタンを選択及び決定する。ここでは、ユーザは自由選択モードを選択したこととする。この場合、図９において、処理はステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、表示部には図１１の画面が表示され、ユーザは、観察したい体領域に対応するチェックボックスにチェックを入れる。これにより、チェックボックスにチェックを入れた体領域に対応した候補領域Ａ－１が体領域指定位置の候補として表示部に表示された患者画像に重畳して表示される。候補領域Ａ－１は、図５で説明したように体領域に対して予め決められた標準的な相対位置関係に基づいて設定される。図１１では、ユーザが左肺のチェックボックスにチェックを入れた場合が例示されており、患者画像に重畳して頂点Ｐ－１乃至Ｐ－４を頂点する4角形上の候補領域Ａ－１が表示される。ユーザは、図１１の画面において候補領域Ａ－１を修正する必要がある場合には、処理はステップＳ１３に進み、修正する必要がない場合には処理はステップＳ１４に進む。
　ステップＳ１３では、ユーザは、図１１の画面に表示された候補領域Ａ－１を参考にして、体領域指定位置として１点目の位置を選択（指定）する。体領域として点を指定する場合には、その指定した位置が体領域指定位置として指定される。ユーザは、体領域として領域を指定する場合には、３点以上の位置の指定を条件として２点目以降の位置を指定する。体領域指定部５１は、ユーザにより１点のみが指定された場合は、その位置を体領域指定位置とする、ユーザにより３点以上の位置が指定された場合にはそれらの指定された位置を頂点する領域を体領域指定位置とする。候補領域Ａ－１の修正が終了すると処理はステップＳ１３からステップＳ１４に進む。図１２は、ステップＳ１３により、候補領域Ａ－１の修正がユーザにより行われた後の表示部の画面を表す。
　ステップＳ１４では、ユーザは、２つ目の体領域を追加で指定したい場合には、追加したい体領域に対応するチェックボックスに新たにチェックを入れる。図１３は、２つ目の体領域を追加で指定した場合の表示部の画面を示す。図１３の例では、ユーザが右肺のチェックボックスに新たにチェックを入れた場合が例示されており、患者画像に重畳して候補領域Ａ－２が追加で表示される。ユーザは、図１３の画面において候補領域Ａ－２を修正する必要がある場合には、ステップＳ１３と同様にして候補領域Ａ－２を修正する。ユーザは、体領域の指定を終了する場合には、画面下の終了ボタンを選択する。
　ステップＳ１１において、ユーザは、図１４の選択画面のように異常呼吸様式選択モードと表記されたボタンを選択すると、処理はステップＳ１１からステップＳ１５に進む。ステップＳ１５では、ユーザは、観察したい異常呼吸の種類に対応したチェックボックスにチェックを入れる。図１５は、異常呼吸様式選択モードが選択された場合に表示部に表示される画面を例示している。図１５の例では、異常呼吸の種類として、奇異呼吸（両肺）、奇異呼吸（胸・腹）、奇異呼吸（みぞおち・胸）、及び努力呼吸（胸鎖乳突筋・斜角筋）が選択可能となっている。奇異呼吸（両肺）は、左右の両方の肺を体領域指定位置として指定して呼吸の異常を検出する場合に選択される。奇異呼吸（胸・腹）は、胸部と腹部とを体領域指定位置として指定して呼吸の異常を検出する場合に選択される。奇異呼吸（みぞおち・胸）は、みぞおちと胸部とを体領域指定位置として指定して呼吸の異常を検出する場合に選択される。努力呼吸（胸鎖乳突筋・斜角筋）は、胸鎖乳突筋と斜角筋とを体領域指定位置として指定して呼吸の異常を検出する場合に選択される。図１５の例では、奇異呼吸（両肺）に対応するチェックボックスにチェックが入れられており、患者画像の左右の肺の位置に重畳して、候補領域Ａ－１及びＡ－２が表示されている。図１５の画面において、ユーザは、候補領域Ａ－１又はＡ－２を修正する必要がある場合には、処理は上述のステップＳ１３に進み、候補領域Ａ－１又はＡ－２を修正する。ユーザは、候補領域Ａ－１又はＡ－２を修正する必要が場合には処理はステップＳ１６に進み、図１５の画面下に表示された終了ボタンを選択する。これにより、体領域の指定が終了する。
　＜コンピュータの構成例＞
　上述した情報処理装置１２の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置を推定する推定部と、
　ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して前記推定部により推定された前記関節点との相対的な位置関係を算出する算出部と、
　前記第１フレームと異なる任意フレームの前記画像に対して前記推定部により推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置を決定する決定部と、
　前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化を検出する検出部と
　を有する情報処理システム。
（２）
　前記検出部により検出された前記対象人物の前記体領域の前記位置変化に基づいて、異常な呼吸を判定する判定部
　を更に有する
　前記（１）に記載の情報処理システム。
（３）
　前記対象人物の前記体領域は、胸部と腹部とであり、
　前記判定部は、前記胸部の前記位置変化と前記腹部の前記位置変化とに基づいて、前記異常な呼吸を判定する
　前記（２）に記載の情報処理システム。
（４）
　前記判定部は、前記推定部により推定された前記関節点の位置に基づいて検出された前記対象人物の体位に基づいて前記判定を行わない
　前記（２）又は（３）に記載の情報処理システム。
（５）
　前記判定部は、前記対象人物の前記体位が伏臥位又は側臥位の場合に前記判定を行わない
　前記（４）に記載の情報処理システム。
（６）
　前記ユーザが前記対象人物の前記体領域を指定する指定部
　を更に有し、
　前記指定部は、前記ユーザが指定した前記体領域の種類に対応する前記体領域の前記位置を自動で指定する
　前記（１）乃至（５）のいずれかに記載の情報処理システム。
（７）
　前記指定部は、指定した前記体領域の前記位置を前記ユーザに操作に基づいて修正する
　前記（６）に記載の情報処理システム。
（８）
　前記算出部は、前記相対的な位置関係として角度情報及び比率情報を算出する
　前記（１）乃至（７）のいずれかに記載の情報処理システム。
（９）
　前記算出部は、２つの前記関節点を結ぶ線分と、前記２つの前記関節点のそれぞれの位置と前記ユーザにより指定された前記体領域の位置と結ぶ線分との角度を前記角度情報として算出する
　前記（８）に記載の情報処理システム。
（１０）
　前記算出部は、前記２つの前記関節点の組み合わせであって、前記２つの前記関節点の一方が他の組み合わせと異なる複数の組み合わせのそれぞれについて前記角度を算出する
　前記（９）に記載の情報処理システム。
（１１）
　前記算出部は、前記ユーザにより指定された前記体領域の位置を通る直線が、２つの前記関節点を結ぶ第１線分と、２つの前記関節点を結ぶ前記第１線分と異なる第２線分とをそれぞれ分割する比率値を前記比率情報として算出する
　前記（８）乃至（１０）のいずれかに記載の情報処理システム。
（１２）
　前記決定部は、前記角度情報に基づいて決定される前記体領域の位置と、前記比率情報に基づいて決定される前記体領域の位置との重み付け加算和により前記体領域の位置を算出する
　前記（８）乃至（１１）のいずれかに記載の情報処理システム。
（１３）
　前記ユーザが観察する異常な呼吸の種類を指定する指定部
　を更に有し、
　前記指定部は、前記ユーザが指定した前記種類に対応する前記体領域の前記位置を自動で指定する
　前記（１）乃至（１２）のいずれかに記載の情報処理システム。
（１４）
　推定部と、算出部と、決定部と、検出部
　とを有する情報処理システムの
　前記推定部が、対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置を推定し、
　前記算出部が、ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して前記推定部により推定された前記関節点との相対的な位置関係を算出し、
　前記決定部が、前記第１フレームと異なる任意フレームの前記画像に対して前記推定部により推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置を決定し、
　前記検出部が、前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化を検出する
　情報処理方法。
（１５）
　コンピュータを
　対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置を推定する推定部と、
　ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して前記推定部により推定された前記関節点との相対的な位置関係を算出する算出部と、
　前記第１フレームと異なる任意フレームの前記画像に対して前記推定部により推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置を決定する決定部と、
　前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化を検出する検出部
　として機能させるためのプログラム。
　１　情報処理システム，　１１　カメラ，　１２　情報処理装置，　１３　院内サーバ，　３１　体領域設定部，　３２　体領域トラッキング部，　５１　体領域指定部，　５２　骨格推定部，　５３　相対位置算出部，　７１　体領域位置決定部，　７２　動き量算出部，　７３　　異常呼吸判定部

Claims (15)

  1. 　対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置を推定する推定部と、
    　ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して前記推定部により推定された前記関節点との相対的な位置関係を算出する算出部と、
    　前記第１フレームと異なる任意フレームの前記画像に対して前記推定部により推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置を決定する決定部と、
    　前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化を検出する検出部と
    　を有する情報処理システム。
  2. 　前記検出部により検出された前記対象人物の前記体領域の前記位置変化に基づいて、異常な呼吸を判定する判定部
    　を更に有する
    　請求項１に記載の情報処理システム。
  3. 　前記対象人物の前記体領域は、胸部と腹部とであり、
    　前記判定部は、前記胸部の前記位置変化と前記腹部の前記位置変化とに基づいて、前記異常な呼吸を判定する
    　請求項２に記載の情報処理システム。
  4. 　前記判定部は、前記推定部により推定された前記関節点の位置に基づいて検出された前記対象人物の体位に基づいて前記判定を行わない
    　請求項２に記載の情報処理システム。
  5. 　前記判定部は、前記対象人物の前記体位が伏臥位又は側臥位の場合に前記判定を行わない
    　請求項４に記載の情報処理システム。
  6. 　前記ユーザが前記対象人物の前記体領域を指定する指定部
    　を更に有し、
    　前記指定部は、前記ユーザが指定した前記体領域の種類に対応する前記体領域の前記位置を自動で指定する
    　請求項１に記載の情報処理システム。
  7. 　前記指定部は、指定した前記体領域の前記位置を前記ユーザに操作に基づいて修正する
    　請求項６に記載の情報処理システム。
  8. 　前記算出部は、前記相対的な位置関係として角度情報及び比率情報を算出する
    　請求項１に記載の情報処理システム。
  9. 　前記算出部は、２つの前記関節点を結ぶ線分と、前記２つの前記関節点のそれぞれの位置と前記ユーザにより指定された前記体領域の位置と結ぶ線分との角度を前記角度情報として算出する
    　請求項８に記載の情報処理システム。
  10. 　前記算出部は、前記２つの前記関節点の組み合わせであって、前記２つの前記関節点の一方が他の組み合わせと異なる複数の組み合わせのそれぞれについて前記角度を算出する
    　請求項９に記載の情報処理システム。
  11. 　前記算出部は、前記ユーザにより指定された前記体領域の位置を通る直線が、２つの前記関節点を結ぶ第１線分と、２つの前記関節点を結ぶ前記第１線分と異なる第２線分とをそれぞれ分割する比率値を前記比率情報として算出する
    　請求項８に記載の情報処理システム。
  12. 　前記決定部は、前記角度情報に基づいて決定される前記体領域の位置と、前記比率情報に基づいて決定される前記体領域の位置との重み付け加算和により前記体領域の位置を算出する
    　請求項８に記載の情報処理システム。
  13. 　前記ユーザが観察する異常な呼吸の種類を指定する指定部
    　を更に有し、
    　前記指定部は、前記ユーザが指定した前記種類に対応する前記体領域の前記位置を自動で指定する
    　請求項１に記載の情報処理システム。
  14. 　推定部と、算出部と、決定部と、検出部
    　とを有する情報処理システムの
    　前記推定部が、対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置を推定し、
    　前記算出部が、ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して前記推定部により推定された前記関節点との相対的な位置関係を算出し、
    　前記決定部が、前記第１フレームと異なる任意フレームの前記画像に対して前記推定部により推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置を決定し、
    　前記検出部が、前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化を検出する
    　情報処理方法。
  15. 　コンピュータを
    　対象人物を撮像したフレームごとの画像から前記対象人物の関節点の位置を推定する推定部と、
    　ユーザにより指定された第１フレームの前記画像における前記対象人物の体領域の位置と、前記第１フレームの前記画像に対して前記推定部により推定された前記関節点との相対的な位置関係を算出する算出部と、
    　前記第１フレームと異なる任意フレームの前記画像に対して前記推定部により推定された前記関節点の位置と、前記相対的な位置関係とに基づいて、前記任意フレームの前記画像における前記対象人物の前記体領域の位置を決定する決定部と、
    　前記任意フレームの前記画像における前記対象人物の前記体領域の位置に基づいて、前記対象人物の前記体領域の3次元的な位置変化を検出する検出部
    　として機能させるためのプログラム。
PCT/JP2023/009878 2022-03-31 2023-03-14 情報処理システム、情報処理方法、及び、プログラム WO2023189551A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-058221 2022-03-31
JP2022058221 2022-03-31

Publications (1)

Publication Number Publication Date
WO2023189551A1 true WO2023189551A1 (ja) 2023-10-05

Family

ID=88201614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009878 WO2023189551A1 (ja) 2022-03-31 2023-03-14 情報処理システム、情報処理方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2023189551A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018057596A (ja) * 2016-10-05 2018-04-12 コニカミノルタ株式会社 関節位置推定装置および関節位置推定プログラム
JP2020503087A (ja) * 2016-11-17 2020-01-30 メディシ テクノロジーズ，エルエルシー 中心静脈圧計測状態のための方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018057596A (ja) * 2016-10-05 2018-04-12 コニカミノルタ株式会社 関節位置推定装置および関節位置推定プログラム
JP2020503087A (ja) * 2016-11-17 2020-01-30 メディシ テクノロジーズ，エルエルシー 中心静脈圧計測状態のための方法及び装置

Similar Documents

Publication Publication Date Title
US11069144B2 (en) Systems and methods for augmented reality body movement guidance and measurement
CN101243471B (zh) 对用户的运动进行分析的系统和方法
González-Ortega et al. A Kinect-based system for cognitive rehabilitation exercises monitoring
US9665935B2 (en) Image processing device and program
US20150320343A1 (en) Motion information processing apparatus and method
US11298050B2 (en) Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method
Gerós et al. Facegram–Objective quantitative analysis in facial reconstructive surgery
Wang et al. Real time pose recognition of covered human for diagnosis of sleep apnoea
JP7266599B2 (ja) 患者の身体運動を検知するためのデバイス、システム及び方法
WO2023189551A1 (ja) 情報処理システム、情報処理方法、及び、プログラム
JP6525181B1 (ja) 行動推定装置
WO2022074886A1 (ja) 姿勢検出装置、姿勢検出方法および寝相判定方法
JP2019185421A (ja) 対象数特定装置
KR20190125707A (ko) 사용자의 심리활동과 생체신호에 기반한 감정 추정 방법 및 그 시스템
Liu Video-based human motion capture and force estimation for comprehensive on-site ergonomic risk assessment
JP6525179B1 (ja) 行動推定装置
Alexander et al. An analysis of human motion detection systems use during elder exercise routines
JPWO2020022362A1 (ja) 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体
Murakami et al. Gaze and body capture system under VR experiences
Sayed et al. Cognitive assessment in children through motion capture and computer vision: the cross-your-body task
JP7364179B2 (ja) ロボット
WO2023188796A1 (ja) 姿勢評価装置、姿勢評価システム、姿勢評価方法、及び非一時的なコンピュータ可読媒体
EP4176809A1 (en) Device, system and method for monitoring a subject
WO2023188217A1 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
Allin et al. Assessment of Post-Stroke Functioning Using Machine Vision.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779569

Country of ref document: EP

Kind code of ref document: A1