WO2018181363A1 - 診断画像処理装置、評価支援方法及びプログラム - Google Patents

診断画像処理装置、評価支援方法及びプログラム Download PDF

Info

Publication number
WO2018181363A1
WO2018181363A1 PCT/JP2018/012515 JP2018012515W WO2018181363A1 WO 2018181363 A1 WO2018181363 A1 WO 2018181363A1 JP 2018012515 W JP2018012515 W JP 2018012515W WO 2018181363 A1 WO2018181363 A1 WO 2018181363A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
diagnostic
bone
foot
hand
Prior art date
Application number
PCT/JP2018/012515
Other languages
English (en)
French (fr)
Inventor
敬之 岡
浩 松平
田中　栄
Original Assignee
国立大学法人 東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学 filed Critical 国立大学法人 東京大学
Priority to EP18775487.4A priority Critical patent/EP3603518A4/en
Priority to US16/498,431 priority patent/US20210113170A1/en
Publication of WO2018181363A1 publication Critical patent/WO2018181363A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a diagnostic image processing apparatus, an evaluation support method, and a program.
  • Non-patent Document 1 In the diagnosis of rheumatoid arthritis, a Sharp method is widely known in which an interval between joints is evaluated in five stages using an X-ray image (Non-patent Document 1). When this method is used, the respective intervals are evaluated for each joint to be evaluated defined by Van der Heidi (VDH) or Genant.
  • VDH Van der Heidi
  • the doctor visually evaluates the size of each joint gap, and the doctor sometimes makes a difference in judgment. For this reason, a reference image is prepared, but a bone itself may be deformed in a disease such as rheumatism, and comparison with the reference image may be difficult.
  • the present invention has been made in view of the above circumstances, and provides a diagnostic image processing apparatus, an evaluation support method, and a program capable of quantitatively evaluating the size of a gap of a predetermined joint.
  • a diagnostic image processing apparatus an evaluation support method, and a program capable of quantitatively evaluating the size of a gap of a predetermined joint.
  • the present invention that solves the problems of the above-described conventional example is a diagnostic image processing apparatus that receives an input of an X-ray image of a hand or a foot, and from the received X-ray image, a left hand, a right hand, a left foot, Alternatively, the imaging range of the right foot is detected, and at least one of Van der Heidi (VDH) or Genant (Genant) of the left hand, right hand, left foot, or right foot imaged within the detected imaging range is selected.
  • VDH Van der Heidi
  • Genant Genant
  • a high-luminance portion extraction means for extracting a relatively high luminance portion of the opposing ends of a pair of bones sandwiching the joint, and the selected evaluation method
  • Diagnostic information generating means for generating information on the distance and area between the extracted high-intensity parts as diagnostic information, and output means for outputting the generated diagnostic information, for each joint used for evaluation in It is obtained by the Mukoto.
  • the diagnostic image processing apparatus 1 includes a control unit 11, a storage unit 12, an operation unit 13, a display unit 14, and an interface unit 15. It is configured.
  • the control unit 11 is a program control device such as a CPU, and operates according to a program stored in the storage unit 12.
  • the control unit 11 receives image data of an X-ray image obtained by imaging at least one of the left hand, the right hand, the left foot, or the right foot via the interface unit 15.
  • the control unit 11 detects an imaging range of any of the left hand, right hand, left foot, or right foot from the received X-ray image.
  • the control unit 11 uses an evaluation method in which at least one of Van der Heidi (VDH) and Genant is selected for the left hand, right hand, left foot, or right foot imaged within the detected imaging range.
  • VDH Van der Heidi
  • control unit 11 For each joint used for the evaluation, a portion having a relatively high luminance is extracted from the opposite ends of a pair of bones sandwiching the joint.
  • the control unit 11 generates and outputs, as diagnostic information, information on the distance and area between the extracted high-intensity parts for each joint used in the evaluation by the selected evaluation method. The processing of the control unit 11 will be described in detail later.
  • the storage unit 12 is a memory device, a disk device, or the like, and holds a program executed by the control unit 11.
  • the program may be provided by being stored in a computer-readable non-transitory recording medium and installed in the storage unit 12.
  • the storage unit 12 also operates as a work memory for the control unit 11.
  • the operation unit 13 is a mouse, a keyboard, or the like, and accepts a user's instruction operation, and outputs the content of the instruction operation to the control unit 11.
  • the display unit 14 is a display or the like, and displays and outputs information according to an instruction input from the control unit 11.
  • the interface unit 15 includes a serial interface such as a USB (Universal Serial Bus) or a network interface, receives various data from a portable medium such as a memory card, an external PC, and the like, and outputs the data to the control unit 11. .
  • a serial interface such as a USB (Universal Serial Bus) or a network interface
  • receives various data from a portable medium such as a memory card, an external PC, and the like
  • the interface unit 15 receives input of image data of an X-ray image to be processed from an external device and outputs the image data to the control unit 11.
  • the control unit 11 includes an image receiving unit 21, a preprocessing unit 22, a bone identification processing unit 23, a joint identification processing unit 24, and a joint unit specifying process.
  • the unit 25, the area calculation unit 26, the interval distance calculation unit 27, and the output unit 28 are functionally configured.
  • the image receiving unit 21 receives input of image data of an X-ray image to be processed.
  • the image data input here is, for example, X-ray photographed with both hands arranged side by side in the horizontal axis direction (X-axis direction) with the palm facing down as illustrated in FIG. Is.
  • the horizontal axis is the X axis and the vertical axis is the Y axis.
  • the pre-processing unit 22 performs contrast adjustment processing on the processing target image data, such as processing for reducing noise by a median filter and processing for clarifying a contour line by a Robert filter. Then, the image data to be processed after the contrast adjustment process is binarized with a predetermined brightness threshold (for example, 50%) (FIG. 3B).
  • a predetermined brightness threshold for example, 50%
  • the pre-processing unit 22 repeats the contraction process (a process of setting the pixel P as an insignificant pixel if there is an insignificant pixel in a pixel adjacent to a significant pixel P) N times after the significant pixel expansion process. By executing, the closing process is performed. Thereby, when a part of the significant pixel block of the binarized processing target image data includes an insignificant part, the region of the entire left hand and the entire right hand is determined with the insignificant part as a significant pixel.
  • the preprocessing unit 22 executes a process of extracting a contour line, and extracts a contour line R that surrounds the entire left hand and the entire right hand (FIG. 3C). Note that FIG. 3C shows only the contour line detected from FIG. 3B for the sake of explanation. Further, the preprocessing unit 22 further labels each of the regions surrounded by the contour line R, and recognizes the region corresponding to one of the hands as the region where the hand to be processed is imaged. Specifically, in the following example, a hand whose little finger is in the negative X-axis direction (left side in the drawing) is assumed to be the target of the following processing. Therefore, when processing the right-hand image, the following processing is executed after the processing target image data is reversed (left and right) with respect to the Y axis.
  • the preprocessing unit 22 sets the region r1 surrounded by the contour line R located on the negative side in the X-axis direction as the target of the following processing.
  • the hand to be processed here is the right hand when the flip is performed, and the left hand when the flip is not performed.
  • the pre-processing unit 22 outputs information indicating the region where the hand to be processed is imaged (information specifying the contour line R surrounding the region r1) and the processing target image data after the contrast adjustment processing.
  • the bone identification processing unit 23 accepts the input of the information output from the preprocessing unit 22 representing the region where the hand to be processed is imaged and the processing target image data after the contrast adjustment processing.
  • the bone identification processing unit 23 captures each bone in the region where the hand to be processed is imaged among the bones captured in the received image data to be processed after the contrast adjustment processing.
  • a labeling process is performed to identify which bone is imaged in each range from the result of the identification and information on the position of the identified range.
  • the bone identification processing unit 23 identifies bone as follows.
  • the bone identification processing unit 23 estimates the length in the longitudinal direction of each bone of the finger. For this estimation, the bone identification processing unit 23 first refers to information indicating the region where the hand to be processed is imaged, that is, information specifying the contour line R surrounding the region, and the inflection point of the contour line. (The top that protrudes upward in the Y-axis direction (K1 to K5 in order from the X-axis negative side in FIG. 3C) or the top that protrudes downward (in order from the X-axis negative side in FIG. 3C) K6 to K9)) are detected. A widely known method can be adopted for detecting the inflection point.
  • the top portions (K1 to K5) that protrude upward correspond to the fingertips
  • the top portions (K6 to K9) that protrude downward correspond to the crotch between the fingers.
  • the bone identification processing unit 23 extracts contour lines of each bone of the finger.
  • the bone identification processing unit 23 first obtains the center line of each bone (FIG. 4A).
  • FIG. 4A is an enlarged view of the tip of the little finger.
  • the center line is obtained as follows. That is, the bone identification processing unit 23 detects the coordinates (x 0 , y) on the processing target image data of the finger top (K1 to K5, K1 in FIG. 4A) corresponding to each finger detected previously. 0 ) is the initial position.
  • the bone identification processing unit 23 performs this process until it is determined that the luminance of the pixel at the position (x j ⁇ 1 , y j ) exceeds a predetermined luminance threshold (higher luminance). Execute repeatedly while incrementing j by “1”. Thereby, the bone identification processing unit 23 obtains the center line H of the distal phalanx of each finger.
  • the bone identification processing unit 23 has a width W and a height
  • the pixel block in the rectangle of the first j value determined that the luminance of the pixel at the position exceeds a predetermined luminance threshold value, and
  • the bone identification processing unit 23 performs affine transformation so that the center line in the pixel block is parallel to the Y axis, and performs a closing process on the image data in the pixel block after the affine transformation.
  • the bone identification processing unit 23 extracts the contour line Rf by a method such as a Sobel filter based on the image data after the closing process.
  • the upper and lower contour lines in the Y-axis direction is a part of the contour where the luminance exceeds a predetermined luminance threshold (high luminance portion G).
  • a predetermined luminance threshold high luminance portion G.
  • the bone identification processing unit 23 extracts the portion where the luminance exceeds a predetermined luminance threshold as the upper and lower contour lines in the Y-axis direction as the contour in the bone. This is based on the fact that a relatively hard part is formed and the relatively hard part is imaged as a part having a relatively high luminance.
  • the bone identification processing unit 23 further determines the center of the lower side of the contour line of the bone detected by each finger (or the X axis value of the center line detected in the pixel block on the lower side of the pixel block) as the initial position.
  • the pixel lower than the center of the bone on the proximal side of the distal phalanx is the center of the upper side, this position is the initial position, the center line is recognized, a rectangle surrounding the center line is set, and the image block in the rectangle is
  • the affine transformation is performed so that the center line is parallel to the Y axis, the closing process is performed, and the contour line is extracted.
  • the contour lines are sequentially extracted in the order of the distal phalanx ⁇ the proximal phalanx ⁇ the metacarpal bone, and the corresponding bone is specified for the image portion of each bone surrounded by the extracted contour line. Label information.
  • contour lines are sequentially extracted in the order of the distal phalanx ⁇ the middle phalanx ⁇ the proximal phalanx ⁇ the metacarpal bone, and each surrounded by the extracted contour lines.
  • information identifying the corresponding bone is labeled.
  • the joint identification processing unit 24 labels a gap area between the image portion labeled by the bone identification processing unit 23 and the image portion labeled as a bone adjacent thereto as a region where the corresponding joint portion is imaged.
  • a portion having a relatively high luminance (high luminance portion) among the opposing ends of a pair of bones sandwiching the joint is extracted as a bone contour line adjacent to the joint by the method described above. Therefore, the joint identification processing unit 24 captures images of the processing target image data, and the adjacent bones are surrounded by a relatively high brightness area (a pair of adjacent bones). A circumscribed rectangular region of the bone, which includes a relatively bright portion at the bottom of the distal bone and a relatively bright portion at the top of the proximal bone, is identified as the joint portion.
  • the joint identification processing unit 24 corresponds to which joint corresponds to the region in the processing target image data in which the identified joint portion is imaged from the information on the labeling of the bones above and below the identified joint portion. It is identified whether it is a region, and a corresponding joint name is recorded in association with each region.
  • the bone identification processing unit 23 and the joint identification processing unit 24 realize a high-luminance portion extraction unit.
  • the joint part identification processing unit 25 accepts from the user the selection of whether to use VDH or Genant as the diagnostic evaluation method.
  • the joint part specification processing unit 25 extracts an image part in a region in the corresponding processing target image data for each joint used in the selected evaluation method from the joints identified by the joint identification processing unit 24, and calculates the area. The result is output to the calculation unit 26 and the interval distance calculation unit 27.
  • the area calculation unit 26 specifies a pixel of a portion (high luminance portion) that is imaged with relatively high brightness from each of the image portions output by the joint portion specifying processing unit 25, and a portion sandwiched between the specified pixels The area (number of pixels) is obtained.
  • the area calculation unit 26 performs a closing process on the image portion output from the joint portion specifying processing unit 25, and extracts a contour line of a relatively high luminance pixel from the image portion after the closing process. .
  • the portions sandwiching the joints of a pair of bones adjacent to each other are imaged with a relatively high luminance, so here generally two contour lines are used as illustrated in FIG. 5A. M1 and M2 are extracted.
  • the area calculation unit 26 obtains a convex hull C of the pixels included in the two extracted contour lines M1 and M2.
  • the area calculation unit 26 uses the number of pixels excluding pixels (high luminance part) whose luminance is higher than a predetermined luminance threshold as a portion captured from the convex hull C at a relatively high luminance as area information. Output.
  • the area calculation unit 26 performs a process of obtaining and outputting the area information for each of the image portions output by the joint part identification processing unit 25.
  • the diagnostic image processing apparatus 1 obtains information on the area between the high-intensity parts for each joint used in the evaluation by the evaluation method selected from either VDH or Genant.
  • the interval distance calculation unit 27 specifies a pixel of a portion (high luminance portion) that is imaged with relatively high luminance from each of the image portions output by the joint portion identification processing unit 25 and is sandwiched between the identified pixels. Find the distance of the part. Specifically, similar to the area calculation unit 26, the interval distance calculation unit 27 performs a closing process on the image portion output from the joint part specifying processing unit 25, and is relatively high in the image portion after the closing process. A pair of contour lines M1, M2 of luminance pixels are extracted. Then, as illustrated in FIG. 5B, the interval distance calculation unit 27 has the center line H detected by the bone identification processing unit 23 for the proximal bone among the bones captured in the image portion. The number of pixels on the extension line that are sandwiched between the pair of contour lines M1 and M2 is counted, and the value obtained by the counting is output as the distance d between the high luminance portions.
  • the interval distance calculation unit 27 performs this process for each of the image portions output by the joint part specification processing unit 25.
  • the diagnostic image processing apparatus 1 obtains information on the distance between the high-intensity parts for each joint used for evaluation by the evaluation method selected from either VDH or Genant.
  • the output unit 28 outputs the area information and the distance information that the area calculation unit 26 and the interval distance calculation unit 27 output for each joint used for evaluation by the evaluation method selected from VDH and Genant. , Each of them is output in association with information identifying the corresponding joint. Specifically, the output unit 28 causes the display unit 14 to display information as illustrated in FIG. FIG. 6A illustrates an example in which VDH is selected, and FIG. 6B illustrates an example in which Genant is selected.
  • the output unit 28 may convert the area and distance information obtained by the area calculation unit 26 and the interval distance calculation unit 27 into square millimeters and millimeters, respectively. Such an output can be easily calculated using information on an actual length (millimeter) per pixel (accepting input separately).
  • the diagnostic image processing apparatus 1 has the configuration as in the above-described example and operates as follows. That is, the diagnostic image processing apparatus 1 according to the present embodiment receives image data of an X-ray image obtained by imaging at least one of the left hand, right hand, left foot, or right foot. Further, the diagnostic image processing apparatus 1 accepts an instruction from the user as to which of VDH or Genant is used. Furthermore, in the following example of the present embodiment, it is assumed that information on the size (height or actual length (millimeter) of width) per pixel of the image data of the X-ray image is set in advance.
  • the diagnostic image processing apparatus 1 detects the imaging range of the left hand, right hand, left foot, or right foot using the received X-ray image as processing target image data (S1).
  • the image data input here is obtained by X-ray imaging in a state where both hands are arranged side by side in the X-axis direction with the palm facing downward, and the diagnostic image processing apparatus 1
  • the hand on the negative side of the X-axis is the target of processing.
  • the diagnostic image processing apparatus 1 detects, for each of the finger joints of the hand subjected to the processing, the end of each pair of bones facing each other across the joint (S2). Here, the end portion is detected by extracting a relatively high luminance portion (high luminance portion).
  • the diagnostic image processing apparatus 1 specifies the bone containing the high-intensity part extracted here.
  • the identification of the bone is performed based on the detected position of each bone. That is, the diagnostic image processing apparatus 1 has an inflection point (a top portion that protrudes upward in the Y-axis direction (K1 to K5 in FIG. 3C)) or a top portion that protrudes downward ( 3 (c) K6 to K9)) is detected, and the coordinates (x 0 , y 0 ) on the processing target image data of the tops of the fingers (respectively K1 to K5) corresponding to the respective fingers are defined as the initial position. To do. Then, a contour line including this initial position is obtained and used as the contour line of the most distal bone (the distal phalanx) of each finger.
  • a contour line of the next bone is detected on a line segment that is parallel to the Y axis from the central coordinate in the X axis direction on the side close to the proximal bone, and each The contour of one proximal bone is detected from the distal phalanx of the finger.
  • the diagnostic image processing apparatus 1 repeats this process to detect the contour line of each bone of each finger.
  • the contour lines are sequentially extracted in the order of the distal phalanx ⁇ the proximal phalanx ⁇ the metacarpal bone, and the corresponding bone is specified for the image portion of each bone surrounded by the extracted contour line. Label information.
  • contour lines are sequentially extracted in the order of the distal phalanx ⁇ the middle phalanx ⁇ the proximal phalanx ⁇ the metacarpal bone, and each surrounded by the extracted contour lines.
  • information identifying the corresponding bone is labeled.
  • the diagnostic image processing apparatus 1 detects a high-intensity pixel block at the joint-side end of each labeled bone image portion. And the information which specifies the joint adjacent to the detected high-intensity part is judged based on the information which specifies the bone containing the said high-intensity part. For example, a joint between high brightness portions included in each of the distal phalanx and the proximal phalanx of the thumb is determined as an IP joint. Further, the joint between the high-intensity portions included in the middle phalanx and the proximal phalanx of the index finger is determined as a PIP joint. Then, the diagnostic image processing apparatus 1 stores the information specifying the extracted pixel group of the high luminance part and the information specifying the joint adjacent to the high luminance part in association with each other.
  • the diagnostic image processing apparatus 1 further includes, for each joint used for evaluation by the evaluation method selected from either VDH or Genant, between high-intensity parts at opposite ends of a pair of bones sandwiching the joint. Information on distance and area is generated as diagnostic information (S3). Then, the generated diagnostic information is converted into actual length units (square millimeters and millimeters) and output as left-hand diagnostic information as illustrated in FIG. 6 (S4).
  • the diagnostic image processing apparatus 1 detects the imaging range of the other hand or foot and repeats from the process S1. Processing may be performed. Specifically, in the present embodiment, among the images of hands or feet taken in parallel, the hand or foot on the negative side of the X axis is the target of processing, so the image of the other hand or foot is X When the images are arranged side by side on the positive axis side, the image is inverted in the X-axis direction (the Y-axis is the axis object), and the processing is repeated from step S1 again. In this case, the diagnostic information output in step S4 is diagnostic information for the right hand.
  • the recognition of the high luminance part is not limited to the above example.
  • the relationship between the processing target image data in which the area of the high luminance part is already determined and the area of the high luminance part that has been determined Machine learning may be performed using a multilayer neural network, and the region of the high-luminance portion may be recognized using the machine-learned multilayer neural network.
  • a contour line of a portion having a luminance equal to or higher than a predetermined threshold is extracted, and the relationship between the position of the extracted contour line and information for specifying a joint (information such as the first thumb joint (IP)) is expressed in multiple layers.
  • Machine learning may be performed using a neural network, and information specifying the region and joint of the high-intensity portion may be obtained using the machine-learned multilayer neural network.
  • the above-described bone identification processing unit 23 may reduce the possibility of an error in detecting the contour line in consideration of the length of the finger when detecting the contour line of the bone. Specifically, the bone identification processing unit 23 in this example calculates the distance between the detected fingertip and the crotch of the finger, and obtains information on the length of the longest finger. Here, the bone identification processing unit 23 generates virtual line segments L1, L2, and L3 that are adjacent to each other and that respectively connect the top portions K6 and K7 that protrude downward, K7 and K8, and K8 and K9.
  • the shortest distance Z1 from the top K2 to the line segment L1 is used as the longest finger length information.
  • the bone identification processing unit 23 uses the information on the length of the longest finger to estimate the length of each bone of the finger in the longitudinal direction. That is, the bone identification processing unit 23 refers to information on the ratio of the length of each bone in the longitudinal direction to the length of the longest finger of a general human stored in advance in the storage unit 12. This information includes, for example, the ratio of the length of the distal phalanx, proximal phalanx and metacarpal to the length of the longest finger, the index finger and the middle finger for the length of the longest finger, as illustrated in FIG. Information on the ratio of the length of the distal phalanx, middle phalanx, proximal phalanx, and metacarpal bone of the ring finger and little finger.
  • the bone identification processing unit 23 When the bone identification processing unit 23 extracts the contour lines of the upper and lower bones in the Y-axis direction, the bone identification processing unit 23 obtains the length of the bone in the vertical direction, and the length is calculated in the longitudinal direction of the estimated corresponding bone. If it is not within a range of a predetermined ratio to the length (for example, a range including “1.0 (when matching)” such as between 0.8 and 1.2), the contrast is averaged, etc. After performing the process of adjusting the contrast, the process of extracting the contour line of the bone may be repeated again.
  • a predetermined ratio to the length for example, a range including “1.0 (when matching)” such as between 0.8 and 1.2
  • the contour line for each bone generated by the bone identification processing unit 23 may be correctable by the user.
  • the diagnostic image processing apparatus 1 obtains a bone contour line and then fits the contour line with a spline curve (for example, a cubic B spline curve). Since this fitting method is widely known, a detailed description thereof is omitted here.
  • the diagnostic image processing apparatus 1 draws the contour lines of the bones fitted with the spline curve so as to be superimposed on the corresponding positions of the processing target image data, displays them on the display unit 14, and moves the positions of the control points of the spline curves.
  • An operation is received from the user via the operation unit 13, a spline curve based on the moved control point is generated, and the drawing content is updated. Thereby, the user can manually correct the contour line of the corresponding bone while visually recognizing the actual X-ray image data.
  • the diagnostic image processing apparatus 1 receives the input of information for identifying a person to be diagnosed (information such as a name for identifying a person imaged in the X-ray image data) and generates the generated diagnostic information.
  • the input information specifying the person to be diagnosed may be recorded in a database (not shown) in association with the imaging date and time of the X-ray image data (accepting input separately).
  • the diagnostic image processing apparatus 1 uses the statistical information, graph information, and extrapolation representing the transition of diagnostic information based on X-ray image data captured at a plurality of different time points (imaging dates and times) for the same diagnosis subject.
  • a calculation result (diagnosis information predicted at a future time point) or the like may be generated and displayed. This information makes it easier for doctors and the like to grasp not only the deformed state of the bone but also the time lapse thereof, that is, the progress or improvement of the deformation, and supports the evaluation of the progress or improvement of the bone deformation.
  • information for identifying the person to be diagnosed that has been input with information on the contour of each bone (for example, information for identifying the B-spline curve fitted to the contour of the bone), and the X-ray image data It may be recorded in the database in association with the imaging date and time.
  • the diagnosis information (contour line information, etc.) obtained at a plurality of different time points (imaging date and time) for the same person to be diagnosed
  • the contour lines of each bone can be obtained over time. It is possible to examine how it has changed, and to analyze bone erosion (Erosion). That is, it becomes easy to grasp the progress and improvement of the deformation, and the evaluation related to the progress or improvement of the bone deformation is supported.
  • the contour of each bone is estimated by machine learning using a multilayer neural network, and the user adjusts the position of the contour as appropriate based on the estimation result. Then, information on the area and the distance of the gap may be generated.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physiology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

手または足のＸ線画像の入力を受け入れ、当該Ｘ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内の、少なくとも、ファン・デル・ハイジまたはゲナンのいずれか選択された評価方法での評価に用いられる各関節について、当該関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する。そして選択された評価方法での評価に用いられる関節ごとに、抽出した高輝度部間の距離及び面積の情報を、診断情報として生成して出力する診断画像処理装置である。

Description

診断画像処理装置、評価支援方法及びプログラム
　本発明は、診断画像処理装置、評価支援方法及びプログラムに関する。
　関節リウマチの診断においては、Ｘ線画像を用いて、関節間の間隔を５段階で評価する、シャープ（Sharp）の方法が広く知られている（非特許文献１）。この方法を用いるときには、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）によって定められた評価対象となる関節ごとに、それぞれの間隔を評価することとなる。
　しかしながら、上記従来の方法においては、医師が目視により各関節の間隙の大きさを評価しており、医師によって判断に相違が生じる場合があった。このため、基準となる画像が用意されているが、リウマチ等の疾病では骨自体が変形することがあり、基準となる画像との比較が困難である場合もある。
　本発明は上記実情に鑑みて為されたもので、所定の関節の間隙の大きさを定量的に評価することを可能とする診断画像処理装置、評価支援方法及びプログラムを提供することを、その目的の一つとする。
　上記従来例の問題点を解決する本発明は、診断画像処理装置であって、手または足のＸ線画像の入力を受け入れる受入手段と、前記受け入れたＸ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる各関節について、当該関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する高輝度部抽出手段と、前記選択された評価方法での評価に用いられる関節ごとに、前記抽出した高輝度部間の距離及び面積の情報を、診断情報として生成する診断情報生成手段と、前記生成した診断情報を出力する出力手段と、を含むこととしたものである。
　これにより、所定の関節の間隙の大きさを定量的に評価可能となる。
本発明の実施の形態に係る診断画像処理装置の例を表す構成ブロック図である。 本発明の実施の形態に係る診断画像処理装置の例に係る機能ブロック図である。 本発明の実施の形態に係る診断画像処理装置による前処理の例を表す説明図である。 本発明の実施の形態に係る診断画像処理装置の処理例を表す説明図である。 本発明の実施の形態に係る診断画像処理装置の診断情報の生成処理例を表す説明図である。 本発明の実施の形態に係る診断画像処理装置の診断情報の出力例を表す説明図である。 本発明の実施の形態に係る診断画像処理装置の処理の流れを表すフローチャート図である。 本発明の実施の形態に係る診断画像処理装置において用いられる情報の例を表す説明図である。
　本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る診断画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、インタフェース部１５とを含んで構成されている。
　制御部１１は、ＣＰＵなどのプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、左手、右手、左足、または右足の少なくとも一つを撮像したＸ線画像の画像データを、インタフェース部１５を介して受け入れる。制御部１１は、当該受け入れたＸ線画像から、左手、右手、左足、または右足のいずれかの撮像範囲を検出する。そして制御部１１は、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる各関節について、当該関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する。制御部１１は、選択された評価方法での評価に用いられる関節ごとに、抽出した高輝度部間の距離及び面積の情報を、診断情報として生成して出力する。この制御部１１の処理については、後に詳しく述べる。
　記憶部１２は、メモリデバイスやディスクデバイス等であり、制御部１１により実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２にインストールされたものであってもよい。また、この記憶部１２は、制御部１１のワークメモリとしても動作する。
　操作部１３は、マウスやキーボード等であり、利用者の指示操作を受け入れて、当該指示操作の内容を制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って、情報を表示出力する。
　インタフェース部１５は、ＵＳＢ（Universal Serial Bus）等のシリアルインタフェースや、ネットワークインタフェースを含み、メモリカード等の可搬型のメディアや、外部のＰＣ等から種々のデータを受信して制御部１１に出力する。本実施の形態の一例では、このインタフェース部１５は、外部の機器から処理の対象となるＸ線画像の画像データの入力を受けて、制御部１１に出力する。
　次に、この制御部１１の動作について説明する。本実施の形態の一例において制御部１１は、図２に例示するように、画像受入部２１と、前処理部２２と、骨識別処理部２３と、関節識別処理部２４と、関節部特定処理部２５と、面積演算部２６と、間隔距離演算部２７と、出力部２８とを含んで機能的に構成される。
　画像受入部２１は、処理の対象となるＸ線画像の画像データの入力を受け入れる。ここで入力される画像データは、例えば、図３（ａ）に例示するように、両手を、手のひらを下向きにして横軸方向（Ｘ軸方向とする）に並べて配した状態でＸ線撮影したものである。なお、図３において、横軸をＸ軸、縦軸をＹ軸とする。
　前処理部２２は、処理対象画像データに対して、メディアンフィルタによってノイズを軽減する処理、ロバートフィルタによって輪郭線を明確化する処理等、コントラストの調整処理を施す。そしてこのコントラスト調整処理後の処理対象画像データを所定の明度閾値（例えば５０％）で二値化する（図３（ｂ））。
　前処理部２２は、さらに、二値化した処理対象画像データについて、有意画素（ここでは輝度の高い画素）を膨張（ある有意でない画素Ｐに隣接する画素に有意画素があれば、当該画素Ｐを有意画素に設定する処理）する処理をＮ回（例えばＮ＝３とする）繰り返し実行する。前処理部２２は、有意画素の膨張処理についで、収縮処理（ある有意画素Ｐに隣接する画素に、有意でない画素があれば、当該画素Ｐを有意でない画素に設定する処理）をＮ回繰り返し実行することで、クロージング処理を行う。これにより、二値化した処理対象画像データの有意な画素塊に一部有意でない部分が含まれるときに、当該有意でない部分を有意画素として左手全体及び右手全体の領域を確定する。
　前処理部２２は、次に、輪郭線を抽出する処理を実行し、左手全体及び右手全体のそれぞれを取り囲む輪郭線Ｒを抽出する（図３（ｃ））。なお、図３（ｃ）は、説明のため、図３（ｂ）から検出した輪郭線のみを示している。そして前処理部２２はさらに、輪郭線Ｒで囲まれた領域をそれぞれラベリングし、いずれかの手に対応する領域を処理対象とする手が撮像された領域として認識する。具体的に以下の例では、小指がＸ軸負の方向（図面上で左側）にある手を以下の処理の対象とするものとする。従って、右手の画像を処理する場合は、ここで処理対象画像データをＹ軸に対して対象に（左右に）反転してから以下の処理を実行する。
　すなわち前処理部２２は、Ｘ軸方向負の側に位置する輪郭線Ｒで囲まれた領域ｒ１を、以下の処理の対象とする。ここで処理の対象とされる手は、反転が行われたときには右手であり、反転がされていなければ左手となる。前処理部２２は、処理対象とする手が撮像された領域を表す情報（領域ｒ１を取り囲む輪郭線Ｒを特定する情報）と、コントラスト調整処理後の処理対象画像データとを出力する。
　骨識別処理部２３は、前処理部２２が出力する、処理対象とする手が撮像された領域を表す情報と、コントラスト調整処理後の処理対象画像データとの入力を受け入れる。骨識別処理部２３は、当該受け入れた、コントラスト調整処理後の処理対象画像データに撮像されている骨のうち、処理対象とする手が撮像された領域内にある各骨の撮像されている範囲を識別し、当該識別の結果と、識別された範囲の位置の情報とから、各範囲に撮像されている骨が、どの骨であるかを特定するラベリング処理を行う。
　具体的に、この骨識別処理部２３は、次のようにして骨を識別する。骨識別処理部２３は、指の各骨の長手方向の長さを推定する。この推定のため、骨識別処理部２３は、まず、処理対象とする手が撮像された領域を表す情報、つまり領域を取り囲む輪郭線Ｒを特定する情報を参照して、輪郭線の変曲点（Ｙ軸方向の上に凸となる頂部（図３（ｃ）のＸ軸負の側から順にＫ１からＫ５）または下に凸となる頂部（図３（ｃ）のＸ軸負の側から順にＫ６からＫ９））を検出する。この変曲点の検出は、広く知られた方法を採用できる。ここで上に凸となる頂部（Ｋ１からＫ５）が指先、下に凸となる頂部（Ｋ６からＫ９）が指と指の間の股に相当する。
　次に骨識別処理部２３は、指の各骨の輪郭線を抽出する。骨識別処理部２３は、例えばまず各骨の中心線を求める（図４（ａ））。図４（ａ）は小指の先端部を拡大したものである。この中心線は例えば次のように求められる。すなわち骨識別処理部２３は、先に検出した、各指に対応する指の頂部（Ｋ１からＫ５のいずれか、図４（ａ）ではＫ１）の処理対象画像データ上の座標（ｘ0，ｙ0）を初期位置とする。そして骨識別処理部２３は、この初期位置から手の近位方向（Ｙ軸の値が減少する方向）へ１画素ずつ移動し、Ｘ軸に平行な線分ｙj＝ｙj-1－１（ｊ＝１，２，…）の線分上で、Ｘ＝ｘj-1を中心とした所定の幅Ｗの範囲内にある骨の左右両側の輪郭線上の点（隣接画素との輝度の差の絶対値が予め定めたしきい値以上となる点）のＸ座標の値（ｘjＬ，ｘjＲ）を求める。
　骨識別処理部２３は、ここで求めた値の平均値（重心）のＸ座標の値ｘjｗ＝（ｘjＬ＋ｘjＲ）／２を得て、
ｘj-1＜ｘjwであればｘj＝ｘj-1＋１、
ｘj-1＝ｘjwであればｘj＝ｘj-1、
ｘj-1＞ｘjwであればｘj＝ｘj-1－１、
として、ｘjを求める。
　骨識別処理部２３は、この処理を、（ｘj-1，ｙj）の位置にある画素の輝度が予め定めた輝度しきい値を超える（より高い輝度である）と判断されるまで、ｊを「１」ずつインクリメントしつつ繰り返し実行する。骨識別処理部２３は、これにより、各指の末節骨の中心線Ｈを求める。
　骨識別処理部２３は、初期位置とした座標（ｘ0，ｙ0）を上辺中央として、幅Ｗ、高さ｜ｙ0－ｙJ｜（ただしＪは、（ｘj-1，ｙj）の位置にある画素の輝度が予め定めた輝度しきい値を超えると判断された最初のｊの値であり、｜ａ｜はａの絶対値を意味する）の矩形内の画素ブロックを取り出す。骨識別処理部２３は、この画素ブロック内にある中心線がＹ軸に平行となるようにアフィン変換し、アフィン変換後の画素ブロック内の画像データについてクロージング処理を実行する。さらに骨識別処理部２３は、クロージング処理後の画像データに基づき、ソーベルフィルタ等の方法で輪郭線Ｒｆを抽出する。なお、Ｙ軸方向の上下の輪郭線（末節骨についてはＹ軸方向の下側の輪郭線）は、輝度が所定の輝度しきい値を超えている部分（高輝度部Ｇ）を輪郭の一部として抽出する（図４（ｂ））。これにより骨識別処理部２３は、各指の末節骨の輪郭を抽出できる。
　なお、骨識別処理部２３がＹ軸方向の上下の輪郭線として、輝度が所定の輝度しきい値を超えている部分を輪郭として抽出しているのは、骨においては、関節を挟む位置に比較的硬い部分が形成されており、当該比較的硬い部分が、比較的輝度の高い部分として撮像されることに基づくものである。
　骨識別処理部２３はさらに、各指で検出した骨の輪郭線の下辺の中心（あるいは画素ブロックの下辺上であって、画素ブロック内で検出した中心線のＸ軸の値）を、初期位置候補とし、この初期位置候補からＹ軸に平行に下方に移動した位置にある画素であって、所定の輝度しきい値を超え、かつ、そのＹ軸方向直上の画素の輝度が所定の輝度値を下回っている画素を、末節骨よりも近位側の骨の上辺中央として、この位置を初期位置として、中心線を認識し、中心線を取り囲む矩形を設定し、当該矩形内の画像ブロックを、中心線がＹ軸に平行となるようにアフィン変換して、クロージング処理し、輪郭線を抽出する、というように処理を続ける。
　これにより、親指については末節骨→基節骨→中手骨というように順次輪郭線を抽出して、当該抽出した輪郭線で囲まれる、それぞれの骨の画像部分について、対応する骨を特定する情報をラベリングする。また、人差し指、中指、薬指、小指のそれぞれについても、末節骨→中節骨→基節骨→中手骨というように順次、輪郭線を抽出し、当該抽出した輪郭線で囲まれる、それぞれの骨の画像部分について、対応する骨を特定する情報をラベリングする。
　関節識別処理部２４は、骨識別処理部２３がラベリングした画像部分と、それに隣接する骨としてラベリングされた画像部分との間隙の領域を、対応する関節部分が撮像された領域としてラベリングする。
　本実施の形態では、既に述べた方法により、関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分（高輝度部）が関節に隣接する骨の輪郭線として抽出されているので、この関節識別処理部２４により、処理対象画像データ内に撮像されている、互いに隣接する骨の、比較的輝度の高い部分でその上下が囲まれている領域（互いに隣接する一対の骨の、遠位側の骨の下部の比較的輝度の高い部分と、近位側の骨の上部の比較的輝度の高い部分とを含む外接矩形の領域）が関節部分として識別される。また関節識別処理部２４は、当該識別された関節部分の上下にある骨のラベリングの情報から、当該識別された関節部分が撮像されている、処理対象画像データ内の領域がどの関節に対応する領域であるかを識別し、各領域に、対応する関節名を関連付けて記録する。
　すなわち本実施の形態のここでの例では、骨識別処理部２３及び関節識別処理部２４により、高輝度部抽出手段が実現される。
　関節部特定処理部２５は、診断の評価方法として、ＶＤＨまたはGenantのどちらを用いるかの選択を、利用者から受け入れる。関節部特定処理部２５は、関節識別処理部２４が識別した関節のうち、選択された評価方法で用いる関節ごとに、対応する処理対象画像データ中の領域内の画像部分を抽出して、面積演算部２６と、間隔距離演算部２７とに出力する。
　面積演算部２６は、関節部特定処理部２５が出力する画像部分のそれぞれから、比較的高い輝度で撮像されている部分（高輝度部）の画素を特定し、当該特定した画素に挟まれる部分の面積（画素数）を求める。一例として、この面積演算部２６は、関節部特定処理部２５が出力する画像部分に対してクロージング処理を行い、クロージング処理後の画像部分のうち、比較的高い輝度の画素の輪郭線を抽出する。既に述べたように、互いに隣接する一対の骨の、それぞれ関節を挟む部分が、比較的高い輝度で撮像されるので、ここでは図５（ａ）に例示するように一般的に２つの輪郭線Ｍ１，Ｍ２が抽出される。面積演算部２６は、抽出した２つの輪郭線Ｍ１，Ｍ２に含まれる画素の凸包（convex hull）Ｃを得る。面積演算部２６はこの凸包Ｃから、比較的高い輝度で撮像されている部分として、輝度が所定の輝度しきい値より高い画素（高輝度部）を除く画素の数を、面積の情報として出力する。
　面積演算部２６は、この面積の情報を得て出力する処理を、関節部特定処理部２５が出力する画像部分のそれぞれについて行う。これにより本実施形態の診断画像処理装置１は、ＶＤＨまたはGenantのいずれか選択された評価方法での評価に用いられる各関節について、高輝度部間の面積の情報を得る。
　間隔距離演算部２７は、関節部特定処理部２５が出力する画像部分のそれぞれから、比較的高い輝度で撮像されている部分（高輝度部）の画素を特定し、当該特定した画素に挟まれる部分の距離を求める。具体的にこの間隔距離演算部２７は、面積演算部２６と同様に、関節部特定処理部２５が出力する画像部分に対してクロージング処理を行い、クロージング処理後の画像部分のうち、比較的高い輝度の画素の一対の輪郭線Ｍ１，Ｍ２を抽出する。そして間隔距離演算部２７は、図５（ｂ）に例示するように、当該画像部分に撮像されている骨のうち、近位側の骨について、骨識別処理部２３が検出した中心線Ｈの延長線上の画素であって、上記一対の輪郭線Ｍ１，Ｍ２に挟まれる部分の画素の数をカウントし、当該カウントして得た値を高輝度部間の距離ｄとして出力する。
　間隔距離演算部２７は、この処理を、関節部特定処理部２５が出力する画像部分のそれぞれについて行う。これにより本実施形態の診断画像処理装置１は、ＶＤＨまたはGenantのいずれか選択された評価方法での評価に用いられる各関節について、高輝度部間の距離の情報を得る。
　出力部２８は、面積演算部２６と、間隔距離演算部２７が、ＶＤＨまたはGenantのいずれか選択された評価方法での評価に用いられる関節ごとに出力する面積の情報と、距離の情報とを、それぞれ対応する関節を特定する情報に関連付けて出力する。具体的に、この出力部２８は、表示部１４に対して図６に例示するような情報の表示を行わせる。図６（ａ）はＶＤＨが選択された例、図６（ｂ）はGenantが選択された場合の例を示す。また、この出力部２８は、面積演算部２６や間隔距離演算部２７が得た面積や距離の情報を、それぞれ平方ミリメートル及びミリメートル単位に変換してから出力してもよい。このような出力は、１画素あたりの実際の長さ（ミリメートル）の情報（別途入力を受け入れておく）を用いて容易に演算できる。
［動作］
　本実施の形態の診断画像処理装置１は上述の例のような構成を備え、次のように動作する。すなわち、本実施の形態の診断画像処理装置１は、左手、右手、左足、または右足の少なくとも一つを撮像したＸ線画像の画像データを受け入れる。また診断画像処理装置１は、利用者からＶＤＨまたはGenantのどちらの評価方法を利用するかの指示を受け入れる。さらに本実施の形態の以下の例では、Ｘ線画像の画像データの１ピクセルあたりのサイズ（高さ、または幅の実際の長さ（ミリメートル））の情報が予め設定されているものとする。
　診断画像処理装置１は、図７に例示するように、当該受け入れたＸ線画像を処理対象画像データとして、左手、右手、左足、または右足のいずれかの撮像範囲を検出する（Ｓ１）。ここで入力される画像データは、図３（ａ）に例示したように、両手を、手のひらを下向きにしてＸ軸方向に並べて配した状態でＸ線撮影したものであり、診断画像処理装置１は、例えばＸ軸負の側にある手を処理の対象とする。
　診断画像処理装置１は、当該処理の対象となった手の指の関節のそれぞれについて、関節を挟んで対向する一対の骨のそれぞれの関節側の端部を検出する（Ｓ２）。ここでは当該端部を、輝度が比較的高い部分（高輝度部）を抽出することで検出する。
　また診断画像処理装置１は、ここで抽出した高輝度部を含む骨を特定する。骨の特定（どの指のどの骨であるかの特定）は、各骨の検出された位置に基づいて行う。すなわち診断画像処理装置１は、処理対象とする手の輪郭線の変曲点（Ｙ軸方向の上に凸となる頂部（図３（ｃ）のＫ１からＫ５）または下に凸となる頂部（図３（ｃ）のＫ６からＫ９））を検出し、当該各指に対応する指の頂部（Ｋ１からＫ５のそれぞれ）の処理対象画像データ上の座標（ｘ0，ｙ0）を初期位置とする。そしてこの初期位置を含む輪郭線を求めて、各指のもっとも遠位側の骨（末節骨）の輪郭線とする。
　また、末節骨の輪郭線のうち、近位側の骨に近い側のＸ軸方向の中心座標からＹ軸に平行に下ろした線分上で、次の骨の輪郭線を検出し、さらに各指の末節骨から一つ近位側の骨の輪郭線を検出する。診断画像処理装置１は、この処理を繰り返して、各指の各骨の輪郭線を検出する。
　これにより、親指については末節骨→基節骨→中手骨というように順次輪郭線を抽出して、当該抽出した輪郭線で囲まれる、それぞれの骨の画像部分について、対応する骨を特定する情報をラベリングする。また、人差し指、中指、薬指、小指のそれぞれについても、末節骨→中節骨→基節骨→中手骨というように順次、輪郭線を抽出し、当該抽出した輪郭線で囲まれる、それぞれの骨の画像部分について、対応する骨を特定する情報をラベリングする。
　次に、診断画像処理装置１は、ラベリングされた各骨の画像部分の関節側端にある高輝度の画素塊を検出する。そして当該検出した高輝度部に隣接する関節を特定する情報を、当該高輝度部を含む骨を特定する情報に基づいて判断する。例えば、親指の末節骨と基節骨とのそれぞれに含まれる高輝度部間にある関節をＩＰ関節と判断する。また、人差し指の中節骨と基節骨とのそれぞれに含まれる高輝度部間にある関節をＰＩＰ関節と判断する。そして診断画像処理装置１は、抽出した高輝度部の画素群を特定する情報と、当該高輝度部に隣接する関節を特定する情報とを関連付けて記憶する。
　診断画像処理装置１は、さらに、ＶＤＨまたはGenantのいずれか選択された評価方法での評価に用いられる各関節について、当該関節を挟む一対の骨の、対向する端部にある高輝度部間の距離及び面積の情報を、診断情報として生成する（Ｓ３）。そして、生成した診断情報を、実際の長さの単位（平方ミリメートルとミリメートル）に変換して、図６に例示したように、左手の診断情報として出力する（Ｓ４）。
　なお、ここでは診断情報として関節部分の面積及び距離を求めることとしたが、これに代えて、またはこれとともに、さらに他の情報が含まれてもよい。
　さらに診断画像処理装置１は、処理Ｓ１で検出した撮像範囲外に撮像されている他の手または足がある場合は、当該他の手または足の撮像範囲を検出して、処理Ｓ１から繰り返して処理を行ってもよい。具体的に本実施の形態では、並列して撮像された手または足の画像のうち、Ｘ軸負の側にある手または足を処理の対象とするので、他方の手または足の画像がＸ軸正の側に並んで撮像されているときには、Ｘ軸方向に（Ｙ軸に軸対象に）反転して、再度、処理Ｓ１から繰り返して処理を行う。この場合は、処理Ｓ４で出力する診断情報は右手の診断情報となる。
　なお、上記高輝度部の認識は、上述の例に限られず、例えば既に高輝度部の領域が確定されている処理対象画像データと、当該確定されている高輝度部の領域との関係を、多層ニューラルネットワークを用いて機械学習しておき、この機械学習した多層ニューラルネットワークを用いて高輝度部の領域を認識してもよい。
　また、所定閾値以上の輝度となっている部分の輪郭線を抽出し、抽出した輪郭線の位置と、関節を特定する情報（親指第一関節（ＩＰ）などといった情報）との関係を、多層ニューラルネットワークを用いて機械学習しておき、この機械学習した多層ニューラルネットワークを用いて高輝度部の領域と関節を特定する情報とを得てもよい。
［骨の輪郭線検出の変形例］
　また、上述の骨識別処理部２３では、骨の輪郭線の検出にあたり、指の長さを考慮して、輪郭線検出の誤りの可能性を低減してもよい。具体的にこの例の骨識別処理部２３は、検出した指先と指の股との間の距離を算出して、最長の指の長さの情報を得る。ここで骨識別処理部２３は、互いに隣接する、下に凸となる頂部Ｋ６とＫ７、Ｋ７とＫ８、及びＫ８とＫ９のそれぞれを結ぶ仮想的な線分Ｌ１，Ｌ２，Ｌ３を生成する。次に、上に凸となる頂部Ｋ１からＫ５のうち、頂部Ｋ２から線分Ｌ１までの最短距離Ｚ１、頂部Ｋ３から線分Ｌ２までの最短距離Ｚ２、頂部Ｋ４から線分Ｌ３までの最短距離Ｚ３を求め、これらのうち最長のもの（通常は中指のため、頂部Ｋ３から線分Ｌ２までの最短距離Ｚ２が最長となる）を、最長の指の長さの情報とする。
　骨識別処理部２３は、この最長の指の長さの情報を用いて指の各骨の長手方向の長さを推定する。すなわち、骨識別処理部２３は、記憶部１２に予め格納した、一般的な人間の、最長の指の長さに対する各骨の長手方向の長さの比の情報を参照する。この情報は、例えば、図８に例示するように、最長の指の長さに対する、親指の末節骨，基節骨，中手骨の長さの比、最長の指の長さに対する人差し指、中指、薬指、小指のそれぞれの末節骨、中節骨、基節骨、中手骨の長さの比の情報を含む。
　骨識別処理部２３は、Ｙ軸方向の上下の骨の輪郭線を抽出したときに、当該骨の上下方向の長さを求め、当該長さが、上記推定された対応する骨の長手方向の長さに対して所定の比の範囲（例えば０．８から１．２の間、など「１．０（一致する場合）」を含む範囲）にない場合には、コントラストを平均化する等、コントラストを調整する処理を行ってから、再度、当該骨の輪郭線を抽出する処理を繰り返すこととしてもよい。
［輪郭線の修正］
　また、骨識別処理部２３が生成した骨ごとの輪郭線は、利用者が修正可能となっていてもよい。一例として、本実施の形態の診断画像処理装置１は、骨の輪郭線を得た後、当該輪郭線をスプライン曲線（例えば３次Ｂスプライン曲線）でフィッティングする。このフィッティングの方法は広く知られているので、ここでの詳しい説明を省略する。
　そして診断画像処理装置１は、スプライン曲線でフィッティングした各骨の輪郭線を、処理対象画像データの対応する位置に重ねて描画して表示部１４に表示し、スプライン曲線の制御点の位置の移動操作を、利用者から操作部１３を介して受けて、移動後の制御点に基づくスプライン曲線を生成して描画内容を更新する。これにより利用者は、実際のＸ線画像データを視認しつつ、対応する骨の輪郭線を手動で修正できる。
［記録］
　また本実施の形態の診断画像処理装置１は、診断対象者を特定する情報（Ｘ線画像データに撮像されている人物を特定する氏名などの情報）の入力を受けて、生成した診断情報を、この入力された診断対象者を特定する情報と、Ｘ線画像データの撮像日時（別途入力を受け入れておく）とに関連付けて、図示しないデータベースに記録してもよい。
　この例では、診断画像処理装置１は、同じ診断対象者について、互いに異なる複数の時点（撮像日時）で撮像されたＸ線画像データに基づく診断情報の推移を表す統計情報やグラフ情報、外挿演算の結果（将来の時点で予測される診断情報）等を生成して表示してもよい。この情報により、医師等が骨の変形状態だけでなく、その時間経過、すなわち変形の進行や改善の状況を把握しやすくなり、骨の変形の進行または改善に係る評価が支援される。
　さらにこのとき、診断情報とともに、各骨の輪郭線の情報（例えば骨の輪郭線にフィッティングしたＢスプライン曲線を特定する情報）を入力された診断対象者を特定する情報と、Ｘ線画像データの撮像日時とに関連付けてデータベースに記録してもよい。
　このようにしておくと、同じ診断対象者について、互いに異なる複数の時点（撮影日時）で得られた診断情報（輪郭線の情報等）を比較することで、時間経過ともに各骨の輪郭線がどのように変化したかを調べることが可能となり、骨の侵食（Erosion）の分析が可能となる。すなわち変形の進行や改善の状況を把握しやすくなり、骨の変形の進行または改善に係る評価が支援される。
［手首の骨］
　ここまでの説明では、指の骨の間の関節部分について面積等の診断情報を生成する例について述べたが、ＶＤＨやGenant等の評価方法では、手首の骨の間の間隙についても面積や距離の情報を生成しておくことが好ましい。
　この場合、手首部分の骨の形状は個人差が比較的大きいため、多層ニューラルネットワークによる機械学習によって、各骨の輪郭線を推定し、推定結果に基づいて利用者が適宜輪郭線の位置を調整して面積や間隙の距離の情報を生成することとしてもよい。
［実施形態の効果］
　本実施の形態によると、Ｘ線画像データに基づき、手や足の各骨の輪郭線近傍において、関節を挟んで対向する、骨の比較的硬い部分が高輝度部として識別され、当該高輝度部の間の面積や距離の情報が演算されて表示される。これにより、目視により間隙の状態を判定する場合に比べ、面積や距離といった数値情報が得られ、関節の間隙の大きさが定量的に評価可能となる。
　１　診断画像処理装置、１１　制御部、１２　記憶部、１３　操作部、１４　表示部、１５　インタフェース部、２１　画像受入部、２２　前処理部、２３　骨識別処理部、２４　関節識別処理部、２５　関節部特定処理部、２６　面積演算部、２７　間隔距離演算部、２８　出力部。
 

Claims (6)

  1. 　手または足のＸ線画像の入力を受け入れる受入手段と、
    　前記受け入れたＸ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる各関節について、当該関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する高輝度部抽出手段と、
    　前記選択された評価方法での評価に用いられる関節ごとに、前記抽出した高輝度部間の距離及び面積の情報を、診断情報として生成する診断情報生成手段と、
    　前記生成した診断情報を出力する出力手段と、
    　を含む、診断画像処理装置。
  2. 　請求項１に記載の診断画像処理装置であって、
    　前記受け入れたＸ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された、各骨の輪郭線を設定する輪郭線設定手段を有し、
    　前記高輝度部抽出手段は、前記設定された輪郭線を用いて、抽出した高輝度部を含む骨を特定するとともに、当該高輝度部に隣接する関節を特定する情報を、抽出した高輝度部の情報とともに出力し、
    　前記診断情報生成手段は、前記選択された評価方法での評価に用いられる関節ごとに、前記抽出された、前記隣接する関節が特定されている高輝度部間の距離及び面積の情報を、診断情報として生成し、当該生成した診断情報に係る関節を特定する情報に関連付けて出力する、診断画像処理装置。
  3. 　請求項２に記載の診断画像処理装置であって、
    　前記輪郭線設定手段は、前記検出した撮像範囲内に撮像された各指のうち、最長の指について長さを推定し、当該推定した指の長さに対し、予め定められた比率で、前記検出した撮像範囲内に撮像された各骨の長さを推定し、当該推定された長さを用いて、各骨の輪郭線を設定する診断画像処理装置。
  4. 　請求項１から３のいずれか一項に記載の診断画像処理装置であって、
    　前記受け入れたＸ線画像に撮像されている、診断対象者を特定する情報と、当該Ｘ線画像の撮像日時の情報との入力をさらに受け入れて、
    　前記診断情報を、前記受け入れた診断対象者を特定する情報と撮像日時の情報とに関連付けて記録する手段をさらに含み、
    　診断対象者ごとの、互いに異なる撮像日時のＸ線画像に基づく診断情報の記録を出力する診断画像処理装置。
  5. 　コンピュータを用いて、
    　手または足のＸ線画像と、当該Ｘ線画像に撮像されている診断対象者を特定する情報と、当該Ｘ線画像の撮像日時の情報とを入力し、当該Ｘ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する工程と、
    　前記抽出した高輝度部間の距離及び面積の情報を、診断情報として生成する工程と、
    　前記生成した診断情報を、前記受け入れた診断対象者を特定する情報と撮像日時の情報とに関連付けて記録する工程と、
    　診断対象者ごとの、互いに異なる撮像日時のＸ線画像に基づく診断情報の記録を出力する工程と、
    　を含む、骨変形の進行又は改善の評価支援方法。
  6. 　コンピュータを、
    　手または足のＸ線画像の入力を受け入れる受入手段と、
    　前記受け入れたＸ線画像から、左手、右手、左足、または右足の撮像範囲を検出し、当該検出した撮像範囲内に撮像された左手、右手、左足、または右足の、少なくとも、ファン・デル・ハイジ（ＶＤＨ）またはゲナン（Genant）のいずれか選択された評価方法での評価に用いられる関節を挟む一対の骨の、対向する端部のうち、輝度が比較的高い部分を抽出する高輝度部抽出手段と、
    　前記抽出した高輝度部間の距離及び面積の情報を、診断情報として生成する診断情報生成手段と、
    　前記生成した診断情報を出力する手段と、
    　として機能させるプログラム。

     
PCT/JP2018/012515 2017-03-27 2018-03-27 診断画像処理装置、評価支援方法及びプログラム WO2018181363A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18775487.4A EP3603518A4 (en) 2017-03-27 2018-03-27 DIAGNOSTIC IMAGE PROCESSING DEVICE, ASSESSMENT SUPPORT METHOD AND PROGRAM
US16/498,431 US20210113170A1 (en) 2017-03-27 2018-03-27 Diagnostic image processing apparatus, assessment assistance method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017061433A JP6858047B2 (ja) 2017-03-27 2017-03-27 診断画像処理装置、評価支援方法及びプログラム
JP2017-061433 2017-03-27

Publications (1)

Publication Number Publication Date
WO2018181363A1 true WO2018181363A1 (ja) 2018-10-04

Family

ID=63676391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012515 WO2018181363A1 (ja) 2017-03-27 2018-03-27 診断画像処理装置、評価支援方法及びプログラム

Country Status (4)

Country Link
US (1) US20210113170A1 (ja)
EP (1) EP3603518A4 (ja)
JP (1) JP6858047B2 (ja)
WO (1) WO2018181363A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020151270A (ja) * 2019-03-20 2020-09-24 学校法人慶應義塾 関節状態値取得装置、関節状態学習装置、関節位置特定装置、関節位置学習装置、関節状態値取得方法、関節状態学習方法、関節位置特定方法、関節位置学習方法及びプログラム
JP7242041B2 (ja) * 2019-04-05 2023-03-20 国立大学法人北海道大学 間隙変化検出装置、間隙変化検出方法及び間隙変化検出用プログラム
JP7465469B2 (ja) 2020-05-15 2024-04-11 兵庫県公立大学法人 学習装置、推定装置、学習プログラム、及び推定プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004057804A (ja) * 2002-06-05 2004-02-26 Fuji Photo Film Co Ltd 骨関節評価方法、装置およびそのためのプログラム
JP2008093229A (ja) * 2006-10-13 2008-04-24 Univ Of Tokyo 膝関節診断支援方法及び装置並びにプログラム
JP2010515557A (ja) * 2007-01-16 2010-05-13 オプタジア メディカル リミテッド 画像処理システム、及び方法。

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055226B1 (ko) * 2009-05-22 2011-08-08 경희대학교 산학협력단 류마티스 관절염 진단 장치 및 그 방법
JP6291812B2 (ja) * 2013-11-29 2018-03-14 コニカミノルタ株式会社 医療用画像撮影システム
JP6598287B2 (ja) * 2015-02-06 2019-10-30 国立大学法人 名古屋工業大学 骨間距離測定装置、骨間距離測定方法、コンピュータを骨間距離測定装置として機能させるためのプログラム及び該プログラムを記憶した記録媒体
JP6563671B2 (ja) * 2015-04-08 2019-08-21 株式会社日立製作所 骨塩量測定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004057804A (ja) * 2002-06-05 2004-02-26 Fuji Photo Film Co Ltd 骨関節評価方法、装置およびそのためのプログラム
JP2008093229A (ja) * 2006-10-13 2008-04-24 Univ Of Tokyo 膝関節診断支援方法及び装置並びにプログラム
JP2010515557A (ja) * 2007-01-16 2010-05-13 オプタジア メディカル リミテッド 画像処理システム、及び方法。

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HIRATA, SHINTARO ET AL.: "Rheumatoid Arthritis: Progress in Diagnosis and Treatment, V. Evaluation, 2. Evaluation of Joint Destruction by Plain X-ray in Rheumatoid Arthritis", THE JOURNAL OF THE JAPANESE SOCIETY OF INTERNAL MEDICINE, vol. 101, no. 10, 10 October 2012 (2012-10-10), pages 2893 - 2898, XP009516841, DOI: 10.2169/naika.101.2893 *
PETERFY, G. CHARLES ET AL.: "Comparison of the Genant- modified Sharp and van der Heijde-modified Sharp scoring methods for radiographic assessment in rheumatoid arthritis", INTENATIONAL JOURNAL OF CLINICAL RHEUMATOLOGY, vol. 6, no. 1, February 2011 (2011-02-01), pages 15 - 24, XP055550851 *
See also references of EP3603518A4 *
SHARP JT: "The progression of erosion and joint space narrowing scores in rheumatoid arthritis during the first twenty-five years of disease", ARTHRITIS RHEUM., vol. 34, no. 6, June 1991 (1991-06-01), pages 660 - 8

Also Published As

Publication number Publication date
EP3603518A1 (en) 2020-02-05
JP2018161397A (ja) 2018-10-18
JP6858047B2 (ja) 2021-04-14
US20210113170A1 (en) 2021-04-22
EP3603518A4 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
Hernandez-Matas et al. FIRE: fundus image registration dataset
CN108230383B (zh) 手部三维数据确定方法、装置及电子设备
US20210174505A1 (en) Method and system for imaging and analysis of anatomical features
JP4860749B2 (ja) 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法
JP5403699B2 (ja) 手指形状推定装置、手指形状の推定方法及びプログラム
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
JP7341310B2 (ja) 皮膚分析のための画像処理、皮膚分析を視覚化するためのシステム及び方法
WO2018181363A1 (ja) 診断画像処理装置、評価支援方法及びプログラム
JP6066093B2 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
JP6662532B2 (ja) 歩行分析装置、歩行分析方法、及びプログラム
JP6326847B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2014165660A (ja) バーチャルキーボードの入力方法、プログラム、記憶媒体、及びバーチャルキーボードシステム
CN113728394A (zh) 身体活动执行和训练的评分度量
TWI719587B (zh) 眼底圖像定量分析的前置處理方法及存放裝置
JP2013206259A (ja) 部位推定装置、部位推定方法、および部位推定プログラム
Verlekar et al. Estimation and validation of temporal gait features using a markerless 2D video system
JP6651388B2 (ja) ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム
KR101745601B1 (ko) 영상 처리를 이용한 손가락 개수 인식 방법 및 장치
TW202201275A (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
Zieliński Hand radiograph analysis and joint space location improvement for image interpretation
Mikolaj et al. Removing confounding information from fetal ultrasound images
KR102546290B1 (ko) 초음파 영상 기반의 딥 러닝을 통한 관상동맥 경화반 조직 분석 방법, 장치 및 기록매체
WO2022162844A1 (ja) 作業推定装置、作業推定方法、及び、作業推定プログラム
TWI656323B (zh) 醫療影像差異比對方法及其系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18775487

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018775487

Country of ref document: EP

Effective date: 20191028