WO2022185517A1 - 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム - Google Patents

三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム Download PDF

Info

Publication number
WO2022185517A1
WO2022185517A1 PCT/JP2021/008629 JP2021008629W WO2022185517A1 WO 2022185517 A1 WO2022185517 A1 WO 2022185517A1 JP 2021008629 W JP2021008629 W JP 2021008629W WO 2022185517 A1 WO2022185517 A1 WO 2022185517A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
morphology
subject
sample
coordinate data
Prior art date
Application number
PCT/JP2021/008629
Other languages
English (en)
French (fr)
Inventor
千尋 谷川
隆 山城
博之 中邨
Original Assignee
Ｂｉｐｒｏｇｙ株式会社
国立大学法人大阪大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｂｉｐｒｏｇｙ株式会社, 国立大学法人大阪大学 filed Critical Ｂｉｐｒｏｇｙ株式会社
Priority to PCT/JP2021/008629 priority Critical patent/WO2022185517A1/ja
Publication of WO2022185517A1 publication Critical patent/WO2022185517A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry

Definitions

  • the present invention relates to a method for evaluating the three-dimensional surface morphology of a target part of the human body by automatic three-dimensional landmark recognition processing, or a morphology evaluation system that can execute the morphology evaluation method by arithmetic processing.
  • cephalometric analysis X-ray standard photograph analysis
  • cephalometric analysis allows the quantification of a patient's maxillofacial morphology by performing a comparative analysis of distances, angles, etc. in an age- and sex-matched control group.
  • cephalometric image which is two-dimensional information, for evaluation, there are some drawbacks as described below.
  • the structures of the left and right faces are projected at different magnifications.
  • the images of the left and right maxillofacial structures overlap each other, it is difficult to specify the structures on the two-dimensional image, and it is difficult to specify anatomical feature points.
  • skull suturing is biologically significant because it represents a growth site, but it is difficult to specify on a cephalometric image.
  • vertical measurement is difficult because images photographed when the face is facing upward and when the face is facing downward are significantly different.
  • CT computed tomography
  • GMM geometric morphometrics
  • Non-Patent Document 1 In recent years, the inventors have reported research results of three-dimensional morphological analysis using micro-CT on mouse mandibles that have changed due to ingestion of soft food (e.g., Non-Patent Document 1). . In this study, wire mesh fitting to the mandibular surface creates a homologous model and quantifies the morphological information. Patent documents 1, 2 and 3, for example, are referred to for the method of calculating the three-dimensional average morphology that serves as the reference for the homology model.
  • the number of anatomical landmarks used in the GMM evaluation method exceeds 50, for example, in the case of morphological analysis of the skull.
  • Such landmarks have conventionally been identified one by one by an expert who has knowledge of anatomy from images of three-dimensional morphological models, and the work has been extremely complicated.
  • the evaluation result of the morphology of the target site can be visualized in addition to being simply presented as numbers, it can contribute to more accurate diagnosis by doctors.
  • the present invention provides a morphological evaluation method and a morphological evaluation system that enable simple quantitative evaluation of the three-dimensional surface morphology of a target region, especially a hard tissue, of a subject using, for example, automatic three-dimensional landmark recognition processing. intended to provide.
  • the present invention provides a morphological evaluation method for evaluating a three-dimensional surface morphology of a target site on a human body, which comprises scanning a target site of a subject using a three-dimensional measuring device. obtaining subject coordinate data representing the three-dimensional surface morphology of the target site; and generating a subject homologous model based on the anatomical landmarks extracted from the subject coordinate data.
  • the average morphology generation unit performs statistical analysis processing based on a group of sample coordinate data obtained by scanning the same part as the target part of a plurality of healthy subjects, and averages the morphology a step of generating a standardized homology model; and a deviation calculation unit calculating a deviation of each corresponding coordinate of the subject homology model with respect to each coordinate of the standard homology model, A morphological evaluation method in which the three-dimensional surface morphology of the target site in the subject is evaluated using the deviation.
  • the landmark extraction unit preferably extracts features from the coordinate data of the subject by machine learning processing, and extracts anatomical landmarks by classifying the extracted features.
  • the morphological evaluation method includes a step of extracting anatomical landmarks by a landmark extraction unit extracting features from the sample coordinate data by machine learning processing and classifying the extracted features; a step of generating a sample homology model by a model generation unit based on the anatomical landmarks extracted from the sample coordinate data, wherein the average morphology generation unit performs a process for the plurality of healthy subjects From the group of sample homology models, it is preferred to generate said canonical homology model representing their average morphology.
  • the morphological evaluation method preferably includes a step of associating the coordinates of the subject homologous model and the deviations in the coordinates and visualizing them with an image display device.
  • the present invention also provides a morphology evaluation system configured to evaluate the three-dimensional surface morphology of a target site on a human body, and comprises a three-dimensional surface obtained by scanning the target site of a subject using a three-dimensional measuring device.
  • a landmark extraction unit that automatically extracts anatomical landmarks from subject coordinate data representing the original surface morphology, and a process that generates a subject homologous model based on the anatomical landmarks.
  • Statistical analysis processing is performed based on a group of sample coordinate data obtained by scanning the same part as the target part of a plurality of healthy subjects, and a standard homologous model that averages the morphology is generated. and a deviation calculator that calculates the deviation of each corresponding coordinate of the subject homologous model based on each coordinate of the standard homologous model.
  • the landmark extraction unit extracts features from the coordinate data of the subject by machine learning processing, and classifies the extracted features to extract the anatomical landmarks. It is preferable to do so.
  • the morphological evaluation system further comprises a model generation unit that extracts a sample homology model for each of the plurality of sample coordinate data based on anatomical landmarks extracted from each sample coordinate data, and the average morphology generation unit performs multivariate analysis on the entire set of sample homology models, obtains a transformation matrix that associates the sample homology model with feature values of a plurality of feature parameters that characterize the morphology of the predetermined homology model, and obtains a multidimensional feature parameter It is preferable that a process of generating the standard homology model is performed by calculating the vector centroid of the feature values dispersed in space and transforming the calculated feature value of the vector centroid with the transformation matrix.
  • the morphological evaluation system further comprises a model generation unit that extracts a sample homology model for each of the plurality of sample coordinate data based on anatomical landmarks extracted from each sample coordinate data, and the average morphology generation unit
  • the sample homologous models are virtually deformed to each other by the free-form deformation method in which the morphology is manipulated by moving the control grid points set in the space, and the control grid that minimizes the variance of the distance between the morphologies when virtually deformed
  • a process of generating the standard homology model may be performed by calculating the average of the point movement patterns and applying the calculated control grid point average movement pattern to the sample homology model of the median value.
  • the morphological evaluation system further include an image display device that associates and displays the coordinates of the subject homologous model and the deviation in the coordinates.
  • the present invention it is possible to easily perform quantitative evaluation of the three-dimensional surface morphology of the subject's target region, which is particularly a hard tissue. For example, by three-dimensionally visualizing the degree of morphological abnormality, that is, the deviation from the average morphology, it is possible to contribute to a more accurate diagnosis by a doctor.
  • FIG. 1 is a functional block diagram of a three-dimensional surface topography evaluation system according to one embodiment
  • FIG. FIG. 4 is a diagram for explaining an outline of landmark extraction processing using a neural network deep learning model; It is a figure for demonstrating the machine-learning process by a landmark extraction part.
  • FIG. 10 is a diagram for explaining a process of generating a homologous model by a model generation unit; 4 is a flowchart for explaining a method of calculating an average morphological model by multivariate analysis; FIG.
  • FIG. 4 is a diagram illustrating the distribution of populations of a sample homology model on two feature axes; 4 is a flowchart for explaining a method of calculating an average form model by a free form deformation method;
  • (a) is a diagram exemplifying a sample homology model and the arrangement of control grid points set in space.
  • (b) is a diagram illustrating movement patterns of control lattice points when the sample homology model of (a) is transformed into another sample homology model.
  • (a) is a diagram illustrating a median sample homology model.
  • (b) is a diagram exemplifying a control grid point average movement pattern.
  • (c) illustrates the generated standard homology model. It is a functional block diagram of a three-dimensional surface topography evaluation system according to another embodiment.
  • FIG. 11 is a functional block diagram of a three-dimensional surface topography evaluation system according to still another embodiment; It is a figure which shows one Example of a three-dimensional surface topography evaluation system.
  • the morphology evaluation system performs statistical analysis processing on three-dimensional representation morphology model data that expresses the morphology of a target part of the human body, particularly hard tissues such as the skull, maxilla, and mandible, to determine the surface It is provided to the user to make an objective quantitative assessment of the morphology.
  • FIG. 1 is a functional block diagram showing an outline of a three-dimensional surface morphology evaluation system according to one embodiment of the present invention.
  • a host server 100 responsible for arithmetic processing of the main morphological evaluation services provided and a user terminal 200 operated by a user such as a doctor or a laboratory technologist interact with each other via a network. Communicatively connected and configured.
  • the host server 100 is a high-speed, large-capacity computer suitable for numerical analysis, and is connected to databases 101 and 102 that store sample coordinate data 111, standard homology model 113, etc., which will be described later, in an accessible manner.
  • the information contents managed in the databases 101 and 102 are valuable information goods with high academic and economic value, and are personal information that should be kept confidential. Therefore, access to the databases 101 and 102 from the outside including the user terminal 200 is prohibited or restricted, and it is preferable to take safety measures to prevent the information content from being leaked to the outside.
  • a three-dimensional measuring device 104 for obtaining sample data for statistical analysis is connected to the host server 100 .
  • the three-dimensional measuring device 104 can be, for example, a CT scanner, MRI (Magnetic Resonance Imaging), or a three-dimensional laser scanner.
  • the three-dimensional measuring device 104 is a CT scanner, which scans the hard tissues of the skull, maxilla, and mandible of each of a plurality of healthy individuals who have common attributes (such as age and gender). are scanned to measure their three-dimensional surface morphology.
  • the measured coordinate data representing the three-dimensional surface morphology of the target part of each person is accumulated in the database 101 as a group of specimen coordinate data 111 and provided for processing in the host server 100 .
  • the user terminal 200 is a personal computer installed in, for example, a hospital, a clinic, or a research institute conducting biological research. operated by The user terminal 200 includes an image display device 201 for displaying the evaluation results visualized and transferred by the host server 100 .
  • the user terminal 200 captures the subject's measurement data acquired by the three-dimensional measurement device 204 .
  • the scanner described above can be used.
  • a CT scanner installed in a user's hospital or the like is used to scan the hard tissues of the subject's skull, maxilla, or mandible (the target region measured by the three-dimensional measuring device 104 on the host server 100 side).
  • the three-dimensional surface morphology of the same target site as that of the subject) is measured, and subject coordinate data 211 is obtained.
  • the host server 100 includes a landmark extraction unit 121, a model generation unit 122, an average morphology generation unit 123, a deviation calculation unit 124, and an image editing/output unit 125 as arithmetic processing means.
  • the landmark extraction unit 121 receives as input three-dimensional surface form coordinate data 1213 measured by scanning the surface form of a target part of the human body, and performs, for example, the following three-dimensional point group processing to extract landmark coordinates. It is an arithmetic processing means for extracting the estimated value 1214 .
  • Landmark coordinate estimates 1214 are coordinate string data of a plurality of anatomical landmarks of the target site.
  • anatomical landmarks are different from simple geometric feature points such as vertices and inflection points of three-dimensional objects, and are used for comparative analysis in medicine or diagnosis of growth and development processes in the field of biology, for example.
  • teacher data mark coordinate teacher data 1215
  • FIG. 2 is a diagram for explaining the outline of the landmark extraction process using the neural network/deep learning model 1210.
  • PointNet++ (Charles R. Qi et al., PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space, NIPS2017) is used as a point cloud processing algorithm.
  • a deep learning model 1210 in FIG. 2 is roughly divided into a feature extraction layer 1211 and a classification layer 1212 .
  • the input three-dimensional point cloud L0 is divided into overlapping local regions, and local feature maps L1 and L2 capture fine geometric features while repeating nest division for each region. , . . .
  • Such local features are grouped into larger units, and grouping and pooling are recursively repeated until global features LG, which are features of the entire point cloud, are obtained.
  • the classification layer 1212 classifies the extracted global features LG into the features of the anatomical landmarks described above, and finally estimates the coordinate values of the landmark point sequences.
  • the output layer can be configured by a multi-layer perceptron (MLP) layered with a plurality of fully-connected (FC) layers.
  • MLP multi-layer perceptron
  • FC fully-connected
  • the estimated landmark coordinate values 1214 are compared with the landmark coordinate teacher data 1215, and the deep learning model 1210 is used to minimize the error. parameters such as connection weights and biases are updated.
  • the landmark extraction unit 121 extracts the sample landmark data 114 from the sample coordinate data 111 obtained by scanning the target part of the healthy subject by the machine learning process described above. In addition, the landmark extraction unit 121 extracts the subject landmark data 117 from the subject coordinate data 211 transmitted from the user terminal 200 by similar machine learning processing.
  • FIG. 4 is a diagram for explaining the process of generating a homologous model by the model generation unit 122.
  • a homologous model is a human body model expressed as a standardized polygon model having the same number of points and the same geometrical structure based on the anatomical feature points described above. Homologous modeling of complex human body shapes with individual differences enables simple and highly accurate statistical analysis and comparative evaluation at the three-dimensional level.
  • the model generation unit 122 is an arithmetic processing means that generates a three-dimensional shape homologous model 1216 of the scanned target region based on the extracted anatomical landmarks 1214 . More specifically, the model generation unit 122 calculates the positions of the landmarks 1214 extracted from the three-dimensional coordinate data 1213 obtained by scanning the target region and the landmarks of the template model 112, which is the standard shape of the target region. Then, the scale is matched, and a homologous model 1216 is constructed by rearranging the polygon array of the template model 112 to the actually measured coordinate data 1213 . As the template model 112 used here, the standard homology model 113 calculated by the method described below can be utilized as it is.
  • the model generation unit 122 generates sample homology models 115 based on the sample landmark data 114 extracted from each sample coordinate data 111 .
  • the model generation unit 122 also generates a subject homologous model 118 based on the subject landmark data 117 extracted from the subject coordinate data 211 .
  • the average morphology generation unit 123 is an arithmetic processing means for generating an averaged standardized homologous model 113 based on a group of sample coordinate data 111 .
  • the sample coordinate data 111 is collected by scanning the target regions of a plurality of healthy persons having common attributes such as age, sex, race, etc., as described above.
  • the landmark extraction unit 121 described above extracts anatomical landmarks (specimen landmark data 114 ) for each piece of specimen coordinate data 111 .
  • the model generator 122 generates sample homology models 115 based on each sample landmark data 114 .
  • the average morphology generation unit 123 performs statistical analysis processing on the group of generated sample homology models 115 to generate the standard homology model 113, which is the average morphology model. Two statistical analysis procedures for calculating the mean morphology are now described in more detail.
  • the average morphology generator 123 can generate the standard homology model 113 by multivariate analysis.
  • FIG. 5 is a flowchart for explaining a method of calculating an average morphological model by multivariate analysis.
  • a plurality of elements that have some influence on the differences between the sample homology models 115 are determined (step S11).
  • Such a characteristic axis includes not only the overall dimensions of the target site, such as the width, height, and depth, but also the positions of specific points such as the landmarks described above, the distance between specific points, and the line connecting the specific points. They are selected from a wide range of factors, such as the angle between them, the ratio of the distances between specific points, the angle between the normals of the polygon surfaces on which the specific points are located, and the coefficients of the piecewise polynomial that defines the envelope between the specific points.
  • the average morphology generator 123 performs multivariate analysis on the entire set of sample homologous models 115, and the homologous models [H i ] and the feature parameter values (feature values) [F i ] described by Equation (1) are is obtained (step S12 ).
  • [H i ] [T ji ] ⁇ [F j ] Equation (1)
  • [H i ] is a column vector (i is the ordinal number of the coordinate point) indicating the vertex coordinates of the polygons forming the homologous model
  • [F j ] is a column vector indicating the feature value in the multidimensional feature space ( j is the ordinal number of the feature value).
  • FIG. 6 is a diagram illustrating the population distribution of the sample homology model 115 on the feature axes F 1 and F 2 .
  • FIG. 6 shows the population feature value distribution in a planar space with two feature axes. However, in actual statistical analysis, a distribution in a multidimensional space having dimensions of the number j of the selected feature axes is calculated. Then, the average morphology generator 123 calculates the vector centroid [GF j ] of the feature values distributed in the multidimensional feature parameter space (step 13).
  • Equation (2) by applying the transformation matrix [T ji ] described above to the vector centroid [GF j ], the column vector [MH i ] indicating the coordinate values of the average morphological model is calculated, and It can be a standard homology model 113 (step S14).
  • [MH i ] [T ji ] ⁇ [GF j ] Equation (2)
  • the average morphology generation unit 123 may generate the standard homologous model 113 by a free-form transformation method in which the morphology is manipulated by moving control grid points set in space.
  • FIG. 7 is a flow chart for explaining a method of calculating an average form model by the free form deformation method.
  • the movement pattern of the control lattice points when the two homologous models 115a and 115b are virtually deformed mutually is obtained.
  • the average morphology generation unit 123 performs the operation for all combinations ( n C 2 combinations) between morphologies in the group of n sample homologous models 115, and calculates the amount of control grid point movement in each movement pattern (step S21).
  • the large amount of movement of the control grid points means that a large spatial distortion is required to match the two homologous models, and the distance between the morphologies, which is an index of morphological differences, can be calculated from the amount of movement. can ask.
  • the average morphology generator 123 calculates the sum of the norms of the control grid point movement vectors as the distance between the morphologies of the two homologous models (step S22).
  • step S22 for each of the n specimen homologous models 115, the intermorphological distances from each of the other n-1 homologous models are calculated.
  • the average morphology generation unit 123 obtains the variance of the inter-morphology distance from other homologous models for each sample homology model 115, and selects the sample homology model with the smallest variance of the inter-morphology distance as the median (median value). (Step S23).
  • the average morphology generation unit 123 calculates the average of the control grid point movement patterns between the selected median sample homology model 115m and the other n-1 sample homology models (step S24). Then, as shown in FIG. 9, the average morphology generation unit 123 applies the above-described control grid point average movement pattern 130 to the median sample homology model 115m to obtain the average morphology of the n sample homology models 115m. A standard homology model 113 can be obtained (step S25).
  • the generated standard homology model 113 is strictly managed in the database 102.
  • the accuracy of the standard homology model 113 can be increased as the number of cases in the sample coordinate data 111 increases. That is, each time new sample coordinate data 111 is added, the standard homology model 113 is updated, and its system and value as information goods can be increased.
  • the generated standard homology model 113 can also be diverted as a template model 112 for generating another new homology model.
  • the deviation calculation unit 124 is a calculation processing means that compares the standard homologous model 113 and the subject homologous model 118 and evaluates the difference between these surface morphologies. More specifically, the deviation calculation unit 124 calculates the deviation of each coordinate of the standard homology model 113 and each corresponding coordinate of the subject homology model 118 based on each coordinate over the entire surface of the target site. .
  • a Z score can be used as an index value indicating the degree of deviation.
  • a Z score can be calculated by the following formula (3).
  • Z score distance between coordinates of subject homology model and standard homology model/standard deviation of all distances between coordinates Equation (3)
  • the sign of the distance between the coordinates of the subject homology model and the standard homology model is positive if the coordinate position corresponding to the subject homology model 118 is outside the coordinate position of the standard homology model 113, and the standard homology If the corresponding coordinate position of the subject homologous model 118 is inside the coordinate position of the model 113, the result is negative.
  • the image editing/output unit 125 is arithmetic processing means for visualizing the difference in the surface morphology of the target portion, which is the evaluation result.
  • the image editing/output unit 125 performs a process of associating each coordinate of the subject homologous model 118 with the deviation at each coordinate and visualizing them on the image display device 201 .
  • projection images of the standard homologous model 113 and the subject homologous model 118 viewed from the same direction can be created, and these images can be arranged on different planes and displayed in an overlapping manner.
  • a doctor or the like can intuitively recognize the position of an abnormal site and the direction in which it is deformed relative to the standard shape.
  • the image editing/outputting unit 125 may display the image of the subject homologous model 118 by color-coding or changing the gray scale according to the above-described Z-score.
  • a doctor or the like can intuitively and accurately ascertain the degree of morphological difference from the normal morphology as well as the locations of serious abnormalities.
  • the test results such as the subject coordinate data 211 are patient information that should be kept confidential. In order to prevent leakage of patient information, data transfer between the host server 100 and the user terminal 200 requires a strong security environment.
  • the host server 100 performs the morphological evaluation of the subject.
  • a unit 221 and a model generator 222 may be provided.
  • the user terminal 200 may be provided with the deviation calculation unit 224 and the image editing/output unit 225 . Also, these arithmetic processing functions may be provided to the user terminal 200 by an ASP (Application Service Provider).
  • ASP Application Service Provider
  • only a part of the neural network model (for example, the feature extraction layer 1211) that configures the landmark extraction unit 221 may be provided to the user terminal 200.
  • feature data 1217 is extracted from subject coordinate data 211 via a feature extraction layer 1211 on the user terminal 200 side.
  • the feature data 1217 is transferred from the user terminal 200 to the host server 100, and the landmark 1214 is extracted via the classification layer 1212 of the host server 100.
  • FIG. In this embodiment, only the undecipherable feature data 1217 of the patient information is transferred to the host server 100, which prevents leakage of the patient's raw data (subject coordinate data 211).
  • the sample coordinate data 111 and the standard homology model 113 managed by the host server 100 are not accessed from outside such as the user terminal 200, and the safety of these valuable sample data can be ensured.
  • FIG. 12 is a diagram showing an embodiment of a three-dimensional surface morphology evaluation system related to the present invention.
  • three-dimensional point cloud data representing the surface shapes of the skull/maxilla and mandible are input, and the positions of landmark point sequences are automatically estimated collectively.
  • the number of anatomical landmarks is 52 for the skull/maxilla and 53 for the mandible.
  • the landmark estimation process took less than 1 second on a personal computer with general processing power.
  • the distance error between the estimated landmark point and the correct landmark point is currently about 6 mm in an experiment using three pieces of data.
  • the estimation accuracy can be further improved by increasing the learning data.
  • three-dimensional cephalometric analysis of the skull and mandible is possible, and clinical methods for quantitatively evaluating and visualizing the three-dimensional morphological features and normality/abnormality of the hard tissue of the maxillofacial are available. can be expected to be established.
  • the degree of abnormality is visualized in three dimensions, contributing to more accurate diagnosis by doctors. can do.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)

Abstract

三次元ランドマーク自動認識を用いて人体の対象部位の三次元表面形態の定量評価を簡便に行えるようにする技術を提供する。この形態評価方法は、被検者の対象部位をスキャンニングして被検者座標データ２１１を得るステップと、三次元自動認識により被検者座標データ２１１から抽出された解剖学的ランドマークに基づいて被検者相同モデル１１８を生成するステップと、複数人の健常者の同一対象部位をスキャンニングして得た標本座標データ１１１の群に基づいて形態を平均化した標準相同モデル１１３を生成するステップと、標準相同モデル１１３の各座標を基準とした、被検者相同モデル１１８の対応する各座標の偏差を演算するステップとを含む。

Description

三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム
　本発明は、三次元ランドマーク自動認識処理により、人体における対象部位の三次元表面形態を評価するための方法又はその形態評価方法を演算処理により実行可能とする形態評価システムに関する。
　Ｘ線規格写真分析（以下，セファロ分析）は、１９３０年代には既に顎骨形態異常や頭蓋顔面成長発育等の診断に使われてきた技術であり、現代の矯正歯科診断においても広く使用されている。セファロ分析によれば、年齢や性別を一致させたコントロール群のなかで距離及び角度等の比較分析を行うことで、患者の顎顔面形態を定量化することができる。しかし、実際の患者の三次元形態を、二次元情報であるセファロ画像に投影して評価する場合には、下記のような欠点もいくつか存在する。
　まず、セファロ撮影された画像においては左右の顔の構造物の拡大率が異なって投影される。また左右の顎顔面構造物の画像が互いに重なり合うため、二次元画像上での構造物の特定が困難であり、解剖学的特徴点の特定が難しい。また、頭蓋骨の縫合は、成長部位を表すため生物学的に意義のあるものであるが、セファロ画像上では特定することが困難である。また、正面位頭部Ｘ線規格写真においては、顔が上向きのときと下向きの時とで撮影された画像が大きく異なるなど、垂直的な計測が困難である。
　一方で、コンピュータ断層撮影（ＣＴ；computed tomography）によれば、セファロ分析における上記の欠点をいくつか補うことができる。しかし、ＣＴデータを定量化する方法においても、二次元のセファロ分析と同様の方法による距離や角度の分析が行われているのが実情である。その中で、治療前後での表面のユークリッド距離を計算した単純な表面分析が報告されている。コンピュータによる三次元分析は、膨大な量のデータを扱い、アルゴリズムも複雑となることから、分析結果を診断用に客観化・視覚化することは困難とされてきた。
　また、生物学の研究分野では、発達のプロセスや病気などにより生じる形態の差異を分析する手法として幾何学的形態測定学（ＧＭＭ；geometric morphometrics）が用いられている。ＧＭＭは、解剖学的特徴点であるランドマークの座標値から、幾何学的な形態情報全てを把握しようとする学問である。ＧＭＭによれば、例えば互いに似た形態の対象同士を比較し、それらの差異を理解することが可能である。ＧＭＭは、統計学的アプローチを通して形態の差異を明確にするという点で、解剖学的に重要な方法である。
　近年、発明者等は、軟らかい食事を摂取することで変化したマウスの下顎骨を対象とし、マイクロＣＴを用いて三次元形態分析を行なった研究成果を報告している（例えば非特許文献１）。この研究では、下顎骨表面にワイヤーメッシュフィッティングを行うことで相同モデルを作り出し、それにより形態情報を定量化している。相同モデルの基準となる三次元平均形態を算出する手法については、例えば特許文献１、２及び３が参照される。
特許第３１０６１７７号公報 特許第３３６４６５４号公報 特開２０１１－１８０７９０号公報
Kono K., Tanikawa C., Yanagita T., Kamioka H., Yamashiro T.著, A novel method to detect 3D mandibular changes related to soft-diet feeding, 2017年, Front. Physiol. 8:567
　ＧＭＭの評価手法において用いられる解剖学的なランドマークの個数は、例えば頭蓋骨の形態解析の場合には５０を超える。そのようなランドマークは、従来、解剖学の知見を有する専門家が、三次元形態モデルの画像からひとつひとつ同定しており、その作業は極めて煩雑であった。また、対象部位の形態の評価結果を単に数字として提示するだけでなく視覚化することができれば、医師のより的確な診断に寄与することができると考えられる。
　本発明は、例えば三次元ランドマーク自動認識処理を用いて、被検者の特に硬組織である対象部位の三次元表面形態の定量評価を簡便に行えるようにした形態評価方法及び形態評価システムを提供することを目的としている。
　上述した課題を解決するため、本発明は、人体における対象部位の三次元表面形態を評価する形態評価方法であって、三次元計測装置を用いて被検者の対象部位をスキャンニングすることで該対象部位の三次元表面形態を表す被検者座標データを得るステップと、前記被検者座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が被検者相同モデルを生成する処理を行うステップと、平均形態生成部が、複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成するステップと、偏差演算部が、前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算するステップとを含み、前記偏差を用いて該被検者における該対象部位の三次元表面形態が評価される形態評価方法である。
　形態評価方法は、ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより解剖学的ランドマークを抽出することが好ましい。
　また、形態評価方法は、ランドマーク抽出部が、機械学習処理により、前記標本座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより解剖学的ランドマークを抽出するステップと、前記標本座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が標本相同モデルを生成する処理を行うステップとを更に含み、前記平均形態生成部が、前記複数人の健常者についての前記標本相同モデルの群から、それらの平均形態を表す前記標準相同モデルを生成することが好ましい。
　また、形態評価方法は、前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて画像表示装置により視覚化するステップを含むことが好ましい。
　また、本発明は、人体における対象部位の三次元表面形態を評価するよう構成された形態評価システムであって、三次元計測装置を用いて被検者の対象部位をスキャンニングして得た三次元表面形態を表す被検者座標データから解剖学的ランドマークを自動的に抽出する処理を行うランドマーク抽出部と、前記解剖学的ランドマークに基づいて被検者相同モデルを生成する処理を行うモデル生成部と、複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成する平均形態生成部と、前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算する偏差演算部とを備える形態評価システムである。
　形態評価システムは、前記ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより前記解剖学的ランドマークを抽出する処理を行うものであることが好ましい。
　また、形態評価システムは、複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、前記平均形態生成部が、前記標本相同モデルの集合全体に対し多変量解析を行い、前記標本相同モデルと予め定めた相同モデルの形態を特徴付ける複数の特徴パラメータの特徴値とを関連付ける変換行列を求め、多次元特徴パラメータ空間において分散する前記特徴値のベクトル重心を算出し、算出した前記ベクトル重心の特徴値を前記変換行列で変換することで、前記標準相同モデルを生成する処理を行うものであることが好ましい。
　また、形態評価システムは、複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、前記平均形態生成部が、空間に設定した制御格子点を移動させて形態を操作する自由形態変形法により前記標本相同モデルを相互に仮想変形させ、仮想変形させたときの形態間距離の分散が最小となる制御格子点移動パターンの平均を演算し、演算した制御格子点平均移動パターンを中央値の前記標本相同モデルに適用することで前記標準相同モデルを生成する処理を行うものでもよい。
　また、形態評価システムは、前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて表示する画像表示装置を更に含むものであることが好ましい。
　本発明によれば、被検者の特に硬組織である対象部位の三次元表面形態の定量評価を簡便に行うことができる。例えば、形態の異常さの度合い、つまり平均的な形態との偏差を三次元的に視覚化することで、医師のより的確な診断に寄与することができる。
一実施形態による三次元表面形態評価システムの機能ブロック図である。 ニューラルネットワーク・ディープラーニングモデルを使ったランドマーク抽出処理の概要を説明するための図である。 ランドマーク抽出部による機械学習処理を説明するための図である。 モデル生成部による相同モデルの生成処理を説明するための図である。 多変量解析法による平均形態モデルの算出方法を説明するためのフローチャートである。 ２つの特徴軸における、標本相同モデルの母集団の分布を例示する図である。 自由形態変形法による平均形態モデルの算出方法を説明するためのフローチャートである。 （ａ）はある標本相同モデルと空間に設定した制御格子点の配置を例示する図である。（ｂ）は（ａ）の標本相同モデルを他の標本相同モデルに変形したときの制御格子点の移動パターンを例示する図である。 （ａ）はメディアン標本相同モデルを例示する図である。（ｂ）は制御格子点平均移動パターンを例示する図である。（ｃ）は生成された標準相同モデルを例示する図である。 他の実施形態による三次元表面形態評価システムの機能ブロック図である。 更に他の実施形態による三次元表面形態評価システムの機能ブロック図である。 三次元表面形態評価システムの一実施例を示す図である。
（形態評価システムの概略構成）
　本発明に関する形態評価システムは、人体における対象部位、特に頭蓋骨、上顎骨及び下顎骨等の硬組織の形態を表現する三次元表現形態モデルデータに対し統計的な解析処理を行うことで、その表面形態の客観的な定量評価を行うために、ユーザに提供される。
　図１は、本発明の一実施形態による三次元表面形態評価システムの概要を示す機能ブロック図である。本実施形態による形態評価システムは、提供される主要な形態評価サービスの演算処理を担うホストサーバ１００と、医師又は検査技師等であるユーザが操作するユーザ端末２００とが、ネットワークを介して相互に通信可能に接続して構成される。ホストサーバ１００は、数値解析に適した高速大容量のコンピュータであり、後述する標本座標データ１１１及び標準相同モデル１１３等を格納するデータベース１０１、１０２をアクセス可能に接続している。ただし、データベース１０１、１０２において管理される情報内容は、学術的にも、そして経済的にも価値が高い貴重な情報財であるとともに、秘匿すべき個人情報でもある。そのため、ユーザ端末２００等を含む外部からのデータベース１０１、１０２へのアクセスは禁止又は制限され、これらの情報内容が外部に漏洩されないよう安全対策が施されることが好ましい。
　ホストサーバ１００には、統計解析における標本データを得るための三次元計測装置１０４が接続されている。三次元計測装置１０４は、例えばＣＴスキャナー、ＭＲＩ（Magnetic Resonance Imaging）、三次元レーザースキャナとすることができる。本実施形態では、三次元計測装置１０４がＣＴスキャナーであって、属性（例えば年齢や性別等）が共通する複数人の健常者から、各人の頭蓋・上顎骨、下顎骨の硬組織をスキャンニングしてそれらの三次元表面形態が測定される。測定された各人の対象部位の三次元表面形態を表す座標データは、標本座標データ１１１の群としてデータベース１０１に蓄積され、ホストサーバ１００における処理に供される。
　ユーザ端末２００は、例えば病院、診療所又は生物学的な研究を行う研究機関等に設置されるパーソナルコンピュータであって、本システムによる形態評価サービスの提供を受けるためにクライアントとしてライセンス契約をしたユーザにより操作される。ユーザ端末２００は、ホストサーバ１００で視覚化され、転送された評価結果を表示するための画像表示装置２０１を含む。
　ユーザ端末２００には、三次元計測装置２０４が取得した被検者の測定データが取り込まれる。三次元計測装置２０４としては、上述したスキャナーを使用することができる。本実施形態では、ユーザの病院等に設置されたＣＴスキャナーを用いて、被検者の頭蓋・上顎骨又は下顎骨の硬組織（ホストサーバ１００側の三次元計測装置１０４により測定される対象部位と同一の対象部位）の三次元表面形態が測定され、被検者座標データ２１１が取得される。
　ホストサーバ１００は、図１に示すように、演算処理手段として、ランドマーク抽出部１２１、モデル生成部１２２、平均形態生成部１２３、偏差演算部１２４及び画像編集・出力部１２５を備えている。
（ランドマーク抽出部）
　ランドマーク抽出部１２１は、人体における対象部位の表面形態をスキャンニングして測定した三次元表面形態座標データ１２１３を入力とし、例えば下記に説明する三次元点群処理を行うことで、ランドマーク座標推定値１２１４を抽出する演算処理手段である。ランドマーク座標推定値１２１４は、当該対象部位の複数の解剖学的ランドマークの座標列データである。
　ここで、解剖学的ランドマークとは、立体物の頂点や変曲点といった単純に幾何学的な特徴点とは異なり、例えば医療における比較分析、又は生物学の分野における成長・発達プロセスの診断において重要な意味を持つ解剖学的特徴点を意味する。つまり、解剖学的ランドマークは、このような医学及び生物学等の分野において積み重ねられた専門的知見に基づき発見され定められたものである。そのため、ニューラルネットワークを活用した機械学習処理により解剖学的ランドマークを自動抽出する場合には、ランドマークを同定するための教師データ（ランドマーク座標教師データ１２１５）が必要になる。
　ちなみに、解剖学的ランドマークは、頭蓋・上顎骨については５２個、下顎骨については５３個存在する。
　図２は、ニューラルネットワーク・ディープラーニングモデル１２１０を使ったランドマーク抽出処理の概要を説明するための図である。本実施形態では、点群処理のアルゴリズムとしてＰｏｉｎｔＮｅｔ＋＋（Charles R. Qi et al., PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space, NIPS2017）を採用している。図２のディープラーニングモデル１２１０は、特徴抽出層１２１１と分類層１２１２に大別される。
　特徴抽出層１２１１では、入力された三次元の点群Ｌ０を重なり合うローカル領域に分割し、それぞれの領域についてネスト分割を繰り返しながら、微細な幾何学的特徴を捉えるローカル特徴マップＬ１、Ｌ２、・・・を抽出する。そのようなローカル特徴は、更に大きな単位にグループ化され、点群全体の特徴であるグローバル特徴ＬＧを得るまでグルーピングとプーリングが再帰的に繰り返される。
　分類層１２１２では、抽出されたグローバルな特徴ＬＧを、上述の解剖学的ランドマークの特徴に分類して最終的にランドマーク点列の座標値を推定する。分類層１２１２の実施例において、複数の全結合（ＦＣ；Fully-Connect）層を階層化したＭＬＰ（Multi-layer perceptron）により出力層を構成することができる。
　図３に示すように、ランドマーク抽出部１２１の機械学習処理において、推定されたランドマーク座標値１２１４は、ランドマーク座標教師データ１２１５と比較され、その誤差が最小となるようにディープラーニングモデル１２１０の結合重みやバイアス等のパラメータが更新される。
　図１の実施形態において、ランドマーク抽出部１２１は、上述の機械学習処理により、健常者の対象部位をスキャンニングして得た標本座標データ１１１から標本ランドマークデータ１１４を抽出する。また、ランドマーク抽出部１２１は、同様の機械学習処理により、ユーザ端末２００から送信された被検者座標データ２１１から被検者ランドマークデータ１１７を抽出する。
（モデル生成部）
　図４は、モデル生成部１２２による相同モデルの生成処理を説明するための図である。相同モデルとは、上述した解剖学的特徴点に基づいて、同一点数、同一幾何学構造を有する規格化したポリゴンモデルとして表現された人体モデルである。複雑で個体差がある人体形状を相同モデル化することで、三次元レベルでの簡便でかつ高精度の統計解析・比較評価が可能になる。
　モデル生成部１２２は、抽出した解剖学的ランドマーク１２１４に基づいて、スキャンニングした対象部位の三次元形状の相同モデル１２１６を生成する演算処理手段である。より具体的に、モデル生成部１２２は、対象部位をスキャンニングして得た三次元の座標データ１２１３から抽出したランドマーク１２１４と、対象部位の標準形状であるテンプレートモデル１１２のランドマークとの位置及びスケールを合わせ、テンプレートモデル１１２のポリゴン配列を実測の座標データ１２１３に再配置することにより相同モデル１２１６を構築する。なお、ここで用いられるテンプレートモデル１１２は、次に説明する方法で演算される標準相同モデル１１３をそのまま活用することができる。
　図１の実施形態において、モデル生成部１２２は、各標本座標データ１１１から抽出された標本ランドマークデータ１１４に基づいて標本相同モデル１１５をそれぞれ生成する。また、モデル生成部１２２は、被検者座標データ２１１から抽出された被検者ランドマークデータ１１７に基づいて被検者相同モデル１１８を生成する。
（平均形態生成部）
　平均形態生成部１２３は、標本座標データ１１１の群に基づいて平均化した標準相同モデル１１３を生成する演算処理手段である。標本座標データ１１１は、上述したように、年齢、性別、人種等の属性が共通する複数人の健常者の対象部位をスキャンニングすることにより集められる。平均形態モデル（標準相同モデル１１３）を生成する前段処理として、まず、上述のランドマーク抽出部１２１が、各標本座標データ１１１について解剖学的ランドマーク（標本ランドマークデータ１１４）を抽出する。そして、モデル生成部１２２が、各標本ランドマークデータ１１４に基づいて標本相同モデル１１５をそれぞれ生成する。
　平均形態生成部１２３は、生成された標本相同モデル１１５の群に対し統計的な解析処理を行うことで、その平均形態モデルである標準相同モデル１１３を生成する。ここでは、平均形態を算出するための２つの統計解析処理方法について、より詳細に説明する。
＜第１の例；多変量解析法＞
　平均形態生成部１２３は、多変量解析法により標準相同モデル１１３を生成することができる。図５は、多変量解析法による平均形態モデルの算出方法を説明するためのフローチャートである。
　まず、標本相同モデル１１５間の違いになんらかの影響を与える要素（「特徴パラメータ」又は「特徴軸」ともいう。）を複数決定する（ステップＳ１１）。そのような特徴軸は、対象部位の例えば横幅、高さ幅、奥行長さといった全体の寸法だけでなく、上述したランドマーク等の特定点の位置、特定点間の距離、特定点を結ぶ線同士がなす角度、特定点間の距離の比、特定点があるポリゴン面の法線同士がなす角度、特定点の間の包絡線を規定する区分多項式の係数など多岐にわたり選択される。
　平均形態生成部１２３は、標本相同モデル１１５の集合全体に対し多変量解析を行い、式（１）で記述される、相同モデル［Ｈｉ］と特徴パラメータの値（特徴値）［Ｆｉ］とを関連付ける固有の変換行列［Ｔｊｉ］を求める（ステップＳ１２）。
 
　　　　　［Ｈｉ］＝［Ｔｊｉ］×［Ｆｊ］　　　　　…式（１）
 
　ここで、［Ｈｉ］は、相同モデルを構成するポリゴンの頂点座標を示す列ベクトル（ｉは座標点の序数。）、［Ｆｊ］は、多次元特徴空間における特徴値を示す列ベクトル（ｊは特徴値の序数）である。
　図６は、特徴軸Ｆ１、Ｆ２上における、標本相同モデル１１５の母集団の分布を例示する図である。図６には、特徴軸が２軸の平面空間での母集団の特徴値分布を示している。ただし、実際の統計解析では、選択した特徴軸の個数ｊの次元をもつ多次元空間における分布が算出される。そして、平均形態生成部１２３は、多次元の特徴パラメータ空間において分布する特徴値のベクトル重心［ＧＦｊ］を算出する（ステップ１３）。そして、式（２）のとおり、ベクトル重心［ＧＦｊ］に上述の変換行列［Ｔｊｉ］を適用することで、平均形態モデルの座標値を示す列ベクトル［ＭＨｉ］を算出し、それを標準相同モデル１１３とすることができる（ステップＳ１４）。
 
　　　　　［ＭＨｉ］＝［Ｔｊｉ］×［ＧＦｊ］　　　　　…式（２）
 
＜第２の例；自由形態変形法＞
　また、平均形態生成部１２３は、空間に設定した制御格子点を移動させて形態を操作する自由形態変形法により標準相同モデル１１３を生成してもよい。図７は、自由形態変形法による平均形態モデルの算出方法を説明するためのフローチャートである。
　この方法では、例えば図８に示すように、２つの相同モデル１１５ａ、１１５ｂを相互に形態を仮想変形させたときの制御格子点の移動パターンを求める。平均形態生成部１２３は、その操作を、ｎ個の標本相同モデル１１５の群における全ての形態間の組み合わせ（ｎＣ２通り）について行い、各移動パターンにおける制御格子点移動量を演算する（ステップＳ２１）。
　制御格子点の移動量が大きいということは、２つの相同モデルを一致させるために大きな空間の歪を必要とするということであり、その移動量から形態的な違いの指標である形態間距離を求めることができる。具体的に、平均形態生成部１２３は、制御格子点移動ベクトルのノルムの総和を、２つの相同モデルの形態間距離として算出する（ステップＳ２２）。
　ステップＳ２２では、ｎ個の標本相同モデル１１５について、それぞれ他のｎ－１個の相同モデルとの形態間距離が算出される。平均形態生成部１２３は、それぞれの標本相同モデル１１５について、他の相同モデルとの形態間距離の分散を求め、形態間距離の分散が最小となる標本相同モデルをメディアン（中央値）として選択する（ステップＳ２３）。
　平均形態生成部１２３は、選択されたメディアン標本相同モデル１１５ｍと、ｎ－１個の他の標本相同モデルとの間の制御格子点移動パターンの平均を算出する（ステップＳ２４）。そして、平均形態生成部１２３は、図９に示すように、メディアン標本相同モデル１１５ｍに、上述の制御格子点平均移動パターン１３０を適用することで、ｎ個の標本相同モデル１１５の平均形態である標準相同モデル１１３を得ることができる（ステップＳ２５）。
　生成された標準相同モデル１１３は、データベース１０２において厳重に管理される。標本座標データ１１１の症例数が多いほど、標準相同モデル１１３の精度を増すことができる。すなわち、新たな標本座標データ１１１を追加する毎に標準相同モデル１１３を更新して、その制度及び情報財としての価値を高めていくことができる。また、生成された標準相同モデル１１３は、別の新たな相同モデルを生成するためのテンプレートモデル１１２として転用することもできる。
（偏差演算部）
　偏差演算部１２４は、標準相同モデル１１３と被検者相同モデル１１８とを比較し、これらの表面形態間の違いを評価する演算処理手段である。より具体的に、偏差演算部１２４は、標準相同モデル１１３の各座標と、各座標を基準とした、被検者相同モデル１１８の対応する各座標の偏差を、対象部位の表面全体にわたり演算する。ここで、偏差の度合いを示す指標値として、Ｚスコアを用いることができる。
　Ｚスコアは、下記の式（３）により演算することができる。
 
　Ｚスコア＝被検者相同モデル及び標準相同モデルの座標間距離／全座標間距離の標準偏差　…式（３）
 
　ここで、被検者相同モデル及び標準相同モデルの座標間距離の符号は、標準相同モデル１１３の座標位置に対し被検者相同モデル１１８の対応する座標位置が外側にあれば正となり、標準相同モデル１１３の座標位置に対し被検者相同モデル１１８の対応する座標位置が内側にあれば負となる。
（画像編集・出力部）
　画像編集・出力部１２５は、評価結果である対象部位の表面形態の違いを視覚化する演算処理手段である。画像編集・出力部１２５は、被検者相同モデル１１８の各座標と、各座標における偏差とを関連付けて画像表示装置２０１により視覚化する処理を行う。例えば、標準相同モデル１１３及び被検者相同モデル１１８をそれら同一方向からみた投影イメージを作成し、これらのイメージを異なるプレーンに配置してオーバラップ表示することができる。それにより、医師等は、異常とされる部位の位置や標準形状に対してどの方向に変形しているかなどが直観的に認識することができる。また、画像編集・出力部１２５は、上述のＺスコアに応じて、被検者相同モデル１１８の画像を色分け又はグレイスケールを変えて表示してもよい。それにより、医師等は、正常な形態からの形態の違いの程度とともに、重篤な異常個所がどこなのかを直観的かつ正確に把握することができる。
　被検者座標データ２１１等の検査結果は、秘密にすべき患者情報である。患者情報の漏洩を防ぐため、ホストサーバ１００及びユーザ端末２００の間のデータ転送においては強固なセキュリティ環境が必要となる。上述した図１の実施形態ではホストサーバ１００が被検者の形態評価を行うが、患者情報の外部へのデータ転送をなくすため、図１０に示すように、ユーザ端末２００に、少なくともランドマーク抽出部２２１及びモデル生成部２２２が提供されてもよい。加えて偏差演算部２２４及び画像編集・出力部２２５がユーザ端末２００に提供されてもよい。また、これらの演算処理機能が、ＡＳＰ（Application Service Provider）によりユーザ端末２００に提供されてもよい。
　また、他の実施形態として、図１１に示すように、ランドマーク抽出部２２１を構成するニューラルネットワークモデルの一部（例えば特徴抽出層１２１１）のみがユーザ端末２００に提供されてもよい。図１１の実施形態では、ユーザ端末２００側の特徴抽出層１２１１を介して被検者座標データ２１１から特徴データ１２１７が抽出される。特徴データ１２１７は、ユーザ端末２００からホストサーバ１００に転送され、ホストサーバ１００の分類層１２１２を介してランドマーク１２１４が抽出される。
　この実施形態では、患者情報のうち解読不能な特徴データ１２１７のみがホストサーバ１００に転送されるので、患者の生データ（被検者座標データ２１１）の漏洩を防ぐことができる。また、ホストサーバ１００が管理する標本座標データ１１１や標準相同モデル１１３に対してユーザ端末２００等の外部からのアクセスはなく、これら価値の高い標本データの安全性も確保することができる。
　図１２は、本発明に関する三次元表面形態評価システムの一実施例を示す図である。本実施例では、頭蓋・上顎骨及び下顎骨の表面形状を表す三次元点群データを入力として、自動的にランドマーク点列の位置を一括して推定する。解剖学的ランドマークの個数は、頭蓋・上顎骨については５２個、下顎骨については５３個である。
　三次元点群データに対するディープラーニング手法として、スタンフォード大学の研究として発表されたＰｏｉｎｔＮｅｔ＋＋のネットワーク構造を応用し、出力層をランドマーク点列の座標値となるように変更した。この変更にともない、ネットワークのトレーニング（学習）の損失関数を、出力点列と正解ランドマーク点列との平均２乗誤差とした。多数の学習データでのトレーニングを積み重ね、それにより誤差が小さくなるようにネットワークのパラメータが最適化される。ネットワークへの入力点群は、頭蓋・上顎骨及び下顎骨の表面形状を表すＳＴＬ（Stereolithography）データから約１００００個の点群を抽出した。オリジナルのデータに加えて、それらをランダムに拡大・縮小し、さらにノイズを付加したデータも用いることにより、システムの頑健性を高めている。
　ランドマークの推定処理にかかる時間は、一般的な処理能力を有するパーソナルコンピュータで１秒以内であった。推定されたランドマーク点と正解ランドマーク点との距離誤差は、現状、３個のデータを用いた実験で６ｍｍ程度であった。しかし、学習データを増やすことで推定精度をより向上させることができる。
　本実施例によれば、頭蓋骨及び下顎骨の三次元セファロ分析が可能であり、顎顔面硬組織の三次元的な形態的特徴及び正常・異常を定量的に評価し視覚化する臨床的方法の確立が期待できる。対象部位の表面形態の評価結果を単に数字として提示するだけでなく、異常さの度合い（平均的な形態との隔たり）を三次元的に視覚化することで、医師のより的確な診断に寄与することができる。
１００　ホストサーバ
１０１、１０２　データベース
１０４　三次元計測装置
１１１　標本座標データ
１１２　テンプレートモデル
１１３　標準相同モデル
１１４　標本ランドマークデータ
１１５　標本相同モデル
１１７　被検者ランドマークデータ
１１８　被検者相同モデル
１２１　ランドマーク抽出部
１２２　モデル生成部
１２３　平均形態生成部
１２４　偏差演算部
１２５　画像編集・出力部
２００　ユーザ端末
２０１　画像表示装置
２０４　三次元計測装置
１２１０　ニューラルネットワーク・ディープラーニングモデル
１２１１　特徴抽出層
１２１２　分類層
１２１３　三次元表面形態座標データ
１２１４　ランドマーク座標推定値
１２１５　ランドマーク座標教師データ
１２１６　相同モデル
１２１７　特徴データ

Claims (9)

  1. 　人体における対象部位の三次元表面形態を評価する形態評価方法であって、
    　三次元計測装置を用いて被検者の対象部位をスキャンニングすることで該対象部位の三次元表面形態を表す被検者座標データを得るステップと、
    　前記被検者座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が被検者相同モデルを生成する処理を行うステップと、
    　平均形態生成部が、複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成するステップと、
    　偏差演算部が、前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算するステップと
    を含み、
    　前記偏差を用いて該被検者における該対象部位の三次元表面形態が評価される形態評価方法。
  2. 　ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより解剖学的ランドマークを抽出する、請求項１に記載の形態評価方法。
  3. 　ランドマーク抽出部が、機械学習処理により、前記標本座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより解剖学的ランドマークを抽出するステップと、
    　前記標本座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が標本相同モデルを生成する処理を行うステップと
    を更に含み、
    　前記平均形態生成部が、前記複数人の健常者についての前記標本相同モデルの群から、それらの平均形態を表す前記標準相同モデルを生成する、請求項２に記載の形態評価方法。
  4. 　前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて画像表示装置により視覚化するステップを含む、請求項１～３の何れか１項に記載の形態評価方法。
  5. 　人体における対象部位の三次元表面形態を評価するよう構成された形態評価システムであって、
    　三次元計測装置を用いて被検者の対象部位をスキャンニングして得た三次元表面形態を表す被検者座標データから解剖学的ランドマークを自動的に抽出する処理を行うランドマーク抽出部と、
    　前記解剖学的ランドマークに基づいて被検者相同モデルを生成する処理を行うモデル生成部と、
    　複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成する平均形態生成部と、
    　前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算する偏差演算部と
    を備える形態評価システム。
  6. 　前記ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより前記解剖学的ランドマークを抽出する処理を行う、請求項１に記載の形態評価システム。
  7. 　複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、
    　前記平均形態生成部が、前記標本相同モデルの集合全体に対し多変量解析を行い、前記標本相同モデルと予め定めた相同モデルの形態を特徴付ける複数の特徴パラメータの特徴値とを関連付ける変換行列を求め、多次元特徴パラメータ空間において分散する前記特徴値のベクトル重心を算出し、算出した前記ベクトル重心の特徴値を前記変換行列で変換することで、前記標準相同モデルを生成する処理を行う、請求項５又は６に記載の形態評価システム。
  8. 　複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、
    　前記平均形態生成部が、空間に設定した制御格子点を移動させて形態を操作する自由形態変形法により前記標本相同モデルを相互に仮想変形させ、仮想変形させたときの形態間距離の分散が最小となる制御格子点移動パターンの平均を演算し、演算した制御格子点平均移動パターンを中央値の前記標本相同モデルに適用することで前記標準相同モデルを生成する処理を行う、請求項５又は６に記載の形態評価システム。
  9. 　前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて表示する画像表示装置を更に含む、請求項５～８の何れか１項に記載の形態評価システム。
PCT/JP2021/008629 2021-03-05 2021-03-05 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム WO2022185517A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/008629 WO2022185517A1 (ja) 2021-03-05 2021-03-05 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/008629 WO2022185517A1 (ja) 2021-03-05 2021-03-05 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム

Publications (1)

Publication Number Publication Date
WO2022185517A1 true WO2022185517A1 (ja) 2022-09-09

Family

ID=83154032

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008629 WO2022185517A1 (ja) 2021-03-05 2021-03-05 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム

Country Status (1)

Country Link
WO (1) WO2022185517A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084789A1 (ja) * 2007-01-09 2008-07-17 National Institute Of Advanced Industrial Science And Technology 三次元形状モデル生成装置、三次元形状モデル生成方法、コンピュータプログラム、及び三次元形状モデル生成システム
JP2017102855A (ja) * 2015-12-04 2017-06-08 株式会社オンワードホールディングス 三次元形状オブジェクトの平均形状算出方法及びそのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008084789A1 (ja) * 2007-01-09 2008-07-17 National Institute Of Advanced Industrial Science And Technology 三次元形状モデル生成装置、三次元形状モデル生成方法、コンピュータプログラム、及び三次元形状モデル生成システム
JP2017102855A (ja) * 2015-12-04 2017-06-08 株式会社オンワードホールディングス 三次元形状オブジェクトの平均形状算出方法及びそのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TSUKIBOSHI YOSUKE, TANIKAWA CHIHIRO, YAMASHIRO TAKASHI: "Surface-based 3-dimensional cephalometry: An objective analysis of cranio-mandibular morphology", AMERICAN JOURNAL OF ORTHODONTICS & DENTOFACIAL ORTHOPEDICS, ELSEVIER, AMSTERDAM, NL, vol. 158, no. 4, 1 October 2020 (2020-10-01), AMSTERDAM, NL , pages 535 - 546, XP055967212, ISSN: 0889-5406, DOI: 10.1016/j.ajodo.2019.09.017 *

Similar Documents

Publication Publication Date Title
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
Paniagua et al. Clinical application of SPHARM-PDM to quantify temporomandibular joint osteoarthritis
JP7543380B2 (ja) 頭部計測解析のための方法
Huete et al. Past, present, and future of craniofacial superimposition: Literature and international surveys
US20170258420A1 (en) Method for 3-D Cephalometric Analysis
US20210174503A1 (en) Method, system and storage medium with a program for the automatic analysis of medical image data
WO2017069231A1 (ja) 人体における治療後の形態予測方法及びシステム
EP3471617B1 (en) Method and system for 3d cephalometric analysis
Bindushree et al. Artificial intelligence: In modern dentistry
CN114450716A (zh) 用于卒中表征的图像处理
CN117838097A (zh) 一种基于关键点检测的脊柱畸形分析系统
Landi et al. Applying geometric morphometrics to digital reconstruction and anatomical investigation
WO2022185517A1 (ja) 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム
Liang et al. 3d spine model reconstruction based on rgbd images of unclothed back surface
JP7395143B2 (ja) 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム
Liu Chronological age estimation of lateral cephalometric radiographs with deep learning
Zhou et al. Learning stochastic object models from medical imaging measurements by use of advanced ambientgans
KR101455198B1 (ko) Ｃｔ 영상 분석을 이용한 흉곽 변형성 정량적 평가 지표값 계산 방법, 시스템 및 기록 매체
Ali et al. Cranio-maxillofacial post-operative face prediction by deep spatial multiband VGG-NET CNN
Amara et al. Augmented reality for medical practice: a comparative study of deep learning models for ct-scan segmentation
Ding et al. Modeling and Printing Technology Based on 3D Registration Algorithm of MIMICS Software Applied to Hip Fracture
KR101717971B1 (ko) 안면골 형태분석 방법, 기록매체 및 안면골 형태분석 장치
Xu et al. 2D photogrammetry image of adolescent idiopathic scoliosis screening using deep learning
CN103083019A (zh) 用于对身体部位特别是手进行医学成像的方法
Sobhana et al. Automatic Cephalometric Analysis using Machine Learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21929089

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21929089

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP