WO2017069231A1 - 人体における治療後の形態予測方法及びシステム - Google Patents

人体における治療後の形態予測方法及びシステム Download PDF

Info

Publication number
WO2017069231A1
WO2017069231A1 PCT/JP2016/081236 JP2016081236W WO2017069231A1 WO 2017069231 A1 WO2017069231 A1 WO 2017069231A1 JP 2016081236 W JP2016081236 W JP 2016081236W WO 2017069231 A1 WO2017069231 A1 WO 2017069231A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
correction
case
model
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/081236
Other languages
English (en)
French (fr)
Inventor
千尋 谷川
健治 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Osaka NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Priority to JP2017545807A priority Critical patent/JP6548097B2/ja
Priority to US15/770,461 priority patent/US11065084B2/en
Publication of WO2017069231A1 publication Critical patent/WO2017069231A1/ja
Anticipated expiration legal-status Critical
Priority to US17/315,896 priority patent/US11617633B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings

Definitions

  • the present invention relates to a method and system for predicting a form after treatment in a human body by mathematical operation processing.
  • the present invention relates to a method and a system for predicting a specific part form such as a face form of a patient after orthodontic treatment or a breast after operation with high accuracy.
  • the human face has a strong influence on the psychological satisfaction that the self is socially accepted. Facial expressions play an important role as non-verbal communication means for transmitting emotions and thoughts in social life. Therefore, in modern orthodontic treatment, it is recognized from the social psychological standpoint that improving the soft tissue morphology of the face is one of the important therapeutic purposes.
  • the prediction of facial changes after orthodontic treatment is based on the cephalometric radiograph (also referred to as “cephalogram” or simply “cephalo”) and the hard tissue (dental skeleton) and soft tissue of the patient before correction. (Muscle and skin) based on the profile.
  • cephalometric radiograph also referred to as “cephalogram” or simply “cephalo”
  • cephalo the hard tissue
  • soft tissue of the patient before correction.
  • the profile based on the profile.
  • image processing display such as moving hard tissue on a two-dimensional cephalo image displayed on a monitor and moving soft tissue following it Wear is widespread.
  • Patent Document 1 discloses a method for predicting the appearance of a face in a frontal view after surgery from a frontal cephalometric X-ray standard photograph and a normal facial photograph of the patient in surgical correction treatment of a jaw deformity patient. It is disclosed.
  • the present invention is a method for predicting a post-treatment form in a human body by mathematical calculation processing, and from multi-dimensional case form data obtained from a plurality of treated patients. Extracting a case feature vector of the patient, extracting a multidimensional patient feature vector from the patient form data acquired from the patient, calculating a normalized patient form model based on the patient form data of the patient, and Selecting an approximate case feature vector that approximates the patient feature vector from the case feature vectors, and before and after treatment normalized based on case form data corresponding to the selected approximate case feature vector A step of calculating an approximate case form model, and a step of calculating a difference between the pre-treatment and post-treatment approximate case form models. If, in consideration of the difference in the patient form model, and a step of calculating a form model that is expected after treatment of the patient in the form method of predicting post-treatment.
  • the present invention is a face shape prediction method after correction treatment, which is a plurality of features preset for human face shape based on pre-correction three-dimensional face data of a plurality of patients who have undergone correction treatment Based on the step of extracting a multidimensional pre-correction feature vector Fpre (i) having a variable as an element and the three-dimensional face data of a new patient (evaluation target patient) who is considering corrective treatment, the feature variable is calculated.
  • a distance between the step of extracting the multidimensional target patient feature vector Fnew as an element and the target patient feature vector Fnew among the precorrection feature vectors Fpre (i) for the plurality of patients who have undergone correction treatment Selecting the case patients of a predetermined number k in order of closeness, and the face of each case patient normalized the arrangement of the feature points obtained from the three-dimensional face data before correction of each selected case patient Morphological model
  • the face form prediction method after correction treatment includes a plurality of preselected human face forms based on three-dimensional face data before correction of a plurality of patients who have undergone correction treatment.
  • the clustering process is performed for the case class to be classified into a plurality of cases, the step of calculating the cluster centroid Gpre (l) of each case class, and a new patient (evaluation target patient) who is considering corrective treatment
  • This face form prediction method is based on the pre-correction cephalometric radiograms of the plurality of patients who have undergone orthodontic treatment.
  • the method further includes the step of extracting a pre-correction cephalo feature vector Cpre (i), wherein the step of classifying the case data of the plurality of patients includes the pre-correction feature vector Fpre (i) of the plurality of patients and the pre-correction cephalo.
  • Clustering processing may be performed on a set of extended feature vectors V (i) obtained by combining feature vectors Cpre (i).
  • this face form prediction method is based on a plurality of characteristic variables set in advance for human skeleton forms based on pre-correction cephalometric X-ray photographs of the plurality of patients who have undergone correction treatment. Extracting a dimensional pre-correction cephalo feature vector Cpre (i) and extracting a multi-dimensional post-correction cephalo feature vector Cpost (i) based on the corrected head X-ray standard photographs of the plurality of patients. In the step of classifying the case data of the plurality of patients, the pre-correction feature vector Fpre (i), the pre-correction cephalo feature vector Cpre (i), and the post-correction cephalo feature vector of the plurality of patients.
  • the face form prediction method further includes a step of incorporating a feature vector and / or face form model obtained from the three-dimensional face data of the evaluation subject patient into a database.
  • the present invention is also a face morphology prediction system after orthodontic treatment comprising a database and an arithmetic processing device that executes arithmetic processing based on data stored in the database, wherein the database is at least orthodontic treatment
  • Multi-dimensional pre-correction feature vector Fpre (i) extracted based on a plurality of feature variables set in advance for human face form based on the three-dimensional face data before correction of a plurality of patients who have performed
  • the pre-correction facial shape model Hpre (i) in which the arrangement of the feature points obtained from the three-dimensional face data before correction of the plurality of patients is normalized, and the characteristics obtained from the three-dimensional face data after correction of the plurality of patients
  • the post-correction facial morphological model Hpost (i) in which the dot arrangement is normalized is stored in advance, and the arithmetic processing unit is based on the three-dimensional face data of a new patient (evaluation target patient) who is considering the correction treatment.
  • the special A feature vector extracting means for extracting a multidimensional target patient feature vector Fnew having a variable as an element, and a pre-correction feature vector Fpre (i), a predetermined number of cases in order of increasing distance from the target patient feature vector Fnew.
  • a facial morphological modeling unit for calculating a target patient facial morphological model Hnew which is a facial morphological model of the patient in which the arrangement of the points is normalized, and a vector of the precorrected facial morphological model from a vector average AVEpost of the corrected facial morphological model Face form minus average AVEpre
  • a face morphology prediction system after correction treatment includes a database and an arithmetic processing device that executes arithmetic processing based on data stored in the database, and the database includes at least correction.
  • a multi-dimensional pre-correction feature vector Fpre (i) extracted by using a plurality of feature variables set in advance for human face forms as elements
  • the pre-correction facial shape model Hpre (i) normalized the arrangement of feature points obtained from the three-dimensional face data before correction of the plurality of patients and the three-dimensional face data after correction of the plurality of patients.
  • the post-correction facial shape model Hpost (i) in which the feature point arrangement is normalized is stored in advance, and the arithmetic processing unit performs a clustering process on the set of pre-correction feature vectors Fpre (i) of the plurality of patients.
  • case class classification means for calculating multiple case classes and cluster centroid Gpre (l) of each case class, and 3D face data of new patients (patients to be evaluated) considering corrective treatment
  • the feature vector extracting means for extracting the multidimensional target patient feature vector Fnew having the feature variable as an element, and the distance from the target patient feature vector Fnew among the clustered cluster centroids Gpre (l)
  • a facial shape modeling means for calculating a target patient face shape model Hnew which is a face shape model of the patient obtained by normalizing the arrangement of feature points obtained from the three-dimensional face
  • the database further includes a plurality of features set in advance for human skeleton forms based on pre-correction cephalometric radiographs of the plurality of patients who have undergone correction treatment.
  • a multi-dimensional pre-correction cephalometric feature vector Cpre (i) extracted using a variable as an element is stored in advance, and the case class classifying means stores the plurality of pre-correction feature vectors Fpre (i) and the pre-correction cephalometric features.
  • Clustering processing may be performed on a set of extended feature vectors V (i) obtained by combining vectors Cpre (i).
  • the face form prediction system further includes a multidimensional post-correction cephalo feature vector Cpost (i) extracted from the database based on post-correction cephalometric radiographs of the plurality of patients who have undergone correction treatment.
  • the case class classification means combines the pre-correction feature vector Fpre (i), the pre-correction cephalo feature vector Cpre (i) and the post-correction cephalo feature vector Cpost (i) of the plurality of patients. Clustering processing may be performed on the set of extended feature vectors V (i).
  • the face form prediction system further includes case data incorporation means for incorporating a feature vector and / or a face form model obtained from the three-dimensional face data of the evaluation subject patient into the database.
  • the present invention is a post-treatment breast shape prediction method, and includes a plurality of preselected feature variables based on preoperative three-dimensional breast shape data of a plurality of patients who have undergone surgical treatment.
  • a multidimensional target patient feature vector Fnew having the feature variables as elements is extracted.
  • the three-dimensional form before and after treatment of a patient's face, breast and other specific human body parts can be predicted easily and accurately by mathematical operation processing in light of past cases. Therefore, it can contribute to the appropriate judgment of the treatment policy for the patient.
  • FIG. 1 illustrates a schematic configuration of a face form prediction system after orthodontic treatment.
  • the face form prediction method according to the present invention is executed mainly by mathematical operation processing of the arithmetic processing unit 10 in the face form prediction system shown in FIG.
  • all processing described below may not necessarily be executed by one arithmetic processing device 10.
  • the problem of the present invention can be solved, for example, case data obtained by another system, or intermediate data that has already been arithmetically processed and made into a database (specifically, feature vectors, face forms, etc.) Model etc.) may be used by the arithmetic processing unit 10 of this system.
  • a part of processing that handles a large amount of data such as high-order vector calculation processing or three-dimensional modeling processing may be performed by a high-speed host computer on a network, for example.
  • a large capacity data storage 20, an input device 30, and an output device 40 are connected to the arithmetic processing device 10.
  • the data storage 20 may be, for example, a hospital data server that can be accessed from the arithmetic processing device 10 via a network, in addition to a hard disk or an optical disk directly connected to the arithmetic processing device 10. Further, the data storage 20 may be provided in, for example, a cloud data center on a wide area network.
  • the data storage 20 includes X-ray photograph data and 3D face data of a patient, feature vectors and face form models of face forms as intermediate data, predicted face form models as evaluation data, and the like. Case data stored in the database 21 is stored. In addition, it is preferable that access to the data storage 20, the database 21, etc. is limited only to a specific person (for example, a doctor in charge) who is allowed to share data.
  • the arithmetic processing device 10 is a computer device that executes arithmetic processing based on data stored in the data storage 20 or the database 21.
  • the input device 30 includes operation input devices such as a keyboard, a mouse, and a touch panel. Further, the input device 30 may be a device having a function capable of inputting data acquired or processed by another system to the arithmetic processing device 10 via an information storage medium or a network.
  • the output device 40 includes, for example, an image display that visualizes and displays predicted face form data in three dimensions. Further, the output device 40 stores such data in an information storage medium so that intermediate data such as feature vectors processed by the arithmetic processing device 10 and evaluation data such as a predicted face form model can be provided to another system. Or a communication output device that can output to the outside via a network.
  • the facial shape prediction system captures patient face photo data and three-dimensional face data taken in a hospital laboratory or the like via the data storage 20 or the database 21 or directly into the arithmetic processing unit 10. It is configured to be. These patient face data may be input from the input device 30 via an information storage medium, or may be input to the present system via a hospital network, for example.
  • the face form prediction system includes a digital camera 61 that captures a patient's face, a three-dimensional camera 62 that acquires patient three-dimensional face data, or a general three-dimensional measuring device such as a three-dimensional scanner or a laser profiler. It may be included.
  • the database 21 of the data storage 20 includes at least image data obtained by photographing a face before and after orthodontic treatment of a plurality of patients who have already performed orthodontic treatment with a three-dimensional camera 62 or another three-dimensional measuring device.
  • the obtained three-dimensional face data is stored.
  • Case data including three-dimensional face data of each patient is classified into a database for each patient's sex, age, treatment site, treatment method, and the like. Therefore, the arithmetic processing device 10 narrows the case from the database 21 to a specific patient group that is similar to the patient to be evaluated, for example, the same gender, the same generation, and the same treatment site. Data can be searched.
  • the face form prediction system optionally stores patient cephalometric radiogram (hereinafter referred to as “cephalo”) data in the arithmetic processing unit 10 and / or the data storage 20 (database 21). It may be entered.
  • the arithmetic processing apparatus 10 may be connected to an X-ray examination apparatus (cephalo system) 63 so as to be accessible via, for example, a hospital network. Then, the pre-correction and post-correction cephalometric data of patients who have already undergone orthodontic treatment may be stored in advance in the data storage 20 as case data.
  • the arithmetic processing apparatus 10 includes, as arithmetic processing means realized by the arithmetic processing, a feature vector extraction means 110, an approximate case patient selection means 120, a face form modeling means 130, a face form classification means 140, and a prediction.
  • a face form model calculating means 150, a face form reconstructing means 160, and a case data incorporation means 170 are provided.
  • the feature vector extraction unit 110 includes a pre-correction feature vector extraction unit 111, a post-correction feature vector extraction unit 112, and a target patient feature vector extraction unit 113.
  • the face shape modeling means 130 includes a case patient face shape modeling means 131 and a target patient face shape modeling means 132.
  • the pre-correction feature vector extraction unit 111 preliminarily sets a human face form based on pre-correction three-dimensional face data (case form data) of a plurality of patients (for example, p persons) who have already performed orthodontic treatment.
  • the “three-dimensional face data” means three-dimensional coordinate data obtained by acquiring a predetermined part such as the whole face of the patient or an occlusal portion with a general three-dimensional measuring device such as a three-dimensional camera 62 or a three-dimensional scanner. .
  • the two-dimensional and three-dimensional face data may be stored in the database 21 as one of the patient's case data or associated with each patient's case data.
  • the face data may include data of at least two or more facial expressions (such as when resting and smiling) of the same patient.
  • the feature vector extraction unit 110 is a geometric parameter representing a feature of a human face form. This is a calculation means for finally extracting a multidimensional feature vector using the feature parameter.
  • the “characteristic parameter” is a geometric parameter that characteristically represents the form of the human face, and is selected in advance by a specialist based on the experience and knowledge, for example. Here, some explanation is added about the characteristic parameter and the characteristic variable.
  • FIG. 3 shows an example of feature parameters selected in a human face outline.
  • the human face can recognize some inflection points in its form.
  • an inflection point the corner of the boundary line such as the eyes and the nose, the most protruding position in three dimensions, the most depressed position, and the like can be selected.
  • an inflection point is referred to as a landmark, and is used for defining characteristic parameters.
  • the landmark is not particularly limited as long as it is a point that can be defined geometrically, such as the center point of a straight line connecting two inflection points, even if it is not an inflection point.
  • the outline of the face can be extracted as follows. First, the surface normal at each pixel of the three-dimensional surface data is calculated by a calculation program customized for measuring the face form from the front image of the face. In addition, the angle between the z-axis and the face normal is calculated for each coordinate on the face surface. Each coordinate point whose angle between the z-axis and the face normal is, for example, 60 degrees is extracted, and a line connecting these points is used as a face outline. The angle defining the outline of the face is preferably an angle between 45 degrees and 90 degrees.
  • feature parameters is the distance between landmarks.
  • the characteristic parameter v1 shown in FIG. 3 is defined as a distance (
  • the distance between the line connecting the landmarks for example, the line connecting the outermost edge Zy ′ of the face and the chin protrusion Gn
  • the landmark for example, the cheek protrusion Go ′.
  • the feature parameter is an angle of a line connecting landmarks.
  • the angle of the feature parameter v4 is determined by the positional relationship between the outermost edge Zy ′ of the face, the cheek protrusion Go ′, and the cheek.
  • the distance feature parameter may be a dimensionless quantity. For example, a width (
  • FIGS. 4 to 6 a plurality of feature parameters are also selected from a cross section based on three-dimensional data obtained by photographing a specific part of a human face.
  • These cross sections are created by data processing based on anatomical measurement points after determining a three-dimensional coordinate system.
  • FIG. 4 shows, as an example, a yz cross section when the subject's face is cut along a line connecting the corner of the eye Ex and the mouth corner point Ch.
  • the angle (v7) in the z-axis direction of the mouth angle Ch with the eye corner Ex as the base point, the angle (v8) of the cheek protrusion P (Ex-Ch) in the cross section with the eye corner Ex as the base point, the eye corner Ex and the mouth angle Ch The length (v12) of the outer contour curve, the area (v13) closed by the outer contour curve, and the like can be selected as the characteristic parameters.
  • FIG. 5 shows, as an additional example, an xz cross section when the subject's face is cut along a horizontal plane passing through the lower nose point Sn.
  • FIG. 6 illustrates an xz cross section when the subject's face is cut along a horizontal plane passing through the most protruding point Pm of the nose.
  • the amount of projection in the z direction (v14, v18), the angle of the protrusion (v16, v20), the amount of projection (v17, v22, v23) at various cross-sectional positions.
  • the angle (v21) of the concave portion can be selected as the characteristic parameter.
  • the cross section characterizing the facial form may be, for example, a cross section passing through the interbrow point Gla, the nose root point N, the upper lip point Ls, the lower lip point Li, and the mental point Sm. Further, a difference or a ratio with respect to the z average value of the specific part may be added to the feature parameter.
  • Feature vector extraction means 110 performs a process of measuring feature variables corresponding to a plurality of feature parameters selected and set from the patient's three-dimensional face data.
  • Two or more feature vectors may be extracted for each patient from data obtained by photographing different facial expressions such as when resting and smiling. Further, an expression vector that uses a feature variable measured from the facial expression data that is the difference between them as a vector element may be extracted.
  • the pre-correction feature vector extraction unit 111 uses, for example, n feature variables as elements from the three-dimensional face data before correction of, for example, p patients who have already performed orthodontic treatment.
  • Fpre (1) [v1, v2, v3, ..., vn]
  • Fpre (2) [v1, v2, v3, ..., vn]
  • Fpre (p) [v1, v2, v3, ..., vn] are extracted.
  • the post-correction feature vector extraction means 112 performs an n-dimensional post-correction feature vector (after treatment) from the post-correction three-dimensional face data (case form data) of a patient who has already performed orthodontic treatment by the same processing as described above.
  • Case feature vectors: Fpost (1) [v1, v2, v3, ..., vn], Fpost (2) [v1, v2, v3, ..., vn], ..., Fpost (p) [v1, v2, v3 ,..., Vn] may be extracted.
  • the feature vectors Fpre (i) and Fpost (i) may be extracted using a deep learning method.
  • the arithmetic processing unit 10 does not perform the feature vector extraction processing, but stores the database. The subsequent processing may be performed with reference to the data 21.
  • the target patient feature vector extraction means 113 performs the same feature variable from the three-dimensional face data (patient form data) of a new patient (referred to as “evaluation target patient”) that is considering correction treatment by the same processing as described above.
  • An n-dimensional target patient feature vector Fnew [v1, v2, v3,..., Vn] is extracted (step S12).
  • the approximate case patient selection means 120 out of the pre-correction feature vectors Fpre (i) for the p patients who have undergone the correction treatment, and the target patient feature vector Fnew and the distance (
  • An approximate case patient with k cases is selected in the order in which
  • the “distance” between the vectors may be either the Euclidean distance or the Manhattan distance.
  • the number k of cases selected in step S13 is a number determined in advance by a specialist doctor or the like. Further, in step S13, a case that is close to the target patient who is considering the correction treatment and the pre-correction feature vector Fpre (i) focused on the past patient having the same gender, age, treatment site, and the like. It is preferred to select a patient.
  • the three-dimensional face data obtained by the three-dimensional camera 62 or the like differs in the number of data acquired depending on the size of each patient's face, and the position of the origin depends on the standing position of the photographed patient. Is different.
  • the face form that models the three-dimensional face data into a normalized face form model Modeling means 130 (case patient face shape modeling means 131, target patient face shape modeling means 132) is provided.
  • the facial shape modeling means 130 extracts a predetermined anatomical feature point from the patient's three-dimensional face data, and arranges the feature point on a polygon having the same number of points and the same topological structure.
  • a morphological model constructed by such a method is generally called a “homology model”, and for example, an HBM (Homologous Body Modeling) program provided by the National Institute of Advanced Industrial Science and Technology can be used.
  • HBM Homologous Body Modeling
  • the target patient face form modeling unit 132 extracts anatomical feature points from the three-dimensional face data (patient form data) of the evaluation subject patient who is considering the correction treatment, and uses the arrangement of the feature points as, for example, a homologous model.
  • the normalized target patient face form model (patient form model) Hnew is calculated (step S14).
  • the calculated pre-correction facial shape model Hpre (i) and post-correction facial shape model Hpost (i) of all patients may be incorporated into the database 21 as case data. Further, in the case where the pre-correction facial shape model Hpre (i) and the post-correction facial shape model Hpost (i) of the past patient are already provided by the database 21, the arithmetic processing unit 10 performs these modeling processes. The following processing may be performed by referring to the model data in the database 21 without performing the above.
  • the predicted face shape model Hprd obtained in step S20 merely roughly represents only anatomical feature points predicted after orthodontic treatment. Therefore, in order to reproduce the predicted actual facial form more faithfully, the facial form reconstruction means 160 converts the anatomical feature point of the predicted facial form model Hprd into the coordinate system of the 3D face data of the patient to be evaluated. It is preferable to reconstruct the predicted three-dimensional face data by rearranging (step S21). Thereby, for example, the side face of the patient's face predicted after the treatment can be displayed three-dimensionally on the output device 40 such as an image display (step S22), and the effect of the orthodontic treatment can be obtained while viewing the image. It will be possible for the patient to fully understand.
  • the case data transfer means 170 may transfer the 3D face data of the target patient for which the evaluation has been performed into the database 21. Further, the case data incorporation means 170 is a target patient face shape model Hnew obtained by modeling the target patient feature vector Fnew before correction extracted from the three-dimensional face data of the evaluation target patient and the anatomical feature points of the three-dimensional face data. May be incorporated into the database 21. Further, the case data incorporation means 170 stores in the database 21 the three-dimensional face data after the orthodontic treatment of the patient, the feature vector after the correction extracted from the three-dimensional face data after the treatment, and / or the face shape model after the correction. May be transferred. By accumulating these data in the database 21, it is possible to further increase the accuracy of face form prediction after treatment of a future patient.
  • the arithmetic processing apparatus 10 includes, as arithmetic processing means realized by the arithmetic processing, a feature vector extraction means 110, a case class classification means 180, an approximate case class selection means 190, a face form modeling means 130, and a face form.
  • a typifying unit 140, a predicted face form model calculating unit 150, a face form reconstructing unit 160, and a case data incorporation unit 170 are provided.
  • the feature vector extraction unit 110 includes a pre-correction feature vector extraction unit 111, a post-correction feature vector extraction unit 112, and a target patient feature vector extraction unit 113.
  • the face shape modeling means 130 includes a case patient face shape modeling means 131 and a target patient face shape modeling means 132.
  • the pre-correction feature vector extraction unit 111 includes a plurality of features set in advance for a human face form from, for example, three-dimensional face data (case form data) before correction of p patients who have already performed orthodontic treatment.
  • N-dimensional pre-correction feature vector (pre-treatment case feature vector) Fpre (1) [v1, v2, v3, ..., vn], Fpre (2) [v1, v2, v3, ..., vn] ,..., Fpre (p) [v1, v2, v3,..., Vn] are extracted (step S31).
  • the post-correction feature vector extraction means 112 performs the same process from the post-correction three-dimensional face data (case form data) of the patient who has already performed orthodontic treatment, and similarly uses the n-dimensional post-correction feature vector (post-treatment case feature).
  • Vector Fpost (1) [v1, v2, v3, ..., vn], Fpost (2) [v1, v2, v3, ..., vn], ..., Fpost (p) [v1, v2, v3, ... , vn] may be extracted.
  • the feature vectors Fpre (i) and Fpost (i) may be extracted using a deep learning method.
  • the arithmetic processing unit 10 does not perform the feature vector extraction processing.
  • the subsequent processing may be performed with reference to the vector data in the database 21.
  • a general vector quantization method such as Lloyd method or k-means method can be used (see FIGS. 8 and 9).
  • the “distance” between the vectors may be either the Euclidean distance or the Manhattan distance.
  • the primary cluster centroid G * (l) at the shortest distance is searched, and a group of feature vectors Fpre (i) having the shortest distance centroid G * (l) in common is searched.
  • the secondary cluster centroid G ** (l) is obtained also in the secondary cluster CL ** (l), and the tertiary cluster centroid G *** (l) is obtained from the group of feature vectors Fpre (i) at the shortest distance.
  • the process of optimizing the number of clusters may be performed by the following algorithm.
  • the distance DN (l, j) between each centroid GN (l) obtained with each cluster number N 3, 4,..., 12 and the feature vector Fpre (i) belonging to the cluster of each centroid GN (l).
  • Minimum DN (l) min is obtained by equation (1).
  • An intercluster distance DN which is an average value of the minimum distances of the respective clusters, is obtained by Expression (2).
  • the case class classification unit 180 calculates a plurality of cluster centroids Gpre (l) from case data of past patients who have already undergone orthodontic treatment, and each case class CL (l ) (Step S32).
  • the feature vector extracting unit 110 may include a pre-correction cephalometric feature vector extracting unit 114.
  • the pre-correction cephalo feature vector extraction unit 114 uses the pre-correction cephalo feature vector Cpre (i) having multi-dimensional feature variables as elements from cephalo data collected before correction of a past patient who has already performed orthodontic treatment. ) Is extracted (step S33).
  • the feature vector extraction unit 110 may further include a post-correction cephalometric feature vector extraction unit 115.
  • the post-correction cephalo feature vector extraction means 115 is a post-correction cephalo feature vector Cpost (i) having multi-dimensional feature variables as elements from cephalo data collected after correction of past patients who have already performed orthodontic treatment. Is extracted (step S34). Then, in the process of step S32, the case class classification unit 180 combines the past patient pre-correction feature vector Fpre (i), the pre-correction cephalo feature vector Cpre (i), and the post-correction cephalo feature vector Cpost (i). Clustering processing may be performed on the set of extended feature vectors V (i).
  • the past patient cephalo data, the pre-correction cephalo feature vector Cpre (i) and the post-correction cephalo feature vector Cpost (i) extracted from them are incorporated into the database 21.
  • the arithmetic processing device does not perform the arithmetic processing by the feature vector extraction means 110. 10 may refer to the data in the database 21 for subsequent processing.
  • the cluster centroid Gpre (l) and the like classified from the past patient case data is incorporated into the database 21 by the clustering process in step S32.
  • the arithmetic processing device 10 does not perform the above-described clustering process, and performs the process related to the facial shape prediction of the patient to be evaluated thereafter. May only do.
  • the target patient feature vector extraction unit 113 extracts an n-dimensional target patient feature vector Fnew [v1, v3 which has a predetermined feature variable as an element from the three-dimensional face data (patient form data) of the evaluation target patient who is considering corrective treatment. v2, v3,..., vn] are extracted (step S35).
  • the approximate case class selection means 190 uses the subject patient feature vector Fnew among the centroids Gpre (l) of the precorrection feature vectors Fpre (i) belonging to each case class classified by clustering the past patient case data.
  • ) is selected (step S36; see FIG. 9).
  • the “distance” may be either the Euclidean distance or the Manhattan distance.
  • the target patient face form modeling unit 132 extracts anatomical feature points from the three-dimensional face data (patient form data) of the evaluation target patient, and normalizes the target patient face form model (patient form model), for example, as a homologous model. Hnew is calculated (step S37).
  • the case patient face shape modeling unit 131 uses, for example, homologous arrangement of anatomical feature points obtained from the three-dimensional face data before correction of each case patient belonging to the approximate case class CL (near) selected in step S36.
  • the case patient face shape modeling unit 131 normalizes the arrangement of anatomical feature points obtained from corrected three-dimensional face data of each case patient belonging to the approximate case class CL (near), for example, as a homologous model.
  • the calculated pre-correction facial shape model Hpre (i) and post-correction facial shape model Hpost (i) of all patients may be incorporated into the database 21 as case data. Further, in the case where the pre-correction facial shape model Hpre (i) and the post-correction facial shape model Hpost (i) of the past patient are already provided by the database 21, the arithmetic processing unit 10 performs these modeling processes. The following processing may be performed by referring to the model data in the database 21 without performing the above.
  • the face shape reconstruction means 160 preferably reconstructs the predicted 3D face data by rearranging the anatomical feature points of the predicted face shape model Hprd in the coordinate system of the 3D face data of the patient to be evaluated. (Step S42). Thereby, for example, the side face of the patient's face predicted after the treatment can be displayed three-dimensionally on the output device 40 such as an image display (step S45), and the patient can fully understand the effect of the orthodontic treatment. It becomes possible to have you.
  • the case data transfer means 170 may transfer the 3D face data of the target patient for which the evaluation has been performed into the database 21. Further, the case data incorporation means 170 is a target patient face shape model Hnew obtained by modeling the target patient feature vector Fnew before correction extracted from the three-dimensional face data of the evaluation target patient and the anatomical feature points of the three-dimensional face data. May be incorporated into the database 21. Further, the case data incorporation means 170 stores in the database 21 the three-dimensional face data after the orthodontic treatment of the patient, the feature vector after the correction extracted from the three-dimensional face data after the treatment, and / or the face shape model after the correction. May be transferred. By accumulating these data in the database 21, it is possible to further increase the accuracy of face form prediction after treatment of a future patient.
  • the three-dimensional face form of a patient after orthodontic treatment can be easily and accurately predicted by mathematical operation processing.
  • the three-dimensional facial form of the target patient can be quantitatively evaluated, it is possible to contribute to appropriate determination of a treatment policy for the patient in the light of past cases.
  • the face form prediction method and face form prediction system according to the present invention can be used not only for orthodontic treatment but also for surgical treatment and aesthetic improvement of patients with jaw deformities, for example. It can also be used for prediction when performing treatment in combination with, for example, maxillofacial surgery (including oral surgery and plastic surgery) surgery alone, orthodontic treatment or jaw prosthesis treatment. Furthermore, the application can be expected to predict the aging of the face form.
  • FIG. 10 illustrates a schematic configuration of a breast shape prediction system according to this embodiment.
  • a large capacity data storage 20, an input device 30, and an output device 40 are connected to the arithmetic processing device 10.
  • the data storage 20 includes pre- and post-operative breast 3D morphological data (case morphological data) taken from a plurality of past breast cancer patients, and feature vectors extracted from pre- and post-operative 3D breast morphological data ( Case feature vectors: Fpre (i), Fpost (i), 3D morphological models normalized to 3D breast morphological data before and after surgery (case morphological models) Hpre (i), Hpost (i), etc.
  • the case data group stored in the database 21 is stored.
  • the arithmetic processing device 10 is a computer device that executes arithmetic processing based on data stored in the data storage 20 or the database 21.
  • the input device 30 includes operation input devices such as a keyboard, a mouse, and a touch panel. Further, the input device 30 may be a device having a function capable of inputting data acquired or processed by another system to the arithmetic processing device 10 via an information storage medium or a network.
  • the output device 40 includes, for example, an image display that visualizes and displays predicted breast shape data in three dimensions. Further, the output device 40 stores these data in an information storage medium so that intermediate data such as feature vectors processed by the arithmetic processing device 10 and evaluation data such as a predicted breast shape model can be provided to another system. Or a communication output device that can output to the outside via a network.
  • patient photograph data and three-dimensional morphology data taken in a hospital laboratory or the like are taken into the arithmetic processing apparatus 10 via the data storage 20 or the database 21 or directly. It is configured as follows. These patient data may be input from the input device 30 via an information storage medium, or may be input to the present system via a hospital network, for example.
  • the breast shape prediction system includes a digital camera 61 that images a breast that is a diseased part of a patient, a three-dimensional camera 62 that acquires three-dimensional shape data of a patient's breast, or a general three-dimensional scanner such as a three-dimensional scanner or a laser profiler.
  • a measuring device may be included as a component.
  • the arithmetic processing apparatus 10 includes, as arithmetic processing means realized by the arithmetic processing, a feature vector extraction means 210, an approximate case patient selection means 220, a breast shape modeling means 230, and a breast shape classification. Means 240, predictive form model calculating means 250, breast form reconstructing means 260, case data incorporation means 270, case class classification means 280, and approximate case class selection means 290 are provided.
  • the feature vector extracting unit 210 includes a preoperative feature vector extracting unit 211, a postoperative feature vector extracting unit 212, and a target patient feature vector extracting unit 213.
  • Breast shape modeling means 230 includes case patient breast shape modeling means 231 and target patient breast shape modeling means 232.
  • the preoperative feature vector extraction means 211 has a plurality of preset features from, for example, preoperative three-dimensional breast form data (pretreatment case form data) of, for example, p patients who have already been treated for breast cancer.
  • N-dimensional preoperative feature vectors (variable post-treatment case feature vectors) Fpre (1) [v1, v2, v3, ..., vn], Fpre (2) [v1, v2, v3, ..., vn] ,..., Fpre (p) [v1, v2, v3,..., Vn] are extracted (step S51).
  • the post-operative feature vector extraction unit 212 performs the same process from the post-operative three-dimensional breast form data (post-treatment case form data) of the same p patients, and also uses the same n-dimensional post-operative feature vector (post-treatment case feature).
  • Vector Fpost (1) [v1, v2, v3, ..., vn], Fpost (2) [v1, v2, v3, ..., vn], ..., Fpost (p) [v1, v2, v3, ... , vn].
  • pre- and post-operative feature vectors Fpre (i) and Fpost (i) may be extracted using a deep learning method.
  • the case class classification means 280 performs a clustering process on the set of preoperative feature vectors Fpre (i) of these case patients.
  • a general vector quantization method such as the Lloyd method or the k-means method can be used as described above (see FIGS. 8 and 9).
  • the cluster centroid Gpre (l) and the like classified from the past patient case data are incorporated into the database 21 by the clustering process in step S52.
  • the arithmetic processing unit 10 does not perform the clustering process of step S52, and relates to the subsequent breast shape prediction of the patient to be evaluated. Processing may be performed.
  • the target patient feature vector extraction unit 213 obtains an n-dimensional target patient feature vector Fnew [v1, v1 which has a predetermined feature variable as an element from the three-dimensional breast shape data (patient shape data) of the evaluation target patient who is considering treatment. v2, v3,..., vn] are extracted (step S53).
  • Approximate case class selection means 290 includes the target patient feature vector Fnew among the centroids Gpre (l) of preoperative feature vectors Fpre (i) belonging to each case class classified by clustering the past patient case data.
  • ) is selected (step S54).
  • the “distance” may be either the Euclidean distance or the Manhattan distance.
  • the target patient breast shape modeling means 232 extracts anatomical feature points from the three-dimensional breast shape data of the evaluation target patient, and calculates a target patient breast shape model (patient shape model) Hnew normalized as a homologous model, for example. (Step S55).
  • the case patient breast shape modeling means 231 uses, for example, an arrangement of anatomical feature points obtained from preoperative three-dimensional breast shape data of each case patient belonging to the approximate case class CL (near) selected in step S54.
  • the case patient breast morphological modeling means 231 normalizes the arrangement of anatomical feature points obtained from postoperative three-dimensional breast morphological data of each case patient belonging to the approximate case class CL (near) as a homologous model, for example.
  • the calculated preoperative breast morphology model Hpre (i) and postoperative breast morphology model Hpost (i) of all patients may be incorporated into the database 21 as case data.
  • the arithmetic processing unit 10 performs these modeling processes. The following processing may be performed by referring to the model data in the database 21 without performing the above.
  • the breast shape reconstruction means 260 reconstructs the predicted three-dimensional breast data by rearranging the anatomical feature points of the predicted breast shape model Hprd in the coordinate system of the evaluation target patient's three-dimensional breast shape data (step) S62). Thereby, for example, the form of the breast of the patient predicted after the operation can be displayed three-dimensionally on the output device 40 such as an image display (step S63). This makes it possible for the patient to fully understand the effect of the treatment.
  • the case data transfer means 270 may transfer the three-dimensional breast shape data of the subject patient who has been evaluated into the database 21.
  • the case data incorporation means 270 is a pre-operative target patient feature vector Fnew extracted from the three-dimensional breast shape data of the evaluation target patient, and a target patient breast shape obtained by modeling anatomical feature points of the three-dimensional breast shape data.
  • the model Hnew may be transferred to the database 21.
  • the case data incorporation means 270 may incorporate the post-treatment three-dimensional breast shape data, breast shape feature vector, and / or breast shape normalization model into the database 21. By accumulating these data in the database 21, it is possible to further increase the accuracy of breast shape prediction after treatment of future patients.
  • the breast shape prediction method or the breast shape prediction system of the embodiment described above it is possible to easily and accurately predict the three-dimensional breast shape of a patient after treatment by mathematical operation processing.
  • the three-dimensional breast morphology of the target patient can be quantitatively evaluated, it is possible to contribute to appropriate determination of the treatment policy for the patient in the light of past cases.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

人体における治療後の形態を演算処理により簡便かつ精度よく予測すること。　評価対象患者の顔データから特徴ベクトルＦnewを抽出するステップと、複数の過去の患者の顔データから抽出した特徴ベクトルＦpre(i)のうち特徴ベクトルＦnewと距離が近い複数の症例患者を選択するステップ、又は特徴ベクトルＦnewと距離が近いクラスタ重心Gpre(l)を有する近似症例クラスを選択するステップと、選択された過去の症例患者の治療前後の顔を正規化した矯正前顔形態モデルHpre(i)及び矯正後顔形態モデルHpost(i)を得るステップと、評価対象患者の顔を正規化した顔形態モデルHnewを得るステップと、評価対象患者と顔形態が近い症例患者の治療前後の顔形態モデルのベクトル平均差分AVEpost－AVEpreを、対象患者の顔形態モデルHnewに加味することで、矯正後に予測される三次元の予測顔形態モデルHprdを得るステップとを含む。

Description

人体における治療後の形態予測方法及びシステム
　本発明は、人体における治療後の形態を、数理演算処理により予測する方法及びそのシステムに関する。特に、例えば矯正歯科治療後の患者の顔形態又は術後の乳房等の特定の部位形態を高い精度で予測する方法及びそのシステムに関する。
　人の顔は、自己が社会的に受け入れられているという心理的充足を得る上で強い影響力を有している。また、顔の表情は、社会生活において、感情や思考の伝達を行う上の非言語コミュニケーション手段として重要な機能を果たすものである。それ故に現代の矯正歯科治療においては、社会心理学的な立場から、顔の軟組織の形態を改善することが重要な治療目的のひとつであると認識されている。
　例えば、歯科医師が、不正咬合を有する患者の治療方針を決定する際、抜歯か非抜歯か、また外科手術が必要なのか或いはカムフラージュ治療（外科手術を伴わない治療）で済むのかなどの治療方針を的確に判断するためには、患者の三次元の顔形態を客観的に評価し、更には治療後の顔形態の予測を行うことが不可欠となっている。
　従来、矯正歯科治療後の顔変化の予測は、頭部Ｘ線規格写真（「セファログラム」又は単に「セファロ」ともいう。）に写し出された矯正前の患者の硬組織（歯骨格）と軟組織（筋肉及び皮膚）のプロファイルに基づいて行われている。例えば、モニターに表示した二次元のセファロ画像上で硬組織を移動させると、それに追従して軟組織も移動する等の画像処理表示を行うことで、治療後の側貌を可視化してシミュレーションできるソフトウエアが広く普及している。
　しかし、従来のセファロを用いた予測アルゴリズムは、歯や顎骨などの硬組織と皮膚などの軟組織の移動量が単純な比例関係に立つという前提で構成されており、その比例定数も専門医師等の主観又は経験に基づき指定される。そのため、顔変化の予測結果には医療従事者間のバラツキがあり、定量的・客観的な意味において予測精度が保証された技術ではなかった。
　例えば特許文献１には、顎変形患者の外科的矯正治療における患者の術前の正面位頭部Ｘ線規格写真及び通常顔写真から、術後の正面観における顔の見え方を予測する方法が開示されている。
特開２０１４－１７１７０２号公報
　本発明は、人体における治療前と治療後の三次元の形態を定量的に評価し、過去の症例に照らして当該患者の治療方針の適切な判断に貢献できる等の技術を提供することを目的としている。
　上述の課題を解決するため、本発明は、人体における治療後の形態を数理演算処理により予測する方法であって、治療を行った複数の患者から取得した治療前の症例形態データから、多次元の症例特徴ベクトルを抽出するステップと、患者から取得した患者形態データから、多次元の患者特徴ベクトルを抽出するステップと、前記患者の患者形態データに基づき正規化した患者形態モデルを演算するステップと、前記症例特徴ベクトルのうちから、前記患者特徴ベクトルに近似する近似症例特徴ベクトルを選択するステップと、選択した前記近似症例特徴ベクトルに対応する症例形態データに基づき正規化した治療前と治療後の近似症例形態モデルを演算するステップと、前記治療前と治療後の近似症例形態モデルの差分を演算するステップと、前記患者形態モデルに前記差分を加味して、当該患者の治療後に予測される形態モデルを演算するステップとを含む、治療後の形態予測方法である。
　また、本発明は、矯正治療後の顔形態予測方法であって、矯正治療を行った複数の患者の矯正前の三次元顔データに基づいて、人間の顔形態について予め設定された複数の特徴変量を要素とする多次元の矯正前特徴ベクトルＦpre(i)を抽出するステップと、矯正治療を検討している新たな患者（評価対象患者）の三次元顔データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出するステップと、矯正治療を行った前記複数の患者についての矯正前特徴ベクトルＦpre(i)のうち、前記対象患者特徴ベクトルＦnewとの間で距離が近い順に、所定症例数ｋ人の症例患者を選択するステップと、前記選択された各症例患者の矯正前の三次元顔データから得た特徴点の配置を正規化した前記各症例患者の顔形態モデルである矯正前顔形態モデルHpre(i=i1,i2,…,ik)を演算するステップと、前記選択された各症例患者の矯正後の三次元顔データから得た特徴点の配置を正規化した前記各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)を演算するステップと、前記選択された各症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算するステップと、前記選択された各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算するステップと、前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算するステップと、前記評価対象患者の三次元顔データから得た特徴点の配置を正規化した当該患者の顔形態モデルである対象患者顔形態モデルHnewを演算するステップと、前記評価対象患者の顔形態モデルHnewに、前記選択された各症例患者の前記顔形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprdを演算するステップとを含む。
　また、本発明の他の態様の矯正治療後の顔形態予測方法は、矯正治療を行った複数の患者の矯正前の三次元顔データに基づいて、人間の顔形態について予め選択された複数の特徴変量を要素とする多次元の矯正前特徴ベクトルＦpre(i)を抽出するステップと、前記複数の患者の症例データを分類するため、前記複数の患者の矯正前特徴ベクトルＦpre(i)の集合に対しクラスタリング処理を行うことで、複数に分類される症例クラス及び前記各症例クラスのクラスタ重心Gpre(l)を演算するステップと、矯正治療を検討している新たな患者（評価対象患者）の三次元顔データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出するステップと、クラスタリングされた複数の前記クラスタ重心Gpre(l)のうち、前記対象患者特徴ベクトルＦnewとの距離が最も近いクラスタ重心を有する近似症例クラスを選択するステップと、前記選択された近似症例クラスに属する各症例患者の矯正前の三次元顔データから得た特徴点の配置を正規化した前記各症例患者の顔形態モデルである矯正前顔形態モデルHpre(i=i1,i2,…,ik)を演算するステップと、前記選択された近似症例クラスに属する各症例患者の矯正後の三次元顔データから得た特徴点の配置を正規化した前記各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)を演算するステップと、前記選択された近似症例クラスに属する各症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算するステップと、前記選択された近似症例クラスに属する各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算するステップと、前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算するステップと、前記評価対象患者の三次元顔データから得た特徴点の配置を正規化した当該患者の顔形態モデルである対象患者顔形態モデルHnewを演算するステップと、前記評価対象患者の顔形態モデルHnewに、前記選択された近似症例クラスに属する各症例患者の前記顔形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprdを演算するステップとを含む。
　この顔形態予測方法は、矯正治療を行った前記複数の患者の矯正前の頭部Ｘ線規格写真に基づいて、人間の骨格形態について予め設定された複数の特徴変量を要素とする多次元の矯正前セファロ特徴ベクトルＣpre(i)を抽出するステップを更に含み、前記複数の患者の症例データを分類するためのステップでは、前記複数の患者の矯正前特徴ベクトルＦpre(i)及び前記矯正前セファロ特徴ベクトルＣpre(i)を複合した拡張特徴ベクトルV(i)の集合に対しクラスタリング処理を行うものでもよい。
　また、この顔形態予測方法は、矯正治療を行った前記複数の患者の矯正前の頭部Ｘ線規格写真に基づいて、人間の骨格形態について予め設定された複数の特徴変量を要素とする多次元の矯正前セファロ特徴ベクトルＣpre(i)を抽出するステップと、前記複数の患者の矯正後の頭部Ｘ線規格写真に基づいて、多次元の矯正後セファロ特徴ベクトルＣpost(i)を抽出するステップとを更に含み、前記複数の患者の症例データを分類するステップでは、前記複数の患者の矯正前特徴ベクトルＦpre(i)、前記矯正前セファロ特徴ベクトルＣpre(i)及び前記矯正後セファロ特徴ベクトルＣpost(i)を複合した拡張特徴ベクトルV(i)の集合に対しクラスタリング処理を行うものでもよい。更に、前記拡張特徴ベクトルV(i)が、矯正前と矯正後のセファロ特徴ベクトルの差分Ｃpre(i)－Ｃpost(i)をベクトル要素に含む、V(i)＝[Ｆpre(i),Ｃpre(i),Ｃpre(i)－Ｃpost(i)]であることが好ましい。
　また、この顔形態予測方法は、前記評価対象患者の三次元顔データから得た特徴ベクトル及び／又は顔形態モデルをデータベースに編入するステップを更に含むことが好ましい。
　また、本発明は、データベースと、前記データベースに記憶したデータに基づいて演算処理を実行する演算処理装置とを備える、矯正治療後の顔形態予測システムであって、前記データベースが、少なくとも、矯正治療を行った複数の患者の矯正前の三次元顔データに基づいて、人間の顔形態について予め設定された複数の特徴変量を要素として抽出された多次元の矯正前特徴ベクトルＦpre(i)と、前記複数の患者の矯正前の三次元顔データから得た特徴点の配置を正規化した矯正前顔形態モデルHpre(i)と、前記複数の患者の矯正後の三次元顔データから得た特徴点の配置を正規化した矯正後顔形態モデルHpost(i)とを予め記憶し、前記演算処理装置が、矯正治療を検討している新たな患者（評価対象患者）の三次元顔データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出する特徴ベクトル抽出手段と、前記矯正前特徴ベクトルＦpre(i)のうち、前記対象患者特徴ベクトルＦnewとの距離が近い順に、所定症例数ｋ人の症例患者を選択する近似症例患者選択手段と、前記選択された各症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算し、前記選択された各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算する顔形態類型化手段と、前記評価対象患者の三次元顔データから得た特徴点の配置を正規化した当該患者の顔形態モデルである対象患者顔形態モデルHnewを演算する顔形態モデル化手段と、前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算し、前記評価対象患者の顔形態モデルHnewに、前記選択された各症例患者の前記顔形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprdを演算する予測顔形態モデル演算手段とを備える。
　また、本発明の他の態様の矯正治療後の顔形態予測システムは、データベースと、前記データベースに記憶したデータに基づいて演算処理を実行する演算処理装置とを備え、前記データベースが、少なくとも、矯正治療を行った複数の患者の矯正前の三次元顔データに基づいて、人間の顔形態について予め設定された複数の特徴変量を要素として抽出された多次元の矯正前特徴ベクトルＦpre(i)と、前記複数の患者の矯正前の三次元顔データから得た特徴点の配置を正規化した矯正前顔形態モデルHpre(i)と、前記複数の患者の矯正後の三次元顔データから得た特徴点の配置を正規化した矯正後顔形態モデルHpost(i)とを予め記憶し、前記演算処理装置が、前記複数の患者の矯正前特徴ベクトルＦpre(i)の集合に対しクラスタリング処理を行うことで、複数に分類される症例クラス及び前記各症例クラスのクラスタ重心Gpre(l)を演算する症例クラス分類手段と、矯正治療を検討している新たな患者（評価対象患者）の三次元顔データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出する特徴ベクトル抽出手段と、クラスタリングされた複数の前記クラスタ重心Gpre(l)のうち、前記対象患者特徴ベクトルＦnewとの距離が最も近いクラスタ重心を有する近似症例クラスを選択する近似症例クラス選択手段と、前記選択された近似症例クラスに属する各症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算し、前記選択された近似症例クラスに属する各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算する顔形態類型化手段と、前記評価対象患者の三次元顔データから得た特徴点の配置を正規化した当該患者の顔形態モデルである対象患者顔形態モデルHnewを演算する顔形態モデル化手段と、前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算し、前記評価対象患者の顔形態モデルHnewに、前記選択された近似症例クラスに属する各症例患者の前記顔形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprdを演算する予測顔形態モデル演算手段とを備える。
　この構成の顔形態予測システムは、前記データベースが、更に、矯正治療を行った前記複数の患者の矯正前の頭部Ｘ線規格写真に基づいて、人間の骨格形態について予め設定された複数の特徴変量を要素として抽出された多次元の矯正前セファロ特徴ベクトルＣpre(i)を予め記憶し、前記症例クラス分類手段が、前記複数の患者の矯正前特徴ベクトルＦpre(i)及び前記矯正前セファロ特徴ベクトルＣpre(i)を複合した拡張特徴ベクトルV(i)の集合に対しクラスタリング処理を行うものでもよい。
　また、顔形態予測システムは、前記データベースが、更に、矯正治療を行った前記複数の患者の矯正後の頭部Ｘ線規格写真に基づいて抽出された多次元の矯正後セファロ特徴ベクトルＣpost(i)を予め記憶し、前記症例クラス分類手段が、前記複数の患者の矯正前特徴ベクトルＦpre(i)、前記矯正前セファロ特徴ベクトルＣpre(i)及び前記矯正後セファロ特徴ベクトルＣpost(i)を複合した拡張特徴ベクトルV(i)の集合に対しクラスタリング処理を行うものでもよい。更に、前記拡張特徴ベクトルV(i)が、矯正前と矯正後のセファロ特徴ベクトルの差分Ｃpre(i)－Ｃpost(i)をベクトル要素に含む、V(i)＝[Ｆpre(i),Ｃpre(i),Ｃpre(i)－Ｃpost(i)]であることが好ましい。
　また、顔形態予測システムは、前記評価対象患者の三次元顔データから得た特徴ベクトル及び／又は顔形態モデルを前記データベースに編入する症例データ編入手段を更に備えることが好ましい。
　また、本発明は、治療後の乳房形態予測方法であって、手術治療を行った複数の患者の術前の三次元乳房形態データに基づいて、予め選択された複数の特徴変量を要素とする多次元の術前特徴ベクトルＦpre(i)を抽出するステップと、前記複数の患者の術前特徴ベクトルＦpre(i)の集合に対しクラスタリング処理を行うことで、複数に分類される症例クラス及び前記各症例クラスのクラスタ重心Gpre(l)を演算するステップと、治療を検討している患者の三次元乳房形態データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出するステップと、クラスタリングされた複数の前記クラスタ重心Gpre(l)のうち、前記対象患者特徴ベクトルＦnewとの距離が最も近いクラスタ重心を有する近似症例クラスを選択するステップと、前記選択された近似症例クラスに属する各症例患者の術前の三次元乳房形態データから得た特徴点の配置を正規化した前記各症例患者の乳房形態モデルである術前乳房形態モデルHpre(i=i1,i2,…,ik)を演算するステップと、前記選択された近似症例クラスに属する各症例患者の術後の三次元乳房形態データから得た特徴点の配置を正規化した前記各症例患者の術後乳房形態モデルHpost(i=i1,i2,…,ik)を演算するステップと、前記選択された近似症例クラスに属する各症例患者の術前乳房形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算するステップと、前記選択された近似症例クラスに属する各症例患者の術後乳房形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算するステップと、前記術後乳房形態モデルのベクトル平均AVEpostから前記術前乳房形態モデルのベクトル平均AVEpreを差し引いた乳房形態ベクトル平均差分AVEpost－AVEpreを演算するステップと、前記評価対象患者の三次元乳房形態データから得た特徴点の配置を正規化した当該患者の乳房形態モデルである対象患者乳房形態モデルHnewを演算するステップと、前記評価対象患者の乳房形態モデルHnewに、前記選択された近似症例クラスに属する各症例患者の前記乳房形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の術後に予測される三次元の予測乳房形態モデルHprdを演算するステップとを含む、治療後の乳房形態予測方法である。
　本発明によれば、患者の顔、乳房その他の特定の人体部位の治療前と治療後の三次元の形態を、過去の症例に照らし、数理演算処理により簡便かつ精度よく予測することができる。したがって、当該患者への治療方針の適切な判断に貢献することができる。
顔形態予測システムの概略構成を例示するブロック図である。 第一実施形態による顔形態予測方法を例示するフローチャートである。 人間の顔外形線において選択される特徴パラメータの選択例を示す図である。 特徴パラメータの選択例を更に示す縦断面図である。 特徴パラメータの選択例を更に示す横断面図である。 特徴パラメータの選択例を更に示す横断面図である。 第二実施形態による顔形態予測方法を例示するフローチャートである。 多次元の特徴ベクトル空間がクラスタリングされた状態を示す概念図である。 顔形態の特徴ベクトルのクラスタリング処理及び近似症例クラスの選択を説明するための図である。 第三実施形態である乳房形態予測システムの概略構成を例示するブロック図である。 第三実施形態による乳房形態予測方法を例示するフローチャートである。
（第一実施形態）
　本発明の第一実施形態を説明する。図１に、矯正歯科治療後の顔形態予測システムの概略構成を例示する。本発明に係る顔形態予測方法は、例えば図１に示される顔形態予測システムにおいて、主に演算処理装置１０の数理演算処理により実行される。ただし、以下説明する全ての処理が、必ずしも１つの演算処理装置１０で実行されなくてもよい。つまり、本発明の課題を解決することができるのであれば、例えば、他のシステムで得られた症例データや、既に演算処理がなされデータベース化された中間データ（具体的には特徴ベクトル、顔形態モデル等）を、本システムの演算処理装置１０が利用するものでもよい。また、高次のベクトル演算処理や三次元のモデル化処理など大量のデータを扱う一部の処理を、例えばネットワーク上の高速ホストコンピュータで行ってもよい。
　演算処理装置１０には、大容量のデータストレージ２０、入力装置３０、出力装置４０が接続される。データストレージ２０は、演算処理装置１０に直接的に接続されるハードディスクや光ディスクの他、ネットワークを介して演算処理装置１０からアクセス可能な例えば病院内のデータサーバであってもよい。また、データストレージ２０は、広域ネットワーク上の例えばクラウドデータセンタに設けられるものでもよい。データストレージ２０には、後述するように、患者のＸ線写真データや三次元顔データ、中間データである顔形態の特徴ベクトルや顔形態モデル、そして評価データである予測顔形態モデル等を含んでデータベース２１化された症例データが記憶される。なお、データストレージ２０やデータベース２１等へのアクセスは、データの共有が許された特定者（例えば担当医師）のみに限定されることが好ましい。
　演算処理装置１０は、データストレージ２０又はデータベース２１に記憶したデータに基づいて演算処理を実行するコンピュータ装置である。入力装置３０は、例えばキーボード、マウス、タッチパネル等の操作入力装置を含む。また、入力装置３０は、他のシステムで取得又は処理されたデータを、情報記憶媒体又はネットワークを介して演算処理装置１０に入力できる機能を有する装置であってもよい。出力装置４０は、例えば予測した顔形態データを三次元的に可視化表示する画像ディスプレイを含む。また、出力装置４０は、演算処理装置１０が処理した特徴ベクトル等の中間データや予測顔形態モデル等の評価データを他のシステムに提供できるようにするため、これらのデータを情報記憶媒体に記憶する記憶ドライブであってもよいし、又はネットワークを介して外部に出力できる通信出力装置であってもよい。
　また、顔形態予測システムは、病院の検査室等で撮影された患者の顔写真データや三次元顔データが、データストレージ２０若しくはデータベース２１を介して、又は直接的に、演算処理装置１０に取り込まれるように構成されている。これら患者の顔データが、情報記憶媒体を介して入力装置３０から入力されてもよいし、例えば病院のネットワークを介して本システムに入力されてもよい。顔形態予測システムは、患者の顔を撮影するデジタルカメラ６１や、患者の三次元顔データを取得する三次元カメラ６２又は三次元スキャナやレーザプロファイラ等の一般的な三次元計測装置を構成要素に含むものでもよい。
　データストレージ２０のデータベース２１には、少なくとも、既に矯正歯科治療を行った複数人の患者の矯正治療前と矯正治療後の顔を三次元カメラ６２又は他の三次元計測装置で撮影した画像データから得た三次元顔データが記憶されている。なお各患者の三次元顔データを含む症例データは、各患者の性別、年齢、治療部位、治療方法等の項目毎に分類されてデータベース化されている。そのため、演算処理装置１０は、これから治療方針を判断しようとする評価対象患者と、例えば同じ性別、同世代、同じ治療部位である等、症例が近似する特定の患者グループに絞ってデータベース２１から症例データを検索することができる。
　また、本実施形態の顔形態予測システムは、任意で、患者の頭部Ｘ線規格写真（以下、「セファロ」という。）データが、演算処理装置１０及び／又はデータストレージ２０（データベース２１）に入力されてもよい。本システムが患者のセファロを利用する場合、演算処理装置１０が、例えば病院のネットワークを介して、Ｘ線検査装置（セファロシステム）６３にアクセス可能に接続されてもよい。そして、既に矯正歯科治療を行った患者の矯正前と矯正後のセファロデータが、症例データとして、予めデータストレージ２０にデータベース化されてもよい。
　演算処理装置１０は、その演算処理により実現される演算処理手段として、特徴ベクトル抽出手段１１０と、近似症例患者選択手段１２０と、顔形態モデル化手段１３０と、顔形態類型化手段１４０と、予測顔形態モデル演算手段１５０と、顔形態再構築手段１６０と、症例データ編入手段１７０とを備える。
　特徴ベクトル抽出手段１１０は、矯正前特徴ベクトル抽出手段１１１と、矯正後特徴ベクトル抽出手段１１２と、対象患者特徴ベクトル抽出手段１１３とを含む。
　顔形態モデル化手段１３０は、症例患者顔形態モデル化手段１３１と、対象患者顔形態モデル化手段１３２とを含む。
　これらの演算処理手段によりなされる、正歯科治療後の顔形態予測方法の第一実施形態を、図２のフローチャートを参照して以下詳細に説明する。
　先ず、矯正前特徴ベクトル抽出手段１１１は、矯正歯科治療を既に行った複数（例えばｐ人）の患者の矯正前の三次元顔データ（症例形態データ）に基づいて、人間の顔形態について予め設定された複数の特徴変量を要素とする多次元の矯正前特徴ベクトル（治療前症例特徴ベクトル）Ｆpre(i=1,2,…,p)を抽出する（ステップＳ１１）。
　「三次元顔データ」は、患者の顔の全部又は咬合部などの所定部位を、三次元カメラ６２又は三次元スキャナ等の一般的な三次元計測装置で取得した三次元の座標データを意味する。二次元及び三次元の顔データは、患者の症例データの１つとして、又は各患者の症例データに関連付けされて、データベース２１に記憶されてもよい。また、顔データは、同一患者の少なくとも２種以上の表情表出時（安静時及び笑顔表出時など）のものを含んでもよい。
　ここで、特徴ベクトル抽出手段１１０（矯正前特徴ベクトル抽出手段１１１、矯正後特徴ベクトル抽出手段１１２、対象患者特徴ベクトル抽出手段１１３）は、人間の顔の形態の特徴を表す幾何学的パラメータである特徴パラメータを用いて、最終的に多次元の特徴ベクトルを抽出する演算手段である。「特徴パラメータ」とは、人間の顔の形態を特徴的に表す幾何学的パラメータであり、例えば専門医がその経験や知識に基づいて予め選択される。ここでは、特徴パラメータ及び特徴変量について、若干の説明を加える。
　図３には、人間の顔外形線において選択される特徴パラメータの例が示される。図３に示されるように、人間の顔には、その形態においていくつかの変曲点を認識することができる。そのような変曲点は、目や鼻などの境界線の角や、三次元的に最も突出した位置や、最も窪んだ位置などを選択することができる。本明細書では、そのような変曲点をランドマークと称し、特徴パラメータの定義に使用される。なお、ランドマークは、変曲点でなくても、２つの変曲点を結ぶ直線の中心点など幾何学的に定義できる点であれば特に制約はない。
　なお、顔の外形線は次のように抽出することができる。先ず、顔の正面画像から顔形態を測定するためにカスタマイズされた演算プログラムにより、三次元表面データの各ピクセルにおける面法線が計算される。また、顔表面の各座標についてｚ軸と顔の面法線とのなす角度も計算される。ｚ軸と顔の面法線とのなす角度が例えば６０度である各座標点が抽出され、それらの点を結ぶ線が顔の外形線として用いられる。顔の外形線を規定する前記角度は４５度から９０度の間の角度が好ましい。
　特徴パラメータの一つの例はランドマーク間の距離である。図３に示される、例えば特徴パラメータｖ１は、目尻Ｅｘ間の距離（｜Ｅｘ－Ｅｘ｜）として定義される。また、ｖ３のように、ランドマーク間を結ぶ線（例えば顔の最側端Ｚｙ´と顎の突点Ｇｎ）を結ぶ線）と、ランドマーク（例えば頬の突点Ｇｏ´）との距離であってもよい。また、特徴パラメータの他の例は、ランドマークを結ぶ線の角度である。例えば特徴パラメータｖ４の角度は、顔の最側端Ｚｙ´、頬の突点Ｇｏ´及び頬の位置関係で定まる。
　なお、距離の特徴パラメータは無次元量であってもよい。例えば口角幅（｜Ｃｈ－Ｃｈ｜）を目尻間の距離（｜Ｅｘ－Ｅｘ｜）で正規化した幅（｜Ｃｈ－Ｃｈ｜／｜Ｅｘ－Ｅｘ｜）を特徴パラメータとして採用することができる。また、複数の平均値に対する偏差や平均に対する比を特徴パラメータとして考慮してもよい。
　また、図４～６に示すように、人間の顔の特定部位を撮影した三次元データに基づく断面からも複数の特徴パラメータが選択される。これらの断面は、三次元の座標系を決定した後に、解剖学的計測点に基づくデータ処理により作成される。図４には、例として、目尻Ｅｘと口角点Ｃｈとを結ぶラインで被験者の顔を切断した場合のｙｚ断面が示される。例えば、目尻Ｅｘを基点とする口角Ｃｈのｚ軸方向における角度（ｖ７）、目尻Ｅｘを基点とする当該断面における頬の突点Ｐ（Ｅｘ－Ｃｈ）の角度（ｖ８）、目尻Ｅｘと口角Ｃｈの外形曲線の長さ（ｖ１２）、前記外形曲線で閉じられる面積（ｖ１３）などが特徴パラメータとして選択できる。
　図５には、追加的な例として、鼻下点Ｓｎを通る水平面で被験者の顔を切断した場合のｘｚ断面が示される。同じく図６には、鼻の最突点Ｐｍを通る水平面で被験者の顔を切断した場合のｘｚ断面が例示される。これらの図に示されるように、様々な断面位置における顔の部位のｚ方向へ突出する量（ｖ１４、ｖ１８）、突点部の角度（ｖ１６、ｖ２０）、突出量（ｖ１７、ｖ２２、ｖ２３）、凹点部の角度（ｖ２１）などが特徴パラメータとして選択できる。顔形態を特徴付ける断面は、図示はしないがこれら以外にも、例えば、眉間点Ｇｌａ、鼻根点Ｎ、上唇点Ｌｓ、下唇点Ｌｉ、オトガイ点Ｓｍを通る断面であってもよい。また、特定部位のｚ平均値に対する差分や比率を特徴パラメータに加えてもよい。
　特徴ベクトル抽出手段１１０は、患者の三次元顔データから、選択設定された複数の各特徴パラメータに対応する特徴変量を測定する処理を行う。特徴ベクトル抽出手段１１０は、測定した例えばｎ個の特徴変量をベクトル要素とするｎ次元の特徴ベクトルＦ＝［v1,v2,v3,…,vn］を抽出する。安静時と笑顔表出時などの異なる表情を撮影したデータから、一人の患者につき２以上の特徴ベクトルを抽出してもよい。また、これらの差分である表情表出データから測定された特徴変量をベクトル要素とした表出量ベクトルを抽出してもよい。
　ステップＳ１１では、このような処理により、矯正前特徴ベクトル抽出手段１１１が、矯正歯科治療を既に行った例えばｐ人の患者の矯正前の三次元顔データから、例えばｎ個の特徴変量を要素とする矯正前特徴ベクトルＦpre(1)［v1,v2,v3,…,vn］,Ｆpre(2)［v1,v2,v3,…,vn］,・・・,Ｆpre(p)［v1,v2,v3,…,vn］を抽出する。
　矯正後特徴ベクトル抽出手段１１２は、上述と同様の処理により、矯正歯科治療を既に行った患者の矯正後の三次元顔データ（症例形態データ）から、同じくｎ次元の矯正後特徴ベクトル（治療後症例特徴ベクトル）Ｆpost(1)［v1,v2,v3,…,vn］,Ｆpost(2)［v1,v2,v3,…,vn］,・・・,Ｆpost(p)［v1,v2,v3,…,vn］を抽出してもよい。
　なお、特徴ベクトルＦpre(i)、Ｆpost(i)を、ディープラーニング手法を用いて抽出してもよい。抽出された矯正前特徴ベクトルＦpre(i=1,2,…,p)及び矯正後特徴ベクトルＦpost(i=1,2,…,p)は、患者毎の症例データとしてデータベース２１に編入される。また、矯正前特徴ベクトルＦpre(i)及び矯正後特徴ベクトルＦpost(i)が既にデータベース２１により提供されている場合には、演算処理装置１０は、これら特徴ベクトル抽出処理を行わずに、そのデータベース２１のデータを参照して以降の処理を行ってもよい。
　対象患者特徴ベクトル抽出手段１１３は、上述と同様の処理により、矯正治療を検討している新たな患者（「評価対象患者」という。）の三次元顔データ（患者形態データ）から、同じ特徴変量を要素とするｎ次元の対象患者特徴ベクトルＦnew［v1,v2,v3,…,vn］を抽出する（ステップＳ１２）。
　近似症例患者選択手段１２０は、矯正治療を行ったｐ人の患者についての矯正前特徴ベクトルＦpre(i)のうち、ステップＳ１２で抽出した対象患者特徴ベクトルＦnewと距離（｜Ｆpre(i)－Ｆnew｜）が近い順に、症例数ｋ人の近似症例患者を選択する（ステップＳ１３）。ここで、ベクトル間の「距離」は、ユークリッド距離又はマンハッタン距離の何れでもよい。
　このステップＳ１３で選択される症例数ｋ人は、専門の医師等により予め定められる数である。また、ステップＳ１３では、矯正治療を検討している対象患者と、例えば性別、年代、治療部位などが共通する過去の患者に絞った矯正前特徴ベクトルＦpre(i)のうちから、距離が近い症例患者を選択することが好ましい。
　ところで、三次元カメラ６２等で得られる三次元顔データは、各患者の顔の大きさ等により取得されるデータ数が異なるし、また撮影された患者の立ち位置などに応じて原点の位置も異なっている。本実施形態の顔形態予測システムでは、各患者の顔形態の定量的な比較や統計学的処理を行えるようにするために、三次元顔データを正規化した顔形態モデルにモデル化する顔形態モデル化手段１３０（症例患者顔形態モデル化手段１３１、対象患者顔形態モデル化手段１３２）を備えている。顔形態モデル化手段１３０は、例えば、患者の三次元顔データから予め定めた解剖学的特徴点を抽出し、その特徴点を同一点数、同一位相幾何学構造のポリゴンに配置することで、正規化した三次元顔形態モデルを構築する演算処理を行っている。そのような手法で構築される形態モデルは、一般には「相同モデル」と呼ばれ、例えば産業技術総合研究所が提供するＨＢＭ（Homologous Body Modeling）プログラムを利用することができる。
　対象患者顔形態モデル化手段１３２は、矯正治療を検討している評価対象患者の三次元顔データ（患者形態データ）から解剖学的特徴点を抽出し、その特徴点の配置を例えば相同モデルとして正規化した対象患者顔形態モデル（患者形態モデル）Hnewを演算する（ステップＳ１４）。
　また、症例患者顔形態モデル化手段１３１は、ステップＳ１３で選択されたｋ人の各近似症例患者の矯正前の三次元顔データから得た解剖学的特徴点の配置を、上述したモデル化処理により正規化した矯正前顔形態モデル（治療前近似症例形態モデル）Hpre(i=i1,i2,…,ik)を演算する（ステップＳ１５）。同じく、症例患者顔形態モデル化手段１３１は、ステップＳ１３で選択されたｋ人の各近似症例患者の矯正後の三次元顔データから得た解剖学的特徴点の配置を、上述したモデル化処理により正規化した矯正後顔形態モデル（治療後近似症例形態モデル）Hpost(i=i1,i2,…,ik)を演算する（ステップＳ１６）。
　ここで、演算された全ての患者の矯正前顔形態モデルHpre(i)及び矯正後顔形態モデルHpost(i)が、症例データとしてデータベース２１に編入されてもよい。また、過去の患者の矯正前顔形態モデルHpre(i)及び矯正後顔形態モデルHpost(i)が、既にデータベース２１により提供されている場合には、演算処理装置１０は、これらのモデル化処理を行わずに、そのデータベース２１のモデルデータを参照して以降の処理を行ってもよい。
　続いて、顔形態類型化手段１４０は、選択されたｋ人の各近似症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算する（ステップＳ１７）。同じく、顔形態類型化手段１４０は、選択されたｋ人の各近似症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算する（ステップＳ１８）。
　続いて、予測顔形態モデル演算手段１５０は、前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算する（ステップＳ１９）。そして、予測顔形態モデル演算手段１５０は、評価対象患者の対象患者顔形態モデルHnewに、選択されたｋ人の各近似症例患者の顔形態ベクトル平均差分AVEpost－AVEpreを加算する演算を行い、これにより、評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprd(＝Hnew＋AVEpost－AVEpre)を得る（ステップＳ２０）。
　ステップＳ２０で得られる予測顔形態モデルHprdは、あくまでも、矯正歯科治療後に予測される解剖学的特徴点のみを粗く表現しているに過ぎない。そこで、予測される実際の顔形態をより忠実に再現するために、顔形態再構築手段１６０は、予測顔形態モデルHprdの解剖学的特徴点を評価対象患者の三次元顔データの座標系に再配置することで、予測三次元顔データを再構築することが好ましい（ステップＳ２１）。これにより、例えば画像ディスプレイ等の出力装置４０に、治療後に予測される患者の顔の側貌などを三次元的に表示することができ（ステップＳ２２）、画像を見ながら矯正歯科治療の効果を患者に十分理解してもらうことが可能となる。
　症例データ編入手段１７０は、評価が行われた対象患者の三次元顔データをデータベース２１に編入してもよい。また、症例データ編入手段１７０は、評価対象患者の三次元顔データから抽出した矯正前の対象患者特徴ベクトルＦnewや、三次元顔データの解剖学的特徴点をモデル化した対象患者顔形態モデルHnewをデータベース２１に編入してもよい。更に、症例データ編入手段１７０は、当該患者の矯正歯科治療後の三次元顔データ、治療後の三次元顔データから抽出した矯正後の特徴ベクトル及び／又は矯正後の顔形態モデルをデータベース２１に編入してもよい。これらのデータをデータベース２１に蓄積することで、将来の患者の治療後の顔形態予測精度を更に増すことができる。
（第二実施形態）
　次に、本発明の第二実施形態を、図７のフローチャートを参照して説明する。なお、第二実施形態による顔形態予測方法は、第一実施形態と同様に図１に示したシステムを用いて実行することができる。
　演算処理装置１０は、その演算処理により実現される演算処理手段として、特徴ベクトル抽出手段１１０と、症例クラス分類手段１８０と、近似症例クラス選択手段１９０と、顔形態モデル化手段１３０と、顔形態類型化手段１４０と、予測顔形態モデル演算手段１５０と、顔形態再構築手段１６０と、症例データ編入手段１７０とを備える。
　特徴ベクトル抽出手段１１０は、矯正前特徴ベクトル抽出手段１１１と、矯正後特徴ベクトル抽出手段１１２と、対象患者特徴ベクトル抽出手段１１３とを含む。
　顔形態モデル化手段１３０は、症例患者顔形態モデル化手段１３１と、対象患者顔形態モデル化手段１３２とを含む。
　先ず、矯正前特徴ベクトル抽出手段１１１は、矯正歯科治療を既に行った例えばｐ人の患者の矯正前の三次元顔データ（症例形態データ）から、人間の顔形態について予め設定された複数の特徴変量を要素とするｎ次元の矯正前特徴ベクトル（治療前症例特徴ベクトル）Ｆpre(1)［v1,v2,v3,…,vn］,Ｆpre(2)［v1,v2,v3,…,vn］,・・・,Ｆpre(p)［v1,v2,v3,…,vn］を抽出する（ステップＳ３１）。
　矯正後特徴ベクトル抽出手段１１２は、同様の処理により、矯正歯科治療を既に行った患者の矯正後の三次元顔データ（症例形態データ）から、同じくｎ次元の矯正後特徴ベクトル（治療後症例特徴ベクトル）Ｆpost(1)［v1,v2,v3,…,vn］,Ｆpost(2)［v1,v2,v3,…,vn］,・・・,Ｆpost(p)［v1,v2,v3,…,vn］を抽出してもよい。
　なお、特徴ベクトルＦpre(i)、Ｆpost(i)を、ディープラーニング手法を用いて抽出してもよい。抽出された矯正前特徴ベクトルＦpre(i=1,2,…,p)及び矯正後特徴ベクトルＦpost(i=1,2,…,p)は、患者毎の症例データとしてデータベース２１に編入される。また、過去の患者の矯正前特徴ベクトルＦpre(i)及び矯正後特徴ベクトルＦpost(i)が既にデータベース２１により提供されている場合には、演算処理装置１０は、これら特徴ベクトル抽出処理を行わずに、そのデータベース２１のベクトルデータを参照して以降の処理を行ってもよい。
　症例クラス分類手段１８０は、これら過去の患者の矯正前特徴ベクトルＦpre(i)の集合に対しクラスタリング処理を行い、これにより矯正前特徴ベクトルＦpre(i)を複数（例えばＮ個）のクラスタ重心Gpre(l=1,2,…,N)を演算して、各症例クラスCL(l=1,2,…,N)に分類する（ステップＳ３２）。このようなクラスタリング処理としては、Ｌｌｏｙｄ法やｋ－ｍｅａｎｓ法などの一般的なベクトル量子化手法を用いることができる（図８、９参照）。
　例えばｋ－ｍｅａｎｓ法によれば、次のようにして、特徴ベクトルＦpre(i)のクラスタリング処理を行うことができる。先ず一次クラスタの数Ｎを任意に設定し、ｎ次元（ｎは特徴変量ｖの個数）のベクトル空間に仮のクラスタCL＊(l=1,2,…,N)を割り当てる。次に、各一次クラスタCL＊(l)に属する特徴ベクトルＦpre(i)の平均を演算して一次クラスタ重心Ｇ＊(l=1,2,…,N)を求める。そして、求めたＮ個の各重心Ｇ＊(l)と全ての特徴ベクトルＦpre(i)との距離D＊(l,i)＝｜Ｇ＊(l)－Ｆpre(i)｜を求める。ここで、ベクトル間の「距離」は、ユークリッド距離又はマンハッタン距離の何れでもよい。
　次に、各特徴ベクトルＦpre(i)から見て、最短距離にある一次クラスタ重心Ｇ＊(l)を探し、最短距離重心Ｇ＊(l)を共通とする特徴ベクトルＦpre(i)の群を要素とする二次クラスタCL＊＊(l)を再編成する。そして、二次クラスタCL＊＊(l)においても二次クラスタ重心Ｇ＊＊(l)を求め、最短距離にある特徴ベクトルＦpre(i)の群から三次クラスタ重心Ｇ＊＊＊(l)を求める。このようなクラスタの再編成のサイクルを繰り返すことで収束させたＮ個のクラスタ（症例クラス）CL(l=1,2,…,N)に、各患者の特徴ベクトルＦpre(i)を分類することができる（図９参照）。
　続いて、クラスタ（つまり症例クラス）の数の最適化の処理を、次のアルゴリズムにより行ってもよい。
　先ず、候補となるクラスタの数Ｎを、例えばＮ＝３，４，・・・，１２などの合理的な範囲に設定し、それぞれのクラスタ数で分類した各クラスタの重心ＧＮ(l=1,2,…,N)を求める。各クラスタ数Ｎ＝３，４，・・・，１２で得られた各重心ＧＮ(l)と、各重心ＧＮ(l)のクラスタに属する特徴ベクトルＦpre(i)との距離DＮ(l,j)の最小DＮ(l)ｍｉｎを、数式（１）で求める。
Figure JPOXMLDOC01-appb-M000001
　各クラスタの最小距離の平均値であるクラスタ間距離DＮを数式（２）で求める。
Figure JPOXMLDOC01-appb-M000002
　クラスタ数の候補である、例えばＮ＝３，４，・・・，１２について、クラスタ間距離D３，D４，・・・，D１２をそれぞれ求め、変化ΔDＮが最大となるＮに１を加算したＮ＋１を、最適のクラスタ数Ｎｏｐｔとして決定することができる。
　症例クラス分類手段１８０は、このようなラスタリング処理を行うことで、既に矯正歯科治療を行った過去の患者の症例データから複数のクラスタ重心Gpre(l)を演算し、各症例クラスCL(l)に分類することができる（ステップＳ３２）。
　なお、本実施形態で特徴ベクトル抽出手段１１０は、矯正前セファロ特徴ベクトル抽出手段１１４を含むものでもよい。この場合、矯正前セファロ特徴ベクトル抽出手段１１４は、既に矯正歯科治療を行った過去の患者の矯正前に採取したセファロデータから、多次元の特徴変量を要素とする矯正前セファロ特徴ベクトルＣpre(i)を抽出する（ステップＳ３３）。そして、症例クラス分類手段１８０は、ステップＳ３２の処理において、過去の患者の矯正前特徴ベクトルＦpre(i)及び矯正前セファロ特徴ベクトルＣpre(i)を複合した拡張特徴ベクトルV(i)＝[Ｆpre(i),Ｃpre(i)]の集合に対しクラスタリング処理を行い、各症例クラスCL(l)に分類してもよい。
　また、特徴ベクトル抽出手段１１０は、矯正後セファロ特徴ベクトル抽出手段１１５を更に含むものでもよい。この場合、矯正後セファロ特徴ベクトル抽出手段１１５は、既に矯正歯科治療を行った過去の患者の矯正後に採取したセファロデータから、多次元の特徴変量を要素とする矯正後セファロ特徴ベクトルＣpost(i)を抽出する（ステップＳ３４）。そして、症例クラス分類手段１８０は、ステップＳ３２の処理において、過去の患者の矯正前特徴ベクトルＦpre(i)、矯正前セファロ特徴ベクトルＣpre(i)及び矯正後セファロ特徴ベクトルＣpost(i)を複合した拡張特徴ベクトルV(i)の集合に対しクラスタリング処理を行ってもよい。その場合の拡張特徴ベクトルV(i)は、矯正前と矯正後のセファロ特徴ベクトルの差分Ｃpre(i)－Ｃpost(i)をベクトル要素に含むことが好ましい。詳細にはV(i)＝[Ｆpre(i),Ｃpre(i),Ｃpre(i)－Ｃpost(i)]であることがより好ましい。
　過去の患者のセファロデータや、それらから抽出した矯正前セファロ特徴ベクトルＣpre(i)及び矯正後セファロ特徴ベクトルＣpost(i)はデータベース２１に編入される。矯正前セファロ特徴ベクトルＣpre(i)及び矯正後セファロ特徴ベクトルＣpost(i)が症例データとしてデータベース２１により提供されている場合には、特徴ベクトル抽出手段１１０による演算処理を行わずに、演算処理装置１０は、そのデータベース２１のデータを参照して以降の処理を行ってもよい。
　また、ステップＳ３２のクラスタリング処理により、過去の患者の症例データから分類されたクラスタ重心Ｇpre(l)等はデータベース２１に編入される。クラスタ重心Ｇpre(l)等が症例データとして既にデータベース２１により提供されている場合には、演算処理装置１０は、上述のクラスタリング処理を行わずに、以降の評価対象患者の顔形態予測に係る処理のみを行ってもよい。
　対象患者特徴ベクトル抽出手段１１３は、矯正治療を検討している評価対象患者の三次元顔データ（患者形態データ）から、所定の特徴変量を要素とするｎ次元の対象患者特徴ベクトルＦnew［v1,v2,v3,…,vn］を抽出する（ステップＳ３５）。
　近似症例クラス選択手段１９０は、過去の患者の症例データをクラスタリング処理して分類した各症例クラスに属する矯正前特徴ベクトルFpre(i)の重心Gpre(l)のうち、対象患者特徴ベクトルＦnewとの距離（｜Ｇpre(l)－Ｆnew｜）が最も近いベクトル重心を有する近似症例クラスCL(near)を選択する（ステップＳ３６；図９参照）。この場合の「距離」は、ユークリッド距離又はマンハッタン距離の何れでもよい。
　対象患者顔形態モデル化手段１３２は、評価対象患者の三次元顔データ（患者形態データ）から解剖学的特徴点を抽出し、例えば相同モデルとして正規化した対象患者顔形態モデル（患者形態モデル）Hnewを演算する（ステップＳ３７）。
　症例患者顔形態モデル化手段１３１は、ステップＳ３６で選択された近似症例クラスCL(near)に属する各症例患者の矯正前の三次元顔データから得た解剖学的特徴点の配置を、例えば相同モデルとして正規化した矯正前顔形態モデル（治療前近似症例モデル）Hpre(i=i1,i2,…,ik)を演算する（ステップＳ３８）。同じく、症例患者顔形態モデル化手段１３１は、近似症例クラスCL(near)に属する各症例患者の矯正後の三次元顔データから得た解剖学的特徴点の配置を、例えば相同モデルとして正規化した矯正後顔形態モデル（治療後近似症例モデル）Hpost(i=i1,i2,…,ik)を演算する（ステップＳ３９）。
　ここで、演算された全ての患者の矯正前顔形態モデルHpre(i)及び矯正後顔形態モデルHpost(i)が、症例データとしてデータベース２１に編入されてもよい。また、過去の患者の矯正前顔形態モデルHpre(i)及び矯正後顔形態モデルHpost(i)が、既にデータベース２１により提供されている場合には、演算処理装置１０は、これらのモデル化処理を行わずに、そのデータベース２１のモデルデータを参照して以降の処理を行ってもよい。
　続いて、顔形態類型化手段１４０は、選択された近似症例クラスCL(near)に属する各症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算する（ステップＳ４０）。同じく、顔形態類型化手段１４０は、選択された近似症例クラスCL(near)に属する各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算する（ステップＳ４１）。
　続いて、予測顔形態モデル演算手段１５０は、前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算する（ステップＳ４２）。そして、予測顔形態モデル演算手段１５０は、評価対象患者の対象患者顔形態モデルHnewに、近似症例クラスの各患者の顔形態ベクトル平均差分AVEpost－AVEpreを加算する演算を行い、これにより、評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprd(＝Hnew＋AVEpost－AVEpre)を得る（ステップＳ４３）。
　顔形態再構築手段１６０は、予測顔形態モデルHprdの解剖学的特徴点を評価対象患者の三次元顔データの座標系に再配置することで、予測三次元顔データを再構築することが好ましい（ステップＳ４２）。これにより、例えば画像ディスプレイ等の出力装置４０に、治療後に予測される患者の顔の側貌などを三次元的に表示することができ（ステップＳ４５）、矯正歯科治療の効果を患者に十分理解してもらうことが可能となる。
　症例データ編入手段１７０は、評価が行われた対象患者の三次元顔データをデータベース２１に編入してもよい。また、症例データ編入手段１７０は、評価対象患者の三次元顔データから抽出した矯正前の対象患者特徴ベクトルＦnewや、三次元顔データの解剖学的特徴点をモデル化した対象患者顔形態モデルHnewをデータベース２１に編入してもよい。更に、症例データ編入手段１７０は、当該患者の矯正歯科治療後の三次元顔データ、治療後の三次元顔データから抽出した矯正後の特徴ベクトル及び／又は矯正後の顔形態モデルをデータベース２１に編入してもよい。これらのデータをデータベース２１に蓄積することで、将来の患者の治療後の顔形態予測精度を更に増すことができる。
　以上説明した実施形態の顔形態予測方法、又は顔形態予測システムによれば、矯正歯科治療後の患者の三次元の顔形態を、数理演算処理により簡便かつ精度よく予測することができる。また、対象となる患者の三次元の顔形態を定量的に評価することができるので、過去の症例に照らし、当該患者への治療方針の適切な判断に貢献することができる。
　本発明に係る顔形態予測方法及び顔形態予測システムは、矯正歯科治療以外にも、例えば顎変形症患者の外科的治療や審美的改善等にも利用できる。また、例えば顎顔面外科(口腔外科と形成外科を含む)手術単独、矯正歯科治療又は顎補綴治療と共同で治療を行うときの予測にも利用できる。更に、顔形態の加齢変化予測にもその応用が期待できる。
（第三実施形態）
　次に、本発明の第三施形態を説明する。第三実施形態では、例えば乳癌切除術（乳癌を取り除く手術）後の乳房の三次元形態を、数理演算処理により簡便かつ精度よく予測する乳房形態予測方法及びそのシステムを提供する。図１０に、本実施形態による、乳房形態予測システムの概略構成を例示する。
　演算処理装置１０には、大容量のデータストレージ２０、入力装置３０、出力装置４０が接続される。データストレージ２０には、過去の複数の乳癌患者から撮影した術前と術後の乳房の三次元形態データ（症例形態データ）、術前と術後の三次元乳房形態データから抽出した特徴ベクトル（症例特徴ベクトル）Ｆpre(i)，Ｆpost(i)、術前と術後の三次元乳房形態データを正規化した三次元形態モデル（症例形態モデル）Hpre(i)，Hpost(i)等を含んでデータベース２１化された症例データ群が記憶される。
　演算処理装置１０は、データストレージ２０又はデータベース２１に記憶したデータに基づいて演算処理を実行するコンピュータ装置である。入力装置３０は、例えばキーボード、マウス、タッチパネル等の操作入力装置を含む。また、入力装置３０は、他のシステムで取得又は処理されたデータを、情報記憶媒体又はネットワークを介して演算処理装置１０に入力できる機能を有する装置であってもよい。出力装置４０は、例えば予測した乳房形態データを三次元的に可視化表示する画像ディスプレイを含む。また、出力装置４０は、演算処理装置１０が処理した特徴ベクトル等の中間データや予測乳房形態モデル等の評価データを他のシステムに提供できるようにするため、これらのデータを情報記憶媒体に記憶する記憶ドライブであってもよいし、又はネットワークを介して外部に出力できる通信出力装置であってもよい。
　また、乳房形態予測システムは、病院の検査室等で撮影された患者の写真データや三次元形態データが、データストレージ２０若しくはデータベース２１を介して、又は直接的に、演算処理装置１０に取り込まれるように構成されている。これら患者のデータが、情報記憶媒体を介して入力装置３０から入力されてもよいし、例えば病院のネットワークを介して本システムに入力されてもよい。乳房形態予測システムは、患者の疾患部位である乳房を撮影するデジタルカメラ６１や、患者の乳房の三次元形態データを取得する三次元カメラ６２又は三次元スキャナやレーザプロファイラ等の一般的な三次元計測装置を構成要素に含むものでもよい。
　第三実施形態による演算処理装置１０は、その演算処理により実現される演算処理手段として、特徴ベクトル抽出手段２１０と、近似症例患者選択手段２２０と、乳房形態モデル化手段２３０と、乳房形態類型化手段２４０と、予測形態モデル演算手段２５０と、乳房形態再構築手段２６０と、症例データ編入手段２７０と、症例クラス分類手段２８０と、近似症例クラス選択手段２９０とを備える。
　特徴ベクトル抽出手段２１０は、術前特徴ベクトル抽出手段２１１と、術後特徴ベクトル抽出手段２１２と、対象患者特徴ベクトル抽出手段２１３とを含む。
　乳房形態モデル化手段２３０は、症例患者乳房形態モデル化手段２３１と、対象患者乳房形態モデル化手段２３２とを含む。
　上述のシステムにより実行される乳房形態予測方法を、図１１のフローチャートを参照して詳細に説明する。先ず、術前特徴ベクトル抽出手段２１１は、例えば乳癌の治療を既に行った、例えばｐ人の患者の術前の三次元乳房形態データ（治療前症例形態データ）から、予め設定された複数の特徴変量を要素とするｎ次元の術前特徴ベクトル（治療後症例特徴ベクトル）Ｆpre(1)［v1,v2,v3,…,vn］,Ｆpre(2)［v1,v2,v3,…,vn］,・・・,Ｆpre(p)［v1,v2,v3,…,vn］を抽出する（ステップＳ５１）。
　術後特徴ベクトル抽出手段２１２は、同様の処理により、同じｐ人の患者の術後の三次元乳房形態データ（治療後症例形態データ）から、同じくｎ次元の術後特徴ベクトル（治療後症例特徴ベクトル）Ｆpost(1)［v1,v2,v3,…,vn］,Ｆpost(2)［v1,v2,v3,…,vn］,・・・,Ｆpost(p)［v1,v2,v3,…,vn］を抽出する。
　なお、術前と術後の特徴ベクトルＦpre(i)、Ｆpost(i)を、ディープラーニング手法を用いて抽出してもよい。抽出された特徴ベクトルＦpre(i=1,2,…,p)、Ｆpost(i=1,2,…,p)は、患者毎の症例データとしてデータベース２１に編入される。
　症例クラス分類手段２８０は、これら症例患者の術前特徴ベクトルＦpre(i)の集合に対しクラスタリング処理を行う。このとき、対象患者と同一の術式で治療を行った症例特徴ベクトルＦpre(i)を複数（例えばＮ個）のクラスタ重心Gpre(l=1,2,…,N)を演算して、各症例クラスCL(l=1,2,…,N)に分類する（ステップＳ５２）。このようなクラスタリング処理としては、上述したようにＬｌｏｙｄ法やｋ－ｍｅａｎｓ法などの一般的なベクトル量子化手法を用いることができる（図８、９参照）。なお、このクラスタリング処理において、術式の他、例えば乳房形態や切除組織量の情報を組み込むことが、より好ましい。
　ステップＳ５２のクラスタリング処理により、過去の患者の症例データから分類されたクラスタ重心Ｇpre(l)等はデータベース２１に編入される。クラスタ重心Ｇpre(l)等が症例データとして既にデータベース２１により提供されている場合には、演算処理装置１０は、ステップＳ５２のクラスタリング処理を行わずに、以降の評価対象患者の乳房形態予測に係る処理を行ってもよい。
　対象患者特徴ベクトル抽出手段２１３は、治療を検討している評価対象患者の三次元乳房形態データ（患者形態データ）から、所定の特徴変量を要素とするｎ次元の対象患者特徴ベクトルＦnew［v1,v2,v3,…,vn］を抽出する（ステップＳ５３）。
　近似症例クラス選択手段２９０は、過去の患者の症例データをクラスタリング処理して分類した各症例クラスに属する術前特徴ベクトルFpre(i)の重心Gpre(l)のうち、対象患者特徴ベクトルＦnewとの距離（｜Ｇpre(l)－Ｆnew｜）が最も近いベクトル重心を有する近似症例クラスCL(near)を選択する（ステップＳ５４）。この場合の「距離」は、ユークリッド距離又はマンハッタン距離の何れでもよい。
　対象患者乳房形態モデル化手段２３２は、評価対象患者の三次元乳房形態データから解剖学的特徴点を抽出し、例えば相同モデルとして正規化した対象患者乳房形態モデル（患者形態モデル）Hnewを演算する（ステップＳ５５）。
　症例患者乳房形態モデル化手段２３１は、ステップＳ５４で選択された近似症例クラスCL(near)に属する各症例患者の術前の三次元乳房形態データから得た解剖学的特徴点の配置を、例えば相同モデルとして正規化した術前乳房形態モデル（治療前近似症例形態モデル）Hpre(i=i1,i2,…,ik)を演算する（ステップＳ５６）。同じく、症例患者乳房形態モデル化手段２３１は、近似症例クラスCL(near)に属する各症例患者の術後の三次元乳房形態データから得た解剖学的特徴点の配置を、例えば相同モデルとして正規化した術後乳房形態モデル（治療後近似症例形態モデル）Hpost(i=i1,i2,…,ik)を演算する（ステップＳ５７）。
　ここで、演算された全ての患者の術前乳房形態モデルHpre(i)及び術後乳房形態モデルHpost(i)が、症例データとしてデータベース２１に編入されてもよい。また、過去の患者の術前乳房形態モデルHpre(i)及び術後乳房形態モデルHpost(i)が、既にデータベース２１により提供されている場合には、演算処理装置１０は、これらのモデル化処理を行わずに、そのデータベース２１のモデルデータを参照して以降の処理を行ってもよい。
　続いて、乳房形態類型化手段２４０は、選択された近似症例クラスCL(near)に属する各症例患者の術前乳房形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算する（ステップＳ５８）。同じく、乳房形態類型化手段２４０は、選択された近似症例クラスCL(near)に属する各症例患者の術後乳房形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算する（ステップＳ５９）。
　続いて、予測形態モデル演算手段２５０は、前記術後乳房形態モデルのベクトル平均AVEpostから前記術前乳房形態モデルのベクトル平均AVEpreを差し引いた乳房形態ベクトル平均差分AVEpost－AVEpreを演算する（ステップＳ６０）。そして、予測形態モデル演算手段２５０は、評価対象患者の乳房形態モデルHnewに、近似症例クラスの各患者の乳房形態ベクトル平均差分AVEpost－AVEpreを加算する演算を行い、これにより、評価対象患者の術後に予測される三次元の予測乳房形態モデルHprd(＝Hnew＋AVEpost－AVEpre)を得る（ステップＳ６１）。
　乳房形態再構築手段２６０は、予測乳房形態モデルHprdの解剖学的特徴点を評価対象患者の三次元乳房形態データの座標系に再配置することで、予測三次元乳房データを再構築する（ステップＳ６２）。これにより、例えば画像ディスプレイ等の出力装置４０に、術後に予測される患者の乳房の形態を三次元的に表示することができる（ステップＳ６３）。これにより、治療の効果を患者に十分理解してもらうことが可能となる。
　症例データ編入手段２７０は、評価が行われた対象患者の三次元乳房形態データをデータベース２１に編入してもよい。また、症例データ編入手段２７０は、評価対象患者の三次元乳房形態データから抽出した術前の対象患者特徴ベクトルＦnewや、三次元乳房形態データの解剖学的特徴点をモデル化した対象患者乳房形態モデルHnewをデータベース２１に編入してもよい。更に、症例データ編入手段２７０は、当該患者の治療後の三次元乳房形態データ、乳房形態特徴ベクトル及び／又は乳房形態正規化モデルをデータベース２１に編入してもよい。これらのデータをデータベース２１に蓄積することで、将来の患者の治療後の乳房形態予測精度を更に増すことができる。
　以上説明した実施形態の乳房形態予測方法、又は乳房形態予測システムによれば、治療後の患者の三次元の乳房形態を、数理演算処理により簡便かつ精度よく予測することができる。また、対象となる患者の三次元の乳房形態を定量的に評価することができるので、過去の症例に照らし、当該患者への治療方針の適切な判断に貢献することができる。
１０　演算処理装置
２１　データベース
４０　出力装置
６２　三次元カメラ
１１０　特徴ベクトル抽出手段
１２０　近似症例患者選択手段
１３０　顔形態モデル化手段
１４０　顔形態類型化手段
１５０　予測顔形態モデル演算手段
１６０　顔形態再構築手段
１７０　症例データ編入手段
１８０　症例クラス分類手段
１９０　近似症例クラス選択手段
２１０　特徴ベクトル抽出手段
２２０　近似症例患者選択手段
２３０　乳房形態モデル化手段
２４０　乳房形態類型化手段
２５０　予測形態モデル演算手段
２６０　乳房形態再構築手段
２７０　症例データ編入手段
２８０　症例クラス分類手段
２９０　近似症例クラス選択手段
Ｆnew　患者特徴ベクトル
Ｆpre、Ｆpost　症例特徴ベクトル
Hnew　患者形態モデル
Hpre、Hpost　症例形態モデル

Claims (14)

  1. 　人体における治療後の形態を数理演算処理により予測する方法であって、
    　治療を行った複数の患者から取得した治療前の症例形態データから、多次元の症例特徴ベクトルを抽出するステップと、
    　患者から取得した患者形態データから、多次元の患者特徴ベクトルを抽出するステップと、
    　前記患者の患者形態データに基づき正規化した患者形態モデルを演算するステップと、
    　前記症例特徴ベクトルのうちから、前記患者特徴ベクトルに近似する近似症例特徴ベクトルを選択するステップと、
    　選択した前記近似症例特徴ベクトルに対応する症例形態データに基づき正規化した治療前と治療後の近似症例形態モデルを演算するステップと、
    　前記治療前と治療後の近似症例形態モデルの差分を演算するステップと、
    　前記患者形態モデルに前記差分を加味して、当該患者の治療後に予測される形態モデルを演算するステップと
    を含む、治療後の形態予測方法。
  2. 　矯正治療を行った複数の患者の矯正前の三次元顔データに基づいて、人間の顔形態について予め設定された複数の特徴変量を要素とする多次元の矯正前特徴ベクトルＦpre(i)を抽出するステップと、
    　矯正治療を検討している新たな患者（評価対象患者）の三次元顔データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出するステップと、
    　矯正治療を行った前記複数の患者についての矯正前特徴ベクトルＦpre(i)のうち、前記対象患者特徴ベクトルＦnewとの間で距離が近い順に、所定症例数ｋ人の症例患者を選択するステップと、
    　前記選択された各症例患者の矯正前の三次元顔データから得た特徴点の配置を正規化した前記各症例患者の顔形態モデルである矯正前顔形態モデルHpre(i=i1,i2,…,ik)を演算するステップと、
    　前記選択された各症例患者の矯正後の三次元顔データから得た特徴点の配置を正規化した前記各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)を演算するステップと、
    　前記選択された各症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算するステップと、
    　前記選択された各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算するステップと、
    　前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算するステップと、
    　前記評価対象患者の三次元顔データから得た特徴点の配置を正規化した当該患者の顔形態モデルである対象患者顔形態モデルHnewを演算するステップと、
    　前記評価対象患者の顔形態モデルHnewに、前記選択された各症例患者の前記顔形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprdを演算するステップと
    を含む、矯正治療後の顔形態予測方法。
  3. 　矯正治療を行った複数の患者の矯正前の三次元顔データに基づいて、人間の顔形態について予め選択された複数の特徴変量を要素とする多次元の矯正前特徴ベクトルＦpre(i)を抽出するステップと、
    　前記複数の患者の症例データを分類するため、前記複数の患者の矯正前特徴ベクトルＦpre(i)の集合に対しクラスタリング処理を行うことで、複数に分類される症例クラス及び前記各症例クラスのクラスタ重心Gpre(l)を演算するステップと、
    　矯正治療を検討している新たな患者（評価対象患者）の三次元顔データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出するステップと、
    　クラスタリングされた複数の前記クラスタ重心Gpre(l)のうち、前記対象患者特徴ベクトルＦnewとの距離が最も近いクラスタ重心を有する近似症例クラスを選択するステップと、
    　前記選択された近似症例クラスに属する各症例患者の矯正前の三次元顔データから得た特徴点の配置を正規化した前記各症例患者の顔形態モデルである矯正前顔形態モデルHpre(i=i1,i2,…,ik)を演算するステップと、
    　前記選択された近似症例クラスに属する各症例患者の矯正後の三次元顔データから得た特徴点の配置を正規化した前記各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)を演算するステップと、
    　前記選択された近似症例クラスに属する各症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算するステップと、
    　前記選択された近似症例クラスに属する各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算するステップと、
    　前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算するステップと、
    　前記評価対象患者の三次元顔データから得た特徴点の配置を正規化した当該患者の顔形態モデルである対象患者顔形態モデルHnewを演算するステップと、
    　前記評価対象患者の顔形態モデルHnewに、前記選択された近似症例クラスに属する各症例患者の前記顔形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprdを演算するステップと
    を含む、矯正治療後の顔形態予測方法。
  4. 　矯正治療を行った前記複数の患者の矯正前の頭部Ｘ線規格写真に基づいて、人間の骨格形態について予め設定された複数の特徴変量を要素とする多次元の矯正前セファロ特徴ベクトルＣpre(i)を抽出するステップを更に含み、
    　前記複数の患者の症例データを分類するためのステップでは、前記複数の患者の矯正前特徴ベクトルＦpre(i)及び前記矯正前セファロ特徴ベクトルＣpre(i)を複合した拡張特徴ベクトルV(i)の集合に対しクラスタリング処理を行う、請求項３に記載の顔形態予測方法。
  5. 　矯正治療を行った前記複数の患者の矯正前の頭部Ｘ線規格写真に基づいて、人間の骨格形態について予め設定された複数の特徴変量を要素とする多次元の矯正前セファロ特徴ベクトルＣpre(i)を抽出するステップと、
    　前記複数の患者の矯正後の頭部Ｘ線規格写真に基づいて、多次元の矯正後セファロ特徴ベクトルＣpost(i)を抽出するステップとを更に含み、
    　前記複数の患者の症例データを分類するステップでは、前記複数の患者の矯正前特徴ベクトルＦpre(i)、前記矯正前セファロ特徴ベクトルＣpre(i)及び前記矯正後セファロ特徴ベクトルＣpost(i)を複合した拡張特徴ベクトルV(i)の集合に対しクラスタリング処理を行う、請求項４に記載の顔形態予測方法。
  6. 　前記拡張特徴ベクトルV(i)が、矯正前と矯正後のセファロ特徴ベクトルの差分Ｃpre(i)－Ｃpost(i)をベクトル要素に含む、V(i)＝[Ｆpre(i),Ｃpre(i),Ｃpre(i)－Ｃpost(i)]である、請求項５に記載の顔形態予測方法。
  7. 　前記評価対象患者の三次元顔データから得た特徴ベクトル及び／又は顔形態モデルをデータベースに編入するステップを更に含む、請求項２～６の何れかに記載の顔形態予測方法。
  8. 　データベースと、前記データベースに記憶したデータに基づいて演算処理を実行する演算処理装置とを備える、矯正治療後の顔形態予測システムであって、
    　前記データベースが、少なくとも、
    　矯正治療を行った複数の患者の矯正前の三次元顔データに基づいて、人間の顔形態について予め設定された複数の特徴変量を要素として抽出された多次元の矯正前特徴ベクトルＦpre(i)と、
    　前記複数の患者の矯正前の三次元顔データから得た特徴点の配置を正規化した矯正前顔形態モデルHpre(i)と、
    　前記複数の患者の矯正後の三次元顔データから得た特徴点の配置を正規化した矯正後顔形態モデルHpost(i)と
    を予め記憶し、
    　前記演算処理装置が、
    　矯正治療を検討している新たな患者（評価対象患者）の三次元顔データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出する特徴ベクトル抽出手段と、
    　前記矯正前特徴ベクトルＦpre(i)のうち、前記対象患者特徴ベクトルＦnewとの距離が近い順に、所定症例数ｋ人の症例患者を選択する近似症例患者選択手段と、
    　前記選択された各症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算し、前記選択された各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算する顔形態類型化手段と、
    　前記評価対象患者の三次元顔データから得た特徴点の配置を正規化した当該患者の顔形態モデルである対象患者顔形態モデルHnewを演算する顔形態モデル化手段と、
    　前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算し、前記評価対象患者の顔形態モデルHnewに、前記選択された各症例患者の前記顔形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprdを演算する予測顔形態モデル演算手段と
    を備える顔形態予測システム。
  9. 　データベースと、前記データベースに記憶したデータに基づいて演算処理を実行する演算処理装置とを備える、矯正治療後の顔形態予測システムであって、
    　前記データベースが、少なくとも、
    　矯正治療を行った複数の患者の矯正前の三次元顔データに基づいて、人間の顔形態について予め設定された複数の特徴変量を要素として抽出された多次元の矯正前特徴ベクトルＦpre(i)と、
    　前記複数の患者の矯正前の三次元顔データから得た特徴点の配置を正規化した矯正前顔形態モデルHpre(i)と、
    　前記複数の患者の矯正後の三次元顔データから得た特徴点の配置を正規化した矯正後顔形態モデルHpost(i)と
    を予め記憶し、
    　前記演算処理装置が、
    　前記複数の患者の矯正前特徴ベクトルＦpre(i)の集合に対しクラスタリング処理を行うことで、複数に分類される症例クラス及び前記各症例クラスのクラスタ重心Gpre(l)を演算する症例クラス分類手段と、
    　矯正治療を検討している新たな患者（評価対象患者）の三次元顔データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出する特徴ベクトル抽出手段と、
    　クラスタリングされた複数の前記クラスタ重心Gpre(l)のうち、前記対象患者特徴ベクトルＦnewとの距離が最も近いクラスタ重心を有する近似症例クラスを選択する近似症例クラス選択手段と、
    　前記選択された近似症例クラスに属する各症例患者の矯正前顔形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算し、前記選択された近似症例クラスに属する各症例患者の矯正後顔形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算する顔形態類型化手段と、
    　前記評価対象患者の三次元顔データから得た特徴点の配置を正規化した当該患者の顔形態モデルである対象患者顔形態モデルHnewを演算する顔形態モデル化手段と、
    　前記矯正後顔形態モデルのベクトル平均AVEpostから前記矯正前顔形態モデルのベクトル平均AVEpreを差し引いた顔形態ベクトル平均差分AVEpost－AVEpreを演算し、前記評価対象患者の顔形態モデルHnewに、前記選択された近似症例クラスに属する各症例患者の前記顔形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の矯正後に予測される三次元の予測顔形態モデルHprdを演算する予測顔形態モデル演算手段と
    を備える顔形態予測システム。
  10. 　前記データベースが、更に、矯正治療を行った前記複数の患者の矯正前の頭部Ｘ線規格写真に基づいて、人間の骨格形態について予め設定された複数の特徴変量を要素として抽出された多次元の矯正前セファロ特徴ベクトルＣpre(i)を予め記憶し、
    　前記症例クラス分類手段が、前記複数の患者の矯正前特徴ベクトルＦpre(i)及び前記矯正前セファロ特徴ベクトルＣpre(i)を複合した拡張特徴ベクトルV(i)の集合に対しクラスタリング処理を行う、請求項９に記載の顔形態予測システム。
  11. 　前記データベースが、更に、矯正治療を行った前記複数の患者の矯正後の頭部Ｘ線規格写真に基づいて抽出された多次元の矯正後セファロ特徴ベクトルＣpost(i)を予め記憶し、
    　前記症例クラス分類手段が、前記複数の患者の矯正前特徴ベクトルＦpre(i)、前記矯正前セファロ特徴ベクトルＣpre(i)及び前記矯正後セファロ特徴ベクトルＣpost(i)を複合した拡張特徴ベクトルV(i)の集合に対しクラスタリング処理を行う、請求項１０に記載の顔形態予測システム。
  12. 　前記拡張特徴ベクトルV(i)が、矯正前と矯正後のセファロ特徴ベクトルの差分Ｃpre(i)－Ｃpost(i)をベクトル要素に含む、V(i)＝[Ｆpre(i),Ｃpre(i),Ｃpre(i)－Ｃpost(i)]である、請求項１１に記載の顔形態予測システム。
  13. 　前記評価対象患者の三次元顔データから得た特徴ベクトル及び／又は顔形態モデルを前記データベースに編入する症例データ編入手段を更に備える、請求項８～１２の何れかに記載の顔形態予測システム。
  14. 　手術治療を行った複数の患者の術前の三次元乳房形態データに基づいて、予め選択された複数の特徴変量を要素とする多次元の術前特徴ベクトルＦpre(i)を抽出するステップと、
    　前記複数の患者の術前特徴ベクトルＦpre(i)の集合に対しクラスタリング処理を行うことで、複数に分類される症例クラス及び前記各症例クラスのクラスタ重心Gpre(l)を演算するステップと、
    　治療を検討している患者の三次元乳房形態データに基づいて、前記特徴変量を要素とする多次元の対象患者特徴ベクトルＦnewを抽出するステップと、
    　クラスタリングされた複数の前記クラスタ重心Gpre(l)のうち、前記対象患者特徴ベクトルＦnewとの距離が最も近いクラスタ重心を有する近似症例クラスを選択するステップと、
    　前記選択された近似症例クラスに属する各症例患者の術前の三次元乳房形態データから得た特徴点の配置を正規化した前記各症例患者の乳房形態モデルである術前乳房形態モデルHpre(i=i1,i2,…,ik)を演算するステップと、
    　前記選択された近似症例クラスに属する各症例患者の術後の三次元乳房形態データから得た特徴点の配置を正規化した前記各症例患者の術後乳房形態モデルHpost(i=i1,i2,…,ik)を演算するステップと、
    　前記選択された近似症例クラスに属する各症例患者の術前乳房形態モデルHpre(i=i1,i2,…,ik)のベクトル平均AVEpreを演算するステップと、
    　前記選択された近似症例クラスに属する各症例患者の術後乳房形態モデルHpost(i=i1,i2,…,ik)のベクトル平均AVEpostを演算するステップと、
    　前記術後乳房形態モデルのベクトル平均AVEpostから前記術前乳房形態モデルのベクトル平均AVEpreを差し引いた乳房形態ベクトル平均差分AVEpost－AVEpreを演算するステップと、
    　前記評価対象患者の三次元乳房形態データから得た特徴点の配置を正規化した当該患者の乳房形態モデルである対象患者乳房形態モデルHnewを演算するステップと、
    　前記評価対象患者の乳房形態モデルHnewに、前記選択された近似症例クラスに属する各症例患者の前記乳房形態ベクトル平均差分AVEpost－AVEpreを加味することで、当該評価対象患者の術後に予測される三次元の予測乳房形態モデルHprdを演算するステップと
    を含む、治療後の乳房形態予測方法。
PCT/JP2016/081236 2015-10-23 2016-10-21 人体における治療後の形態予測方法及びシステム Ceased WO2017069231A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017545807A JP6548097B2 (ja) 2015-10-23 2016-10-21 人体における治療後の形態予測方法及びシステム
US15/770,461 US11065084B2 (en) 2015-10-23 2016-10-21 Method and system for predicting shape of human body after treatment
US17/315,896 US11617633B2 (en) 2015-10-23 2021-05-10 Method and system for predicting shape of human body after treatment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-209300 2015-10-23
JP2015209300 2015-10-23

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/770,461 A-371-Of-International US11065084B2 (en) 2015-10-23 2016-10-21 Method and system for predicting shape of human body after treatment
US17/315,896 Division US11617633B2 (en) 2015-10-23 2021-05-10 Method and system for predicting shape of human body after treatment

Publications (1)

Publication Number Publication Date
WO2017069231A1 true WO2017069231A1 (ja) 2017-04-27

Family

ID=58557240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/081236 Ceased WO2017069231A1 (ja) 2015-10-23 2016-10-21 人体における治療後の形態予測方法及びシステム

Country Status (3)

Country Link
US (2) US11065084B2 (ja)
JP (1) JP6548097B2 (ja)
WO (1) WO2017069231A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190079215A (ko) * 2017-12-27 2019-07-05 주식회사 비앤에이치코리아 복수의 성형수술경험자의 비포 앤 애프터 이미지에 대한 빅데이터를 분석하여 성형수술을 희망하는 고객에게 가상의 성형이미지를 제공하는 딥러닝 기반 가상성형장치
CN111598012A (zh) * 2020-05-19 2020-08-28 恒睿(重庆)人工智能技术研究院有限公司 一种图片聚类管理方法、系统、设备及介质
WO2020184288A1 (ja) * 2019-03-13 2020-09-17 国立大学法人大阪大学 治療後の表情表出時の顔面形態予測方法及びシステム
KR20210030843A (ko) * 2019-09-10 2021-03-18 고려대학교 산학협력단 유방 변형 예측 시뮬레이션 방법 및 이를 수행하기 위한 장치
CN113052864A (zh) * 2021-03-02 2021-06-29 四川大学 一种基于机器学习的整形手术术后体貌预测方法
KR102372962B1 (ko) * 2021-08-04 2022-03-11 (주)아인사이트 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
JP2022043405A (ja) * 2020-09-04 2022-03-16 株式会社アシックス データ生成装置、靴型作製システム、およびデータ生成方法
US11980491B2 (en) 2018-09-27 2024-05-14 Osaka University Automatic recognition method for measurement point in cephalo image
JP2025505871A (ja) * 2022-02-25 2025-02-28 リアルフェイスバリュー・ビー・ブイ 知覚的特徴に基づく意味的顔画像操作及び審美的治療推奨のための方法
WO2025192540A1 (ja) * 2024-03-15 2025-09-18 株式会社ジャパン・メディカル・カンパニー 頭蓋矯正効果推定システム及び頭蓋矯正効果推定方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467815B2 (en) * 2016-12-16 2019-11-05 Align Technology, Inc. Augmented reality planning and viewing of dental treatment outcomes
CN111803804B (zh) * 2020-06-19 2023-04-07 山东省肿瘤防治研究院（山东省肿瘤医院） 自适应放疗系统、存储介质及设备
US12008760B2 (en) * 2020-07-24 2024-06-11 Covidien Lp Systems and methods for estimating the movement of a target using a universal deformation model for anatomic tissue
KR102386828B1 (ko) * 2020-10-28 2022-04-14 부산대학교 산학협력단 딥러닝을 이용한 보철 치료 후 안모 변화 예측을 위한 장치 및 방법
WO2023281266A1 (en) * 2021-07-07 2023-01-12 Brarista Ltd. Method and apparatus for determining morphology of a human breast and/or providing a manufactured garment
KR102715704B1 (ko) 2022-06-30 2024-10-11 김두희 치아교정 시뮬레이션 기반의 예측교정 이미지 제공 방법
KR102710043B1 (ko) 2022-06-30 2024-09-25 김두희 예측교정 이미지 제공 방법
CN115983082B (zh) * 2023-03-20 2023-05-23 佛山科学技术学院 预测口腔正畸治疗后牙齿模型生成方法
CN117745036B (zh) * 2024-02-18 2024-04-30 四川金投科技股份有限公司 一种基于特征识别及近场通信的牲畜信息管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041377A1 (ja) * 2008-10-06 2010-04-15 パナソニック株式会社 代表画像表示装置及び代表画像選択方法
JP2012045247A (ja) * 2010-08-27 2012-03-08 Osaka Univ 永久歯萌出期間予測装置
JP2014171702A (ja) * 2013-03-11 2014-09-22 Miura:Kk 顎変形症術後顔貌予測方法及びシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7156655B2 (en) * 2001-04-13 2007-01-02 Orametrix, Inc. Method and system for comprehensive evaluation of orthodontic treatment using unified workstation
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
WO2011089872A1 (ja) 2010-01-22 2011-07-28 パナソニック株式会社 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US8705875B1 (en) * 2010-09-07 2014-04-22 University Of North Carolina At Wilmington Demographic analysis of facial landmarks
US9311564B2 (en) * 2012-10-05 2016-04-12 Carnegie Mellon University Face age-estimation and methods, systems, and software therefor
JP2014149677A (ja) 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
EP2953090A4 (en) 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
US20140379356A1 (en) * 2013-06-20 2014-12-25 Rohit Sachdeva Method and system for integrated orthodontic treatment planning using unified workstation
JP2016085490A (ja) 2014-10-22 2016-05-19 高田 健治 顔形態の評価システム及び評価方法
US9405965B2 (en) * 2014-11-07 2016-08-02 Noblis, Inc. Vector-based face recognition algorithm and image search system
WO2018175486A1 (en) * 2017-03-20 2018-09-27 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041377A1 (ja) * 2008-10-06 2010-04-15 パナソニック株式会社 代表画像表示装置及び代表画像選択方法
JP2012045247A (ja) * 2010-08-27 2012-03-08 Osaka Univ 永久歯萌出期間予測装置
JP2014171702A (ja) * 2013-03-11 2014-09-22 Miura:Kk 顎変形症術後顔貌予測方法及びシステム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190079215A (ko) * 2017-12-27 2019-07-05 주식회사 비앤에이치코리아 복수의 성형수술경험자의 비포 앤 애프터 이미지에 대한 빅데이터를 분석하여 성형수술을 희망하는 고객에게 가상의 성형이미지를 제공하는 딥러닝 기반 가상성형장치
KR102043626B1 (ko) * 2017-12-27 2019-12-02 주식회사 비앤에이치코리아 복수의 성형수술경험자의 비포 앤 애프터 이미지에 대한 빅데이터를 분석하여 성형수술을 희망하는 고객에게 가상의 성형이미지를 제공하는 딥러닝 기반 가상성형장치
US11980491B2 (en) 2018-09-27 2024-05-14 Osaka University Automatic recognition method for measurement point in cephalo image
WO2020184288A1 (ja) * 2019-03-13 2020-09-17 国立大学法人大阪大学 治療後の表情表出時の顔面形態予測方法及びシステム
KR102329034B1 (ko) 2019-09-10 2021-11-19 고려대학교 산학협력단 유방 변형 예측 시뮬레이션 방법 및 이를 수행하기 위한 장치
KR20210030843A (ko) * 2019-09-10 2021-03-18 고려대학교 산학협력단 유방 변형 예측 시뮬레이션 방법 및 이를 수행하기 위한 장치
CN111598012A (zh) * 2020-05-19 2020-08-28 恒睿(重庆)人工智能技术研究院有限公司 一种图片聚类管理方法、系统、设备及介质
JP2022043405A (ja) * 2020-09-04 2022-03-16 株式会社アシックス データ生成装置、靴型作製システム、およびデータ生成方法
JP7506563B2 (ja) 2020-09-04 2024-06-26 株式会社アシックス データ生成装置、靴型作製システム、およびデータ生成方法
US12285080B2 (en) 2020-09-04 2025-04-29 Asics Corporation Data generating apparatus, shoe last producing system and data generating method
CN113052864A (zh) * 2021-03-02 2021-06-29 四川大学 一种基于机器学习的整形手术术后体貌预测方法
CN113052864B (zh) * 2021-03-02 2022-12-23 四川大学 一种基于机器学习的整形手术术后体貌预测方法
KR102372962B1 (ko) * 2021-08-04 2022-03-11 (주)아인사이트 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
JP2025505871A (ja) * 2022-02-25 2025-02-28 リアルフェイスバリュー・ビー・ブイ 知覚的特徴に基づく意味的顔画像操作及び審美的治療推奨のための方法
WO2025192540A1 (ja) * 2024-03-15 2025-09-18 株式会社ジャパン・メディカル・カンパニー 頭蓋矯正効果推定システム及び頭蓋矯正効果推定方法

Also Published As

Publication number Publication date
US11617633B2 (en) 2023-04-04
JP6548097B2 (ja) 2019-07-31
US11065084B2 (en) 2021-07-20
JPWO2017069231A1 (ja) 2018-10-04
US20180311013A1 (en) 2018-11-01
US20210275281A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
JP6548097B2 (ja) 人体における治療後の形態予測方法及びシステム
Naudi et al. The virtual human face: superimposing the simultaneously captured 3D photorealistic skin surface of the face on the untextured skin image of the CBCT scan
Guyomarc'h et al. Anthropological facial approximation in three dimensions (AFA 3D): Computer‐assisted estimation of the facial morphology using geometric morphometrics
Urbanová et al. Testing photogrammetry-based techniques for three-dimensional surface documentation in forensic pathology
Tokgöz et al. Applications of artificial intelligence, machine learning, and deep learning on facial plastic surgeries
EP2537111B1 (en) Method and system for archiving subject-specific, three-dimensional information about the geometry of part of the body
Barone et al. Computer-aided modelling of three-dimensional maxillofacial tissues through multi-modal imaging
US20100106475A1 (en) Biophysical virtual model database and applications
US20170161455A1 (en) Systems and methods for associating medical images with a patient
JP5883816B2 (ja) 顎変形症術後顔貌予測方法及びシステム
Nanda et al. Quantitative analysis of 3-dimensional facial soft tissue photographic images: technical methods and clinical application
Makram et al. Reeb graph for automatic 3D cephalometry
KR102373429B1 (ko) 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템
CN111096835A (zh) 一种矫形器设计方法和系统
JP2016085490A (ja) 顔形態の評価システム及び評価方法
Park et al. A three-dimensional parametric adult head model with representation of scalp shape variability under hair
Xin et al. Image fusion in craniofacial virtual reality modeling based on CT and 3dMD photogrammetry
EP3424017A1 (en) Automatic detection of an artifact in patient image data
Tan et al. Computer-aided superimposition via reconstructing and matching 3D faces to 3D skulls for forensic craniofacial identifications
Anchling et al. Automated orientation and registration of cone-beam computed tomography scans
WO2020184288A1 (ja) 治療後の表情表出時の顔面形態予測方法及びシステム
Wu et al. Three-dimensional statistical model for gingival contour reconstruction
Chaimongkhol et al. Utility of 3D facial reconstruction for forensic identification: a focus on facial soft tissue thickness and customized techniques
US20250329031A1 (en) Systems, methods, and devices for facial and oral static and dynamic analysis
Romeiro et al. Forensic facial reconstruction using mesh template deformation with detail transfer over HRBF

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857544

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017545807

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15770461

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16857544

Country of ref document: EP

Kind code of ref document: A1