WO2021095867A1 - 自動手術計画システムおよび手術計画方法並びにプログラム - Google Patents

自動手術計画システムおよび手術計画方法並びにプログラム Download PDF

Info

Publication number
WO2021095867A1
WO2021095867A1 PCT/JP2020/042491 JP2020042491W WO2021095867A1 WO 2021095867 A1 WO2021095867 A1 WO 2021095867A1 JP 2020042491 W JP2020042491 W JP 2020042491W WO 2021095867 A1 WO2021095867 A1 WO 2021095867A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
image data
planning system
skeletal structure
surgery planning
Prior art date
Application number
PCT/JP2020/042491
Other languages
English (en)
French (fr)
Inventor
青川 馬
英之 末永
英津子 小林
賢 正宗
Original Assignee
国立大学法人 東京大学
学校法人東京女子医科大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学, 学校法人東京女子医科大学 filed Critical 国立大学法人 東京大学
Priority to JP2021556188A priority Critical patent/JPWO2021095867A1/ja
Publication of WO2021095867A1 publication Critical patent/WO2021095867A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry

Definitions

  • the present invention relates to an automatic surgery planning system, a surgery planning method and a program.
  • medical image data captured by a medical image diagnostic device such as an X-ray CT scanner or a magnetic resonance imaging device may be marked with an anatomical landmark, which is an anatomical feature. ..
  • Patent Document 1 discloses a prior art capable of rapidly aligning the position of an anatomical landmark in medical image data with the position of an anatomical landmark in model-based virtual anatomical data. ..
  • Patent Document 1 allows the anatomical landmark already attached to the image data to be aligned with the anatomical landmark on the model base, but how to make the anatomical landmark on the medical image data. It is not disclosed whether to attach it.
  • anatomical landmarks are generally set manually based on the experience of the doctor, but there is a problem that the burden on the doctor is heavy.
  • the present invention has decided to provide an automatic surgery planning system or the like that can reduce the burden on the doctor by eliminating the manual setting of anatomical landmarks for medical image data.
  • an automatic surgery planning system configured to perform each of the following steps: In the reading step, medical image data that retains or reproduces the skeletal structure of the subject as information is read. In the specific step, at least one anatomical landmark is extracted from the medical image data by inputting the medical image data into a pre-stored machine learning model, thereby anatomically in the skeletal structure of the subject. Identify the location of the landmark.
  • the burden on the doctor can be reduced by eliminating the manual setting of anatomical landmarks on the medical image data.
  • FIG. 9A is a schematic diagram showing a line matching process
  • FIG. 9A shows a posture after conversion
  • FIG. 9C shows a posture after rotation
  • FIG. 9D shows a posture after processing.
  • the program for realizing the software appearing in the present embodiment may be provided as a non-temporary recording medium that can be read by a computer, may be provided as a downloadable form from an external server, or may be provided. It may be provided so that the program is started by an external computer and the function is realized (so-called cloud computing) by the client terminal.
  • the "part" may include, for example, a combination of hardware resources implemented by a circuit in a broad sense and information processing of software that can be concretely realized by these hardware resources. ..
  • various information is handled in this embodiment, and these information are, for example, physical values of signal values representing voltage and current, and signal values as a binary bit set composed of 0 or 1. It is represented by high-low or quantum superposition (so-called qubit), and communication / calculation can be executed on a circuit in a broad sense.
  • a circuit in a broad sense is a circuit realized by at least appropriately combining a circuit, a circuit, a processor, a memory, and the like. That is, an integrated circuit for a specific application (Application Special Integrated Circuit: ASIC), a programmable logic device (for example, a simple programmable logic device (Simple Programmable Logical Device: SPLD), a composite programmable logic device (Complex Program)) It includes a programmable gate array (Field Programmable Gate Array: FPGA) and the like.
  • FIG. 1 is a configuration diagram showing an automatic operation planning system 1 according to the present embodiment.
  • the automatic surgery planning system 1 includes a medical diagnostic imaging device 2 and an information processing device 3, and these are connected through a general-purpose or dedicated network.
  • the system exemplified in the automatic operation planning system 1 is composed of one or more devices or components. Therefore, even the information processing device 3 alone is included in the system exemplified by the automatic surgery planning system 1.
  • each component included in the automatic operation planning system 1 will be further described.
  • the medical diagnostic imaging apparatus 2 is an apparatus for photographing a subject.
  • the medical image diagnosis device 2 includes a communication unit 21 and an imaging unit 22.
  • the medical image diagnostic device 2 is connected to the information processing device 3 described later via a network, and is configured to be able to transmit the captured medical image data MD to the information processing device 3 via the communication unit 21.
  • the medical image diagnosis device 2 and the information processing device 3 may be directly connected to each other.
  • the medical image diagnostic apparatus 2 includes, for example, an X-ray CT scanner, an X-ray diagnostic apparatus, an ultrasonic diagnostic apparatus, a magnetic resonance imaging apparatus, and the like.
  • FIG. 2 is a block diagram showing a hardware configuration of the information processing device 3.
  • the information processing device 3 includes a communication unit 31, a storage unit 32, a control unit 33, a display unit 34, and an input unit 35, and these components provide a communication bus 30 inside the information processing device 3. It is electrically connected via. Each component will be further described.
  • the communication unit 31 requires wireless LAN network communication, mobile communication such as 3G / LTE / 5G, Bluetooth (registered trademark) communication, and the like. It may be included according to. That is, it is more preferable to carry out as a set of these plurality of communication means. That is, the information processing device 3 may communicate various information from the outside via the communication unit 31 and the network.
  • the storage unit 32 stores various information defined by the above description. This is, for example, as a storage device such as a solid state drive (Sold State Drive: SSD) that stores various programs related to the information processing device 3 executed by the control unit 33, or temporarily related to program calculation. It can be implemented as a memory such as a random access memory (Random Access Memory: RAM) that stores information (arguments, arrays, etc.) required for the device.
  • the storage unit 32 stores various programs, variables, and the like related to the information processing device 3 executed by the control unit 33. In particular, the storage unit 32 stores the machine learning model MM.
  • the control unit 33 processes and controls the entire operation related to the information processing device 3.
  • the control unit 33 is, for example, a central processing unit (CPU) (not shown).
  • the control unit 33 realizes various functions related to the information processing device 3 by reading a predetermined program stored in the storage unit 32. That is, the information processing by the software stored in the storage unit 32 can be executed as each functional unit included in the control unit 33 by being concretely realized by the control unit 33 which is an example of the hardware. These will be described in more detail in the next section.
  • the control unit 33 is not limited to a single control unit 33, and may be implemented so as to have a plurality of control units 33 for each function. Moreover, it may be a combination thereof.
  • the display unit 34 may be included in the housing of the information processing device 3, or may be externally attached, for example.
  • the display unit 34 displays a screen of a graphical user interface (GUI) that can be operated by the user.
  • GUI graphical user interface
  • display devices such as a CRT display, a liquid crystal display, an organic EL display, and a plasma display properly according to the type of the information processing device 3.
  • the input unit 35 may be included in the housing of the information processing device 3 or may be externally attached.
  • the input unit 35 may be implemented as a touch panel integrally with the display unit 34. If it is a touch panel, the user can input a tap operation, a swipe operation, and the like.
  • a switch button, a mouse, a QWERTY keyboard, or the like may be adopted. That is, the input unit 35 receives the operation input made by the user.
  • the input is transferred as a command signal to the control unit 33 via the communication bus 30, and the control unit 33 can execute a predetermined control or calculation as needed.
  • FIG. 3 is a block diagram showing a function realized by the control unit 33 and the like in the information processing device 3 according to the first embodiment.
  • the information processing device 3 includes a reception unit 331, a reading unit 332, a specific unit 334, and a display control unit 335.
  • the reception unit 331 is configured to receive various information.
  • the reception unit 331 may receive the medical image data MD taken by the medical image diagnostic apparatus 2. Details will be described later.
  • the reading unit 332 is configured to read various information received from the outside or stored in advance in the storage unit 32 via the communication unit 31.
  • the reading unit 332 may read the medical image data MD or the machine learning model MM stored in the storage unit 32 in advance. Details will be described later.
  • the correction processing unit 333 is configured to execute correction processing on the read medical image data MD. It is preferable that the medical image data MD after the correction process does not include any components other than the skeletal structure 5. Details will be described later.
  • the identification unit 334 identifies the position of the anatomical landmark LM based on the read medical image data MD and the machine learning model MM. Details will be described later.
  • the display control unit 335 is configured to control the anatomical landmark LM specified by the specific unit 334 so as to be superimposed on the skeletal structure 5 of the subject and displayed on the display unit 34. Details will be described later.
  • This section describes the surgery planning method of the above-mentioned automatic surgery planning system 1.
  • This surgical planning method comprises the following steps.
  • the medical image data MD that holds or reproduces the skeleton structure 5 of the subject as information is read.
  • the specific step by inputting the medical image data MD into the pre-stored machine learning model MM, at least one anatomical landmark LM is extracted from the medical image data MD, thereby skeletal structure of the subject. Identify the location of the anatomical landmark LM at 5.
  • FIG. 4 is an activity diagram showing the flow of information processing executed by the automatic surgery planning system 1 according to the first embodiment.
  • a user who is a doctor operates an X-ray CT scanner and an information processing device 3 which are an example of the medical image diagnostic device 2, and a display unit 34 provided in the information processing device 3 is provided with a skeleton structure 5.
  • the anatomical landmark LM will be superimposed and displayed as an example.
  • the imaging unit 22 in the medical image diagnostic apparatus 2 captures the subject to generate medical image data MD that holds or reproduces the skeletal structure 5 (see FIG. 6) of the subject as information (Activity A101). ).
  • the medical image diagnostic apparatus 2 is an X-ray CT scanner
  • the medical image data MD reconstructs a plurality of CT slice images or CT slice images that can reproduce the skeletal structure 5 as information. This is volume data that holds the skeletal structure 5 as information.
  • the X-ray CT scanner is widely used to acquire the three-dimensional skeleton structure 5, and therefore is an example of input data 41 to be input to the machine learning model MM more universally. Medical image data MD can be generated.
  • an X-ray detector (not shown) in the medical image diagnostic apparatus 2 detects X-rays emitted from an X-ray tube (not shown), and the detection data corresponding to the X-ray dose is not shown as an electric signal. Output to DAS. Then, by rotating a rotating frame (not shown) that supports the X-ray tube and the X-ray detector facing each other around the subject, a plurality of views, that is, detection data for the entire circumference of the subject are collected.
  • the reception unit 331 in the information processing device 3 receives the medical image data MD and is an example of a storage area. Is stored in the storage unit 32 (activity A102). According to such an aspect, a series of processes from imaging by the medical diagnostic imaging apparatus 2 to identification of the anatomical landmark LM described later can be realized as a one-stop automatic surgery planning system 1, and usability is improved. Can be improved.
  • the reading unit 332 reads out the medical image data MD that holds or reproduces the skeleton structure 5 of the subject as information. Specifically, the control unit 33 in the information processing device 3 writes the medical image data MD received by the reception unit 331 to the working memory in the storage unit 32.
  • control unit 33 in the information processing device 3 reads out a predetermined program stored in the storage unit 32 to reconstruct the medical image data MD and generate data holding the skeleton structure 5 as information. (Activity A103).
  • the medical image diagnostic apparatus 2 may perform such processing, and then the data may be transmitted to the information processing apparatus 3.
  • the correction processing unit 333 in the information processing apparatus 3 executes a correction process for removing a portion other than the skeletal structure 5 from the medical image data MD (activity A104).
  • the medical image data MD imaged by the medical image diagnostic apparatus 2 includes data such as internal organs and brain in addition to the skeletal structure 5, but in this operation planning method, information other than the skeletal structure 5 becomes redundant. It is preferable to execute the correction process on the medical image data MD based on a predetermined program. By performing such a process, it is possible to more accurately identify the position of the anatomical landmark LM described later.
  • the specific unit 334 in the information processing device 3 inputs the medical image data MD into the machine learning model MM stored in the storage unit 32 in advance (activity A105).
  • the position of the anatomical landmark LM is output as the output of the machine learning model MM. That is, the specific unit 334 extracts at least one anatomical landmark LM from the medical image data MD.
  • the identification unit 334 identifies the position of the anatomical landmark LM in the skeletal structure 5 of the subject (Activity A106).
  • FIG. 5 is a schematic diagram showing an example of the configuration of the machine learning model MM according to the first embodiment.
  • the machine learning model MM is composed of, for example, a convolutional neural network 4 including a backbone 42, a classification layer 43, and a regression layer 44.
  • Input data 41 is input to the convolutional neural network 4, and output data 45 is output.
  • the input data 41 may be the medical image data MD
  • the output data 45 may be the position of the anatomical landmark LM.
  • the machine learning model MM is a deep learning model using a small rectangular region. By using a small rectangular area called a patch at the time of learning, a highly accurate machine learning model MM can be realized.
  • this data supply method is also adopted, and a patch-based iterative network for automatic landmarks is constructed in consideration of the anatomical characteristics of the OMS image.
  • the patch-based iterative network belongs to the patch CNN of the technology category, and multiple landmarks can be predicted at the same time by iterative calculation.
  • the CNN model may treat the localization task as a co-classification and regression problem in a multi-task learning scheme.
  • a 2.5D representation may be used to estimate the 3D volume. This can speed up the calculation because only two-dimensional convolution is required.
  • the model uses iterative sparse sampling to identify landmarks.
  • the 3D volume may be converted into a 2.5D representation.
  • each of the three two-dimensional patches can be represented as I (V, x, l).
  • Three 2D patches can be remapped as 3 channel 2D patches before the data is input to CNN.
  • This patch requires only a 2D convolution operation and can provide a good approximation of the entire 3D volume.
  • This patch-based iterative network framework consists of a backbone network and subnetworks.
  • the main function of the backbone net is to extract the internal features of the input data.
  • the backbone net has several convolution blocks that include convolution, ReLU activation and patch normalization layers.
  • Each block is followed by a maximum pooling layer to reduce the spatial dimension and expand the receptive field.
  • Two subnetworks share the same backbone network.
  • the function of the subnetwork is to perform a collaborative task of classification and regression. This makes it possible to predict the direction and displacement of the point x moving towards the annotated landmark.
  • Such a network design can prevent overfitting, improve the generalization ability of learned functions, and improve the accuracy of overall localization.
  • the first network has a five-layer structure, and the first convolution layer starts with 32 kernels.
  • the second model has a three-layer structure with the same kernel size as the first network, removing the last two convolution layers and keeping the remaining parameters similar to the first network.
  • the third network has a three-layer structure, with the first layer starting with 16 kernels.
  • both dropout and scale factor ⁇ may be consistently set to 0.5 for all network structures.
  • the display control unit 335 displays the anatomical landmark LM superimposed on the skeletal structure 5 of the subject in a manner in which the user can grasp the position of the anatomical landmark LM (Activity A107). ).
  • the doctor can grasp the position of the anatomical landmark LM superimposed on the skeletal structure 5 by visually recognizing the display unit 34 in the information processing device 3, and the doctor can grasp the position. It is possible to provide an experience with high usability.
  • FIG. 6 is a schematic view showing an aspect in which the anatomical landmark LM is superimposed on the skeleton structure 5.
  • the left side in the figure shows the coronal surface, and the right side in the figure shows the sagittal surface.
  • the estimated position 51 of the anatomical landmark LM is specified by the machine learning model MM, and is displayed superimposed on the skeleton structure 5 on the display unit 34.
  • the true position 52 which is an example of the position of the anatomical landmark LM manually attached by the doctor based on experience, is shown. It can be seen that the estimated position 51 and the true position 52 are located close to each other, and the identification with high accuracy is realized. In carrying out the information processing device 3, the true position 52 of the anatomical landmark LM may not be displayed.
  • the burden on the doctor can be reduced by eliminating the manual setting of the anatomical landmark LM for the medical image data MD.
  • FIG. 7 is an activity diagram showing a flow of information processing executed by the automatic surgery planning system 1 according to the second embodiment.
  • the activities A201 to A207 of the surgery planning method according to the second embodiment correspond to the activities A101 to A107 of the surgery planning method according to the first embodiment.
  • the activity A204a is included. That is, the reading unit 332 in the information processing device 3 further reads out the surgery plan information PI including the change in the skeletal structure 5 accompanying the surgery (activity A204a).
  • the specific unit 334 in the information processing device 3 inputs the medical image data MD and the operation plan information PI into the machine learning model MM stored in the storage unit 32 in advance (activity A205).
  • the position of the anatomical landmark LM is output as the output of the machine learning model MM. That is, the specific unit 334 extracts at least one anatomical landmark LM from the medical image data MD.
  • the identification unit 334 identifies the change in the position of the anatomical landmark LM before and after the operation based on the operation plan information PI (Activity A206).
  • the doctor identifies the anatomical landmark LM from the automatic operation planning system 1 including the changes before and after the operation, so that the anatomical landmark LM before the operation is set. The burden is greatly reduced.
  • the surgery plan information PI is data that quantitatively includes, for example, changes in the skeletal structure 5 due to surgery.
  • the surgical plan information PI may include the postoperative skeletal structure 5 itself, or may include a vector or tensor representation of preoperative and postoperative changes. It may be medical image data MD that captures the postoperative image of a subject different from the subject scheduled for surgery, or it may be virtual data generated by a medical simulator or the like.
  • the skeletal structure 5 includes the skeleton 5a of the head and neck, and the surgery is an oral maxillofacial surgery.
  • the head and neck skeleton 5a may include a tooth, jaw or facial skeleton.
  • orthognathic surgery includes surgery to move the maxilla, mandible, or both for jaw deformities in which the size or shape of the jaw bone is significantly abnormal.
  • temporomandibular disorders may occur due to changes in the skeleton associated with orthodontics.
  • Orthognathic surgery is an example of preferable surgery because its demand is increasing due to the improvement of people's aesthetic awareness in recent years and the skeleton changes before and after surgery, and the burden on doctors is particularly reduced. Can be done.
  • FIG. 8 is a schematic diagram showing an example of the configuration of the machine learning model MM according to the second embodiment.
  • the machine learning model MM is composed of, for example, a convolutional neural network 6 including a preoperative model 61 and a postoperative model 62. In this way, the preoperative model 61 and the postoperative model 62 are constructed, respectively.
  • the configuration of each model is not particularly limited.
  • FIG. 9A and 9B are schematic views showing the line matching process
  • FIG. 9A shows the original state
  • FIG. 9B shows the posture after conversion
  • FIG. 9C shows the posture after rotation
  • FIG. 9D shows the posture after processing.
  • the original coordinates of the two landmarks of the preoperative volume are a and b
  • the two landmarks predicted by the model are c and d.
  • reference landmarks have been empirically determined for each surgical site.
  • the intersection of incisors can be selected as the reference point of the maxilla, Menton for the mandible, the coronoid process of the right mandible for the right mandible, and the coronoid process of the left mandible for the left mandible.
  • the translation vector between the two reference landmarks a and c is represented as Equation 1.
  • T' can be calculated as in equation 4.
  • the final matching landmark is then represented as Equation 5.
  • the above calculation process may be implemented at all surgical sites to interpret the transfer relationship between the landmark coordinates predicted by the model and the change in the pose of the original volume.
  • the burden on the doctor can be reduced by eliminating the manual setting of the anatomical landmark LM for the medical image data MD.
  • a program may be provided that causes a computer to execute each step of the automatic surgery planning system 1.
  • the automatic surgery planning system 1 may include components other than the medical image diagnostic device 2 or the information processing device 3.
  • an automatic operation planning system including an information processing device 3, an input device (not shown), and a display device (not shown) may be implemented.
  • connection methods are not particularly limited, and services provided via the Internet may be provided.
  • the configuration of the machine learning model MM is merely an example, and is not limited to this.
  • the automatic surgery planning system in the reading step, surgical planning information including changes in the skeletal structure associated with surgery is further read, and in the specific step, the position of the anatomical landmark is read based on the surgical planning information.
  • the skeletal structure includes a head and neck skeleton, the surgery being an oral maxillofacial surgery.
  • the automatic surgery planning system is configured to further execute a correction processing step, in which the correction processing step executes a correction process for removing a portion other than the skeletal structure from the medical image data.
  • the automatic surgery planning system further includes a display control step, in which the anatomical landmark is used as the skeletal structure of the subject in such a manner that the position of the anatomical landmark can be grasped by the user. It is displayed by superimposing it on.
  • the medical image data is a plurality of CT slice images that can reproduce the skeletal structure as information, or volume data that holds the skeletal structure as information by reconstructing the CT slice images. What is.
  • each of the following steps is further executed, and in the imaging step, the skeletal structure of the subject can be retained or reproduced as information by imaging the subject. Data is generated, and in the reception step, the medical image data is received and stored in a storage area.
  • the machine learning model is a deep learning model using a small rectangular region.
  • medical image data that retains or reproduces the skeletal structure of the subject as information is received, and in the specific step, the medical image data is stored in advance.
  • a method of extracting at least one anatomical landmark from the medical image data by inputting it into a machine learning model, thereby identifying the position of the anatomical landmark in the skeletal structure of the subject. ..
  • this is not the case.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

【課題】医用画像データに対する手動による解剖学的ランドマークの設定を無くすことで、医師の負担を軽減することができる自動手術計画システム等を提供すること。 【解決手段】本発明の一態様によれば、自動手術計画システムが提供される。この自動手術計画システムは、次の各ステップを実行するように構成される。読出ステップでは、被検体の骨格構造を情報として保持又は再現可能な医用画像データを読み出す。特定ステップでは、医用画像データを予め記憶された機械学習モデルに入力することで、医用画像データに対して少なくとも１つの解剖学的ランドマークを抽出し、これにより被検体の骨格構造における解剖学的ランドマークの位置を特定する。

Description

自動手術計画システムおよび手術計画方法並びにプログラム
　本発明は、自動手術計画システムおよび手術計画方法並びにプログラムに関する。
　医師が手術を行う上で、Ｘ線ＣＴスキャナ、磁気共鳴イメージング装置等の医用画像診断装置によって撮像された医用画像データに、解剖学的な特徴箇所である解剖学的ランドマークを付すことがある。
　特許文献１には、医用画像データにおける解剖学的ランドマークの位置と、モデルベースの仮想解剖データにおける解剖学的ランドマークの位置との位置合わせを迅速に実行可能な先行技術が開示されている。
特開２０１６－１０１５０２号公報
　しかしながら、特許文献１に開示される技術は、画像データに既に付された解剖学的ランドマークと、モデルベースにおけるそれとの位置合わせはできるものの、医用画像データにどのように解剖学的ランドマークを付すかは開示されていない。このような場合、一般的には医師の経験に基づいて、手動で解剖学的ランドマークが設定されているが、医師の負担が大きいという問題がある。
　本発明では上記事情を鑑み、医用画像データに対する手動による解剖学的ランドマークの設定を無くすことで、医師の負担を軽減することができる自動手術計画システム等を提供することとした。
　本発明の一態様によれば、自動手術計画システムが提供される。この自動手術計画システムは、次の各ステップを実行するように構成される。読出ステップでは、被検体の骨格構造を情報として保持又は再現可能な医用画像データを読み出す。特定ステップでは、医用画像データを予め記憶された機械学習モデルに入力することで、医用画像データに対して少なくとも１つの解剖学的ランドマークを抽出し、これにより被検体の骨格構造における解剖学的ランドマークの位置を特定する。
　このような一態様によれば、医用画像データに対する手動による解剖学的ランドマークの設定を無くすことで、医師の負担を軽減することができる。
本実施形態に係る自動手術計画システム１を表す構成図である。 情報処理装置３のハードウェア構成を示すブロック図である。 第１の実施形態に係る情報処理装置３における制御部３３等によって実現される機能を示すブロック図である。 第１の実施形態に係る自動手術計画システム１によって実行される情報処理の流れを示すアクティビティ図である。 第１の実施形態に係る機械学習モデルＭＭの構成一例を示す概要図である。 骨格構造５に解剖学的ランドマークＬＭを重畳させて表示した態様を示す概要図である。 第２の実施形態に係る自動手術計画システム１によって実行される情報処理の流れを示すアクティビティ図である。 第２の実施形態に係る機械学習モデルＭＭの構成一例を示す概要図である。 ラインマッチングの処理を示す概要図であり、図９Ａは元の状態、図９Ｂは変換後の姿勢、図９Ｃは回転後の姿勢、図９Ｄは処理後の姿勢を示している。
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
　ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
　また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
１．ハードウェア構成
　本節では、第１の実施形態（以下、本実施形態と称する）のハードウェア構成について説明する。
１．１　自動手術計画システム１
　図１は、本実施形態に係る自動手術計画システム１を表す構成図である。自動手術計画システム１は、医用画像診断装置２と、情報処理装置３とを備え、これらが汎用又は専用のネットワークを通じて接続されている。ここで、自動手術計画システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものである。したがって、情報処理装置３単体であっても自動手術計画システム１に例示されるシステムに含まれる。以下、自動手術計画システム１に含まれる各構成要素についてさらに説明する。
１．２　医用画像診断装置２
　医用画像診断装置２は、被検体を撮影する装置である。医用画像診断装置２は、通信部２１と、撮像部２２とを備える。医用画像診断装置２は、後述の情報処理装置３とネットワークを介して接続され、撮像した医用画像データＭＤを、通信部２１を介して情報処理装置３に送信可能に構成される。なお、医用画像診断装置２と情報処理装置３とを直接接続するように実施してもよい。なお、医用画像診断装置２は、例えば、Ｘ線ＣＴスキャナ、Ｘ線診断装置、超音波診断装置、磁気共鳴イメージング装置等が一例として該当する。
１．３　情報処理装置３
　図２は、情報処理装置３のハードウェア構成を示すブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３と、表示部３４と、入力部３５とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。
　通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置３は、通信部３１及びネットワークを介して、外部から種々の情報を通信してもよい。
　記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部３２は、制御部３３によって実行される情報処理装置３に係る種々のプログラムや変数等を記憶している。特に記憶部３２は、機械学習モデルＭＭを記憶している。
　制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。すなわち、記憶部３２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。
　表示部３４は、例えば、情報処理装置３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部３４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報処理装置３の種類に応じて使い分けて実施することが好ましい。
　入力部３５は、情報処理装置３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部３５は、表示部３４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部３５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス３０を介して制御部３３に転送され、制御部３３が必要に応じて所定の制御や演算を実行しうる。
２．機能構成
　本節では、本実施形態の機能構成について説明する。前述の通り、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部が実行されうる。
　図３は、第１の実施形態に係る情報処理装置３における制御部３３等によって実現される機能を示すブロック図である。具体的には、情報処理装置３は、受付部３３１と、読出部３３２と、特定部３３４と、表示制御部３３５とを備える。
　受付部３３１は、種々の情報を受け付けるように構成される。例えば、受付部３３１は、医用画像診断装置２によって撮影された医用画像データＭＤを受け付けてもよい。詳細については、後述する。
　読出部３３２は、通信部３１を介して外部から受け付けた又は予め記憶部３２に記憶された種々の情報を読み出すように構成される。例えば、読出部３３２は、予め記憶部３２に記憶された医用画像データＭＤ又は機械学習モデルＭＭを読み出してもよい。詳細については、後述する。
　補正処理部３３３は、読み出された医用画像データＭＤに対して補正処理を実行するように構成される。補正処理後の医用画像データＭＤは、骨格構造５以外の構成要素を含まないことが好ましい。詳細については、後述する。
　特定部３３４は、読み出された医用画像データＭＤと機械学習モデルＭＭとに基づいて、解剖学的ランドマークＬＭの位置を特定する。詳細については、後述する。
　表示制御部３３５は、特定部３３４が特定した解剖学的ランドマークＬＭを、被検体の骨格構造５に重畳させて表示部３４に表示させるように制御するように構成される。詳細については、後述する。
３．手術計画方法
　本節では、前述した自動手術計画システム１の手術計画方法について説明する。この手術計画方法は、次の各ステップを備える。読出ステップでは、被検体の骨格構造５を情報として保持又は再現可能な医用画像データＭＤを読み出す。特定ステップでは、医用画像データＭＤを予め記憶された機械学習モデルＭＭに入力することで、医用画像データＭＤに対して少なくとも１つの解剖学的ランドマークＬＭを抽出し、これにより被検体の骨格構造５における解剖学的ランドマークＬＭの位置を特定する。
　図４は、第１の実施形態に係る自動手術計画システム１によって実行される情報処理の流れを示すアクティビティ図である。以下、このアクティビティ図の各アクティビティに沿って、説明するものとする。また、本節では、医師であるユーザが医用画像診断装置２の一例であるＸ線ＣＴスキャナと情報処理装置３とを操作して、情報処理装置３に具備される表示部３４に、骨格構造５と解剖学的ランドマークＬＭとを重畳して表示させることを例に説明する。
　まず、医用画像診断装置２における撮像部２２は、被検体を撮像することで、被検体の骨格構造５（図６参照）を情報として保持又は再現可能な医用画像データＭＤを生成する（アクティビティＡ１０１）。具体的には、医用画像診断装置２がＸ線ＣＴスキャナであるため、医用画像データＭＤは、骨格構造５を情報として再現可能な複数のＣＴスライス画像、又は、ＣＴスライス画像を再構成することで骨格構造５を情報として保持するボリュームデータである。医用画像診断装置２の中でも、Ｘ線ＣＴスキャナは、３次元の骨格構造５を取得する上で、広く一般に普及しているため、より汎用的に機械学習モデルＭＭに入力させる入力データ４１の一例となる医用画像データＭＤを生成することができる。
　より具体的には、医用画像診断装置２における不図示のＸ線検出器が不図示のＸ線管から照射されたＸ線を検出し、当該Ｘ線量に対応した検出データを電気信号として不図示のＤＡＳに出力する。そして、Ｘ線管とＸ線検出器とを対向させて支持する不図示の回転フレームを被検体の周りに回転させることで、複数ビュー、すなわち被検体の全周囲分の検出データを収集する。
　続いて、医用画像診断装置２が通信部２１を介して医用画像データＭＤを情報処理装置３に送信すると、情報処理装置３における受付部３３１は、医用画像データＭＤを受け付けて、記憶領域の一例である記憶部３２に記憶させる（アクティビティＡ１０２）。このような態様によれば、医用画像診断装置２による撮像から、後述する解剖学的ランドマークＬＭの特定までの一連のプロセスをワンストップの自動手術計画システム１として実現することができ、ユーザビリティを向上させることができる。
　続いて、読出部３３２は、被検体の骨格構造５を情報として保持又は再現可能な医用画像データＭＤを読み出す。具体的には、情報処理装置３における制御部３３が、受付部３３１が受け付けた医用画像データＭＤを記憶部３２における作業メモリに書き出す。
　続いて、情報処理装置３における制御部３３が、記憶部３２に記憶された所定のプログラムを読み出すことで、医用画像データＭＤを再構成して、骨格構造５を情報として保持するデータを生成する（アクティビティＡ１０３）。なお、かかる処理を医用画像診断装置２が行ってから、当該データを情報処理装置３に送信するように実施してもよい。
　続いて、情報処理装置３における補正処理部３３３は、医用画像データＭＤから骨格構造５ではない部位を除去する補正処理を実行する（アクティビティＡ１０４）。医用画像診断装置２によって撮像された医用画像データＭＤは、骨格構造５以外にも内臓や脳等のデータを含んでいるが、本手術計画方法では骨格構造５以外の情報が冗長となるため、予め定められたプログラムに基づいて、医用画像データＭＤに対して補正処理を実行するとよい。このような処理を施すことによって、より精度高く後述の解剖学的ランドマークＬＭの位置の特定を実現することができる。
　続いて、情報処理装置３における特定部３３４は、医用画像データＭＤを、予め記憶部３２に記憶された機械学習モデルＭＭに入力する（アクティビティＡ１０５）。機械学習モデルＭＭの出力として、解剖学的ランドマークＬＭの位置が出力される。すなわち、特定部３３４は、医用画像データＭＤに対して少なくとも１つの解剖学的ランドマークＬＭを抽出する。そして、これにより、特定部３３４は、被検体の骨格構造５における解剖学的ランドマークＬＭの位置を特定する（アクティビティＡ１０６）。
　図５は、第１の実施形態に係る機械学習モデルＭＭの構成一例を示す概要図である。機械学習モデルＭＭは、例えば、バックボーン４２と、分類層４３と、回帰層４４とを備える畳み込みニューラルネットワーク４によって構成される。畳み込みニューラルネットワーク４には、入力データ４１が入力され、出力データ４５が出力される。本実施形態においては、入力データ４１は医用画像データＭＤであり、出力データ４５は解剖学的ランドマークＬＭの位置であればよい。また、学習にあたって使用する入力データ４１に関連し、機械学習モデルＭＭは、少矩形領域を用いた深層学習モデルである。いわゆるパッチと呼ばれる少矩形領域を学習時に用いることで、精度の高い機械学習モデルＭＭを実現することができる。
　ここで、機械学習モデルＭＭについて補足する。３次元の医用画像データＭＤの内部特徴を抽出するために使用できる、さまざまな機械学習方法がある。特定のＣＮＮアーキテクチャを選択するには、精度、計算コスト及び効率を考慮する必要がある。３次元の２次元表現を使用することは最先端の方法であり、さまざまなタイプの医療データの処理に使用されている。
　本実施形態では、このデータ供給方法も採用し、ＯＭＳ画像の解剖学的特性を考慮して、自動ランドマーク用のパッチベースの反復ネットワークを構築している。
　パッチベースの反復ネットワークは、技術カテゴリのパッチＣＮＮに属しており、反復計算で複数のランドマークを同時に予測することができる。ＣＮＮモデルは、ローカリゼーションタスクを、マルチタスク学習方式での共同分類及び回帰問題として扱ってもよい。３次元の医療データの計算コストを削減するために、２．５次元表現を使用して３次元ボリュームを概算してもよい。これにより、２次元畳み込みのみが必要になるため、計算が高速化されうる。推論フェーズでは、モデルは反復スパースサンプリングを使用してランドマークを特定する。
　例えば、計算コストを軽減するために、３次元ボリュームを２．５次元表現に変換してもよい。具体的には、３次元ボリュームの特定の点ｘ＝（ｘ、ｙ、ｚ）について、３つの直交する平面を抽出し、点ｘを中心として長さ１の３つの２次元パッチを作成してもよい。この場合、３つの２次元パッチごとにＩ（Ｖ、ｘ、ｌ）として表すことができる。
　データをＣＮＮに入力する前に、３つの２次元パッチが３チャネル２次元パッチとして再マッピングされうる。このパッチは、２次元畳み込み操作のみを必要とし、３次元ボリューム全体の適切な近似を提供することができる。
　ここで、３つの２次元パッチがポイントｘの長さでｌで抽出されうる。このパッチベースの反復ネットワークのフレームワークは、バックボーンネットワークとサブネットワークで構成されている。バックボーンネットの主な機能は、入力データの内部特徴を抽出することである。バックボーンネットには、畳み込み、ＲｅＬＵアクティベーション及びパッチ正規化レイヤーを含むいくつかの畳み込みブロックがある。
　各ブロックの後には、空間次元を縮小し、受容野を拡大するための最大プーリング層が続いている。２つのサブネットワークが同じバックボーンネットワークを共有している。サブネットワークの機能は、分類と回帰の共同タスクを実行することである。これにより、注釈付きのランドマークに向かうポイントｘの移動の方向と変位を予測することができる。このようなネットワーク設計は、過剰適合を防ぎ、学習した機能の一般化能力を向上させ、全体的なローカリゼーションの精度を高めることができる。
　なお、ＣＮＮモデルの内部パラメータに関する事前知識がない場合には、適切なモデルを見つけるために、さまざまなＣＮＮアーキテクチャとパラメータをテストしてもよい。ある調査では、パフォーマンスを評価するために、３つの異なるバックボーンネットワークを選択してもよい。最初のネットワークは５層構造で、最初の畳み込み層は３２カーネルから始まっている。２番目のモデルは、最初のネットワークと同じカーネルサイズの３層構造を持ち、最後の２つの畳み込み層を削除し、残りのパラメータを最初のネットワークと同様に維持している。３番目のネットワークは３層構造で、最初の層は１６個のカーネルから始まっている。
　一般に、パッチサイズ、学習率、及び入力データのパッチサイズは、ＣＮＮモデルのパフォーマンスに大きく影響しうる。一方で、ドロップアウトとスケールファクターの両方αすべてのネットワーク構造で一貫して０．５に設定されてもよい。
　再び、図４のアクティビティ図に戻る。続いて、表示制御部３３５は、解剖学的ランドマークＬＭの位置をユーザが把握可能な態様で、解剖学的ランドマークＬＭを被検体の骨格構造５に対して重畳して表示させる（アクティビティＡ１０７）。このような態様によれば、医師は、情報処理装置３における表示部３４を視認することで、骨格構造５に対して重畳された解剖学的ランドマークＬＭの位置を把握することができ、医師に対してユーザビリティの高い経験を提供することができる。
　図６は、骨格構造５に解剖学的ランドマークＬＭを重畳させて表示した態様を示す概要図である。図中左側が冠状面を示し、図中右側が矢状面を示している。図５に示されるように、機械学習モデルＭＭによって解剖学的ランドマークＬＭの推定位置５１が特定され、表示部３４において、骨格構造５に重畳されて表示されている。また、図５においては参考までに、医師が経験に基づいて手動で付した解剖学的ランドマークＬＭの位置の一例である真位置５２が示されている。推定位置５１と真位置５２とは互いに近い位置に位置しており、精度の高い特定が実現されていることが分かる。なお、情報処理装置３を実施するにあたっては、解剖学的ランドマークＬＭの真位置５２が表示されなくてもよい。
　このような一態様によれば、医用画像データＭＤに対する手動による解剖学的ランドマークＬＭの設定を無くすことで、医師の負担を軽減することができる。
４．第２の実施形態
　本節では、第２の実施形態に係る自動手術計画システム１について説明する。なお、第１の実施形態に係る自動手術計画システム１と略同様の構成や機能については、その説明を省略する。図７は、第２の実施形態に係る自動手術計画システム１によって実行される情報処理の流れを示すアクティビティ図である。
　第２の実施形態に係る手術計画方法のアクティビティＡ２０１～Ａ２０７は、第１の実施形態に係る手術計画方法のアクティビティＡ１０１～Ａ１０７に対応する。一方、第２の実施形態において、アクティビティＡ２０４ａを含む。すなわち、情報処理装置３における読出部３３２は、手術に伴う骨格構造５の変化を含む手術計画情報ＰＩをさらに読み出す（アクティビティＡ２０４ａ）。
　続いて、情報処理装置３における特定部３３４は、医用画像データＭＤと、手術計画情報ＰＩとを、予め記憶部３２に記憶された機械学習モデルＭＭに入力する（アクティビティＡ２０５）。機械学習モデルＭＭの出力として、解剖学的ランドマークＬＭの位置が出力される。すなわち、特定部３３４は、医用画像データＭＤに対して少なくとも１つの解剖学的ランドマークＬＭを抽出する。そして、これにより、特定部３３４は、手術計画情報ＰＩに基づいて、解剖学的ランドマークＬＭの位置の手術の前後での変化を特定する（アクティビティＡ２０６）。このような態様によれば、医師は術前術後の変化も含めて、自動手術計画システム１から解剖学的ランドマークＬＭの特定がなされるため、手術前の解剖学的ランドマークＬＭの設定負担が大幅に軽減される。
　なお好ましくは、手術計画情報ＰＩは、例えば、手術による骨格構造５の変化を定量的に含むデータである。これは例えば、手術計画情報ＰＩは、術後の骨格構造５そのものを含んでもよいし、術前術後の変化をベクトル又はテンソルで表現したものを含んでもよい。手術を予定する被検体とは異なる被検体の術後を撮像した医用画像データＭＤでもよいし、医用系シミュレータ等によって生成された仮想的なデータでもよい。
　なお、好ましくは、骨格構造５は、頭頚部の骨格５ａを含むもので、手術は、口腔顎顔面手術である。好ましくは、頭頸部の骨格５ａは、歯、顎又は顔の骨格を含みうる。例えば、顎矯正手術は、顎の骨の大きさ又は形が著しく異常な状態である顎変形症に対して、上顎骨、下顎骨又はその両方を動かす手術を含む。歯列矯正等に伴う骨格の変化で顎関節症を併発するといったケース等も想定される。顎矯正手術は、近年の人々の美意識の向上からその需要が高まっており、術前術後で骨格が変化する代表的な手術であるから、好ましい手術の一例であり、特に医師の負担が軽減されうる。
　図８は、第２の実施形態に係る機械学習モデルＭＭの構成一例を示す概要図である。機械学習モデルＭＭは、例えば、術前モデル６１と、術後モデル６２とを備える畳み込みニューラルネットワーク６によって構成される。このように術前モデル６１と、術後モデル６２とがそれぞれ構築されている。それぞれのモデルに係る構成は特に限定されるものではない。
　ここで、手術計画情報ＰＩに関して、術前術後についてのラインマッチングの処理について以下説明する。図９は、ラインマッチングの処理を示す概要図であり、図９Ａは元の状態、図９Ｂは変換後の姿勢、図９Ｃは回転後の姿勢、図９Ｄは処理後の姿勢を示している。術前ボリュームの２つのランドマークの元の座標がａとｂであり、モデルで予測された２つのランドマークがｃとｄであると仮定する。これらの４つのランドマークによって形成された２つの線を一致させるには、最初に、解剖学的ランドマークＬＭの一例である参照ランドマークをａからｃの座標に移動する必要がある。
　従来は、各手術部分で、参照ランドマークは経験的に決定されていた。上顎の基準点には切歯の交点、下顎体にはメントン、右下顎骨には右下顎骨の筋突起、左下顎骨には左下顎骨の筋突起が選択されうる。２つの参照ランドマークａとｃの間の並進ベクトルは、数１のように表される。
Figure JPOXMLDOC01-appb-M000001
　次に、ａ′とｂ′は、数２のように計算される。
Figure JPOXMLDOC01-appb-M000002
　回転角は、数３のように計算される。
Figure JPOXMLDOC01-appb-M000003
　通常、平行移動と回転の後、絶対的な長さに大きな違いがないため、２本の線を一致させることができる。より正確な結果が望ましい場合は、図９Ｃに示すように改良並進ベクトルＴ′を導入することにより、さらに改良を行うことができる。ここで、Ｔ′は数４のように計算しうる。
Figure JPOXMLDOC01-appb-M000004
　次に最終的に一致するランドマークが数５のように表される。
Figure JPOXMLDOC01-appb-M000005
　上記の計算プロセスは、モデルで予測されたランドマークの座標と元のボリュームのポーズの変化との間の転送関係を解釈するために、すべての手術部位に実装されてもよい。
　このような一態様によっても、医用画像データＭＤに対する手動による解剖学的ランドマークＬＭの設定を無くすことで、医師の負担を軽減することができる。
５．その他
　前述の各実施形態に係る自動手術計画システム１に関して、以下のような態様を採用してもよい。
（１）自動手術計画システム１又は情報処理装置３の構成に代えて又はこれとともに、コンピュータに自動手術計画システム１の各ステップを実行させるプログラムが提供されてもよい。
（２）自動手術計画システム１に、医用画像診断装置２又は情報処理装置３以外の構成要素が含まれてもよい。例えば、情報処理装置３と、不図示の入力装置と、不図示の表示装置とからなる自動手術計画システムが実施されてもよい。これらの接続方法は特に限定されず、インターネットを介して行うサービスが提供されてもよい。
（３）機械学習モデルＭＭの構成はあくまでも一例を示しているに過ぎず、この限りではない。
　さらに、次に記載の各態様で提供されてもよい。
　前記自動手術計画システムにおいて、前記読出ステップでは、手術に伴う前記骨格構造の変化を含む手術計画情報をさらに読み出し、前記特定ステップでは、前記手術計画情報に基づいて、前記解剖学的ランドマークの位置の前記手術の前後での変化を特定する、もの。
　前記自動手術計画システムにおいて、前記骨格構造は、頭頚部の骨格を含み、前記手術は、口腔顎顔面手術である、もの。
　前記自動手術計画システムにおいて、補正処理ステップをさらに実行するように構成され、前記補正処理ステップでは、前記医用画像データから前記骨格構造ではない部位を除去する補正処理を実行する、もの。
　前記自動手術計画システムにおいて、表示制御ステップをさらに備え、前記表示制御ステップでは、前記解剖学的ランドマークの位置をユーザが把握可能な態様で、前記解剖学的ランドマークを前記被検体の骨格構造に対して重畳して表示させる、もの。
　前記自動手術計画システムにおいて、前記医用画像データは、前記骨格構造を情報として再現可能な複数のＣＴスライス画像、又は、前記ＣＴスライス画像を再構成することで前記骨格構造を情報として保持するボリュームデータである、もの。
　前記自動手術計画システムにおいて、次の各ステップをさらに実行するように構成され、撮像ステップでは、前記被検体を撮像することで、前記被検体の骨格構造を情報として保持又は再現可能な前記医用画像データを生成し、受付ステップでは、前記医用画像データを受け付けて、記憶領域に記憶させる、もの。
　前記自動手術計画システムにおいて、前記機械学習モデルは、少矩形領域を用いた深層学習モデルである、もの。
　プログラムであって、コンピュータに前記自動手術計画システムの各ステップを実行させる、もの。
　手術計画方法であって、次の各ステップを備え、受付ステップでは、被検体の骨格構造を情報として保持又は再現可能な医用画像データを受け付け、特定ステップでは、前記医用画像データを予め記憶された機械学習モデルに入力することで、前記医用画像データに対して少なくとも１つの解剖学的ランドマークを抽出し、これにより前記被検体の骨格構造における前記解剖学的ランドマークの位置を特定する、方法。
　もちろん、この限りではない。
　最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１　　　　　：自動手術計画システム
２　　　　　：医用画像診断装置
２１　　　　：通信部
２２　　　　：撮像部
３　　　　　：情報処理装置
３０　　　　：通信バス
３１　　　　：通信部
３２　　　　：記憶部
３３　　　　：制御部
３３１　　　：受付部
３３２　　　：読出部
３３３　　　：補正処理部
３３４　　　：特定部
３３５　　　：表示制御部
３４　　　　：表示部
３５　　　　：入力部
４　　　　　：畳み込みニューラルネットワーク
４１　　　　：入力データ
４２　　　　：バックボーン
４３　　　　：分類層
４４　　　　：回帰層
４５　　　　：出力データ
５　　　　　：骨格構造
５ａ　　　　：骨格
５１　　　　：推定位置
５２　　　　：真位置
６　　　　　：畳み込みニューラルネットワーク
６１　　　　：術前モデル
６２　　　　：術後モデル
ＣＮＮ　　　：パッチ
ＬＭ　　　　：解剖学的ランドマーク
ＭＤ　　　　：医用画像データ
ＭＭ　　　　：機械学習モデル
ＰＩ　　　　：手術計画情報

Claims (10)

  1. 自動手術計画システムであって、
    　次の各ステップを実行するように構成され、
    　読出ステップでは、被検体の骨格構造を情報として保持又は再現可能な医用画像データを読み出し、
    　特定ステップでは、前記医用画像データを予め記憶された機械学習モデルに入力することで、前記医用画像データに対して少なくとも１つの解剖学的ランドマークを抽出し、これにより前記被検体の骨格構造における前記解剖学的ランドマークの位置を特定する、もの。
  2. 請求項１に記載の自動手術計画システムにおいて、
    　前記読出ステップでは、手術に伴う前記骨格構造の変化を含む手術計画情報をさらに読み出し、
    　前記特定ステップでは、前記手術計画情報に基づいて、前記解剖学的ランドマークの位置の前記手術の前後での変化を特定する、もの。
  3. 請求項２に記載の自動手術計画システムにおいて、
    　前記骨格構造は、頭頚部の骨格を含み、
    　前記手術は、口腔顎顔面手術である、もの。
  4. 請求項１～請求項３の何れか１つに記載の自動手術計画システムにおいて、
    　補正処理ステップをさらに実行するように構成され、
    　前記補正処理ステップでは、前記医用画像データから前記骨格構造ではない部位を除去する補正処理を実行する、もの。
  5. 請求項１～請求項４の何れか１つに記載の自動手術計画システムにおいて、
    　表示制御ステップをさらに備え、
    　前記表示制御ステップでは、前記解剖学的ランドマークの位置をユーザが把握可能な態様で、前記解剖学的ランドマークを前記被検体の骨格構造に対して重畳して表示させる、もの。
  6. 請求項１～請求項５の何れか１つに記載の自動手術計画システムにおいて、
    　前記医用画像データは、
    　　前記骨格構造を情報として再現可能な複数のＣＴスライス画像、又は、
    　　前記ＣＴスライス画像を再構成することで前記骨格構造を情報として保持するボリュームデータである、もの。
  7. 請求項１～請求項６の何れか１つに記載の自動手術計画システムにおいて、
    　次の各ステップをさらに実行するように構成され、
    　撮像ステップでは、前記被検体を撮像することで、前記被検体の骨格構造を情報として保持又は再現可能な前記医用画像データを生成し、
    　受付ステップでは、前記医用画像データを受け付けて、記憶領域に記憶させる、もの。
  8. 請求項１～請求項７の何れか１つに記載の自動手術計画システムにおいて、
    　前記機械学習モデルは、少矩形領域を用いた深層学習モデルである、もの。
  9. プログラムであって、
    　コンピュータに請求項１～請求項８の何れか１つに記載の自動手術計画システムの各ステップを実行させる、もの。
  10. 手術計画方法であって、
    　次の各ステップを備え、
    　受付ステップでは、被検体の骨格構造を情報として保持又は再現可能な医用画像データを受け付け、
    　特定ステップでは、前記医用画像データを予め記憶された機械学習モデルに入力することで、前記医用画像データに対して少なくとも１つの解剖学的ランドマークを抽出し、これにより前記被検体の骨格構造における前記解剖学的ランドマークの位置を特定する、方法。
PCT/JP2020/042491 2019-11-15 2020-11-13 自動手術計画システムおよび手術計画方法並びにプログラム WO2021095867A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021556188A JPWO2021095867A1 (ja) 2019-11-15 2020-11-13

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962935679P 2019-11-15 2019-11-15
US62/935,679 2019-11-15

Publications (1)

Publication Number Publication Date
WO2021095867A1 true WO2021095867A1 (ja) 2021-05-20

Family

ID=75912762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042491 WO2021095867A1 (ja) 2019-11-15 2020-11-13 自動手術計画システムおよび手術計画方法並びにプログラム

Country Status (2)

Country Link
JP (1) JPWO2021095867A1 (ja)
WO (1) WO2021095867A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009095644A (ja) * 2007-04-12 2009-05-07 Fujifilm Corp 画像認識結果判定装置、方法、およびプログラム
JP2017520292A (ja) * 2014-05-22 2017-07-27 ケアストリーム ヘルス インク ３ｄ頭部計測分析の方法
JP2018516708A (ja) * 2015-06-09 2018-06-28 ▲シャ▼承▲キン▼SHE, Chengxin 顎顔面矯正手術画像校正デザインシステム及びその方法
WO2019068741A2 (en) * 2017-10-02 2019-04-11 Promaton Holding B.V. AUTOMATED CLASSIFICATION AND TAXONOMY OF 3D TEXT DATA USING DEEP LEARNING PROCESSES
WO2019082841A1 (ja) * 2017-10-23 2019-05-02 国立大学法人新潟大学 歯科用の画像処理装置、歯科用の撮影システム、歯科用の画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009095644A (ja) * 2007-04-12 2009-05-07 Fujifilm Corp 画像認識結果判定装置、方法、およびプログラム
JP2017520292A (ja) * 2014-05-22 2017-07-27 ケアストリーム ヘルス インク ３ｄ頭部計測分析の方法
JP2018516708A (ja) * 2015-06-09 2018-06-28 ▲シャ▼承▲キン▼SHE, Chengxin 顎顔面矯正手術画像校正デザインシステム及びその方法
WO2019068741A2 (en) * 2017-10-02 2019-04-11 Promaton Holding B.V. AUTOMATED CLASSIFICATION AND TAXONOMY OF 3D TEXT DATA USING DEEP LEARNING PROCESSES
WO2019082841A1 (ja) * 2017-10-23 2019-05-02 国立大学法人新潟大学 歯科用の画像処理装置、歯科用の撮影システム、歯科用の画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUENAGA, HIDEYUKI ET AL.: "Computer-assisted preoperative simulation for positioning and fixation of plate in 2-stage procedure combining maxillary adavancement by distracion technique and mandibular setback surgery", INTERNATIONAL JOURNAL OF SURGERY CASE REPORTS, vol. 28, 2016, pages 246 - 250, XP055823350 *

Also Published As

Publication number Publication date
JPWO2021095867A1 (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
JP6947759B2 (ja) 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
US10049457B2 (en) Automated cephalometric analysis using machine learning
US10580159B2 (en) Coarse orientation detection in image data
EP3591616A1 (en) Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning
JP2020185374A (ja) 医療画像で病変の視覚化を補助する方法およびこれを利用した装置
JP7240001B2 (ja) 画像の閲覧を支援する方法およびこれを利用した装置
JP6980309B2 (ja) 再構成された画像群に基づく画像提供方法およびこれを利用した装置
WO2023142781A1 (zh) 图像三维重建方法、装置、电子设备及存储介质
WO2019146358A1 (ja) 学習システム、方法及びプログラム
CN114223040A (zh) 在成像点处用于对使成像工作流程效率更高的选择的即时建议的设备
JP7154098B2 (ja) 医用画像閲覧装置、医用画像処理装置、及び、医用画像診断装置
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN109087357A (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
WO2021095867A1 (ja) 自動手術計画システムおよび手術計画方法並びにプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
EP2332124B1 (en) Patient specific anatomical sketches for medical reports
JP7019745B2 (ja) トランケーション部分の予測画像を取得する方法及び装置
JP2020522334A (ja) ディープラーニングネットワークを使用して解剖学的対象物を識別及びナビゲートするためのシステム及び方法
CN107361842A (zh) 医用图像处理装置、医用图像诊断装置以及图像处理方法
JP2020195767A (ja) イメージング方法及びイメージング装置
Amara et al. Augmented Reality for medical practice: a comparative study of Deep learning models for Ct-scan segmentation
JP2007090072A (ja) 放射線画像データを神経解剖学座標系内に描出する方法
US20230022549A1 (en) Image processing apparatus, method and program, learning apparatus, method and program, and derivation model
US20230027544A1 (en) Image alignment apparatus, method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20887040

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021556188

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20887040

Country of ref document: EP

Kind code of ref document: A1