JP6750812B2 - Treatment support system, treatment support device, treatment support method, and computer program - Google Patents
Treatment support system, treatment support device, treatment support method, and computer program Download PDFInfo
- Publication number
- JP6750812B2 JP6750812B2 JP2016093174A JP2016093174A JP6750812B2 JP 6750812 B2 JP6750812 B2 JP 6750812B2 JP 2016093174 A JP2016093174 A JP 2016093174A JP 2016093174 A JP2016093174 A JP 2016093174A JP 6750812 B2 JP6750812 B2 JP 6750812B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hard tissue
- treatment
- treatment support
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 36
- 238000004590 computer program Methods 0.000 title description 13
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 210000000515 tooth Anatomy 0.000 description 105
- 210000001519 tissue Anatomy 0.000 description 68
- 238000002591 computed tomography Methods 0.000 description 59
- 210000000214 mouth Anatomy 0.000 description 18
- 239000003550 marker Substances 0.000 description 16
- 239000007943 implant Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 210000005036 nerve Anatomy 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 4
- 230000036346 tooth eruption Effects 0.000 description 4
- 210000004513 dentition Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000004270 retinal projection Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004283 incisor Anatomy 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 241000282465 Canis Species 0.000 description 1
- 101000603420 Homo sapiens Nuclear pore complex-interacting protein family member A1 Proteins 0.000 description 1
- 102100038845 Nuclear pore complex-interacting protein family member A1 Human genes 0.000 description 1
- 210000004763 bicuspid Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明は、歯科又は医科の治療を支援するための治療支援システム、治療支援装置、及び治療支援方法、並びにコンピュータをその治療支援装置として機能させるためのコンピュータプログラムに関する。 The present invention relates to a treatment support system for supporting dental or medical treatment, a treatment support device, a treatment support method, and a computer program for causing a computer to function as the treatment support device.
近年、情報処理技術の進展に伴い、歯科又は医科の治療を支援するためのコンピュータシステムが種々提案されている。例えば、特許文献１には、患者の口腔内に固定された第１マーカと、術者の顔に取り付けられた網膜投影型ヘッドマウントディスプレイ装置に対して固定された第２マーカとを使用することにより、歯科インプラント手術を支援する手術ナビゲーションシステムが開示されている。この手術ナビゲーションシステムでは、第１マーカ及び第２マーカの３次元位置姿勢を、３次元位置計測装置によりそれぞれ計測し、計測された第１マーカおよび第２マーカの３次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系である網膜投影型ヘッドマウントディスプレイ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換する。これにより、変換されたシミュレーションイメージ情報を網膜投影型ヘッドマウントディスプレイ装置により術者の網膜に投影して、術者の実視野にて取得される患者の口腔内の術部の実像に、シミュレーションイメージを重ね合わせることが可能になる。 In recent years, with the progress of information processing technology, various computer systems have been proposed for supporting dental or medical treatment. For example, in Patent Document 1, using a first marker fixed to the patient's oral cavity and a second marker fixed to a retinal projection head-mounted display device attached to the operator's face. Discloses a surgical navigation system that supports dental implant surgery. In this surgical navigation system, the three-dimensional position and orientation of the first marker and the second marker are respectively measured by a three-dimensional position measuring device, and the three-dimensional position and orientation of the measured first marker and second marker, the implant and the From the retinal projection head-mounted display device coordinate system, which is a three-dimensional coordinate system related to the position of the second marker and the three-dimensional position and orientation to one marker, to the technique that is a two-dimensional coordinate system in the operator's retina. Using the coordinate system conversion information for conversion to the operator visual field coordinate system, the three-dimensional coordinate system of the implant three-dimensional simulation image information is converted to the operator visual field coordinate system. As a result, the converted simulation image information is projected onto the retina of the operator by the retinal projection type head-mounted display device, and the simulation image is obtained as a real image of the operative site in the patient's oral cavity acquired in the operator's real visual field. Can be overlaid.
しかしながら、上記の従来の手術ナビゲーションシステムの場合、相当程度のサイズのマーカを口腔内及びヘッドマウントディスプレイ装置に固定する必要があり、それらのマーカが術者による治療を妨げるおそれがあるという問題が生じる。 However, in the case of the above-mentioned conventional surgical navigation system, it is necessary to fix markers of a considerable size in the oral cavity and the head mounted display device, and there is a problem that these markers may interfere with treatment by the operator. ..
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上述した課題を解決することができる治療支援システム、治療支援装置、治療支援方法、及びコンピュータプログラムを提供することにある。 The present invention has been made in view of such circumstances, and a main object thereof is to provide a treatment support system, a treatment support device, a treatment support method, and a computer program that can solve the above-mentioned problems. ..
上述した課題を解決するために、本発明の一の態様の治療支援システムは、被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得する治療支援画像取得部と、前記硬組織を含む領域を撮像し、当該硬組織の３次元実画像である硬組織実画像を取得する撮像部と、前記撮像部によって取得された硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するモデル画像取得部と、前記治療支援画像取得部によって取得された治療支援画像及び前記硬組織実画像における硬組織を、前記モデル画像取得部によって取得された３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成する重畳画像生成部と、前記重畳画像生成部によって生成された重畳画像を表示する表示部とを備る。 In order to solve the above-mentioned problems, a treatment support system according to one aspect of the present invention provides a treatment generated by adding a support image for supporting treatment to a three-dimensional CT image of a hard tissue of a subject. A treatment support image acquisition unit that acquires a support image, an imaging unit that images a region including the hard tissue, and acquires a hard tissue real image that is a three-dimensional real image of the hard tissue, and the imaging unit acquired. A model image acquisition unit that acquires a three-dimensional model image of hard tissue that can be superimposed on the hard tissue in each of the actual hard tissue image and the three-dimensional CT image, a treatment support image acquired by the treatment support image acquisition unit, and By superimposing the hard tissue in the hard tissue actual image via the hard tissue in the three-dimensional model image acquired by the model image acquisition unit, a superimposed image of the treatment support image and the hard tissue actual image is generated. And a display unit for displaying the superimposed image generated by the superimposed image generating unit.
前記態様において、前記重畳画像生成部は、前記３次元モデル画像及び前記３次元ＣＴ画像における硬組織を重ね合わせることにより、前記３次元ＣＴ画像の座標を前記３次元モデル画像に付加する座標付加部と、前記座標付加部によって前記３次元ＣＴ画像の座標が付加された前記３次元モデル画像及び前記硬組織実画像における硬組織を重ね合わせることによって、前記３次元ＣＴ画像の座標と前記硬組織実画像の座標とを同期させる座標同期部とを具備し、前記座標同期部によって前記３次元ＣＴ画像の座標と前記硬組織実画像の座標とを同期させることにより前記治療支援画像の座標と前記硬組織実画像の座標とを同期させて、前記治療支援画像及び前記硬組織実画像における硬組織を重ね合わせるように構成されていてもよい。 In the aspect, the superimposed image generation unit adds a coordinate of the three-dimensional CT image to the three-dimensional model image by superimposing the hard tissue in the three-dimensional model image and the three-dimensional CT image on each other. And superimposing the hard tissue in the three-dimensional model image and the actual hard tissue image to which the coordinates of the three-dimensional CT image are added by the coordinate adding unit, the coordinates of the three-dimensional CT image and the actual hard tissue A coordinate synchronization unit that synchronizes the coordinates of the image with the coordinates of the treatment assistance image and the hard image by synchronizing the coordinates of the three-dimensional CT image with the coordinates of the actual hard tissue image by the coordinate synchronization unit. It may be configured to synchronize the coordinates of the actual tissue image and superimpose the hard tissue in the treatment assistance image and the actual hard tissue image.
また、前記態様において、前記モデル画像取得部は、前記硬組織又はその模型を３次元計測することによって生成された前記３次元モデル画像を取得するように構成されていてもよい。 Further, in the aspect, the model image acquisition unit may be configured to acquire the three-dimensional model image generated by three-dimensionally measuring the hard tissue or a model thereof.
また、前記態様において、治療者の頭部に装着される没入型のヘッドマウントディスプレイをさらに備え、前記撮像部及び前記表示部は、前記ヘッドマウントディスプレイに設けられていてもよい。 Moreover, in the said aspect, it may further be provided with the immersive head mounted display with which a head of a medical treatment person is mounted|worn, and the said imaging part and the said display part may be provided in the said head mounted display.
また、前記態様において、前記硬組織は歯牙であってもよく、その場合に、前記座標同期部は、歯牙の歯列、歯牙の形状、及び歯牙の色に基づいて、前記３次元モデル画像及び前記硬組織実画像における歯牙を重ね合わせるように構成されていてもよい。 Further, in the above aspect, the hard tissue may be a tooth, and in that case, the coordinate synchronization unit, based on the tooth row of the tooth, the shape of the tooth, and the color of the tooth, the three-dimensional model image and It may be configured to overlap the teeth in the hard tissue actual image.
また、前記態様において、前記硬組織の回転角速度を検出する角速度センサをさらに備え、前記座標同期部は、前記角速度センサによる検出結果に基づいて、前記３次元モデル画像及び前記硬組織実画像における硬組織の重ね合わせを補正するように構成されていてもよい。 Further, in the above aspect, an angular velocity sensor for detecting a rotational angular velocity of the hard tissue is further provided, and the coordinate synchronization unit, based on a detection result by the angular velocity sensor, a hard image in the three-dimensional model image and the hard tissue actual image. It may be configured to correct the superposition of tissues.
また、前記態様において、前記角速度センサは、前記硬組織に固定されており、前記硬組織と前記角速度センサとの位置関係を検出する位置関係検出部をさらに備え、前記座標同期部は、前記
角速度センサによる検出結果及び前記位置関係検出部による検出結果に基づいて、前記３次元モデル画像及び前記硬組織実画像における硬組織の重ね合わせを補正するように構成されていてもよい。
Further, in the aspect, the angular velocity sensor is fixed to the hard tissue, further comprises a positional relationship detection unit that detects a positional relationship between the hard tissue and the angular velocity sensor, the coordinate synchronization unit,
It may be configured to correct the superposition of the hard tissues in the three-dimensional model image and the actual hard tissue image based on the detection result of the angular velocity sensor and the detection result of the positional relationship detecting unit.
本発明の一の態様の治療支援装置は、被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得する治療支援画像取得部と、前記硬組織を含む領域を撮像する撮像部を具備する外部の装置から、前記撮像部によって得られた当該硬組織の３次元実画像である硬組織実画像を取得する硬組織実画像取得部と、前記硬組織実画像取得部によって取得された硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するモデル画像取得部と、前記治療支援画像取得部によって取得された治療支援画像及び前記硬組織実画像における硬組織を、前記モデル画像取得部によって取得された３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成する重畳画像生成部と、前記重畳画像生成部によって生成された重畳画像を、外部の装置に対して出力する出力部とを備える。 A treatment support device according to one aspect of the present invention acquires a treatment support image that is generated by adding a support image for supporting treatment to a three-dimensional CT image of a hard tissue of a subject. Hard tissue real image for obtaining a hard tissue real image, which is a three-dimensional real image of the hard tissue obtained by the imaging unit, from an external device including an imaging unit and an imaging unit that images the region including the hard tissue an acquisition unit, and the model image acquisition unit for acquiring 3-dimensional model image of the hard tissue and superimposed available hard tissue in each of the hard tissue hardness obtained by actual image acquisition unit tissues real image and the 3-dimensional CT images , By superimposing the treatment support image acquired by the treatment support image acquisition unit and the hard tissue in the hard tissue actual image via the hard tissue in the three-dimensional model image acquired by the model image acquisition unit, A superimposition image generation unit that generates a superimposition image of the treatment assistance image and the hard tissue actual image, and an output unit that outputs the superimposition image generated by the superimposition image generation unit to an external device.
本発明の一の態様の治療支援方法は、被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得するステップと、前記硬組織を含む領域を撮像し、当該硬組織の３次元実画像である硬組織実画像を取得するステップと、取得した硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するステップと、取得した治療支援画像及び前記硬組織実画像における硬組織を、取得した３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成するステップと、生成した重畳画像を表示するステップとを有する。 A treatment support method according to an aspect of the present invention includes a step of acquiring a treatment support image generated by adding a support image for supporting treatment to a three-dimensional CT image of a hard tissue of a subject, Capturing a region including hard tissue and acquiring a hard tissue real image which is a three-dimensional real image of the hard tissue, and superimposing the acquired hard tissue real image and the hard tissue on each of the three-dimensional CT images The step of acquiring a three-dimensional model image of various hard tissues, and the treatment assistance by superimposing the acquired treatment support image and the hard tissue in the actual hard tissue image via the hard tissue in the acquired three-dimensional model image. The method has a step of generating a superimposed image of the image and the actual hard tissue image, and a step of displaying the generated superimposed image.
また、本発明の一の態様のコンピュータプログラムは、コンピュータに、被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得するステップと、前記硬組織を含む領域を撮像する撮像部を具備する外部の装置から、前記撮像部によって得られた当該硬組織の３次元実画像である硬組織実画像を取得するステップと、取得した硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するステップと、取得した治療支援画像及び前記硬組織実画像における硬組織を、取得した３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成するステップと、生成した重畳画像を、外部の装置に対して出力するステップとを実行させる。 Further, the computer program according to one aspect of the present invention acquires a treatment assistance image generated by adding a assistance image for assisting treatment to a three-dimensional CT image of a hard tissue of a subject in a computer. Acquiring a hard tissue actual image, which is a three-dimensional real image of the hard tissue obtained by the imaging unit, from an external device including an imaging unit that images the region including the hard tissue; Acquiring a three-dimensional model image of the hard tissue that can be superimposed on the hard tissue in each of the hard tissue actual image and the three-dimensional CT image, and the acquired treatment support image and the hard tissue in the hard tissue actual image, A step of generating a superimposed image of the treatment support image and the actual hard tissue image by superimposing the acquired three-dimensional model image via the hard tissue, and outputting the generated superimposed image to an external device. Perform the steps and
本発明に係る治療支援システム、治療支援装置、治療支援方法、及びコンピュータプログラムによれば、マーカーを用いることなく、患者の硬組織の３次元断層撮影画像とその硬組織の実画像とを重ね合わせることが可能になる。 According to the treatment support system, the treatment support device, the treatment support method, and the computer program according to the present invention, a three-dimensional tomographic image of a patient's hard tissue and an actual image of the hard tissue are superimposed without using a marker. It will be possible.
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Each embodiment described below exemplifies a method and an apparatus for embodying the technical idea of the present invention, and the technical idea of the present invention is not limited to the following. Absent. The technical idea of the present invention can be variously modified within the technical scope described in the claims.
なお、以下の各実施の形態では、歯牙を治療対象とする場合の治療支援を例示する。歯牙は硬組織であるため、顎運動等によりその位置・姿勢が変化したとしても、その歯列及び形状は変化しない。したがって、これらの歯列及び形状に基づいて特定された歯牙は１つの剛体とみなすことができ、マーカの代わりとすることができる。以下の各実施の形態では、このようにマーカの代わりとなる歯牙をカメラで追跡し、その結果に基づいて治療を支援するための画像を表示する。 In addition, in each of the following embodiments, treatment support when a tooth is a treatment target is illustrated. Since the tooth is a hard tissue, even if its position/posture changes due to jaw movement or the like, its dentition and shape do not change. Therefore, the tooth specified based on these dentition and shape can be regarded as one rigid body, and can be used as a substitute for the marker. In each of the following embodiments, a tooth that is a substitute for a marker is tracked by a camera in this way, and an image for supporting treatment is displayed based on the result.
上記のとおり、以下の各実施の形態では、歯科治療を支援するための治療支援システムが例示されるが、本発明はこれに限定されるものではなく、被治療者の骨・軟骨・歯牙等の硬組織に対する治療であれば適用することが可能である。したがって、本発明によれば、歯科治療のみではなく、医科治療を支援するための治療支援システムを実現することもできる。 As described above, in each of the following embodiments, the treatment support system for supporting the dental treatment is exemplified, but the present invention is not limited to this, and the bone, cartilage, teeth, etc. of the subject are treated. The treatment can be applied to any hard tissue. Therefore, according to the present invention, it is possible to realize a treatment support system for supporting not only dental treatment but also medical treatment.
（実施の形態１）
実施の形態１の治療支援システムは、被治療者の口腔内のＣＴ（Computed Tomography）画像に治療を支援するための支援画像を付加することにより得た治療支援画像と、同じく口腔内を撮像して得た撮像画像（実画像）とを重畳して表示させることにより、治療者の治療行為を支援するものである。この場合、治療行為を適切に支援するためには、治療支援画像及び実画像における被治療者の歯牙が重ね合わせられた状態で治療支援画像と実画像とを重畳して表示させることが望ましい。しかしながら、治療支援画像の元になるＣＴ画像においては、被治療者の口腔内の金属等に起因してアーチファクトが生じることにより画像が不鮮明になる部分が存在するため、治療支援画像及び実画像における治療者の歯牙を重ね合わせることは容易ではない。そこで、本実施の形態では、治療支援画像及び実画像における歯牙を直接的に重ね合わせることはせず、治療支援画像の元になるＣＴ画像及び実画像の両者における歯牙と重ね合わせ可能な歯牙のモデル画像を介して治療支援画像及び実画像における歯牙を重ね合わせることとする。これにより、治療中に治療支援画像と実画像とをリアルタイムに重畳して表示させることが可能になる。
(Embodiment 1)
The treatment support system according to the first embodiment captures the inside of the oral cavity as well as the treatment support image obtained by adding a support image for supporting the treatment to a CT (Computed Tomography) image of the inside of the oral cavity of the subject. By superimposing and displaying the captured image (actual image) obtained as above, the treatment action of the therapist is supported. In this case, in order to properly support the treatment action, it is desirable to display the treatment assistance image and the real image in a superposed manner in a state where the teeth of the patient in the treatment assistance image and the real image are superimposed. However, in the CT image that is the basis of the treatment support image, there is a portion where the image becomes unclear due to artifacts caused by metal or the like in the oral cavity of the treatment subject, so that in the treatment support image and the actual image. It is not easy to overlap the teeth of the healer. Therefore, in the present embodiment, the teeth in the treatment support image and the actual image are not directly overlaid, but the teeth in both the CT image and the real image which are the basis of the treatment support image are superposed with each other. It is assumed that the teeth in the treatment support image and the real image are overlaid via the model image. This makes it possible to superimpose and display the treatment support image and the real image during the treatment.
以下、実施の形態１の治療支援システムの構成及び動作について説明する。
［治療支援システムの構成］
図１は、本発明の実施の形態１の治療支援システムの構成を示すブロック図である。図１に示すとおり、本実施の形態の治療支援システムは、パーソナルコンピュータ等で構成された治療支援装置１と、没入型（非透過型）のヘッドマウントディスプレイ２とを備えている。ヘッドマウントディスプレイ２は、撮像素子を有する左右一対のレンズを具備するステレオカメラ２１と、装着者の視界を覆う没入型のディスプレイ２２とを備えている。
The configuration and operation of the treatment support system according to the first embodiment will be described below.
[Structure of treatment support system]
1 is a block diagram showing a configuration of a treatment support system according to a first embodiment of the present invention. As shown in FIG. 1, the treatment support system according to the present embodiment includes a treatment support device 1 including a personal computer and the like, and an immersive (non-transmissive) head mounted display 2. The head mounted display 2 includes a stereo camera 21 including a pair of left and right lenses having an image pickup element, and an immersive display 22 that covers the field of view of the wearer.
［治療支援装置の構成］
上述した治療支援装置１の詳細な構成について説明する。図２は、本実施の形態の治療支援装置１の構成を示すブロック図である。図２に示すとおり、コンピュータ（治療支援装置）１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ハードディスク１４、通信インタフェース（Ｉ／Ｆ）１５、入出力インタフェース（Ｉ／Ｆ）１６、ディスプレイ１７、及び入力部１８を備えており、これらの各要素はバス１９によって接続されている。
[Structure of treatment support device]
The detailed configuration of the above-described treatment support device 1 will be described. FIG. 2 is a block diagram showing the configuration of the treatment support device 1 according to the present embodiment. As shown in FIG. 2, the computer (treatment support device) 1 includes a CPU 11, a ROM 12, a RAM 13, a hard disk 14, a communication interface (I/F) 15, an input/output interface (I/F) 16, a display 17, and an input unit 18. And each of these elements are connected by a bus 19.
ＣＰＵ１１は、ＲＡＭ１３にロードされた各種のコンピュータプログラムを実行する。これにより、コンピュータ１が本実施の形態の治療支援装置として機能することになる。 The CPU 11 executes various computer programs loaded in the RAM 13. As a result, the computer 1 functions as the treatment support device according to this embodiment.
ＲＯＭ１２は、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、又はＥＥＰＲＯＭ（Electrically Erasable PROM）等によって構成されており、ＣＰＵ１１にて実行されるコンピュータプログラム及びその実行の際に用いられるデータ等を記憶している。 The ROM 12 is configured by a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), an EEPROM (Electrically Erasable PROM), or the like, and a computer program executed by the CPU 11 and data used when the program is executed. I remember.
ＲＡＭ１３は、ＳＲＡＭ又はＤＲＡＭなどによって構成されており、ハードディスク１４に記憶されている各種のコンピュータプログラムの読み出し等に用いられる。また、ＲＡＭ１３は、ＣＰＵ１１が各種のコンピュータプログラムを実行するときに、ＣＰＵ１１の作業領域としても利用される。 The RAM 13 is configured by SRAM, DRAM, or the like, and is used for reading various computer programs stored in the hard disk 14. The RAM 13 is also used as a work area of the CPU 11 when the CPU 11 executes various computer programs.
ハードディスク１４には、オペレーティングシステム及びアプリケーションプログラムなど、ＣＰＵ１１に実行させるための各種のコンピュータプログラム及び当該コンピュータプログラムの実行に用いられるデータ等が予めインストールされている。そのコンピュータプログラムには、コンピュータ１を本実施の形態の治療支援装置として機能させるための治療支援プログラム１４Ａが含まれている。 Various computer programs to be executed by the CPU 11, such as an operating system and application programs, and data used for executing the computer programs are installed in the hard disk 14 in advance. The computer program includes a treatment support program 14A for causing the computer 1 to function as the treatment support device according to the present embodiment.
さらに、ハードディスク１４には、例えばWindows（登録商標）、Mac OS（登録商標）、及びLINUX（登録商標）等のマルチタスクオペレーティングシステムがインストールされている。以下の説明においては、各種のコンピュータプログラムが当該オペレーティングシステム上で動作するものとしている。 Furthermore, a multitasking operating system such as Windows (registered trademark), Mac OS (registered trademark), and LINUX (registered trademark) is installed in the hard disk 14. In the following description, various computer programs are assumed to operate on the operating system.
通信Ｉ／Ｆ１５は、Bluetooth（登録商標）、ZigBee（登録商標）、及びWi-Fi（登録商標）等の無線通信規格にしたがって治療支援装置１が外部の装置と通信するためのインタフェース装置である。治療支援装置１は、この通信Ｉ／Ｆ１５を介して、ヘッドマウントディスプレイ２との間で各種のデータを送受信する。 The communication I/F 15 is an interface device for the treatment support device 1 to communicate with an external device according to a wireless communication standard such as Bluetooth (registered trademark), ZigBee (registered trademark), and Wi-Fi (registered trademark). .. The treatment support device 1 transmits and receives various data to and from the head mounted display 2 via the communication I/F 15.
入出力Ｉ／Ｆ１６は、例えばUSB，IEEE1394，又はRS-232C等のシリアルインタフェース、SCSI，IDE，又は IEEE1284等のパラレルインタフェース、及びＤ／Ａ変換器、Ａ／Ｄ変換器等からなるアナログインタフェース等から構成されている。治療支援装置１は、この入出力Ｉ／Ｆ１６を介して、外部に設けられたＣＴスキャナ及び３Ｄスキャナから情報を取得する。 The input/output I/F 16 is, for example, a serial interface such as USB, IEEE1394, or RS-232C, a parallel interface such as SCSI, IDE, or IEEE1284, and an analog interface including a D/A converter, an A/D converter, or the like. It consists of The treatment support apparatus 1 acquires information from the CT scanner and the 3D scanner provided outside through the input/output I/F 16.
ディスプレイ１７は、ＬＣＤ等で構成される出力装置であり、ＣＰＵ１１から与えられた画像データに応じた映像信号にしたがって画像（画面）を表示する。また、入力部１８は、キーボード及びマウスで構成された入力装置である。ユーザが入力部１８を使用することによって、治療支援装置１に対する入力を行うことができる。 The display 17 is an output device including an LCD or the like, and displays an image (screen) according to a video signal according to the image data given from the CPU 11. The input unit 18 is an input device including a keyboard and a mouse. By using the input unit 18, the user can make an input to the treatment support apparatus 1.
［ヘッドマウントディスプレイの構成］
次に、ヘッドマウントディスプレイ２の詳細な構成について説明する。図３は、本実施の形態のヘッドマウントディスプレイ２の外観構成を示す斜視図である。図３に示すとおり、ヘッドマウントディスプレイ２は、上述したディスプレイ２２をその内部に設けた筐体２３と、筐体２３の前面に設けられたステレオカメラ２１と、筐体２３の後方に設けられたヘッドバンド２４とを具備している。ステレオカメラ２１が具備する左右一対のレンズ２１ａ，２１ｂは、装着者がヘッドマウントディスプレイ２を装着した場合に装着者の両眼に対応する位置に設けられている。装着者がヘッドマウントディスプレイ２を装着した場合、装着者の視界は筐体２３によって覆われる。これにより、筐体２３の内部に設けられたディスプレイ２２が没入型のディスプレイとして機能することになる。
[Head mounted display configuration]
Next, a detailed configuration of the head mounted display 2 will be described. FIG. 3 is a perspective view showing an external configuration of the head mounted display 2 of this embodiment. As shown in FIG. 3, the head mounted display 2 is provided with a housing 23 in which the above-described display 22 is provided, a stereo camera 21 provided on the front surface of the housing 23, and a rear side of the housing 23. And a headband 24. The pair of left and right lenses 21a and 21b included in the stereo camera 21 are provided at positions corresponding to both eyes of the wearer when the wearer wears the head mounted display 2. When the wearer wears the head mounted display 2, the field of view of the wearer is covered by the housing 23. As a result, the display 22 provided inside the housing 23 functions as an immersive display.
なお、ヘッドマウントディスプレイ２としては、Oculus VR, Inc.が製造するOculus Rift（登録商標）、HTC Corporationが製造するHTC Vive（登録商標）、及びSony Computer Entertainment Inc.が製造するProject Morpheus等を用いることができる。 As the head mounted display 2, Oculus Rift (registered trademark) manufactured by Oculus VR, Inc., HTC Vive (registered trademark) manufactured by HTC Corporation, and Project Morpheus manufactured by Sony Computer Entertainment Inc. are used. be able to.
［治療支援システムの動作］
次に、上述したように構成された治療支援システムの動作について、フローチャート等を参照しながら説明する。ここでは、治療支援システムがインプラント治療の支援を行う場合を例として採り上げる。以下では、（１）ＣＴ画像から治療支援画像を生成するための治療支援画像生成処理、（２）ＣＴ画像の座標をモデル画像に付加するための座標付加処理、（３）インプラント治療の際に治療支援画像と実画像とを重畳して表示させるための治療支援処理の各処理に分けて、治療支援システムの動作を説明する。
[Operation of treatment support system]
Next, the operation of the treatment support system configured as described above will be described with reference to flowcharts and the like. Here, the case where the treatment support system supports the implant treatment is taken as an example. In the following, (1) treatment support image generation processing for generating a treatment support image from a CT image, (2) coordinate addition processing for adding the coordinates of the CT image to the model image, and (3) at the time of implant treatment The operation of the treatment support system will be described separately for each treatment support process for superimposing and displaying the treatment support image and the actual image.
（１）治療支援画像生成処理
治療支援画像生成処理では、３次元ＣＴ画像に治療を支援するための情報を付加することによって治療支援画像を生成する。この治療支援画像生成処理を実行する前に、ＣＴスキャナにより被治療者の口腔内の断層撮影が行われる。これにより、被治療者の歯牙を含む領域のＣＴ画像が得られる。
(1) Treatment Support Image Generation Processing In the treatment support image generation processing, a treatment support image is generated by adding information for supporting treatment to the three-dimensional CT image. Before executing this treatment support image generation processing, a tomographic image of the oral cavity of the patient is taken by the CT scanner. As a result, a CT image of the region including the tooth of the patient is obtained.
図４は、治療支援装置１によって実行される治療支援画像生成処理の手順を示すフローチャートである。治療支援装置１はまず、ＣＴスキャナにより得られたＣＴ画像を当該ＣＴスキャナから取得し（Ｓ１０１）、これをディスプレイ１７に表示する（Ｓ１０２）。 FIG. 4 is a flowchart showing the procedure of the treatment support image generation process executed by the treatment support apparatus 1. The treatment support apparatus 1 first acquires the CT image obtained by the CT scanner from the CT scanner (S101) and displays it on the display 17 (S102).
ユーザ（治療者）は、ディスプレイ１７に表示されているＣＴ画像を参照し、インプラント治療に必要となる情報、例えば被治療者の神経及び血管の位置・形状、並びにインプラントの埋入本数、埋入位置及び種類等を決定する。図５は、このようにインプラント治療に必要となる情報を決定する際の治療者による作業状況を示す画面例である。この図５には、３枚のＣＴ画像のそれぞれを解析し、被治療者の神経の位置・形状等を特定する過程が示されている。治療者は、上記のようにして決定したインプラント治療に必要となる情報に基づいて、治療支援画像に含めるべきオブジェクト（神経、血管、及びインプラント）を示す画像を作成する。例えば、オブジェクトが神経及び血管である場合、治療者は、ＣＴ画像から神経及び血管の位置・形状を特定し、それに応じた画像を作成する。また、オブジェクトがインプラントである場合、治療者は、インプラントの埋入本数、埋入位置及び形状を特定し、それに応じた画像を作成する。これらの画像の作成は、公知のＣＴ画像解析ソフト等を用いて行うことができる。図６は、このようにして作成された画像（以下「支援画像」という）の一例を示す図である。治療者は、入力部１８を用いて、作成した支援画像を治療支援装置１に対して入力し、治療支援装置１はこれを受け付ける（Ｓ１０３）。 The user (therapist) refers to the CT image displayed on the display 17 to obtain information necessary for implant treatment, for example, the positions and shapes of nerves and blood vessels of the subject, the number of implants, and the number of implants. Determine the position and type. FIG. 5 is an example of a screen showing the work situation by the therapist when determining the information necessary for implant treatment in this way. FIG. 5 shows a process of analyzing each of the three CT images and specifying the position and shape of the nerve of the patient. The therapist creates an image showing the objects (nerve, blood vessel, and implant) to be included in the treatment support image based on the information necessary for the implant treatment determined as described above. For example, when the object is a nerve and a blood vessel, the therapist specifies the positions and shapes of the nerve and the blood vessel from the CT image, and creates an image corresponding thereto. Further, when the object is an implant, the therapist specifies the number of implants to be embedded, the implantation position, and the shape, and creates an image corresponding thereto. Creation of these images can be performed using publicly known CT image analysis software or the like. FIG. 6 is a diagram showing an example of the image created in this way (hereinafter referred to as “support image”). The therapist uses the input unit 18 to input the created support image to the treatment support apparatus 1, and the treatment support apparatus 1 accepts this (S103).
次に、治療支援装置１は、ステップＳ１０１にて読み出したＣＴ画像を用いて公知のボリュームレンダリング処理を実行することにより、被治療者の口腔内のボリュームレンダリング像（３次元ＣＴ画像）を生成する（Ｓ１０４）。図７は、このようにして生成された３次元ＣＴ画像の一例を示す図である。 Next, the treatment support apparatus 1 performs a known volume rendering process using the CT image read in step S101 to generate a volume rendering image (three-dimensional CT image) of the oral cavity of the patient. (S104). FIG. 7 is a diagram showing an example of the three-dimensional CT image generated in this way.
次に、治療支援装置１は、生成した３次元ＣＴ画像に、ステップＳ１０３にて入力を受け付けた支援画像を付加する（Ｓ１０５）。このときの３次元ＣＴ画像と支援画像との位置合わせは、治療者が治療支援装置１に対して指示することによって行われる。これによって３次元の治療支援画像が生成される。治療支援装置１は、このようにして生成された治療支援画像をハードディスク１４に記憶する（Ｓ１０６）。図８は、治療支援画像の一例を示す図である。 Next, the treatment support apparatus 1 adds the support image input in step S103 to the generated three-dimensional CT image (S105). The alignment of the three-dimensional CT image and the support image at this time is performed by the therapist instructing the treatment support apparatus 1. As a result, a three-dimensional treatment support image is generated. The treatment support device 1 stores the treatment support image thus generated in the hard disk 14 (S106). FIG. 8 is a diagram showing an example of the treatment support image.
（２）座標付加処理
座標付加処理では、上述したように生成された治療支援画像における歯牙と重ね合わせ可能な歯牙のモデル画像に対し、その治療支援画像の元になる３次元ＣＴ画像の座標を付加する。この座標付加処理を実行する前に、３Ｄスキャナによって被治療者の口腔内の走査が行われる。なお、このように被治療者の口腔内を直接走査するのではなく、予め作成された被治療者の口腔内の模型を３Ｄスキャナによって走査するようにしてもよい。これにより、被治療者の歯牙を含む３次元のモデル画像が得られる。
(2) Coordinate Addition Process In the coordinate addition process, the coordinates of the three-dimensional CT image that is the basis of the treatment support image are set to the model image of the tooth that can be superimposed on the tooth in the treatment support image generated as described above. Add. Before executing this coordinate addition process, the 3D scanner scans the inside of the oral cavity of the patient. It should be noted that, instead of directly scanning the inside of the oral cavity of the treatment subject in this manner, a model of the inside of the treatment subject's mouth that has been created in advance may be scanned by the 3D scanner. As a result, a three-dimensional model image including the teeth of the patient is obtained.
図９は、治療支援装置１によって実行される座標付加処理の手順を示すフローチャートである。図９に示すように、治療支援装置１は、３Ｄスキャナにより得られたモデル画像を当該３Ｄスキャナから取得し（Ｓ２０１）、そのモデル画像と、上記の治療支援画像生成処理において生成された３次元ＣＴ画像とをディスプレイ１７に表示する（Ｓ２０２）。ここで、治療支援装置１は、モデル画像及び３次元ＣＴ画像を同一画面上に重ねて表示する。このとき、モデル画像における歯牙と３次元ＣＴ画像における歯牙とが一致するように両画像を重ねることが望ましいが、上述したように、ＣＴ画像にはアーチファクトによって画像が不鮮明となる部分が存在するため、治療支援装置１によって両歯牙を自動的に一致させることは困難である。そのため、本実施の形態では、ディスプレイ１７に表示されているモデル画像及び３次元ＣＴ画像の位置合わせを治療者が手動で行う。 FIG. 9 is a flowchart showing a procedure of coordinate addition processing executed by the treatment support device 1. As shown in FIG. 9, the treatment support device 1 acquires the model image obtained by the 3D scanner from the 3D scanner (S201), and the model image and the three-dimensional image generated in the treatment support image generation process described above. The CT image and the image are displayed on the display 17 (S202). Here, the treatment support apparatus 1 superimposes and displays the model image and the three-dimensional CT image on the same screen. At this time, it is desirable to overlap the two images so that the tooth in the model image and the tooth in the three-dimensional CT image match each other. However, as described above, the CT image has a portion where the image becomes unclear due to artifacts. It is difficult to automatically match both teeth with the treatment support device 1. Therefore, in the present embodiment, the therapist manually aligns the model image and the three-dimensional CT image displayed on the display 17.
図１０は、ステップＳ２０１において取得されるモデル画像の一例を示す図である。また、図１１は、そのモデル画像と重ね合わせられる３次元ＣＴ画像の一例を示す図である。なお、説明の便宜上、これらのモデル画像及び３次元ＣＴ画像には上顎部のみが示されており、下顎部は省略されている。治療支援装置１は、ステップＳ２０２において、これらのモデル画像及び３次元ＣＴ画像を同一画面上に重ねて表示する。治療者は、入力部１８を用いて、モデル画像及び３次元ＣＴ画像の何れかを選択し、両画像における歯牙が重なり合うように選択した画像を移動させることによって、モデル画像及び３次元ＣＴ画像の位置合わせを治療支援装置１に対して指示する。 FIG. 10 is a diagram showing an example of the model image acquired in step S201. Further, FIG. 11 is a diagram showing an example of a three-dimensional CT image to be superimposed on the model image. For convenience of explanation, only the upper jaw is shown in these model images and three-dimensional CT images, and the lower jaw is omitted. The treatment support apparatus 1 superimposes and displays these model image and three-dimensional CT image on the same screen in step S202. The therapist selects either the model image or the three-dimensional CT image using the input unit 18, and moves the selected images so that the teeth in both images overlap with each other, thereby creating the model image and the three-dimensional CT image. The alignment is instructed to the treatment support device 1.
治療支援装置１は、上記のようにして治療者によって行われた位置合わせの指示を受け付けた場合（Ｓ２０３）、その指示にしたがってモデル画像及び／又は３次元ＣＴ画像を移動させた上で両画像を重ね合わせてディスプレイ１７に表示する（Ｓ２０４）。図１２は、そのときの画面例である。次に、治療支援装置１は、その重ね合わせた状態を維持した上で、３次元ＣＴ画像の座標をモデル画像に付加する（Ｓ２０５）。 When the treatment support apparatus 1 receives the alignment instruction given by the therapist as described above (S203), the model image and/or the three-dimensional CT image are moved according to the instruction, and then both images are moved. Are superimposed and displayed on the display 17 (S204). FIG. 12 shows an example of the screen at that time. Next, the treatment support apparatus 1 maintains the superposed state and adds the coordinates of the three-dimensional CT image to the model image (S205).
次に、治療支援装置１は、歯牙の歯列、形状、及び色に基づいて歯牙の特徴点を抽出する（Ｓ２０６）。例えば、歯牙の歯列を示す線に含まれる点、歯牙の輪郭に位置する点、及び同一色の領域における中心位置を示す点等が特徴点として抽出される。この特徴点は、治療支援装置１がモデル画像に対して所定の画像処理を施すことによって自動的に特定してもよく、治療者が特定して治療支援装置１に対して入力するようにしてもよい。また、これら自動及び手動による特定を合わせて行ってもよい。その後、治療支援装置１は、３次元ＣＴ画像の座標が付加されたモデル画像を、抽出された歯牙の特徴点とともにハードディスク１４に記憶する（Ｓ２０７）。 Next, the treatment support apparatus 1 extracts the feature points of the tooth based on the tooth row, shape, and color of the tooth (S206). For example, a point included in a line showing a tooth row of teeth, a point located on the contour of a tooth, a point indicating a center position in a region of the same color, and the like are extracted as feature points. The feature points may be automatically specified by the treatment support device 1 by performing a predetermined image processing on the model image, and may be specified by the therapist and input to the treatment support device 1. Good. Further, these automatic and manual identifications may be combined. Then, the treatment support apparatus 1 stores the model image to which the coordinates of the three-dimensional CT image are added in the hard disk 14 together with the extracted feature points of the tooth (S207).
上記のようにしてモデル画像が３次元ＣＴ画像の座標を備えることにより、モデル画像の座標系と３次元ＣＴ画像の座標系とを共通にすることができる。ここで、治療支援画像は３次元ＣＴ画像を元にしているため、モデル画像の座標系と３次元ＣＴ画像の座標系とを共通にすることができるということは、モデル画像の座標系と治療支援画像の座標系とを共通にすることができるということを意味している。 Since the model image has the coordinates of the three-dimensional CT image as described above, the coordinate system of the model image and the coordinate system of the three-dimensional CT image can be made common. Here, since the treatment support image is based on the 3D CT image, the fact that the coordinate system of the model image and the coordinate system of the 3D CT image can be made common means that the coordinate system of the model image and the treatment system. This means that the coordinate system of the support image can be made common.
（３）治療支援処理
上記の治療支援画像生成処理及び座標付加処理によって治療支援の準備が完了する。治療者は、ヘッドマウントディスプレイ２を頭部に装着し、インプラント治療を開始する。その際、以下の治療支援処理が実行される。なお、この治療支援処理が実行されている間、ヘッドマウントディスプレイ２は、ステレオカメラ２１によって被治療者の口腔内を連続的に撮像し、これにより得られた撮像画像（実画像）を治療支援装置１に対して送信し続ける。
(3) Treatment Support Process The treatment support preparation is completed by the treatment support image generation process and coordinate addition process. The therapist mounts the head mounted display 2 on the head and starts implant treatment. At that time, the following treatment support processing is executed. While the treatment support process is being performed, the head mounted display 2 continuously captures the inside of the oral cavity of the patient by the stereo camera 21, and the captured image (actual image) obtained by this treatment support Continue to send to device 1.
図１３は、治療支援装置１によって実行される治療支援処理の手順を示すフローチャートである。治療支援装置１は、ヘッドマウントディスプレイ２から被治療者の口腔内の実画像を取得し（Ｓ３０１）、所定の輪郭抽出処理等を実行することによって当該実画像における歯牙を検出する（Ｓ３０２）。次に、治療支援装置１は、このようにして検出された歯牙の歯列、形状、及び色に基づいて特徴点を抽出する（Ｓ３０３）。ここで抽出される特徴点は、モデル画像において抽出された特徴点と対応する点である。なお、実画像ではアーチファクトが生じないため、歯牙が鮮明に現れている。そのため、ステップＳ３０２における歯牙の検出及びステップＳ３０３における特徴点の抽出を高精度に行うことができる。 FIG. 13 is a flowchart showing the procedure of the treatment support process executed by the treatment support device 1. The treatment support apparatus 1 acquires a real image of the inside of the oral cavity of the patient from the head mounted display 2 (S301), and executes a predetermined contour extraction process or the like to detect a tooth in the real image (S302). Next, the treatment support apparatus 1 extracts feature points based on the tooth row, shape, and color of the tooth thus detected (S303). The feature points extracted here are points corresponding to the feature points extracted in the model image. It should be noted that teeth do not appear clearly in the actual image, so that the teeth appear clearly. Therefore, the tooth detection in step S302 and the feature point extraction in step S303 can be performed with high accuracy.
次に、治療支援装置１は、上述したようにして抽出された実画像における歯牙の特徴点とモデル画像における歯牙の特徴点とを一致させることにより、実画像及びモデル画像における歯牙を重ね合わせる（Ｓ３０４）。本実施の形態では、上述したように歯牙の特徴点が歯牙の歯列、形状、及び色に基づいて抽出されているため、ステップＳ３０４では、これらの歯列、形状、及び色に基づいて実画像及びモデル画像における歯牙をマッチングしていることになる。ここで、歯牙の歯列及び形状については、歯牙の位置・姿勢が変化したとしてもそれに伴って変化することはないが、歯牙の位置・姿勢が変化すると、歯牙と光源との位置関係が変わることがあるため、歯牙の色については変化が生じることがあり得る。その場合、歯牙の色に基づいて抽出された特徴点によってマッチングの精度が低下するおそれがあるため、この特徴点の評価を低くしたり、光源の位置及び強度等を工夫することによって歯牙の色が変化することを抑制したり等の処置を施すことが望ましい。なお、ステップＳ３０４によって実画像及びモデル画像における歯牙が重ね合わせられた状態を治療者に対して画像にて提供する必要はないため、治療支援装置１は当該状態をディスプレイ１７に表示することはしない。但し、重ね合わせの精度を確認する等の目的でディスプレイ１７に表示するようにしてもよい。 Next, the treatment support apparatus 1 superimposes the teeth in the real image and the model image by matching the feature points of the tooth in the real image extracted as described above with the feature points of the tooth in the model image ( S304). In the present embodiment, as described above, the characteristic points of the tooth are extracted based on the tooth row, shape, and color of the tooth, so in step S304, the actual points are extracted based on these tooth row, shape, and color. It means that the teeth in the image and the model image are matched. Here, the tooth row and shape of the tooth do not change in accordance with the change in the position/posture of the tooth, but when the position/posture of the tooth changes, the positional relationship between the tooth and the light source changes. As a result, a change in tooth color can occur. In that case, the accuracy of matching may be reduced due to the feature points extracted based on the tooth color.Therefore, the evaluation of these feature points may be lowered, or the position and intensity of the light source may be modified to improve the tooth color. It is desirable to take measures such as suppressing the change of Note that the treatment support device 1 does not display the state on the display 17 because it is not necessary to provide the image of the state in which the teeth in the real image and the model image are superimposed in step S304 to the therapist. .. However, it may be displayed on the display 17 for the purpose of confirming the accuracy of superposition.
上記のように、実画像における歯牙とモデル画像における歯牙とをマッチングさせることにより、実画像の座標系（カメラの位置を原点とするカメラ座標系）とモデル画像の座標系とが一致する。これにより、モデル画像をカメラ座標系上に配置することが可能になる。ここで、モデル画像は治療支援画像と座標系を共通にしているため、治療支援画像もカメラ座標系上に配置することができる。治療支援装置１は、治療支援画像をカメラ座標系上に配置し（Ｓ３０５）、治療支援画像と実画像とを重ね合わせた重畳画像を生成する（Ｓ３０６）。その結果、治療支援画像及び実画像における歯牙が一致した状態で両画像が重ね合わせられた重畳画像を得ることができる。治療支援装置１は、このようにして生成した重畳画像をヘッドマウントディスプレイ２に対して送信する（Ｓ３０７）。 As described above, by matching the teeth in the real image with the teeth in the model image, the coordinate system of the real image (the camera coordinate system whose origin is the position of the camera) and the coordinate system of the model image match. This allows the model image to be arranged on the camera coordinate system. Here, since the model image has the same coordinate system as the treatment support image, the treatment support image can also be arranged on the camera coordinate system. The treatment support device 1 arranges the treatment support image on the camera coordinate system (S305), and generates a superimposed image in which the treatment support image and the actual image are superimposed (S306). As a result, it is possible to obtain a superimposed image in which both the treatment support image and the actual image are superposed in a state where the teeth match each other. The treatment support device 1 transmits the superimposed image thus generated to the head mounted display 2 (S307).
次に、治療支援装置１は、治療者からの指示等に基づいて、治療が終了したか否かを判定する（Ｓ３０８）。ここで、治療が終了したと判定した場合（Ｓ３０８でＹＥＳ）、治療支援装置１は治療支援処理を終了させる。他方、治療が終了していないと判定した場合（Ｓ３０８でＮＯ）、治療支援装置１はステップＳ３０１に戻ってそれ以降の処理を実行する。これにより、治療が終了したと判定されるまでステップＳ３０１乃至Ｓ３０７が所定のフレーム単位で繰り返し実行されることになる。その結果、治療中は治療支援画像の座標と実画像の座標とが同期することとなり、治療者の頭部の移動及び被治療者の顎運動等によって被治療者の歯牙に対してステレオカメラ２１の位置・姿勢が変化したとしても、治療支援画像及び実画像における歯牙を重ね合わせた表示を維持することができる。 Next, the treatment support device 1 determines whether or not the treatment is completed based on an instruction or the like from the therapist (S308). Here, when it is determined that the treatment is completed (YES in S308), the treatment support apparatus 1 ends the treatment support process. On the other hand, when it is determined that the treatment is not completed (NO in S308), the treatment support device 1 returns to step S301 and executes the subsequent processes. As a result, steps S301 to S307 are repeatedly executed in a predetermined frame unit until it is determined that the treatment is completed. As a result, during treatment, the coordinates of the treatment support image and the coordinates of the actual image are synchronized, and the stereo camera 21 is applied to the teeth of the patient due to the movement of the head of the patient and the jaw movement of the patient. Even if the position/orientation of the tooth changes, the superimposed display of the teeth in the treatment assistance image and the actual image can be maintained.
ヘッドマウントディスプレイ２は、上述したようにして治療支援装置１から送信された重畳画像を受信した場合、ディスプレイ２２にその重畳画像を表示する。その結果、治療者は、治療中に実画像と重ね合わせられた治療支援画像を継続して参照することができる。この治療支援画像に含まれる支援画像を参考にしてインプラント治療を行うことが可能になる。 When the head mounted display 2 receives the superimposed image transmitted from the treatment support device 1 as described above, the head mounted display 2 displays the superimposed image on the display 22. As a result, the therapist can continuously refer to the treatment assistance image that is superimposed on the actual image during treatment. The implant treatment can be performed with reference to the support image included in the treatment support image.
図１４は、ステップＳ３０１において取得される口腔内の実画像の一例を示す図である。また、図１５は、当該実画像と重ね合わせられる治療支援画像の一例を示す図である。さらに、図１６は、これらの実画像と治療支援画像とが重ね合わせられた重畳画像の一例を示す図である。なお、図１６に示す重畳画像では、説明の便宜上、上顎部のみ実画像と治療支援画像とが重ね合わせられており、下顎部は実画像のみが表示されている。また、図１５に示す治療支援画像では、上顎中切歯の歯髄（神経）を示すオブジェクトが支援画像として表されている。図１４と図１６とを比較すると、治療支援画像における歯牙と実画像における歯牙とが一致していることが確認できる。このように両歯牙を一致させた状態で重畳画像を治療者に提供することによって、適切な治療支援を行うことが可能になる。 FIG. 14 is a diagram showing an example of the actual image of the inside of the oral cavity acquired in step S301. In addition, FIG. 15 is a diagram illustrating an example of the treatment support image to be superimposed on the actual image. Further, FIG. 16 is a diagram showing an example of a superimposed image in which these real images and the treatment support images are superimposed. In the superimposed image shown in FIG. 16, for convenience of description, the actual image and the treatment support image are superimposed only on the upper jaw, and only the actual image is displayed on the lower jaw. Further, in the treatment support image shown in FIG. 15, an object showing the pulp (nerve) of the upper central incisor is represented as the support image. By comparing FIG. 14 and FIG. 16, it can be confirmed that the tooth in the treatment support image and the tooth in the actual image match each other. Providing a superimposed image to the therapist in a state in which both teeth are aligned in this manner makes it possible to provide appropriate treatment support.
以上のとおり、本実施の形態の場合、従来のように相当程度のサイズのマーカを口腔内等に固定することなく治療支援画像と実画像とを重ね合わせて表示することができるため、そのようなマーカが治療を妨げるような事態を回避することができる。また、没入型のヘッドマウントディスプレイ上にて表示を行うことができるため、治療者は治療に容易に集中することができる。 As described above, in the case of the present embodiment, it is possible to display the treatment support image and the actual image in a superimposed manner without fixing a marker of a considerable size in the oral cavity or the like as in the conventional case. It is possible to avoid a situation in which a different marker interferes with treatment. Moreover, since the display can be performed on the immersive head mounted display, the therapist can easily concentrate on the treatment.
（実施の形態２）
歯科治療では、歯の切削の際等に水が用いられる。この水が実画像に映り込むと、実画像中の歯牙が不鮮明になることがあるため、実画像における歯牙の検出及びその特徴点の抽出の精度が低下することがある。その場合、実画像及びモデル画像における歯牙のマッチングを高精度に行うことが困難になり得る。実施の形態２では、角速度センサ（ジャイロセンサ）を用いることにより、そのマッチングの精度を維持する。
(Embodiment 2)
In dental treatment, water is used when cutting teeth and the like. When this water is reflected in the real image, the teeth in the real image may become unclear, which may reduce the accuracy of detecting the teeth in the real image and extracting the characteristic points thereof. In that case, it may be difficult to perform highly accurate tooth matching in the actual image and the model image. In the second embodiment, the matching accuracy is maintained by using the angular velocity sensor (gyro sensor).
図１７は、実施の形態２の治療支援システムの構成を示すブロック図である。図１７に示すように、本実施の形態の治療支援システムは、ジャイロセンサ３を備えている。このジャイロセンサ３は、被治療者の歯牙に固定されている。ジャイロセンサ３の数は１つであってもよく複数であってもよい。ジャイロセンサ３が複数設けられる場合、上顎及び下顎のそれぞれの歯牙に固定したり、切歯、犬歯、小臼歯、及び大臼歯のうちの２つ以上に固定したり等、様々な態様が想定される。このジャイロセンサ３は、Bluetooth（登録商標）等の無線通信規格にしたがって治療支援装置１と通信可能となっており、治療中に被治療中の歯牙の回転角速度を検出し、これを治療支援装置１に対して送信する。本実施の形態の治療支援システムのその他の構成については実施の形態１の場合と同様であるため、同一符号を付して説明を省略する。 FIG. 17 is a block diagram showing the configuration of the treatment support system according to the second embodiment. As shown in FIG. 17, the treatment support system of this embodiment includes a gyro sensor 3. The gyro sensor 3 is fixed to the tooth of the patient. The number of the gyro sensor 3 may be one or plural. When a plurality of gyro sensors 3 are provided, various modes such as fixing to each tooth of the upper and lower jaws, fixing to two or more of incisors, canines, premolars, and molars are assumed. It The gyro sensor 3 can communicate with the treatment support device 1 according to a wireless communication standard such as Bluetooth (registered trademark), detects the rotational angular velocity of the tooth being treated during treatment, and detects the rotational angular velocity of the tooth. Send to 1. The rest of the configuration of the treatment support system according to the present embodiment is the same as in the case of the first embodiment, so the same reference numerals are given and description thereof is omitted.
本実施の形態の治療支援システムでは、実施の形態１の場合と同様にして（１）治療支援画像生成処理、及び（２）座標付加処理が実行された後、下記の（３）治療支援処理が実行される。図１８は、実施の形態２における治療支援処理の手順を示すフローチャートである。治療支援装置１は、実施の形態１の場合におけるステップS３０１乃至Ｓ３０３と同様に、口腔内の実画像を取得し（Ｓ４０１）、その実画像における歯牙を検出し（Ｓ４０２）、その歯牙の特徴点を抽出する（Ｓ４０３）。次に、治療支援装置１は、抽出された特徴点について補正が必要が否かを判定する（Ｓ４０４）。上述したように、実画像の中に治療用の水が映り込んでいる場合、実画像における歯牙の検出及びその特徴点の抽出の精度が低下することがあり得る。治療支援装置１は、歯牙を検出が不適切であったために特徴点の抽出に失敗した場合、所定数以上の特徴点を抽出することができなかった場合、歯牙の歯列を示す複数の特徴点を結んで得られる線の長さが所定値よりも小さい場合等に、ステップＳ４０４において補正が必要であると判定する（Ｓ４０４でＹＥＳ）。その場合、治療支援装置１は、歯牙に固定されているジャイロセンサ３から歯牙の回転角速度を示す信号を受信し（Ｓ４０５）、その受信した信号に基づいて特徴点を抽出する（Ｓ４０６）。より具体的に説明すると、治療支援装置１は、ジャイロセンサ３によって検出された歯牙の回転角速度を用いて、歯牙の位置・姿勢の前フレームからの変化量を算出する。これにより、歯牙の位置・姿勢が前フレームと比べて変化しているか否か、変化している場合はどの程度変化したのかを判定することが可能になる。その結果、現フレームにおける歯牙の歯列及び形状を特定することができ、その歯列及び形状に基づいて特徴点を抽出することができる。治療支援装置１は、このようにして抽出された特徴点をそれ以降に用いる特徴点とする。なお、ステップＳ４０７乃至Ｓ４１１は、実施の形態１におけるステップＳ３０４乃至３０８と同様であるので、説明を省略する。 In the treatment support system of the present embodiment, as in the case of the first embodiment, after (1) treatment support image generation processing and (2) coordinate addition processing are executed, the following (3) treatment support processing is performed. Is executed. FIG. 18 is a flowchart showing the procedure of the treatment support process in the second embodiment. The treatment support apparatus 1 acquires a real image of the oral cavity (S401), detects a tooth in the real image (S402), and determines the feature points of the tooth, as in steps S301 to S303 in the first embodiment. It is extracted (S403). Next, the treatment support apparatus 1 determines whether or not the extracted feature points need to be corrected (S404). As described above, when the therapeutic water is reflected in the actual image, the accuracy of detecting teeth and extracting the characteristic points of the tooth in the actual image may decrease. The treatment assisting apparatus 1 fails to extract feature points due to improper tooth detection, fails to extract a predetermined number or more of feature points, and determines a plurality of features indicating the dentition of teeth. When the length of the line obtained by connecting the points is smaller than a predetermined value, it is determined that the correction is necessary in step S404 (YES in S404). In that case, the treatment support apparatus 1 receives a signal indicating the rotational angular velocity of the tooth from the gyro sensor 3 fixed to the tooth (S405), and extracts a feature point based on the received signal (S406). More specifically, the treatment support apparatus 1 uses the rotational angular velocity of the tooth detected by the gyro sensor 3 to calculate the amount of change in the tooth position/posture from the previous frame. This makes it possible to determine whether or not the position/orientation of the tooth has changed compared to the previous frame, and if so, to what extent. As a result, the tooth row and shape of the tooth in the current frame can be specified, and the feature points can be extracted based on the tooth row and shape. The treatment support apparatus 1 sets the feature points thus extracted as the feature points to be used thereafter. Note that steps S407 to S411 are the same as steps S304 to 308 in the first embodiment, so description thereof will be omitted.
以上のように特徴点の補正を行うことによって、実画像及びモデル画像における歯牙のマッチングの精度を維持することができる。なお、ジャイロセンサ３を歯牙に固定する手段によっては、歯牙の位置・姿勢が変化した場合に歯牙とジャイロセンサ３との位置関係が変化してしまう場合がある。その場合、歯牙の位置・姿勢の前フレームからの変化量を正確に算出することができず、特徴点の補正を適切に行うことが困難になる。このような問題を解消するために、ジャイロセンサ３にマーカを取り付けるようにしてもよい。この場合、治療支援装置１は、そのマーカの位置・姿勢を検出し、その検出結果に基づいて歯牙とジャイロセンサ３との位置関係を算出する。そして、治療支援装置１は、ジャイロセンサ３によって検出された歯牙の回転角速度に加えて、算出された歯牙とジャイロセンサ３との位置関係を用いて、歯牙の位置・姿勢の前フレームからの変化量を算出する。これにより、歯牙とジャイロセンサ３との位置関係が変化するような場合であっても、歯牙の位置・姿勢の前フレームからの変化量を正確に算出することが可能になる。 By correcting the feature points as described above, it is possible to maintain the accuracy of tooth matching in the actual image and the model image. Depending on the means for fixing the gyro sensor 3 to the tooth, the positional relationship between the tooth and the gyro sensor 3 may change when the position/posture of the tooth changes. In that case, the amount of change in the tooth position/posture from the previous frame cannot be calculated accurately, and it becomes difficult to appropriately correct the feature points. In order to solve such a problem, a marker may be attached to the gyro sensor 3. In this case, the treatment support apparatus 1 detects the position/posture of the marker and calculates the positional relationship between the tooth and the gyro sensor 3 based on the detection result. Then, the treatment support device 1 uses the calculated positional relationship between the tooth and the gyro sensor 3 in addition to the rotational angular velocity of the tooth detected by the gyro sensor 3, to change the tooth position/posture from the previous frame. Calculate the amount. As a result, even if the positional relationship between the tooth and the gyro sensor 3 changes, it is possible to accurately calculate the amount of change in the tooth position/posture from the previous frame.
（その他の実施の形態）
上述した各実施の形態では、治療者が被治療者の歯牙を実際に治療する場合における治療支援システムが例示されているが、例えば、歯学教育において歯牙の模型を用いて実習を行う場合に利用可能な治療支援システムを実現することもできる。このような歯学教育用の治療支援システムの場合、歯牙の模型を３Ｄスキャナによって走査することによりモデル画像を取得し、その模型をヘッドマウントディスプレイ２のステレオカメラ２１によって撮像することにより実画像を取得する。他方、３次元ＣＴ画像については、その模型の被治療者のＣＴ画像が存在する場合はそれを用い、存在しない場合は当該ＣＴ画像に相当する画像を別途用意する。それ以外については、上述した各実施の形態と同様である。
(Other embodiments)
In each of the above-described embodiments, the treatment support system in the case where the therapist actually treats the tooth of the treated person is illustrated, but it is used, for example, in the case of performing the training using the model of the tooth in the dental education. It is also possible to realize a possible treatment support system. In the case of such a treatment support system for dentistry education, a model image of a tooth is acquired by scanning the model of a tooth with a 3D scanner, and a real image is acquired by capturing the model image with the stereo camera 21 of the head mounted display 2. To do. On the other hand, as for the three-dimensional CT image, if a CT image of the patient of the model exists, it is used, and if it does not exist, an image corresponding to the CT image is prepared separately. Other than that, it is the same as each of the above-described embodiments.
上記のような歯学教育用の治療支援システムの場合、治療対象は歯牙の模型であるため、実際の歯牙の場合では実現困難な各種の工夫を施すことができる。例えば、上述した実施の形態２のようにジャイロセンサ３を用いる場合、そのジャイロセンサ３を歯牙の土台となっている顎部分の内部又は歯牙の内部等に埋設することができる。この場合、歯牙の位置・姿勢が変化したとしてもジャイロセンサ３と歯牙との位置関係は変化しないため、上述したようなマーカを用いる必要はない。 In the case of the above-mentioned treatment support system for dentistry education, since the treatment target is a model of a tooth, it is possible to apply various devices that are difficult to realize in the case of an actual tooth. For example, when the gyro sensor 3 is used as in the second embodiment described above, the gyro sensor 3 can be embedded inside the jaw portion that is the base of the tooth or inside the tooth. In this case, even if the position/orientation of the tooth changes, the positional relationship between the gyro sensor 3 and the tooth does not change, so it is not necessary to use the marker as described above.
また、上述した各実施の形態では、治療支援画像と実画像との重畳画像をヘッドマウントディスプレイにて表示しているが、本発明はこれに限定されるわけではなく、治療支援装置１のディスプレイ１７等、他の表示部に表示するようにしてもよい。 Further, in each of the above-described embodiments, the superimposed image of the treatment support image and the actual image is displayed on the head mounted display, but the present invention is not limited to this, and the display of the treatment support device 1 is displayed. It may be displayed on another display unit such as 17.
上述した各実施の形態では、治療支援装置１が単一の装置で構成されているが、複数の装置で構成されたシステムにより治療支援装置が実現される等、様々な機器構成が想定され得る。 In each of the above-described embodiments, the treatment support device 1 is configured by a single device, but various device configurations such as a treatment support device being realized by a system configured by a plurality of devices can be assumed. ..
１ 治療支援装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ハードディスク
１４Ａ 治療支援プログラム
１５ 通信インタフェース
１６ 入出力インタフェース
１７ ディスプレイ
１８ 入力部
１９ バス
２ ヘッドマウントディスプレイ
２１ ステレオカメラ
２１ａ，２１ｂ レンズ
２２ ディスプレイ
２３ 筐体
２４ ヘッドバンド
３ ジャイロセンサ
1 Treatment support device 11 CPU
12 ROM
13 RAM
14 hard disk 14A treatment support program 15 communication interface 16 input/output interface 17 display 18 input section 19 bus 2 head mounted display 21 stereo camera 21a, 21b lens 22 display 23 housing 24 headband 3 gyro sensor
Claims (11)
前記硬組織を含む領域を撮像し、当該硬組織の３次元実画像である硬組織実画像を取得する撮像部と、
前記撮像部によって取得された硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するモデル画像取得部と、
前記治療支援画像取得部によって取得された治療支援画像及び前記硬組織実画像における硬組織を、前記モデル画像取得部によって取得された３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成する重畳画像生成部と、
前記重畳画像生成部によって生成された重畳画像を表示する表示部と
を備える、治療支援システム。 A treatment support image acquisition unit that acquires a treatment support image generated by adding a support image for supporting treatment to a three-dimensional CT image of a hard tissue of a subject;
An imaging unit that images a region including the hard tissue and acquires a hard tissue real image that is a three-dimensional real image of the hard tissue,
A model image acquisition unit that acquires a three-dimensional model image of hard tissue that can be superimposed on the hard tissue in each of the actual hard tissue image and the three-dimensional CT image acquired by the imaging unit,
The treatment is performed by superimposing the treatment support image acquired by the treatment support image acquisition unit and the hard tissue in the hard tissue actual image via the hard tissue in the three-dimensional model image acquired by the model image acquisition unit. A superimposed image generation unit that generates a superimposed image of the support image and the hard tissue actual image,
And a display unit that displays the superimposed image generated by the superimposed image generation unit.
前記３次元モデル画像及び前記３次元ＣＴ画像における硬組織を重ね合わせることにより、前記３次元ＣＴ画像の座標を前記３次元モデル画像に付加する座標付加部と、
前記座標付加部によって前記３次元ＣＴ画像の座標が付加された前記３次元モデル画像及び前記硬組織実画像における硬組織を重ね合わせることによって、前記３次元ＣＴ画像の座標と前記硬組織実画像の座標とを同期させる座標同期部と
を具備し、
前記座標同期部によって前記３次元ＣＴ画像の座標と前記硬組織実画像の座標とを同期させることにより前記治療支援画像の座標と前記硬組織実画像の座標とを同期させて、前記治療支援画像及び前記硬組織実画像における硬組織を重ね合わせるように構成されている、
請求項１に記載の治療支援システム。 The superimposed image generation unit,
A coordinate adding unit that adds the coordinates of the three-dimensional CT image to the three-dimensional model image by superimposing the hard tissue in the three-dimensional model image and the three-dimensional CT image,
By superimposing the hard tissue in the 3D model image and the hard tissue actual image to which the coordinates of the 3D CT image are added by the coordinate adding unit, the coordinates of the 3D CT image and the hard tissue actual image are A coordinate synchronization unit for synchronizing the coordinates with
By synchronizing the coordinates of the three-dimensional CT image and the coordinates of the hard tissue actual image by the coordinate synchronization unit, the coordinates of the treatment assistance image and the coordinates of the hard tissue actual image are synchronized, and the treatment assistance image is obtained. And configured to overlap the hard tissue in the hard tissue actual image,
The treatment support system according to claim 1.
請求項１又は２に記載の治療支援システム。 The model image acquisition unit is configured to acquire the three-dimensional model image generated by three-dimensionally measuring the hard tissue or a model thereof.
The treatment support system according to claim 1.
前記撮像部及び前記表示部は、前記ヘッドマウントディスプレイに設けられている、
請求項１乃至３の何れかに記載の治療支援システム。 Further comprising an immersive head mounted display that is worn on the head of the therapist,
The imaging unit and the display unit are provided in the head mounted display,
The treatment support system according to any one of claims 1 to 3.
請求項１乃至４の何れかに記載の治療支援システム。 The hard tissue is a tooth,
The treatment support system according to claim 1.
前記座標同期部は、歯牙の歯列、歯牙の形状、及び歯牙の色に基づいて、前記３次元モデル画像及び前記硬組織実画像における歯牙を重ね合わせるように構成されている、
請求項２に記載の治療支援システム。 The hard tissue is a tooth,
The coordinate synchronization unit is configured to superimpose the teeth in the three-dimensional model image and the hard tissue actual image on the basis of a tooth row of teeth, a tooth shape, and a tooth color.
The treatment support system according to claim 2.
前記座標同期部は、前記角速度センサによる検出結果に基づいて、前記３次元モデル画像及び前記硬組織実画像における硬組織の重ね合わせを補正するように構成されている、
請求項２に記載の治療支援システム。 Further comprising an angular velocity sensor for detecting the rotational angular velocity of the hard tissue,
The coordinate synchronization unit is configured to correct the superposition of hard tissues in the three-dimensional model image and the hard tissue actual image based on the detection result of the angular velocity sensor.
The treatment support system according to claim 2.
前記硬組織と前記角速度センサとの位置関係を検出する位置関係検出部をさらに備え、
前記座標同期部は、前記角速度センサによる検出結果及び前記位置関係検出部による検出結果に基づいて、前記３次元モデル画像及び前記硬組織実画像における硬組織の重ね合わせを補正するように構成されている、
請求項７に記載の治療支援システム。 The angular velocity sensor is fixed to the hard tissue,
Further comprising a positional relationship detection unit that detects a positional relationship between the hard tissue and the angular velocity sensor,
The coordinate synchronization unit is configured to correct the superposition of hard tissues in the three-dimensional model image and the actual hard tissue image based on the detection result of the angular velocity sensor and the detection result of the positional relationship detection unit. Is
The treatment support system according to claim 7.
前記硬組織を含む領域を撮像する撮像部を具備する外部の装置から、前記撮像部によって得られた当該硬組織の３次元実画像である硬組織実画像を取得する硬組織実画像取得部と、
前記硬組織実画像取得部によって取得された硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するモデル画像取得部と、
前記治療支援画像取得部によって取得された治療支援画像及び前記硬組織実画像における硬組織を、前記モデル画像取得部によって取得された３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成する重畳画像生成部と、
前記重畳画像生成部によって生成された重畳画像を、外部の装置に対して出力する出力部と
を備える、治療支援装置。 A treatment support image acquisition unit that acquires a treatment support image generated by adding a support image for supporting treatment to a three-dimensional CT image of a hard tissue of a subject;
A hard tissue actual image acquisition unit that acquires a hard tissue actual image, which is a three-dimensional real image of the hard tissue obtained by the imaging unit, from an external device that includes an imaging unit that images the region including the hard tissue. ,
A model image acquisition unit that acquires a three-dimensional model image of hard tissue that can be superposed on the hard tissue actual image acquired by the hard tissue actual image acquisition unit and the hard tissue in each of the three-dimensional CT images;
The treatment is performed by superposing the treatment support image acquired by the treatment support image acquisition unit and the hard tissue in the hard tissue actual image via the hard tissue in the three-dimensional model image acquired by the model image acquisition unit. A superimposed image generation unit that generates a superimposed image of the support image and the hard tissue actual image,
An output unit configured to output the superimposed image generated by the superimposed image generation unit to an external device.
前記硬組織を含む領域を撮像し、当該硬組織の３次元実画像である硬組織実画像を取得するステップと、
取得した硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するステップと、
取得した治療支援画像及び前記硬組織実画像における硬組織を、取得した３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成するステップと、
生成した重畳画像を表示するステップと
を有する、治療支援方法。 Acquiring a treatment support image generated by adding a support image for supporting the treatment to the three-dimensional CT image of the hard tissue of the patient,
Imaging a region including the hard tissue and acquiring a hard tissue real image that is a three-dimensional real image of the hard tissue;
Acquiring a three-dimensional model image of hard tissue that can be superposed on the hard tissue in each of the acquired real image of hard tissue and the three-dimensional CT image.
By superimposing the acquired treatment support image and the hard tissue in the hard tissue actual image via the hard tissue in the acquired three-dimensional model image, a superimposed image of the treatment support image and the hard tissue actual image is generated. Steps,
And a step of displaying the generated superimposed image.
被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得するステップと、
前記硬組織を含む領域を撮像する撮像部を具備する外部の装置から、前記撮像部によって得られた当該硬組織の３次元実画像である硬組織実画像を取得するステップと、
取得した硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するステップと、
取得した治療支援画像及び前記硬組織実画像における硬組織を、取得した３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成するステップと、
生成した重畳画像を、外部の装置に対して出力するステップと
を実行させるコンピュータプログラム。
On the computer,
Acquiring a treatment support image generated by adding a support image for supporting the treatment to the three-dimensional CT image of the hard tissue of the patient,
Acquiring a hard tissue real image, which is a three-dimensional real image of the hard tissue obtained by the imaging unit, from an external device including an imaging unit that images the region including the hard tissue,
Acquiring a three-dimensional model image of hard tissue that can be superposed on the hard tissue in each of the acquired real image of hard tissue and the three-dimensional CT image.
By superimposing the acquired treatment support image and the hard tissue in the hard tissue actual image via the hard tissue in the acquired three-dimensional model image, a superimposed image of the treatment support image and the hard tissue actual image is generated. Steps,
And a step of outputting the generated superimposed image to an external device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016093174A JP6750812B2 (en) | 2016-05-06 | 2016-05-06 | Treatment support system, treatment support device, treatment support method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016093174A JP6750812B2 (en) | 2016-05-06 | 2016-05-06 | Treatment support system, treatment support device, treatment support method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017200537A JP2017200537A (en) | 2017-11-09 |
| JP6750812B2 true JP6750812B2 (en) | 2020-09-02 |
Family
ID=60264920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016093174A Active JP6750812B2 (en) | 2016-05-06 | 2016-05-06 | Treatment support system, treatment support device, treatment support method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6750812B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019097851A (en) * | 2017-12-01 | 2019-06-24 | 国立大学法人 鹿児島大学 | Dental surgery support system and program |
| JP7109047B2 (en) * | 2018-02-19 | 2022-07-29 | 株式会社吉田製作所 | INFORMATION DISPLAY DEVICE, INFORMATION DISPLAY SYSTEM, INFORMATION DISPLAY METHOD, AND INFORMATION DISPLAY PROGRAM |
| WO2020075796A1 (en) | 2018-10-11 | 2020-04-16 | クラレノリタケデンタル株式会社 | Dental treatment assistance device, dental treatment assistance system, dental treatment assistance method, dental treatment assistance program, and dental product sales promotion device |
| KR102168539B1 (en) * | 2019-03-25 | 2020-10-21 | 주식회사 리더스덴탈 | Manufacturing method of dental appliance and Computer program for the same |
| JP2021019967A (en) * | 2019-07-30 | 2021-02-18 | 春仁 上園 | Augmented reality information display method, surgical operation support device, and program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4738152B2 (en) * | 2005-12-02 | 2011-08-03 | 富士通株式会社 | Simulation program to support dental treatment |
| JP5476036B2 (en) * | 2009-04-30 | 2014-04-23 | 国立大学法人大阪大学 | Surgical navigation system using retinal projection type head mounted display device and simulation image superimposing method |
| JP2013236750A (en) * | 2012-05-15 | 2013-11-28 | Denso Corp | Image processing apparatus, imaging system and program |
| US9135498B2 (en) * | 2012-12-14 | 2015-09-15 | Ormco Corporation | Integration of intra-oral imagery and volumetric imagery |
-
2016
- 2016-05-06 JP JP2016093174A patent/JP6750812B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017200537A (en) | 2017-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11903779B2 (en) | Dental preparation guide | |
| JP6750812B2 (en) | Treatment support system, treatment support device, treatment support method, and computer program | |
| US11154379B2 (en) | Method for implant surgery using augmented visualization | |
| US11229503B2 (en) | Implant surgery guiding method | |
| JP6904901B2 (en) | Visualizer for the patient's mouth | |
| CN107529968B (en) | Device for observing inside of oral cavity | |
| JP4446094B2 (en) | Human body information extraction device | |
| JP6273149B2 (en) | Facial correction image providing method and system | |
| KR102330616B1 (en) | Method for Guiding Dental Implant Surgery | |
| WO2017144934A1 (en) | Guided surgery apparatus and method | |
| KR101812484B1 (en) | Image Generation System for implant Diagnosis and the same | |
| KR101542867B1 (en) | Method and apparatus for making dental restorations and system including the apparatus | |
| JP2022050713A (en) | Operation assistance system, operation assistance method and operation assistance program | |
| KR101877895B1 (en) | Image Generation System for implant Diagnosis and the same | |
| WO2019199191A1 (en) | Device and method for the recording of relative spatial movements of the upper and lower jaws | |
| KR101119926B1 (en) | Apparatus and method for synchronization of coordinates using haptic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200805 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6750812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |