JP6810395B2 - Osteoporosis diagnosis support device - Google Patents
Osteoporosis diagnosis support device Download PDFInfo
- Publication number
- JP6810395B2 JP6810395B2 JP2016055031A JP2016055031A JP6810395B2 JP 6810395 B2 JP6810395 B2 JP 6810395B2 JP 2016055031 A JP2016055031 A JP 2016055031A JP 2016055031 A JP2016055031 A JP 2016055031A JP 6810395 B2 JP6810395 B2 JP 6810395B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- mandibular
- cortical bone
- region
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000001132 Osteoporosis Diseases 0.000 title claims description 61
- 238000003745 diagnosis Methods 0.000 title claims description 50
- 210000000988 bone and bone Anatomy 0.000 claims description 124
- 230000001054 cortical effect Effects 0.000 claims description 115
- 238000000605 extraction Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 28
- 210000004373 mandible Anatomy 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 208000029725 Metabolic bone disease Diseases 0.000 description 2
- 206010049088 Osteopenia Diseases 0.000 description 2
- 241000288049 Perdix perdix Species 0.000 description 2
- 230000037182 bone density Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 235000020061 kirsch Nutrition 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明は、歯科画像を用いて骨粗鬆症の診断を支援する装置に係り、特に、歯科のパノラマＸ線画像（以下、パノラマ画像と略す）から、下顎皮質骨の粗さ度合いを算出して骨粗鬆症の診断を支援する装置に関する。 The present invention relates to a device that supports a diagnosis of osteoporosis using a dental image, and in particular, calculates the degree of roughness of the mandibular cortical bone from a dental panoramic X-ray image (hereinafter abbreviated as a panoramic image) for osteoporosis. Regarding devices that support diagnosis.
歯科治療の分野においては、治療開始時に、歯部の全領域をカバーするパノラマ画像を撮影することが広く行われている。その際に、歯部だけでなく、上下顎骨なども撮影されることになる。近年、この撮影された画像のうちの、下顎骨の部分の画像を用いて、骨粗鬆症の診断を支援することが、行われるようになってきている。 In the field of dental treatment, it is widely practiced to take a panoramic image covering the entire area of the tooth at the start of treatment. At that time, not only the teeth but also the upper and lower jawbones will be photographed. In recent years, it has come to be performed to support the diagnosis of osteoporosis by using the image of the mandible part among the captured images.
例えば、特許文献１には、歯科のパノラマ画像から、下顎骨の皮質骨部分の内面がスムースなものか、粗造なものであるかを半自動的に識別し、骨粗鬆症の診断を支援する技術思想が開示されている。 For example, Patent Document 1 describes a technical concept that semi-automatically distinguishes whether the inner surface of the cortical bone portion of the mandible is smooth or rough from a panoramic image of dentistry to support the diagnosis of osteoporosis. Is disclosed.
また、特許文献２には、歯科のパノラマ画像から、下顎骨の皮質骨部分の厚さを計測し、骨粗鬆症データベースに蓄積されたデータと皮質骨の厚さとを比較して骨粗鬆症の診断を支援する技術思想が開示されている。 Further, in Patent Document 2, the thickness of the cortical bone portion of the mandible is measured from the panoramic image of dentistry, and the data accumulated in the osteoporosis database is compared with the thickness of the cortical bone to support the diagnosis of osteoporosis. The technical idea is disclosed.
また、特許文献３には、歯科のパノラマ画像から、下顎皮質骨の厚さまたは粗さを算出して、骨粗鬆症の診断を支援する技術思想が開示されている。 Further, Patent Document 3 discloses a technical idea that supports the diagnosis of osteoporosis by calculating the thickness or roughness of the mandibular cortical bone from a panoramic image of dentistry.
更に、非特許文献１には、歯科のパノラマ画像から、下顎皮質骨の厚さを自動計測する手法、特に、下顎骨輪郭から垂直な直線の濃淡値プロファイルを取得して、それに基づいて下顎皮質骨の厚さを計測する技術思想が開示されている。 Further, Non-Patent Document 1 describes a method for automatically measuring the thickness of the mandibular cortical bone from a panoramic image of dentistry, in particular, obtaining a shading value profile of a straight line perpendicular to the contour of the mandible, and based on the method The technical idea of measuring the thickness of bone is disclosed.
また、特許文献４には、歯科パノラマエックス線画像から、自動的に骨密度変化部位を特定し、骨粗鬆症の診断を支援する技術思想が開示されている。 Further, Patent Document 4 discloses a technical idea that automatically identifies a bone density change site from a dental panoramic X-ray image and supports a diagnosis of osteoporosis.
しかしながら、特許文献１の診断支援方法では、測定精度が不十分であるという問題があった。 However, the diagnostic support method of Patent Document 1 has a problem that the measurement accuracy is insufficient.
また、特許文献２の診断支援方法では、下顎骨の皮質骨の外縁及び内縁を定める手段が複雑で、かつ、その精度もよくないという問題があった。 Further, the diagnostic support method of Patent Document 2 has a problem that the means for determining the outer edge and the inner edge of the cortical bone of the mandible is complicated and the accuracy thereof is not good.
なお、特許文献３の方法においては、下顎骨の皮質骨に関する厚さまたは粗さを算出することで、骨粗鬆症の診断の支援に役立つが、更に、粗さの度合いを算出し、数値化できれば、よりよい診断の支援に寄与することができる。 In the method of Patent Document 3, calculating the thickness or roughness of the cortical bone of the mandible is useful for supporting the diagnosis of osteoporosis, but if the degree of roughness can be calculated and quantified, it is possible. It can contribute to the support of better diagnosis.
更に、特許文献４の自動的な骨粗鬆症診断支援方法では、同じ装置で撮影した画像を用いて骨粗鬆症の疑いの有無を判定するのみで、異なる装置で撮影した画像を用いることが困難であり、また、骨粗鬆症の疑いを定量的に示すことができないという問題があった。 Further, in the automatic osteoporosis diagnosis support method of Patent Document 4, it is difficult to use images taken by different devices only by determining the presence or absence of suspicion of osteoporosis using images taken by the same device. , There was a problem that the suspicion of osteoporosis could not be shown quantitatively.
そこで、上記問題を解決するため、本発明は、歯科のパノラマ画像などの画像から、下顎皮質骨の粗さ度合いを算出して骨粗鬆症の診断の支援をより正確にできる装置を提供することを課題とした。 Therefore, in order to solve the above problem, it is an object of the present invention to provide a device capable of more accurately supporting the diagnosis of osteoporosis by calculating the degree of roughness of the mandibular cortical bone from an image such as a panoramic image of dentistry. And said.
かかる課題を解決するため、本発明では、骨粗鬆症診断支援装置であって、
下顎皮質骨及びその周囲を撮影する撮影装置によって撮影された下顎皮質骨の画像から下顎骨輪郭を抽出する輪郭抽出部と、
前記輪郭抽出部によって抽出された下顎骨輪郭を用いて、１以上の関心領域を設定する関心領域設定部と、
前記関心領域の画像から、濃淡分布によって形成される線分であって皮質骨の線分及び粗造部の線分を含む線分を抽出する線分抽出部と、
前記抽出された下顎骨輪郭及び線分に基づき特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された特徴量の全てまたは一部を用いて下顎皮質骨粗さ度合いを算出する下顎皮質骨粗さ度合い算出部と
を有することを特徴とする。
In order to solve such a problem, the present invention is an osteoporosis diagnosis support device.
A contour extraction unit that extracts the mandibular contour from the image of the mandibular cortical bone taken by an imaging device that photographs the mandibular cortical bone and its surroundings,
A mandibular region setting unit that sets one or more regions of interest using the mandibular contour extracted by the contour extraction unit, and a region of interest setting unit.
A line segment extraction unit that extracts a line segment formed by a shading distribution and including a line segment of a cortical bone and a line segment of a rough portion from an image of the region of interest.
A feature amount calculation unit that calculates a feature amount based on the extracted mandibular contour and line segment,
It is characterized by having a mandibular cortical bone roughness calculation unit that calculates the mandibular cortical bone roughness degree using all or part of the feature amount calculated by the feature amount calculation unit.
また、本発明では、下顎皮質骨粗さ度合いが、連続値として表されることを特徴としてもよい。ここで、連続値とは、例えば、レベル１、２、３のような離散値ではなく、０．０から１．０までの連続した数値の１つとして表されるようなことをいう。 Further, the present invention may be characterized in that the degree of mandibular cortical bone roughness is expressed as a continuous value. Here, the continuous value means that it is expressed as one of continuous numerical values from 0.0 to 1.0, not as a discrete value such as levels 1, 2, and 3.
このようにすると、粗さ度合いがより詳細に把握できるため、骨粗鬆症の診断支援が更に有効に行える。 In this way, the degree of roughness can be grasped in more detail, so that the diagnosis support of osteoporosis can be more effectively performed.
また、本発明では、関心領域のそれぞれが、下顎骨輪郭から内側に向って、外側関心領域、中間関心領域、内側関心領域に分割されることを特徴としてもよい。 Further, the present invention may be characterized in that each of the regions of interest is divided into an lateral region of interest, an intermediate region of interest, and a medial region of interest toward the medial side from the contour of the mandible.
ここで、外側関心領域は、密な皮質骨の領域であり、内側関心領域は、粗な海綿骨領域であり、中間関心領域は、それらの境界の領域であり、それぞれの領域における特徴を把握することで、骨粗鬆症の診断支援に供することが可能となる。 Here, the lateral region of interest is the region of dense cortical bone, the medial region of interest is the coarse cancellous bone region, and the intermediate region of interest is the region of their boundaries, and the characteristics of each region are grasped. By doing so, it becomes possible to provide support for the diagnosis of osteoporosis.
また、本発明では、特徴量が、下顎皮質骨厚さ、中間関心領域の面積、中間関心領域の線分の画素の数、外側関心領域と中間関心領域との線分の画素の平均画素値の比のいずれか１以上を含むことを特徴としてもよい。 Further, in the present invention, the feature amount is the thickness of the mandibular cortical bone, the area of the intermediate interest region, the number of pixels of the line segment of the intermediate interest region, and the average pixel value of the pixels of the line segment between the outer interest region and the intermediate interest region. It may be characterized by containing any one or more of the ratios of.
これによれば、数値で明確に表現される特徴量から、サポートベクター回帰などの回帰器を用いて、粗さ度合いを連続値で表すことができるため、骨粗鬆症の診断支援を容易に行うことができる。 According to this, the degree of roughness can be expressed as a continuous value by using a regression device such as a support vector regression from the feature quantity clearly expressed numerically, so that it is possible to easily support the diagnosis of osteoporosis. it can.
また、本発明では、特徴量が、少なくとも中間関心領域におけるテクスチャ特徴を含み、更に、テクスチャ特徴として、コントラスト、２次モーメント、相関、逆差分モーメント、分散、差エントロピー、差分散、和エントロピー、和分散、エントロピー、和平均、相関１の情報測度、相関２の情報測度のいずれか１以上を含んでいることを特徴としてもよい。 Further, in the present invention, the feature amount includes the texture feature at least in the intermediate interest region, and further, as the texture feature, the contrast, the second-order moment, the correlation, the inverse difference moment, the variance, the difference entropy, the difference dispersion, the sum entropy, and the sum. It may be characterized by including any one or more of variance, entropy, sum mean, information measure of correlation 1 and information measure of correlation 2.
これによれば、中間関心領域、あるいは外側関心領域と中間関心領域の結合領域において、濃度共起行列を用いるなどして、例えばハラリック（Haralick）のテクスチャ特徴の特徴量を算出することにより、先に述べた特徴量と併せて、あるいはテクスチャ特徴量単独で、サポートベクター回帰などの回帰器を用いて、歯科放射線専門医による主観的な粗さ度合いとの回帰式を求めて、粗さ度合いを連続値で表すことができる。 According to this, in the intermediate interest region or the connection region between the outer interest region and the intermediate interest region, for example, by using the density co-occurrence matrix, for example, by calculating the feature amount of the texture feature of Haralick, the feature amount is calculated. The degree of roughness is continuously calculated by obtaining a regression equation with the degree of subjective roughness by a dental radiologist using a regression device such as a support vector regression in combination with the features described in the above or with the texture features alone. It can be represented by a value.
これによれば、種々の特徴量を用いて、広範に粗さ度合いを算出しうることから、骨粗鬆症の診断支援を容易に行うことができる。 According to this, since the degree of roughness can be calculated in a wide range using various feature quantities, it is possible to easily support the diagnosis of osteoporosis.
なお、これまでの説明で用いる特徴量の数が多すぎる場合には、主観的な粗さ度合いとの相関値の高いものを選択したり、主成分分析により特徴量の数を減じるようにしたりしてもよい。 If the number of features used in the above explanations is too large, the one with a high correlation value with the subjective degree of roughness may be selected, or the number of features may be reduced by principal component analysis. You may.
なお、本発明は、上記説明の中の、輪郭抽出部を輪郭抽出手段、関心領域設定部を関心領域設定手段、線分抽出部を線分抽出手段、特徴量算出部を特徴量算出手段、下顎皮質骨粗さ度合い算出部を下顎皮質骨粗さ度合い算出手段として、
−下顎皮質骨及びその周囲を撮影する撮影装置によって撮影された下顎皮質骨の画像から下顎骨輪郭を抽出する輪郭抽出手段と、
−輪郭抽出部によって抽出された下顎骨輪郭を用いて、１以上の関心領域を設定する関心領域設定手段と、
−関心領域の画像から、濃淡分布によって形成される線分であって皮質骨の線分及び粗造部の線分を含む線分を抽出する線分抽出手段と、
−抽出された下顎骨輪郭及び線分に基づき特徴量を算出する特徴量算出手段と、
−特徴量算出部により算出された特徴量の全てまたは一部を用いて下顎皮質骨粗さ度合いを算出する下顎皮質骨粗さ度合い算出手段と
をコンピュータに実行させる骨粗鬆症診断支援プログラムという態様としてもよい。
In the above description, in the above description, the contour extraction unit is the contour extraction means, the area of interest setting unit is the area of interest setting means, the line segment extraction unit is the line segment extraction means, and the feature amount calculation unit is the feature amount calculation means. The mandibular cortical bone roughness calculation unit is used as a means for calculating the mandibular cortical bone roughness.
-A contour extraction means for extracting the mandibular contour from an image of the mandibular cortical bone taken by an imaging device that photographs the mandibular cortical bone and its surroundings,
-A region of interest setting means for setting one or more regions of interest using the mandibular contour extracted by the contour extraction unit, and
-A line segment extraction means for extracting a line segment formed by a shading distribution and including a line segment of cortical bone and a line segment of a rough portion from an image of a region of interest.
-A feature amount calculation means that calculates a feature amount based on the extracted mandibular contour and line segment,
-Also as an aspect of an osteoporosis diagnosis support program that causes a computer to execute a mandibular cortical bone roughness calculation means that calculates the mandibular cortical bone roughness degree using all or part of the feature amount calculated by the feature amount calculation unit. Good.
このようにすれば、装置の構成によらず、プログラムによって本発明を実現することができる。 In this way, the present invention can be realized by a program regardless of the configuration of the device.
本発明に係る骨粗鬆症診断支援装置では、下顎皮質骨の画像から、骨粗鬆症の診断のために有益な情報が求められ、診断の支援に多大な効果を発揮する。特に、下顎皮質骨粗さ度合いを連続値として表現する場合は、更に詳細に、骨粗鬆症の恐れがあるかどうか、あるいは骨粗鬆症の進行度合いなどが具体的に把握でき、それにより、骨粗鬆症の診断の支援に大いに役立つ。 In the osteoporosis diagnosis support device according to the present invention, useful information for diagnosing osteoporosis is required from the image of the mandibular cortical bone, and it exerts a great effect in supporting the diagnosis. In particular, when the degree of mandibular cortical bone roughness is expressed as a continuous value, it is possible to specifically grasp whether or not there is a risk of osteoporosis or the degree of progression of osteoporosis, thereby supporting the diagnosis of osteoporosis. Greatly useful for.
以下、図面を参照し、本発明の第１の実施形態にかかる骨粗鬆症診断支援装置について説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。 Hereinafter, the osteoporosis diagnosis support device according to the first embodiment of the present invention will be described with reference to the drawings. In the following, the range necessary for the explanation for achieving the object of the present invention will be schematically shown, and the range necessary for the explanation of the relevant part of the present invention will be mainly described. It shall be based on known technology.
図１は、本発明の一実施形態に係る骨粗鬆症診断支援装置のブロック図である。同図に示されるように、骨粗鬆症診断支援装置１は、有線及び／もしくは無線によって互いに接続された、患者等の対象画像を撮影するための撮影装置１０、撮影装置１０で撮影された画像を解析する画像解析装置２０、撮影装置１０で撮影された画像及び画像解析装置２０で得られた情報を表示する表示装置７０を備えて構成される。 FIG. 1 is a block diagram of an osteoporosis diagnosis support device according to an embodiment of the present invention. As shown in the figure, the osteoporosis diagnosis support device 1 analyzes images taken by the imaging device 10 and the imaging device 10 for capturing a target image of a patient or the like, which are connected to each other by wire and / or wirelessly. The image analysis device 20 and the display device 70 for displaying the image taken by the image analysis device 10 and the information obtained by the image analysis device 20 are provided.
画像解析装置２０は、ＣＰＵ３０、メモリー４０、インターフェース５０、６０を備えて構成され、これらは例えば同図のように連接される。メモリー４０は、輪郭抽出部４１、関心領域設定部４２、線分抽出部４３、特徴量算出部４４、下顎皮質骨粗さ度合い算出部４５及び骨粗鬆症診断支援部４６を備えて構成される。 The image analysis device 20 includes a CPU 30, a memory 40, and interfaces 50 and 60, and these are connected as shown in the figure, for example. The memory 40 includes a contour extraction unit 41, an area of interest setting unit 42, a line segment extraction unit 43, a feature amount calculation unit 44, a mandibular cortical bone roughness degree calculation unit 45, and an osteoporosis diagnosis support unit 46.
撮影装置１０のひとつである、パノラマエックス線画像撮影装置は、エックス線により、歯科領域のパノラマ画像を撮影する装置であり、種々のものが実用化されており、これらのいずれをも採用することができる。なお、撮影装置１０としては、パノラマエックス線画像撮影装置に限定されず、通常のエックス線画像撮影装置、ＭＲＩ・ＣＴなどによる画像撮影装置、超音波による画像撮影装置などでもよく、それらの組み合わせであってもよい。得られる画像により、適切な診断支援が行える場合もある。 The panoramic X-ray image capturing device, which is one of the photographing devices 10, is a device for capturing a panoramic image of a dental area by X-rays, and various devices have been put into practical use, and any of these can be adopted. .. The photographing device 10 is not limited to the panoramic X-ray image capturing device, and may be a normal X-ray imaging device, an image capturing device such as MRI / CT, an image capturing device using ultrasonic waves, or a combination thereof. May be good. Depending on the obtained image, appropriate diagnostic support may be provided.
撮影装置１０としてのパノラマエックス線画像撮影装置によって撮影されたパノラマ画像は、画像解析装置２０へと送られる。画像解析装置２０は、ＣＰＵ３０、メモリー４０、撮影装置１０とのインターフェース５０、後述する表示装置７０とのインターフェース６０などのコンピュータ資源を少なくとも備えてなり、画像の解析を行う。形態としては、近接して設置されるサーバやパーソナルコンピュータ、あるいは、有線及び／もしくは無線で接続された同様の機器、更に、インターネットを利用したクラウドによるコンピュータ資源であってもよい。 The panoramic image taken by the panoramic X-ray image taking device as the taking device 10 is sent to the image analysis device 20. The image analysis device 20 includes at least computer resources such as a CPU 30, a memory 40, an interface 50 with the photographing device 10, and an interface 60 with the display device 70 described later, and analyzes an image. The form may be a server or a personal computer installed in close proximity, a similar device connected by wire and / or wirelessly, or a computer resource by a cloud using the Internet.
表示装置７０は、画像解析装置２０にインターフェース６０を介して接続され、撮影装置１０によって撮影された画像、画像解析装置２０によって抽出された下顎骨の輪郭や線分の画像、画像解析装置２０によって算出された下顎皮質骨粗さ度合いなどの情報、画像解析装置２０によって得られた骨粗鬆症診断支援の情報などを表示できるようになっている。 The display device 70 is connected to the image analysis device 20 via the interface 60, and the image taken by the image analysis device 10, the contour and line segment image of the lower jawbone extracted by the image analysis device 20, and the image analysis device 20. Information such as the calculated degree of bone roughness of the mandibular cortex and information on support for diagnosing osteoporosis obtained by the image analysis device 20 can be displayed.
画像解析装置２０のメモリー４０に格納されたプログラムとして、輪郭抽出部４１を有する。輪郭抽出部４１は、パノラマ画像から、下顎骨の輪郭を抽出する。下顎骨の輪郭とは、下顎骨の外縁を画す部分である。 The contour extraction unit 41 is included as a program stored in the memory 40 of the image analysis device 20. The contour extraction unit 41 extracts the contour of the mandible from the panoramic image. The contour of the mandible is the part that defines the outer edge of the mandible.
また、画像解析装置２０のメモリー４０に格納されたプログラムとして、関心領域設定部４２を有する。関心領域（Region of Interest）は、画像上で下顎皮質骨粗さ度合いを算出するために有効な領域であり、抽出された下顎骨輪郭に基づいて設定される。なお、後述する特徴量の種類に応じて、異なる関心領域を設定してもよい。 Further, as a program stored in the memory 40 of the image analysis device 20, the interest area setting unit 42 is included. The Region of Interest is a region effective for calculating the degree of mandibular cortical bone roughness on an image, and is set based on the extracted mandibular contour. In addition, different areas of interest may be set according to the type of feature amount described later.
また、画像解析装置２０のメモリー４０に格納されたプログラムとして、線分抽出部４３を有する。例えば、線集中度フィルタのような線分抽出部４３は、メモリー内に格納されたプログラムであり、関心領域から線分を抽出する機能をコンピュータに実行させることができる。
Further, the line segment extraction unit 43 is included as a program stored in the memory 40 of the image analysis device 20. For example, the line segment extraction unit 43 such as the line segment concentration filter is a program stored in the memory, and can cause a computer to execute a function of extracting a line segment from an area of interest.
更に、画像解析装置２０のメモリー４０に格納されたプログラムとして、特徴量算出部４４を有する。特徴量算出部４４は、関心領域における画像上の種々の特徴量を算出するものである。 Further, the feature amount calculation unit 44 is provided as a program stored in the memory 40 of the image analysis device 20. The feature amount calculation unit 44 calculates various feature amounts on the image in the region of interest.
更に、画像解析装置２０のメモリー４０に格納されたプログラムとして、下顎皮質骨粗さ度合い算出部４５を有する。特徴量算出部４４で算出された特徴量に基づいて、下顎皮質骨粗さ度合いを算出するもので、好適には、連続値で表すようになっている。 Further, as a program stored in the memory 40 of the image analysis device 20, the mandibular cortical bone roughness degree calculation unit 45 is included. The degree of mandibular cortical bone roughness is calculated based on the feature amount calculated by the feature amount calculation unit 44, and is preferably expressed as a continuous value.
更にまた、画像解析装置２０のメモリー４０に格納されたプログラムとして、骨粗鬆症診断支援部４６を有する。骨粗鬆症診断支援部４６は、下顎皮質骨粗さ度合い算出部４５で算出された結果と、骨粗鬆症診断支援部４６の一部である骨粗鬆症診断支援データベース（図示しない）に記憶されているデータとを比較し、骨粗鬆症の程度、骨粗鬆症の発病の可能性などに関して診断を支援する情報を提供する。 Furthermore, it has an osteoporosis diagnosis support unit 46 as a program stored in the memory 40 of the image analysis device 20. The osteoporosis diagnosis support unit 46 compares the result calculated by the mandibular cortex bone roughness degree calculation unit 45 with the data stored in the osteoporosis diagnosis support database (not shown) which is a part of the osteoporosis diagnosis support unit 46. However, it provides information to support diagnosis regarding the degree of osteoporosis and the possibility of developing osteoporosis.
ここで、このような構成の骨粗鬆症診断支援装置の作用・動作について説明する。図２は、本発明の一実施形態に係る骨粗鬆症診断支援装置の動作説明図である。 Here, the operation / operation of the osteoporosis diagnosis support device having such a configuration will be described. FIG. 2 is an operation explanatory view of the osteoporosis diagnosis support device according to the embodiment of the present invention.
＜歯科パノラマ画像の撮影＞（ステップ Ｓ１０）
まず、撮影装置１０のひとつである、パノラマエックス線画像撮影装置にて下顎骨及びその周辺の画像を撮影する。
<Shooting a dental panoramic image> (Step S10)
First, an image of the mandible and its surroundings is taken with a panoramic X-ray image taking device, which is one of the taking pictures 10.
＜下顎輪郭の抽出＞（ステップ Ｓ２０）
次に、撮影された歯科のパノラマ画像を、画像解析装置２０に入力し、画像解析装置２０の一部である輪郭抽出部４１を用いて、下顎骨の輪郭を抽出する。
<Extraction of mandibular contour> (step S20)
Next, the captured panoramic image of the dentistry is input to the image analysis device 20, and the contour of the mandible is extracted using the contour extraction unit 41 which is a part of the image analysis device 20.
輪郭の抽出には、種々の手法が実用化されている。特に、特許文献３に記載されたようなCanny法とKirsch法を併用してエッジ抽出する手法が有力である。 Various methods have been put into practical use for contour extraction. In particular, a method of edge extraction using both the Canny method and the Kirsch method as described in Patent Document 3 is promising.
更に、特許文献３に記載されたような、エッジ抽出した画像からより正確な１本の線として下顎骨輪郭を抽出するために、動的輪郭モデル法を用いることも有力である。図３（ａ）は、これらの手法を用いて得られる下顎骨の輪郭４１１の抽出結果をパノラマ画像にオーバーレイ表示した画像の一例である。 Further, it is also effective to use the dynamic contour model method in order to extract the mandibular contour as one more accurate line from the edge-extracted image as described in Patent Document 3. FIG. 3A is an example of an image in which the extraction result of the contour 411 of the mandible obtained by using these methods is overlaid on a panoramic image.
＜関心領域の設定（１）＞（ステップ Ｓ３０）
まず、後述する回帰器を用いた下顎皮質骨粗さ度合い算出のための特徴量の一つとして、下顎皮質骨厚さを求める方法を説明する。ここで、下顎皮質骨厚さとは、密な皮質骨の厚さであり、粗造化した皮質骨の境界領域は含まないものとする。ここでは、抽出された輪郭を用いて、関心領域設定部４２において関心領域を設定する。特徴量として下顎皮質骨厚さを用いる場合は、右及び左の関心地点を基準として１０１ｘ１００ピクセルの３カ所、併せて６カ所の関心領域が設定される。なお、ここでは、１ピクセルは、０．１ｍｍに相当するものとする。
<Setting of area of interest (1)> (Step S30)
First, a method for obtaining the mandibular cortical bone thickness will be described as one of the feature quantities for calculating the degree of mandibular cortical bone roughness using a regression device described later. Here, the mandibular cortical bone thickness is the thickness of a dense cortical bone, and does not include the boundary region of the roughened cortical bone. Here, the region of interest is set in the region of interest setting unit 42 using the extracted contour. When the mandibular cortical bone thickness is used as the feature amount, three areas of interest of 101 x 100 pixels, a total of six areas of interest, are set based on the points of interest on the right and left. Here, one pixel is assumed to correspond to 0.1 mm.
具体的には、図３（ｂ）に拡大して示すように、下顎左側については、オトガイ孔の直下の輪郭上に関心地点４２０Ａを設定し、その点における輪郭の接線と直交する方向に１００ピクセルのプロファイル、すなわち、線上の所定の間隔での濃淡値の変化を表したものを求める。更に、図３（ｃ）に示すように、輪郭の接線上に関心地点４２０Ａの両側に合計１０１ピクセルの範囲を設定し、更にそこから直交する方向に１００ピクセルの領域を設定し、１０１のプロファイルを求める。このようにして、第１の関心領域４２１Ａが求められる。 Specifically, as shown in an enlarged manner in FIG. 3B, for the left side of the mandible, a point of interest 420A is set on the contour immediately below the mental foramen, and 100 is set in a direction orthogonal to the tangent of the contour at that point. Find the profile of the pixel, that is, the change in the shade value at a predetermined interval on the line. Further, as shown in FIG. 3C, a range of 101 pixels in total is set on both sides of the point of interest 420A on the tangent line of the contour, and an area of 100 pixels is set in the direction orthogonal to the range, and the profile of 101 is set. Ask for. In this way, the first region of interest 421A is obtained.
更に、図３（ｄ）に示すように、第２の関心領域４２２Ａは、第１の関心領域４２１Ａに隣接し、かつ、正中線から離反する方向に、第１の関心領域４２１Ａと同様の手順で設定する。第３の関心領域４２３Ａは、第２の関心領域４２２Ａに隣接し、かつ、更に正中線から離反する方向に同様に設定される。下顎右側についても、左側と同様な方法で、関心地点４２０Ｂ、第１の関心領域４２１Ｂ、第２の関心領域４２２Ｂ、第３の関心領域４２３Ｂが設定される。図４（ａ）、図４（ｂ）には、このようにして求められた、左右の第１の関心領域４２１Ａ、４２１Ｂの例が示される。ここでは、図の下端が下顎骨の端部を表し、上方に向かいプロファイルが表現されている。 Further, as shown in FIG. 3 (d), the second region of interest 422A is adjacent to the first region of interest 421A and in a direction away from the midline, the same procedure as that of the first region of interest 421A. Set with. The third region of interest 423A is similarly set in the direction adjacent to the second region of interest 422A and further away from the midline. For the right side of the mandible, the point of interest 420B, the first area of interest 421B, the second area of interest 422B, and the third area of interest 423B are set in the same manner as on the left side. 4 (a) and 4 (b) show examples of the left and right first regions of interest 421A and 421B thus obtained. Here, the lower end of the figure represents the end of the mandible, and the profile is represented upward.
＜尾根線の検出＞（ステップ Ｓ３２）
次に、線分抽出部４３において、各関心領域のプロファイルによって作られた画像に対して線集中度フィルタを適用し、各関心領域のプロファイルから濃度分布によって形成される線分（尾根線と呼ぶ）を抽出する。図４（ｃ）、図４（ｄ）には、線集中度フィルタの出力、すなわち、抽出された尾根線の例が示される。ここでは、淡色の部分が尾根線を示している。なお、線集中度フィルタについては、特許文献３に記載の手法を用いてもよい。
<Detection of ridge line> (step S32)
Next, in the line segment extraction unit 43, a line concentration filter is applied to the image created by the profile of each region of interest, and the line segment formed by the density distribution from the profile of each region of interest (called a ridge line). ) Is extracted. 4 (c) and 4 (d) show an example of the output of the line concentration filter, that is, the extracted ridge line. Here, the light-colored part indicates the ridge line. As for the line concentration filter, the method described in Patent Document 3 may be used.
＜プロファイルの選択＞（ステップ Ｓ３４）
更に、線分抽出部４３において、各関心領域の１０１のプロファイルから、下顎皮質骨厚さの算出に最も適した、連続する１５プロファイルを選定する。その際に、次の３つの規則が適用される。
１）皮質骨の密な部分に尾根線（皮質骨の尾根線）が存在する場合には、その最も下方のものを皮質骨尾根線とする。
２）皮質骨粗造部に、皮質骨尾根線から２０ピクセル以内に尾根線が存在する場合は、それを粗造部尾根線とする。
３）１５連続プロファイルの平均コントラスト（皮質骨尾根線の画素値と、皮質骨尾根線と粗造部尾根線の区間での最小画素値との差、あるいは粗造部尾根線が存在しない場合には皮質骨尾根線から２０ピクセルの距離での画素値との差）が最大となるもの。
このようにして選択されたプロファイルの例が図４（ｅ）、図４（ｆ）に淡い灰色の部分として示される。
<Selection of profile> (step S34)
Further, the line segment extraction unit 43 selects 15 consecutive profiles that are most suitable for calculating the mandibular cortical bone thickness from 101 profiles of each region of interest. At that time, the following three rules apply.
1) If there is a ridge line (cortical bone ridge line) in a dense part of the cortical bone, the lowest one is the cortical bone ridge line.
2) If there is a ridge line within 20 pixels from the cortical bone ridge line in the rough cortical bone, it shall be the rough ridge line.
3) Average contrast of 15 consecutive profiles (difference between the pixel value of the cortical bone ridge line and the minimum pixel value in the section between the cortical bone ridge line and the rough part ridge line, or when the rough part ridge line does not exist Is the maximum difference from the pixel value at a distance of 20 pixels from the cortical bone ridge line).
Examples of profiles selected in this way are shown in FIGS. 4 (e) and 4 (f) as light gray areas.
なお、６カ所の関心領域のうち、１５連続プロファイルの平均コントラストが最大ものと、最小のものを除外して、４カ所の関心領域が残される。 Of the 6 regions of interest, the regions of interest in 15 consecutive profiles are excluded from those having the maximum and minimum contrasts, and 4 regions of interest remain.
＜下顎皮質骨厚さの測定＞（ステップ Ｓ３６）
最後に、特徴量算出部４４において、選択されたプロファイル群を用いて、特徴量の一つとなる下顎皮質骨の厚さの測定を行う。上の手法により求めた、最良な隣接する１５個のプロファイルと、動的な検索範囲を用いて、次に述べるプロファイルの傾きを用いた皮質骨と海綿骨の境界設定を行うことで皮質骨の厚さ測定を行う。
<Measurement of mandibular cortical bone thickness> (step S36)
Finally, the feature amount calculation unit 44 measures the thickness of the mandibular cortical bone, which is one of the feature amounts, using the selected profile group. Using the 15 best adjacent profiles obtained by the above method and the dynamic search range, the boundary between cortical bone and cancellous bone is set using the inclination of the profile described below. Measure the thickness.
プロファイルの傾きを用いた皮質骨の厚さ測定とは、計測開始点からの各点でのプロファイルの傾き（Ａ１、Ａ２、・・Ａ１５）を求め、濃淡値が減少している傾きのみを用いて計算される平均値Ａaveを求める。続いてＡｉ＜Ａaveの条件を満たす皮質骨の濃淡値ピークＴｓに最も近い点Ｔresultを決定し、計測開始点からＴresultまでの距離を皮質骨の厚さとするものである。 Cortical bone thickness measurement using the slope of the profile is the slope at which the slope value is decreasing by obtaining the slope of the profile (A 1 , A 2 , ... A 15 ) at each point from the measurement start point. Find the mean value Aave calculated using only. Subsequently, the point Treat closest to the shade peak Ts of the cortical bone satisfying the condition of Ai <Aave is determined, and the distance from the measurement start point to the result is defined as the thickness of the cortical bone.
この皮質骨の厚さを、後述する回帰器を用いる皮質骨粗さ度合い算出の特徴量のひとつとして用いることとする。なお、ここまでの手法については、特許文献３に記載されている手法を用いてもよい。 This thickness of cortical bone will be used as one of the features for calculating the degree of cortical bone roughness using a regression device described later. As the method up to this point, the method described in Patent Document 3 may be used.
＜関心領域の設定（２）＞（ステップ Ｓ４０）
次に、後述する回帰器を用いた下顎皮質骨粗さ度合い算出のための特徴量として、皮質骨厚さ以外の特徴量を求めるための関心領域の設定方法について説明する。ここでは、抽出された輪郭を用いて、関心領域設定部４２において関心領域を設定する。この場合は、右及び左の関心地点を基準として１５１ｘ１００ピクセルの１カ所、併せて２カ所の関心領域が設定される。なお、ここでは、１ピクセルは、０．１ｍｍに相当するものとする。
<Setting the region of interest (2)> (step S40)
Next, as a feature amount for calculating the degree of mandibular cortical bone roughness using a regression device described later, a method for setting a region of interest for obtaining a feature amount other than cortical bone thickness will be described. Here, the region of interest is set in the region of interest setting unit 42 using the extracted contour. In this case, one area of 151 x 100 pixels, and two areas of interest in total, are set with reference to the points of interest on the right and left. Here, one pixel is assumed to correspond to 0.1 mm.
具体的には、図３（ｂ）に拡大して示すように、下顎左側については、オトガイ孔の直下の輪郭上に関心地点４２０Ａを設定し、その点における輪郭の接線と直交する方向に１００ピクセルのプロファイル、すなわち、線上の所定の間隔での濃淡値の変化を表したものを求める。更に、図３（ｃ）に示すのと同様の方法であるが、関心領域の設定（１）の例とは範囲が異なり、輪郭の接線上に関心地点４２０Ａの両側に合計１５１ピクセルの範囲を設定し、更にそこから直交する方向に１００ピクセルの領域を設定し、１５１のプロファイルを求める。このようにして、単一の関心領域４２５Ａが求められる。下顎右側についても同様に、単一の関心領域４２５Ｂが設定される。図５（ａ）、図５（ｂ）には、このようにして求められた、左右の関心領域４２５Ａ、４２５Ｂの例が示される。ここでは、図の下端が下顎骨の端部を表し、上方に向かいプロファイルが表現されている。 Specifically, as shown in an enlarged manner in FIG. 3B, for the left side of the mandible, a point of interest 420A is set on the contour immediately below the mental foramen, and 100 is set in a direction orthogonal to the tangent of the contour at that point. Find the profile of the pixel, that is, the change in the shade value at a predetermined interval on the line. Further, the method is the same as that shown in FIG. 3C, but the range is different from the example of setting the region of interest (1), and a total range of 151 pixels is provided on both sides of the point of interest 420A on the tangent line of the contour. After setting, a region of 100 pixels is set in the direction orthogonal to the area, and 151 profiles are obtained. In this way, a single region of interest 425A is sought. Similarly, a single region of interest 425B is set for the right side of the mandible. 5 (a) and 5 (b) show examples of the left and right regions of interest 425A and 425B obtained in this way. Here, the lower end of the figure represents the end of the mandible, and the profile is represented upward.
＜尾根線の抽出＞（ステップ Ｓ４２）
次に、線分抽出部４３において、各関心領域のプロファイルによって作られた画像に対して線集中度フィルタを適用し、各関心領域のプロファイルから濃度分布によって形成される線分（尾根線と呼ぶ）を抽出する。図５（ｃ）、図５（ｄ）には、線集中度フィルタの出力、すなわち、抽出された尾根線の例が示される。ここでは、淡色の部分が尾根線を示している。なお、線集中度フィルタについては、特許文献３に記載の手法を用いてもよい。
<Extraction of ridge line> (step S42)
Next, in the line segment extraction unit 43, a line concentration filter is applied to the image created by the profile of each region of interest, and the line segment formed by the density distribution from the profile of each region of interest (called a ridge line). ) Is extracted. 5 (c) and 5 (d) show an example of the output of the line concentration filter, that is, the extracted ridge line. Here, the light-colored part indicates the ridge line. As for the line concentration filter, the method described in Patent Document 3 may be used.
＜関心領域の分割＞（ステップ Ｓ４４）
次に、関心領域設定部４２において、下顎左側について、関心領域４２５Ａを３つに分割する。すなわち、下顎骨輪郭側から順に、外側領域４２６Ａ、中間領域４２７Ａ、内側領域４２８Ａであり、外側領域４２６Ａは密な皮質骨領域あるいはＯＣＲ、中間領域４２７Ａは皮質骨境界領域あるいはＭＲ、内側領域４２８Ａは海綿骨領域あるいはＩＴＲとしてもよい。なお、下顎右側についても同様に、外側領域４２６Ｂ、中間領域４２７Ｂ、内側領域４２８Ｂに分割する。図５（ｃ）、図５（ｄ）には、それぞれ各領域が、図中で水平方向の帯として示される。
<Division of region of interest> (step S44)
Next, in the region of interest setting unit 42, the region of interest 425A is divided into three on the left side of the mandible. That is, in order from the mandibular contour side, the lateral region 426A, the intermediate region 427A, and the medial region 428A, the lateral region 426A is the dense cortical bone region or OCR, the intermediate region 427A is the cortical bone boundary region or MR, and the medial region 428A. It may be the cancellous bone region or ITR. Similarly, the right side of the mandible is also divided into an outer region 426B, an intermediate region 427B, and an inner region 428B. In FIGS. 5 (c) and 5 (d), each region is shown as a horizontal band in the figure.
ここで、密な皮質骨領域４２６は、下顎輪郭、すなわち、関心領域４２５の下方終端と、皮質骨のピーク尾根線の最上部の画素を結ぶ水平線との間の長方形の領域で定義される。 Here, the dense cortical bone region 426 is defined by the mandibular contour, i.e., the rectangular region between the lower end of the region of interest 425 and the horizontal line connecting the top pixels of the peak ridge line of the cortical bone.
次に、皮質骨境界領域４２７の下端は、密な皮質骨領域４２６の上端であり、皮質骨境界領域４２７の上端は、プロファイルを用いて決定される。 Next, the lower end of the cortical bone boundary region 427 is the upper end of the dense cortical bone region 426, and the upper end of the cortical bone boundary region 427 is determined using a profile.
具体的には、図６に示すように、１５１の各々のプロファイルを３次多項式で近似した際の変曲点(Inflection point)４２９を求め、それらの変曲点４２９と皮質骨境界領域４２７の下端との距離の平均値として皮質骨境界領域４２７の上端が決定される。 Specifically, as shown in FIG. 6, the inflection point 429 when each profile of 151 is approximated by a cubic polynomial is obtained, and the inflection point 429 and the cortical bone boundary region 427 are obtained. The upper end of the cortical bone boundary region 427 is determined as the average value of the distance from the lower end.
＜特徴量の算出＞（ステップ Ｓ４６）
次に、特徴量算出部４４において、特徴量を算出する。この皮質骨境界領域４２７は、密ではない皮質骨領域を表すことから、骨粗鬆症診断支援のために用いる特徴量の算出には、極めて有効となる。
<Calculation of feature amount> (step S46)
Next, the feature amount calculation unit 44 calculates the feature amount. Since the cortical bone boundary region 427 represents a non-dense cortical bone region, it is extremely effective in calculating the feature amount used for supporting the diagnosis of osteoporosis.
骨粗鬆症診断支援のための特徴量としては次のものが用いられる。
−皮質骨境界領域４２７の面積
−密な皮質骨領域４２６の面積
−皮質骨境界領域４２７の尾根線の画素数
−密な皮質骨領域４２６と皮質骨境界領域４２７とにおける尾根線画素の平均画素値の比
The following features are used to support the diagnosis of osteoporosis.
-Area of cortical bone boundary area 427-Area of dense cortical bone area 426-Number of ridge line pixels in cortical bone boundary area 427-Average number of ridge line pixels in dense cortical bone area 426 and cortical bone boundary area 427 Value ratio
更に、皮質骨境界領域４２７、あるいは密な皮質骨領域４２６と皮質骨境界領域４２７の結合領域において、５ピクセルの距離を有する０度、４５度、９０度、１３５度の４方向に対応した８つの濃度共起行列に基づいて決定されたハラリック（Haralick）のテクスチャ特徴を用いてもよい。 Further, in the cortical bone boundary region 427 or the connecting region of the dense cortical bone region 426 and the cortical bone boundary region 427, 8 degrees corresponding to 4 directions of 0 degrees, 45 degrees, 90 degrees, and 135 degrees having a distance of 5 pixels 8 Haralic texture features determined based on one density co-occurrence matrix may be used.
例えば、テクスチャ特徴としては、コントラスト、２次モーメント、相関、逆差分モーメント、分散、差エントロピー、差分散、和エントロピー、和分散、エントロピー、和平均、相関１の情報測度、相関２の情報測度などが用いられる。 For example, texture features include contrast, quadratic moment, correlation, inverse difference moment, variance, difference entropy, difference dispersion, sum entropy, sum dispersion, entropy, sum mean, correlation 1 information measure, correlation 2 information measure, and the like. Is used.
なお、これまでの説明で、粗さ度合いの算出に用いる特徴量の数が過多で、算出に長時間を要するような場合には、すべての特徴量を使用する強制投入法を使用してもよいが、特徴量の数を減じるようにしてもよい。例えば、粗さ度合いとの相関が小さいと判断できる特徴量を除外してもよく、更に、主成分分析を用いて特徴量を選択してもよいし、ステップワイズ法を使って特徴量を決めてもよい。 In the above explanation, if the number of features used to calculate the degree of roughness is excessive and it takes a long time to calculate, the forced charging method using all the features may be used. It is good, but the number of features may be reduced. For example, a feature amount that can be judged to have a small correlation with the degree of roughness may be excluded, a feature amount may be selected using principal component analysis, or a feature amount may be determined using a stepwise method. You may.
例えば、具体的に、ステップワイズ法を用いて、下記の９つの特徴量が選択される。
・皮質骨境界領域４２７の尾根線の画素数
・下顎皮質骨厚さ
・密な皮質骨領域４２６の面積
・皮質骨境界領域４２７の面積
・密な皮質骨領域４２６と皮質骨境界領域４２７の結合領域に対して、０度の濃度共起行列から算出した相関１の情報測度
・皮質骨境界領域４２６に対して、０度の濃度共起行列から算出した相関１の情報測度
・密な皮質骨領域４２６と皮質骨境界領域４２７とにおける尾根線画素の平均画素値の比
・皮質骨境界領域４２７に対して、０度の濃度共起行列から算出したコントラスト
・密な皮質骨領域４２６と皮質骨境界領域４２７の結合領域に対して４５度の濃度共起行列から算出した差分散
なお、特徴量の選択の方法、数、種類はこれに限定されず、これまでに述べた特徴量から適宜選択することができる。
For example, specifically, the following nine features are selected using the stepwise method.
-Number of pixels of the ridge line of the cortical bone boundary region 427-Cortical bone thickness of the lower jaw-Area of the dense cortical bone region 426-Area of the cortical bone border region 427-The connection between the dense cortical bone region 426 and the cortical bone border region 427 Information measure of correlation 1 calculated from the 0 degree concentration co-occurrence matrix for the region ・ Information measure of correlation 1 calculated from the 0 degree concentration co-occurrence matrix for the cortical bone boundary region 426 ・ Dense cortical bone Ratio of average pixel values of ridge line pixels between region 426 and cortical bone boundary region 427 ・ Contrast calculated from 0 degree concentration co-occurrence matrix with respect to cortical bone border region 427 ・ Dense cortical bone region 426 and cortical bone Difference dispersion calculated from a concentration co-occurrence matrix of 45 degrees with respect to the binding region of the boundary region 427 The method, number, and type of feature quantity selection are not limited to this, and are appropriately selected from the feature quantities described so far. can do.
＜サポートベクター回帰の適用＞（ステップ Ｓ５０）
次に、下顎皮質骨粗さ度合い算出部４５において、これらの特徴量を機械学習に入力して、回帰式を求める回帰器の一種であるサポートベクター回帰に適用する。
<Application of Support Vector Regression> (Step S50)
Next, in the mandibular cortical bone roughness calculation unit 45, these features are input to machine learning and applied to support vector regression, which is a type of regression device for obtaining a regression equation.
そのために、まず、訓練データ集合を構成する複数のパノラマ画像の各々を、歯科放射線専門医が、目視にて、正常な皮質骨状態を０．０とし、重篤な粗造化された皮質骨状態を１．０として、連続的なスケールで数値化する。これを主観的下顎皮質骨粗さ度合い（教師データ）と呼ぶ。引き続き下顎皮質骨粗さ度合い算出部４５において、サポートベクター回帰に訓練データ集合のパノラマ画像から算出した特徴量と教師データを入力して学習を行う。 To this end, first, a dental radiologist visually sets each of the plurality of panoramic images constituting the training data set to 0.0 as the normal cortical bone condition, and obtains a severely roughened cortical bone condition. As 1.0, it is quantified on a continuous scale. This is called the subjective mandibular cortical bone roughness degree (teacher data). Subsequently, the lower cortical bone roughness calculation unit 45 inputs the feature amount calculated from the panoramic image of the training data set and the teacher data into the support vector regression for learning.
＜下顎皮質骨粗さ度合いの算出＞（ステップ Ｓ６０）
最後に、下顎皮質骨粗さ度合い算出部４５において、粗さ度合いを算出したいパノラマ画像の特徴量を入力することによって、皮質骨粗さ度合いが、サポートベクター回帰を用いて、０．０から１．０までの間の数値として求められる。
<Calculation of Mandibular Cortical Bone Roughness> (Step S60)
Finally, in the mandibular cortical bone roughness calculation unit 45, by inputting the feature amount of the panoramic image for which the roughness degree is to be calculated, the cortical bone roughness degree is 0.0 to 1 by using the support vector regression. It is calculated as a numerical value between .0.
図７に、算出された結果の例を示す。ここでは、同一のパノラマ画像についての、主観的下顎皮質骨粗さ度合い（Ｘ軸）と、本願の方法によって求めた下顎皮質骨粗さ度合い（Ｙ軸）との関係を示しており、高い相関があることが分かる。なお、参考までに、この図において、各パノラマ画像の症例が、骨密度及びその他の症状からの医師の診断による骨粗鬆症４５１、骨減少症４５２、正常４５３のいずれに該当するかをマークの違いによって明示してある。 FIG. 7 shows an example of the calculated result. Here, the relationship between the subjective degree of mandibular cortical bone roughness (X-axis) and the degree of mandibular cortical bone roughness (Y-axis) obtained by the method of the present application for the same panoramic image is shown and highly correlated. It turns out that there is. For reference, in this figure, whether the case of each panoramic image corresponds to osteoporosis 451 or osteopenia 452 or normal 453 as diagnosed by a doctor based on bone density and other symptoms is determined by the difference in mark. It is clearly stated.
また、図８には、同一のパノラマ画像について、骨密度(BMD)（Ｘ軸）と、本願の方法によって求めた下顎皮質骨粗さ度合い（Ｙ軸）との関係を示しており、これにも高い相関が認められる。 Further, FIG. 8 shows the relationship between the bone mineral density (BMD) (X-axis) and the degree of mandibular cortical bone roughness (Y-axis) obtained by the method of the present application for the same panoramic image. Is also highly correlated.
これまでの方法で求められた下顎皮質骨粗さ度合いの数値は、表示装置７０に表示して、医師による骨粗鬆症の診断の支援に供したり、あるいは、骨粗鬆症診断支援部４６の一部である骨粗鬆症診断支援データベースに記憶されているデータと比較したりすることにより、骨粗鬆症の発症の疑いを判定することができ、骨粗鬆症の診断の支援を行うことができる。 The numerical value of the degree of bone roughness of the lower jaw cortex obtained by the conventional method is displayed on the display device 70 to support the diagnosis of osteoporosis by a doctor, or osteoporosis which is a part of the osteoporosis diagnosis support unit 46. By comparing with the data stored in the diagnosis support database, the suspicion of the onset of osteoporosis can be determined, and the diagnosis of osteoporosis can be supported.
図９に、これらの表示内容の一例を示す。画面には、パノラマ画像と、関心領域の拡大図、及び種々の計測値が表示される。ここで、下顎皮質骨厚さの計測値が２．９７ｍｍであるところ、正常、骨粗鬆症の平均値がそれぞれ３．９ｍｍ、２．２ｍｍであり、更に、下顎皮質骨粗さ度合いが０．７（図中では７０％）と算出されたところ、骨粗鬆症、骨減少症、正常の平均値がそれぞれ６７％、５４％、３３％であることから、このパノラマ画像の症例では、骨粗鬆症を発症する恐れが高い（ハイリスク）との診断支援情報が表示されている。 FIG. 9 shows an example of these display contents. A panoramic image, an enlarged view of the region of interest, and various measured values are displayed on the screen. Here, where the measured value of the mandibular cortical bone thickness is 2.97 mm, the average value of normal and osteoporosis is 3.9 mm and 2.2 mm, respectively, and the degree of mandibular cortical bone roughness is 0.7 ( In the figure, it was calculated as 70%), and the average values of osteoporosis, osteopenia, and normal were 67%, 54%, and 33%, respectively. Therefore, in the case of this panoramic image, there is a risk of developing osteoporosis. Diagnostic support information that is high (high risk) is displayed.
なお、機械学習で回帰式を求める回帰器としては、サポートベクター回帰に限定せず、どのようなものであってもよい。例えば、ランダムフォレスト、Xgboost、Deep Learning（convolutional neural network）などを用いることもできる。 The regressionr for obtaining the regression equation by machine learning is not limited to the support vector regression, and may be any type. For example, random forest, Xgboost, deep learning (convolutional neural network), etc. can be used.
Deep Learningを用いる場合には、計算機が自動的に目的に適した特徴量を算出することから、線分抽出部４３と特徴量算出部４４の処理は省略してもよい。すなわち、関心領域設定部４２の部分画像（あるいは部分画像に平滑化処理や局所平均値、局所最大値、局所最小値を算出した画像、または、フーリエ変換やウェーブレット変換をかけた画像などのように部分画像を加工した画像）と教師データを直接Deep Learningに入力して学習をさせるようにしてもよい。 When deep learning is used, the processing of the line segment extraction unit 43 and the feature amount calculation unit 44 may be omitted because the computer automatically calculates the feature amount suitable for the purpose. That is, such as a partial image of the region of interest setting unit 42 (or an image obtained by smoothing the partial image, calculating the local average value, the local maximum value, and the local minimum value, or an image obtained by subjecting the partial image to Fourier transform or wavelet transform. A partial image processed image) and teacher data may be directly input to Deep Learning for learning.
本願は、歯科パノラマ画像を用いて骨粗鬆症の診断を支援することができる点において、同一場所のほか、遠隔での診断支援などにも適用することができ、更に、一般に画像による診断支援にも応用が可能なことから、広く、産業上の利用可能性を有する。 The present application can be applied not only to the same place but also to remote diagnosis support in that it can support the diagnosis of osteoporosis using dental panoramic images, and is generally applied to diagnostic support by images. It has wide industrial applicability because it is possible.
１０ 撮影装置
２０ 画像解析装置
３０ ＣＰＵ
４０ メモリー
４１ 輪郭抽出部
４２ 関心領域設定部
４３ 線分抽出部
４４ 特徴量抽出部
４５ 下顎皮質骨粗さ度合い算出部
４６ 骨粗鬆症診断支援部
５０ インターフェース
６０ インターフェース
７０ 表示装置
10 Imaging device 20 Image analysis device 30 CPU
40 Memory 41 Contour extraction unit 42 Interest area setting unit 43 Line segment extraction unit 44 Feature extraction unit 45 Mandibular cortical bone roughness degree calculation unit 46 Osteoporosis diagnosis support unit 50 Interface 60 Interface 70 Display device
Claims (8)
前記輪郭抽出部によって抽出された下顎骨輪郭を用いて、１以上の関心領域を設定する関心領域設定部と、
前記関心領域の画像から、濃淡分布によって形成される線分であって皮質骨の線分及び粗造部の線分を含む線分を抽出する線分抽出部と、
前記抽出された下顎骨輪郭及び線分に基づき特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された特徴量の全てまたは一部を用いて下顎皮質骨粗さ度合いを回帰器を用いて連続値として算出する下顎皮質骨粗さ度合い算出部と
を有することを特徴とする骨粗鬆症診断支援装置。 A contour extraction unit that extracts the mandibular contour from the image of the mandibular cortical bone taken by an imaging device that photographs the mandibular cortical bone and its surroundings,
A mandibular region setting unit that sets one or more regions of interest using the mandibular contour extracted by the contour extraction unit, and a region of interest setting unit.
A line segment extraction unit that extracts a line segment formed by a shading distribution and including a line segment of a cortical bone and a line segment of a rough portion from an image of the region of interest.
A feature amount calculation unit that calculates a feature amount based on the extracted mandibular contour and line segment,
It is characterized by having a mandibular cortical bone roughness calculation unit that calculates the mandibular cortical bone roughness degree as a continuous value using a regression device using all or part of the feature amount calculated by the feature amount calculation unit. Osteoporosis diagnosis support device.
−前記中間関心領域の面積、
−前記中間関心領域の前記線分の画素の数、
−前記第１の関心領域と前記中間関心領域との前記線分の画素の平均画素値の比
のいずれか１以上を含むことを特徴とする請求項２に記載の骨粗鬆症診断支援装置。 The feature amount is
-The area of the intermediate area of interest,
-The number of pixels of the line segment in the intermediate area of interest,
-The osteoporosis diagnosis support device according to claim 2 , further comprising any one or more of the ratios of the average pixel values of the pixels of the line segment to the first region of interest and the intermediate region of interest.
−前記輪郭抽出部によって抽出された下顎骨輪郭を用いて、１以上の関心領域を設定する関心領域設定手段と、
−前記関心領域の画像から、濃淡分布によって形成される線分であって皮質骨の線分及び粗造部の線分を含む線分を抽出する線分抽出手段と、
−前記抽出された下顎骨輪郭及び線分に基づき特徴量を算出する特徴量算出手段と、
−前記特徴量算出部により算出された特徴量の全てまたは一部を用いて下顎皮質骨粗さ度合いを回帰器を用いて連続値として算出する下顎皮質骨粗さ度合い算出手段と
をコンピュータに実行させる骨粗鬆症診断支援プログラム。 -A contour extraction means for extracting the mandibular contour from an image of the mandibular cortical bone taken by an imaging device that photographs the mandibular cortical bone and its surroundings,
-A region of interest setting means for setting one or more regions of interest using the mandibular contour extracted by the contour extraction unit, and
-A line segment extraction means for extracting a line segment formed by a shading distribution and including a line segment of a cortical bone and a line segment of a rough portion from an image of the region of interest.
-A feature amount calculation means for calculating a feature amount based on the extracted mandibular contour and line segment, and
-The computer executes a mandibular cortical bone roughness calculation means for calculating the mandibular cortical bone roughness degree as a continuous value using a regression device using all or a part of the feature amount calculated by the feature amount calculation unit. Osteoporosis diagnosis support program to let you.
前記輪郭抽出部によって抽出された下顎骨輪郭を用いて、１以上の関心領域を設定する関心領域設定部と、
前記関心領域の全体または一部の画像、または、前記画像を加工した画像から、回帰としてDeep
Learning法を用いて下顎皮質骨粗さ度合いを連続値として算出する下顎皮質骨粗さ度合い算出部と
を有することを特徴とする骨粗鬆症診断支援装置。 A contour extraction unit that extracts the mandibular contour from the image of the mandibular cortical bone taken by an imaging device that photographs the mandibular cortical bone and its surroundings,
A mandibular region setting unit that sets one or more regions of interest using the mandibular contour extracted by the contour extraction unit, and a region of interest setting unit.
Deep as a regression from an image of all or part of the region of interest, or a processed image of the image
An osteoporosis diagnosis support device characterized by having a mandibular cortical bone roughness calculation unit that calculates the mandibular cortical bone roughness degree as a continuous value using the learning method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016055031A JP6810395B2 (en) | 2016-03-18 | 2016-03-18 | Osteoporosis diagnosis support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016055031A JP6810395B2 (en) | 2016-03-18 | 2016-03-18 | Osteoporosis diagnosis support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017164412A JP2017164412A (en) | 2017-09-21 |
| JP6810395B2 true JP6810395B2 (en) | 2021-01-06 |
Family
ID=59909480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016055031A Active JP6810395B2 (en) | 2016-03-18 | 2016-03-18 | Osteoporosis diagnosis support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6810395B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10997727B2 (en) * | 2017-11-07 | 2021-05-04 | Align Technology, Inc. | Deep learning for tooth detection and evaluation |
| WO2019098399A1 (en) * | 2017-11-15 | 2019-05-23 | 주식회사 뷰노 | Bone mineral density estimation method and apparatus using same |
| JP6830082B2 (en) * | 2018-06-04 | 2021-02-17 | 聖士 田島 | Dental analysis system and dental analysis X-ray system |
| KR102256315B1 (en) * | 2018-08-03 | 2021-05-26 | 고려대학교 산학협력단 | Artificial Intelligence based system and method for predicting bone mineral density using dental radiographs |
| KR102185760B1 (en) * | 2020-03-18 | 2020-12-03 | 가톨릭대학교 산학협력단 | Apparatus for osteoporosis diagnosis and method for decision osteoporosis |
| KR102573893B1 (en) * | 2020-09-09 | 2023-09-01 | 프로메디우스 주식회사 | Medical image process apparatus and medical image process method |
| KR20240093185A (en) * | 2022-12-15 | 2024-06-24 | 서울대학교병원 | Apparatus and method for predicting hip joint pathology based on deep learning |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6442287B1 (en) * | 1998-08-28 | 2002-08-27 | Arch Development Corporation | Method and system for the computerized analysis of bone mass and structure |
| WO2004086972A2 (en) * | 2003-03-25 | 2004-10-14 | Imaging Therapeutics, Inc. | Methods for the compensation of imaging technique in the processing of radiographic images |
| US7539332B1 (en) * | 2003-09-19 | 2009-05-26 | Compumed, Inc. | Method and system for automatically identifying regions of trabecular bone tissue and cortical bone tissue of a target bone from a digital radiograph image |
| JP2008036068A (en) * | 2006-08-04 | 2008-02-21 | Hiroshima Univ | Osteoporosis diagnosis support apparatus, method and program, computer-readable recording medium recorded with osteoporosis diagnosis support program and lsi for supporting osteoporosis diagnosis |
| JP5722414B1 (en) * | 2013-11-25 | 2015-05-20 | メディア株式会社 | Osteoporosis diagnosis support device |
-
2016
- 2016-03-18 JP JP2016055031A patent/JP6810395B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017164412A (en) | 2017-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6810395B2 (en) | Osteoporosis diagnosis support device | |
| JP5722414B1 (en) | Osteoporosis diagnosis support device | |
| JP5959699B2 (en) | Diagnosis support system using panoramic X-ray photograph and diagnosis support program using panoramic X-ray photograph | |
| JP4717585B2 (en) | Medical image determination apparatus, medical image determination method and program thereof | |
| Safari et al. | A semi-automatic algorithm for estimating cobb angle | |
| JP4911029B2 (en) | Abnormal shadow candidate detection method, abnormal shadow candidate detection device | |
| JP5878125B2 (en) | Dementia diagnosis support apparatus and dementia diagnosis support method | |
| JP4938427B2 (en) | Cerebral hemorrhage volume calculator | |
| JP5751462B2 (en) | Spine disease diagnosis support device and spine disease diagnosis support program | |
| WO2007126667A2 (en) | Processing and measuring the spine in radiographs | |
| US7916921B2 (en) | Osteoporosis diagnosis support device | |
| JP6882136B2 (en) | Image processing equipment, image processing methods and programs | |
| JP6882216B2 (en) | Diagnostic support system, diagnostic support method, and program | |
| KR101464862B1 (en) | Method and apparatus for determining scoliosis using camera | |
| JP6547219B2 (en) | Dental imaging system | |
| JP2020131019A (en) | Image processing device, image processing method, and program | |
| JP2007105164A (en) | Medical diagnostic imaging support apparatus | |
| US20150086095A1 (en) | Quantification and imaging methods and system of the echo texture feature | |
| KR101214317B1 (en) | System and Method for Diagnosing Disease Based on Distributed Process | |
| Dovganich et al. | Automatic quality control in lung X-ray imaging with deep learning | |
| JP6674614B2 (en) | Bone quality evaluation device and bone quality evaluation program | |
| KR102231334B1 (en) | Method FOR analyzing teeth array, Method for gENERATING panoramic image using the same and apparatus thereof | |
| KR102698910B1 (en) | Medical image processing method | |
| TWI796784B (en) | Method and apparatus for compensating image segmentation line | |
| Darmastuti et al. | Edge Detection of Mandibular Boundary Contour in Panoramic X-Ray to Detect Osteoporosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200604 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20200805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201125 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6810395 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |