JP7390666B2 - 顎口腔疾患部位の検出画像処理方法およびそのシステム - Google Patents

Description

本発明は、被験者の顎口腔の疾患をX線の画像から検出する顎口腔疾患の検出方法およびその検出システムに関する。

現在、歯科医療における初診時の基本的な医療行為として、レントゲン写真撮影が多く行われている。医師はレントゲン撮影によって得られたパノラマX線画像をもとに根尖病巣や歯原性腫瘍など、疾患の有無を含めた診断を行う。日本の歯科医療機関の大部分を占める個人の医院では医師が一人しか所属していない場合が多く、ダブルチェックができないため、見落とし等による誤診の危険性が生じている。一方で、各種専門医が複数所属する病院歯科には、個人の医院からの紹介で様々な患者が来院する。

しかし、病院歯科に来院した時点で、すでに重症化している場合も多い。また、病院歯科においても、顎骨病変を専門とする口腔外科医や画像診断を専門とする放射線科医は限られており、マンパワーの面からも画像診断が診療の負担となることが多い。ここで求められるものは、画像から診断し、かつ高速に処理ができるツールである。このような要求を満たすものとして、機械学習を用いた自動化・高速化が多くの分野でみられている。画像認識の分野における機械学習は、顔認証や、自動運転における標識・歩行者の検出などに応用されており、例えば特許文献１に開示される検出装置が知られている。

特許文献１の検出装置では、例えば、複数の魚の切り身の個別の形状に係る個別特徴量に基づいて予め算出された組合せ特徴量に対して、予め設定された条件に対応して付されたラベルを有した標本データが付与される。検出装置は、標本データから種々の組合せ特徴量に対してラベルを付すための判断基準を導出する判断基準導出手段と、これを記憶する判断基準記憶手段とを有する機械学習部を備えている。また、検出装置には、物体個々の形状に係る個別特徴量を抽出する個別特徴量抽出手段と、組合せ特徴量を算出する組合せ特徴量算出手段とが設けられ、機械学習部は、判断基準に基づいて組合せ特徴量算出手段が算出した組合せ特徴量に付されるラベルを識別するラベル識別手段を備えている。この構成により、食品、農水産物、医薬品、種々の工業製品等からなる物体を容器等に包装する際、形状に係る特徴量を抽出することで、予め設定された条件を満たす物体の組合せを自動で識別して、処理効率の向上を図った物体の組合せを識別する。

このような技術を医用画像の分野に適用することで、疾患の検出等を自動・高速で行うことが期待される。歯科分野においても、歯列から個人を特定する研究や、AIによる歯牙付近の疾患診断が進められているが、特許文献１の技術では歯原性腫瘍や顎顔面骨腫瘍などの疾患に挙げられるような顎全体を対象とした診断には対応できていない。

また、歯原性腫瘍は多くが良性のものではあるが、発見が遅れると顎骨の切除に伴い、咀嚼障害や嚥下障害をきたし、その後のQOL（Quality of Life）の低下を招く場合があり、早期に発見し治療を開始することが重要となる。また、顎骨の膨隆や感染による疼痛により初めて自覚し、発見されたときには骨の破壊が広範囲に及んでいる場合もある。腫瘍が大きくなり広範囲に顎骨が破壊されている場合は、顎骨を部分的に離断し、腫瘍に侵されている顎骨ごと切除することが必要な場合があるため、少しでも腫瘍を早期に発見し、治療を行うことが重要である。そこで、重症化する前に疾患を早期発見するためにダブルチェックをサポートし、診断医の負担軽減と診療の質の向上を図ることができれば好ましい。

特開２０１８－１６９９２２号公報

本発明は、以上の点に鑑み、機械学習を用いた画像診断により、診断医の負担軽減及び診療の質の向上を図ることができる顎口腔疾患の検出技術を提供することを課題とする。

［１］X線の画像から顎口腔疾患を検出する顎口腔疾患部位の検出画像処理方法であって、被験者の顎口腔をX線撮影した画像を解析部に入力する入力工程と、前記画像の任意の領域を複数枚の前記画像に枚数増加する際の枚数増加生成の倍率を示す増幅率を決定し、前記増幅率の決定に基づいて前記画像を識別対象とする左右一対の領域に分割し、分割した前記画像のデータを増幅する前処理工程と、前記増幅率の決定に基づいて枚数増加生成した複数枚の前記画像のデータについて前記顎口腔疾患部位の見逃しをしない感度を算出し、前記感度が高くなるように前記増幅率を変化させることで、前記感度を調整する感度調整工程と、分割した各前記領域に対応した識別器をそれぞれ学習して識別器を作成し、前記識別器を用いて分割した各前記領域について陽性であるか陰性であるか前記識別器に個別に識別させ、識別した結果を組み合わせることで前記画像全体から陽性の疑いのある箇所を特定する識別工程と、前記識別工程による検出結果を表示する結果表示工程と、を備えていることを特徴とする。

かかる構成によれば、増幅率の決定に基づいてレントゲン撮影した画像を識別対象とする左右一対の領域に分割し、分割した画像のデータを増幅し、増幅率の決定に基づいて顎口腔疾患の見逃しをしない感度を調整し、分割した各領域に対応した識別器をそれぞれ学習して識別器を作成する。これにより、左右対称位置にある領域の特徴量を合わせこんで学習することで識別性能を向上させ、且つ、特徴量を合わせこむ学習法により、少数のデータであっても一定の精度を実現する識別器の学習が可能になる。このため、機械学習を用いた画像処理により、診断医の負担軽減及び診療の質の向上を図ることができる。

［２］好ましくは、前記前処理工程では、前記顎口腔の上部、側部、下部のそれぞれを前記左右一対の領域に分割し、少なくとも２か所の前記領域の画像を一対として用いている。

かかる構成によれば、顎口腔の上部、側部、下部のそれぞれを左右一対の領域に分割し、少なくとも２か所の領域の画像を一対として用いているので、歯科医師の診察において疾患が多く見られる場所を中心に領域設定し、効率的に画像処理でき、診断医の負担軽減及び診療の質の向上を図ることができる。

［３］好ましくは、前記前処理工程では、分割した各前記領域の画像を、前記増幅率の決定による感度調整結果に基づいて、任意の領域を標準となる位置から少なくとも上下左右斜め方向に拡大及び/又は縮小する操作及び/又は基準となる一の中心を固定し、切り取る領域の一辺を任意の倍率に拡大及び/又は縮小することにより、複数枚に増幅させている。

かかる構成によれば、増幅率の決定による感度調整結果に基づき、例えば画像の一つの領域の中央部を放射状の８方向にスライドして９枚に増幅させ、又はこの９枚の画像それぞれを拡大した範囲及び縮小した範囲の３枚として組み合せた計２７枚に増幅させているので、少数のデータであっても一定の精度を実現する識別器の学習が可能になる。このため、機械学習を用いた画像処理により、診断医の負担軽減及び診療の質の向上を図ることができる。

［４］好ましくは、前記識別工程では、畳み込みニューラルネットワークを用いて前記画像から抽出した特徴量の左右差を合わせ込んで学習すると共に識別している。

かかる構成によれば、優れた画像認識性能を有する畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）の特徴抽出部に、データ数が少量であっても識別性能が高いサポートベクターマシン（Support Vector Machine：SVM）を組み合わせた学習を行うので、陽性・陰性の識別性能を向上させ、診断医の負担軽減及び診療の質の向上を図ることができる。

［５］好ましくは、前記前処理工程では、前記画像を前記被験者の頸椎の映り込みが影響しない範囲にトリミングしている。

かかる構成によれば、歯科のパノラマX線画像の左右には頸椎が映り込んでいるところが学習に悪影響を及ぼさないよう排除するので、学習の質を向上させ、陽性・陰性の識別性能を向上させることができる。

［６］好ましくは、前記前処理工程では、前記画像から前記被験者の歯の治療痕や歯そのものを学習に悪影響を及ぼさないよう排除する。

かかる構成によれば、画像を被験者の歯の治療痕（金属アーティファクトなど）に含まれる情報や歯そのものがネットワーク学習時に影響を及ぼさないよう排除するので、学習の質を向上させ、陽性・陰性の識別性能を向上させることができる。

［７］好ましくは、被験者の顎口腔をX線撮影した画像を入力し、画像の任意の領域を複数枚の前記画像に枚数増加する際の枚数増加生成の倍率を示す増幅率を決定し、前記増幅率の決定に基づいて前記画像を識別対象とする左右一対の領域に分割し、分割した前記画像のデータを増幅し、増幅率の決定に基づいて枚数増加生成した複数枚の前記画像のデータについて顎口腔疾患部位の見逃しをしない感度を算出し、前記感度が高くなるように前記増幅率を変化させることで、前記感度を調整し、分割した各前記領域に対応した識別器をそれぞれ学習して識別器を作成し、前記識別器を用いて分割した各前記領域について陽性であるか陰性であるか前記識別器に個別に識別させ、識別した結果を組み合わせることで前記画像全体から陽性の疑いのある箇所を特定する解析部と、
前記解析部による結果を表示する表示部と、を備えている。

かかる構成によれば、解析部で、X線撮影した画像を識別対象とする左右一対の領域に分割し、分割した画像のデータを増幅し、分割した各領域に対応した識別器をそれぞれ学習して識別器を作成するので、左右対称位置にある領域の特徴量を合わせこんで学習することで識別性能を向上させ、且つ、特徴量を合わせこむ学習法により、少数のデータであっても一定の精度を実現する識別器の学習が可能になる。このため、機械学習を用いた画像処理により、診断医の負担軽減及び診療の質の向上を図ることができる。

機械学習を用いた画像処理により、診断医の負担軽減及び診療の質の向上を図ることができる顎口腔疾患部位の検出画像処理技術を提供することができる。

CNNとSVMの併用を示す概要図である。 学習フロー（CNN 単独学習）を示す説明図である。 トリミング、リサイズ及びマスク処理を示す説明図である。 データの分割を示す説明図である。 識別結果対応表を示す説明図である。 データセット作成イメージ（2群識別）を示す説明図である。 全症例数、学習データとテストデータ及びテストデータを示す説明図である。 上部・側部・下部のラベル箇所及び代表症例画像を示す説明図である。 解析結果(疾患の有無：2群識別)を示す説明図である。 データセット作成イメージ（4群識別）を示す説明図である。 解析結果 (識別率、感度)を示す説明図である。 マスク無におけるイメージ可視化及びマスク有におけるイメージ可視化を示す説明図である。 顎口腔疾患の検出システムを示す説明図である。 学習フロー（CNN+SVM）を示す説明図である。 領域分割及び画像データの増幅を示す説明図である。 スライド増幅及び拡大・縮小増幅の一例を示す説明図である。 K- 分割交差検証及び学習・テストデータ分割を示す説明図である。 AlexNet + SVMを示す構造図である。 多数決判定（9倍増幅時）を示す概要図である。 症例画像数、陽性症例の各領域における枚数、9倍増幅時及び27倍増幅時のデータ総数を示す説明図である。 特徴量単独学習時の特徴ベクトル作成及び反転処理の一例を示す説明図である。 解析フロー（特徴量単独学習）を示す説明図である。 AB領域、CD領域及びEF領域における識別率・感度を示す説明図である。 AB領域における Confusion Matrixを示す説明図である。 CD領域における Confusion Matrixを示す説明図である。 EF領域における Confusion Matrixを示す説明図である。 特徴量併合学習時の特徴ベクトル作成を示す説明図である。 解析フロー（特徴量合わせこみ学習時）を示す説明図である。 AB領域、CD領域及びEF領域における識別率・感度を示す説明図である。 AB領域における Confusion Matrixを示す説明図である。 CD領域における Confusion Matrixを示す説明図である。 EF領域における Confusion Matrixを示す説明図である。 1倍時（反転処理のみ）、9倍増幅時及び27倍増幅時のデータ総数を示す説明図である。 解析フロー（特徴量合わせこみ+左右反転処理時）を示す説明図である。 AB領域、CD領域及びEF領域における識別率・感度を示す説明図である。 AB領域、CD領域及びEF領域における Confusion Matrixを示す説明図である。 AB領域、CD領域及びEF領域（学習・テストデータともに9倍増幅時）の各条件における識別率・感度比較を示す説明図である。

本発明の実施の形態を添付図に基づいて以下に説明する。なお、図面は、顎口腔疾患の検出システムの概略構成を概念的（模式的）に示すものとする。

本発明の実施例に係る顎口腔疾患の検出システム１０の全体構成を説明する。
図１３に示すように、顎口腔疾患の検出システム１０は、入力された画像２０の前処理及び識別を行う解析部１１と、結果を表示する表示部１２と、を備えている。解析部１１は、被験者の顎口腔をX線撮影した画像２０を入力し、画像２０を識別対象とする左右一対の領域に分割し、分割した画像２０のデータを増幅し、分割した各領域に対応した識別器をそれぞれ学習して識別器を作成し、識別器を用いて分割した各領域について陽性であるか陰性であるか個別に識別し、識別した結果を組み合わせることで画像全体を診断するものである。以下、詳細に説明する。

まず機械学習について説明する。
機械学習とは、事前に与えられたデータをもとに、データに含まれるルールや規則性を見出し、学習した後、得られたルールや規則性を用いて未知のデータを分類あるいは推論するものである。機械学習にもさまざま種類があり、中でも、ディープラーニング（深層学習）と呼ばれるものは、与えられたデータのどこに着目すればよいか、具体的な特徴量を人間が指定せずとも自らそのデータを特徴づける特徴量を抽出し、データに含まれるルールや規則性を学習する手法である。ディープラーニングのうち、画像認識の分野で用いられているネットワークで主流である畳み込みニューラルネットワーク (Convolutional Neural Network : CNN) は特徴抽出器と識別器を組み合わせて学習を行う。

CNNは畳み込みやプーリングなどによって、入力画像から特徴量を抽出し、全結合層を経てクラス推定を行う。このネットワーク構造を利用した場合、一定の精度を得るためには一般に多くの学習データが必要となる。（例として胸部X線画像をターゲットとした研究では正常・異常の識別において、訓練データ 13,515枚、テストデータ 3,379 枚 を用いて識別精度 69.8％ である。）そこで、本発明では、CNNの識別器をSVM (Support Vector Machine) に組み替えた手法による学習も行う。SVMは学習データが少数の場合でも高い分類性能が得られる識別器である。

次にCNNとSVMの併用について説明する。
CNNは畳み込み層・プーリング層などにより特徴量を抽出したのち、抽出した特徴量を基に識別を行っている。このとき抽出される特徴ベクトルをSVMの入力とすることでCNNを特徴抽出器、SVMを識別器として機能させる。図１に概要図を示す。

次にSVMについて説明する。
SVMは、ニューロンのモデルとしてもっとも単純な線形しきい素子を用いて2クラスのパターン識別器を構成する手法である。

次にCNNのみを用いた学習・識別の予備的検討について説明する。ここでは、X線撮影した画像から、歯の治療痕や歯そのものや頸椎の影響を取り除くように、識別対象とする左右一対の領域を選択する理由について確認することを主目的とする。
パノラマX線画像全体を入力データとし、画像内に疾患が含まれているか（陽性・陰性の2群）、画像のどこに疾患が含まれているか（上部・側部・下部・陰性の4群）、について学習を行い、犬や猫などの識別に広く用いられているCNNが歯科のパノラマX線画像においても有効であるのか検討した。

図２に示すように、学習フローは、前処理工程、データセット作成工程、学習・識別工程、結果表示工程と、を備えている。

前処理では、図３（ａ）に示す顎付近のみを取り出すトリミングと、図３（ｂ）に示す切り出した画像をAlexNetの入力サイズである ×227×3 px へのリサイズと、図３（ｃ）に示す条件によりマスクの追加の処理を行う。マスク処理については、歯の治療痕（金属アーティファクトなど）や歯そのものの個人差が大きく、この治療痕や歯そのものが学習に影響を及ぼす可能性があると考えたため、歯科医師により治療痕や歯そのものを隠す形でマスク処理を行った。トリミングを行う理由としては、歯科のパノラマX線画像の左右には頸椎が映り込んでおり、この映り込みが学習に悪影響を及ぼさぬよう排除するためのものである。

次にデータセットの作成を行う。図４に示すように、データセットには、学習に用いるX線画像とそれらのラベル (陽性・陰性など) が含まれる。これらを訓練・検証・テストデータに分割をし、学習に用いる。訓練データは、実際にネットワークの重みを学習するために使われるデータ、検証データは訓練データによって得られた重みが正しいものかを確認し、誤差を計算するためのデータ、テストデータは得られたネットワークモデルを未知データによって評価する際に用いるデータである。

次にCNNの学習、および得られたモデルを用いての識別を行う。AlexNet の学習は Fine-tuning を用いている。これは、既にあるデータで学習されているネットワークを、新しいタスクに適用する際に用いられる手法の一つで、1からネットワークを構築するよりもデータ数が少なくて済むという利点がある。学習されたラベルに応じて識別時のラベルも決定される。これにより、もともとのAlexNet に学習されている、キーボードやマウス、コーヒーカップなど計 1,000 カテゴリを識別するものから、顎口腔疾患の陽性・陰性を判定するネットワークへ変更する。

次に結果の出力・評価を行う。評価には識別率と感度を用いる。識別率とは、どれだけ正確に識別ができたかを示すもので、感度はどれだけ見逃しをしないかを示すものである。スクリーニングにおいては、疾患の見逃しは避けるべきであるため、感度が高いものがよい。識別率と感度の算出は以下の数式１、数式２にて行う。数式中の文字は図５の文字に対応している。また、学習データの偏りを低減するため、学習データとテストデータの分割から結果の出力までのフローを1回とし、これを5回繰り返し、平均したものを平均識別率・平均感度として評価に用いる。

CNN 単独での学習におけるハイパーパラメータの最適化にはベイズ最適化を用いた。最適化の対象としたパラメータは、初期学習率・正則化係数・バイアスの学習率・重みの学習率の4種類である。

次にマスク処理の有無(画像内の疾患の有無識別)について説明する。初めに、1枚のX線画像の中に疾患が含まれているかどうかを識別できるかという観点で学習を行った。

図６に示すように、顎口腔の画像のラベル付けは上部・側部・下部とし、図８（ａ）～（ｄ）中に各部における症例の代表画像を示す。また、学習に用いたデータ数は図７（ａ）～（ｃ）のとおりである。なお、入力画像はあらかじめ、何も映っていない最上部、画像の両端に映っている頸椎の部分を削除し、AlexNet の入力サイズである 227×227×3px にリサイズをしている。これらの画像を、学習データとテストデータに分割する。分割のイメージは図６に示すように、まず陰性のデータは 7：3 の割合で学習データとテストデータに分割する。分割時の学習データ数・テストデータ数を図７（ｂ）、（ｃ）に示す。

次に陽性データについて、各部位ごとに 7：3 の割合で陽性学習データと陽性テストデータに分割・再ラベリングを行い、それぞれ陰性データと合わせこみ学習データとテストデータとする。学習データは学習時、さらに7：3の割合で訓練データと検証データに分割をする。訓練データは実際に学習されるデータ、検証データは学習されたモデルがどの程度の精度を持つか監視するものであり、検証時の精度が高くなるようにネットワークが学習される。また、歯の治療痕や歯そのものが識別に与える影響を調べるため、マスク処理を施していないもの、施したものの2種類を用意した。

解析条件は次の通りである。
・対象領域・・・画像全体
・識別クラス・・・陽性・陰性（2群）
・マスク処理・・・有・無
・評価・・・識別率・感度
・エポック数・・・100回

図９に示すように、解析結果は、マスク無しにおいて、識別率は約68.5%、感度は約 90.1%、マスク有りにおいて、識別率は約90.1%、感度は約94.2% となった。これによりマスク処理を行うことで、90%程度の精度により疾患の有無を識別できることがわかる。識別率・感度ともにマスク処理を行うことで識別率は約21%、感度は約10%程度の精度の向上が見られた。これにより、顎骨病変の判別には、画像中央付近の歯の治療痕や歯そのものによる学習への影響があると考えられ、マスク処理を行う、もしくは歯の治療痕を極力含まない方法での学習データ作成を行うことが望ましいと考えられる（ただし，マスク処理については，見せかけの効果であることが［００５２］で判明）。

次に、どの領域に疾患があるのかを特定する。ここでは、陽性画像を前述のとおり上部・側部・下部にラベル付けを行い、それに陰性を含めた計4クラスでの識別を行う。

図１０に示すように、総データから訓練データ・検証データ・テストデータに分割されている。学習データ数については図７（ａ）のとおりである。

解析条件は次の通りである。
・対象領域・・・画像全体
・識別クラス・・・上部・側部・下部・陰性（4群）
・マスク処理・・・有・無
・評価・・・識別率・感度
・エポック数・・・100回

図１１（ａ）に示すように、識別率についての結果は、マスク無しにおいて約 42.8%、マスク有りにおいて約82.8%となった。図１１（ｂ）に示すように、感度についての結果は、マスク無しにおいて 上部約18%、側部約31.6%、下部約43.8%、陰性約66% となり、マスク有りにおいて、上部約78%、側部約97.4%、下部約58.8%、陰性約91.3%となった。マスク処理を行うことで、約 83% 程度の識別率で識別が可能であることがわかる。これにより、識別率については、マスク処理を行うことで、約42.8% から約82.8%に向上し、急激な精度上昇がみられる結果となった。また、感度については上部において約18% から約78%に向上するなど、マスク処理を施すことにより急激に精度が上昇する結果となった。

次にニューラルネットワークが判定のために着目した箇所の可視化について説明する。前述の結果からマスクの形状や、マスクをかけない場合における歯の治療痕や歯そのものなどにより、CNN の学習が正しく行われていない可能性が否定できない。そこで、ここでは、Grad-CAM を用いて、前述における画像全体から疾患の有無を識別する場合においてマスク無・マスク有のそれぞれにおいて識別時のイメージを可視化する。

Grad-CAM とは、ニューラルネットワークが識別を行う際、画像のどの部分の特徴量が識別に大きく関与しているか着眼点を可視化するものである。

図１２（ａ）、（ｂ）に示すように、可視化の結果は、図中の P は Positive（陽性）、N は Negative（陰性）である。例として、P→N は正解ラベルが陽性であるものを、陰性と誤識別したものである。陰性と判断したものはおおよそ画像全体が同色となっているため、画像全体を基準として識別しているのに対し、陽性と識別したものは、歯の治療痕やマスクにヒートマップが集中しているため、歯牙の治療痕・マスクを基準として識別していることがわかる。

この結果から、マスク無の場合では、歯の治療痕や歯そのものを基に識別をしていることが、マスク有の場合では、マスクの形状を基に識別していることがわかる。このことから前述の識別において得られた識別率や感度に関しては「見せかけの数値」となっており、歯の治療痕や歯そのものやマスクによって、正しく学習が行えていないと判断される。このことから、歯科のパノラマX線画像の中には、歯牙や頸椎、歯の治療痕の有無などの数多くの情報が含まれており、その中から疾患を見つけることは非常に難しいと考えられる。学習時に余分な情報をできるだけ排除した形で学習を行うことが重要であり、学習時に工夫が必要になると推測される。以上の検証により、歯牙をなるべく含まない学習方法、学習させたい領域に画像を分割した学習方法、データの増幅、が必要であると考える。以下、これらを考慮した解析を行う。

次に、新しい顎口腔疾患の判定方法として、CNN＋SVM併用学習について説明する。
図１３に示すように、システムの全図として、本発明の実施例に係る顎口腔疾患の検出システム１０は、入力された画像２０の前処理及び識別を行う解析部１１と、結果を表示する表示部１２と、を備えている。

また、本発明の実施例に係るX線の画像から顎口腔疾患を検出する顎口腔疾患の検出方法は、被験者の顎口腔をX線撮影した画像を解析部に入力する入力工程と、画像を識別対象とする左右一対の領域に分割し、分割した画像のデータを増幅する前処理工程と、分割した各領域に対応した識別器をそれぞれ学習して識別器を作成し、識別器を用いて分割した各領域について陽性であるか陰性であるか個別に識別し、識別した結果を組み合わせることで画像全体を診断し、陽性の疑いのある箇所を特定する識別工程と、診断結果を表示する結果表示工程と、を備えている。

さらに、前処理工程では、顎口腔の上部、側部、下部のそれぞれを前記左右一対の領域に分割している。さらに、前処理工程では、分割した各領域の画像を、中央部と中央部を放射状の８方向にスライドさせた位置のもの９枚に増幅させている、又は９枚の画像それぞれを拡大した範囲及び縮小した範囲の３枚として組み合せた計２７枚に増幅させている。

さらに、前処理工程では、画像を被験者の頸椎、歯の治療痕、ならびに歯そのものができるだけ影響しない領域で分割している。さらに、識別工程では、畳み込みニューラルネットワークとサポートベクターマシンを用いて画像から抽出した特徴量の左右差を合わせ込んで学習すると共に識別している。以下、詳細に説明する。

まず、学習方法について説明する。
図１４に示すように、学習フローは、前処理工程と、データセット作成工程と、学習・識別工程と、結果表示工程と、を備えている。

次に前処理について説明する。
図１５（ａ）に示すように、前処理工程では、領域を上部左A、上部右B、側部左C、側部右D、下部左E、下部右F、に分割している。領域決定の基準として、医師による普段の診察で多く疾患が見受けられる領域に基づいて領域決定をした。A・Bの領域については、画像中心からAは左の大臼歯、Bは右の大臼歯までを一辺とした正方形で、かつ下辺はなるべく歯牙を含まない境界付近に設定した。C・Dの領域については、なるべく上辺が上の歯の根元、下辺が下顎角の下部になる正方形とし、Cは右辺が大臼歯との境界付近に、Dは左辺が大臼歯との境界付近となるよう設定した。E・Fの領域については、頸椎の映り込みによって白く靄がかかった部分（下顎中心付近）を避け、画像下端から下の歯の根元を一辺とする正方形を、Eは右辺が頸椎との境界付近、Fは左辺が頸椎との境界付近となるよう設定した。

また、本発明の実施例ではデータの増幅を行う。増幅の方法として、図１５（ｂ）に示すスライド、図１５（ｃ）に示す拡大・縮小、の2種類を実施した。図１６（ａ）にスライドによる画像増幅の一例を、図１６（ｂ）に拡大・縮小による画像増幅の一例を示す。スライドによる増幅では、標準となる位置（図１５（ｂ）中(1)）から上下左右に10 px動かすことで増幅を行う（例として、図１５（ｂ）中(3)であれば (1)を右に10 px、下に10 px 動かしている）。また、拡大・縮小では、基準となる位置の中心を固定し、切り取る領域の一辺を拡大時は0.9倍に、縮小時は1.3倍にすることで拡大・縮小の増幅を行っている。スライドにより1つの症例から9枚の画像が、拡大・縮小により1つの症例から3枚の画像が生成できるため組み合わせることで1つの症例から27枚の画像を生成することが可能である。領域分割時に患者によって領域における疾患の位置が異なることが考えられるが、この増幅によって学習を行うことで、ロバスト性を確保することができる。

次にハイパーパラメータ最適化及びデータセット作成について説明する。
初めにSVMのハイパーパラメータ最適化を行う。SVMのハイパーパラメータ（γ：ガンマ と C:：コスト）最適化の際には、通常、学習データ決定後に学習データに対してパラメータ最適化を行うが、本発明では、解析条件が多く、γ と Cの探索に時間がかかるため、画像データすべてに対しK- 分割交差検証を行った。K- 交差検証とは、学習データ N-1 枚を図１７（ａ）のように K 個で分割し、そのうちの一つを検証データ、K-1 個のデータを訓練データとして学習し、これをK回繰り返すことで得られた結果の平均を用いて推定する手法である。本発明では、6分割による交差検証を行った。ここで得られた γ、C をデータ分割後のSVMの学習に用いる。

次にデータセットの作成を行う。データセットには、学習に用いる分割されたX線画像とそれらのラベル (陽性・陰性等) が含まれる。これらを図１７（ｂ）のように学習データ N-1 枚とテストデータ 1 枚に分割をし、N 回学習を繰り返した後、結果をConfusion matrix にまとめ、識別率・感度の評価をする。このように学習する理由として、学習させるデータ数が少ないためである。1枚以外をすべて学習データとすることで、用意できるデータにおいて理想とされる識別率・感度を算出できる。

次に学習・識別について説明する。
図１８に示すように、特徴量抽出部分をCNN、クラス識別をSVMで行うCNN+SVM併用学習によりモデルの学習を行う。SVMを用いる理由は、CNNに比べ、データ数が少量であっても比較的識別性能が高いため、かつ、特徴量を組み合わせた学習の実装が容易であるためである。

次に評価方法について説明する。
図１９に示すように、テストデータを増幅した場合、1症例につき9枚、あるいは27枚の画像が得られる。それらをそれぞれSVMによって識別しクラスを推定する。推定されたクラスの中で最も多いクラスを最終クラスとし、評価に使用する。この多数決判定を行うことで、患者によって顎骨の形状が様々であり、画像を切り取る際に位置のずれなどが生じても診断結果への影響を低減できると考えられる。このため、ロバスト性の確保を図ることができる。

次にグリッドサーチについて説明する。
SVMの学習パラメータにはコスト C とガンマ γ がある。これらの最適化をする手法としてグリッドサーチを用いた。グリッドサーチとは決められた範囲内においてコスト C とガンマ γ の値を組み合わせて学習をさせ、一番結果の良い組み合わせを決定するという手法である。

次に領域単独学習について説明する。この領域単独学習とは、左右一対の画像を同時に学習するのではなく、片側の画像のみを用いて学習し、疾患有無を判定する方法であり、左右一対として学習する本提案手法の有効性検証のための比較対象として実施した。
疾患領域の特徴量のみを用いて学習させた際、それぞれの領域に疾患が含まれているか否かを識別できるか否かを検証する。分割した領域の特徴量を単独で学習させる条件において、学習データとテストデータの増幅率を変化させ、識別率・感度の変化を確認する。

学習に用いたデータ数は図２０（ａ）のとおりであり、陽性画像における各領域の画像数を図２０（ｂ）に、9倍・27倍と増幅処理を行った際のデータ数を図２０（ｃ）、図２０（ｄ）にそれぞれ示す。また、図中のAB・CD・EFのラベル付けは図１５（ａ）に対応している。なお、入力画像はあらかじめ、 AlexNet の入力サイズである 227×227×3 pxにリサイズをしている。図２１（ａ）に示すように、SVMに入力するデータは、AlexNet の fc6 層から得られた 4096 次元の特徴ベクトルに再度ラベリングを行い、入力データとする。

また、本発明の実施例に用いるデータのうち、陽性画像については、画像内において、右半分に置かれている領域（B・D・F）内に疾患が含まれる場合、画像を左右反転し（反転処理を行い）それぞれ対応する領域（A・C・E）とし、A・C・E それぞれにおいて学習させた。図２１（ｂ）に一例を示す。これにより、左右の偏りを無くすことができるほか、片側領域（本節では左側領域）の識別器に左右の領域の画像を用いることができるようになるため、各領域のみで学習する場合よりも学習データを多くすることができる。また、ABについては、ごく少数であるものの、両領域にわたって疾患が存在する場合があるが、これに関しては左側領域のみを学習データとした。

解析条件は次の通りである。
・対象領域・・・AB・CD・EF
・識別クラス・・・陽性・陰性 （2群）
・学習データ増幅率・・・1 倍・9 倍・27 倍
・テストデータ増幅率・・・・1 倍・9 倍・27 倍
・特徴量処理・・・4,096 次元で学習
・評価方法・・・識別率・感度

図２２に解析時のフローを示す。結果については、解析結果を図２３（ａ）～（ｃ）に示す。図中の1行2列、1行3列、1行4列の数字は学習データの増幅倍率を、2行1列、3行1列、4行1列の数字はテストデータの増幅倍率を示している。図中において同行内の数値を比較すると、学習データの増幅による効果が、同列内の数値を比較すると、多数決判定による効果を確認することができる。

また、図２４、図２５、図２６に各領域における Confusion matrix を示す。Confusion Matrix の左上には、学習データ － テストデータの順でデータ増幅倍率を示し、右列のセルは上段、中段、下段のうち上段が感度を、下段が識別率を示す。図２３（ａ）～（ｃ）より、概ねどの領域においても学習データを9倍に増幅、テストデータを9・27倍に増幅した際に各領域内において高い精度となり、識別率は約 85～97%、感度は約 71～93% の精度となった。図２４～図２６からは、どの領域においても陰性の感度が高く、約 94～99% 程度の精度であり、識別率の精度は、陽性画像を正確に識別出来ているかに影響しているとの知見が得られた。

以上により、この方法で作成したデータではマスクによる影響がないため、正しく識別を行っているものと考えられる。学習データとテストデータの増幅率については概ねどちらも 9 倍とした時が識別率・感度ともに高い数字となった。これは、関心領域を切り出す際、位置のずれによる学習の影響を減らすことでロバスト性を高められたこと、学習画像数を増やすことで増幅無しのものよりも効果的に学習を行えたためだと考えられる。加えて、テストデータを増幅した際は多数決判定を行っており、多数決判定によっても識別率・感度が上昇している。また、特徴抽出器として学習済みの AlexNet を用いたが、再学習をせずとも歯科画像の特徴量抽出に利用できた。

次に左右一対として学習する領域併合学習について説明する。
前述の結果から、SVMを識別器として使用することで少量のデータで学習させた際、一定の識別率と感度を得られた。ここでは更なる識別率・感度向上を目的とし、歯科医師が診察の際に参考にしていると思われる、健常部位と疾患部位の見比べを再現するものとして、左右領域の特徴量を合わせこんだ学習を行う。

学習データ数については図２０（ａ）～（ｄ）のとおりである。学習データとテストデータへの分割、学習データ内の訓練データ・検証データの分割は前述と同様である。また、ここでは、分割領域ごとの特徴量の合わせこみを行う。流れを図２７に示す。前述で行っていた学習では、一つの領域について、CNNの fc6 層から得られる 4,096 次元の特徴ベクトルを使用していたが、ここでは例として、Cで得られた特徴量 4,096 次元とDで得られた特徴量 4,096 次元を合わせこみ、8,192 次元として学習させる。これにより、左右差を考慮に入れた学習を再現している。

解析条件は次の通りである。
・対象領域・・・AB・CD・EF
・識別クラス・・・陽性・陰性 （2群）
・学習データ増幅率・・・1 倍・9 倍・27 倍
・テストデータ増幅率・・・・1 倍・9 倍・27 倍
・特徴量処理・・・4,096 次元×2 = 8,192 次元で学習
・評価方法・・・識別率・感度

図２８に解析時のフローを示す。結果については、解析結果を図２９（ａ）～（ｃ）に示す。表において同行内の数値を比較すると、学習データの増幅による効果が、同列内の数値を比較すると、多数決判定による効果を確認することができる。
また、図３０、図３１、図３２に各領域における Confusion matrix を示す。Confusion Matrix の左上には、学習データ － テストデータの順でデータ増幅倍率を示し、右列の小さい値が感度を、大きい値が識別率を示す。

特徴量を併合した学習法により、単独での学習に比べ、CD・EF領域において、識別率は約 1～4%、感度は約 2~6% 上昇した。また、AB領域については単独での学習と識別率・感度の最高値はほぼ変わらない結果となったが、学習データ・テストデータともに増幅を行わなかった場合において、識別率は約 21%、感度は約 46%上昇しており、データが少ない際の識別において特徴量を併合した学習による効果がみられた。これにより、本発明の実施例で提案する左右の領域を合わせこんだ学習法は歯科のパノラマX線画像における診断において効果的であるとの知見が得られた。また、特徴量単独学習の際と同様、学習データとテストデータの増幅倍率は概ね 9 倍が良い結果となった。

最後に左右反転処理による増幅学習について説明する。
ここでは、前述で行ったデータ増幅に加えて、左右反転処理を行った。切り取り位置の変化だけではなく、疾患の形状を左右反転させることで、見かけの症例数が増え、識別率・感度の向上に寄与するものとし、その効果を検証した。

左右反転処理を行った後の学習データ数については図３３（ａ）～（ｃ）のとおりである。学習データとテストデータへの分割、学習データ内の訓練データ・検証データの分割は前述と同様である。陽性症例に対して左右反転処理を行って症例画像を増幅した後、前述同様に 1 倍・ 9 倍・ 27 倍の増幅を行い識別率・感度の比較を行った。

解析条件は次の通りである。
・対象領域・・・AB・CD・EF
・識別クラス・・・陽性・陰性 （2群）
・事前処理・・・陽性症例について左右反転処理
・学習データ増幅率・・・1 倍・9 倍・27 倍
・テストデータ増幅率・・・・1 倍・9 倍・27 倍
（学習データの増幅率に合わせたもののみ）
・特徴量処理・・・4,096 次元×2 = 8,192 次元で学習
・評価方法・・・識別率・感度

図３４に解析時のフローを示す。結果については、解析結果を図３５（ａ）～（ｃ）に示す。また、図３６（ａ）～（ｃ）に各領域における Confusion matrix を示す。Confusion Matrix の左上には、学習データ － テストデータの順でデータ増幅倍率を示し、右列のセルは上段が感度を、下段が識別率を示す。図３５（ａ）～（ｃ）より、AB領域の識別率は約 89%、感度は約 92%、CD領域の識別率は約 97%、感度は約 98%、EF領域の識別率は約 92%、感度は約 91%となった。

前述における左右反転処理を行わない際における学習と比較すると、識別率についてはEF領域のみ約 2% の上昇と大きな変化は見られないが、感度は約 2~13% の上昇となり、どの領域においても、概ね向上しているという結果になった。これは、左右反転処理によって陽性症例を増やすことで、より多くの陽性症例に関する特徴を学習することができたためである。また、左右反転処理は、スライドによる増幅や拡大・縮小による増幅に比べ、疾患の形状も変わる（左右が逆になる）ため、疾患の位置の変化（スライドによる増幅）、疾患の大きさの変化（拡大・縮小による増幅）よりも識別器の学習に大きく寄与する。感度が上昇することにより、疾患の見逃しを減らすことができるようになるため、画像診断支援を想定するとこの感度の上昇は効果的である。

また、前述の異なる条件で解析を行ったもののうち、これが最も適した増幅率であると考えられる、学習データを 9 倍、テストデータを 9 倍に増幅した際の識別率・感度をAB・CD・EFの各領域にまとめたものを図３７（ａ）～（ｃ）に示す。図より、概ねすべての領域について、左右反転処理を行った後、特徴量を合わせ込んで学習させる手法が最も識別率・感度が高くなる。

以上から、次の事が言える。歯牙や金属アーティファクトを含まない学習法（領域分割 等）が有効であると考え、医師が注目する部位のみを選択する領域分割を行い、CNNとSVMを組み合わせた学習を行ったところ、陽性・陰性の識別性能が向上した。歯科のパノラマX線画像における診断において識別器を学習させる際、左右反転処理やスライドによる増幅が効果的である。関心領域だけでなく、左右対称位置にある領域の特徴量を合わせこんで学習することで識別性能が向上する。

これらにより、歯科のパノラマX線画像に対する識別器の学習に関して、歯牙を含まないよう領域分割をしたのち、左右反転処理やスライド増幅を行ったうえで、本発明で提案する手法である、特徴量を合わせこむ学習法により、少数のデータであっても一定の精度を実現する識別器の学習が可能になる。また、どの領域に疾患が含まれているかという識別においては、全領域において約 90% 以上の精度によって検出が可能であり、診断支援という観点からは、どの領域に疾患が含まれているかを示すだけでも、医師に注意を促すことができ、十分に診断支援を行える。

次に以上の述べた顎口腔疾患の検出技術の効果について説明する。
本発明の実施例によれば、解析部で増幅率の決定に基づいてレントゲン（X線）撮影した画像を識別対象とする左右一対の領域に分割し、分割した画像のデータを増幅し、増幅率の決定に基づいて顎口腔疾患の見逃しをしない感度を調整し、分割した各領域に対応した識別器をそれぞれ学習して識別器を作成する。これにより、左右対称位置にある領域の特徴量を合わせこんで学習することで識別性能を向上させ、且つ、特徴量を合わせこむ学習法により、少数のデータであっても一定の精度を実現する識別器の学習が可能になる。このため、機械学習を用いた画像診断により、診断医の負担軽減及び診療の質の向上を図ることができる。

さらに、顎口腔の上部、側部、下部のそれぞれを左右一対の領域に分割し、少なくとも２か所の前記領域の画像を一対として用いているので、歯科医師の診察において疾患が多く見られる場所を中心に領域設定し、効率的に画像診断でき、診断医の負担軽減及び診療の質の向上を図ることができる。

さらに、増幅率の決定による感度調整結果に基づき、例えば画像の一つの領域の中央部を放射状の８方向にスライドして９枚に増幅させ、又はこの９枚の画像それぞれを拡大した範囲及び縮小した範囲の３枚として組み合せた計２７枚に増幅させているので、少数のデータであっても一定の精度を実現する識別器の学習が可能になる。このため、機械学習を用いた画像診断により、診断医の負担軽減及び診療の質の向上を図ることができる。

さらに、畳み込みニューラルネットワーク（CNN）に併用して、データ数が少量であっても識別性能が高いサポートベクターマシン（SVM）を組み合わせた学習を行うので、陽性・陰性の識別性能を向上させ、診断医の負担軽減及び診療の質の向上を図ることができる。

さらに、歯科のパノラマX線画像の左右には頸椎が映り込んでおり、この映り込みが学習に悪影響を及ぼさないよう排除するので、学習の質を向上させ、陽性・陰性の識別性能を向上させることができる。

さらに、画像の領域分割を、できる限り被験者の歯の治療痕や歯そのものが影響しない範囲で実施し、治療痕（金属アーティファクトなど）に含まれる情報や歯そのものがネットワーク学習時に影響を及ぼさないよう排除するので、学習の質を向上させ、陽性・陰性の識別性能を向上させることができる。

尚、実施例では、顎口腔の上部、側部、下部のそれぞれを左右一対の領域に分割したが、これに限定されず、上部、側部、下部のいずれか一部だけ分割してもよい。また、上部、側部、下部の領域をさらに細かく分割しても良い。

また、実施例では、画像をスライドさせた位置のもの９枚に増幅させたが、これに限定されず、画像の増幅は、２枚、３枚、４枚などいずれであってもよい。また、画像を拡大した範囲と縮小した範囲に増幅したがこれに限定されず、いずれか一方だけの増幅でもよく、さらには増幅しない場合を含めてもよい。また，画像は回転させたり，フィルターを施して増幅したりしても良い。

即ち、本発明の作用及び効果を奏する限りにおいて、本発明は、実施例に限定されるものではない。

本発明は、機械学習を用いた画像診断により、顎口腔疾患の検出する技術に好適である。

１０…顎口腔疾患の検出システム（顎口腔疾患部位の検出画像処理システム）、１１…解析部、１２…表示部、２０…画像（パノラマX線画像）。

Claims (7)

1. X線の画像から顎口腔疾患を検出する顎口腔疾患部位の検出画像処理方法であって、
   被験者の顎口腔をX線撮影した画像を解析部に入力する入力工程と、
   前記画像の任意の領域を複数枚の前記画像に枚数増加する際の枚数増加生成の倍率を示す増幅率を決定し、前記増幅率の決定に基づいて前記画像を識別対象とする左右一対の領域に分割し、分割した前記画像のデータを増幅する前処理工程と、
   前記増幅率の決定に基づいて枚数増加生成した複数枚の前記画像のデータについて前記顎口腔疾患部位の見逃しをしない感度を算出し、前記感度が高くなるように前記増幅率を変化させることで、前記感度を調整する感度調整工程と、
   分割した各前記領域に対応した識別器をそれぞれ学習して識別器を作成し、前記識別器を用いて分割した各前記領域について陽性であるか陰性であるか前記識別器に個別に識別させ、識別した結果を組み合わせることで前記画像全体から陽性の疑いのある箇所を特定する識別工程と、
   前記識別工程による検出結果を表示する結果表示工程と、を備えていることを特徴とする顎口腔疾患部位の検出画像処理方法。
2. 請求項１記載の顎口腔疾患部位の検出画像処理方法であって、
   前記前処理工程では、前記顎口腔の上部、側部、下部のそれぞれを前記左右一対の領域に分割し、少なくとも２か所の前記領域の画像を一対として用いていることを特徴とする顎口腔疾患部位の検出画像処理方法。
3. 請求項１又は請求項２記載の顎口腔疾患部位の検出画像処理方法であって、
   前記前処理工程では、分割した各前記領域の画像を、前記増幅率の決定による感度調整結果に基づいて、任意の領域を標準となる位置から少なくとも上下左右斜め方向に拡大及び/又は縮小する操作及び/又は基準となる一の中心を固定し、切り取る領域の一辺を任意の倍率に拡大及び/又は縮小することにより、複数枚に増幅させていることを特徴とする顎口腔疾患部位の検出画像処理方法。
4. 請求項１～請求項３のいずれか１項記載の顎口腔疾患部位の検出画像処理方法であって、
   前記識別工程では、畳み込みニューラルネットワークを用いて前記画像から抽出した特徴量の左右差を合わせ込んで学習すると共に識別していることを特徴とする顎口腔疾患部位の検出画像処理方法。
5. 請求項１～請求項４のいずれか１項記載の顎口腔疾患部位の検出画像処理方法であって、
   前記前処理工程では、前記画像を前記被験者の頸椎の映り込みが影響しない範囲にトリミングしていることを特徴とする顎口腔疾患部位の検出画像処理方法。
6. 請求項１～請求項５のいずれか１項記載の顎口腔疾患部位の検出画像処理方法であって、
   前記前処理工程では、前記画像から前記被験者の歯の治療痕や歯そのものの画像を学習に悪影響を及ぼさないよう排除することを特徴とする顎口腔疾患部位の検出画像処理方法。
7. 被験者の顎口腔をX線撮影した画像を入力し、画像の任意の領域を複数枚の前記画像に枚数増加する際の枚数増加生成の倍率を示す増幅率を決定し、前記増幅率の決定に基づいて前記画像を識別対象とする左右一対の領域に分割し、分割した前記画像のデータを増幅し、増幅率の決定に基づいて枚数増加生成した複数枚の前記画像のデータについて顎口腔疾患部位の見逃しをしない感度を算出し、前記感度が高くなるように前記増幅率を変化させることで、前記感度を調整し、分割した各前記領域に対応した識別器をそれぞれ学習して識別器を作成し、前記識別器を用いて分割した各前記領域について陽性であるか陰性であるか前記識別器に個別に識別させ、識別した結果を組み合わせることで前記画像全体から陽性の疑いのある箇所を特定する解析部と、
   前記解析部による結果を表示する表示部と、を備えていることを特徴とする顎口腔疾患部位の検出画像処理システム。

Images