JP7395143B2

JP7395143B2 - 三次元ランドマーク自動認識を用いた人体の三次元表面形態評価方法及び三次元表面形態評価システム

Info

Publication number: JP7395143B2
Application number: JP2019163518A
Authority: JP
Inventors: 千尋塩見; 隆山城; 博之中邨
Original assignee: Biprogy Inc
Current assignee: Biprogy Inc
Priority date: 2019-09-09
Filing date: 2019-09-09
Publication date: 2023-12-11
Anticipated expiration: 2039-09-09
Also published as: JP2021043564A

Description

本発明は、三次元ランドマーク自動認識処理により、人体における対象部位の三次元表面形態を評価するための方法又はその形態評価方法を演算処理により実行可能とする形態評価システムに関する。

Ｘ線規格写真分析（以下，セファロ分析）は、１９３０年代には既に顎骨形態異常や頭蓋顔面成長発育等の診断に使われてきた技術であり、現代の矯正歯科診断においても広く使用されている。セファロ分析によれば、年齢や性別を一致させたコントロール群のなかで距離及び角度等の比較分析を行うことで、患者の顎顔面形態を定量化することができる。しかし、実際の患者の三次元形態を、二次元情報であるセファロ画像に投影して評価する場合には、下記のような欠点もいくつか存在する。

まず、セファロ撮影された画像においては左右の顔の構造物の拡大率が異なって投影される。また左右の顎顔面構造物の画像が互いに重なり合うため、二次元画像上での構造物の特定が困難であり、解剖学的特徴点の特定が難しい。また、頭蓋骨の縫合は、成長部位を表すため生物学的に意義のあるものであるが、セファロ画像上では特定することが困難である。また、正面位頭部Ｘ線規格写真においては、顔が上向きのときと下向きの時とで撮影された画像が大きく異なるなど、垂直的な計測が困難である。

一方で、コンピュータ断層撮影（ＣＴ；computed tomography）によれば、セファロ分析における上記の欠点をいくつか補うことができる。しかし、ＣＴデータを定量化する方法においても、二次元のセファロ分析と同様の方法による距離や角度の分析が行われているのが実情である。その中で、治療前後での表面のユークリッド距離を計算した単純な表面分析が報告されている。コンピュータによる三次元分析は、膨大な量のデータを扱い、アルゴリズムも複雑となることから、分析結果を診断用に客観化・視覚化することは困難とされてきた。

また、生物学の研究分野では、発達のプロセスや病気などにより生じる形態の差異を分析する手法として幾何学的形態測定学（ＧＭＭ；geometric morphometrics）が用いられている。ＧＭＭは、解剖学的特徴点であるランドマークの座標値から、幾何学的な形態情報全てを把握しようとする学問である。ＧＭＭによれば、例えば互いに似た形態の対象同士を比較し、それらの差異を理解することが可能である。ＧＭＭは、統計学的アプローチを通して形態の差異を明確にするという点で、解剖学的に重要な方法である。

近年、発明者等は、軟らかい食事を摂取することで変化したマウスの下顎骨を対象とし、マイクロＣＴを用いて三次元形態分析を行なった研究成果を報告している（例えば非特許文献１）。この研究では、下顎骨表面にワイヤーメッシュフィッティングを行うことで相同モデルを作り出し、それにより形態情報を定量化している。相同モデルの基準となる三次元平均形態を算出する手法については、例えば特許文献１、２及び３が参照される。

特許第３１０６１７７号公報特許第３３６４６５４号公報特開２０１１－１８０７９０号公報

Kono K., Tanikawa C., Yanagita T., Kamioka H., Yamashiro T.著, A novel method to detect 3D mandibular changes related to soft-diet feeding, 2017年, Front. Physiol. 8:567

ＧＭＭの評価手法において用いられる解剖学的なランドマークの個数は、例えば頭蓋骨の形態解析の場合には５０を超える。そのようなランドマークは、従来、解剖学の知見を有する専門家が、三次元形態モデルの画像からひとつひとつ同定しており、その作業は極めて煩雑であった。また、対象部位の形態の評価結果を単に数字として提示するだけでなく視覚化することができれば、医師のより的確な診断に寄与することができると考えられる。

本発明は、例えば三次元ランドマーク自動認識処理を用いて、被検者の特に硬組織である対象部位の三次元表面形態の定量評価を簡便に行えるようにした形態評価方法及び形態評価システムを提供することを目的としている。

上述した課題を解決するため、本発明は、人体における対象部位の三次元表面形態を評価する形態評価方法であって、三次元計測装置を用いて被検者の対象部位をスキャンニングすることで該対象部位の三次元表面形態を表す被検者座標データを得るステップと、前記被検者座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が被検者相同モデルを生成する処理を行うステップと、平均形態生成部が、複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成するステップと、偏差演算部が、前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算するステップとを含み、前記偏差を用いて該被検者における該対象部位の三次元表面形態が評価される形態評価方法である。

形態評価方法は、ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより解剖学的ランドマークを抽出することが好ましい。

また、形態評価方法は、ランドマーク抽出部が、機械学習処理により、前記標本座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより解剖学的ランドマークを抽出するステップと、前記標本座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が標本相同モデルを生成する処理を行うステップとを更に含み、前記平均形態生成部が、前記複数人の健常者についての前記標本相同モデルの群から、それらの平均形態を表す前記標準相同モデルを生成することが好ましい。

また、形態評価方法は、前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて画像表示装置により視覚化するステップを含むことが好ましい。

また、本発明は、人体における対象部位の三次元表面形態を評価するよう構成された形態評価システムであって、三次元計測装置を用いて被検者の対象部位をスキャンニングして得た三次元表面形態を表す被検者座標データから解剖学的ランドマークを自動的に抽出する処理を行うランドマーク抽出部と、前記解剖学的ランドマークに基づいて被検者相同モデルを生成する処理を行うモデル生成部と、複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成する平均形態生成部と、前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算する偏差演算部とを備える形態評価システムである。

形態評価システムは、前記ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより前記解剖学的ランドマークを抽出する処理を行うものであることが好ましい。

また、形態評価システムは、複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、前記平均形態生成部が、前記標本相同モデルの集合全体に対し多変量解析を行い、前記標本相同モデルと予め定めた相同モデルの形態を特徴付ける複数の特徴パラメータの特徴値とを関連付ける変換行列を求め、多次元特徴パラメータ空間において分散する前記特徴値のベクトル重心を算出し、算出した前記ベクトル重心の特徴値を前記変換行列で変換することで、前記標準相同モデルを生成する処理を行うものであることが好ましい。

また、形態評価システムは、複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、前記平均形態生成部が、空間に設定した制御格子点を移動させて形態を操作する自由形態変形法により前記標本相同モデルを相互に仮想変形させ、仮想変形させたときの形態間距離の分散が最小となる制御格子点移動パターンの平均を演算し、演算した制御格子点平均移動パターンを中央値の前記標本相同モデルに適用することで前記標準相同モデルを生成する処理を行うものでもよい。

また、形態評価システムは、前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて表示する画像表示装置を更に含むものであることが好ましい。

本発明によれば、被検者の特に硬組織である対象部位の三次元表面形態の定量評価を簡便に行うことができる。例えば、形態の異常さの度合い、つまり平均的な形態との偏差を三次元的に視覚化することで、医師のより的確な診断に寄与することができる。

一実施形態による三次元表面形態評価システムの機能ブロック図である。ニューラルネットワーク・ディープラーニングモデルを使ったランドマーク抽出処理の概要を説明するための図である。ランドマーク抽出部による機械学習処理を説明するための図である。モデル生成部による相同モデルの生成処理を説明するための図である。多変量解析法による平均形態モデルの算出方法を説明するためのフローチャートである。２つの特徴軸における、標本相同モデルの母集団の分布を例示する図である。自由形態変形法による平均形態モデルの算出方法を説明するためのフローチャートである。（ａ）はある標本相同モデルと空間に設定した制御格子点の配置を例示する図である。（ｂ）は（ａ）の標本相同モデルを他の標本相同モデルに変形したときの制御格子点の移動パターンを例示する図である。（ａ）はメディアン標本相同モデルを例示する図である。（ｂ）は制御格子点平均移動パターンを例示する図である。（ｃ）は生成された標準相同モデルを例示する図である。他の実施形態による三次元表面形態評価システムの機能ブロック図である。更に他の実施形態による三次元表面形態評価システムの機能ブロック図である。三次元表面形態評価システムの一実施例を示す図である。

（形態評価システムの概略構成）
本発明に関する形態評価システムは、人体における対象部位、特に頭蓋骨、上顎骨及び下顎骨等の硬組織の形態を表現する三次元表現形態モデルデータに対し統計的な解析処理を行うことで、その表面形態の客観的な定量評価を行うために、ユーザに提供される。

図１は、本発明の一実施形態による三次元表面形態評価システムの概要を示す機能ブロック図である。本実施形態による形態評価システムは、提供される主要な形態評価サービスの演算処理を担うホストサーバ１００と、医師又は検査技師等であるユーザが操作するユーザ端末２００とが、ネットワークを介して相互に通信可能に接続して構成される。ホストサーバ１００は、数値解析に適した高速大容量のコンピュータであり、後述する標本座標データ１１１及び標準相同モデル１１３等を格納するデータベース１０１、１０２をアクセス可能に接続している。ただし、データベース１０１、１０２において管理される情報内容は、学術的にも、そして経済的にも価値が高い貴重な情報財であるとともに、秘匿すべき個人情報でもある。そのため、ユーザ端末２００等を含む外部からのデータベース１０１、１０２へのアクセスは禁止又は制限され、これらの情報内容が外部に漏洩されないよう安全対策が施されることが好ましい。

ホストサーバ１００には、統計解析における標本データを得るための三次元計測装置１０４が接続されている。三次元計測装置１０４は、例えばＣＴスキャナー、ＭＲＩ（Magnetic Resonance Imaging）、三次元レーザースキャナとすることができる。本実施形態では、三次元計測装置１０４がＣＴスキャナーであって、属性（例えば年齢や性別等）が共通する複数人の健常者から、各人の頭蓋・上顎骨、下顎骨の硬組織をスキャンニングしてそれらの三次元表面形態が測定される。測定された各人の対象部位の三次元表面形態を表す座標データは、標本座標データ１１１の群としてデータベース１０１に蓄積され、ホストサーバ１００における処理に供される。

ユーザ端末２００は、例えば病院、診療所又は生物学的な研究を行う研究機関等に設置されるパーソナルコンピュータであって、本システムによる形態評価サービスの提供を受けるためにクライアントとしてライセンス契約をしたユーザにより操作される。ユーザ端末２００は、ホストサーバ１００で視覚化され、転送された評価結果を表示するための画像表示装置２０１を含む。

ユーザ端末２００には、三次元計測装置２０４が取得した被検者の測定データが取り込まれる。三次元計測装置２０４としては、上述したスキャナーを使用することができる。本実施形態では、ユーザの病院等に設置されたＣＴスキャナーを用いて、被検者の頭蓋・上顎骨又は下顎骨の硬組織（ホストサーバ１００側の三次元計測装置１０４により測定される対象部位と同一の対象部位）の三次元表面形態が測定され、被検者座標データ２１１が取得される。

ホストサーバ１００は、図１に示すように、演算処理手段として、ランドマーク抽出部１２１、モデル生成部１２２、平均形態生成部１２３、偏差演算部１２４及び画像編集・出力部１２５を備えている。

（ランドマーク抽出部）
ランドマーク抽出部１２１は、人体における対象部位の表面形態をスキャンニングして測定した三次元表面形態座標データ１２１３を入力とし、例えば下記に説明する三次元点群処理を行うことで、ランドマーク座標推定値１２１４を抽出する演算処理手段である。ランドマーク座標推定値１２１４は、当該対象部位の複数の解剖学的ランドマークの座標列データである。

ここで、解剖学的ランドマークとは、立体物の頂点や変曲点といった単純に幾何学的な特徴点とは異なり、例えば医療における比較分析、又は生物学の分野における成長・発達プロセスの診断において重要な意味を持つ解剖学的特徴点を意味する。つまり、解剖学的ランドマークは、このような医学及び生物学等の分野において積み重ねられた専門的知見に基づき発見され定められたものである。そのため、ニューラルネットワークを活用した機械学習処理により解剖学的ランドマークを自動抽出する場合には、ランドマークを同定するための教師データ（ランドマーク座標教師データ１２１５）が必要になる。
ちなみに、解剖学的ランドマークは、頭蓋・上顎骨については５２個、下顎骨については５３個存在する。

図２は、ニューラルネットワーク・ディープラーニングモデル１２１０を使ったランドマーク抽出処理の概要を説明するための図である。本実施形態では、点群処理のアルゴリズムとしてＰｏｉｎｔＮｅｔ＋＋（Charles R. Qi et al., PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space, NIPS2017）を採用している。図２のディープラーニングモデル１２１０は、特徴抽出層１２１１と分類層１２１２に大別される。

特徴抽出層１２１１では、入力された三次元の点群Ｌ_０を重なり合うローカル領域に分割し、それぞれの領域についてネスト分割を繰り返しながら、微細な幾何学的特徴を捉えるローカル特徴マップＬ_１、Ｌ_２、・・・を抽出する。そのようなローカル特徴は、更に大きな単位にグループ化され、点群全体の特徴であるグローバル特徴Ｌ_Ｇを得るまでグルーピングとプーリングが再帰的に繰り返される。

分類層１２１２では、抽出されたグローバルな特徴Ｌ_Ｇを、上述の解剖学的ランドマークの特徴に分類して最終的にランドマーク点列の座標値を推定する。分類層１２１２の実施例において、複数の全結合（ＦＣ；Fully-Connect）層を階層化したＭＬＰ（Multi-layer perceptron）により出力層を構成することができる。

図３に示すように、ランドマーク抽出部１２１の機械学習処理において、推定されたランドマーク座標値１２１４は、ランドマーク座標教師データ１２１５と比較され、その誤差が最小となるようにディープラーニングモデル１２１０の結合重みやバイアス等のパラメータが更新される。

図１の実施形態において、ランドマーク抽出部１２１は、上述の機械学習処理により、健常者の対象部位をスキャンニングして得た標本座標データ１１１から標本ランドマークデータ１１４を抽出する。また、ランドマーク抽出部１２１は、同様の機械学習処理により、ユーザ端末２００から送信された被検者座標データ２１１から被検者ランドマークデータ１１７を抽出する。

（モデル生成部）
図４は、モデル生成部１２２による相同モデルの生成処理を説明するための図である。相同モデルとは、上述した解剖学的特徴点に基づいて、同一点数、同一幾何学構造を有する規格化したポリゴンモデルとして表現された人体モデルである。複雑で個体差がある人体形状を相同モデル化することで、三次元レベルでの簡便でかつ高精度の統計解析・比較評価が可能になる。

モデル生成部１２２は、抽出した解剖学的ランドマーク１２１４に基づいて、スキャンニングした対象部位の三次元形状の相同モデル１２１６を生成する演算処理手段である。より具体的に、モデル生成部１２２は、対象部位をスキャンニングして得た三次元の座標データ１２１３から抽出したランドマーク１２１４と、対象部位の標準形状であるテンプレートモデル１１２のランドマークとの位置及びスケールを合わせ、テンプレートモデル１１２のポリゴン配列を実測の座標データ１２１３に再配置することにより相同モデル１２１６を構築する。なお、ここで用いられるテンプレートモデル１１２は、次に説明する方法で演算される標準相同モデル１１３をそのまま活用することができる。

図１の実施形態において、モデル生成部１２２は、各標本座標データ１１１から抽出された標本ランドマークデータ１１４に基づいて標本相同モデル１１５をそれぞれ生成する。また、モデル生成部１２２は、被検者座標データ２１１から抽出された被検者ランドマークデータ１１７に基づいて被検者相同モデル１１８を生成する。

（平均形態生成部）
平均形態生成部１２３は、標本座標データ１１１の群に基づいて平均化した標準相同モデル１１３を生成する演算処理手段である。標本座標データ１１１は、上述したように、年齢、性別、人種等の属性が共通する複数人の健常者の対象部位をスキャンニングすることにより集められる。平均形態モデル（標準相同モデル１１３）を生成する前段処理として、まず、上述のランドマーク抽出部１２１が、各標本座標データ１１１について解剖学的ランドマーク（標本ランドマークデータ１１４）を抽出する。そして、モデル生成部１２２が、各標本ランドマークデータ１１４に基づいて標本相同モデル１１５をそれぞれ生成する。

平均形態生成部１２３は、生成された標本相同モデル１１５の群に対し統計的な解析処理を行うことで、その平均形態モデルである標準相同モデル１１３を生成する。ここでは、平均形態を算出するための２つの統計解析処理方法について、より詳細に説明する。

＜第１の例；多変量解析法＞
平均形態生成部１２３は、多変量解析法により標準相同モデル１１３を生成することができる。図５は、多変量解析法による平均形態モデルの算出方法を説明するためのフローチャートである。

まず、標本相同モデル１１５間の違いになんらかの影響を与える要素（「特徴パラメータ」又は「特徴軸」ともいう。）を複数決定する（ステップＳ１１）。そのような特徴軸は、対象部位の例えば横幅、高さ幅、奥行長さといった全体の寸法だけでなく、上述したランドマーク等の特定点の位置、特定点間の距離、特定点を結ぶ線同士がなす角度、特定点間の距離の比、特定点があるポリゴン面の法線同士がなす角度、特定点の間の包絡線を規定する区分多項式の係数など多岐にわたり選択される。

平均形態生成部１２３は、標本相同モデル１１５の集合全体に対し多変量解析を行い、式（１）で記述される、相同モデル［Ｈ_ｉ］と特徴パラメータの値（特徴値）［Ｆ_ｉ］とを関連付ける固有の変換行列［Ｔ_ｊｉ］を求める（ステップＳ１２）。

［Ｈ_ｉ］＝［Ｔ_ｊｉ］×［Ｆ_ｊ］ …式（１）

ここで、［Ｈ_ｉ］は、相同モデルを構成するポリゴンの頂点座標を示す列ベクトル（ｉは座標点の序数。）、［Ｆ_ｊ］は、多次元特徴空間における特徴値を示す列ベクトル（ｊは特徴値の序数）である。

図６は、特徴軸Ｆ_１、Ｆ_２上における、標本相同モデル１１５の母集団の分布を例示する図である。図６には、特徴軸が２軸の平面空間での母集団の特徴値分布を示している。ただし、実際の統計解析では、選択した特徴軸の個数ｊの次元をもつ多次元空間における分布が算出される。そして、平均形態生成部１２３は、多次元の特徴パラメータ空間において分布する特徴値のベクトル重心［ＧＦ_ｊ］を算出する（ステップ１３）。そして、式（２）のとおり、ベクトル重心［ＧＦ_ｊ］に上述の変換行列［Ｔ_ｊｉ］を適用することで、平均形態モデルの座標値を示す列ベクトル［ＭＨ_ｉ］を算出し、それを標準相同モデル１１３とすることができる（ステップＳ１４）。

［ＭＨ_ｉ］＝［Ｔ_ｊｉ］×［ＧＦ_ｊ］ …式（２）

＜第２の例；自由形態変形法＞
また、平均形態生成部１２３は、空間に設定した制御格子点を移動させて形態を操作する自由形態変形法により標準相同モデル１１３を生成してもよい。図７は、自由形態変形法による平均形態モデルの算出方法を説明するためのフローチャートである。

この方法では、例えば図８に示すように、２つの相同モデル１１５ａ、１１５ｂを相互に形態を仮想変形させたときの制御格子点の移動パターンを求める。平均形態生成部１２３は、その操作を、ｎ個の標本相同モデル１１５の群における全ての形態間の組み合わせ（_ｎＣ_２通り）について行い、各移動パターンにおける制御格子点移動量を演算する（ステップＳ２１）。

制御格子点の移動量が大きいということは、２つの相同モデルを一致させるために大きな空間の歪を必要とするということであり、その移動量から形態的な違いの指標である形態間距離を求めることができる。具体的に、平均形態生成部１２３は、制御格子点移動ベクトルのノルムの総和を、２つの相同モデルの形態間距離として算出する（ステップＳ２２）。

ステップＳ２２では、ｎ個の標本相同モデル１１５について、それぞれ他のｎ－１個の相同モデルとの形態間距離が算出される。平均形態生成部１２３は、それぞれの標本相同モデル１１５について、他の相同モデルとの形態間距離の分散を求め、形態間距離の分散が最小となる標本相同モデルをメディアン（中央値）として選択する（ステップＳ２３）。

平均形態生成部１２３は、選択されたメディアン標本相同モデル１１５ｍと、ｎ－１個の他の標本相同モデルとの間の制御格子点移動パターンの平均を算出する（ステップＳ２４）。そして、平均形態生成部１２３は、図９に示すように、メディアン標本相同モデル１１５ｍに、上述の制御格子点平均移動パターン１３０を適用することで、ｎ個の標本相同モデル１１５の平均形態である標準相同モデル１１３を得ることができる（ステップＳ２５）。

生成された標準相同モデル１１３は、データベース１０２において厳重に管理される。標本座標データ１１１の症例数が多いほど、標準相同モデル１１３の精度を増すことができる。すなわち、新たな標本座標データ１１１を追加する毎に標準相同モデル１１３を更新して、その制度及び情報財としての価値を高めていくことができる。また、生成された標準相同モデル１１３は、別の新たな相同モデルを生成するためのテンプレートモデル１１２として転用することもできる。

（偏差演算部）
偏差演算部１２４は、標準相同モデル１１３と被検者相同モデル１１８とを比較し、これらの表面形態間の違いを評価する演算処理手段である。より具体的に、偏差演算部１２４は、標準相同モデル１１３の各座標と、各座標を基準とした、被検者相同モデル１１８の対応する各座標の偏差を、対象部位の表面全体にわたり演算する。ここで、偏差の度合いを示す指標値として、Ｚスコアを用いることができる。

Ｚスコアは、下記の式（３）により演算することができる。

Ｚスコア＝被検者相同モデル及び標準相同モデルの座標間距離／全座標間距離の標準偏差 …式（３）

ここで、被検者相同モデル及び標準相同モデルの座標間距離の符号は、標準相同モデル１１３の座標位置に対し被検者相同モデル１１８の対応する座標位置が外側にあれば正となり、標準相同モデル１１３の座標位置に対し被検者相同モデル１１８の対応する座標位置が内側にあれば負となる。

（画像編集・出力部）
画像編集・出力部１２５は、評価結果である対象部位の表面形態の違いを視覚化する演算処理手段である。画像編集・出力部１２５は、被検者相同モデル１１８の各座標と、各座標における偏差とを関連付けて画像表示装置２０１により視覚化する処理を行う。例えば、標準相同モデル１１３及び被検者相同モデル１１８をそれら同一方向からみた投影イメージを作成し、これらのイメージを異なるプレーンに配置してオーバラップ表示することができる。それにより、医師等は、異常とされる部位の位置や標準形状に対してどの方向に変形しているかなどが直観的に認識することができる。また、画像編集・出力部１２５は、上述のＺスコアに応じて、被検者相同モデル１１８の画像を色分け又はグレイスケールを変えて表示してもよい。それにより、医師等は、正常な形態からの形態の違いの程度とともに、重篤な異常個所がどこなのかを直観的かつ正確に把握することができる。

被検者座標データ２１１等の検査結果は、秘密にすべき患者情報である。患者情報の漏洩を防ぐため、ホストサーバ１００及びユーザ端末２００の間のデータ転送においては強固なセキュリティ環境が必要となる。上述した図１の実施形態ではホストサーバ１００が被検者の形態評価を行うが、患者情報の外部へのデータ転送をなくすため、図１０に示すように、ユーザ端末２００に、少なくともランドマーク抽出部２２１及びモデル生成部２２２が提供されてもよい。加えて偏差演算部２２４及び画像編集・出力部２２５がユーザ端末２００に提供されてもよい。また、これらの演算処理機能が、ＡＳＰ（Application Service Provider）によりユーザ端末２００に提供されてもよい。

また、他の実施形態として、図１１に示すように、ランドマーク抽出部２２１を構成するニューラルネットワークモデルの一部（例えば特徴抽出層１２１１）のみがユーザ端末２００に提供されてもよい。図１１の実施形態では、ユーザ端末２００側の特徴抽出層１２１１を介して被検者座標データ２１１から特徴データ１２１７が抽出される。特徴データ１２１７は、ユーザ端末２００からホストサーバ１００に転送され、ホストサーバ１００の分類層１２１２を介してランドマーク１２１４が抽出される。
この実施形態では、患者情報のうち解読不能な特徴データ１２１７のみがホストサーバ１００に転送されるので、患者の生データ（被検者座標データ２１１）の漏洩を防ぐことができる。また、ホストサーバ１００が管理する標本座標データ１１１や標準相同モデル１１３に対してユーザ端末２００等の外部からのアクセスはなく、これら価値の高い標本データの安全性も確保することができる。

図１２は、本発明に関する三次元表面形態評価システムの一実施例を示す図である。本実施例では、頭蓋・上顎骨及び下顎骨の表面形状を表す三次元点群データを入力として、自動的にランドマーク点列の位置を一括して推定する。解剖学的ランドマークの個数は、頭蓋・上顎骨については５２個、下顎骨については５３個である。

三次元点群データに対するディープラーニング手法として、スタンフォード大学の研究として発表されたＰｏｉｎｔＮｅｔ＋＋のネットワーク構造を応用し、出力層をランドマーク点列の座標値となるように変更した。この変更にともない、ネットワークのトレーニング（学習）の損失関数を、出力点列と正解ランドマーク点列との平均２乗誤差とした。多数の学習データでのトレーニングを積み重ね、それにより誤差が小さくなるようにネットワークのパラメータが最適化される。ネットワークへの入力点群は、頭蓋・上顎骨及び下顎骨の表面形状を表すＳＴＬ（Stereolithography）データから約１００００個の点群を抽出した。オリジナルのデータに加えて、それらをランダムに拡大・縮小し、さらにノイズを付加したデータも用いることにより、システムの頑健性を高めている。

ランドマークの推定処理にかかる時間は、一般的な処理能力を有するパーソナルコンピュータで１秒以内であった。推定されたランドマーク点と正解ランドマーク点との距離誤差は、現状、３個のデータを用いた実験で６ｍｍ程度であった。しかし、学習データを増やすことで推定精度をより向上させることができる。

本実施例によれば、頭蓋骨及び下顎骨の三次元セファロ分析が可能であり、顎顔面硬組織の三次元的な形態的特徴及び正常・異常を定量的に評価し視覚化する臨床的方法の確立が期待できる。対象部位の表面形態の評価結果を単に数字として提示するだけでなく、異常さの度合い（平均的な形態との隔たり）を三次元的に視覚化することで、医師のより的確な診断に寄与することができる。

１００ホストサーバ
１０１、１０２データベース
１０４三次元計測装置
１１１標本座標データ
１１２テンプレートモデル
１１３標準相同モデル
１１４標本ランドマークデータ
１１５標本相同モデル
１１７被検者ランドマークデータ
１１８被検者相同モデル
１２１ランドマーク抽出部
１２２モデル生成部
１２３平均形態生成部
１２４偏差演算部
１２５画像編集・出力部
２００ユーザ端末
２０１画像表示装置
２０４三次元計測装置
１２１０ニューラルネットワーク・ディープラーニングモデル
１２１１特徴抽出層
１２１２分類層
１２１３三次元表面形態座標データ
１２１４ランドマーク座標推定値
１２１５ランドマーク座標教師データ
１２１６相同モデル
１２１７特徴データ

Claims

人体における対象部位の三次元表面形態を評価する形態評価方法であって、
三次元計測装置を用いて被検者の対象部位をスキャンニングすることで該対象部位の三次元表面形態を表す被検者座標データを得るステップと、
前記被検者座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が被検者相同モデルを生成する処理を行うステップと、
平均形態生成部が、複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成するステップと、
偏差演算部が、前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算するステップと
を含み、
前記偏差を用いて該被検者における該対象部位の三次元表面形態が評価され、
ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより前記解剖学的ランドマークを抽出する、形態評価方法。
前記ランドマーク抽出部が、機械学習処理により、前記標本座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより解剖学的ランドマークを抽出するステップと、
前記標本座標データから抽出された解剖学的ランドマークに基づいて、モデル生成部が標本相同モデルを生成する処理を行うステップと
を更に含み、
前記平均形態生成部が、前記複数人の健常者についての前記標本相同モデルの群から、それらの平均形態を表す前記標準相同モデルを生成する、請求項１に記載の形態評価方法。
前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて画像表示装置により視覚化するステップを更に含む、請求項１又は２に記載の形態評価方法。
人体における対象部位の三次元表面形態を評価するよう構成された形態評価システムであって、
三次元計測装置を用いて被検者の対象部位をスキャンニングして得た三次元表面形態を表す被検者座標データから解剖学的ランドマークを自動的に抽出する処理を行うランドマーク抽出部と、
前記解剖学的ランドマークに基づいて被検者相同モデルを生成する処理を行うモデル生成部と、
複数人の健常者の前記対象部位と同一部位をスキャンニングして得た標本座標データの群に基づいて統計解析処理を行うことで形態を平均化した標準相同モデルを生成する平均形態生成部と、
前記標準相同モデルの各座標を基準とした、前記被検者相同モデルの対応する各座標の偏差を演算する偏差演算部と
を備え、
ランドマーク抽出部が、機械学習処理により、前記被検者座標データから特徴を抽出し、そして抽出した特徴の分類を行うことにより前記解剖学的ランドマークを抽出する処理を行う、形態評価システム。
複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、
前記平均形態生成部が、前記標本相同モデルの集合全体に対し多変量解析を行い、前記標本相同モデルと予め定めた相同モデルの形態を特徴付ける複数の特徴パラメータの特徴値とを関連付ける変換行列を求め、多次元特徴パラメータ空間において分散する前記特徴値のベクトル重心を算出し、算出した前記ベクトル重心の特徴値を前記変換行列で変換することで、前記標準相同モデルを生成する処理を行う、請求項４に記載の形態評価システム。
複数の前記標本座標データについて、各標本座標データから抽出される解剖学的ランドマークに基づいて標本相同モデルをそれぞれ抽出するモデル生成部を更に備え、
前記平均形態生成部が、空間に設定した制御格子点を移動させて形態を操作する自由形態変形法により前記標本相同モデルを相互に仮想変形させ、仮想変形させたときの形態間距離の分散が最小となる制御格子点移動パターンの平均を演算し、演算した制御格子点平均移動パターンを中央値の前記標本相同モデルに適用することで前記標準相同モデルを生成する処理を行う、請求項４又は５に記載の形態評価システム。
前記被検者相同モデルの座標と該座標における前記偏差とを関連付けて表示する画像表示装置を更に含む、請求項４～６の何れか１項に記載の形態評価システム。