JPWO2020054503A1 - 機械学習装置、推定装置、プログラム及び学習済みモデル - Google Patents

Abstract

機械学習装置は、変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する生成部と、第１の形状モデルを構成する各微小領域と他の微小領域との間の差分値を含む特徴量と、第１の形状モデルの各微小領域から第２の形状モデルの対応する各微小領域への変位を与える関係を学習する学習部とを有する。

Description

本発明は、機械学習装置、推定装置、プログラム及び学習済みモデルに関する。

イメージング技術の進歩によって、早期の微小肺結節が発見される機会は増加傾向にあり、胸腔鏡下手術が広く実施されている。ところが、術前において肺は含気状態であるのに対し、手術時には脱気状態であり、肺が大きく変形する。結果的に、手術中の結節位置は、術前に特定された結節位置から変化する。この変化への対策として、術前にマーキングされた色素の部位と術中に撮像されるＣＴ（Computed Tomography）画像とをレジストレーションして複数の微小結節の位置を同定する手法がある。
また、術中に撮像するＣＴを用いない方法として、臓器の変形をシミュレーションする方法（非特許文献１）や、引張による弾性体の変形を学習したモデルを使用して臓器の変形をシミュレーションする方法（非特許文献２）もある。

M． Nakao, Y． Oda, K．Taura, and K． Minato, Direct Volume Manipulation for Visualizing Intraoperative Liver Resection Process, Computer Methods and Programs in Biomedicine, Vol． 113, No． 3, pp． 725-735, Mar 2014． 山本 詩子, 中尾 恵, 大関 真之, 松田 哲也, カーネル法を用いた弾性体の部分観測情報に基づく変形推定, 生体医工学, p． 180, 2017．

しかし、術前にマーキングされた色素の部位と術中に撮像されるＣＴ画像とをレジストレーションする手法は、追加の計測を必要とする等、医師と患者双方の負担を増やしている。
また、非特許文献１に記載の方法には、患者固有の力学特性や物理条件の実測が難しい問題があり、非特許文献２に記載の方法は、シミュレーションで生成された人工データの変形のシミュレーションにとどまっている。

本発明は、形状の全体を単位として変形を学習する場合に比して、推定精度が高い学習済みモデルを生成することを目的とする。

請求項１に記載の発明は、変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する生成部と、前記第１の形状モデルを構成する各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から前記第２の形状モデルの対応する各微小領域への変位を与える関係を学習する学習部とを有する機械学習装置である。
請求項２に記載の発明は、前記生成部が、前記第１の形状モデルの要素である頂点の配置を変更した第３の形状モデルと、前記第２の形状モデルの要素である頂点の配置を変更した第４の形状モデルを生成する場合、前記学習部は、前記第３の形状モデルの各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第３の形状モデルの各微小領域から前記第４の形状モデルの対応する各微小領域への変位を与える前記関係も学習する、請求項１に記載の機械学習装置である。
請求項３に記載の発明は、前記特徴量は、各微小領域を与える座標、各微小領域を規定する勾配又は法線ベクトル、各微小領域を規定する曲率、各微小領域のボロノイ面積、各微小領域の収縮率、及び、各微小領域と平均的な形状モデルの対応領域からのずれ量のうちのいずれか１つ又は複数によって規定される、請求項１に記載の機械学習装置である。
請求項４に記載の発明は、前記特徴量を与える前記差分値は、前記第１の形状モデルを構成する全微小領域のうちの５％以上の微小領域との間で計算される、請求項１に記載の機械学習装置である。
請求項５に記載の発明は、前記学習部は、カーネル回帰モデルを用いて前記関係を学習する、請求項１又は２に記載の機械学習装置である。
請求項６に記載の発明は、変形の前後における前記測定データは、医用画像データであることを特徴とする請求項１又は２に記載の機械学習装置である。
請求項７に記載の発明は、前記変形は肺の脱気変形であり、脱気による変形前の前記測定データとして気胸を治療した患者の肺の医用画像データを用い、脱気による変形後の前記測定データとして気胸を治療する前の患者の肺の医用画像データを用いることを特徴とする請求項６に記載の機械学習装置である。
請求項８に記載の発明は、前記変形は、呼吸による若しくは時間変化若しくは検体の違いに伴う臓器の変形又は臓器の位置の移動を含むことを特徴とする請求項６に記載の機械学習装置である。
請求項９に記載の発明は、前記第１の形状モデルと前記第２の形状モデルは、３次元の頂点モデルであることを特徴とする請求項１に記載の機械学習装置である。
請求項１０に記載の発明は、コンピュータに、変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する機能と、前記第１の形状モデルの各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から前記第２の形状モデルの対応する各微小領域への変位を与える関係を学習する機能とを実行させるプログラムである。
請求項１１に記載の発明は、任意の測定データが与えられた場合に、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を与える関係を学習した学習済みモデルを用い、当該任意の測定データに対応する変形後の形状を推定する推定部を有する推定装置である。
請求項１２に記載の発明は、前記推定部は、入力された前記測定データについて生成される形状モデルの微小領域と他の微小領域との間の差分値を含む特徴量を算出し、各微小領域に対応する特徴量の変位を、前記学習済みモデルに記憶されている関係の補間によって推定することを特徴とする請求項１１に記載の推定装置である。
請求項１３に記載の発明は、コンピュータに、任意の測定データが与えられた場合に、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を与える関係を学習した学習済みモデルを用い、当該任意の測定データに対応する変形後の形状を推定する機能を実行させるプログラムである。
請求項１４に記載の発明は、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量を入力とし、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を出力とする関係を与え、任意の測定データが与えられた場合に、前記関係を用い、当該任意の測定データに対応する形状モデルの各微小領域に対応する変位を演算することにより、当該任意の測定データに対応する変形後の形状を推定する機能をコンピュータに実行させるための学習済みモデルである。
請求項１５に記載の発明は、複数の第１の物体の測定データに基づいて、第１の物体の個別の形状を表す形状モデルと平均的な形状モデルを生成する生成部と、前記個別の形状を表す形状モデルを構成する各微小領域と前記平均的な形状モデルの対応する微小領域との間の差分値を含む特徴量の分布と、当該差分値の分布と前記第１の物体との間に制約関係を有する第２の物体が存在する領域との関係を学習する学習部とを有する機械学習装置である。
請求項１６に記載の発明は、前記制約関係は、前記第２の物体が前記第１の物体に隣接する又は繋がっている関係を含む、請求項１５に記載の機械学習装置である。
請求項１７に記載の発明は、コンピュータに、複数の第１の物体の測定データに基づいて、第１の物体の個別の形状を表す形状モデルと平均的な形状モデルを生成する機能と、前記個別の形状を表す形状モデルを構成する各微小領域と前記平均的な形状モデルの対応する微小領域との間の差分値を含む特徴量の分布と、当該差分値の分布と前記第１の物体との間に制約関係を有する第２の物体が存在する領域との関係を学習する機能とを実行させるプログラムである。

請求項１記載の発明によれば、形状の全体を単位として変形を学習する場合に比して、推定精度が高い学習済みモデルを生成できる。
請求項２記載の発明によれば、測定データの数に比して推定精度の高い学習済みモデルを生成できる。
請求項３記載の発明によれば、形状の全体を単位として変形を学習する場合に比して、推定精度が高い学習済みモデルを生成できる。
請求項４記載の発明によれば、差分値を求める微小領域の数が少ない場合でも、推定精度が高い学習済みモデルを生成できる。
請求項５記載の発明によれば、入出力の間に非線形の関係が含まれる場合でも学習済みモデルの推定精度を高めることができる。
請求項６記載の発明によれば、生成された学習済みモデルを医用分野で利用できる。
請求項７記載の発明によれば、脱気後の肺の形状を高い精度で推定可能な学習済みモデルを生成できる。
請求項８記載の発明によれば、生成された学習済みモデルを医用分野で利用できる。
請求項９記載の発明によれば、３次元形状の変形を推定できる。
請求項１０記載の発明によれば、形状の全体を単位として変形を学習する場合に比して推定精度が高い学習済みモデルを生成する装置としてコンピュータを動作させることができる。
請求項１１記載の発明によれば、形状の全体を単位として変形を学習した学習済みモデルを使用する場合に比して、変形後の形状を高い精度で推定できる。
請求項１２記載の発明によれば、形状の全体を単位として変形を学習した学習済みモデルを使用する場合に比して、変形後の形状を高い精度で推定できる。
請求項１３記載の発明によれば、形状の全体を単位として変形を学習した学習済みモデルを使用する場合に比して、変形後の形状を高い精度で推定できる装置としてコンピュータを動作させることができる。
請求項１４記載の発明によれば、形状の全体を単位として変形を学習する場合よりも変形後の形状を高い精度で推定できる学習済みモデルを提供できる。
請求項１５記載の発明によれば、制約関係がある物体間の位置関係を形状単位で学習する場合よりも対象とする他の物体の位置を高い精度で推定できる。
請求項１６記載の発明によれば、制約関係がある物体間の位置関係を形状単位で学習する場合よりも対象とする他の物体の位置を高い精度で推定できる。
請求項１７記載の発明によれば、制約関係がある物体間の位置関係を形状単位で学習する場合よりも対象とする他の物体の位置を高い精度で推定できる。

変形の前後の測定データの関係を学習した学習済みモデルを用いて、任意の測定データについての変形後の形状を推定する推定システムの概念構成例を説明する図である。 機械学習装置のハードウェア構成の一例を示す図である。 機械学習装置の機能構成の一例を示す図である。 脱気による動物肺の変形を説明する図である。（Ａ）は変位モデルＡを示し、（Ｂ）は変位モデルＢを示し、（Ｃ）は変位モデルＣを示す。 実施の形態に係る形状モデル生成部で実行される処理の一例を説明する図である。 患者の違いによる頂点数の違いを説明する図である。 位置合わせ部による位置合わせ処理を説明する図である。 変形前の形状データに対する位置合わせと変形後の形状データに対する位置合わせの実行順序を説明する図である。 モデルアップサンプリング部によるアップサンプリング動作を説明する図である。 本実施の形態におけるアップサンプリングの方法の一例を説明する図である。 本実施の形態におけるアップサンプリングの方法の他の一例を説明する図である。 肺の形状モデルと微小領域の関係を説明する図である。 実施の形態において学習される入出力関係を説明する図である。 実施の形態に係る変形学習部で実行される処理の一例を説明する図である。 実施の形態に係る機械学習部で学習される関係を説明する図である。 変形推定装置のハードウェア構成の一例を示す図である。 変形推定装置の機能構成の一例を示す図である。 変形推定装置による推定過程を説明する図である。 推定結果出力部による出力画面の例を説明する図である。 ３種類の回帰モデル間での推定誤差の違いを説明する図表である。 ４種類の特徴量データと推定誤差の違いを説明する図表である。 頂点間差分を含む特徴量データを用い、回帰モデルにカーネル回帰モデルを用いる場合における各検体についての推定結果と実測値との誤差を示す。 各検体の変形前後の形状の関係を２次元的に示す図である。 頂点間差分の次元と推定精度の関係を説明する図表である。 複数の臓器の変形を伴う移動先の推定を説明する図である。 臓器の形状のバリエーションを推定して特定の臓器の領域を医用画像データから抽出する処理機能を説明する図である。 ２次元画像データから３次元形状を推定し、推定された３次元形状を用いて変形後の形状を推定する例を説明する図である。 複数の形状モデルから生成される平均形状モデルを説明する図である。 平均形状モデルに対する各形状モデルの対応領域間のずれ量を説明する図である。 物体１の測定データから生成された形状モデル（アップサンプリング後の形状モデルを含む）の各頂点とそれらの平均形状モデルの対応頂点とのずれ量と、物体１との間に制約関係がある他の物体２を構成する各頂点の座標との関係を学習する機械学習装置の構成例を説明する図である。 物体１の測定データから生成された形状モデルと平均モデルとのずれ量から物体２の位置を推定する位置推定装置の構成例を説明する図である。 コーンビームＣＴで撮像された右肺のＣＴ画像の範囲と、ＣＴで撮像された同じ右肺のＣＴ画像の範囲との関係を説明する図である。（Ａ）は被検体ＡのＣＴ画像を示し、（Ｂ）は被検体ＢのＣＴ画像を示し、（Ｃ）は被検体ＣのＣＴ画像を示す。 実施の形態７で使用する形状モデル生成部で実行される処理の一例を示す図である。 含気状態の肺をコーンビームＣＴで撮像したＣＴ画像Ｐ２（すなわち変形前部分形状モデル）と脱気状態の同じ肺をコーンビームＣＴで撮像したＣＴ画像Ｐ３（すなわち変形後部分形状モデル）との位置合わせの結果を説明する図である。（Ａ）は被検体Ａの形状モデルを示し、（Ｂ）は被検体Ｂの形状モデルを示し、（Ｃ）は被検体Ｃの形状モデルを示し、（Ｄ）は位置合わせの結果を示す。 被検体の含気状態の肺をＣＴで撮像したＣＴ画像Ｐ１（変形前形状モデル）と肺のテンプレート形状Ｔとの位置合わせの結果を説明する図である。 実施の形態７で使用する変形学習部で実行される処理の一例を示す図である。 学習に用いる対象（学習対象）と学習に用いない対象（除外対象）とを説明する図である。（Ａ）は被検体Ａの形状モデルを示し、（Ｂ）は被検体Ｂの形状モデルを示す。 境界付近の頂点を除去しない場合の変位量データｙ_ｉを説明する図である。（Ａ）は被検体Ａのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示し、（Ｂ）は被検体Ｂのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示し、（Ｃ）は被検体Ｃのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示す。 境界付近の頂点を除去する場合の変位量データｙ_ｉを説明する図である。（Ａ）は被検体Ａのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示し、（Ｂ）は被検体Ｂのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示し、（Ｃ）は被検体Ｃのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示す。 手術中にコーンビームＣＴで撮像された部分画像を用いて学習した学習済みモデルに手術前に撮像したＣＴデータを入力して推定された変形後の形状ＰＳを説明する図である。（Ａ）は実際の手術映像を示し、（Ｂ）は推定された形状ＰＳを示す。 実施の形態７で説明した手法で生成した学習済みモデルを用いた推定画像の精度を説明する図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜実施の形態１＞
＜システム構成＞
図１は、変形の前後の測定データの関係を学習した学習済みモデルを用いて、任意の測定データについての変形後の形状を推定する推定システム１の概念構成例を説明する図である。
図１に示す推定システム１は、教師データとしての測定データから学習済みモデルを生成する機械学習装置１０と、生成された学習済みモデルを用いて任意の測定データの変形後の形状を推定する変形推定装置２０とを有している。
本実施の形態の場合、機械学習装置１０に対する測定データの入力は、測定データが格納されているデータベース（ＤＢ）３０から直接入力されてもよいし、ネットワーク４０経由で入力されてもよい。ここでのネットワーク４０は、ローカルエリアネットワークでも、インターネットでもよい。

また、生成された学習済みモデルや学習済みモデルを更新するパラメータ（更新パラメータ）は、直接又はネットワーク４０経由で変形推定装置２０に与えられる。もっとも、学習済みモデルや更新パラメータは、不図示の記憶媒体を介して、変形推定装置２０に与えられてもよい。更新パラメータは、例えば学習によって更新された変形関数の係数の値である。
変形推定装置２０は、端末５０から直接又はネットワーク４０経由で推定の対象である測定データを入力し、推定の結果（推定結果）を直接又はネットワーク４０経由で端末５０に出力する。ここでの端末５０は、例えば手術支援システム、放射線治療装置等でもよい。

＜機械学習装置＞
図２は、機械学習装置１０のハードウェア構成の一例を示す図である。
図２に示す機械学習装置１０は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）１１と、ＢＩＯＳ（Basic Input Output System）等のプログラムを記憶するＲＯＭ１２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）１３とを有している。ここでのＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３は、いわゆるコンピュータを構成し、各種の情報処理を実行する。なお、ＲＯＭ１２は、不揮発性の半導体メモリによって構成される。

記憶装置１４は、例えばハードディスク装置で構成され、変形の前後の関係を学習するアプリケーションプログラムや学習結果である学習済みモデル等を記憶する。なお、記憶装置１４は、内蔵型に限らず、外付型の記憶装置でもよいし、ネットワークストレージでもよい。
入力装置１５は、例えばキーボードやマウスであり、操作入力に使用される。出力装置１６は、表示装置や印刷装置であり、操作画面の表示や情報の印刷等に使用される。なお、機械学習装置１０がサーバとして実現される場合には、入力装置１５と出力装置１６は、不図示の端末側に設けられていてもよい。
通信装置１７は、外部装置との通信に用いられる。通信装置１７は、データベース３０からの測定データの入力、学習済みモデル又は更新パラメータの変形推定装置２０への出力（配信を含む）などに使用される。
ＣＰＵ１１と各部は、バス１８や不図示の信号線を通じて接続されている。
なお、機械学習装置１０は、専用のハードウェアとして実現することも可能である。

図３は、機械学習装置１０の機能構成の一例を示す図である。図３に示す機能構成は、ＣＰＵ１１（図２参照）によるプログラムの実行を通じて実現される。
図３では、変形前の物体を撮像又は測定することで取得される画像データを変形前画像Ｉ_（ｉ）Ｉで示し、同じく変形後の物体を撮像又は測定することで取得される画像データを変形後画像Ｉ_（ｉ）Ｄで示す。変形前画像Ｉ_（ｉ）Ｉと変形後画像Ｉ_（ｉ）Ｄは、変形の前後における測定データの一例である。
本実施の形態における機械学習装置１０は、変形前画像Ｉ_（ｉ）Ｉと変形後画像Ｉ_（ｉ）Ｄのそれぞれから頂点モデルを生成する形状モデル生成部１０１と、生成された頂点モデルから頂点の配置が異なる複数の頂点モデルを生成するモデルアップサンプリング部１０２と、アップサンプリングにより生成された頂点モデルの各微小領域の特徴量と変形の前後における微小領域間の変位との関係を学習する変形学習部１０３として機能する。

本実施の形態における頂点モデルは、いずれも３次元の頂点モデルである。なお、３次元の頂点モデルは、ポリゴンによって表面を表現するポリゴンメッシュの頂点によって規定されてもよいし、ボクセルによって表面と内部の両方を表現するボクセルメッシュの頂点によって規定されてもよい。
ここでの学習は、一般的な学習とは異なり、頂点モデルの全体ではなく、頂点モデルを構成する微小領域単位で行われる。学習の結果である変形関数ｆは、学習済みモデルとして出力される。

学習の対象である物体に特に制限はないが、本実施の形態の場合、形状や位置（又は領域）が変化する物体を想定する。本実施の形態では、検体（例えばヒト、動物）の肺、肝臓、胃、腸、腎臓、膵臓などの臓器を学習の対象とする。
図４は、脱気による動物肺の変形を説明する図である。（Ａ）は変位モデルＡを示し、（Ｂ）は変位モデルＢを示し、（Ｃ）は変位モデルＣを示す。
変位モデルＡ、Ｂ及びＣの作成には、実験用のビーグル犬を使用した。実験では、気管支内圧を１４ｃｍＨ_２Ｏから２ｃｍＨ_２Ｏに変化させ、肺の形状を３次元ＣＴで計測した。

本実施の形態では、変形前画像Ｉ_（ｉ）Ｉと変形後画像Ｉ_（ｉ）Ｄとして、検体の臓器を撮像した医用画像データを使用する。医用画像データには、例えばＣＴ画像、ＭＲＩ（Magnetic Resonance Imaging）画像、Ｘ線画像、超音波画像、ＰＥＴ（Positron Emission Tomography）画像等がある。医用画像データは、２次元画像でも３次元画像でもよい。２次元画像は、２次元空間を規定するピクセルによって表現され、３次元画像は３次元空間を規定するボクセル（立方体の単位セル）、ポリゴン等によって表現される。医用画像データは測定データの一例である。
本実施の形態の場合、変形前画像Ｉ_（ｉ）Ｉと変形後画像Ｉ_（ｉ）Ｄは３次元画像とする。３次元画像は、例えば座標とボクセル値で定義される。ボクセル値は、撮像手法によって異なる。

図３の説明に戻る。
形状モデル生成部１０１は、変形前画像Ｉ_（ｉ）Ｉと変形後画像Ｉ_（ｉ）Ｄのそれぞれから頂点モデルを生成する。
図５は、実施の形態に係る形状モデル生成部１０１で実行される処理の一例を説明する図である。
図５に示す形状モデル生成部１０１は、サンプリング部１０１Ａと位置合わせ部１０１Ｂとで構成される。
サンプリング部１０１Ａは、例えば変形前画像Ｉ_（ｉ）Ｉと変形後画像Ｉ_（ｉ）Ｄをそれぞれサンプリングし、ボクセルメッシュ構造又はポリゴンメッシュ構造の形状データを生成する。ここでは、変形前画像Ｉ_（ｉ）Ｉに対応する形状データをＳ_（ｉ）Ｉとし、変形後画像Ｉ_（ｉ）Ｄに対応する形状データをＳ_（ｉ）Ｄとする。

被験体や撮像条件の違いによっても、変形前画像Ｉ_（ｉ）Ｉと変形後画像Ｉ_（ｉ）Ｄの大きさは異なる。また、撮像時における被験体の体位や体調の統一にも限界がある。このため、独立に形成された形状データＳ_（ｉ）Ｉ及びＳ_（ｉ）Ｄに含まれるボクセルの頂点の数は一般には一致しない。
図５の場合、形状データＳ_（ｉ）Ｉの頂点数は６００であるが、形状データＳ_（ｉ）Ｄの頂点数は３５０である。
図６は、患者の違いによる頂点数の違いを説明する図である。図６では、変形の前後を無視し、患者１の画像をＩ_（１）、患者２の画像２をＩ_（２）、患者３の画像３をＩ_（３）で示し、対応する形状データをＳ_（１）、Ｓ_（２）、Ｓ_（３）で示している。
図６の場合、患者１の形状データＳ_（１）の頂点数は４００であり、患者２の形状データＳ_（２）の頂点数は６００であり、患者３の形状データＳ_（３）の頂点数は３５０である。

図５の説明に戻る。
形状データＳ_（ｉ）Ｉ及びＳ_（ｉ）Ｄが得られると、位置合わせ部１０１Ｂは、形状データ間の位置合わせを実行する。具体的には、各形状データの頂点数を揃える処理を実行する。
図５においては、頂点数を揃えた後の形状データを形状モデルＭ_（ｉ）と表している。以下では、変形前の形状モデルをＭ_（ｉ）Ｉといい、変形後の形状モデルはＭ_（ｉ）Ｄという。
変形前の形状モデルＭ_（ｉ）Ｉは、第１の形状モデルの一例であり、変形後の形状モデルＭ_（ｉ）Ｄは、第２の形状モデルの一例である。
図５の場合、形状モデルＭ_（ｉ）の頂点数は５００に統一されている。
頂点数が統一された形状モデルＭ_（ｉ）の生成により、物体の変形を統計的に学習することが可能になる。
なお、変形前画像Ｉ_（ｉ）Ｉ及び変形後画像Ｉ_（ｉ）Ｄに代えて形状データＳ_（ｉ）Ｉ及びＳ_（ｉ）Ｄが形状モデル生成部１０１（図３参照）に入力される場合には、サンプリング部１０１Ａの処理を省略できる。

図７は、位置合わせ部１０１Ｂによる位置合わせ処理を説明する図である。前述したように、位置合わせ処理では、予め定めたテンプレート形状Ｔを、形状データＳ_（ｉ）の形状に一致させるように変形することで、外形状が形状データＳ_（ｉ）と同相であるが、頂点数がテンプレート形状Ｔの頂点数に統一された形状モデルＭ_（ｉ）が生成される。ここで、テンプレート形状Ｔを形状データＳ_（ｉ）の形状に近づける処理は、全体から局所へと徐々に実行される。
ここで、位置合わせ部１０１Ｂ（図５参照）による位置合わせは、変形前の形状データＳ_（ｉ）Ｉに続き、変形後の形状データＳ_（ｉ）Ｄについても実行される。
図８は、変形前の形状データＳ_（ｉ）Ｉに対する位置合わせと変形後の形状データＳ_（ｉ）Ｄに対する位置合わせの実行順序を説明する図である。まず、５００頂点のテンプレート形状Ｔの位置合わせにより変形前の形状データＳ_（１）Ｉ、Ｓ_（２）Ｉ、Ｓ_（３）Ｉから形状モデルＭ_（１）Ｉ、Ｍ_（２）Ｉ、Ｍ_（３）Ｉが生成される。次に、５００頂点の変形前の形状モデルＭ_（ｉ）Ｉを変形後の形状データＳ_（１）Ｄ、Ｓ_（２）Ｄ、Ｓ_（３）Ｄに位置合わせすることにより、形状モデルＭ_（１）Ｄ、Ｍ_（２）Ｄ、Ｍ_（３）Ｄが生成される。
図８に示す２段階の位置合わせにより、変形前の形状データＳ_（ｉ）Ｉと変形後の形状データＳ_（ｉ）Ｄの頂点数をテンプレート形状Ｔの頂点数に統一した形状モデルＭ_（ｉ）Ｉ及びＭ_（ｉ）Ｄが生成される。

図３の説明に戻る。
モデルアップサンプリング部１０２は、形状モデル生成部１０１で生成された形状モデルＭ_（ｉ）Ｉ及びＭ_（ｉ）Ｄをそれぞれアップサンプリングして、形状や構造はほぼ等しいが頂点の配置が異なる複数の形状モデルを生成する。
ただし、変形の前後の画像の取得が容易な物体を扱う場合等には、モデルアップサンプリング部１０２は必須ではない。
一方で、変形の前後の画像の取得が容易ではない物体を扱う場合（例えば医用画像データを扱う場合）には、モデルアップサンプリング部１０２を設けることで、学習に用いる教師データの数を増やすことができる。なお、画像の取得が容易な物体を扱う場合でも、モデルアップサンプリング部１０２を用いることで、より少ない画像から教師データに用いる形状モデルＭ_（ｉ）Ｉ及びＭ_（ｉ）Ｄの数を増やすことができる。

図９は、モデルアップサンプリング部１０２によるアップサンプリング動作を説明する図である。
図９の場合、変形前の形状モデルＭ_（ｉ）Ｉの数と変形後の形状モデルＭ_（ｉ）Ｄの数がそれぞれｋ倍される。すなわち、変形前の１つの形状モデルＭ_（ｉ）Ｉについて、頂点の配置が異なるｋ個の形状モデルＭ_{（ｉ１）Ｉ}…Ｍ_{（ｉｋ）Ｉ}が生成され、変形後の１つの形状モデルＭ_（ｉ）Ｄについて、頂点の配置が異なるｋ個の形状モデルＭ_{（ｉ１）Ｄ}…Ｍ_{（ｉｋ）Ｄ}が生成される。
ここで、変形前の形状モデルＭ_{（ｉ１）Ｉ}…Ｍ_{（ｉｋ）Ｉ}は第３の形状モデルの一例であり、変形後の形状モデルＭ_{（ｉ１）Ｄ}…Ｍ_{（ｉｋ）Ｄ}は第４の形状モデルの一例である。
勿論、生成される形状モデルＭ_{（ｉ１）Ｉ}…Ｍ_{（ｉｋ）Ｉ}及びＭ_{（ｉ１）Ｄ}…Ｍ_{（ｉｋ）Ｄ}を構成する頂点の数はいずれも５００個である。
このように、頂点の配置が異なる形状モデルをアップサンプリングによって生成するのは、本実施の形態では、形状モデルの微小領域単位（例えば頂点単位）で変位を学習するためである。
前述したように、予め十分な数の測定データを利用可能な場合には、モデルアップサンプリング部１０２によるアップサンプリング動作を省略できる。

図１０は、本実施の形態におけるアップサンプリングの方法の一例を説明する図である。
図１０では、作図上の制約と説明の都合により、形状モデルＭ_（ｉ）Ｉ及びＭ_（ｉ）Ｄを構成する各５００個の頂点（図中、×印で示す）のうち表面に位置する頂点だけを表している。
図１０に示す方法は、形状モデルの５００個の頂点を、形状モデル内に定めた点（例えば重心Ｃ）を中心にある方向に回転させ、その後、表面に位置していた頂点（図中、白丸で示す）を回転前の表面（図中、曲線で示す）のうち最も距離が近い位置に向けて線形移動させる。
この結果、回転前の表面上に位置していた各頂点（図中、×印で示す）は、黒丸で示す位置に移動される。この回転及び線形移動の際、形状モデル内の各頂点は、表面上の頂点との相対的な位置関係が保存されるように再配置される。例えば形状モデルの全体を四面体要素で表現する場合、四面体内部の相対位置をパラメータ化することが可能である。
なお、回転中心を変更すれば、同じ処理工程を実行しても、異なるアップサンプリングモデルを生成できる。同様に、回転の方向を変更することによっても、異なるアップサンプリングモデルを生成できる。線形移動時の規則の変更によっても異なるアップサンプリングモデルを生成できる。
図１０に示すアップサンプリングによって、形状モデルの外形と頂点数を維持しながらも、頂点の配置が異なる複数の形状モデルを生成できる。

図１１は、本実施の形態におけるアップサンプリングの方法の他の一例を説明する図である。
図１１も、作図上の制約と説明の都合により、形状モデルＭ_（ｉ）Ｉ及びＭ_（ｉ）Ｄを構成する各５００個の頂点（図中、×印で示す）のうち表面に位置する頂点だけを表している。
図１１に示す方法は、形状モデルの５００個の頂点を、形状モデル内に定めた点（例えば重心Ｃ）を中心に拡大変換（外方向に移動）させ、その後、表面に位置していた頂点（図中、白丸で示す）を拡大変換前の表面（図中、曲線で示す）のうち最も距離が近い位置に向けて線形移動させる。
この結果、拡大変換前の表面上に位置していた各頂点（図中、×印で示す）は、黒丸で示す位置に移動される。この拡大変換及び線形移動の際、形状モデル内の各頂点は、表面上の頂点との相対的な位置関係が保存されるように再配置される。
なお、拡大変換に使用する中心の位置を変更すれば、同じ処理工程を実行しても、異なるアップサンプリングモデルを生成できる。同様に、拡大率を変更することによっても、異なるアップサンプリングモデルを生成できる。線形移動時の規則の変更によっても異なるアップサンプリングモデルを生成できる。
図１１に示すアップサンプリングによって、形状モデルの外形と頂点数を維持しながらも、頂点の配置が異なる複数の形状モデルを生成できる。

なお、アップサンプリングにより頂点位置を摂動（再配置）する方法には、縮小変換後に元の形状とほぼ一致するように各頂点を再配置する方法、ランダムに頂点位置を摂動する方法等を用いてもよい。
また、前述の説明では、回転等された頂点のうち表面上の頂点を元の形状モデルの表面に線形移動させるように位置合わせしているが、この線形移動による位置合わせは、弱い制約の下に実行すればよい。弱い制約とは、予め定めた範囲内の誤差を許容する意味である。
モデルアップサンプリング部１０２によるアップサンプリング動作により、表現された形状や構造はほぼ等しいが頂点配置が異なるモデルを多数生成できる。すなわち、教師データを増加できる。

図３の説明に戻る。
変形学習部１０３は、前記の処理によって生成された変形前の形状モデルＭ_{（ｉ１）Ｉ}〜Ｍ_{（ｉｋ）Ｉ}と変形後の形状モデルＭ_{（ｉ1）Ｄ}〜Ｍ_{（ｉｋ）Ｄ}との関係を学習する。
本実施の形態の場合、微小領域（例えば頂点）単位で変形を学習する。
図１２及び図１３に、本実施の形態における学習の概念を示す。
図１２は、肺の形状モデルＭと微小領域ｄＭの関係を説明する図である。微小領域単位で学習することで、１つの測定データから取得できる微小領域の数の学習データを生成できる。微小領域として頂点を用いると、本実施の形態の場合、１つの測定データから５００個の学習データを生成できることを意味する。もちろん、測定データの数だけ生成される学習データは倍増する。
図１３は、実施の形態において学習する入出力関係を説明する図である。
本実施の形態では、入力として変形前の形状モデルの各頂点ｉに関する特徴量データｘ_ｉを用い、出力として対応する頂点ｉについての変形前後における変位量データｙ_ｉを用いる。学習の段階では、特徴量データｘ_ｉと変位量データｙ_ｉの両方が与えられ、２つの値の関係を規定する変形関数ｆが学習される。

本実施の形態では、特徴量データｘ_ｉとして、同じ形状モデル上の微小領域間の差分（例えば頂点間差分ｄ）を用いる。
図１３では、特徴量データｘ_ｉの一例である頂点間差分ｄの具体例として、頂点１と他の頂点２及び３と差分ｄ_１２及びｄ_１３を例示している。
実際には、１つの頂点ｉと５００個の頂点（微小領域）との間で差分ｄが算出される。ここで、各頂点の座標をｖ_ｉ及びｖ_ｊで表すと、頂点ｉに関する頂点間差分ｄ_ｉｊは、ｄ_ｉｊ＝ｖ_ｊ−ｖ_ｉ（ただし、ｊ＝１、２、３、…、５００）と表現される。
従って、頂点ｉについての特徴量データｘ_ｉは、５００個の頂点間差分ｄ_ｉｊの集合として定義される。後述するように、頂点間差分ｄ_ｉｊは、特徴量データｘ_ｉの一例である。
図１３では、頂点１、頂点２及び頂点３のいずれもが離散的に描かれているが、これは頂点間差分ｄ_ｉｊの説明のためであり、実際の位置は図１３に示す例に限らない。

図１４は、実施の形態に係る変形学習部１０３で実行される処理の一例を説明する図である。
図１４に示す変形学習部１０３は、変形前モデル群の要素である個々の形状モデルの頂点毎に特徴量データｘ_ｉを算出する特徴量算出部１０３Ａと、変形の前後の形状モデルの対応頂点ｉ間の変位量データｙ_ｉを算出する変位算出部１０３Ｂと、算出された特徴量データｘ_ｉと変位量データｙ_ｉとの関係を学習する機械学習部１０３Ｃとで構成される。
本実施の形態における特徴量算出部１０３Ａは、学習用に与えられた変形前の測定データから生成された形状モデルＭ_{（ｉ１）Ｉ}〜Ｍ_{（ｉｋ）Ｉ}の頂点毎に特徴量データｘ_ｉを算出する。
前述したように、本実施の形態の場合、特徴量データｘ_ｉは、学習用に入力された変形前の測定データから生成された形状モデルＭ_（ｉ）Ｉを構成する全ての頂点についての頂点間差分ｄ_ｉｊとして与えられる。すなわち、１つの形状モデルＭ_（ｉ）Ｉについて５００個の特徴量データｘ_ｉが算出される。
図１４の場合、変形前モデル群の要素の数はｋ個であるので、５００×ｋ個の特徴量データｘ_ｉが算出される。実際には、入力される測定データの数Ａを乗算した数の特徴量データｘ_ｉが算出される。

本実施の形態における変位算出部１０３Ｂは、変形の前後の関係にある形状モデルの対応頂点間における変位量データｙ_ｉを算出する。変形前後の１つの形状モデルについて５００個の変位量データｙ_ｉが算出される。
本実施の形態における機械学習部１０３Ｃは、変形前の形状モデルＭ_（ｊ）Iの各頂点ｉについての特徴量データｘ_ｉと、同一の頂点ｉについての変形前後の形状モデル間の変位量データｙ_ｉとの関係を表す変形関係ｆ_（ｊ）を学習する。
図１５は、実施の形態に係る機械学習部１０３Ｃで学習される関係を説明する図である。
図１５においては、変形前の形状モデルＭ_（1）Iの各頂点ｉ（Ｉ＝１…５００）についての特徴量データｘ_1（1）…ｘ_1（500）と、対応する頂点間の変位量データｙ_1（1）…ｙ_1（500）との関係を学習した変形関数をｆ_１で表している。形状モデルＭ_（２）I及びＭ_（３）Iについても同様である。

本実施の形態では、変形関数ｆを表す回帰モデルとして、式１で表現されるカーネル回帰モデルを使用する。

ここでのｋ（ｘ_ｉ，ｘ）は、次式で与えられるカーネル関数である。
ｋ（ｘ_ｉ，ｘ）＝exp（−β||ｘ_ｉ−ｘ||²）
なお、||ｘ_ｉ−ｘ||²は、同じ形状モデル上における頂点ｉと他の頂点ｊとの頂点間差分ｄ_ijに対応するＬ^２ノルムである。すなわち、ｋ（ｘ_ｉ，ｘ）は、頂点ｉについての特徴量データｘ_ｉに対応する。また、個々のα_ｉｋ（ｘ_ｉ，ｘ）は、図１５におけるｆ_ｉ（ｉ＝１、２、３）に対応している。
本実施の形態における変位算出部１０３Ｂは、頂点ｉ毎に係数α_ｉを学習する。係数α_ｉは、更新パラメータである。
学習された係数α_ｉの集合を学習済みモデルとして変形推定装置２０（図１参照）に与えてもよいし、新たに学習された係数α_ｉを変形推定装置２０に送信して、学習済みモデルを更新してもよい。

＜学習済みモデルの具体例＞
例えばヒトの肺の医用画像データは、気胸を患っている患者の手術前のＣＴデータと手術後のＣＴデータとして取得できる。
手術前のＣＴデータは、虚脱肺のＣＴデータであり、手術後のＣＴデータは、正常肺（治療後）のＣＴデータである。
この場合、手術後のＣＴデータを変形前の医用画像データとし、手術前のＣＴデータを変形後の医用画像データとして、変形の前後の関係を学習済みモデルとして学習する。この学習済みモデルは、通常肺の患者を手術する場合における手術中の肺の変形の予測に用いることができる。

＜変形推定装置＞
図１６は、変形推定装置２０（図１参照）のハードウェア構成の一例を示す図である。
図１６に示す変形推定装置２０は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）２１と、ＢＩＯＳ（Basic Input Output System）等のプログラムを記憶するＲＯＭ２２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）２３とを有している。ここでのＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、いわゆるコンピュータを構成し、各種の情報処理を実行する。なお、ＲＯＭ２２は、不揮発性の半導体メモリによって構成される。

記憶装置２４は、例えばハードディスク装置で構成され、機械学習装置１０によって学習された学習済みモデルを使用して端末５０（図１参照）から与えられる任意の測定データの変形後の形状を推定するアプリケーションプログラムや推定結果等が記憶される。なお、記憶装置２４は、内蔵型に限らず、外付型の記憶装置でもよいし、ネットワークストレージでもよい。
入力装置２５は、例えばキーボードやマウスであり、操作入力に使用される。出力装置２６は、表示装置や印刷装置であり、操作画面の表示や情報の印刷等に使用される。なお、変形推定装置２０がサーバとして実現される場合には、入力装置２５と出力装置２６は、不図示の端末側に設けられていてもよい。
通信装置２７は、外部装置との通信に用いられる。通信装置２７は、端末５０からの測定データの入力、推定結果の端末５０への出力などに使用される。
ＣＰＵ２１と各部は、バス２８や不図示の信号線を通じて接続されている。
なお、変形推定装置２０は、専用のハードウェアとして実現することも可能である。

図１７は、変形推定装置２０の機能構成の一例を示す図である。図１７に示す機能構成は、ＣＰＵ２１（図１６参照）によるプログラムの実行を通じて実現される。
図１７における変形推定装置２０は、端末５０から入力される変形前の測定データから各頂点ｉについての特徴量データｘ_ｉを算出する特徴量算出部２０１と、算出された特徴量データｘ_ｉを学習済みモデルに適用して頂点ｉの変位量データｙ_ｉを推定する変形推定部２０２と、全ての頂点ｉについての変位量データｙ_ｉから変形後の形状を推定して出力する推定結果出力部２０３として機能する。
図１８は、変形推定装置２０による推定過程を説明する図である。
任意の測定データＭ_（ｉ）Ｉが端末５０（図１参照）から与えられると、特徴量算出部２０１（図１７参照）が頂点ｉ毎に特徴量データｘ_ｉを算出する。次に、変形推定部２０２（図１７参照）が、処理対象とする特徴量データｘ_ｉと類似する特徴データｘ_ｉ２及びｘ_ｉ４を有する形状モデルＭ_{（ｉ２）Ｉ}とＭ_{（ｉ４）Ｉ}を抽出する。
図１８では、特徴量データｘ_ｉの類似度を内分比ｍ：１−ｍとして求めている。ここで、ｍは、０以上１以下の実数である。
さらに、変形推定部２０２は、抽出された複数の形状モデルＭ_{（ｉ２）Ｉ}とＭ_{（ｉ４）Ｉ}についての学習済みモデル（すなわち変形関数ｆ_２及びｆ_４）を線形補間した変形関数ｆ_ｉを生成し、生成された変形関数ｆ_ｉを使用して特徴量データｘ_ｉに対応する変位量データｙ_ｉを推定する。
本実施の形態では、線形補間を用いて変形関数ｆ_ｉを生成しているが、非線形の補間で生成してもよい。

図１９は、推定結果出力部２０３（図１７参照）による出力画面３００の例を説明する図である。
出力画面３００は、左側に変形前の観察画像欄３０１を配置し、右側に変形後の形状にあたる推定画像欄３０２を配置している。
図１９の場合、肺の内部に、２つの結節が存在する。観察画像欄３０１に表示される肺の画像は手術前の画像である。肺は膨らんでいる。
推定画像欄３０２に表示される肺は推定された手術中の画像である。手術中の肺は、脱気変形により萎んでいる。図１９に示すように、外部形状だけでなく結節の位置も推定が可能である。

＜推定誤差＞
以下では、前述の手法で推定された結果と実測値との誤差について説明する。
＜実験条件＞
・１１頭のビーグル犬の生体肺データを測定
・上葉を２０４頂点でモデル化、下葉を２００頂点でモデル化
・含気状態で測定された生体肺データを±２．５ｍｍ、±５．０ｍｍ、±７．５ｍｍで拡大及び縮小することでアップサンプリング
・測定データの８０％をトレーニングデータに使用、２０％をテストデータに使用

＜評価＞
誤差指標にハウスドルフ距離を用いて以下の回帰モデルを比較
・回帰モデル（多重線形回帰モデル、ＬＡＳＳＯ回帰モデル、カーネル回帰モデル）
・特徴量データ（４種類）
ハウスドルフ距離は、２つの形状間のずれの最大値として与えられる距離である。
図２０は、３種類の回帰モデル間での推定誤差の違いを説明する図表である。
図２０に示す値は、各回帰モデルの正則化パラメータを１０通り程度で試行し、最も誤差が小さくなるものを選択した。
図２０の場合、カーネル回帰モデルの推定誤差が最も小さい。因みに、上葉の推定誤差は３．１±０．９ｍｍであり、下葉の推定誤差は３．９±１．９ｍｍであった。
実施の形態で使用したカーネル回帰モデルは、多重線形回帰モデルやＬＡＳＳＯ回帰モデル（Ｌ１正則化）の約３分の１であった。

図２１は、４種類の特徴量データと推定誤差の違いを説明する図表である。
４種類の特徴量データは、頂点ｉについての以下の特徴量群１〜４とする。
・特徴量群１：座標ｖ_ｉ、法線ベクトルｎ_ｉ、曲率（２次微分、離散ラプラシアン）ｌ_ｉ、頂点間差分ｄ_ｉｊ、収縮率ｓ_ｉ、ボロノイ面積ｒ_ｉ
・特徴量群２：頂点間差分ｄ_ｉｊ
・特徴量群３：頂点間差分ｄ_ｉｊ、法線ベクトルｎ_ｉ×１００
・特徴量群４：座標ｖ_ｉ、法線ベクトルｎ_ｉ、曲率（２次微分、離散ラプラシアン）ｌ_ｉ、収縮率ｓ_ｉ、ボロノイ面積ｒ_ｉ
特徴量群２は、前述の説明で用いた特徴量データｘ_ｉｊに対応する。
図２１に示す図表からは、頂点間差分ｄ_ｉｊが含まれていない特徴量群４だけが推定誤差が大きいことが分かる。
以上より、頂点間差分ｄ_ｉｊを特徴量データに含めることが推定精度を高める上で有効であることが分かる。

図２２は、頂点間差分ｄ_ｉｊを含む特徴量データを用い、回帰モデルにカーネル回帰モデルを用いる場合における各検体についての推定結果と実測値との誤差を示す。
図２３は、各検体の変形前後の形状の関係を２次元的に示す図である。
図２２の検体と図２３の検体は同じである。
上葉で５ｍｍを超える推定誤差があるのは検体２だけであり、下葉で５ｍｍを超える推定誤差があるのは検体２と検体８である。
今回の実験では、上葉に比して下葉がかなり大きい肺で推定誤差が比較的大きくなっているが、上葉が下葉よりも小さい肺や上葉と下葉の大きさがほぼ同じ場合には推定誤差が小さくなっている。
なお、形状全体についての統計的な平均変位で推定するモデルでは、１０ｍｍ以上の誤差が認められていたので、実施の形態の手法では、推定誤差の低減が認められる。

図２４は、頂点間差分の次元と推定精度の関係を説明する図表である。
なお、図２４は、上葉についての実験結果である。図２４の場合、横軸は、頂点ｉについての特徴量データｘ_ｉを構成する頂点間差分の割合であり、縦軸は推定精度に当たるハウスドルフ距離である。
横軸の割合は、形状モデルＭ_（ｉ）Ｉを構成する全ての頂点を頂点間差分ｄ_ｉｊの算出に用いる場合を１００％として表している。従って、頂点数が５００の場合、特徴量データｘ_ｉを構成する頂点間差分の割合が１０％とは、頂点ｉについての特徴量データｘ_ｉが５０個の頂点間差分ｄ_ｉｊで与えられることを意味する。縦軸の単位はｍｍである。
前述の説明では、特徴量データｘ_ｉを頂点数分の頂点間差分ｄ_ｉｊで与える例を説明したが、約５％以上の頂点間差分ｄ_ｉｊで特徴量データｘ_ｉを定義すれば、５ｍｍ以下の推定精度が得られることがわかった。好ましくは、約１０％以上の頂点間差分ｄ_ｉｊで特徴量データｘ_ｉを定義することであり、より好ましくは約１５％以上の頂点間差分ｄ_ｉｊで特徴量データｘ_ｉを定義すれば、安定した推定精度が得られる。

＜応用例＞
前述した推定システム１（図１参照）や機械学習装置１０（図１参照）で生成された学習済みモデルを用いて対象とする臓器の変形を推定する変形推定装置２０（図１参照）を手術支援システムに組み込むことにより、又は、連携することにより、手術前に新たな患者の腫瘍の変位を同定することができる。
例えば図１９に示す出力画面３００は、手術支援システムに用いる場合の画面例として用いてもよい。この場合、端末５０（図１参照）は、手術支援システムの操作端末として使用する。

＜実施の形態２＞
実施の形態１では、単一の臓器の変形を変形前の医用画像データから推定する場合について説明したが、ここでは、複数の臓器の変形や位置の移動を推定する場合について説明する。
図２５は、複数の臓器の変形を伴う移動先の推定を説明する図である。
図２５の例は、肝臓、胃、十二指腸、左腎、右腎を含む医用画像データの場合である。図２５に示す画像例は一例であり、他の臓器が含まれていてもよいし、より少ない数の臓器が対象でもよい。
体内の臓器の形状や位置は、呼吸、測定時の姿勢、体調等によっても変化し、位置も移動するが、実施の形態１で説明した技術を用いれば、複数の臓器（腫瘍を含む）の形状や位置の変化を高い精度で推定できる。すなわち、本実施の形態では、臓器の位置の移動も含めて学習する。
呼吸、測定時の姿勢、体調等による複数の臓器（腫瘍を含む）の形状や位置の変化は、時間変化による変形の一例でもある。
図２５では、変形前の形状と位置の一部を破線で示している。
複数の臓器の変形と位置の変化の範囲を高精度に推定できることで、放射線治療における照射計画に応用できる。

＜実施の形態３＞
実施の形態１では、変形前の測定データに基づいて生成した特徴量データを学習済みモデルに与えて変形後の形状を推定しているが、個別の臓器又は複数の臓器について学習された学習済みモデルに特徴量データを与えて変形後の形状を推定し、推定された形状を医用画像データと照合して医用画像データに含まれる臓器の位置を画像認識の技術を用いて自動的に抽出してもよい。
図２６は、臓器の形状のバリエーションを推定して特定の臓器の領域を医用画像データから抽出する処理機能を説明する図である。
変形推定装置２０は、変形推定部２０２によって推定された変形後の形状を画像認識部２０５に与え、医用画像データと照合し、医用画像データのうち対象とする臓器の領域を抽出することができる。

＜実施の形態４＞
前述の実施の形態では、測定データと学習済みデータのいずれもが３次元データの場合について説明したが、測定データは２次元データである可能性がある。例えば測定データが内視鏡画像データとして与えられる場合である。
図２７は、２次元画像データから３次元形状を推定し、推定された３次元形状を用いて変形後の形状を推定する例を説明する図である。
図２７では、入力として２次元画像が与えられ、３次元形状推定部６０によって３次元画像が出力されている。２次元カラー情報のみから３次元形状を推定する技術は、例えば以下の文献に記載されている。
H． Fan et al． “A point set generation network for 3D object reconstruction from a single image”, CVPR, 2017．
なお、３次元形状推定部６０による推定処理は、グラフカットによる特定の臓器領域の抽出処理と、機械学習、深層学習、畳み込みニューラルネットワーク等を応用して学習された学習済みモデルを用いる推定処理との組み合わせにより実現できる。
ここでの学習済みモデルには、変形前の臓器領域の測定データから生成された形状モデルＭ_（ｉ）Ｉにおける各微小領域と他の微小領域との差分値ｄ_ijを含む特徴量データｘ_ｉと、変形前の臓器領域の形状モデルＭ_（ｉ）Ｉの各微小領域から変形後の臓器領域の形状モデルＭ_（ｉ）Ｄの対応する各微小領域への変位量データｙ_ｉを与える関係が学習され記憶されている。
本実施の形態の技術を用いれば、２次元画像データしか測定できない状況でも、変形後の形状を推定できるだけでなく、外観からは確認できない腫瘍の位置を推定することもできる。

＜実施の形態５＞
前述の実施の形態では、特徴量データｘ_ｉの候補として、各頂点ｉの座標ｖ_ｉ、微小領域を規定する勾配又は法線ベクトルｎ_ｉ、微小領域を規定する曲率（２次微分、離散ラプラシアン）ｌ_ｉ、頂点間差分ｄ_ｉｊ、微小領域の収縮率ｓ_ｉ、微小領域のボロノイ面積ｒ_ｉを例示したが、特徴量データｘ_ｉの候補として、各微小領域と平均的な形状モデル（以下「平均形状モデル」という）の対応領域からのずれ量ｕ_ｉを追加で含めてもよい。この場合、ずれ量ｕ_ｉを単独で特徴量データｘ_ｉとして用いてもよいし、他の候補と組み合わせて特徴量データｘ_ｉとして用いてもよい。
図２８は、複数の形状モデルＭ_（ｉ）から生成される平均形状モデルＭを説明する図である。平均形状モデルＭの頂点ｉの座標ｖ_Ｍｉは、例えば複数の形状モデルＭ_（ｉ）の対応する頂点群の座標ｖ_ｉの平均値として生成する。図２８の場合には、５００個の頂点のそれぞれについて座標の平均値が算出される。
図２９は、変形前の平均形状モデルＭ _Ｉに対する各形状モデルの対応領域間のずれ量ｕ_ｉを説明する図である。ここでの対応領域は、頂点ｉに対応する微小領域である。従って、ずれ量ｕ_ｉは、５００個の頂点について算出される。図中の変形関数ｆは、変形前の平均形状モデルＭ _Ｉから変形後の平均形状モデルＭ _Ｄを生成する変形関数を表している。
なお、ここでの平均形状モデルＭをテンプレート形状Ｔとして与え、形状データＳ_（ｉ）に対応する形状モデルＭ_（ｉ）を繰り返し計算してもよい。

＜実施の形態６＞
前述の実施の形態では、同一の臓器についての変形の前後における特徴量データｘ_ｉと変位量データｙ_ｉとの関係を学習し、学習の結果である学習済みモデルを用いて任意の測定データの変形後の形状を推定する場合について説明したが、ある物体１と平均モデルとのずれ量と、物体１との間で制約関係がある他の物体２を構成する各頂点ｓの座標ｖ_ｓのとの関係を学習し、学習の結果である学習済みモデルを用いて任意の物体１の測定データから物体２の位置を推定してもよい。
図３０は、物体１の測定データから生成された形状モデル（アップサンプリング後の形状モデルを含む）Ｍ１_（ｉ１）〜Ｍ１_（ｉｋ）の各頂点ｉとそれらの平均形状モデルＭの対応頂点とのずれ量ｕ_ｉと、物体１との間に制約関係がある他の物体２を構成する各頂点ｓの座標ｖ_ｓとの関係を学習する機械学習装置３１０の構成例を説明する図である。なお、機械学習装置３１０は、前述の実施の形態と同様、コンピュータによるプログラムの実行を通じて実現される。
機械学習装置３１０は、頂点毎のずれ量ｕ_ｉを算出して出力するずれ量算出部３１０Ａと、各ずれ量ｕ_ｉと物体２の各頂点ｓの座標ｖ_ｓの関係を学習する機械学習部３１０Ｂとを有する。この例の場合、機械学習部３１０Ｂは、学習の結果として対応関係関数ｇを出力する。

例えば物体１は肝臓であり、物体２は膵臓である。ここでの制約関係は、例えば隣接する関係又は繋がる関係である。物体１が肝臓の場合、隣接する関係を満たす物体２は、胃、十二指腸、右腎臓であり、繋がる関係を満たす物体２は、十二指腸、膵臓、脾臓などである。

図３１は、物体１の測定データから生成された形状モデルと平均モデルとのずれ量ｕ_ｉから物体２の位置ｖ_ｓを推定する位置推定装置３２０の構成例を説明する図である。
位置推定装置３２０は、物体１の測定データから生成された形状モデルを構成する各頂点ｉについて平均形状モデルＭとのずれ量ｕ_ｉを特徴量データとして算出する特徴量算出部３２１と、算出されたずれ量ｕ_ｉを学習済みモデルに適応し、物体２の位置を推定する物体位置推定部３２２と、推定結果を出力する推定結果出力部３２３とを有している。
位置推定装置３２０も、前述の実施の形態と同様、コンピュータによるプログラムの実行を通じて実現される。

＜実施の形態７＞
前述の実施の形態では、物体の全体を撮像又は測定した画像データを用いて物体全体の変形を学習する場合について説明したが、以下では、物体の一部分を撮像又は測定した画像データを用いて物体全体の変形を学習する場合について説明する。
以下の説明では、物体の一部分を撮像又は測定した画像データの一例として、コーンビームＣＴ（＝Cone Beam CT）が生成する三次元画像データを使用する。コーンビームＣＴは、Ｘ線を円錐状又は四角錐状に照射する照射部と、被写体を通過したＸ線を検出する二次元検出器とで構成される可動装置を、被写体の周囲で１回転するだけで、被写体の三次元画像データを生成することができる。
このため、コーンビームＣＴは、例えば手術中の肺の撮像に使用されている。ただし、コーンビームＣＴの撮像範囲に含まれる肺実質の体積は、肺全体の体積の半分以下になる場合もあり、しかも、どの領域が撮像されるかも不明である。

図３２は、コーンビームＣＴで撮像された右肺のＣＴ画像の範囲と、ＣＴで撮像された同じ右肺のＣＴ画像の範囲との関係を説明する図である。（Ａ）は被検体ＡのＣＴ画像を示し、（Ｂ）は被検体ＢのＣＴ画像を示し、（Ｃ）は被検体ＣのＣＴ画像を示す。
図中、メッシュで示す面積が最も広いＣＴ画像Ｐ１は、手術前に撮像されたＣＴ画像である。肺の一部分しか撮像されないコーンビームＣＴとは異なり、肺の全体が撮像されている。なお、手術前であるので肺は含気状態である。ここでのＣＴ画像Ｐ１は、実施の形態１における変形前画像Ｉ_（ｉ）Ｉに対応する。
図中、薄い色で着色した面積が２番めに広いＣＴ画像Ｐ２は、手術中にコーンビームＣＴで撮像されたＣＴ画像である。ＣＴ画像Ｐ２は、含気状態の肺の一部分である。被検体Ａ、Ｂ及びＣのいずれの場合も、ＣＴ画像Ｐ２は、ＣＴ画像Ｐ１より狭い領域となる。
図中、濃い色で着色した面積が最も狭いＣＴ画像Ｐ３も、手術中にコーンビームＣＴで撮像されたＣＴ画像である。ＣＴ画像Ｐ３は、脱気状態の肺の一部分である。このため、被検体Ａ、Ｂ及びＣのいずれの場合も、ＣＴ画像Ｐ３は、ＣＴ画像Ｐ２より狭い領域となる。

前述したように、本実勢の形態では、ＣＴ画像Ｐ２及びＰ３を用いて肺全体の変形を学習する場合を説明する。ただし、部分画像であるＣＴ画像Ｐ２及びＰ３間の変形を学習しただけでは、その学習の結果を肺全体の変形の学習に反映することができない。
そこで、本実施の形態では、手術前に撮像された肺全体のＣＴ画像Ｐ１との位置合わせを通じ、部分画像間の変形を肺全体の一部分の変化として学習する。
図３３は、実施の形態７で使用する形状モデル生成部１０１（図３参照）で実行される処理の一例を示す図である。図３３には、図５との対応部分に対応する符号を付して示している。
なお、機械学習装置のハードウェア構成や機能構成は実施の形態１と同様である。すなわち、実施の形態７における機械学習装置も、変形前画像Ｉ_（ｉ）Ｉと変形後画像Ｉ_（ｉ）Ｄのそれぞれについて形状モデルを生成し、その後、生成された形状モデルのアップサンプリングを行い、次に微小領域単位での学習を実行する。

図３３の場合、変形前画像として２種類の画像を用意する。１つは、手術前の含気状態の肺全体を撮像した変形前画像Ｉ_{（ｉ）ＩＴ}であり、他の１つは手術中の含気状態の肺の一部分を撮像した変形前部分画像Ｉ_{（ｉ）ＩＰ}である。変形後画像には、手術中の脱気状態の肺の一部分を撮像した変形後部分画像Ｉ_{（ｉ）ＤＰ}を使用する。
まず、サンプリング部１０１Ｃが変形前画像Ｉ_{（ｉ）ＩＴ}と、変形前部分画像Ｉ_{（ｉ）ＩＰ}と、変形後部分画像Ｉ_{（ｉ）ＤＰ}のそれぞれをサンプリングし、ボクセルメッシュ構造又はポリゴンメッシュ構造の形状データを生成する。ここでは、変形前画像Ｉ_{（ｉ）ＩＴ}に対応する形状データをＳ_{（ｉ）ＩＴ}とし、変形前部分画像Ｉ_{（ｉ）ＩＰ}に対応する形状データをＳ_{（ｉ）ＩＰ}とし、変形後部分画像Ｉ_（ｉ）Ｄに対応する形状データをＳ_（ｉ）Ｄとする。

実施の形態１でも説明したが、被験体の違いや撮像条件の違いによっても、変形前画像と変形後画像の大きさは異なる。また、手術前の撮像に使用されるＣＴと手術中に使用されるコーンビームＣＴの間でも変形前画像と変形後画像の大きさが異なる。また、撮像時における被験体の体位や体調の統一にも限界がある。
このため、実施の形態１で説明したように、独立に形成された形状データに含まれるボクセルの頂点の数は一般には一致しない。
そこで、本実施の形態の場合にも、生成された形状データをテンプレート形状Ｔに位置合わせして頂点数を揃えた形状モデルＭを生成する。図３３の場合、位置合わせ部１０１Ｄが位置合わせを実行する。

まず、位置合わせ部１０１Ｄは、右肺全体に対応するテンプレート形状Ｔを使用して、右肺全体に対応する変形前形状データＳ_{（ｉ）ＩＴ}の頂点数をテンプレート形状Ｔと同じ頂点数に揃える。この処理の内容は実施の形態１と同じである。例えば５００個の頂点を有する変形前形状モデルＭ_{（ｉ）ＩＴ}が生成される。
この位置合わせは、グローバル座標系間の位置合わせである。

次に、位置合わせ部１０１Ｄは、生成された右肺全体に対応する変形前形状モデルＭ_{（ｉ）ＩＴ}をテンプレート形状として用い、同じ被験体の右肺の一部分に対応する変形前部分形状データＳ_{（ｉ）ＩＰ}を位置合わせする。この結果、変形前部分形状データＳ_{（ｉ）ＩＰ}に対応する変形前部分形状モデルＭ_{（ｉ）ＩＰ}が生成される。勿論、変形前部分形状モデルＭ_{（ｉ）ＩＰ}を構成する頂点数は、テンプレート形状の頂点数よりも少なくなる。
なお、コーンビームＣＴで撮像される部位や体積は、図３２に示すように、被検体や撮像回毎に異なる。このため、変形前部分形状モデルＭ_{（ｉ）ＩＰ}を構成する頂点数は、部分画像毎に異なる。
この位置合わせは、グローバル座標系とローカル座標系の位置合わせである。

次に、位置合わせ部１０１Ｄは、含気状態の右肺の一部分について生成された変形前部分形状モデルＭ_{（ｉ）ＩＰ}をテンプレート形状として用い、同じ被験体の脱気状態の右肺の一部分に対応する変形後部分形状データＳ_{（ｉ）ＤＰ}を位置合わせする。この結果、変形後部分形状データＳ_{（ｉ）ＤＰ}に対応する変形後部分形状モデルＭ_{（ｉ）ＤＰ}が生成される。ただし、変形後部分形状モデルＭ_{（ｉ）ＤＰ}を構成する頂点数は、テンプレート形状として用いた変形前部分形状モデルＭ_{（ｉ）ＩＰ}の頂点数と同じになる。
この位置合わせは、ローカル座標系間の位置合わせである。

図３４は、含気状態の肺をコーンビームＣＴで撮像したＣＴ画像Ｐ２（すなわち変形前部分形状モデル）と脱気状態の同じ肺をコーンビームＣＴで撮像したＣＴ画像Ｐ３（すなわち変形後部分形状モデル）との位置合わせの結果を説明する図である。（Ａ）は被検体Ａの形状モデルを示し、（Ｂ）は被検体Ｂの形状モデルを示し、（Ｃ）は被検体Ｃの形状モデルを示し、（Ｄ）は位置合わせの結果を示す。因みに、ＣＴ画像Ｐ２及びＰ３は、図３２の部分画像に対応する。
図３４に示す被検体Ａの場合、ＣＴ画像Ｐ２（変形前部分形状モデル）をＣＴ画像Ｐ３（変形後部分形状モデル）の形状に変形した画像と、ＣＴ画像Ｐ３（変形後部分形状モデル）との対応頂点間の平均距離（MD: Mean Distance）は０．２１ｍｍであり、対応頂点間の最大距離（HD: Hausdorff Distance）は０．９８ｍｍである。図３４の場合、対応頂点間の平均距離は、ＣＴ画像Ｐ２をＣＴ画像Ｐ３の形状に変形させた後の画像の頂点（頂点はＣＴ画像Ｐ２に由来）と、ＣＴ画像Ｐ３の対応する近傍表面との距離として計算される。近傍表面は、例えばＣＴ画像Ｐ２の頂点から最も近いＣＴ画像Ｐ３上の位置である。
なお、頂点群の推定値と真値間の包含度合い（DSC: Dice Similarity Distance）は９８．９３％である。
また、被検体ＢのＭＤは０．１５ｍｍ、ＨＤは０．７９ｍｍ、ＤＳＣは９９．２４％である。被検体ＣのＭＤは０．２３ｍｍ、ＨＤは１．３０ｍｍ、ＤＳＣは９８．９４％である。
図３４に示すように、変形前の部分形状モデルＭ_{（ｉ）IＰ}は、高い精度で、変形後の形状モデルＭ_{（ｉ）ＤＰ}に位置合わせされる。

図３５は、被検体の含気状態の肺をＣＴで撮像したＣＴ画像Ｐ１（変形前形状モデル）と肺のテンプレート形状Ｔとの位置合わせの結果を説明する図である。この場合は、肺のテンプレート形状Ｔを画像Ｐ１（変形前形状モデル）に一致させるように変形した画像と、ＣＴ画像Ｐ１（変形前形状モデル）との対応頂点間で各値を計算した。
図３５の場合、被検体ＡのＭＤは０．３３ｍｍ、ＨＤは１．９１ｍｍ、ＤＳＣは９８．１４％である。また、被検体ＢのＭＤは０．５４ｍｍ、ＨＤは２．２６ｍｍ、ＤＳＣは９７．９４％である。被検体ＣのＭＤは０．３９ｍｍ、ＨＤは１．５３ｍｍ、ＤＳＣは９８．３１％である。
図３５に示すように、テンプレート形状Ｔは、高い精度で、被検体毎に個別に撮像された肺全体のＣＴ画像Ｐ１の形状データに位置合わせされている。

図３６は、実施の形態７で使用する変形学習部１０３（図３参照）で実行される処理の一例を示す図である。図３６には、図１４との対応部分に対応する符号を付して示している。
なお、変形前部分形状モデル群Ｍ_{（ｉ１）IＰ}…Ｍ_{（ｉｋ）IＰ}は、変形前部分形状モデルＭ_{（ｉ）IＰ}をアップサンプリングして生成したモデル群である。また、変形後部分形状モデル群Ｍ_{（ｉ１）ＤＰ}…Ｍ_{（ｉｋ）ＤＰ}は、変形後部分形状モデルＭ_{（ｉ）ＤＰ}をアップサンプリングして生成したモデル群である。
実施の形態１の場合には、アップサンプリングにより生成されたモデル群から頂点単位の特徴量を直接算出しているが、本実施の形態では、境界付近除去部１０３Ａ０及び１０３Ｂ０を用い、予め境界付近の頂点を除去する。コーンビームＣＴで撮像された部分画像は、肺全体のうち撮像されていない領域との境界付近の信頼性が低いためである。

図３７は、学習に用いる対象（学習対象）と学習に用いない対象（除外対象）とを説明する図である。（Ａ）は被検体Ａの形状モデルを示し、（Ｂ）は被検体Ｂの形状モデルを示す。
図３７の場合、被検体ＡについてコーンビームＣＴで撮像されているのは肺の中央付近であり、肺の上部と下部は撮像されていない。このため、境界は、ＣＴ画像Ｐ２（変形前部分形状モデル）とＣＴ画像Ｐ３（変形後部分形状モデル）の上端側と下端側の２箇所に出現する。
一方、被検体ＢについてコーンビームＣＴで撮像されているのは肺の上半分であり、肺の下半分は撮像されていない。このため、境界は、ＣＴ画像Ｐ２（変形前部分形状モデル）とＣＴ画像Ｐ３（変形後部分形状モデル）の下端側の１箇所にのみ出現する。

本実施の形態では、各境界から１０ｍｍの範囲を学習の対象から除外する。なお、この数値は一例である。もっとも、学習の対象から除外する頂点は、境界からの距離で与えるのではなく、形状モデルを構成する頂点数の割合（％）で定めてもよい。例えば１０％を使用する。
図３６の説明に戻る。境界付近除去部１０３Ａ０は、変形前部分形状モデル群Ｍ_{（ｉ１）IＰ}…Ｍ_{（ｉｋ）IＰ}のそれぞれから境界付近に存在する頂点を除去する。残った頂点群（すなわち学習対象の頂点群）は、特徴量算出部１０３Ａと変位算出部１０３Ｂに出力される。
一方、境界付近除去部１０３Ｂ０は、変形後部分形状モデル群Ｍ_{（ｉ１）ＤＰ}…Ｍ_{（ｉｋ）ＤＰ}のそれぞれから境界付近に存在する頂点を除去する。残った頂点群（すなわち学習対象の頂点群）は、変位算出部１０３Ｂに出力される。

図３８は、境界付近の頂点を除去しない場合の変位量データｙ_ｉを説明する図である。（Ａ）は被検体Ａのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示し、（Ｂ）は被検体Ｂのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示し、（Ｃ）は被検体Ｃのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示す。
図３９は、境界付近の頂点を除去する場合の変位量データｙ_ｉを説明する図である。（Ａ）は被検体Ａのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示し、（Ｂ）は被検体Ｂのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示し、（Ｃ）は被検体Ｃのｘ−ｙ面に現れる変位量データｙ_ｉとｘ−ｚ面に現れる変位量データｙ_ｉを示す。
いずれの図も、変位量データｙ_ｉの長さは、見やすさを考慮し、実際よりも短く表している。

なお、学習の対象である各頂点の変形前後の変位を表す変位量データｙ_ｉは、変位算出部１０３Ｂ（図３６参照）が算出する。また、学習の対象である各頂点の特徴量データｘ_ｉは、特徴量算出部１０３Ａ（図３６参照）が算出する。
算出された特徴量データｘ_ｉと変位量データｙ_ｉは機械学習部１０３Ｃ（図３６参照）に与えられる。この後、機械学習部１０３Ｃは、特徴量データｘ_ｉと対応する頂点間の変位量データｙ_ｉとの関係を表す変形関数ｆを学習する。なお、コーンビームＣＴで撮像される部分画像は、手術中の患者を被写体とする。このため、コーンビームＣＴで撮像される部分画像には、手術中の患者の姿勢（すなわち側臥位）に応じた重力変形が反映されている。その結果、機械学習部１０３Ｃにより生成される学習済みモデルにも、この重力変形が反映される。

図４０は、手術中にコーンビームＣＴで撮像された部分画像を用いて学習した学習済みモデルに手術前に撮像したＣＴデータを入力して推定された変形後の形状ＰＳを説明する図である。（Ａ）は実際の手術映像を示し、（Ｂ）は推定された形状ＰＳを示す。
図４０に示すように、手術前に撮像したＣＴデータから推定された変形後の形状ＰＳは、側臥位での重力方向（すなわち心臓に近い方向）への変形が確認され、手術映像に近い外観が得られている。

図４１は、実施の形態７で説明した手法で生成した学習済みモデルを用いた推定画像の精度を説明する図である。
図中の縦軸は手術の前後における肺の体積変化を示し、横軸は被検体を示す。図４１では、手術中にコーンビームＣＴで撮像されたＣＴ画像の変形前後の体積の変化を真値として、本実施の形態の推定画像の変形前後の体積の変化を対比的に図示している。三次元画像データとしての推定画像は、前述したように手術前に撮像されたＣＴ画像から推定される。いずれの被験体についても誤差４％程度で推定できることが確認されている。このように、本実施の形態で説明したように、部分画像を用いて変形を学習する場合でも、物体全体の変形を精度良く推定することができる。
なお、以上の説明は、部分画像の取得にコーンビームＣＴを用いているが、部分画像を取得する装置をコーンビームＣＴに限るものではない。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

例えば前述の実施の形態では、微小領域として単一の頂点を想定しているが、複数の頂点を含めてもよい。
また、前述の実施の形態では、カーネル回帰モデルを用いて頂点毎の特徴量データと変位量データの関係を学習して学習済みモデルを生成しているが、深層学習や畳み込みニューラルネットワークを用いて学習済みモデルを生成してもよい。
また、前述の実施の形態では、形状モデルを構成する頂点間の距離の関係を特に規定していないが等間隔となるように制約を加えてもよい。
また、前述の実施の形態では、もっぱら医用画像データを前提として臓器の変形の前後を学習して学習済みモデルを生成しているが、本発明に係る技術は、医用画像データに限らない。

図１に示す例では、端末５０から変形推定装置２０に測定データが入力され、測定データに対する推定の結果が端末５０に出力されているが、測定データとその推定結果に対するユーザの評価が機械学習装置１０に与えられ、学習済みモデルの更新に利用されてもよい。この場合、ユーザが高い評価を与えた推定結果には高い報酬が与えられ、ユーザが低い評価を与えた推定結果には報酬が与えられないか、低い評価が与えられる。この種の学習は強化学習の手法に対応する。なお、報酬は、０か１かの２段階に限らず、多段階の評価の場合には３段階以上の値で与えられてもよい。

１…推定システム、１０…機械学習装置、２０…変形推定装置、３０…データベース、４０…ネットワーク、５０…端末、６０…３次元形状推定部、１０１…形状モデル生成部、１０１Ａ…サンプリング部、１０１Ｂ…位置合わせ部、１０２…モデルアップサンプリング部、１０３…変形学習部、１０３Ａ…特徴量算出部、１０３Ｂ…変位算出部、１０３Ｃ…機械学習部、２０１…特徴量算出部、２０２…変形推定部、２０３…推定結果出力部、２０５…画像認識部、３００…出力画面、３０１…観察画像欄、３０２…推定画像欄

Claims (17)

1. 変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する生成部と、
   前記第１の形状モデルを構成する各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から前記第２の形状モデルの対応する各微小領域への変位を与える関係を学習する学習部と
   を有する機械学習装置。
2. 前記生成部が、前記第１の形状モデルの要素である頂点の配置を変更した第３の形状モデルと、前記第２の形状モデルの要素である頂点の配置を変更した第４の形状モデルを生成する場合、
   前記学習部は、前記第３の形状モデルの各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第３の形状モデルの各微小領域から前記第４の形状モデルの対応する各微小領域への変位を与える前記関係も学習する、
   請求項１に記載の機械学習装置。
3. 前記特徴量は、各微小領域を与える座標、各微小領域を規定する勾配又は法線ベクトル、各微小領域を規定する曲率、各微小領域のボロノイ面積、各微小領域の収縮率、及び、各微小領域と平均的な形状モデルの対応領域からのずれ量のうちのいずれか１つ又は複数によって規定される、請求項１に記載の機械学習装置。
4. 前記特徴量を与える前記差分値は、前記第１の形状モデルを構成する全微小領域のうちの５％以上の微小領域との間で計算される、請求項１に記載の機械学習装置。
5. 前記学習部は、カーネル回帰モデルを用いて前記関係を学習する、請求項１又は２に記載の機械学習装置。
6. 変形の前後における前記測定データは、医用画像データである
   ことを特徴とする請求項１又は２に記載の機械学習装置。
7. 前記変形は肺の脱気変形であり、脱気による変形前の前記測定データとして気胸を治療した患者の肺の医用画像データを用い、脱気による変形後の前記測定データとして気胸を治療する前の患者の肺の医用画像データを用いる
   ことを特徴とする請求項６に記載の機械学習装置。
8. 前記変形は、呼吸による若しくは時間変化若しくは検体の違いに伴う臓器の変形又は臓器の位置の移動を含む
   ことを特徴とする請求項６に記載の機械学習装置。
9. 前記第１の形状モデルと前記第２の形状モデルは、３次元の頂点モデルである
   ことを特徴とする請求項１に記載の機械学習装置。
10. コンピュータに、
    変形の前後における測定データに基づいて、変形前の物体の形状を表す第１の形状モデルと変形後の物体の形状を表す第２の形状モデルを生成する機能と、
    前記第１の形状モデルの各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から前記第２の形状モデルの対応する各微小領域への変位を与える関係を学習する機能と
    を実行させるプログラム。
11. 任意の測定データが与えられた場合に、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を与える関係を学習した学習済みモデルを用い、当該任意の測定データに対応する変形後の形状を推定する推定部
    を有する推定装置。
12. 前記推定部は、
    入力された前記測定データについて生成される形状モデルの微小領域と他の微小領域との間の差分値を含む特徴量を算出し、
    各微小領域に対応する特徴量の変位を、前記学習済みモデルに記憶されている関係の補間によって推定する
    ことを特徴とする請求項１１に記載の推定装置。
13. コンピュータに、
    任意の測定データが与えられた場合に、変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量と、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を与える関係を学習した学習済みモデルを用い、当該任意の測定データに対応する変形後の形状を推定する機能
    を実行させるプログラム。
14. 変形前の測定データから生成された第１の形状モデルにおける各微小領域と他の微小領域との間の差分値を含む特徴量を入力とし、当該第１の形状モデルの各微小領域から変形後の第２の形状モデルの対応する各微小領域への変位を出力とする関係を与え、
    任意の測定データが与えられた場合に、前記関係を用い、当該任意の測定データに対応する形状モデルの各微小領域に対応する変位を演算することにより、当該任意の測定データに対応する変形後の形状を推定する機能をコンピュータに実行させるための学習済みモデル。
15. 複数の第１の物体の測定データに基づいて、第１の物体の個別の形状を表す形状モデルと平均的な形状モデルを生成する生成部と、
    前記個別の形状を表す形状モデルを構成する各微小領域と前記平均的な形状モデルの対応する微小領域との間の差分値を含む特徴量の分布と、当該差分値の分布と前記第１の物体との間に制約関係を有する第２の物体が存在する領域との関係を学習する学習部と
    を有する機械学習装置。
16. 前記制約関係は、前記第２の物体が前記第１の物体に隣接する又は繋がっている関係を含む、請求項１５に記載の機械学習装置。
17. コンピュータに、
    複数の第１の物体の測定データに基づいて、第１の物体の個別の形状を表す形状モデルと平均的な形状モデルを生成する機能と、
    前記個別の形状を表す形状モデルを構成する各微小領域と前記平均的な形状モデルの対応する微小領域との間の差分値を含む特徴量の分布と、当該差分値の分布と前記第１の物体との間に制約関係を有する第２の物体が存在する領域との関係を学習する機能と
    を実行させるプログラム。

Images