JP6957152B2 - 情報処理装置、抽出方法およびプログラム - Google Patents

Description

本明細書の開示は、情報処理装置、抽出方法およびプログラムに関する。

計算機で医用画像を解析し、医師に読影の助けとなる情報を提示する技術（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）が知られている。

このＣＡＤ技術が支援対象とする読影作業の一つに、肺結節の鑑別診断がある。肺結節の鑑別診断では、胸部Ｘ線ＣＴ画像中に写された肺野領域内に結節が存在している場合に、その結節が良性か悪性かの判断を行う。この判断を行う際、判断材料の一つとして医師は胸膜引き込み（胸膜陥入）の有無を確認する。胸膜引き込みは結節が周囲の正常な胸膜を結節内部に引き込むことにより生じる所見であり、結節が悪性であることを示唆する。そのため、医師は結節の周囲を観察し、胸膜引き込みの有無を判断する。

医師が目視で行う胸膜引き込みの有無の判断を計算機で支援するためには、ＣＡＤシステムは医用画像中に胸膜引き込みが存在する場合にその胸膜引き込みの領域を抽出する必要がある。特許文献１では、医用画像中に存在する胸膜引き込みの領域を抽出するための技術が開示されている。特許文献１に記載されている技術では、医用画像から結節を抽出後、結節表面から伸びる棒状の解剖学的構造物を抽出する。そして抽出された解剖学的構造物が胸膜に接続している場合、すなわち抽出された解剖学的構造物が結節と胸膜との双方に接触している場合に、該解剖学的構造物を胸膜引き込みとして抽出する。

特開２００９−２７３６４４号公報

結節と胸膜との双方に接触している解剖学的構造物は胸膜引き込み以外にも存在するため、結節表面から伸びる棒状の解剖学的構造物は必ずしも所望の解剖学的構造物（例えば、胸膜引き込み）とは限らない。すなわち、特許文献１に記載の技術では所望の解剖学的構造物を高い精度で抽出することができないという課題がある。

本明細書の開示は、解剖学的構造物を高い精度で抽出することを目的の１つとする。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本開示の他の目的の１つとして位置付けることができる。

本明細書に開示された情報処理装置は、医用画像における第１領域および前記第１領域とは異なる第２領域を取得する取得手段と、前記第１領域と前記第２領域とを繋いでいる第３領域の抽出を、前記第１領域に基づいて定まる方向を含む範囲に制限する制限手段と、
前記制限手段により制限された前記範囲内において前記第３領域を抽出する抽出手段と、
を備える。

本明細書の開示によれば、所望の構造物を高い精度で抽出することが可能となる。

第１の実施形態に係る画像処理装置の機能構成の一例を示す図。 第１の実施形態に係る画像処理装置の処理手順の一例を示すフローチャート。 図３（ａ）〜（ｄ）は肺野構造物の抽出処理の一例を説明する模式図。 図３（ａ）〜（ｄ）は画像の切り出し処理の一例を説明する模式図。 図５（ａ）〜（ｃ）は抽出方向と抽出範囲を設定する処理の一例を説明する模式図。 図６（ａ）〜（ｂ）は胸膜の存在を確認する処理の一例を説明する模式図。 第２の実施形態に係る画像処理装置の処理手順の一例を示すフローチャート。 第２の実施形態に係る画像処理装置が設定する抽出範囲の一例を説明する模式図。 第１の実施形態に係る画像処理装置で実施する画像処理で用いる画像の座標系の一例を説明する模式図。

以下、図面を参照して実施形態を説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。

以下の実施形態では、Ｘ線ＣＴ装置で撮影された３次元胸部ＣＴ画像を処理する例を説明する。しかしながら、本発明の適用範囲は３次元胸部ＣＴ画像に限定されるものではない。例えば体幹部全体を撮影したＣＴ画像に対しても、本発明は適用可能である。また、結節、胸膜、胸膜引き込みが視認できる画像であれば、他の撮像装置で撮影された画像であっても本発明は適用可能である。また、本発明は２次元画像にも３次元画像にも適用可能である。さらに、本発明の実施形態は以下の実施形態に限定されるものではない。

＜第１の実施形態＞
本実施形態に係る画像処理装置は、操作者が指定した医用画像（元画像）を読み出し、その画像中に存在する胸膜と、肺結節（結節）が存在する場合はその結節を抽出する。その後、画像処理装置は、結節表面の各画素について、該結節が引き込んでいる胸膜の一部（胸膜引き込み）を抽出する。より具体的には、画像処理装置は、結節表面の各画素について、該画素を開始点として後述の方法で領域拡張処理を行い、該画素に連結している領域を抽出する。そして、画像処理装置は、もし抽出した領域が胸膜に接しているなら、その領域を胸膜引き込みとして取得する。

本実施形態における画像処理装置は、結節表面の各画素に一定の範囲（抽出範囲）を設定し、各々の抽出範囲の中で胸膜引き込みの抽出処理を実行することを特徴とする。抽出範囲は胸膜引き込みの解剖学的性質に基づいて設定される。具体的には、抽出範囲は次の２点に基づいて設定される。（１）結節が胸膜を引き込む時、結節は近傍に存在する胸膜を引き込む。（２）胸膜引き込みは２次元の膜構造を有する胸膜が比較的小さな（胸膜と比べると点状の塊である）結節に引き込まれることにより生じるため、胸膜引き込みを結節側から見た場合、胸膜引き込みは結節を頂点とする円錐状の領域内に存在する。

このような胸膜引き込みの解剖学的性質（医学的特徴）に基づき、本実施形態における画像処理装置では、抽出範囲を例えば結節表面上の画素を起点とし、所定の方法で定められる方向（抽出方向）で定義される範囲とする。

第１の実施形態に係る画像処理装置では、抽出方向は結節表面の各画素位置における結節表面の法線に基づいて設定される。これは結節が球もしくは楕円体のような形状をしており、結節表面上の各位置における結節表面の法線が向かう方向に近傍の胸膜が存在することが期待されるためである。

以下、図１を参照して本実施形態に係る画像処理装置の機能構成について説明する。画像処理装置１００は、上述のように画像から胸膜の引き込み領域を抽出する。画像処理装置は情報処理装置の一例に相当する。画像処理装置１００は、画像処理部１１０、画像取得部１２０および記憶部１３０を含む。

なお、画像処理装置１００は不図示のＣＰＵおよびＲＯＭを含んでいる。このＣＰＵがＲＯＭに記憶されたプログラムを実行することで画像処理部１１０および画像取得部１２０として機能する。

なお、画像処理装置１００が備えるＣＰＵおよびＲＯＭは１つであってもよいし複数であってもよい。すなわち、少なくとも１以上のプロセッサと少なくとも１つのメモリとが接続されており、少なくとも１以上のプロセッサが少なくとも１以上のメモリに記憶されたプログラムを実行した場合に画像処理装置１００はで画像処理部１１０および画像取得部１２０として機能する。なお、処理装置はＣＰＵに限定されるものではなく、ＧＰＵ等であってもよい。

画像処理部１１０は、画像から胸膜の引き込み領域を抽出する。画像処理部１１０は、肺構造物抽出部１１１、画像サイズ変更部１１２、抽出処理制御部１１３、抽出範囲設定部１１４および胸膜引き込み抽出部１１５を含む。さらに、画像処理装置１００への入力となるデータおよび画像処理装置１００が出力するデータを格納するためのデータサーバ１４０が画像処理装置１００と通信可能に接続されている。

画像取得部１２０は、データサーバ１４０から元画像（例えば３次元胸部ＣＴ画像）を取得する。取得された元画像は、記憶部１３０に格納される。

記憶部１３０は、画像を保存するメモリである。なお、記憶部１３０はデータを記憶することが可能であればよく記憶部１３０を構成する媒体の種類は問わない。

肺構造物抽出部１１１は、記憶部１３０から元画像を取得する。そして、肺構造物抽出部１１１は、元画像に対して画像処理手法の一つである画像セグメンテーション法（画像分割法、領域分割法、領域抽出法とも呼ばれる）を適用し、元画像中に存在する肺野、結節および胸膜の各領域を取得する。なお、肺野、結節および胸膜の各領域の取得方法は公知の種々の手法により実現可能であるため詳細な説明は省略する。すなわち、肺構造物抽出部１１１は、医用画像における第１領域および前記第１領域とは異なる第２領域を取得する取得手段の一例に相当する。ここで、第１領域は結節を示す領域であり、第２の領域は胸膜を示す領域である。

この処理により、肺構造物抽出部１１１は、元画像中に存在する肺野の領域を表す肺野マスク画像と、結節の領域を表す肺野マスク画像、胸膜の領域を表す胸膜マスク画像とを取得する。ここで、マスク画像とは２値画像のことであり、各画素の画素値はその画素が対象領域に属する画素か否かを示す。

例えば、肺野マスク画像では、例えば元画像を構成する画素のうち肺野を表す画素（肺野画素）が画素値１で、それ以外の画素（肺野外画素）が画素値０で表されている。同様に、結節マスク画像では、例えば結節を表す画素（結節画素）が画素値１で、それ以外の画素（結節外画素）が画素値０で表されている。また、胸膜マスク画像では、例えば胸膜を表す画素（胸膜画素）が画素値１で、それ以外の画素（胸膜外画素）が画素値０で表されている。なお、これらのマスク画像はいずれも元画像と同じ画像サイズである。取得された肺野マスク画像、結節マスク画像および胸膜マスク画像は、記憶部１３０に格納される。

なお、マスク画像は注目物体（肺野マスク画像における肺野など）を表す画素とその他の画素が識別可能であれば、画素値としてどのよう値を与えても構わない。例えば、マスク画像の画素値として１または２のいずれか一方を与えてもよい。また、マスク画像の画素値に３つ以上の値の中から１つを割り当ててもよい。これは、本明細書で利用されるすべてのマスク画像において同様である。

画像サイズ変更部１１２では、２種類の画像サイズ変更処理を行う。１つ目の画像サイズ変更処理は、画像の切り出しである。肺構造物抽出部１１１が処理を終えた後、画像サイズ変更部１１２は記憶部１３０から元画像、肺野マスク画像、結節マスク画像および胸膜マスク画像を取得する。そして、画像サイズ変更部１１２は、それらの画像の一部分を切り出し、切り出した部分を新たな画像として生成する。画像の切り出し範囲は、例えば結節マスク画像中の結節領域の重心位置をおおよそ中心とし、所定の方法で決定された大きさの矩形で囲まれる範囲とする。この切り出し処理により、元画像から局所画像が生成される。同様に、肺野マスク画像、結節マスク画像および胸膜マスク画像から、それぞれ局所肺野マスク画像、局所結節マスク画像および局所胸膜マスク画像が生成される。こうして生成された４つの画像は記憶部１３０に格納される。

２つ目の画像サイズ変更処理は、胸膜引き込み抽出部１１５で生成されるマスク画像（局所胸膜引き込みマスク画像）の画像サイズを元画像と同じ画像サイズにする処理である。詳細は後述するが、胸膜引き込み抽出部１１５では局所画像中に存在する胸膜引き込みを領域抽出する。局所画像は元画像から切り出された画像であるため、胸膜引き込み抽出部１１５で取得される局所胸膜引き込みマスク画像は、元画像とは異なるサイズである。そこで、画像サイズ変更部１１２で局所胸膜引き込みマスク画像の画像サイズが元画像と同じ画像サイズになるように、局所胸膜引き込みマスク画像の画像サイズを変更する。この処理は、第１の画像サイズ変更処理と逆の手順の処理となることに注意されたい。

抽出処理制御部１１３は、記憶部１３０から局所画像、局所肺野マスク画像、局所結節マスク画像および局所胸膜マスク画像を取得する。そして、抽出処理制御部１１３は抽出範囲設定部１１４と胸膜引き込み抽出部１１５とを制御して、局所画像中に存在する胸膜引き込み領域の抽出処理を実行する。

抽出範囲設定部１１４は、胸膜引き込みの医学的特徴を利用して胸膜引き込み抽出部１１５が胸膜引き込み領域を抽出する範囲を設定する。すなわち、抽出範囲設定部１１４は胸膜引き込みの医学的特徴に基づいて、医用画像から胸膜引き込み領域を抽出する範囲を医用画像に含まれる結節と胸膜との間の領域のうち一部の領域に制限する制限手段の一例に相当する。具体的には抽出範囲設定部１１４は、記憶部１３０から局所画像、局所結節マスク画像、局所胸膜マスク画像および結節表面座標リストを取得する。そして、結節表面座標リストに格納されている結節表面の画素について、胸膜引き込み領域の抽出処理を適用する画像範囲（抽出範囲）を設定する。抽出範囲の設定の詳細については、本実施形態に係る画像処理装置１００の処理手順を説明する際にあわせて説明する。

胸膜引き込み抽出部１１５は、記憶部１３０から局所画像、局所肺野マスク画像、局所結節マスク画像および局所胸膜マスク画像を取得する。そして、抽出範囲設定部１１４で設定された抽出範囲内で胸膜引き込み領域を抽出する。肺構造物抽出部１１１と同様、抽出された胸膜引き込みの領域はマスク画像（局所胸膜引き込みマスク画像）として記憶部１３０に格納される。

ここで図３を参照して、本実施形態に係る画像処理装置１００によって処理される元画像の一例について説明する。図３（ａ）に元画像の一例を示す。図３（ａ）の画像３００は、３次元胸部ＣＴ画像（元画像）を構成する複数の断面（冠状断面）画像中の１つの断面画像である。図面の制約から本図では元画像中の代表的な１つの断面画像を示しているが、元画像には多数の断面画像が含まれる。また本図では理解が容易なように元画像が冠状断面像から構成されている例を示したが、元画像はその他の断面像（例えば横断面像や矢状断面像）から構成されていてもよい。元画像は、少なくとも左右何れかの肺野の全体を示す画像の一例である。

元画像３００には、患者の胴体３０１と胴体周辺の空気領域３０２、３０３、３０４、３０５が写っている。さらに胴体３０１の内部には、右肺３０６、左肺３０７が存在する。ＣＴ画像では右肺が画像の左側に、左肺が画像の右側に写っている。本実施形態に係る画像処理装置１００では、人体内部に存在する解剖学的構造物のうち、右肺３０６、左肺３０７に関係する解剖学的構造物に着目しており、両肺の外側に存在する解剖学的構造物を区別する必要はない。そのため、図３（ａ）に示した通り、人体を右肺３０６、左肺３０７、胴体３０１（人体のうち右肺３０６、左肺３０７の外側の領域）の３つの領域から成るものと見なす。

右肺３０６、左肺３０７と胴体３０１とを隔てる閉曲線３０８と閉曲線３０９とが胸膜である。胸膜は薄いため、冠状断面像では線状の構造物として観察される。そして、患者の右肺３０２に存在する塊状の構造物が結節３１０である。さらに、結節３１０と胸膜３０８との双方に連結している線状の構造物３１１が胸膜引き込み領域３１１である。本実施形態に係る画像処理装置１００は、この胸膜引き込み領域３１１を抽出する。

次に図２を参照して、本実施形態の画像処理装置１００の処理手順の一例を説明する。

（ステップＳ１１０）
ステップＳ１１０において、画像取得部１２０はデータサーバ１４０から元画像を取得する。そして取得した元画像を記憶部１３０に格納する。

（ステップＳ１２０）
ステップＳ１２０において、肺構造物抽出部１１１は元画像を記憶部１３０から取得する。そして、元画像中に存在する肺野、結節および胸膜の領域をそれぞれ抽出する。

肺構造物抽出部１１１は、最初に元画像中に存在する肺野と結節の各領域を抽出する。肺野と結節の領域は、ＣＴ画像内でそれぞれ一定のＣＴ値を有している。そのため、肺構造物抽出部１１１は、公知の画像セグメンテーション法（しきい値処理、領域拡張法、Ｌｅｖｅｌ−ｓｅｔ法、Ｇｒａｐｈ−ｃｕｔ法等）を利用することで、これらの領域を抽出することができる。

なお、肺野と結節の領域抽出では、画像処理装置１００に付属しているマウス等のポインティングデバイスを利用することも可能である。例えば、操作者にマウスで元画像中に存在する肺野や結節の位置を指定させる。操作者が肺野または結節の位置を指定すると、肺構造物抽出部１１１はそれらの位置座標を取得する。そして、肺構造物抽出部１１１は、取得した位置座標を画像セグメンテーション法のための情報（例えば領域拡張法の拡張開始点）として利用する。このような方法により、肺構造物抽出部１１１は、肺野と結節の各領域を高い精度で抽出できる。

肺野と結節の各領域を抽出した後、肺構造物抽出部１１１は胸膜領域を抽出する。胸膜は肺野を包む非常に薄い膜状構造物である。そのため、一般にはＣＴ画像では観察することができない。そこで肺構造物抽出部１１１は、肺野領域の外側の領域のうち、肺野領域の辺縁（または外周）上の一定の厚みを持つ閉曲線領域を胸膜として抽出する。

最後に、肺構造物抽出部１１１は取得した肺野領域、結節領域および胸膜領域をそれぞれ、肺野マスク画像、結節マスク画像および胸膜マスク画像に格納する。そして、肺構造物抽出部１１１は、それらのマスク画像を記憶部１３０に格納する。

元画像３００から取得された肺野マスク画像の一例を図３（ｂ）に示す。図３（ｂ）の肺野マスク画像３２０では、元画像３００中の右肺３０６が右肺野領域３２１として抽出されている。ただし、右肺３０６に存在している結節３１０に対応する領域３２３は、右肺野領域３２１に含まれていない。これは、右肺野領域３２１と結節領域３２３とでは画素値が大きく異なっており、それゆえ上述の肺野抽出処理では結節領域３２３が抽出されないためである。左肺３０７の領域は、左肺野領域３２２として抽出されている。

次に、元画像３００から取得された結節マスク画像の一例を図３（ｃ）に示す。図３（ｃ）の結節マスク画像３３０では、元画像３００中の右肺３０６に存在する結節３１０が結節領域３３１として抽出されている。

最後に、元画像３００から取得された胸膜マスク画像の一例を図３（ｄ）に示す。図３（ｄ）の胸膜マスク画像３４０では、元画像３００中の右肺３０６の胸膜３０８が胸膜領域３４１として抽出されている。また、左肺３０７の胸膜３０９が胸膜領域３４２として抽出されている。

なお、図３（ｂ）、（ｃ）、（ｄ）の肺野マスク画像３２０、結節マスク画像３３０および胸膜マスク画像３４０では、元画像中の胴体部３０１、胸膜３０８および胸膜３０９に対応する位置に破線が描かれている。これらの破線は本図の理解を助けるために描かれたものであり、実際のマスク画像中には存在しない。

（ステップＳ１３０）
ステップＳ１３０において、画像サイズ変更部１１２は記憶部１３０から元画像、肺野マスク画像、結節マスク画像、胸膜マスク画像を取得する。そして、取得した画像のそれぞれから画像中の所定の範囲（切り出し範囲）を切り出し、局所画像、局所肺野マスク画像、局所結節マスク画像および局所胸膜マスク画像を生成する。なお元画像が３次元画像であるため、ここで述べる切り出し範囲とは直方体領域のことである。また、本ステップで生成される画像は３次元画像である。もし元画像が２次元画像であれば、切り出し範囲は長方形領域となり、生成される画像は２次元画像となる。なお、直方体領域と長方形領域にはそれぞれ立方体領域と正方形領域が含まれる。

本実施形態に係る画像処理装置１００では、切り出し範囲の中心位置を結節領域の重心位置とし、切り出し範囲の大きさを結節領域の大きさに基づいて決定する。図４を参照して、画像を切り出す処理の詳細について説明する。図４（ａ）の画像４００は、結節マスク画像である。この画像４００は、図３（ａ）の結節マスク画像３３０と同一のものであるが、説明の便宜上、結節画像４００として再掲している。

はじめに画像サイズ変更部１１２は結節の重心位置を決定する。今、結節マスク画像中の画素のうち、結節領域に属する画素を結節画素、その他の領域に属する画素を結節外画素と呼ぶ。図４（ａ）の画像４００では、領域４０１に属するそれぞれの画素が結節画素である。そして、画像４００中の領域４０１以外の領域４０２に属する画素が結節外画素である。次に、結節画素の集合をＳ^{ｎｏｄｕｌｅ}とし、それぞれの結節画素の座標値をＰ^{ｎｏｄｕｌｅ} _［ｉ］＝（ｘ^{ｎｏｄｕｌｅ} _［ｉ］，ｙ^{ｎｏｄｕｌｅ} _［ｉ］，ｚ^{ｎｏｄｕｌｅ} _［ｉ］）とする。ただしｉ＝１，．．．，＃（Ｓ^{ｎｏｄｕｌｅ}）であり、＃（Ｓ^{ｎｏｄｕｌｅ}）はＳ^{ｎｏｄｕｌｅ}に格納されている座標値の数である。すると、重心Ｇ^{ｎｏｄｕｌｅ}＝（Ｇ^{ｎｏｄｕｌｅ} _ｘ，Ｇ^{ｎｏｄｕｌｅ} _ｙ，Ｇ^{ｎｏｄｕｌｅ} _ｚ）は、

で計算される。画像サイズ変更部１１２は、計算された結節の重心位置を、元画像、肺野マスク画像、結節マスク画像、胸膜マスク画像における切り出し範囲の中心位置とする。

次に、画像サイズ変更部１１２は切り出し範囲の大きさを決定する。ここで切り出し範囲の大きさは、直方体領域の一辺の長さで定義される。直方体領域の一辺の長さは公知の方法で決定する。もっとも単純な方法は、所定の方法で事前に定めた値をそのまま使用することである。例えば、画像サイズ変更部１１２は、画像処理装置１００の構築時に、結節と胸膜引き込みが写っている複数の胸部ＣＴ画像から結節と胸膜との間の平均距離を計算し、得られた値をデータサーバ１４０に格納しておく。ステップＳ１３０において画像サイズ変更部１１２は切り出し範囲の大きさを決定する際、データサーバ１４０から平均距離を取得し、この値に基づいて直方体領域の一辺の長さを設定する。今、平均距離の値がＷ_ｖｏｉであった場合、画像サイズ変更部１１２は直方体領域のＸ軸、Ｙ軸、Ｚ軸方向の長さをそれぞれ２Ｗ_ｖｏｉとする。なお、結節と胸膜との間の距離の標準偏差σ_ｖｏｉを考慮して、直方体領域のＸ軸、Ｙ軸、Ｚ軸方向の長さをそれぞれ２（Ｗ_ｖｏｉ＋２σ_ｖｏｉ）としてもよい。

また、切り出し範囲の大きさを決定する異なる方法としては、結節径に基づいて決定する方法がある。結節マスク画像中の結節領域より、画像サイズ変更部１１２は結節径を計測することが出来る。今、結節の半径をｒとする。すると、画像サイズ変更部１１２は、切り出し範囲の大きさをｒの２ｋ_ｖｏｉ倍とする。ここで、ｋ_ｖｏｉの値は、結節径ｒの結節が引きこんでいる胸膜（すなわち胸膜引き込み）の平均的な長さから決定される。具体的には、ｋ_ｖｏｉｘｒの値が結節径ｒの結節の胸膜引き込みの平均長の値よりも大きな値になるように、ｋ_ｖｏｉの値を決定する。

図４（ａ）の画像４００では、結節領域４０１について設定された切り出し範囲４０３が図示されている。本図を見ると分かる通り、切り出し範囲４０３の中心位置は結節領域４０１の重心位置と一致している。また、切り出し範囲の大きさは結節の半径の８倍になるように設定されている。

切り出し範囲の中心位置Ｇ^{ｎｏｄｕｌｅ}と大きさが決定された後、画像サイズ変更部１１２は元画像、肺野マスク画像、結節マスク画像および胸膜マスク画像のそれぞれから、上記の方法で決定された切り出し範囲内の画像を切り出す。そして、切り出した画像をそれぞれ、局所画像、局所肺野マスク画像、局所結節マスク画像、局所胸膜マスク画像とする。切り出された画像は、左右いずれかの肺野の一部を示す画像の一例である。

最後に、画像サイズ変更部１１２は生成した局所画像、局所肺野マスク画像、局所結節マスク画像および局所胸膜マスク画像を記憶部１３０に格納する。

図４（ｂ）に肺野マスク画像から取得された局所肺野マスク画像の一例を示す。図４（ｂ）の局所肺野マスク画像４１０は、図３（ｂ）の肺野マスク画像３２０から本ステップで設定した切り出し範囲で切り出された画像である。肺野マスク画像３２０の肺野領域３２１の一部が、肺野領域４１１として写っている。一方、結節が存在するために結節外の領域となっている領域３２３は、局所肺野マスク画像４１０においても結節外の領域４１２として存在している。

次に、図４（ｃ）に結節マスク画像から取得された局所結節マスク画像の一例を示す。図４（ｃ）の局所結節マスク画像４２０は、図３（ｃ）の肺野マスク画像３３０から本ステップで設定した切り出し範囲で切り出された画像である。結節マスク画像３３０の結節領域３３１が、局所結節マスク画像４２０においても結節領域４２１として存在している。なお、局所結節マスク画像４２０には図３（ａ）の元画像３００の胸膜３０８に対応する位置に破線が引かれている。この破線は本図の理解を助けるために描かれたものであり、実際のマスク画像中には存在しない。

最後に、図４（ｄ）に胸膜マスク画像から取得された局所胸膜マスク画像の一例を示す。図４（ｄ）の局所胸膜マスク画像４３０は、図３（ｄ）の胸膜マスク画像３４０から本ステップで設定した切り出し範囲で切り出された画像である。胸膜マスク画像３４０の右肺の胸膜領域３４１が、局所結節マスク画像４３０においても胸膜領域４３１として存在している。なお、本ステップで設定した切り出し範囲は左肺を覆ってはいないため、局所結節マスク画像４３０には胸膜マスク画像３４０の胸膜領域３４２に対応する胸膜領域は写っていない。

（ステップＳ１４０）
ステップＳ１４０において、抽出処理制御部１１３は局所結節マスク画像中に存在する結節領域から結節表面上の画素を取得し、その画素の座標値を１次元のリスト（結節表面座標リストＬ^{ｓｕｒｆａｃｅ}）に格納する。この１次元のリストは記憶部１３０に保存されていてもよいし、画像処理装置１００が備える不図示のメモリに保存されていてもよい。詳細は後述するが、ステップＳ１５０からステップＳ２００までの処理は、結節表面上のそれぞれの画素に対して反復的に実行される。この反復実行を効率的に行うために、本ステップでは抽出処理制御部１１３はマスク画像中に存在する結節領域から結節表面上の画素を取得し、その画素の座標値を結節表面座標リストＬ^{ｓｕｒｆａｃｅ}に格納する。

結節表面座標リストＬ^{ｓｕｒｆａｃｅ}の作成方法は、次の通りである。抽出処理制御部１１３は、局所結節マスク画像（図４（ｃ）の画像４２０）を先頭の画素から順番に走査する。もし、走査の途中で結節画素（図４（ｃ）の領域４２１に含まれる画素）が見つかったら、抽出処理制御部１１３はその結節画素に隣接する画素を確認する。この時、隣接する画素の中に結節外画素が存在すれば、抽出処理制御部１１３は該結節画素を結節表面上の画素と見なす。逆に近傍に結節外画素が存在しない場合は、抽出処理制御部１１３は該結節画素を無視し、走査を継続する。抽出処理制御部１１３は、以上の処理を局所結節マスク画像の最後の画素に到達するまで実施する。

以上の処理により取得された結節表面の画素の一例を図５（ａ）に示す。図５（ａ）の画像５００は、図４（ｃ）の局所結節マスク画像４２０を処理した結果である。画像５００において、結節表面に描かれている四角形（画素５０１、画素５０２、画素５０３、画素５０４および画素５０５等）が結節表面の画素である。図５においては、図面の見やすさを考慮してすべての四角形に符号を付与していないが、合計で２０個の四角形が結節表面の画素として抽出されている。

（ステップＳ１５０）
ステップＳ１５０において、抽出処理制御部１１３は記憶部１３０に格納されている結節表面座標リストＬ^{ｓｕｒｆａｃｅ}を取得する。そして、抽出処理制御部１１３は、結節表面座標リストＬ^{ｓｕｒｆａｃｅ}に少なくとも１つ以上の結節画素の座標値が格納されていることを確認する。もし結節画素の座標値が格納されている場合は、ステップＳ１６０の処理が実行される。逆に、結節表面座標リストＬ^{ｓｕｒｆａｃｅ}に１つも結節画素の座標値が格納されていない場合は、ステップＳ２１０の処理が実行される。

（ステップＳ１６０）
ステップＳ１６０において、抽出範囲設定部１１４は記憶部１３０に格納されている結節表面座標リストＬ^{ｓｕｒｆａｃｅ}を取得する。そして、抽出範囲設定部１１４は、結節表面座標リストＬ^{ｓｕｒｆａｃｅ}から結節画素の座標値を１つ取得する。抽出範囲設定部１１４は取得した結節画素の座標値を記憶部１３０に格納し、ステップＳ１７０に進む。

以下の説明では、結節表面座標リストＬ^{ｓｕｒｆａｃｅ}から取得した結節画素の座標値をＰ^{ｓｕｒｆａｃｅ} _［ｉ］で表す。ただしｉ＝１，．．．，＃（Ｌ^{ｓｕｒｆａｃｅ}）であり、＃（Ｌ^{ｓｕｒｆａｃｅ}）はＬ^{ｓｕｒｆａｃｅ}に含まれる座標値の数である。

（ステップＳ１７０）
ステップＳ１７０において、抽出範囲設定部１１４は抽出方向を設定する。はじめに、抽出範囲設定部１１４は記憶部１３０に格納されている結節画素の座標値Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］を取得する。

次に、抽出範囲設定部１１４は抽出方向Ｄ_［ｉ］を設定する。本実施形態に係る画像処理装置１００では、抽出方向Ｄ_［ｉ］を結節表面の法線の方向とする。ここで、結節表面の法線方向は結節の内部から外部に向かう方向とする。結節表面の法線方向は、さまざまな方法で計算することが出来る。最も単純な方法は、Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］に隣接している結節表面の画素から計算する方法である。すなわち、抽出範囲設定部１１４は、第１領域の輪郭に対する法線方向を計算する。

法線方向の計算方法を説明する前に、ここで、図９を参照して本実施形態に係る画像処理装置１００の座標系の一例を説明する。本実施形態に係る画像処理装置１００では、元画像が冠状断面像の集合から成る例を説明している。これを踏まえ、以下の説明では図９（ａ）に示すように、各冠状断面像（図９（ａ）中の破線の長方形）の左から右に向かってＸ軸を、上から下に向かってＹ軸を設定する。そして、各冠状断面像に直交する方向にＺ軸を設定する。以上のように座標系を設定した時、元画像を横断面で再構成すると、横断面と座標系の関係は図９（ｂ）のようになる。すなわち、各横断面像（図９（ｂ）中の破線の長方形）の左から右に向かってＸ軸の正の方向が向き、上から下に向かってＺ軸の正の方向が向く。そして、各横断面像を貫く方向にＹ軸の正の方向が向く。また、元画像を矢状面で再構成すると、矢状面像と座標系の関係は図９（ｃ）のようになる。すなわち、各矢状面像（図９（ｃ）中の破線の長方形）を原点側から見たとき各矢状画像の左から右に向かってＺ軸の正の方向が向き、上から下に向かってＹ軸の正の方向が向く。そして、各矢状断面を貫く方向にＸ軸の正の方向が向く。

図５（ｂ）を参照して、法線方向の計算方法を説明する。図５（ｂ）は結節表面の画素５１１について抽出方向５１４を設定している様子を示している。図５（ｂ）では、画像５１０の左から右に向かってＸ軸の正の方向、上から下に向かってＹ軸の正の方向とする。

今、Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］を通る冠状断面像を考える。そして、Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］に隣接する２つの結節表面の画素のうち、画像上で反時計回りの位置に存在する画素をＰ^{ｓｕｒｆａｃｅ} _{［ｉ］［１］}＝（ｘ^{ｓｕｒｆａｃｅ} _{［ｉ］［１］}，ｙ^{ｓｕｒｆａｃｅ} _{［ｉ］［１］}）とする。また、画像上で時計回りの位置に存在する画素をＰ^{ｓｕｒｆａｃｅ} _{［ｉ］［２］}＝（ｘ^{ｓｕｒｆａｃｅ} _{［ｉ］［２］}，ｙ^{ｓｕｒｆａｃｅ} _{［ｉ］［２］}）とする。図５（ｂ）の画像５１０では、画素５１２が画素５１１に対して反時計回りの位置に存在する画素Ｐ^{ｓｕｒｆａｃｅ} _{［ｉ］［１］}である。また、画素５１３が時計回りの位置に存在する画素Ｐ^{ｓｕｒｆａｃｅ} _{［ｉ］［２］}である。次に、抽出範囲設定部１１４は、取得した２つの結節表面の画素から、Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］における冠状断面内での法線ｎ^{ｃｏｒｏｎａｌ}を計算する。法線ｎ^{ｃｏｒｏｎａｌ}は、

で計算される。

抽出範囲設定部１１４は、同様の計算方法で、Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］を通る横断面像内での法線ｎ^{ａｘｉａｌ}＝（ｎ^{ａｘｉａｌ} _ｘ，ｎ^{ａｘｉａｌ} _ｚ）と、矢状断面内での法線ｎ^{ｓａｇｉｔｔａｌ}＝（ｎ^{ｓａｇｉｔｔａｌ} _ｙ，ｎ^{ｓａｇｉｔｔａｌ} _ｚ）を取得する。ここで、抽出範囲設定部１１４は、ｎ^{ａｘｉａｌ}またはｎ^{ｓａｇｉｔｔａｌ}の向きが結節の内部に向かう方向になった場合は、法線の成分の符号を反転することで法線の向きを反転させる。

すべての断面で法線を計算した後、抽出範囲設定部１１４は抽出方向Ｄ_［ｉ］を計算する。抽出方向Ｄ_［ｉ］＝（Ｄ_ｘ，Ｄ_ｙ，Ｄ_ｚ）は、

で計算される。

以上、結節表面の画素の法線に基づいて抽出方向Ｄ_［ｉ］を設定する方法について述べたが、抽出方向Ｄ_［ｉ］の設定方法は上述の方法に限定されるものではない。他の方法として、Ｍａｒｃｈｉｎｇ−ｃｕｂｅｓ法を用いた方法がある。例えば、抽出範囲設定部１１４は、最初に、Ｍａｒｃｈｉｎｇ−ｃｕｂｅｓ法を用いて、結節領域の表面を三角形パッチの集合で近似する。次に、抽出範囲設定部１１４は、生成された三角形パッチの集合からＰ^{ｓｕｒｆａｃｅ} _［ｉ］を覆う三角形パッチを取得し、さらにその三角形パッチに直交する方向を計算する。こうして得られた方向を、Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］における抽出方向Ｄ_［ｉ］とする。

さらに抽出方向Ｄ_［ｉ］を設定するための別の方法として、局所画像の濃度勾配を用いてもよい。今、局所画像をＩ_ｖｏｉで表す。すると、抽出方向Ｄ_［ｉ］はＰ^{ｓｕｒｆａｃｅ} _［ｉ］におけるＩ_ｖｏｉのｘ，ｙ，ｚの偏微分値、

で与えられる。

また、抽出方向Ｄ_［ｉ］を設定するための別の方法として、局所結節マスク画像中の結節領域の重心（第１領域の重心）を利用してもよい。今、局所結節マスク画像における結節領域の重心位置をＧ^{ｎｏｄｕｌｅ}’＝（Ｇ^{ｎｏｄｕｌｅ’} _ｘ，Ｇ^{ｎｏｄｕｌｅ’} _ｙ，Ｇ^{ｎｏｄｕｌｅ’} _ｚ）とする。すると、Ｄ_［ｉ］は、

で計算される。すなわち、重心と第１領域の輪郭上の所定の点とを結ぶ方向を抽出方向としてもよい。

さらに結節表面の法線に基づいて決定した抽出方向（数式３または数式４）と、結節領域の重心位置に基づいて決定した抽出方向（数式５）の少なくとも一方に対して重みをつけて足し合わせて抽出方向Ｄ_［ｉ］を設定してもよい。なお、これらの抽出方向に重みをつけることは必須ではなく重みをつけないこととしてもよい。すなわち、第１領域の輪郭上の所定の点における法線方向および第１領域の重心と第１領域の輪郭上の所定の点とを結ぶ方向を抽出方向としてもよい。また、前記法線方向および第１領域の重心と第１領域の輪郭上の所定の点とを結ぶ方向の和または前記法線方向および第１領域の重心と第１領域の輪郭上の所定の点とを結ぶ方向の少なくとも一方に重み付けを行った後の前記法線方向および第１領域の重心と第１領域の輪郭上の所定の点とを結ぶ方向の和を抽出方向としてもよい。

本実施形態では、ステップＳ１３０で結節マスク画像中の結節領域の重心位置を中心とする範囲で局所結節マスク画像の切り出しを行っているため、局所結節マスク画像の中心に結節領域の重心位置が位置しているはずである。今、局所結節マスク画像の画像サイズをＷ_{Ｍｎｏｄｕｌｅ}ｘＨ_{Ｍｎｏｄｕｌｅ}ｘＤ_{Ｍｎｏｄｕｌｅ}とする。すると、Ｇ^{ｎｏｄｕｌｅ}’はＧ^{ｎｏｄｕｌｅ}’＝（Ｇ^{ｎｏｄｕｌｅ’} _ｘ，Ｇ^{ｎｏｄｕｌｅ’} _ｙ，Ｇ^{ｎｏｄｕｌｅ’} _ｚ）＝（Ｗ_{Ｍｎｏｄｕｌｅ}／２，Ｈ_{Ｍｎｏｄｕｌｅ}／２，Ｄ_{Ｍｎｏｄｕｌｅ}／２）で計算される。一方、もし局所結節マスク画像の中心に結節領域が位置していない場合は、ステップＳ１３０で実施した処理と同じ処理を局所結節マスク画像に適用することで、抽出範囲設定部１１４は局所結節マスク画像における結節領域の重心位置Ｇ^{ｎｏｄｕｌｅ}’を取得することが可能である。

抽出方向Ｄ_［ｉ］の決定に結節領域の重心位置を用いる利点は、結節表面の法線の局所的な変化に対して抽出方向Ｄ_［ｉ］を安定的に決定するためである。結節は全体としては球形もしくは楕円体の形状であるが、結節表面には小さな凹凸が多数存在する。そのため、結節表面から得られる情報のみに基づいて抽出方向Ｄ_［ｉ］を決定すると、結節表面の小さな凹凸の影響で抽出方向Ｄ_［ｉ］が近傍の胸膜の方向に向かないことがある。

しかしながら、結節領域の重心位置は結節表面の小さな凹凸の影響を受けず、比較的安定して取得することが出来る。そのため、数式５のように、結節領域の重心位置を利用して抽出方向Ｄ_［ｉ］を決定した場合、結節表面の小さな凹凸の影響を除外することができる。その結果として、抽出方向Ｄ_［ｉ］が近傍の胸膜の方向を向くことが期待される。

また、抽出範囲設定部１１４は、単純に結節表面の画素から胸膜領域４３１を構成する画素までの距離が最小となる方向を抽出方向Ｄ_［ｉ］としてもよい。すなわち、第１領域の輪郭上の所定の点から第２領域までの距離に基づいて抽出方向Ｄ_［ｉ］が定められることとしてもよい。具体的には、第１領域の輪郭上の所定の点から第２領域までの距離が最小となる方向を抽出方向Ｄ_［ｉ］としてもよい。

以上の処理で得た抽出方向Ｄ_［ｉ］は、抽出範囲設定部１１４により記憶部１３０に格納される。

（ステップＳ１８０）
ステップＳ１８０において、抽出範囲設定部１１４は結節表面の画素Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］に対して抽出範囲を設定する。図５（ｃ）を参照して、抽出範囲の設定について説明する。図５（ｃ）では、画素５２１を現在注目している結節表面の画素Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］とする。すると、本ステップでは、抽出範囲設定部１１４は画素５２１に対して抽出範囲を設定することになる。また、矢印５２２がステップＳ１７０で設定された抽出方向Ｄ_［ｉ］である。

本実施形態に係る画像処理装置１００では、例えば、抽出範囲を「結節表面の画素Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］を基点とし、抽出方向Ｄ_［ｉ］から所定の角度（抽出角度）の範囲内の領域」とする。すなわち、抽出範囲設定部１１４は、第３領域を抽出するための範囲を、第１領域に基づいて定まる方向を基準として所定の幅を有する範囲に制限する。

より具体的には、抽出範囲は、結節表面の画素を基点とし、抽出方向に進むに従い徐々に開がりを持つ領域として定義される。すなわち、抽出範囲設定部１１４は、前記所定の幅を第２領域に近づくほど広くする。以下では、抽出範囲設定部１１４は抽出範囲として円錐の領域を設定する場合を説明する。

最初に、抽出範囲設定部１１４はデータサーバ１４０から抽出角度の値θを取得する。抽出角度の詳細については後述する。

次に、抽出範囲設定部１１４は抽出範囲を定義する境界を配置する。境界は結節領域の外側で、かつ肺野領域内に配置される。さらに、境界は抽出方向とのなす角度が抽出角度θとなるように配置される。すなわち、抽出範囲設定部１１４は、第１領域と第２領域とを繋いでいる第３領域の抽出を、第１領域に基づいて定まる方向を含む範囲に制限する制限手段の一例に相当する。ここで、第３領域は胸膜の引き込みを示す領域である。図５（ｃ）を参照して抽出範囲の設定方法について説明すると、線分５２３と線分５２４が抽出範囲を定義する境界である。線分５２３と線分５２４は現在の注目画素５２１を基点として、結節領域の外側で、かつ肺野領域内に設定される。そして、線分５２３と線分５２４は抽出方向５２２とのなす角度が抽出角度θになるように配置される。なお、図５（ｃ）中の角度５２５と角度５２６が抽出角度θを表している。

抽出範囲を定義する境界を設定した後、抽出範囲設定部１１４は抽出範囲を設定する。抽出範囲は、抽出範囲を定義する境界と胸膜領域で囲まれた領域とする。図５（ｃ）では、画素５２１を基点とし、線分５２３と線分５２４、および局所胸膜マスク画像中の胸膜領域５２７で囲まれた範囲５２８が抽出範囲となる。取得した抽出範囲は、記憶部１３０に格納される。

図面の制約から図５（ｃ）の抽出範囲５２８は扇形で示されているが、現在処理している画像はすべて３次元画像であるため、抽出範囲５２８は画素５２１を頂点とする円錐となることに注意されたい。もし処理している画像が２次元画像の場合は、抽出範囲５２７は画素５２１を頂点とする扇形となる。なお、図５（ｃ）では抽出範囲を抽出方向Ｄ_［ｉ］に対して対称な形状として描いたが、必ずしも対称な形状である必要はない。例えば、結節の肺野領域内での位置や抽出方向Ｄ_［ｉ］の向きに基づいて、非対称な形状としてもよい。抽出範囲を非対称な形状にする場合は、角度５２５と角度５２６を異なる値とする。

ここで、抽出角度について説明する。第１の実施形態に係る画像処理装置１００では、すべての結節表面の画素について共通の抽出角度を使用する。抽出角度はデータサーバ１４０に格納されている。そこで、ステップＳ１８０において、抽出範囲設定部１１５は最初にデータサーバ１４０から抽出角度を取得する。その後、抽出範囲設定部１１５は上述の通り抽出範囲を設定する。

次に、抽出角度の決定方法について説明する。抽出角度の決定には、例えば、事前に収集した複数の学習用画像を利用する。ここで、学習用画像とは胸膜引き込みが含まれる画像である。画像処理装置１００は、それぞれの学習用画像に存在する胸膜引き込みについて、結節に接している点（結節端）と胸膜に接している点（胸膜端）を取得する。なお、結節端および胸膜端はユーザにより決定されることとしてもよい。そして、ステップＳ１７０で説明した方法で画像処理装置１００は結節端における抽出方向Ｄ_［ｉ］を求める。抽出方向Ｄ_［ｉ］を求めた後、画像処理装置１００は結節端から胸膜端に向かう方向と抽出方向Ｄ_［ｉ］とのなす角度を求める。ここまでの処理により、学習用画像のすべての胸膜引き込みについて、結節端から見た胸膜端の位置が抽出方向Ｄ_［ｉ］からの角度で表現される。次に、画像処理装置１００は得られた角度に基づいて抽出角度の値を決定する。今、得られた角度の最小値と最大値をθ_ｍｉｎ，θ_ｍａｘとすると、画像処理装置１００は最初に範囲［θ_ｍｉｎ，θ_ｍａｘ］の中で値を一つ選択する。そして、第１の実施形態に係る画像処理装置１００が実施する処理ステップＳ１１０からＳ２００を学習用画像中のすべての結節に適用し、胸膜引き込み領域を実際に抽出する。このとき、先ほど選択した値を仮の抽出角度として利用して胸膜引き込み領域の抽出を行う。抽出の後、画像処理装置１００は仮の抽出角度での胸膜引き込み領域の抽出精度を計算する。この処理を範囲［θ_ｍｉｎ，θ_ｍａｘ］の様々な値で実行し、画像処理装置１００はそれぞれの値について胸膜引き込み領域の抽出精度を求める。なお、抽出精度はユーザが判定することとしてもよい。そして、画像処理装置１００は最も抽出精度が高い抽出角度をステップＳ１８０で使用する抽出角度とする。なお、ステップＳ１８０で使用する抽出角度はユーザが選択することとしてもよい。上述の処理で得られた抽出角度は、データサーバ１４０に保存される。最後に、ここで述べた抽出角度の決定処理は、例えば、第１の実施形態に係る画像処理装置１００を構築する段階で１度だけ実施すればよく、元画像を処理する段階では実施する必要がないことに注意されたい。

ここまで、抽出範囲が円錐（元画像が２次元画像の場合は扇形）である場合を説明したが、抽出範囲の形状は円錐（扇形）には限らない。例えば、抽出範囲の形状を三角錐や四角錐などの角錐で表現してもよい。この場合、結節表面の画素Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］を頭頂点とし、抽出方向Ｄ_［ｉ］を角錐の底面への垂線とする。そして、抽出角度で底面の広がり（抽出範囲の広がり）を表す。また、抽出範囲を抽出方向Ｄ_［ｉ］をひとつの軸とする直方体（元画像が２次元画像の場合は長方形）で表現してもよい。この場合も、抽出角度で底面の広がりを表現することが可能である。

さらに、抽出範囲の形状を、結節表面の画素Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］を基点とし、抽出方向Ｄ_［ｉ］の方向に開いた二次曲面（楕円放物面や双曲面）で表現してもよい。この場合、抽出範囲は抽出角度ではなく二次曲面を数式表現した時の係数で表される。すなわち、抽出範囲はａｘ^２＋ｂｙ^２＋ｃｚ^２＋２ｄｘｙ＋２ｅｙｚ＋２ｆｚｘ＋２ｇｘ＋２ｈｙ＋２ｉｚ＋ｊ＝０の係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ）で表現される。同様に、元画像が２次元画像の場合は、二次曲線（放物線や双曲線）で囲まれた領域でもよい。この場合は、抽出範囲をａｘ^２＋ｂｙ^２＋２ｃｘｙ＋２ｄｘ＋２ｅｙ＋ｆ＝０の係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）で表現する。

（ステップＳ１９０）
ステップＳ１９０において、抽出範囲設定部１１４は抽出範囲内に胸膜が存在することを確認する。本ステップでは、抽出範囲設定部１１４は最初に胸膜が存在していることを確認する範囲を設定する。以下、この範囲のことを胸膜存在確認範囲と呼ぶ。次に、胸膜存在確認範囲の中にステップＳ１２０で取得された胸膜領域が存在することを確認する。もし胸膜存在確認範囲の中に胸膜領域が存在している場合、画像処理装置１００はステップＳ２００を実行する。逆に、胸膜存在確認範囲の中に胸膜領域が存在していない場合、画像処理装置１００はステップＳ１５０を実行する。すなわち、第３領域を抽出するための範囲に第２領域が存在しない場合には、抽出手段は第３領域の抽出を行わない。

具体的な処理手順の一例について説明する。今、ステップＳ１８０において、図５（ｃ）の画像５２０の画素５２１について抽出範囲５２８が設定されている。本ステップでは、抽出範囲設定部１１４は最初に抽出範囲５２８を抽出方向５２２に沿って画像の端まで延長させる。より具体的には、抽出範囲５２８を定義している境界５２３と境界５２４を画像の端まで延長させる。図６（ａ）の画像６００に、境界５２３と境界５２４を延長させた時の様子を示す。画像６００中の画素６０１、抽出方向６０２、抽出範囲の境界６０３、同６０４および抽出範囲６０５はそれぞれ、画像５２０の画素５２１、抽出方向５２２、境界５２３、境界５２４および抽出範囲５２８と同一である。また、太線６０６、太線６０７および太線６０８はステップＳ１２０で取得された胸膜領域である。本ステップでは、抽出範囲設定部１１４は境界５２３（図６（ａ）では境界６０３）と境界５２４（境界６０４）をそれぞれ延長させる。延長された境界が、境界６０９と境界６１０である。このように境界を延長させることにより、境界６０９と境界６１０に囲まれた領域６１１が新たに生じる。こうして得られた領域６１１と抽出範囲６０５を胸膜存在確認範囲とする。

次に、抽出範囲設定部１１４は胸膜存在確認範囲（領域６０５と領域６１１）に胸膜領域６０６、胸膜領域６０７および胸膜領域６０８のうち少なくともいずれかの領域が存在するか否かを確認する。本図では、胸膜領域６０７が胸膜存在確認範囲の中に存在していることが分かる。そのため、抽出範囲設定部１１４は胸膜存在確認範囲に胸膜領域が存在していると判定する。そして、本ステップの終了後、画像処理装置１００はステップＳ２００を実行する。

本ステップでの処理の効果を理解するために、図６（ｂ）では胸膜存在確認範囲の中に胸膜領域が存在しない例を示している。図６（ｂ）の画像６２０では、画素６２１について胸膜存在確認範囲６２２が設定されている。今、胸膜存在確認範囲６２２には胸膜領域６２３がまったく存在しない。このような場合は、抽出範囲設定部１１４は胸膜存在確認範囲に胸膜領域が存在していないと判定するため、本ステップの終了後、画像処理装置１００はステップＳ１５０を実行する。

（ステップＳ２００）
ステップＳ２００において、胸膜引き込み抽出部１１５は局所画像中に存在する胸膜引き込み領域を抽出する。局所画像（ＣＴ画像）では、胸膜引き込みは一定画素値を有する線状構造物、もしくは面状構造物として描画される。そこで、胸膜引き込み抽出部１１５は、例えば領域拡張法を用いて胸膜引き込み領域を抽出する。なお、胸膜引き込み抽出部１１５は領域拡張法以外の公知の種々の手法を用いることとしてもよい。

領域拡張法における拡張開始点は、結節表面の画素Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］とする。拡張条件は以下の３つの条件をすべて満たすことである。（条件１）拡張候補画素が局所肺野マスク画像中の肺野領域内に存在する。（条件２）拡張候補画素の画素値が所定の範囲内にある。（条件３）拡張候補画素がステップＳ１８０で設定された抽出範囲内に存在する。とくに条件３の拡張条件が、本実施形態における胸膜引き込み領域の抽出処理で特徴的な条件となる。条件３は、胸膜引き込み抽出部１１５がステップＳ１８０で設定された抽出範囲内で胸膜引き込み領域を抽出することを示すものである。すなわち、胸膜引き込み抽出部１１５は、制限手段により制限された範囲内において第３領域を抽出する抽出手段の一例に相当する。なお、拡張の停止条件は、「拡張候補画素が存在しない」である。

領域拡張処理が終了した後、胸膜引き込み抽出部１１５は抽出された領域が局所胸膜画像中の胸膜領域に到達していることを確認する。もし抽出された領域が胸膜領域に到達している場合は、胸膜引き込み抽出部１１５は、その領域を胸膜引き込み候補領域Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］とし、さらに以下の処理を実行する。逆に抽出された領域が胸膜領域に到達していない場合は、胸膜引き込み領域は存在しなかったと見なし、以下の処理を実行することなくステップＳ１５０に戻る。なお、胸膜引き込み抽出部１１５は、拡張条件の条件３を用いずに領域拡張法を実行した後に、領域拡張法により抽出された領域のうち抽出範囲内に収まる領域に対して局所胸膜画像中の胸膜領域に到達していることを確認することとしてもよい。

胸膜引き込み候補領域Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］を取得した後、胸膜引き込み抽出部１１５はその領域が本当に胸膜引き込みであることを確認する。胸膜引き込みは、直線的、もしくは平面的な形状を有している。このような特徴を考慮して、胸膜引き込み抽出部１１５は例えば２つの判定条件を評価して、胸膜引き込み候補領域Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］が本当に胸膜引き込みであることを確認する。

第１の判定条件は、「胸膜引き込み候補領域Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］の長さが所定の長さよりも短い」である。今、Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］に属する画素のうち、胸膜領域に接している画素をＰ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］}とする。ただし、ｊ＝１，２，．．．，Ｎ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］であり、Ｎ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］は胸膜領域に接している画素の数である。また、マスク領域Ｍ中に存在する２点ａ，ｂについて、ａ，ｂ間のマスク領域内での最短距離を返す関数をｄｉｓｔ（ａ，ｂ；Ｍ）とする。すると、Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］の長さＤｉｓｔ_［ｉ］は、

で計算される。胸膜引き込み抽出部１１５は、数式６で計算されるＤｉｓｔ_［ｉ］が所定の長さＴ^{ｉｎｄｅｎｔａｔｉｏｎ}よりも小さな値である場合に、第１の判定条件は満たされていると見なす。

Ｔ^{ｉｎｄｅｎｔａｔｉｏｎ}の値は、例えば事前に収集した複数の学習用画像から決定される。すなわち、それぞれの学習用画像に存在する胸膜引き込み領域を本実施形態に係る画像処理装置１００で抽出を行ったときに、もっとも高い精度で胸膜引き込み領域を抽出するＤｉｓｔ_［ｉ］へのしきい値をＴ^{ｉｎｄｅｎｔａｔｉｏｎ}として採用する。なお、もっとも高い精度で胸膜引き込み領域を抽出するＤｉｓｔ_［ｉ］へのしきい値は画像処理装置１００が決定してもよいし、ユーザが決定することとしてもよい。なお、当該しきい値は、例えば、データサーバ１４０に保存される。

第２の判定条件は、「胸膜引き込み候補領域Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］に属するそれぞれの画素で、領域の走行方向の変化率が所定の値より小さい」である。今、Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］に属する画素のうち、Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］を始点としＰ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］}を終点とする画素をＰ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］［ｋ］}とする。ここで、ｋ＝１，２，．．．，ｄｉｓｔ（Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］，Ｐ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］}；Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］）である。次に、胸膜引き込み抽出部１１５はＰ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］［ｋ］}からｄ画素（ｄ＞０）だけ離れた２つの画素を参照して、Ｐ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］［ｋ］}におけるＭ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］の走行方向ｖ^１ _{［ｉ］［ｊ］［ｋ］}とｖ^２ _{［ｉ］［ｊ］［ｋ］}を求める。ここで、ｖ^１ _{［ｉ］［ｊ］［ｋ］}はｖ^１ _{［ｉ］［ｊ］「ｋ」}＝Ｐ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］［ｋ＋ｄ］}−Ｐ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］［ｋ］}で計算される。そして、ｖ^２ _{［ｉ］［ｊ］［ｋ］}はｖ^２ _{［ｉ］［ｊ］「ｋ」}＝Ｐ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］［ｋ］}−Ｐ^{ｉｎｄｅｎｔａｔｉｏｎ} _{［ｉ］［ｊ］［ｋ−ｄ］}で計算される。ｖ^１ _{［ｉ］［ｊ］［ｋ］}とｖ^２ _{［ｉ］［ｊ］［ｋ］}より、変化率は

で計算される。胸膜引き込み抽出部１１５は、数式７で計算されるθ_［ｉ］が所定の値Ｔ^{ｄｉｒｅｃｔｉｏｎ}よりも小さな値である場合に、第２の判定条件は満たされていると見なす。なお、Ｔ^{ｄｉｒｅｃｔｉｏｎ}の値は、例えば、Ｔ^{ｉｎｄｅｎｔａｔｉｏｎ}と同様、事前に収集した複数の学習用画像から決定する。

胸膜引き込み抽出部１１５は、胸膜引き込み候補領域Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］について、以上で説明した２つの判定条件を評価する。そして、２つの判定条件が満たされている場合には、胸膜引き込み抽出部１１５は、胸膜引き込み候補領域Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］を胸膜引き込みであると見なす。なお、本実施形態においては胸膜引き込みであるか否かを判定する判定条件として上記の２つの判定条件を用いたが何れか一方のみを用いることとしてもよいし、他の判定条件を用いることとしてもよい。抽出精度の要求に応じては、上記の判定条件を用いないこととしてもよい。

最後に、胸膜引き込み抽出部１１５は取得された胸膜引き込み領域Ｍ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｉ］をマスク画像（局所胸膜引き込みマスク画像）に格納する。生成された局所胸膜引き込みマスク画像は記憶部１３０に格納される。

（ステップＳ２１０）
ステップＳ１５０〜２００の処理が結節表面の据えての画素に対して繰返し実行された後に、ステップＳ２１０において、画像サイズ変更部１１２は記憶部１３０より局所胸膜引き込みマスク画像を取得する。そして、画像サイズ変更部１１２は局所胸膜引き込みマスク画像を元画像と同じ画像サイズに変更する。なお、ステップＳ１３０の処理を実行しなかった場合は、本ステップの処理を行う必要はない。

ステップＳ１３０において、元画像中の２点（ｘ_１，ｙ_１，ｚ_１），（ｘ_２，ｙ_２，ｚ_２）を対角線とする直方体の範囲を切り出して局所画像を生成したとする。ここでｘ_１，ｘ_２，ｙ_１，ｙ_２，ｚ_１，ｚ_２は１＜＝ｘ_１＜ｘ_２＜＝Ｗ_Ｉ，１＜＝ｙ_１＜ｙ_２＜＝Ｈ_Ｉ，１＜＝ｚ_１＜ｚ_２＜＝Ｄ_Ｉを満たす正の整数である。また、Ｗ_Ｉ，Ｈ_Ｉ，Ｄ_Ｉはそれぞれ元画像のＸ，Ｙ，Ｚ方向の画素数である。

本ステップにおいて、画像サイズ変更部１１２は最初に元画像と同じ画像サイズＷ_ＩｘＨ_ＩｘＤ_Ｉのマスク画像を作成する。このマスク画像の画素値は、すべて胸膜引き込み外画素とする。次に、画像サイズ変更部１１２はこのマスク画像の（ｘ_１，ｙ_１，ｚ_１），（ｘ_２，ｙ_２，ｚ_２）を対角線とする直方体の範囲に、局所胸膜引き込みマスク画像の画素値をコピーする。最後に、画像サイズ変更部１１２は得られたマスク画像（胸膜引き込みマスク画像）を記憶部１３０に格納する。

以上の手順に従い、第１の実施形態に係る画像処理装置１００は胸膜引き込みの抽出処理を行う。

第１の実施形態にかかる画像処理装置１００では、胸膜引き込みの特徴に基づいて抽出範囲を限定しているため、画像から胸膜引き込み領域を従来に比べて高い精度で抽出することが可能となる。より具体的には、第１の実施形態に係る画像処理装置１００では、結節表面の各画素について抽出方向を設定し、さらに抽出方向に基づいて抽出範囲を設定した。そして、抽出範囲内で胸膜引き込み領域の抽出を行った。抽出方向は結節表面の法線と結節領域の重心を用いて設定される。このように抽出方向を設定すると、抽出方向は結節表面の各画素で近傍の胸膜の方向を向くことが期待される。また、抽出範囲は、結節表面の画素を基点とし、抽出方向に進むに従い徐々に開がりを持つ領域として定義される。このように設定された抽出方向および抽出範囲は、結節に引き込まれた胸膜（胸膜引き込み）が存在する可能性が高い領域を適切に覆う。さらに本実施形態に係る画像処理装置１００では抽出領域に基づいて胸膜存在確認範囲を設定し、この胸膜存在確認範囲の中に胸膜が存在している場合のみ、胸膜引き込み領域の抽出を行う。以上の処理により、本実施形態に係る画像処理装置１００は胸膜引き込みと結節の周りに存在するその他の解剖学的構造物を区別することが可能となる。その結果、画像から胸膜引き込み領域を高い精度で抽出することが可能となる。

＜変形例＞
上述の画像処理装置１００はステップＳ１３０において元画像の一部分を切り出し、切り出された画像（局所画像）から胸膜引き込み領域を抽出していた。そして、画像処理装置１００は、抽出された胸膜引き込み領域をマスク画像（局所胸膜引き込みマスク画像）の形式で保存し、そのマスク画像を元画像のサイズに戻すことにより、元画像中の胸膜引き込み領域を抽出していた。

ステップＳ１３０の処理は、記憶部１３０の使用量や、画像処理に費やす計算時間の削減を目的として行うが、第１の実施形態に係る画像処理装置の効果の観点からは必須の処理ではない。そのため、計算機資源の削減の必要性が低い場合は、画像処理装置１００はステップＳ１３０の処理を実行しなくてもよい。すなわち、画像処理装置１００に画像サイズ変更部１１２は必須の構成ではなく、本変形例における画像処理装置は画像サイズ変更部１１２を有さない。なお、本変形例における画像処理装置は、画像サイズ変更部１１２を有さないこと以外は画像処理装置１００と同様の構成である。

ステップＳ１３０の処理を実行しない場合、本変形例における画像処理装置の抽出処理制御部１１３、抽出範囲設定部１１４および胸膜引き込み抽出部１１５は、ステップＳ１４０、Ｓ１５０、Ｓ１６０、Ｓ１７０、Ｓ１８０、Ｓ１９０、Ｓ２００において元画像、肺野マスク画像、結節マスク画像、胸膜マスク画像を処理する。そして、本変形例における画像処理装置１００はステップＳ２１０の処理を実行しない。

以上の方法によれば、本変形例における画像処理装置は、肺野領域全体が写っている画像（元画像）から画像の切り出しを行うことなく、胸膜引き込みと結節の周りに存在するその他の解剖学的構造物を区別することが可能となる。また、本変形例における画像処理装置は、もともと肺野領域の一部と結節領域しか写っていない画像においても胸膜引き込みと結節の周りに存在するその他の解剖学的構造物を区別することが可能となる。その結果、これらの画像において胸膜引き込み領域を高い精度で抽出することが可能となる。

＜第２の実施形態＞
第２の実施形態に係る画像処理装置でも、抽出範囲を設定し、その範囲内で胸膜引き込みの抽出を行う。ただし、第１の実施形態に係る画像処理装置１００とは２つの相違点がある。１つ目の相違点は、抽出範囲の設定方法である。第２の実施形態に係る画像処理装置では、抽出範囲は結節表面の画素と抽出方向に加え、結節表面の画素からの距離（抽出距離）によって抽出範囲が決定される。この抽出距離は結節領域の性状に基づいて決定される。２つ目の相違点は、抽出範囲をそのまま胸膜存在確認範囲として利用する点である。

以下、第２の実施形態に係る画像処理装置について説明する。本実施形態の画像処理装置の機能構成は、第１の実施形態に係る画像処理装置１００に準じる。次に図７を参照して、本実施形態の画像処理装置の処理手順の一例を説明する。本実施形態に係る画像処理装置は、第１の実施形態に係る画像処理装置１００で実行されるステップＳ１１０、Ｓ１２０の処理を実施する。その後、ステップＳ１３０（元画像の画像サイズの変更）の処理を実行するかわりに、以下で説明するステップＳ１０３０の処理を実行する。

（ステップＳ１０３０）
ステップＳ１０３０において、抽出範囲設定部１１４は抽出距離を設定する。抽出距離は、結節の性状に基づいて設定される。

結節の性状のいくつかが、胸膜引き込みが存在する領域と関係している。その１つが結節の半径である。一般に、小さな結節は結節の近くに存在する正常胸膜を引き込む。逆に、大きな結節は近くの正常胸膜に加えて、遠くの正常胸膜も引き込む。このような性質を考慮して、ステップＳ１０３０の一例では結節の半径に基づいて抽出距離を設定する。なお、結節の大きさを示す指標であれば、半径以外の直径等の他の指標を用いることとしてもよい。すなわち、抽出範囲設定部１１４は、第３領域を抽出するための範囲の大きさを、第１領域の特徴（第１領域の半径または直径で規定される大きさ）に基づいて定める。

はじめに、抽出範囲設定部１１４は結節マスク画像中の結節領域から結節の平均半径を計算する。ここで結節の平均半径は公知の単純な画像処理で計算可能であるため、説明を省略する。

結節の平均半径の計算が終わった後、抽出範囲設定部１１４はデータサーバ１４０から抽出距離と結節の半径の組の集合（Ｒ^{ｎｏｄｕｌｅ} _［ｋ］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］）を取得する。ここで、ｋ＝１，２，．．．，Ｎ_ｓｅｔであり、Ｎ_ｓｅｔはデータサーバ１４０に格納されている抽出距離と結節の半径の組の数を表す。（Ｒ^{ｎｏｄｕｌｅ} _［ｋ］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］）の値の間には、半径Ｒ^{ｎｏｄｕｌｅ}の結節が胸膜引き込みを有する時、その胸膜引き込みの典型的な長さがＲ^{ｉｎｄｅｎｔａｔｉｏｎ}である、という関係がある。具体的には、Ｒ^{ｎｏｄｕｌｅ}が大きいほどＲ^{ｉｎｄｅｎｔａｔｉｏｎ}が大きくなるという関係がある。すなわち、抽出範囲設定部１１４は、第１領域の大きさが大きいほど第３領域を抽出するための範囲の大きさを大きくする。

このような関係を持つ抽出距離と結節の半径の組を複数個、事前にデータベース１４０に格納しておく。そして、ステップＳ１０３０で抽出範囲設定部１１４はデータベース１４０から（Ｒ^{ｎｏｄｕｌｅ} _［ｋ］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］）を取得する。

次に、抽出範囲設定部１１４は、それぞれのＲ^{ｎｏｄｕｌｅ} _［ｋ］と結節の平均半径を比較することにより、結節の平均半径にもっとも近い結節の半径Ｒ^{ｎｏｄｕｌｅ} _［ｋ’］を探す。ここで、１＜＝ｋ’＜＝Ｎ_ｓｅｔである。そして、抽出範囲設定部１１４は、Ｒ^{ｎｏｄｕｌｅ} _［ｋ’］に対応付けられているＲ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ’］を取得する。こうして得られたＲ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ’］を抽出距離とする。取得した抽出距離Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ’］は、記憶部１３０に格納される。

ここで、データサーバ１４０に格納されている抽出距離と結節の半径の組の集合（Ｒ^{ｎｏｄｕｌｅ} _［ｋ］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］）について、さらに説明する。これらの値の組は、例えば、事前に収集された複数の学習用画像から決定される。はじめに、それぞれの学習用画像について、抽出範囲設定部１１４は、その画像中に存在する結節の半径と胸膜引き込みの長さを計測する。ここで、胸膜引き込みの長さとは、例えば胸膜引き込みの結節端から胸膜端までの距離のことである。次に、抽出範囲設定部１１４は、結節の半径に応じて結節を分類する。例えば、結節の半径が５ｍｍ未満の結節をグループ１に、５ｍｍ以上１０ｍｍ未満の結節をグループ２に、．．．、４５ｍｍ以上５０ｍｍ未満の結節をグループ１０に、５０ｍｍ以上の結節をグループ１１に分類する。すべての結節を半径に基づいて分類した後、抽出範囲設定部１１４は、それぞれの結節のグループについて、胸膜引き込みの長さの平均値を計算する。そして、抽出範囲設定部１１４は、計算された胸膜引き込みの長さの平均値とそのグループの結節の半径の代表値を１組の値とする。ここで、結節の半径の代表値とはそれぞれのグループを定義している結節の半径の範囲の中間値とすればよい。例えば、グループ２の結節（５ｍｍ以上１０ｍｍ未満の結節）であれば、Ｒ^{ｎｏｄｕｌｅ} _［２］＝７．５ｍｍとする。抽出範囲設定部１１４は、このようにして得られた結節の半径の代表値と胸膜引き込みの長さの平均値を、順番に１組の値（Ｒ^{ｎｏｄｕｌｅ} _［ｋ］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］）としてデータサーバ１４０に格納する。

以上、平均半径に基づいて抽出距離を設定する処理について説明を行ってきた。次に、ステップＳ１０３０において、抽出距離に加えて抽出角度も結節の平均半径に基づいて設定する処理の一例について説明を行う。抽出角度を結節の平均半径に基づいて設定する場合には、抽出範囲設定部１１４は結節の平均半径の計算が終わった後、データサーバ１４０から３つの値、結節の半径、抽出距離、抽出角度の組の集合（Ｒ^{ｎｏｄｕｌｅ} _［ｋ］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］，θ_［ｋ］）を取得する。ただし、ｋ＝１，２，．．．，Ｎ_ｓｅｔである。（Ｒ^{ｎｏｄｕｌｅ} _［ｋ］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］，θ_［ｋ］）を取得した後は、平均半径に基づいて抽出距離を設定する処理と同様である。すなわち、平均半径Ｒ^{ｎｏｄｕｌｅ}に結節の平均半径Ｒ^{ｎｏｄｕｌｅ}に対応する値（例えば平均半径Ｒ^{ｎｏｄｕｌｅ}に最も近い）の組（Ｒ^{ｎｏｄｕｌｅ} _［ｋ’］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ’］，θ_［ｋ’］）を取得し、その組に含まれている角度θ_［ｋ’］を抽出角度として利用する。ここで、１＜＝ｋ’＜＝Ｎ_ｓｅｔである。取得した抽出角度θ_［ｋ’］は、記憶部１３０に格納される。そして、ステップＳ１０８０において抽出角度として利用される。

データサーバ１４０に格納する（Ｒ^{ｎｏｄｕｌｅ} _［ｋ］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］，θ_［ｋ］）の値は、例えば、事前に収集された複数の学習用画像から決定される。はじめに、抽出範囲設定部１１４は、Ｒ^{ｎｏｄｕｌｅ} _［ｋ］とＲ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］の値を、（Ｒ^{ｎｏｄｕｌｅ} _［ｋ］，Ｒ^{ｉｎｄｅｎｔａｔｉｏｎ} _［ｋ］）の決定方法と同様の方法で決定する。次に、抽出範囲設定部１１４は、θ_［ｋ］の値を第１の実施形態に係る画像処理装置１００での抽出角度の決定方法を用いて決定する。この決定方法の詳細については、ステップＳ１０３０の説明の中で述べた通りである。なお、θ_［ｋ］の値の決定では、Ｒ^{ｎｏｄｕｌｅ} _［ｋ］を代表値とするグループｋに属する結節を利用することに注意されたい。

以上で、ステップＳ１０３０の処理の説明を終える。なお、上記の例では結節の平均半径に基づいて、抽出距離および抽出角度を決定することとしたが、いずれか一方のみを決定することとしてもよい。例えば、抽出範囲設定部１１４は、結節の平均半径に基づいて抽出距離および抽出角度のうち抽出距離のみを決定し、抽出角度は第１の実施形態と同様の方法で決定することとしてもよい。

ステップＳ１０３０の処理を実行した後、第２の実施形態に係る画像処理装置はステップＳ１０４０、Ｓ１０５０、Ｓ１０６０の処理を実行する。これらのステップでの処理は、第１の実施形態に係る画像処理装置１００におけるステップＳ１４０、Ｓ１５０、Ｓ１６０と同等である。ただし、これらのステップでは局所画像、局所肺野マスク画像、局所結節マスク画像、局所胸膜マスク画像ではなく、元画像、肺野マスク画像、結節マスク画像、胸膜マスク画像を処理する。これは、第２の実施形態に係る画像処理装置ではステップＳ１３０の処理（元画像の画像サイズの変更）を実施しないためである。

ステップＳ１０４０、Ｓ１０５０、Ｓ１０６０の処理を実行した後、第２の実施形態に係る画像処理装置は次に説明するステップＳ１０７０の処理を実行する。

（ステップＳ１０７０）
ステップＳ１０７０において、抽出範囲設定部１１４は抽出方向Ｄ_［ｉ］を設定する。第２の実施形態に係る画像処理装置では、抽出方向は結節表面の画素と該画素からもっとも近い胸膜上の画素から決定される。

図８を参照して、抽出方向の設定方法の一例について説明する。図８の画像８００には、胸膜マスク画像中の胸膜領域８０１と同８０２、結節マスク画像中の結節領域８０３が重畳表示されている。これらはステップＳ１２０で取得されたものである。また、結節８０３の境界線８０４はステップＳ１０４０で取得された境界画素である。

今、ステップＳ１０６０において画素８０５に注目しているとする。抽出範囲設定部１１４は、胸膜領域の画素の中で結節表面上の注目画素に最も近い画素を探す。図８では、抽出範囲設定部１１４は、胸膜領域８０１と同８０２の画素の中で注目画素８０５に最も近い画素を探す。この処理により、注目画素８０５に最も近い画素として、胸膜領域８０１上の画素８０６が見つかる。

次に、抽出範囲設定部１１４は抽出方向Ｄ_［ｉ］を設定する。ここで、胸膜領域をＭ^{ｐｌｅｕｒａ}とする。そして、注目画素（画素８０５）の座標値をＰ^{ｓｕｒｆａｃｅ} _［ｉ］とする。また、画素Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］にもっとも近い胸膜の画素（画素８０６）の座標値をＰ^{ｐｌｅｕｒａ} _［ｌ］とする。ここでｌ＝１，２，．．．，＃（Ｍ^{ｐｌｅｕｒａ}）であり、＃（Ｍ^{ｐｌｅｕｒａ}）は胸膜領域に属する画素の数を表す。すると、抽出方向Ｄ_［ｉ］はＤ_［ｉ］＝Ｐ^{ｐｌｅｕｒａ} _［ｌ］−Ｐ^{ｓｕｒｆａｃｅ} _［ｉ］で計算される。図８では、画素８０５から画素８０６に向かう矢印８０７が抽出方向Ｄ_［ｉ］である。

以上で、ステップＳ１０７０の処理の説明を終える。

ステップＳ１０７０の処理を実行した後、ステップＳ１８０、Ｓ１９０の処理を実行せず、以下で説明するステップＳ１０８０とＳ１０９０を実行する。

（ステップＳ１０８０）
ステップＳ１０８０において、抽出範囲設定部１１４は抽出範囲を設定する。第２の実施形態に係る画像処理装置では、抽出範囲設定部１１４は、抽出範囲を、結節表面上の画素と抽出方向に加えて、ステップＳ１０３０で計算された抽出距離に基づいて決定する。

図８を参照して、抽出範囲の設定処理の一例について説明する。ステップＳ１０７０において、抽出方向Ｄ_［ｉ］が設定された。図８では矢印８０７が抽出方向Ｄ_［ｉ］を示している。

最初に、抽出範囲設定部１１４は抽出角度を取得する。もしステップＳ１０３０において抽出角度を結節の半径に基づいて設定した場合は、その値は記憶部１３０に格納されている。そこで、抽出範囲設定部１１４は記憶部１３０より抽出角度を取得する。逆に、ステップＳ１０３０で抽出角度の設定を行っていない場合は、第１の実施形態に係る画像処理装置１００でのステップＳ１８０での処理と同様、データサーバ１４０に格納されている抽出角度を使用することになる。そのため、抽出範囲設定部１１４はデータサーバ１４０より抽出角度を取得する。

次に、抽出範囲設定部１１４は記憶部１３０より抽出距離を取得する。

抽出角度と抽出距離を取得した後、抽出範囲設定部１１４は抽出範囲を定義する境界を設定する。ここで、境界は抽出方向Ｄ_［ｉ］とのなす角度が抽出角度と同じになるように設定される。図８では、矢印８０７が抽出方向Ｄ_［ｉ］である。そして、線分８０８と線分８０９が境界を表す。すると、矢印８０７と線分８０８とのなす角度は抽出角度と同じ値になるよう、線分８０８が設定される。同様に、矢印８０７と線分８０９のなす角度も抽出角度と同じ値となるよう、線分８０９が設定される。また、抽出範囲設定部１１４は、抽出範囲を定義する境界（線分８０８と線分８０９）の長さを、ステップＳ１０３０で取得した抽出距離と同じ長さにする。

最後に、抽出範囲設定部１１４は抽出範囲を設定する。ここまでの処理で、抽出範囲を定義する境界（線分８０８と線分８０９）が設定されている。この境界で囲まれた領域を抽出範囲とする。ここで、抽出範囲は結節表面上の画素から抽出距離以内の範囲とする。図８を参照して説明すると、領域８１０が抽出範囲である。本図を見ると分かる通り、抽出範囲８１０は、線分８０８と線分８０９に囲まれた領域になっている。そして、抽出範囲８１０は注目画素８０５から抽出距離以内の範囲になっている。

以上で、ステップＳ１０８０の処理の説明を終える。

（ステップＳ１０９０）
ステップＳ１０９０において、抽出範囲設定部１１４は胸膜存在確認範囲を設定する。そして、設定された胸膜存在確認範囲内に胸膜が存在することを確認する。胸膜存在確認範囲内で胸膜領域が存在している場合、ステップＳ２０００を実行する。逆に、胸膜領域が存在していない場合、ステップＳ１０５０を実行する。ここで、第２の実施形態にかかる画像処理装置では、ステップＳ１０８０で設定された抽出範囲を抽出方向に沿って延長させず、そのまま胸膜存在確認範囲として利用する。

ステップＳ１０９０での判定処理の結果に応じて、第２の実施形態に係る画像処理装置はステップＳ２０００の処理を実行する。ここで、ステップＳ２０００の処理は、第１の実施形態に係る画像処理装置１００におけるステップＳ２００と同等である。ただし、ステップＳ２０００で処理される画像が局所画像、局所肺野マスク画像、局所結節マスク画像、局所胸膜マスク画像ではなく、元画像、肺野マスク画像、結節マスク画像、胸膜マスク画像である点が異なる。

以上の手順に従い、第２の実施形態に係る画像処理装置は処理を行う。

第２の実施形態に係る画像処理装置では、結節の大きさに基づいて胸膜引き込みの抽出範囲を設定するため、より精度よく胸膜引き込み領域を抽出することが可能となる。具体的には、第２の実施形態に係る画像処理装置では、抽出方向を、結節表面の注目画素を始点とし、該結節表面の注目画素から最も近い位置にある胸膜画素を終点とするベクトルに沿う方向とする。このように抽出方向を設定することで、抽出方向は結節表面の各画素で近傍の胸膜の方向を向く。また、抽出範囲を結節表面の画素から一定距離（抽出距離）内に限定する。ここで、抽出距離は胸膜引き込みの典型的な長さとする。このように設定された抽出方向および抽出範囲は、結節に引き込まれた胸膜（胸膜引き込み）が存在する可能性が高い領域を適切に覆う。また、抽出範囲が胸膜引き込みの典型的な長さで制限されているため、抽出範囲は胸膜引き込みが存在しないような領域を覆わない。さらに、胸膜存在確認範囲を抽出領域と同じ範囲とする。これにより、第２の実施形態に係る画像処理装置では、結節から胸膜までの距離が胸膜引き込みの典型的な長さ以上の領域では胸膜引き込み領域の抽出を行わない。以上の処理により、本実施形態に係る画像処理装置は、肺野領域がすべて写っている画像（元画像）において、胸膜引き込みと結節の周りに存在するその他の解剖学的構造物を区別することが可能となる。また、本実施形態に係る画像処理装置は、もともと肺野領域の一部と結節領域しか写っていない画像においても、胸膜引き込みと結節の周りに存在するその他の解剖学的構造物を区別することが可能となる。その結果、これらの画像において胸膜引き込み領域を高い精度で抽出することが可能となる。

＜変形例＞
ここまで、第２の実施形態に係る画像処理装置において、第１の実施形態に係る画像処理装置１００のステップＳ１３０（元画像の画像サイズの変更）の処理を行わない例を説明した。しかしながら、ステップＳ１３０の処理を実行しても、第２の実施形態に係る画像処理装置の効果は失われることはない。そのため、必要に応じてステップＳ１３０の処理を実行してもよい。この場合、本変形例における画像処理装置はステップＳ１１０、Ｓ１２０の処理を実行した後、ステップＳ１３０の処理を実行する。その後、本変形例における画像処理装置はステップＳ１０３０、ステップＳ１０４０、Ｓ１０５０、Ｓ１０６０、Ｓ１０７０、Ｓ１０８０、Ｓ１０９０、Ｓ２０００の処理を順次、実行する。ただし、ステップＳ１０３０からＳ２０００までの処理では、局所画像、局所肺野マスク画像、局所結節マスク画像、局所胸膜マスク画像を処理する。最後に、本変形例における画像処理装置は第１の実施形態に係る画像処理装置１００のステップＳ２１０の処理を実行する。

以上の方法によれば、本変形例における画像処理装置は、肺野領域全体が写っている画像（元画像）から胸膜引き込みと結節の周りに存在するその他の解剖学的構造物を区別することが可能となる。その結果、胸膜引き込み領域を高い精度で抽出することが可能となる。

最後に、第１、第２の実施形態、およびそれらの変形例に係る画像処理装置の利用例について述べる。本画像処理装置は、医師の読影作業を支援するための技術（ＣＡＤ技術）の一部として利用可能である。例えば、本画像処理装置で取得した胸膜引き込みの領域を元画像上に重畳表示したり、元画像において胸膜引き込みの領域に対応する箇所に目印を表示したりして、医師に提示する。これにより、医師は元画像中に存在する胸膜引き込みを見落とすことなく読影を行うことが可能となる。

また、本画像処理装置で得られた胸膜引き込みの有無に関する情報を、結節の良悪性鑑別診断システムに渡してもよい。良悪性鑑別診断システムは、胸膜引き込みの有無に関する情報、医用画像から得られる画像特徴量、患者の臨床情報などの臨床データに基づいて、注目している結節の良悪性を判定する。そして、その判定結果を医師に提示する。これにより、医師は高い精度で肺結節の良悪性鑑別を行うことが可能となる。

さらに、本画像処理装置により得られた胸膜引き込みの有無に関する情報を、読影レポートの自動作成システムに渡してもよい。読影レポートの自動作成システムは、受け取った胸膜引き込みの有無に関する情報を読影レポートに記述する。これにより、医師は読影レポートの作成時間を短縮することが可能となる。

また、上述の画像処理装置は抽出方向および抽出角度に基づいて抽出範囲を決定することとしていたが、結節と胸膜との距離に基づいて抽出範囲を決定することとしてもよい。例えば、抽出範囲設定部１１４は、結節表面の画素と胸膜の画素との距離を計算し、この距離が閾値未満となる範囲を抽出範囲とする。すなわち、抽出範囲設定部１１４は、第１領域と第２領域とを繋いでいる第３領域の抽出を、第１領域と第２領域との距離が閾値以下の範囲に制限する。

このようにすれば、結節表面の画素から離れた胸膜とを結ぶ構造物を胸膜引き込みであると誤って抽出する可能性を低減することが可能となる。すなわち、胸膜引き込み領域を精度よく抽出することが可能となる。

さらに、上述の画像処理装置では、結節の表面上の画素を起点として用いることとしているが、起点は必ずしも結節の表面上の画素でなくともよい。例えば、結節の表面から数画素だけ結節内部の画素を起点として用いても上述の効果と略同様の効果を得ることが可能である。

＜その他の実施形態＞
以上、実施形態例を詳述したが、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

１１０ 画像処理部
１２０ 画像取得部
１３０ 記憶部

Claims (15)

1. 医用画像における第１領域および前記第１領域とは異なる第２領域を取得する取得手段
   と、
   前記第１領域と前記第２領域とを繋いでいる第３領域を抽出するための範囲を、前記第１領域の輪郭上の所定の点における法線方向、前記第１の領域の重心と該所定の点とを結ぶ方向の少なくとも一方で定まる方向を含む範囲に制限する制限手段と、
   前記制限手段により制限された前記範囲内において、前記範囲内の画素の画素値に基づいて前記第３領域を抽出する抽出手段と、
   を備えることを特徴とする情報処理装置。
2. 医用画像における第１領域および前記第１領域とは異なる第２領域を取得する取得手段
   と、
   前記第１領域と前記第２領域とを繋いでいる第３領域を抽出するための範囲を、前記第一の領域の輪郭上の所定の点から前記第二の領域までの距離が最小となる方向を含む範囲に制限する制限手段と、
   前記制限手段により制限された前記範囲内において、前記範囲内の画素の画素値に基づいて前記第３領域を抽出する抽出手段と、
   を備えることを特徴とする情報処理装置。
3. 前記制限手段は、前記法線方向および前記重心と前記所定の点とを結ぶ方向の和または前記法線方向および前記重心と前記所定の点とを結ぶ方向の少なくとも一方に重み付けを行った後の前記法線方向および前記重心と前記所定の点とを結ぶ方向の和を前記方向とすることを特徴とする請求項１に記載の情報処理装置。
4. 前記制限手段は、前記第３領域を抽出するための範囲を、前記方向を基準として所定の幅を有する範囲に制限することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記制限手段は、前記所定の幅を前記第２領域に近づくほど広くすることを特徴とする請求項４記載の情報処理装置。
6. 前記制限手段は、前記第１領域の大きさが大きいほど前記第３領域を抽出するための範囲の大きさを大きくすることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記第１領域の大きさは、前記第１領域の半径または直径で規定されることを特徴とする請求項６に記載の情報処理装置。
8. 前記第３領域を抽出するための範囲に前記第２領域が存在しない場合には、前記抽出手段は前記第３領域の抽出を行わないことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記第１領域は結節を示す領域であり、前記第２領域は胸膜を示す領域であり、前記第３領域は前記胸膜の引き込みを示す領域であることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 医用画像における第１領域および前記第１領域とは異なる第２領域を取得する取得工程と、
    前記第１領域と前記第２領域とを繋いでいる第３領域を抽出するための範囲を、前記第１の領域の輪郭上の所定の点における法線方向、前記第１の領域の重心と該所定の点とを結ぶ方向の少なくとも一方で定まる方向を含む範囲に制限する制限工程と、
    前記制限工程において制限された前記範囲において、前記範囲内の画素の画素値に基づいて前記第３領域を抽出する抽出工程と、
    を備えることを特徴とする抽出方法。
11. 医用画像における第１領域および前記第１領域とは異なる第２領域を取得する取得工程
    と、
    前記第１領域と前記第２領域とを繋いでいる第３領域を抽出するための範囲を、前記第一の領域の輪郭上の所定の点から前記第二の領域までの距離が最小となる方向を含む範囲に制限する制限工程と、
    前記制限手段により制限された前記範囲内において、前記範囲内の画素の画素値に基づいて前記第３領域を抽出する抽出工程と、
    を備えることを特徴とする抽出方法。
12. 請求項１乃至９の何れか１項に記載の情報処理装置の各手段をコンピュータに実行させることを特徴とするプログラム。
13. 前記医用画像は左右いずれかの肺野の一部を示す画像であることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
14. 前記医用画像は少なくとも左右何れかの肺野の全体を示す画像であることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
15. 医用画像における第１領域および前記第１領域とは異なる第２領域を取得する取得手段と、
    前記第１領域と前記第２領域とを繋いでいる第３領域を抽出するための範囲を、前記第１領域と第２領域との距離が所定の閾値以下の範囲に制限する制限手段と、
    前記制限手段により制限された前記範囲内において、前記範囲内の画素の画素値に基づいて前記第３領域を抽出する抽出手段と、
    を備えることを特徴とする情報処理装置。

Images