JP6900180B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明の実施形態は、画像処理装置及び画像処理方法に関する。

近年、画像認識技術の発展に伴い、臓器を撮影した医用画像に対し領域分割を行う技術が注目されている。例えば、肺葉領域分割技術は、実質性病変の位置決めや葉体積減少手術の計画等において極めて重要である。

いわゆる肺葉領域分割技術とは、ＣＴ（Computerized Tomography：（Ｘ線）コンピュータ断層撮影術）装置などの医用画像収集装置で収集された医用画像から、葉間裂を検出することにより、肺領域を５つの対応する肺葉に分割する技術をいう。

葉間裂はＣＴ画像において、低解像度かつ境界の不明瞭な構造である。周囲の血管、画像ノイズなどが原因で、葉間裂の検出がより困難になってしまう。

従来の技術では、領域分割を自動的に行うことでは望ましい結果が容易に得られないため、一般的に、まず医師によって経験に基づき画像上において葉間裂に対し位置決めすることが必要である。

例えば、特許文献１（US2014/0298270A1）には、２Ｄセグメンテーションと３Ｄセグメンテーションとを組み合わせた領域分割技術が開示されている。ユーザが肺の初期スライス（断面）にポイントを選択し、２Ｄ分割モジュールが、選択されたポイントに基づいて、ポイントを通過した曲線を２Ｄスライス上の葉間裂として自動算出する。更に、ユーザが３Ｄセグメンテーションを要求すると、３Ｄ分割モジュールが、初期スライスの分割結果に基づいて３Ｄシミュレーションを行い、３Ｄ画像候補を得る。特許文献１では、このように生成された複数の３Ｄ画像候補を比較することにより、算出結果を修正することができる。

また、特許文献２（JP2012-45256）には、３次元画像に領域境界としての分割界面を自動的に生成し、かつ、３次元画像データにおける分割界面に対してユーザが行った手動的な修正を受け付けることが可能な領域分割結果修正装置が開示されている。

特許文献１では、２Ｄセグメンテーションと３Ｄセグメンテーションであるにも関わらず、いずれも一つのスライス上にユーザが入力した位置決めポイントに基づき、画素に応じた計算を行うことで、分割曲線を形成したものである。しかしながら、このような分割方法は精度が高くないし、肺葉の種類を認識することもできない。また、撮影対象の葉間裂が完全に表示されていない場合、望ましい結果が得られない可能性が極めて高い。

また、特許文献２における自動分割方法にも同様に、大きな誤差が存在しており、ユーザに生成結果を修正させ、繰り返して計算する必要があるので、より多くのHCI（Human computer interaction）が必要になる。特に、葉間裂が不完全な患者の場合、統計上からいうと、約８０％の患者の画像において、葉間裂が一部又は全部消えて見えなくなる現象が存在し、それによって、領域分割を自動的に行う場合、領域間の分割界面を見つけることが困難になる。従って、このような自動分割は、従来の技術では望ましい結果が得られない。

US2014/0298270A1 特開2012-45256号公報

本発明が解決しようとする課題は、領域分割をより精確かつ簡便に行うことのできる画像処理装置及び画像処理方法を提供することである。

実施形態の画像処理装置は、選択部と、拡張部とを備える。選択部は、３次元画像データから所定の断面を選択する。拡張部は、前記所定の断面から所定範囲の断面上に、前記所定の断面上に描かれた曲線に対応する曲線を形成することで、前記３次元画像データ上に曲面を形成する。

図１は、第１の実施形態に係る画像処理装置を示す構造ブロック図である。 図２は、第１の実施形態に係る領域分割処理を示すフローチャートである。 図３は、第１の実施形態に係る領域分割処理における表示画面を例示する図である。 図４は、第２の実施形態に係る画像処理装置を示す構造ブロック図である。 図５は、第２の実施形態に係る領域分割処理を示すフローチャートである。 図６は、肺構造を示す概略図である。 図７は、第３の実施形態に係る画像処理装置を示す構造ブロック図である。 図８は、第３の実施形態に係る領域分割処理を示すフローチャートである。 図９は、領域分割処理を示す説明図である。

本願に係る１つの形態は、３次元画像データから所定の断面を選択する選択部と、所定の断面から所定範囲の断面上に、所定の断面上に描かれた曲線に対応する曲線を形成することで、３次元画像データ上に曲面を形成する拡張部とを備える画像処理装置である。

本願に係るもう１つの形態は、３次元画像データから所定の断面を選択するステップと、所定の断面から所定範囲の断面上に、所定の断面上に描かれた曲線に対応する曲線を形成することで、３次元画像データ上に曲面を形成するステップとを含む画像処理方法である。

本願に係る実施形態によれば、領域分割をより精確にかつ便利に行うことのできる画像処理装置及び画像処理方法を提供することができ、ユーザはより少ない操作で編集をより簡便に行い、二次元の編集だけで直観的な３Ｄ表示の結果を得ることが可能になる。そして、実施形態に係る画像処理装置において、リアルタイムフィードバックが行われ、領域分割の精度を更に向上させることが可能である。

実施形態は、画像を処理する画像処理装置に関する。この画像処理装置は、Ｘ線装置などの画像収集装置に接続され独立したコンピュータなどのＣＰＵ（central process unit）を有する設備で、画像処理装置の各機能を有するソフトウェアを実行することにより実現してもいいし、また、画像処理装置の各機能を実行可能な回路として、ハードウェアの形態により実現してもいい。さらに、実施形態に係る画像処理装置は、ＣＴ装置または磁気共鳴イメージング装置などの医用画像収集装置における一部として、上述した医用画像収集装置に予め組み込まれてもよい。

以下、本願に係る実施形態のうち好適な形態について図面を参照して説明する。各実施形態では、撮影対象が肺を含み、肺画像について肺葉の分割を行う（葉間裂を抽出する）処理を例に、実施形態ごとに領域分割処理に対する説明を行う。

異なる実施形態の間では、同一の構成について同一の記号を用い、重複する説明は適当に省略する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置を示す構造ブロック図である。図１に示すように、画像処理装置１００は、選択部１０と、受付部２０と、拡張部３０とを備える。

選択部１０は、３次元画像データからキースライス（所定の断面）を選択する。具体的には、選択部１０は、ＣＴ装置などの画像収集装置が撮影対象としての胸部を撮像することにより収集された肺の３次元画像データのうち、１又は複数のスライスをキースライスとして選択して、画像処理装置１００に接続したモニターなどの表示装置に、選択されたキースライスをキースライス二次元画像として２Ｄ表示させる。なお、以下では、選択部１０が複数のスライスをキースライスとして選択した場合を一例として説明する。選択部１０は、上述した機能を実現できる回路又はソフトウェアモジュールであってもよい。

具体的には、選択部１０は被検体の解剖学情報又は幾何学情報を用いて、キースライスを選択することができる。左肺領域において４つのキースライスを選択することを例に挙げると、左肺３次元画像のサジタル面（矢状面）から、以下のような４つの互いに平行しているスライスをキースライスとして順次に選択することが好ましく、即ち、内から外への順で、大動脈弓が消えた直後であって心臓がまだ存在しているスライスと、スライス二次元画像の面積に占める肺領域の割合が最も大きなスライスと、心臓がちょうど完全に消えたスライスと、残りのスライスのうち中間位置にあたるスライスとをキースライスとして順次に選択することが好ましい。言い換えると、選択部１０は、矢状面に平行な断面のうち、大動脈弓を含むスライスに近接するスライスのうち大動脈弓を含まず心臓を含むスライスと、肺領域の面積が最大となるスライスと、心臓を含むスライスに隣接するスライスのうち心臓を含まないスライスと、心臓を含まず肺を含むスライスのうち中間に位置するスライスとをキースライスとして選択する。

また、選択部１０が肺の３次元画像において、均等な平面間距離をあけてサジタル軸に沿った４つのスライスをキースライスとして選択するものであってもよい。即ち、選択部１０は、矢状面に平行であって一定の間隔を有する４つのキースライスを選択する。このような選択方法は、肺葉の種類が分かっていない場合には特に有効である。

更に、予め統計的に取得した肺の平均分割結果、及び、対応するキースライス位置に基づいて、一般分割テンプレートが作成及び記憶され、この一般分割テンプレート上にキースライスが予め選択されることで、選択部１０がある３次元画像データについてキースライスを選択する際に、この肺の３次元画像データを、肺の一般分割テンプレートに直接マッピングさせることにより、一般分割テンプレートにおけるキースライスに対応するキースライスを選択するものであってもよい。

受付部２０は、キースライス上に曲線を描く操作を受け付ける。例えば、受付部２０は、選択部１０により選択されたキースライス二次元画像上において異なる領域を区分するための曲線（分割曲線）に対する描画を順次に受け付ける。肺葉を分割する場合には、該分割曲線は肺を複数の肺葉に分割した葉間裂を表す。受付部２０は、上述した機能を実現できる回路又はソフトウェアモジュールであってもよい。

具体的には、医師は、選択部１０により選択され表示装置に表示されたキースライス二次元画像に対して、二次元画像の表示及び経験に基づいて、葉間裂を表す分割曲線を描くことができるので、受付部２０は、この描画された分割曲線を受け付けることになる。

医師は複数のキースライス二次元画像上に各キースライス上の分割曲線を順次に描くことができるので、受付部２０で各キースライスに対応するそれぞれの分割曲線を順次に受け付けることになる。

拡張部３０は、キースライスから所定範囲のスライス（以下、所定範囲の断面、又は、ネイバースライスとも記載する）上に、キースライス上に描かれた曲線に対応する曲線を形成することで、３次元画像データ上に曲面を形成する。即ち、拡張部３０は、キースライスにおける曲線を所定範囲のスライスまで拡張することにより、曲面を形成する。例えば、拡張部３０は、受付部２０で受け付けた分割曲線に基づいて、キースライス上の分割曲線をキースライスと隣り合う所定範囲内のネイバースライスまでに拡張することで、分割曲線に対応するネイバー分割曲線をネイバースライス上に形成し、キースライス及びネイバースライスを用いて、三次元葉間裂としての分割界面を含む部分３次元画像をそれぞれ形成することにより、キースライスに描かれた分割曲線と、それと隣り合うネイバースライスに拡張されたネイバー分割曲線とで、空間上に三次元面を構成し、部分肺葉を分割する分割界面を形成する。拡張部３０は、上述した機能を実現できる回路又はソフトウェアモジュールであってもよい。

選択部１０が選択したサジタル面スライスの例において、拡張部３０は医師（ユーザ）により二次元キースライス上に２Ｄで描画された曲線をネイバースライスまでに拡張し、ネイバースライスごとに２Ｄセグメンテーションを実行した後、各スライスを用いて３Ｄセグメンテーションを形成する。

拡張部３０にネイバースライスとして拡張される範囲（所定範囲）は、キースライスの軸方向における前後所定の距離であってもよいし、あるいは、２つの隣り合うキースライス間の中点までに拡張してもよい。

拡張部３０は従来の異なるスライス間の様々なマッピング方法を用いてもよいし、以下のような方法を用いてもよい。

即ち、拡張部３０が、キースライス上に描かれた分割曲線上に複数のキーポイントを抽出し、例えば、起点、終点及びその間に曲率が最も大きく変化した２つのポイントをキーポイントとして抽出し、更に、ネイバースライスにおいてキースライス上のキーポイントに対応するネイバーキーポイントを位置決めする。ネイバーキーポイントの確認について、従来の異なる層における画素間の様々なマッピング方法を用いて取得することができる。なお、以下では、キースライス又はネイバースライスにおけるキーポイントを、単に点とも記載する。

ネイバーキーポイントが特定された後、同一のネイバースライス上の各ネイバーキーポイントをキースライス上の対応するキーポイントの順番に従って連結した曲線を、キースライス上の分割曲線に対応する葉間裂とする。

上述したように、拡張部３０は、キースライス上に描かれた曲線から所定数の点を選択し、選択した点に対応する点をネイバースライス上から算出し、算出した点を連結することで、ネイバースライス上に曲線を形成する。連結方式としては、２ポイント間の直線連結であってもよいし、一定の経路計画に従って曲線連結してもよい。例えば、選択されたキーポイントの数が十分多ければ、一定の方向に沿って点と点の間で直線を用いて連結することにより、全体として１本の曲線を形成してもよい。言い換えると、拡張部３０は、ネイバーキーポイントのうち隣接する２点を直線で連結することで、ネイバースライス上に曲線を形成することができる。あるいは、２つの隣り合うポイントの間で、画像のグレイスケールに基づきコストの最も安い経路を計算し、計算したコストの最も安い経路に沿って連結してもよい。言い換えると、拡張部３０は、ネイバーキーポイントのうち隣接する２点を、画素値に関する最小コスト経路で連結することで、ネイバースライス上に曲線を形成することができる。ここで、最小コスト経路とは、例えば、隣接する２点を連結する複数の経路のうち、経路に含まれ相互に隣接する画素間での画素値の差や、経路に含まれる各画素のネイバーキーポイントとの画素値の差、経路の長さ等に基づくコストが最小となる経路である。

なお、ネイバースライス上の点を直線で連結して曲線を形成する場合等、ネイバースライス上に形成される曲線には、いわゆる折れ線を含む。即ち、ネイバースライス上に形成される曲線は、その全体が角を有さず連続的に曲がっている線で構成される場合に限らず、その全体又は一部が直線や折れ線で構成されてもよい。同様に、キースライス上に描かれる曲線も、その全体又は一部が直線や折れ線で構成されてもよい。また、同様に、３次元画像データ上に形成される曲面も、その全体又は一部が、１又は複数の平面データで構成されてもよい。

また、拡張される所定範囲（拡張範囲）の選択について、本キースライスと肺辺縁または次のキースライスの位置との間の距離を最大拡張距離とし、最大拡張距離の範囲内において、徐々に外へ拡張するものとしてもよい。かつ、外のネイバースライスに拡張するたびに、本キースライス上のキーポイントとネイバースライス上のネイバーキーポイントとの画素値の差分を計算し、該画素値の差分が予め設定された閾値以上になった場合には、拡張を停止し、次のキースライスの処理へ移行する。該予め設定された閾値は、要求される精度及びキースライスのデータに応じて任意に決定してもよい。

あるいは、最大拡張距離を設定せず、画素値の差分の閾値のみを設定してもよい。そうすれば、拡張部３０がネイバースライス上の分割曲線を次のキースライスまでに拡張すると、即ち、次のキースライスが前のキースライスのネイバースライスになった場合には、該次のキースライスに対する曲線の描画を取り消したり、キースライスの選択を自動的に修正したりしてもよい。

異なるキースライスについて設定された拡張範囲は同一のものとしてもよいし、異なるものとしてもよい。

拡張部３０は、キースライスから所定範囲のネイバースライス上に曲線を形成することで、３次元画像データ上に曲面を形成する。例えば、拡張部３０による曲線の形成によれば、各キースライスに基づいて、各キースライスに対応する部分３次元画像を生成することができ、かつ、該部分３次元画像には、描画された分割曲線とネイバー分割曲線とで構成される三次元分割界面が含まれる。従って、ユーザに参考を提供するように、ユーザ向けのモニターまたはディスプレイに分割後の部分３次元画像を表示させることができる。かつ、複数の部分３次元画像が生成された後、それらの部分３次元画像を同時表示させることにより、肺全体構造の葉間裂を有する３次元画像が見えられる。

第１の実施形態では、選択部１０は、特許請求の範囲における「選択部」に対応し、受付部２０は、特許請求の範囲における「受付部」に対応し、拡張部３０は、特許請求の範囲における「拡張部」に対応する。以下、図２および図３を参照して画像処理装置１００による領域分割処理の流れについて説明する。

図２は、第１の実施形態に係る領域分割処理を示すフローチャートである。図２に示すように、分割開始の時、まず、選択部１０が肺の３次元画像データのうち、複数のスライスをキースライスとして自動的に選択する（ステップＳ２０１）。

その一例として、図３に示す左肺の３次元画像を分割処理することについて説明する。図３は領域分割処理における表示画面を例示する図である。図３に示すように、選択部１０が３次元画像データにおいて選択したサジタル面のキースライスは、二次元画像の形態でボックス３０１に表示される。

受付部２０は、医師が二次元平面画像に対して図３におけるキースライス上に示す白線Ｍのように分割曲線を描くことにより、該キースライス上の分割曲線に対する描画を受け付けることができる（ステップＳ２０２）。

次に、ステップＳ２０３に入って、拡張部３０が該キースライス上の分割曲線をキースライス前後のネイバースライスまでに拡張して、図３の右側最下のボックス３０４に示す冠状面に対する視野角による部分３次元画像を形成する（ステップＳ２０４）。該部分３次元画像は、ボックス３０４に三次元の形態で表示される。かつ、透視図か否かに関わらず、分割界面Ｋの位置を確認することができる。

図３に示す例において、キースライスを表示しユーザにより描かれた曲線を受け付けるためのボックス３０１及び部分３次元画像を表示するためのボックス３０４を除いて、更に、指令を入力するための指令編集ボックス３０５と、生成された部分３次元画像に基づいて葉間裂の水平面及び冠状面における界面画像をそれぞれシミュレーションする２Ｄ表示ボックス３０２，３０３とがある。それによって、画像処理装置１００はユーザに葉間裂の拡張結果をリアルタイムに提供することができる。かつ、各キースライスの拡張結果を１つの表示ボックスに組合せ表示させることにより、画像処理装置１００は、より直観的かつ正確な肺分割結果を提供することが可能になる。

勿論、表示装置の表示画面は図３に示すレイアウトだけに限らず、各ボックスの位置を変更することができる。かつ、二次元画像表示ボックス３０２，３０３を省略してもよい。

本実施形態では、選択部１０が複数のスライスをキースライスとして選択して、拡張部３０がそれぞれ各キースライスについて部分３次元画像を生成することで、葉間裂の位置をより精確なものとし、また、ある曲線について誤った描画をしても全体に影響が及ぶことがない。かつ、ユーザは二次元画像に対して曲線全体を描くことができ、二次元画像上での描画がより直観的かつ簡便であり、受け付ける描画曲線の精度を更に向上させることが可能になる。

特に、撮影対象が葉間裂の一部が消えた不完全的な葉間裂である場合には、医師は経験に基づき、より高精細度かつ直観的な二次元スライスに曲線を描くことができるので、葉間裂が消えたか、又は、非常にぼんやりしたとしても、葉間裂の位置を大体特定することができ、更に、軸方向において異なる位置にある複数のスライスの分割曲線を考慮し、葉間裂を描く精度を更に向上させることができる。

（変形例）
第１の実施形態では、選択部１０が３次元画像のうちサジタル面として互いに平行している４つのスライスをキースライスとして選択したが、キースライスの数は４つに限らず、任意に設定してもよい。例えば、選択部１０は、大動脈弓を含むスライスに近接するスライスのうち大動脈弓を含まず心臓を含むスライスと、肺領域の面積が最大となるスライスと、心臓を含むスライスに隣接するスライスのうち心臓を含まないスライスとを含む複数のスライスを、キースライスとして選択する。また、例えば、選択部１０は、大動脈弓を含むスライスに近接するスライスのうち大動脈弓を含まず心臓を含むスライスと、肺領域の面積が最大となるスライスと、心臓を含むスライスに隣接するスライスのうち心臓を含まないスライスとを含む複数のスライスをキースライスとして選択し、更に、心臓を含まず肺を含むスライスのうち中間に位置するスライスをキースライスとして選択する。また、選択されるキースライスは、サジタル面に限らず、コロナル面（冠状面）などの他の方向の面であってもよい。

また、選択部１０が、互いに平行な複数のキースライスを選択する場合について説明したが、選択されるキースライスも互いに平行しているものに限らず、ネイバースライス間で一定の角度をなしてもよい。この場合、拡張部３０は上述のように平行に拡張して、複数の部分３次元画像を重畳させてもよいし、異なる高さで異なる拡張境界または閾値を設定することにより、部分３次元画像を生成してもよい。

更に、第１の実施形態では、選択部１０が複数のスライスをキースライスとして選択して、拡張部３０が該複数のキースライスを順次に拡張する。しかし、選択部１０は、１のスライスのみをキースライスとして選択し、拡張部３０は、１のキースライス上に描かれた曲線に基づき、３次元画像データ上に曲面を形成してもよい。即ち、拡張部３０は、１のキースライスのみを拡張する場合であってもよい。例えば、領域分割を肺全体に行う必要がなく、医師が関心を有する肺の一部領域についてのみ領域分割を行えば十分である場合等において、１のキースライスのみを拡張することにより、医師が行う操作を減少させることができる。あるいは、選択部１０がまず１つのキースライスを選択して曲線の描画の受け付けが行われ、拡張部３０が該選択されたキースライスに描かれた分割曲線を拡張した後、選択部１０が第１回の描画及び拡張の結果に基づき、第２のキースライスを更に選択し、肺全体の拡張が完了するまでに、前記の動作を繰り替えしてもよい。そうすれば、選択されたキースライスが利用不能な問題を避けられるので、システムリソースを節約することになる。

（第２の実施形態）
第２の実施形態は第１の実施形態に基づいたものである。第１の実施形態に対する第２の実施形態の相違点は、画像処理装置２００は認識部４０を更に備えることにある。以下、第２の実施形態と第１の実施形態との相違点について主に説明し、重複の説明を適当に省略する。

図４は、第２の実施形態に係る画像処理装置を示す構造ブロック図である。図４に示すように、画像処理装置２００は、選択部１０と、受付部２０と、拡張部３０と、認識部４０とを備える。そのうち、選択部１０、受付部２０及び拡張部３０の作用は第１の実施形態と同じので、詳しい説明を省略する。

認識部４０は、キースライス上に描かれた曲線の種類を認識する。即ち、認識部４０は、受付部２０が受け付けた分割曲線の種類を認識することができる。認識部４０は、上述した機能を実現できる回路またはソフトウェアモジュールであってもよい。

肺の解剖学構造を例に説明する。図６は、肺構造を示す概略図である。肺は左肺及び右肺を含み、左肺が上肺葉と下肺葉とからなり、右肺が上肺葉と、中肺葉と、下肺葉とからなる。一般的に、肺の葉間裂は３つの種類がある。具体的に、左肺を上葉と下葉とに区切する左斜裂Ａと、右肺を上葉と、中葉と、下葉とに分ける右肺の右斜裂Ｃ及びそれ以外の水平裂Ｂとを含む。

ユーザにとって、曲線ごとに曲線種類を編集することは複雑であり、本実施形態では、認識部４０が、分割曲線が上述した葉間裂の種類のいずれに属するかを自動認識し、該曲線をそれに対応する葉間裂の種類に属させてユーザに提示する。

認識部４０は、描かれた曲線の肺画像全体における位置に基づき、左肺または右肺を認識することができる。左肺は上肺葉と下肺葉とからなるため、葉間裂の種類は左肺斜裂Ａの１種のみである。そのため、左肺の分割線として認識された曲線の種類を左肺斜裂と認識する。

右肺は上肺葉と、中肺葉と、下肺葉とからなるため、葉間裂の種類は右肺水平裂Ｂと右肺斜裂Ｃの２種がある。そのため、認識部４０が右肺の葉間裂であると認識した場合、解剖学構造に基づいて、描かれた分割曲線の気管ツリー（気管樹状構造）からの位置の遠さを用いて、右肺水平裂Ｂと右肺斜裂Ｃとのどちらであるかを更に認識する。

また、認識部４０が右肺水平裂と右肺斜裂との異なる特徴を用いて自動認識するものであってもよい。例えば、裂線の傾斜角度に従って、右肺水平裂か、それとも、右肺斜裂かを区別する。

第２の実施形態では、選択部１０は、特許請求の範囲における「選択部」に対応し、受付部２０は、特許請求の範囲における「受付部」に対応し、拡張部３０は、特許請求の範囲における「拡張部」に対応し、認識部４０は、特許請求の範囲における「認識部」に対応する。以下、図５を参照して画像処理装置２００による領域分割処理の流れについて説明する。

図５は、第２の実施形態に係る領域分割処理を示すフローチャートである。図５に示すように、分割開始の時、まず、選択部１０が肺の３次元画像データのうち、複数のスライスをキースライスとして自動的に選択する（ステップＳ５０１）。

該キースライスの二次元平面画像上に、異なる領域を分割する分割曲線（ここでは、肺葉の葉間裂を表す）を医師が描くことにより、受付部２０が該キースライス上の分割曲線に対する描画を受け付けることができる（ステップＳ５０２）。

次に、ステップＳ５０３に入って、認識部４０が受付部２０にて受け付けられた分割曲線の種類を認識し、認識した結果と分割曲線とを対応付ける。

次に、ステップＳ５０４に入って、拡張部３０が該キースライス上の分割曲線をキースライス前後のネイバースライスまで拡張して、部分３次元画像を形成する（ステップＳ５０５）。該部分３次元画像を、認識された葉間裂の種類と共にユーザに提示する。

本実施形態によれば、第１の実施形態と同じ技術的効果も得られる。

かつ、分割曲線の種類を自動認識することができるので、医師は種類を手動的に入力するために時間を費やすことがなく、領域分割処理をより効率よく行うことができる。

（第３の実施形態）
第３の実施形態は第１の実施形態に基づいたものである。第１の実施形態に対する第３の実施形態の相違点は、画像処理装置３００は表示部５０と、組合せ部６０とを更に備えることにある。また、第３の実施形態は、受付部２０における処理の一部が相違する。以下、第３の実施形態と第１の実施形態との相違点について主に説明し、重複する説明を適当に省略する。

図７は、第３の実施形態に係る画像処理装置を示す構造ブロック図である。図７に示すように、画像処理装置３００は、選択部１０と、受付部２０と、拡張部３０と、表示部５０と、組合せ部６０とを備える。

選択部１０は、ＣＴ装置などの画像収集装置が撮影対象としての胸部を撮像することにより収集された肺３次元画像データのうち、複数のスライスをキースライスとして選択することで、画像処理装置３００に接続したモニターなどの表示装置に、選択されたキースライスをキースライス二次元画像として２Ｄ表示させる。選択部１０は、上述した機能を実現できる回路又はソフトウェアモジュールであってもよい。

そして、受付部２０は、選択部１０により選択されたキースライス二次元画像上において異なる領域を区分するための分割曲線の描画を順次に受け付けるためのものである。肺葉を分割する場合には、該分割曲線は肺を複数の肺葉に分割した葉間裂を表す。受付部２０は、上述した機能を実現できる回路又はソフトウェアモジュールであってもよい。

拡張部３０は、受付部２０で受け付けた分割曲線に基づいて、キースライス上の分割曲線をキースライスと隣り合う所定範囲内のネイバースライスまでに拡張することで、分割曲線に対応するネイバー分割曲線をネイバースライス上に形成し、キースライス及びネイバースライスを用いて、三次元葉間裂としての分割界面を含む部分３次元画像をそれぞれ形成する。即ち、拡張部３０は、キースライスごとに曲面を形成することで、３次元画像データ全体のうちキースライス及びネイバースライスに対応する部分であり、曲面が形成された部分３次元画像データを、キースライスごとに生成する。そして、拡張部３０は、部分３次元画像データに基づく部分３次元画像を、キースライスごとに形成する。拡張部３０は、上述した機能を実現できる回路又はソフトウェアモジュールであってもよい。

表示部５０は、曲面が形成された３次元画像データに基づく３次元画像を表示する。例えば、表示部５０は、あるキースライスにおける曲線の描画が完了するたびに、既に生成された部分３次元画像の全てをリアルタイムに表示する。即ち、拡張部３０は、キースライス上に曲線が描かれる度にキースライスから所定範囲のネイバースライス上に曲線を形成することで、３次元画像データ上に曲面を形成し、表示部５０は、曲面が形成された範囲において、３次元画像データに基づく３次元画像を表示する。表示部５０は、上述した機能を実現できる回路又はソフトウェアモジュールであってもよい。

組合せ部６０は、画像データを相互に組み合わせるものであり、具体的には、拡張部３０により生成された複数の部分３次元画像を組み合わせて、完全的な肺構造を形成するためのものである。特に、設定された拡張範囲が狭くて、形成された部分３次元画像の間で連続していない場合、即ち、組合せ部６０による組み合わせの際に、肺全体３次元画像の一部としての部分３次元画像の間に隙間が存在している場合には、組合せ部６０は補間を行うことにより隙間を埋めることで、完全的な肺３次元画像を形成する。即ち、組合せ部６０は、キースライスごとに生成された部分３次元画像データを、部分３次元画像データの間の隙間を補完しつつ組み合わせる。組合せ部６０は、上述した機能を実現できる回路又はソフトウェアモジュールであってもよい。

例えば、設定された軸方向上の拡張距離がキースライス間の面間距離の半分よりも短いと、隣接する２つのキースライスからそれぞれ拡張されたネイバースライスが連続でなくなるので、形成された部分３次元画像には隙間が存在する。この場合、組合せ部６０が２つの部分３次元画像間の隙間に対し補間を行うことにより、異なる部分３次元画像を連結することで、完全的な分割界面（葉間裂）を含む肺３次元画像を形成してユーザに提示する。補間の方式としては、従来の様々な補間方法を用いてもよい。また、第１の実施形態において説明した拡張方法により、部分３次元画像の辺縁スライスから隙間へ更に拡張させることにより隙間を埋めてもよい。

受付部２０は、３次元画像データ上に形成された曲面に対する修正を受け付ける。即ち、受付部２０は、ユーザが分割界面を含む３次元画像において分割界面に対して行った修正を受け付けることができる。受付部２０は、表示部５０にリアルタイムに表示された部分３次元画像における分割界面に対する修正を受け付けることができると共に、組合せ部６０に生成された完全的な３次元画像における分割界面に対する修正を受け付けることもできる。

また、受付部２０は、ユーザのリアルタイムに表示された部分３次元画像に対する放棄指示を受け付け、分割曲線に対する描画を改めて受け付けてもよい。受付部２０は、上述した機能を実現できる回路又はソフトウェアモジュールであってもよい。

受付部２０が上述の放棄指示を受付可能な場合において、選択部１０は、複数種類のキースライス選択パターンを予め記憶し、同一の撮影対象の３次元画像データについて分割曲線が再生成される際に、異なるキースライス選択パターンに切り替えるものとしてもよい。具体的には、選択部１０は、まず、過去に選択されたキースライスの位置等に基づく選択パターンを複数記憶する。次に、選択部１０は、記憶された複数の選択パターンのうち、所定の選択パターンに基づいて複数のキースライスを選択する。そして、選択部１０は、曲線が再度形成される際に、複数の選択パターンのうち、所定の選択パターンと異なる選択パターンに基づいて、複数のキースライスを選択する。

第３の実施形態では、選択部１０は、特許請求の範囲における「選択部」に対応し、受付部２０は、特許請求の範囲における「受付部」に対応し、拡張部３０は、特許請求の範囲における「拡張部」に対応し、表示部５０は、特許請求の範囲における「表示部」に対応し、組合せ部６０は、特許請求の範囲における「組合せ部」に対応する。以下、図８および図９を参照して画像処理装置３００による領域分割処理の流れについて説明する。

図８は、第３の実施形態に係る領域分割処理を示すフローチャートである。図８に示すように、分割開始の時、まず、選択部１０が肺の３次元画像データのうち、複数のスライスをキースライスとして自動的に選択する（ステップＳ８０１）。

その一例として、図９に示す左肺の３次元画像を分割処理することについて説明する。図９に示すように、選択部１０が左肺の３次元画像データのうち、４つの互いに平行しているサジタル面スライスをキースライス１、キースライス２、キースライス３及びキースライス４として順次に選択する。そのうち、図９の左側で、サジタル面に対する視野角による３次元画像が示されており、選択部１０が該３次元画像において４つの互いに平行しているサジタル面スライスをキースライスとして選択する。図９の中央では、各キースライスが示されており、かつ、各キースライスの下に、該キースライスの３次元画像における、サジタル面に対して垂直な軸方向上の位置及びキースライス間の相対的な距離が示されている。

まず、表示装置にキースライス１の二次元平面画像が表示され、ユーザが該二次元平面画像に図９におけるキースライス１上に示す黒線のような分割曲線Ｍ１を描いて、受付部２０が該キースライス１上の分割曲線Ｍ１に対する描画を受け付ける（ステップＳ８０２）。

次に、ステップＳ８０３に入って、拡張部３０が該キースライス上の分割曲線Ｍ１をキースライス前後のネイバースライスまで拡張して、図９の上方に示すキースライス１に対応する冠状面に対する視野角による部分３次元画像を形成する。該部分３次元画像において、異なる領域の区分として、異なるグレイスケールまたは色彩で異なる領域を表示させることで、図９に示すように、３次元画像でも分割界面の位置を明確に区分できる。

表示部５０が該部分３次元画像をリアルタイムに表示させ、医師が表示装置に表示された部分３次元画像を通じて、生成された部分３次元画像の分割結果を確認することができる。

次に、表示部５０が次のキースライス２を表示する（ステップＳ８０４）。キースライス１の拡張スライスに次のキースライス２を含む場合、表示されるキースライス２にもキースライス１から拡張した分割曲線が表示されることになる。医師が表示部５０の表示に基づき、拡張された分割曲線が存在しているか否か、及び、該キースライス２上の拡張結果を受け入れるか否かを判断することができる（ステップＳ８０５）。

キースライス１の拡張がキースライス２まで及ばず、即ち、キースライス２に拡張曲線が形成していない場合、または、受付部２０が該拡張結果を受け入れない旨の指令を受け付けた場合（ステップＳ８０５において「ＮＯ」の場合）には、ステップＳ８０２へ戻して、受付部２０が該キースライス２の分割曲線Ｍ２に対する描画を受け付けることになる。

受付部２０が拡張結果を受け入れる旨の指令を受け付けた場合（ステップＳ８０５において「ＹＥＳ」の場合）には、ステップＳ８０６へ進み、次のキースライス３が表示装置に表示され、処理過程がキースライス３についてステップＳ８０２へと戻り、キースライス３の分割曲線Ｍ３に対する描画が受け付けられる。更に、キースライス３に対応する部分３次元画像が形成される。

キースライス２またはキースライス３を表示する時、表示部５０は更にキースライス２またはキースライス３に対応する部分３次元画像をリアルタイムに表示し、先に表示された各キースライスに対応する部分３次元画像と同時に表示させ、図９の上方に示す部分３次元画像を形成することができる。

図９に示す例において、仮に、キースライス２及びキースライス３について、受付部２０が何れも拡張結果を受け入れない旨の指令を受け付け（ステップＳ８０５において「ＮＯ」の場合）、キースライス２、３について曲線が描画され、かつ、キースライス３の拡張範囲が大きく設定されてキースライス４を含む肺辺縁までに拡張したとすると、図９にキースライス４の拡張分割曲線のみが表示され、受付部２０が該拡張分割曲線を受け入れるか否かの指令を直接受け付けて、ユーザが該拡張分割曲線を受け入れる場合には、キースライス４についての曲線の描画は行われないことになる。

上述したように、各キースライスを順次に処理することにより、表示部５０は、図９の上方最右側の画像に示すように、各部分３次元画像の合併後の形態をリアルタイムに表示する。

更に、組合せ部６０は、３つの部分３次元画像の組合せと調整を行い、隙間に対し補間を行うか、あるいは、重なった部分を重畳処理することにより、形成された分割界面を微細調整して部分３次元画像間の境界をスムーズに連結させる（ステップＳ８０７）。この場合、ユーザも受付部２０を通じて連結後の分割界面を修正することができる。よって、図９の最右側で示されている分割後の３次元画像が得られる。

なお、上述した流れの例では、各キースライス上の分割曲線をそれぞれ拡張してから、組合せと調整を行ったものであるが、勿論、部分３次元画像を生成するたびに、先に生成された３次元画像と組合せ、調整するものとしてもよい。すると、ユーザは、組合せされた分割後の３次元画像の各段階を、直観的に見ることができる。

本実施形態によれば、第１の実施形態と同じ技術的効果も得られる。

そして、本実施形態によれば、受付部２０と表示部５０とを組み合わせることにより、部分３次元画像をリアルタイムに修正することができる。そうすれば、医師に確認させるように、該３次元画像を三次元の形態で表示装置に表示させることができ、医師が該部分３次元画像における分割界面の拡張結果を受け入れない場合、対応するキースライス上に改めて描画させて、拡張部３０は新たに描画された分割曲線に基づいて再拡張させることができる。

また、本実施形態によれば、特に葉間裂が不完全的な肺画像の場合、医師が複数の二次元スライスに対して描画及び判断を行い、組合せ結果に基づき、分割界面をリアルタイムに修正可能になるので、一部の葉間裂が見えないとしても、相対的に正確な分割結果も得られる。

更に、本実施形態によれば、キースライスごとに判断を行い、ユーザがあるキースライスのシミュレーション結果を受け入れられない場合、葉間裂の２Ｄでの描画を改めて行うことができる。３次元画像の分割が全て完了された後にやり直すという従来の技術に比べて、本実施形態では計算コストを節約でき、異なる肺葉領域をより効率よく分割することが可能になる。

（その他の変形例）
本願に係る実施形態では、撮影対象の組織分割のために、より明確かつ直観的な指導を提供することができる。使用者はより少ない動作で編集作業を完成でき、引いては、葉間裂が不完全的な肺の場合でも分割の精度を向上させることができる。ただし、本願に係る実施形態は、上述した各実施形態だけに限らず、様々な変形を行っても良い。

例えば、上述の実施形態では、表示部５０と、組合せ部６０とを用いて領域分割処理を行ったが、そのうちの任意的な部材を省略し、そのうちの何れか機能のみを応用すればよい。また、例えば、受付部２０は、３次元画像データ上に形成された曲面に対する修正を受け付けない場合であってもよい。

また、上述の実施形態では、撮影対象が肺を含み、肺画像について異なる肺葉間の分割を行う（葉間裂を抽出する）処理を例に説明した。ここで、実施形態に係る３次元画像データは、肺の全部を含む場合であってもよいし、肺の一部を含む場合であってもよい。例えば、３次元画像データは、右肺のみを含む場合であってもよい。また、本願に係る実施形態は、更に、複数の領域を含む他の器官に対する分割にも適用できる。例えば、肝臓の分割に適用すると、肝臓の解剖学情報及び幾何学情報に基づき分割を行うことができる。即ち、３次元画像データは、肝臓の全部又は一部を含む場合であってもよい。

更に、本願に係る実施形態は、画像から器官全体を抽出する際に行われる領域分割処理に適用することができる。例えば、胸部のＣＴ画像から肺全体または心臓全体をそれぞれ抽出する場合に適用することもできる。この場合、描画された分割曲線は器官を包む閉輪郭であってもよい。

実施形態に係る画像処理装置は、各実施形態に説明された機能を実現できる回路として、医用装置に組み込まれてもよいし、コンピュータが実行可能なプログラムとして、磁気ディスク（フロッピーディスク（登録商標：floppy）、ハードディスクなど）、コンパクトディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光ディスク（ＭＯ）、半導体メモリなどの記憶媒体に記憶され発行されてもよい。

かつ、記憶媒体からコンピュータにインストールされたプログラムによる指示に基づいてコンピュータ上に実行されるＯＳ（オペレイティングシステム）、データベース管理ソフトウェア、ネットワークソフトウェアなどのＭＷ（ミドルワーク）なども、上述した実施形態を実現するための各処理の一部を実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 画像処理装置
２００ 画像処理装置
３００ 画像処理装置
１０ 選択部
２０ 受付部
３０ 拡張部
４０ 認識部
５０ 表示部
６０ 組合せ部

Claims (12)

1. 肺の全部又は一部を含む３次元画像データにおいて、矢状面に平行な断面のうち、大動脈弓を含む断面に近接する断面のうち大動脈弓を含まず心臓を含む断面と、肺領域の面積が最大となる断面と、心臓を含む断面に隣接する断面のうち心臓を含まない断面とを含む複数の断面を、所定の断面として選択する選択部と、
   前記所定の断面から所定範囲の断面上に、前記所定の断面上に描かれた曲線に対応する曲線を形成することで、前記３次元画像データ上に曲面を形成する拡張部と
   を備える画像処理装置。
2. 前記拡張部は、前記所定の断面上に描かれた曲線から所定数の点を選択し、選択した点に対応する点を前記所定範囲の断面上から算出し、算出した点を連結することで、前記所定範囲の断面上に曲線を形成する、請求項１に記載の画像処理装置。
3. 前記曲面に対する修正を受け付ける受付部を更に備える、請求項１又は２に記載の画像処理装置。
4. 前記所定の断面上に描かれた曲線の種類を認識する認識部を更に備える、請求項１又は２に記載の画像処理装置。
5. 前記曲面が形成された前記３次元画像データに基づく３次元画像を表示する表示部を更に備え、
   前記選択部は、前記所定の断面を複数選択し、
   前記表示部は、前記所定の断面上に曲線が描かれる度に、前記曲面が形成された範囲において、前記３次元画像を表示する、請求項１又は２に記載の画像処理装置。
6. 前記選択部は、矢状面に平行であって一定の間隔を有する複数の前記所定の断面を選択する、請求項１又は２に記載の画像処理装置。
7. 前記選択部は、更に、心臓を含まず肺を含む断面のうち中間に位置する断面を、前記所定の断面として選択する、請求項１又は２に記載の画像処理装置。
8. 画像データを相互に組み合わせる組合せ部を更に備え、
   前記選択部は、前記所定の断面を複数選択し、
   前記拡張部は、前記所定の断面ごとに前記曲面を形成することで、前記３次元画像データの全体のうち前記所定の断面及び前記所定範囲の断面に対応する部分であり、前記曲面が形成された部分３次元画像データを、前記所定の断面ごとに生成し、
   前記組合せ部は、前記拡張部によって生成された複数の前記部分３次元画像データを、前記部分３次元画像データの間の隙間を補完しつつ組み合わせる、請求項１又は２に記載の画像処理装置。
9. 前記選択部は、所定の選択パターンに基づいて複数の前記所定の断面を選択し、前記曲面が再度形成される際に、前記所定の選択パターンと異なる選択パターンに基づいて複数の前記所定の断面を選択する、請求項１又は２に記載の画像処理装置。
10. 前記拡張部は、前記算出した点のうち隣接する２点を直線で連結することで、前記所定範囲の断面上に曲線を形成する、請求項２に記載の画像処理装置。
11. 前記拡張部は、前記算出した点のうち隣接する２点を、画素値に関する最小コスト経路で連結することで、前記所定範囲の断面上に曲線を形成する、請求項２に記載の画像処理装置。
12. 肺の全部又は一部を含む３次元画像データにおいて、矢状面に平行な断面のうち、大動脈弓を含む断面に近接する断面のうち大動脈弓を含まず心臓を含む断面と、肺領域の面積が最大となる断面と、心臓を含む断面に隣接する断面のうち心臓を含まない断面とを含む複数の断面を、所定の断面として選択するステップと、
    前記所定の断面から所定範囲の断面上に、前記所定の断面上に描かれた曲線に対応する曲線を形成することで、前記３次元画像データ上に曲面を形成するステップと
    を含む画像処理方法。

Images