JP7227487B2 - 画像処理プログラム、画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理プログラム、画像処理装置および画像処理方法に関する。

肺疾患の診断には、ＣＴ（Computed Tomography）画像などの医用画像が広く用いられている。医用画像を用いた画像診断では、医師は多数の画像を読影しなければならず、医師の負担が大きい。そのため、医師の診断作業をコンピュータによって何らかの形で支援する技術が求められている。

例えば、医用画像から読影すべき領域を特定する、あるいは読影すべき医用画像を絞り込むために、医用画像を基に肺野領域を特定する技術が提案されている。その一例として、複数のＣＴ画像を基に最小値投影法によって胸部の内部状況を正面に投影した投影画像を生成し、この投影画像から肺野領域を抽出する技術が提案されている。また、別の一例として、３次元医用画像の画素値を基に肺野底部領域における頭部側頂点位置を検出することで、肺気腫の診断に必要な横隔膜上端におけるアキシャル面の画像を特定する技術が提案されている。

また、関連技術として、胸部Ｘ線画像に基づく合計値プロファイルを用いることで、この画像における肺野領域の端部を特定する技術が提案されている。

特開２０１２－０９６０２５号公報 特開２０１７－１０４２７７号公報

富田稔啓、外７名、「モデル情報と最小値投影法による胸部ＣＴ像の肺野領域抽出」、MEDICAL IMAGING TECHNOLOGY Vol.15 No.2、１９９７年３月、１６４～１７４頁

ところで、肺野領域の上端付近では、右肺と左肺との間に気管が存在している。コロナル断面画像や最小値投影法を用いた上記の投影画像においては、この気管の領域と肺野領域との区別がつきにくいため、肺野領域の上端を正確に検出することが難しいという問題がある。

１つの側面では、本発明は、医用画像に基づいて肺野領域の上端を高精度に検出可能な画像処理プログラム、画像処理装置および画像処理方法を提供することを目的とする。

１つの案では、コンピュータに、人体の胸部の内部を撮影した１以上の断面画像に基づいて生成される、胸部のコロナル断面を示す２値化画像から、輪郭線を抽出し、人体における左右両方の外側から上方向に輪郭線を辿ることで輪郭線における凸状頂点を探索し、探索された凸状頂点の位置を肺野領域の上端として特定する、処理を実行させる画像処理プログラムが提供される。

また、１つの案では、人体の胸部の内部を撮影した１以上の断面画像に基づいて生成される、胸部のコロナル断面を示す２値化画像から、輪郭線を抽出する輪郭線抽出部と、人体における左右両方の外側から上方向に輪郭線を辿ることで輪郭線における凸状頂点を探索し、探索された凸状頂点の位置を肺野領域の上端として特定する領域特定部と、を有する画像処理装置が提供される。

さらに、１つの案では、上記画像処理プログラムに基づく処理と同様の処理をコンピュータが実行する画像処理方法が提供される。

１つの側面では、医用画像に基づいて肺野領域の上端を高精度に検出できる。

第１の実施の形態に係る画像処理装置の構成例および処理例を示す図である。 第２の実施の形態に係る画像処理システムの構成例を示す図である。 胸部の臓器配置を示す図である。 画像処理装置が備える処理機能の構成例を示すブロック図である。 正面投影画像の生成処理を説明するための図である。 凸状頂点検出部の内部構成例を示す図である。 領域上端抽出部の処理例を示す第１の図である。 領域上端抽出部の処理例を示す第２の図である。 領域上端抽出部の処理例を示す第３の図である。 画像処理装置による全体の処理を示すフローチャートの例である。 肺野領域上端抽出処理を示すフローチャートの例である。 頂点検出処理を示すフローチャートの例である。 変形例における凸状頂点検出部の内部構成例を示す図である。 最大値検出部の処理例を示す図である。 変形例における頂点検出処理を示すフローチャートの例である。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像処理装置の構成例および処理例を示す図である。図１に示す画像処理装置１０は、輪郭線抽出部１１と領域特定部１２を備える。輪郭線抽出部１１と領域特定部１２の処理は、例えば、画像処理装置１０が備える図示しないプロセッサが所定のプログラムを実行することで実現される。

輪郭線抽出部１１には、人体の胸部のコロナル断面を示す２値化画像１ａが入力される。この２値化画像１ａは、胸部の内部を撮影した１以上の断面画像に基づいて生成される画像である。例えば、このような断面画像として、胸部領域におけるアキシャル断面画像（例えば、アキシャル断面のＣＴスライス画像）が複数枚撮影される。この場合、例えば、これらの各アキシャル断面画像における前後方向の画素群の最小値を正面に投影することで投影画像が生成され、投影画像が２値化されることで２値化画像１ａが生成される。この場合の投影画像は、人体の特定位置のコロナル断面の状況を示す画像ではなく、コロナル断面における肺や気管の最大領域を示す画像となる。

あるいは、複数枚撮影されたアキシャル断面画像に基づいてコロナル断面画像が複数生成され、生成されたコロナル断面画像の中から選択された画像が２値化されることで、２値化画像１ａが生成されてもよい。この場合、例えば、コロナル断面画像の中から空気領域の幅または面積が最大の画像が選択されて２値化される。また、複数枚撮影された胸部領域のコロナル断面画像の中から、同様の手順で選択された画像が２値化されることで、２値化画像１ａが生成されてもよい。

輪郭線抽出部１１は、２値化画像１ａから輪郭線２を抽出する。図１では、２値化画像１ａにおける輪郭線２をわかりやすく表示した画像１ｂを示している。画像１ｂにおいては、輪郭線２を太線によって示している。

領域特定部１２は、抽出された輪郭線２に基づいて、肺野領域の上端の位置を特定する。この特定では、領域特定部１２は、輪郭線２を人体の左右両方の外側から上方向に辿ることで、輪郭線２における凸状頂点を探索する。領域特定部１２は、探索された凸状頂点を肺野領域の上端として特定する。

図１に示す画像１ｃでは、画像１ｂにおける輪郭線２のうち、左右両方の外側に位置する輪郭線のみを太線によって示している。領域特定部１２は、例えば、輪郭線２における向かって左の外側の位置から矢印３ａのように輪郭線２を辿ることで、凸状頂点４ａを検出する。領域特定部１２は、検出された凸状頂点４ａの位置を右肺の領域の上端として特定する。また、領域特定部１２は、輪郭線２における向かって右の外側の位置から矢印３ｂのように輪郭線２を辿ることで、凸状頂点４ｂを検出する。領域特定部１２は、検出された凸状頂点４ｂの位置を左肺の領域の上端として特定する。

ここで、右肺、左肺のそれぞれの上端は、釣鐘形状における凸部のような凸状の形状を有している。また、肺野領域の上端領域では、右肺の凸状の上端部と左肺の凸状の上端部との間に気管が配置されている。このような解剖学的な構造から、輪郭線２を左の外側から上方向に辿った場合、気管の領域に達する前に右肺の凸状の上端部に達する。同様に、輪郭線２を右の外側から上方向に辿った場合、気管の領域に達する前に左肺の凸状の上端部に達する。

したがって、領域特定部１２は、輪郭線２を左の外側から上方向に辿って凸状頂点４ａを探索することで、右肺の上端を正確に検出できる。また、領域特定部１２は、輪郭線２を右の外側から上方向に辿って凸状頂点４ｂを探索することで、左肺の上端を正確に検出できる。このように、本実施の形態に係る画像処理装置１０は、医用画像に基づいて肺野領域の上端を高精度に検出できる。

〔第２の実施の形態〕
図２は、第２の実施の形態に係る画像処理システムの構成例を示す図である。図２に示す画像処理システムは、ＣＴ装置５０と画像処理装置１００を含む。なお、画像処理装置１００は、図１に示した画像処理装置１０の一例である。

ＣＴ装置５０は、人体のＸ線ＣＴ画像を撮影する。本実施の形態では、ＣＴ装置５０は、胸部領域におけるアキシャル断面のＣＴスライス画像を、人体の高さ方向（アキシャル断面に垂直な方向）に対する位置を所定間隔で変えながら所定枚数撮影する。

画像処理装置１００は、ＣＴ装置５０によって撮影された複数のＣＴスライス画像を基に、肺野領域の画像を抽出する。これにより、画像処理装置１００は、ＣＴスライス画像を用いた医師の画像診断作業、特に肺疾患の診断作業を支援する。

この抽出処理において、画像処理装置１００は、複数のＣＴスライス画像を基に肺野領域の上端と下端とを検出し、この検出結果に基づいて複数のＣＴスライス画像の中から肺野領域が写り込んでいるＣＴスライス画像を絞り込む。そして、画像処理装置１００は、絞り込まれたＣＴスライス画像を用いて、機械学習によって肺野領域を特定し、特定された肺野領域の画像を抽出する。

この画像処理装置１００は、例えば、次のようなハードウェア構成を有する。図２に示すように、画像処理装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、グラフィックインタフェース（Ｉ／Ｆ）１０４、入力インタフェース（Ｉ／Ｆ）１０５、読み取り装置１０６および通信インタフェース（Ｉ／Ｆ）１０７を有する。

プロセッサ１０１は、画像処理装置１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

ＲＡＭ１０２は、画像処理装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

ＨＤＤ１０３は、画像処理装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

グラフィックインタフェース１０４には、表示装置１０４ａが接続されている。グラフィックインタフェース１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置としては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。

入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。

通信インタフェース１０７は、ネットワークを介して、ＣＴ装置５０などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、画像処理装置１００の処理機能を実現することができる。

ところで、ＣＴ画像を用いた画像診断では、撮影装置の高度化によって読影対象の画像枚数が増加しているため、医師の負担が増大している。特に、びまん性肺疾患と呼ばれる疾患群では、病変が肺の広い範囲に分布する。このため、医師による読影対象の画像枚数が非常に多くなり、またその診断には豊富な知識や経験が必要で、診断の難易度が高い。このような症例を診断する際に、医師は、診断結果が確定された過去の類似症例を参考にして、病名の候補を絞り込んでいる。しかし、過去の類似症例を探す作業には時間と手間がかかるため、このような類似症例を検索する技術が求められている。

びまん性肺疾患のように病変が広い範囲に分布する症例では、現在の患者についての１枚のＣＴスライス画像と、過去の患者についての１枚のＣＴスライス画像とが類似していたとしても、立体的に見ると病変の分布状況が類似しているとは限らない。そのため、正確な診断のためには、肺の全体における病変の分布状況の類似性を判断することが重要となる。したがって、類似症例の検索精度向上のためには、肺の一部領域でなく全体の領域についてのＣＴスライス画像を用いて類似性を判断する必要がある。

そこで、胸部領域を撮影したすべてのＣＴスライス画像（アキシャル断面画像）を用いて、機械学習により、肺野領域を特定し、特定された肺野領域から病変に対応する異常陰影を認識する方法が開発されている。しかし、この方法では、肺野領域が写っていないＣＴスライス画像を肺野領域が写っている画像と誤認識して、そこから異常陰影を誤認識してしまう場合がある。このため、ＣＴスライス画像の中から肺野領域の上端と下端との間の領域を撮影したＣＴスライス画像だけを特定して、特定されたＣＴ画像を用いて機械学習を行うことができれば、肺野領域の認識精度や肺野領域内の異常陰影の認識精度を向上させることができると考えられる。

このような背景から、本実施の形態の画像処理装置１００は、機械学習を行う前の段階において、撮影されたＣＴスライス画像を基に肺野領域を抽出し、肺野領域が写っているＣＴスライス画像を特定し、特定されたＣＴスライス画像だけを用いて機械学習を行う。

ここで、図３は、胸部の臓器配置を示す図である。
画像処理装置１００は、胸部領域を撮影した複数のＣＴスライス画像（アキシャル断面画像）を基に、胸部のコロナル断面を示す２値化画像を生成する。具体的には、後述するように、画像処理装置１００は、各ＣＴスライス画像を基に最小値投影法によって正面投影画像を生成し、正面投影画像を２値化することで２値化画像を生成する。そして、画像処理装置１００は、このような２値化画像に基づいて肺野領域を抽出する。

しかし、このような２値化画像を用いた場合、肺野領域の上端を正確に特定することが難しいという問題がある。これは、図３に示すように、右肺２０１の上部領域と左肺２０２の上部領域との間に気管２０３が隣接して存在しているからである。ＣＴスライス画像では、肺野領域のＣＴ濃度値と気管２０３の領域のＣＴ濃度値との差が小さい。このため、２値化画像においては右肺２０１、左肺２０２、気管２０３の各領域が同じ画素値を持ってしまい、これらの区別がつかないために、右肺２０１、左肺２０２の各上端を正確に特定できなくなる。

ここで、図３からもわかるように、右肺２０１、左肺２０２の各上端付近は、釣鐘形状における凸部のような凸状の形状を有しており、凸状の頂点が右肺２０１、左肺２０２の各上端を形成している。そこで、本実施の形態の画像処理装置１００は、上記の２値化画像から臓器の輪郭線を抽出し、輪郭線を左右の外側から上方向に順に辿って凸状の頂点を検出することで、右肺２０１、左肺２０２の各上端の位置を正確に特定する。

図４は、画像処理装置が備える処理機能の構成例を示すブロック図である。図４に示すうように、画像処理装置１００は、画像入力部１１１、投影画像生成部１１２、領域上端抽出部１１３、領域下端抽出部１１４、スライス選定部１１５および肺野領域抽出部１１６を備える。画像入力部１１１、投影画像生成部１１２、領域上端抽出部１１３、領域下端抽出部１１４、スライス選定部１１５および肺野領域抽出部１１６の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。

画像入力部１１１は、ＣＴ装置５０によって撮像された所定枚数のＣＴスライス画像を受け付け、投影画像生成部１１２および領域下端抽出部１１４に出力する。前述のように、これらのＣＴスライス画像は、胸部におけるアキシャル断面画像である。また、これらのＣＴスライス画像は、人体の高さ方向に対して一定間隔を空けて撮影された画像であるので、各ＣＴスライス画像は、画像上の座標（Ｘ座標、Ｙ座標）に加えて高さ方向の座標（Ｚ座標）も有している。

投影画像生成部１１２は、画像入力部１１１からの所定枚数のＣＴスライス画像を基に、最小値投影法によって胸部の内部状況を正面に投影した正面投影画像を生成する。
領域上端抽出部１１３は、生成された正面投影画像を基に肺野領域の上端を抽出する。この領域上端抽出部１１３は、輪郭線抽出部１２１と凸状頂点検出部１２２を備える。輪郭線抽出部１２１は、正面投影画像を２値化して２値化画像を生成し、２値化画像から輪郭線を抽出する。凸状頂点検出部１２２は、輪郭線から凸状頂点を検出することで、右肺、左肺の各上端位置を検出する。

領域下端抽出部１１４は、画像入力部１１１からの所定枚数のＣＴスライス画像を基に、肺野領域の下端（右肺の下端、左肺の下端）を抽出する。
スライス選定部１１５は、領域上端抽出部１１３および領域下端抽出部１１４による肺野領域の上端、下端の検出結果に基づいて、画像入力部１１１が受け付けたＣＴスライス画像の中から、上端と下端との間の領域を撮影対象としているＣＴスライス画像を選定する。

肺野領域抽出部１１６は、機械学習による学習結果に基づき、スライス選定部１１５によって選定されたＣＴスライス画像から肺野領域の画像領域を抽出し、その抽出結果を出力する。また、肺野領域抽出部１１６は、機械学習による学習結果に基づき、抽出された画像領域から異常陰影を認識してもよい。さらに、肺野領域抽出部１１６は、スライス選定部１１５によって選定されたＣＴスライス画像を、機械学習のための学習データとして出力して、この学習データを既存の学習データに加えて肺野領域の抽出および異常陰影の認識のための機械学習を実行してもよい。

次に、図５～図９を用いて肺野領域の上端抽出処理を説明する。
まず、図５は、正面投影画像の生成処理を説明するための図である。図５に示すＣＴスライス画像群２１１は、画像入力部１１１から投影画像生成部１１２に出力される所定枚数のＣＴスライス画像を含む。図５では、人体の左右方向をＸ軸、奥行き方向をＹ軸、高さ方向をＺ軸としている。各ＣＴスライス画像は、Ｘ－Ｙ平面（すなわちアキシャル断面）における人体内部の像を示している。

投影画像生成部１１２は、次のような最小値投影法を用いることで正面投影画像を生成する。投影画像生成部１１２は、ＣＴスライス画像ごとに次のような処理を実行する。投影画像生成部１１２は、ＣＴスライス画像からＹ軸に沿った画素列を選択し、画素列におけるＣＴ濃度値の最小値をＸ軸およびＺ軸に沿った投影平面（Ｘ－Ｚ平面）に投影する。投影画像生成部１１２は、ＣＴスライス画像の各画素列についてＣＴ濃度値の最小値を投影する。これにより、投影平面には１つのＣＴスライス画像からＸ軸に沿った画素列が形成される。そして、このような投影処理が各ＣＴスライス画像について実行されることで、投影平面にはＣＴスライス画像の枚数分の画素列が形成される。

投影画像生成部１１２は、例えば、投影平面に形成された、Ｘ軸に沿った画素列を基に、Ｚ軸方向に対して補間演算を行うことで、正面投影画像２１２を生成する。このような最小値投影法により、正面投影画像２１２には、ＣＴスライス画像群２１１から生成されるコロナル画像上の臓器の領域（少なくとも肺および気管の領域）のうち、最大の領域が投影される。

なお、上記のＣＴスライス画像群２１１に加えて、胸部についての複数枚のコロナル断面画像がＣＴ装置５０によって撮影された場合、投影画像はこれらのコロナル断面画像を用いて生成されてもよい。この場合、各コロナル断面画像における同一画素のＣＴ濃度値の最小値が投影平面に投影されることで、正面投影画像が生成される。

次に、領域上端抽出部１１３の処理について説明する。
まず、図６は、凸状頂点検出部の内部構成例を示す図である。図６に示すように、凸状頂点検出部１２２は、輪郭線分割部１３１、転換点検出部１３２および頂点検出部１３３を備える。

輪郭線分割部１３１は、正面投影画像を２値化した２値化画像を、同一サイズのブロックに分割する。これにより、２値化画像から抽出された輪郭線がブロックごとに分割される。

転換点検出部１３２は、輪郭線を含むブロックについて、輪郭線の両端を結ぶ直線の傾きを算出する。転換点検出部１３２は、輪郭線を左端から上方向に辿っていき、ともに輪郭線を含む隣接するブロックの間で直線の傾きの正負が逆転する転換点を検出する。また、転換点検出部１３２は、輪郭線を右端から上方向に辿っていき、ともに輪郭線を含む隣接するブロックの間で直線の傾きの正負が逆転する転換点を検出する。

頂点検出部１３３は、検出された転換点を挟む両側のブロックについてさらに小さいブロックに再分割し、再分割されたブロックのうち輪郭線を含むブロックについて、輪郭線の両端を結ぶ直線の傾きを算出する。頂点検出部１３３は、ブロック間で直線の傾きの正負が逆転する位置に基づいて、右肺の凸状頂点と左肺の凸状頂点を検出し、検出された各頂点の位置を右肺、左肺の各領域の上端として特定する。

図７は、領域上端抽出部の処理例を示す第１の図である。
領域上端抽出部１１３の輪郭線抽出部１２１は、投影画像生成部１１２によって生成された正面投影画像を２値化することで２値化画像２２１を生成する。例えば、ＣＴ濃度値の最小値が－１０００ＨＵ、最大値が１０００ＨＵとすると、輪郭線抽出部１２１は、正面投影画像におけるＣＴ濃度値５００ＨＵ未満の画素を０（黒）、５００ＨＵ以上の画素を１（白）とすることで２値化画像２２１を生成する。

次に、輪郭線抽出部１２１は、生成された２値化画像２２１から輪郭線２２２ａを抽出する。輪郭線２２２ａは、画素値が異なる領域の境界線となる。ただし、２値化画像２２１においては肺野領域は中央領域に存在すると推定される。このため、輪郭線抽出部１２１は、例えば、中央領域における輪郭線のみを抽出し、それより外側に存在する別の輪郭線の抽出をキャンセルする。図７において、画像２２２は、２値化画像２２１から太線で示す輪郭線２２２ａが抽出された状態を示している。

次に、凸状頂点検出部１２２の輪郭線分割部１３１は、輪郭線２２２ａが抽出された画像２２２を、同一サイズのブロックに分割する。ここでは、輪郭線分割部１３１は、画像２２２を横方向、縦方向にそれぞれ等間隔で配置した分割線によって分割することで、画像２２２を分割する。図７において、画像２２３は、画像２２２がブロックに分割された状態を示している。

なお、分割されるブロックの高さと幅は、気管の幅より小さいことが望ましい。この条件により、右肺、左肺の凸状頂点を正確に検出できる可能性が高まる。
次に、凸状頂点検出部１２２の転換点検出部１３２は、輪郭線を含むブロックについて、輪郭線の両端を結ぶ直線の傾きを算出する。転換点検出部１３２は、直線の傾きに基づき、傾きの正負が逆転する転換点を検出する。凸状頂点検出部１２２の頂点検出部１３３は、検出された転換点を挟む両側のブロックを検証することで、肺野領域の上端を抽出する。以下、図８、図９を用いて転換点検出部１３２および頂点検出部１３３の処理例を説明する。

図８は、領域上端抽出部の処理例を示す第２の図である。この図８では、右肺の凸状頂点を検出する処理例を示す。
転換点検出部１３２は、画像２２３上の輪郭線を左端から上方向に辿っていき、ともに輪郭線を含む隣接するブロックの間で直線の傾きの正負が逆転する転換点を検出する。図８の例では、ブロックＢ１に輪郭線の左端が含まれている。転換点検出部１３２は、まず、ブロックＢ１における輪郭線の両端を結ぶ直線の傾きを算出する。次に、転換点検出部１３２は、輪郭線を上側に辿り、ブロックＢ１に隣接するブロックＢ２について、輪郭線の両端を結ぶ直線の傾きを算出する。そして、転換点検出部１３２は、ブロックＢ１とブロックＢ２との間で直線の傾きの正負が逆転したかを判定する。図８の例では直線の傾きは正のままであるので、転換点検出部１３２は次に、輪郭線を上側に辿り、ブロックＢ２に隣接するブロックＢ３について、輪郭線の両端を結ぶ直線の傾きを算出する。そして、転換点検出部１３２は、ブロックＢ２とブロックＢ３との間で直線の傾きの正負が逆転したかを判定する。

転換点検出部１３２は、このような判定を輪郭線を辿りながら順に繰り返していく。そして、図８の例では、ブロックＢ１１とブロックＢ１２との間で直線の傾きの正負が逆転したとする。すなわち、ブロックＢ１１の直線Ｌ１の傾きは正であったが、ブロックＢ１２の直線Ｌ２の傾きは負であったとする。この場合、ブロックＢ１１とブロックＢ１２との境界において輪郭線が通る点Ｐ１が、転換点として検出される。この転換点は、右肺の上端に位置する凸状頂点の近傍に位置していると推定される。したがって、画像２２３内のブロックの中から、右肺の上端が存在するブロックの候補として、検出された転換点を挟む両側のブロックＢ１１，Ｂ１２が絞り込まれる。

次に、頂点検出部１３３は、ブロックＢ１１，Ｂ１２をさらに小さなブロックに再分割する。そして、頂点検出部１３３は、再分割されたブロックのうち輪郭線を含むブロックについて、輪郭線の両端を結ぶ直線の傾きを算出する。頂点検出部１３３は、隣接するブロック間で直線の傾きの正負が逆転する位置を検出する。図８の例では、ブロックＢ１２ａとブロックＢ１２ｂとの間で直線の傾きの正負が逆転したとする。すなわち、ブロックＢ１２ａの直線Ｌ２ａの傾きは正であったが、ブロックＢ１２ｂの直線Ｌ２ｂの傾きは負であったとする。この場合、ブロックＢ１２ａとブロックＢ１２ｂとの境界において輪郭線が通る点Ｐ２が、転換点として検出される。なお、頂点検出部１３３は、ブロックＢ１２の中から転換点が複数検出された場合、その中で高さ方向の座標が最大の転換点を選択して処理を続ける。

頂点検出部１３３は、検出された転換点を挟む両側のブロックＢ１２ａ，Ｂ１２ｂについて、さらに小さなブロックに再分割し、上記と同様の手順で直線の傾きの正負が逆転する転換点を検出する。頂点検出部１３３は、転換点が検出されなくなるまでこのような処理を繰り返す。そして、頂点検出部１３３は、最後に検出された転換点を、右肺の上端に位置する凸状頂点として検出する。検出された凸状頂点の高さ方向の座標（Ｚ座標）が、右肺の領域の上端の座標を示す。

このような処理により、右肺の上端を高精度に抽出できる。すなわち、図３に示したように、右肺の上端は釣鐘形状における凸部のような凸状の形状を有しており、なおかつ、気管はこの凸状形状の位置より右側に存在する。このような構造のため、図８に示したように輪郭線を左端から上方向に辿っていくことで、気管の領域に達する前に右肺の凸状の上端部に達する。したがって、右肺の上端の位置を精度よく抽出できる。

図９は、領域上端抽出部の処理例を示す第３の図である。この図９では、左肺の凸状頂点を検出する処理例を示す。
転換点検出部１３２および頂点検出部１３３は、左肺についても、図８で説明した処理を左右逆転させて実行する。すなわち、転換点検出部１３２は、画像２２３上の輪郭線を右端から上方向に辿っていき、ともに輪郭線を含む隣接するブロックの間で直線の傾きの正負が逆転する転換点を検出する。図９の例では、ブロックＢ２１に輪郭線の右端が含まれている。転換点検出部１３２は、まず、ブロックＢ２１における輪郭線の両端を結ぶ直線の傾きを算出し、次に、ブロックＢ２２における輪郭線の両端を結ぶ直線の傾きを算出する。そして、転換点検出部１３２は、ブロックＢ２１とブロックＢ２２との間で直線の傾きの正負が逆転したかを判定する。図９の例では直線の傾きは正のままであるので、転換点検出部１３２は次に、ブロックＢ２３における輪郭線の両端を結ぶ直線の傾きを算出し、ブロックＢ２２とブロックＢ２３との間で直線の傾きの正負が逆転したかを判定する。

このようにして、図９ではブロックＢ３１とブロックＢ３２との間で直線の傾きの正負が逆転したとする。すなわち、ブロックＢ３１の直線Ｌ１１の傾きは負であったが、ブロックＢ３２の直線Ｌ１２の傾きは正であったとする。この場合、ブロックＢ３１とブロックＢ３２との境界において輪郭線が通る点Ｐ１１が、転換点として検出される。

次に、頂点検出部１３３は、転換点（点Ｐ１１）を挟む両側のブロックＢ３１，Ｂ３２をさらにブロックに再分割し、図８と同様の手順で直線の傾きの正負が逆転する転換点を検出する。図９の例では、ブロックＢ３２ａとブロックＢ３２ｂとの間で直線の傾きの正負が逆転したとする。すなわち、ブロックＢ３２ａの直線Ｌ１２ａの傾きは負であったが、ブロックＢ３２ｂの直線Ｌ１２ｂの傾きは正であったとする。この場合、ブロックＢ３２ａとブロックＢ３２ｂとの境界において輪郭線が通る点Ｐ１２が、転換点として検出される。

頂点検出部１３３は、検出された転換点を挟む両側のブロックＢ３２ａ，Ｂ３２ｂについて、さらに小さなブロックに再分割し、上記と同様の手順で直線の傾きの正負が逆転する転換点を検出する。頂点検出部１３３は、転換点が検出されなくなるまでこのような処理を繰り返す。そして、頂点検出部１３３は、最後に検出された転換点を、左肺の上端に位置する凸状頂点として検出する。検出された凸状頂点の高さ方向の座標（Ｚ座標）が、左肺の領域の上端の座標を示す。

このような処理により、左肺の上端を高精度に抽出できる。すなわち、図３に示したように、左肺の上端は釣鐘形状における凸部のような凸状の形状を有しており、なおかつ、気管はこの凸状形状の位置より左側に存在する。このような構造のため、図９に示したように輪郭線を右端から上方向に辿っていくことで、気管の領域に達する前に左肺の凸状の上端部に達する。したがって、左肺の上端の位置を精度よく抽出できる。

次に、画像処理装置１００の処理についてフローチャートを用いて説明する。
図１０は、画像処理装置による全体の処理を示すフローチャートの例である。
［ステップＳ１１］画像入力部１１１は、ＣＴ装置５０によって撮像された所定枚数のＣＴスライス画像を受け付け、投影画像生成部１１２および領域下端抽出部１１４に出力する。

［ステップＳ１２］画像入力部１１１から出力されたＣＴスライス画像を用いて、投影画像生成部１１２および領域上端抽出部１１３によって肺野領域上端抽出処理が実行される。これにより、肺野領域の上端（右肺の上端、左肺の上端）が抽出される。

［ステップＳ１３］領域下端抽出部１１４は、画像入力部１１１から出力された所定枚数のＣＴスライス画像を基に、肺野領域の下端（右肺の下端、左肺の下端）を抽出する。
［ステップＳ１４］スライス選定部１１５は、画像入力部１１１が受け付けたＣＴスライス画像の中から、ステップＳ１２で抽出された上端より上側の領域を撮影した画像を除外する。さらにスライス選定部１１５は、除外後の残りのＣＴスライス画像の中から、ステップＳ１３で抽出された下端より下側の領域を撮影した画像を除外する。これにより、画像入力部１１１が受け付けたＣＴスライス画像の中から、肺野領域を撮影したＣＴスライス画像が、肺野領域の抽出対象のＣＴスライス画像として選定される。

［ステップＳ１５］肺野領域抽出部１１６は、機械学習による学習結果に基づき、ステップＳ１４で選定されたＣＴスライス画像から肺野領域の画像領域を抽出し、その抽出結果を出力する。ステップＳ１４で選定されたＣＴスライス画像のみが抽出対象として使用されることで、肺野領域を精度よく抽出できる。

また、肺野領域抽出部１１６は、機械学習による学習結果に基づき、抽出された画像領域から異常陰影を認識してもよい。この処理でも、ステップＳ１４で選定されたＣＴスライス画像のみが使用されることで、異常陰影の誤検出が少なくなり、その検出精度を向上させることができる。

図１１は、肺野領域上端抽出処理を示すフローチャートの例である。この図１１の処理は、図１０のステップＳ１２の処理に対応する。
［ステップＳ２１］投影画像生成部１１２は、画像入力部１１１から出力された所定枚数のＣＴスライス画像を基に、最小値投影法により正面投影画像を生成する。

［ステップＳ２２］輪郭線抽出部１２１は、生成された正面投影画像を２値化して、２値化画像を生成する。
［ステップＳ２３］輪郭線抽出部１２１は、生成された２値化画像から輪郭線を抽出する。

［ステップＳ２４］輪郭線分割部１３１は、輪郭線が抽出された画像を同一サイズのブロックに分割することで、輪郭線を分割する。
［ステップＳ２５］分割された輪郭線に基づいて、画像内の左側の肺（右肺）の凸状頂点を検出する左側頂点検出処理が実行される。

［ステップＳ２６］分割された輪郭線に基づいて、画像内の右側の肺（左肺）の凸状頂点を検出する右側頂点検出処理が実行される。
［ステップＳ２７］頂点検出部１３３は、ステップＳ２５，Ｓ２６の検出結果から、肺野領域の上端位置（高さ）を出力する。すなわち、右肺の凸状頂点の高さ（Ｚ座標）が右肺の上端位置として出力され、左肺の凸状頂点の高さ（Ｚ座標）が左肺の上端位置として出力される。

図１２は、頂点検出処理を示すフローチャートの例である。この図１２の処理は、図１１のステップＳ２５，Ｓ２６の処理に対応する。ステップＳ２５，Ｓ２６の処理は左右の関係が逆になるだけで基本的に同一である。そのため、ここでは主としてステップＳ２５の左側頂点検出処理について説明し、ステップＳ２６の右側頂点検出処理については適宜説明を補足する。また、以下の説明において、「分割曲線」とはブロックによって分割された輪郭線を指す。

［ステップＳ３１］転換点検出部１３２は、画像上の左端の分割曲線を特定する。この処理は、輪郭線の左端を含むブロックが選択され、そのブロックに含まれる輪郭線（分割曲線）が特定される。転換点検出部１３２は、分割曲線の両端の座標を算出する。なお、右側頂点検出処理では、画像上の右端の分割曲線が特定される。

［ステップＳ３２］転換点検出部１３２は、ステップＳ３１で算出された座標に基づいて、分割曲線の両端を結ぶ直線の傾きを算出する。
［ステップＳ３３］転換点検出部１３２は、輪郭線を上方向に辿ることにより、次の分割曲線を特定する。輪郭線を上方向に辿れなくなった場合には、輪郭線を右方向に辿ることで次の分割曲線が特定される。転換点検出部１３２は、分割曲線の両端の座標を算出する。なお、右側頂点検出処理では、同様に輪郭線を上方向に辿ることで次の分割曲線が特定され、上方向に辿れなくなった場合には輪郭線を左方向に辿ることで次の分割曲線が特定される。

［ステップＳ３４］転換点検出部１３２は、ステップＳ３３で算出された座標に基づいて、分割曲線の両端を結ぶ直線の傾きを算出する。
［ステップＳ３５］転換点検出部１３２は、ステップＳ３４で算出された直線の傾き（第１の傾き）と、ステップＳ３２で算出された、または前回のステップＳ３４の実行により算出された直線の傾き（第２の傾き）とを比較して、傾きの正負の転換点が検出されたかを判定する。第１の傾きと第２の傾きの両方の角度が０以上の場合、または両方の角度が０未満の場合には、傾きの正負が逆転しておらず、転換点は検出されない。一方、第１の傾きと第２の傾きのうちの一方の角度が０以上であり、他方の角度が０未満の場合には、傾きの正負が逆転したと判定される。この場合、２つの直線の接点（すなわち、各直線を含む２つのブロックの境界における、輪郭線の通過点）が転換点として検出される。

転換点検出部１３２は、転換点が検出されなかった場合、ステップＳ３３の処理を再度実行し、転換点が検出された場合、ステップＳ３６の処理を実行する。
［ステップＳ３６］ステップＳ３６の初回実行時では、頂点検出部１３３は、ステップＳ３５で検出された転換点の座標をＲＡＭ１０２に記録する。ステップＳ３６の２回目以降の実行時では、頂点検出部１３３は、前回のステップＳ４０の実行により検出された転換点の座標をＲＡＭ１０２に記録する。なお、後者の場合、前回のステップＳ３６の実行により記録された転換点の座標は破棄される。

［ステップＳ３７］頂点検出部１３３は、座標が記録された転換点を挟む両側のブロックを、より小さなサイズのブロックに再分割する。これにより、各ブロック内の輪郭線はさらに短い分割曲線に再分割される。

［ステップＳ３８］頂点検出部１３３は、再分割された分割曲線のそれぞれについて、両端の座標を算出する。
［ステップＳ３９］頂点検出部１３３は、再分割された分割曲線のそれぞれについて、ステップＳ３８で算出された座標に基づき、両端を結ぶ直線の傾きを算出する。

［ステップＳ４０］頂点検出部１３３は、ステップＳ３９で算出された各直線の傾きに基づき、傾きの正負の転換点が検出されたかを判定する。具体的には、頂点検出部１３３は、隣接する直線の組み合わせのそれぞれについて、各直線の傾きを比較する。ステップＳ３５での判定と同様に、両方の傾きの角度が０以上の場合、または０未満の場合には、各直線の接点は転換点ではない。一方、一方の傾きの角度が０以上であり、他方の傾きの角度が０未満である場合には、各直線の接点が転換点として検出される。

転換点検出部１３２は、転換点が検出されなかった場合、ステップＳ４１の処理を実行する。一方、転換点検出部１３２は、転換点が１つ以上検出された場合、ステップＳ３６の処理を再度実行する。なお、後者のケースにおいて、転換点が複数検出された場合には、それらのうち高さ（Ｚ座標）が最大の転換点が選択されて、その座標がステップＳ３６で記録される。

［ステップＳ４１］頂点検出部１３３は、ステップＳ３６で記録された転換点の座標を読み出し、この座標を左側の凸状頂点の座標、すなわち右肺の上端の座標として出力する。なお、右側頂点検出処理では、読み出された座標が右側の凸状頂点の座標、すなわち左肺の上端の座標として出力される。

以上説明した第２の実施の形態の画像処理装置１００によれば、胸部を撮影したＣＴスライス画像に基づく正面投影画像から肺野領域の上端を精度よく抽出できる。このため、ＣＴスライス画像の中から肺野領域を写した画像を正確に選定でき、選定された画像を用いて機械学習の学習結果に基づく肺野領域の抽出処理を精度よく実行できる。また、選定された画像を用いて、機械学習の学習結果に基づく異常陰影の認識処理を精度よく実行できる。

＜第２の実施の形態の変形例＞
次に、第２の実施の形態における処理の一部を変更した変形例について説明する。なお、変形例の説明では、第２の実施の形態と同じ構成要素や同じ内容の処理ステップには同じ符号を用いる。

図１３は、変形例における凸状頂点検出部の内部構成例を示す図である。変形例では、画像処理装置１００は、図６に示した凸状頂点検出部１２２の代わりに図１３に示す凸状頂点検出部１２２ａを備える。

凸状頂点検出部１２２ａは、図６に示した輪郭線分割部１３１と転換点検出部１３２を備える。また、凸状頂点検出部１２２ａは、図６に示した頂点検出部１３３の代わりに最大値検出部１３４を備える。最大値検出部１３４は、転換点検出部１３２によって検出された転換点を挟む両側のブロックから、輪郭線上の高さ（Ｚ座標）が最大となる点を検出することで、凸状頂点を検出する。

図１４は、最大値検出部の処理例を示す図である。図１４では、図８、図９と同様の画像２２３を示している。また、転換点検出部１３２による図８で説明した処理によって、左側の輪郭線から転換点として点Ｐ１が検出されている。さらに、転換点検出部１３２による図９で説明した処理によって、右側の輪郭線から転換点として点Ｐ１１が検出されている。

最大値検出部１３４は、転換点（点Ｐ１）を挟む両側のブロックＢ１１，Ｂ１２を特定する。最大値検出部１３４は、ブロックＢ１１，Ｂ１２の内部の分割曲線（輪郭線）における高さ（Ｚ座標）の最大値を検出し、最大値が検出された画素Ｐ２１の位置を右肺の凸状頂点、すなわち右肺の上端として検出する。

同様に、最大値検出部１３４は、転換点（点Ｐ１１）を挟む両側のブロックＢ３１，Ｂ３２を特定する。最大値検出部１３４は、ブロックＢ３１，Ｂ３２の内部の分割曲線（輪郭線）における高さ（Ｚ座標）の最大値を検出し、最大値が検出された画素Ｐ２２の位置を左肺の凸状頂点、すなわち左肺の上端として検出する。

このように、変形例では、第２の実施の形態と同様に、輪郭線を左端および右端からそれぞれ上方向に辿ることで、右肺の上端が存在するブロックＢ１１，Ｂ１２が絞り込まれ、左肺の上端が存在するブロックＢ３１，Ｂ３２が絞り込まれる。その後、第２の実施の形態とは異なり、ブロックＢ１１，Ｂ１２における輪郭線の座標に基づいて右肺の凸状頂点が検出され、ブロックＢ３１，Ｂ３２における輪郭線の座標に基づいて左肺の凸状頂点が検出される。これにより、右肺、左肺のそれぞれの上端を高精度に検出できる。

図１５は、変形例における頂点検出処理を示すフローチャートの例である。この図１５の処理は、図１１のステップＳ２５，Ｓ２６の処理に対応する。また、図１２と同じ内容の処理ステップには同じ符号を付して示しており、その説明を省略する。

図１５に示すように、変形例では、図１２のステップＳ３１～Ｓ３５が実行された後、ステップＳ５１～Ｓ５３の処理が実行される。なお、ここでは図１２と同様に、主としてステップＳ２５の左側頂点検出処理について説明し、ステップＳ２６の右側頂点検出処理については適宜説明を補足する。

［ステップＳ５１］最大値検出部１３４は、ステップＳ３５で検出された転換点を挟む両側のブロックを特定する。
［ステップＳ５２］最大値検出部１３４は、特定された２つのブロックに含まれる分割曲線（輪郭線）から、高さ（Ｚ座標）の最大値を検出する。

［ステップＳ５３］最大値検出部１３４は、最大値が検出された画素の位置を左側の凸状頂点の座標、すなわち右肺の上端の座標として出力する。なお、右側頂点検出処理では、最大値が検出された画素の位置が右側の凸状頂点の座標、すなわち左肺の上端の座標として出力される。

なお、以上の第２の実施の形態、およびその変形例において画像処理装置１００が備えている処理機能の少なくとも一部は、ＣＴ装置５０に搭載されていてもよい。また、画像処理装置１００が備えている処理機能が、複数のコンピュータ装置に分散されて搭載されていてもよい。

また、上記の各実施の形態に示した装置（例えば、画像処理装置１０，１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

１ａ ２値化画像
１ｂ，１ｃ 画像
２ 輪郭線
３ａ，３ｂ 矢印
４ａ，４ｂ 凸状頂点
１０ 画像処理装置
１１ 輪郭線抽出部
１２ 領域特定部

Claims (8)

1. コンピュータに、
   人体の胸部の内部を撮影した１以上の断面画像に基づいて生成される、前記胸部のコロナル断面を示す２値化画像から、輪郭線を抽出し、
   前記人体における左右両方の外側から上方向に前記輪郭線を辿ることで前記輪郭線における凸状頂点を探索し、探索された前記凸状頂点の位置を肺野領域の上端として特定する、
   処理を実行させる画像処理プログラム。
2. 前記コンピュータに、
   前記１以上の断面画像として前記胸部のアキシャル断面を示す複数のアキシャル断面画像を用い、前記複数のアキシャル断面画像のそれぞれにおける前後方向の画素群の最小値を正面に投影することで投影画像を生成し、前記投影画像を２値化することで前記２値化画像を生成する、
   処理をさらに実行させる請求項１記載の画像処理プログラム。
3. 前記コンピュータに、
   前記肺野領域の上端の特定結果に基づいて、前記複数のアキシャル断面画像から前記肺野領域を撮影範囲に含む画像を特定する、
   処理をさらに実行させる請求項２記載の画像処理プログラム。
4. 前記凸状頂点の探索では、前記２値化画像を複数の分割領域に分割し、前記複数の分割領域のうち前記輪郭線を含む第１の分割領域のそれぞれについて、前記輪郭線の両端を結ぶ第１の直線の傾きを計算し、前記輪郭線の左右両方の外側から上方向に前記第１の分割領域を順に辿っていったときに、隣接する前記第１の分割領域において前記第１の直線の傾きの正負が変化する位置に基づいて、前記凸状頂点を特定する、
   請求項１乃至３のいずれか１項に記載の画像処理プログラム。
5. 前記凸状頂点の探索では、前記第１の分割領域のうち前記第１の直線の傾きの正負が変化した隣接する２つの第２の分割領域について、さらに複数の第３の分割領域に分割し、前記第３の分割領域のうち前記輪郭線を含む第４の分割領域のそれぞれについて前記輪郭線の両端を結ぶ第２の直線の傾きを計算し、隣接する前記第４の分割領域において前記第２の直線の傾きの正負が変化する位置に基づいて、前記凸状頂点を特定する、
   請求項４記載の画像処理プログラム。
6. 前記凸状頂点の探索では、前記第１の分割領域のうち前記第１の直線の傾きの正負が変化した隣接する２つの第２の分割領域における、前記輪郭線の上端位置に基づいて、前記凸状頂点を特定する、
   請求項４記載の画像処理プログラム。
7. 人体の胸部の内部を撮影した１以上の断面画像に基づいて生成される、前記胸部のコロナル断面を示す２値化画像から、輪郭線を抽出する輪郭線抽出部と、
   前記人体における左右両方の外側から上方向に前記輪郭線を辿ることで前記輪郭線における凸状頂点を探索し、探索された前記凸状頂点の位置を肺野領域の上端として特定する領域特定部と、
   を有する画像処理装置。
8. コンピュータが、
   人体の胸部の内部を撮影した１以上の断面画像に基づいて生成される、前記胸部のコロナル断面を示す２値化画像から、輪郭線を抽出し、
   前記人体における左右両方の外側から上方向に前記輪郭線を辿ることで前記輪郭線における凸状頂点を探索し、探索された前記凸状頂点の位置を肺野領域の上端として特定する、
   画像処理方法。

Images