JP6729569B2 - 画像処理装置、画像処理方法、および画像処理用のプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、および画像処理用のプログラムに関し、特に、細胞の形態を捉えた画像において細胞の特定部位が占める領域の分布が示されている画像を対象とした画像処理技術に関する。

人や動物等の生体から採取された組織切片を顕微鏡で観察して病変の有無や病変の種類等について診断する、いわゆる病理診断が盛んに行われている。この病理診断では、診断の対象となる組織切片は、固定、包理、薄切および染色と言った処理がこの順で施された後に顕微鏡による観察に供されるのが一般的である。

近年では、上記顕微鏡による観察において複数の細胞の形態が捉えられた画像（細胞形態画像とも言う）が取得され、該細胞形態画像から細胞の形状が自動的に抽出される画像処理が実行されている。これにより、細胞形態画像において細胞の特定部位が占める細胞領域の分布が表示要素で示されている画像（細胞分布画像とも言う）が取得され得る。

但し、細胞形態画像を対象として細胞分布画像を取得するために実行される画像処理では、実際の細胞の特定部位とは異なった形態で細胞領域が検出される場合がある。この場合、例えば、細胞形態画像が参照されつつ、細胞分布画像のうちの細胞領域に対応する表示要素の少なくとも一部に対して、消去等の修正が加えられる場面が生じ得る。

そして、表示要素の少なくとも一部を消去する技術については、描いた閉曲線で囲まれた閉領域内の描画像が消去される技術（特許文献１等）、および描いた自由曲線や多角形の始点と終点とが結ばれて閉曲線が形成される技術（特許文献２等）が提案されている。

特開昭６２−２６７８７５号公報 特開平０９−３２６０３８号公報

しかしながら、例えば、ユーザーが表示要素のうちの消去する部分を指定する際に、消去するつもりがない周囲の表示要素まで消去する部分として指定されてしまう場合がある。特に、病理診断用の細胞形態画像では、細胞領域が密集している場合が多く、消去するつもりがない周囲の他の表示要素まで消去する部分として指定されてしまう不具合が生じ易い。このため、細胞分布画像内の表示要素のうちの消去の対象となる部分の指定は容易でなく、煩雑な動作および長時間を要し、ユーザーの負担が高まり得る。

本発明は、上記課題に鑑みてなされたものであり、細胞の形態を捉えた画像において細胞の特定部位が占める領域の分布が示された画像について、簡単かつ迅速に所望の部分が消去され得る技術を提供することを目的とする。

上記課題を解決するために、一態様に係る画像処理装置は、取得部と、表示制御部と、指定部と、修正部と、を備えている。ここで、前記取得部は、細胞の形態を捉えた細胞形態画像において細胞の特定部位が占める細胞領域の分布が細胞表示要素で示されている細胞分布画像を取得する。前記表示制御部は、前記細胞分布画像を表示部に表示させる。前記指定部は、ユーザーによって入力される信号に応じて、前記表示部に表示されている前記細胞分布画像に対して消去の対象となる消去対象部分を指定するための曲線を加える。前記修正部は、前記曲線の閉曲線部を形成していない非閉曲線部によって前記細胞表示要素が複数の部分に分割されていれば、該複数の部分のうち、面積が最大である最大部分を除く残余の部分を消去し、前記細胞分布画像が、第１細胞表示要素および第２細胞表示要素を含む複数の前記細胞表示要素を含み、前記曲線が、前記閉曲線部と前記非閉曲線部とを有していれば、前記修正部は、前記非閉曲線部によって前記第１細胞表示要素が前記複数の部分に分割されており、且つ前記閉曲線部によって前記第２細胞表示要素の少なくとも一部が囲まれていれば、前記第１細胞表示要素における分割後の前記複数の部分の前記最大部分を除く前記残余の部分を消去するとともに、前記第２細胞表示要素の閉曲線部で囲まれた閉領域内の部分を消去する。

他の一態様に係る画像処理方法は、ステップ(a)からステップ(c)を有する。ここで、前記ステップ(a)においては、取得部によって、細胞の形態を捉えた細胞形態画像において細胞の特定部位が占める細胞領域の分布が細胞表示要素で示されている細胞分布画像を取得する。前記ステップ(b)においては、指定部によって、ユーザーによって入力される信号に応じて、表示部に表示されている前記細胞分布画像に対して消去の対象となる消去対象部分を指定するための曲線を加える。前記ステップ(c)においては、修正部によって、前記曲線の閉曲線部を形成していない非閉曲線部によって前記細胞表示要素が複数の部分に分割されていれば、該複数の部分のうち、面積が最大である最大部分を除く残余の部分を消去し、前記細胞分布画像が、第１細胞表示要素および第２細胞表示要素を含む複数の前記細胞表示要素を含み、前記曲線が、前記閉曲線部と前記非閉曲線部とを有していれば、前記修正部が、前記非閉曲線部によって前記第１細胞表示要素が前記複数の部分に分割されており、且つ前記閉曲線部によって前記第２細胞表示要素の少なくとも一部が囲まれていれば、前記第１細胞表示要素における分割後の前記複数の部分の前記最大部分を除く前記残余の部分を消去するとともに、前記第２細胞表示要素の閉曲線部で囲まれた閉領域内の部分を消去する。

その他の一態様に係る画像処理用のプログラムは、情報処理装置に含まれる制御部において実行されることで、該情報処理装置を上記一態様に係る画像処理装置として機能させる。

本発明によれば、細胞分布画像に対して曲線を加えることで、細胞領域に対応する表示要素のうちの消去する部分が容易に指定され得る。その結果、細胞の形態を捉えた画像において細胞の特定部位が占める領域の分布が示された画像について、簡単かつ迅速に所望の部分が消去され得る。

図１は、参考例に係る細胞表示要素の消去の態様を例示する図である。 図２は、参考例に係る細胞表示要素の消去の態様を例示する図である。 図３は、参考例に係る細胞表示要素の消去の態様を例示する図である。 図４は、一実施形態に係る病理診断支援システムの概略的な構成を例示する図である。 図５は、情報処理装置の機能的な構成を概略的に示すブロック図である。 図６は、制御部で実現される機能的な構成を例示するブロック図である。 図７は、細胞形態画像の一例を示す図である。 図８は、細胞分布画像の一例を示す図である。 図９は、修正後の細胞分布画像の一例を示す図である。 図１０は、一実施形態に係る画像処理装置の動作フローを例示する流れ図である。 図１１は、一実施形態に係る画像処理装置の動作フローを例示する流れ図である。 図１２は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図１３は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図１４は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図１５は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図１６は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図１７は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図１８は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図１９は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図２０は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図２１は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図２２は、一実施形態に係る細胞表示要素の消去の態様を例示する図である。 図２３は、一変形例に係る画像処理装置の動作フローを例示する流れ図である。 図２４は、一変形例に係る細胞表示要素の消去の態様を例示する図である。 図２５は、一変形例に係る細胞表示要素の消去の態様を例示する図である。 図２６は、一変形例に係る細胞表示要素の消去の態様を例示する図である。

＜(１)本発明の概要＞
図１から図３は、参考例に係る細胞分布画像において表示要素が消去される態様を例示する図である。ここで、細胞分布画像は、細胞の形態を捉えた画像（細胞形態画像）において細胞の特定部位が占める領域（細胞領域）の分布が表示要素（細胞表示要素）で示されている画像である。図１から図３の何れにおいても、細胞表示要素Ｅ１の右上部に、ユーザーが消去したい所望の部分が存在している例が示されている。

例えば、図１の最左部で示されるように、細胞表示要素Ｅ１のうちの二点鎖線で描かれた仮想の曲線（仮想曲線とも言う）Ｃ０よりも右上方の部分が消去したい所望の部分（消去目標部分とも言う）Ｐｄ１である場合を想定する。つまり、仮想曲線Ｃ０は、細胞表示要素Ｅ１のうち、消去目標部分Ｐｄ１と消去するつもりがない部分（残留目標部分とも言う）Ｐｒ１との境界に沿って仮想的に描かれたものである。

この場合、図１の左から２番目の部分で示されるように、例えば、細胞表示要素Ｅ１のうちの消去目標部分Ｐｄ１を消去するために、ユーザーによって、仮想曲線Ｃ０に沿った位置に太い曲線Ｌ１が描かれる。このとき、図１の左から３番目の部分で示されるように、例えば、曲線Ｌ１の始点と終点とを結ぶ線分Ｌｓ１と曲線Ｌ１とからなる閉曲線Ｌｃ１が形成され、細胞表示要素Ｅ１のうちの閉曲線Ｌｃ１で囲まれる閉領域Ａｃ１内の部分が消去される態様が考えられる。しかしながら、このような消去の態様では、図１の最右部で示されるように、消去目標部分Ｐｄ１が消去されることなく、残留目標部分Ｐｒ１の右上の部分が消去された細胞表示要素Ｅ１１となってしまう。つまり、ユーザーの意図に反して、残留目標部分Ｐｒ１の一部が消去され、消去目標部分Ｐｄ１が残留してしまう。

これに対して、例えば、図２で示されるように、消去目標部分Ｐｄ１を囲むように曲線Ｌ２がユーザーによって描かれることで閉曲線Ｌｃ２が形成されると、閉曲線Ｌｃ２で囲まれた消去目標部分Ｐｄ１が消去され、残留目標部分Ｐｒ１が残留している細胞表示要素Ｅ１２が得られる。

しかしながら、図３で示されるように、例えば、２つの細胞表示要素Ｅ１，Ｅ２が接近している場合、太い曲線Ｌ２によって消去目標部分Ｐｄ１を囲むように曲線Ｌ３が描かれると、閉曲線Ｌｃ３が形成され、２つの細胞表示要素Ｅ１，Ｅ２のうちの閉曲線Ｌｃ３で囲まれた閉領域Ａｃ３内の部分が消去される。このとき、閉領域Ａｃ３には、消去目標部分Ｐｄ１だけでなく、細胞表示領域Ｅ２の左下の部分Ｐｄ２まで含まれて、部分Ｐｄ２が消去され得る。つまり、消去したくない周囲の他の細胞表示要素まで消去する部分として指定され得る。

そこで、本発明では、細胞分布画像に対してユーザーが細胞表示要素の少なくとも一部を削除するために描画した曲線および該曲線と細胞表示要素との関係に応じて、消去される部分が適宜変更される構成が採用される。このため、細胞表示要素のうちの消去する部分が容易に指定され得る。その結果、細胞の形態を捉えた画像において細胞の特定部位が占める領域の分布が示された画像について、簡単かつ迅速に所望の部分が消去され得る。

以下、本発明の一実施形態および各種変形例を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構成のサイズおよび位置関係等は適宜変更され得る。

＜(２)一実施形態＞
＜(２−１)病理診断支援システムの概要＞
図４は、一実施形態に係る病理診断支援システム１００の概略的な一構成例を示す図である。病理診断支援システム１００は、所定の染色試薬で染色された生体の組織切片が捉えられた顕微鏡画像を取得し、該顕微鏡画像を対象とした画像処理を行った後に、組織切片における特定の生体物質の発現を定量的に表す特徴量を算出する解析処理を行う。

ここで、顕微鏡画像には、例えば、生体の組織切片における細胞の形態が捉えられた画像（細胞形態画像とも言う）、および生体の組織切片に存在する特定の生体物質の分布が捉えられた画像（物質分布画像とも言う）が含まれる。生体には、例えば、人体またはヒトを除く動物等が含まれ、また、人体およびヒトを除く動物の双方を含む広義の意味での動物が含まれても良い。画像処理には、例えば、解析処理において特定の生体物質の発現を定量的に表す特徴量が顕微鏡画像から高精度で求められるように該顕微鏡画像に施される処理が含まれる。

図４で示されるように、病理診断支援システム１００は、顕微鏡画像取得装置１、画像処理装置２、および顕微鏡画像取得装置１と画像処理装置２とをデータの送受信が可能に接続している通信回線３を備えている。通信回線３は、例えば、ケーブル等の有線方式の回線であっても良いし、無線方式の回線であっても良い。具体的には、通信回線３として、例えば、有線方式または無線方式の少なくとも一方の方式が採用されたＬＡＮ（Local Area Network）が採用され得る。また、顕微鏡画像取得装置１と画像処理装置２との間におけるデータの授受は、記憶媒体等の各種メディアを用いた受け渡しによって実施されても良い。

顕微鏡画像取得装置１は、例えば、公知のカメラ付きの光学顕微鏡である。顕微鏡画像取得装置１では、ステージ上に配置されたスライドガラス上の組織切片の光像が撮像されることで、組織切片の拡大像に係る画像（顕微鏡画像とも言う）のデータ（顕微鏡画像データとも言う）が取得され、該顕微鏡画像データが、画像処理装置２に送信される。なお、以下では、顕微鏡画像データおよび顕微鏡画像を、顕微鏡画像と総称する。

具体的には、顕微鏡画像取得装置１は、例えば、照射部、結像部、撮像部、通信Ｉ／Ｆ等を備えている。照射部は、例えば、光源、フィルター等を有しており、ステージ上に配置されたスライドガラス上の組織切片に光を照射する。結像部は、例えば、接眼レンズおよび対物レンズ等を有しており、スライド上の組織切片に対する光の照射に応じて、該組織切片から発せられる透過光、反射光または蛍光を結像する。撮像部は、例えば、ＣＣＤ(Charge Coupled Device)センサー等を備えているカメラであり、結像部によって結像面に結像される組織切片の光像を撮像して顕微鏡画像を取得する。通信Ｉ／Ｆは、該顕微鏡画像を画像処理装置２に送信する。

また、顕微鏡画像取得装置１は、明視野観察に適した照射部および結像部が組み合わされた明視野ユニットと、蛍光観察に適した照射部および結像部が組み合わされた蛍光ユニットとが備えられている。そして、明視野ユニットおよび蛍光ユニットの間で使用されるユニットが切り替えられることで、観察のモードが明視野観察を行うモードと蛍光観察を行うモードとの間で切り替えられる。これにより、顕微鏡画像取得装置１で取得される顕微鏡画像には、例えば、明視野観察における撮像で得られる明視野画像と、蛍光観察における撮像で得られる蛍光画像とが含まれる。

「明視野画像」は、所定の染色試薬で染色された組織切片を、顕微鏡画像取得装置１において明視野で拡大結像および撮像することで得られる顕微鏡画像である。ここで、所定の染色試薬としては、例えば、ヘマトキシリン染色試薬（Ｈ染色試薬）およびヘマトキシリン−エオジン染色試薬（ＨＥ染色試薬）が採用され得る。ヘマトキシリン（Ｈ）は、青紫色の色素であり、細胞核、骨組織、軟骨組織の一部および漿液成分等（好塩基性の組織等）を染色する。エオジン（Ｅ）は、赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素および内分泌顆粒等（好酸性の組織等）を染色する。つまり、本実施形態では、明視野画像は、組織切片における細胞の形態が捉えられた細胞形態画像である。

また、「蛍光画像」は、所定の蛍光染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置１において所定波長の励起光を照射して蛍光発光させ、この蛍光を拡大結像および撮像することにより得られる顕微鏡画像である。ここで、蛍光染色試薬としては、例えば、特定の生体物質と特異的に結合および／または反応する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬である。蛍光物質内包ナノ粒子は、蛍光物質を内包したナノ粒子（蛍光粒子とも言う）である。蛍光画像に現れる蛍光は、蛍光染色試薬の蛍光物質内包ナノ粒子（蛍光物質）が励起して発光したものであり、組織切片における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。つまり、本実施形態では、蛍光画像は、生体の細胞内に存在する特定の生体物質の分布が捉えられた物質分布画像である。

画像処理装置２は、顕微鏡画像取得装置１から送信された顕微鏡画像を受信して、該顕微鏡画像に画像処理を施す。該画像処理装置２は、情報処理装置において所定のプログラムが実行されることで実現される。また、画像処理装置２は、例えば、画像処理が施された顕微鏡画像を対象として、組織切片における特定の生体物質の発現を定量的に表す特徴量を算出する解析処理を行う。

＜(２−２)情報処理装置の機能的な構成＞
図５は、画像処理装置２の機能を実現する情報処理装置の機能的な構成を概略的に示すブロック図である。図５で示されるように、情報処理装置は、例えば、制御部２１、入力部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えている。そして、各部２１〜２５は、バス２６を介して相互にデータの送受信が可能に接続されている。

制御部２１は、プロセッサーおよびメモリー等を備えた電気回路である。ここで、プロセッサーとしては、例えば、中央処理装置（ＣＰＵ：Central Processing Unit）等が採用され、メモリーとしては、揮発性のメモリーであるＲＡＭ（Random Access Memory）等が採用され得る。制御部２１は、記憶部２５に記憶されている各種プログラムとの協働によって各種処理を実行し、情報処理装置の画像処理装置２としての動作を統括的に制御する。また、制御部２１は、記憶部２５に記憶されている画像処理用のプログラムＰ１（図６）を実行することで、情報処理装置を画像処理装置２として機能させる。

入力部２２は、ユーザーとしての画像処理装置２のオペレーターの動作に応じた信号を入力する。ここで、入力部２２は、例えば、ユーザーによる操作に応じた信号（操作信号とも言う）が入力される操作部であっても良いし、ユーザーによる発声に応じた信号（音声信号とも言う）が入力される音声入力部であっても良い。操作部には、文字入力キー、数字入力キーおよび各種機能キー等を含むキーボードと、マウスやタッチペン等のポインティングデバイスとが含まれ得る。操作部によれば、例えば、キーボードにおけるキーの押し下げに応じた操作信号と、ポインティングデバイスの操作に応じた操作信号とが、制御部２１に入力され得る。

表示部２３は、制御部２１から入力される信号に従って、各種画像を表示させる。表示部２３には、例えば、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）等の表示部が含まれる。

通信Ｉ／Ｆ２４は、画像処理装置２の外部に位置する外部機器との間でデータの送受信を行なうためのインターフェースである。外部機器には、例えば、顕微鏡画像取得装置１が含まれる。このため、通信Ｉ／Ｆ２４は、例えば、顕微鏡画像取得装置１から顕微鏡画像を受信する受信部として機能する。なお、例えば、画像処理装置２が、ＬＡＮアダプターおよびルーター等を備え、ＬＡＮ等の通信ネットワークを介して外部機器と接続される構成が採用されても良い。

記憶部２５は、各種プログラムおよび各種データ等を記憶する。該記憶部２５は、例えば、ＨＤＤ（Hard Disk Drive）または不揮発性の半導体メモリー等で構成され得る。

＜(２−３)画像処理装置の機能的な構成＞
図６は、画像処理装置２の制御部２１で実現される機能的な構成を例示するブロック図である。情報処理装置に含まれる制御部２１において、記憶部２５に格納されている画像処理用のプログラムＰ１が実行されることで、該情報処理装置が、画像処理装置２として機能する。このとき、図６で示されるように、画像処理装置２は、制御部２１において実現される機能的な構成として、取得部２１１、表示制御部２１２、指定部２１３および修正部２１４を備える。

取得部２１１は、細胞形態画像において細胞の特定部位が占める細胞領域の分布が所定の表示要素（細胞表示要素とも言う）で示されている細胞分布画像を取得する。細胞分布画像は、細胞形態画像において細胞の特定部位が占める領域を細胞表示要素で特定し得る。本実施形態では、特定部位が、細胞核である例を挙げて説明する。図７は、細胞形態画像の一例を示す図である。

取得部２１１では、例えば、通信Ｉ／Ｆ２４から入力される細胞形態画像を対象とした所定の画像処理が行われることで、細胞分布画像が取得される。ここで、所定の画像処理としては、例えば、判別分析法およびＰタイル法等と言った二値化、ならびにｋ平均法およびＥＭアルゴリズム等と言ったクラスタリングのうちの少なくとも一方によって、細胞形態画像において特定部位が占める領域が検出される処理が採用され得る。また、例えば、多数種の画像の特徴量を用いた機械学習で得た学習内容によって、細胞形態画像において特定部位が占める領域が検出される処理が採用されても良い。さらに、取得部２１１では、二値化、クラスタリングおよび機械学習の結果等によって細胞形態画像から一旦検出される領域のうち、円形度、大きさおよび細胞形態画像における色等と言った他の基準を満たす領域が、細胞領域として検出されても良い。

また、ここで、細胞分布画像としては、例えば、細胞形態画像について、特定部位が占める領域の分布と、特定部位が占めていないそれ以外の領域の分布とが区別可能な態様で示される画像が採用され得る。具体的には、例えば、特定部位が占める領域に対応する部分が第１の色または第１のハッチングが付された細胞表示要素で示され、特定部位が占めていないその他の領域が背景の領域（背景領域とも言う）として細胞表示要素とは異なる第２の色または第２のハッチングが付されて描かれる。ここで、第１の色としては、例えば、青色または灰色等が採用され、第２色としては、例えば、白色または黒色等が採用され得る。図８は、図７で示された細胞形態画像を対象とした二値化の処理によって取得された細胞分布画像の一例を示す図である。

表示制御部２１２は、各種画像を表示部２３に表示させる。各種画像には、例えば、細胞形態画像および細胞分布画像等が含まれる。つまり、表示制御部２１２は、細胞分布画像を表示部２３に表示させる。ここでは、例えば、表示制御部２１２から各種画像のデータが表示部２３に出力されることで、各種画像が表示部２３において表示され得る。例えば、表示部２３に、図７で示されたような細胞形態画像および図８で示されたような細胞分布画像が表示される。

ところで、細胞形態画像で捉えられた特定部位における染色の濃淡および取得部２１１における所定の画像処理の条件等によって、取得部２１１で細胞分布画像が取得される際に、取得部２１１で検出される、特定部位が占める細胞領域に差が生じ得る。このため、例えば、細胞分布画像において、特定部位が占める領域が実際よりも大きく検出される場合がある。例えば、図８で示されるように、細胞分布画像の全域にわたって、特定部位が占める領域が実際よりも大きな領域として検出され、該領域が細胞表示要素で示される場合がある。そこで、ユーザーは、例えば、図９で示されるように、取得部２１１において過大または過剰に検出された細胞領域の分布を示す細胞分布画像を描いた細胞表示要素から、実際の細胞領域以外の領域に対応する部分を消去したい場合がある。なお、図９には、修正された細胞表示要素を囲む破線が付されている。

指定部２１３は、ユーザーによって入力される信号に応じて、表示部２３に表示されている細胞分布画像に対して消去の対象となる部分（消去対象部分とも言う）を指定するための曲線（消去部指定用曲線とも言う）を加える。消去対象部分は、例えば、細胞形態画像から実際の細胞領域よりも過大または過剰に検出された結果、細胞分布画像上に示されている細胞表示要素のうち、ユーザーが消去したい所望の部分に相当する。

例えば、ユーザーがマウスを操作することで、表示部２３に表示されている細胞分布画像上でのマウスポインターの移動と右クリックとの組合せによって、細胞分布画像に対して、細胞表示要素および背景領域の何れの表示色とも異なる第３の色の消去部指定用曲線が描かれる態様が考えられる。第３の色としては、例えば、赤色等が採用され得る。

修正部２１４は、細胞分布画像に対して修正を施す。例えば、修正部２１４では、細胞分布画像において、消去部指定用曲線の状態ならびに消去部指定用曲線と細胞表示要素との関係のうちの少なくとも一方に応じて、該細胞表示要素の少なくとも一部を消去する。

修正部２１４では、例えば、次の３つの処理（具体的には、処理Ａ〜Ｃ）が行われる。

［処理Ａ］細胞分布画像において、消去部指定用曲線が、閉領域を形成する閉曲線部を含んでいれば、細胞表示要素のうちの閉曲線部で囲まれている閉領域内の部分が消去される。また、消去部指定用曲線のうちの閉曲線部を形成していない部分（非閉曲線部とも言う）によって細胞表示要素が分割されておらず且つ消去部指定用曲線が閉曲線部を含んでいれば、細胞表示要素のうちの閉曲線部で囲まれている閉領域内の部分が消去されても良い。

この処理Ａでは、細胞表示要素のうちのユーザーが意図的に囲んだ部分が消去されるシンプルな処理によって、細胞分布画像について、簡単かつ迅速に所望の部分が消去され得る。

［処理Ｂ］細胞分布画像において、消去部指定用曲線のうちの閉曲線部を形成していない部分（非閉曲線部とも言う）によって、細胞表示要素が複数の部分に分割されていれば、該複数の部分のうち、最大部分を除く残余の部分が消去される。ここで、最大部分は、例えば、複数の部分のうちの面積が最大である部分であれば良い。このとき、残余の部分は、複数の部分のうちの面積が２番目以降の大きさを有する部分であれば良い。つまり、消去部指定用曲線が閉領域を形成する閉曲線部を含まず、細胞表示要素が消去部指定用曲線で分割されるのであれば、細胞表示要素が消去部指定用曲線によって分割された複数の部分のうち、最も面積が大きな最大部分を除く残余の部分が消去される。なお、分割後の複数の部分についての各面積は、例えば、ピクセルの数等によって算出され得る。

この処理Ｂでは、細胞分布画像に対して、ユーザーによって細胞表示要素を分割する曲線が加えられることで、細胞表示要素のうちの消去する部分が容易に指定され得る。その結果、細胞分布画像について、簡単かつ迅速に所望の部分が消去され得る。

［処理Ｃ］細胞分布画像において、消去部指定用曲線の非閉曲線部によって細胞表示要素が分割されておらず且つ消去部指定用曲線が閉曲線部を含んでいなければ、消去部指定用曲線の一端部と他端部とが結ばれて閉曲線部が形成される。そして、細胞表示要素のうちの一端部と他端部とが結ばれることで形成された閉曲線部で囲まれる閉領域内の部分が消去される。ここで、一端部が、指定部２１３によって消去部指定用曲線が描かれる際の始点であれば、他端部が、指定部２１３によって消去部指定用曲線が描かれる際の終点である。

この処理Ｃでは、細胞分布画像に対して、ユーザーによって閉曲線および細胞表示要素を分割する曲線の何れも加えられていなくても、細胞表示要素のうちの消去する部分が容易に指定され得る。その結果、細胞分布画像について、簡単かつ迅速に所望の部分が消去され得る。

＜(２−４)画像処理装置の動作フロー＞
図１０および図１１は、画像処理装置２の動作フローを例示するフローチャートである。図１２から図２２は、細胞表示要素の消去の態様について具体例を示す図である。なお、図１２から図２２で示される細胞表示要素は、例えば、図８で示されたような細胞分布画像のうちの１つまたは２つの特定部位に対応する細胞表示要素に着目したものである。以下、画像処理装置２の動作フローについて、適宜、図１２から図２２を参照しつつ説明する。

図１０のステップＳＴ１では、取得部２１１によって、細胞分布画像が取得される。ここでは、例えば、細胞形態画像を対象とした所定の画像処理が行われることで、細胞分布画像が取得される。ここでは、例えば、図７で例示されたような細胞形態画像を対象とした所定の画像処理等が行われることで、図８で例示されたような細胞分布画像が取得される。

ステップＳＴ２では、表示制御部２１２によって、ステップＳＴ１で取得された細胞分布画像が表示部２３に表示される。ここでは、例えば、表示制御部２１２によって、図７で例示されたような細胞形態画像および図８で例示されたような細胞分布画像が表示部２３に表示され得る。

ステップＳＴ３では、制御部２１によって、細胞分布画像の修正が許可されているか否かが判定される。ここでは、細胞分布画像の修正が許可されていれば、ステップＳＴ４に進み、細胞分布画像の修正が許可されていなければ、ステップＳＴ５に進む。例えば、ユーザーが入力部２２を介して信号を入力して、細胞分布画像の表示を終了させる指令（表示終了指令とも言う）を発することができる場合、表示終了指令が発せられるまで、細胞分布画像の修正が許可され、表示終了指令が発せられると、細胞分布画像の修正が許可されなくなる態様が考えられる。

ステップＳＴ４では、修正部２１４によって、ステップＳＴ２で表示部２３に表示された細胞分布画像に対して修正が施される。ステップＳＴ４では、例えば、図１１で示される動作フローに沿って、細胞分布画像が修正され得る。具体的には、例えば、細胞表示要素の少なくとも一部が消去されることで細胞分布画像が修正される処理が行われる。つまり、例えば、図８で示されたような細胞分布画像が対象とされて、細胞表示要素の少なくとも一部が消去されることで、図９で示されたような修正後の細胞分布画像が取得され得る。

まず、図１１のステップＳＴ４１では、細胞分布画像に対する、ユーザーの動作に応じた消去部指定用曲線の追加が受け付けられる。ここでは、指定部２１３によって、ユーザーによって入力される信号に応じて、ステップＳＴ２で表示部２３に表示されている細胞分布画像に対して消去の対象となる消去対象部分を指定するための消去部指定用曲線が加えられ得る。

ステップＳＴ４２では、ステップＳＴ４１において、細胞分布画像に対して、消去部指定用曲線が加えられたか否か判定される。ここでは、例えば、消去部指定用曲線が加えられていれば、ステップＳＴ４３に進み、消去部指定用曲線が加えられていなければ、図１１で示されるステップＳＴ４の処理が終了される。

ステップＳＴ４３では、ステップＳＴ４１で加えられた消去部指定用曲線が閉曲線部を含むか否かが判定される。ここでは、例えば、消去部指定用曲線が閉曲線部を含んでいなければ、ステップＳＴ４４に進み、消去部指定用曲線が閉曲線部を含んでいれば、ステップＳＴ４９に進む。

ステップＳＴ４４では、細胞分布画像において、ステップＳＴ４１で加えられた消去部指定用曲線によって分割されている細胞表示要素があるか否かが判定される。ここでは、例えば、消去部指定用曲線で分割されている細胞表示要素があれば、ステップＳＴ４５に進み、消去部指定用曲線で分割されている細胞表示要素がなければ、ステップＳＴ４８に進む。

ステップＳＴ４５では、消去部指定用曲線が、２以上の細胞表示要素を分割しているか否か判定される。ここでは、消去部指定用曲線が、２以上の細胞表示要素を分割していれば、ステップＳＴ４６に進み、消去部指定用曲線が、２以上の細胞表示要素を分割していなければ、ステップＳＴ４７に進む。

ステップＳＴ４６では、消去部指定用曲線によって分割されている２以上の細胞表示要素のうち、消去部指定用曲線によって切断されている距離（切断距離とも言う）が最長の細胞表示要素が消去の対象に指定される。

例えば、図１２で示されるように、１つの細胞表示要素（第１細胞表示要素とも言う）Ｅ１と他の細胞表示要素（第２細胞表示要素とも言う）Ｅ２が、太線で描かれる消去部指定用曲線Ｌ４によって分割されている場合を想定する。この場合、第１細胞表示要素Ｅ１の方が、第２細胞表示要素Ｅ２と比較して、消去部指定用曲線Ｌ４による切断距離が長いため、第１細胞表示要素Ｅ１が消去の対象として指定される。

ステップＳＴ４７では、細胞表示要素が消去部指定用曲線によって分割された後の複数の部分のうち、面積が最大である最大部分を除く残余の部分が消去される。つまり、修正部２１４によって、消去部指定用曲線のうちの閉曲線部を形成していない非閉曲線部によって細胞表示要素が複数の部分に分割されれば、該複数の部分のうち、面積が最大である最大部分を除く残余の部分が消去される。

例えば、図１３で示される細胞表示要素Ｅ１に対して、図１４で示されるように、消去部指定用曲線Ｌ５が描かれれば、図１５で示されるように、閉曲線部を形成していない非閉曲線部を構成する消去部指定用曲線Ｌ５によって細胞表示要素Ｅ１が複数の部分Ｅ１ａ，Ｅ１ｂに分割される。そして、図１６で示されるように、複数の部分Ｅ１ａ，Ｅｌｂのうち、面積が最大である最大部分としての部分Ｅ１ａを除く残余の部分Ｅ１ｂが消去される。

なお、ここで、ステップＳＴ４６から進んできた場合には、例えば、図１２で示されるように、細胞分布画像における複数の細胞表示要素Ｅ１，Ｅ２のうちの消去部指定用曲線Ｌ４によって２以上の細胞表示要素Ｅ１，Ｅ２がそれぞれ分割される。そして、該２以上の細胞表示要素Ｅ１，Ｅ２のうち、消去部指定用曲線Ｌ４によって分割されている距離が最も長い細胞表示要素について、最大部分を除く残余の部分が消去される。これにより、消去の対象にするつもりがない細胞表示要素が、ユーザーの意図に反して消去の対象となってしまう不具合が生じ難い。

このようなステップＳＴ４７の処理が行われると、図１１で示されるステップＳＴ４の処理が終了される。

また、ステップＳＴ４８では、消去部指定用曲線の両端が結ばれることで閉曲線が作成される。例えば、図１７で示されるように、消去部指定用曲線Ｌ６の非閉曲線部によって細胞表示要素Ｅ１が分割されておらず且つ消去部指定用曲線Ｌ６が閉曲線部を含んでいない場合を想定する。この場合、図１８で示されるように、消去部指定用曲線Ｌ６の一端部Ｅｄ１と他端部Ｅｄ２とが線ＳＬ６で結ばれることで閉曲線部Ｌｃ６が形成される。線ＳＬ６は、例えば、直線状の線分であれば良い。

ステップＳＴ４９では、細胞表示要素のうち、消去部指定用曲線の閉曲線部で囲まれた閉領域内の部分が消去される。

ここで、ステップＳＴ４３からステップＳＴ４９に進んできた場合には、例えば、図１９で示されるように、消去部指定用曲線Ｌ７の閉曲線部Ｌｃ７によって閉領域Ａｃ７が形成されている。この場合、細胞表示要素Ｅ１のうちの閉領域Ａｃ７内の部分が消去されることで、図２０で示されるような修正後の細胞表示要素Ｅ１７が得られる。

また、ここで、ステップＳＴ４８からステップＳＴ４９に進んできた場合には、例えば、図１８で示されるように、閉曲線部Ｌｃ６によって閉領域Ａｃ６が形成されている。この場合、細胞表示要素Ｅ１のうちの閉領域Ａｃ６内の部分が消去されることで、図２１で示されるような修正後の細胞表示要素Ｅ１６が得られる。

このようなステップＳＴ４９の処理が行われると、図１１で示されるステップＳＴ４の処理が終了される。

ステップＳＴ５では、制御部２１によって、細胞分布画像の修正が完了されて、表示部２３における細胞分布画像の表示が終了される。このとき、例えば、修正済みの細胞分布画像が記憶部２５に記憶され得る。そして、本処理が終了されれば、本動作フローが終了される。

＜(２−５)まとめ＞
以上のように、本実施形態に係る画像処理装置２およびその画像処理方法によれば、例えば、取得部２１１で取得された細胞分布画像に対してユーザーが加えた消去部指定用曲線の非閉曲線部によって細胞表示要素が分割されれば、分割後の最大部分を除く残余の部分が消去される。これにより、細胞分布画像に対する曲線の追加によって、細胞領域に対応する表示要素のうちの消去する部分が容易に指定され得る。その結果、細胞の形態を捉えた細胞形態画像において細胞の特定部位が占める細胞領域の分布が示された細胞分布画像について、簡単かつ迅速に所望の部分が消去され得る。

＜(３)変形例＞
なお、本発明は上述の一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

例えば、上記一実施形態では、１本の消去部指定用曲線によって２以上の細胞表示要素が分割されている場合、消去部指定用曲線によって切断されている切断距離が最長の細胞表示要素が消去の対象に指定されたが、これに限られない。

例えば、図２２で示されるように、細胞分布画像が、第１および第２細胞表示要素Ｅ１，Ｅ２を含む複数の細胞表示要素を含み、１本の消去部指定用曲線Ｌ８の非閉曲線部が第１細胞表示要素Ｅ１を複数の部分に分割し且つ第２細胞表示要素Ｅ２を分割していない場合を想定する。この場合、消去部指定用曲線Ｌ８によって複数の部分に分割されていない第２細胞表示要素ではなく、消去部指定用曲線Ｌ８によって複数の部分に分割されている第１細胞表示要素Ｅ１が消去の対象とされても良い。つまり、第１細胞表示要素Ｅ１について、消去部指定用曲線Ｌ８による細胞表示要素の分割後における最大部分を除く残余の部分が消去されても良い。これにより、消去の対象にするつもりがない細胞表示要素が、ユーザーの意図に反して消去の対象となってしまう不具合が生じ難い。

また、上記一実施形態では、消去部指定用曲線が閉曲線部を含まなければ、消去部指定用曲線によって細胞表示要素が分割されているか否かが判定されたが、これに限られない。例えば、消去部指定用曲線によって細胞表示要素が分割されていなければ、消去部指定用曲線が閉曲線部を含むか否かが判定されても良い。このような構成が採用される場合、例えば、図１０で示された動作フローのステップＳＴ４が、図１１で示される動作フローの代わりに図２３で示される動作フローが実行されるステップＳＴ４Ａに置換されても良い。

図２３のステップＳＴ４１Ａでは、図１１のステップＳＴ４１と同様に、細胞分布画像に対する、ユーザーの動作に応じた消去部指定用曲線の追加が受け付けられる。

ステップＳＴ４２Ａでは、図１１のステップＳＴ４２と同様に、ステップＳＴ４１Ａにおいて、細胞分布画像に対して、消去部指定用曲線が加えられたか否か判定される。ここでは、例えば、消去部指定用曲線が加えられていれば、ステップＳＴ４３Ａに進み、消去部指定用曲線が加えられていなければ、図２３で示されるステップＳＴ４Ａの処理が終了される。

ステップＳＴ４３Ａでは、細胞分布画像において、ステップＳＴ４１Ａで加えられた消去部指定用曲線によって分割された細胞表示要素があるか否かが判定される。ここでは、例えば、消去部指定用曲線で分割された細胞表示要素があれば、ステップＳＴ４４Ａに進み、消去部指定用曲線で分割された細胞表示要素がなければ、ステップＳＴ４７Ａに進む。

ステップＳＴ４４Ａでは、消去部指定用曲線が、２以上の細胞表示要素を分割しているか否か判定される。ここでは、消去部指定用曲線が、２以上の細胞表示要素を分割していれば、ステップＳＴ４５Ａに進み、消去部指定用曲線が、２以上の細胞表示要素を分割していなければ、ステップＳＴ４６Ａに進む。

ステップＳＴ４５Ａでは、消去部指定用曲線によって分割されている２以上の細胞表示要素のうち、消去部指定用曲線によって切断されている切断距離が最長の細胞表示要素が消去の対象に指定される。

ステップＳＴ４６Ａでは、細胞表示要素が消去部指定用曲線によって分割された後の複数の部分のうち、面積が最大である最大部分を除く残余の部分が消去される。このステップＳＴ４６Ａの処理が行われると、図２３で示されるステップＳＴ４Ａの処理が終了される。

また、ステップＳＴ４７Ａでは、ステップＳＴ４１Ａで加えられた消去部指定用曲線が閉曲線部を含むか否かが判定される。ここでは、例えば、消去部指定用曲線が閉曲線部を含んでいなければ、ステップＳＴ４８Ａに進み、消去部指定用曲線が閉曲線部を含んでいれば、ステップＳＴ４９Ａに進む。

ステップＳＴ４８Ａでは、消去部指定用曲線の両端が結ばれることで閉曲線部が形成される。

ステップＳＴ４９Ａでは、細胞表示要素のうち、消去部指定用曲線の閉曲線部で囲まれた閉領域内の部分が消去される。このステップＳＴ４９Ａの処理が行われると、図２３で示されるステップＳＴ４Ａの処理が終了される。

また、上記一実施形態では、１本の消去部指定用曲線の追加によって、１つの細胞表示要素についての消去が実施される例を挙げて説明したが、これに限られない。例えば、１本の消去部指定用曲線の追加によって、２以上の細胞表示要素についての消去が実施されても良い。

このような消去の態様が採用される場合について、図２４から図２６を例にとって説明する。図２４で示されるように、例えば、細胞分布画像において、複数の細胞表示要素Ｅ１〜Ｅ３が近接して存在する場合がある。この場合、図２５で示されるように、例えば、複数の細胞表示要素Ｅ１〜Ｅ３それぞれの一部を内包する閉曲線部Ｌｃ９を成す消去部指定用曲線Ｌ９が加えられると、図２５から図２６で示されるように、複数の細胞表示要素Ｅ１〜Ｅ３の閉曲線部Ｌｃ９で囲まれる閉領域Ａｃ９内の部分がまとめて消去される。

また、例えば、閉曲線部と非閉曲線部とを有する１本の消去部指定用曲線のうち、該閉曲線部によって１つの細胞表示要素の少なくとも一部が囲まれ、該非閉曲線部によって他の細胞表示要素が複数の部分に分割されると、１つの細胞表示要素の閉曲線部で囲まれた閉領域内の部分が消去されるとともに、他の細胞表示要素における分割後の複数の部分の最大部分を除く残余の部分が消去される態様が採用されても良い。

また、上記一実施形態では、細胞分布画像に対する修正の一例として細胞表示要素の消去を挙げて説明したが、これに限られない。例えば、細胞分布画像に対する修正には、細胞表示要素の消去だけでなく、細胞表示要素の追加、置換および拡大等と言ったその他の複数種類の処理のうちの１種類以上の処理が含まれても良い。

また、上記一実施形態では、取得部２１１において、細胞形態画像を対象とした所定の画像処理が行われることで、細胞分布画像が取得されたが、これに限られない。例えば、取得部２１１において、画像処理装置２とは異なる外部装置で生成された細胞分布画像が通信Ｉ／Ｆ２４等を介して取得されても良い。

なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。

１ 顕微鏡画像取得装置
２ 画像処理装置
２１ 制御部
２２ 入力部
２３ 表示部
２５ 記憶部
１００ 病理診断支援システム
２１１ 取得部
２１２ 表示制御部
２１３ 指定部
２１４ 修正部
Ａｃ１，Ａｃ３，Ａｃ６，Ａｃ７，Ａｃ９ 閉領域
Ｅ１〜Ｅ３，Ｅ１１，Ｅ１２，Ｅ１６，Ｅ１７ 細胞表示要素
Ｅ１ａ，Ｅ１ｂ 部分
Ｅｄ１ 一端部
Ｅｄ２ 他端部
Ｌ４〜Ｌ９ 消去部指定用曲線
Ｌｃ６，Ｌｃ７，Ｌｃ９ 閉曲線部
Ｐ１ プログラム

Claims (6)

1. 細胞の形態を捉えた細胞形態画像において細胞の特定部位が占める細胞領域の分布が細胞表示要素で示されている細胞分布画像を取得する取得部と、
   前記細胞分布画像を表示部に表示させる表示制御部と、
   ユーザーによって入力される信号に応じて、前記表示部に表示されている前記細胞分布画像に対して消去の対象となる消去対象部分を指定するための曲線を加える指定部と、
   前記曲線の閉曲線部を形成していない非閉曲線部によって前記細胞表示要素が複数の部分に分割されていれば、該複数の部分のうち、面積が最大である最大部分を除く残余の部分を消去する修正部と、
   を備え、
   前記細胞分布画像が、
   第１細胞表示要素および第２細胞表示要素を含む複数の前記細胞表示要素を含み、
   前記曲線が、前記閉曲線部と前記非閉曲線部とを有していれば、
   前記修正部が、
   前記非閉曲線部によって前記第１細胞表示要素が前記複数の部分に分割されており、且つ前記閉曲線部によって前記第２細胞表示要素の少なくとも一部が囲まれていれば、前記第１細胞表示要素における分割後の前記複数の部分の前記最大部分を除く前記残余の部分を消去するとともに、前記第２細胞表示要素の閉曲線部で囲まれた閉領域内の部分を消去する、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記非閉曲線部によって複数の前記細胞表示要素が分割されておらず且つ前記曲線が前記閉曲線部を含んでいれば、前記修正部が、前記細胞表示要素のうちの前記閉曲線部で囲まれている閉領域内の部分を消去し、
   前記非閉曲線部によって複数の前記細胞表示要素が分割されておらず且つ前記曲線が前記閉曲線部を含んでいなければ、前記修正部が、前記曲線の一端部と他端部とを結んで閉曲線部を形成するとともに、前記細胞表示要素のうちの前記一端部と前記他端部とが結ばれることで形成された閉曲線部で囲まれる閉領域内の部分を消去する、画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記修正部が、
   前記非閉曲線部によって前記第１細胞表示要素が前記複数の部分に分割されており且つ該非閉曲線部によって前記第２細胞表示要素が分割されておらず、且つ前記閉曲線部によって前記第２細胞表示要素の少なくとも一部が囲まれていなければ、前記第２細胞表示要素ではなく、前記第１細胞表示要素について、前記複数の部分のうちの前記最大部分を除く前記残余の部分を消去する、画像処理装置。
4. 請求項１又は３に記載の画像処理装置であって、
   前記修正部が、
   前記複数の細胞表示要素のうちの２以上の細胞表示要素が前記非閉曲線部によってそれぞれ複数の部分に分割されており、且つ前記閉曲線部によって前記複数の細胞表示要素の少なくとも一部が囲まれていなければ、前記２以上の細胞表示要素のうち、前記非閉曲線部によって分割されている距離が最も長い細胞表示要素について、前記複数の部分のうちの前記最大部分を除く前記残余の部分を消去する、画像処理装置。
5. (a)取得部によって、細胞の形態を捉えた細胞形態画像において細胞の特定部位が占める細胞領域の分布が細胞表示要素で示されている細胞分布画像を取得するステップと、
   (b)指定部によって、ユーザーによって入力される信号に応じて、表示部に表示されている前記細胞分布画像に対して消去の対象となる消去対象部分を指定するための曲線を加えるステップと、
   (c)修正部によって、前記曲線の閉曲線部を形成していない非閉曲線部によって前記細胞表示要素が複数の部分に分割されていれば、該複数の部分のうち、面積が最大である最大部分を除く残余の部分を消去するステップと、
   を有し、
   前記細胞分布画像が、
   第１細胞表示要素および第２細胞表示要素を含む複数の前記細胞表示要素を含み、
   前記曲線が、前記閉曲線部と前記非閉曲線部とを有していれば、
   前記修正部が、
   前記非閉曲線部によって前記第１細胞表示要素が前記複数の部分に分割されており、且つ前記閉曲線部によって前記第２細胞表示要素の少なくとも一部が囲まれていれば、前記第１細胞表示要素における分割後の前記複数の部分の前記最大部分を除く前記残余の部分を消去するとともに、前記第２細胞表示要素の閉曲線部で囲まれた閉領域内の部分を消去する、画像処理方法。
6. 情報処理装置に含まれる制御部において実行されることで、該情報処理装置を請求項１から請求項４の何れか１つの請求項に記載の画像処理装置として機能させる、画像処理用のプログラム。