WO2016204241A1 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Abstract

画像内の各点における明度の閾値を変更する変更部と、変更部により閾値が変更される度に、閾値以上の明度値を含む点を表示するよう制御する第１表示制御部と、ユーザ操作に基づき、表示された画像内の１又は複数の所定領域の指定を受け付ける受付部と、指定された所定領域内の各点の閾値を、所定領域の指定時の変更部による閾値に固定する固定部と、画像内に１又は複数の所定領域がある場合、所定領域内の点のうち固定部により固定された閾値以上の明度値を含む点、及び所定領域外の点のうち変更部により変更される閾値以上の明度値を含む点を表示するよう制御する第２表示制御部と、を備える。

Description

画像処理装置、画像処理方法、プログラム及び記録媒体

　本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に関する。

　医療の現場において、ＣＴ（Computer Tomography）や、ＭＲＩ（Magnetic Resonance Imaging）等を用いて得られた検査画像から、血管などの対象物を抽出したいという要望がある。この要望に対し、従来は、ユーザが画面を見ながら所定領域を選択し、選択された所定領域毎に、明度等に対する閾値を設定することで、対象物を抽出することが知られている（例えば特許文献１）。

国際公開第２０１５／０５３３１９号

　しかしながら、従来技術では、対象物が、大きさや明度等が部分的に異なることから、画像内の所定領域を、対象物の部分の大きさや明度等に合わせて何度も選択したり、所定領域内のクラッタ（Clutter）等の不要な部分を削除したりする必要があり、対象物を抽出するのに多くの時間がかかっていた。

　そこで、本発明の所定の態様は、画像から対象物を抽出するのにかかる時間を軽減することができる画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

　本発明の一態様における画像処理装置は、
　画像内の各点における明度の閾値を変更する変更部と、
　前記変更部により閾値が変更される度に、当該閾値以上の明度値を含む点を表示するよう制御する第１表示制御部と、
　ユーザ操作に基づき、表示された画像内の１又は複数の所定領域の指定を受け付ける受付部と、
　指定された前記所定領域内の各点の閾値を、当該所定領域の指定時の前記変更部による閾値に固定する固定部と、
　画像内に１又は複数の前記所定領域がある場合、前記所定領域内の点のうち前記固定部により固定された閾値以上の明度値を含む点、及び前記所定領域外の点のうち前記変更部により変更される閾値以上の明度値を含む点を表示するよう制御する第２表示制御部と、
　を備える。

　本発明の所定の態様によれば、画像から対象物を適切に抽出しつつ、処理時間を軽減することができる。

実施形態における画像処理装置の概略構成の一例を示すブロック図である。 実施形態における画像処理装置の機能の一例を示すブロック図である。 実施形態におけるアプリケーションの実行画面の一例を示す図である。 実施形態における画像処理装置の処理手順の概要について説明するための図である。 明度値と閾値との関係を示す図である。 対象領域の指定処理（その１）について説明するための図である。 対象領域の指定処理（その２）について説明するための図である。 対象領域の指定処理（その３）について説明するための図である。 対象領域の指定処理（その４）について説明するための図である。 対象領域の指定処理（その５）について説明するための図である。 対象領域の指定処理（その６）について説明するための図である。 対象領域の指定処理（その７）について説明するための図である。 対象領域の指定処理（その８）について説明するための図である。 実施形態におけるデータ表現の一例を示す図である。 閾値変更に伴う問題を説明するための図である。 偽等値面を説明するための図である。 偽等値面の一例を示す図である。 正常な等値面の一例を示す図である。 実施形態における対象物抽出処理の一例を示すフローチャートである。 実施形態における偽等値面を検出する処理の一例を示すフローチャートである。 変形例における医療システムの概略構成を示す図である。

　以下、添付図面を参照しながら本発明の実施形態について詳細に説明する。

　［実施形態］
　＜構成＞
図１は、実施形態における画像処理装置１０の概略構成の一例を示すブロック図である。図１に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）１０２と、ＲＡＭ（Random Access Memory）１０４と、ＲＯＭ（Read only Memory）１０６と、ドライブ装置１０８と、ネットワークＩ／Ｆ（Interface）１１０と、入力装置１１２と、表示装置１１４とを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

　ＣＰＵ１０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行う制御部である。また、ＣＰＵ１０２は、ＲＡＭ１０４又はＲＯＭ１０６に記憶された、画像から対象物を抽出するためのアプリケーションプログラムを実行する演算装置である。ＣＰＵ１０２は、入力装置１１２やネットワークＩ／Ｆ１１０などから画像データを受け取り、演算、加工した上で、演算結果を表示装置１１４や記憶装置などに出力する。

　ＲＡＭ１０４は、例えば主記憶部などである。ＲＡＭ１０４は、ＣＰＵ１０２が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

　ＲＯＭ１０６は、例えばアプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

　ドライブ装置１０８は、記録媒体１１６、例えばＣＤ－ＲＯＭやＳＤカードなどからプログラムやデータを読み出し、記憶装置にインストールしたりダウンロードしたりする。

　また、記録媒体１１６に、所定のプログラムを格納し、この記録媒体１１６に格納されたプログラムはドライブ装置１０８を介して画像処理装置１０にインストールされる。インストールされた所定のプログラムは、画像処理装置１０により実行可能となる。

　ネットワークＩ／Ｆ１１０は、通信機能を有する周辺機器と画像処理装置１０とのインターフェースである。また、ネットワークＩ／Ｆ１１０は、例えば、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続される。

　入力装置１１２は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示装置１１４の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力装置１１２は、ユーザがＣＰＵ１０２に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

　表示装置１１４は、ＬＣＤ（Liquid Crystal Display）等により構成され、ＣＰＵ１０２から入力される表示データに応じた表示が行われる。なお、入力装置１１２や表示装置１１４は、画像処理装置１０の外部に設けられてもよい。

　＜機能＞
次に、画像処理装置１０の機能について説明する。図２は、実施形態における画像処理装置１０の機能の一例を示すブロック図である。図２に示す画像処理装置１０は、演算部２００と、記憶部２５０とを備え、演算部２００は、変更部２０２と、表示制御部２０４と、受付部２１０と、固定部２１２と、検出部２１４とを少なくとも備える。

　なお、図２に示す演算部２００は、例えばＣＰＵ１０２やワークメモリとしてのＲＡＭ１０４などにより実現されうる。ＣＰＵ１０２は、画像から対象物を抽出するためのアプリケーションプログラムを実行することで、演算部２００内の各部の機能を実行することができる。また、記憶部２５０は、例えばＲＡＭ１０４及び／又はＲＯＭ１０６により実現されうる。

　表示制御部２０４は、例えば医療用の検査画像から、血管などの対象物を抽出するためのアプリケーションの実行画面を、表示装置１１４に表示するよう制御する。図３を用いて後述するが、この実行画面には、画像内の各点における明度（Intensity）等の閾値を変更するためのツールや、画像内の所定領域をペイントするためのツール等が表示される。画像内の点は、例えば、２次元画像の場合、ピクセルを表し、３次元画像の場合、ボクセルを表す。

　変更部２０２は、表示装置１１４に表示された画像内の各点における明度の閾値を変更する。画像の明度は、彩度や輝度等でもよく、また、この閾値は、エッジ検出のための閾値でもよい。閾値の変更について、変更部２０２は、画面に表示された閾値変更のためのスライダ等をユーザに操作されることで変更してもよいし、自動で順に閾値が大きく又は小さくなるように変更してもよい。

　表示制御部２０４は、第１表示制御部２０６、第２表示制御部２０８を有する。なお、第１表示制御部２０６と第２表示制御部２０８とは、説明の便宜上分けて説明するが、１つのモジュールにより実行されてもよい。第１表示制御部２０６は、変更部２０２により閾値が変更される度に、閾値以上の明度値を含む点を表示装置１１４に表示するよう制御する。

　これにより、ユーザは、どれくらいの閾値の時に、どの対象物が表示されるかを把握することができる。例えば、閾値が低い場合は、細かい、明度が小さい対象物、例えば細い血管が表示されやすくなるが、クラッタ等のアーチファクトも表示されやすくなる。他方、閾値が高い場合は、クラッタなどのアーチファクトは表示されにくいが、明度が大きい対象物、例えば太い血管だけが表示されやすくなる。

　受付部２１０は、ユーザ操作に基づき、表示された画像内の１又は複数の所定領域の指定を受け付ける。例えば、ユーザ操作とは、連結領域を指定するためのクリック操作や、連結領域を拡張するためのドラッグ操作などである。ここでは、クリックやドラッグなどの簡単なユーザ操作を、所定領域の指定に対応付けておくとよい。連結領域は、変更部２０２による閾値以上の明度値を含む点に基づく領域であり、例えば、閾値より大きい明度値を有する後述のセルのうち、隣り合う（連結する）セルを集めた領域をいう。

　固定部２１２は、指定された所定領域内の各点の閾値を、この所定領域が指定された時の変更部２０２による閾値に固定する。所定領域内の各点の閾値を固定することで、所定領域は、変更部２０２が閾値を変更しても、その影響を受けることなく、継続して表示されることが可能である。

　第２表示制御部２０８は、ユーザにより指定された、画像内に１又は複数の所定領域がある場合、この所定領域内の点のうち固定部２１２により固定された閾値以上の明度を含む点、及び所定領域外の点のうち変更部２０２により変更される閾値以上の明度を含む点を、表示するよう制御する。すなわち、閾値が変更されても、所定領域内の画像には変更がないようにする。これは、所定領域は、ユーザが指定した領域であり、その内容が変更されない方が良いからである。

　また、このアプリケーションは、ペイント機能を用いることで、より簡単に所定領域の選択や識別を行うことができる。例えば、受付部２１０は、ユーザが、表示された画像の連結領域内の所定位置を指定した場合、この連結領域を所定領域の指定として受け付ける。この場合、第２表示制御部２０８は、連結領域の色を所定色に変更して表示するよう制御してもよい。

　これにより、ユーザは、１クリックで領域の指定と、閾値の固定と、領域の識別とを行うことができる。なお、指定された所定領域は、他の領域から識別できればよいので、色を変更する以外に斜線等が付与されてもよい。

　また、変更部２０２は、所定領域内の位置を開始位置とするドラッグ操作時における所定操作により、ドラッグ先から所定範囲内の閾値の変更を可能にする。例えば、ドラッグ操作時に、左右方向の矢印キーが押下されることで、この閾値を大きくしたり小さくしたりする。

　この場合、受付部２１０は、指定された所定領域付近を開始位置とするドラッグ操作を受け付ける。受付部２１０は、さらにこのドラッグ操作における軌跡を含み、所定操作に基づく、ドラッグ先の所定範囲内の閾値の変更により表示される連結領域を、所定領域の拡張の指定として受け付けてもよい。これにより、容易に所定領域の拡張を実装することができる。

　また、固定部２１２は、指定された所定領域内の点に隣接する点で、閾値が固定されていない隣接点がある場合、この隣接点の閾値を固定してもよい。これにより、閾値が変更されても、領域境界が変更されにくくなり、領域の境界付近の表示を安定して提供することができる。

　検出部２１４は、例えば所定領域が所定色で表示される場合、所定色に変更された領域の境界において、画像の明度の勾配方向、及びこの領域の等値面（Isosurface）の法線方向に基づいて、この所定色に変更されるべきではない偽等値面を検出する。

　偽等値面とは、ユーザが、閾値を領域内で急激に変化させてしまうことに起因し、本来ならば表示されて欲しくはないが、表示されてしまう等値面のことである。例えば、明度値がほぼ１００で一定している背景領域で、閾値が急激に２００から５０に変化すると、本来明度値の変化のないところに等値面が生成されてしまう。検出部２１４は、この領域を偽等値面として検出する。

　例えば、検出部２１４は、閾値以上の明度値を含む点を有する領域の境界において、画像の明度の勾配下降方向と、等値面の法線方向とを比べて、例えば両方向が逆の方向であれば、その等値面の部分は、元画像データの内部構造を正しく表現できていないと判断する。また、検出部２１４は、実装を容易にするため、明度の勾配方向として、明度値から閾値を減算して得られる値の勾配下降方向を用いてもよい。

　第２表示制御部２０８は、検出部２１４により検出された領域の色を、所定色とは異なる特別な色に変更する。これにより、ユーザは、偽等値面を容易に認識することができる。なお、偽等値面は、他の領域から識別できればよいので、色を変更する以外にハッチング等により識別できればよい。

　記憶部２５０は、画像から対象物を抽出するためのプログラムを記憶したり、上述した処理の中間データ等を記憶したりする。なお、記憶部２５０は、複数の記憶部に分散されてもよい。

　以上により、例えば、ユーザは、ＣＴ画像やＭＲＩ画像などの複雑な画像に対し、閾値を変更しながら、その場その場で領域指定をするだけで、ユーザが抽出したい血管などの対象物を容易に、かつ適切に抽出することができる。よって、画像から対象物を適切に抽出しつつ、処理時間を軽減することができる。さらに、ユーザは、従来技術と比べて、指定した領域毎に、適切な閾値の設定に悩む必要がない。

　また、抽出対象領域の拡張について、ユーザは、拡張したい領域周辺の閾値を変更しながら、表示される領域を指定することができるので、容易にかつ簡便に画像から抽出対象物を拡張することができる。

　＜アプリケーション実行画面＞
次に、本発明を実装したアプリケーションの実行画面の例について説明する。画像は、頭部をＭＲＩ等の検査で得られた３次元画像を例にする。外科手術の際にこの画像を参照することを想定し、抽出対象物は血管とする。

　図３は、実施形態におけるアプリケーションの実行画面の一例を示す図である。図３に示す画面Ｄ１０には、頭部の３次元画像を表示する領域ＡＲ１０が含まれる。３次元画像内には血管Ｖ１０が含まれる。また、画面Ｄ１０には、複数の機能を実行するボタンが含まれる。

　ボタンＢ１０～Ｂ１４は、視点を変えるためのボタンである。ボタンＢ１０は、正面図を表示するためのボタンであり、ボタンＢ１２は、上面図を表示するためのボタンであり、ボタンＢ１４は、側面図を表示するためのボタンである。

　表示制御部２０４は、各ボタンの押下に基づいて、領域ＡＲ１０内の視点を切り替える。なお、表示制御部２０４は、領域ＡＲ１０内がドラッグ操作されることで、ドラッグ方向に応じて画像の視点を細かく変更することができる。

　スライダＳ１０は、画像内の各点における明度の閾値を変更するためのスライダである。以下、スライダにより変更される閾値を、第１閾値とも称する。図３に示す画面の例では、つまみ部分を左にスライドさせれば第１閾値が小さくなり、つまみ部分を右にスライドさせれば第１閾値が大きくなる。スライダＳ１０内のつまみ部分の位置に応じて、第１閾値Ｔｈが表示される。図３に示す例では、現在の第１閾値Ｔｈは「４７０」である。変更部２０２は、ユーザ操作によるつまみ部分の位置の変更に応じて、第１閾値を変更する。

　領域ＡＲ１０内の画像において、第１閾値の変更により、等値面を含む血管Ｖ１０のサイズや位置などが変更される。第１表示制御部２０６は、この第１閾値の変更に応じて、第１閾値以上の明度を含む血管Ｖ１０を表示するよう制御する。

　次に、抽出対象の血管を指定しやすく、また、抽出対象の結果を識別しやすくするためのペイント機能について説明する。

　ボタンＢ２４は、ユーザが所定領域を指定又は塗りつぶすためのＦｉｌｌツールを示すボタンである。指定された所定領域は、ユーザが抽出したい対象物を示す。また、受付部２１０は、このボタンＢ２４が押された後、クリックが検出されると、クリック位置を含む連結領域を所定領域の指定として受け付ける。連結領域は、例えば所定色に変更される。所定色は、例えば赤みがかった色（reddish）である。これにより、指定した領域の識別が容易になる。

　ボタンＢ２２は、指定された血管を拡張させるためのＢｌｕｓｈツールを示すボタンである。このボタンＢ２２が押された後、ドラッグ操作が検出されると、ドラッグ操作の軌跡を含む血管を、軌跡に沿って拡張させることができる。受付部２１０は、ボタンＢ２２の押下後のドラッグ操作を受け付けることで、ドラッグ操作の軌跡を含む連結領域を、抽出対象領域の指定として受け付ける。これにより、ユーザは、ドラッグ操作を用いて容易に領域を拡張させることができる。このとき、ブラシ先（ドラッグ先）から所定範囲内の閾値が変更可能である。以下、この閾値を、第２閾値とも称する。

　ボタンＢ２６は、抽出対象の所定領域を削除するためのＥｒａｓｅｒツールを示すボタンである。このボタンＢ２６が押された後、ドラッグ操作が検出されると、ドラッグの軌跡に沿って、この軌跡を含む所定範囲が消去される。これにより、抽出対象領域で消去したい部分を消去することができる。

　ボタンＢ２８は、所定領域の指定又は塗りつぶしを取り消すためのＵｎｆｉｌｌツールを示すボタンである。このボタンＢ２８が押された後、ボタンＢ２４により指定された領域内でクリックが検出されると、この領域の指定が取り消される。

　ボタンＢ３０は、所定領域の境界部分を滑らかにするためのＳｍｏｏｔｈツールを示すボタンである。このボタンＢ３０が押された後、クリックされた位置の周辺において、ラプラシアンスムージング（Laplacian Smoothing）が適用される。例えば、このツールは、ブラシ境界で現れる閾値の不連続性を緩和するのに役に立つ。

　ボタンＢ３２は、任意領域を指定するためのＬａｓｓｏツールを示すボタンである。このボタンＢ３２が押された後、連結領域を形成するドラッグ操作が検出されると、ドラッグの軌跡内部が選択される。

　ボタンＢ３４は、一つ前の操作に戻るためのＵｎｄｏツールを示すボタンである。このボタンＢ３４が押されると、ひとつ前の操作が実行された後の状態に戻る。

　ボタンＢ３６は、選択された領域内の対象物を消去するためのＣｌｅａｒツールを示すボタンである。ボタンＢ３２の押下により連結領域が選択された状態で、このボタンＢ３６が押されると、連結領域内の対象物が消去される。

　ボタンＢ３８は、抽出したい等値面を含む画像を確定させるためのＣｏｍｐｌｅｔｅツールを示すボタンである。このボタンＢ３８が押されると、領域ＡＲ１０内の抽出対象物がＦＩＸされる。

　＜提案手法の処理手順の概要＞
図４は、実施形態における画像処理装置１０の処理手順の概要について説明するための図である。図４に示す例では、以下の手順で対象物が抽出される。

　（１）高い閾値での所定領域指定
第１閾値が高く（大きく）設定された状態で、ボタンＢ２４が押された後、連結領域Ｖ２０の所定領域内がクリックされると、クリック位置を含む連結領域Ｖ２０が所定色にペイントされる。

　（２）領域拡張開始
ボタンＢ２２が押された後、連結領域内、又はペイントされた領域内の位置を開始位置としてドラッグ操作が検出されると、ドラッグの軌跡に沿って、第２閾値よりも明度値が大きい点を含む領域が現れ、この領域が指定されていく。ユーザは、ドラッグをする位置について、事前に第１閾値を小さく変更することでどの辺に対象物があるかを把握しておくとよい。

　（３）領域拡張（その１）
ドラッグ操作が継続され、第２閾値が変更されると、そのドラッグの軌跡を含む、第２閾値以上の明度値の点を含む連結領域Ｖ２２が指定されていく。このとき、第２閾値を小さく変更していき、連結領域Ｖ２２が表示されるようにするとよい。なお、ドラッグ先に連結領域がない場合は領域の指定は行われない。

　（４）領域拡張（その２）
さらに、連結領域Ｖ２２内の位置を開始位置としてドラッグ操作が検出されると、ドラッグの軌跡に沿って、この軌跡を含む領域Ｖ２４が指定されていく。ドラッグ操作による拡張については特に数の制限などはない。

　これにより、クリック操作とドラッグ操作とに基づくペイント機能を用いて、容易に対象物を抽出することができる。

　＜明度値と閾値との関係＞
図５は、明度値と閾値との関係を示す図である。図５に示す或る横断面の例を用いて、等値面がどのようにして現れる（表示される）かについて説明する。

　（１）高い閾値
高い閾値Ｔｈ１が設定される場合、この閾値Ｔｈ１に一致する明度値が等値面（Isosurface）として現れる。この明度値以上の明度値を含む太い血管が表示される。よって、太い血管のみが抽出され、細い血管は抽出されにくい。

　（２）低い閾値
低い閾値Ｔｈ２が設定される場合、この閾値Ｔｈ２に一致する明度値が等値面として現れる。この明度値以上の細い血管やノイズや太い血管が表示される。よって、細い血管が表示可能であるが、同時にノイズも多く表示されてしまう。

　（３）提案手法の閾値
閾値Ｔｈ３に示すように、閾値を任意の場所で容易に適宜設定することができるため、血管のみを表示することが可能である。例えば、太い血管は、図４に示す（１）のクリック操作で指定され、細い血管は、図４に示す（２）～（４）のドラッグ操作で指定される。

　＜対象領域の指定処理＞
次に、図６Ａ～Ｈを用いて、対象領域の指定処理について詳しく説明する。ここでは、血管の領域を対象領域とする。

　図６Ａに示す例において、変更部２０２は、ユーザ操作に基づき、第１閾値を２５０（低い値）に設定したとする。第１閾値が低いため、画像内には、大小多くの血管やクラッタが表示される。

　図６Ｂに示す例において、変更部２０２は、ユーザ操作に基づき、第１閾値を５００（高い値）に設定したとする。第１閾値が高いため、画像内には、太い血管が表示され、細い血管等は表示されない。このように、ユーザは、図３に示すスライダＳ１０を用いて第１閾値を適宜変更することで、第１閾値の変更に応じた血管の表示具合を把握することができる。

　図６Ｃにおいて、第１閾値が５００の時に、ユーザは、ボタンＢ２４を押し、血管の連結領域Ｖ３０内をクリックしたとする。受付部２１０は、この操作に基づき、血管の連結領域Ｖ３０内の指定を受け付け、第２表示制御部２０８は、この連結領域Ｖ３０の色を所定色に変更する。このとき、固定部２１２は、連結領域Ｖ３０内の閾値を５００に固定する。

　これにより、閾値固定後に、ユーザがスライダＳ１０を用いて第１閾値を変更したとしても、連結領域Ｖ３０の閾値は固定されているため、この連結領域Ｖ３０の表示は変わらない。

　図６Ｄにおいて、ユーザは、血管の構造をより詳細に把握するために、スライダＳ１０を用いて第１閾値を低くし、２５０に戻したとする。このとき、連結領域Ｖ３０は、他の領域とは色が異なるため、識別しやすくなっており、また、ユーザは、血管の構造の概要を把握することができる。

　図６Ｅにおいて、ユーザは、第１閾値を５００に戻し、図３に示すボタンＢ２２を押し、血管の拡張を図るとする。ここで、図６Ｄにおいて把握しておいた、図６Ｅに示す円で囲んだ部分の細かい血管を拡張するとする。

　ユーザは、連結領域Ｖ３０内の開始位置からドラッグ操作を開始し、さらに所定操作を行って第２閾値を低くしていく。これによりドラッグ先から所定範囲内の第２閾値が低くなり、細かい血管が表示される。例えば第２閾値は、所定操作に基づき２５０に変更されたとする。所定操作は、例えばキーボードの左矢印キーの押下とする。また、キーボードの右矢印キーは、ドラッグ先から所定範囲内の第２閾値を高くするためのキーとして割り当てるとよい。

　よって、ユーザは、ドラッグをしつつ、ドラッグ先周辺の第２閾値を変更しながら、対象物の領域を拡張していくことが可能になる。このとき、受付部２１０は、拡張される領域の指定を受け付け、第２表示制御部２０８は、拡張される領域の色を所定色に変更し、固定部２１２は、拡張される領域の閾値を、指定時の第２閾値（２５０）に固定する。

　図６Ｆ及び図６Ｇにおいて、ユーザは、第２閾値を適宜変更しつつ、ドラッグ操作を継続し、抽出したい所定領域を拡張していく。また、ユーザは、例えば、画面に表示される筆先の半径を、キーボードの上矢印キーや、下矢印キーの押下により変更することができる。

　上述したドラッグ操作における領域拡張処理は、例えば、抽出対象の対象領域が抽出できるまでや、クラッタを削除するまで、続けて行うことができる。

　図６Ｈにおいて、ユーザは、スライダＳ１０を用いて第１閾値を再び２５０に戻したとする。このとき、既に所定色に変更された領域は、第１閾値の変更に影響を受けず、他の領域とは識別可能である。

　＜データ表現＞
　本発明における３次元画像のデータ表現について説明する。３次元画像における各点において、本発明の各処理を通して固定の明度値を有するボリュームデータが保持される。さらに、各点において、ユーザにより変更可能な閾値が保持される。また、各点において、「固定」、又は「自由」のいずれかを示す状態データが保持される。状態は、初めは「自由」であるが、ユーザにより指定（ペイント）された領域の点は、「固定」に変更される。

　等値面抽出のために、標準的なマーチングキューブアルゴリズムが適用される。まず、ボリュームデータから閾値を減算した仮のボリュームデータが計算される。次に、マーチングキューブアルゴリズムが適用され、閾値がゼロとなる。これにより、等値面が抽出される。

　以下、３次元画像の各点について、ノードと称する。図７は、実施形態におけるデータ表現の一例を示す図である。図７に示す例では、各ノードには、明度値、閾値、状態データが関連付けられる。マーチングキューブアルゴリズムは、８隣接ノードによって囲まれたセルの内側にメッシュ面を生成する。もし、Ｘ×Ｙ×Ｚのノードが存在すれば、全部で（Ｘ－１）×（Ｙ－１）×（Ｚ－１）のセルが存在する。各ノードは、６個のノードと隣接する。

　以上より、実施形態では、各ノードに閾値が設定されるため、画像全体では、閾値フィールドを有することになる。実施形態では、この閾値フィールド内の各ボクセルの閾値を全体的に変更する場合は、図３に示すスライダＳ１０を用いて変更部２０２が変更し、ドラッグ先周辺だけの閾値を変更する場合には、変更部２０２がドラッグ中の所定操作を受け付けて変更する。また、この閾値フィールドは、ユーザに指定された領域を含み、この領域内の各ボクセルの閾値は固定される。固定された閾値は、変更部２０２による全体的な閾値の変更では変更されない。

　＜ツール操作＞
図３に示すボタンＢ２４のＦｉｌｌツールにおいて、ユーザは、画面上の所定位置をクリックする。画像処理装置１０は、画面上に現れる現在の等値面の面を見つけるため、ピックオペレーション（pick operation）を適用する。画像処理装置１０は、その面を含むセルを識別し、そのセルの周りの８個のノードを特定する。もし、そのノードの明度が閾値よりも高ければ、画像処理装置１０は、そのノードを固定された状態にする。画像処理装置１０は、そのノードに隣接する６個のノードを固定された状態にする。

　次に、Ｂｌｕｓｈツールにおいて、ユーザは、マウスカーソルをドラッグし、画像処理装置１０は、マウスカーソル下の前景セルを見つけるため、ピックオペレーション（pick operation）を適用する。画像処理装置１０は、ピックされたセルの中央にブラシの先端を配置し、ブラシの半径よりも、ブラシ先端からノードまでの距離が小さいノードを特定する。

　画像処理装置１０は、特定されたノードの閾値をブラシの第２閾値に設定する。もしノードに設定された閾値が明度よりも低ければ、画像処理装置１０は、そのノードの状態を固定に変更する。

　ブラシ操作が始まると、画像処理装置１０は、ブラシの第２閾値を、ピックされたセルの周りにある前景ノードの閾値に設定する。そのセルの周りに複数の前景ノードがあれば、最小のものが用いられる。ユーザは、上述したとおり、所定操作によりブラシの第２閾値を変更することができる。

　次に、図３に示されていないが、Ｃｌｅａｎツールについて説明する。Ｃｌｅａｎツールは、固定されたノードをクラスタリングするためのツールである。画像処理装置１０は、クラスタ内のノードペア間の最大値が定義された各クラスタの直径を測る。その直径が予め設定された閾値よりも小さければ、画像処理装置１０は、そのクラスタ内のノードの状態を「自由」に設定する。

　＜保護処理＞
次に、ノードの保護処理について説明する。まず、前提として、図３に示すスライダＳ１０により閾値が変更されると、画像処理装置１０は、状態が「自由」なノード全てに対して、変更された閾値を設定する。このとき、図８に示す問題が発生する。

　図８は、閾値変更に伴う問題を説明するための図である。図８の（１）に示す例では、閾値の変更により、ペイントされた等値面の様子が変化する。図８の（１）において、閾値がＴｈ１１～１４まで変化すると、等値面の明度が下がっていく。固定したはずの等値面が変化することを避けるため、図８の（２）に示すように、固定されたノードに隣接するノードが自由なノードであれば、その自由なノードを保護（固定）する。これにより、閾値が変更されても、等値面の様子は変化しないため、等値面の安定した表示を提供することができる。

　＜偽等値面＞
実施形態におけるペイントインターフェースが用いられると、画像処理装置１０は、高い明度領域がない場合において、ペイントされた領域の境界において偽の等値面を生成することがある。

　図９は、偽等値面を説明するための図である。図９に示す（１）は、高い明度の点を含む領域を捕えるために適切な閾値が設定されている例を示す。図９（１）に示すように、明度値が１００の背景領域と、明度値が２００の領域とがある場合に、高い明度の領域を抽出するために閾値を１５０に設定することが適切である。これにより、適切な等値面Ｉｓ１が表示される。

　しかし、図９に示す（２）は、不適切な閾値が設定されて、偽等値面が現れる例を示す。図９（２）に示すように、閾値が５０に設定され、高い明度の領域がペイントされた場合、ペイントされた領域の境界付近で偽等値面Ｉｓ２が表示される。この問題は、閾値の勾配が、明度値の勾配よりも大きい場合に起こり得る。

　そこで、画像処理装置１０の検出部２１４は、各セルについて、明度値の勾配下降方向と、等値面の法線方向とを計算し、これらの方向に基づく所定の条件が満たされるか否かを判定する。所定の条件とは、２つの方向の成す角度が所定角度以上である。

　検出部２１４は、所定の条件が満たされれば、その等値面は、オリジナルの内部構造を適切に表していないとして、この偽等値面を検出する。第２表示制御部２０８は、偽等値面が、予め決められた色（例えば緑）に表示されるよう制御する。

　なお、検出部２１４は、実装をより容易にするため、明度値から閾値を減算して得られる値の勾配下降方向を等値面の法線方向として用いてもよい。

　図１０は、偽等値面の一例を示す図である。図１０に示す例では、ユーザが、ブラシ先端ＢＴに設定される第２閾値を低くしたことで、ブラシ先端ＢＴの境界において、偽等値面ＦＶが現れている。検出部２１４は、この偽等値面ＦＶを上述した方法で抽出し、識別できるようにする（図１０に示す例では斜線）。検出部２１４は、閾値勾配下降方向と、等値面法線方向と向きが逆になっている領域を、偽等値面ＦＶとして検出する。

　これにより、ユーザは、ブラシ先端ＢＴに設定される第２閾値を大きくするように変更し、この偽等値面ＦＶを削除するようにすることができる。

　図１１は、正常な等値面の一例を示す図である。図１１に示す例では、閾値の勾配方向が、等値面の法線方向と略直交するので、ブラシ境界での等値面は、偽等値面として検出されない。

　＜動作＞
次に、画像処理装置１０の動作について説明する。図１２は、実施形態における対象物抽出処理の一例を示すフローチャートである。図１２に示す処理は、実施形態におけるアプリケーションを実行し、画像を選択した場合に実行される。

　ステップＳ１０２で、第１表示制御部２０６は、デフォルトの閾値以上の明度値を含む点を、表示装置１１４に表示するよう制御する。デフォルトの閾値は、例えば０である。

　ステップＳ１０４で、変更部２０２は、画像の各点における明度値の閾値を変更する。例えば、図３に示すスライダＳ１０のつまみ部分をユーザが操作することで、第１閾値が変更される。このとき、第１表示制御部２０６は、変更部２０２により第１閾値が変更される度に、この第１閾値以上の明度を含む点を有する領域を表示するよう制御する。

　ステップＳ１０６で、受付部２１０は、抽出対象物の所定領域の指定を受け付けたか否かを判定する。例えば、受付部２１０は、図３に示すボタンＢ２４の押下の次に、連結領域でのクリックを検知した場合、その連結領域の指定を受け付ける。指定があれば（ステップＳ１０６－ＹＥＳ）、処理はステップＳ１０８に進み、指定がなければ（ステップＳ１０６－ＮＯ）、処理はステップＳ１０４に戻る。

　ステップＳ１０８で、固定部２１２は、指定された連結領域内の各点の閾値を、領域指定時の閾値に固定する。

　ステップＳ１１０で、第２表示制御部２０８は、画像内に指定された１又は複数の連結領域がある場合、所定領域内の点のうち固定部２１２により固定された閾値以上の明度値を含む点、及び所定領域外の点のうち変更部２０２により変更される閾値以上の明度値を含む点を表示するよう制御する。また、第２表示制御部２０８は、識別性を上げるため、指定された領域の色を、所定色に変更してもよい。なお、ステップＳ１１０において、偽等値面の検出処理が行われてもよい。

　また、ステップＳ１１０の後で、上述したブラシ処理が行われて、抽出対象物の領域が拡張されてもよい。また、ステップＳ１０８において、閾値が固定されたノードに隣接するノードで、固定されていないノードがあれば、そのノードの状態を固定にし、閾値を固定してもよい。これにより、スライダＳ１０により第１閾値が変更されても、抽出対象物の領域境界において安定した表示が可能になる。

　以上の処理により、ユーザは、簡単に抽出対象物を指定することができるので、従来技術と比べて抽出処理に係る時間を軽減させることができる。さらに、実施形態において、ペイント機能を用いて抽出対象物の指定や領域拡張を実行することで、ユーザビリティを向上させ、直感的な操作が可能になるため、さらに処理時間を軽減させることができる。

　図１３は、実施形態における偽等値面を検出する処理の一例を示すフローチャートである。図１３に示すステップＳ２００で、検出部２１４は、抽出対象物の境界において明度値の勾配下降方向と、等値面の法線方向とを算出する。

　ステップＳ２０２で、検出部２１４は、勾配下降方向と法線方向とが所定の条件を満たすか否かを判定する。所定の条件は、例えば２つの方向の成す角が９０度以上であることである。所定の条件が満たされれば（ステップＳ２０２－ＹＥＳ）、偽等値面は有りと判断され、処理はステップＳ２０４に進み、所定の条件が満たされなければ（ステップＳ２０２－ＮＯ）、偽等値面は無しと判断され、処理は終了する。

　ステップＳ２０４で、第２表示制御部２０８は、検出部２１４により検出された領域の色を、予め決められた色に変更する。なお、偽等値面は、色が変わることに限定されず、偽等値面の識別ができればよい。なお、図１３に示す検出処理は、ブラシ処理にも適用できる。

　以上の処理により、ペイント機能を用いることで偽等値面が現れる問題を解決することができる。

　なお、上記の画像処理装置１０で実行されるプログラムについて、実際のハードウェアとしては、ＣＰＵ１０２がＲＯＭ１０６からプログラムを読み出して実行することにより、上記各部のうち１又は複数の各部がＲＡＭ１０４上にロードされ、１又は複数の各部がＲＡＭ１０４上に生成されるようになっている。

　このように、上述した実施形態で説明した処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した処理を実現することができる。

　また、このプログラムを記録媒体１１６に記録し、このプログラムが記録された記録媒体１１６をコンピュータに読み取らせて、前述した処理を実現させることも可能である。

　なお、記録媒体１１６は、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

　以上、実施形態について詳述したが、上記実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記実施形態以外にも種々の変形及び変更が可能である。

　例えば、上記実施形態は、３次元画像だけではなく、２次元画像にも適用することができる。また、適用対象の画像は、医療用の画像だけではなく、スキャンした画像等でもよい。

　図１４は、変形例における医療システム１の概略構成を示す図である。図１４に示す例では、医療機器２０と画像処理装置１０とがネットワークを介してデータ通信可能なように接続されている。

　医療機器２０は、ＣＴ又はＭＲＩにより検査画像を取得するための機器である。医療機器２０は、取得した検査画像を画像処理装置１０に送信する。画像処理装置１０は、取得した検査画像に対し、実施形態で説明した対象物の抽出処理を実行する。

　なお、図１４において、画像処理装置１０の機能を医療機器２０に組み込み、医療機器２０として、本発明を実装してもよい。

１０　画像処理装置
２０　医療機器
１０２　ＣＰＵ
１０４　ＲＡＭ
１０６　ＲＯＭ
２０２　変更部
２０４　表示制御部
２０６　第１表示制御部
２０８　第２表示制御部
２１０　受付部
２１２　固定部
２１４　検出部

Claims (9)

1. 　画像内の各点における明度の閾値を変更する変更部と、
   　前記変更部により閾値が変更される度に、当該閾値以上の明度値を含む点を表示するよう制御する第１表示制御部と、
   　ユーザ操作に基づき、表示された画像内の１又は複数の所定領域の指定を受け付ける受付部と、
   　指定された前記所定領域内の各点の閾値を、当該所定領域の指定時の前記変更部による閾値に固定する固定部と、
   　画像内に１又は複数の前記所定領域がある場合、前記所定領域内の点のうち前記固定部により固定された閾値以上の明度値を含む点、及び前記所定領域外の点のうち前記変更部により変更される閾値以上の明度値を含む点を表示するよう制御する第２表示制御部と、
   　を備える画像処理装置。
2. 　前記受付部は、
   　前記変更部による閾値以上の明度値を含む点に基づく連結領域内の所定位置が指定された場合、前記連結領域を前記所定領域の指定として受け付け、
   　前記第２表示制御部は、
   　前記連結領域の色を所定色に変更して表示するよう制御する、請求項１に記載の画像処理装置。
3. 　前記変更部は、
   　前記所定領域内の位置を開始位置とするドラッグ操作時における所定操作により、前記ドラッグ先から所定範囲内の閾値の変更を可能にし、
   　前記受付部は、
   　前記ドラッグ操作における軌跡を含み、かつ前記所定操作に基づく閾値の変更により表示される連結領域を、前記所定領域の指定として受け付ける、請求項１又は２に記載の画像処理装置。
4. 　前記固定部は、
   　前記所定領域内の点に隣接する点で、閾値が固定されていない隣接点がある場合、当該隣接点の閾値を固定する、請求項１乃至３いずれか一項に記載の画像処理装置。
5. 　前記所定色に変更された領域の境界において、画像の明度の勾配方向、及び表示された当該領域の等値面の法線方向に基づいて、前記所定色に変更されるべきではない偽等値面を検出する検出部をさらに備える、請求項２に記載の画像処理装置。
6. 　前記第２表示制御部は、
   　前記検出部により検出された偽等値面の色を、前記所定色とは異なる色に変更して表示制御する、請求項５に記載の画像処理装置。
7. 　コンピュータが実行する画像処理方法であって、
   　画像内の各点における明度の閾値を変更し、
   　前記閾値が変更される度に、当該閾値以上の明度値を含む点を表示するよう制御し、
   　ユーザ操作に基づき、表示された画像内の１又は複数の所定領域の指定を受け付け、
   　指定された前記所定領域内の各点の閾値を、当該所定領域の指定時の閾値に固定し、
   　画像内に１又は複数の前記所定領域がある場合、前記所定領域内の点のうち、固定された閾値以上の明度値を含む点、及び前記所定領域外の点のうち、変更される閾値以上の明度値を含む点を表示するように制御する、
   　情報処理方法。
8. 　請求項７に記載の情報処理方法をコンピュータに実行させるためのプログラム。
9. 　請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images