JPWO2020129979A1 - 画像処理装置、方法及びプログラム - Google Patents

Abstract

対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得部と、前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付部と、前記受付部が受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得部と、前記優先順位取得部により取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なう表示制御部と、を含む画像処理装置、が提供される。

Description

本開示は、セグメンテーション画像において割り当てられた関心領域を修正する画像処理装置、方法及びプログラムに関するものである。

近年、ＣＴ（Computed Tomography）装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像を用いての画像診断が可能となってきている。ＣＴ装置により取得したＣＴ画像及びＭＲＩ装置により取得したＭＲ画像等の医用画像に対して、臓器及び病変等の関心領域を自動でセグメンテーションし、セグメンテーションされた医用画像を可視化することで、診断及び治療等の支援に役立てられている。

上記セグメンテーションは、例えば画像処理技術を用いた自動臓器セグメンテーションエンジンを利用することにより行われている。このように自動で関心領域を抽出する場合、過抽出領域及び未抽出領域が発生する可能性があり、必ずしもセグメンテーションが適切に行われるとは限らない。自動臓器セグメンテーションエンジンを使用したセグメンテーションに失敗した場合には、自動で割り当てられた関心領域を手動で修正する必要がある。しかしながら手動により修正を行う場合には、修正すべき領域として指定した領域をどの関心領域に割り当てるのか選択する必要があり、セグメンテーションにより割り当てられた関心領域の数が多いほど、ユーザによる選択の負担が大きくなる。

そこで、特開２００５−７３８１７号公報、特表２０１２−５０５００８号公報及び特開２００３−１８０６７８号公報には、セグメンテーションされた医用画像において、セグメンテーションされた関心領域を適正範囲に調整するためのパラメータを調整することにより、関心領域を修正する技術が開示されている。

特開２００５−７３８１７号公報 特表２０１２−５０５００８号公報 特開２００３−１８０６７８号公報

しかしながら、特開２００５−７３８１７号公報、特表２０１２−５０５００８号公報及び特開２００３−１８０６７８号公報に記載された技術においては、セグメンテーションの処理条件であるパラメータを調整しているため、例えば１つの関心領域のみ割り当てられた領域を修正したい場合に対応するのは困難である。

本開示は、ユーザの負担を軽減しつつ、ユーザの所望する領域の割り当てを修正できるようにする。

本開示による画像処理装置は、対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得部と、
セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付部と、
受付部が受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得部と、
優先順位取得部により取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう表示制御部と、
を含む。

なお、本開示の画像処理装置においては、優先順位取得部は、対象画像を複数の領域に分割する際のセグメンテーションアルゴリズムに基づいて取得された複数の領域の各領域のスコアに基づいて優先順位を取得することができる。

また、本開示の画像処理装置においては、各領域のスコアは、対象画像の各画素に対する存在確率であって、各画素が複数の領域の各領域に存在することを示す存在確率であってもよい。

また、本開示の画像処理装置においては、表示制御部は、入力部から入力される入力情報に基づいて、優先順位の高い順に前記割り当てる領域の候補を表示部に表示する制御を行なうことができる。

また、本開示の画像処理装置においては、表示制御部は、ユーザが指定した位置を、割り当てる領域の候補毎に予め設定された色で表示する制御を行なうことができる。

また、本開示の画像処理装置においては、表示制御部は、ユーザが指定した位置を、割り当てる領域の候補毎にスコアの情報、色情報、及び名称の情報の少なくとも１つの情報に対応付けて表示する制御を行なうことができる。

本開示の画像処理方法は、対象画像を複数の領域に分割したセグメンテーション画像を取得し、
セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付け、
受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得し、
取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう。

なお、本開示による画像処理方法をコンピュータに実行させるためのプログラムを提供してもよい。具体的には、本開示の画像処理プログラムは、
対象画像を複数の領域に分割したセグメンテーション画像を取得することと、
セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付けることと、
受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得することと、
取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なうことと、
をコンピュータに実行させる。

本開示によれば、ユーザの負担を軽減しつつ、ユーザの所望する領域の割り当てを修正することができる。

本開示の実施形態による画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態による画像処理装置の概略構成を示す図 セグメンテーション画像において修正位置の指定を説明するための図 セグメンテーション画像の各領域を説明するための図 本実施形態において行われる処理を示すフローチャート 割り当てる領域の候補の表示の一例を説明するための図（その１） 割り当てる領域の候補の表示の一例を説明するための図（その２） 割り当てる領域の候補の表示の一例を説明するための図（その３） 割り当てる領域の候補の表示の一例を説明するための図（その４） 割り当てる領域の候補の表示の他の一例を説明するための図

以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による画像処理装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による画像処理装置１、３次元画像撮影装置２、及び画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２はＣＴ装置であり、被検体の診断対象となる部位を含むＣＴ画像を３次元画像として生成する。なお、３次元画像は複数の断層画像からなる。なお、３次元画像が本開示の対象画像に対応する。

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及びネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

画像処理装置１は、１台のコンピュータに、本実施形態の画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーション又はパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

図２は、コンピュータに画像処理プログラムをインストールすることにより実現される画像処理装置の概略構成を示す図である。図２に示すように、画像処理装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２及びストレージ１３を備えている。また、画像処理装置１には、液晶ディスプレイ等の表示部１４、並びにキーボード及びマウス等の入力部１５が接続されている。なお、本実施形態においては、入力部１５としてホイール付のマウスを備えている。

ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像及び処理に必要な情報を含む各種情報が記憶されている。

また、メモリ１２には、画像処理プログラムが記憶されている。画像処理プログラムは、ＣＰＵ１１に実行させる処理として、対象画像から複数の関心領域を抽出し、対象画像を複数の領域に分割したセグメンテーション画像を生成するセグメンテーション処理と、対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得処理と、セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付処理と、受け付けた位置情報が示すセグメンテーション画像上の位置に対して、複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得処理と、取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう表示制御処理とを規定する。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、セグメンテーション処理部２０、画像取得部２１、受付部２２、優先順位取得部２３、及び表示制御部２４として機能する。

セグメンテーション処理部２０は、後述する画像取得部２１が取得した３次元画像から複数の関心領域を抽出し、３次元画像を複数の領域に分割したセグメンテーション画像を生成する。このために、セグメンテーション処理部２０は、３次元画像から関心領域を抽出するように機械学習がなされた学習済みモデルを備える。学習済みモデルは、診断の対象となる臓器、骨及び軟骨等の構造物を関心領域として抽出するように、ディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、及びリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等のニューラルネットワークからなる。本実施形態においては、学習済みモデルが本開示のセグメンテーションアルゴリズムに対応する。なお、診断の対象となる臓器は、心臓、肝臓、肺、腎臓及び脳等が挙げられる。学習済みモデルは、３次元画像が入力されると３次元画像の各画素が関心領域であるか否かを表す判別結果を出力する。判別結果は、各画素が各関心領域に割り当てられる存在確率である。

ここで、「存在確率」は、各画素が各関心領域に存在することを示す確率である。そして、セグメンテーション処理部２０は、３次元画像の全領域のうち、最も存在確率の高い領域をその関心領域に割り当てることによりセグメンテーション画像を生成する。本実施形態においては、セグメンテーション処理部２０により出力される各画素の存在確率はストレージ１３に記憶される。

なお、学習済みモデルは、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、アダブースト（AdaBoost）、およびランダムフォレスト（RandomForest）等からなるものであってもよい。また、セグメンテーション処理部２０は、機械学習がなされた学習モデルを備えたものに限定されるものではない。例えば、テンプレートマッチング等により関心領域を抽出するものであってもよい。

画像取得部２１は、関心領域を含む３次元画像を画像保管サーバ３から取得する。関心領域は、例えば診断の対象となるような、ユーザが注目する臓器、骨及び軟骨等の構造物の領域である。なお、３次元画像が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から３次元画像を取得するようにしてもよい。また、画像取得部２１は、セグメンテーション処理部２０により生成されたセグメンテーション画像を取得する。

受付部２２は、セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける。図３はセグメンテーション画像Ｄｋにおいて修正位置の指定を説明するための図である。セグメンテーション画像Ｄｋは、セグメンテーション処理部２０により複数の領域に分割された３次元画像を構成する複数の断層画像のうちの１枚の断層画像であり、表示部１４に表示される。なお、表示するセグメンテーション画像Ｄｋは、アキシャル断面、サジタル断面及びコロナル断面のいずれの断面の断層画像であってもよい。

図３に示すように、セグメンテーション画像Ｄｋにおいては、セグメンテーション処理部２０により各関心領域３１〜３５が割り当てられている。なお、各関心領域３１〜３５はマスクとしてセグメンテーション画像Ｄｋに含まれる。マスクは、各関心領域３１〜３５毎に異なる表示パターンで表されており、輪郭のみを表すものであってもよく、ハッチングが施されたものであってもよく、予め定められた色により塗りつぶされたものであってもよい。以降の説明において、各関心領域３１〜３５は、セグメンテーション画像Ｄｋにおいて、マスクされた領域を意味するものとする。

図３に示すセグメンテーション画像Ｄｋ上において、ユーザは入力部１５を用いて、割り当てられた領域において修正したい位置を指定する。位置の指定は、一例として表示部１４に表示された円形のカーソルＡを用いて行うことができる。なお、カーソルＡの形状は円形に限定されるものではなく、矩形、三角形及び矢印形状等、任意の形状とすることができる。また、カーソルＡの大きさは、ユーザにより予め任意に設定することができる。カーソルＡの大きさ及び形状等は、診断対象となる部位によって予め設定されていてもよい。

受付部２２は、ユーザによるカーソルＡを用いての修正指示を受け付ける。この場合、ユーザは入力部１５のマウスを用いてカーソルＡを移動して、修正したい領域上にカーソルＡを移動させる。受付部２２はカーソルＡのセグメンテーション画像Ｄｋ上の位置情報を受け付ける。

優先順位取得部２３は、受付部２２が受け付けた位置情報が示すセグメンテーション画像Ｄｋ上の位置に対して、割り当てる領域の優先順位を画像情報に基づいて取得する。セグメンテーション画像Ｄｋは、セグメンテーション処理部２０によりセグメンテーション処理が行われた際に、各々の関心領域３１〜３５が示す部位の名称が付帯情報として付与されている。また、セグメンテーション処理部２０により出力された各画素毎の各関心領域に割り当てられる存在確率も、付帯情報として付与されて、ストレージ１３に保存されている。

図４はセグメンテーション画像の各領域を説明するための図である。受付部２２が受け付けた位置情報が示すセグメンテーション画像Ｄｋ上の位置、すなわちカーソルＡ内の領域は、例えば図４に示すように、関心領域３１が示す部位ａである存在確率が４５％、関心領域３２が示す部位ｂである存在確率が４０％、関心領域３４が示す部位ｃである存在確率が１０％、関心領域３５が示す背景である存在確率が４％、及び、関心領域３３が示す部位ｄである存在確率が１％であるとする。ここで「背景」は、どの部位にも当てはまらない領域とする。例えば、セグメンテーション処理部２０が、部位ａ及び部位ｂのみをセグメンテーションする場合には、部位ａ及び部位ｂに当てはまらない領域が背景となる。なお、部位ｄを示す関心領域３３は、カーソルＡから最も離れた領域であるため、最も存在確率が低くなる。

なお、セグメンテーション画像Ｄｋにおいて、存在確率は各画素毎に出力される。従って、カーソルＡ内の領域に対応する存在確率は、カーソルＡ内の領域を構成する全画素における存在確率の代表値として求められる。代表値としては、存在確率の平均値、中央値、最大値及び最小値等を用いることができる。また、存在確率が予め定められた閾値以上となる領域についてのみの存在確率の代表値をカーソルＡ内の領域に対応する存在確率としてもよい。優先順位取得部２３は、図４に示す存在確率の高い順に優先順位を高く設定した優先順位を取得する。

表示制御部２４は、画像取得部２１により取得された３次元画像及びセグメンテーション画像Ｄｋ等を表示部１４に表示する制御を行なう。また、表示制御部２４は、優先順位取得部２３によって取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部１４に表示する制御を行なう。なお、表示制御部２４による割り当てる領域の候補の表示部１４への表示については、後で詳細に説明する。本実施形態の画像処理装置１は以上のように構成される。

次に、本実施形態の画像処理装置１による一連の処理について説明する。図５は本実施形態において行われる処理を示すフローチャートである。図５に示すように、先ず、画像取得部２１がセグメンテーション画像を取得して、表示制御部２４が表示部１４に表示させる（ステップＳＴ１）。次いで、受付部２２が、上述したようにして、カーソルＡの位置情報を受け付ける（ステップＳＴ２）。そして、優先順位取得部２３が、上述したようにして、割り当てる領域の候補の優先順位を取得する（ステップＳＴ３）。

次に、表示制御部２４が割り当てる領域の候補を表示部１４に表示させる（ステップＳＴ４）。図４に示すように、図３に示すカーソルＡ内の領域においては、部位ａである存在確率が最も高いので、セグメンテーション処理部２０によるセグメンテーション処理の処理結果としては、カーソルＡ内の領域は部位ａであり、関心領域３１の表示パターンで示される。

しかしながら、セグメンテーション処理部２０によるセグメンテーション処理の処理結果は必ずしも正確ではなく、セグメンテーション画像Ｄｋに含まれる実際の関心領域とはならない場合がある。そのような場合、従来では、例えば塗り潰しツール等により手動で領域の修正を行うことがあった。例えば、図４に示す場合には、部位ｂ、部位ｃ、背景、及び部位ｄが割り当てる領域の候補となるが、この候補が多ければ多いほど、どの領域に割り当てればよいのかの判断が煩雑となり、ユーザへの負担が大きくなってしまっていた。

そこで、本実施形態においては、表示制御部２４が割り当てる領域の候補を優先順位の高い順に表示部１４に表示させる制御を行なう。図６〜図９は各々、割り当てる領域の候補の表示の一例を説明するための図である。本実施形態においては、優先順位取得部２３により取得された割り当てる領域の候補の優先順位は、図４に示すように、優先順位の高い順に、部位ｂ、部位ｃ、背景、及び部位ｄとなる。

先ず、表示制御部２４は、図６に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が最も高い「部位ｂ」が示す関心領域３２の表示パターンで表示させる。そして、ユーザによりマウスホイールが操作されると、図７に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が部位ｂの次に高い「部位ｃ」が示す関心領域３２の表示パターンで表示させる。再度、ユーザによりマウスホイールが操作されると、図８に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が部位ｃの次に高い「背景」が示す領域３５の表示パターンで表示させる。

そして、また再度、ユーザによりマウスホイールが操作されると、図９に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が背景の次に高い「部位ｄ」が示す領域３５の表示パターンで表示させ、次にユーザによりマウスホイールが操作されると、表示制御部２４は、図４に示す元の表示状態に戻す。そして、ユーザにより割り当てる領域の候補が選択されるまで、上記の表示制御を繰り返し行う。

次いで、ＣＰＵ１１は、割り当てる領域の候補が選択されたか否かを判断し（ステップＳＴ５）、ユーザにより割り当てる領域の候補が選択されたと判断した場合に（ステップＳＴ５；ＹＥＳ）、ユーザにより選択された候補の領域に割り当てる領域を変更する。なお、候補を選択する指示は、例えば入力部１５であるマウスの右クリック又は予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。

一方、ステップＳＴ５にて、ユーザにより割り当てる領域の候補が選択されていないと判断した場合に（ステップＳＴ５；ＮＯ）、一連の処理を終了する。なお、候補を選択しない指示は、例えば入力部１５であるエスケープ（Ｅｓｃ）ボタンの押下等とすることができるが、これらに限定されるものではない。

このように、本実施形態によれば、ユーザが指定した位置に対して、割り当てる領域の優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補が表示部１４に表示される。このため、ユーザは、割り当てる領域の候補が多い場合であっても、どの領域に割り当てればよいのかを容易に視認することができるので、ユーザの負担を軽減しつつ、ユーザの所望する領域の割り当てを修正することができる。

なお、上記実施形態において、優先順位取得部２３は、各画素に対する存在確率を取得したが本開示の技術はこれに限られない。例えば、セグメンテーション処理部２０が対象画像を複数の領域に分割する際に、各画素に対する存在確率ではなく、領域毎に各領域である確率を示すスコアを取得している場合、各領域のスコアに基づいて優先順位を取得してもよい。なお、この場合スコアは確率であってもよい。

また、上記実施形態において、表示制御部２４は、カーソルＡ内の領域を、図４、及び図６〜図９に示す各関心領域３１〜３５の表示パターンで表示したが、本開示の技術はこれに限られない。例えば、表示制御部２４は、カーソルＡ内の領域を、各関心領域毎に予め定められた色で表示させてもよい。また、表示制御部２４は、割り当てる領域の候補毎にスコアの情報、色情報、及び名称の情報の少なくとも１つの情報に対応付けてカーソルＡ内の領域を表示させてもよい。

図１０は割り当てる領域の候補の表示の他の一例を説明するための図である。表示制御部２４は、例えば図１０に示すように、割り当てる領域毎に優先順位の高い順に番号を付与して表示させ、ユーザにより位置が指定された場合に、指定された位置の近傍に優先順位の高い順に、上記番号及び領域を示す表示パターンをプルダウンメニューにより、選択可能に表示させてもよい。なお、この場合、番号のみをプルダウンメニューにより表示させてもよいし、表示パターンのみをプルダウンメニューにより表示させてもよい。なお、番号に換えて、部位の名称を表示させてもよい。この場合、優先順位の高い部位の名称をプルダウンメニューの上位に表示する。

なお、上記実施形態においては、セグメンテーション処理部２０は、画像処理装置１に設けられているが、本開示の技術はこれに限られない。例えば、外部に設けられたセグメンテーション処理部によって生成されたセグメンテーション画像を、ストレージ１３及び画像保管サーバ３の少なくとも一方に保存しておき、画像取得部２１が保存されたセグメンテーション画像を取得するようにしてもよい。この場合、セグメンテーション画像及びセグメンテーション処理部により出力される各画素に割り当てられる存在確率がストレージ１３及び画像保管サーバ３の少なくとも一方に保存される。

また、上記実施形態において、例えば、セグメンテーション処理部２０、画像取得部２１、受付部２２、優先順位取得部２３、及び表示制御部２４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

１ 画像処理装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２０ セグメンテーション処理部
２１ 画像取得部
２２ 受付部
２３ 優先順位取得部
２４ 表示制御部
３１〜３５ 関心領域
Ａ カーソル
Ｄｋ セグメンテーション画像

２０１８年１２月１８日に出願された日本国特許出願２０１８−２３６６６２号の開示は、その全体が参照により本明細書に取り込まれる。

本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

上記セグメンテーションは、例えば画像処理技術を用いた自動臓器セグメンテーションエンジンを利用することにより行われている。このように自動で関心領域を抽出する場合、過抽出領域及び未抽出領域が発生する可能性があり、必ずしもセグメンテーションが適切に行われるとは限らない。自動臓器セグメンテーションエンジンを使用したセグメンテーションに失敗した場合には、自動で割り当てられた関心領域を手動で修正する必要がある。しかしながら手動により修正を行う場合には、修正すべき領域として指定した領域にどの関心領域を割り当てるのか選択する必要があり、セグメンテーションにより割り当てられた関心領域の数が多いほど、ユーザによる選択の負担が大きくなる。

しかしながら、特開２００５−７３８１７号公報、特表２０１２−５０５００８号公報及び特開２００３−１８０６７８号公報に記載された技術においては、セグメンテーションの処理条件であるパラメータを調整しているため、例えば１つの関心領域のみ割り当てられた領域をユーザが修正したい場合に対応するのは困難である。

また、メモリ１２には、画像処理プログラムが記憶されている。画像処理プログラムは、ＣＰＵ１１に実行させる処理として、対象画像から複数の関心領域を抽出し、対象画像を複数の領域に分割したセグメンテーション画像を生成するセグメンテーション処理と、対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得処理と、セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付処理と、受け付けた位置情報が示すセグメンテーション画像上の位置に対して割り当てる領域を選択する、複数の領域の優先順位を画像情報に基づいて取得する優先順位取得処理と、取得された優先順位に基づいて、割り当てる領域が選択可能に、割り当てる領域の候補を表示部に表示する制御を行なう表示制御処理とを規定する。

セグメンテーション処理部２０は、後述する画像取得部２１が取得した３次元画像から複数の関心領域を抽出し、３次元画像を複数の領域に分割したセグメンテーション画像を生成する。このために、セグメンテーション処理部２０は、３次元画像から関心領域を抽出するように機械学習がなされた学習済みモデルを備える。学習済みモデルは、診断の対象となる臓器、骨及び軟骨等の構造物を関心領域として抽出するように、ディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、及びリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等のニューラルネットワークからなる。本実施形態においては、学習済みモデルが本開示のセグメンテーションアルゴリズムに対応する。なお、診断の対象となる臓器は、心臓、肝臓、肺、腎臓及び脳等が挙げられる。学習済みモデルは、３次元画像が入力されると３次元画像の各画素が関心領域であるか否かを表す判別結果を出力する。判別結果は、各画素に各関心領域が割り当てられる存在確率である。

ここで、「存在確率」は、各画素が各関心領域に存在することを示す確率である。そして、セグメンテーション処理部２０は、３次元画像の全領域のうち、最も存在確率の高い領域をその画素の関心領域として割り当てることによりセグメンテーション画像を生成する。本実施形態においては、セグメンテーション処理部２０により出力される各画素の存在確率はストレージ１３に記憶される。

なお、セグメンテーション画像Ｄｋにおいて、存在確率は各画素毎に出力される。従って、カーソルＡ内の領域に対応する存在確率は、カーソルＡ内の領域を構成する全画素における存在確率の代表値として求められる。代表値としては、存在確率の平均値、中央値、最大値及び最小値等を用いることができる。また、存在確率が予め定められた閾値以上となる画素についてのみの存在確率の代表値をカーソルＡ内の領域に対応する存在確率としてもよい。優先順位取得部２３は、図４に示す存在確率の高い順に優先順位を高く設定した優先順位を取得する。

先ず、表示制御部２４は、図６に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が最も高い「部位ｂ」を示す関心領域３２の表示パターンで表示させる。そして、ユーザによりマウスホイールが操作されると、図７に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が部位ｂの次に高い「部位ｃ」を示す関心領域３４の表示パターンで表示させる。再度、ユーザによりマウスホイールが操作されると、図８に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が部位ｃの次に高い「背景」が示す関心領域３５の表示パターンで表示させる。

そして、また再度、ユーザによりマウスホイールが操作されると、図９に示すように、カーソルＡ内の領域を、割り当てる領域の候補の優先順位が背景の次に高い「部位ｄ」が示す関心領域３３の表示パターンで表示させ、次にユーザによりマウスホイールが操作されると、表示制御部２４は、図４に示す元の表示状態に戻す。そして、ユーザにより割り当てる領域の候補が選択されるまで、上記の表示制御を繰り返し行う。

次いで、ＣＰＵ１１は、割り当てる領域の候補が選択されたか否かを判断し（ステップＳＴ５）、ユーザにより割り当てる領域の候補が選択されたと判断した場合に（ステップＳＴ５；ＹＥＳ）、ユーザにより選択された候補の領域に割り当てる領域を変更する（ステップＳＴ６）。なお、候補を選択する指示は、例えば入力部１５であるマウスの右クリック又は予め定められたキーの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。

Claims (8)

1. 対象画像を複数の領域に分割したセグメンテーション画像を取得する画像取得部と、
   前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付ける受付部と、
   前記受付部が受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得する優先順位取得部と、
   前記優先順位取得部により取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なう表示制御部と、
   を含む画像処理装置。
2. 前記優先順位取得部は、前記対象画像を複数の領域に分割する際のセグメンテーションアルゴリズムに基づいて取得された前記複数の領域の各領域のスコアに基づいて優先順位を取得する請求項１に記載の画像処理装置。
3. 前記各領域のスコアは、前記対象画像の各画素に対する存在確率であって、前記各画素が前記複数の領域の各領域に存在することを示す存在確率である請求項２に記載の画像処理装置。
4. 前記表示制御部は、入力部から入力される入力情報に基づいて、優先順位の高い順に前記割り当てる領域の候補を前記表示部に表示する制御を行なう請求項１から３の何れか１項に記載の画像処理装置。
5. 前記表示制御部は、ユーザが指定した位置を、前記割り当てる領域の候補毎に予め設定された色で表示する制御を行なう請求項１から４の何れか１項に記載の画像処理装置。
6. 前記表示制御部は、ユーザが指定した位置を、前記割り当てる領域の候補毎にスコアの情報、色情報、及び名称の情報の少なくとも１つの情報に対応付けて表示する制御を行なう請求項１から５の何れか１項に記載の画像処理装置。
7. 対象画像を複数の領域に分割したセグメンテーション画像を取得し、
   前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付け、
   受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得し、
   取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なう画像処理方法。
8. 対象画像を複数の領域に分割したセグメンテーション画像を取得することと、
   前記セグメンテーション画像において、ユーザが指定した位置の位置情報を受け付けることと、
   受け付けた前記位置情報が示す前記セグメンテーション画像上の位置に対して、前記複数の領域から割り当てる領域の優先順位を画像情報に基づいて取得することと、
   取得された前記優先順位に基づいて、前記割り当てる領域が選択可能に、前記割り当てる領域の候補を表示部に表示する制御を行なうことと、
   をコンピュータに実行させる画像処理プログラム。

Images