JPWO2020170791A1 - 医療画像処理装置及び方法 - Google Patents

Abstract

医療画像又は医療画像に含まれる注目領域の分類結果の信頼性を向上させることができる医療画像処理装置及び方法を提供する。医療画像処理装置１４は、医療画像を取得する画像取得部４０と、医療画像から得られる特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する分類器４２と、分類器４２による医療画像又は注目領域の分類結果の信頼度を算出する信頼度算出部４３と、算出された信頼度に基づいて医療画像又は注目領域の分類結果を確定する確定部４４と、を備える。

Description

本発明は医療画像処理装置及び方法に係り、特に医療画像に基づいて病変等を自動的に分類する技術に関する。

従来、医療画像を画素又は領域毎に異常（病変）等の分類を行い、医療画像に含まれる異常（病変）と分類された領域を強調表示し、ユーザの観察や診断を支援する画像処理装置が提案されている（特許文献１、２）。

特許文献１に記載の画像処理装置は、医療画像を画素又は領域毎に分類を行うとともに、医療画像を画素又は領域毎に「合焦」、「非合焦」の合焦判定を行う。そして、画像処理装置は、医療画像の画素又は領域における合焦判定の結果に応じて、医療画像の画素又は領域毎の分類結果を修正する。医療画像の画素又は領域毎の合焦判定の結果が「非合焦」の場合、その「非合焦」に対応する医療画像の画素又は領域毎の分類結果（正常部、非正常部の分類結果）が不明であると修正する。

これにより、医療画像の異常部に対する強調表示の信頼性を向上させている。

特許文献２に記載の画像処理装置は、カラーの医療画像に対して画素毎に病変の有無とその病変の重傷度を示すスコアを計算し、カラーの医療画像に基づいて計算したスコアの信頼性を評価する。そして、医療画像の病変部を強調表示する際に、病変の重傷度（スコア）とそのスコアの信頼性に基づいて病変部を強調表示している。

ここで、スコアの信頼性は、カラーの医療画像のカラーバランスに基づいて医療画像の全体での撮影条件の良否により評価する。

特許文献２に記載の画像処理装置は、カラーの医療画像の病変部の色情報によりその病変部の重傷度を示すスコアを計算しているため、色情報が正しくない場合（例えば、ハレーションが発生している場合や、カラーチャンネル（色成分）のいずれかが飽和している場合）には、スコアの信頼性を低くしている。

尚、特許文献２に記載の画像処理装置が判定する病変の種類は、検査内容に応じて選択することができるようになっており、検査しようとする病変は予め選択されている。特許文献２に記載の発明の実施例では、炎症性腸疾患の病変である炎症を判定対象の病変とし、その病変の重傷度を病変部の色情報によりスコア化している。

特開２０１４−１８８２２３号公報 特開２０１８−１２６６３２号公報

医療画像に基づいてその医療画像又は医療画像に含まれる注目領域の良悪性等を自動的に分類する場合、生体の動きや撮影位置の変動等により分類結果が安定しないという問題がある。

特許文献１に記載の画像処理装置は、医療画像に含まれる異常部を強調表示する際に、その強調表示の信頼性を向上させるために、医療画像の画素又は領域毎の合焦判定の結果を使用し、「非合焦」に対応する医療画像の画素又は領域に対する分類結果に対しては「不明」とすることで、少なくとも異常部に対する強調表示が不明の領域を含まないようするが、医療画像又は医療画像に含まれる注目領域の分類結果の信頼性を向上させるものではない。また、「不明」は、医療画像の画素又は領域毎の分類結果ではない。

一方、特許文献２に記載の画像処理装置が判定する病変自体は決まっており、特許文献２に記載の発明は、病変の分類結果の信頼性を向上させるものではない。

本発明はこのような事情に鑑みてなされたもので、医療画像又は医療画像に含まれる注目領域の分類結果の信頼性を向上させることができる医療画像処理装置及び方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る医療画像処理装置は、医療画像を取得する画像取得部と、医療画像から得られる特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する分類器と、分類器による医療画像又は注目領域の分類結果の信頼度を算出する信頼度算出部と、信頼度に基づいて医療画像又は注目領域の分類結果を確定する確定部と、を備える。

本発明の一の態様によれば、分類器は、医療画像から得られる特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する。この分類結果は必ずしも安定したものとは言えない。そこで、信頼度算出部は、分類結果の信頼度を算出する。確定部は、算出された信頼度に基づいて分類結果を確定するが、信頼度によっては分類結果を確定させない。これにより、確定部により確定した分類結果の信頼性を向上させることができる。

本発明の他の態様に係る医療画像処理装置において、確定部は、信頼度が閾値以上の場合に医療画像又は注目領域の分類結果を確定することが好ましい。

本発明の更に他の態様に係る医療画像処理装置において、画像取得部は、時系列の医療画像を取得し、確定部は、時系列の医療画像に対して信頼度算出部により順次算出される、複数の分類結果の信頼度に基づいて医療画像又は注目領域の分類結果を確定することが好ましい。

本発明の更に他の態様に係る医療画像処理装置において、確定部は、信頼度算出部により算出された信頼度が閾値以上となる特定の分類結果の個数が基準個数以上の場合、又は特定の分類結果の個数の割合が基準割合以上の場合に特定の分類結果を医療画像又は注目領域の分類結果として確定することが好ましい。

本発明の更に他の態様に係る医療画像処理装置において、信頼度算出部は、複数の分類結果のうち特定の分類結果の信頼度の変動量を算出し、確定部は、特定の分類結果の信頼度の変動量が基準範囲内の場合に特定の分類結果を医療画像又は注目領域の分類結果として確定することが好ましい。

本発明の更に他の態様に係る医療画像処理装置において、分類器は、医療画像に基づいて医療画像を画素毎又は領域毎にクラスの分類を行い、医療画像の分類結果を示す領域画像を作成し、信頼度算出部は、領域画像に基づいて医療画像又は注目領域の分類結果の信頼度を算出することが好ましい。医療画像の分類結果を示す領域画像を作成する場合、その作成した領域画像を利用して分類結果の信頼度を算出することができる。

本発明の更に他の態様に係る医療画像処理装置において、信頼度算出部は、領域画像に基づいて注目領域の面積を算出し、確定部は、注目領域の面積が閾値以上の場合に医療画像又は注目領域の分類結果を確定することが好ましい。

本発明の更に他の態様に係る医療画像処理装置において、信頼度算出部は、領域画像に基づいて注目領域における画素毎の分類結果の信頼度の代表値を算出し、確定部は、算出された信頼度の代表値が閾値以上の場合に医療画像又は注目領域の分類結果を確定することが好ましい。

本発明の更に他の態様に係る医療画像処理装置において、信頼度算出部は、領域画像に基づいて注目領域における画素毎の分類結果の分散又は標準偏差を算出し、確定部は、算出された分散又は標準偏差が閾値以下の場合に医療画像又は注目領域の分類結果を確定することが好ましい。

本発明の更に他の態様に係る医療画像処理装置において、ユーザの操作により閾値を任意に設定する閾値設定部を備えることが好ましい。

本発明の更に他の態様に係る医療画像処理装置において、画像取得部が取得した医療画像と確定部により確定された分類結果を表示部に表示させる表示制御部を備えることが好まし。これにより、ユーザは、表示部に表示された分類結果が確定しているものと判断することができる。

本発明の更に他の態様に係る医療画像処理装置において、表示制御部は、分類結果を表示部に表示した後、一定時間後に非表示にすることが好ましい。分類結果が複数の情報を有する場合、分類結果の非表示は、複数の情報の全てを非表示にしてもよいし、複数の情報の一部を非表示にしてもよい。

本発明の更に他の態様に係る医療画像処理装置において、表示制御部は、分類器による医療画像又は注目領域の分類結果と確定部により確定された分類結果とを表示部に識別可能に表示させることが好ましい。これにより、ユーザは、確定していない分類結果と確定した分類結果とを確認することができる。

本発明の更に他の態様に係る医療画像処理方法は、医療画像を取得するステップと、医療画像から得られる特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類するステップと、医療画像又は注目領域の分類結果の信頼度を算出するステップと、信頼度に基づいて医療画像又は注目領域の分類結果を確定するステップと、を含む。

本発明によれば、医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する際に、その分類結果の信頼性を向上させることができる。

図１は、本発明に係る医療画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。 図２は、医療画像処理装置１４の実施形態を示すブロック図である。 図３は、本例の分類器４２に適用されるＣＮＮの代表的な構成例を示す模式図である。 図４は、医療画像の分類結果を示す領域画像の一例を示す図である。 図５は、表示器１６に表示される医療画像６０及び分類結果Ｓ１，Ｓ２の一例を示す図である。 図６は、本発明に係る医療画像処理方法の一実施形態を示すフローチャートである。 図７は、図６に示したフローチャートのステップＳ２０及びＳ３０における処理の一実施形態を示すフローチャートである。

以下、添付図面に従って本発明に係る医療画像処理装置及び方法の好ましい実施形態について説明する。

［医療画像処理装置を含む内視鏡システムの全体構成］
図１は、本発明に係る医療画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。

図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医療画像処理装置１４と、操作部１５と、表示器１６と、を備える。

内視鏡スコープ１０は、被写体像を含む時系列の医療画像を撮影するものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つ術者が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。

挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。

撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled
device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。

手元操作部２１には、術者によって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮影指示を行うための静止画撮影指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。

ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。

コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。

コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されると共に、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。

光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。尚、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。

特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。

特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。

特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。

内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａからなる画像（「動画３８」ともいう）を生成する。更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮影指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像を撮影指示のタイミングに応じた静止画３９とする。

動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医療画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医療画像処理装置１４とにそれぞれ出力する。

尚、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青［ＲＧＢ（Red,Green,Blue）］あるいはシアン、マゼンタ、及びイエロー［ＣＭＹ（Cyan，Magenta，Yellow）］の色情報に基づく演算を行うことで得る。

また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。尚、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的でヒトの人体を撮像し、又は計測した結果を画像化した医療画像である。

表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する表示部として機能する。ユーザ（医師）は、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。

［医療画像処理装置］
医療画像処理装置１４は、主として時系列の医療画像に基づいて撮影中の医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類し、分類結果をユーザに報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器（表示部）１６はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。

＜医療画像処理装置１４の実施形態＞
図２は、医療画像処理装置１４の実施形態を示すブロック図である。

図２に示す医療画像処理装置１４は、主として画像取得部４０、ＣＰＵ（Central Processing Unit）４１、分類器４２、信頼度算出部４３、確定部４４、閾値設定部４５、表示制御部４６及び記憶部４７から構成されている。

ＣＰＵ４１は、記憶部４７に記憶されたプログラムに基づいて動作し、画像取得部４０、分類器４２、信頼度算出部４３、確定部４４、閾値設定部４５、及び表示制御部４６を統括制御し、また、これらの各部の一部として機能する。

画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列のフレーム画像３８ａからなる画像（本例では、内視鏡スコープ１０により撮影される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮影途中に既述の静止画３９の撮像が行われた場合、画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。

分類器４２は、画像取得部４０により取得された時系列のフレーム画像３８ａに基づいてフレーム画像３８ａの特徴量を取得し、取得した特徴量に基づいて各フレーム画像３８ａ、又は各フレーム画像３８ａに含まれる注目領域を２以上のクラスのうちのいずれかに分類する。本例では、後述するように２以上のクラスとして、「腫瘍性」、「非腫瘍性」、「その他」の３つのクラスのうちの１つのクラスに分類するが、分類するクラスはこれらに限定されない。例えば、腫瘍の形状、大きさ、位置等による分類、病変部の重傷度による分類、及びこれらを組み合せた分類を含む。

信頼度算出部４３は、分類器４２によるフレーム画像３８ａ又は注目領域の分類結果の信頼度を算出する。例えば、分類器４２が「腫瘍性」、「非腫瘍性」及び「その他」の各クラスに属する確率を算出する場合、その算出された確率は信頼度に対応するものとなる。尚、分類結果の信頼度は、各クラスに属する確率に限らず、種々の基準に基づいて算出することができる。

確定部４４は、信頼度算出部４３により算出された分類結果の信頼度に基づいてフレーム画像３８ａ又は注目領域の分類結果を確定する。ここで、分類結果の確定とは、病変部の一部を採取して行われる、病理診断による確定診断による病変部の確定ではなく、分類器４２による自動診断による分類結果の確定をいう。

分類結果の確定方法は、分類結果の信頼度の算出方法に応じて決定することができる。例えば、分類結果の信頼度を数値化した場合、分類結果を確定させる所定の数値を閾値とし、信頼度（数値）が閾値以上の場合に分類結果を確定することができる。尚、信頼度算出部４３及び確定部４４の詳細な作用については後述する。

閾値設定部４５は、確定部４４が分類結果を確定させるために必要な閾値を設定する部分である。ユーザは、操作部１５を操作することで、閾値設定部４５により設定される閾値を任意の値にすることができる。例えば、確定部４４により確定した分類結果が頻繁に変化する場合には閾値を高くし、確定部４４での分類結果の確定に長時間を要する場合には閾値を低くすることが考えられる。

表示制御部４６は、画像取得部４０が取得した医療画像（動画３８、静止画３９）に基づいて表示用の画像データを生成して表示器１６に出力する画像表示制御部４６Ａと、確定部４４により確定した分類結果に基づいて分類結果を示す表示用の画像データを生成して表示器１６に出力する分類結果表示制御部４６Ｂとを有する。

表示制御部４６は、画像表示制御部４６Ａから出力される画像データと、分類結果表示制御部４６Ｂから出力される分類結果を示す画像データとを合成し、合成した合成画像データを表示器１６に出力することで、表示器１６に医療画像と分類結果とを表示させる。

記憶部４７は、ＣＰＵ４１の作業領域としての記憶部と、オペレーティングシステム、医療画像処理プログラム等の各種のプログラム及び撮影された静止画３９等を記憶する記憶部とを含む。

＜分類器＞
次に、分類器４２の一実施形態について説明する。

本例の分類器４２は、画像（フレーム画像３８ａ）から特徴量を算出し、画像の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含み、画像内の色情報、画素値の勾配等で特徴量を算出する。分類器４２は、算出した特徴量に基づいて画像（医療画像）又は画像に含まれる注目領域を、本例では「腫瘍性」、「非腫瘍性」、「その他」といった複数のクラスのうちのいずれかに分類する。

図３は、本例の分類器４２に適用されるＣＮＮの代表的な構成例を示す模式図である。

図３に示すように、分類器（ＣＮＮ）４２は、入力層４２Ａと、畳み込み層とプーリング層から構成された複数セット、及び全結合層を有する中間層４２Ｂと、出力層４２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。

入力層４２Ａには、動画３８の各フレーム画像３８ａが順次入力される。

中間層４２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有し、入力層から入力したフレーム画像３８ａから特徴量を抽出する。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。

尚、中間層４２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。

全結合層は、前の層の全てのノードと重み付き結合し、活性化関数によって変換された値（特徴変数）を出力する部分であり、本例では、フレーム画像３８ａ又はフレーム画像３８ａに含まれる病変等の注目領域に対する分類ごとの特徴変数を出力する。

推論部として機能する出力層４２Ｃは、全結合層からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、分類する各クラスに対するスコア（確率）を算出する。本例では、フレーム画像３８ａ又は注目領域を「腫瘍性」、「非腫瘍性」、「その他」の３つのクラスのいずれかに分類するため、出力層４２Ｃは、３つのクラスのスコア（３つのスコアの合計は１００％）のうちのスコアが最大となるクラスと、そのクラスのスコアを分類結果として出力する。

尚、中間層４２Ｂの各畳み込み層にて使用されるフィルタのパラメータや全結合層の重み係数等は、予め多数の学習データにより最適化されている。

＜信頼度算出部４３及び確定部４４の第１実施形態＞
第１実施形態の信頼度算出部４３は、分類器４２によるフレーム画像３８ａ又は注目領域の分類結果に含まれる分類されたクラスに対するスコア（確率）を信頼度とする。スコアが高ければ、そのスコアにより分類されたクラスの信頼度も高くなるからである。

第１実施形態の確定部４４は、信頼度算出部４３により得られたスコア（信頼度）が設定された閾値以上の場合に、分類器４２によるフレーム画像３８ａ又は注目領域の分類結果を確定する。

例えば、閾値を７０％とすると、この閾値以上のスコアを有するクラスは、他のクラス（３０％以下のスコアを有する他のクラス）に比べて信頼度が十分に高くなる。したがって、生体の動きや撮影位置の変動等により各クラスに対するスコアが変化して分類結果が変化する場合でも、閾値以上の信頼度の高い分類結果が得られた場合には、その分類結果を確定させ変化させないことが好ましい。

＜信頼度算出部４３及び確定部４４の第２実施形態＞
第２実施形態の確定部４４は、時系列のフレーム画像３８ａに対して得られる複数の分類結果に基づいてフレーム画像３８ａ又は注目領域の分類結果を確定する。

具体的には、信頼度算出部４３は、時系列のフレーム画像３８ａに対して順次算出される複数の分類結果であって、信頼度が閾値以上となる特定の分類結果（例えば、「腫瘍性」の分類結果）の個数を算出する。複数の分類結果は、連続する１５フレームの分類結果を使用する場合、１５個の分類結果である。

第２実施形態の確定部４４は、信頼度算出部４３により算出された信頼度が閾値以上となる特定の分類結果の個数が基準個数以上の場合、特定の分類結果をフレーム画像３８ａ又は注目領域の分類結果として確定する。例えば、連続する１５フレームに対する基準個数を１２とすると、特定の分類結果の個数が１２以上の場合、特定の分類結果をフレーム画像３８ａ又は注目領域の分類結果として確定する。即ち、連続する１５フレームのうちの、１２フレームが特定の分類結果を有する場合、その特定の分類結果を確定させる。

また、第２実施形態の確定部４４の変形例は、信頼度算出部４３により算出された信頼度が閾値以上となる特定の分類結果の個数の割合が、基準割合以上の場合に特定の分類結果をフレーム画像３８ａ又は注目領域の分類結果として確定する。例えば、基準割合を８割とすると、複数の分類結果（１５個の分類結果）のうちの特定の分類結果の個数の割合が８割以上の場合、その特定の分類結果を確定させる。

これにより、生体の動きや撮影位置の変動等により分類結果が安定しない場合でも、特定の分類結果の個数又は割合が基準個数又は基準割合以上の場合には、その特定の分類結果を確定させるこができる。尚、複数の分類結果の数や基準個数又は基準割合は、任意に設定できることが好ましい。

＜信頼度算出部４３及び確定部４４の第３実施形態＞
第３実施形態の信頼度算出部４３は、複数の分類結果のうち特定の分類結果の信頼度の変動量を算出する。例えば、特定の分類結果の信頼度を、その分類されたクラスに対するスコア（確率）とすると、設定されたフレーム数におけるスコアの変動量（変動幅）を算出する。例えば、設定されたフレーム数を５とし、各フレームのスコアが５０、６０、５５、６５、６２の場合、変動量は１５となる。

第３実施形態の確定部４４は、特定の分類結果の信頼度の変動量が基準範囲内の場合に特定の分類結果をフレーム画像３８ａ又は注目領域の分類結果として確定する。例えば、基準範囲を１５とすると、上記の場合には変動量が１５以内であるため、特定の分類結果を確定させる。

尚、特定の分類結果の信頼度の変動量を算出するためのフレーム数や分類結果を確定させるための基準範囲は、任意に設定できることが好ましい。

＜分類器の他の実施形態＞
図３に示した一実施形態の分類器４２は、医療画像全体又は医療画像内の注目領域を複数のクラスのうちのいずれかに分類するが、他の実施形態の分類器は、医療画像に基づいて医療画像を画素毎又は領域毎にクラスの分類を行い、医療画像の分類結果を示す領域画像を作成する。他の実施形態の分類器は、例えば、全結合層を有しない全層畳み込みネットワーク（ＦＣＮ：Fully Convolution Network）で構成することができる。

医療画像の分類結果を示す領域画像は、分類結果のクラスにより色分けしたり、分類結果に含まれるスコアに応じて輝度が異なるものとしたりすることができ、表示器１６に表示することが可能である。

図４は、医療画像の分類結果を示す領域画像の一例を示す図であり、５０は、表示器１６に表示された領域画像を示し、５２は、注目領域に対応する領域画像を示している。

以下に示す実施形態は、図４に示した医療画像の分類結果を示す領域画像５０を利用して医療画像又は注目領域の分類結果の信頼度を算出する。

＜信頼度算出部４３及び確定部４４の第４実施形態＞
第４実施形態の信頼度算出部４３は、領域画像５０に基づいて領域画像５０内の注目領域５２の面積を算出する。尚、注目領域５２の大きさは、撮影距離により変動するため、撮影距離に応じて規格化した注目領域５２の面積を算出することが好ましい。

第４実施形態の確定部４４は、信頼度算出部４３により算出された注目領域５２の面積が閾値以上の場合に医療画像又は注目領域５２の分類結果を確定する。確定部４４は、領域画像５０における注目領域５２の占める面積が大きいほど分類結果の信頼度を高くし、注目領域５２の分類結果を確定する。

＜信頼度算出部４３及び確定部４４の第５実施形態＞
第５実施形態の信頼度算出部４３は、領域画像５０に基づいて注目領域５２における画素毎の分類結果の信頼度の代表値を算出する。代表値としては、注目領域５２における信頼度の平均値、中央値、最頻値、最大値などが考えられる。

第５実施形態の確定部４４は、信頼度算出部４３により算出された信頼度の代表値が閾値以上の場合に医療画像又は注目領域５２の分類結果を確定する。

ここで、領域画像５０における画素毎の分類結果の信頼度は、領域画像５０の画素毎の濃度に対応する。確定部４４は、注目領域５２における濃度の代表値が高いほど分類結果の信頼度を高くし、注目領域５２の分類結果を確定する。

＜信頼度算出部４３及び確定部４４の第６実施形態＞
第６実施形態の信頼度算出部４３は、領域画像５０に基づいて注目領域５２における画素毎の分類結果の分散又は標準偏差を算出する。

第６実施形態の確定部４４は、信頼度算出部４３により算出された分散又は標準偏差が閾値以下の場合に医療画像又は注目領域５２の分類結果を確定する。

即ち、確定部４４は、注目領域５２における画素毎の分類結果のバラツキ（分散又は標準偏差）が小さいほど、その注目領域５２に対する分類結果の信頼度を高くし、注目領域５２の分類結果を確定する。

＜表示制御部＞
図２に示した表示制御部４６のうちの画像表示制御部４６Ａは、画像取得部４０が取得した医療画像（動画３８、静止画３９）に基づいて表示用の画像データを生成して表示器１６に出力する。これにより、表示器１６は、医療画像を表示する。

また、分類結果表示制御部４６Ｂは、確定部４４により確定した分類結果に基づいて分類結果を示す表示用の画像データを生成して表示器１６に出力する。これにより、表示器１６は、医療画像又は医療画像に含まれる注目領域の確定した分類結果を表示する。

図５は、表示器１６に表示される医療画像６０及び分類結果Ｓ１，Ｓ２の一例を示す図である。

図５において、６１は、医療画像６０に含まれる注目領域である。本例の分類結果Ｓ１は、「腫瘍性」、「非腫瘍性」、「その他」の３つのクラスのうちの１つのクラス（本例では「腫瘍性」）の他に、注目領域６１のサイズ(本例では「７ｍｍ」）、病変の重症度（本例ではステージ分類「ステージ１」）を含んでいる。

また、分類結果Ｓ２は、注目領域６１の位置をユーザに報知する図形（矩形枠）である。矩形枠は、注目領域６１を囲むように作成され、医療画像６０に重畳表示される。矩形枠は、図４に示した領域画像５０の注目領域５２の位置情報に基づいて作成することができる。

表示制御部４６は、画像表示制御部４６Ａから出力される画像データと、分類結果表示制御部４６Ｂから出力される分類結果を示す画像データとを合成し、合成した合成画像データを表示器１６に出力することで、表示器１６に医療画像６０と分類結果Ｓ１，Ｓ２とを表示させる。

また、表示制御部４６は、医療画像６０と確定した分類結果Ｓ１，Ｓ２との合成画像を表示器１６に表示させた後、一定時間後（例えば、数秒後）に分類結果Ｓ１，Ｓ２を非表示にする（医療画像６０のみを表示する）ことができる。尚、矩形枠のみを非表示にしてもよい。医療画像６０の読影の妨げにならないようにするためである。

更に、分類結果表示制御部４６Ｂは、確定部４４により確定した分類結果及び分類器４２による分類結果（未確定の分類結果）を示す画像データを生成し、確定した分類結果と未確定の分類結果とを表示器１６に表示させるようにしてもよい。この場合、確定した分類結果と未確定の分類結果とは、表示形態を異ならせる（例えば、色分けする）ことで、識別可能に表示することが好ましい。

［医療画像処理方法］
図６は、本発明に係る医療画像処理方法の一実施形態を示すフローチャートであり、図２に示した医療画像処理装置１４の各部の処理手順に関して示している。

図６において、画像取得部４０は、内視鏡プロセッサ装置１２から処理対象である時系列の医療画像のうちの１フレームの医療画像を取得する（ステップＳ１０）。

分類器４２は、ステップＳ１０で取得した医療画像から医療画像の特徴量を求め、その特徴量に基づいて医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する（ステップＳ２０）。

信頼度算出部４３は、分類器４２による医療画像又は注目領域の分類結果の信頼度を算出する（ステップＳ３０）。

確定部４４は、ステップＳ３０で算出された分類結果の信頼度が、その分類結果を確定する条件（閾値）を満たしているか否かを判別し（ステップＳ４０）、確定する条件を満たしている場合（「Yes」の場合）、分類結果を確定する（ステップＳ５０）。確定する条件を満たしていない場合（「No」の場合）には、ステップＳ１０に遷移し、ステップＳ１０では、次にフレームの医療画像を取得する。

分類結果表示制御部４６Ｂは、確定した分類結果を示す表示用の画像データを生成し、生成した画像データを表示器１６に出力する。これにより、分類結果を表示器１６に表示する（ステップＳ６０）。尚、時系列の医療画像は、表示器１６に表示されており、分類結果は、医療画像とともに表示される。

分類結果表示制御部４６Ｂは、表示器１６に分類結果が一定時間（例えば、数秒）表示されたか否かを判別し（ステップＳ７０）、一定時間表示されていない場合（「No」の場合）には、引き続き分類結果を表示器１６に表示させ、一定時間表示された場合（「Yes」の場合）には、分類結果の表示を非表示にする（ステップＳ８０）。

尚、ステップＳ１０〜Ｓ８０の医療画像処理は、例えば生体の観察部位が変化した場合や設定された時間が経過すると、繰り返し行うことが好ましい。

図７は、図６に示したフローチャートのステップＳ２０及びＳ３０における処理の一実施形態を示すフローチャートである。

図７において、分類器は、医療画像に基づいて医療画像を画素毎又は領域毎にクラスの分類を行い（ステップＳ２２）、医療画像の分類結果を示す領域画像５０（図４）を作成する（ステップＳ２４）。

信頼度算出部４３は、領域画像５０に基づいて領域画像５０内の注目領域５２の面積を算出する（ステップＳ３２）。確定部４４は、注目領域５２の面積に応じた分類結果の信頼度を算出する（ステップＳ３４）。即ち、確定部４４は、領域画像５０における注目領域５２の占める面積が大きいほど分類結果の信頼度を高くする。

そして、図６に示したステップＳ４０において、確定部４４は、注目領域５２の面積に対応する信頼度が分類結果を確定する条件を満たす場合（即ち、注目領域５２の面積が閾値以上の場合）、注目領域５２の分類結果を確定する。

［その他］
本発明に係る分類器は、ＣＮＮ等の学習器により医療画像又は医療画像に含まれる注目領域を分類するものに限らず、医療画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出し、検出した注目領域の特徴量により医療画像又は医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類するものでもよいし、これと学習器とを併用したものでもよい。

また、医療画像処理装置１４は、画像表示制御部４６Ａを設けずに、内視鏡プロセッサ装置１２により表示させる画像（動画又は静止画）に対して、分類結果表示制御部４６Ｂが生成した分類結果を重畳表示させるようにしてもよい。

上記実施形態では、内視鏡プロセッサ装置１２と医療画像処理装置１４とが別体に設けられているが、内視鏡プロセッサ装置１２と医療画像処理装置１４とが一体化されていてもよい。即ち、内視鏡プロセッサ装置１２に、医療画像処理装置１４としての機能を設けてもよい。

更に、上記実施形態の医療画像処理装置１４の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

また、上記実施形態では、内視鏡スコープ１０により撮影された時系列の画像又は静止画を、処理対象の医療画像としたが、これに限らず、例えば超音波診断装置、Ｘ線撮影装置等の他のモダリティで撮影された医療画像であってもよい。

更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

９ 内視鏡システム

１０ 内視鏡スコープ

１１ 光源装置

１２ 内視鏡プロセッサ装置

１３ 表示装置

１４ 医療画像処理装置

１５ 操作部

１６ 表示器

２０ 挿入部

２１ 手元操作部

２２ ユニバーサルコード

２５ 軟性部

２６ 湾曲部

２７ 先端部

２８ 撮像素子

２９ 湾曲操作ノブ

３０ 送気送水ボタン

３１ 吸引ボタン

３２ 静止画撮影指示部

３３ 処置具導入口

３５ ライトガイド

３６ 信号ケーブル

３７ａ コネクタ

３７ｂ コネクタ

３８ 動画

３８ａ フレーム画像

３９ 静止画

４０ 画像取得部

４１ ＣＰＵ

４２ 分類器

４２Ａ 入力層

４２Ｂ 中間層

４２Ｃ 出力層

４３ 信頼度算出部

４４ 確定部

４５ 閾値設定部

４６ 表示制御部

４６Ａ 画像表示制御部

４６Ｂ 分類結果表示制御部

４７ 記憶部

５０ 領域画像

５２，６１ 注目領域

６０ 医療画像

Ｓ１、Ｓ２ 分類結果

Ｓ１０〜Ｓ８０ ステップ

Claims (14)

1. 医療画像を取得する画像取得部と、
   前記医療画像から得られる特徴量に基づいて前記医療画像又は前記医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類する分類器と、
   前記分類器による前記医療画像又は前記注目領域の分類結果の信頼度を算出する信頼度算出部と、
   前記信頼度に基づいて前記医療画像又は前記注目領域の分類結果を確定する確定部と、
   を備えた医療画像処理装置。
2. 前記確定部は、前記信頼度が閾値以上の場合に前記医療画像又は前記注目領域の分類結果を確定する請求項１に記載の医療画像処理装置。
3. 前記画像取得部は、時系列の医療画像を取得し、
   前記確定部は、前記時系列の医療画像に対して前記信頼度算出部により順次算出される、複数の分類結果の信頼度に基づいて前記医療画像又は前記注目領域の分類結果を確定する請求項１に記載の医療画像処理装置。
4. 前記確定部は、前記信頼度算出部により算出された信頼度が閾値以上となる特定の分類結果の個数が基準個数以上の場合、又は前記特定の分類結果の個数の割合が基準割合以上の場合に前記特定の分類結果を前記医療画像又は前記注目領域の分類結果として確定する請求項３に記載の医療画像処理装置。
5. 前記信頼度算出部は、前記複数の分類結果のうち特定の分類結果の信頼度の変動量を算出し、
   前記確定部は、前記特定の分類結果の信頼度の変動量が基準範囲内の場合に前記特定の分類結果を前記医療画像又は前記注目領域の分類結果として確定する請求項３に記載の医療画像処理装置。
6. 前記分類器は、前記医療画像に基づいて前記医療画像を画素毎又は領域毎に前記クラスの分類を行い、前記医療画像の分類結果を示す領域画像を作成し、
   前記信頼度算出部は、前記領域画像に基づいて前記医療画像又は前記注目領域の分類結果の信頼度を算出する請求項１に記載の医療画像処理装置。
7. 前記信頼度算出部は、前記領域画像に基づいて前記注目領域の面積を算出し、
   前記確定部は、前記注目領域の面積が閾値以上の場合に前記医療画像又は前記注目領域の分類結果を確定する請求項６に記載の医療画像処理装置。
8. 前記信頼度算出部は、前記領域画像に基づいて前記注目領域における前記画素毎の分類結果の信頼度の代表値を算出し、
   前記確定部は、前記算出された前記信頼度の代表値が閾値以上の場合に前記医療画像又は前記注目領域の分類結果を確定する請求項６に記載の医療画像処理装置。
9. 前記信頼度算出部は、前記領域画像に基づいて前記注目領域における前記画素毎の分類結果の分散又は標準偏差を算出し、
   前記確定部は、前記算出された前記分散又は前記標準偏差が閾値以下の場合に前記医療画像又は前記注目領域の分類結果を確定する請求項６に記載の医療画像処理装置。
10. ユーザの操作により前記閾値を任意に設定する閾値設定部を備えた請求項２、４、７、８及び９のうちのいずれか１項に記載の医療画像処理装置。
11. 前記画像取得部が取得した医療画像と前記確定部により確定された前記分類結果を表示部に表示させる表示制御部を備えた請求項１から１０のいずれか１項に記載の医療画像処理装置。
12. 前記表示制御部は、前記分類結果を前記表示部に表示した後、一定時間後に非表示にする請求項１１に記載の医療画像処理装置。
13. 前記表示制御部は、前記分類器による前記医療画像又は前記注目領域の分類結果と前記確定部により確定された前記分類結果とを前記表示部に識別可能に表示させる請求項１１又は１２に記載の医療画像処理装置。
14. 医療画像を取得するステップと、
    前記医療画像から得られる特徴量に基づいて前記医療画像又は前記医療画像に含まれる注目領域を２以上のクラスのうちのいずれかに分類するステップと、
    前記医療画像又は前記注目領域の分類結果の信頼度を算出するステップと、
    前記信頼度に基づいて前記医療画像又は前記注目領域の分類結果を確定するステップと、
    を含む医療画像処理方法。

Images