JPWO2020162275A1 - 医療画像処理装置、内視鏡システム、及び医療画像処理方法 - Google Patents

Abstract

本発明は、医療画像の認識結果を部位に応じて適切に表示するこができる医療画像処理装置、内視鏡システム、及び医療画像処理方法を提供することを目的とする。本発明の一の態様に係る医療画像処理装置は、被検体の生体内の複数の部位の画像を順次撮影する医療機器から医療画像を取得する医療画像取得部と、取得した医療画像の生体内の部位を示す部位情報を取得する部位情報取得部と、医療画像の認識を行う認識器と、認識の結果を部位情報が示す部位に応じた態様で表示装置に表示させる表示制御部と、を備える。

Description

本発明は医療画像の認識を行う医療画像処理装置、内視鏡システム、及び医療画像処理方法に関する。

医師等のユーザが医療画像の観察あるいは診断を行う際の支援として、画像の強調や表示態様の変更を行うことが知られている。例えば、特許文献１には、狭帯域光画像の特徴量に基づいて被検体像の種類を判別し、その結果に基づいて白色光画像に強調処理を施すことが記載されている。

特開２０１１−１３５９８３号公報

医療画像の観察あるいは診断を行う場合、部位によって診断目的や診断方法が異なるので、支援方法を切り替える必要がある。しかしながら、上述した特許文献１には観察あるいは診断の対象が上部消化器の場合と下部消化器の場合とで、あるいは血管が存在する深さに応じて特徴量の算出処理や強調処理の方法（色変換）を変更することが記載されているが、同一の検査で異なる部位（異なる臓器や、同一臓器内での異なる位置）を連続的に観察する場合に認識結果をどのような態様で表示するかについては考慮されていない。

このように、従来の技術では医療画像の認識結果を部位に応じて適切に表示することが困難であった。

本発明はこのような事情に鑑みてなされたもので、医療画像の認識結果を部位に応じて適切に表示することができる医療画像処理装置、内視鏡システム、及び医療画像処理方法を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る医療画像処理装置は、被検体の生体内の複数の部位の画像を順次撮影する医療機器から医療画像を取得する医療画像取得部と、取得した医療画像の生体内の部位を示す部位情報を取得する部位情報取得部と、医療画像の認識を行う認識器と、認識の結果を部位情報が示す部位に応じた態様で表示装置に表示させる表示制御部と、を備える。

第１の態様に係る医療画像処理装置は、複数の部位について撮影された医療画像の認識結果を部位に応じた態様で表示装置に表示させる。したがって、医療画像の認識結果を部位に応じて適切に表示することができる。また、ユーザは認識対象である部位の切り替わりを容易に把握することができる。なお、「部位」とは臓器（食道、胃、小腸、大腸等）及び／または臓器内での位置の違いを意味するものとし、同一臓器の同一位置において表面からの距離（深さ）が違う場合は「部位の違い」に含まない。

第１の態様において、「医療画像の取得」は決められたフレームレートで撮影された複数の医療画像を順次取得することを含む。取得はリアルタイムでもよいし、リアルタイムでなくてもよい。

第１の態様に係る医療画像処理装置は、例えば医療画像処理システムのプロセッサとして実現することができるが、このような態様に限定されるものではない。なお、「医療画像」とは診断、治療、計測等を目的として人体等の生体を撮影、計測等した結果として得られた画像をいい、例えば内視鏡画像、超音波画像、ＣＴ画像（ＣＴ：Computed Tomography）、ＭＲＩ画像（ＭＲＩ：Magnetic Resonance Imaging）を挙げることができる。また、これらの画像を取得する装置を第１の態様における「医療機器」の例として挙げることができる。医療画像は医用画像ともいう。

第２の態様に係る医療画像処理装置は第１の態様において、認識器は、医療画像の認識を行う複数の認識器であって、生体内の複数の部位にそれぞれ対応した複数の認識器を備え、複数の認識器のうちから部位情報が示す部位に応じて選択された認識器が医療画像の認識を行う。第２の態様によれば、認識器は複数の部位にそれぞれ対応した複数の認識器であって、生体内の複数の部位にそれぞれ対応した複数の認識器を備え、部位情報が示す部位に対応して選択された認識器が医療画像の認識を行うので、部位に応じて適切な認識を行うことができる。第２の態様において、「複数の認識器」は同じ内容（検出、分類、計測等）の認識を部位に応じた手法及び／または条件（パラメータの項目、値等）で行う複数の認識器を含んでいてもよいし、部位に応じて異なる内容の認識を行う複数の認識器を含んでいてもよい。内容、手法及び／または条件が異なる複数の認識器を含んでいてもよい。また、第２の態様において、医用画像処理装置は部位情報に応じて認識器を選択することができる。

第３の態様に係る医療画像処理装置は第１または第２の態様において、部位情報取得部は医療画像を解析して部位情報を取得する。第３の態様は部位情報取得手法の一態様を規定するものであり、例えば医療画像の特徴量に基づいて部位情報を取得することができる。

第４の態様に係る医療画像処理装置は第１または第２の態様において、部位情報取得部はユーザが入力した情報を部位情報として取得する。第４の態様は部位情報取得手法の一態様を規定するものである。

第５の態様に係る医療画像処理装置は第１または第２の態様において、医療画像取得部とは異なる外部デバイスにより部位を推定する部位推定部をさらに備え、部位情報取得部は、推定された部位を示す情報を部位情報として取得する。第５の態様は部位情報取得手法の一態様を規定するもので、磁気、超音波等により部位を推定するデバイスを用いることができる。

第６の態様に係る医療画像処理装置は第１から第５の態様のいずれか１つにおいて、認識器は学習済みモデルである。学習済みモデルは、生体を撮影した画像から構成される画像セットを用いて学習したモデルであることが好ましい。

第７の態様に係る医療画像処理装置は第１から第６の態様のいずれか１つにおいて、表示制御部は、部位に応じた表示態様の情報を医療画像に重畳して表示装置に表示させる。第７の態様において、文字、数字、図形、記号、及びそれらの組み合わせを「情報」の例としてあげることができ、また表示する情報及び／またはその色彩や明るさが、認識の結果及び／または認識の結果の確からしさに応じて異なっていてもよい。

第８の態様に係る医療画像処理装置は第１から第７の態様のいずれか１つにおいて、表示制御部は部位に応じて認識の結果を表示または非表示に制御する。これにより、医療画像の認識結果を部位に応じて適切に表示することができ、ユーザは認識結果を部位に応じて効率的に観察することができる。

第９の態様に係る医療画像処理装置は第１から第８の態様のいずれか１つにおいて、表示制御部は、表示装置の表示領域において認識の結果を部位に応じた領域に表示させる。第９の態様において、表示制御部は認識の結果を医療画像と重畳して表示してもよいし、表示領域のうち医療画像の表示領域以外の領域に表示してもよい。認識の結果を部位に応じた領域に表示することで、認識結果を適切に表示することができる。

第１０の態様に係る医療画像処理装置は第１から第９の態様のいずれか１つにおいて、表示制御部は、医療画像を部位に応じた表示態様で表示装置に表示させる。第１０の態様によれば、認識結果に加えて医療画像も部位に応じた表示態様で表示することで、より適切な表示を行うことができる。

第１１の態様に係る医療画像処理装置は第１０の態様において、表示制御部は、部位情報に応じた表示位置及び／またはサイズで医療画像を表示装置に表示させる。第１１の態様は医療画像の部位に応じた表示の一態様を規定するものである。

第１２の態様に係る医療画像処理装置は第１から第１１の態様のいずれか１つにおいて、医療画像取得部は、部位情報が示す部位に応じた波長帯域の観察光で撮影された医療画像を医療画像として取得し、表示制御部は、波長帯域の観察光で撮影された医療画像に対する認識の結果を表示装置に表示させる。第１２の態様によれば、部位に応じた波長帯域の観察光で撮影された医療画像を用いることで、正確な認識を行うことができる。例えば、通常光（白色光）、特殊光（狭帯域光等）、あるいは通常光と特殊光の組み合わせを観察光として撮影された医療画像を用いることができる。

第１３の態様に係る医療画像処理装置は第１から第１２の態様のいずれか１つにおいて、医療画像に対して部位に応じた画像処理を施す医療画像処理部をさらに備える。部位に応じた画像処理により、正確な観察が可能な医療画像を生成することができる。

第１４の態様に係る医療画像処理装置は第１から第１３の態様のいずれか１つにおいて、認識器は医療画像から注目領域を検出する検出器である。検出器は、例えば階層型ネットワークにより構成することができる。

第１５の態様に係る医療画像処理装置は第１から第１３の態様のいずれか１つにおいて、認識器は医療画像の分類を行う分類器である。分類器は、例えば階層型ネットワークにより構成することができる。

第１６の態様に係る医療画像処理装置は第１から第１３の態様のいずれか１つにおいて、認識器は医療画像の計測を行う計測器である。計測器は、例えば階層型ネットワークにより構成することができる。

第１７の態様に係る医療画像処理装置は第１から第１６の態様のいずれか１つにおいて、表示制御部は取得された部位情報を表示装置に表示させる。第１７の態様によれば、部位情報の入力忘れや部位情報の自動認識に誤りがあった場合に、ユーザが容易に気づくことができる。表示制御部は、文字、図形、記号及びそれらの組み合わせにより部位情報を表示させることができる。部位情報の色彩や明るさを変化させてもよい。

第１８の態様に係る医療画像処理装置は第１から第１７の態様のいずれか１つにおいて、ユーザによる表示態様の設定を受け付ける受付部をさらに備え、表示制御部は、受け付けた設定の表示態様により認識の結果を表示装置に表示させる。これにより、ユーザは所望の態様により認識結果を表示させることができる。

上述した目的を達成するため、本発明の第１９の態様に係る内視鏡システムは、第１から第１８の態様のいずれか１つに係る医療画像処理装置と、表示装置と、医療機器として被検体に挿入される内視鏡スコープであって、医療画像を順次撮影する撮影部を有する内視鏡スコープと、被検体に観察光を照射する光源装置と、を備える。第１９の態様に係る内視鏡システムは第１から第１８の態様のいずれか１つに係る医療画像処理装置を備えるので、医療画像の認識結果を部位に応じて適切に表示することができる。また、ユーザは認識対象である部位の切り替わりを容易に把握することができる。なお、第１９の態様において、通常光（白色光）、特殊光（狭帯域光等）、及びそれらの組み合わせを観察光とすることができる。また、光源装置が部位に応じて波長帯域の異なる観察光を照射することが好ましい。

上述した目的を達成するため、本発明の第２０の態様に係る医療画像処理方法は被検体の生体内の複数の部位の画像を順次撮影する医療機器から医療画像を取得する医療画像取得部と、医療画像の認識を行う認識器と、を備える医療画像処理装置による医療画像処理方法であって、医療画像を取得する医療画像取得ステップと、取得した医療画像の生体内の部位を示す部位情報を取得する部位情報取得ステップと、医療画像の認識を行う認識ステップと、認識の結果を部位情報が示す部位に応じた態様で表示装置に表示させる表示制御ステップと、を有する。第２０の態様によれば、第１の態様と同様に医療画像の認識結果を部位に応じて適切に表示することができる。また、ユーザは認識対象である部位の切り替わりを容易に把握することができる。

第２０の態様に係る医療画像処理方法は、第２から第１８の態様と同様の構成をさらに含んでいてもよい。また、これら態様の医療画像処理方法を医療画像処理装置あるいはコンピュータに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

以上説明したように、本発明に係る医療画像処理装置、内視鏡システム、及び医療画像処理方法によれば、部位に応じた認識及び認識結果の表示を行うことができる。

図１は、第１の実施形態に係る内視鏡システムの構成を示す図である。 図２は、内視鏡システムの構成を示す他の図である。 図３は、画像処理部の機能ブロック図である。 図４は、畳み込みニューラルネットワークの構成例を示す図である。 図５は、フィルタによる畳み込み処理の様子を示す図である。 図６は、記録部に記録される情報を示す図である。 図７は、第１の実施形態に係る医療画像処理方法の手順を示すフローチャートである。 図８は、部位に応じた強調表示の例を示す図である。 図９は、部位に応じた強調表示の例を示す他の図である。 図１０は、部位に応じた強調表示の例を示すさらに他の図である。 図１１は、部位情報の表示例を示す図である。 図１２は、第２の実施形態における画像処理部の機能ブロック図である。 図１３は、第２の実施形態における認識器の構成例を示す図である。 図１４は、第２の実施形態における認識器の構成例を示す他の図である。 図１５は、第２の実施形態における認識器の構成例を示すさらに他の図である。 図１６は、第２の実施形態に係る医療画像処理方法の手順を示すフローチャートである。 図１７は、認識器を制御する様子を示す図である。 図１８は、認識器を制御する様子を示す他の図である。 図１９は、大腸用内視鏡での表示例を示す図である。

以下、添付図面を参照しつつ、本発明に係る医療画像処理装置、内視鏡システム、及び医療画像処理方法の実施形態について詳細に説明する。

＜第１の実施形態＞
＜内視鏡システムの構成＞
図１は、内視鏡システム１０（医療画像処理装置、内視鏡システム）の外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡スコープ１００（医療機器、内視鏡スコープ、内視鏡本体）、内視鏡プロセッサ装置２００（医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。電磁波や超音波により部位情報を取得するための外部デバイス（不図示）を内視鏡システム１０に接続してもよい。

＜内視鏡スコープの構成＞
内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図１，２参照）。

観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ、撮影部）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。

図１，２に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮影部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮影部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End、撮影部）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。なお、撮像素子１３４の各画素は紫色光源３１０Ｖに対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。

被検体の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ装置２００に出力されて映像信号に変換される。これにより、内視鏡プロセッサ装置２００に接続されたモニタ４００に内視鏡画像が表示される。

また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。

ユーザは、上述した構成の内視鏡スコープ１００（挿入部１０４）を被検体である生体内に挿入または抜去しながら決められたフレームレートで撮影を行う（撮影部及び医療画像取得部２２０の制御により行うことができる）ことにより、生体内の複数の部位の画像を順次撮影することができる。

＜光源装置の構成＞
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、または下げる）こと、及び照明を停止することができる。

光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。

＜光源の波長帯域＞
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。

上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医療画像（医用画像、生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。

光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、部位、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、部位、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色、紫色等）を照射してロータリカラーフィルタ（緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。

ライトガイドコネクタ１０８（図１，２参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。

＜プロセッサの構成＞
図２に基づき内視鏡プロセッサ装置２００の構成を説明する。内視鏡プロセッサ装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４（医療画像処理部２３４等）で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／または外部のシステムやネットワークとの間で医療画像や部位情報についての通信制御を行う。記録部２０７（記録装置）には、被検体の画像（内視鏡画像、医療画像、医用画像）、部位情報、認識結果（検出、分類、計測等）を示す情報等が記録される（図６及び関連する記載を参照）。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、認識処理及び認識結果に関するメッセージ（音声）をスピーカ２０９Ａから出力する。

また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、各種の画像処理方法をＣＰＵ２１０及び／または画像処理部２０４（医療画像処理装置、コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。

なお、ユーザは操作部２０８を介して医療画像処理の実行指示や実行に必要な条件の指定を行うことができ、表示制御部２３０はこれら指示の際の画面、認識の結果等をモニタ４００に表示させることができる。

＜画像処理部の機能＞
図３は画像処理部２０４の機能ブロック図である。画像処理部２０４は、医療画像取得部２２０（医療画像取得部）と、部位情報取得部２２２（部位情報取得部）と、認識器２２４（認識器）と、表示制御部２３０（表示制御部）と、部位推定部２３２（部位推定部）と、医療画像処理部２３４（医療画像処理部）と、受付部２３６（受付部）と、記録制御部２３８（記録制御部）とを備える。これらの機能を用いた医療画像処理については、詳細を後述する。

画像処理部２０４は、上述した機能により、医療画像の特徴量の算出、特定の周波数帯域の成分を強調または低減する処理、特定の対象（注目領域、所望の深さの血管等）を強調または目立たなくする処理を行うことができる。画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって特徴量画像を生成する特徴量画像生成部を備え、医療画像（医用画像）としての特徴量画像を取得及び表示してもよい。なお、上述した処理はＣＰＵ２１０の制御下で行われる。

＜各種のプロセッサによる機能の実現＞
上述した画像処理部２０４の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、画像処理部２０４を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ２１１（ＲＯＭ：Read Only Memory）等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る医療画像処理方法を実行するためのプログラム及び実行に際して用いられるデータ（部位情報の取得に関するデータ、表示態様の特定に用いられるデータ、認識器で用いられるパラメータ等）を含む。ＲＯＭ２１１ではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ２１２（ＲＡＭ：Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」として記録部２０７を用いてもよい。

＜学習済みモデルによる認識器＞
上述した認識器（検出器、分類器、計測器）は、ＣＮＮ（Convolutional Neural Network）、ＳＶＭ（Support Vector Machine）等の学習済みモデル（生体を撮影した画像から構成される画像セットを用いて学習したモデル）を用いて構成することができる。以下、認識器をＣＮＮにより構成する場合の層構成について説明する。なお、主として検出器（注目領域の検出を行う認識器）について説明するが、分類（鑑別）用、計測用についても同様の層構成を採用しうる。

＜ＣＮＮの層構成の例＞
図４はＣＮＮの層構成の例を示す図である。図４の（ａ）部分に示す例では、ＣＮＮ５６２は入力層５６２Ａと、中間層５６２Ｂと、出力層５６２Ｃとを含む。入力層５６２Ａは医療画像取得部２２０が取得した内視鏡画像（医療画像）を入力して特徴量を出力する。中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５を含み、入力層５６２Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。ＣＮＮ５６２は、図４の（ｂ）部分に示す例のように全結合層５６６を含んでいてもよい。ＣＮＮ５６２の層構成は畳み込み層５６４とプーリング層５６５とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層５６４）が複数連続して含まれていてもよい。また、全結合層５６６が複数連続して含まれていてもよい。

＜中間層における処理＞
中間層５６２Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層５６４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層５６５で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層５６２Ｂは、これらの処理を行う１または複数の層により構成することができる。

図５は、図４に示したＣＮＮ５６２の中間層５６２Ｂの構成例を示す模式図である。中間層５６２Ｂの最初（１番目）の畳み込み層では、複数の医療画像により構成される画像セット（学習時は学習用画像セット、認識時は認識用画像セット）とフィルタＦ_１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成される。通常光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ_１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ_１を用いた畳み込み演算により、１つのフィルタＦ_１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ_２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。

１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ_２〜Ｆ_ｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層またはプーリング層によりダウンスケーリングされているからである。

中間層５６２Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（対象物の形状、構造等に関する特徴の抽出）が行われる。なお、計測等を目的としてセグメンテーションを行う場合は後半部分の畳み込み層でアップスケーリングされ、最後の畳み込み層では、入力した画像セットと同じサイズの「特徴マップ」が得られる。一方、物体検出を行う場合は位置情報を出力すればよいのでアップスケーリングは必須ではない。

なお、中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。

＜出力層における処理＞
出力層５６２Ｃは、中間層５６２Ｂから出力された特徴量に基づき、入力された医療画像（通常光画像、特殊光画像）に映っている注目領域の位置検出を行ってその結果を出力する層である。セグメンテーションを行う場合、出力層５６２Ｃは、中間層５６２Ｂから得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。一方、物体検出を行う場合は画素レベルでの判断は必要なく、出力層５６２Ｃが対象物の位置情報を出力する。

出力層５６２Ｃは病変に関する鑑別（分類）を実行して鑑別結果を出力するものでもよい。例えば、出力層５６２Ｃは内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力してもよいし、３つのスコアから明確に分類できる場合には分類結果を出力してもよい。なお鑑別結果を出力する場合、出力層５６２Ｃが最後の１層または複数の層として全結合層を含んでいてもよいし（図４の（ｂ）部分を参照）、含んでいなくてもよい。

出力層５６２Ｃは注目領域の計測結果を出力するものでもよい。ＣＮＮによって計測を行う場合は、対象となる注目領域を例えば上述のようにセグメンテーションしてからその結果を基に画像処理部２０４等で計測することができる。また、対象となる注目領域の計測値を認識器２２４から直接出力することもできる。計測値を直接出力させる場合、画像に対し計測値そのものを学習させるので、計測値の回帰問題となる。

上述した構成のＣＮＮを用いる場合、学習の過程において、出力層５６２Ｃが出力する結果と画像セットに対する認識の正解とを比較して損失（誤差）を計算し、損失が小さくなるように中間層５６２Ｂにおける重みパラメータを出力側の層から入力側の層に向けて更新していく処理（誤差逆伝播）を行うことが好ましい。

＜ＣＮＮ以外の手法による認識＞
認識器２２４は、ＣＮＮ以外の手法により認識（注目領域の検出等）を行ってもよい。例えば、取得した医療画像の画素の特徴量に基づいて注目領域を検出することができる。この場合、認識器２２４は検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定し、検出対象画像の局所領域ごとに局所領域内の画素の特徴量（例えば色相）を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。同様に、認識器２２４は特徴量に基づく分類や計測を行ってもよい。

＜記録部に記録される情報＞
図６は、記録部２０７に記録される情報の例を示す図である。図６の例では、内視鏡画像２６０（医療画像）、画像処理を施した処理後内視鏡画像２６２（医療画像）、部位情報２６４（医療画像が撮影された生体内の部位を示す部位情報）、認識結果２６６（認識の結果：検出、分類、計測等）、及び処理条件２６８（認識や結果の表示を行う際の条件）が記録される。他の情報を併せて記録してもよい。記録制御部２３８は、これらの情報を関連付けて記録する。

＜医療画像処理方法＞
上述した構成の内視鏡システム１０における医療画像処理方法について説明する。図７は第１の実施形態に係る医療画像処理方法の手順を示すフローチャートである。以下、認識器２２４が検出器である場合について説明するが、分類器や計測器の場合も同様に処理を行うことができる。

＜初期設定＞
受付部２３６（受付部）は、操作部２０８を介したユーザの操作、及び／または記録部２０７に記録された処理条件２６８（例えば、デフォルトの処理条件）に基づいて、実行に必要な条件を設定する（ステップＳ１００：初期設定ステップ）。例えば、表示態様（表示する文字、図形、記号やその色彩等）、認識結果の表示または非表示の設定、表示または非表示にする条件（認識結果を表示する部位、表示しない部位等）、部位情報と表示態様（例えば、表示位置及び／またはサイズ）との関係等、部位情報の取得方法を設定する。なお、以下のステップの実行中に条件設定や変更を行ってもよい。

＜内視鏡画像の取得＞
医療画像取得部２２０（医療画像取得部）は、被検体の生体内で撮影された内視鏡画像（医療画像）を取得する（ステップＳ１１０：医療画像取得ステップ）。医療画像取得部２２０は、内視鏡スコープ１００（医療機器）の撮影部（撮影レンズ１３２、撮像素子１３４、ＡＦＥ１３８等）により、被検体である生体の内部をあらかじめ決められたフレームレートで順次撮影して内視鏡画像をリアルタイムに取得することができる。また、医療画像取得部２２０は、既に撮影され記録された内視鏡画像を非リアルタイムで取得してもよい。例えば、記録部２０７に記録された内視鏡画像２６０や処理後内視鏡画像２６２を取得してもよいし、通信制御部２０５を介して外部の装置やシステムから画像を取得してもよい。また、部位情報が既に取得されている場合（例えば、ステップＳ１７０までの処理を１回以上実行し、ステップＳ１１０に戻って処理を継続する場合）は、部位情報が示す部位に応じた波長帯域の観察光で撮影された内視鏡画像（医療画像）を取得してもよい。例えば、胃の場合は白色光で撮影された画像、食道の場合は青色狭帯域光で撮影された画像を取得することができる。表示制御部２３０は、取得した内視鏡画像をモニタ４００に表示させる。

＜部位情報の取得＞
部位情報取得部２２２（部位情報取得部）は、内視鏡画像が撮影された生体内の部位を示す部位情報を取得する（ステップＳ１２０：部位情報取得ステップ）。部位情報取得部２２２は、内視鏡画像を解析する、ユーザが入力した部位情報を利用する、あるいは医療画像取得部２２０とは異なる外部デバイスの情報を利用する等により部位情報を取得することができる。いずれの方法により部位情報を取得するかは、ステップＳ１００で設定した条件に基づいて決定することができる。内視鏡画像の解析を行う場合、部位情報取得部２２２（部位情報取得部）は、被写体の色等の特徴量を用いて解析を行うことができる。解析用の学習済みモデル（ＣＮＮ、ＳＶＭ等）を用いてもよい。ユーザの入力による場合、操作部２０８を介して入力された情報を用いることができる。また、「外部デバイス」として電磁波、超音波、放射線等を利用して内視鏡の挿入部位を観測する装置を用いることができ、この場合、部位推定部２３２（部位推定部）は外部デバイスで取得した情報により部位を推定することができる（図１９に示す例を参照）。

＜画像の認識＞
認識器２２４は、内視鏡画像（医療画像）の認識を行う（ステップＳ１４０：認識ステップ）。注目領域の検出を行う場合、上述したように、認識器２２４は「特徴マップ」により画像に映っている注目領域の位置を画素レベルで把握（すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出）し、その検出結果を出力することができる。検出する注目領域（関心領域）の例としては、ポリープ、癌、大腸憩室、炎症、治療痕（ＥＭＲ瘢痕（ＥＭＲ：Endoscopic Mucosal Resection）、ＥＳＤ瘢痕（ＥＳＤ：Endoscopic Submucosal Dissection）、クリップ箇所等）、出血点、穿孔、血管異型性などを挙げることができる。

＜内視鏡画像及び認識結果の表示＞
表示制御部２３０（表示制御部）は、内視鏡画像及び認識の結果を、部位情報が示す部位に応じた態様でモニタ４００（表示装置）に表示させる（ステップＳ１５０：表示制御ステップ）。以下の各態様に示すように、表示制御部２３０は内視鏡画像に重畳する図形の形状、色、大きさ、位置などを部位に応じて変更してもよいし、部位情報の表示形態を変更してもよいし、それらの組み合わせでもよい。

＜第１の表示態様＞
例えば、食道と胃では粘膜の色味が大きく異なるので、それぞれの部位に適した色の図形を重畳することで、より検出結果を目立たせることができる。また、扁平上皮に覆われた食道に比べて、胃は炎症や萎縮など複雑で微細な状態変化が起きることから粘膜をより詳細に観察する必要がある。このため、胃の場合は内視鏡画像に図形等を直接重畳する方法は好ましくない。

図８，９は、このような事情を考慮した表示態様を示す図である。図８は内視鏡画像８００に図形を直接重畳した様子を示しており、（ｂ）部分は注目領域８０２を塗りつぶした例、（ｃ）部分は注目領域８０２を図形８０４で囲んだ例、（ｄ）部分は矢印８０６を表示した例である。例えば、食道の場合にこのような目立つ形態で表示することができる。なお、図８の（ａ）部分は強調表示を行わない状態を示す図（参考用）であり、内視鏡画像８００に注目領域８０２が映っている。これに対し図９の例では、モニタ４００（表示装置）の表示領域において、認識の結果を部位に応じた領域に表示させている（内視鏡画像に図形等を直接重畳せず、モニタ４００の表示領域のうち内視鏡画像の表示範囲外に表示している）。同図の（ａ）部分は、表示領域の右上にフレーム８０８を表示した例を示し、（ｂ）部分は表示領域の左右にフレーム８１０を表示した例を示し、（ｃ）部分は表示領域の右上に星形の記号８１２を表示した例を示している。例えば、胃の場合にこのような態様を用いることで、認識結果の表示が観察を阻害することがなく、ユーザは粘膜をより詳細に観察することができる。なお、上述した条件設定により、部位に応じて認識結果を表示または非表示にしてもよい。また、認識結果を非表示に設定している場合は「認識を行うが結果は表示しない」という態様が可能である。また、部位以外の決められた条件（経過時間等）に応じて認識結果を表示または非表示にしてもよい。さらに、認識結果及び／またはその確からしさに応じて表示の態様（図形を変える、色彩や明るさを変える等）を変更してもよい。

なお、図８，９の例のように内視鏡画像及び認識結果を１画面で表示してもよいし、図１０の例のように２画面で表示してもよい。図１０の例では、内視鏡画像８２０と認識結果表示画像８２２とを２画面表示しており、認識結果表示画像８２２において注目領域８０２と対応する位置に記号８２４を表示している。２画面またはそれ以上の画面で表示する場合、同一モニタの異なる画面で分割表示してもよいし、複数のモニタにそれぞれ表示してもよい。図１０のような２画面で表示する態様から図８，９のような1画面表示の態様に変更する場合は、観察画面（内視鏡画像、認識結果）の表示位置及び／またはサイズを合わせて変更してもよい。そうすることにより、モニタサイズを十分に活用した観察画面表示が可能になる。

医療画像取得部２２０は、部位情報が示す部位に応じた波長帯域の観察光で撮影された内視鏡画像（医療画像）を医療画像として取得し、表示制御部２３０はその波長帯域の観察光で撮影された医療画像に対する認識の結果をモニタ４００（表示装置）に表示させてもよい。例えば、胃の場合は白色光（通常光）で撮影された画像を、食道の場合はＢＬＩ（Blue Laser Imaging：登録商標）等の特殊光（青色狭帯域光）で撮影された画像を認識に供することができる。部位に応じて、ＬＣＩ（Linked Color Imaging：登録商標）等の特殊光で撮影され画像処理（ＬＣＩの場合、粘膜色に近い色の彩度差や色相差を拡張する）が施された画像を用いてもよい。部位に応じた画像処理は、医療画像処理部２３４（医療画像処理部）により施すことができる。

このように、内視鏡システム１０では部位に応じた認識及び認識結果の表示を行うので、ユーザにとって最適な画像を提示することができる。

＜第２の表示態様＞
第２の表示態様では、表示制御部２３０（表示制御部）は、部位情報取得部２２２が取得した部位情報をモニタ４００に表示させる（ステップＳ１５０：部位情報表示ステップ、表示制御ステップ）。図１１は部位情報の表示例を示す図である。図１１の（ａ）部分は、内視鏡画像８３０において、注目領域８３２を囲む枠８３４に加えて部位情報８３６を文字（“ｇａｓｔｒｉｃ”）で表示した例であり、同図の（ｂ）部分は内視鏡画像８４０においてシェーマ図８４２上の矢印８４２Ａで部位情報を表示した例である。部位情報はこの他アイコンで表示してもよく、部位に応じて表示態様（文字や記号の内容、位置、形状、色彩等）を変化させてもよい。このような部位情報の表示により、部位情報を観察画像から自動認識（画像の解析により取得）している場合はユーザが認識ミスに気づくことができ、ユーザ入力により部位情報を取得している場合はユーザに入力忘れを気づかせることが可能になる。なお、第２の表示態様において、部位情報の取得、認識等の処理は第１の表示態様と同様に行うことができる。

なお、図８〜１１における記号や図形等による表示態様はあくまで一例であり、ユーザの設定操作等に応じてこれらの例と異なる表示態様を採用しうる。

＜認識結果等の記録＞
記録制御部２３８（記録制御部）は、内視鏡画像及び認識結果を、それぞれ内視鏡画像２６０、認識結果２６６として記録部２０７に記録する（ステップＳ１６０：記録制御ステップ）。内視鏡画像に画像処理を施している場合は処理後内視鏡画像２６２を記録することができ、内視鏡画像２６０、認識結果２６６と合わせて部位情報２６４及び／または処理条件２６８を記録してもよい。これらの情報は互いに関連付けて記録することが好ましい。画像処理部２０４は処理を終了するか否か判断し（ステップＳ１７０）、継続する場合はステップＳ１１０に戻り、例えば次フレームについて上述した処理を行う。

上述した内視鏡画像及び部位情報の取得、内視鏡画像の認識、内視鏡画像及び認識結果の表示は、内視鏡画像の各フレームについて行うことができる。したがって、内視鏡スコープ１００の挿入や抜去により観察部位が変わると、観察部位の変化に応じて認識結果の表示態様も変化する。これにより、第１の実施形態に係る内視鏡システム１０では、医療画像の認識結果を部位に応じて適切に表示することができる。また、ユーザは認識対象である部位の切り替わりを容易に把握することができる。

なお、認識結果の表示に関し、ステップＳ１２０で取得した部位情報により示される部位がそれまでの部位（例えば、決められたフレームレートで連続して撮影している場合に、撮影タイミングの差がしきい値以下である過去のフレーム（直前のフレーム等）についての部位）と比較して変化したか否かを判断するステップ（判断ステップ）と、部位が変化した場合に表示態様を再設定するステップ（再設定ステップ）とを設けてもよい。これらの判断及び再設定は画像処理部２０４（例えば部位情報取得部２２２、表示制御部２３０）により行うことができる。

＜第２の実施形態＞
第１の実施形態では認識器２２４が単一の認識器である場合について説明したが、第２の実施形態では、認識器は、医療画像の認識を行う複数の認識器であって、生体内の複数の部位にそれぞれ対応した複数の認識器を備える。そして、複数の認識器のうちから部位情報が示す部位に応じて選択された認識器が医療画像の認識を行う。

図１２は、第２の実施形態に係る内視鏡システムにおける画像処理部２０４Ａの機能構成を示す図である。画像処理部２０４Ａは選択部２２６（選択部）及び制御部２２８（制御部）を備え、また認識器２２４Ａは以下に説明するように複数の認識器を含む点で第１の実施形態における画像処理部２０４（図参照）と異なる。第２の実施形態に係る内視鏡システムのそれ以外の構成は第１の実施形態に係る内視鏡システム１０と同様であるので、詳細な説明を省略する。

＜認識器の構成＞
第２の実施形態に係る内視鏡システム（内視鏡システム、医療画像処理装置）において、「認識器」は医療画像の認識を行う複数の認識器であって、生体内の複数の部位にそれぞれ対応した複数の認識器であり、検出器、分類器（鑑別器）、計測器、及びそれらの組み合わせにより構成することができる。図１３は認識内容が異なる複数の認識器（検出器、分類器、及び計測器）により構成された認識器の例を示す図である。図１３の例において、認識器２２４Ａは検出器２５０、分類器２５２、及び計測器２５４を備え、それぞれの認識器は複数の臓器（部位の一態様）にそれぞれ対応した複数の認識器を有する。具体的には、検出器２５０は食道用検出器２４０及び胃用検出器２４１を有し、分類器２５２は食道用分類器２４２及び胃用分類器２４３を有し、計測器２５４は食道用計測器２４４及び胃用計測器２４５を有する。

図１４は検出器２５０の構成を示す図である。検出器２５０は、同一臓器の異なる位置（部位の一態様）にそれぞれ対応した複数の検出器（認識器の一態様）を有する。具体的には、食道用検出器２４０は食道用第１検出器２４０Ａ（食道上部用）及び食道用第２検出器２４０Ｂ（食道下部用）を有し、胃用検出器２４１は胃用第１検出器２４１Ａ（胃上部用）及び胃用第２検出器２４１Ｂ（胃下部用）を有する。同様に、分類器２５２、計測器２５４も複数の分類器、複数の計測器により構成することができる。なお、図１４では各臓器について２つ（上部、下部）の検出器を設ける場合について説明しているが、各臓器について３つ以上の検出器を設けてもよい（大腸についての認識を行う場合の記載を参照；後述）。

なお、「複数の部位」とは臓器（食道、胃、小腸、大腸等）及び／または臓器内での位置が異なる複数の部位を意味するものとし、同一臓器の同一位置において表面からの距離（深さ）が違う場合は「部位の違い」に含まない。

なお、図１３，１４では複数の部位に対して認識内容が異なる複数の認識器を設ける態様について説明しているが、特定の臓器に対し特定の内容の認識（検出、分類、計測）を行う認識器のみを設けてもよい。例えば、「食道に対しては検出器を設け、胃に対しては分類器を設ける」という態様も可能である。具体的には、図１５に示すように認識器２２５を食道用検出器２４０及び胃用分類器２４３により構成してもよい（食道用検出器２４０、胃用分類器２４３は図１３，１４について上述した態様を採用することができる）。認識器２２５も食道用の認識器と胃用の認識器を有しており、本発明の医療画像処理装置における「生体内の複数の部位にそれぞれ対応した複数の認識器」の一態様である。

＜部位に応じた画像セットによる学習＞
認識器２２４Ａ及び認識器２２５は、第１の実施形態における認識器２２４と同様に、ＣＮＮやＳＶＭ等の学習済みモデルを複数用いて構成することができる。これら複数の学習済みモデルは、認識の対象とする部位に応じて生体の異なる部位を撮影した画像から構成される画像セットを用いて学習した、それぞれ異なるモデルであることが好ましい。例えば、食道用第１検出器２４０Ａ、食道用第２検出器２４０Ｂはそれぞれ食道の上部、下部を撮影した画像から構成される画像セットを用いて学習したモデルである。また、胃用第１検出器２４１Ａ、胃用第２検出器２４１Ｂはそれぞれ胃の上部、下部を撮影した画像から構成される画像セットを用いて学習したモデルである。同様に、食道用分類器２４２と胃用分類器２４３、食道用計測器２４４と胃用計測器２４５はそれぞれ食道、胃を撮影した画像から構成される画像セットを用いて学習した分類用、計測用のモデルである。なお、認識器２２４Ａと同様に、認識器２２５も認識の対象とする部位に応じて異なる部位を撮影した画像から構成される画像セットを用いて学習したモデルである。このように部位に応じた画像セットを用いて学習を行うことで、部位に応じて正確な認識を行うことができる。

＜認識器の選択＞
図１６は、第２の実施形態に係る医療画像処理方法の手順を示すフローチャートである。このフローチャートでは、認識器を選択する処理が含まれている（ステップＳ１３０：選択ステップ）。それ以外の処理は第１の実施形態と同様であるので、詳細な説明を省略する。ステップＳ１３０では、選択部２２６（選択部）は、複数の認識器のうちから、部位情報が示す部位に対応した認識器を選択する。第２の実施形態に係る内視鏡システムでは、認識器２２４Ａあるいは認識器２２５を構成する認識器（図１３〜１５を参照）のうちから認識器を選択することができる。

＜認識器の制御＞
図１７は認識器の制御の例を示す図である。この例では、制御部２２８は部位に応じて特定の認識器のみを作動させ、表示制御部２３０は作動させた認識器による認識結果を部位に応じた態様で表示させる。検出を行う場合、制御部２２８は部位情報が食道を示す場合は食道用検出器２４０（上部なら食道用第１検出器２４０Ａ、下部なら食道用第２検出器２４０Ｂ）を作動させ、胃を示す場合は胃用検出器２４１（上部なら胃用第１検出器２４１Ａ、下部なら胃用第２検出器２４１Ｂ）を作動させる。観察や診断の目的等に応じて分類器２５２や計測器２５４を作動させてもよい。なお、内視鏡画像が医療画像取得部２２０から認識器に入力され、部位情報が部位情報取得部２２２から表示制御部２３０に入力される。図１８は認識器の制御の他の例を示す図である。この例では、制御部２２８は複数の認識器（この場合、検出器２５０、分類器２５２、計測器２５４）を並行して作動させ、表示制御部２３０は認識結果の表示を部位に応じて切り替える（例えば検出を行う場合、検出器２５０による認識の結果を表示させる）。

＜認識結果等の表示＞
第２の実施形態において、内視鏡画像、認識結果、部位情報の表示は第１の実施形態の場合と同様に行うことができる（図８〜１１を参照）。

このように、第２の態様に係る内視鏡システムによれば、第１の態様に係る内視鏡システム１０と同様に医療画像の認識結果を部位に応じて適切に表示することができる。また、ユーザは認識対象である部位の切り替わりを容易に把握することができる。

＜大腸内視鏡についての適用例＞
第１、第２の実施形態では主として上部消化器である食道、胃についての認識及び表示を行う場合について説明したが、本発明の医療画像処理装置及び医療画像処理方法は直腸や大腸等の下部消化器についての認識及び表示を行う場合に適用することもできる。この場合、上述した第１、第２の実施形態と同様に単一の認識器を設けてもよいし、認識内容（検出、分類、計測等）や認識部位が異なる複数の認識器を設けてもよい。認識部位が異なる複数の認識器を設ける場合、例えば直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸、盲腸、回腸、空腸にそれぞれ対応した認識器を設けることができる。これら認識器も、各部位を撮影した画像から構成される画像セットを用いて学習した学習済みモデルとし、誤差逆伝播の処理を行うことが好ましい。

図１９は大腸の内視鏡画像８５０についての表示例を示す図であり、上部消化器についての表示例である図１１と対応している。図１９には、注目領域８５１を囲む枠８５３が表示されている。また、図１９の（ａ）部分は部位に相当する文字（“Ｒｅｃｔｕｍ”）により部位情報８５２を表示した例であり、同図の（ｂ）部分は部位情報をシェーマ図８５４に表示した例（部位情報が示す位置に丸印８５４Ａを表示）である。その他、内視鏡画像や認識結果の表示は第１、第２の実施形態と同様に行うことができる（図８〜１１を参照）。このように、下部消化器についての認識及び表示を行う場合も、認識結果等を部位に応じた態様で表示することにより医療画像の認識結果を部位に応じて適切に表示することができる。また、ユーザは認識対象である部位の切り替わりを容易に把握することができる。

＜内視鏡画像以外への適用＞
上述した第１、第２実施形態及び他の適用例では医療画像（医用画像）の一態様である内視鏡画像を用いて認識を行う場合について説明したが、本発明に係る医療画像処理装置及び医療画像処理方法は超音波画像診断装置等の内視鏡画像以外の医療画像を用いる場合にも適用することができる。

（付記）
上述した第１、第２の実施形態及び他の適用例に加えて、以下に記載の構成も本発明の範囲に含まれる。

（付記１）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記３）
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。

（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。

（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

（付記１３）
蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。

（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。

（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。

（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。

（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０ 内視鏡システム
１００ 内視鏡スコープ
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮影光学系
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ ＡＦＥ
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ プロセッサ
２０２ 画像入力コントローラ
２０４ 画像処理部
２０４Ａ 画像処理部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記録部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
２２０ 医療画像取得部
２２２ 部位情報取得部
２２４ 認識器
２２４Ａ 認識器
２２５ 認識器
２２６ 選択部
２２８ 制御部
２３０ 表示制御部
２３２ 部位推定部
２３４ 医療画像処理部
２３６ 受付部
２３８ 記録制御部
２４０ 食道用検出器
２４０Ａ 食道用第１検出器
２４０Ｂ 食道用第２検出器
２４１ 胃用検出器
２４１Ａ 胃用第１検出器
２４１Ｂ 胃用第２検出器
２４２ 食道用分類器
２４３ 胃用分類器
２４４ 食道用計測器
２４５ 胃用計測器
２５０ 検出器
２５２ 分類器
２５４ 計測器
２６０ 内視鏡画像
２６２ 処理後内視鏡画像
２６４ 部位情報
２６６ 認識結果
２６８ 処理条件
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３１０Ｖ 紫色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５６２ ＣＮＮ
５６２Ａ 入力層
５６２Ｂ 中間層
５６２Ｃ 出力層
５６４ 畳み込み層
５６５ プーリング層
５６６ 全結合層
８００ 内視鏡画像
８０２ 注目領域
８０４ 図形
８０６ 矢印
８０８ フレーム
８１０ フレーム
８２０ 内視鏡画像
８２２ 認識結果表示画像
８３０ 内視鏡画像
８３２ 注目領域
８３４ 枠
８３６ 部位情報
８４０ 内視鏡画像
８４２ シェーマ図
８４２Ａ 矢印
８５０ 内視鏡画像
８５１ 注目領域
８５２ 部位情報
８５３ 枠
８５４ シェーマ図
８５４Ａ 丸印
Ｆ１ フィルタ
Ｆ２ フィルタ
Ｆｎ フィルタ
Ｓ１００〜Ｓ１７０ 医療画像処理方法の各ステップ

Claims (20)

1. 被検体の生体内の複数の部位の画像を順次撮影する医療機器から医療画像を取得する医療画像取得部と、
   前記取得した医療画像の前記生体内の部位を示す部位情報を取得する部位情報取得部と、
   前記医療画像の認識を行う認識器と、
   前記認識の結果を前記部位情報が示す部位に応じた態様で表示装置に表示させる表示制御部と、
   を備える医療画像処理装置。
2. 前記認識器は、前記医療画像の認識を行う複数の認識器であって、前記生体内の前記複数の部位にそれぞれ対応した複数の認識器を備え、
   前記複数の認識器のうちから前記部位情報が示す部位に応じて選択された認識器が前記医療画像の認識を行う請求項１に記載の医療画像処理装置。
3. 前記部位情報取得部は前記医療画像を解析して前記部位情報を取得する請求項１または２に記載の医療画像処理装置。
4. 前記部位情報取得部はユーザが入力した情報を前記部位情報として取得する請求項１または２に記載の医療画像処理装置。
5. 前記医療画像取得部とは異なる外部デバイスにより前記部位を推定する部位推定部をさらに備え、
   前記部位情報取得部は、前記推定された部位を示す情報を前記部位情報として取得する請求項１または２に記載の医療画像処理装置。
6. 前記認識器は学習済みモデルである請求項１から５のいずれか１項に記載の医療画像処理装置。
7. 前記表示制御部は、前記部位に応じた表示態様の情報を前記医療画像に重畳して前記表示装置に表示させる請求項１から６のいずれか１項に記載の医療画像処理装置。
8. 前記表示制御部は前記部位に応じて前記認識の結果を表示または非表示に制御する請求項１から７のいずれか１項に記載の医療画像処理装置。
9. 前記表示制御部は、前記表示装置の表示領域において前記認識の結果を前記部位に応じた領域に表示させる請求項１から８のいずれか１項に記載の医療画像処理装置。
10. 前記表示制御部は、前記医療画像を前記部位に応じた表示態様で前記表示装置に表示させる請求項１から９のいずれか１項に記載の医療画像処理装置。
11. 前記表示制御部は、前記部位情報に応じた表示位置及び／またはサイズで前記医療画像を前記表示装置に表示させる請求項１０に記載の医療画像処理装置。
12. 前記医療画像取得部は、前記部位情報が示す前記部位に応じた波長帯域の観察光で撮影された医療画像を前記医療画像として取得し、
    前記表示制御部は、前記波長帯域の前記観察光で撮影された前記医療画像に対する前記認識の結果を前記表示装置に表示させる請求項１から１１のいずれか１項に記載の医療画像処理装置。
13. 前記医療画像に対して前記部位に応じた画像処理を施す医療画像処理部をさらに備える請求項１から１２のいずれか１項に記載の医療画像処理装置。
14. 前記認識器は前記医療画像から注目領域を検出する検出器である請求項１から１３のいずれか１項に記載の医療画像処理装置。
15. 前記認識器は前記医療画像の分類を行う分類器である請求項１から１３のいずれか１項に記載の医療画像処理装置。
16. 前記認識器は前記医療画像の計測を行う計測器である請求項１から１３のいずれか１項に記載の医療画像処理装置。
17. 前記表示制御部は前記取得された前記部位情報を前記表示装置に表示させる請求項１から１６のいずれか１項に記載の医療画像処理装置。
18. ユーザによる表示態様の設定を受け付ける受付部をさらに備え、
    前記表示制御部は、前記受け付けた設定の表示態様により前記認識の結果を前記表示装置に表示させる請求項１から１７のいずれか１項に記載の医療画像処理装置。
19. 請求項１から１８のいずれか１項に記載の医療画像処理装置と、
    前記表示装置と、
    前記医療機器として前記被検体に挿入される内視鏡スコープであって、前記医療画像を順次撮影する撮影部を有する内視鏡スコープと、
    前記被検体に観察光を照射する光源装置と、
    を備える内視鏡システム。
20. 被検体の生体内の複数の部位の画像を順次撮影する医療機器から医療画像を取得する医療画像取得部と、前記医療画像の認識を行う認識器と、を備える医療画像処理装置による医療画像処理方法であって、
    前記医療画像を取得する医療画像取得ステップと、
    前記取得した医療画像の前記生体内の部位を示す部位情報を取得する部位情報取得ステップと、
    前記医療画像の認識を行う認識ステップと、
    前記認識の結果を前記部位情報が示す部位に応じた態様で表示装置に表示させる表示制御ステップと、
    を有する医療画像処理方法。

Images