WO2020170809A1

WO2020170809A1 - 医療画像処理装置、内視鏡システム、及び医療画像処理方法

Info

Publication number: WO2020170809A1
Application number: PCT/JP2020/004224
Authority: WO
Inventors: 駿平加門
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2019-02-19
Filing date: 2020-02-05
Publication date: 2020-08-27
Anticipated expiration: 2021-08-19
Also published as: JP2023026480A; JPWO2020170809A1

Abstract

本発明は、医療画像をリアルタイム性に応じて強調表示することができる医療画像処理装置、内視鏡システム、及び医療画像処理方法を提供することを目的とする。本発明の一の態様に係る医療画像処理装置は、医療画像処理装置は、医療画像を取得する医療画像取得部と、医療画像における注目領域の情報を取得する情報取得部と、情報に基づいて、注目領域の強調表示を、医療画像がリアルタイムで取得されたリアルタイム画像であるか非リアルタイムで取得された非リアルタイム画像であるかに応じた表示態様に設定する態様設定部と、医療画像を設定された表示態様で表示装置に表示させる表示制御部と、医療画像と情報とを関連付けて記録装置に記録させる記録制御部と、を備える。

Description

医療画像処理装置、内視鏡システム、及び医療画像処理方法

　本発明は医療画像の強調表示を行う医療画像処理装置、内視鏡システム、及び医療画像処理方法に関する。

　医師等のユーザが医療画像の観察あるいは診断を行う際の支援として、画像の強調や表示態様の変更を行うことが知られている。例えば、特許文献１には、注目領域のサイズや数に応じてアラート画像を表示することが記載されている。

特開２０１１－２５５００６号公報

　医療画像の観察あるいは診断を行う場合、画像の性質によって好ましい強調表示の態様が異なるので、適宜切り替える必要がある。例えば、スクリーニング検査中にリアルタイムで取得した画像で検出された注目領域に図形等を重畳することで、ユーザに病変検出の報知を行うことができる。一方、ユーザは検査中に発見された病変の画像を保存し、レポート作成や研究に利用する。また、保存した画像を必要に応じ再度表示させて観察する。このように非リアルタイムで取得した画像を表示させる場合、図形等の重畳表示は観察や診断の妨げになり得るので、注目領域の強調表示をリアルタイム表示時と異なる態様に設定することが好ましい。しかしながら、上述した特許文献１にこのような事情が考慮されていない。

　このように、従来の技術では医療画像をリアルタイム性に応じて適切に強調表示することが困難であった。

　本発明はこのような事情に鑑みてなされたもので、医療画像をリアルタイム性に応じて強調表示することができる医療画像処理装置、内視鏡システム、及び医療画像処理方法を提供することを目的とする。

　上述した目的を達成するため、本発明の第１の態様に係る医療画像処理装置は、医療画像を取得する医療画像取得部と、医療画像における注目領域の情報を取得する情報取得部と、情報に基づいて、注目領域の強調表示を、医療画像がリアルタイムで取得されたリアルタイム画像であるか非リアルタイムで取得された非リアルタイム画像であるかに応じた表示態様に設定する態様設定部と、医療画像を設定された表示態様で表示装置に表示させる表示制御部と、医療画像と情報とを関連付けて記録装置に記録させる記録制御部と、を備える。

　第１の態様に係る医療画像処理装置は、医療画像をリアルタイム性（リアルタイムで取得されたリアルタイム画像であるか非リアルタイムで取得された非リアルタイム画像であるか）に応じて強調表示させることができる。また、医療画像と注目領域の情報とを関連付けて記録装置に記録させる（情報を画像に重畳させずに記録する）ので、医療画像及び情報を事後的に使用する場合（非リアルタイム画像の場合）も観察の目的やユーザの希望に応じた表示態様で表示させることができる。

　第１の態様において、「表示態様の設定」には強調表示をオンとオフのいずれに設定するか、及び注目領域の情報をどのように表示させるかが含まれる。情報の表示は文字、数字、図形、記号、及びそれらの組み合わせにより行うことができ、色彩を付してもよい。

　第１の態様及び以下の各対応において、「リアルタイム」、「リアルタイム画像」には、例えば、進行中の検査や観察において、決められたフレームレートで撮影された複数の医療画像を実質的な遅延なしで順次取得し表示すること、及びそのように順次表示される画像が含まれる。画像の送受信や画像処理等により完全なリアルタイムよりも画像の取得や表示が僅かに遅延している場合も「リアルタイム」、「リアルタイム画像」に含まれるものとする。これに対し「非リアルタイム」、「非リアルタイム画像」には、例えば、検査中及び検査後に静止画を取得して表示する場合が含まれる。

　第１の態様及び以下の各態様において、表示装置の数は特に限定されない。同一の表示装置にリアルタイム画像と非リアルタイム画像の両方を表示させてもよい。この場合、例えばリアルタイム画像を表示し、ユーザの指示等に応じて特定のフレームをフリーズ表示させることができる。また、リアルタイム画像用の表示装置と非リアルタイム画像用の表示装置を別個に設け、それぞれの表示装置に画像を表示させてもよい。別個のモニタを設ける場合、例えばある表示装置にリアルタイム画像を表示させ、レポート作成の際等に、検査で取得された画像を非リアルタイムで別の表示装置に表示させてもよい。いずれの態様も、「医療画像を表示装置に表示させる」に含まれる。

　第１の態様に係る医療画像処理装置は、例えば医療画像処理システムのプロセッサとして実現することができるが、このような態様に限定されるものではない。なお、「医療画像」とは診断、治療、計測等を目的として人体等の生体を撮影、計測等した結果として得られた画像をいい、例えば内視鏡画像、超音波画像、ＣＴ画像（ＣＴ：Computed Tomography）、ＭＲＩ画像（ＭＲＩ：Magnetic Resonance Imaging）を挙げることができる。医療画像は医用画像ともいう。

　第２の態様に係る医療画像処理装置は第１の態様において、態様設定部は、医療画像がリアルタイム画像である場合、注目領域の強調表示をオンまたはオフに設定する。第２の態様によれば、強調表示をオンに設定する場合は注目領域の情報を強調表示によりリアルタイムで報知することができ、病変等の見落としを防止することができる。一方、強調表示等が診断の妨げになる場合はオフに設定してもよい。オンとオフのいずれに設定するかをユーザの操作に基づいて決定してもよいし、ユーザの操作によらずに決定してもよい。

　第３の態様に係る医療画像処理装置は第１の態様において、態様設定部は、医療画像が非リアルタイム画像である場合、注目領域の強調表示をオンまたはオフに設定する。情報が重畳された状態の画像はレポートや診断には適さず、一方、注目領域の情報は検査後に画像を見返す場合に必要となる（見落とし防止、研究用途等）。第３の態様では、このような事情を考慮し非リアルタイム画像の場合に強調表示をオンまたはオフにするので、画像の使用目的に応じた強調表示を行うことができる。オンとオフのいずれに設定するかはユーザの操作に応じて行うことができ、これによりユーザは所望の表示態様で医療画像を表示させることができる。

　第４の態様に係る医療画像処理装置は第１から第３の態様のいずれか１つにおいて、医療画像取得部は、記録装置に記録された医療画像を非リアルタイム画像として取得し、情報取得部は、非リアルタイム画像に関連付けて記録された情報を取得する。医療画像取得部は、ネットワークを介して接続された記録装置から医療画像を取得してもよい。

　第５の態様に係る医療画像処理装置は第１から第４の態様のいずれか１つにおいて、医療画像から注目領域を検出する検出器を備え、情報取得部は、検出器の検出結果から情報を取得する。検出の対象となる医療画像はリアルタイム画像でもよいし、非リアルタイム画像でもよい。なお第５の態様において、検出器は学習済みモデルにより構成することができる。

　第６の態様に係る医療画像処理装置は第１から第５の態様のいずれか１つにおいて、医療画像の分類を行う分類器を備え、情報取得部は、分類器の分類結果から情報を取得する。分類の対象となる医療画像はリアルタイム画像でもよいし、非リアルタイム画像でもよい。なお第６の態様において、分類器は学習済みモデルにより構成することができる。

　第７の態様に係る医療画像処理装置は第１から第６の態様のいずれか１つにおいて、医療画像の計測を行う計測器を備え、情報取得部は、計測器の計測結果から情報を取得する。計測の対象となる医療画像はリアルタイム画像でもよいし、非リアルタイム画像でもよい。なお第７の態様において、計測器は学習済みモデルにより構成することができる。

　第８の態様に係る医療画像処理装置は第１から第７の態様のいずれか１つにおいて、ユーザによる表示態様の設定操作を受け付ける受付部を備え、態様設定部は受け付けた設定操作に基づいて表示態様を設定する。第８の態様によれば、ユーザは医療画像を所望の表示態様（注目領域の強調表示の態様）で表示させることができる。

　第９の態様に係る医療画像処理装置は第１から第８の態様のいずれか１つにおいて、同一の注目領域が映っている医療画像が表示装置に表示されている第１の経過時間の情報を取得する第１の時間情報取得部を備え、態様設定部は第１の経過時間の情報に基づいて表示態様を設定する。第９の態様は、例えばリアルタイム画像を決められたフレームレートで順次取得、表示させる場合において、同一の注目領域が複数のフレームに映っている状態の経過時間（第１の経過時間）に応じて表示態様を設定する場合に適用することができる。第９の態様では、第１の経過時間に応じて表示態様を変える（オン、オフの切り替えを含む）ことができる。

　第１０の態様に係る医療画像処理装置は第１から第９の態様のいずれか１つにおいて、同一の医療画像が表示装置に表示されている第２の経過時間の情報を取得する第２の時間情報取得部を備え、態様設定部は第２の経過時間の情報に基づいて表示態様を設定する。第１０の態様は、例えば非リアルタイム画像をフリーズ表示（固定表示）により観察している場合において、画像を表示してからの経過時間（第２の経過時間）に応じて表示態様を設定する場合に適用することができる。第１０の態様では、第２の経過時間に応じて表示態様を変える（オン、オフの切り替えを含む）ことができる。

　第１１の態様に係る医療画像処理装置は第１から第１０の態様のいずれか１つにおいて、表示制御部は、記録装置に記録された複数の医療画像を表示装置に一覧表示させ、態様設定部は、一覧表示した複数の医療画像に対する強調表示の態様を共通した態様に設定する。複数の医療画像を一覧表示する場合に画像ごとに表示態様を設定するのでは操作が煩わしいが、第１１の態様では強調表示の態様を共通した態様に設定するので、操作が簡単である。この設定は、ユーザの操作に応じて行うことができる。

　第１２の態様に係る医療画像処理装置は第１１の態様において、共通した態様は、複数の医療画像に対する強調表示のオンまたはオフである。第１２の態様によれば、複数の医療画像に対する強調表示を一括してオンまたはオフにすることができる。

　第１３の態様に係る医療画像処理装置は第１から第１２の態様のいずれか１つにおいて、態様設定部は、医療画像が、進行中の検査又は進行中の観察において順次取得されている画像の場合に、医療画像をリアルタイム画像と判断する。第１３の態様は、進行中の検査又は進行中の観察に適用することができる。

　第１４の態様に係る医療画像処理装置は第１から第１３の態様のいずれか１つにおいて、更に、記録部を有し、態様設定部は、医療画像が、記録部に記録済みの画像の場合に、医療画像を前記非リアルタイム画像と判断する。第１４の態様は、記録部に記録済みの医療画像に適用することができる。

　第１５の態様に係る医療画像処理装置は第１から第１４の態様のいずれか１つにおいて、更に、通信制御部を有し、態様設定部は、医療画像が、通信制御部を介して取得された画像の場合に、医療画像を非リアルタイム画像と判断する。第１５の態様は、通信制御部を介して取得された医療画像に適用することができる。

　上述した目的を達成するため、本発明の第１６の態様に係る内視鏡システムは、第１から第１５の態様のいずれか１つに係る医療画像処理装置と、表示装置と、被検体に挿入される内視鏡スコープであって、医療画像を撮影する撮影部を有する内視鏡スコープと、を備える。第１６の態様に係る内視鏡システムは、第１から第１５の態様のいずれか１つに係る医療画像処理装置を備えるので、医療画像のリアルタイム性に応じて強調処理を行うことができる。リアルタイム画像は内視鏡スコープの撮影部により撮影することができる。なお、第１の態様について上述したのと同様に、第１６の態様において表示装置の数は特に限定されない。同一の表示装置にリアルタイム画像と非リアルタイム画像の両方を表示させてもよいし、リアルタイム画像用の表示装置と非リアルタイム画像用の表示装置を別個に設け、それぞれの表示装置に画像を表示させてもよい。

　上述した目的を達成するため、本発明の第１７の態様に係る医療画像処理方法は、医療画像を取得する医療画像取得ステップと、医療画像における注目領域の情報を取得する情報取得ステップと、情報に基づいて、注目領域の強調表示を、医療画像がリアルタイムで取得されたリアルタイム画像であるか非リアルタイムで取得された非リアルタイム画像であるかに応じた表示態様に設定する態様設定ステップと、医療画像を設定された表示態様で表示装置に表示させる表示制御ステップと、医療画像と情報とを関連付けて記録装置に記録させる記録制御ステップと、を有する。第１７の態様によれば、第１の態様と同様に、医療画像をリアルタイム性に応じて強調表示することができる。

　第１８の態様に係る医療画像処理方法は、第２から第１５の態様と同様の構成（ステップ）をさらに含んでいてもよい。また、これら態様の医療画像処理方法を医療画像処理装置あるいはコンピュータに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

　以上説明したように、本発明に係る医療画像処理装置、内視鏡システム、及び医療画像処理方法によれば、医療画像をリアルタイム性に応じて強調表示することができる

図１は、第１の実施形態に係る内視鏡システムの構成を示す図である。図２は、内視鏡システムの構成を示す他の図である。図３は、画像処理部の機能ブロック図である。図４は、畳み込みニューラルネットワークの構成例を示す図である。図５は、フィルタによる畳み込み処理の様子を示す図である。図６は、記録部に記録される情報を示す図である。図７は、第１の実施形態に係る医療画像処理方法の手順を示すフローチャートである。図８は、リアルタイム画像に好ましい強調表示の例を示す図である。図９は、リアルタイム画像に好ましくない強調表示の例を示す図である。図１０は、部位情報の表示例を示す図である。図１１は、医療画像処理方法の手順を示す他のフローチャートである。図１２は、経過時間に応じた強調表示の例を示す図である。図１３は、医療画像処理方法の手順を示すさらに他のフローチャートである。図１４は、一覧表示した複数の画像に対する強調表示を一括してオンまたはオフにする様子を示す図である。

　以下、添付図面を参照しつつ、本発明に係る医療画像処理装置、内視鏡システム、及び医療画像処理方法の実施形態について詳細に説明する。

　＜第１の実施形態＞
　＜内視鏡システムの構成＞
　図１は、内視鏡システム１０（医療画像処理装置、内視鏡システム）の外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡スコープ１００（医療機器、内視鏡スコープ、内視鏡本体）、内視鏡プロセッサ装置２００（医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。電磁波や超音波により観察部位の情報を取得するための外部デバイス（不図示）を内視鏡システム１０に接続してもよい。

　＜内視鏡スコープの構成＞
　内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図１，２参照）。

　観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ、撮影部）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。

　図１，２に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮影部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮影部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End、撮影部）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。なお、撮像素子１３４の各画素は紫色光源３１０Ｖに対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。

　被検体の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ装置２００に出力されて映像信号に変換される。これにより、内視鏡プロセッサ装置２００に接続されたモニタ４００に内視鏡画像が表示される。

　また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。

　ユーザは、上述した構成の内視鏡スコープ１００（挿入部１０４）を被検体である生体内に挿入または抜去しながら決められたフレームレートで撮影を行う（撮影部及び医療画像取得部２２０の制御により行うことができる）ことにより、生体内の画像を順次撮影することができる。

　＜光源装置の構成＞
　図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、または下げる）こと、及び照明を停止することができる。

　光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。

　＜光源の波長帯域＞
　光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。

　上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

　また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

　また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医療画像（医用画像、生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。

　光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、部位、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、部位、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

　また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色、紫色等）を照射してロータリカラーフィルタ（緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。

　ライトガイドコネクタ１０８（図１，２参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。

　＜プロセッサの構成＞
　図２に基づき内視鏡プロセッサ装置２００の構成を説明する。内視鏡プロセッサ装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に内視鏡画像（医療画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／または外部のシステムやネットワークとの間で医療画像や注目領域の情報についての通信制御を行う。記録部２０７（記録装置）には、被検体の画像（内視鏡画像、医療画像、医用画像）、注目領域情報、表示態様設定情報等が記録される（図６及び関連する記載を参照）。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、注目領域の検出及び検出結果に関するメッセージ（音声）をスピーカ２０９Ａから出力する。

　また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、各種の画像処理方法をＣＰＵ２１０及び／または画像処理部２０４（医療画像処理装置、コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。

　なお、ユーザは操作部２０８を介して医療画像処理の実行指示や実行に必要な条件の指定を行うことができ、表示制御部２２８（図３参照）はこれら指示の際の画面、検出の結果等をモニタ４００に表示させることができる。

　＜画像処理部の機能＞
　図３は画像処理部２０４の機能ブロック図である。画像処理部２０４は、医療画像取得部２２０（医療画像取得部）と、情報取得部２２２（情報取得部）と、態様設定部２２６
（態様設定部）と、表示制御部２２８（表示制御部）と、記録制御部２３０（記録制御部）と、受付部２３２（受付部）と、第１の時間情報取得部２３４（第１の時間情報取得部）と、第２の時間情報取得部２３５（第２の時間情報取得部）と、を備える。情報取得部２２２は、認識器（検出器２２４Ａ（検出器）、分類器２２４Ｂ（分類器）、及び計測器２２４Ｃ（計測器））を備える。これらの機能を用いた医療画像処理については、詳細を後述する。

　画像処理部２０４は、上述した機能により、医療画像の特徴量の算出、特定の周波数帯域の成分を強調または低減する処理、特定の対象（注目領域、所望の深さの血管等）を強調または目立たなくする処理を行うことができる。画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって特徴量画像を生成する特徴量画像生成部を備え、医療画像（医用画像）としての特徴量画像を取得及び表示してもよい。なお、上述した処理はＣＰＵ２１０の制御下で行われる。

　＜各種のプロセッサによる機能の実現＞
　上述した画像処理部２０４の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。

　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、画像処理部２０４を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ２１１（ＲＯＭ：Read Only Memory）等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る医療画像処理方法を実行するためのプログラム及び実行に際して用いられるデータ（表示態様の特定に用いられるデータ、検出器２２４Ａ、分類器２２４Ｂ、及び計測器２２４Ｃで用いられるパラメータ等）を含む。ＲＯＭ２１１ではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ２１２（ＲＡＭ：Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」として記録部２０７を用いてもよい。

　＜学習済みモデルによる認識器＞
　上述した認識器（検出器２２４Ａ、分類器２２４Ｂ，及び計測器２２４Ｃ）は、ＣＮＮ（Convolutional Neural Network）、ＳＶＭ（Support Vector Machine）等の学習済みモデル（生体を撮影した画像から構成される画像セットを用いて学習したモデル）を用いて構成することができる。以下、認識器をＣＮＮにより構成する場合の層構成について説明する。

　＜ＣＮＮの層構成の例＞
　図４はＣＮＮの層構成の例を示す図である。図４の（ａ）部分に示す例では、ＣＮＮ５６２は入力層５６２Ａと、中間層５６２Ｂと、出力層５６２Ｃとを含む。入力層５６２Ａは医療画像取得部２２０が取得した内視鏡画像（医療画像）を入力して特徴量を出力する。中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５を含み、入力層５６２Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。ＣＮＮ５６２は、図４の（ｂ）部分に示す例のように全結合層５６６を含んでいてもよい。ＣＮＮ５６２の層構成は畳み込み層５６４とプーリング層５６５とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層５６４）が複数連続して含まれていてもよい。また、全結合層５６６が複数連続して含まれていてもよい。

　＜中間層における処理＞
　中間層５６２Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層５６４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層５６５で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層５６２Ｂは、これらの処理を行う１または複数の層により構成することができる。

　図５は、図４に示したＣＮＮ５６２の中間層５６２Ｂの構成例を示す模式図である。中間層５６２Ｂの最初（１番目）の畳み込み層では、複数の医療画像により構成される画像セット（学習時は学習用画像セット、認識時は認識用画像セット）とフィルタＦ_１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成される。通常光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ_１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ_１を用いた畳み込み演算により、１つのフィルタＦ_１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ_２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。

　１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ_２～Ｆ_ｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層またはプーリング層によりダウンスケーリングされているからである。

　中間層５６２Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（対象物の形状、構造等に関する特徴の抽出）が行われる。なお、計測等を目的としてセグメンテーションを行う場合は後半部分の畳み込み層でアップスケーリングされ、最後の畳み込み層では、入力した画像セットと同じサイズの「特徴マップ」が得られる。一方、物体検出を行う場合は位置情報を出力すればよいのでアップスケーリングは必須ではない。

　なお、中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。

　＜出力層における処理＞
　出力層５６２Ｃは、中間層５６２Ｂから出力された特徴量に基づき、入力された医療画像（通常光画像、特殊光画像）に映っている注目領域の位置検出を行ってその結果を出力する層である。セグメンテーションを行う場合、出力層５６２Ｃは、中間層５６２Ｂから得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。一方、物体検出を行う場合は画素レベルでの判断は必要なく、出力層５６２Ｃが対象物の位置情報を出力する。

　分類器２２４Ｂの場合、出力層５６２Ｃは病変に関する鑑別（分類）を実行して鑑別結果を出力する。例えば、出力層５６２Ｃは内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力してもよいし、３つのスコアから明確に分類できる場合には分類結果を出力してもよい。なお鑑別結果を出力する場合、出力層５６２Ｃが最後の１層または複数の層として全結合層を含んでいてもよいし（図４の（ｂ）部分を参照）、含んでいなくてもよい。

　計測器２２４Ｃの場合、出力層５６２Ｃは注目領域の計測結果を出力する。ＣＮＮによって計測を行う場合は、対象となる注目領域を例えば上述のようにセグメンテーションしてからその結果を基に画像処理部２０４等で計測することができる。また、対象となる注目領域の計測値を計測器から直接出力することもできる。計測値を直接出力させる場合、画像に対し計測値そのものを学習させるので、計測値の回帰問題となる。

　上述した構成のＣＮＮを用いる場合、学習の過程において、出力層５６２Ｃが出力する結果と画像セットに対する認識の正解とを比較して損失（誤差）を計算し、損失が小さくなるように中間層５６２Ｂにおける重みパラメータを出力側の層から入力側の層に向けて更新していく処理（誤差逆伝播）を行うことが好ましい。

　＜ＣＮＮ以外の手法による認識＞
　認識器（検出器２２４Ａ、分類器２２４Ｂ，及び計測器２２４Ｃ）は、ＣＮＮ以外の手法により認識（注目領域の検出等）を行ってもよい。例えば、取得した医療画像の画素の特徴量に基づいて注目領域を検出することができる。この場合、例えば検出器２２４Ａは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定し、検出対象画像の局所領域ごとに局所領域内の画素の特徴量（例えば色相）を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。同様に、特徴量に基づく分類や計測を行ってもよい。

　なお、内視鏡システム１０において、認識器として検出器２２４Ａ、分類器２２４Ｂ，及び計測器２２４Ｃの全てを並行して動作させて表示結果を切り替えてもよいし、１つまたは２つの認識器を動作させて結果を表示してもよい。また、内視鏡システム１０は検出器２２４Ａ、分類器２２４Ｂ，及び計測器２２４Ｃの全てではなく、これら認識器のうち１つまたは２つを備えていてもよい。

　＜記録部に記録される情報＞
　図６は、記録部２０７に記録される情報の例を示す図である。図６の例では、内視鏡画像２６０（医療画像）、認識結果２６２（検出結果、分類結果、計測結果）、表示態様設定情報２６４（注目領域の強調表示を行う際の表示態様）が記録される。他の情報を併せて記録してもよい。記録制御部２３０は、これらの情報を関連付けて記録する。

　＜医療画像処理方法＞
　上述した構成の内視鏡システム１０における医療画像処理方法について、図７のフローチャートを参照して説明する。

　＜初期設定＞
　受付部２３２（受付部）は、操作部２０８を介したユーザの操作、及び／または記録部２０７に記録された表示態様設定情報２６４（例えば、強調表示をオンにするかオフにするか、表示する図形や記号の選択等、デフォルトの表示態様）に基づいて、医療画像処理方法の実行に必要な条件を設定する（ステップＳ１００：初期設定ステップ）。例えば、画像取得モード（リアルタイム画像の取得か非リアルタイム画像の取得か）、強調表示に用いる文字、図形、記号やその色彩等を設定する。なお、以下のステップの実行中に条件設定や変更を行ってもよい。

　なお、第１の実施形態及び他の態様において、「リアルタイム」、「リアルタイム画像」には、例えば、進行中の検査や観察において、決められたフレームレートで撮影された複数の医療画像を実質的な遅延なしで順次取得すること、及びそのようにして取得された画像が含まれる。画像の送受信や画像処理等により完全なリアルタイムよりも画像の取得が僅かに遅延している場合も「リアルタイム」、「リアルタイム画像」に含まれるものとする。これに対し「非リアルタイム」、「非リアルタイム画像」には、例えば、検査が終了し既に記録されている複数の医療画像を順次取得して表示する場合が含まれる。

　＜内視鏡画像の取得＞
　医療画像取得部２２０（医療画像取得部）は、被検体の生体内で撮影された内視鏡画像（医療画像）を取得する（ステップＳ１１０：医療画像取得ステップ）。医療画像取得部２２０は、内視鏡スコープ１００（医療機器）の撮影部（撮影レンズ１３２、撮像素子１３４、ＡＦＥ１３８等）により、被検体である生体の内部をあらかじめ決められたフレームレートで順次撮影して内視鏡画像をリアルタイムに取得することができる（リアルタイム画像の取得）。

　医療画像取得部２２０は、既に撮影され記録された内視鏡画像を非リアルタイムで取得してもよい（非リアルタイム画像の取得）。例えば、記録部２０７に記録された内視鏡画像２６０を取得してもよいし、通信制御部２０５を介して外部の装置やシステムから画像を取得してもよい。また、被検体の観察部位を示す部位情報が既に取得されている場合は、部位情報が示す部位に応じた波長帯域の観察光で撮影された内視鏡画像（医療画像）を取得してもよい。例えば、胃の場合は白色光で撮影された画像、食道の場合は青色狭帯域光で撮影された画像を取得することができる。表示制御部２２８は、取得した内視鏡画像をモニタ４００に表示させる。

　＜注目領域の検出＞
　検出器２２４Ａは、内視鏡画像（医療画像）から注目領域を検出する（ステップＳ１２０：情報取得ステップ）。注目領域の検出を行う場合、上述したように、検出器２２４Ａは「特徴マップ」により画像に映っている注目領域の位置を画素レベルで把握（すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出）し、その検出結果を出力することができる。検出する注目領域（関心領域）の例としては、ポリープ、癌、大腸憩室、炎症、治療痕（ＥＭＲ瘢痕（ＥＭＲ：Endoscopic Mucosal Resection）、ＥＳＤ瘢痕（ＥＳＤ：Endoscopic Submucosal Dissection）、クリップ箇所等）、出血点、穿孔、血管異型性などを挙げることができる。検出の場合と同様に、ステップＳ１２０において分類器２２４Ｂ、計測器２２４Ｃにより分類や計測を行ってもよい。なお、検出、分類、計測の対象となる内視鏡画像（医療画像）はリアルタイム画像でもよいし、非リアルタイム画像でもよい。

　＜表示態様の設定＞
　態様設定部２２６は、ステップＳ１１０で取得した画像がリアルタイム画像であるか否かを判断する（ステップＳ１３０：判断ステップ、態様設定ステップ）。態様設定部２２６は、この判断結果に基づいて、リアルタイム画像である場合（ステップＳ１３０でＹＥＳ）はリアルタイム画像用の表示態様を設定し（ステップＳ１４０：態様設定ステップ）、非リアルタイム画像である場合（ステップＳ１３０でＮＯ）は非リアルタイム画像用の表示態様を設定する（ステップＳ１５０：態様設定ステップ）。

　＜内視鏡画像の表示＞
　表示制御部２２８は、ステップＳ１４０またはＳ１５０で設定された表示態様（注目領域の強調表示の態様）により、内視鏡画像（医療画像）をモニタ４００（表示装置）に表示させる（ステップＳ１６０：表示制御ステップ）。

　＜リアルタイム画像の場合の表示例＞
　図８は、リアルタイム画像の場合の表示例（強調表示をオンに設定した場合）を示す図である。同図の（ｂ）部分、（ｃ）部分は、内視鏡画像８００において注目領域８０２をそれぞれ図形８０４、矢印８０６により強調表示（内視鏡画像８００内に重畳表示）した状態を示す。これらの強調表示は注目領域の位置を直接的に示すものであるが、注目領域自体には図形を重畳しないため、粘膜構造の観察の妨げにならない。また、同図の（ｄ）部分は画面外（モニタ４００の表示領域における内視鏡画像８００の表示範囲外）の一部にフレーム８０８を表示した状態を示す。注目領域８０２に近い画面外の領域で報知する態様である。また、同図の（ｅ）部分、（ｆ）部分は、それぞれ画面外の一部にフレーム８０８を表示した状態、画面外に星印８１２を表示した状態を示しており、注目領域の位置に関わらず、注目領域が観察画面内に存在する場合にアラートを出す態様である。図８の（ｂ）部分～（ｆ）部分に示す例は、観察を妨げる度合いが低いため、リアルタイム表示に適した表現である。なお、図８の（ａ）部分は強調表示を行わない状態を示す図（参考用）であり、注目領域８０２が映った内視鏡画像８００を示している。

　＜非リアルタイム画像の場合の表示例＞
　図９は、非リアルタイム画像の場合の表示例（強調表示をオンに設定した場合）を示す図である。同図の（ａ）部分は注目領域８０２を塗りつぶした状態を示し、（ｂ）部分は内視鏡画像８２０と認識結果表示画像８２２とを２画面表示し、認識結果表示画像８２２において注目領域８０２と対応する位置に記号８２４を表示した状態を示す。図９の表示態様は観察を妨げる可能性があるためリアルタイム表示には好ましくないが、保存後表示（記録部２０７等に記録された画像を非リアルタイムで取得、表示する場合を含む）では問題にならない。また、保存後表示は注目領域を仔細に観察するため、図８の(ｄ)部分～ (ｆ)部分のように注目領域の位置を正確に把握できない表示方法は好ましくない。また、検査中に取得した画像群を一覧表示するために一枚当たりの表示サイズが小さくなる場合もあるため、より目立つ強調処理が好まれる。このため、図９のような態様を採用することができる。

　なお、図９の（ｂ）部分のように２画面またはそれ以上の画面で表示する場合、同一モニタの異なる画面で分割表示してもよいし、複数のモニタにそれぞれ表示してもよい。２画面で表示する態様から１画面表示の態様に変更する場合は、観察画面（内視鏡画像、認識結果）の表示位置及び／またはサイズを合わせて変更してもよい。そうすることにより、モニタサイズを十分に活用した観察画面表示が可能になる。

　図８，９はあくまでも表示態様の一例を示すものである。ユーザの好みや観察の目的等の条件に応じてリアルタイム画像の場合に図９のような表示を行ってもよいし、また非リアルタイム画像の場合に図８のような表示を行ってもよい。また、図９は非リアルタイム画像について強調表示をオンに設定した例であるが、ユーザの操作に応じて、また決められた条件を満たした場合に強調表示をオフにしてもよい。リアルタイム画像の場合も、ユーザの操作に応じて、また決められた条件を満たした場合に強調表示をオフにしてもよい。また、図８，９に例示する表示態様の他に、色調や階調の変更、周波数処理等を行ってもよい。このような表示態様の設定は、受付部２３２が操作部２０８を介したユーザ操作（表示態様の設定操作）を受け付け、態様設定部２２６がその設定操作に基づいて行うことができる。

　態様設定部２２６は内視鏡画像の分類結果や計測結果に基づいて表示態様を設定し、表示制御部２２８はその設定により表示を行ってもよい。例えば、内視鏡画像の分類結果を「腫瘍性」、「非腫瘍性」、「その他」として文字、図形、記号等による表示態様を設定し、その態様により表示することができる。分類結果に応じて色彩を変えてもよい。また例えば、計測結果を「直径５ｍｍ」のように数値表示してもよいし、注目領域の大きさを示す図形、記号等を表示してもよい。この場合も結果に応じて色彩を変えてよい。

　なお、内視鏡システム１０において、モニタ（表示装置）の数は特に限定されない。モニタ４００にリアルタイム画像と非リアルタイム画像の両方を表示させてもよい。この場合、例えばリアルタイム画像を表示し、ユーザの指示等に応じて特定のフレームをフリーズ表示させることができる。また、リアルタイム画像用のモニタと非リアルタイム画像用のモニタを別個に設け、それぞれのモニタに画像を表示させてもよい。別個のモニタを設ける場合、例えばモニタ４００にリアルタイム画像を表示させ、レポート作成の際等に、検査で取得された画像を非リアルタイムで別のモニタに表示させてもよい。いずれの態様も、「内視鏡画像（医療画像）を表示装置に表示させる」に含まれる。

　＜部位情報の表示＞
　表示制御部２２８は、内視鏡画像の強調表示と合わせて部位情報（内視鏡画像に映った部位を示す情報）を表示してもよい。図１０は部位情報の表示例を示す図である。図１０の（ａ）部分は、内視鏡画像８３０において、注目領域８３２を囲む枠８３４に加えて部位情報８３６を文字（“ｇａｓｔｒｉｃ”）で表示した例であり、同図の（ｂ）部分は内視鏡画像８４０においてシェーマ図８４２上の矢印８４２Ａにより部位情報を表示した例である。部位情報はこの他アイコンで表示してもよく、部位に応じて表示態様（文字や記号の内容、位置、形状、色彩等）を変化させてもよい。なお、部位情報は内視鏡画像の解析、ユーザの入力、電磁波や超音波を用いる外部機器等により取得することができる。

　＜部位に応じた画像の取得及び処理＞
　医療画像取得部２２０は、内視鏡画像に映った部位に応じた波長帯域の観察光で撮影された内視鏡画像（医療画像）を取得し、表示制御部２２８はその波長帯域の観察光で撮影された医療画像に対する認識の結果をモニタ４００（表示装置）に表示させてもよい。例えば、胃の場合は白色光（通常光）で撮影された画像を、食道の場合はＢＬＩ（Blue Laser Imaging：登録商標）等の特殊光（青色狭帯域光）で撮影された画像を認識に供することができる。部位に応じて、ＬＣＩ（Linked Color Imaging：登録商標）等の特殊光で撮影され画像処理（ＬＣＩの場合、粘膜色に近い色の彩度差や色相差を拡張する）が施された画像を用いてもよい。部位に応じた画像処理は、画像処理部２０４により施すことができる。

　＜内視鏡画像及び注目領域情報の記録＞
　記録制御部２３０（記録制御部）は、内視鏡画像及び注目領域の情報を、それぞれ内視鏡画像２６０、認識結果２６２として記録部２０７に記録する（ステップＳ１７０：記録制御ステップ）。ステップＳ１２０で分類や計測を行っている場合は、その結果を記録する。また、内視鏡画像に画像処理を施している場合は処理後の内視鏡画像を記録することができ、内視鏡画像２６０、認識結果２６２と合わせて表示態様設定情報２６４を記録してもよい。これらの情報は互いに関連付けて記録することが好ましい。画像処理部２０４は処理を終了するか否か判断し（ステップＳ１８０）、継続する場合（ステップＳ１８０でＮＯ）はステップＳ１１０に戻り、例えば次フレームについて上述した処理を行う。

　このように、内視鏡システム１０では医療画像をリアルタイム性に応じて強調表示させることができる。また、医療画像と注目領域の情報とを関連付けて記録装置に記録させる（情報を画像に重畳させずに記録する）ので、医療画像及び情報を事後的に使用する場合（非リアルタイム画像の場合）も観察の目的やユーザの希望に応じた表示態様で表示させることができる。

　＜他の表示態様＞
　＜経過時間の情報に基づく表示態様の設定＞
　注目領域を強調表示する場合の表示態様は、内視鏡画像がモニタ４００に表示されている経過時間の情報に基づいて設定してもよい。図１１は経過時間の情報に基づく表示態様の設定処理を示すフローチャートである。ステップＳ１５２～Ｓ１５６以外は図７と同じなので詳細な説明を省略する。第１の時間情報取得部２３４（第１の時間情報取得部）は、同一の注目領域が映っている内視鏡画像（医療画像）がモニタ４００（表示装置）に表示されている経過時間（第１の経過時間）の情報を取得し（ステップＳ１５２：時間情報取得ステップ）、態様設定部２２６は、第１の経過時間がしきい値以上であるか否かを判断する（ステップＳ１５４：判断ステップ）。第１の時間情報取得部２３４は、例えば撮影のフレームレートと、同一の注目領域が映っているフレーム数と、により経過時間の情報を取得（算出）することができる。第１の経過時間がしきい値以上の場合（ステップＳ１５４でＹＥＳ）、態様設定部２２６は第１の経過時間の情報に基づいて表示態様を再設定し（ステップＳ１５６：態様設定ステップ）、第１の経過時間がしきい値に満たない場合（ステップＳ１５４でＮＯ）は、表示態様を維持する。

　図１２は、第１の経過時間に応じて表示態様を再設定した様子を示す図である。同図では注目領域８０２を囲む図形８０４Ａを点線で表示しており、強調度合いが低い。態様設定部２２６及び表示制御部２２８は、例えば図８の（ｂ）部分の状態（図形８０４を実線で表示）と図１２の状態とを第１の経過時間に応じて切り替えることができる。例えば、第１の経過時間が短い時点では図８の（ｂ）部分のように表示して強調度合いを上げて注意を喚起し、その後は図１２のように強調度合いを下げることができる。ユーザの操作や観察目的に応じて、これと逆のパターンで表示してもよい。また、図８，１２のように図形の線種を変えるのではなく、図形や記号の形状や大きさ、色や明るさを変えてもよい。

　また、経過時間に応じて強調表示のオンとオフを切り替えてもよいし、強調度合いを上げても（あるいは、下げても）よい。例えば、検出当初は強調表示オフでその後オンにしてもよいし（あるいは、第１の経過時間と共に強調度合いを上げてゆく）、その逆（あるいは、第１の経過時間と共に強調度合いを下げてゆく）でもよい。また、決められた時間間隔でオンとオフと繰り返してもよい。

　このような処理は、例えば内視鏡画像を決められたフレームレートで順次取得、表示させる場合において、同一の注目領域が複数のフレームに映っている状態の経過時間（第１の経過時間）に応じて表示態様を設定する場合に適用することができる。

　同様に、注目領域を強調表示する場合の表示態様は、同一の内視鏡画像が表示されている経過時間の情報に基づいて設定してもよい。この場合の処理は図１１のフローチャートと同様に行うことができる。第２の時間情報取得部２３５（第２の時間情報取得部）は、同一の内視鏡画像がモニタ４００（表示装置）に表示されている経過時間（第２の経過時間）の情報を取得し（ステップＳ１５２：時間情報取得ステップ）、態様設定部２２６は、第２の経過時間がしきい値以上であるか否かを判断する（ステップＳ１５４：判断ステップ）。第２の経過時間がしきい値以上の場合（ステップＳ１５４でＹＥＳ）、態様設定部２２６は第２の経過時間の情報に基づいて表示態様を再設定し（ステップＳ１５６：態様設定ステップ）、第２の経過時間がしきい値に満たない場合（ステップＳ１５４でＮＯ）は、表示態様を維持する。表示態様は、第１の経過時間に基づく場合と同様に行うことができる。

　このような処理は、例えば内視鏡画像をフリーズ表示等により継続観察している場合において、特定の画像を継続して表示している経過時間（第２の経過時間）に応じて表示態様を設定する場合に適用することができる。

　＜複数の医療画像に対する表示態様の一括設定＞
　図１３のフローチャートを参照して、複数の医療画像に対する表示態様の一括設定について説明する。なお、図１３のうちステップＳ１６２，Ｓ１６４以外は図７，１１と同じなので、詳細な説明を省略する。

　検査後に内視鏡画像を確認する場合は、複数の画像を一覧表示する場合がある。例えば、表示制御部２２８は、記録部２０７（記録装置）に記録された複数の医療画像をモニタ４００（表示装置）に一覧表示させる（ステップＳ１６０：表示制御ステップ）。図１４の（ａ）部分は、強調表示がオフの状態で６枚の画像を表示した様子を示しており、内視鏡画像８５０，８５２において注目領域８０２が検出されている。この状態から強調表示をオンにする場合、画像をクリックする等の操作により各画像の表示態様を個別に設定していたのでは操作が煩わしい。そこで、態様設定部２２６は変更操作の有無を判断する（ステップＳ１６２：判断ステップ）。態様設定部２２６は、例えばユーザが操作部２０８を介して変更操作し、受付部２３２が操作を受け付けた場合に「変更操作があった」と判断することができる。

　変更操作がされた場合、態様設定部２２６は、一覧表示した複数の医療画像に対する強調表示の態様を共通した態様に設定する。例えば、複数の内視鏡画像（医療画像）に対する強調表示を一括してオン（またはオフ）に設定する。表示制御部２２８は、一覧表示した内視鏡画像を変更後の表示態様（共通した態様）で再表示する（ステップＳ１６４：表示制御ステップ）。表示制御部２２８は、例えば図１４の（ｂ）部分に示すように、注目領域８０２が検出された内視鏡画像８５０，８５２に対しフレーム８５４，８５６を表示する（内視鏡画像８５０，８５２以外の画像については、注目領域が検出されていないのでフレームは表示されない）。すなわち、「注目領域が映った画像に対し、画像全体を囲むフレームを表示する」のが「共通した態様」である。このような表示により、ユーザは、検査後に、多数の画像から注目領域が映った画像（すなわち、精査が必要な画像）を簡便に選択することができる。

　上述した一覧表示時の表示態様設定に加えて、またはこれに代えて、一覧表示時と単独表示時とで強調方法を変更してもよい。例えば、一覧表示時は図１４の（ｂ）部分のように画像全体を囲むフレームを表示し、単独表示時は図８の（ｂ）部分や図１２のように注目領域８０２の部分を囲む図形やフレームを表示することができる。この表示態様は、一覧表示時は「注目領域が映っている」あるいは「映っていない」の情報だけで足りるため図１４の（ｂ）部分のように表示し、単独表示時は画像における注目領域の位置の情報が必要となるため図８の（ｂ）部分のように表示するものである。

　＜内視鏡画像以外への適用＞
　上述した実施形態では医療画像（医用画像）の一態様である内視鏡画像を用いて注目領域の検出を行う場合について説明したが、本発明に係る医療画像処理装置及び医療画像処理方法は、超音波画像診断装置等の内視鏡画像以外の医療画像を用いる場合にも適用することができる。

　（付記）
　上述した態様に加えて、以下に記載の構成も本発明の範囲に含まれる。

　（付記１）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

　（付記２）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

　（付記３）
　医療画像解析結果取得部は、
　医療画像の解析結果を記録する記録装置から取得し、
　解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。

　（付記４）
　医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

　（付記５）
　医療画像は、特定の波長帯域の光を照射して得た画像であり、
　特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

　（付記６）
　特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。

　（付記７）
　特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

　（付記８）
　特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

　（付記９）
　特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

　（付記１０）
　特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

　（付記１１）
　特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

　（付記１２）
　医療画像は生体内を写した生体内画像であり、
　生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

　（付記１３）
　蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

　（付記１４）
　医療画像は生体内を写した生体内画像であり、
　特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

　（付記１５）
　特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

　（付記１６）
　医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
　医療画像は特殊光画像である医療画像処理装置。

　（付記１７）
　特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。

　（付記１８）
　白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
　医療画像は特徴量画像である医療画像処理装置。

　（付記１９）
　付記１から１８のいずれか１つに記載の医療画像処理装置と、
　白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
　を備える内視鏡装置。

　（付記２０）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

　（付記２１）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

　以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０　　　内視鏡システム

１００　　内視鏡スコープ

１０２　　手元操作部

１０４　　挿入部

１０６　　ユニバーサルケーブル

１０８　　ライトガイドコネクタ

１１２　　軟性部

１１４　　湾曲部

１１６　　先端硬質部

１１６Ａ　先端側端面

１２３　　照明部

１２３Ａ　照明用レンズ

１２３Ｂ　照明用レンズ

１２６　　鉗子口

１３０　　撮影光学系

１３２　　撮影レンズ

１３４　　撮像素子

１３６　　駆動回路

１３８　　ＡＦＥ

１４１　　送気送水ボタン

１４２　　吸引ボタン

１４３　　機能ボタン

１４４　　撮影ボタン

１７０　　ライトガイド

２００　　プロセッサ

２０２　　画像入力コントローラ

２０４　　画像処理部

２０５　　通信制御部

２０６　　ビデオ出力部

２０７　　記録部

２０８　　操作部

２０９　　音声処理部

２０９Ａ　スピーカ

２１０　　ＣＰＵ

２１１　　ＲＯＭ

２１２　　ＲＡＭ

２２０　　医療画像取得部

２２２　　情報取得部

２２４Ａ　検出器

２２４Ｂ　分類器

２２４Ｃ　計測器

２２６　　態様設定部

２２８　　表示制御部

２３０　　記録制御部

２３２　　受付部

２３４　　第１の時間情報取得部

２３５　　第２の時間情報取得部

２６０　　内視鏡画像

２６２　　認識結果

２６４　　表示態様設定情報

３００　　光源装置

３１０　　光源

３１０Ｂ　青色光源

３１０Ｇ　緑色光源

３１０Ｒ　赤色光源

３１０Ｖ　紫色光源

３３０　　絞り

３４０　　集光レンズ

３５０　　光源制御部

４００　　モニタ

５６２　　ＣＮＮ

５６２Ａ　入力層

５６２Ｂ　中間層

５６２Ｃ　出力層

５６４　　畳み込み層

５６５　　プーリング層

５６６　　全結合層

８００　　内視鏡画像

８０２　　注目領域

８０４　　図形

８０４Ａ　図形

８０６　　矢印

８０８　　フレーム

８１０　　フレーム

８１２　　星印

８２０　　内視鏡画像

８２２　　認識結果表示画像

８３０　　内視鏡画像

８３２　　注目領域

８３４　　枠

８３６　　部位情報

８４０　　内視鏡画像

８４２　　シェーマ図

８４２Ａ　矢印

８５０　　内視鏡画像

８５２　　内視鏡画像

８５４　　フレーム

８５６　　フレーム

Ｆ１　　　フィルタ

Ｆ２　　　フィルタ

Ｆｎ　　　フィルタ

Ｓ１００～Ｓ１７０　医療画像処理方法の各ステップ

Claims

　医療画像を取得する医療画像取得部と、
　前記医療画像における注目領域の情報を取得する情報取得部と、
　前記情報に基づいて、前記注目領域の強調表示を、前記医療画像がリアルタイムで取得されたリアルタイム画像であるか非リアルタイムで取得された非リアルタイム画像であるかに応じた表示態様に設定する態様設定部と、
　前記医療画像を前記設定された表示態様で表示装置に表示させる表示制御部と、
　前記医療画像と前記情報とを関連付けて記録装置に記録させる記録制御部と、
　を備える医療画像処理装置。
　前記態様設定部は、前記医療画像が前記リアルタイム画像である場合、前記注目領域の強調表示をオンまたはオフに設定する請求項１に記載の医療画像処理装置。
　前記態様設定部は、前記医療画像が前記非リアルタイム画像である場合、前記注目領域の強調表示をオンまたはオフに設定する請求項１に記載の医療画像処理装置。
　前記医療画像取得部は、記録装置に記録された医療画像を前記非リアルタイム画像として取得し、
　前記情報取得部は、前記非リアルタイム画像に関連付けて記録された前記情報を取得する請求項１から３のいずれか１項に記載の医療画像処理装置。
　前記医療画像から注目領域を検出する検出器を備え、
　前記情報取得部は、前記検出器の検出結果から前記情報を取得する請求項１から４のいずれか１項に記載の医療画像処理装置。
　前記医療画像の分類を行う分類器を備え、
　前記情報取得部は、前記分類器の分類結果から前記情報を取得する請求項１から５のいずれか１項に記載の医療画像処理装置。
　前記医療画像の計測を行う計測器を備え、
　前記情報取得部は、前記計測器の計測結果から前記情報を取得する請求項１から６のいずれか１項に記載の医療画像処理装置。
　ユーザによる前記表示態様の設定操作を受け付ける受付部を備え、
　前記態様設定部は前記受け付けた前記設定操作に基づいて前記表示態様を設定する請求項１から７のいずれか１項に記載の医療画像処理装置。
　同一の注目領域が映っている医療画像が前記表示装置に表示されている第１の経過時間の情報を取得する第１の時間情報取得部を備え、
　前記態様設定部は前記第１の経過時間の情報に基づいて前記表示態様を設定する請求項１から８のいずれか１項に記載の医療画像処理装置。
　同一の医療画像が前記表示装置に表示されている第２の経過時間の情報を取得する第２の時間情報取得部を備え、
　前記態様設定部は前記第２の経過時間の情報に基づいて前記表示態様を設定する請求項１から９のいずれか１項に記載の医療画像処理装置。
　前記表示制御部は、記録装置に記録された複数の医療画像を前記表示装置に一覧表示させ、
　前記態様設定部は、前記一覧表示した前記複数の医療画像に対する前記強調表示の態様を共通した態様に設定する請求項１から１０のいずれか１項に記載の医療画像処理装置。
　前記共通した態様は、前記複数の医療画像に対する前記強調表示のオンまたはオフである請求項１１に記載の医療画像処理装置。
前記態様設定部は、前記医療画像が、進行中の検査又は進行中の観察において順次取得されている画像の場合に、前記医療画像を前記リアルタイム画像と判断する請求項１から１２のいずれか１項に記載の医療画像処理装置。
更に、記録部を有し、前記態様設定部は、前記医療画像が、前記記録部に記録済みの画像の場合に、前記医療画像を前記非リアルタイム画像と判断する請求項１から１３のいずれか１項に記載の医療画像処理装置。
更に、通信制御部を有し、前記態様設定部は、前記医療画像が、前記通信制御部を介して取得された画像の場合に、前記医療画像を前記非リアルタイム画像と判断する請求項１から１４のいずれか１項に記載の医療画像処理装置。
　請求項１から１５のいずれか１項に記載の医療画像処理装置と、
　前記表示装置と、
　被検体に挿入される内視鏡スコープであって、前記医療画像を撮影する撮影部を有する内視鏡スコープと、を備える内視鏡システム。
　医療画像を取得する医療画像取得ステップと、
　前記医療画像における注目領域の情報を取得する情報取得ステップと、
　前記情報に基づいて、前記注目領域の強調表示を、前記医療画像がリアルタイムで取得されたリアルタイム画像であるか非リアルタイムで取得された非リアルタイム画像であるかに応じた表示態様に設定する態様設定ステップと、
　前記医療画像を前記設定された表示態様で表示装置に表示させる表示制御ステップと、
　前記医療画像と前記情報とを関連付けて記録装置に記録させる記録制御ステップと、
　を有する医療画像処理方法。