JP7346693B2 - 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム - Google Patents

Description

本発明は医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラムに係り、特に画面表示に関する。

一般的な内視鏡システムは、内視鏡の挿入部の先端から照明光を照射し、撮像素子を用いて観察対象を撮像し、観察対象の画像情報を取得する。撮像された画像はモニタに表示される。医師等のユーザはモニタに映し出された画像を観察し、検査を行う。

近年、深層学習を適用した高度な自動認識が可能となっている。非特許文献１は深層学習を適用した画像認識に関する技術が記載されている。内視鏡システムにおいても、深層学習を適用して作製された認識器を用いて、病変等の検出及び病変等の分類を自動で行うことが考えられている。その中でも、非特許文献２に記載されているＳＳＤ（Single Shot multi box Detector）と呼ばれる手法があり、検出と分類等とを一括して行えることが知られている。なお、病変等の分類は鑑別と呼ばれる場合があり得る。

特許文献１は、観察画像について特徴量を算出し、特徴量に基づいて病変候補領域を検出する内視鏡システムが記載されている。同システムは、観察画像に対し病変候補領域とは異なる領域に報知画像を表示させ、術者に対して病変候補領域が検出されたことを報知する。また、同システムは、観察画像に対し病変候補領域を囲むマーカー画像を付加し、病変候補領域の位置を示す処理を実施する。

同システムは、操作スイッチがオフの状態からオンの状態に切り替わる場合に、静止画像を表示させ、報知処理が終了され報知画像が非表示になり、強調表示が開始されマーカー画像が表示される。これにより、術者に対し、観察画像に対する注意力の低下を抑えている。

国際公開第２０１７／０７３３３７号

A.Krizhevsky, I.Sutskever,and G.Hinton著、「ImageNet classification with deep convolutional neural networks.」、NIPS(Neural Information Processing Systems conference), 2012 Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathieu, Rob Fergus, Yann LeCun著「OverFeat: Integrated Recognition, Localization and Detectionusing Convolutional Networks」、ICLR(International Conference on Learning Representations), 2014

しかしながら、内視鏡画像から病変の自動検出及び自動分類を実施する際に、順次表示される観察画像を静止させて観察する場合、病変が検出されたことを表す強調表示が、術者の観察の邪魔になる可能性がある。

特許文献１に記載のシステムは、静止画像を表示させる場合に強調表示が開始され、マーカー画像が表示されるので、静止画像を観察する際にマーカー画像が観察の邪魔になる可能性がある。

本発明はこのような事情に鑑みてなされたもので、病変が検出されたことを表す強調表示等が術者等の観察を妨げることを回避し得る、医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

第１態様に係る医用画像処理装置は、取得した医用画像から注目領域を検出する認識部であり、注目領域を分類する認識部と、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、表示装置を用いて観察画像の連続画像を表示させるか、又は観察画像の静止画像を表示させるかを切り替える観察画像切替部と、を備え、表示制御部は、観察画像切替部を用いて観察画像の連続画像表示を静止画像表示へ切り替えた場合に、観察画像の連続画像表示の場合と比較して強調表示及び分類の少なくともいずれかの視認性を弱める変更を実施する医用画像処理装置である。

第１態様によれば、ユーザが観察対象の静止画像を観察する際に、強調表示及び分類の少なくともいずれかが観察の妨げになることを抑制し得る。

注目領域の強調は、注目領域を視覚的に強調する態様を適用し得る。

強調表示及び分類の少なくともいずれかの視認性を弱める変更は、強調表示及び分類の少なくともいずれかを非表示とする態様が含まれ得る。

第１態様に係る医用画像処理装置は、医用画像を取得する医用画像取得部を備え得る。

第２態様は、第１態様の医用画像処理装置において、表示制御部は、観察画像の連続画像表示の場合と比較して強調表示及び分類の少なくともいずれかの視認性を弱める変更を実施する際に、分類の表示を実施する構成としてもよい。

第２態様によれば、強調表示及び分類の少なくともいずれかの表示態様を変更させる際に分類の表示を実施する。これにより、分類の利用が可能となる。

第２態様において、強調表示を非表示とし、分類の表示態様を変更しない態様を適用し得る。

第３態様は、第１態様又は第２態様の医用画像処理装置において、表示制御部は、強調表示及び分類の少なくともいずれかの位置を、観察画像が表示される画面において、観察画像が表示される領域の外の位置へ移動させる構成としてもよい。

第３態様によれば、強調表示及び分類の少なくともいずれかを観察画像を表示する領域の外の位置へ移動させる。これにより、強調表示及び分類の少なくともいずれかが、観察者の静止画像観察を妨げることを防止し得る。

第４態様は、第１態様から第３態様のいずれか一態様において、強調表示及び分類の少なくともいずれかの表示態様を変更したタイミングから表示態様を元に戻すタイミングまでの期間を設定する期間設定部を備え、表示制御部は、強調表示及び分類の少なくともいずれかの表示態様を変更したタイミングから、期間設定部を用いて設定された期間が経過した場合に表示態様を元に戻す構成としてもよい。

第４態様によれば、強調表示及び分類の少なくともいずれかの表示態様を変更し、規定期間が経過した際に、元の表示態様へ復帰させることが可能である。

第５態様は、第１態様から第４態様のいずれか一態様の医用画像処理装置において、操作部が操作された際に送信される指令信号を取得する指令信号取得部を備え、表示制御部は、指令信号取得部が観察画像の連像画像表示を静止画像表示へ切り替えることを表す指令信号を取得した場合に、観察画像の連続画像表示の場合と比較して強調表示及び分類の少なくともいずれかの視認性を弱める変更を実施する構成としてもよい。

第５態様によれば、操作部を用いて観察画像の連続画像表示を静止画像表示へ切り替える操作がされた場合に、注目領域の表示態様の変更及び注目領域の分類の表示態様の変更の少なくともいずれかを実施し得る。

第６態様は、第１態様から第５態様のいずれか一態様の医用画像処理装置において、認識部は、入力画像のサイズを段階的に小さくする処理を実施する複数のダウンサイジング処理部と、複数のダウンサイジング処理部のそれぞれの出力画像から特徴マップを生成する特徴マップ生成部と、を備えた構成としてもよい。

第７態様は、第６態様の医用画像処理装置において、ダウンサイジング処理部は、入力画像に対してプーリング処理を施すプーリング処理部、及び入力画像に対して畳み込み処理を施す畳み込み処理部の少なくともいずれかを備える構成としてもよい。

第７態様によれば、注目領域の検出及び注目領域の分類において、畳み込みニューラルネットワークを適用し得る。

第８態様は、第６態様又は第７態様の医用画像処理装置において、認識部は、特徴マップ生成部を用いて生成された複数の特徴マップから注目領域の特定及び注目領域の分類の少なくともいずれかを実施する注目領域認識部を備えた構成としてもよい。

第８態様によれば、注目領域の検出及び注目領域の分類の少なくともいずれかに、入力画像の特徴を表す特徴マップを適用し得る。

第９態様は、第８態様の医用画像処理装置において、注目領域認識部は、複数の特徴マップの重なり具合に基づき注目領域の検出及び注目領域の分類を実施する構成としてもよい。

第９態様によれば、注目領域の検出精度及び注目領域の分類精度が向上し得る。

第１０態様は、第１態様から第９態様のいずれか一態様の医用画像処理装置において、認識部は、少なくとも一つの画像に対して注目領域の検出及び注目領域の分類を一括して学習したパラメータを記憶するパラメータ記憶部を備える構成としてもよい。

第１０態様によれば、注目領域の検出処理の一部と注目領域の分類処理の一部とを共通化し得る。

第１１態様は、第１態様から第１０態様のいずれか一態様の医用画像処理装置において、表示制御部は、強調表示に注目領域を囲む閉曲線を適用し、強調表示の表示態様を変更する際に、閉曲線の色彩、濃度、及び線の種類の少なくともいずれかを変更する構成としてもよい。

第１１態様によれば、強調表示に閉曲線が適用される場合において、効果的に強調表示を弱めることが可能となる。

第１２態様は、第１態様から第１１態様のいずれか一態様の医用画像処理装置において、表示制御部は、強調表示の表示態様を変更する際に、強調表示の視認性を弱める位置に強調表示を移動させる構成としてもよい。

第１２態様によれば、強調表示が観察の妨げになることを抑制し得る。

第１３態様は、第１態様から第１２態様のいずれか一態様の医用画像処理装置において、表示制御部は、注目領域の分類を表す分類情報として分類の内容を表す文字情報を適用し、注目領域の分類の表示態様を変更する際に、文字情報の視認性を弱める位置に文字情報を移動させる構成としてもよい。

第１３態様によれば、注目領域の分類の内容を表す文字情報が観察の妨げになることを抑制し得る。

第１４態様は、第１３態様の医用画像処理装置において、表示制御部は、注目領域の分類の表示態様を変更する際に、文字情報の位置を、観察対象を表す画像を表示する領域の外に移動させる構成としてもよい。

第１４態様によれば、文字情報と観察対象を表す画像とが重畳しない。これにより、文字情報が観察の妨げになることを抑制し得る。

第１５態様は、第１４態様の医用画像処理装置において、表示制御部は、複数の注目領域が検出された場合に、複数の注目領域の位置関係を維持して、複数の注目領域のそれぞれの分類を表す複数の文字情報を、観察対象を表す画像を表示する領域の外に移動させる構成としてもよい。

第１５態様によれば、複数の分類の位置関係を用いて、観察対象を表す画像における複数の注目領域の位置関係を把握し得る。

第１６態様は、第１３態様から第１５態様のいずれか一態様の医用画像処理装置において、表示制御部は、注目領域の分類の表示態様を変更する際に、文字情報を分類の意味を表す文字列の頭文字のみを表示させる構成としてもよい。

第１６態様によれば、分類の視認性を弱め、かつ分類の内容を把握し得る。

第１７態様に係るプロセッサ装置は、内視鏡を制御する内視鏡制御部と、内視鏡を用いて取得した医用画像から注目領域を検出する認識部であり、注目領域を分類する認識部と、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、表示装置を用いて観察画像の連続画像を表示させるか、又は観察画像の静止画像を表示させるかを切り替える観察画像切替部と、を備え、表示制御部は、観察画像切替部を用いて観察画像の連続画像表示を静止画像表示へ切り替えた場合に、観察画像の連続画像表示の場合と比較して強調表示及び分類の少なくともいずれかの視認性を弱める変更を実施するプロセッサ装置である。

第１７態様によれば、第１態様と同様の効果を得ることができる。

第１７態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプロセッサ装置の構成要素として把握することができる。

第１８態様に係る内視鏡システムは、内視鏡と、内視鏡を制御するプロセッサ装置と、内視鏡を用いて取得した内視鏡画像に処理を施す医用画像処理装置と、を備えた内視鏡システムであって、医用画像処理装置は、取得した医用画像から注目領域を検出する認識部であり、注目領域を分類する認識部と、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、表示装置を用いて観察画像の連続画像を表示させるか、又は観察画像の静止画像を表示させるかを切り替える観察画像切替部と、を備え、表示制御部は、観察画像切替部を用いて観察画像の連続画像表示を静止画像表示へ切り替えた場合に、観察画像の連続画像表示の場合と比較して強調表示及び分類の少なくともいずれかの視認性を弱める変更を実施する内視鏡システムである。

第１８態様によれば、第１態様と同様の効果を得ることができる。

第１８態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う内視鏡システムの構成要素として把握することができる。

第１９態様に係る医用画像処理方法は、取得した医用画像から注目領域を検出する認識工程であり、注目領域を分類する認識工程と、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示工程と、表示装置を用いて観察画像の連続画像を表示させるか、又は観察画像の静止画像を表示させるかを切り替える観察画像切替工程と、を含み、表示工程は、観察画像切替工程において観察画像の連続画像表示を静止画像表示へ切り替えた場合に、観察画像の連続画像表示の場合と比較して強調表示及び分類の少なくともいずれかの視認性を弱める変更を実施する医用画像処理方法である。

第１９態様によれば、第１態様と同様の効果を得ることができる。

第１９態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医用画像処理方法の構成要素として把握することができる。

第２０態様に係るプログラムは、コンピュータに、取得した医用画像から注目領域を検出する認識機能であり、注目領域を分類する認識機能、注目領域を強調する強調表示及び注目領域の分類を、医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示機能、及び表示装置を用いて観察画像の連続画像を表示させるか、又は観察画像の静止画像を表示させるかを切り替える観察画像切替機能を実現させるプログラムであって、表示機能は、観察画像切替機能を用いて観察画像の連続画像表示を静止画像表示へ切り替えた場合に、観察画像の連続画像表示の場合と比較して強調表示及び分類の少なくともいずれかの視認性を弱める変更を実施するプログラムである。

第２０態様によれば、第１態様と同様の効果を得ることができる。

第２０態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。

本発明によれば、ユーザが観察対象の静止画像を観察する際に、強調表示及び分類の少なくともいずれかが観察の妨げになることを抑制し得る。

図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。 図２は医用画像処理装置のハードウェア構成を示すブロック図である。 図３は第一実施形態に係る医用画像処理装置の機能ブロック図である。 図４は第一実施形態に係る医用画像処理方法の手順を示すフローチャートである。 図５は注目領域の強調表示及び注目領域の分類表示の説明図である。 図６はフリーズ操作が実施された際の注目領域の強調表示及び注目領域の分類表示の説明図である。 図７はフリーズ操作が解除された際の注目領域の強調表示及び注目領域の分類表示の説明図である。 図８は第一変形例に係るフリーズ操作が実施された際の注目領域の強調表示及び注目領域の分類表示の説明図である。 図９は第二変形例に係るフリーズ操作が実施された際の注目領域の強調表示及び注目領域の分類表の説明図である。 図１０は第三変形例に係る強調表示の表示態様の変更の説明図である。 図１１は第四変形例に係る強調表示の表示態様の変更の説明図である。 図１２は第五変形例に係る強調表示の表示態様の変更の説明図である。 図１３は第六変形例に係る分類の表示態様の変更の説明図である。 図１４は第七変形例に係る分類の表示態様の変更の説明図である。 図１５は第二実施形態に係る医用画像処理装置の機能ブロック図である。 図１６は第二実施形態に係る医用画像処理方法の手順を示すフローチャートである。 図１７は畳み込みニューラルネットワークの説明図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

［内視鏡システムの全体構成］
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。図１に示す内視鏡システム９は、内視鏡１０、光源装置１１、プロセッサ装置１２、表示装置１３、医用画像処理装置１４、入力装置１５、及びモニタ装置１６を備える。

図１に示す内視鏡１０は電子内視鏡であり、かつ軟性内視鏡である。内視鏡１０は挿入部２０、操作部２１、及びユニバーサルコード２２を備える。挿入部２０は被検体内に挿入される。挿入部２０は、全体が細径で長尺状に形成されている。

挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７を備える。挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７が連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮像光学系及び撮像素子２８等が内蔵される。

撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。なお、ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。

先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓は図示しないカバーが取り付けられる。観察窓の後方には、図示しない撮像光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮像光学系等を介して、被観察部位の像光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位の像光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。

操作部２１は挿入部２０の基端側に連設される。操作部２１は、術者が操作する各種操作部材を備える。具体的には、操作部２１は、二種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、観察者、及びユーザ等を含み得る。

操作部２１は、送気送水ボタン３０、及び吸引ボタン３１を備える。送気送水ボタン３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３１は、術者が吸引操作を行う際に用いられる。

操作部２１は、静止画像撮像指示部３２、及び処置具導入口３３を備える。静止画像撮像指示部３２は、被観察部位の静止画像を撮像する際に術者が操作するボタンを備える。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。

ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。

また、ユニバーサルコード２２の先端部は、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐され、かつプロセッサ装置１２に接続されるコネクタ３７ｂを備える。

コネクタ３７ａが光源装置１１に接続された際に、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光、水等の液体、及び空気等の気体が供給される。

その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから先端面２７ａの図示しない観察窓に向けて気体又は水が噴射される。なお、被観察部位は観察対象、検査対象等と呼ばれる場合があり得る。

コネクタ３７ｂがプロセッサ装置１２に接続された際に、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力され、かつプロセッサ装置１２から内視鏡１０へ制御信号が出力される。

本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。

光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光又は特定の波長帯域の光を適用可能である。照明光は、白色光及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。

白色光は、白色の波長帯域の光又は複数の波長帯域の光のいずれでもよい。特定の波長帯域は、白色の波長帯域よりも狭い帯域である。特定の波長帯域の光は、一種類の波長帯域の光を適用してもよいし、複数の波長帯域の光を適用してもよい。特定の波長帯域は、特殊光と呼ばれる場合がある。

プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０へ指令信号を送信し、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。すなわち、プロセッサ装置１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。

プロセッサ装置１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像３８を生成する。ここでいう内視鏡画像３８には動画像が含まれる。内視鏡画像３８は静止画像３９が含まれてもよい。なお、動画像は符号３８ａを付して図３に図示する。実施形態に示す内視鏡画像３８は医用画像の一例に相当する。また、実施形態に示す動画像３８ａは連続画像の一例に相当する。

プロセッサ装置１２は、操作部２１の静止画像撮像指示部３２が操作された場合、動画像の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像３９を生成する。静止画像３９は、動画像の解像度に対して高解像度に生成されていてもよい。

内視鏡画像３８の生成の際に、プロセッサ装置１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ装置１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。実施形態に示すプロセッサ装置は、内視鏡を制御する内視鏡制御部を備えるプロセッサ装置の一例に相当する。

プロセッサ装置１２は、内視鏡画像３８を表示装置１３及び医用画像処理装置１４のそれぞれに出力する。プロセッサ装置１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、図示しない通信ネットワークを介して、図示しない記憶装置へ内視鏡画像３８を出力してもよい。なお、通信ネットワークは図２に示す通信ネットワーク１４０を適用し得る。

表示装置１３は、プロセッサ装置１２に接続される。表示装置１３は、プロセッサ装置１２から送信された内視鏡画像３８を表示する。術者は、表示装置１３に表示される内視鏡画像３８を確認しながら、挿入部２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３２を操作して被観察部位の静止画を撮像し得る。

医用画像処理装置１４は、コンピュータを適用し得る。入力装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置１５とコンピュータとの接続は有線接続又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。

医用画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を適用してもよい。この場合、入力装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、医用画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。

医用画像処理装置１４は、内視鏡画像３８の取得、及び内視鏡画像３８の記憶を行う。医用画像処理装置１４は、モニタ装置１６の再生制御を行う。なお、本明細書における画像という用語は、画像を表す電気信号、及び画像を表す情報等の画像データという意味が含まれている。本明細書における画像という用語は、画像自身、及び画像データの少なくともいずれかを意味している。

また、画像の記憶という用語は、画像の保存、及び画像の格納等と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。医用画像処理装置１４は画像を一時記憶する一時記憶用のメモリを備えてもよい。

入力装置１５は、医用画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、医用画像処理装置１４の制御の下、内視鏡画像３８の表示を行う。モニタ装置１６は、医用画像処理装置１４における各種情報の表示部として機能してもよい。

医用画像処理装置１４は、図１に図示しない通信ネットワークを介して、図示しない記憶装置と接続され得る。画像の格納形式、及び通信ネットワークを経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。

図示しない記憶装置は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。

［医用画像処理装置のハードウェア構成］
図２は医用画像処理装置のハードウェア構成を示すブロック図である。図２に示す医用画像処理装置１４は、プロセッサ１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、電源装置１２８、ディスプレイコントローラ１３０、入出力インターフェース１３２、及び入力コントローラ１３４を備える。なお、図２に示すＩ／Ｏは入出力インターフェースを表す。

プロセッサ１２０、メモリ１２２、ストレージ装置１２４、ネットワークコントローラ１２６、ディスプレイコントローラ１３０、及び入出力インターフェース１３２は、バス１３６を介してデータ通信が可能に接続される。

〔プロセッサ〕
プロセッサ１２０は、医用画像処理装置１４の全体制御部、各種演算部、及び記憶制御部として機能する。プロセッサ１２０は、メモリ１２２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。

プロセッサ１２０は、ネットワークコントローラ１２６を介して、図示しない外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、通信ネットワーク１４０を介して医用画像処理装置１４と通信可能に接続されていてもよい。

プロセッサ１２０は、メモリ１２２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、医用画像処理装置１４の各種機能が実現される。

プロセッサ１２０は、ストレージ装置１２４からのデータの読み出し、及びストレージ装置１２４へのデータの書き込みを制御する。プロセッサ１２０は、ネットワークコントローラ１２６を介して、外部の記憶装置から各種データを取得してもよい。プロセッサ１２０は、取得した各種データを用いて、演算等の各種処理を実行可能である。

プロセッサ１２０は、一つ又は二つ以上のデバイスが含まれてもよい。デバイスの一例として、ＦＰＧＡ（Field Programmable Gate Array）及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ及びＰＬＤは、製造後に回路構成を変更し得るデバイスである。

デバイスの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。

プロセッサ１２０は、同じ種類の二つ以上のデバイスを適用可能である。例えば、プロセッサ１２０は二つ以上のＦＰＧＡを用いてもよいし、二つのＰＬＤを用いてもよい。プロセッサ１２０は、異なる種類の二つ以上のデバイスを適用してもよい。例えば、プロセッサ１２０は一つ以上のＦＰＧＡと一つ以上のＡＳＩＣとを適用してもよい。

複数のプロセッサ１２０を備える場合、複数のプロセッサ１２０は一つのデバイスを用いて構成してもよい。一つのデバイスを用いて複数のプロセッサ１２０を構成する一例として、一つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて一つのデバイスを構成し、このデバイスが複数のプロセッサ１２０として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。

複数のプロセッサ１２０を一つのデバイスで構成する他の例として、複数のプロセッサ１２０を含むシステム全体の機能を一つのＩＣチップで実現するデバイスを使用する形態が挙げられる。複数のプロセッサ１２０を含むシステム全体の機能を一つのＩＣチップで実現するデバイスの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。このように、プロセッサ１２０は、ハードウェア的な構造として、各種のデバイスを一つ以上用いて構成される。

〔メモリ〕
メモリ１２２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、医用画像処理装置１４において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及びプロセッサ１２０のワーク領域等として機能する。

〔ストレージ装置〕
ストレージ装置１２４は、各種データを非一時的に記憶する。ストレージ装置１２４は、医用画像処理装置１４の外部に外付けされてもよい。ストレージ装置１２４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。ストレージ装置１２４は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等のストレージデバイスである。ストレージ装置１２４は、例えば、ＯＳ（Operation System）、アプリケーションプログラムおよび各種データ等を記憶してもよい。

〔ネットワークコントローラ〕
ネットワークコントローラ１２６は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ１２６を介して接続される通信ネットワーク１４０は、ＬＡＮなどの公知の通信ネットワークを適用し得る。

〔電源装置〕
電源装置１２８は、ＵＰＳ(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置１２８は停電等に起因して商用電源が遮断された際に、医用画像処理装置１４の各部へ電源を供給する。

〔ディスプレイコントローラ〕
ディスプレイコントローラ１３０は、プロセッサ１２０から送信される指令信号に基づいてモニタ装置１６を制御するディスプレイドライバーとして機能する。

〔入出力インターフェース〕
入出力インターフェース１３２は、医用画像処理装置１４と外部機器との通信可能に接続する。入出力インターフェース１３２は、ＵＳＢ（Universal Serial Bus）などの通信規格を適用し得る。

〔入力コントローラ〕
入力コントローラ１３４は、入力装置１５を用いて入力された信号の形式を医用画像処理装置１４の処理に適した形式に変換する。入力コントローラ１３４を介して入力装置１５から入力された情報は、プロセッサ１２０を介して各部へ送信される。

なお、図２に示す医用画像処理装置１４のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。また、図２に示すハードウェア構成は、図１に示すプロセッサ装置１２にも適用し得る。

［医用画像処理装置の機能ブロック］
図３は実施形態に係る医用画像処理装置の機能ブロック図である。医用画像処理装置１４は、画像取得部４０、認識部４２、表示制御部４４、記憶部４６、及び表示切替部４８を備える。

〔画像取得部〕
画像取得部４０は、プロセッサ装置１２から内視鏡１０を用いて撮像した内視鏡画像３８を取得する。画像取得部４０は、内視鏡画像３８を内視鏡画像記憶部４６ａへ記憶する。

画像取得部４０は、メモリカード等の情報記憶媒体を介して、プロセッサ装置１２から内視鏡画像３８を取得してもよい。画像取得部４０は、図２に示す通信ネットワーク１４０を介して内視鏡画像３８を取得してもよい。

画像取得部４０は、時系列のフレーム画像３８ｂから構成される動画像３８ａを取得し得る。画像取得部４０は動画像３８ａの撮像途中に静止画撮像が実施された場合に、静止画像３９を取得し得る。

〔認識部〕
認識部４２は、注目領域検出部４２ａ、強調表示設定部４２ｂ、及び分類部４２ｃを備える。認識部４２は、ＣＮＮ（Convolutional Neural Network）等の学習器を適用して内視鏡画像３８から注目領域を検出する。認識部４２は、注目領域を強調する強調表示を設定する。認識部４２は学習を適用して注目領域を分類する。

注目領域検出部４２ａは、画像取得部４０を用いて取得した内視鏡画像３８から注目領域を検出する。注目領域検出部４２ａは、内視鏡画像３８と内視鏡画像３８における注目領域とのペアを正解データとして、学習を実施した学習済みの学習器が適用される。注目領域検出部４２ａは、内視鏡画像３８から検出した注目領域を注目領域記憶部４６ｂへ記憶する。

強調表示設定部４２ｂは、内視鏡画像３８から検出された注目領域を強調する強調表示を設定する。強調表示設定部４２ｂは、注目領域の位置及び注目領域のサイズを特定し、注目領域の位置及び注目領域のサイズに応じて、強調表示の位置及び強調表示のサイズを特定する。強調表示設定部４２ｂは、強調表示の位置及び強調表示のサイズを含む強調表示の情報を注目領域と関連付けして記憶する。

強調表示設定部４２ｂは、注目領域を囲む閉曲線を強調表示に適用し得る。注目領域を囲む閉曲線は、注目領域を囲む四角形等の多角形、円、及び任意形状の閉曲線を適用し得る。注目領域を囲む閉曲線は、注目領域が内接する多角形及び円、注目領域と重なる多角形及び円、並びに注目領域を内部に含む多角形及び円であり、注目領域と非接触の多角形及び円等を適用し得る。

分類部４２ｃは、注目領域を分類する。例えば、分類部４２ｃは注目領域が病変であるか非病変であるかを分類する。分類部４２ｃは病変である注目領域の疾病名を特定してもよい。分類部４２ｃは、ＵＩＣＣ（Union for International Cancer Control）及びＴＮＭ分類等の規格化された分類を適用し得る。分類部４２ｃは注目領域ごとの分類を注目領域の情報を対応付けして分類記憶部４６ｃへ記憶する。

なお、ＴＮＭのＴは、tumorの頭文字である。ＴＮＭのＮは、nodesの頭文字である。ＴＮＭのＭは、metastasisの頭文字である。

なお、実施形態に記載の認識部４２は、操作部が操作された際に送信される指令信号を取得する指令信号取得部の一例に相当する。

〔表示制御部〕
表示制御部４４は、内視鏡画像３８をモニタ装置１６へ表示させる画像等を表す表示信号をモニタ装置１６へ送信する。表示制御部４４は、注目領域及び注目領域の分類を表す表示信号をモニタ装置１６へ送信する。表示制御部４４は、モニタ装置１６の制御信号をモニタ装置１６へ送信する。

モニタ装置１６は、内視鏡画像３８、注目領域、及び注目領域の分類を表示する。モニタ装置１６は、注目領域及び注目領域の分類を内視鏡画像３８に重畳表示し得る。モニタ装置１６は、内視鏡画像３８が表示される領域と区画された領域に注目領域及び注目領域の分類を表示し得る。表示制御部４４は、規定の更新間隔を適用して内視鏡画像３８の表示、注目領域の表示、及び注目領域の分類の表示を更新する。

〔記憶部〕
記憶部４６は、内視鏡画像記憶部４６ａ、注目領域記憶部４６ｂ、及び分類記憶部４６ｃを備える。内視鏡画像記憶部４６ａは、画像取得部４０を用いて取得した内視鏡画像３８を記憶する。

注目領域記憶部４６ｂは、注目領域の情報を記憶する。注目領域記憶部４６ｂは、注目領域を検出した内視鏡画像３８と関連付けされた注目領域の情報を記憶し得る。注目領域の情報は、内視鏡画像３８における注目領域の座標値及び注目領域の形状を適用し得る。

注目領域の座標値は、強調表示を設定する際に適用される強調表示の座標値に適用し得る。注目領域の形状は、注目領域の形態及び注目領域面積を含み得る。

分類記憶部４６ｃは、注目領域ごとの分類が注目領域の情報と関連付けして記憶される。注目領域の情報は、注目領域を特定し得る番号及び記号等が適用される。

記憶部４６は、一つ以上の記憶素子を適用し得る。すなわち、記憶部４６は、内視鏡画像記憶部４６ａ、注目領域記憶部４６ｂ、及び分類記憶部４６ｃのそれぞれに対応する三つの記憶素子を備え得る。また、内視鏡画像記憶部４６ａ、注目領域記憶部４６ｂ、及び分類記憶部４６ｃは、それぞれ複数の記憶素子を適用し得る。更に、内視鏡画像記憶部４６ａ、注目領域記憶部４６ｂ、及び分類記憶部４６ｃのうち二つ又は全てを、一つの記憶素子を用いて構成し得る。尚、記憶部４６として、図２のストレージ装置１２４を用いることができる。

〔表示変更部〕
表示切替部４８は、静止画像撮像指示部３２を術者が操作したことを表す指令信号を医用画像処理装置１４が取得した場合に、モニタ装置１６を用いて表示させる内視鏡画像３８の表示形態を変更する。

具体的には、術者が静止画像撮像指示部３２を操作した場合、画像取得部４０は被観察部位の静止画像３９を表す撮像データを取得し、表示切替部４８は被観察部位の動画像表示から静止画像表示へ表示画面の切り替えを実施する。

表示切替部４８は、観察画像について動画像表示から静止画像表示への切り替えを実施した際に、注目領域の強調表示及び注目領域の分類の少なくともいずれかを、相対的に弱める表示態様に切り替える。

表示切替部４８は、規定の復帰条件を満たした場合に、表示態様を変更した注目領域の強調表示及び注目領域の分類の少なくともいずれかを、元の表示態様へ切り替える。規定の復帰条件の一例として、静止画像表示から動画像表示への切り替えが実施された場合が挙げられる。

強調表示の表示形態の変更の例として、強調表示の濃度を下げて薄くする、強調表示の色彩を薄い色彩に変更する、実線の閉曲線が適用される場合に実線を破線等に変更する、及び強調表示を移動させる、強調表示を非表示とする等が挙げられる。

注目領域の分類の表示形態の変更の例として、分類を表す文字の濃度を下げる、分類を表す文字の色彩を薄い色彩に変更する、分類を表す文字のサイズを小さくする、及び分類を表す文字を移動させる、分類を表す文字を非表示とする等が挙げられる。注目領域の分類の表示形態の変更の他の例として、分類を表す文字列の一部を省略する、文字列を絵及びアイコン等に変更する等が挙げられる。文字列の一部を省略する例として、文字列を表す省略語を適用する及び文字列の頭文字を適用する等が挙げられる。

なお、実施形態に記載の表示切替部４８は、表示装置を用いて観察画像の動画像を表示させるか、又は観察画像の静止画像を表示させるかを切り替える観察画像切替部の一例に相当する。

［医用画像処理方法の手順］
図４は実施形態に係る医用画像処理方法の手順を示すフローチャートである。以下に説明する医用画像処理方法は、内視鏡１０を用いた検査の際に取得した内視鏡画像３８に適用してもよいし、医用画像サーバ等から取得した内視鏡画像３８に適用してもよい。

内視鏡画像取得工程Ｓ１０では、図３に示す画像取得部４０は、図１に示すプロセッサ装置１２から内視鏡画像３８を取得する。内視鏡画像取得工程Ｓ１０では、画像取得部４０は内視鏡画像記憶部４６ａへ内視鏡画像３８を記憶する。内視鏡画像取得工程Ｓ１０の後に注目領域検出工程Ｓ１２へ進む。

注目領域検出工程Ｓ１２では、注目領域検出部４２ａは内視鏡画像３８を構成する動画像３８ａの任意のフレーム画像３８ｂから注目領域を検出する。注目領域検出部４２ａは一枚のフレーム画像３８ｂから複数の注目領域を検出してもよい。

注目領域検出工程Ｓ１２では、注目領域検出部４２ａは動画像３８ａの全てのフレーム画像３８ｂから注目領域を検出してもよいし、規定の期間おきのフレーム画像３８ｂから注目領域を検出してもよい。

注目領域検出工程Ｓ１２では、注目領域検出部４２ａは注目領域をフレーム画像３８ｂの情報と関連付けして、注目領域記憶部４６ｂへ記憶する。注目領域検出工程Ｓ１２の後に分類工程Ｓ１４へ進む。なお、注目領域検出工程Ｓ１２は、注目領域を検出する認識工程の一例に相当する。

分類工程Ｓ１４では、分類部４２ｃは注目領域ごとに分類を実施する。分類工程Ｓ１４では、分類部４２ｃは注目領域ごとの分類を注目領域と関連付けして、分類記憶部４６ｃへ記憶する。分類工程Ｓ１４の後に表示工程Ｓ１６へ進む。なお、分類工程Ｓ１４は、注目領域を分類する認識工程の一例に相当する。

表示工程Ｓ１６では、強調表示設定部４２ｂは注目領域ごとに強調表示を設定し、強調表示の情報を表示制御部４４へ送信する。表示制御部４４は内視鏡画像３８を表示する画面に強調表示を表示させる。

表示工程Ｓ１６では、分類部４２ｃは注目領域ごとの分類の情報を表示制御部４４へ送信する。表示制御部４４は内視鏡画像３８を表示する画面に注目領域ごとの分類を表示させる。表示工程Ｓ１６の後に静止画像表示開始判定工程Ｓ１８へ進む。

静止画像表示開始判定工程Ｓ１８では、表示切替部４８は術者が静止画像撮像指示部３２を操作したか否かを判定する。静止画像表示開始判定工程Ｓ１８において、表示切替部４８が静止画像撮像指示部３２の操作がされていないと判定した場合はＮｏ判定となり、動画像表示を継続し、最終フレーム画像判定工程Ｓ３４へ進む。

一方、静止画像表示開始判定工程Ｓ１８において、表示切替部４８が静止画像撮像指示部３２の操作がされたと判定した場合はＹｅｓ判定となり、静止画像表示工程Ｓ１９へ進む。

静止画像表示工程Ｓ１９では、表示切替部４８は、観察画像について動画像表示から静止画像表示へ切り替えを実施する。静止画像表示工程Ｓ１９の後に第一変更判定工程Ｓ２０へ進む。なお、実施形態に記載の静止画像表示工程Ｓ１９は、観察画像の動画像表示を静止画像表示へ切り替える観察画像切替工程の一例に相当する。

第一変更判定工程Ｓ２０では、表示切替部４８は強調表示及び分類の表示態様を変更するか否かを判定する。第一変更判定工程Ｓ２０において、表示切替部４８が強調表示又は分類のいずれかの表示態様を変更すると判定した場合はＮｏ判定となり、第二変更判定工程Ｓ２２へ進む。

一方、第一変更判定工程Ｓ２０において、表示切替部４８が強調表示及び分類の表示態様を変更すると判定した場合はＹｅｓ判定となり、第一表示態様変更工程Ｓ２４へ進む。第一表示態様変更工程Ｓ２４では、表示切替部４８は強調表示及び分類の表示態様を変更することを表す指令信号を表示制御部４４へ送信する。

表示制御部４４は、静止画像並びに強調表示及び分類の表示態様を変更した表示制御信号をモニタ装置１６へ送信する。モニタ装置１６は、静止画像３９を表示し、強調表示及び分類を相対的に弱める表示態様に変更する。第一表示態様変更工程Ｓ２４の後に静止画像表示終了判定工程Ｓ３０へ進む。

第二変更判定工程Ｓ２２では、表示切替部４８は強調表示の表示態様のみを変更するか、又は分類の表示態様のみを変更するかを判定する。第二変更判定工程Ｓ２２において、表示切替部４８が強調表示の表示態様のみを変更すると判定した場合はＹｅｓ判定となり、第二表示態様変更判定工程Ｓ２６へ進む。

第二表示態様変更判定工程Ｓ２６では、表示切替部４８は強調表示の表示態様を変更することを表す指令信号を表示制御部４４へ送信する。表示制御部４４は静止画像及び強調表示の表示態様を変更した表示制御信号をモニタ装置１６へ送信する。モニタ装置１６は、静止画像３９を表示し、強調表示を相対的に弱める表示態様に変更する。第二表示態様変更判定工程Ｓ２６の後に静止画像表示終了判定工程Ｓ３０へ進む。

一方、第二変更判定工程Ｓ２２において、表示切替部４８が分類の表示態様のみを変更すると判定した場合はＮｏ判定となり、第三表示態様変更判定工程Ｓ２８へ進む。第三表示態様変更判定工程Ｓ２８では、表示切替部４８は分類の表示態様を変更することを表す指令信号を表示制御部４４へ送信する。表示制御部４４は静止画像及び分類の表示態様を変更した表示制御信号をモニタ装置１６へ送信する。モニタ装置１６は、静止画像３９を表示し、分類を相対的に弱める表示態様に変更する。第三表示態様変更判定工程Ｓ２８の後に静止画像表示終了判定工程Ｓ３０へ進む。

静止画像表示終了判定工程Ｓ３０では、表示切替部４８は静止画像表示を終了させることを表す指令信号を取得したか否かを判定する。静止画像表示終了判定工程Ｓ３０において、表示切替部４８が静止画像表示を終了させることを表す指令信号を取得しない場合はＮｏ判定となり、静止画像表示終了判定工程Ｓ３０においてＹｅｓ判定となるまで、静止画像表示終了判定工程Ｓ３０を実施する。

一方、静止画像表示終了判定工程Ｓ３０において、表示切替部４８が静止画像表示を終了させることを表す指令信号を取得した場合はＹｅｓ判定となり、表示復帰工程Ｓ３２へ進む。

表示復帰工程Ｓ３２では、表示切替部４８は第一表示態様変更工程Ｓ２４、第二表示態様変更判定工程Ｓ２６、及び第三表示態様変更判定工程Ｓ２８において切り替えた強調表示及び分類の少なくともいずれかを元に戻すことを表す指令信号を表示制御部４４へ送信する。

表示制御部４４は、動画像を表す表示信号及び動画像に対応する強調表示及び分類を表す表示信号をモニタ装置１６へ送信する。モニタ装置１６は動画像及び動画像に対応する強調表示及び分類を表示する。表示復帰工程Ｓ３２の後に最終フレーム画像判定工程Ｓ３４へ進む。

最終フレーム画像判定工程Ｓ３４では、医用画像処理装置１４は表示されている内視鏡画像３８が最終フレーム画像であるか否かを判定する。最終フレーム画像判定工程Ｓ３４において、医用画像処理装置１４が表示されている内視鏡画像３８が最終フレーム画像でないと判定した場合はＮｏ判定となり、内視鏡画像取得工程Ｓ１０へ進む。以降、最終フレーム画像判定工程Ｓ３４においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から最終フレーム画像判定工程Ｓ３４までの各工程を実施する。

一方、最終フレーム画像判定工程Ｓ３４において、医用画像処理装置１４が表示されている内視鏡画像３８が最終フレーム画像であると判定した場合はＹｅｓ判定となり、医用画像処理装置１４は医用画像処理方法を終了させる。

［強調表示の表示態様の変更及び分類の表示態様の変更の具体例］
次に、強調表示の表示態様の変更及び分類の表示態様の変更の具体例について説明する。以下の説明では、図１に示す内視鏡１０を用いて大腸を観察して得られた動画像３８ａにおける任意のフレーム画像３８ｂを例示する。なお、観察対象は大腸に限定されず、食道、胃、及び小腸等を観察対象としてもよい。

［強調表示及び分類の表示態様変更の具体例］
図５は注目領域の強調表示及び注目領域の分類表示の説明図である。図５に示す内視鏡画像３８は動画像３８ａであり、病変２００の強調表示であるバウンディングボックス２１０及び病変２００の分類２２０が重畳表示される。分類２２０は文字情報が適用される。

なお、図５に示す分類２２０は、注目領域の分類を表す分類情報として分類の内容を表す文字情報が適用された分類の一例に相当する。

図６はフリーズ操作が実施された際の注目領域の強調表示及び注目領域の分類表示の説明図である。図６に示す静止画像３９は、図５に示す動画像３８ａに対応する静止画像である。

図６に示す静止画像３９は、図５に示すバウンディングボックス２１０の表示態様が非表示に変更されている。また、図６に示す静止画像３９は、分類２２０の表示位置が観察対象を表す画像を表示する領域の外の位置に移動している。

図７はフリーズ操作が解除された際の注目領域の強調表示及び注目領域の分類表示の説明図である。図７に示す内視鏡画像３８は動画像３８ａであり、病変２００に対してバウンディングボックス２１０及び分類２２０が重畳表示される。

なお、図７に示す内視鏡画像３８は、図５に示す内視鏡画像３８のフレーム画像３８ｂに対して一フレーム以上後のフレーム画像３８ｂである。なお、図５及び図７ではフレーム画像を表す符号３８ｂの図示を省略する。

［第一実施形態に係る医用画像処理装置及び医用画像処理方法の作用効果］
第一実施形態に係る医用画像処理装置及び医用画像処理方法によれば、以下の作用効果を得ることが可能である。

〔１〕
内視鏡画像３８の動画像３８ａの観察において、病変２００である注目領域を強調するバウンディングボックス２１０及び注目領域の分類２２０を表示させる。静止画像撮像指示部３２が操作された場合に、観察画像が動画像３８ａから静止画像３９へ切り替えられる。静止画像３９は、動画像を表示させる場合と比較して、バウンディングボックス２１０及び分類２２０の少なくともいずれか一方の視認性を相対的に弱める表示態様の変更を実施する。これにより、バウンディングボックス２１０及び分類２２０の少なくともいずれかが観察者の静止画像の妨げになることを回避し得る。

〔２〕
動画像を表示させる場合と比較して、バウンディングボックス２１０及び分類２２０の視認性を相対的に弱める表示態様の変更は、バウンディングボックス２１０の非表示への変更、及び分類２２０の表示位置の変更を適用し得る。これにより、静止画像観察において分類２２０の利用が可能である。

［強調表示及び分類の表示態様変更の変形例］
〔第一変形例〕
図８は第一変形例に係るフリーズ操作が実施された際の注目領域の強調表示及び注目領域の分類表示の説明図である。図８に示す静止画像３９は、図５に示す分類２２０の表示態様が非表示に変更されている。一方、図８に示す静止画像３９は、バウンディングボックス２１０の表示態様は変更されていない。

第一変形例によれば、分類の表示が観察者の観察の妨げになることを防止し、かつ強調表示の利用が可能となる。なお、第一変形例において、バウンディングボックス２１０の表示態様の変更を併用してもよい。

〔第二変形例〕
図９は第二変形例に係るフリーズ操作が実施された際の注目領域の強調表示及び注目領域の分類表の説明図である。図９に示す静止画像３９は、図５に示すバウンディングボックス２１０の表示態様が非表示に変更されている。一方、図９に示す静止画像３９は、分類２２０の表示態様は変更されていない。

第二変形例によれば、強調表示が観察者の観察の妨げになることを防止し、かつ分類の利用が可能となる。なお、第二変形例において、分類２２０の表示態様の変更を併用してもよい。

〔第三変形例〕
図１０は第三変形例に係る強調表示の表示態様の変更の説明図である。同図に示す静止画像３９は、第一病変２００ａに対応する第一注目領域２０１ａに対して第一バウンディングボックス２１０ａ及び第一分類２２０ａが重畳表示される。

同様に、第二病変２０２ａに対応する第二注目領域２０３ａに対して第二バウンディングボックス２１２ａ及び第二分類２２２ａが重畳表示される。更に第三病変２０４ａに対応する第三注目領域２０５ａに対して第三バウンディングボックス２１４ａ及び第三分類２２４ａが重畳表示される。

第一バウンディングボックス２１０ａ、第二バウンディングボックス２１２ａ、及び第三バウンディングボックス２１４ａは、図５に示すバウンディングボックス２１０と比較して濃度が下げられ薄くされている。一方、第一分類２２０ａ、第二分類２２２ａ、及び第三分類２２４ａは、図５に示す第一分類２２０ａと比較して濃度は変更されていない。

第三変形例によれば、強調表示の強調の程度を弱める態様として、強調表示の濃度を下げる態様を適用し得る。これにより、強調表示の視認性を弱め、強調表示が観察者における観察の妨げになることを回避し得る。また、強調表示及び分類の両者の利用が可能である。

〔第四変形例〕
図１１は第四変形例に係る強調表示の表示態様の変更の説明図である。同図に示す静止画像３９は、第一病変２００ａに対応する第一注目領域２０１ａに対して第四バウンディングボックス２１０ｂ及び第一分類２２０ａが重畳表示される。

同様に、第二病変２０２ａに対応する第二注目領域２０３ａに対して第五バウンディングボックス２１２ｂ及び第二分類２２２ａが重畳表示される。更に第三病変２０４ａに対応する第三注目領域２０５ａに対して第六バウンディングボックス２１４ｂ及び第三分類２２４ａが重畳表示される。

第四バウンディングボックス２１０ｂ、第五バウンディングボックス２１２ｂ、及び第六バウンディングボックス２１４ｂは、図５に示すバウンディングボックス２１０と比較して、線の種類が変更され点線が適用される。一方、第一分類２２０ａ、第二分類２２２ａ、及び第三分類２２４ａは、図５に示す第一分類２２０ａからの変更はされていない。

第四変形例によれば、強調表示の強調の程度を弱める態様として、強調表示を構成する線の種類を変更する態様を適用し得る。これにより、強調表示の視認性を弱め、強調表示が観察者における観察の妨げになることを回避し得る。また、強調表示及び分類の両者の利用が可能である。

〔第五変形例〕
図１２は第五変形例に係る強調表示の表示態様の変更の説明図である。同図に示す静止画像３９は、第一病変２００ａに対応する第一注目領域２０１ａに対して第七バウンディングボックス２１０ｃ及び第一分類２２０ａが重畳表示される。

同様に、第二病変２０２ａに対応する第二注目領域２０３ａに対して第八バウンディングボックス２１２ｃ及び第二分類２２２ａが重畳表示される。更に第三病変２０４ａに対応する第三注目領域２０５ａに対して第九バウンディングボックス２１４ｃ及び第三分類２２４ａが重畳表示される。

第七バウンディングボックス２１０ｃは第一注目領域２０１ａを囲まない位置に配置される。また、第八バウンディングボックス２１２ｃは第二注目領域２０３ａを囲まない位置に配置される。更に、第九バウンディングボックス２１４ｃは第三注目領域２０５ａを囲まない位置に配置される。

第五変形例によれば、強調表示の強調の程度を弱める態様として、特徴領域を囲まない位置へ強調表示の位置を変更する態様を適用し得る。これにより、強調表示の視認性を弱め、強調表示が観察者における観察の妨げになることを回避し得る。また、強調表示及び分類の両者の利用が可能である。なお、特徴領域を囲まない位置へ強調表示の位置を変更する態様は、強調領域が特徴領域の一部を囲む位置への変更が含まれ得る。

〔第六変更例〕
図１３は第六変形例に係る分類の表示態様の変更の説明図である。同図に示す静止画像３９は、第一病変２００ａに対応する第一病変２００ａの分類を表す第四分類２２０ｂ、第二病変２０２ａに対応する第二病変２０２ａの分類を表す第五分類２２２ｂ、第三病変２０４ａに対応する第三病変２０４ａの分類を表す及び第六分類２２４ｂが、静止画像３９における観察画像と非重畳の位置へ移動させている。

また、第四分類２２０ｂ、第五分類２２２ｂ、及び第六分類２２４ｂの相互の位置関係は、図１０に示す第一分類２２０ａ、第二病変２０２ａ、及び第三分類２２４ａの相互の位置関係が維持されている。

更に、第四分類２２０ｂは、第一分類２２０ａに適用された文字列の一部が省略された略語が適用される。同様に、第五分類２２２ｂは、第二分類２２２ａに適用された文字列の一部が省略された略語が適用され、第六分類２２４ｂは、第三分類２２４ａに適用された文字列の一部が省略された略語が適用される。

なお、図１３に示す符号２１０は、図１０に示す第一バウンディングボックス２１０ａの表示態様を変更する前のバウンディングボックスである。符号２１２は、第二バウンディングボックス２１２ａの表示態様を変更する前のバウンディングボックスである。符号２１４は第三バウンディングボックス２１４ａの表示態様を変更する前のバウンディングボックスである。図１４についても同様である。

第六変形例によれば、分類の視認性を弱める態様として、分類を表す文字情報を観察画像と非重畳の位置へ変更させる態様を適用し得る。これにより、分類の視認性を弱め、分類が観察者における観察の妨げになることを回避し得る。また、強調表示及び分類の両者の利用が可能である。

〔第七変形例〕
図１４は第七変形例に係る分類の表示態様の変更の説明図である。同図に示す静止画像３９は、第七分類２２０ｃに第一分類２２０ａに適用された文字列ＨｙｐｅｒＰｌａｓｔｉｃの頭文字Ｈが適用される。同様に、第八分類２２２ｃは、第二分類２２２ａに適用された文字列の頭文字Ａが適用され、第九分類２２４ｃは、第三分類２２４ａに適用された文字列の頭文字Ｈが適用される。

第七変形例によれば、分類の視認性を弱める態様として、分類を表す文字情報を文字情報の頭文字へ変更させる態様を適用し得る。これにより、分類の視認性を弱め、分類が観察者における観察の妨げになることを回避し得る。また、強調表示及び分類の両者の利用が可能である。

〔第八変形例〕
注目領域の表示態様の変更に注目領域の表示オフを可能とする。分類の表示態様の変更に分類の表示オフを可能とする。サイクリックに動作するスイッチを用いて、標準の表示態様、表示を継続して弱める表示態様、及び表示をオフする表示態様を切り替えることが可能である。

〔第九変形例〕
医用画像は、任意の一方向に対して直交する複数の面について、観察対象を撮像して得られた連続画像を適用し得る。かかる連続画像の例として、ＣＴ画像及びＭＲＩ画像等が挙げられる。

連続画像表示の例として、ＣＴ画像に含まれる複数の断層撮像画像を任意の一方向について連続的に表示させる態様が挙げられる。なお、ＣＴはComputed Tomographyの省略語である。ＭＲＩはMagnetic Resonance Imagingの省略語である。なお、第一変形例から第九変形例は、後述する第二実施形態にも適用可能である。

［第二実施形態に係る医用画像処理装置］
図１５は第二実施形態に係る医用画像処理装置の機能ブロック図である。同図に示す医用画像処理装置１４ａは、図３に示す医用画像処理装置１４に対して、期間設定部４９が追加されている。

期間設定部４９は、強調表示及び分類の表示態様を変更したタイミングから、強調表示及び分類の表示態様を変更前の元の表示態様に戻すタイミングまでの期間を設定する。期間設定部４９は設定した期間を規定の記憶部へ記憶する。規定の記憶部は記憶部４６に具備し得る。

期間設定部４９は、入力装置１５から入力された信号に基づき、表示態様変更から表示態様復帰までの期間を設定し得る。期間設定部４９は、予め記憶されている期間を読み出し、読み出した期間を、表示態様変更から表示態様復帰までの期間として設定し得る。

期間設定部４９は、トリガ信号に基づきカウントを開始し、設定された期間が経過した際に設定期間が経過したことを表す指令信号を出力するタイマー回路又はカウンター回路を適用し得る。

［第二実施形態に係る医用画像処理方法］
図１６は第二実施形態に係る医用画像処理方法の手順を示すフローチャートである。同図に示すフローチャートは、図４に示すフローチャートに対して、期間設定工程Ｓ１が追加され、図４に示す静止画像表示終了判定工程Ｓ３０に代わり、期間経過判定工程Ｓ３１が追加される。

期間設定工程Ｓ１では、期間設定部４９は、図１５に示す強調表示及び分類の表示態様を変更したタイミングから、強調表示及び分類の表示態様を変更前の元の表示態様に戻すタイミングまでの期間を設定する。

期間経過判定工程Ｓ３１では、表示切替部４８は、表示態様を変更したタイミングから期間設定工程Ｓ１において設定された期間が経過したか否かを判定する。期間経過判定工程Ｓ３１において、表示切替部４８が設定された期間を経過していないと判定した場合はＮｏ判定となり、期間経過判定工程Ｓ３１においてＹｅｓ判定となるまで期間経過判定工程Ｓ３１を継続する。

一方、期間経過判定工程Ｓ３１において、表示切替部４８が設定された期間を経過したと判定した場合はＹｅｓ判定となり、表示復帰工程Ｓ３２へ進む。表示復帰工程Ｓ３２では、表示切替部４８は、強調表示及び分類の表示態様を元の表示態様へ変更する。

図１６に示すフローチャートでは、期間設定工程Ｓ１を実施した後に内視鏡画像取得工程Ｓ１０へ進む態様を設定したが、期間設定工程Ｓ１は強調表示及び分類の表示態様を変更する前までに実施されればよい。

［第二実施形態の作用効果］
第二実施形態に係る医用画像処理装置及び医用画像処理方法によれば、以下の作用効果を得ることが可能である。また、第二実施形態に係る医用画像処理装置等は、第一実施形態と同様の作用効果を得ることが可能である。

〔１〕
強調表示及び分類の表示態様が変更されたタイミングから規定期間が形態した後に、強調表示及び分類の表示態様が元の表示態様に復帰する。これにより、強調表示及び分類の表示態様の自動復帰が可能となる。

〔２〕
強調表示及び分類の表示態様が変更されたタイミングから強調表示及び分類の表示態様を復帰させるまでの規定期間を設定し得る。これにより、表示態様の変更から表示態様の復帰までの期間を規定し得る。

［畳み込みニューラルネットワークの具体例］
図１７は畳み込みニューラルネットワークの説明図である。ネットワーク３００は、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータが初期値から最適値に更新されることで、未学習モデルが学習済みモデルとなる。

ネットワーク３００は、入力層３１０、中間層３１２、及び出力層３１４を備える。中間層３１２は、第一畳み込み層３２０ａ、第一プーリング層３２２ａ、第二畳み込み層３２０ｂ、第二プーリング層３２２ｂ、第三畳み込み層３２０ｃ、及び全結合層３２４を備える。各層は複数のノードがエッジで結ばれる構造を有している。

入力層３１０は学習対象の内視鏡画像３８が入力される。中間層３１２は内視鏡画像３８から特徴を抽出する。第一畳み込み層３２０ａ、第二畳み込み層３２０ｂ、及び第三畳み込み層３２０ｃは前の層のノードにフィルタ処理を施して特徴マップを取得する。すなわち、第一畳み込み層３２０ａ、第二畳み込み層３２０ｂ、及び第三畳み込み層３２０ｃは、ノードに対してフィルタを使用した畳み込み演算を実施する。

第一畳み込み層３２０ａは、２０個のフィルタを用いて、３２×３２サイズの内視鏡画像３８から、２０個の２８×２８サイズの特徴マップを生成する。第二畳み込み層３２０ｂは、２０個の１４×１４サイズの特徴マップから、２０個の１０×１０サイズの特徴マップを生成する。第三畳み込み層３２０ｃは、２０個の１０×１０サイズの特徴マップから、２０個の５×５サイズの特徴マップを生成する。

第一プーリング層３２２ａは、第一畳み込み層３２０ａから出力された特徴マップを縮小して新たな特徴マップを生成する。第二プーリング層３２２ｂは、第二畳み込み層３２０ｂから出力された特徴マップを縮小して新たな特徴マップを生成する。

第一プーリング層３２２ａは、２０個の２８×２８サイズの特徴マップから、２０個の１４×１４サイズの特徴マップを生成する。第二プーリング層３２２ｂは、２０個の１０×１０サイズの特徴マップから、２０個の５×５サイズの特徴マップを生成する。

第一プーリング層３２２ａ及び第二プーリング層３２２ｂは、抽出された特徴が平行移動などによる影響を受けないようにロバスト性を与える役割を担う。なお、中間層３１２は畳み込み層及びプーリング層を一セットとする場合に限らず、畳み込み層が連続する場合、及び図示しない正規化層が含まれる構成もあり得る。

全結合層３２４は、前の層のすべての出力を次の層の全てのノードに結合する。すなわち、全結合層３２４は第三畳み込み層３２０ｃの出力を出力層３１４の全てのノードに結合する。

出力層３１４は、中間層３１２を適用して内視鏡画像３８から抽出された特徴を出力する。図３に示す認識部４２は、内視鏡画像３８から注目領域を抽出するネットワーク、及び注目領域の分類を実施するネットワークを備える。

学習前のネットワーク３００における第一畳み込み層３２０ａ等に適用されるフィルタ係数、オフセット値及び全結合層３２４における次の層との接続の重みは、任意の初期値が設定される。

ネットワーク３００は、出力層３１４から出力される出力結果、出力結果に対する正解データを取得し、両者間の誤差を算出する。誤差の算出方法として、ソフトマックスエントロピー及びシグモナイド等が挙げられる。

ネットワーク３００は、算出された誤差を基に、誤差伝播法を適用してネットワーク３００のパラメータを調整する。ネットワーク３００はパラメータの調整を繰り返し実施し、出力結果と正解データとの誤差が小さくなるまで学習を実施する。

学習後のネットワーク３００は、入力画像に対する注目領域及び注目領域の分類の少なくともいずれかを出力する。出力結果を正解データとして、入力画像と出力結果とのペアを用いてネットワーク３００を再学習してもよい。

内視鏡画像３８から注目領域を検出するネットワークと、注目領域を分類するネットワークとは、中間層３１２の一部において共通の処理が実施される。そこで、内視鏡画像３８から注目領域を検出するネットワークと、注目領域を分類するネットワークとは、中間層３１２の一部のパラメータを共通化することが可能である。

図示を省略するが、認識部４２は、内視鏡画像３８から注目領域を検出するネットワークに適用されるパラメータ、及び注目領域を分類するネットワークに適用されるパラメータを記憶するパラメータ記憶部を備える。

内視鏡画像３８から注目領域を検出するネットワークと、注目領域を分類するネットワークとは、特徴マップの重なり具合に基づき、注目領域の位置の特定及び注目領域の分類を実施し得る。

内視鏡画像３８から注目領域を検出するネットワークと、注目領域を分類するネットワークとは、一つの内視鏡画像３８に対して、注目領域の検出及び注目領域の分類を一括して学習し得る。

実施形態に記載の複数の畳み込み層は、入力画像のサイズを段階的に小さくする処理を実施する複数のダウンサイジング部の一例に相当する。実施形態に記載の複数の畳み込み層及び複数のプーリング層の組み合わせは、入力画像のサイズを段階的に小さくする処理を実施する複数のダウンサイジング部の一例に相当する。

実施形態に記載の畳み込み層は、ダウンサイジング処理部のそれぞれの出力画像から特徴マップを生成する特徴マップ生成部の一例に相当する。

実施形態に記載のネットワーク３００は、特徴マップから特徴領域の特定及び特徴領域の分類の少なくともいずれかを実施する注目領域認識部の一例に相当する。

実施形態に記載のプーリング層は、入力画像に対してプーリング処理を施すプーリング処理部の一例に相当する。実施形態に記載の畳み込み層は、畳み込み処理部の一例に相当する。

［内視鏡システムの変形例］
〔プロセッサ装置の変形例〕
プロセッサ装置１２は、医用画像処理装置１４の機能を有してもよい。すなわち、プロセッサ装置１２は、医用画像処理装置１４と一体に構成されてもよい。かかる態様では、表示装置１３はモニタ装置１６と兼用し得る。プロセッサ装置１２は入力装置１５を接続させる接続端子を備え得る。

〔照明光の変形例〕
本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。

本実施形態に示す内視鏡システム９を用いて取得可能な医用画像の他の例として、特定の波長帯域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。

〈第一変形例〉
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。

〈第二変形例〉
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。

〈第三変形例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。

〈第四変形例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。

〈第五変形例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。

〔特殊光画像の生成例〕
プロセッサ装置１２は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。

なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。

〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。

［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した医用画像処理方法は、コンピュータを用いて、医用画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、コンピュータに、取得した内視鏡画像３８から注目領域を検出し、注目領域を分類する認識機能、注目領域を強調する強調表示及び注目領域の分類を内視鏡画像３８と同一の画面に表示させる表示機能、及び観察画像の動画像を表示させるか、又は観察画像の静止画像を表示させるかを切り替える観察画像切替機能を実現させるプログラムであって、表示機能は、観察画像切替機能を用いて観察画像の動画像表示を静止画像表示へ切り替えた場合に、観察画像の動画像を表示させる場合と比較して強調表示及び分類の少なくともいずれかの視認性を弱める変更を実施するプログラムを構成し得る。

上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。

また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、通信ネットワークを介してプログラム信号を提供する態様も可能である。

［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。

９ 内視鏡システム
１０ 内視鏡
１１ 光源装置
１２ プロセッサ装置
１３ 表示装置
１４ 医用画像処理装置
１４ａ 医用画像処理装置
１５ 入力装置
１６ モニタ装置
２０ 挿入部
２１ 操作部
２２ ユニバーサルコード
２５ 軟性部
２６ 湾曲部
２７ 先端部
２７ａ 先端面
２８ 撮像素子
２９ 湾曲操作ノブ
３０ 送気送水ボタン
３１ 吸引ボタン
３２ 静止画像撮像指示部
３３ 処置具導入口
３５ ライトガイド
３６ 信号ケーブル
３７ａ コネクタ
３７ｂ コネクタ
３８ 内視鏡画像
３８ａ 動画像
３８ｂ フレーム画像
３９ 静止画像
４０ 画像取得部
４２ 認識部
４２ａ 注目領域検出部
４２ｂ 強調表示設定部
４２ｃ 分類部
４４ 表示制御部
４６ 記憶部
４６ａ 内視鏡画像記憶部
４６ｂ 注目領域記憶部
４６ｃ 分類記憶部
４８ 表示切替部
４９ 期間設定部
１２０ プロセッサ
１２２ メモリ
１２４ ストレージ装置
１２６ ネットワークコントローラ
１２８ 電源装置
１３０ ディスプレイコントローラ
１３２ 入出力インターフェース
１３４ 入力コントローラ
１３６ バス
１４０ 通信ネットワーク
２００ 病変
２００ａ 第一病変
２０１ａ 第一注目領域
２０２ａ 第二病変
２０３ａ 第二注目領域
２０４ａ 第三病変
２０５ａ 第三注目領域
２１０ バウンディングボックス
２１０ａ 第一バウンディングボックス
２１０ｂ 第四バウンディングボックス
２１０ｃ 第七バウンディングボックス
２１２ バウンディングボックス
２１２ａ 第二バウンディングボックス
２１２ｂ 第五バウンディングボックス
２１２ｃ 第八バウンディングボックス
２１４ バウンディングボックス
２１４ａ 第三バウンディングボックス
２１４ｂ 第六バウンディングボックス
２１４ｃ 第九バウンディングボックス
２２０ 分類
２２０ａ 第一分類
２２０ｂ 第四分類
２２０ｃ 第七分類
２２２ａ 第二分類
２２２ｂ 第五分類
２２２ｃ 第八分類
２２４ａ 第三分類
２２４ｂ 第六分類
２２４ｃ 第九分類
３００ ネットワーク
３１０ 入力層
３１２ 中間層
３１４ 出力層
３２０ａ 第一畳み込み層
３２０ｂ 第二畳み込み層
３２０ｃ 第三畳み込み層
３２２ａ 第一プーリング層
３２２ｂ 第二プーリング層
３２４ 全結合層
Ｓ１からＳ３４ 医用画像処理方法の各工程

Claims (39)

1. 取得した医用画像から注目領域を検出する認識部と、
   前記注目領域を強調する強調表示を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
   表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替部と、
   を備え、
   前記表示制御部は、前記観察画像切替部が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記強調表示の視認性を弱める変更を実施する医用画像処理装置。
2. 前記認識部は、検出した前記注目領域を分類し、
   前記表示制御部は、前記観察画像の連続画像表示の場合と比較して前記強調表示の視認性を弱める変更を実施し、かつ、前記観察画像の連続画像表示の場合と比較して前記分類の表示位置を異ならせる請求項１に記載の医用画像処理装置。
3. 前記表示制御部は、前記強調表示の位置を、前記観察画像が表示される画面において、前記観察画像が表示される領域の外の位置へ移動させる請求項１又は２に記載の医用画像処理装置。
4. 前記強調表示の表示態様を変更したタイミングから表示態様を元に戻すタイミングまでの期間を設定する期間設定部を備え、
   前記表示制御部は、前記強調表示の表示態様を変更したタイミングから、前記期間設定部によって設定された期間が経過した場合に表示態様を元に戻す請求項１から３のいずれか一項に記載の医用画像処理装置。
5. 操作部が操作された際に送信される指令信号を取得する指令信号取得部を備え、
   前記表示制御部は、前記指令信号取得部が前記観察画像の連続画像表示を静止画像表示へ切り替えることを表す指令信号を取得した場合に、前記観察画像の連続画像表示の場合と比較して前記強調表示の視認性を弱める変更を実施する請求項１から４のいずれか一項に記載の医用画像処理装置。
6. 前記認識部は、入力画像のサイズを段階的に小さくする処理を実施する複数のダウンサイジング処理部と、
   前記複数のダウンサイジング処理部のそれぞれの出力画像から特徴マップを生成する特徴マップ生成部と、
   を備えた請求項１から５のいずれか一項に記載の医用画像処理装置。
7. 前記ダウンサイジング処理部は、入力画像に対してプーリング処理を施すプーリング処理部、及び入力画像に対して畳み込み処理を施す畳み込み処理部の少なくともいずれかを備える請求項６に記載の医用画像処理装置。
8. 前記認識部は、前記特徴マップ生成部によって生成された複数の前記特徴マップから前記注目領域の特定を実施する注目領域認識部を備えた請求項６又は７に記載の医用画像処理装置。
9. 前記注目領域認識部は、前記複数の特徴マップの重なり具合に基づき前記注目領域の検出を実施する請求項８に記載の医用画像処理装置。
10. 前記表示制御部は、前記強調表示に前記注目領域を囲む閉曲線を適用し、前記強調表示の表示態様の変更として、前記閉曲線の色彩、濃度、及び線の種類の少なくともいずれかを変更する請求項１から９のいずれか一項に記載の医用画像処理装置。
11. 前記表示制御部は、前記強調表示の表示態様の変更として、前記強調表示の視認性を弱める位置に前記強調表示を移動させる請求項１から１０のいずれか一項に記載の医用画像処理装置。
12. 内視鏡を制御する内視鏡制御部と、
    前記内視鏡によって取得された医用画像から注目領域を検出する認識部と、
    前記注目領域を強調する強調表示を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替部と、
    を備え、
    前記表示制御部は、前記観察画像切替部が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記強調表示の視認性を弱める変更を実施するプロセッサ装置。
13. 内視鏡と、
    前記内視鏡を制御するプロセッサ装置と、
    前記内視鏡によって取得された内視鏡画像に処理を施す医用画像処理装置と、
    を備えた内視鏡システムであって、
    前記医用画像処理装置は、
    取得した医用画像から注目領域を検出する認識部と、前記注目領域を強調する強調表示を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替部と、
    を備え、
    前記表示制御部は、前記観察画像切替部が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記強調表示の視認性を弱める変更を実施する内視鏡システム。
14. コンピュータが適用される医用画像処理装置の作動方法であって、
    前記コンピュータが、
    取得した医用画像から注目領域を検出する認識工程と、
    前記注目領域を強調する強調表示を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示工程と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替工程と、
    を実行し、
    前記表示工程は、前記観察画像切替工程において前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記強調表示の視認性を弱める変更を実施する医用画像処理装置の作動方法。
15. コンピュータに、
    取得した医用画像から注目領域を検出する認識機能、
    前記注目領域を強調する強調表示を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示機能、及び
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替機能を実現させるプログラムであって、
    前記表示機能は、前記観察画像切替機能が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記強調表示の視認性を弱める変更を実施するプログラム。
16. 取得した医用画像から注目領域を検出し、検出した前記注目領域を分類する認識部と、
    前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替部と、
    を備え、
    前記表示制御部は、前記観察画像切替部が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記分類の視認性を弱める変更を実施する医用画像処理装置。
17. 前記表示制御部は、前記観察画像の連続画像表示の場合と比較して前記分類の視認性を弱める変更として、前記分類の表示位置を異ならせる請求項１６に記載の医用画像処理装置。
18. 前記表示制御部は、前記分類の位置を、前記観察画像が表示される画面において、前記観察画像が表示される領域の外の位置へ移動させる請求項１６又は１７に記載の医用画像処理装置。
19. 前記分類の表示態様を変更したタイミングから表示態様を元に戻すタイミングまでの期間を設定する期間設定部を備え、
    前記表示制御部は、前記分類の表示態様を変更したタイミングから、前記期間設定部によって設定された期間が経過した場合に表示態様を元に戻す請求項１６から１８のいずれか一項に記載の医用画像処理装置。
20. 操作部が操作された際に送信される指令信号を取得する指令信号取得部を備え、
    前記表示制御部は、前記指令信号取得部が前記観察画像の連続画像表示を静止画像表示へ切り替えることを表す指令信号を取得した場合に、前記観察画像の連続画像表示の場合と比較して前記分類の視認性を弱める変更を実施する請求項１６から１９のいずれか一項に記載の医用画像処理装置。
21. 前記表示制御部は、前記注目領域の分類を表す分類情報として分類の内容を表す文字情報を適用し、前記注目領域の分類の表示態様の変更として、前記文字情報の視認性を弱める位置に前記文字情報を移動させる請求項１６から２０のいずれか一項に記載の医用画像処理装置。
22. 前記表示制御部は、前記注目領域の分類の表示態様の変更として、前記文字情報の位置を、前記観察対象を表す画像を表示する領域の外に移動させる請求項２１に記載の医用画像処理装置。
23. 前記表示制御部は、複数の前記注目領域が検出された場合に、前記複数の注目領域の位置関係を維持して、前記複数の注目領域のそれぞれの分類を表す複数の文字情報を、前記観察対象を表す画像を表示する領域の外に移動させる請求項２２に記載の医用画像処理装置。
24. 前記表示制御部は、前記注目領域の分類の表示態様の変更として、前記文字情報を前記分類の意味を表す文字列の頭文字のみを表示させる請求項２１から２３のいずれか一項に記載の医用画像処理装置。
25. 取得した医用画像から注目領域を検出し、検出した前記注目領域を分類する認識部と、
    前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替部と、
    を備え、
    前記表示制御部は、前記観察画像切替部が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像と前記注目領域との位置関係が維持される配置を有する前記注目領域の前記分類を、前記観察対象と非重畳の位置へ表示させる医用画像処理装置。
26. 前記表示制御部は、前記分類として、前記分類の内容を表す文字列を表示させる請求項２５に記載の医用画像処理装置。
27. 前記表示制御部は、前記分類として、前記分類の内容を表す文字列の頭文字のみを表示させる請求項２５又は２６に記載の医用画像処理装置。
28. 前記認識部は、入力画像のサイズを段階的に小さくする処理を実施する複数のダウンサイジング処理部と、
    前記複数のダウンサイジング処理部のそれぞれの出力画像から特徴マップを生成する特徴マップ生成部と、
    を備えた請求項１６から２７のいずれか一項に記載の医用画像処理装置。
29. 前記ダウンサイジング処理部は、入力画像に対してプーリング処理を施すプーリング処理部、及び入力画像に対して畳み込み処理を施す畳み込み処理部の少なくともいずれかを備える請求項２８に記載の医用画像処理装置。
30. 前記認識部は、前記特徴マップ生成部によって生成された複数の前記特徴マップから前記注目領域の特定及び前記注目領域の分類を実施する注目領域認識部を備えた請求項２８又は２９に記載の医用画像処理装置。
31. 前記注目領域認識部は、前記複数の特徴マップの重なり具合に基づき前記注目領域の分類を実施する請求項３０に記載の医用画像処理装置。
32. 内視鏡を制御する内視鏡制御部と、
    前記内視鏡によって取得された医用画像から注目領域を検出し、検出した前記注目領域を分類する認識部と、
    前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替部と、
    を備え、
    前記表示制御部は、前記観察画像切替部が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記分類の視認性を弱める変更を実施するプロセッサ装置。
33. 内視鏡と、
    前記内視鏡を制御するプロセッサ装置と、
    前記内視鏡によって取得された内視鏡画像に処理を施す医用画像処理装置と、
    を備えた内視鏡システムであって、
    前記医用画像処理装置は、
    取得した医用画像から注目領域を検出し、検出した前記注目領域を分類する認識部と、前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替部と、
    を備え、
    前記表示制御部は、前記観察画像切替部が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記分類の視認性を弱める変更を実施する内視鏡システム。
34. コンピュータが適用される医用画像処理装置の作動方法であって、
    前記コンピュータが、
    取得した医用画像から注目領域を検出する認識工程であり、前記注目領域を分類する認識工程と、
    前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示工程と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替工程と、
    を実行し、
    前記表示工程は、前記観察画像切替工程において前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記分類の視認性を弱める変更を実施する医用画像処理装置の作動方法。
35. コンピュータに、
    取得した医用画像から注目領域を検出する認識機能であり、前記注目領域を分類する認識機能、
    前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示機能、及び
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替機能を実現させるプログラムであって、
    前記表示機能は、前記観察画像切替機能が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像の連続画像表示の場合と比較して前記分類の視認性を弱める変更を実施するプログラム。
36. 内視鏡を制御する内視鏡制御部と、
    前記内視鏡によって取得された医用画像から注目領域を検出し、検出した前記注目領域を分類する認識部と、
    前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替部と、
    を備え、
    前記表示制御部は、前記観察画像切替部が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像と前記注目領域との位置関係が維持される配置を有する前記注目領域の前記分類を、前記観察対象を表す画像を表示する領域の外へ表示させるプロセッサ装置。
37. 内視鏡と、
    前記内視鏡を制御するプロセッサ装置と、
    前記内視鏡によって取得された内視鏡画像に処理を施す医用画像処理装置と、
    を備えた内視鏡システムであって、
    前記医用画像処理装置は、
    取得した医用画像から注目領域を検出し、検出した前記注目領域を分類する認識部と、前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示制御部と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替部と、
    を備え、
    前記表示制御部は、前記観察画像切替部が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像と前記注目領域との位置関係が維持される配置を有する前記注目領域の前記分類を、前記観察対象を表す画像を表示する領域の外へ表示させる内視鏡システム。
38. コンピュータが適用される医用画像処理装置の作動方法であって、
    前記コンピュータが、
    取得した医用画像から注目領域を検出する認識工程であり、前記注目領域を分類する認識工程と、
    前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示工程と、
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替工程と、
    を実行し、
    前記表示工程は、前記観察画像切替工程において前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像と前記注目領域との位置関係が維持される配置を有する前記注目領域の前記分類を、前記観察対象を表す画像を表示する領域の外へ表示させる医用画像処理装置の作動方法。
39. コンピュータに、
    取得した医用画像から注目領域を検出する認識機能であり、前記注目領域を分類する認識機能、
    前記注目領域の分類を、前記医用画像に含まれる観察対象を表示させる画面と同一の画面に表示させる表示機能、及び
    表示装置に観察画像の連続画像を表示させるか、又は前記観察画像の静止画像を表示させるかを切り替える観察画像切替機能を実現させるプログラムであって、
    前記表示機能は、前記観察画像切替機能が前記観察画像の連続画像表示を静止画像表示へ切り替えた場合に、前記観察画像と前記注目領域との位置関係が維持される配置を有する前記注目領域の前記分類を、前記観察対象を表す画像を表示する領域の外へ表示させるプログラム。

Images