JP6994582B2 - 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム - Google Patents

Description

本発明は、内視鏡画像処理装置、内視鏡画像処理方法及びプログラムに関するものである。

医療分野においては、被検者の所望の部位を撮像して得られた画像から病変部を検出し、当該検出した病変部に関する情報を当該画像に付加して表示するような技術が従来知られている。

具体的には、例えば、日本国特開２００４－７３４８８号公報には、被検者の胸部を撮像して得られたＸ線画像から病変部を検出し、当該検出した病変部の位置を特定可能なマークを当該Ｘ線画像に対応する診断画像の外枠部分に表示するような技術が開示されている。

また、医療分野においては、例えば、被検者の体内を内視鏡で撮像して得られた複数の画像に基づく機械学習を行うことにより腫瘍等の病変部を認識可能な病変認識機能を有する認識器を作成し、当該作成した認識器を用いて本番の内視鏡観察を行うような手法に関する検討が近年行われている。そして、このような検討によれば、例えば、前述の病変認識機能を実装するための学習に用いられた画像の取得条件と、当該学習が完了した後に行われる本番の内視鏡観察の際に得られた画像の取得条件と、が大きく異なっている場合において、認識器による病変部の認識精度が有意に低下してしまうおそれがある、との問題点が挙げられている。

しかし、日本国特開２００４－７３４８８号公報には、前述の問題点を解消可能な手法について特に開示等されていない。そのため、日本国特開２００４－７３４８８号公報に開示された構成には、前述の問題点に応じた課題が依然として存在している。

本発明は、前述した事情に鑑みてなされたものであり、機械学習に用いられた画像と、本番の内視鏡観察の際に得られた画像と、の間の取得条件の相違に起因して生じる病変部の認識精度の低下を抑制することが可能な内視鏡画像処理装置、内視鏡画像処理方法及びプログラムを提供することを目的としている。

本発明の一態様の内視鏡画像処理装置は、被検体内の被写体を内視鏡で撮像して得られた撮像信号に対して所定の処理を施すことにより生成された画像が外部装置から入力されるとともに、当該入力された画像に含まれる病変部を認識可能な病変認識機能を有する内視鏡画像処理装置であって、前記所定の処理を経て生成された複数の過去の観察画像を複数の学習画像として用いた機械学習を行うことにより実装された前記病変認識機能を有する病変認識部と、前記複数の学習画像各々を生成する際に行われた前記所定の処理において用いられた過去の観察画像用の設定値に相当する学習画像用の設定値に基づき、前記外部装置から入力される画像を前記病変認識部により行われる前記病変認識機能に応じた処理に用いられる病変認識用画像に変換するための変換処理を行う画像変換部と、を有する。

本発明の一態様の内視鏡画像処理方法は、被検体内の被写体を内視鏡で撮像して得られた撮像信号に対して所定の処理を施すことにより生成された画像が外部装置から入力されるとともに、当該入力された画像に含まれる病変部を認識可能な病変認識機能を有する内視鏡画像処理装置における内視鏡画像処理方法であって、病変認識部が、前記所定の処理を経て生成された複数の過去の観察画像を複数の学習画像として用いて前記病変認識機能を実装するための機械学習を行い、画像変換部が、前記複数の学習画像各々を生成する際に行われた前記所定の処理において用いられた過去の観察画像用の設定値に相当する学習画像用の設定値に基づき、前記外部装置から入力される画像を前記病変認識部により行われる前記病変認識機能に応じた処理に用いられる病変認識用画像に変換するための変換処理を行う。

本発明の一態様のプログラムは、被検体内の被写体を内視鏡で撮像して得られた撮像信号に対して所定の処理を施すことにより生成された画像が外部装置から入力されるとともに、当該入力された画像に含まれる病変部を認識可能な病変認識機能を有するコンピュータにより実行されるプログラムであって、前記所定の処理を経て生成された複数の過去の観察画像を複数の学習画像として用いて前記病変認識機能を実装するための機械学習を行う工程と、前記複数の学習画像各々を生成する際に行われた前記所定の処理において用いられた過去の観察画像用の設定値に相当する学習画像用の設定値に基づき、前記外部装置から入力される画像を前記病変認識機能に応じた処理に用いられる病変認識用画像に変換するための変換処理を行う工程と、を実行させる。

第１の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図。 第１の実施形態に係る内視鏡画像処理装置等において行われる動作の概要を示す図。 第２の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図。 第２の実施形態に係る内視鏡画像処理装置等において行われる動作の概要を示す図。 第２の実施形態に係る内視鏡画像処理装置等において行われる動作の概要を示す図。 第３の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図。 第３の実施形態に係る内視鏡画像処理装置等において行われる動作の概要を示す図。 第３の実施形態に係る内視鏡画像処理装置の処理において用いられるテーブルデータの一例を示す図。

以下、本発明の実施形態について、図面を参照しつつ説明を行う。

（第１の実施形態）
図１及び図２は、本発明の第１の実施形態に係るものである。

内視鏡システム１は、図１に示すように、内視鏡１１と、本体装置１２と、内視鏡画像処理装置１３と、表示装置１４と、を有して構成されている。図１は、第１の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図である。

内視鏡１１は、例えば、被検体内に挿入可能な細長形状の挿入部（不図示）と、当該挿入部の基端部に設けられた操作部（不図示）と、を具備して構成されている。また、内視鏡１１は、例えば、操作部から延びるユニバーサルケーブル（不図示）を介し、本体装置１２に対して着脱自在に接続されるように構成されている。また、内視鏡１１の内部には、例えば、本体装置１２から供給される照明光を導光して挿入部の先端部から出射するための光ファイバ等の導光部材（不図示）が設けられている。また、内視鏡１１の挿入部の先端部には、撮像部１１１が設けられている。

撮像部１１１は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサのような撮像素子を具備して構成されている。また、撮像部１１１は、内視鏡１１の挿入部の先端部を経て出射された照明光により照明された被写体からの戻り光を撮像し、当該撮像した戻り光に応じた撮像信号を生成して本体装置１２へ出力するように構成されている。

本体装置１２は、内視鏡１１及び内視鏡画像処理装置１３のそれぞれに対して着脱自在に接続されるように構成されている。また、本体装置１２は、例えば、図１に示すように、光源部１２１と、画像生成部１２２と、入力Ｉ／Ｆ（インターフェース）１２３と、制御部１２４と、記憶媒体１２５と、を有して構成されている。

光源部１２１は、例えば、ＬＥＤ等のような１つ以上の発光素子を具備して構成されている。具体的には、光源部１２１は、例えば、青色光（以降、Ｂ光とも称する）を発生する青色ＬＥＤと、緑色光（以降、Ｇ光とも称する）を発生する緑色ＬＥＤと、赤色光（以降、Ｒ光とも称する）を発生する赤色ＬＥＤと、を有して構成されている。また、光源部１２１は、制御部１２４の制御に応じた照明光を発生して内視鏡１１に供給することができるように構成されている。

画像生成部１２２は、記憶媒体１２５に格納されているデフォルトの（工場出荷時に予め設定された）設定値を読み込み、当該読み込んだ設定値を用いて内視鏡１１から出力される撮像信号に対して所定の処理を施すことにより内視鏡画像を生成するように構成されている。また、画像生成部１２２は、記憶媒体１２５に格納されている現在の観察画像用の設定値を読み込み、当該読み込んだ設定値を用いて内視鏡１１から出力される撮像信号に対して所定の処理を施すことにより観察画像を生成するように構成されている。また、画像生成部１２２は、現在の観察画像用の設定値が記憶媒体１２５に格納されていないことを検出した場合に、記憶媒体１２５から読み込んだデフォルトの設定値を当該現在の観察画像用の設定値として用いて観察画像を生成するように構成されている。また、画像生成部１２２は、前述のように生成した内視鏡画像及び観察画像を併せて内視鏡画像処理装置１３へ出力するように構成されている。なお、本実施形態においては、画像生成部１２２により行われる所定の処理の中に、ユーザにより設定値が変更され得る１つ以上の処理が含まれていればよい。

入力Ｉ／Ｆ１２３は、ユーザの入力操作に応じた指示を制御部１２４に対して行うことが可能な１つ以上のスイッチが設けられている。また、入力Ｉ／Ｆ１２３には、画像生成部１２２の処理において用いられる現在の観察画像用の設定値を所望の値に設定するための指示を行うことが可能なスイッチ等が設けられている。

制御部１２４は、入力Ｉ／Ｆ１２３においてなされた指示等に基づき、内視鏡１１及び本体装置１２の各部の動作に係る制御を行うように構成されている。また、制御部１２４は、画像生成部１２２の処理において用いられる現在の観察画像用の設定値を所望の値に設定するための指示が行われたことを検出した際に、記憶媒体１２５に格納されている当該設定値を当該指示に応じて更新するための動作を行うように構成されている。

記憶媒体１２５は、例えば、不揮発性のメモリ等を具備して構成されている。また、記憶媒体１２５には、画像生成部１２２の処理において用いられるデフォルトの設定値及び現在の観察画像用の設定値がそれぞれ格納されている。

本実施形態においては、本体装置１２の画像生成部１２２及び制御部１２４が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、本体装置１２が、ＣＰＵ等のような１つ以上のプロセッサを具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、図示しないコンピュータが、画像生成部１２２及び制御部１２４の機能を実行させるためのプログラムを記憶媒体１２５から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

内視鏡画像処理装置１３は、本体装置１２及び表示装置１４のそれぞれに対して着脱自在に接続されるように構成されている。また、内視鏡画像処理装置１３は、被検体内の被写体を内視鏡１１で撮像して得られた撮像信号に対して所定の処理を施すことにより生成された内視鏡画像が（外部装置に相当する）本体装置１２から入力されるように構成されているとともに、当該入力された内視鏡画像に含まれる病変部を認識可能な病変認識機能を有して構成されている。また、内視鏡画像処理装置１３は、画像変換部１３１と、病変認識部１３２と、表示制御部１３３と、記憶媒体１３４と、を有して構成されている。

画像変換部１３１は、記憶媒体１３４に格納されている学習画像用の設定値を読み込み、当該読み込んだ設定値を用いて本体装置１２から出力される内視鏡画像を病変認識用画像に変換するための変換処理を行うように構成されている。すなわち、画像変換部１３１は、本体装置１２から出力される内視鏡画像を記憶媒体１３４から読み込んだ学習画像用の設定値に応じた病変認識用画像に変換するための変換処理を行うように構成されている。

病変認識部１３２は、被検者の体内を内視鏡で撮像して得られた画像に含まれる腫瘍等の病変部を認識可能な病変認識機能を有して構成されている。また、病変認識部１３２は、前述の病変認識機能に応じた処理として、画像変換部１３１の処理結果として得られた病変認識用画像に含まれる病変部を検出するための処理を行うとともに、当該検出した病変部に関する情報を取得するための処理を行うように構成されている。具体的には、病変認識部１３２は、例えば、画像変換部１３１の処理結果として得られた病変認識用画像に含まれる病変部の位置、サイズ及び悪性度等のうちの少なくとも１つの情報を当該病変部に関する情報として取得するための処理を行うように構成されている。また、病変認識部１３２の病変認識機能は、過去の内視鏡観察時に取得（記録）された複数の観察画像各々を学習画像として用いてディープラーニング等の機械学習を行うことにより実装された機能である。すなわち、病変認識部１３２は、画像生成部１２２による所定の処理を経て生成された複数の過去の観察画像を複数の学習画像として用いた機械学習を行うことにより実装された病変認識機能を有している。

表示制御部１３３は、本体装置１２から出力される観察画像と、病変認識部１３２の処理結果として得られた病変部に関する情報と、を合成することにより表示画像を生成するとともに、当該生成した表示画像を表示装置１４へ出力するように構成されている。すなわち、表示制御部１３３は、本体装置１２から入力される観察画像と、病変認識部１３２が病変認識機能に応じた処理を病変認識用画像に対して施すことにより得られた病変部に関する情報と、を合成することにより表示画像を生成するように構成されている。また、表示制御部１３３は、病変部に関する情報が病変認識部１３２の処理により得られなかった場合には、本体装置１２から出力される観察画像をそのまま表示画像として表示装置１４へ出力するように構成されている。

記憶媒体１３４は、例えば、不揮発性のメモリ等を具備して構成されている。また、記憶媒体１３４には、病変認識部１３２の病変認識機能を実装するための学習に用いられた過去の観察画像用の設定値に相当する学習画像用の設定値が格納されている。すなわち、記憶媒体１３４に格納された学習画像用の設定値は、複数の学習画像各々を生成する際に画像生成部１２２により行われた所定の処理において用いられたとともにユーザにより設定された過去の観察画像用の設定値に相当する。

本実施形態においては、内視鏡画像処理装置１３の各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、内視鏡画像処理装置１３が、ＣＰＵ等のような１つ以上のプロセッサを具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、図示しないコンピュータが、画像変換部１３１、病変認識部１３２及び表示制御部１３３の機能を実行させるためのプログラムを記憶媒体１３４から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

表示装置１４は、モニタ等を具備し、内視鏡画像処理装置１３を経て出力される表示画像を表示することができるように構成されている。

続いて、本実施形態の作用について、図２を参照しつつ説明する。図２は、第１の実施形態に係る内視鏡画像処理装置等において行われる動作の概要を示す図である。

以降においては、特に言及の無い限り、制御部１２４の制御に応じた照明光として、Ｂ光、Ｇ光及びＲ光が順次または同時に光源部１２１から発せられる場合、すなわち、青色、緑色及び赤色の色成分を有する画像が画像生成部１２２により生成される場合を例に挙げて説明する。

本実施形態においては、病変認識部１３２の病変認識機能を実装するための学習に用いられた各観察画像（学習画像）が、内視鏡１１及び本体装置１２を有する内視鏡システムにより取得されたものとして説明する。

本実施形態においては、画像生成部１２２により行われる所定の処理の中に、撮像部１１１により撮像された被写体の輪郭を強調するための輪郭強調処理が含まれている場合を例に挙げて説明する。また、本実施形態の説明においては、画像生成部１２２により行われる輪郭強調処理の設定値が、０からＰ（Ｐは１以上の整数）までの数値を割り当てた複数の強調レベルとして表されるものとする。また、本実施形態の説明においては、画像生成部１２２により行われる輪郭強調処理の強調レベルを０からＰまでの所望の強調レベルに設定するための指示を行うことが可能なスイッチ等が入力Ｉ／Ｆ１２３に設けられているものとする。

本実施形態においては、輪郭強調処理のデフォルトの強調レベル（設定値）ＥＬＤが記憶媒体１２５に格納されているとともに、当該強調レベルＥＬＤが０に設定されている場合を例に挙げて説明する。また、本実施形態の説明においては、輪郭強調処理の強調レベルが０に設定されている場合には、撮像部１１１により撮像された被写体の輪郭が強調されないものとする。また、本実施形態の説明においては、輪郭強調処理の強調レベルと、撮像部１１１により撮像された被写体の輪郭の強調状態と、の間に正の相関があるものとする。

術者等のユーザは、内視鏡システム１の各部を接続して電源を投入した後、被検者の内部へ内視鏡１１の挿入部を挿入するとともに、当該被検者の内部における所望の被写体を撮像可能な位置に当該挿入部の先端部を配置する。そして、このようなユーザの操作に応じ、光源部１２１から内視鏡１１へ照明光が供給され、当該照明光により照明された被写体からの戻り光が撮像部１１１において撮像されるとともに、撮像部１１１において生成された撮像信号が本体装置１２へ出力される。

また、ユーザは、入力Ｉ／Ｆ１２３を操作することにより、例えば、画像生成部１２２の輪郭強調処理において用いられる強調レベルを所望の強調レベルＥＬＵに設定するための指示を行う。そして、このようなユーザの操作に応じ、記憶媒体１２５に格納されている現在の観察画像用の強調レベル（設定値）がＥＬＵに更新される。

画像生成部１２２は、記憶媒体１２５に格納されているデフォルトの強調レベルＥＬＤを読み込み、当該読み込んだ強調レベルＥＬＤ（＝０）を用いて内視鏡１１から出力される撮像信号に対して（輪郭強調処理を含む）所定の処理を施すことにより内視鏡画像ＮＧＡを生成する（図２参照）。すなわち、内視鏡画像ＮＧＡは、撮像部１１１により撮像された被写体の輪郭を強調していない画像として生成される。

画像生成部１２２は、記憶媒体１２５に格納されている現在の観察画像用の強調レベルＥＬＵを読み込み、当該読み込んだ強調レベルＥＬＵを用いて内視鏡１１から出力される撮像信号に対して（輪郭強調処理を含む）所定の処理を施すことにより観察画像ＫＧＡを生成する（図２参照）。すなわち、観察画像ＫＧＡは、撮像部１１１により撮像された被写体の輪郭を強調レベルＥＬＵに応じて強調した画像として生成される。

画像生成部１２２は、前述のように生成した内視鏡画像ＮＧＡ及び観察画像ＫＧＡを併せて内視鏡画像処理装置１３へ出力する。

画像変換部１３１は、記憶媒体１３４に格納されている学習画像用の強調レベルＥＬＡを読み込み、当該読み込んだ強調レベルＥＬＡを用いて本体装置１２から出力される内視鏡画像ＮＧＡを病変認識用画像ＲＧＡに変換するための変換処理を行う（図２参照）。すなわち、病変認識用画像ＲＧＡは、内視鏡画像ＮＧＡに含まれる被写体の輪郭を強調レベルＥＬＡに応じて強調した画像として生成される。

ここで、学習画像用の強調レベルＥＬＡは、病変認識部１３２の病変認識機能を実装するための学習に用いられた複数の過去の観察画像各々においてユーザにより設定されていた強調レベルＥＬＵのうち、最も使用頻度が高い強調レベルに相当する。すなわち、学習画像用の強調レベルＥＬＡは、複数の学習画像各々を生成する際に行われた所定の処理において用いられた複数の強調レベルの中でユーザによる設定回数が最も多い強調レベルに相当する。そのため、前述の画像変換部１３１の変換処理によれば、本番の内視鏡観察の際に得られた内視鏡画像ＮＧＡに応じて生成された病変認識用画像ＲＧＡと、病変認識部１３２の病変認識機能を実装するための学習に用いられた学習画像ＬＧＡと、における被写体の輪郭の強調状態を相互に類似させることができる。

病変認識部１３２は、画像変換部１３１の処理結果として得られた病変認識用画像ＲＧＡに含まれる病変部を検出するための処理を行うとともに、当該検出した病変部に関する情報を取得するための処理を行う。

表示制御部１３３は、本体装置１２から出力される観察画像ＫＧＡと、病変認識部１３２の処理結果として得られた病変部に関する情報と、を合成することにより表示画像ＨＧＡを生成するとともに、当該生成した表示画像ＨＧＡを表示装置１４へ出力する（図２参照）。

以上に述べたように、本実施形態によれば、学習画像ＬＧＡの強調状態に類似した強調状態を有する病変認識用画像ＲＧＡが画像変換部１３１の変換処理により生成されるとともに、当該生成された病変認識用画像ＲＧＡに含まれる病変部の認識に係る処理が病変認識部１３２により行われる。そのため、本実施形態によれば、機械学習に用いられた画像と、本番の内視鏡観察の際に得られた画像と、の間の取得条件の相違に起因して生じる病変部の認識精度の低下を抑制することができる。

なお、本実施形態は、以上に述べた各部の構成及び／または動作を適宜変形することにより、観察画像用の設定値がユーザにより変更され得る様々な処理に対して適用することができる。具体的には、本実施形態は、例えば、色相調整処理、彩度調整処理及び明るさ調整処理等のような、輪郭強調処理とは異なる処理に対して適用することもできる。

（第２の実施形態）
図３から図５は、本発明の第２の実施形態に係るものである。

なお、本実施形態においては、第１の実施形態と同様の構成等を有する部分に関する詳細な説明を適宜省略するとともに、第１の実施形態と異なる構成等を有する部分に関して主に説明を行う。

内視鏡システム１Ａは、図３に示すように、内視鏡１１Ａと、本体装置１２Ａと、内視鏡画像処理装置１３Ａと、表示装置１４と、を有して構成されている。図３は、第２の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図である。

内視鏡１１Ａは、例えば、被検体内に挿入可能な細長形状の挿入部（不図示）と、当該挿入部の基端部に設けられた操作部（不図示）と、を具備して構成されている。また、内視鏡１１Ａは、例えば、操作部から延びるユニバーサルケーブル（不図示）を介し、本体装置１２Ａに対して着脱自在に接続されるように構成されている。また、内視鏡１１Ａの内部には、例えば、本体装置１２Ａから供給される照明光を導光して挿入部の先端部から出射するための光ファイバ等の導光部材（不図示）が設けられている。また、内視鏡１１Ａは、撮像部１１１と、スコープメモリ１１２と、を有して構成されている。

スコープメモリ１１２には、例えば、内視鏡１１Ａの機種を特定可能な情報を含む内視鏡情報が格納されている。なお、前述の内視鏡情報に含まれる内視鏡１１Ａの機種は、例えば、撮像部１１１に設けられているイメージセンサの有効画素数等に基づいて設定されている。

本体装置１２Ａは、内視鏡１１Ａ及び内視鏡画像処理装置１３Ａのそれぞれに対して着脱自在に接続されるように構成されている。また、本体装置１２Ａは、例えば、図３に示すように、光源部１２１と、画像生成部１２２Ａと、入力Ｉ／Ｆ１２３と、制御部１２４Ａと、記憶媒体１２５Ａと、を有して構成されている。

画像生成部１２２Ａは、記憶媒体１２５Ａに格納されている現在の観察画像用の設定値を読み込み、当該読み込んだ設定値を用いて内視鏡１１Ａから出力される撮像信号に対して所定の処理を施すことにより観察画像を生成するように構成されている。また、画像生成部１２２Ａは、現在の観察画像用の設定値が記憶媒体１２５に格納されていないことを検出した場合に、記憶媒体１２５から読み込んだデフォルトの設定値を当該現在の観察画像用の設定値として用いて観察画像を生成するように構成されている。また、画像生成部１２２Ａは、前述のように生成した観察画像と、当該観察画像の生成に用いた現在の観察画像用の設定値と、を併せて内視鏡画像処理装置１３Ａへ出力するように構成されている。なお、本実施形態においては、画像生成部１２２Ａにより行われる所定の処理の中に、ユーザにより設定値が変更され得る１つ以上の処理が含まれていればよい。

制御部１２４Ａは、入力Ｉ／Ｆ１２３においてなされた指示等に基づき、内視鏡１１Ａ及び本体装置１２Ａの各部の動作に係る制御を行うように構成されている。また、制御部１２４Ａは、画像生成部１２２Ａの処理において用いられる現在の観察画像用の設定値を所望の値に設定するための指示が行われたことを検出した際に、記憶媒体１２５Ａに格納されている当該設定値を当該指示に応じて更新するための動作を行うように構成されている。また、制御部１２４Ａは、本体装置１２Ａの電源が投入された際に、スコープメモリ１１２に格納されている内視鏡情報と、記憶媒体１２５Ａに格納されている本体装置情報と、をそれぞれ読み込むとともに、当該読み込んだ内視鏡情報及び本体装置情報を併せて内視鏡画像処理装置１３Ａへ出力するように構成されている。

記憶媒体１２５Ａは、例えば、不揮発性のメモリ等を具備して構成されている。また、記憶媒体１２５Ａには、画像生成部１２２Ａの処理において用いられるデフォルトの設定値及び現在の観察画像用の設定値がそれぞれ格納されている。また、記憶媒体１２５Ａには、本体装置１２Ａの機種を特定可能な情報を含む本体装置情報が格納されている。なお、前述の本体装置情報に含まれる本体装置１２Ａの機種は、例えば、光源部１２１に設けられた各ＬＥＤから発せられる光の色の種類等に基づいて設定されている。

本実施形態においては、本体装置１２Ａの画像生成部１２２Ａ及び制御部１２４Ａが、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、本体装置１２Ａが、ＣＰＵ等のような１つ以上のプロセッサを具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、図示しないコンピュータが、画像生成部１２２Ａ及び制御部１２４Ａの機能を実行させるためのプログラムを記憶媒体１２５Ａから読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

内視鏡画像処理装置１３Ａは、本体装置１２Ａ及び表示装置１４のそれぞれに対して着脱自在に接続されるように構成されている。また、内視鏡画像処理装置１３Ａは、被検体内の被写体を内視鏡１１Ａで撮像して得られた撮像信号に対して所定の処理を施すことにより生成された観察画像が本体装置１２Ａから入力されるように構成されているとともに、当該入力された観察画像に含まれる病変部を認識可能な病変認識機能を有して構成されている。また、内視鏡画像処理装置１３Ａは、画像変換部１３１Ａと、病変認識部１３２Ａと、表示制御部１３３Ａと、記憶媒体１３４Ａと、を有して構成されている。

画像変換部１３１Ａは、本体装置１２Ａから出力される内視鏡情報及び本体装置情報に基づき、内視鏡１１Ａ及び本体装置１２Ａの機種をそれぞれ検出するように構成されている。また、画像変換部１３１Ａは、前述のように検出した内視鏡１１Ａ及び本体装置１２Ａの機種と、本体装置１２Ａから出力される現在の観察画像用の設定値と、記憶媒体１３４Ａから読み込んだ学習画像用の設定値と、に基づき、本体装置１２Ａから出力される観察画像を病変認識用画像に変換するための変換処理を行うように構成されている。

病変認識部１３２Ａは、病変認識部１３２と同様の方法で機械学習を行うことにより実装された病変認識機能を有して構成されている。また、病変認識部１３２Ａは、前述の病変認識機能に応じた処理として、画像変換部１３１Ａの処理結果として得られた病変認識用画像に含まれる病変部を検出するための処理を行うとともに、当該検出した病変部に関する情報を取得するための処理を行うように構成されている。すなわち、病変認識部１３２Ａは、画像生成部１２２Ａによる所定の処理を経て生成された複数の過去の観察画像を複数の学習画像として用いた機械学習を行うことにより実装された病変認識機能を有している。

表示制御部１３３Ａは、本体装置１２Ａから出力される観察画像と、病変認識部１３２Ａの処理結果として得られた病変部に関する情報と、を合成することにより表示画像を生成するとともに、当該生成した表示画像を表示装置１４へ出力するように構成されている。すなわち、表示制御部１３３Ａは、本体装置１２Ａから入力される観察画像と、病変認識部１３２Ａが病変認識機能に応じた処理を病変認識用画像に対して施すことにより得られた病変部に関する情報と、を合成することにより表示画像を生成するように構成されている。また、表示制御部１３３Ａは、病変部に関する情報が病変認識部１３２Ａの処理により得られなかった場合には、本体装置１２Ａから出力される観察画像をそのまま表示画像として表示装置１４へ出力するように構成されている。

記憶媒体１３４Ａは、例えば、不揮発性のメモリ等を具備して構成されている。また、記憶媒体１３４Ａには、病変認識部１３２Ａの病変認識機能を実装するための学習に用いられた過去の観察画像用の設定値に相当する学習画像用の設定値が格納されている。すなわち、記憶媒体１３４Ａに格納された学習画像用の設定値は、複数の学習画像各々を生成する際に画像生成部１２２Ａにより行われた所定の処理において用いられたとともにユーザにより設定された過去の観察画像用の設定値に相当する。また、記憶媒体１３４Ａには、画像変換部１３１Ａの変換処理において用いられるデフォルトの設定値と、複数の変換マトリクスと、がそれぞれ格納されている。

前述のデフォルトの設定値は、本体装置１２Ａの機種に応じた値として設定されているとともに、画像生成部１２２Ａにより行われる所定の処理に対応する値として設定されている。また、前述の複数の変換マトリクスは、内視鏡１１Ａ及び本体装置１２Ａの機種に応じて色調及び解像度の変換を行うマトリクスとして設定されている。また、前述の複数の変換マトリクスに含まれる各係数は、例えば、撮像部１１１のイメージセンサの有効画素数と、光源部１２１に設けられた各ＬＥＤから発せられる光の色の種類と、に応じて設定されている。

本実施形態においては、内視鏡画像処理装置１３Ａの各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、内視鏡画像処理装置１３Ａが、ＣＰＵ等のような１つ以上のプロセッサを具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、図示しないコンピュータが、画像変換部１３１Ａ、病変認識部１３２Ａ及び表示制御部１３３Ａの機能を実行させるためのプログラムを記憶媒体１３４Ａから読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

続いて、本実施形態の作用について、図４及び図５を参照しつつ説明する。図４及び図５は、第２の実施形態に係る内視鏡画像処理装置等において行われる動作の概要を示す図である。

本実施形態においては、病変認識部１３２Ａの病変認識機能を実装するための学習に用いられた各観察画像（学習画像）が、機種ＥＭＡの内視鏡と、機種ＨＭＡの本体装置と、を有する内視鏡システムにより取得された場合を例に挙げて説明する。

本実施形態においては、画像生成部１２２と同様の輪郭強調処理が画像生成部１２２Ａにより行われる場合を例に挙げて説明する。また、本実施形態の説明においては、画像生成部１２２により行われる輪郭強調処理の設定値が、０からＰ（Ｐは１以上の整数）までの数値を割り当てた複数の強調レベルとして表されるものとする。

本実施形態においては、輪郭強調処理のデフォルトの強調レベル（設定値）ＥＬＤが記憶媒体１２５Ａ及び１３４Ａに格納されているとともに、当該強調レベルＥＬＤが０に設定されている場合を例に挙げて説明する。

術者等のユーザは、内視鏡システム１Ａの各部を接続して電源を投入した後、被検者の内部へ内視鏡１１Ａの挿入部を挿入するとともに、当該被検者の内部における所望の被写体を撮像可能な位置に当該挿入部の先端部を配置する。そして、このようなユーザの操作に応じ、光源部１２１から内視鏡１１Ａへ照明光が供給され、当該照明光により照明された被写体からの戻り光が撮像部１１１において撮像されるとともに、撮像部１１１において生成された撮像信号が本体装置１２Ａへ出力される。

また、ユーザは、入力Ｉ／Ｆ１２３を操作することにより、例えば、画像生成部１２２の輪郭強調処理において用いられる強調レベルを所望の強調レベルＥＬＵに設定するための指示を行う。そして、このようなユーザの操作に応じ、記憶媒体１２５に格納されている現在の観察画像用の強調レベル（設定値）がＥＬＵに更新される。

制御部１２４Ａは、本体装置１２Ａの電源が投入された際に、スコープメモリ１１２に格納されている内視鏡情報ＥＪＢと、記憶媒体１２５Ａに格納されている本体装置情報ＨＪＢと、をそれぞれ読み込むとともに、当該読み込んだ内視鏡情報ＥＪＢ及び本体装置情報ＨＪＢを併せて内視鏡画像処理装置１３Ａへ出力する。

画像生成部１２２Ａは、記憶媒体１２５に格納されている現在の観察画像用の強調レベルＥＬＵを読み込み、当該読み込んだ強調レベルＥＬＵを用いて内視鏡１１Ａから出力される撮像信号に対して（輪郭強調処理を含む）所定の処理を施すことにより観察画像ＫＧＢを生成する（図４及び図５参照）。すなわち、観察画像ＫＧＢは、撮像部１１１により撮像された被写体の輪郭を強調レベルＥＬＵに応じて強調した画像として生成される。

画像生成部１２２Ａは、前述のように生成した観察画像ＫＧＢと、当該観察画像ＫＧＢの生成に用いた強調レベルＥＬＵと、を併せて内視鏡画像処理装置１３Ａへ出力する。

画像変換部１３１Ａは、本体装置１２Ａから出力される内視鏡情報ＥＪＢ及び本体装置情報ＨＪＢに基づき、内視鏡１１Ａ及び本体装置１２Ａの機種をそれぞれ検出する。

画像変換部１３１Ａは、本体装置１２Ａから出力される内視鏡情報ＥＪＢ及び本体装置情報ＨＪＢに基づき、例えば、内視鏡１１Ａの機種が機種ＥＭＡであること、及び、本体装置１２Ａの機種が機種ＨＭＡであることを検出した場合に、本体装置１２Ａから出力される観察画像ＫＧＢを病変認識用画像ＲＧＢに変換するための変換処理を行う。このような変換処理の具体例について、図４を参照しつつ以下に説明する。

画像変換部１３１Ａは、本体装置１２Ａから出力される強調レベルＥＬＵと、記憶媒体１３４Ａから読み込んだ強調レベルＥＬＤと、に基づき、当該強調レベルＥＬＵに応じた観察画像ＫＧＢを当該強調レベルＥＬＤに応じた内視鏡画像ＮＧＢに変換するための変換処理を行う（図４参照）。すなわち、内視鏡画像ＮＧＢは、本体装置１２Ａの機種が機種ＨＭＡであり、かつ、輪郭強調処理の強調レベルが０（デフォルトの強調レベル）に設定されている場合に画像生成部１２２Ａにより生成される画像に相当する。また、内視鏡画像ＮＧＢは、撮像部１１１により撮像された被写体の輪郭を強調していない画像として生成される。なお、画像変換部１３１Ａは、強調レベルＥＬＵと強調レベルＥＬＤとが両方とも０である場合、すなわち、当該強調レベルＥＬＵと当該強調レベルＥＬＤとが等しい場合には、観察画像ＫＧＢを内視鏡画像ＮＧＢとして用いて以降の処理を行う。

画像変換部１３１Ａは、記憶媒体１３４Ａから読み込んだ強調レベルＥＬＡを用いて内視鏡画像ＮＧＢを病変認識用画像ＲＧＢに変換するための変換処理を行う（図４参照）。すなわち、病変認識用画像ＲＧＢは、内視鏡画像ＮＧＢに含まれる被写体の輪郭を強調レベルＥＬＡに応じて強調した画像として生成される。

ここで、学習画像用の強調レベルＥＬＡは、病変認識部１３２Ａの病変認識機能を実装するための学習に用いられた複数の過去の観察画像各々においてユーザにより設定されていた強調レベルＥＬＵのうち、最も使用頻度が高い強調レベルに相当する。すなわち、学習画像用の強調レベルＥＬＡは、複数の学習画像各々を生成する際に行われた所定の処理において用いられた複数の強調レベルの中でユーザによる設定回数が最も多い強調レベルに相当する。そのため、以上に述べたような画像変換部１３１Ａの変換処理によれば、本番の内視鏡観察の際に得られた観察画像ＫＧＢに応じて生成された病変認識用画像ＲＧＢと、病変認識部１３２Ａの病変認識機能を実装するための学習に用いられた学習画像ＬＧＡと、における被写体の輪郭の強調状態を相互に類似させることができる。

以上に述べた具体例によれば、画像変換部１３１Ａは、観察画像を病変認識用画像に変換するための変換処理として、本体装置１２Ａから取得した現在の観察画像用の強調レベルＥＬＵに基づいて当該観察画像ＫＧＢを所定の処理におけるデフォルトの設定値に応じた内視鏡画像ＮＧＢに変換する処理と、当該内視鏡画像ＮＧＢを学習画像用の強調レベルＥＬＡに応じた病変認識用画像ＲＧＢに変換するための処理と、を行う。

病変認識部１３２Ａは、画像変換部１３１Ａの処理結果として得られた病変認識用画像ＲＧＢに含まれる病変部を検出するための処理を行うとともに、当該検出した病変部に関する情報を取得するための処理を行う。

表示制御部１３３Ａは、本体装置１２から出力される観察画像ＫＧＢと、病変認識部１３２Ａの処理結果として得られた病変部に関する情報と、を合成することにより表示画像ＨＧＢを生成するとともに、当該生成した表示画像ＨＧＢを表示装置１４へ出力する（図４参照）。

画像変換部１３１Ａは、本体装置１２Ａから出力される内視鏡情報ＥＪＢ及び本体装置情報ＨＪＢに基づき、例えば、内視鏡１１Ａの機種が機種ＥＭＡとは異なる機種ＥＭＢであること、または、本体装置１２Ａの機種が機種ＨＭＡとは異なる機種ＨＭＢであることを検出した場合に、観察画像ＫＧＢを病変認識用画像ＲＧＣに変換するための変換処理を行う。このような変換処理の具体例について、図５を参照しつつ以下に説明する。

画像変換部１３１Ａは、本体装置１２Ａから出力される強調レベルＥＬＵと、記憶媒体１３４Ａから読み込んだ強調レベルＥＬＤと、に基づき、当該強調レベルＥＬＵに応じた観察画像ＫＧＢを当該強調レベルＥＬＤに応じた内視鏡画像ＮＧＣ１に変換するための変換処理を行う（図５参照）。すなわち、内視鏡画像ＮＧＣ１は、本体装置１２Ａの機種が機種ＨＭＢであり、かつ、輪郭強調処理の強調レベルが０（デフォルトの強調レベル）に設定されている場合に画像生成部１２２Ａにより生成される画像に相当する。また、内視鏡画像ＮＧＣ１は、撮像部１１１により撮像された被写体の輪郭を強調していない画像として生成される。なお、画像変換部１３１Ａは、強調レベルＥＬＵと強調レベルＥＬＤとが両方とも０である場合、すなわち、当該強調レベルＥＬＵと当該強調レベルＥＬＤとが等しい場合には、観察画像ＫＧＢを内視鏡画像ＮＧＣ１として用いて以降の処理を行う。

画像変換部１３１Ａは、記憶媒体１３４Ａに格納されている複数のマトリクスの中から、内視鏡情報ＥＪＢ及び本体装置情報ＨＪＢに基づいて検出した機種ＥＭＢ及びＨＭＢに応じたマトリクスＭＡＴを読み込む。

具体的には、画像変換部１３１Ａは、例えば、内視鏡１１Ａの機種が機種ＥＭＢであり、かつ、本体装置１２Ａの機種が機種ＨＭＢであることを検出した場合に、記憶媒体１３４ＡからマトリクスＭＡＴＡを読み込む。マトリクスＭＡＴＡは、機種ＥＭＢの内視鏡及び機種ＨＭＢの本体装置を有する内視鏡システムにより取得された画像の色調及び解像度を、機種ＥＭＡの内視鏡及び機種ＨＭＡの本体装置を有する内視鏡システムにより取得された画像の色調及び解像度に変換可能な係数を備えたマトリクスとして設定されている。

また、画像変換部１３１Ａは、例えば、内視鏡１１Ａの機種が機種ＥＭＡであり、かつ、本体装置１２Ａの機種が機種ＨＭＢであることを検出した場合に、記憶媒体１３４ＡからマトリクスＭＡＴＢを読み込む。マトリクスＭＡＴＢは、機種ＥＭＡの内視鏡及び機種ＨＭＢの本体装置を有する内視鏡システムにより取得された画像の色調及び解像度を、機種ＥＭＡの内視鏡及び機種ＨＭＡの本体装置を有する内視鏡システムにより取得された画像の色調及び解像度に変換可能な係数を備えたマトリクスとして設定されている。

また、画像変換部１３１Ａは、例えば、内視鏡１１Ａの機種が機種ＥＭＢであり、かつ、本体装置１２Ａの機種が機種ＨＭＡであることを検出した場合に、記憶媒体１３４ＡからマトリクスＭＡＴＣを読み込む。マトリクスＭＡＴＣは、機種ＥＭＢの内視鏡及び機種ＨＭＡの本体装置を有する内視鏡システムにより取得された画像の色調及び解像度を、機種ＥＭＡの内視鏡及び機種ＨＭＡの本体装置を有する内視鏡システムにより取得された画像の色調及び解像度に変換可能な係数を備えたマトリクスとして設定されている。

画像変換部１３１Ａは、内視鏡画像ＮＣＧ１に対して記憶媒体１３４Ａから読み込んだマトリクスＭＡＴを適用することにより、当該内視鏡画像ＮＣＧ１を内視鏡画像ＮＣＧ２に変換するための変換処理を行う（図５参照）。すなわち、内視鏡画像ＮＧＣ２は、機種ＥＭＡの内視鏡及び機種ＨＭＡの本体装置を有する内視鏡システムに適合するように、内視鏡画像ＮＣＧ１の色調及び解像度を変換した画像に相当する。

画像変換部１３１Ａは、記憶媒体１３４Ａから読み込んだ強調レベルＥＬＡを用いて内視鏡画像ＮＧＣ２を病変認識用画像ＲＧＣに変換するための変換処理を行う（図５参照）。すなわち、病変認識用画像ＲＧＣは、内視鏡画像ＮＧＣ２に含まれる被写体の輪郭を強調レベルＥＬＡに応じて強調した画像として生成される。

ここで、学習画像用の強調レベルＥＬＡは、病変認識部１３２Ａの病変認識機能を実装するための学習に用いられた複数の過去の観察画像各々において設定されていた強調レベルＥＬＵのうち、最も使用頻度が高い強調レベルに相当する。すなわち、学習画像用の強調レベルＥＬＡは、複数の学習画像各々を生成する際に行われた所定の処理において用いられた複数の強調レベルの中でユーザによる設定回数が最も多い強調レベルに相当する。そのため、以上に述べたような画像変換部１３１Ａの変換処理によれば、本番の内視鏡観察の際に得られた観察画像ＫＧＢに応じて生成された病変認識用画像ＲＧＣと、病変認識部１３２Ａの病変認識機能を実装するための学習に用いられた学習画像ＬＧＡと、における被写体の輪郭の強調状態を相互に類似させることができる。

以上に述べた具体例によれば、画像変換部１３１Ａは、観察画像を病変認識用画像に変換するための変換処理として、本体装置１２Ａから取得した現在の観察画像用の強調レベルＥＬＵに基づいて当該観察画像ＫＧＢを所定の処理におけるデフォルトの設定値に応じた内視鏡画像ＮＧＣ１に変換する処理と、当該内視鏡画像ＮＧＣ１を内視鏡画像ＮＧＣ２に変換する処理と、当該内視鏡画像ＮＧＣ２を学習画像用の強調レベルＥＬＡに応じた病変認識用画像ＲＧＢに変換するための処理と、を行う。また、以上に述べた具体例によれば、画像変換部１３１Ａは、観察画像ＫＧＢを内視鏡画像に変換する際に、内視鏡１１Ａの機種及び本体装置１２Ａの機種の組み合わせに応じて異なる処理を行う。

病変認識部１３２Ａは、画像変換部１３１Ａの処理結果として得られた病変認識用画像ＲＧＣに含まれる病変部を検出するための処理を行うとともに、当該検出した病変部に関する情報を取得するための処理を行う。

表示制御部１３３Ａは、本体装置１２Ａから出力される観察画像ＫＧＢと、病変認識部１３２Ａの処理結果として得られた病変部に関する情報と、を合成することにより表示画像ＨＧＣを生成するとともに、当該生成した表示画像ＨＧＣを表示装置１４へ出力する（図５参照）。

以上に述べたように、本実施形態によれば、学習画像ＬＧＡの取得に用いた内視鏡システムの構成と同様の構成を有する内視鏡システムを用いて本番の内視鏡観察が行われる場合に、当該学習画像ＬＧＡの強調状態に類似した強調状態を有する病変認識用画像ＲＧＢが画像変換部１３１Ａの変換処理により生成されるとともに、当該生成された病変認識用画像ＲＧＢに含まれる病変部の認識に係る処理が病変認識部１３２Ａにより行われる。また、以上に述べたように、本実施形態によれば、学習画像ＬＧＡの取得に用いた内視鏡システムの構成とは異なる構成を有する内視鏡システムを用いて本番の内視鏡観察が行われる場合に、当該学習画像ＬＧＡの強調状態に類似した強調状態を有する病変認識用画像ＲＧＣが画像変換部１３１Ａの変換処理により生成されるとともに、当該生成された病変認識用画像ＲＧＣに含まれる病変部の認識に係る処理が病変認識部１３２Ａにより行われる。そのため、本実施形態によれば、機械学習に用いられた画像と、本番の内視鏡観察の際に得られた画像と、の間の取得条件の相違に起因して生じる病変部の認識精度の低下を抑制することができる。

なお、本実施形態においては、例えば、画像変換部１３１Ａが、本体装置１２Ａから出力される観察画像ＫＧＢに含まれる文字列を認識するための処理を行うことにより、内視鏡１１Ａの機種、本体装置１２Ａの機種、及び、強調レベルＥＬＵのうちのいずれか１つを特定するようにしてもよい。

（第３の実施形態）
図６から図８は、本発明の第３の実施形態に係るものである。

なお、本実施形態においては、第１及び第２の実施形態のうちの少なくともいずれか一方と同様の構成等を有する部分に関する詳細な説明を適宜省略するとともに、第１及び第２の実施形態のいずれともと異なる構成等を有する部分に関して主に説明を行う。

内視鏡システム１Ｂは、図６に示すように、内視鏡１１と、本体装置１２Ｂと、内視鏡画像処理装置１３Ｂと、表示装置１４と、を有して構成されている。図６は、第３の実施形態に係る内視鏡画像処理装置を含む内視鏡システムの要部の構成を示す図である。

本体装置１２Ｂは、内視鏡１１及び内視鏡画像処理装置１３Ｂのそれぞれに対して着脱自在に接続されるように構成されている。また、本体装置１２Ｂは、例えば、図６に示すように、光源部１２１と、画像生成部１２２Ｂと、入力Ｉ／Ｆ１２３と、制御部１２４と、記憶媒体１２５と、を有して構成されている。

画像生成部１２２Ｂは、記憶媒体１２５に格納されている現在の観察画像用の設定値を読み込み、当該読み込んだ設定値を用いて内視鏡１１から出力される撮像信号に対して所定の処理を施すことにより観察画像を生成するように構成されている。また、画像生成部１２２Ｂは、現在の観察画像用の設定値が記憶媒体１２５に格納されていないことを検出した場合に、記憶媒体１２５から読み込んだデフォルトの設定値を当該現在の観察画像用の設定値として用いて観察画像を生成するように構成されている。また、画像生成部１２２Ｂは、前述のように生成した観察画像を内視鏡画像処理装置１３Ｂへ出力するように構成されている。なお、本実施形態においては、画像生成部１２２Ｂにより行われる所定の処理の中に、ユーザにより設定値が変更され得る１つ以上の処理が含まれていればよい。

本実施形態においては、本体装置１２Ｂの画像生成部１２２Ｂ及び制御部１２４が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、本体装置１２Ｂが、ＣＰＵ等のような１つ以上のプロセッサを具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、図示しないコンピュータが、画像生成部１２２Ｂ及び制御部１２４の機能を実行させるためのプログラムを記憶媒体１２５から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

内視鏡画像処理装置１３Ｂは、本体装置１２Ｂ及び表示装置１４のそれぞれに対して着脱自在に接続されるように構成されている。また、内視鏡画像処理装置１３Ｂは、被検体内の被写体を内視鏡１１で撮像して得られた撮像信号に対して所定の処理を施すことにより生成された観察画像が本体装置１２Ｂから入力されるように構成されているとともに、当該入力された観察画像に含まれる病変部を認識可能な病変認識機能を有して構成されている。また、内視鏡画像処理装置１３Ｂは、推定部１３０Ｂと、画像変換部１３１Ｂと、病変認識部１３２Ｂと、表示制御部１３３Ｂと、記憶媒体１３４Ｂと、を有して構成されている。

推定部１３０Ｂは、本体装置１２Ｂから出力される観察画像における１つ以上のパラメータを検出するための処理を行うように構成されている。また、推定部１３０Ｂは、本体装置１２Ｂから出力される観察画像から検出したパラメータと、記憶媒体１３４Ｂから読み込んだテーブルデータと、に基づき、画像生成部１２２Ｂが当該観察画像を生成する際に用いた現在の観察画像用の設定値を推定するための推定処理を行うように構成されている。

画像変換部１３１Ｂは、推定部１３０Ｂの処理結果として得られた観察画像用の設定値と、記憶媒体１３４Ｂから読み込んだテーブルデータ及び学習画像用の設定値と、に基づき、本体装置１２Ｂから出力される観察画像を病変認識用画像に変換するための変換処理を行うように構成されている。

病変認識部１３２Ｂは、病変認識部１３２と同様の方法で機械学習を行うことにより実装された病変認識機能を有して構成されている。また、病変認識部１３２Ｂは、前述の病変認識機能に応じた処理として、画像変換部１３１Ｂの処理結果として得られた病変認識用画像に含まれる病変部を検出するための処理を行うとともに、当該検出した病変部に関する情報を取得するための処理を行うように構成されている。すなわち、病変認識部１３２Ｂは、画像生成部１２２Ｂによる所定の処理を経て生成された複数の過去の観察画像を複数の学習画像として用いた機械学習を行うことにより実装された病変認識機能を有している。

表示制御部１３３Ｂは、本体装置１２Ｂから出力される観察画像と、病変認識部１３２Ｂの処理結果として得られた病変部に関する情報と、を合成することにより表示画像を生成するとともに、当該生成した表示画像を表示装置１４へ出力するように構成されている。すなわち、表示制御部１３３Ｂは、本体装置１２Ｂから入力される観察画像と、病変認識部１３２Ｂが病変認識機能に応じた処理を病変認識用画像に対して施すことにより得られた病変部に関する情報と、を合成することにより表示画像を生成するように構成されている。また、表示制御部１３３Ｂは、病変部に関する情報が病変認識部１３２Ｂの処理により得られなかった場合には、本体装置１２Ｂから出力される観察画像をそのまま表示画像として表示装置１４へ出力するように構成されている。

記憶媒体１３４Ｂは、例えば、不揮発性のメモリ等を具備して構成されている。また、記憶媒体１３４Ｂには、病変認識部１３２Ｂの病変認識機能を実装するための学習に用いられた過去の観察画像用の設定値に相当する学習画像用の設定値が格納されている。すなわち、記憶媒体１３４Ｂに格納された学習画像用の設定値は、複数の学習画像各々を生成する際に画像生成部１２２Ｂにより行われた所定の処理において用いられたとともにユーザにより設定された過去の観察画像用の設定値に相当する。また、記憶媒体１３４Ｂには、推定部１３０Ｂの推定処理及び画像変換部１３１Ａの変換処理において用いられるテーブルデータが格納されている。

前述のテーブルデータは、本体装置１２Ｂから出力される観察画像から検出可能なパラメータと、当該パラメータに対応する観察画像用の設定値と、の間の関係を示すデータとして作成されている。

本実施形態においては、内視鏡画像処理装置１３Ｂの各部が、個々の電子回路として構成されていてもよく、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、内視鏡画像処理装置１３Ｂが、ＣＰＵ等のような１つ以上のプロセッサを具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、図示しないコンピュータが、推定部１３０Ｂ、画像変換部１３１Ｂ、病変認識部１３２Ｂ及び表示制御部１３３Ｂの機能を実行させるためのプログラムを記憶媒体１３４Ｂから読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。

続いて、本実施形態の作用について、図７及び図８を参照しつつ説明する。図７は、第３の実施形態に係る内視鏡画像処理装置等において行われる動作の概要を示す図である。図８は、第３の実施形態に係る内視鏡画像処理装置の処理において用いられるテーブルデータの一例を示す図である。

本実施形態においては、病変認識部１３２Ｂの病変認識機能を実装するための学習に用いられた各観察画像（学習画像）が、内視鏡１１及び本体装置１２Ｂを有する内視鏡システムにより取得されたものとして説明する。

本実施形態においては、画像生成部１２２と同様の輪郭強調処理が画像生成部１２２Ｂにより行われる場合を例に挙げて説明する。また、本実施形態の説明においては、画像生成部１２２Ｂにより行われる輪郭強調処理の設定値が、０からＰ（Ｐは１以上の整数）までの数値を割り当てた複数の強調レベルとして表されるものとする。

術者等のユーザは、内視鏡システム１Ｂの各部を接続して電源を投入した後、被検者の内部へ内視鏡１１の挿入部を挿入するとともに、当該被検者の内部における所望の被写体を撮像可能な位置に当該挿入部の先端部を配置する。そして、このようなユーザの操作に応じ、光源部１２１から内視鏡１１へ照明光が供給され、当該照明光により照明された被写体からの戻り光が撮像部１１１において撮像されるとともに、撮像部１１１において生成された撮像信号が本体装置１２Ｂへ出力される。

また、ユーザは、入力Ｉ／Ｆ１２３を操作することにより、例えば、画像生成部１２２Ｂの輪郭強調処理において用いられる強調レベルを所望の強調レベルＥＬＵに設定するための指示を行う。そして、このようなユーザの操作に応じ、記憶媒体１２５に格納されている現在の観察画像用の強調レベル（設定値）がＥＬＵに更新される。

画像生成部１２２Ｂは、記憶媒体１２５に格納されている現在の観察画像用の強調レベルＥＬＵを読み込み、当該読み込んだ強調レベルＥＬＵを用いて内視鏡１１から出力される撮像信号に対して（輪郭強調処理を含む）所定の処理を施すことにより観察画像ＫＧＤを生成する（図７参照）。すなわち、観察画像ＫＧＤは、撮像部１１１により撮像された被写体の輪郭を強調レベルＥＬＵに応じて強調した画像として生成される。

画像生成部１２２Ｂは、前述のように生成した観察画像ＫＧＤを内視鏡画像処理装置１３Ｂへ出力する。

推定部１３０Ｂは、本体装置１２Ｂから出力される観察画像ＫＧＤの輝度勾配に基づき、当該観察画像における平均エッジ強度ＥＳＡを検出するための処理を行う。また、推定部１３０Ｂは、観察画像ＫＧＤから検出した平均エッジ強度ＥＳＡと、記憶媒体１３４Ｂから読み込んだテーブルデータＴＤＡと、に基づき、画像生成部１２２Ｂが観察画像ＫＧＤを生成する際に用いた現在の観察画像用の強調レベルを推定するための推定処理を行う。

テーブルデータＴＤＡは、例えば、図８に示すように、観察画像ＫＧＤの平均エッジ強度ＥＳＡと、当該平均エッジ強度ＥＳＡに対応する観察画像用の強調レベルと、の間の関係を示すデータとして作成されている。すなわち、テーブルデータＴＤＢに含まれる各強調レベルは、観察画像ＫＧＤが生成される際に画像生成部１２２Ｂにより行われる輪郭強調処理において用いられる現在の観察画像用の強調レベルＥＬＵに対応している。

推定部１３０Ｂは、図８のテーブルデータＴＤＡを参照することにより、例えば、観察画像ＫＧＤから検出した平均エッジ強度ＥＳＡが０以上かつＥＳ１以下である場合に、画像生成部１２２Ｂが当該観察画像ＫＧＤを生成する際に用いた観察画像用の強調レベルが０であると推定する。また、推定部１３０Ｂは、図８のテーブルデータＴＤＡを参照することにより、例えば、観察画像ＫＧＤから検出した平均エッジ強度ＥＳＡがＥＳ１より大きくかつＥＳ２以下である場合に、画像生成部１２２Ｂが当該観察画像ＫＧＤを生成する際に用いた観察画像用の強調レベルが１であると推定する。

すなわち、推定部１３０Ｂは、観察画像ＫＧＤの平均エッジ強度ＥＳＡと、当該平均エッジ強度ＥＳＡに対応する観察画像用の強調レベルと、の間の関係を示すデータとして作成されたテーブルデータＴＤＡに基づき、当該観察画像ＫＧＤを生成する際に行われた所定の処理に含まれる輪郭強調処理において用いられた現在の観察画像用の強調レベルを推定するための推定処理を行う。

画像変換部１３１Ｂは、推定部１３０Ｂの処理結果として得られた観察画像用の強調レベルＥＬＵと、記憶媒体１３４Ｂから読み込んだテーブルデータＴＤＡ及び学習画像用の強調レベルＥＬＡと、に基づき、本体装置１２Ｂから出力される観察画像ＫＧＤを病変認識用画像ＲＧＤに変換するための変換処理を行う（図７参照）。

具体的には、画像変換部１３１Ｂは、例えば、推定部１３０Ｂの処理結果として得られた観察画像用の強調レベルＥＬＵが０であり、かつ、記憶媒体１３４Ｂから読み込んだ学習画像用の強調レベルＥＬＡが１である場合には、図８のテーブルデータＴＤＡに基づき、観察画像ＫＧＤの平均エッジ強度ＥＳＡをＥＳ１より大きくかつＥＳ２以下の範囲内に属する所定の平均エッジ強度ＥＳＢに増加させるような変換処理を行うことにより病変認識用画像ＲＧＤを生成する。すなわち、画像変換部１３１Ｂは、推定部１３０Ｂの処理結果として得られた観察画像用の強調レベルＥＬＵが学習画像用の強調レベルＥＬＡよりも低い場合には、テーブルデータＴＤＡに基づいて観察画像ＫＧＤの平均エッジ強度ＥＳＡを増加させるような変換処理を行うことにより病変認識用画像ＲＧＤを生成する。

また、画像変換部１３１Ｂは、例えば、推定部１３０Ｂの処理結果として得られた観察画像用の強調レベルＥＬＵが１であり、かつ、記憶媒体１３４Ｂから読み込んだ学習画像用の強調レベルＥＬＡが０である場合には、図８のテーブルデータＴＤＡに基づき、観察画像ＫＧＤの平均エッジ強度ＥＳＡを０以上かつＥＳ１以下の範囲内に属する所定の平均エッジ強度ＥＳＣに減少させるような変換処理を行うことにより病変認識用画像ＲＧＤを生成する。すなわち、画像変換部１３１Ｂは、推定部１３０Ｂの処理結果として得られた観察画像用の強調レベルＥＬＵが学習画像用の強調レベルＥＬＡよりも高い場合には、テーブルデータＴＤＡに基づいて観察画像ＫＧＤの平均エッジ強度ＥＳＡを減少させるような変換処理を行うことにより病変認識用画像ＲＧＤを生成する。

また、画像変換部１３１Ｂは、例えば、推定部１３０Ｂの処理結果として得られた観察画像用の強調レベルＥＬＵが１であり、かつ、記憶媒体１３４Ｂから読み込んだ学習画像用の強調レベルＥＬＡが１である場合には、観察画像ＫＧＤを病変認識用画像ＲＧＤとして取得する。すなわち、画像変換部１３１Ｂは、推定部１３０Ｂの処理結果として得られた観察画像用の強調レベルＥＬＵと学習画像用の強調レベルＥＬＡとが等しい場合には、観察画像ＫＧＤの平均エッジ強度ＥＳＡを増加または減少させるような変換処理を行わずに、当該観察画像ＫＧＤを病変認識用画像ＲＧＤとして取得する。

ここで、学習画像用の強調レベルＥＬＡは、病変認識部１３２Ｂの病変認識機能を実装するための学習に用いられた複数の過去の観察画像各々においてユーザにより設定されていた強調レベルＥＬＵのうち、最も使用頻度が高い強調レベルに相当する。そのため、以上に述べたような推定部１３０Ｂの推定処理及び画像変換部１３１Ｂの変換処理によれば、本番の内視鏡観察の際に得られた観察画像ＫＧＤに応じて生成された病変認識用画像ＲＧＤと、病変認識部１３２Ｂの病変認識機能を実装するための学習に用いられた学習画像ＬＧＡと、における被写体の輪郭の強調状態を相互に類似させることができる。

病変認識部１３２Ｂは、画像変換部１３１Ｂの処理結果として得られた病変認識用画像ＲＧＤに含まれる病変部を検出するための処理を行うとともに、当該検出した病変部に関する情報を取得するための処理を行う。

表示制御部１３３Ｂは、本体装置１２から出力される観察画像ＫＧＤと、病変認識部１３２Ｂの処理結果として得られた病変部に関する情報と、を合成することにより表示画像ＨＧＤを生成するとともに、当該生成した表示画像ＨＧＤを表示装置１４へ出力する（図７参照）。

以上に述べたように、本実施形態によれば、学習画像ＬＧＡの強調状態に類似した強調状態を有する病変認識用画像ＲＧＤが推定部１３０Ｂの推定処理及び画像変換部１３１Ｂの変換処理により生成されるとともに、当該生成された病変認識用画像ＲＧＤに含まれる病変部の認識に係る処理が病変認識部１３２Ｂにより行われる。そのため、本実施形態によれば、機械学習に用いられた画像と、本番の内視鏡観察の際に得られた画像と、の間の取得条件の相違に起因して生じる病変部の認識精度の低下を抑制することができる。

本実施形態においては、例えば、観察画像ＫＧＤの平均輝度値と、当該平均輝度値に対応する明るさレベルと、の間の関係を示すデータとして作成されたテーブルデータＴＤＢと、学習画像用の明るさレベルＢＬＡと、が記憶媒体１３４Ｂに格納されていてもよい。

なお、テーブルデータＴＤＢに含まれる各明るさレベルは、観察画像ＫＧＤが生成される際に画像生成部１２２Ｂにより行われる明るさ調整処理において用いられる現在の観察画像用の明るさレベルＢＬＵに対応している。また、現在の観察画像用の明るさレベルＢＬＵは、例えば、－Ｋから＋Ｋ（Ｋは１以上の整数）までの数値として表されるとともに、ユーザによる入力Ｉ／Ｆ１２３の操作に応じた所望のレベルに設定される。また、学習画像用の明るさレベルＢＬＡは、病変認識部１３２Ｂの病変認識機能を実装するための学習に用いられた複数の過去の観察画像各々において設定されていた明るさレベルＢＬＵのうち、最も使用頻度が高い明るさレベルに相当する。

以上に述べた場合においては、テーブルデータＴＤＢに基づいて明るさ調整処理において用いられた現在の観察画像用の明るさレベルＢＬＵを推定するための推定処理が推定部１３０Ｂにより行われる。また、以上に述べた場合においては、推定部１３０Ｂの処理結果として得られた現在の観察画像用の明るさレベルＢＬＵと、テーブルデータＴＤＢと、学習画像用の明るさレベルＢＬＡと、に基づいて観察画像ＫＧＤを病変認識用画像ＲＧＤに変換するための変換処理が画像変換部１３１Ｂにより行われる。そのため、以上に述べた場合においては、学習画像ＬＧＡの明るさに類似した明るさを有する病変認識用画像ＲＧＤを生成することができる。

本実施形態においては、例えば、観察画像ＫＧＤに含まれる各色成分（青色、緑色及び赤色の色成分）の平均画素値と、当該各色成分の平均画素値に対応する色調レベルと、の間の関係を示すデータとして作成されたテーブルデータＴＤＣと、学習画像用の色調レベルＣＬＡと、が記憶媒体１３４Ｂに格納されていてもよい。

なお、テーブルデータＴＤＣに含まれる各色調レベルは、観察画像ＫＧＤが生成される際に画像生成部１２２Ｂにより行われる色調調整処理において用いられる現在の観察画像用の色調レベルＣＬＵに対応している。また、現在の観察画像用の色調レベルＣＬＵは、例えば、－Ｌから＋Ｌ（Ｌは１以上の整数）までの数値として表されるとともに、ユーザによる入力Ｉ／Ｆ１２３の操作に応じた所望のレベルに設定される。また、学習画像用の色調レベルＣＬＡは、病変認識部１３２Ｂの病変認識機能を実装するための学習に用いられた複数の過去の観察画像各々において設定されていた色調レベルＣＬＵのうち、最も使用頻度が高い色調レベルに相当する。

以上に述べた場合においては、テーブルデータＴＤＣに基づいて色調調整処理において用いられた現在の観察画像用の色調レベルＣＬＵを推定するための推定処理が推定部１３０Ｂにより行われる。また、以上に述べた場合においては、推定部１３０Ｂの処理結果として得られた現在の観察画像用の色調レベルＣＬＵと、テーブルデータＴＤＣと、学習画像用の色調レベルＣＬＡと、に基づいて観察画像ＫＧＤを病変認識用画像ＲＧＤに変換するための変換処理が画像変換部１３１Ｂにより行われる。そのため、以上に述べた場合においては、学習画像ＬＧＡの色調に類似した色調を有する病変認識用画像ＲＧＤを生成することができる。

なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (14)

1. 被検体内の被写体を内視鏡で撮像して得られた撮像信号に対して所定の処理を施すことにより生成された画像が外部装置から入力されるとともに、当該入力された画像に含まれる病変部を認識可能な病変認識機能を有する内視鏡画像処理装置であって、
   前記所定の処理を経て生成された複数の過去の観察画像を複数の学習画像として用いた機械学習を行うことにより実装された前記病変認識機能を有する病変認識部と、
   前記複数の学習画像各々を生成する際に行われた前記所定の処理において用いられた過去の観察画像用の設定値に相当する学習画像用の設定値に基づき、前記外部装置から入力される画像を前記病変認識部により行われる前記病変認識機能に応じた処理に用いられる病変認識用画像に変換するための変換処理を行う画像変換部と、
   を有することを特徴とする内視鏡画像処理装置。
2. 前記過去の観察画像用の設定値は、ユーザにより設定されたことを特徴とする請求項１に記載の内視鏡画像処理装置。
3. 前記学習画像用の設定値は、前記複数の学習画像各々を生成する際に行われた前記所定の処理において用いられた複数の設定値の中でユーザによる設定回数が最も多い設定値に相当する
   ことを特徴とする請求項１に記載の内視鏡画像処理装置。
4. 前記画像変換部は、前記外部装置から入力される画像が前記所定の処理におけるデフォルトの設定値を用いて生成された内視鏡画像である場合に、前記変換処理として、前記内視鏡画像を前記学習画像用の設定値に応じた前記病変認識用画像に変換するための処理を行う
   ことを特徴とする請求項１に記載の内視鏡画像処理装置。
5. 前記画像変換部は、前記外部装置から入力される画像がユーザにより設定された現在の観察画像用の設定値を用いて前記所定の処理を行うことにより生成された現在の観察画像である場合に、前記変換処理として、前記外部装置から取得した前記現在の観察画像用の設定値に基づいて前記現在の観察画像を前記所定の処理におけるデフォルトの設定値に応じた内視鏡画像に変換する処理と、前記内視鏡画像を前記学習画像用の設定値に応じた前記病変認識用画像に変換するための処理と、を行う
   ことを特徴とする請求項１に記載の内視鏡画像処理装置。
6. 前記画像変換部は、前記現在の観察画像を前記内視鏡画像に変換する際に、前記内視鏡の機種及び前記外部装置の機種の組み合わせに応じて異なる処理を行う
   ことを特徴とする請求項５に記載の内視鏡画像処理装置。
7. 前記画像変換部は、前記現在の観察画像に含まれる文字列を認識するための処理を行うことにより、前記内視鏡の機種及び前記外部装置の機種のうちの少なくとも一方を特定する
   ことを特徴とする請求項６に記載の内視鏡画像処理装置。
8. 前記外部装置から入力される画像がユーザにより設定された現在の観察画像用の設定値を用いて前記所定の処理を行うことにより生成された現在の観察画像である場合に、前記現在の観察画像から検出可能なパラメータと、前記パラメータに対応する観察画像用の設定値と、の間の関係を示すテーブルデータに基づいて前記現在の観察画像用の設定値を推定するための推定処理を行う推定部をさらに有し、
   前記画像変換部は、前記変換処理として、前記推定部の処理結果として得られた前記現在の観察画像用の設定値と、前記テーブルデータと、前記学習画像用の設定値と、に基づいて前記現在の観察画像を前記病変認識用画像に変換するための処理を行う
   ことを特徴とする請求項１に記載の内視鏡画像処理装置。
9. 前記推定部は、前記現在の観察画像の平均エッジ強度と、前記平均エッジ強度に対応する観察画像用の強調レベルと、の間の関係を示すデータとして作成された前記テーブルデータに基づき、前記現在の観察画像を生成する際に行われた前記所定の処理に含まれる輪郭強調処理において用いられた現在の観察画像用の強調レベルを推定するための推定処理を行う
   ことを特徴とする請求項８に記載の内視鏡画像処理装置。
10. 前記推定部は、前記観察画像の平均輝度と、前記平均輝度に対応する観察画像用の明るさレベルと、の間の関係を示すデータとして作成された前記テーブルデータに基づき、前記現在の観察画像を生成する際に行われた前記所定の処理に含まれる明るさ調整処理において用いられた現在の観察画像用の明るさレベルを推定するための推定処理を行う
    ことを特徴とする請求項８に記載の内視鏡画像処理装置。
11. 前記推定部は、前記観察画像に含まれる各色成分の平均画素値と、前記各色成分の平均画素値に対応する観察画像用の色調レベルと、の間の関係を示すデータとして作成された前記テーブルデータに基づき、前記現在の観察画像を生成する際に行われた前記所定の処理に含まれる色調調整処理において用いられた現在の観察画像用の色調レベルを推定するための推定処理を行う
    ことを特徴とする請求項８に記載の内視鏡画像処理装置。
12. 前記外部装置から入力される画像と、前記病変認識部が前記病変認識機能に応じた処理を前記病変認識用画像に対して施すことにより得られた病変部に関する情報と、を合成することにより表示画像を生成するように構成された表示制御部をさらに有する
    ことを特徴とする請求項１に記載の内視鏡画像処理装置。
13. 被検体内の被写体を内視鏡で撮像して得られた撮像信号に対して所定の処理を施すことにより生成された画像が外部装置から入力されるとともに、当該入力された画像に含まれる病変部を認識可能な病変認識機能を有する内視鏡画像処理装置における内視鏡画像処理方法であって、
    病変認識部が、前記所定の処理を経て生成された複数の過去の観察画像を複数の学習画像として用いて前記病変認識機能を実装するための機械学習を行い、
    画像変換部が、前記複数の学習画像各々を生成する際に行われた前記所定の処理において用いられた過去の観察画像用の設定値に相当する学習画像用の設定値に基づき、前記外部装置から入力される画像を前記病変認識部により行われる前記病変認識機能に応じた処理に用いられる病変認識用画像に変換するための変換処理を行う
    ことを特徴とする内視鏡画像処理方法。
14. 被検体内の被写体を内視鏡で撮像して得られた撮像信号に対して所定の処理を施すことにより生成された画像が外部装置から入力されるとともに、当該入力された画像に含まれる病変部を認識可能な病変認識機能を有するコンピュータにより実行されるプログラムであって、
    前記所定の処理を経て生成された複数の過去の観察画像を複数の学習画像として用いて前記病変認識機能を実装するための機械学習を行う工程と、
    前記複数の学習画像各々を生成する際に行われた前記所定の処理において用いられた過去の観察画像用の設定値に相当する学習画像用の設定値に基づき、前記外部装置から入力される画像を前記病変認識機能に応じた処理に用いられる病変認識用画像に変換するための変換処理を行う工程と、
    を実行させるためのプログラム。

Images