WO2019225691A1 - 内視鏡画像処理装置及び内視鏡システム - Google Patents

Abstract

本体装置３は、被検体に対して近点で撮像された近点画像及び被検体に対して遠点で撮像された遠点画像に対して信号処理を施す内視鏡画像処理装置であって、　入力された近点画像内において暗部と判断するための閾値ＴＨｎを記憶するメモリ２１ｂと、近点画像の取得タイミングに応じて、閾値ＴＨｎに基づいて近点画像に対して明るさ補正を行い、かつ、遠点画像に対して閾値ＴＨｆに基づいて遠点画像に対して第２の明るさ補正を行う明るさ補正回路２９と、を有する。

Description

内視鏡画像処理装置及び内視鏡システム

　本発明は、内視鏡画像処理装置及び内視鏡システムに関し、特に、近点画像及び遠点画像の信号処理機能を有する内視鏡画像処理装置及び内視鏡システムに関する。

　従来より、細長の挿入部を有する内視鏡が医療分野等で広く利用されている。術者などは、挿入部を被検体内に挿入し、被検体内の内視鏡画像を表示装置に表示させるなどして、被検体内を観察することができる。表示装置に表示される内視鏡画像は、取得された内視鏡画像の明るさに基づき、照明光量あるいは絞りを制御することにより、適切な明るさに調整される。

　さらに、近年は、通常観察に加えて、近点観察が可能な内視鏡も提案されている。近点観察は、被検体を近点で撮像して、被検体の部位を拡大した観察を可能にする。近点画像の調光制御に関しては、例えば、国際公開２０１３／１８０１４７号に、被検体との距離が近く十分な明るさが得られる場合には、絞りの開口の大きさを可能な限り大きくするように絞りを制御する内視鏡装置が提案されている。

　一般に、近点画像は、挿入部の先端部が被検体に近づいて得られた画像であるため、内視鏡画像に照明光の配光ムラが生じるという問題がある。例えば、２つの照明窓から照射される照明光の照明範囲は、被検体が挿入部の先端部から離れていれば重なるが、被検体が先端部に近接しているときは照明光が直接当たらない領域が生じるため、内視鏡画像に配光ムラが生じる場合がある。

　また、近点観察モードでない通常観察モードのときに、内視鏡画像において、例えば管腔のような奥の部位の領域が真っ暗になってしまう場合がある。このような場合に、内視鏡画像中で所定の閾値以下の画素値を有する暗部の画素を検出し、暗部の画素の画素値だけを所定のゲインだけ増加することにより、暗部の領域の明るさを高める方法がある。

　よって、このような内視鏡画像における暗部の画像の明るさを高める方法を用いて、上述した近点画像における照明光が直接当たらない暗部の画素の画素値を上げることも考えられる。

　しかし、被検体の先端部に近点画像の暗部の明るさと、通常観察モード時の管腔の奥の部位のような暗部の明るさの差は大きい。そのため、近点画像と遠点画像に対して信号処理を行う内視鏡画像処理装置において、通常観察モード時の暗部を判定するための閾値を用いても、近点画像の暗部の検出できず、結果として、近点画像の配光ムラを低減することはできない。

　そこで、本発明は、近点画像と遠点画像に対して信号処理を行う内視鏡画像処理装置において近点画像の配光ムラを低減することができる内視鏡画像処理装置及び内視鏡システムを提供することを目的とする。

　本発明の一態様の内視鏡画像処理装置は、被検体に対して近点で撮像された近点画像及び前記被検体に対して遠点で撮像された遠点画像に対して信号処理を施す内視鏡画像処理装置であって、入力された前記近点画像内における第１の暗部を判断するための第１の閾値を記憶する記憶部と、前記近点画像の取得タイミングに応じて、前記第１の閾値に基づいて前記近点画像に対して第１の明るさ補正を行い、かつ、前記遠点画像の取得タイミングに応じて、第２の閾値に基づいて前記遠点画像に対して第２の明るさ補正を行うかもしくは前記遠点画像に対して前記第２の明るさ補正を行わない明るさ補正部と、を備える。

　本発明の一態様の内視鏡システムは、一態様の内視鏡画像処理装置と、前記近点画像及び前記遠点画像を取得する内視鏡と、を有する。

本発明の第１の実施の形態に係わる内視鏡装置の模式的構成を示す構成図である。 本発明の第１の実施の形態に係わる、近点観察モードと遠点観察モードにおける２つの照明光の照明範囲を説明するための図である。 本発明の第１の実施の形態に係わる、近点観察モード用の閾値と遠点観察モード用の閾値の大小関係を説明するための図である。 本発明の第１の実施の形態に係わる、明るさ補正回路による明るさ補正がされない場合における、遠点画像の例を示す模式的な図である。 本発明の第１の実施の形態に係わる、明るさ補正回路による明るさ補正がされた場合における、遠点画像の例を示す模式的な図である。 本発明の第１の実施の形態に係わる、明るさ補正回路による明るさ補正がされない場合における、近点画像の例を示す模式的な図である。 本発明の第１の実施の形態に係わる、明るさ補正回路による明るさ補正がされた場合における、近点画像の例を示す模式的な図である。 本発明の第２の実施の形態に係わる、内視鏡装置の模式的構成を示す構成図である。

　以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
　図１は、本実施の形態に係わる内視鏡装置の模式的構成を示す構成図である。

　内視鏡装置１は、内視鏡２と、本体装置３と、表示装置４とを含む内視鏡システムである。

　内視鏡２は、細長の挿入部５と、挿入部５の基端が接続された操作部６と、操作部６から延出したケーブル７とを有する。内視鏡２は、ケーブル７の基端部に設けられたコネクタにより本体装置３と接続される。

　挿入部５は、先端から順に、先端部１１、湾曲部１２、可撓管部１３を有する。

　先端部１１は、観察窓１４と、２つの照明窓１５とを有している。観察窓１４の後ろ側には、対物光学系と、撮像素子１６が配設されている。撮像素子１６に接続された複数の信号線が、湾曲部１２と可撓管部１３内に挿通されている。なお、図１では、撮像素子１６の複数の信号線のうち、撮像信号を伝送する信号線１６ａのみが示されている。

　２つの照明窓１５は、観察窓１４を挟むように、先端部１１の先端面１１ａに配設される。２つの照明窓１５からの白色の照明光は、対物光学系の光軸に平行にかつ広がるように出射するため、被検体の観察部位は、略均等に照明される。

　後述するように、内視鏡装置１は、遠点観察モードと近点観察モードを有している。遠点観察モードは、所謂通常観察モードである。ここでは、遠点とは、中遠点を意味する。遠点観察モードのときに得られる内視鏡画像は、被検体に対して遠点で撮像された遠点画像である。近点観察モードのときに得られる内視鏡画像は、被検体に対して近点で撮像された近点画像である。

　よって、本体装置３は、被検体に対して近点で撮像された近点画像及び被検体に対して遠点で撮像された遠点画像に対して信号処理を施す内視鏡画像処理装置である。

　遠点観察モードのときは、先端部１１が被検体の観察部位から所定の距離以上離れているため、被検体の２つの照明光による２つの照明範囲は重なる。よって、被検体の観察部位は、略均等に照明される。

　しかし、近点観察モードのときは、先端部１１が被検体の観察部位から所定の距離未満まで近づくと、被検体における２つの照明光による２つの照明範囲が重ならなくなる。よって、被検体の観察部位は、略均等に照明されなくなる。例えば、２つの照明範囲が離れるため、近点画像の中央部分は暗くなる。

　図２は、近点観察モードと遠点観察モードにおける２つの照明光の照明範囲を説明するための図である。

　一点鎖線で示すように、遠点観察モードのとき、被検体の表面ＳＳが先端部１１の先端面１１ａから遠いため、２つの照明窓１５から出射する２つの照明光の照明範囲ＬＲ、ＬＬには、重なる領域Ａｂが生じる。

　二点鎖線で示すように、近点観察モードのとき、被検体の表面ＳＳが先端部１１の先端面１１ａに近いため、２つの照明窓１５から出射する２つの照明光の照明範囲ＬＲ、ＬＬが重ならない領域Ａａが生じる場合がある。

　よって、近点画像は、２つの照明光の照明範囲ＬＲ、ＬＬが重ならない領域Ａａによる、暗部を含む場合がある。

　対物光学系は、近点と遠点の２つの焦点位置に切り替え可能である。

　図１では、２つの焦点位置を切り替えられるときに光軸上に沿って動く可動レンズ１７のみが示されている。可動レンズ１７は、点線で示すようにアクチュエータ１８と接続されており、先端部１１内に設けられたアクチュエータ１８により近点位置あるいは遠点位置に動かされる。

　アクチュエータ１８は、例えばボイスコイルモータを有している。アクチュエータ１８に接続された信号線１８ａは、湾曲部１２と可撓管部１３内に挿通され、本体装置３に接続されている。アクチュエータ１８は、本体装置３からの駆動信号ＤＳにより駆動される。

　各照明窓１５の後ろ側には、ライトガイド１９の先端面が配設されている。ライトガイド１９は、内視鏡２内に挿通されている。ライトガイド１９の基端面には、後述する光源装置の出射光が入射される。ライトガイド１９の先端部分は、２つに分岐しており、各分岐部分の先端面から照明窓１５に向けて照明光が出射する。

　湾曲部１２は、図示しない複数の湾曲駒を含み、操作部６に設けられた２つの湾曲操作ノブ（図示せず）の操作に応じて、可撓管部１３内に挿通された複数の湾曲ワイヤが牽引あるいは弛緩されることにより、先端部１１が上下左右方向に湾曲可能となっている。

　術者などのユーザにより操作される複数のボタンが、操作部６に配設されている。図１では、複数のボタンのうち、近点観察モードと遠点観察モードを切り替える切り替えボタン２０のみが示されている。切り替えボタン２０が近点観察モードにあるとき、対物光学系の焦点位置が近点になり、切り替えボタン２０が遠点観察モードにあるとき、対物光学系の焦点位置は、遠点、ここでは中遠点となる。

　切り替えボタン２０に接続された信号線２０ａは、本体装置３に接続され、ユーザにより操作される切り替えボタン２０の切り替え信号ＴＲは、本体装置３のプロセッサ２１に供給される。プロセッサ２１では、近点画像の取得タイミング及び遠点画像の取得タイミングは、近点画像及び遠点画像を取得する内視鏡２からの信号、ここでは切り替え信号ＴＲ、に基づいて判定される。

　切り替えボタン２０が近点観察モードの状態にある時又は期間が、内視鏡装置１における近点画像の取得タイミングであり、切り替えボタン２０が遠点観察モードの状態にある時又は期間が、内視鏡装置１における遠点画像の取得タイミングである。

　所謂ビデオプロセッサである本体装置３は、プロセッサ２１、オプティカルブラック（ＯＢ）回路２２と、プリゲイン回路２３と、ホワイトバランス（ＷＢ）回路２４と、調光制御回路２５と、光源２６と、ドライバ２７と、ガンマ補正回路２８と、明るさ補正回路２９と、拡大回路３０と、出力回路３１と、ドライバ３２とを含む。

　本体装置３は、内視鏡２からの撮像信号を処理して、内視鏡画像を生成し、表示装置４に出力する内視鏡画像処理装置である。

　プロセッサ２１は、中央処理装置（以下、ＣＰＵという）２１ａ、メモリ２１ｂなどのハードウエア回路を含む。メモリ２１ｂは、ＲＯＭ、ＲＡＭなどを含む。ＣＰＵ２１ａは、ＲＯＭに記憶された各種制御プログラムを実行することによって、内視鏡装置１の各種機能を実現する。

　なお、プロセッサ２１は、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の集積回路により構成されていてもよい。

　ＲＯＭには、デフォルトとして、後述する明るさ補正に用いられる閾値ＴＨのデータと、後述するゲインＧのデータが予め格納されている。ここでは、閾値ＴＨとゲインＧとして、近点観察用の閾値ＴＨｎとゲインＧｎと、遠点観察用の閾値ＴＨｆとゲインＧｆとが、ＲＯＭに格納されている。

　後述するように、閾値ＴＨｎは、近点画像内において暗部を判断するために用いられ、閾値ＴＨｆは、遠点画像内において暗部を判断するために用いられる。よって、メモリ２１ｂは、入力された近点画像内における暗部を判断するための閾値ＴＨｎ及びゲインＧｎと、入力された遠点画像内における暗部を判断するための閾値ＴＨｆ及びゲインＧｆと、を記憶する記憶部を構成する。

　閾値ＴＨとゲインＧは、ユーザにより設定変更が可能であり、設定変更されたデータは、ＲＡＭ中に、あるいは図示しないフラッシュメモリなどの不揮発性の書き換え可能なメモリに格納される。

　図３は、近点観察モード用の閾値ＴＨｎと遠点観察モード用の閾値ＴＨｆの大小関係を説明するための図である。

　図３において、縦軸は、輝度値であり、輝度値は、０から、例えば２５５の範囲の値であるとき、近点観察モード用の閾値ＴＨｎは、遠点観察モード用の閾値ＴＨｆよりも大きな値、すなわち明るい値である。すなわち、閾値ＴＨｆは、閾値ＴＨｎよりも小さい。

　近点画像において画素の画素値が閾値ＴＨｎ以下であるとき、明るさ補正回路２９により、その画素の画素値は、ゲインＧｎが乗算された値に補正される。図３において例として示した値Ｄｎは、値Ｄｎ１に補正される。すなわち、明るさ補正回路２９は、ゲインＧｎを用いて近点画像の暗部が明るくなるように、近点画像の明るさを補正する。

　また、遠点画像において画素の画素値が閾値ＴＨｆ以下であるとき、明るさ補正回路２９により、その画素の画素値は、ゲインＧｆが乗算された値に補正される。図３において例として示した値Ｄｆは、値Ｄｆ１に補正される。すなわち、明るさ補正回路２９は、ゲインＧｆを用いて遠点画像の暗部が明るくなるように、遠点画像の明るさを補正する。

　よって、近点画像において、閾値ＴＨｆ以下の画素の画素値が、ゲインＧｎにより補正されるだけでなく、閾値ＴＨｆを超えて閾値ＴＨｎ未満の画素の画素値も、ゲインＧｎにより補正される。

　なお、ゲインＧｎ、Ｇｆは、明るさ補正された近点画像及び遠点画像においてノイズが目立たないレベルの値であることが好ましい。

　図１に戻り、オプティカルブラック（ＯＢ）回路２２は、撮像素子１６からの撮像信号を受信して、撮像信号に対してオプティカルブラッククランプ処理などを行う回路である。

　プリゲイン回路２３は、オプティカルブラック（ＯＢ）回路２２からの出力信号に対して、ゲイン調整を行う。

　ホワイトバランス（ＷＢ）回路２４は、プリゲイン回路２３の出力信号に対してホワイトバランス処理を行う。

　調光制御回路２５は、ホワイトバランス（ＷＢ）回路２４からの画像信号に基づいて、光源２６のためのドライバ２７を制御して、調光制御を行う。

　光源２６は、発光ダイオードなどの発光素子を含み、白色光の照明光を出射する装置である。

　ドライバ２７は、光源２６の発光素子に供給する駆動電流を出力する回路である。

　ガンマ補正回路２８は、調光制御回路２５を介して出力された画像信号に対して、ガンマ補正処理を行う。すなわち、ガンマ補正回路２８は、撮像素子１６により得られた被検体のライブ画像ＬＧの画像信号を出力する。

　明るさ補正回路２９は、ライブ画像ＬＧの明るさを補正する。明るさ補正回路２９は、内部に２つのレジスタＲ１，Ｒ２を有する。レジスタＲ１には、閾値ＴＨのデータが設定される。レジスタＲ２には、ゲインＧのデータが設定される。レジスタＲ１，Ｒ２に設定される閾値ＴＨとゲインＧのデータは、プロセッサ２１により書き込まれる。

　明るさ補正回路２９には、ガンマ補正されたライブ画像ＬＧをスキャンした各画素のデータがシリアルに入力される。

　明るさ補正回路２９は、シリアルに入力される複数の画素における各画素の画素値と、レジスタＲ１に格納された閾値ＴＨとを比較し、画素値が閾値ＴＨ以下であるとき、レジスタＲ２に格納されたゲインＧを用いて、その画素値を高くするように補正する。明るさ補正回路２９は、画素値が閾値ＴＨ以下でないとき、その画素値を補正しない。

　拡大回路３０は、ライブ画像ＬＧを表示装置４に適切に表示するために、ライブ画像ＬＧのサイズを調整するスケーリング回路である。

　出力回路３１は、拡大回路３０から出力された画像信号を表示装置４に出力する回路である。

　プロセッサ２１は、切り替えボタン２０の切り替え信号ＴＲを監視し、切り替えボタン２０が遠点観察モードから近点観察モードに切り替えられると、ドライバ３２に制御信号を出力して、信号線１８ａに駆動信号ＤＳを出力して、可動レンズ１７を近点位置に移動させる。

　また、切り替えボタン２０が遠点観察モードから近点観察モードに切り替えられると、プロセッサ２１は、ドライバ３２に制御信号を出力して、信号線１８ａに駆動信号ＤＳを出力して、可動レンズ１７を遠点位置に移動させる。

　さらに、切り替えボタン２０が遠点観察モードから近点観察モードに切り替えられると、プロセッサ２１は、ＲＯＭあるいはＲＡＭに格納されている近点観察用の閾値ＴＨｎとゲインＧｎを読み出して、それぞれ、明るさ補正回路２９のレジスタＲ１とＲ２に書き込む。

　また、切り替えボタン２０が遠点観察モードから近点観察モードに切り替えられると、プロセッサ２１は、ＲＯＭあるいはＲＡＭに格納されている遠点観察用の閾値ＴＨｆとゲインＧｆを読み出して、それぞれ、明るさ補正回路２９のレジスタＲ１とＲ２に書き込む。

（作用）
　次に、上述した内視鏡装置１の動作について説明する。術者が被検体内に挿入部５を挿入すると、被検体内の内視鏡画像すなわちライブ画像ＬＧが表示装置４に表示される。

　術者は、ライブ画像ＬＧを見ながら、必要に応じて、切り替えボタン２０を操作して、対物光学系の可動レンズ１７を近点位置あるいは遠点位置に移動させて、内視鏡検査を行うことができる。

　ここでは、近点観察モードと遠点観察モードの切り替えがあったときの明るさ補正処理についてのみ説明する。

　プロセッサ２１は、切り替えボタン２０の切り替え信号ＴＲに基づいて、ユーザが遠点観察モードを選択しているか、あるいは近点観察モードを選択しているかを判定することができる。

　プロセッサ２１は、内視鏡装置１の起動時、メモリ２１ｂに格納されている遠点観察モードの閾値ＴＨｆとゲインＧｆ、あるいは近点観察モードの閾値ＴＨｎとゲインＧｎを読み出して、明るさ補正回路２９のレジスタＲ１，Ｒ２に、それぞれ書き込む。

　例えば内視鏡装置１の起動時に遠点観察モードが選択されていると、プロセッサ２１は、ドライバ３２を制御してアクチュエータ１８を駆動し、対物光学系の可動レンズ１７を遠点位置に移動させる。

　同時に、遠点観察モードが選択されていると、プロセッサ２１は、メモリ２１ｂに格納されている遠点観察モード用の閾値ＴＨｆとゲインＧｆのデータとを読み出して、明るさ補正回路２９のレジスタＲ１，Ｒ２に、それぞれ設定する。よって、プロセッサ２１は、遠点画像の取得タイミングに基づいて、より具体的には、切り替えボタン２０の遠点画像モードへの切り替えのタイミングにおいて、閾値ＴＨｆをレジスタＲ１に設定する閾値設定部を構成する。

　遠点観察モードのとき、明るさ補正回路２９は、ガンマ補正回路２８から出力されるライブ画像ＬＧの画像信号の各画素の画素値と、レジスタＲ１に格納されている閾値ＴＨｆとを比較する。

　明るさ補正回路２９は、画素値が閾値ＴＨｆ以下であるとき、その画素値を、レジスタＲ２に格納されているゲインＧｆを用いて補正する。例えば、ゲインＧｆは、係数値であり、画素値にゲインＧｆを乗算することにより、画素値は補正される。

　図４は、明るさ補正回路２９による明るさ補正がされない場合における、遠点画像の例を示す模式的な図である。

　遠点画像ＧＡｆは、被検体に対して遠点で撮像された画像である。図４では、先端部１１が管腔の奥の方へ向いているため、遠点画像である内視鏡画像ＧＡｆは、先端部１１に近い内壁部位の領域ＮＡは、明るく表示されているが、管腔内の奥の領域ＦＡは、真っ黒になっている。

　図５は、明るさ補正回路２９による明るさ補正がされた場合における、遠点画像の例を示す模式的な図である。

　上述したように、明るさ補正回路２９において、画素値が閾値ＴＨｆ以下の画素は、ゲインＧｆにより補正される。閾値ＴＨｆは、遠点観察モードにおいて、例えば管腔の奥の領域ＦＡの明るさ（あるいは暗さ）を判定するレベルの値である。

　よって、管腔の奥の領域ＦＡは、補正される前は真っ黒で表示されるが、明るさ補正回路２９により、図４では真っ黒であった管腔内の奥の領域ＦＡは、図５において斜線で示すように、やや明るくなる。

　図５のように、遠点観察モードにおいて、奥の領域ＦＡがやや明るくなるので、ユーザは、遠点画像ＧＡｆに奥行き感を感じることができる。

　切り替えボタン２０が、遠点観察モードから近点観察モードに切り替えられると、プロセッサ２１は、ドライバ３２を制御してアクチュエータ１８を駆動し、対物光学系の可動レンズ１７を近点位置に移動させる。

　同時に、近点観察モードが選択されていると、プロセッサ２１は、メモリ２１ｂに格納されている近点観察モード用の閾値ＴＨｎとゲインＧｎとを読み出して、明るさ補正回路２９のレジスタＲ１，Ｒ２に、それぞれ設定する。よって、プロセッサ２１は、近点画像の取得タイミングに応じて、より具体的には、切り替えボタン２０の近点画像モードへの切り替えのタイミングにおいて、閾値ＴＨｎをレジスタＲ１に設定する閾値設定部を構成する。

　近点観察モードのとき、明るさ補正回路２９は、ガンマ補正回路２８から出力されるライブ画像ＬＧの画像信号の各画素の画素値と、レジスタＲ１に格納されている閾値ＴＨｎとを比較する。

　明るさ補正回路２９は、画素値が閾値ＴＨｎ以下であるとき、その画素値を、レジスタＲ２に格納されているゲインＧｎを用いて補正する。例えば、ゲインＧｎは、係数値であり、画素値にゲインＧｎを乗算することにより、画素値は補正される。

　なお、ここでは、観察モードは、切り替えボタン２０により、２つの観察モードのいずれかに切り替えられるが、観察モードは、押しボタンにより設定できるようにしてもよい。押しボタンが押下されている時又は期間が、近点画像の取得タイミングとなる。押しボタンが押下されていない時又は期間が、遠点画像の取得タイミングとなる。

　すなわち、切り替えボタン２０に代えて近点観察モード用の押しボタンを設け、その押しボタンが押下されているときだけ、明るさ補正回路２９は、近点観察用の閾値ＴＨｎとゲインＧｎを用いた明るさ補正を行い、近点観察モード用の押しボタンがオンされていないときは、明るさ補正回路２９は、遠点観察用の閾値ＴＨｆとゲインＧｆを用いた明るさ補正を行うようにしてもよい。

　図６は、明るさ補正回路２９による明るさ補正がされない場合における、近点画像の例を示す模式的な図である。

　近点画像は、被検体に対して近点で撮像された画像である。図６では、先端部１１が管腔の内壁に向けられかつ内壁の近くに位置しているため、近点画像である内視鏡画像ＧＡｎの中央部分の領域ＣＡは、線幅の狭い斜線で示すように、暗くなる。よって、各照明窓１５からの照明光が当たる部位の領域ＲＡとＬＡは、明るく表示されているが、近点画像である内視鏡画像ＧＡｎの中央部分の領域ＣＡは、やや暗くなっている。

　図７は、明るさ補正回路２９による明るさ補正がされた場合における、近点画像の例を示す模式的な図である。

　上述したように、明るさ補正回路２９において、画素値が閾値ＴＨｎ以下の画素は、ゲインＧｆにより補正される。閾値ＴＨｎは、近点観察モードにおいて、例えば照明光が直接当たらない中央部分の領域ＣＡの明るさ（あるいは暗さ）を判定するレベルの値である。

　よって、例えば中央部分の領域ＣＡは、補正される前はやや暗く表示されるが、明るさ補正回路２９により、図６ではやや暗かった中央部分の領域ＣＡは、図７に示すように、やや明るくなる。図７では、中央部分の領域ＣＡは、図６の斜線よりも線幅が広い斜線で示されている。その結果、近点画像における配光ムラは低減されるので、ユーザにとって、内視鏡画像ＧＡｎが見やすくなる。

　以上のように、明るさ補正部としての明るさ補正回路２９は、近点画像の取得タイミング、すなわち切り替えボタン２０の切り替え信号ＴＲ又は押しボタンのオン信号に応じて、閾値ＴＨｎに基づいて近点画像に対して明るさ補正を行う。さらに、明るさ補正回路２９は、遠点画像の取得タイミング、すなわち切り替えボタン２０の切り替え信号ＴＲ又は押しボタンの非オン信号に応じて、閾値ＴＨｆに基づいて遠点画像に対して明るさ補正を行う。

　以上のように、上述した実施の形態によれば、閾値ＴＨは、遠点観察モードと近点観察モードにおいて異なっており、かつ近点観察モードの閾値ＴＨｎは、遠点観察モードの閾値ＴＨｆよりも大きいので、近点画像においてやや暗くなる領域も明るく表示され、結果として、近点画像の配光ムラが低減される。

（第２の実施の形態）
　第１の実施の形態では、観察モードが近点観察モードに設定されているとき、近点観察モード用の閾値ＴＨｎとゲインＧｎを用いて明るさ補正が行われるが、第２の実施の形態では、観察モードが近点観察モードのときに、内視鏡画像の配光状態が判定し、その配光状態が近点画像の配光状態であるときは明るさ補正が行われ、その配光状態が近点画像の配光状態でないときは明るさ補正が行われない。

　第２の実施の形態の内視鏡装置の構成は、第１の実施の形態の内視鏡装置の構成と略同じであるので、同じ構成要素については説明を省略し、異なる構成要素についてのみ説明する。

　図８は、本実施の形態に係わる内視鏡装置の模式的構成を示す構成図である。

　本実施の形態に係わる内視鏡装置１Ａの内視鏡２は、フラッシュメモリなどの不揮発性のメモリ４１を有している。ここでは、メモリ４１は、例えばケーブル７の基端部に設けられたコネクタに内蔵されている。

　メモリ４１には、配光状態を判定するときに基準データとして参照される近点画像（以下、参照近点画像という）ＲＮＧの画像データが格納される。

　挿入部５の先端部１１の観察窓と２つの照明窓の配置、各照明光の出射範囲などは、内視鏡の機種などによって異なる。よって、メモリ４１に記憶される参照近点画像ＲＮＧの画像データは、当該内視鏡の近点画像の配光ムラの情報を含む。

　例えば、その内視鏡を近点観察モードにして被検体を近点で撮像したときに得られた近点画像の平均的な画像の画像データが、参照近点画像ＲＮＧとして、メモリ４１に記憶される。

　なお、参照近点画像ＲＮＧの画像データは、当該内視鏡を用いて近点観察モードで実際に撮像して得られた内視鏡画像の画像データでもよいし、コンピュータを用いてシミュレーションにより作成された画像データでもよい。

　本体装置３Ａは、配光状態判定回路４２を含む。内視鏡２のケーブル７のコネクタが本体装置３に接続されると、配光状態判定回路４２は、メモリ４１から参照近点画像ＲＮＧの画像データを読み出すことができる。

　配光状態判定回路４２は、参照近点画像ＲＮＧに基づいて、ガンマ補正回路２８から出力されるライブ画像ＬＧが近点画像であるかを判定し、その判定結果信号ＪＳをプロセッサ２１へ出力する。判定結果信号ＪＳは、撮像素子１６において得られた内視鏡画像の配光状態が近点画像の配光状態であるか否かを示す。

　すなわち、配光状態判定回路４２は、本体装置３に接続される内視鏡２から取得した配光情報に基づいて、明るさ補正回路２９に入力される内視鏡２からのライブ画像の配光状態が近接画像の配光状態であるかを判定する配光状態判定部を構成する。

　例えば、配光状態判定回路４２は、ガンマ補正回路２８からのライブ画像ＬＧとメモリ４１からの参照近点画像ＲＮＧとを画素毎に比較し、画素値の差分を計算し、全画素の差分の和を算出する。

　配光状態判定回路４２は、算出された和が所定の値以下であるときは、ガンマ補正回路２８からのライブ画像ＬＧは近点画像であると判定し、「１」の判定結果信号ＪＳをプロセッサ２１へ出力する。

　配光状態判定回路４２は、算出された和が所定の値以下でないときは、ガンマ補正回路２８からのライブ画像ＬＧは、近点画像でないと判定し、「０」の判定結果信号ＪＳをプロセッサ２１へ出力する。

　近点観察モードにおいて、先端部１１の先端面１１ａを被検体の表面に正対させて近づけていると、ライブ画像ＬＧは、図６のような配光を有する。参照近点画像ＲＮＧとして、図６のような画像の画像データが、メモリ４１に格納される。

　よって、ガンマ補正回路２８からのライブ画像ＬＧが図６の画像と同様な配光を有していると、算出された和は所定の値以下となる。

　しかし、ユーザが近点観察モードに設定した状態のまま、管腔内の奥の方へ先端部１１を向けてしまう場合もある。このような場合、ライブ画像ＬＧは、図４のような画像になる。よって、図４のような画像は、図６のような画像とは配光が大きく異なるので、配光状態判定回路４２において算出された和は所定の値を超える。

　なお、ライブ画像ＬＧを所定の複数の領域に分割し、参照近点画像ＲＮＧもライブ画像ＬＧと同様に複数の領域に分割し、配光状態判定回路４２は、ライブ画像ＬＧと参照近点画像ＲＮＧにおける分割領域毎の輝度値の平均値を比較し、各平均値の差が所定値以下の領域の数、あるいは全分割領域数に対する各平均値の差が所定値以下の領域数の割合に基づいて、ライブ画像ＬＧが近点画像であるか否かを判定するようにしてもよい。

　判定結果信号ＪＳが「１」であるとき、プロセッサ２１は、明るさ補正を有効とするオン信号（ＯＮ）を明るさ補正回路２９へ出力する。判定結果信号ＪＳが「０」であるとき、プロセッサ２１は、明るさ補正を無効とするオフ信号（ＯＦＦ）を明るさ補正回路２９へ出力する。

　明るさ補正回路２９は、オン信号（ＯＮ）を受信している間は、明るさ補正を行い、オフ信号（ＯＦＦ）を受信している間は、明るさ補正を行わない。すなわち、明るさ補正回路２９は、配光状態判定回路４２がライブ画像ＬＧの配光状態が近接画像の配光状態であると判定したとき、明るさ補正を行い、配光状態判定回路４２がライブ画像ＬＧの配光状態が近接画像の配光状態でないと判定したとき、明るさ補正を行わない。

　よって、ユーザが切り替えボタン２０を操作して内視鏡装置１Ａを近点観察モードに設定している場合に、得られたライブ画像ＬＧの配光状態が参照近点画像ＲＮＧの配光状態と類似しないときは、プロセッサ２１は、オフ信号（ＯＦＦ）を明るさ補正回路２９へ出力する。その結果、明るさ補正回路２９は、明るさ補正を行わない。

　例えば、ユーザが内視鏡装置１Ａを近点観察モードに設定している場合に、ライブ画像ＬＧが図６のような画像の配光状態を有していれば、明るさ補正回路２９は、オン信号（ＯＮ）を受信するので、近点観察モード用の閾値ＴＨｎとゲインＧｎを用いて明るさ補正を行う。その結果、表示装置４には、図７に示すような内視鏡画像が表示される。

　もしも、ユーザが内視鏡装置１Ａを近点観察モードに設定している場合に、先端部１１を管腔の奥の方へ向けてしまい、ライブ画像ＬＧが図４のような画像の配光状態になっているときは、明るさ補正回路２９は、オフ信号（ＯＦＦ）を受信するので、近点観察モード用の閾値ＴＨｎとゲインＧｎを用いた明るさ補正を行わないか、あるいは遠点観察モード用の閾値ＴＨｆとゲインＧｆを用いた明るさ補正を行う。その結果、表示装置４には、図６又は図７に示すような画像が表示される。

　なお、明るさ補正回路２９が近点観察モードのときにオフ信号（ＯＦＦ）を受信したときに、ライブ画像ＬＧに対して明るさ補正を行わないか、あるいは遠点観察時用の閾値ＴＨｆとゲインＧｆを用いた明るさ補正を行うかは、ユーザにより設定可能としてもよい。その場合、ユーザにより設定された明るさ補正を行うか否かの設定情報は、メモリ２１ｂのＲＡＭに格納され、明るさ補正回路２９により参照される。

　なお、遠点観察モードのときの動作は、第１の実施の形態における遠点観察モードの動作と同じである。

　よって、上述した第２の実施の形態によれば、第１の実施の形態と同じ効果が生じると共に、近点観察モードにおいてライブ画像が近点画像の配光状態を有している場合にのみ、近点観察モード用の明るさ補正が自動で行われる。

　以上のように、第１及び第２の実施の形態によれば、近点画像と遠点画像に対して信号処理を行う内視鏡画像処理装置において近点画像の配光ムラを低減することができる内視鏡画像処理装置及び内視鏡システムを提供することができる。

　なお、上述した２つの実施の形態は、照明光として白色光を用いる所謂通常光観察を行う内視鏡装置に適用されているが、上述した２つの実施の形態は、狭帯域光を用いた特殊光観察を行う内視鏡装置にも適用可能である。

　例えば、中心波長が４１５ｎｍと５４０ｎｍで半値幅が１０ｎｍの狭帯域光を用いて、微小血管構造などの観察を可能とする内視鏡装置がある。そのような内視鏡装置が、近点観察モードと遠点観察モードを有するとき、上述した２つの実施の形態は、そのような内視鏡装置に適用可能である。

　さらになお、上述した２つの実施の形態では、明るさ補正は、内視鏡により得られたライブ画像ＬＧに対して行われるが、既に行われた内視鏡検査の記録画像に対しても適用可能である。

　例えば、内視鏡検査により得られた動画のライブ画像ＬＧを、図１及び図２において点線で示すハードディスクドライブ（ＨＤＤ）などの記憶装置５１に記録し、かつ観察モードの情報、すなわち近点画像と遠点画像の取得タイミングの情報、も画像に紐付けて記憶装置５１に記録すれば、記憶装置５１から読み出した画像信号をプロセッサ２１と明るさ補正回路２９に入力することによって、記録画像の再生時に、上述した２つの実施の形態で説明した明るさ補正を行うことができる。

　すなわち、内視鏡により取得された近点画像及び遠点画像を、記憶装置５１に記録し、近点画像の取得タイミング及び遠点画像の取得タイミングを、記憶装置５１に近点画像及び遠点画像に紐付けられて記憶された信号に基づいて判定することによって、記録された内視鏡画像の再生する場合にも、上述した２つの実施の形態で説明した明るさ補正は適用可能である。

　次に、上述した２つの実施の形態の変形例について説明する。

（変形例１）
　上述した実施の形態では、遠点観察モードのとき、遠点観察用の閾値ＴＨｆとゲインＧｆを用いた明るさ補正が行われているが、遠点観察モードのときは、閾値ＴＨｆとゲインＧｆを用いた明るさ補正を行わないようにしてもよい。

　すなわち、近点画像の取得他ミ観察モードのときだけ、近点観察用の閾値ＴＨｎとゲインＧｎを用いた明るさ補正を行い、近点観察モードでないときは、明るさ補正を行わないようにしてもよい。

　例えば、遠点観察モードの閾値ＴＨｆを０に設定することにより、遠点観察モードのときに、明るさ補正がされないようにすることができる。

　なお、遠点観察モードのときに、明るさ補正をするか否かをユーザが選択できるようにしてもよい。

　例えば、操作部６に選択ボタンを設け、選択ボタンにより、ユーザが遠点観察モードのときに明るさ補正をするか否かを選択できるようにする。選択ボタンにより遠点観察モードのときに明るさ補正をするが選択されているときは、例えば予め設定されている０でない閾値ＴＨｆが用いられ、選択ボタンにより遠点観察モードのときに明るさ補正をしないが選択されているときは、０の閾値ＴＨｆが用いられるようにする。

　遠点観察モードのときに、暗部を明るく表示することを望まない術者もいるので、明るさ補正をするか否かを選択できるようにすることにより、そのような術者の要望にも応じることができる。

（変形例２）
　上述した２つの実施の形態及び変形例１では、プロセッサ２１は、近点観察モードと遠点観察モードに対して、閾値ＴＨとゲインＧをそれぞれ１つ有しているが、プロセッサ２１が近点観察モードと遠点観察モードの少なくとも１つに対して閾値ＴＨとゲインＧをそれぞれ複数有し、ユーザがそれらの中から所望の閾値ＴＨとゲインＧを選択できるようにしてもよい。

　本変形例２によれば、術者が、好みに合わせて複数の閾値ＴＨとゲインＧの中から所望の閾値ＴＨとゲインＧを選択できるので、術者の好みに合わせた明るさ補正をしたライブ画像ＬＧを表示装置４に表示させることができる。

　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

　本出願は、２０１８年５月２３日に日本国に出願された特願２０１８－９８９７３号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (14)

1. 　被検体に対して近点で撮像された近点画像及び前記被検体に対して遠点で撮像された遠点画像に対して信号処理を施す内視鏡画像処理装置であって、
   　入力された前記近点画像内における第１の暗部を判断するための第１の閾値を記憶する記憶部と、
   　前記近点画像の取得タイミングに応じて、前記第１の閾値に基づいて前記近点画像に対して第１の明るさ補正を行い、かつ、前記遠点画像の取得タイミングに応じて、第２の閾値に基づいて前記遠点画像に対して第２の明るさ補正を行うかもしくは前記遠点画像に対して前記第２の明るさ補正を行わない明るさ補正部と、
   を備えたことを特徴とする内視鏡画像処理装置。
2. 　前記第２の閾値は、前記遠点画像内における第２の暗部を判断するための閾値であり、前記第１の閾値よりも小さい、ことを特徴とする請求項１に記載の内視鏡画像処理装置。
3. 　前記近点画像の取得タイミングは、前記近点画像及び前記遠点画像を取得する内視鏡からの第１の信号に基づいて判定される、ことを特徴とする請求項２に記載の内視鏡画像処理装置。
4. 　前記遠点画像の取得タイミングは、前記近点画像及び前記遠点画像を取得する内視鏡からの第２の信号に基づいて判定される、ことを特徴とする請求項３に記載の内視鏡画像処理装置。
5. 　前記近点画像及び前記遠点画像は、記憶装置に記録され、
   　前記近点画像の取得タイミングは、前記記憶装置に前記近点画像に紐付けられた記憶された第３の信号に基づいて判定される、ことを特徴とする請求項２に記載の内視鏡画像処理装置。
6. 　前記遠点画像の取得タイミングは、前記記憶装置に前記遠点画像に紐付けられて記憶された第４の信号に基づいて判定される、ことを特徴とする請求項５に記載の内視鏡画像処理装置。
7. 　前記第１の明るさ補正は、第１のゲインを用いて前記近点画像の前記第１の暗部が明るくなるように補正し、
   　前記第２の明るさ補正は、第２のゲインを用いて前記遠点画像の前記第２の暗部が明るくなるように補正する、ことを特徴とする請求項２に記載の内視鏡画像処理装置。
8. 　前記内視鏡画像処理装置に接続される内視鏡から取得した配光情報に基づいて、前記明るさ補正部に入力される前記内視鏡からのライブ画像の配光状態が前記近接画像の配光状態であるかを判定する配光状態判定部を有する、ことを特徴とする請求項１に記載の内視鏡画像処理装置。
9. 　前記明るさ補正部は、前記配光状態判定部が前記ライブ画像の配光状態が前記近接画像の配光状態であると判定したとき、前記第１の明るさ補正を行い、前記配光状態判定部が前記ライブ画像の配光状態が前記近接画像の配光状態でないと判定したとき、前記第１の明るさ補正を行わないか前記第２の閾値に基づいて前記第２の明るさ補正を行う、ことを特徴とする請求項８に記載の内視鏡画像処理装置。
10. 　前記近点画像の取得タイミングに応じて、前記第１の閾値を所定のレジスタに設定する閾値設定部を有し、
    　前記明るさ補正部は、前記閾値設定部により前記レジスタに設定された前記第１の閾値に基づいて、前記近点画像に対して前記第１の明るさ補正を行う、ことを特徴とする請求項１に記載の内視鏡画像処理装置。
11. 　請求項１に記載の内視鏡画像処理装置と、
    　前記近点画像及び前記遠点画像を取得する内視鏡と、
    を有することを特徴とする内視鏡システム。
12. 　前記近点画像の取得タイミングは、前記内視鏡からの信号に基づいて判定される、ことを特徴とする請求項１１に記載の内視鏡システム。
13. 　近点と遠点の２つの焦点位置に切り替え可能な対物光学系を有する内視鏡が接続され、
    　前記明るさ補正部は、前記対物光学系により近点が焦点位置にされているときに、前記第１の閾値に基づいて前記近点画像に対して第１の明るさ補正を行い、かつ、前記対物光学系により遠点が焦点位置にされているときに、第２の閾値に基づいて前記遠点画像に対して第２の明るさ補正を行うかもしくは前記遠点画像に対して前記第２の明るさ補正を行わない、ことを特徴とする請求項１に記載の内視鏡画像処理装置。
14. 　前記対物光学系は、焦点位置を切り換えるためにアクチュエータにより光軸上に可動される可動レンズを備え、
    　前記明るさ補正部は、前記アクチュエータにより動かされた前記可動レンズの位置に基づいて、明るさを補正するための閾値を決定する、ことを特徴とする請求項１３に記載の内視鏡画像処理装置。

Images