JPWO2016185595A1 - 走査型観察装置 - Google Patents

Abstract

本発明の走査型観察装置（１）は、照明光を発生する光源（２）と、照明光を導光し、射出端部（３）から射出する光ファイバ（４）と、射出端部（３）を振動させて照明光を２次元的に走査させる駆動部（５）と、被写体（Ｏ）における各走査位置から戻る戻り光を検出する光検出部（７）と、戻り光の光量から走査位置毎の明るさを検出する明るさ検出部（１０）と、走査位置毎の明るさに基づいて、前フレームにおいて取得された画像に対して現フレームにおいて取得された画像の動きを検出する動き検出部（１１）と、画像の動きが所定の閾値より小さい場合に、現フレームにおいて取得された画像のダイナミックレンジを測定するダイナミックレンジ測定部（１３）と、ダイナミックレンジが所定の閾値より大きい場合に、走査位置毎の明るさが低いほど照明光の光量を増加させるように光源（２）を制御する光源制御部（１２）とを備える。

Description

本発明は、走査型観察装置に関するものである。

光ファイバの射出端部を振動させながら、射出端部から照明光を射出させることにより、被写体において点照明光を走査させ、点照明光の走査位置と、被写体からの戻り光の光量とを対応づけることにより被写体の画像を生成する内視鏡装置が知られている（例えば、特許文献１参照。）。

この内視鏡装置は、所定のフレームレートで順次取得される画像を、前フレームの画像の走査位置に対応する画素の明るさによって、現フレームの当該走査位置に照射する点照明光の明るさを走査位置毎に調節している。

特開２００７−３０１６９２号公報

内視鏡装置が被写体に対して移動している場合には、前フレームの走査位置と現フレームの走査位置とが異なっているため、前フレームの走査位置に対応する画素の明るさによって現フレームにおいて同じ走査位置に照射する点照明光の明るさを調節しても的確に明るさ調整を行うことができない。
本発明は、上述した事情に鑑みてなされたものであって、被写体に対して移動している場合においても、的確な明るさ調整を行うことができる走査型観察装置を提供することを目的としている。

本発明の一態様は、照明光を発生する光源と、該光源からの照明光を導光し、射出端部から射出する光ファイバと、該光ファイバの前記射出端部を振動させて照明光を２次元的に走査させる駆動部と、照明光の照射により被写体における各走査位置から戻る戻り光を検出する光検出部と、該光検出部により検出された戻り光の光量から走査位置毎の明るさを検出する明るさ検出部と、前フレームにおいて取得された画像に対して現フレームにおいて取得された画像の動きを検出する動き検出部と、現フレームにおいて取得された画像のダイナミックレンジを測定するダイナミックレンジ測定部と、該ダイナミックレンジ測定部により測定されたダイナミックレンジが所定の閾値より大きい場合に、走査位置毎の明るさが低いほど照明光の光量を増加させるように前記光源を制御する光源制御部とを備える走査型観察装置である。

本態様によれば、駆動部の駆動により光ファイバの射出端部を振動させて、光ファイバにより導光されてきた照明光を射出端部から射出させることにより、照明光を被写体上において走査させ、各走査位置から戻る戻り光を光検出部により検出することにより、各走査位置と戻り光の光量とを対応づけて被写体の画像を取得することができる。光検出部により検出された戻り光から走査位置毎の明るさが明るさ検出部により検出され、前フレームの画像と現フレームの画像との動きが動き検出部により検出され、ダイナミックレンジ測定部により現フレームの画像のダイナミックレンジが測定される。

そして、測定されたダイナミックレンジが所定の閾値より大きい場合に、光源制御部により、明るさが低い走査位置ほど光量を増加させた照明光を照射するように光源が制御される。

すなわち、前フレームの画像に対して現フレームの画像の動きが小さい場合には次のフレームの画像との間でも動きが小さいことが十分に予測できる。したがって、次のフレームの画像を取得する際に照射する照明光については、現フレームの走査位置毎に、明るさが低い走査位置ほど高い光量の照明光を光源から射出させることにより、黒潰れや白飛びを抑えた見やすい画像を取得することができる。

上記態様においては、前記動き検出部が、前記明るさ検出部により検出された走査位置毎の明るさに基づいて画像の動きを検出し、前記ダイナミックレンジ測定部が、前記動き検出部により検出された画像の動きが所定の閾値より小さい場合に、画像のダイナミックレンジを測定してもよい。

このようにすることで、明るさ検出部により検出された明るさに基づいて、前フレームの画像と現フレームの画像との動きが動き検出部により検出される。そして、検出された画像の動きが所定の閾値より小さい場合に、ダイナミックレンジ測定部により現フレームの画像のダイナミックレンジが測定される。測定されたダイナミックレンジに基づいて光源制御部により光源を制御することにより、より見やすい画像を取得することができる。

上記態様においては、前記光源制御部が、照明光の光量を複数段階で切り替えてもよい。
このようにすることで、無段階で変更する場合と比較して光源の制御を簡易にすることができる。

また、上記態様においては、前記駆動部による照明光の走査位置と、前記光検出部により検出された戻り光の光量とに基づいて画像情報を生成する画像処理部を備え、該画像処理部が、照明光の光量が低い走査位置の戻り光の光量情報に対しノイズ低減処理を施してもよい。

このようにすることで、照明光の光量が低く、かつ、戻り光の光量が比較的低い走査位置においてはノイズが乗りやすいので、画像処理部において画像情報を生成する際に、照明光の光量が低い走査位置の戻り光の光量情報に対してノイズ低減処理を施すことにより、ノイズの少ない鮮明な画像を得ることができる。

また、上記態様においては、前記駆動部による照明光の走査位置と、前記光検出部により検出された戻り光の光量とに基づいて画像情報を生成する画像処理部を備え、該画像処理部は、照明光の光量が高い走査位置の輝度値より照明光の光量が低い走査位置の輝度値の方が高くなるように輝度値を調節してもよい。

このようにすることで、照明光の光量が段階的に切り替えられることで、戻り光の光量が不連続となっても、画像処理によって、被写体の本来の明るさ分布を自然に表現した画像を取得することができる。

本発明によれば、被写体に対して移動している場合においても、的確な明るさ調整を行うことができるという効果を奏する。

本発明の一実施形態に係る走査型観察装置を示すブロック図である。 図１の走査型観察装置の被写体ダイナミックレンジにより切り替えられる光源制御の一例であって、光量を無段階に変更する例を示す図である。 図１の走査型観察装置による光源制御の手順を説明するフローチャートである。 図２の光源制御の変形例であって、光量を２段階に切り替える例を説明する図である。 被写体の明るさが変化する位置近傍における画素値の補間の一例を説明する図である。 図４の照明を行った場合の画像処理例を説明する図である。 図３の変形例によるフローチャートである。

以下、本発明の一実施形態に係る走査型観察装置１について、図面を参照して以下に説明する。
本実施形態に係る走査型観察装置１は、図１に示されるように、照明光を発生する光源２と、該光源２からの照明光を導光し射出端部３から射出する光ファイバ４と、該光ファイバ４の射出端部３を振動させて照明光を２次元的に走査させるアクチュエータ（駆動部）５と、該アクチュエータ５を駆動するアクチュエータドライバ６と、照明光の照射により被写体Ｏにおける各走査位置から戻る戻り光を検出する光検出部７と、光検出部７により検出された戻り光の光量情報と光ファイバ４による照明光の走査位置情報とに基づいて、必要な画像処理を施して表示用の画像を生成する信号処理部（画像処理部）８と、該信号処理部８で生成された画像を表示するモニタ９とを備えている。

また、走査型観察装置１は、光検出部７により検出された戻り光の光量から走査位置毎の明るさを検出する明るさ検出部１０と、該明るさ検出部１０により検出された走査位置毎の明るさに基づいて、前フレームにおいて取得された画像に対して現フレームにおいて取得された画像の動きを検出する動き検出部１１とを備えている。

さらに、走査型観察装置１は、動き検出部１１により検出された画像の動きおよび現フレームの走査位置毎の明るさに基づいて光源２を制御する発光制御部（光源制御部）１２と、該発光制御部１２、アクチュエータドライバ６、光検出部７、動き検出部１１および信号処理部８を制御する制御部（ダイナミックレンジ測定部）１３とを備えている。

光源２は、図に示す例では、ＲＧＢの各波長帯域のレーザ光をそれぞれ発生するレーザ光源１４，１５，１６と、これらのレーザ光源１４，１５，１６から発せられたレーザ光を合波して光ファイバ４に入射させる結合器１７とを備えている。
アクチュエータ５は、例えば、光ファイバ４の射出端部３から基端側に所定距離を空けた位置の外面に周方向に等間隔をおいて接着された４つの圧電素子（図示略）を備え、これらの圧電素子に交番電圧を加えることにより、光ファイバ４の射出端部３を２次元的に振動させるようになっている。

アクチュエータドライバ６は、制御部１３から指令された走査位置に照明光を照射させるための交番電圧を生成してアクチュエータ５に入力するようになっている。
光検出部７は、被写体Ｏに向けて端面が配置され、被写体Ｏから戻る戻り光を受光する受光ファイバ１８と、該受光ファイバ１８により受光された戻り光を分光する図示しない分光光学系と、波長ごとに分光された戻り光を検出する光電子増倍管等の光検出器１９とを備えている。図中、符号２０は、光検出器１９により検出された戻り光の光量信号をデジタル信号に変換するＡＤ変換器である。

明るさ検出部１０は、光検出部７により検出された戻り光の光量から走査位置毎の輝度情報のみを有する輝度画像をフレーム毎に生成し、動き検出部１１に送るようになっている。
動き検出部１１は、メモリ（図示略）を備え、明るさ検出部１０から送られてきた輝度画像を次のフレームの輝度画像が送られてくるまで保持するようになっている。そして、動き検出部１１は、明るさ検出部１０から現フレームの輝度画像が送られてくると、メモリに保持されている前フレームの輝度画像との差分を走査位置毎に算出し、例えば、全体の８割の走査位置における差分値が所定の閾値より小さい場合に、現フレームの輝度画像を制御部１３に送るようになっている。

制御部１３においては、動き検出部１１から輝度画像が送られてきたときには、その輝度画像のダイナミックレンジが測定され、測定されたダイナミックレンジが所定の閾値（以下、第１閾値という）より大きい場合に、その輝度画像を発光制御部１２に転送するようになっている。発光制御部１２は、制御部１３から送られてきた輝度画像に基づいて、走査位置毎の明るさが低いほど照明光の光量を増加させるように光源２を制御するようになっている。

発光制御部１２による照明光の光量の制御は、例えば、図２に示されるように行われる。
すなわち、図２に示す例では、発光制御部１２は、現フレームの輝度画像のダイナミックレンジが、図に破線で示されるように第１閾値より小さい場合には、図２に破線で示されるように、比較的高い一定の光量レベルの照明光を射出するように光源２を制御するようになっている。

一方、発光制御部１２は、現フレームの輝度画像のダイナミックレンジが、図２に破線で示されるように第１閾値より大きい場合には、図２に２点鎖線で示されるように、ダイナミックレンジが小さい場合よりも低い光量レベルが設定される。そして、発光制御部１２は、図２に実線で示されるように、明るさが低い領域においては、ダイナミックレンジが小さい場合の光量レベルより照明光の光量を大きくし、明るさが高くなるほど、設定された光量レベルに近づくように、光量が現フレームの輝度画像の明るさに応じて連続的に変化する照明光を射出するように光源２を制御するようになっている。

このように構成された本実施形態に係る走査型観察装置１の作用について以下に説明する。
本実施形態に係る走査型観察装置１を用いて被写体Ｏの観察を行うには、図１に示されるように、光ファイバ４の射出端部３を被写体Ｏに対向させて、アクチュエータドライバ６によりアクチュエータ５を作動させるとともに、光源２を作動させて光ファイバ４の射出端部３から照明光を射出させる。

これにより、光ファイバ４の射出端部３が２次元的に振動させられ、被写体Ｏ上において照明光が２次元的に走査される。照明光が被写体Ｏに照射されると、各走査位置から戻る戻り光が受光ファイバ１８により受光され、光検出器１９により検出される。光検出器１９により検出された戻り光の光量情報は、ＡＤ変換器２０によってデジタル信号に変換された後、明るさ検出部１０および信号処理部８に送られる。

以後の処理を図３のフローチャートに示す。
明るさ検出部１０においては、１フレーム分の走査位置に対応する輝度情報を含む輝度画像が取得され、動き検出部１１に送られる（ステップＳ１）。動き検出部１１においては、送られてきた現フレームの輝度画像と、メモリに保持されていた前フレームの輝度画像との差分が演算されるとともに現フレームの輝度画像がメモリに保持される（ステップＳ２）。そして、算出された差分が所定の閾値より小さい場合には、画像が静止していると判定され、現フレームの輝度画像が制御部１３に出力される（ステップＳ３）。差分が所定の閾値以上の場合には、光量調節が行われることなく、表示用の画像が生成され（ステップＳ１０）、生成された画像がモニタ９に表示される（ステップＳ１１）。

制御部１３においては、動き検出部１１から送られてきた現フレームの輝度画像のダイナミックレンジ（Ｄレンジ）が算出され（ステップＳ４）、ダイナミックレンジが所定の第１閾値以下であるか否かが判定される（ステップＳ５）。ダイナミックレンジが第１閾値以下である場合には、光量レベルが比較的高い第１の光量レベルに設定され、全ての走査位置に第２の光量レベルの一定の光量の照明光を照射するよう発光制御部１２に対して指令が行われる（ステップＳ６）。発光制御部１２は設定された第１の光量レベルの照明光を射出するように各レーザ光源１４，１５，１６を駆動する（ステップＳ８）。

一方、算出されたダイナミックレンジが第１閾値より大きい場合には、制御部１３は図２のパターンに従って、暗い走査位置には大きな光量の照明光を照射し、明るさが明るい走査位置ほど第２の光量レベルに漸近する小さな光量の照明光を照射するように発光制御部１２に指令する（ステップＳ７）。

発光制御部１２は、制御部１３からの指令に応じて、走査位置毎に照明光の光量を調節して射出するように各レーザ光源１４，１５，１６を駆動する（ステップＳ８）。
そして、新たに光検出器１９により戻り光が検出され（ステップＳ９）、戻り光の光量と走査位置とから信号処理部８において画像処理が施されることにより、表示用の画像が生成され（ステップＳ１０）、生成された画像がモニタ９に表示される（ステップＳ１１）。

このように構成された本実施形態に係る走査型観察装置１によれば、現フレームと前フレームの強度画像間で演算された差分が小さく画像の動きがないと判定される場合に、現フレームの各走査位置の明るさに基づいて次のフレームの照明光の光量が設定される。その結果、走査型観察装置１が被写体Ｏに対して移動している場合においても、精度よく光量が調節された照明を行うことができるという利点がある。

そして、この場合に、ダイナミックレンジが大きく、一定の光量の照明では黒潰れや白飛びが発生し易い状態において、現フレームの暗い走査位置には、次フレームにおいて大きい光量の照明光が照射され、現フレームの明るい走査位置には、次フレームにおいて小さい光量の照明光が照射されることにより、黒潰れや白飛びの発生を抑えて、見やすい画像を取得することができる。また、現フレームの暗い走査位置には次フレームに十分に大きな光量の照明光を照射することにより、ノイズを抑えた画像を取得することができるという利点がある。

なお、本実施形態においては、図２に示されるように、照明光の光量を調節した結果、被写体Ｏの明るさに応じて取得される画像の明るさは非線形になるが、このようにして取得された画像を表示するための画像処理によって線形な関係となるように変換することにしてもよい。線形な関係に戻すことにより、暗い部分の画像は暗くなるが、明るい照明を行っているのでＳＮ比のよい画像を取得することができるという利点がある。

なお、本実施形態においては、現フレームの強度画像のダイナミックレンジが大きい場合に、現フレームの走査位置毎の明るさに応じて照明光の光量を無段階に連続的に変化させることとしたが、これに代えて、図４に示されるように、複数段階に変化させることにしてもよい。図４に示す例では、照明光を２段階に変化させている。

すなわち、現フレームの明るさが第２閾値以下のときには、第１の光量レベルの照明光を照射し、所定の第２閾値より大きいときには、第１の光量レベルより低い第２の光量レベルの照明光に切り替えて照射するようになっている。これにより発光制御部１２による光源２の制御を簡素化することができる。

この場合に、照明光の光量が切り替わる第２閾値の明るさにおいて、実際に取得される画像の明るさが、図４に示されるように不連続に変化する。このようにして取得された画像をモニタ９に表示する場合には、各走査位置について取得された画素値を、表示のための画素配列に変換する際に、照明光の光量が切り替わる明るさ近傍の画素については、図５に示されるように周囲の複数画素を用いて補間処理をする際に、下式に従って、照明の明るい（照明光の光量が高い）画素に合わせて照明の暗い（照明光の光量が低い）画素の画素値を増幅するように処理してもよい。あるいは逆に、照明の暗い画素に合わせて照明の明るい画素の画素値を低減させるように処理してもよい。

Ｐ＝（Ａ_１×Ｐ_１＋Ａ_２×Ｐ_２＋Ｂ×（Ａ_３×Ｐ_３＋Ａ_４×Ｐ_４））／４
ここで、Ｐは補間処理後の画素値、Ａ_１，Ａ_２，Ａ_３，Ａ_４は補間に用いる４つの走査位置の補間後の画素までの距離係数、Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４は補間に用いる４つの走査位置の画素値、Ｂは照明光量係数である。照明光量係数Ｂを適当に選ぶことにより、画素値の増幅または低減を行うことができる。

また、信号処理部８における画像処理により、図６に示されるように、照明の暗い画素の画素値が、照明の明るい画素の画素値より明るくなる（すなわち、照明光の光量が低いほど輝度が高くなる）ように処理して、モニタ９に表示する画像を生成してもよい。これにより、戻り光の光量が不連続となっても、画像処理によって、被写体Ｏの本来の明るさ分布を自然に表現した画像を取得することができる。

なお、図示しない入力インタフェースから静止画を取得する旨の入力が行われた場合には、図７に示されるように、画像が静止していないと判定された場合に（ステップＳ３）、予め設定された上限枚数となるまで複数枚の画像を取得して静止画として最適な、動きの少ない画像を表示用の画像を生成するために選択することにしてもよい（ステップＳ１２，Ｓ１４）。また、画像が静止していると判定された場合に、光量制御を行って新たな画像を取得する場合においても、予め設定された上限枚数分の画像取得を行い（ステップＳ９，Ｓ１３）、静止画として最適な画像を選択することにしてもよい（ステップＳ１４）。

また、本実施形態においては、取得された画像から輝度画像を生成し、輝度に応じて照明光の光量を調節することとしたが、その際に使用する輝度画像としては、輝度と相関の高いＧ画像のみを用いてもよいし、画像の色味から輝度への関与が高い色によって照明光量を変化させることにしてもよい。

また、図４の照明光量を切り替える第２閾値の明るさで取得された画像の画素値が飽和している場合には、飽和していない周辺画素の画素値から補間することにしてもよい。
また、図６に示されるように、信号処理部８による画像処理により表示画像の輝度を調節する場合に、照明の暗い走査位置においてはノイズが目立ちやすくなるため、補間画素数を増やしてノイズを低減させることにしてもよい。また、図７に示されるように複数枚の画像を取得する場合には、取得された複数枚の画像を累積加算することによってノイズを低減してもよい。

また、本実施形態においては、分光光学系を用いるものを説明したが、これに代えて、分光光学系を用いずに光源２をパルス点灯させて色ごとに順次に発光させる構成にしてもよい。
また、本実施形態においては、動き検出部１１により画像の動きを検出して制御部１３に輝度画像が送られ、送られてきた輝度画像のダイナミックレンジを測定することとしたが、これに代えて、ダイナミックレンジを測定し、ダイナミックレンジが大きい輝度画像に対して画像の動きを検出するようにしてもよい

１ 走査型観察装置
２ 光源
３ 射出端部
４ 光ファイバ
５ アクチュエータ（駆動部）
７ 光検出部
８ 信号処理部（画像処理部）
１０ 明るさ検出部
１１ 動き検出部
１２ 発光制御部（光源制御部）
１３ 制御部（ダイナミックレンジ測定部）
Ｏ 被写体

Claims (5)

1. 照明光を発生する光源と、
   該光源からの照明光を導光し、射出端部から射出する光ファイバと、
   該光ファイバの前記射出端部を振動させて照明光を２次元的に走査させる駆動部と、
   照明光の照射により被写体における各走査位置から戻る戻り光を検出する光検出部と、
   該光検出部により検出された戻り光の光量から走査位置毎の明るさを検出する明るさ検出部と、
   前フレームにおいて取得された画像に対して現フレームにおいて取得された画像の動きを検出する動き検出部と、
   現フレームにおいて取得された画像のダイナミックレンジを測定するダイナミックレンジ測定部と、
   該ダイナミックレンジ測定部により測定されたダイナミックレンジが所定の閾値より大きい場合に、走査位置毎の明るさが低いほど照明光の光量を増加させるように前記光源を制御する光源制御部とを備える走査型観察装置。
2. 前記動き検出部が、前記明るさ検出部により検出された走査位置毎の明るさに基づいて画像の動きを検出し、
   前記ダイナミックレンジ測定部が、前記動き検出部により検出された画像の動きが所定の閾値より小さい場合に、画像のダイナミックレンジを測定する請求項１に記載の走査型観察装置。
3. 前記光源制御部が、照明光の光量を複数段階で切り替える請求項２に記載の走査型観察装置。
4. 前記駆動部による照明光の走査位置と、前記光検出部により検出された戻り光の光量とに基づいて画像情報を生成する画像処理部を備え、
   該画像処理部が、照明光の光量が低い走査位置の戻り光の光量情報に対しノイズ低減処理を施す請求項２または請求項３に記載の走査型観察装置。
5. 前記駆動部による照明光の走査位置と、前記光検出部により検出された戻り光の光量とに基づいて画像情報を生成する画像処理部を備え、
   該画像処理部は、照明光の光量が高い走査位置の輝度値より照明光の光量が低い走査位置の輝度値の方が高くなるように輝度値を調節する請求項３に記載の走査型観察装置。

Images