JP5224390B2

JP5224390B2 - 内視鏡装置および内視鏡装置の作動方法

Info

Publication number: JP5224390B2
Application number: JP2009134680A
Authority: JP
Inventors: 雅裕久保; 恭義大田; 一夫小古山
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-06-04
Filing date: 2009-06-04
Publication date: 2013-07-03
Anticipated expiration: 2029-06-04
Also published as: JP2010279521A; EP2258253B1; EP2258253A1; US20100312058A1

Description

本発明は、マトリクス演算により分光推定画像を取得する内視鏡装置および内視鏡画像取得方法に関するものである。

食道、胃、大腸等の体腔の状態を画像診断するために、体腔内にスコープを挿入し、体腔内の画像を取得する内視鏡装置が用いられている。近年、この内視鏡による画像診断を行う際、スコープにより撮影されている内視鏡画像がリアルタイムにモニタに表示され、医師はモニタを見ながら撮影場所を確認して画像診断を行う。上記画像診断を容易にするために、内視鏡を用いた観察モードには白色光を照射したときの被写体を観察する通常観察モード、蛍光を照射したときに被写体から発光する蛍光を観察する蛍光観察モード、狭帯域の光を照射したときの被写体を観察する狭帯域モード等がある。

上述した光源としてタングステン等の代わりに発光ダイオードであるＬＥＤを用いることが提案されている（たとえば特許文献１参照）。特許文献１の内視鏡装置は波長域の異なる４つのＬＥＤ光源を備えており、通常観察モード、蛍光観察モード、ＮＢＩモードによって使用するＬＥＤおよび制御動作を切り替えることが開示されている。

また、狭帯域の光を用いた狭帯域モードに代えて白色光で得られた画像信号を基に、演算処理にて分光画像を形成することが提案されている。これは、ＲＧＢのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ（係数セット）として求め、このマトリクスデータとＲＧＢ信号との演算により狭帯域バンドパスフィルタを介して得られる分光画像を推定した分光推定画像を得るものである。このような演算によって分光画像を形成する場合は、所望の波長域に対応した複数のフィルタを用意する必要がなく、またこれらの交換配置が不要となるので、装置の大型化が避けられ、低コスト化を図ることができる。

マトリクス演算により分光画像を生成する際においてもＬＥＤ光源の光強度を変えながら撮影を行うことが提案されている（たとえば特許文献２参照）。具体的には、異なる波長域の３つのＬＥＤが用意され、分光画像の波長域が選択されたときに３つのＬＥＤの光強度を変更するとともに各ＬＥＤの波長域毎にそれぞれ１枚ずつフレーム画像を取得し、３つのフレーム画像を用いて１枚の分光画像を生成することが提案されている。

特開２００６−１６６９４０号公報特開２００７−２６４５３７号公報

しかし、特許文献２のように複数のフレーム画像を用いて分光画像を生成した場合、分光画像を生成するためには複数フレーム分の時間が掛かってしまう。したがって、動画像のフレームレートが落ちてしまい、画質の劣化を招くとともに効率的な画像診断を行うことができないという問題がある。

そこで、本発明は、効率的に精度良く分光画像を生成することができる内視鏡装置および内視鏡画像取得方法を提供することを目的とするものである。

本発明の内視鏡装置は、異なる波長域の光を射出する複数の発光素子からなる、複数の発光素子を駆動することにより白色光が射出可能な光源ユニットと、光源ユニットから射出された光が照射された被写体を撮影し内視鏡画像を取得するスコープと、分光推定画像が示す複数の波長域を波長セットとして設定する波長セット設定手段と、波長セット設定手段により設定された波長セットに応じて複数の発光素子毎にＯＮ／ＯＦＦを制御する光源制御手段と、波長セット選択手段により選択された波長セットに基づいて内視鏡画像に対しマトリクス演算を施すことにより分光推定画像を生成する分光画像生成手段とを備えたことを特徴とするものである。

本発明の内視鏡画像取得方法は、分光推定画像が示す複数の波長域を波長セットとして設定し、異なる波長域の光を射出する複数の発光素子からなる、複数の発光素子を駆動することにより白色光が射出可能な光源ユニットに対し、設定した波長セットに応じて複数の発光素子毎にＯＮ／ＯＦＦを制御し、ＯＮ／ＯＦＦ制御下においてスコープが撮影し取得した内視鏡画像に対し、波長セットに基づいてマトリクス演算を施すことにより分光推定画像を生成することを特徴とするものである。

ここで、光源制御手段は、波長セットに応じて複数の発光素子のＯＮ／ＯＦＦを制御するものであればよく、波長セットに含まれるすべての波長域が各発光素子の波長域に重複している場合、重複している波長域の発光素子のみを駆動し、波長セットに含まれる波長域のうち各発光素子の波長域に重複していない波長域が存在する場合、各発光素子のうち分光推定画像の生成に必要な波長域の複数の発光素子を駆動するものであってもよい。

なお、波長セット設定手段は、分光推定画像の示す複数の波長域を設定するものであればその手法を問わず、たとえば使用者からの入力に従い複数の波長を設定するものであってもよいし、予め用意した複数の波長セットの中から一の波長セットを選択することにより波長セットを設定するものであってもよい。さらに、光源ユニットは複数の波長セットに含まれる各波長に対応した発光素子を複数備えたものであってもよい。

また、光源制御手段が、波長セットに含まれる波長域のうち各発光素子の波長域に重複していない波長域が存在する場合、すべての発光素子を駆動するものであってもよいし、複数の発光素子のうち最も推定精度の高い組み合わせの発光素子を駆動するものであってもよい。

本発明の内視鏡装置および内視鏡画像取得方法によれば、分光推定画像が示す複数の波長域を波長セットとして設定し、異なる波長域の光を射出する複数の発光素子からなる、複数の発光素子を駆動することにより白色光が射出可能な光源ユニットに対し、設定した波長セットに応じて複数の発光素子毎にＯＮ／ＯＦＦを制御し、ＯＮ／ＯＦＦ制御下においてスコープが撮影し取得した内視鏡画像に対し、波長セットに基づいてマトリクス演算を施して分光推定画像を生成することにより、１枚の内視鏡画像から分光推定画像を生成するのに必要な波長域の光を射出して分光推定画像の推定精度の向上を図りながら効率よく分光推定画像を生成することができる。

なお、波長セット設定手段が予め用意した複数の波長セットの中から一の波長セットを選択することにより波長セットを設定するものであり、光源ユニットが複数の波長セットに含まれる各波長に対応した発光素子を複数備えたものであれば、使用者は任意の波長セットを選択すればそれに合わせて自動的に発光素子の駆動を制御することができるため、分光推定画像の推定精度の向上を図りながら効率よく分光推定画像を生成することができる。

さらに、光源制御手段が、波長セットに含まれる波長域のうち各発光素子の波長域に重複していない波長域が存在する場合、複数の発光素子のうち最も推定精度の高い組み合わせの発光素子を駆動するものであれば、波長セットに含まれる波長域のうち各発光素子の波長域に重複していない波長域が存在する場合であっても、分光推定画像の推定精度を高く維持することができる。

本発明の内視鏡装置の好ましい実施形態を示すブロック図図１の分光画像生成手段において用いられるマトリクスパラメータの一例を示す表図１の波長セット設定手段により設定された波長セットと各発光素子のＯＮ／ＯＦＦ制御の対応関係の一例を示す表本発明の内視鏡画像取得方法の好ましい実施形態を示すフローチャート

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の内視鏡装置の一例を示すブロック図である。内視鏡装置１は、光源ユニット１０、スコープ２０、内視鏡画像処理装置３０を備えている。光源ユニット１０は内視鏡による観察を行うために被写体に光を照射するものであって、スコープ２０の先端に配置された異なる波長域の光を射出する複数の発光素子１０ａ〜１０ｄを備えている。具体的には、発光素子１０ａ〜１０ｄはそれぞれピーク波長が４７０、５００ｎｍ、５４０ｎｍ、６２０ｎｍのＬＥＤからなっている。したがって、すべての発光素子１０ａ〜１０ｄもしくは発光素子１０ａ、１０ｂ（もしくは１０ｃ）、１０ｄの３つの発光素子を駆動することにより白色光が射出されることになる。この複数の発光素子１０ａ〜１０ｄは駆動手段１１からの駆動電流の印加により発光するものであって、駆動手段１１の動作は光源制御手段５０により制御されている。

スコープ２０は、撮像レンズ２１、撮像素子２２、ＣＤＳ／ＡＧＣ回路２３、Ａ／Ｄ変換器２４、ＣＣＤ駆動部２５、レンズ駆動部２６等を有しており、各構成要素はスコープコントローラ２７により制御されている。撮像レンズ２１はたとえば複数のレンズ群から構成されており、レンズ駆動部２６の駆動により撮影倍率が変更する。撮像素子２２はたとえばＣＣＤやＣＭＯＳ等からなり、撮像レンズ２１により結像された被写体像を光電変換して画像を取得するものである。この撮像素子２２としては、例えば撮像面にＭｇ（マゼンタ），Ｙｅ（イエロー），Ｃｙ（シアン），Ｇ（グリーン）の色フィルタを有する補色型、あるいはＲＧＢの色フィルタを有する原色型が用いられる。なお、撮像素子２２の動作はＣＣＤ駆動部２５により制御されている。撮像素子２２が画像（映像）信号を取得したとき、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）回路２３がサンプリングして増幅し、Ａ／Ｄ変換器２４がＣＤＳ／ＡＧＣ回路２３から出力された内視鏡画像をＡ／Ｄ変換し、内視鏡画像処理装置３０に出力される。

内視鏡画像処理装置３０は、スコープ２０を用いて取得された内視鏡画像Ｐを処理するものであって、たとえばＤＳＰ等により構成されている。内視鏡画像処理装置３０は、画像取得手段３１、前処理手段３２、分光画像生成手段３３、画像処理手段３４、表示制御手段３５を備えている。画像取得手段３１は、スコープ２０の撮像素子２２により撮影された内視鏡画像Ｐを取得するものである。前処理手段３２は、画像取得手段３１において取得された内視鏡画像Ｐに対し前処理を施すものであって、たとえば内視鏡画像ＰがＹＣＣ表色系からなっている場合にはＲＧＢ表色系に変換し、さらにガンマ変換機能、階調を調整する機能等を有している。

分光画像生成手段３３は、内視鏡画像Ｐに対しマトリクスパラメータＭを用いてマトリクス演算を行うことにより分光推定画像ＳＰを生成するものである。なお、分光画像生成手段３３の動作例の詳細については特開２００３−９３３３６号公報に記載されている。

具体的には、分光画像生成手段３３は、用いて下記式（１）に示すマトリクス演算を行うことにより分光推定画像ＳＰを生成する。

なお、式（１）において、ＳＰｒ、ＳＰｇ、ＳＰｂは分光推定画像ＳＰの各ＲＧＢ成分、Ｐｒ、Ｐｇ、Ｐｂは内視鏡画像Ｐの各ＲＧＢ成分、Ｍ_００〜Ｍ_２２からなる３×３行の行列はマトリクス演算を行うためのマトリクスパラメータＭをそれぞれ示している。

図２は、式（１）に示すマトリクス演算を行うためのマトリクスパラメータを記憶したデータベースＤＢの一例を示す表である。図２において、データベースＤＢにはたとえば４００ｎｍから７００ｎｍの波長域を５ｎｍ間隔で分けた６１の波長域毎にパラメータＰi＝（Ｍ_ｊ０，Ｍ_ｊ１，Ｍ_ｊ２）（ｉはデータベースＤＢ内に記憶されているパラメータセットを区別する符号であってｉ＝１〜６１、ｊは上記式（１）の行列Ｍの行であってｊ＝０〜２）が記憶されている。

図１の波長セット設定手段４０は、分光推定画像ＳＰが示す複数の波長域を波長セットとして設定するものである。たとえば波長セット設定手段４０は血管、生体組織等の観察したい各部位にマッチングした複数の波長セットを予め有しており、入力手段からの入力に従い、一の波長セットを選択し設定するようになっている。具体的には、マトリクスパラメータＭを設定するための波長セットとして、例えば（５５０ｎｍ，５００ｎｍ，４７０ｎｍ）の波長セットＣＨ１、（５２５ｎｍ，４９５ｎｍ，４９５ｎｍ）の波長セットＣＨ２、（５４０，４１５，４１５）の波長セットＣＨ３の３つの波長セットＣＨ１〜ＣＨ３が用意されている。なお、波長セット設定手段４０は、予め用意した波長セットのみならず使用者からの入力に従い任意の波長を分光推定画像ＳＰの波長セットとして設定する機能を有していてもよい。

図１の画像処理手段３４は内視鏡画像Ｐおよび分光推定画像ＳＰに対し強調処理等を施すものであり、表示制御手段３５は画像処理手段３４において画像処理された内視鏡画像Ｐおよび分光推定画像ＳＰをキャラクタ情報等とともに表示装置３に表示する機能を有している。

光源制御手段５０は波長セット設定手段４０において設定された波長セットに基づいて発光素子１０ａ〜１０ｄを制御する機能を有している。具体的には、最初に光源制御手段５０は波長セットに含まれるすべての波長域が発光素子１０ａ〜１０ｄの波長域に重複（略一致）しているか否かを判断する。

設定された波長セットに含まれるすべての波長域が各発光素子１０ａ〜１０ｄのいずれかの波長域に重複していると判断した場合、光源制御手段５０は重複している波長域の発光素子のみを駆動する。たとえば図３に示すように、分光推定画像ＳＰのＲ成分が５５０ｎｍ、Ｇ成分が４９５ｎｍ、Ｂ成分が４７０ｎｍの波長セットＣＨ１が設定された場合、波長セットの波長域は発光素子１０ａ〜１０ｄのうち発光素子１０ａ、１０ｂ、１０ｃの波長域に略一致する。したがって、光源制御手段５０は発光素子１０ｄをＯＦＦ状態にするとともに発光素子１０ａ、１０ｂ、１０ｃをＯＮ状態にして発光素子１０ａ、１０ｂ、１０ｃが発光した状態で内視鏡画像Ｐが取得されるように制御する。

一方、波長セットに含まれる波長域のうち各発光素子の波長域に重複していない波長域が存在する場合、光源制御手段５０は各発光素子１０ａ〜１０ｄのうち分光推定画像ＳＰの生成に必要な波長域の発光素子１０ａ〜１０ｄを駆動する。具体的には、図３の波長セットＣＨ２のように波長セットの波長域が各発光素子１０ａ〜１０ｄの波長域のいずれにも重複しない場合、光源制御手段５０はすべての発光素子１０ａ〜１０ｄを駆動させて白色光を被写体に照射する。そして、分光画像生成手段３３は白色光が照射された際に取得された内視鏡画像Ｐから式（１）を用いて分光推定画像ＳＰを生成する。

あるいは、光源制御手段５０は複数の発光素子のうち最も推定精度の高い組み合わせの発光素子を駆動するようにしてもよい。つまり、光源制御手段５０には各波長セットに対応する観察部位もしく観察部位と略同一色のカラーパッチに対し発光素子１０ａ〜１０ｄのＯＮ／ＯＦＦを組み合わせて照射したときに最も分光推定精度が高い発光素子１０ａ〜１０ｄのＯＮ／ＯＦＦの組み合わせが予め記憶されている。そして、たとえば図３の波長セットＣＨ３のように波長セットの波長域が各発光素子１０ａ〜１０ｄの波長域の一部と重複している場合、光源制御手段５０は予め記憶された発光素子１０ａ〜１０ｄのＯＮ／ＯＦＦの組み合わせを用いて発光素子１０ａ〜１０ｄのＯＮ／ＯＦＦ制御を行う。

このように、設定した波長セットＣＨ１〜ＣＨ３に合わせて光源ユニット１０から射出される光の波長域を選択することにより、推定精度が高い分光推定画像ＳＰを効率よく生成することができる。すなわち、従来のように分光画像を光学的なフィルタを用いて取得する場合には装置構成が複雑になり、異なる波長域を照射したときの画像を各フレーム画像に分けて取得した後にマトリクス演算を行う場合にはフレームレートが低下し効率的な画像診断を行うことができない。一方、波長セットＣＨ１〜ＣＨ３に合わせて光源ユニット１０から射出する光の波長域を選択して駆動し、選択した波長域の光が照射されたときの１枚の内視鏡画像Ｐに対しマトリクス演算を施して分光推定画像ＳＰを生成することにより、光学フィルタ等が不要な簡便な装置構成を用いて１フレーム画像分の内視鏡画像Ｐから分光推定画像ＳＰを生成することができ、効率的な画像診断を行うことができる。

図４は本発明の内視鏡画像取得方法の好ましい実施形態を示すフローチャートであり、図１から図４を参照して内視鏡画像取得方法について説明する。まず、スコープ２０が体腔内に挿入された状態で撮影が行われる。このとき、使用者は入力手段２を介して波長セットＣＨ１〜ＣＨ３を選択し、波長セット設定手段４０において分光推定画像ＳＰの波長セットが設定される（ステップＳＴ１）。

すると、光源制御手段５０は設定された波長セットに基づいて複数の発光素子１０ａ〜１０ｄのＯＮ／ＯＦＦを制御し駆動する（ステップＳＴ２、図３参照）。そして、所定の波長域の光が照射された被写体Ｓがスコープ２０により撮影され内視鏡画像Ｐが取得される（ステップＳＴ３）。その後、分光画像生成手段３３において内視鏡画像Ｐに対し式（１）を用いてマトリクス演算することにより分光推定画像ＳＰが生成され表示装置３に表示される（ステップＳＴ４）。

上記実施の形態によれば、分光推定画像ＳＰが示す複数の波長域を波長セットＣＨ１〜ＣＨ３として設定し、異なる波長域の光を射出する複数の発光素子１０ａ〜１０ｄからなる、複数の発光素子１０ａ〜１０ｄを駆動することにより白色光が射出可能な光源ユニット１０に対し、設定した波長セットＣＨ１〜ＣＨ３に応じて複数の発光素子毎にＯＮ／ＯＦＦを制御し、ＯＮ／ＯＦＦ制御下においてスコープ２０が撮影し取得した内視鏡画像Ｐに対し、波長セットＣＨ１〜ＣＨ３に基づいてマトリクス演算を施すことにより分光推定画像ＳＰを生成することにより、１枚の内視鏡画像Ｐから分光推定画像ＳＰを生成するのに必要な波長域の光を射出して分光推定画像ＳＰの推定精度の向上を図りながら効率よく分光推定画像ＳＰを生成することができる。

また、波長セット設定手段４０が予め用意した複数の波長セットＣＨ１〜ＣＨ３の中から一の波長セットを選択することにより波長セットを設定するものであり、光源ユニット１０が複数の波長セットＣＨ１〜ＣＨ３に含まれる各波長に対応した発光素子を複数備えたものであれば、使用者は任意の波長セットを選択すればそれに合わせて自動的に発光素子１０ａ〜１０ｄの駆動を制御することができるため、分光推定画像ＳＰの推定精度の向上を図りながら効率よく分光推定画像ＳＰを生成することができる。

さらに、光源制御手段５０が、波長セットＣＨ１〜ＣＨ３に含まれる波長域のうち各発光素子１０ａ〜１０ｄの波長域に重複していない波長域が存在する場合、複数の発光素子１０ａ〜１０ｄのうち最も推定精度の高い組み合わせの発光素子を駆動するものであれば、波長セットに含まれる波長域のうち各発光素子の波長域に重複していない波長域が存在する場合であっても、分光推定画像ＳＰの推定精度を高く維持することができる。

本発明の実施形態は、上記実施形態に限定されない。たとえば、光源ユニット１０が４種類の発光素子（ＬＥＤ）１０ａ〜１０ｄを有する場合について例示しているが、４種類以上の発光素子を有していてもよい。さらに、各発光素子１０ａ〜１０ｄがスコープ２０の先端に配置されている場合について例示しているが、発光素子１０ａ〜１０ｄがスコープ２０とは別ユニットとして存在し、光ファイバ等のライトガイドを介してスコープ２０の先端から被写体へ光が射出される構成を有していてもよい。

１内視鏡装置
１０光源ユニット
１０ａ、１０ｂ、１０ｃ、１０ｄ発光素子
２０スコープ
３０内視鏡画像処理装置
３１画像取得手段
３３分光画像生成手段
３４画像処理手段
３５表示制御手段
４０波長セット設定手段
５０光源制御手段
ＤＢデータベース
ＳＰ分光推定画像

Claims

異なる波長域の光を射出する複数の発光素子からなる、該複数の発光素子を駆動することにより白色光が射出可能な光源ユニットと、
該光源ユニットから射出された光が照射された被写体を撮影し内視鏡画像を取得するスコープと、
分光推定画像が示す複数の波長域を波長セットとして設定する波長セット設定手段と、
前記波長セット設定手段により設定された前記波長セットに応じて前記複数の発光素子毎にＯＮ／ＯＦＦを制御する光源制御手段と、
該波長セット選択手段により選択された前記波長セットに基づいて前記内視鏡画像に対しマトリクスパラメータを用いてマトリクス演算を施すことにより分光推定画像を生成する分光画像生成手段とを備え、
前記波長セット設定手段が、予め用意した複数の波長セットの中から一の前記波長セットを選択することにより前記波長セットを設定するものであり、
前記光源ユニットが、前記複数の波長セットに含まれる各波長に対応した前記発光素子を複数備えたものであり、
前記光源制御手段が、前記波長セットに含まれる波長域のうち前記各発光素子の波長域に重複していない波長域が存在する場合、前記各発光素子のうち前記分光推定画像の生成に必要な波長域の前記複数の発光素子であって、前記複数の発光素子のうち最も推定精度の高い組み合わせの前記発光素子を駆動するものである
ことを特徴とする内視鏡装置。
前記光源制御手段が、前記波長セットに含まれるすべての波長域が前記各発光素子の波長域に重複している場合、重複している波長域の前記発光素子のみを駆動するものであることを特徴とする請求項１記載の内視鏡装置。
内視鏡装置が、
分光推定画像が示す複数の波長域を波長セットとして設定する波長セット設定工程と、
異なる波長域の光を射出する複数の発光素子からなる、該複数の発光素子を駆動することにより白色光が射出可能な光源ユニットに対し、設定した前記波長セットに応じて前記複数の発光素子毎にＯＮ／ＯＦＦを制御する光源制御工程と、
ＯＮ／ＯＦＦ制御下においてスコープが撮影し取得した内視鏡画像に対し、前記波長セットに基づいてマトリクス演算を施すことにより分光推定画像を生成する分光推定画像生成工程とを行う内視鏡装置の作動方法であって、
前記波長セット設定工程が、予め用意した複数の波長セットの中から一の前記波長セットを選択することにより前記波長セットを設定するものであり、
前記光源ユニットが、前記複数の波長セットに含まれる各波長に対応した前記発光素子を複数備えたものであり、
前記光源制御工程が、前記波長セットに含まれる波長域のうち前記各発光素子の波長域に重複していない波長域が存在する場合、前記各発光素子のうち前記分光推定画像の生成に必要な波長域の前記複数の発光素子であって、前記複数の発光素子のうち最も推定精度の高い組み合わせの前記発光素子を駆動するものである
ことを特徴とする内視鏡装置の作動方法。