JP6110887B2 - 重畳画像生成装置及び重畳画像生成装置の作動方法 - Google Patents

Description

本発明は、測定対象の蛍光像に背景像を重畳した画像を生成する重畳画像生成装置及び重畳画像生成装置の作動方法に関する。

従来から、生体等から励起光の照射に応じて生じる蛍光像を観察する観察装置が用いられている。このような観察装置では、照明光によって生じた反射像を撮像することにより得られた画像と、励起光によって生じた蛍光像を撮像することにより得られた画像を重畳することが行われる。例えば、下記特許文献１には、ビニングされた蛍光像の画像データと反射像の画像データを重畳することで、蛍光像と反射像とのバランスを調整する構成が記載されている。また、下記特許文献２には、蛍光像の画像を推定蛍光収率等を加味したデータを画素値に割り当てることにより生成し、その画像を反射像と重畳することによって観察画像を出力することが記載されている。

特許第５３５５７９９号公報 特開２００９−２７９１７２号公報

しかしながら、上記特許文献１及び上記特許文献２に記載の装置では、蛍光像を撮像した画像と背景像を撮像した画像とのバランスを全体的に調整して重畳している。そのため、蛍光像の輝度が低い場合に重畳画像において蛍光像自体が認識しにくい場合がある。

そこで、本発明は、かかる課題に鑑みて為されたものであり、蛍光像と背景像を重畳した重畳画像において蛍光像の認識をより容易にする重畳画像生成装置及び重畳画像生成方法を提供することを目的とする。

上記課題を解決するため、本発明の一形態に係る重畳画像生成装置は、対象物から発せられた蛍光を撮像することによって蛍光像を生成し、蛍光像に背景像を重畳して重畳画像を生成する装置であって、第１の期間において対象物に対して励起光を出力し、第１の期間と異なる第２の期間において励起光の出力を停止する光照射部と、２次元的に配列された複数の画素を有し、第１の期間及び第２の期間のそれぞれにおいて対象物を撮像することによって第１の画像データ及び第２の画像データを出力する撮像部と、重畳画像における背景像の輝度値を調整するための係数を設定する係数設定部と、第１の画像データ及び第２の画像データに基づいて、蛍光像を含む蛍光画像データと背景像を含む背景画像データを作成する画像処理部と、蛍光画像データを用いて、複数の画素のうちから、蛍光像を構成する画素である蛍光画素と、蛍光画素を除いた画素である非蛍光画素とを特定する特定部と、を備え、画像処理部は、重畳画像を作成するために、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を、重畳画像の蛍光画素の画素値として算出し、少なくとも背景画像データの非蛍光画素の画素値に係数を乗じた値を、重畳画像の非蛍光画素の画素値として算出する。

或いは、本発明の他の形態に係る重畳画像生成装置の作動方法は、対象物から発せられた蛍光を撮像することによって蛍光像を生成し、前記蛍光像に背景像を重畳して重畳画像を生成するための重畳画像生成装置の作動方法であって、第１の期間において対象物に対して励起光を出力し、前記第１の期間と異なる第２の期間において前記励起光の出力を停止するように作動するステップ（照射ステップ）と、２次元的に配列された複数の画素を有する撮像素子を用いて、前記第１の期間及び前記第２の期間のそれぞれにおいて前記対象物を撮像することによって第１の画像データ及び第２の画像データを出力するように作動するステップ（出力ステップ）と、前記重畳画像における前記背景像の輝度値を調整するための係数を設定するように作動するステップ（設定ステップ）と、第１の画像データ及び第２の画像データに基づいて、前記蛍光像を含む蛍光画像データと前記背景像を含む背景画像データを作成するように作動するステップ（作成ステップ）と、前記蛍光画像データを用いて、前記複数の画素のうちから、前記蛍光像を構成する画素である蛍光画素と、前記蛍光画素を除いた画素である非蛍光画素とを特定するように作動するステップ（特定ステップ）と、前記重畳画像を作成するために、前記蛍光画像データの前記蛍光画素の画素値と前記背景画像データの前記蛍光画素の画素値とを１対１の比率で加算した値を、前記重畳画像の前記蛍光画素の画素値として算出し、少なくとも前記背景画像データの前記非蛍光画素の画素値に前記係数を乗じた値を、前記重畳画像の前記非蛍光画素の画素値として算出するように作動するステップ（算出ステップ）と、を備える。

上記形態の重畳画像生成装置或いは重畳画像生成装置の作動方法によれば、対象物に対して励起光を照射する第１の期間において対象物が撮像されることにより第１の画像データが取得され、対象物に対して励起光が照射されない第２の期間において対象物が撮像されることにより第２の画像データが取得され、第１及び第２の画像データを基に、蛍光像が反映された蛍光画像データ、及び背景像が反映された背景画像データが作成される。さらに、蛍光画像データの複数の画素のうちから蛍光像を構成する蛍光画素とそれを除いた非蛍光画素とが特定され、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を蛍光画素の画素値とし、かつ、少なくとも背景画像データの非蛍光画素の画素値に係数を乗じた値を非蛍光画素の画素値とするような重畳画像が作成される。このような構成により、重畳画像において、背景像の輝度を蛍光像の輝度に対して相対的に調整することができるとともに、蛍光像の輝度を背景像に対して目立つように維持することができ、重畳画像において蛍光像をより容易に認識することができる。

画像処理部及び算出ステップは、蛍光画像データの非蛍光画素の画素値と背景画像データの非蛍光画素の画素値に係数を乗じた値とを加算した値を、重畳画像の非蛍光画素の画素値として算出する、ことが好適である。かかる構成を備えれば、重畳画像において非蛍光画素に蛍光画像データが反映されるので、蛍光像の境界付近における像の緻密さを向上させることができる。

また、画像処理部及び作成ステップは、蛍光画像データを作成するために、第１の画像データと第２の画像データとの差分を算出し、第２の画像データを用いて背景画像データを作成する、ことも好適である。かかる画像処理部を備えれば、蛍光画像データにおいて蛍光像を抽出することができるとともに、背景像のみを含む背景画像データを作成することができる。

さらに、画像処理部及び算出ステップは、重畳元の背景画像データを作成するために、背景画像データの蛍光画素と非蛍光画素とを含む画素の画素値に係数を乗じ、重畳元の蛍光画像データを作成するために、蛍光画像データと係数の示す減少率に応じて増加するように調整された背景画像データの蛍光画素の画素値とを加算し、重畳画像を作成するために、重畳元の背景画像データと重畳元の蛍光画像データとを重畳する、ことも好適である。この場合、重畳元の背景画像データと重畳元の蛍光画像データを重畳することにより、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を蛍光画素の画素値とし、かつ、蛍光画像データの非蛍光画素の画素値に対して、背景画像データの非蛍光画素の画素値に係数を乗じた値を加算した値を非蛍光画素の画素値とするような重畳画像が作成できる。

またさらに、画像処理部及び算出ステップは、重畳元の背景画像データを作成するために、背景画像データの非蛍光画素の画素値に係数を乗じ、重畳画像を作成するために、重畳元の背景画像データと蛍光画像データとを重畳する、ことも好適である。かかる構成によれば、重畳元の背景画像データと蛍光画像データを重畳することにより、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を蛍光画素の画素値とし、かつ、蛍光画像データの非蛍光画素の画素値に対して、背景画像データの非蛍光画素の画素値に係数を乗じた値を加算した値を非蛍光画素の画素値として、重畳画像を作成できる。

さらにまた、蛍光画像データにおける蛍光像の画素値が背景画像データにおける背景像の画素値よりも高く、係数設定部及び設定ステップは、係数を０以上１以下の値に設定する、ことも好適である。かかる構成によれば、蛍光像が背景像に対して画素値が高い画像データを用いた場合に、蛍光像の輝度を背景像に対して目立つように維持することができる。

また、蛍光画像データにおける蛍光像の画素値が背景画像データにおける背景像の画素値よりも低く、係数設定部及び設定ステップは、係数を１以上の値に設定する、ことも好適である。この場合、蛍光像が背景像に対して画素値が低い画像データを用いた場合に、蛍光像の輝度を背景像に対して目立つように維持することができる。

さらに、特定部及び特定ステップは、蛍光画素と非蛍光画素とを特定するために、蛍光画像データの複数の画素の画素値と閾値とを比較する、ことも好適である。こうすれば、蛍光画像データを用いて蛍光像の範囲に含まれる画素を簡易かつ正確に特定できる。

本発明によれば、蛍光像と背景像を重畳した重畳画像において蛍光像の認識をより容易にすることができる。

本発明の好適な一実施形態に係る蛍光画像取得システム１の概略構成を示すブロック図である。 図１のカメラコントローラ１５によって制御される各種動作のタイミングを示すタイミングチャートである。 図１の特定部１１の処理対象の蛍光画像データの画素値の一次元分布を示すグラフである。 図１の特定部１１によって計算されたオン画像データの輝度値のヒストグラムを示すグラフである。 図１の特定部１１によって計算された蛍光画像データの輝度値のヒストグラムを示すグラフである。 図１の蛍光画像取得システム１による重畳画像データの生成処理の手順を示すフローチャートである。 図１の蛍光画像取得システム１によって生成されたオン画像データ、オフ画像データ、及び蛍光画像データのそれぞれのイメージを示す図である。 係数ｍを様々な値に設定した場合に蛍光画像取得システム１によって生成される重畳画像データのイメージ、及びその重畳画像データの一次元輝度分布を示す図である。

以下、図面を参照しつつ本発明に係る重畳画像生成装置及び重畳画像生成方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

図１は、本発明の好適な一実施形態に係る蛍光画像取得システム１の概略構成を示すブロック図である。図１に示す蛍光画像取得システム１は、所定のフレームレートで時系列に観察対象物Ｐについての観察画像を取得することで、ユーザが観察対象物Ｐを動画で観察できるように構成されている。観察対象物Ｐは、例えば生体組織であり、予めインドシアニングリーンなどの蛍光色素が導入されている。蛍光画像取得システム１を用いれば、蛍光色素が生体の血管やリンパ管などを流れる様子や生体内の臓器やリンパ節などに蛍光色素が蓄積される様子を観察することができる。重畳画像生成装置の一形態である蛍光画像取得システム１は、撮像装置（撮像部）３と光照射装置（光照射部）５とを内蔵するカメラユニット７と、カメラユニット７に電気的に接続されカメラユニット７を制御する制御部９とカメラユニット７から出力された画像データを処理する特定部１１及び画像処理部１３とを有するカメラコントローラ１５と、カメラコントローラに電気的に接続された、表示装置１７、入力装置１９、及び記憶装置２１とを備えている。

光照射装置５は、観察対象物Ｐに対して蛍光観察のために蛍光色素を励起するための励起光Ｌ_１を出力する光源５ａと、光源５ａの励起光Ｌ_１の出力をＯＮ／ＯＦＦを制御する光源制御部５ｂとを内蔵する。光源５ａは、ＬＥＤ（発光ダイオード）、ＬＤ（レーザダイオード）、あるいはＳＬＤ（スーパールミネッセントダイオード）等の発光素子などであり、蛍光色素を励起する波長の光を出力する。光源制御部５ｂは、カメラユニット７と電気的に接続されたカメラコントローラ１５による制御により、光源５ａの励起光出力のＯＮ（出力の状態）とＯＦＦ（出力停止の状態）とを切り換える制御回路である。なお、光源５ａから出力される光の波長は蛍光の波長を含まないことが好ましいが、光源５ａから出力される光の波長が蛍光の波長を含む場合、光照射装置５は、光源５ａから出力される光のうち蛍光の波長と同じ波長の光を遮光する光学フィルタ（不図示）を備えてもよい。

撮像装置３は、カメラコントローラ１５の制御によって観察対象物Ｐからの光像を撮像する装置である。この撮像装置３は、蛍光色素が発する蛍光Ｌ_２の波長の光を透過させ、励起光Ｌ_１の波長の光を遮断する光学フィルタ３ａと、光学フィルタ３ａを透過した蛍光Ｌ_２および観察対象物Ｐの蛍光像の背景からの光である背景光を受光し、それらの光を光電変換することにより画像データを出力する撮像素子３ｂと、カメラコントローラ１５の制御により撮像素子３ｂの露光タイミングおよび露光時間を調整する撮像制御部３ｃとを含んで構成される。撮像素子３ｂは、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等のエリアイメージセンサであり、２次元的に配列された複数の画素（光電変換素子）を有する。なお、光学フィルタ３ａは、蛍光Ｌ_２の波長の光のほか、外部の照明装置から出力される照明光によって観察対象物Ｐにおいて生じる反射光の波長の光も透過するように構成されているので、撮像素子３ｂは観察対象物Ｐからの反射光を背景光として受光する。

上記構成のカメラユニット７により、光源５ａの励起光出力のＯＮの期間（以下、単に「オン期間」と言う。）においては、撮像素子３ｂは観察対象物Ｐからの蛍光および背景光を受光（撮像）し、それに応じて画像データとしてオン画像データを出力する、一方、光源５ａの励起光出力のＯＦＦの期間（以下、単に「オフ期間」と言う。）においては、撮像素子３ｂは観察対象物Ｐからの背景光を受光（撮像）し、それに応じて画像データとしてオフ画像データを出力する。撮像制御部３ｃは、カメラユニット７の出力する画像データのフレームレートが例えば３０フレーム／ｓｅｃに設定されている場合には、露光時間が例えば３０ｍｓｅｃになるように制御し、カメラユニット７の設定変更によりフレームレートが１５フレーム／ｓｅｃ〜１０００フレーム／ｓｅｃの範囲で調整された場合には、それに応じて露光時間が６０ｍｓｅｃ〜１ｍｓｅｃの範囲で可変となるように制御する。

カメラコントローラ１５は、ＣＰＵ等の演算処理回路、メモリ等を含むデータ処理装置であり、このデータ処理装置内に制御部９、特定部１１、及び画像処理部１３が機能的に実装されている。ただし、制御部９、特定部１１、及び画像処理部１３は、同一装置内に構成される場合には限定されず、複数の装置に分散されて構成されていてもよい。

カメラコントローラ１５の制御部９は、撮像装置３及び光照射装置５の動作を制御する。すなわち、制御部９は、光照射装置５による励起光出力のＯＮ／ＯＦＦと、撮像素子３ｂの露光タイミングとを互いに同期するように制御する（詳細は後述する）。カメラコントローラ１５の画像処理部１３は、撮像素子３ｂから出力されたオン画像データとオフ画像データを画像処理することにより、観察対象物Ｐからの光像のうちの蛍光分布が反映された蛍光像を含む蛍光画像データと観察対象物Ｐからの光像のうちの背景分布が反映された背景像を含む背景画像データとを作成する。具体的には、画像処理部１３は、オン画像データとオフ画像データとの間で各画像データの同一の画素位置での差分（“オン画像データ”−“オフ画像データ”）を算出することにより、蛍光画像データを作成する。また、画像処理部１３は、オフ画像データをそのまま用いて背景画像データを作成する。さらに、画像処理部１３は、蛍光画像データと背景画像データとを用いて、観察対象物Ｐからの背景像と観察対象物Ｐからの蛍光像とが重畳された像が反映された重畳画像データを作成し、作成した重畳画像データを出力用の画像データとして表示装置１７および記憶装置２１に送出する（重畳画像の作成方法の詳細は後述する。）。カメラコントローラ１５の特定部１１は、画像処理部１３によって作成された蛍光画像データを用いて、その画像データに含まれる複数の画素から、蛍光像を構成する画素である蛍光画素と、その蛍光画素を除いた画素である背景画素（非蛍光画素）とを特定する（画素の特定方法の詳細は後述する。）。そして、特定部１１は、特定した画素に関する情報を画像処理部１３に引き渡す。

表示装置１７は、カメラコントローラ１５に接続されたディスプレイ装置等の画像出力装置であり、画像処理部１３から送出された表示用の画像データを表示する。また、入力装置１９は、カメラコントローラ１５に接続されたキーボート、マウス、あるいはタッチパネルディスプレイ等のデータ入力装置であり、カメラユニット７における撮像条件を指定するためのパラメータ、及び画像処理部１３における画像処理の条件を示すパラメータを入力する。また、カメラユニット７もしくはカメラコントローラ１５にボタン等を設けることで、カメラユニット７もしくはカメラコントローラ１５に入力装置１９の機能を設けてもよい。例えば、入力装置１９は、撮像装置３の露光時間、光照射装置５の照射強度、及び画像処理部１３における重畳画像の作成時における背景像の画素値の調整の割合を示す係数ｍの設定入力を受け付け、これらのパラメータをカメラコントローラ１５に設定する。すなわち、入力装置１９は、この係数ｍを設定する係数設定部として機能する。また、記憶装置２１は、カメラコントローラ１５に接続されたデータ記憶装置であり、表示用の画像データ、カメラコントローラ１５で処理される各種画像データ、及び入力装置１９によって設定される各種パラメータを記憶する。

ここで、光源５ａの励起光出力のＯＮ／ＯＦＦタイミングと、撮像素子３ｂの露光タイミングと、画像処理部１３による蛍光画像データの作成タイミングとの時間的関係について、図２を参照しながら説明する。図２は、カメラコントローラ１５によって制御される各種動作のタイミングを示すタイミングチャートであり、（ａ）は光源５ａの励起光出力のＯＮ／ＯＦＦタイミング、（ｂ）は撮像素子３ｂの露光タイミング、（ｃ）は画像処理部１３の画像データの保存タイミング、（ｄ）は画像処理部１３の蛍光画像データの作成タイミングをそれぞれ示している。

図２（ａ），（ｂ）に示すように、制御部９は、撮像素子３ｂの１フレームの露光期間に同期して交互にオン期間およびオフ期間が繰り返されるように、光源５ａの励起光のＯＮ／ＯＦＦタイミングを制御する。つまり、オン期間の長さ及びオフ期間の長さと露光期間の長さはほぼ同一とされ、オン期間と異なる期間となるようにオフ期間が設定される。そして、画像処理部１３は、オン期間において撮像素子３ｂの露光に応じて蓄積された電荷に基づいて出力された画像データをオン画像データＡとして取得する。その後、画像処理部１３は、後続するオフ期間において撮像素子３ｂの露光に応じて蓄積された電荷に基づいて出力された画像データをオフ画像データＢとして取得する。このとき、最初のオン画像データＡは取得された時点で画像処理部１３内のメモリに記憶され、その後取得されるオフ画像データＢは画像処理部１３内の差分回路に入力されるとともにメモリに保存される。オフ画像データＢが差分回路に入力されるタイミングでメモリ内のオン画像データＡも差分回路に入力されることにより、２つの画像データの差分が算出されて蛍光画像データＡ−Ｂが作成される。続いて、後続して得られたオン画像データＡ’が差分回路に入力されるとともにメモリに保存さる。オン画像データＡ’が差分回路に入力されるタイミングでメモリ内のオフ画像データＢも差分回路に入力されることにより、２つの画像データの差分が算出されて蛍光画像データＡ’−Ｂが作成される。このような処理が繰り返されることで、画像処理部１３において撮像素子３ｂの露光期間（フレーム）毎に時系列の蛍光画像データを取得することができる。

続いて、カメラコントローラ１５の特定部１１による画素特定処理の詳細について説明する。図３は、特定部１１の処理対象の蛍光画像データの画素値の一次元分布を示すグラフであり、図４及び図５は、特定部１１によって計算された画像データの輝度値のヒストグラムを示すグラフである。

図３に示すような画素値の一次元分布を有する蛍光画像データを対象にして、特定部１１は、蛍光画像データの各画素の画素値と予め設定した閾値Ｔｈとを比較することにより、各画素が蛍光画素であるか背景画素であるかを判別する。具体的には、閾値Ｔｈより大きい画素値を有する画素を蛍光画素と特定し、閾値以下の画素値を有する画素を背景画素と特定する。この閾値Ｔｈは、蛍光画像データの背景ノイズレベルよりも大きい輝度値となるように、予め次のような処理によって蛍光画像データ毎に設定される。

すなわち、特定部１１は、処理対象の蛍光画像データの作成に用いられたオン画像データの画素値のヒストグラムを計算する（図４）。そして、特定部１１は、背景光による輝度値分布のピークＰ_１と、蛍光による輝度値分布のピークＰ_２とを特定し、それらのピークＰ_１，Ｐ_２の中間の輝度値になるように閾値Ｔｈを設定する。

また、特定部１１は、次のような処理によって閾値Ｔｈを設定してもよい。すなわち、特定部１１は、処理対象の蛍光画像データの画素値のヒストグラムを計算する（図５）。そして、特定部１１は、ヒストグラムにおける輝度値分布の谷間（ボトム）を特定し、その谷間における輝度値になるように閾値Ｔｈを設定してもよい。

次に、画像処理部１３による重畳画像データの作成方法の詳細について説明する。

画像処理部１３は、入力装置１９から入力された背景像の画素値の調整の割合を示す係数ｍを用いて重畳画像データを作成する。この係数ｍは、蛍光画像データにおける蛍光像の画素値が背景画像データにおける背景像の画素値よりも高い場合には、すなわち、蛍光像の輝度が背景像の輝度よりも高い場合には、０≦ｍ≦１で設定されている。このような係数ｍを用いることにより、重畳画像データの背景画素の画素値が、蛍光画像データの背景画素の画素値と背景画像データの背景画素の画素値に係数ｍを乗じた値とを加算した値とされる一方で、重畳画像データの蛍光画素の画素値が、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値とされる。これにより、重畳画像データにおいて、蛍光像の背景部分においては背景光の輝度を係数ｍに応じて下げることができ、蛍光像の部分においては蛍光の輝度と背景光の輝度とを１対１の割合で重畳させることができる。

より詳細には、画像処理部１３は、背景画像データＩ_ｂ（ｘ，ｙ）（ｘ及びｙは画像データ上の画素の２次元座標、Ｉ_ｂは各画素における画素値を示す）、及び係数ｍを基に、下記式；
Ｉ_Ｂ（ｘ，ｙ）=Ｉ_ｂ（ｘ，ｙ）×ｍ
を計算することにより、重畳元の背景画像データの各画素値Ｉ_Ｂ（ｘ，ｙ）を算出する。すなわち、背景画像データの蛍光画素と背景画素とを含むすべての画素の画素値Ｉ_ｂ（ｘ，ｙ）に係数ｍを乗ずることにより、重畳元の背景画像データを作成する。

続いて、画像処理部１３は、蛍光画像データＩ_ｆ（ｘ，ｙ）、背景画像データＩ_ｂ（ｘ，ｙ）、及び係数ｍを基に、下記式；
Ｉ_Ｆ（ｘ，ｙ）＝Ｉ_ｆ（ｘ，ｙ）＋ｎ×（Ｉ_ｂ（ｘ，ｙ）×（１−ｍ））
を計算することにより、重畳元の蛍光画像データの各画素値Ｉ_Ｆ（ｘ，ｙ）を計算する。ここで、上記式におけるパラメータｎは、蛍光画素においてはｎ＝１が付与され、背景画素においてはｎ＝０が付与され、特定部１１による画素特定処理の結果を基に設定される。すなわち、蛍光画像データの各画素の画素値Ｉ_ｆ（ｘ，ｙ）と、係数ｍの示す輝度の減少率に応じて増加するように比率（１−ｍ）が調整された背景画像データＩ_ｂ（ｘ，ｙ）の蛍光画素の画素値とを加算することにより、重畳元の蛍光画像データを作成する。これにより、蛍光画素において重畳元の背景画像データの画素値が減少した分を、重畳元の蛍光画像データの画素値で補うことができる。

さらに、画像処理部１３は、重畳元の背景画像データと重畳元の蛍光画像データを重畳することにより重畳画像データを作成する。具体的には、重畳元の背景画像データの各画素の画素値Ｉ_Ｂ（ｘ，ｙ）と重畳元の蛍光画像データの各画素値Ｉ_Ｆ（ｘ，ｙ）とを加算する。これにより、蛍光画素における重畳画像データの画素値Ｉ_ＳＩ（ｘ，ｙ）は下記式；
Ｉ_ＳＩ（ｘ，ｙ）=Ｉ_ｂ（ｘ，ｙ）＋Ｉ_ｆ（ｘ，ｙ）
で計算される値に設定され、背景像と蛍光像とが１対１の輝度比率で重畳されることになる。その一方で、背景画素における重畳画像データの画素値Ｉ_ＳＩ（ｘ，ｙ）は下記式；
Ｉ_ＳＩ（ｘ，ｙ）=Ｉ_ｂ（ｘ，ｙ）×ｍ＋Ｉ_ｆ（ｘ，ｙ）≒Ｉ_ｂ（ｘ，ｙ）×ｍ
で計算される値に設定され、背景像が係数ｍに対応して輝度が下げられることになる。ここで、背景画素における輝度値Ｉ_ｆ（ｘ，ｙ）はノイズレベルであり無視できる値となる。

以下、上述した蛍光画像取得システム１による重畳画像データの生成処理の手順を説明するとともに、本実施形態の重畳画像生成方法について詳述する。図６は、蛍光画像取得システム１による重畳画像データの生成処理の手順を示すフローチャートである。蛍光画像取得システム１では、図６に示す処理が繰り返されることで、時系列に観察対象物Ｐの重畳画像が取得できるように構成されている。

まず、ユーザの指示入力により重畳画像の取得処理が開始されると、蛍光色素が導入された観察対象物Ｐに対して、撮像素子３ｂの露光期間に同期したタイミング（オン期間）において光源５ａから励起光が照射される（ステップＳ０１：照射ステップ）。これに同期して、画像処理部１３により撮像装置３からオン画像データが取得される（ステップＳ０２：出力ステップ）。続いて、撮像素子３ｂの次の露光期間に同期したタイミング（オフ期間）において光源５ａからの励起光照射が停止される（ステップＳ０３：照射ステップ）。これに同期して、画像処理部１３により撮像装置３からオフ画像データが取得される（ステップＳ０４：出力ステップ）。その後、画像処理部１３により、オン画像データとオフ画像データとの差分（“オン画像データ”−“オフ画像データ”）が計算されることにより、蛍光画像データが作成される（ステップＳ０５）。図７は、蛍光画像取得システム１によって生成されたオン画像データ、オフ画像データ、及び蛍光画像データのそれぞれのイメージＧ_ＯＮ，Ｇ_ＯＦＦ，Ｇ_Ｆを示す図である。このように、蛍光像ＩＭ_Ｆと背景像ＩＭ_Ｂとを含むオン画像Ｇ_ＯＮと、背景像ＩＭ_Ｂを含むオフ画像Ｇ_ＯＦＦの差分が取られることにより、蛍光像ＩＭ_Ｆが反映された蛍光画像データを得ることができる。

次に、特定部１１により、蛍光画像データを用いることにより画像データ中の画素のうちから蛍光画素と背景画素とが特定される（ステップＳ０６：特定ステップ）。また、画像処理部１３によりメモリから読み出されることにより重畳画像データの生成のための係数ｍが設定される（ステップＳ０７：設定ステップ）。続いて、画像処理部１３により、背景画像データと係数ｍを基に重畳元の背景画像データが作成される（ステップＳ０８：算出ステップ）。加えて、画像処理部１３により、背景画像データと蛍光画像データと係数ｍを基に重畳元の蛍光画像データが作成される（ステップＳ０９：算出ステップ）。最後に、画像処理部１３により、重畳元の背景画像データと重畳元の蛍光画像データとが重畳されることにより、重畳画像データが作成される（ステップＳ１０：算出ステップ）。この重畳画像データは表示装置１７に表示される。

以上説明した蛍光画像取得システム１によれば、観察対象物Ｐから蛍光が励起されたオン期間において観察対象物Ｐが撮像されることによりオン画像データが取得され、観察対象物Ｐに対する励起光の照射が停止されたオフ期間において観察対象物Ｐが撮像されることによりオフ画像データが取得される。そして、オン画像データ及びオフ画像データを基に、蛍光像が反映された蛍光画像データ、及び背景像が反映された背景画像データが作成される。さらに、蛍光画像データの複数の画素のうちから蛍光像を構成する蛍光画素とそれを除いた背景画素とが特定される。その後、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を蛍光画素の画素値とし、かつ、蛍光画像データの背景画素の画素値に対して背景画像データの背景画素の画素値に係数ｍを乗じた値を加算した値を背景画素の画素値とするような重畳画像が作成される。一般的に、背景像に対して蛍光像を目立たせる手法として、蛍光像の輝度を増加させる手法があるが、この手法では、蛍光色素の分布を適切に把握できない恐れがある。一方、蛍光画像取得システム１の構成によれば、重畳画像において、背景像の輝度を蛍光像の輝度に対して係数ｍに応じて相対的に調整することができるとともに、蛍光像の輝度を維持することができるので、背景像に対して蛍光像を目出させながら、適切な蛍光像の評価を行うことができ、重畳画像において蛍光像をより容易に認識することができる。また、重畳画像において背景画素に蛍光画像データの画素の画素値が反映されるので、蛍光像の境界付近における像の緻密さを向上させることができる。

また、係数ｍが０≦ｍ≦１に設定されているので、蛍光像が背景像に対して画素値（輝度）が高い画像データを用いた場合に、蛍光像を背景像に対して目立たせつつ、蛍光像の輝度を維持することができる。図８には、係数ｍを様々な値に設定した場合に、蛍光画像取得システム１によって同一の撮像条件で同一観察対象物Ｐを対象に生成される重畳画像データのイメージ及びその重畳画像データの一次元輝度分布を示している。図８（ａ）には、係数ｍ＝１に設定した場合に生成される重畳画像データのイメージと、その重畳画像データにおける点線方向に沿った画素の一次元方向の輝度分布を示し、図８（ｂ）には、係数ｍ＝１／２に設定した場合に生成される重畳画像データのイメージとその重畳画像データの点線方向に沿った一次元方向の輝度分布を示し、図８（ｃ）には、係数ｍ＝１／４に設定した場合に生成される重畳画像データのイメージとその重畳画像データの点線方向に沿った一次元方向の輝度分布を示している。このように、重畳画像における背景光の輝度の比率を係数ｍに応じて調整することができるので、蛍光像ＩＭ_Ｆを認識しやすくなる。一方、蛍光像ＩＭ_Ｆの輝度は係数ｍの設定値に関わらず一定とされるので、蛍光像ＩＭ_Ｆの評価を適切に行うことができる。

さらに、特定部１１により蛍光画像データの複数の画素の画素値と閾値とを比較することにより、蛍光画素と非蛍光画素とが特定される。このような構成によれば、蛍光画像データを用いて蛍光像の範囲に含まれる画素を簡易かつ正確に特定できる。

なお、本発明は、前述した実施形態に限定されるものではない。

例えば、画像処理部１３による重畳画像データの作成方法については、他の様々な方法を採用することができる。すなわち、本発明の変形例では、画像処理部１３は、係数ｍの比率をかける画素データを背景画素のみとしてもよい。具体的には、画像処理部１３は、背景画像データＩ_ｂ（ｘ，ｙ）、係数ｍ、パラメータｎを基に、下記式；
Ｉ_Ｂ（ｘ，ｙ）=Ｉ_ｂ（ｘ，ｙ）×ｍ×（１−ｎ）＋Ｉ_ｂ（ｘ，ｙ）×ｎ
を計算することにより、重畳元の背景画像データの各画素値Ｉ_Ｂ（ｘ，ｙ）を算出する。すなわち、背景画像データの背景画素の画素値Ｉ_ｂ（ｘ，ｙ）に係数ｍを乗ずることにより調整して、重畳元の背景画像データを作成する。

続いて、画像処理部１３は、蛍光画像データＩ_ｆ（ｘ，ｙ）そのものを用いて、下記式；
Ｉ_Ｆ（ｘ，ｙ）＝Ｉ_ｆ（ｘ，ｙ）
を計算することにより、重畳元の蛍光画像データの各画素値Ｉ_Ｆ（ｘ，ｙ）を設定する。

さらに、画像処理部１３は、重畳元の背景画像データと重畳元の蛍光画像データを重畳することにより重畳画像データを作成する。これにより、蛍光画素における重畳画像データの画素値Ｉ_ＳＩ（ｘ，ｙ）は下記式；
Ｉ_ＳＩ（ｘ，ｙ）=Ｉ_ｂ（ｘ，ｙ）＋Ｉ_ｆ（ｘ，ｙ）
で計算される値に設定され、背景像と蛍光像とが１対１の輝度比率で重畳されることになる。その一方で、背景画素における重畳画像データの画素値Ｉ_ＳＩ（ｘ，ｙ）は下記式；
Ｉ_ＳＩ（ｘ，ｙ）=Ｉ_ｂ（ｘ，ｙ）×ｍ＋Ｉ_ｆ（ｘ，ｙ）≒Ｉ_ｂ（ｘ，ｙ）×ｍ
で計算される値に設定され、背景像が係数ｍに対応して輝度が下げられることになる。

また、前述した実施形態では、係数ｍが０≦ｍ≦１で設定されているが、この値の範囲には限定されない。すなわち、蛍光画像データにおける蛍光像の画素値が背景画像データにおける背景像の画素値よりも低い場合、例えば、撮像素子３ｂから得られた画像データの輝度値を反転した画像データを処理対象とする場合には、１≦ｍで設定されてもよい。前述した実施形態において、このような係数ｍを用いることにより、重畳元の蛍光画像データＩ_Ｆ（ｘ，ｙ）が、各画素の画素値Ｉ_ｆ（ｘ，ｙ）と、係数ｍの示す輝度の増加率に応じて減少するように比率（１−ｍ）が調整された背景画像データＩ_ｂ（ｘ，ｙ）の蛍光画素の画素値とを加算することにより作成される。これにより、蛍光画素において重畳元の背景画像データの画素値が増加した分を、重畳元の蛍光画像データの画素値で補償することができる。

また、蛍光画像取得システム１は、カメラユニット７が撮像装置３及び光照射装置５を備える形態に限らず、撮像装置３と光照射装置５は別体としてもよい。また、光照射装置５による励起光Ｌ_１の出力のＯＮ／ＯＦＦの切替は、光源５ａによって切り換えることに限らず、光照射装置５が光源５ａから出力される励起光Ｌ_１を受けるシャッタ（不図示）を備え、シャッタによって観察対象物Ｐに対する励起光Ｌ_１の照射のＯＮ／ＯＦＦを切り替えてもよい。

１…蛍光画像取得システム、３…撮像装置（撮像部）、５…光照射装置（光照射部）、１１…特定部、１３…画像処理部、１９…入力装置（係数設定部）、Ｐ…観察対象物。

Claims (9)

1. 対象物から発せられた蛍光を撮像することによって蛍光像を生成し、前記蛍光像に背景像を重畳して重畳画像を生成する重畳画像生成装置であって、
   第１の期間において対象物に対して励起光を出力し、前記第１の期間と異なる第２の期間において前記励起光の出力を停止する光照射部と、
   ２次元的に配列された複数の画素を有し、前記第１の期間及び前記第２の期間のそれぞれにおいて前記対象物を撮像することによって第１の画像データ及び第２の画像データを出力する撮像部と、
   前記重畳画像における前記背景像の輝度値を調整するための係数を設定する係数設定部と、
   第１の画像データ及び第２の画像データに基づいて、前記蛍光像を含む蛍光画像データと前記背景像を含む背景画像データを作成する画像処理部と、
   前記蛍光画像データを用いて、前記複数の画素のうちから、前記蛍光像を構成する画素である蛍光画素と、前記蛍光画素を除いた画素である非蛍光画素とを特定する特定部と、
   を備え、
   前記画像処理部は、前記重畳画像を作成するために、前記蛍光画像データの前記蛍光画素の画素値と前記背景画像データの前記蛍光画素の画素値とを１対１の比率で加算した値を、前記重畳画像の前記蛍光画素の画素値として算出し、少なくとも前記背景画像データの前記非蛍光画素の画素値に前記係数を乗じた値を、前記重畳画像の前記非蛍光画素の画素値として算出する、
   重畳画像生成装置。
2. 前記画像処理部は、前記蛍光画像データの前記非蛍光画素の画素値と前記背景画像データの前記非蛍光画素の画素値に前記係数を乗じた値とを加算した値を、前記重畳画像の前記非蛍光画素の画素値として算出する、
   請求項１記載の重畳画像生成装置。
3. 前記画像処理部は、前記蛍光画像データを作成するために、前記第１の画像データと前記第２の画像データとの差分を算出し、前記第２の画像データを用いて前記背景画像データを作成する、
   請求項１又は２記載の重畳画像生成装置。
4. 前記画像処理部は、重畳元の背景画像データを作成するために、前記背景画像データの前記蛍光画素と前記非蛍光画素とを含む前記画素の画素値に前記係数を乗じ、重畳元の蛍光画像データを作成するために、前記蛍光画像データと前記係数の示す減少率に応じて増加するように調整された前記背景画像データの前記蛍光画素の画素値とを加算し、前記重畳画像を作成するために、前記重畳元の背景画像データと前記重畳元の蛍光画像データとを重畳する、
   請求項２又は３記載の重畳画像生成装置。
5. 前記画像処理部は、重畳元の背景画像データを作成するために、前記背景画像データの前記非蛍光画素の画素値に前記係数を乗じ、前記重畳画像を作成するために、前記重畳元の背景画像データと前記蛍光画像データとを重畳する、
   請求項２又は３記載の重畳画像生成装置。
6. 前記蛍光画像データにおける前記蛍光像の画素値が前記背景画像データにおける前記背景像の画素値よりも高く、前記係数設定部は、前記係数を０以上１以下の値に設定する、
   請求項１〜５のいずれか１項に記載の重畳画像生成装置。
7. 前記蛍光画像データにおける前記蛍光像の画素値が前記背景画像データにおける前記背景像の画素値よりも低く、前記係数設定部は、前記係数を１以上の値に設定する、
   請求項１〜５のいずれか１項に記載の重畳画像生成装置。
8. 前記特定部は、前記蛍光画素と前記非蛍光画素とを特定するために、前記蛍光画像データの前記複数の画素の画素値と閾値とを比較する、
   請求項１〜７のいずれか１項に記載の重畳画像生成装置。
9. 対象物から発せられた蛍光を撮像することによって蛍光像を生成し、前記蛍光像に背景像を重畳して重畳画像を生成するための重畳画像生成装置の作動方法であって、
   第１の期間において対象物に対して励起光を出力し、前記第１の期間と異なる第２の期間において前記励起光の出力を停止するように作動するステップと、
   ２次元的に配列された複数の画素を有する撮像素子を用いて、前記第１の期間及び前記第２の期間のそれぞれにおいて前記対象物を撮像することによって第１の画像データ及び第２の画像データを出力するように作動するステップと、
   前記重畳画像における前記背景像の輝度値を調整するための係数を設定するように作動するステップと、
   第１の画像データ及び第２の画像データに基づいて、前記蛍光像を含む蛍光画像データと前記背景像を含む背景画像データを作成するように作動するステップと、
   前記蛍光画像データを用いて、前記複数の画素のうちから、前記蛍光像を構成する画素である蛍光画素と、前記蛍光画素を除いた画素である非蛍光画素とを特定するように作動するステップと、
   前記重畳画像を作成するために、前記蛍光画像データの前記蛍光画素の画素値と前記背景画像データの前記蛍光画素の画素値とを１対１の比率で加算した値を、前記重畳画像の前記蛍光画素の画素値として算出し、少なくとも前記背景画像データの前記非蛍光画素の画素値に前記係数を乗じた値を、前記重畳画像の前記非蛍光画素の画素値として算出するように作動するステップと、
   を備える重畳画像生成装置の作動方法。

Images