JP4391878B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は撮像技術に関し、特に、顕微鏡用カメラなどに好適な、固体撮像素子を用いた撮像装置における分光感度を可変とする技術に関する。

近年、生物学の研究分野においては、従来の形態観察から細胞間の情報伝達機構を調べることに主眼が移りつつある。これに伴い、生物試料は可能な限り生態内に近い状態を堆持するべく、従来よりも厚く（例えば、２００〜３００ｎｍ以上）作製されることが多くなってきている。ところが、試料として用いられる表面付近の細胞は、生態から切り取られる作業時にダメージを受けているため、生態に近い状態とは言い難い。

従って、生態に近い状態の細胞を観察し計測するためには、細胞の表面より約５０ｎｍ以上に下層の部分を観察する必要がある。しかし、透明若しくはほぼ透明な試料を可視化するために広く用いられる位相差顕微鏡では、試料の厚さが２００〜３００μｍとなると、ハロと称される位相差顕微鏡特有の現象が生じてしまい、細胞内部の微細構造の観察は困難になる。また、同様の用途で用いられる微分干渉顕微鏡を用いても、試料の厚さに起因する光の散乱の影響を強く受けてしまうため、目視観察では細胞の表面より２０〜３０μｍ程度までの内部観察が限界であった。

そこで、最近になって、散乱の影響の少ない近赤外光（本願では近赤外領域を７００ｎｍ〜１０００ｎｍの波長とする）を微分干渉観察に用いると共に、画像処理によるコントラスト増強を組み合わせて厚い生物細胞の内部を観察する手法が開発されている。この手法（以下ＩＲ微分干渉法と称することとする）により、厚さ３００μｍのラット脳スライスにおいて、この試料の表面より約５０〜１００μｍ内部にある神経細胞が観察することが可能である。なお、このような近赤外光を観察するためには、近赤外領域に感度のある電子カメラが必要となる。

また、生体組織や細胞上でタンパクや遺伝子等に蛍光標識を施し、タンパク、遺伝子等の肉眼での観察や写真撮影を可能にした蛍光顕微鏡が広く知られている。特に、近年では蛍光を微弱にしか発しない物質を電子カメラで撮影して数値解析をすることが求められており、そのためにはより高感度な電子カメラが必要となってきている。更に、最近では、図１６に示す分光特性のような、近赤外領域の蛍光のみを発する、物質を撮影するために、近赤外領域に感度のあるより高感度な電子カメラが求められている。

ところで、電子カメラは、ＣＣＤ（Charge Coupled device ）等の固体撮像素子が被写体像を光電変換することによって撮像画像信号を得る。
図１７は、ＣＣＤ撮像素子の素子構造の一例を示す平面図である。
同図に示すＣＣＤ撮像素子では受光素子としてフォトダイオード２０１がマトリクス状に配置されている。フォトダイオード２０１間には縦列方向に複数本の垂直転送路２０２が配置され、また垂直転送路２０２の端部には横列方向に１本の水平転送路２０３が配置されている。

フォトタイオード２０１に蓄積された信号電荷は電荷移送パルスＴＧに従って垂直転送路２０２に読み出され、垂直転送路２０２内を同図における下方向へ転送される。
垂直転送路２０２を転送された信号電荷は水平転送路２０３へと転送され、更に、この水平転送路２０３を同図における左方向へ転送され、その後、電荷検出器２０４を介して、最終的には読み出しアンプ２０５により出力される。

垂直転送路２０２は、通常の転送においては水平転送路２０３により読み出される１水平期間毎に１回電荷を転送するが、高速排出時には、連続動作させることによって垂直転送路２０２中の電荷を排出させる。
図１８に示す断面図には、ＣＣＤ撮像素子の素子構造の一例として、縦型オーバーフロードレイン構造のインターライン型ＣＣＤの構造が示されている。

同図において、ｎ型半導体基板３００は、接合の浅いＰウェルの第一領域３０１と接合の深いＰウェルの第二領域３０２とで形成されている。このうち、第一領域３０１の接合ｎ型領域が形成された領域部分はフォトダイオード、つまり光電変換領域（電荷蓄積部）３０３として機能する。

第二領域３０２には理込みチャネル３０４からなる垂直シフトレジスタ、すなわち転送電極３０５が形成され、その主面には絶縁層３０６を介して転送電極３０５が配置されている。理込みチャネル３０４及び光電変換領域３０３は高いｐ型不純物層からなるチャネルストップ領域３０７によって分離されており、光電変換領域３０３とそれに対応する埋込みチヤネル３０４との間にはトランスファーゲート（ＴＧ）領域３０８が配置されている。また、光電変換領域３０３以外の領域は金属層３０９によって遮光されている。

Ｎ型半導体基板３００とＰウェルである第一領域３０１及び第二領域３０２との接合には逆バイアス電圧である基板バイアス電圧ＶＳＵＢ３１１を印加して、光電変換領域３０３直下のＰウェルの第一領域３０１を完全に空乏化（空乏層化）することにより、ブルーミングの抑制がされる。なお、ブルーミンクとは、強い光が画素に入射した場合に、その画素が飽和して信号電荷があふれてしまうことにより隣接画素や信号線、垂直転送路等に入り込み、その画像の周囲にあたかも花が咲いたような白い部分が広がってしまう現象である。

このＣＣＤ撮像素子の感度を向上させるためには、フォトダイオードの光電変換効率の向上が最も有効な手段である。
フォトダイオードに入射した光はフォトダイオードにより光電変換されて信号電荷が生成される。ここで、短波長の光はフォトダイオード内での減衰が大きいので受光面（半導体基板表面）から比較的浅い部分で光電変換される。一方、長波長の光は減衰が少ないので、フォトダイオードの受光面から比較的深い部分まで到達し、その深い部分においても光電変換される。

図１９はフォトダイオードの受光面からの深さ方向におけるポテンシャルの変化をグラフで示したものである。同図中、縦軸がポテンシャルを表し、横軸が半導体基板表面からの深さを表している。
前述のように、光電変換は半導体基板の種々の深さで行われるが、図１９（ａ）に示すように、オーバーフローバリアＯＦＢより浅い部分で生成された信号電荷はフォトダイオードに蓄積され、蓄積されたこの信号電荷が垂直転送路へ移送されて転送されることになる。その一方、オーバーフローバリアＯＦＢより深い部分で生成された信号電荷は、フォトダイオードには蓄積されず、ｎ型半導体基板３００へと掃き出されてしまう。

従って、オーバーフローバリアＯＦＢをより深い位置に形成するようにすれば、それだけフォトダイオードにおける深い部分で生成される信号電荷の利用が促進されるので、全体として光電変換効率が向上し、結果としてＣＣＤ撮像装置の感度が向上する。
このオーバーフローバリアＯＦＢを深くするためには、前述した基板バイアス電圧ＶＳＵＢを低下させるという手法がある。基板バイアス電圧ＶＳＵＢを低下させると、ポテンシャルの曲線は例えば図１９（ａ）に示すものから図１９（ｂ）に示すものへと変化し、オーバーフローバリアＯＦＢが半導体基板のより深い位置に形成されるようになるので、ＣＣＤ撮像装置の感度が向上する。

ところで、例えば特許文献１にも開示されているように、昨今のＣＣＤ撮像素子は、光電変換や、信号電荷の蓄積、転送及び検出などを円滑に行うために、ＣＣＤ撮像素子の内部で半導体基板のバイアス用の電圧（以下、「基板内部電圧」とも称することとする）が供給されている。

図２０はこの種の固体撮像装置および基板バイアス発生回路の構成例を示している。
基板バイアス発生回路２００は電圧分割用の抵抗Ｒ１及びＲ２を有している。抵抗Ｒ１の一端は電源線ＶＣＣに接続され、その他端は抵抗Ｒ２の一端に接続されている。また、抵抗Ｒ２の他端は接地線ＧＮＤに接続されている。

抵抗Ｒ１及びＲ２の直列接続点にはトランジスタＴＲ１のベースが接続されており、これらによって内部ＶＳＵＢ電圧発生回路２０６を構成している。基板内部電圧ＶＳＵＢはこのトランジスタＴＲ１のエミッタから引き出されており、前述したフォトダイオード２０１、垂直転送路２０２、水平転送路２０３、電荷検出部２０４などを配置した半導体基板へ供給される。

また、電圧分割用の抵抗Ｒ１及びＲ２の直列接続点には基板バイアス端子ＣＳＵＢも設けられている。基板バイアス端子ＣＳＵＢには外付け用の抵抗Ｒ３を介してトランジスタＴＲ２のコレクタが接続されている。トランジスタＴＲ２のエミッタは接地線ＧＮＤに接続されており、ベースには電流制限用の抵抗Ｒ４を介して端子ＶＳＵＢＣｏｎｔが設けられている。

ここで、端子ＶＳＵＢＣｏｎｔの電位をＨとしてトランジスタＴＲ２をオンにすると、それまで抵抗Ｒ２を流れていた電流の一部が抵抗Ｒ３を流れるようになり、その結果として基板バイアス端子ＣＳＵＢの電位が低下する。すると、基板内部電圧ＶＳＵＢも低下するので前述したようにオーバーフローバリアＯＦＢが半導体基板のより深い位置に形成されるようになり、ＣＣＤ撮像素子の感度が向上する。

このようにして感度を向上させる前後のＣＣＤ撮像素子の分光感度特性例を図２１に示す。同図からも明らかなように、感度向上の効果は近赤外領域において最も顕著に現れる。
ところで、顕微鏡では光の透過率や反射率の高い標本や低い標本など、幅広い透過率や反射率の標本を観察対象とする。そのため、このような高感度のＣＣＤ撮像素子を用いた電子カメラでは、微弱なフレアも感度よく映し込んでしまうという問題を抱えており、特に、透過率の高い生物標本や反射率の高い金属標本などの撮像においてフレアが目立ちやすいという問題がある。

ここでフレアについて説明する。ＣＣＤ撮像素子の受光部の前面（光の入射側）には、ほぼ平行平面形状のガラス板が設けられており、受光部を保護している。電子カメラを顕微鏡に据え付けた際に発生するフレアは、この平行平面ガラスによって発生するものと考えられる。

受光部に入射する光のうちの一部はこの平行平面ガラスで反射する。この反射光は顕微鏡の光学系のレンズやその他の光学素子で反射し、再びＣＣＤ撮像素子へと向かう。この反射が複数回繰り返されることにより、いわゆる多重反射が生じるこことなり、その結果、スポット状のフレア（以下、「スポットフレア」と称することとする）が多数生じてしまう。

ここで、平行平面ガラスの表面の反射率が高い場合には、スポットフレアの光量（光強度）も大きくなり、標本像と共にスポットフレアが撮像されてしまうことになる。特に、光軸の近傍においてはレンズ面が平面に近い形状となっているため、光軸の近傍には明るいスポットフレアが発生しやすい。

このようなフレアを低減するために、コーティングを行って平行平面ガラスの表面に反射率を下げる手法は有効である（例えば、特許文献２参照）。このようなコーティングの中でも最もポピュラーなＩＲコーティングを施したガラスの反射率の分光特性例を図２２に示す。

ところで、一般の電子カメラは、人間の視感度特性に適応させるために、図２３に示すような分光特性を有する赤外カットフィルタを用い、７００ｎｍ以上の赤外成分を除去している。ここで、特許文献３に開示されているもののように、赤外カットフィルタの着脱可能な撮像装置であれば、可視領域での撮影の場合にのみ赤外カットフィルタを挿入して近赤外領域でのフレアを低減させることができる。
特開２０００−２２１２６号公報 特開２００３−２０９７２１号公報 特開平６−１４１２４７号公報

図２２に示した分光感度特性を参照すると分かるように、ＩＲコーティングを行って平行平面ガラスの表面に反射率を下げることでフレアを低減させる手法では、近赤外領域の反射率が依然として高いため、近赤外領域のフレアを抑えきれないという問題を有していた。

一方、前述した赤外カットフィルタの装着によって近赤外領域でのフレアを低減させる手法では、赤外カットフィルタを外すことによって可視領域でのフレアについても低減させることができるものの、赤外カットフィルタ自身がフレア発生の原因となってしまう場合があり、また、赤外カットフィルタの着脱機構の装備により電子カメラが高価なものとなってしまうという問題を有していた。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、赤外カットフィルタを用いることなく、ＩＲ微分干渉法の撮影若しくは近赤外蛍光のみを発する物質の蛍光撮影と、フレアを低減させた可視領域撮影との両者が可能で低価格な撮像装置を提供できるようにすることである。

本発明の態様のひとつである撮像処理装置は、固体撮像素子の形成されている半導体基板に印加する基板バイアス電圧を変化させる電圧変化手段と、異なる当該基板バイアス電圧を印加した当該固体撮像素子によって撮像された複数の画像を、当該基板バイアス電圧に基づいて設定される比率で加算若しくは減算する画像処理手段と、を有することを特徴とするものであり、この特徴によって前述した課題が解決される。

なお、上述した本発明に係る撮像処理装置において、当該固体撮像素子での撮像における露光時間を制御する露光時間制御手段を更に有し、当該所定の比率は、更に当該露光時間に基づいて設定されるようにしてもよい。
また、前述した本発明に係る撮像処理装置において、当該電圧変化手段は、当該基板バイアス電圧を第一の電圧値または当該第一の電圧値よりも低い第二の電圧値とし、当該基板バイアス電圧が当該第二の電圧値とされているときには、当該固体撮像素子における画素毎の光電変換領域で蓄積された信号電荷についての当該固体撮像素子内における転送路での転送を高速化させるようにしてもよい。

なお、このとき、当該信号電荷の当該転送路での転送の高速化は、当該転送を行わせるために当該固体撮像素子へ印加されるパルス信号の単位時間当たりの数を増加させることによって行うようにしてもよい。
また、前述した本発明に係る撮像処理装置において、当該電圧変化手段は、静止画の撮像指示に応じ、所定の電圧値が保持されていた当該基板バイアス電圧を変化させるようにしてもよい。

また、前述した本発明に係る撮像処理装置において、当該所定の比率は、更に当該固体撮像素子での撮像対象である試料で蛍光を発光させるための励起光の波長に基づいて設定されるようにしてもよい。
また、前述した本発明に係る撮像処理装置において、異なる当該基板バイアス電圧を印加した当該固体撮像素子によって撮像された複数の画像と、当該画像の各々の撮像時における当該固体撮像素子の分光感度特性とに基づいて、当該画像に表されている試料から到来する光のスペクトル分布を算出する算出手段を更に有するようにしてもよい。

本発明の別の態様のひとつである撮像処理方法は、固体撮像素子の形成されている半導体基板に印加する基板バイアス電圧を異なる電圧値として撮像された複数の画像を取得し、当該複数の画像を当該基板バイアス電圧に基づいて設定される比率で加算若しくは減算する画像処理を行う、ことを特徴とするものであり、この特徴によって前述した課題が解決される。

なお、固体撮像素子の形成されている半導体基板に印加する基板バイアス電圧を異なる電圧値として撮像された複数の画像を取得する処理と、当該複数の画像を当該基板バイアス電圧に基づいて設定される比率で加算若しくは減算する画像処理と、をコンピュータに行わせるためのプログラムも本発明に係るものであり、このプログラムをコンピュータで実行させることによって前述した課題が解決される。

本発明は、以上のような特徴を有することにより、赤外カットフィルタを用いることなく、ＩＲ微分干渉法の撮影若しくは近赤外蛍光のみを発する物質の蛍光撮影と、フレアを低減させた可視領域撮影との両者が可能で低価格な撮像装置の提供が可能となる効果を奏する。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明を実施する顕微鏡システム毛の構成を示している。
図１において、顕微鏡本体１には、試料ステージ２６上の標本３に対向する対物レンズ２７が配置されている。また、この対物レンズ２７を介した観察光軸上には、三眼鏡筒ユニット５を介して接眼レンズユニット６が配置されており、更に結像レンズユニット１００を介して電子カメラ３６が配置されている。

次に図２について説明する。同図は図１に示した顕微鏡システムの詳細構成を示している。この顕微鏡システムは、透過明視野観察、暗視野観察、位相差観察、微分干渉観察、蛍光観察などの各種の検鏡法を適宜選択可能な構成を示している。
図２に示す顕微鏡システムには、照明系として、透過照明光学系１１及び落射照明光学系１２が備えられている。透過照明光学系１１には透過照明用光源１３が備えられており、この透過照明用光源１３から照射される透過照明光の光路上には、この透過照明光を集光するコレクタレンズ１４、透過用フィルタユニット１５、透過視野絞り１６、透過シャッタ１６１、折り曲げミラー１７、透過開口絞り１８、コンデンサ光学素子ユニット１９、及びトップレンズユニット２０が配置されている。また、落射照明光学系１２には落射照明用光源２１が備えられており、この落射照明用光源２１から照射される落射照明光の光路上には、落射用フィルタユニット２２、落射シャッタ２３、落射視野絞り２４、及び落射開口絞り２５が配置されている。

透過照明光学系１１と落射照明光学系１２との各光軸が重なる観察光路Ｓ上には、観察対象の試料である標本３を載せる試料ステージ２６と、装着されている複数の対物レンズ２７のうちのひとつを回転動作で選択して観察光路Ｓ上に位置させるためのレボルバ２８と、対物レンズ側光学素子ユニット２９と、透過明視野観察や蛍光観察などの各種検鏡法に応じて観察光路Ｓ上のダイクロイックミラーを切り換えるためのキューブユニット３０と、観察光路Ｓを観察光路Ｓ’と観察光路Ｓ”とに分岐するビームスプリッタ３１とが配置されている。ここで、ビームスプリッタ３１は三眼鏡筒ユニット５内に配置されている。

ビームスプリッタ３１によって手前に折り曲げられた観察光路Ｓ’上には接眼レンズ６ａが配置されている。一方、ビームスプリッタ３１を透過した観察光路Ｓ”上には、中間変倍光学系（ズーム鏡筒）３３、オートフォーカス（ＡＦ）ユニット３７１と写真接眼レンズユニット３５とからなる結像レンズユニット１００、及び電子カメラ３６が配置されている。

中間変倍光学系（ズーム鏡筒）３３は、電子カメラ３６で撮像される像を変倍するための変倍ズームレンズ３３ａを内蔵している。なお、中間変倍が不要な場合には、この中間変倍光学系（ズーム鏡筒）３３を取り外してもよい。
電子カメラ３６内には固体撮像素子４２が配置されている。対物レンズ２７からの光像は、写真接眼ユニット３５内の写真接眼レンズ３５ａによって固体撮像素子４２の撮像面に結像する。

オートフォーカス（ＡＦ）ユニット３７１内にはビームスプリッタ３４が配置されており、ここで観察光路Ｓ”から分岐された光路上には、ＡＦ用受光素子３４ａが配置されている。オートフォーカス（ＡＦ）ユニット３７１は、このＡＦ用受光素子３４ａからの出力信号に基づいて合焦検出を行うものである。なお、ＡＦ機能が不要な場合にはオートフォーカス（ＡＦ）ユニット３７１と共にＡＦ用受光素子３４ａを取り外してもよい。

透過照明光学系１１における透過用フィルタユニット１５、透過視野絞り１６、透過シャッタ１６１、透過開口絞り１８、及びコンデンサ光学素子ユニット１９と、落射照明光学系１２における落射用フィルタユニット２２、落射シャッタ２３、落射視野絞り２４、及び落射開口絞り２５と、レボルバ２８と、対物レンズ側光学素子ユニット２９と、キューブユニット３０と、ビームスプリッタ３１と、中間変倍光学系（ズーム鏡筒）３３とは各々モータライズされており、駆動回路部３７からの各駆動信号に応じて動作する不図示の各モータによって駆動される。

レボルバ２８には、観察光路Ｓ上に位置する対物レンズ２７の種類を検出する対物レンズ検出部３８が配置されており、対物レンズ側光学素子ユニット２９には、リタデーション調整動作を検出するリタデーション調整動作検出部３９が配置されており、写真接眼レンズユニット３５には、写真接眼レンズ３５ａの種類を検出する写真接眼レンズ検出部４０が配置されている。

顕微鏡コントロール部４１は顕微鏡全体の動作を制御するものであり、透過照明用光源１３、落射照明用光源２１、駆動回路部３７、対物レンズ検出部３８、リタデーション調整動作検出部３９、写真接眼レンズ検出部４０、及び電子カメラ３６と電気的に接続されている。

顕微鏡コントロール部４１は、電子カメラ３６の撮像条件等を決定するＣＰＵ６０（図２には不図示）の決定に従い、透過照明用光源１３及び落射照明用光源２１の調光を行うと共に、駆動回路部３７に対して制御指示を行う。更に、顕微鏡コントロール部４１は、透過照明用光源１３及び落射照明用光源２１に対する制御状態及び駆動回路部３７に対する制御状態や、対物レンズ検出部３８、リタデーション調整動作検出部３９、及び写真接眼レンズ検出部４０からの検出情報を電子カメラ３６へフィードバックする。

次に図３について説明する。同図は、図１に示した顕微鏡システムに用いられる電子カメラ３６の構成を示すブロック図である。この電子カメラ３６には、顕微鏡コントロール部４１を制御するＣＰＵ（Central Processing Unit ：中央演算装置）６０が備えられている。また、電子カメラ３６に備えられている固体撮像素子４２はカラー画像あるいは白黒画像を撮像するものであり、観察光路Ｓ”上に配置されている。

ＣＣＤ等の固体撮像素子（以下、単に「ＣＣＤ」と称することとする）４２は、図１に示した顕微鏡システムにより拡大される標本３の観察像を撮像して光電変換する。
ＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路４３は、ＣＣＤ４２の出力信号から画像信号成分を抽出する。

増幅器（ＡＭＰ）４４は、ＣＤＳ回路４３の出力信号レベルを所定の値に調整するためのＡＧＣ（Automatic Gain Control：自動利得制御）回路等を含む信号レベル制御手段である。
Ａ／Ｄ変換器４５は、ＡＭＰ４４から出力されるアナログ信号をデジタルデータへと変換する。

画像メモリＡ４６ａ及び画像メモリＢ４６ｂは、いずれもＡ／Ｄ変換器４５から出力されるデジタルデータ化された画像信号を記憶する。
メモリコントローラ５５は画像メモリＡ４６ａ及び画像メモリＢ４６ｂを制御する。
演算回路４７は、画像メモリＡ４６ａ及び画像メモリＢ４６ｂから各々読み出された画像信号を演算する。

演算コントローラ５２は演算回路４７の動作を制御する。
セレクタ６２は、演算回路４７で演算処理が施された画像信号と、画像メモリＡ４６ａから読み出された画像信号のうちのいずれか一方を選択する。
画像信号処理回路５１は、セレクタ６２で選択された画像信号に対してγ補正やエッジ強調等の画像処理を施す。

液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）５９は、画像信号を表示可能な形態に処理する信号処理回路を含み、画像信号で表現されている画像を表示する表示手段である。
ＤＲＡＭ（Dynamic Random Access memory）５６は、画像信号を一時的に記憶するメモリ等からなるカメラ内蔵記憶手段である。

圧縮伸張回路５７は、画像信号に対して圧縮処理及び伸張処理を施す。
記録媒体５８は例えばメモリカードであり、画像信号を保存する。
操作部６１は、撮影時にＡＦ（Auto Focus：自動合焦）動作を開始させると共に、露光動作を開始させるトリガー信号を発生させ得るトリガースイッチ、キューブユニット３０の回転動作スイッチ等からなる複数のスイッチである。

タイミングジェネレータ（ＴＧ）５３は、ＣＣＤ４２の駆動パルス等の同期信号を発生させる。
シグナルジェネレータ（ＳＧ）５４は、ＴＧ５３へ同期信号を供給する。
ＳＵＢパルス重畳回路４９は、ＣＣＤ４２の内部電圧にクランプされたＳＵＢパルスをＣＣＤ４２へ入力させる回路であり、例えば図２０に示した回路である。

ＣＣＤＳＵＢ電圧切り換え回路４８は、基板内部電圧ＶＳＵＢの切り換えを行う回路であり、例えば図２０に示した回路である。
以上の電子カメラ３６の各構成要素は、制御手段であるＣＰＵ６０に電気的に接続されており、図１に示した顕微鏡システム全体はこのＣＰＵ６０によって統括的に制御されている。ここで、特に、ＣＣＤ４２は、ＳＵＢ電圧重畳回路４９等からの出力によって制御される電子シャッタ機能（手段）を有しており、これにより露光時間の制御を行うことができる。

次に、このような構成を有する顕微鏡システムの動作を説明する。なお、ここでは撮影時に行われる動作のうち、本発明に関わる部分のみを説明する。
前述したように、図１における顕微鏡システムでは、ＣＰＵ６０が全ての制御を統括的に行っている。

蛍光観察法では、落射照明光学系１２より発せられた光がキューブユニット３０内の蛍光キューブにより分光され、対物レンズ２７を通って縮小されて標本３を照射する。標本３はこの照射された光によって微弱な蛍光を生じ、この蛍光が対物レンズ２７を通って拡大されキューブユニット３０内の蛍光キューブによって前述の分光とは異なる波長で分光され、ＣＣＤ４２を照射する。

ＣＣＤ４２ではＴＧ５３による駆動制御の下で露光（電荷蓄積）及び信号の読み出しがされる。読み出された信号からＣＤＳ回路４３によって画像信号成分が抽出され、ＡＭＰ４４において出力信号が所定のレベルに調整され、Ａ／Ｄ変換器４５によってデジタル信号に変換される。このデジタル信号に変換された画像信号は、画像メモリＡ４６ａ及び画像メモリＢ４６ｂに一時的に記憶される。その後、この画像信号は画像メモリＡ４６ａ及び画像メモリＢ４６ｂから読み出されて演算回路４７によって演算される。

演算回路４７による演算結果として得られた画像信号と、画像メモリＡ４６ａから読み出される画像信号とはセレクタ６２によって選択することができる。選択された画像信号は、画像信号処理回路５１によってγ補正、エッジ強調等の画像処理が施された後、ＬＣＤ５９へ入力され、標本３の蛍光画像の再生表示処理がなされる。

以上が図１、図２、及び図３に構成を示した顕微鏡システムの撮影及び画像表示の動作である。
なお、ＣＣＤ４２の駆動制御は、ＴＧ５３から出力される各種駆動信号（垂直駆動パルス、水平駆動パルス、基板内部電圧ＶＳＵＢ等）によって行われ、ＣＣＤ４２としては、例えばインターライン型で縦型オーバーフロードレイン（ＶＯＦＤ）構造の撮像素子を用いる。

ＣＣＤ４２の平面図と断面構造については、図１７及び図１８に示したので省略する。ここで、前述したように、基板内部電圧ＶＳＵＢは光電変換素子であるフォトダイオード（ＰＤ）の最大電荷蓄積レベル（オーバーフローレベル：ＯＦＬ）を決定するための基板バイアス電圧であるが、このＶＳＵＢに大きな値のパルス（ＶＳＵＢパルス）を重畳すると、各ＰＤの電荷を基板に排出して蓄積電荷をリセットすることができる。

また、図１９（ｂ）に示したように、基板内部電圧ＶＳＵＢの値を通常よりも小さくすることによって通常よりも深い部分にオーバーフローバリアＯＦＢが形成され、ＣＣＤ４２の感度を向上させることができる。
なお、ＣＣＤ４２におけるＳＵＢ電圧切り換え回路４８及びＳＵＢパルス重畳回路４９の構成については、先に説明した図２０に示したものと同様とする。

前述した蛍光観察検鏡法においては、微弱な赤外領域の蛍光を撮影するため、高感度なカメラが必要となる。つまり、ＣＣＤ４２の受光感度をより高感度とする方式が必要となる。ここで、上述したように、基板内部電圧ＶＳＵＢの値を通常よりも小さくすれば、上述したように、ＣＣＤ４２の感度を向上させることができるので、微弱な赤外領域の蛍光の撮影に使用できるようになる。

今、標本３の画像であって、ＳＵＢ電圧切り換え回路４８を制御して基板内部電圧ＶＳＵＢの値を通常の状態としたときに撮像された画像（ノーマル画像）と、ＳＵＢ電圧切り換え回路４８を制御して基板内部電圧ＶＳＵＢの値を通常よりも小さい状態としたときに撮像される画像（高感度画像）とを連続して撮影し、撮影された２枚の画像のうち、ノーマル画像についての画像信号を画像メモリＡ４６ａに記憶させ、高感度画像のついての画像信号を画像メモリＢ４６ｂに記憶させる。その後、画像メモリＡ４６ａ及び画像メモリＢ４６ｂから各々読み出した信号で表されている画像の輝度値について、演算回路４７で以下のような演算を画素単位で行えば、近赤外領域をカットした分光感度特性の画像（「近赤外カット画像」と称することとする）を得ることができる。

（近赤外カット画像）＝Ｎ×（ノーマル画像）＋Ｋ×（高感度画像）………（１）
ここで図４について説明する。同図に示す分光感度特性例において、（ａ）は基板内部電圧ＶＳＵＢの値を通常の状態（１０ボルト）としたときのＣＣＤ４２の特性、（ｂ）は基板内部電圧ＶＳＵＢの値を通常よりも小さい状態（５ボルト）としたときのＣＣＤ４２の特性をそれぞれ示している。また、（ｃ）は、この（ａ）の状態において撮像された画像（ノーマル画像）と（ｂ）の状態において撮像された画像（高感度画像）とについて、上記の（１）式の演算を演算回路４７で行った（但し、Ｎ＝１．５且つＫ＝−０．５とした）ときに得られた近赤外カット画像についての特性を示しており、近赤外領域の感度が低下していることがこの（ｃ）によって示されている。つまり、このように、異なる基板内部電圧ＶＳＵＢを印加したＣＣＤ４２によって撮像された画像を、この基板内部電圧ＶＳＵＢバイアス電圧に基づいて設定される比率で加減算する演算を演算回路４７で行わせることにより、赤外カットフィルタを用いることなく、近赤外領域の感度を低下させることができ、近赤外領域でのフレアを低減させることができる。

次に図５について説明する。同図は、図３に示した電子カメラ３６内の動作タイミングの第一の例を示している。
図５に示されている各波形を説明する。
同図において、「ＶＤ」はＣＣＤ４２による撮像画像の１フレーム分に相当する同期信号である。

「ＶＣＣＤ」は、ＣＣＤ４２の垂直転送路２０２（図１７）内での信号電荷の転送のためのパルスである。
「ＴＧ」はＣＣＤ４２における電荷蓄積領域（フォトタイオード２０１）から垂直転送路２０２への移送パルスである。

「ＶＳＵＢ」は、電荷蓄積領域（フォトタイオード２０１）の最大電荷蓄積レベル（オーバーフローレベル：ＯＦＬ）を決定する基板バイアス電圧（基板内部電圧）であり、前述したように、このＶＳＵＢに大きな値のパルス（ＶＳＵＢパルス）を重畳すると、電荷蓄積領域（フォトタイオード２０１）の蓄積電荷を半導体基板に強制排出して蓄積電荷をリセットさせることができる。

「ＶＳＵＢｃｏｎｔ」は基板内部電圧ＶＳＵＢの電圧を変化させる信号であり、「ＯＮ」（ハイレベル）とするとＶＳＵＢが低下してＣＣＤ４２が高感度設定となり、「ＯＦＦ」（ローレベル）とするとＶＳＵＢが上昇してＣＣＤ４２が通常感度設定となる。
「ＣＣＤ信号出力」は、ＣＣＤ４２の信号出力を表している。

「画像メモリＡ記録」は、Ａ／Ｄ変換器４５によってデジタルデータに変換された画像信号が画像メモリＡ４６ａに格納されるタイミングを示しており、「画像メモリＡ読み出し」は、画像信号が画像メモリＡ４６ａから読み出されるタイミングを示している。
「画像メモリＢ記録」は、Ａ／Ｄ変換器４５によってデジタルデータに変換された画像信号が画像メモリＢ４６ｂに格納されるタイミングを示しており、「画像メモリＢ読み出し」は、画像信号が画像メモリＢ４６ｂから読み出されるタイミングを示している。

「演算結果」は、演算回路４７による演算結果である画像信号の出力タイミングを示している。
なお、これらの波形は、後に提示する電子カメラ３６内の動作タイミングの他の例においても同様のものである。

図５においては、「ＶＤ」と「ＶＳＵＢｃｏｎｔ」とに注目すると分かるように、「ＶＳＵＢｃｏｎｔ」の「ＯＮ」状態と「ＯＦＦ」とを１フレーム周期毎に切り換えている。従って、ＣＣＤ４２からは、ノーマル画像の画像信号と高感度画像の画像信号とが１フレーム周期毎に交互に出力される。図５の「ＣＣＤ信号出力」において、順番に「ノーマル出力１」、「高感度出力２」、「ノーマル出力３」、「高感度出力４」、「ノーマル出力５」、「高感度出力６」と記されているのはこのことを示している。

ここで、図５の場合においては、メモリコントローラ５５は、ノーマル画像の画像信号については画像メモリＡ４６ａに格納し、高感度画像の画像信号については画像メモリＢ４６ｂに格納する。更に、メモリコントローラ５５は、格納のタイミングから１フレーム周期分遅らせてから２フレーム周期続けて同一のノーマル画像の画像信号を画像メモリＡ４６ａから読み出す一方で、格納のタイミングと同一のフレーム周期から２フレーム周期続けて同一の高感度画像の画像信号を画像メモリＢ４６ｂから読み出し、読み出したこれらの信号をフレーム周期毎に演算回路４７へ転送する。

図５の例で具体的に説明する。
例えばＣＣＤ４２から出力される「ノーマル出力１」であるノーマル画像の画像信号は、そのフレーム周期のタイミングで「ノーマル記録１」として画像メモリＡ４６ａに格納される。

「ノーマル出力１」に続いてＣＣＤ４２から出力される「高感度出力２」である高感度画像の画像信号は、そのフレーム周期のタイミングで「高感度記録２」として画像メモリＢ４６ｂに格納される。このときには、画像メモリＡ４６ａへの新たな画像信号の格納は行われない。

「高感度出力２」に続いてＣＣＤ４２から出力される「ノーマル出力３」である高感度画像の画像信号は、そのフレーム周期のタイミングで「ノーマル記録３」として画像メモリＡ４６ａに格納される。このときには、画像メモリＢ４６ｂへの新たな画像信号の格納は行われない。

ＣＣＤ４２から出力される画像信号の画像メモリＡ４６ａ及び画像メモリＢ４６ｂへの格納は以下同様であり、画像メモリＡ４６ａ及び画像メモリＢ４６ｂは１フレーム周期毎に交互に「高感度記録４」、「ノーマル記録５」、「高感度記録６」、…、と各画像信号が格納されていく。

これに対し、メモリコントローラ５５は、画像信号の画像メモリＡ４６ａ及び画像メモリＢ４６ｂからの読み出しについては、格納のタイミングより１フレーム周期分遅らせてから２フレーム周期続けて同一のノーマル画像の画像信号を画像メモリＡ４６ａから読み出す一方で、格納のタイミングと同一のフレーム周期から２フレーム周期続けて同一の高感度画像の画像信号を画像メモリＢ４６ｂから読み出す。

図５の例で説明すると、画像メモリＡ４６ａからは、「ノーマル記録１」の格納タイミングから１フレーム周期分遅らせた（すなわち、「高感度記録２」の画像メモリＢ４６ｂへの格納タイミングと同一）のフレーム周期から２フレーム周期続けて、「ノーマル記録１」で格納したノーマル画像の画像信号が読み出される（「ノーマル読み１」）。一方、画像メモリＢ４６ｂからは、「高感度記録２」の画像メモリＢ４６ｂへの格納タイミングと同一のフレーム周期から２フレーム周期続けて、「高感度記録２」で格納した高感度画像の画像信号が読み出される（「高感度読み２」）。

従って、演算回路４７では、「ノーマル読み１」のタイミングで画像メモリＡ４６ａから読み出されたノーマル画像の画像信号（すなわち、「ノーマル出力１」であるノーマル画像の画像信号）と、「高感度読み２」のタイミングで画像メモリＢ４６ｂから読み出された高感度画像の画像信号（すなわち、「高感度出力２」である高感度画像の画像信号）とを用いた上記（１）式の演算が２フレーム周期繰り返されるので、同一の演算結果である画像の画像信号が「演算出力１−２」として２フレーム周期続けて演算回路４７から出力される。

以下、同様に、画像メモリＡ４６ａからは、「ノーマル記録３」の格納タイミングから１フレーム周期分遅らせた（すなわち、「高感度記録４」の画像メモリＢ４６ｂへの格納タイミングと同一）のフレーム周期から２フレーム周期続けて、「ノーマル記録３」で格納したノーマル画像の画像信号が読み出される（「ノーマル読み３」）。一方、画像メモリＢ４６ｂからは、「高感度記録４」の画像メモリＢ４６ｂへの格納タイミングと同一のフレーム周期から２フレーム周期続けて、「高感度記録４」で格納した高感度画像の画像信号を読み出す（「高感度読み４」）。この結果、演算回路４７では、「ノーマル読み３」のタイミングで画像メモリＡ４６ａから読み出されたノーマル画像の画像信号（すなわち、「ノーマル出力３」であるノーマル画像の画像信号）と、「高感度読み４」のタイミングで画像メモリＢ４６ｂから読み出された高感度画像の画像信号（すなわち、「高感度出力４」である高感度画像の画像信号）とを用いた上記（１）式の演算が２フレーム周期繰り返され、同一の演算結果である画像の画像信号が「演算出力３−４」として２フレーム周期続けて演算回路４７から出力される。

以上のように、図５の例においては、ＣＣＤ４２の撮像レートの１／２の画像レートで近赤外カット画像が得られるので、近赤外領域でのフレアを低減させた標本３の画像を動画像として得ることができる。
なお、図５に示した動作タイミングの代わりに、図６に示した動作タイミングで電子カメラ３を動作させても近赤外領域でのフレアを低減させた標本３の画像を動画像として得ることができる。

図６の例についての図５の例との相違点は、メモリコントローラ５５による画像信号の画像メモリＡ４６ａからの読み出しにおいて、格納のタイミングから１フレーム周期分遅らせることなく、同一のフレーム周期から２フレーム周期続けて同一のノーマル画像の画像信号を画像メモリＡ４６ａから読み出す点にある。

図６の例で説明すると、画像メモリＡ４６ａからは、「ノーマル記録１」の格納タイミングと同一のフレーム周期から２フレーム周期続けて、「ノーマル記録１」で格納したノーマル画像の画像信号が読み出される（「ノーマル読み１」）。一方、画像メモリＢ４６ｂからは、「高感度記録２」の画像メモリＢ４６ｂへの格納タイミングと同一のフレーム周期から２フレーム周期続けて、「高感度記録２」で格納した高感度画像の画像信号が読み出される（「高感度読み２」）。

従って、演算回路４７では、まず、「ノーマル読み１」のタイミングで画像メモリＡ４６ａから読み出されたノーマル画像の画像信号（すなわち、「ノーマル出力１」であるノーマル画像の画像信号）と、「高感度読み２」のタイミングで画像メモリＢ４６ｂから読み出された高感度画像の画像信号（すなわち、「高感度出力２」である高感度画像の画像信号）とを用いた上記（１）式の演算の演算結果である画像の画像信号が「演算出力１−２」として演算回路４７から出力される。そしてその次のフレーム周期では、「ノーマル読み３」のタイミングで画像メモリＡ４６ａから読み出されたノーマル画像の画像信号（すなわち、「ノーマル出力３」であるノーマル画像の画像信号）と、「高感度読み２」のタイミングで画像メモリＢ４６ｂから読み出された高感度画像の画像信号（すなわち、「高感度出力２」である高感度画像の画像信号）とを用いた上記（１）式の演算の演算結果である画像の画像信号が「演算出力３−２」として演算回路４７から出力される。

ここで、「演算出力３−２」である画像と「演算出力１−２」である画像とは、演算回路４７が演算対象とした画像のうち、「高感度出力２」である高感度画像の画像信号を共通して使用している。
以下同様の処理により、演算回路４７からは、「演算出力３−２」である画像に続き、「ノーマル出力３」であるノーマル画像の画像信号と、高感度出力４である高感度画像の画像信号とを用いた上記（１）式の演算の演算結果である画像の画像信号が「演算出力３−４」として演算回路４７から出力される。ここで、「演算出力３−４」である画像と「演算出力３−２」である画像とは、演算回路４７が演算対象とした画像のうち、「ノーマル出力３」であるノーマル画像の画像信号を共通して使用している。

以上のように、図６の例においては、演算回路４７による演算対象とした画像のうち一方が、その前後のフレーム周期での演算においても演算対象とされているので、前後のフレーム周期における画像の類似性が高まる結果、得られる動画像における像の動きが滑らかになる。

次に、本発明の別の実施の形態について説明する。なお、これより説明する実施の形態を今までに説明したものと区別するため、今までに説明した実施の形態を第一実施形態と称することとし、これより説明する実施形態を第二実施形態と称することとする。
第一実施形態においては、前掲した（１）式における変数Ｎ及びＫの値を、図４で（ａ）及び（ｂ）としてそれぞれ示されている通常感度設定時及び高感度設定時におけるＣＣＤ４２の分光感度特性に基づき、Ｎ＝１．５、Ｋ＝−０．５として演算回路４７に演算させることにより、近赤外カット画像を得ていた。このとき、変数Ｎの値として１よりも大きい値を用いるため、ノーマル画像に含まれているノイズ成分も増加し、近赤外カット画像のＳ／Ｎが劣化してしまう。

そこで、第二実施形態においては、ノーマル画像の輝度値を画素毎に１．５倍する代わりに、ノーマル画像をＣＣＤ４２で取得する際の露光時間を１．５倍としてノイズの増加を抑えることにより近赤外カット画像のＳ／Ｎを改善する。
また、このように、ノーマル画像及び高感度画像をＣＣＤ４２で取得する際の露光時間を変更可能とすることにより、（１）式の演算におけるＮ及びＫの値を変更することができるので、（１）式の演算の実行に必要な演算回路４７の構成を簡略化することができる。

第二実施形態に係る顕微鏡システムの構成は、図１、図２、及び図３に示した第一実施形態に係る顕微鏡システムの構成と同様であるので、その説明は省略する。
ここで図７について説明する。同図は、図３に示した電子カメラ３６内の動作タイミングの第三の例を示している。ここで、図７の例におけるメモリコントローラ５５による画像メモリＡ４６ａ及び画像メモリＢ４６ｂの制御については図６の例におけるものと同様である。

図７の例についての図５の例との相違点は、基板内部電圧ＶＳＵＢに重畳されているＶＳＵＢパルスの本数を、基板内部電圧ＶＳＵＢの高低に応じて変化させている点にある。 図７におけるＶＳＵＢの波形に注目すると、基板内部電圧ＶＳＵＢが高い状態、すなわちＣＣＤ４２が通常感度設定とされているフレーム周期においては、ＶＳＵＢパルスの本数を減少させてＣＣＤ４２の露光時間を長くし、基板内部電圧ＶＳＵＢが低い状態、すなわちＣＣＤ４２が高感度設定とされているフレーム周期においては、ＶＳＵＢパルスの本数を増加させてＣＣＤ４２の露光時間を短くしている。

このようにして、ＣＣＤ４２の１フレーム周期単位の露光時間を制御し、例えば、通常感度設定とされているフレーム周期において第一実施形態の１．５倍とし、且つ高感度設定とされているフレーム周期において第一実施形態の０．５倍とすることにより、（１）式における変数の値をＮ＝１且つＫ＝−１とすることができる。この場合においては、演算回路４７は加算器のみで構成することができるようになり、乗算器が不要となるので回路構成を簡略化できる上に、得られる近赤外カット画像のＳ／Ｎが改善される。

このように、演算回路４７で行わせる、異なる基板内部電圧ＶＳＵＢを印加したＣＣＤ４２によって撮像された画像を所定の比率で加減算する演算における当該所定の比率をこの露光時間に応じて設定することができる。
次に第三実施形態について説明する。

前述したように、基板内部電圧ＶＳＵＢを低下させるとオーバーフローバリアＯＦＢが半導体基板のより深い位置に形成されるようになってフォトダイオードの光電変換効率は向上する。しかしながら、図１９（ｂ）を参照すると分かるように、基板内部電圧ＶＳＵＢを低下させるとポテンシャルが高くなるのでフォトダイオードにおける信号電荷の蓄積容量が増大する。ここで、被写体が明るい場合を想定すると、多量の信号電荷がフォトダイオードに蓄積するため、余剰電荷が半導体基板に掃き捨てきれなくなり、その結果としてブルーミングが発生してしまう。このとき更に余剰電荷が発生すると、掃き捨てきれなくなった余剰電荷がＣＣＤ撮像素子の垂直転送路へ入り込み、その結果、大量のスミアが発生してしまう。

ここで、ブルーミングとは、ＣＣＤ撮像素子に強い光が入射した場合に、画素の飽和により信号電荷が溢れ出して隣接画素や信号線、垂直転送路などに入り込む結果、撮像画像における飽和した画素の周囲にあたかも花が咲いたような形状の白い部分が広がる現象である。

また、スミアは、信号線や垂直転送路等へ光が混入する、あるいは半導体基板内部で発生した電荷が拡散して広がって隣接画素や転送レジスタへ混入することにより発生する。このスミアは光の強さに関わらず一定の割合で発生するため、発生量が少ない場合には特に気になるものではないが、ＣＣＤ撮像素子に強い光が入射した場合には、撮像画像中に白点が縞状に尾を引いて現れてくる。

第三実施形態においては、このようなブルーミングやスミアの発生量を低減させる。
第三実施形態に係る顕微鏡システムの構成は、図１、図２、及び図３に示した第一実施形態に係る顕微鏡システムの構成と同様であるので、その説明は省略する。
ここで図８について説明する。同図は、図３に示した電子カメラ３６内の動作タイミングの第四の例を示している。

この図８の例では、ＶＳＵＢｃｏｎｔを「ＯＮ」（ハイレベル）としてＶＳＵＢを低下させているフレーム周期、すなわちＣＣＤ４２が高感度設定とされているフレーム周期において、ＶＣＣＤのパルス数を通常（毎回の水平ブランキング期間に１単位＝１水平画素相当のパルス）よりも増加（数倍〜数十倍）させている。こうすることにより、ＣＣＤ４２の垂直転送路内での電荷の転送速度が高速化され、ＣＣＤ４２の撮像面に光が当たり続けていることによって生じる余剰電荷が高速に排出される。

更に、図８の例では、ＶＳＵＢｃｏｎｔを「ＯＦＦ」（ローレベル）としてＶＳＵＢを上昇させているフレーム周期、すなわちＣＣＤ４２が通常感度設定とされているフレーム周期を２フレーム周期連続させ、その前半のフレーム周期での露光により蓄積された信号電荷を、その後半のフレーム周期、すなわちＣＣＤ４２が依然として通常感度設定である状態の下でＣＣＤ４２から出力させるようにして、電荷転送時の電荷の溢れ出しを防止している。なお、この後半のフレーム周期の期間においては、露光による電荷蓄積を行う必要がないので、基板内部電圧ＶＳＵＢにおけるＶＳＵＢパルスを継続させている。

なお、図８の例においては、メモリコントローラ５５は、ノーマル画像の画像信号については画像メモリＡ４６ａに格納し、高感度画像の画像信号については画像メモリＢ４６ｂに格納する。更に、メモリコントローラ５５は、格納のタイミングと同一のフレーム周期から３フレーム周期続けて同一のノーマル画像の画像信号を画像メモリＡ４６ａから読み出すと共に、格納のタイミングと同一のフレーム周期から３フレーム周期続けて同一の高感度画像の画像信号を画像メモリＢ４６ｂから読み出し、読み出したこれらの信号をフレーム周期毎に演算回路４７へ転送する。従って、前掲の（１）式の演算の演算結果である画像の画像信号は、「演算出力１−２」である画像１フレーム周期に続いて「演算出力３−２」である画像が２フレーム周期繰り返し、その後、「演算出力３−４」である画像１フレーム周期に続いて「演算出力３−２」である画像が２フレーム周期繰り返す、…という動画像についてのものとなる。

第三実施形態は以上のようにすることで信号電荷の溢れ出しを抑制する結果、ブルーミングやスミアの発生量が低減する。
次に第四実施形態について説明する。
第四実施形態に係る顕微鏡システムでは、赤外カット画像については静止画像のみを生成し、動画像についてはノーマル画像についてのものを提供する。

第三実施形態に係る顕微鏡システムの構成は、図１、図２、及び図３に示した第一実施形態に係る顕微鏡システムの構成と同様であるので、その説明は省略する。
ここで図９について説明する。同図は、図３に示した電子カメラ３６内の動作タイミングの第五の例を示している。

図９は、動画像であるノーマル画像の表示中に、時刻ｔ０において操作部６１が静止画像である赤外カット画像の取得指示を取得した場合を示している。
この指示を取得すると、ＣＰＵ６０は時刻ｔ０の次のフレーム周期でＶＳＵＢｃｏｎｔを「ＯＮ」（ハイレベル）としてＶＳＵＢを低下させ、ＣＣＤ４２を高感度設定とする。そして、ＶＳＵＢパルスの最後の立下がり（時刻ｔ１）からその直後の電荷移送パルスＴＧの立ち上がり（時刻ｔ２）までの露光時間で高感度画像の露光をＣＣＤ４２に行わせる。

なお、図９の例においては、この高感度画像の露光の間、第三実施形態と同様に、ＶＣＣＤのパルス数を通常よりも増加させてＣＣＤ４２で生じる余剰電荷の排出を高速化し、ブルーミングやスミアの発生量の抑制を行っている。
その後、時刻ｔ２において電荷移送パルスＴＧがＣＣＤ４２へ与えられると、そのときまでに蓄積された信号電荷が垂直転送路へ移送されて露光が終了し、次のフレーム周期でＣＣＤ４２から出力される高感度画像の画像信号がメモリコントローラ５５によって画像メモリＢ４６ｂに格納される（図９に示されている「高感度静記」）。

一方、高感度画像の画像メモリＢ４６ｂへの格納が行われているこのフレーム周期では、ＶＳＵＢｃｏｎｔを「ＯＦＦ」（ローレベル）としてＶＳＵＢを上昇させ、ＣＣＤ４２を通常感度設定とする。そして、ＶＳＵＢパルスの最後の立下がり（時刻ｔ３）からその直後の電荷移送パルスＴＧの立ち上がり（時刻ｔ４）までの露光時間でノーマル画像の露光をＣＣＤ４２に行わせる。

その後、時刻ｔ４において電荷移送パルスＴＧがＣＣＤ４２へ与えられると、そのときまでに蓄積された信号電荷が垂直転送路へ移送されて露光が終了し、次のフレーム周期でＣＣＤ４２から出力されるノーマル画像の画像信号がメモリコントローラ５５によって画像メモリＡ４６ａに格納される（図９に示されている「ノーマル静止記」）。

その後は、メモリコントローラ５５が図９で「ノーマル静止読」と示されているタイミングでノーマル画像の画像信号が画像メモリＡ４６ａから読み出すと共に、図９で「高感度静読」と示されているタイミングで高感度画像の画像信号を画像メモリＢ４６ｂから読み出し、演算回路４７が読み出されたこれらの画像信号に対して前掲した（１）時の演算を行うことにより、赤外カット画像の画像信号が演算結果として得られる。得られた赤外カット画像をＬＣＤ５９で表示した後には、元の動画像であるノーマル画像の表示が再開される。

第四実施形態は以上のようにして動画像についてはノーマル画像についてのものを提供するようにしたので、滑らかな動きの動画像の提供が可能となり、その一方で、ブルーミングやスミアの発生量を低減させた赤外カット画像を静止画像として提供することができる。

次に第五実施形態について説明する。
図１及び図２に示した顕微鏡システムで蛍光撮影を行う場合には、キューブユニット３０が使用される。
ここで図１０について説明する。同図は標本３に照射する励起光の波長（同図（ａ））と、その励起光によって標本３から発せられる蛍光の波長（同図（ｂ））との関係の一例を示している。

図１０においては励起光として５８０ｎｍ付近の波長のものを使用している。このときに観測される蛍光の波長は、標本３によって異なるが、おおよそ６２０ｎｍである。このような場合に単純に撮影を行っても、撮影画像には励起光自体の標本３からの反射光が含まれてしまうため、蛍光のみの撮影画像を得ることはできない。

そこで、このような場合には、図１１に例示するような波長光の遮断特性（同図（ｃ））を有するＨＰＦ（ハイパスフィルタ）が備えられているキューブユニット３０が使用される。
しかし、このようなＨＰＦでは励起光の反射光の抑制が不十分な場合がある。また、標本３の種類に応じて特性の異なるＨＰＦが必要となるため、その都度キューブユニット３０を用意しなければならなかった。

そこで、第五実施形態においては、図１、図２、及び図３に示した第一実施形態に係る顕微鏡システムの構成をそのまま利用して、上述したようなＨＰＦを用いることなく、励起光の反射光の抑制を行う。
このためには、顕微鏡システムの分光感度特性を図４（ｃ）の特性から変化させて図１２（ｃ）に示すような特性とする、すなわち、演算回路４７での演算結果として得られる画像（以下、「ＨＰＦ画像」と称することとする）において、励起光がピークとなる波長（図１２の例においては５８０ｎｍ）での感度が「０」となるような特性とすればよい。

なお、この場合、演算回路４７での演算式
（ＨＰＦ画像）＝Ｎ×（ノーマル画像）＋Ｋ×（高感度画像）………（２）
において、
∫｛（励起光）×（ＨＰＦ画像）｝＝０………（３）
すなわち、この分光感度特性で励起光を撮影した画像の各画素の輝度値の積分値が「０」となるように（２）式の変数Ｎ及びＫの値を用いる必要がある。

図１２（ｃ）の特性例は、（３）式が成立する値として、Ｎ＝−８．８且つＫ＝８を用いたときのものを示している。また、この条件に合致する変数Ｎ及びＫの値を用いたときにおける、顕微鏡システムの分光感度特性を図１３に示す。
図１３には、変数Ｎ及びＫの値として、（Ｎ，Ｋ）＝（−５，５）、（−７，６．７）、（−８．８，８）、（−１１．５，１０）、（−１４．８，１２．３）、（−２１，１６．８）とした各場合における顕微鏡システムの分光感度特性を示している。このように、変数Ｎ及びＫの値の組を励起光の波長に応じて適宜選択することにより、ＨＰＦを切り換えて用いることなく様々な波長の励起光を抑制することができ、蛍光撮影を低廉に行うことができる。

次に第六実施形態について説明する。
第六実施形態においては、ＣＣＤ４２の感度を変化させて撮像した標本３の蛍光画像から、その蛍光のスペクトル分布を算出するというものである。この算出法について図１４を用いて説明する。

今、基板内部電圧ＶＳＵＢを変化させ、ＣＣＤ４２の分光感度特性を図１４（ａ）として示すＮ（λ）に設定して標本３の蛍光を行ったときに得られた画像についての画像信号をａとし、また、ＣＣＤ４２の分光感度特性を図１４（ｂ）として示すＨ（λ）に設定して標本３の蛍光を行ったときに得られた画像についての画像信号をｂとし、更に、ＣＣＤ４２の分光感度特性を図１４（ｃ）として示すＭ（λ）に設定して標本３の蛍光を行ったときに得られた画像についての画像信号をｃとする。

また、図１４において（ｄ）と示されている標本３の蛍光のスペクトル分布をＸ、Ｙ、Ｚで表すものとする。ここで、Ｘは、この蛍光についての波長６７０ｎｍから７３０ｎｍまでのスペクトル成分の積分値、Ｙは、この蛍光についての波長７３０ｎｍから７９０ｎｍまでのスペクトル成分の積分値、そして、Ｚは、この蛍光についての波長７９０ｎｍから８５０ｎｍまでのスペクトル成分の積分値を各々示している。

このとき下記の式が成立する。

この行列式を変形すると、下記の式となる。

つまり、例えば記録媒体５８に記録させておいたａ、ｂ、ｃをＣＰＵ６０に読み出させて上記の行列式を計算させることによってＸ、Ｙ、Ｚが算出される。このＸ、Ｙ、Ｚから、最小二乗法等の近似式により、標本３の蛍光スペクトル分布を得ることができる。

更に、前記ではａ、ｂ、ｃの３種類のＶＳＵＢ電圧とその分光感度とより標本３の蛍光スペクトル分布を得たが、ｎ種類（ｎ＞３）のＶＳＵＢ電圧とその分光感度とより標本の蛍光のスペクトル分布を求めれば、ｎ種類の分解能（前記ではａ、ｂ、ｃの３種類の分解能）を得ることができるようになり、より正確なスペクトル分布となる。

ところで、以上までに説明した各実施形態においては、処理の高速性を重視し、専用のハードウェアを用いて図３の各部を構成するようにしていたが、例えば図３におけるＡ／Ｄ変換器４５から出力される画像信号を画像メモリＡ４６ａ若しくは画像メモリＢ４６ｂに格納する代わりに記録媒体に一旦記録するようにし、記録された画像信号に対し、標準的なコンピュータ、すなわち、制御プログラムの実行によってコンピュータ全体の動作制御を司るＣＰＵ（中央処理装置）と、このＣＰＵが必要に応じてワークメモリとして使用するメインメモリと、各種データの授受を管理するインタフェースユニットと、各種のプログラムや画像データなどを記憶して保存しておく例えばハードディスク装置などの補助記憶装置と、画像データで表現されている画像や各種の情報を表示する表示部とを有しているコンピュータを用いて、前述した各実施形態に係る画像処理を施すようにすることもできる。

このような画像処理をコンピュータに行わせるためには、例えば図１５にフローチャートで示したような処理をコンピュータの有しているＣＰＵに行わせるための制御プログラムをコンピュータ読み取り可能な記録媒体に記録させておき、そのプログラムをその記録媒体からコンピュータに読み込ませてＣＰＵで実行させるようにすればよい。

図１５に示す処理を説明する。この処理は第一実施形態に係る画像処理を行うものであり、画像処理の実行指示をコンピュータのＣＰＵが取得すると開始される。
まず、Ｓ１０１において、前掲した（１）における変数Ｎ及びＫの値を所定の値、例えば第一実施形態においてはＮ＝１．５且つＫ＝−０．５に設定する処理が行われる。

続くＳ１０２では、予め取得されていたノーマル画像及び高感度画像の画像信号を読み込む処理が行われ、Ｓ１０３において、前掲した（１）式の演算を実行して近赤外カット画像の画像信号を取得する処理が行われる。
その後、Ｓ１０４では、前ステップの処理によって生成された画像信号で表されている近赤外カット画像を表示部に表示する処理が行われ、図１５の処理が終了する。

なお、前述した他の実施形態に係る画像処理をコンピュータに行わせる場合にも、同様にすればよい。
なお、記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置、フレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった、コンピュータに設けられている媒体駆動装置によって読み取り可能な携帯可能記録媒体等が利用できる。

また、このような記録媒体はネットワーク回線を介してコンピュータと接続される、プログラムサーバとして機能するコンピュータが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体であるネットワーク回線を通じてコンピュータへ伝送するようにし、コンピュータでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータ内のＣＰＵで実行できるようになる。

その他、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。

本発明を実施する顕微鏡システムの構成を示す図である。 図１に示した顕微鏡システムの詳細構成を示す図である。 電子カメラの構成を示す図である。 図１に示す顕微鏡システムでの分光感度特性の第一の例を示す図である。 電子カメラ内の各部の動作タイミングの第一の例を示す図である。 電子カメラ内の各部の動作タイミングの第二の例を示す図である。 電子カメラ内の各部の動作タイミングの第三の例を示す図である。 電子カメラ内の各部の動作タイミングの第四の例を示す図である。 電子カメラ内の各部の動作タイミングの第五の例を示す図である。 励起光と蛍光との波長の関係の例を示す図である。 励起光抑制するＨＰＦの特性例を示す図である。 図１に示す顕微鏡システムでの分光感度特性の第二の例を示す図である。 図１に示す顕微鏡システムでの分光感度特性の変更例を示す図である。 蛍光のスペクトル分布の算出法を説明する図である。 コンピュータに行わせる画像処理の処理内容を示すフローチャートである。 近赤外領域の蛍光を発する物質の分光特性例を示す図である。 ＣＣＤ撮像素子の素子構造の一例を示す平面図である。 ＣＣＤの断面図である。 フォトダイオードの深さ方向のポテンシャルの変化を示す図である。 基板バイアス発生回路の構成例を示す図である。 感度を変化させた前後でのＣＣＤ撮像素子の分光感度特性例を示す図である。 コーティングガラスの反射率の分光特性例を示す図である。 赤外カットフィルタによる分光感度特性の変化を示す図である。

符号の説明

Ｓ、Ｓ’、Ｓ” 観察光路
１ 顕微鏡本体
３ 標本
５ 三眼鏡筒ユニット
６ 接眼レンズユニット
６ａ 接眼レンズ
１０ 結像レンズユニット
１１ 透過照明光学系
１２ 落射照明光学系
１３ 透過照明用光源
１４ コレクタレンズ
１５ 透過用フィルタユニット
１６ 透過視野絞り
１６１ 透過シャッタ
１７ 折り曲げミラー
１８ 透過開口絞り
１９ コンデンサ光学素子ユニット
２０ トップレンズユニット
２１ 落射照明用光源
２２ 落射用フィルタユニット
２３ 落射シャッタ
２４ 落射視野絞り
２５ 落射開口絞り
２６ 試料ステージ
２７ 対物レンズ
２８ レボルバ
２９ 対物レンズ側光学素子ユニット
３０ キューブユニット
３１ ビームスプリッタ
３２ ダイクロイックミラー
３３ 中間変倍光学系（ズーム鏡筒）
３３ａ 変倍ズームレンズ
３４ ビームスプリッタ
３４ａ ＡＦ用受光素子
３５ 写真接眼レンズユニット
３５ａ 写真接眼レンズ
３６ 電子カメラ
３７ 駆動回路部
３７１ オートフォーカス（ＡＦ）ユニット
３８ 対物レンズ検出部
３９ リタデーション調整動作検出部
４０ 写真接眼レンズ検出部
４１ 顕微鏡コントロール部
４２ 固体撮像素子（ＣＣＤ）
４３ ＣＤＳ回路
４４ 増幅器
４５ Ａ／Ｄ変換器
４６ａ 画像メモリＡ
４６ｂ 画像メモリＢ
４７ 演算回路
４８ ＣＣＤＳＵＢ電圧切り換え回路
４９ ＳＵＢパルス重畳回路
５１ 画像信号処理回路
５２ 演算コントローラ
５３ タイミングジェネレータ（ＴＧ）
５４ シグナルジェネレータ（ＳＧ）
５５ メモリコントローラ
５６ ＤＲＡＭ
５７ 圧縮伸張回路
５８ 記録媒体
５９ 液晶ディスプレイ（ＬＣＤ）
６０ ＣＰＵ
６１ 操作部
６２ セレクタ
１００ 結像レンズユニット
１００ａ 結像レンズ
２００ 基板バイアス発生回路
２０１ フォトダイオード
２０２ 垂直転送路
２０３ 水平転送路
２０４ 信号検出器
２０５ アンプ
２０６ 内部ＶＳＵＢ発生回路
３００ ｎ型半導体基板
３０１ 第一領域
３０２ 第二領域
３０３ 光電変換領域（電荷蓄積部）
３０４ 理込みチャネル
３０５ 転送電極
３０６ 絶縁層
３０７ チャネルストップ領域
３０８ トランスファーゲート（ＴＧ）領域
３０９ 金属層
３１１ 基板バイアス電圧ＶＳＵＢ

Claims (9)

1. 固体撮像素子の形成されている半導体基板に印加する基板バイアス電圧を変化させる電圧変化手段と、
   異なる前記基板バイアス電圧を印加した前記固体撮像素子によって撮像された複数の画像を、当該基板バイアス電圧に基づいて設定される比率で加算若しくは減算する画像処理手段と、
   を有することを特徴とする撮像処理装置。
2. 前記固体撮像素子での撮像における露光時間を制御する露光時間制御手段を更に有し、
   前記所定の比率は、更に前記露光時間に基づいて設定される、
   ことを特徴とする請求項１に記載の撮像処理装置。
3. 前記電圧変化手段は、前記基板バイアス電圧を第一の電圧値または当該第一の電圧値よりも低い第二の電圧値とし、
   前記基板バイアス電圧が前記第二の電圧値とされているときには、前記固体撮像素子における画素毎の光電変換領域で蓄積された信号電荷についての当該固体撮像素子内における転送路での転送を高速化させる、
   ことを特徴とする請求項１に記載の撮像処理装置。
4. 前記信号電荷の前記転送路での転送の高速化は、当該転送を行わせるために前記固体撮像素子へ印加されるパルス信号の単位時間当たりの数を増加させることによって行うことを特徴とする請求項３に記載の撮像処理装置。
5. 前記電圧変化手段は、静止画の撮像指示に応じ、所定の電圧値が保持されていた前記基板バイアス電圧を変化させることを特徴とする請求項１に記載の撮像処理装置。
6. 前記所定の比率は、更に前記固体撮像素子での撮像対象である試料で蛍光を発光させるための励起光の波長に基づいて設定されることを特徴とする請求項１に記載の撮像処理装置。
7. 異なる前記基板バイアス電圧を印加した前記固体撮像素子によって撮像された複数の画像と、当該画像の各々の撮像時における当該固体撮像素子の分光感度特性とに基づいて、当該画像に表されている試料から到来する光のスペクトル分布を算出する算出手段を更に有することを特徴とする請求項１に記載の撮像処理装置。
8. 固体撮像素子の形成されている半導体基板に印加する基板バイアス電圧を異なる電圧値として撮像された複数の画像を取得し、
   前記複数の画像を前記基板バイアス電圧に基づいて設定される比率で加算若しくは減算する画像処理を行う、
   ことを特徴とする撮像処理方法。
9. 固体撮像素子の形成されている半導体基板に印加する基板バイアス電圧を異なる電圧値として撮像された複数の画像を取得する処理と、
   前記複数の画像を前記基板バイアス電圧に基づいて設定される比率で加算若しくは減算する画像処理と、
   をコンピュータに行わせるためのプログラム。

Images