JP5188995B2 - 顕微鏡撮影システム、画像入力装置、自動露出方法及びプログラム - Google Patents

Description

本発明は、顕微鏡による画像撮影の技術に関し、更に詳しくは撮影における自動露出の技術に関する。

今顕微鏡で観察している像の輝度情報を用いて自動露出を行う機能を備える画像撮影装置では、適正輝度は通常一回の自動露出処理では決定できず、自動露出処理を繰り返し実施する必要がある。

微弱蛍光顕微鏡による撮影では、標本が暗いため、適正輝度の画像を取得するには露出時間が長くなる。この為、画像をライブで表示する場合には、自動露出の収束時間が長くなってしまうために、表示更新速度（フレームレート）が低下してしまうという問題がある。

顕微鏡撮影において適正輝度の画像を取得するための技術としては、様々な方法が提案されている。
例えば特許文献１には、ＬＥＤ光源とその明るさ調整つまみを有する構成の顕微鏡が開示されている。そしてこの特許文献１の顕微鏡では、調整つまみを操作すると、ＣＣＤ（Charge Coupled Device ）駆動パルスに同期しつつ、ＬＥＤ光源の輝度をパルス制御することが出来、被写体の明るさを調整することができる。

また特許文献２には、暗い標本を撮影する場合には、ＣＣＤの出力Ｇａｉｎを増大するシステムが開示されている。この特許文献２のシステムでは、むやみにＧａｉｎを増大すると画質劣化につながるので、ノイズが目立たない程度にＧａｉｎを高く設定すると共に、絞りを開放にし、不足する輝度は露出時間を長くすることで適正露出を得ている。

このシステムでは、露出時間が長くなるとライブ像の表示更新速度（フレームレート）が長くなり、デジタルカメラの向きや姿勢、ズーム倍率などを変更しても画像がすぐに更新されない。そのため特許文献２のシステムでは、露出をキャンセルするキャンセルボタンを設けている。

また特許文献３には、暗い標本の場合にも画質低下を最小限に抑えつつ、快適なフレームレートを実現する為に、照明を調節して明るさを補い、不足する輝度を露出時間とＧａｉｎの増幅量を増やすことにより制御する顕微鏡撮影装置が開示されている。

特開２００３−１８５９３１号公報 特開２００２−２９０８０３号公報 特開２００５−２２１７０８号公報

上記した方法の内、特許文献１の方法では、光源の明るさを調整できるが、露出時間やＧａｉｎは自動制御されない。このため、適正露出を得るためには、観察者が予め光源の明るさを設定した上で、露出時間とＧａｉｎを制御する必要がある。

またこのとき、光源の明るさが不適切に暗い場合は、露出時間が長くなり、フレームレートが低下する。その結果、自動露出での収束時間が長くなってしまう。また、光量が増加すると、標本の蛍光が退色したり、光刺激によりライブセル標本にダメージを与えてしまうといった問題がある。

また特許文献２の方法では、暗い被写体のときにＧａｉｎの増大を制限する為に、画質の劣化を最小限に食い止めることが出来る。しかし、微弱蛍光顕微鏡の撮影のように露出時間が長くなると、フレームレートは低下し、特許文献１と同様に、自動露出の収束時間が長くなってしまう。

更に特許文献３では、明視野標本の場合は有効であるが、微弱蛍光顕微鏡撮影では、光量が増加すると、標本の蛍光が退色したり、光刺激によりライブセル標本にダメージを与えてしまうといった問題があった。

本発明は上述の事情に鑑みてなされてものであり、微弱蛍光顕微鏡撮影のような長時間露出が必要なライブ像でも、光源の光量を増加させることなく標本へのダメージを抑えると共に、自動露出の収束時間を短くすることが出来る、画像入力装置、自動露出方法及びプログラムを提供することを目的とする。

また自動露出が収束すると、良質のライブ像を得ることが出来る、画像入力装置、自動露出方法及びプログラムを提供することを目的とする。

本発明による画像入力装置は、顕微鏡による観察画像の光束を、デジタル画像に変換し保持する画像入力装置であって、顕微鏡部が出力する前記光束を結像して、デジタルデータに変換する撮像部と、前記撮像部の感度を変更する感度変更部と、前記撮像部が適正輝度を得るための露出時間を演算する過程では、前記感度変更部に前記撮像部の感度を高感度にするように指示したのちに当該感度を高感度にした状態で前記撮像部が撮像したデジタルデータを用いて前記露出時間を求め、当該露出時間を前記撮像部に設定後は、前記撮像部の感度を低感度に設定するように指示する演算部と、を備え、前記演算部は、前記露出時間を演算する過程では、前記デジタルデータから得られる輝度が適正輝度となるまで、前記高感度で撮像したデジタルデータの輝度と、適正輝度の比率から中間露出時間を算出して、当該中間露出時間による撮像及び中間露出時間の算出を繰り返し、前記輝度が適正輝度に略一致したら、そのときの前記中間露出時間から前記露出時間を求めることを特徴とする。

本発明による顕微鏡撮影システムは、被写体を拡大した像を光束として出力する顕微鏡部と、前記顕微鏡部が出力する前記光束を結像して、デジタルデータに変換する撮像部と、前記撮像部の感度を変更する感度変更部と、前記撮像部が適正輝度を得るための露出時間を演算する過程では、前記感度変更部に前記撮像部の感度を高感度にするように指示したのちに当該感度を高感度にした状態で前記撮像部が撮像したデジタルデータを用いて前記露出時間を求め、当該露出時間を前記撮像部に設定後は、前記撮像部の感度を低感度に設定する演算部と、を備え、前記演算部は、前記露出時間を演算する過程では、前記デジタルデータから得られる輝度が適正輝度となるまで、前記高感度で撮像したデジタルデータの輝度と、適正輝度の比率から中間露出時間を算出して、当該中間露出時間による撮像及び中間露出時間の算出を繰り返し、前記輝度が適正輝度に略一致したら、そのときの前記中間露出時間から前記露出時間を求めることを特徴とする。

本発明による自動露出方法は、顕微鏡によって撮像する際の自動露出方法であって、適正輝度を得るための露出時間を演算する過程では、撮像部の感度を高感度にした状態で前記撮像部が撮像したデジタルデータを用いて前記露出時間を求め、当該露出時間を前記撮像部に設定後は、前記撮像部の感度を低感度に設定し、前記露出時間を演算する過程では、前記デジタルデータから得られる輝度が適正輝度となるまで、前記高感度で撮像したデジタルデータの輝度と、適正輝度の比率から中間露出時間を算出して、当該中間露出時間による撮像及び中間露出時間の算出を繰り返し、前記輝度が適正輝度に略一致したら、そのときの前記中間露出時間から前記露出時間を求めることを特徴とする。

本発明によるプログラムは、顕微鏡によって撮像する際の自動露出を制御する情報処理装置によって実行されるプログラムであって、適正輝度を得るための露出時間を演算する過程では、撮像部の感度を高感度にした状態で前記撮像部が撮像したデジタルデータを用いて前記露出時間を求め、当該露出時間を前記撮像部に設定後は、前記撮像部の感度を低感度に設定し、前記露出時間を演算する過程では、前記デジタルデータから得られる輝度が適正輝度となるまで、前記高感度で撮像したデジタルデータの輝度と、適正輝度の比率から中間露出時間を算出して、当該中間露出時間による撮像及び中間露出時間の算出を繰り返し、前記輝度が適正輝度に略一致したら、そのときの前記中間露出時間から前記露出時間を求めることを前記情報処理装置に実行させる。

本発明によれば、自動露出にて明るさが変化している過程では、撮像部の感度を向上して、露出時間を短くすることで、フレームレートを向上する。これによって、単位時間あたりの自動露出の計算回数が増加するので、適正露出を得るまでの収束時間を短縮し、観察者がストレス無く微弱蛍光顕微鏡像を観察することができるようになる。

また、顕微鏡画像に影響する顕微鏡部位を操作中しても、Ｇａｉｎをアップすることで、フレームレートを向上できる。そして、更に顕微鏡部位の操作を停止すると、Ｇａｉｎを元に戻すので、ノイズの少ないライブ像を表示することができる。

本実施形態における顕微鏡撮影システムによる自動露出の原理を示す図である。 第１の実施形態の前提となる顕微鏡撮影システムの構成例を示す図である。 画像入力装置の第１の実施形態の動作処理を示すフローチャートである。 第２の実施形態の処理の前提となる顕微鏡撮影システムの構成例を示す図である。 画像入力装置の第２の実施形態の動作処理を示すフローチャートである。 画像入力装置の第３の実施形態の動作処理を示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。
本実施形態の顕微鏡撮影システムは、観察物が動くもののように時間経過と共に画像に変化がある場合は、画質の劣化を認知し難く、画像変化が無いと画質の劣化を認識しやすいという目視の特性に着目したものである。

すなわち、自動露出によって明るさが変化している過程では、ＣＣＤの出力Ｇａｉｎやビニング等撮像部の感度を変更することにより、画質劣化を許容する代りに感度を向上させる。これにより露出時間が短くなり、フレームレートが向上する。そして単位時間あたりの自動露出の計算回数を増やし、適正露出を得るまでの収束時間を短縮する。

そして自動露出が収束し、適正露出が得られたら、ＣＣＤの出力Ｇａｉｎやビニング等の感度を元の状態に戻すことにより、ノイズの少ない高画質のライブ像を得る。
図１は、本実施形態における顕微鏡撮影システムによる自動露出の原理を示す図である。

図１（ａ）は、従来の自動露出の仕方を示し、同図（ｂ）は本実施形態における顕微鏡撮影システムによる自動露出の仕方を示している。
同図（ａ）において、初期状態は露出時間が１００ｍｓｃ、ＣＣＤの出力Ｇａｉｎ＝１ｘ、そして最終的な適正輝度に相当する露出時間（適正露出時間）が１２００ｍｓｅｃであったとする。

適正露出時間を得るまでには、数フレームのライブ画像を用い予測露出時間の計算を数回繰り返す。そして本例の場合には露出時間の計算を４回繰り返し、適正露出時間１２００ｍｓｅｃを得られるとする。

図１（ａ）の例では、図中の１、２、３、４の位置で予測露出時間の計算の繰り返した後に適正露出時間（１２００ｍｓｅｃ）を得ている。
ＣＣＤの出力Ｇａｉｎ若しくはビニングを変化させない場合、自動露出が収束するまでには、図１（ａ）の例の場合５回分の露出時間を合計した時間である３．７ｓｅｃ（＝１００ｍｓｅｃ＋６００ｍｓｅｃ＋８００ｍｓｅｃ＋１０００ｍｓｅｃ＋１２００ｍｓｅｃ）の時間を必要とする。

それに対して、本実施形態における顕微鏡撮影システムによれば、図３（ｂ）に示すように、自動露出が収束する過程ではＧａｉｎを１ｘから２ｘにアップしている。そのため露出時間は約半分になる。したがって収束過程の露出時間の合計を約半分の１．９ｓｅｃ（＝１００ｍｓｅｃ＋３００ｍｓｅｃ＋４００ｍｓｅｃ＋５００ｍｓｅｃ＋６００ｍｓｅｃ）にすることができる。

そして図１（ｂ）では、自動露出が一旦収束すると（図１（ｂ）のｂ−１）、Ｇａｉｎの値を元（１ｘ）に戻すので、自動露出がなされた後はＧａｉｎアップによるノイズの影響を受けずに高画質のライブ像を得ることができる。

次に本実施形態における顕微鏡撮影システムの構成について説明する。
図２は、第１の実施形態の前提となる顕微鏡撮影システムの構成例を示す図である。
同図において顕微鏡撮影システム１ａは、顕微鏡１００と画像入力装置２００が接続された構成を有する。

顕微鏡１００は、ステージ１０１上の標本を対物レンズ１０２とアダプタレンズ１０３によって光束１０４に拡大する。この光束１０４は、後述する画像入力装置２００の撮像部２０２に入射される。

画像入力装置２００は、ＣＰＵ２０１、インタフェース（Ｉ／Ｆ）２０４、記憶装置２０５、メモリ２０３、表示装置２０６、モニタ２０７、及び図示しないキーボード、ポインティングデバイス等の入力デバイスが、それぞれバス２０７によって接続される構成を有する。

そして、画像入力装置２００は、顕微鏡１００のＴＶ光路上に設置され、光束１０４が撮像部２０２に入射するように配置されている。
バス２０７は、ＣＰＵ２０１、撮像部２０２、記憶装置２０５、インタフェース２０４、メモリ２０３、表示装置２０６、そして入力デバイス間にて画像や命令を転送する通信径路である。たとえば、ＣＰＵ２０１とインタフェース２０４は、バス２０７を介して命令を送る。また、インタフェース２０４とメモリ２０３は、バス２０７を介して画像データをやりとりする。以後、このようにバス２０７を介して通信する場合は、自明なので、”バス２０７を介して”といった説明を省略する。

ＣＰＵ２０１は、画像入力装置２００全体の制御を司るもので、メモリ２０３や記憶装置２０５上のプログラムをメモリ２０３をワークメモリとして実行することにより、後述する画像入力装置２００の各種処理、例えばメモリ２０３に格納されたライブ像から適正露出時間を計算する処理や、自動露出の収束中であるかを判定し、Ｇａｉｎアップするかどうかを判断する処理等を実現する。またＣＰＵ２０１は、プログラムを実行することにより撮像部２０２に対するＧａｉｎや露出時間の変更命令や、撮像部２０２が出力したデジタル画像を外部機器に転送するようにインタフェース２０４に命令を発行する。またＣＰＵ２０１は、外部機器からの命令をインタフェース２０４を経由して受け取り、この命令に従った処理を実行する。

なおＣＰＵ２０１が、撮像部２０２に対して露出時間やＧａｉｎを設定するとは、バス２０８を介して、撮像部２０２に露出時間やＧａｉｎの設定を指示する命令を送信することを意味する。

撮像部２０２は、顕微鏡１００から出力される光束１０４をデジタル画像データに変換する。撮像部２０２は、ＣＰＵ２０１からの命令により、ＣＣＤの出力Ｇａｉｎ、露出時間、そしてビニングサイズの変更などを行うことが出来る。

インタフェース２０４は、画像入力装置２００を外部機器と接続するインタフェースである。インタフェース２０４は、メモリ２０３内の画像データや、撮像部２０２から受信したデジタル画像データを、外部機器に転送する。また、外部機器からの命令をＣＰＵ２０１に通知したり、その命令の応答をＣＰＵ２０１から受け取り外部機器に送信する。

メモリ２０３は、撮像部２０２から取得した画像データや、後述する記憶装置２０５から読み出した画像データやプログラムデータを保持する。
表示装置２０６は、画像入力装置２００とモニタ３００を接続するもので、観察者の入力指示に基づいて、メモリ２０３上に展開された画像データをモニタ３００に表示出力する。

記憶装置２０５は、大容量の不揮発性メモリで、ＣＰＵ２０１が実行するプログラムや撮像部２０２からの画像データを記憶する。
以上のような構成において、本実施形態における顕微鏡撮影システム１ａでは、顕微鏡１００による観察画像を画像入力装置２００の撮像部２０２によって画像データに変換し、メモリ２０３若しくは記憶装置２０５に保存する。顕微鏡撮影システム１ａでは、観察画像を取り込む際には自動露出を行うが、この自動露出の処理は画像入力装置２００のＣＰＵ２０１がメモリ２０３若しくは記憶装置２０５に記憶されているプログラムを実行することによって実現する。

なお図２に示した構成は、自動露出の処理をソフトウエアによって実現する場合の構成である。しかし本実施形態における顕微鏡撮影システム１ａは、このような構成に限定されるものではなく、画像入力装置２００が行う機能を実現する専用のハードウエアからなるように構成し、本発明をハードウエア手法によって実現しても良い。

次に自動露出を行う際の画像入力装置２００の動作処理について説明する。
図３は、画像入力装置２００の第１の実施形態の動作処理を示すフローチャートである。

第１の実施形態の動作処理では、撮像部２０２のＣＣＤの出力のＧａｉｎを上げて撮像部２０２の感度を上げて自動露出を行い、露出時間が決定したらＧａｉｎを下げる。なお以下の説明では、ＣＰＵ２０１がプログラムを実行することによって各処理を実現するソフトエア手法によって、処理を実現する場合を例として記載しているが、ハードウエア手法によって実現する場合も、処理の主体が異なるだけで処理内容そのものは図３に示す処理と同じになる。

観察者が顕微鏡撮影システム１ａを起動すると、記憶装置２０５からメモリ２０３にプログラムが読み込まれる。そしてＣＰＵ２０１は、メモリ２０３に読み込まれたプログラムを実行し、システムに対する初期化処理を行う。

この初期化処理では、撮像部２０２の現在のＣＣＤの出力Ｇａｉｎを示すＣｕｒｒｅｎｔＧａｉｎを１ｘ、そして、露出時間を最短露出時間に設定し、撮像部２０２に対してＧａｉｎ、露出時間を設定する等、自動露出処理に必要な処理を行う。

初期化処理が終了すると、ＣＰＵ２０１は撮像部２０２に対してライブ像転送要求を発行する。このライブ像転送要求を受け取ると、撮像部２０２は光束１０４を１枚のデジタル画像データ（以後、ライブ像という）に変換する。そしてこのライブ像は、撮像部２０２からメモリ２０３に転送され、転送が完了すると、撮像部２０２は、ＣＰＵ２０１にライブ像転送完了通知を送る。

ＣＰＵ２０１は、ライブ像転送完了通知を受け取ると、ステップＳ１としてメモリ２０３上のライブ像から、画像の輝度を計算する。画像輝度は、画像全体の輝度平均を求める。

次にＣＰＵ２０１は、ステップＳ２としてステップＳ１で求めたライブ像の画像輝度から、予測露出時間を計算する。
予測露出時間は、ステップＳ１で求めた画像輝度と適正輝度の比率を用いて、ライブ像を得るのに用いた露出時間（現在露出時間）から計算する。たとえば、適正輝度が２１５であり、ステップＳ１で求めた画像輝度が１００であった場合、現在よりも２１５／１００＝２．１５倍の明るさが必要であるので、現在露出時間の２．１５倍の露出時間を予測露出時間とする。これを式で表すと以下のようになる。
予測露出時間＝現在露出時間×適正輝度÷画像輝度
そして次にＣＰＵ２０１は、ステップＳ３として、ステップＳ１で求めた画像輝度が適正であるかどうかを判定する。この判定では、ステップＳ１で求めた画像輝度が適正輝度の特定範囲内にあるか、例えば適正輝度が２１５のとき、２１５±２の範囲内にあるかどうかで判断する。

この判定の結果、画像輝度が適正ではないと判定した場合は（ステップＳ３、Ｎｏ）、ＣＰＵ２０１は自動露出が収束中であると判断し、ステップＳ４に処理を移す。またこの判定の結果、画像輝度が適正であると判定した場合には（ステップＳ３、Ｙｅｓ）、自動露出が収束したと判断し、処理をステップＳ９に移す。

ステップＳ４では、ＣＰＵ２０１は現在の撮像部２０２のＣＣＤの出力のＧａｉｎ（ＣｕｒｒｅｎｔＧａｉｎ）が、自動露出収束中に用いるＧａｉｎ（ＡＥＧａｉｎ）であるかどうかを判断する。ＡＥＧａｉｎは、自動露出収束過程にて用いるＧａｉｎ値であり、通常は設定できる最大Ｇａｉｎとなる。

よってステップＳ４では、ＣｕｒｒｅｎｔＧａｉｎとＡＥＧａｉｎを比較する。そしてＣｕｒｒｅｎｔＧａｉｎ＝ＡＥＧａｉｎのときは（ステップＳ４、Ｙｅｓ）、既にＧａｉｎはＡＥＧａｉｎにアップされていると判断する。そして、露出時間をＧａｉｎアップ分補正する必要がないので、ステップＳ８で露出時間を補正する露出時間補正係数κに１を代入し、処理をステップＳ１３に移す。κは後に露出時間を補正するときに利用される。

またステップＳ４においてＣｕｒｒｅｎｔＧａｉｎ＝ＡＥＧａｉｎでないときは（ステップＳ４、Ｎｏ）、まだＧａｉｎをＡＥＧａｉｎにアップしていないのでステップＳ５〜Ｓ７で、撮像部２０２のＧａｉｎを自動露出収束過程用の値にアップする処理を行う。

まずステップＳ５では、ＣＰＵ２０１は、現在のＧａｉｎ値（ＣｕｒｒｅｎｔＧａｉｎ）とＡＥＧａｉｎの比を求めて、露出時間補正係数κに代入する。これを式で表すと以下のようになる。
κ←ＣｕｒｒｅｎｔＧａｉｎ÷ＡＥＧａｉｎ
上式において、例えばＣｕｒｒｅｎｔＧａｉｎが１ｘ、ＡＥＧａｉｎが２ｘの場合は、κ＝１ｘ÷２ｘ＝０．５となる。

次にステップＳ６として、ＣＰＵ２０１は、ＣｕｒｒｅｎｔＧａｉｎの値を、自動露出計算前のＧａｉｎを示す変数であるＯｌｄＧａｉｎに格納する。このＯｌｄＧａｉｎは、後に自動露出が収束したときに利用される。

次のステップＳ７では、ＣＰＵ２０１は、ＡＥＧａｉｎの値をＣｕｒｒｅｎｔＧａｉｎに代入し、ＡＥＧａｉｎの値を現在のＧａｉｎとする。そして、ＣＰＵ２０１は、撮像部２０２に対して、ＣｕｒｒｅｎｔＧａｉｎの値をＣＣＤの出力Ｇａｉｎに設定するように通知後、処理をステップＳ１３に移す。

一方ステップＳ３の判定の結果、画像輝度が適正であると判定し、自動露出が収束したと判断した場合には、ＣＰＵ２０１は、ステップＳ９〜Ｓ１２の処理を行う。
ステップＳ９では、ＣＰＵ２０１は、ＣｕｒｒｅｎｔＧａｉｎ＝ＡＥＧａｉｎかどうかを判断する。そしてＣｕｒｒｅｎｔＧａｉｎ＝ＡＥＧａｉｎでない場合（ステップＳ９、Ｎｏ）は、自動露出は収束しかつＧａｉｎのアップ状態も解除されていると判断し、ステップＳ１０として露出時間補正係数κに１を代入後、処理をステップＳ１３に移す。

またステップＳ９でＣＰＵ２０１がＣｕｒｒｅｎｔＧａｉｎ＝ＡＥＧａｉｎのであると判定した場合は（ステップＳ９、Ｙｅｓ）、自動露出は収束したが現在のＧａｉｎはアップ状態を維持していると判断する。そしてステップＳ１１として、ゲインアップ前のＧａｉｎ値であるＯｌｄＧａｉｎの値とＡＥＧａｉｎの値の比を求めて、露出時間補正係数κに代入する。この計算式は以下のようになる。
κ←ＡＥＧａｉｎ÷ＯｌｄＧａｉｎ
上式において、例えば、ＯｌｄＧａｉｎが１ｘ、ＡＥＧａｉｎが２ｘの場合は、κ＝２ｘ÷１ｘ＝２となる。ここで計算した露出時間補正係数κは後述するステップＳ１３で露出時間を補正するときに利用されるが、自動露出が収束後Ｇａｉｎをアップする前の元のＧａｉｎ（ＯｌｄＧａｉｎ）に戻したときに画像の輝度が暗くならないように、露出時間を補正する為にκを利用する。

露出時間補正係数κの設定後、ＣＰＵ２０１は、ステップＳ１２においてＣｕｒｒｅｎｔＧａｉｎにＯｌｄＧａｉｎを代入すると共に、ＣｕｒｒｅｎｔＧａｉｎの値を撮像部２０２にＣＣＤの出力のＧａｉｎとして設定する。

ステップＳ１３では、ステップＳ５、Ｓ８、Ｓ１０、及びＳ１１で設定した露出時間補正係数κを用いて、測露出時間を補正する。この補正式は以下のようになる。
現在露出時間＝予測露出時間×κ
例えばステップＳ５で露出時間補正係数κが設定された場合は、自動露出はまだ収束していないので、ＣｕｒｒｅｎｔＧａｉｎはＡＥＧａｉｎの値となり、露出時間は最初の予測露出時間のＣｕｒｒｅｎｔＧａｉｎ／ＡＥＧａｉｎに相当する。ステップＳ８で露出時間補正係数κが設定された場合は、自動露出はまだ収束していないが、ＣｕｒｒｅｎｔＧａｉｎの値、露出時間ともすでに自動露出を収束するための値に変更されているので、露出時間はステップＳ２で求めた値と同じになる。ステップＳ１０で露出時間補正係数κが設定された場合は、自動露出は既に収束しており、またそれに対応してＣｕｒｒｅｎｔＧａｉｎの値の値も元の値（Ｏｌｄｇａｉｎ）となっているので、露出時間はステップＳ２で求めた値と同じになる。ステップＳ１１で露出時間補正係数κが設定された場合は、自動露出は既に収束しているが、ＣｕｒｒｅｎｔＧａｉｎの値はまだ自動露出を収束させるための値（ＡＥＧａｉｎ）なので、露出時間をＡＥＧａｉｎ／ＣｕｒｒｅｎｔＧａｉｎ倍にする。

そして、ステップＳ１３で更新された現在露出時間は、ＣＰＵ２０１によって撮像部２０２に次回の撮影の露出時間として設定される。
以上の処理により、撮像部２０２に対する次回ライブ像の露出時間とＧａｉｎの設定が完了する。

図３の処理が終了すると、ＣＰＵ２０１は、撮像部２０２に対して次回のライブ像転送を要求する。そして撮像部２０２からメモリ２０３にライブ像のデータが送られてくると、ＣＰＵ２０１は図３のステップＳ１に戻り、同様な処理を繰り返す。そしてＣＰＵ２０１は、撮像部２０２による撮像データを、メモリ２０３や記憶装置２０５に保存したり、表示装置２０８を介してモニタ３００上に表示したりする。

以上のように第１の実施形態１によれば、微弱蛍光顕微鏡像を観測する場合でも、自動露出中は、照明の光量を増加することなく、撮像部２０２のＧａｉｎをアップすることによってフレームレートを向上して、自動露出の収束時間を短縮できる。そして、自動露出が収束するとＧａｉｎを元に戻すので、自動露出収束後はノイズの少ないライブ像を得ることが出来る。

これによって、微弱蛍光顕微鏡像でも、光刺激による標本へのダメージを抑えることが出来る。また、自動露出の収束が短くすることが出来、かつ露出が収束した後ではノイズの少ない画像を参照することが出来る。よって観察者にとって使い勝手のよい顕微鏡撮影システムを実現することができる。

なお、上記例では、画像の輝度を計算する方法として、画像全体の輝度平均を求めているが、本実施形態の方法はこれに限定されるものでは無く、画像中心の特定範囲の輝度を用いても良いし、他の範囲の輝度平均を用いても良い。また輝度平均ではなく、ヒストグラムのピーク位置から画像輝度を求めてもよい。画像輝度の計算方法は、本発明の特徴に依存するものではない。

また上記例では、画像輝度が適正であるかどうかを判断するのに、画像輝度が適正輝度を基準とした輝度範囲内（２１５±２）にあるかどうかで判定しているが、他の輝度を基準とした範囲を判定基準に用いても良いし、複数の判断基準を組み合わせても良い。

更に上記例では、自動露出収束中に用いるＡＥＧａｉｎの値を２ｘとしているが、ＡＥＧａｉｎの値は、４ｘ，８ｘ，１６ｘでもよい。ＡＥＧａｉｎの値は本発明の特徴に依存するものではない。

次に画像入力装置２００の第２の実施形態の処理について説明する。
図４は、第２の実施形態の処理の前提となる顕微鏡撮影システム１ｂの構成例を示す図である。

同図において、顕微鏡撮影システム１ｂは、顕微鏡１００と画像入力装置２００を電気的に接続する。そして顕微鏡１００はステージ１０１の移動や、対物レンズ１０２の選択など、顕微鏡観察像に影響を及ぼす部位の動作を検出したら、これを画像入力装置２００に通知し、画像入力装置２００はこの通知に基づいて撮像部２０２のＧａｉｎをアップすることによって、実際の露出時間を短縮し、フレームレートを向上する。これによって、自動露出の収束時間を短縮するとともに、操作中のライブ像のフレームレートが向上し、操作性を向上させることが出来る。

図４に示すように、画像入力装置２００は、インタフェース２０４によって有線２０８、または無線にて論理的に顕微鏡１００と接続され、ステージ１０１の移動や倍率の変更等顕微鏡画像に影響を及ぼす顕微鏡１００の状態変化を画像入力装置２００に通知できる構成となっている。

撮像部２０２は露出を中断する機能を持ち、ＣＰＵ２０１からの露出中止要求を受け取ると、現在自動露出処理中の動作を中止する。すなわち、観察者がステージ１０１を移動したり、対物レンズ１０２を交換したり、その他、顕微鏡像に変化を及ぼす部位を変化させた場合は、それらの動作を開始したことを示す情報がインタフェース２０４を介してＣＰＵ２０１に通知される。これをうけてＣＰＵ２０１は、顕微鏡１００の当該部位が動作中であることを示す情報をメモリ２０３に保持する。そしてＣＰＵ２０１は、撮像部２０２に対して自動露出処理の中止要求と、ライブ像転送得要求を送信する。そして顕微鏡１００の動作中であった部位が動作を完了すると、これも同様に顕微鏡１００からインタフェース２０４を介してＣＰＵ２０１に通知される。この通知を受けてＣＰＵ２０１は、当該部位が動作を停止中である情報をメモリ２０３に保持する。

以下に図５のフローチャートを用いて画像入力装置２００の第２の実施形態の動作処理の詳細を説明する。
図５の処理フローを図３の処理フローと比較すると、図５のフローの内、ステップＳ２３が図３のステップＳ３と異なるのみで、図５のステップＳ２１〜Ｓ２２は、図３のステップＳ１〜Ｓ２と、またステップＳ２４〜Ｓ３３は、図３のステップＳ４〜Ｓ１３と基本的に同じ処理である。よってこれらの処理については、説明を省略する。

ステップＳ２１で撮像部２０２からの画像の輝度を求め、ステップＳ２２で予測露出時間を算出すると、ＣＰＵ２０１は、ステップＳ２３において、図３のステップＳ３と同じようにステップＳ２１で求めた画像輝度が適正輝度であるかどうかを判定すると共に、顕微鏡１００が顕微鏡画像に影響する動作を行っているかどうかを判断する。

そしてステップＳ２３において、ステップＳ２１で求めた画像輝度が適正輝度であり、かつ顕微鏡１００が停止中である場合は（ステップＳ２３、Ｙｅｓ）、処理をステップＳ２９へ移し、これらの条件が成り立たない場合は（ステップＳ２３、Ｎｏ）、自動露出が収束中であるか、または顕微鏡１００が顕微鏡画像に影響する動作中であるので、ステップＳ２４に処理を移してＧａｉｎをアップする。

このように第２の実施形態では、第１の実施形態同様、自動露出中はＧａｉｎをアップすることで、照明の光量を増加することなくフレームレートを向上して、自動露出の収束時間を短縮できる。そして、自動露出が収束すると、Ｇａｉｎを元に戻すので、ノイズの少ないライブ像を表示することができる。そして、顕微鏡画像に影響する顕微鏡部位を操作中も、Ｇａｉｎをアップすることでフレームレートを向上できる。そして、顕微鏡部位の操作を停止し、自動露出が収束すると、Ｇａｉｎを元に戻すので、ノイズの少ないライブ像を表示することができる。

これによって微弱蛍光顕微鏡像でも、照明光による標本へのダメージを抑え、自動露出の収束が短く、かつ露出が収束した後では、ノイズの少ない画像を参照することができる。また、顕微鏡１００に対して観察者が画像が変化するような操作、例えばステージを動かしたり、対物レンズを変更したりしても、操作中はライブ像の変化のレスポンスを早くすることができ、観察者にとって使い勝手のよい顕微鏡撮影システムを実現することが出来る。

次に画像入力装置２００の第３の実施形態の処理について説明する。
第１の実施形態では自動露出収束中と収束後で、撮像部２０２のＧａｉｎを変更していたのに対して、第３の実施形態では、自動露出収束中と収束後で、撮像部２０２のビニングを変更して撮像部２０２の感度を変える。

撮像部２０２のビニングとは、撮像部２０２のＣＣＤのチップ上で隣り合う素子（ピクセル）のいくつかをひとまとめにすることにより受光面積を仮想的に大きくして信号を増幅検出する機能である。感度は基本的にＣＣＤの面積に比例するので、ビニング２（２ｘ２）ならば４倍、ビニング４（４ｘ４）ならば１６倍の感度となる。ビニングでは、解像度が低くなるが、ノイズを抑えることができる。

ビニングを上げるとＧａｉｎを上げた場合と同様撮像部２０２の感度が向上するので、フレームレートを向上させることが出来る。よって自動露出処理中はビニングを上げて自動露出の収束時間を短くし、自動露出収束後、ビングを戻して解像度を上げる。

撮像部２０２は、ビニングの切り替え機能を持ち、ＣＰＵ２０１からの命令によってビニングの段数を１ｘ１、２ｘ２、４ｘ４、８ｘ８などと切り替えることができようになっている。そして第３の実施形態では、例えば通常ビニングが１ｘ１に設定されているのを、自動露出収束中はビニングを２ｘ２にして感度を４倍に上げて、自動露出が収束したらビニングを１ｘ１に戻す。

なお画像入力装置２００がこの第３の実施形態の処理を行う前提となる構成は、図２の第１の実施形態の前提となる構成でも、図４の第２の実施形態の前提となる構成でも良い。

以下に画像入力装置２００の第３の実施形態における動作処理の詳細を説明する。
図６は、画像入力装置２００の第３の実施形態における動作処理を示すフローチャートである。なお同図は、顕微鏡撮影システム１が図２の第１の実施形態の前提となる構成によって実施した場合を例としているが、上述したように図４の第３の実施形態の前提となる構成によっても実現でき、この場合は、図６のステップＳ４３に図５のステップＳ２３と同様求めた輝度が適正輝度であるかの判断の他に顕微鏡１００が顕微鏡画像に影響する動作を行っているかどうかを判断する処理が加わる。

観察者が顕微鏡撮影システム１を起動すると、記憶装置２０５からメモリ２０３にプログラムが読み込まれる。そしてＣＰＵ２０１は、メモリ２０３に読み込まれたプログラムを実行し、顕微鏡撮影システム１に対する初期化処理を行う。

この初期化処理では、撮像部２０２の現在のビニングを示すＣｕｒｒｅｎｔＢｉｎＫを１ｘ１、そして、露出時間を最短露出時間に設定し、撮像部２０２に対してビニングや露出時間を設定する等、自動露出処理に必要な処理を行う。

初期化処理が終了すると、ＣＰＵ２０１は撮像部２０２に対してライブ像転送要求を発行する。このライブ像転送要求を受け取ると、撮像部２０２は光束１０４をライブ像に変換する。そしてこのライブ像は、撮像部２０２からメモリ２０３に転送され、転送が完了すると、撮像部２０２は、ＣＰＵ２０１にライブ像転送完了通知を送る。

ＣＰＵ２０１は、ライブ像転送完了通知を受け取ると、図６のステップＳ４１としてメモリ２０３上のライブ像から、画像の輝度を計算する。画像輝度は、画像全体の輝度平均を求める。

次にＣＰＵ２０１は、ステップＳ４２としてステップＳ４１で求めたライブ像の画像輝度から、予測露出時間を計算する。
そして次にＣＰＵ２０１は、ステップＳ４３として、ステップＳ４１で求めた画像輝度が適正であるかどうかを判定する。この判定では、ステップＳ４１で求めた画像輝度が適正輝度の特定範囲内にあるかどうかで判断する。

この判定の結果、画像輝度が適正ではないと判定した場合は（ステップＳ４３、Ｎｏ）、ＣＰＵ２０１は自動露出が収束中であると判断し、ステップＳ４４に処理を移す。またこの判定の結果、画像輝度が適正であると判定した場合には（ステップＳ４３、Ｙｅｓ）、自動露出が収束したと判断し、処理をステップＳ４９に移す。

ステップＳ４４では、ＣＰＵ２０１は現在の撮像部２０２のビニング（ＣｕｒｒｅｎｔＢｉｎＫ）が、自動露出収束中に用いるビニング（ＡＥＢｉｎＫ）であるかどうかを判断する。

よってステップＳ４４では、ＣｕｒｒｅｎＢｉｎＫとＡＥＢｉｎＫを比較する。そしてＣｕｒｒｅｎｔＢｉｎＫ＝ＡＥＢｉｎＫのときは（ステップＳ４４、Ｙｅｓ）、既にビニングはＡＥＢｉｎＫにアップされていると判断する。そして、露出時間をビニングアップ分補正する必要がないので、ステップＳ４８で露出時間を補正する露出時間補正係数κに１を代入し、処理をステップＳ５３に移す。

またステップＳ４４においてＣｕｒｒｅｎｔＢｉｎＫ＝ＡＥＢｉｎＫでないときは（ステップＳ４４、Ｎｏ）、まだビニングをＡＥＢｉｎＫにアップしていないのでステップＳ４５〜Ｓ４７で、撮像部２０２のビニングを自動露出収束過程用の値にアップする処理を行う。

まずステップＳ４５では、ＣＰＵ２０１は、現在のビニング値（ＣｕｒｒｅｎｔＢｉｎＫ）とＡＥＢｉｎＫの比を求めて、露出時間補正係数κに代入する。これを式で表すと以下のようになる。
κ←ＣｕｒｒｅｎｔＢｉｎＫ÷ＡＥＢｉｎＫ
上式において、例えばＣｕｒｒｅｎｔＢｉｎＫが１ｘ１、ＡＥＢｉｎＫが２ｘ２の場合は、κ＝（１ｘ１）÷（２ｘ２）＝０．２５となる。

次にステップＳ４６として、ＣＰＵ２０１は、ＣｕｒｒｅｎｔＢｉｎＫの値を、自動露出計算前のビニングを示す変数であるＯｌｄＢｉｎＫに格納する。このＯｌｄＢｉｎＫは、後に自動露出が収束したときに利用される。

次のステップＳ４７では、ＣＰＵ２０１は、ＡＥＢｉｎＫの値をＣｕｒｒｅｎｔＢｉｎＫに代入し、ＡＥＢｉｎＫの値を現在のビニングとする。そして、ＣＰＵ２０１は、撮像部２０２に対して、ＣｕｒｒｅｎｔＢｉｎＫの値を撮像部２０２のビニング値として設定するように通知後、処理をステップＳ５３に移す。

一方ステップＳ４３の判定の結果、画像輝度が適正であると判定し、自動露出が収束したと判断した場合には、ＣＰＵ２０１は、ステップＳ４９〜Ｓ５２の処理を行う。
ステップＳ４９では、ＣＰＵ２０１は、ＣｕｒｒｅｎｔＢｉｎＫ＝ＡＥＢｉｎＫかどうかを判断する。そしてＣｕｒｒｅｎｔＢｉｎＫ＝ＡＥＢｉｎＫでない場合（ステップＳ４９、Ｎｏ）は、自動露出は収束しかつＢｉｎＫのアップ状態も解除されていると判断し、ステップＳ５０として露出時間補正係数κに１を代入後、処理をステップＳ５３に移す。

またステップＳ４９でＣＰＵ２０１がＣｕｒｒｅｎｔＢｉｎＫ＝ＡＥＢｉｎＫのであると判定した場合は（ステップＳ４９、Ｙｅｓ）、自動露出は収束したがビニングはアップ状態を維持していると判断する。そしてステップＳ５１として、ビニングアップ前のビニング値であるＯｌｄＢｉｎＫの値とＡＥＢｉｎＫの値の比を求めて、露出時間補正係数κに代入する。この計算式は以下のようになる。
κ←ＡＥＢｉｎＫ÷ＯｌｄＢｉｎＫ
上式において、例えば、ＯｌｄＢｉｎＫが１ｘ１、ＡＥＢｉｎＫが２ｘ２の場合は、κ＝（２ｘ２）÷（１ｘ１）＝４となる。ここで計算した露出時間補正係数κは後述するステップＳ５３で露出時間を補正するときに利用されるが、自動露出が収束後ビニングをアップする前の元のビニング（ＯｌｄＢｉｎＫ）に戻したときに画像の輝度が暗くならないように、露出時間を補正する為にκを利用する。

露出時間補正係数κの設定後、ＣＰＵ２０１は、ステップＳ５２においてＣｕｒｒｅｎｔＢｉｎＫにＯｌｄＢｉｎＫを代入すると共に、ＣｕｒｒｅｎｔＢｉｎＫの値を撮像部２０２にビニングとして設定する。

ステップＳ５３では、ステップＳ４５、Ｓ４８、Ｓ５０、及びＳ５１で設定した露出時間補正係数κを用いて、測露出時間を補正する。この補正式は以下のようになる。
現在露出時間＝予測露出時間×κ
そして、ステップＳ５３で更新された現在露出時間は、ＣＰＵ２０１によって撮像部２０２に次回の撮影の露出時間として設定される。

以上の処理により、撮像部２０２に対する次回ライブ像の露出時間とビニングの設定が完了する。
図６の処理が終了すると、ＣＰＵ２０１は、撮像部２０２に対して次回のライブ像転送を要求する。そして撮像部２０２からメモリ２０３にライブ像のデータが送られてくると、ＣＰＵ２０１は図３のステップＳ４１に戻り、同様な処理を繰り返す。

以上のように第３の実施形態によれば、照明の光量を増加することなく、自動露出中は、感度の高いビニングに変更することにより感度を向上することで、ビニング特性から、フレームレートを向上して、自動露出の収束時間を短縮できる。そして、自動露出が収束すると、ビニングを元に戻すので、ノイズの少ないライブ像を表示することができる。

これにより微弱蛍光顕微鏡像でも、光刺激による標本へのダメージを抑えることが出来る。また、自動露出の収束が短く、かつ露出が収束した後では、ノイズの少ない画像を参照することができる。よって観察者にとって使い勝手のよい顕微鏡像撮影装置を提供することができる。

１ 顕微鏡撮影システム
１００ 顕微鏡
１０１ ステージ
１０２ 対物レンズ
１０３ アダプタレンズ
１０４ 光束
２００ 画像入力装置
２０１ ＣＰＵ
２０２ 撮像部
２０３ メモリ
２０４ インタフェース
２０５ 記憶装置
２０６ 表示装置
２０７ バス
２０８ 画像入力装置と顕微鏡のインタフェース
３００ モニタ

Claims (11)

1. 顕微鏡による観察画像の光束を、デジタル画像に変換し保持する画像入力装置であって、
   顕微鏡部が出力する前記光束を結像して、デジタルデータに変換する撮像部と、
   前記撮像部の感度を変更する感度変更部と、
   前記撮像部が適正輝度を得るための露出時間を演算する過程では、前記感度変更部に前記撮像部の感度を高感度にするように指示したのちに当該感度を高感度にした状態で前記撮像部が撮像したデジタルデータを用いて前記露出時間を求め、当該露出時間を前記撮像部に設定後は、前記撮像部の感度を低感度に設定するように指示する演算部と、
   を備え、
   前記演算部は、前記露出時間を演算する過程では、前記デジタルデータから得られる輝度が適正輝度となるまで、前記高感度で撮像したデジタルデータの輝度と、適正輝度の比率から中間露出時間を算出して、当該中間露出時間による撮像及び中間露出時間の算出を繰り返し、前記輝度が適正輝度に略一致したら、そのときの前記中間露出時間から前記露出時間を求めることを特徴とする画像入力装置。
2. 前記高感度は、前記撮像部の最大感度であることを特徴とする請求項１に記載の画像入力装置。
3. 前記露出時間を求める際、前記中間露出時間に対して前記高感度に変更する前後の感度の比率を用いて、前記露出時間を求めることを特徴とする請求項１に記載の画像入力装置。
4. 前記顕微鏡に対する操作を検出する操作検出部を更に備え、前記演算部は、前記操作検出部が前記顕微鏡に対する操作を検出した際も、前記感度変更部に前記撮像部の感度を高感度にするように指示することを特徴とする請求項１〜３のいずれかに記載の画像入力装置。
5. 前記撮像部は、ＣＣＤを備え、前記感度は、前記ＣＣＤの出力の増幅率であることを特徴とする請求項１に記載の画像入力装置。
6. 前記感度は、前記撮像部のビニングであることを特徴とする請求項１に記載の画像入力装置。
7. 被写体を拡大した像を光束として出力する顕微鏡部と、
   前記顕微鏡部が出力する前記光束を結像して、デジタルデータに変換する撮像部と、
   前記撮像部の感度を変更する感度変更部と、
   前記撮像部が適正輝度を得るための露出時間を演算する過程では、前記感度変更部に前記撮像部の感度を高感度にするように指示したのちに当該感度を高感度にした状態で前記撮像部が撮像したデジタルデータを用いて前記露出時間を求め、当該露出時間を前記撮像部に設定後は、前記撮像部の感度を低感度に設定する演算部と、
   を備え、
   前記演算部は、前記露出時間を演算する過程では、前記デジタルデータから得られる輝度が適正輝度となるまで、前記高感度で撮像したデジタルデータの輝度と、適正輝度の比率から中間露出時間を算出して、当該中間露出時間による撮像及び中間露出時間の算出を繰り返し、前記輝度が適正輝度に略一致したら、そのときの前記中間露出時間から前記露出時間を求めることを特徴とする顕微鏡撮影システム。
8. 前記撮像部による前記デジタルデータに基づいた画像を表示する表示部を更に備えることを特徴とする請求項７に記載の顕微鏡撮影システム。
9. 前記撮像部が変換した前記デジタルデータを記憶する記憶部を更に備えることを特徴とする請求項７に記載の顕微鏡撮影システム。
10. 顕微鏡によって撮像する際の自動露出方法であって、
    適正輝度を得るための露出時間を演算する過程では、撮像部の感度を高感度にした状態で前記撮像部が撮像したデジタルデータを用いて前記露出時間を求め、
    当該露出時間を前記撮像部に設定後は、前記撮像部の感度を低感度に設定し、
    前記露出時間を演算する過程では、前記デジタルデータから得られる輝度が適正輝度となるまで、前記高感度で撮像したデジタルデータの輝度と、適正輝度の比率から中間露出時間を算出して、当該中間露出時間による撮像及び中間露出時間の算出を繰り返し、前記輝度が適正輝度に略一致したら、そのときの前記中間露出時間から前記露出時間を求める
    ことを特徴とする自動露出方法。
11. 顕微鏡によって撮像する際の自動露出を制御する情報処理装置によって実行されるプログラムであって、
    適正輝度を得るための露出時間を演算する過程では、撮像部の感度を高感度にした状態で前記撮像部が撮像したデジタルデータを用いて前記露出時間を求め、
    当該露出時間を前記撮像部に設定後は、前記撮像部の感度を低感度に設定し、
    前記露出時間を演算する過程では、前記デジタルデータから得られる輝度が適正輝度となるまで、前記高感度で撮像したデジタルデータの輝度と、適正輝度の比率から中間露出時間を算出して、当該中間露出時間による撮像及び中間露出時間の算出を繰り返し、前記輝度が適正輝度に略一致したら、そのときの前記中間露出時間から前記露出時間を求める
    ことを前記情報処理装置に実行させるプログラム。