本発明の一実施の形態に係る拡大観察装置について図面を参照しながら説明する。
(1)拡大観察装置の構成
図1は、本発明の一実施の形態に係る拡大観察装置の構成を示すブロック図である。
以下において、水平面内で直交する2方向をX方向およびY方向とし、X方向およびY方向に垂直な方向(鉛直方向)をZ方向とする。
図1に示すように、拡大観察装置300は、顕微鏡100および画像処理装置200を備える。
顕微鏡100は、撮像装置10、ステージ装置20、回転角度センサ30およびアクチュエータ40を含む。撮像装置10は、カラーCCD(電荷結合素子)11、ハーフミラー12、対物レンズ13、A/D変換器(アナログ/デジタル変換器)15、照明装置16およびレンズ駆動部17を含む。ステージ装置20は、ステージ21、ステージ駆動部22およびステージ支持部23を含む。ステージ21上には、観察対象物Sが載置される。
照明装置16は、光源16a、フィルタターレット16bおよびターレット駆動部16cを含む。光源16aは、例えば白色光を発生するハロゲンランプまたは白色LED(発光ダイオード)である。フィルタターレット16bは、主として円盤形状の遮光部材および複数のフィルタから構成される。遮光部材には、その中心に対して一定の角度間隔で複数の開口が形成されている。本例では、遮光部材に4つの開口が形成されている。遮光部材の4つの開口のうち3つの開口に、それぞれ青色フィルタ、赤色フィルタおよび緑色フィルタが設けられる。青色フィルタは青色波長の光(以下、青色光と呼ぶ。)を透過し、赤色フィルタは赤色波長の光(以下、赤色光と呼ぶ。)を透過し、緑色フィルタは緑色波長の光(以下、緑色光と呼ぶ。)を透過する。遮光部材の4つの開口のうち残りの1つの開口には、フィルタは設けられない。
フィルタターレット16bは、光源16aとハーフミラー12との間で回転可能に設けられる。ターレット駆動部16cは、画像処理装置200の制御によりフィルタターレット16bをその中心を通る軸の周りで回転させる。フィルタターレット16bが回転することにより、遮光部材の4つの開口のうちのいずれか1つの開口が光源16aに対向する。この状態で、光源16aにより発生された白色光が遮光部材の4つの開口のうちのいずれか1つの開口に入射する。
白色光が入射する開口に青色フィルタが設けられている場合には、白色光のうち青色波長の成分(青色光)が青色フィルタを透過し、ハーフミラー12に導かれる。白色光が入射する開口に赤色フィルタが設けられている場合には、白色光のうち赤色波長の成分(赤色光)が赤色フィルタを透過し、ハーフミラー12に導かれる。白色光が入射する開口に緑色フィルタが設けられている場合には、白色光のうち緑色波長の成分(緑色光)が緑色フィルタを透過し、ハーフミラー12に導かれる。白色光が入射する開口にフィルタが設けられていない場合には、青色光、赤色光および緑色光の全ての波長領域を含む白色光が、ハーフミラー12に導かれる。
なお、照明装置16は、図示しないターレットセンサを含む。ターレットセンサは、フィルタターレット16bの回転角度を検出し、検出結果を画像処理装置200に与える。ターレットセンサの検出結果に基づいてターレット駆動部16cが制御される。
照明装置16からハーフミラー12に導かれる光(本例では、青色光、赤色光、緑色光または白色光である。)は、ハーフミラー12により反射された後、対物レンズ13によりステージ21上の観察対象物Sに集光される。
観察対象物Sにより反射された光は、対物レンズ13およびハーフミラー12を透過してカラーCCD11に入射する。カラーCCD11は、互いに異なる複数の波長領域にそれぞれ対応する感度特性を有する複数種類の画素として、青色光を受光する複数の青色用画素、赤色光を受光する複数の赤色用画素、および緑色光を受光する複数の緑色用画素を有する。感度特性とは、各種の画素に入射する光の量とその入射光量に基づいて発生する電気信号との関係をいう。感度特性は、入射光の波長に応じて異なる。本例において、複数の青色用画素は青色光の波長領域に対応して高い感度特性を有する。複数の赤色用画素は赤色光の波長領域に対応して高い感度特性を有する。複数の緑色用画素は緑色光の波長領域に対応して高い感度特性を有する。
本実施の形態において、フィルタターレット16bに設けられる青色フィルタが透過する青色光の波長領域の大きさは、青色用画素が受光可能な青色光の波長領域の大きさに比べて小さくなるように設定される。フィルタターレット16bに設けられる赤色フィルタが透過する赤色光の波長領域の大きさは、赤色用画素が受光可能な赤色光の波長領域の大きさに比べて小さくなるように設定される。フィルタターレット16bに設けられる緑色フィルタが透過する緑色光の波長領域の大きさは、緑色用画素が受光可能な緑色光の波長領域の大きさに比べて小さくなるように設定される。これにより、後述する単波長領域画像データの生成時に色収差の発生が抑制される。
複数の赤色用画素、複数の緑色用画素および複数の青色用画素は一定の画素ピッチ(隣り合う各2つの画素の中心間の距離)で二次元的に配列される。カラーCCD11における複数の画素の配列状態についての詳細は後述する。カラーCCD11の各画素からは、受光量に対応する電気信号が出力される。カラーCCD11の出力信号は、A/D変換器15によりデジタル信号に変換される。A/D変換器15から出力されるデジタル信号は、画素データとして画像処理装置200に順次与えられる。カラーCCD11に代えてCMOS(相補性金属酸化膜半導体)イメージセンサ等の撮像素子が用いられてもよい。
カラーCCD11は、X方向およびY方向に移動可能となっている。本例では、アクチュエータ40は、ピエゾ素子の圧電効果を利用したアクチュエータ(ピエゾアクチュエータ)である。アクチュエータ40は、画像処理装置200から与えられる移動指令信号(駆動パルス)に基づいてカラーCCD11をステージ21上に載置される観察対象物Sに対して相対的にX方向およびY方向に移動させる。ピエゾアクチュエータによれば、カラーCCD11を一画素分ずつ(画素ピッチごとに)X方向およびY方向に移動させることができる。ピエゾアクチュエータに代えて静電引力を利用したアクチュエータまたは温度による変形等を利用したアクチュエータがアクチュエータ40として用いられてもよい。
対物レンズ13は、例えばズームレンズであり、手動または自動で倍率を変更可能に構成される。対物レンズ13の倍率は、図示しない倍率検出部により検出される。また、対物レンズ13は、Z方向に移動可能に設けられる。レンズ駆動部17は、画像処理装置200の制御により対物レンズ13をZ方向に移動させる。それにより、撮像装置10の焦点の位置がZ方向において移動する。
ステージ21は、Z方向の軸の周りで回転可能にステージ支持部23上に設けられる。ステージ駆動部22は、画像処理装置200から与えられる移動指令信号(駆動パルス)に基づいてステージ21をステージ支持部23に対して相対的に後述するx方向およびy方向に移動させる。ステージ駆動部22には、ステッピングモータが用いられる。回転角度センサ30は、ステージ21の回転角度を検出し、検出した角度を示す角度検出信号を画像処理装置200に与える。画像処理装置200においては、移動指令信号に対するステージ駆動部22からの応答信号および回転角度センサ30からの角度検出信号に基づいて、X方向およびY方向におけるステージ21の位置および回転角度が取得される。
画像処理装置200は、インタフェース210、CPU(中央演算処理装置)220、ROM(リードオンリメモリ)230、記憶装置240、入力装置250、表示部260および作業用メモリ270を含む。
ROM230には、システムプログラムが記憶される。記憶装置240は、ハードディスク等からなる。記憶装置240には、種々の制御プログラムが記憶されるとともに、顕微鏡100からインタフェース210を通して与えられる画素データ等の種々のデータを記憶する。入力装置250は、キーボードおよびポインティングデバイスを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。
表示部260は、例えば液晶ディスプレイパネルまたは有機EL(エレクトロルミネッセンス)パネルにより構成される。
作業用メモリ270は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。CPU220は、記憶装置240に記憶された種々の制御プログラムを実行することにより作業用メモリ270を用いて種々の処理を行うとともに、複数の画素データから画像データを生成し、生成された画像データに基づく画像を表示部260に表示させる。また、CPU220は、インタフェース210を通して顕微鏡100のカラーCCD11、ズーム調整部13a、照明装置16、レンズ駆動部17およびステージ駆動部22を制御する。
図2は、本発明の一実施の形態に係る拡大観察装置300の顕微鏡100を示す斜視図である。図2においては、X方向、Y方向およびZ方向が矢印で示される。
図2に示すように、顕微鏡100はベース1を有する。ベース1上には、第1の支持台2が取り付けられるとともに、この第1の支持台2の前面に嵌め込まれるように第2の支持台3が取り付けられる。
第1の支持台2の上端部には、連結部4がY方向に延びる回動軸R1の周りに回動可能に取り付けられる。連結部4には回動支柱5が取り付けられる。それにより、回動支柱5は連結部4の回動に伴って回動軸R1を支点としてZ方向に平行な垂直面内で傾斜可能である。使用者は、固定つまみ9により連結部4を第1の支持台2に対して固定することができる。
連結部6の前面には環状の支持部7が取り付けられる。支持部7には、略円筒状の撮像装置10が取り付けられる。図2の状態では、撮像装置10の光軸R2はZ方向に平行である。支持部7は、撮像装置10を水平面内で移動させるための複数の調整ネジ41を有する。複数の調整ネジ41を用いて撮像装置10の光軸R2が回動軸R1に垂直に交差するように撮像装置10の位置を調整することができる。
ベース1上の第2の支持台3の前面には、Z方向に摺動可能にスライダ8が取り付けられる。第2の支持台3の側面には、調整つまみ42が設けられる。スライダ8のZ方向(高さ方向)の位置は、調整つまみ42により調整可能である。
ステージ装置20のステージ支持部23は、スライダ8上に取り付けられる。ステージ21は、ステージ支持部23に対してZ方向の回転軸R3の周りに回転可能に設けられる。また、ステージ21には、水平面内で互いに直交するx方向およびy方向が設定される。ステージ21は、図1のステージ駆動部22によりx方向およびy方向に移動可能に設けられる。ステージ21が回転軸R3の周りに回転すると、ステージ21のx方向およびy方向も回転する。それにより、ステージ21のx方向およびy方向は、X方向およびY方向に対して水平面内で傾斜する。
撮像装置10の撮像範囲(視野範囲)は、撮像装置10の倍率により異なる。ステージ21をx方向およびy方向に移動させることにより複数の撮像範囲の画像データを生成することができる。複数の撮像範囲の画像データを連結することにより複数の撮像範囲の画像を図1の表示部260に表示することができる。
図3は顕微鏡100の撮像装置10がZ方向と平行に固定されている状態を示す模式図である。また、図4は顕微鏡100の撮像装置10がZ方向から所望の角度まで傾斜された状態を示す模式図である。
図3に示すように、回動支柱5がZ方向に平行な状態で固定つまみ9を締めることにより連結部4が第2の支持台3に固定される。それにより、撮像装置10の光軸R2がZ方向に平行な状態で回動軸R1に垂直に交差する。この場合、撮像装置10の光軸R2はステージ21の表面に垂直となる。
固定つまみ9を緩めることにより連結部4が回動軸R1の周りに回動可能となり、回動支柱5が回動軸R1を支点として傾斜可能となる。それにより、図4に示すように、撮像装置10の光軸R2をZ方向に対して任意の角度θ傾斜させることができる。この場合、撮像装置10の光軸R2は回動軸R1に垂直に交差する。同様にして、撮像装置10の光軸R2をZ方向に対して図4と逆側に任意の角度傾斜させることができる。
したがって、ステージ21上の観察対象物の表面の高さを回動軸R1の高さに一致させることにより、観察対象物の同じ部分を垂直な方向および斜め方向から観察することができる。
(2)観察時における表示部の一表示例
図5は図1の撮像装置10により観察対象物Sが撮像されたときの表示部260の一表示例を示す図である。本例では、図1のターレット駆動部16cが制御されることにより観察対象物Sに白色光が照射される。図5に示すように、表示部260の画面上には、画像表示領域410および条件設定領域420が表示される。撮像装置10による観察対象物Sの撮像時には、画像表示領域410に画像データに基づく画像が表示される。
条件設定領域420に青画像ボタン421、赤画像ボタン422、緑画像ボタン423、青カラー画像ボタン424、赤カラー画像ボタン425、緑カラー画像ボタン426、およびオートフォーカスチェックボックス427が表示される。
この状態で、使用者が図2のステージ21をx方向またはy方向に移動させることにより、画像表示領域410に表示される観察対象物Sの画像の範囲を変更することができる。
青画像ボタン421が操作されることにより、後述する画素ずらし処理が実行される。これにより、観察対象物Sに青色光が照射された状態で観察対象物Sが撮像され、観察対象物Sの青色の画像が得られる。
赤画像ボタン422が操作されることにより、後述する画素ずらし処理が実行される。これにより、観察対象物Sに赤色光が照射された状態で観察対象物Sが撮像され、観察対象物Sの赤色の画像が得られる。
緑画像ボタン423が操作されることにより、後述する画素ずらし処理が実行される。これにより、観察対象物Sに緑色光が照射された状態で観察対象物Sが撮像され、観察対象物Sの緑色の画像が得られる。
青カラー画像ボタン424が操作されることにより、観察対象物Sに白色光が照射された状態で観察対象物Sが撮像され、観察対象物Sのカラー画像が得られる。また、後述する画素ずらし処理が実行され、観察対象物Sに青色光が照射された状態で観察対象物Sが撮像され、観察対象物Sの青色の画像が得られる。その後、得られたカラー画像と青色の画像とが合成される。具体的には、画素ごとにカラー画像から取得される色成分と青色の画像(単色画像)から取得される輝度成分(画素データの値)とが合成される(合成カラー画像生成処理)。
赤カラー画像ボタン425が操作されることにより、観察対象物Sに白色光が照射された状態で観察対象物Sが撮像され、観察対象物Sのカラー画像が得られる。また、後述する画素ずらし処理が実行され、観察対象物Sに赤色光が照射された状態で観察対象物Sが撮像され、観察対象物Sの赤色の画像が得られる。その後、得られたカラー画像と赤色の画像とが合成される。具体的には、画素ごとにカラー画像から取得される色成分と赤色の画像(単色画像)から取得される輝度成分(画素データの値)とが合成される(合成カラー画像生成処理)。
緑カラー画像ボタン426が操作されることにより、観察対象物Sに白色光が照射された状態で観察対象物Sが撮像され、観察対象物Sのカラー画像が得られる。また、後述する画素ずらし処理が実行され、観察対象物Sに緑色光が照射された状態で観察対象物Sが撮像され、観察対象物Sの緑色の画像が得られる。その後、得られたカラー画像と緑色の画像とが合成される。具体的には、画素ごとにカラー画像から取得される色成分と緑色の画像(単色画像)から取得される輝度成分(画素データの値)とが合成される(合成カラー画像生成処理)。
オートフォーカスチェックボックス427がチェックされると、白色光による観察対象物Sの撮像時および後述する画素ずらし処理における観察対象物Sの撮像時に、それぞれ撮像装置10の焦点を観察対象物Sの表面に合わせるオートフォーカスが行われる。
(3)カラーCCDにおける複数の画素の配列状態
図6は、図1のカラーCCD11における複数の画素の配列状態を示す平面図である。図6に示すように、本実施の形態に係るカラーCCD11においては、1つの青色用画素B、1つの赤色用画素Rおよび2つの緑色用画素Gにより1つの主画素Pが構成される。複数の主画素Pがマトリクス状に並ぶように二次元的に配列される。
各主画素Pにおいては、1つの青色用画素B、1つの赤色用画素Rおよび2つの緑色用画素Gが互いに隣接するように2行2列で配列される。1つの青色用画素Bと1つの赤色用画素Rとが対角に位置し、2つの緑色用画素Gが対角に位置する。
観察対象物Sに青色光が照射された状態で観察対象物Sが撮像される場合には、観察対象物Sの表面から青色光が反射されることにより各主画素Pの青色用画素Bが対応する領域から反射される青色光を受光する。これにより、各主画素Pの青色用画素BからA/D変換器15を通して青色光に基づく画素データが出力される。このとき各主画素Pの赤色用画素Rおよび緑色用画素Gは青色光を受光しないので、各主画素Pからは赤色光および緑色光に基づく画素データは出力されない。
上記の青色光の例と同様に、観察対象物Sに赤色光が照射された状態で観察対象物Sが撮像される場合には、各主画素Pの赤色用画素RからA/D変換器15を通して赤色光に基づく画素データが出力される。このとき各主画素Pからは青色光および緑色光に基づく画素データは出力されない。
上記の青色光の例と同様に、観察対象物Sに緑色光が照射された状態で観察対象物Sが撮像される場合には、各主画素Pの緑色用画素GからA/D変換器15を通して緑色光に基づく画素データが出力される。このとき各主画素Pからは青色光および赤色光に基づく画素データは出力されない。
一方、観察対象物Sに白色光が照射された状態で観察対象物Sが撮像される場合には、観察対象物Sの表面から白色光が反射されることにより各主画素Pの青色用画素B、赤色用画素Rおよび緑色用画素Gがそれぞれに対応する波長の光(青色光、赤色光および緑色光)を受光する。これにより、各主画素Pの青色用画素B、赤色用画素Rおよび緑色用画素GからA/D変換器15を通して、青色光、赤色光および緑色光に基づく複数の画素データが出力される。この場合、各主画素Pから出力される複数の画素データを合成することにより、各主画素Pに対応する画素データが生成される。以下の説明では、複数主画素Pにそれぞれ対応する複数のカラー画素データからなる画像データをカラー画像データと呼ぶ。カラー画像データに基づいて観察対象物Sのカラー画像が表示される。
(4)画素ずらし処理
図7〜図9は、本発明の一実施の形態に係る画素ずらし処理を説明するための図である。本例では、図6の複数の青色用画素B、赤色用画素Rおよび緑色用画素Gにそれぞれ対応する領域(以下、画素対応領域と呼ぶ。)が設定された観察対象物Sを用いて画素ずらし処理を説明する。図7(a)に画素対応領域が設定された観察対象物Sが平面図で示される。
図7(a)に示すように、この観察対象物Sの表面上には、図6の複数の青色用画素B、赤色用画素Rおよび緑色用画素Gに対応するように複数の画素対応領域a1〜a9,b1〜b9,c1〜c9,d1〜d9が設定されている。
本例では、画素対応領域an,bn,cn,dn(nは1〜9のいずれかの整数)が、1つの主画素Pを構成する図6の緑色用画素G、青色用画素B、緑色用画素Gおよび赤色用画素Rにそれぞれ対応する。
図7(a)の観察対象物Sが図1のステージ21に載置された状態で、図5のいずれかのボタン421〜426が操作されることにより、画素ずらし処理が実行される。画素ずらし処理が開始されると、操作されたボタンの種類に応じて図1のターレット駆動部16cが制御され、青色光、赤色光および緑色光のいずれかの光が観察対象物Sに照射される。例えば、図5の青画像ボタン421または青カラー画像ボタン424が操作された場合には青色光が観察対象物Sに照射される。赤画像ボタン422または赤カラー画像ボタン425が操作された場合には赤色光が観察対象物Sに照射される。緑画像ボタン423または緑カラー画像ボタン426が操作された場合には緑色光が観察対象物Sに照射される。
以下、図5の青画像ボタン421が操作された場合を説明する。この場合、青色光が観察対象物Sに照射された状態で、図7(b)に示すように観察対象物Sが撮像される。図7(b)および後述する図7(d)、図8(a)および図8(c)では、カラーCCD11における青色用画素Bの位置がハッチングで示されるとともに、カラーCCD11と観察対象物Sとの相対的な位置関係が模式的に平面図で示される。
この場合、観察対象物Sの画素対応領域a1〜a9から反射される青色光が、複数の青色用画素Bにより受光される。一方、観察対象物Sの画素対応領域b1〜b9,c1〜c9,d1〜d9から反射される青色光は、複数の赤色用画素Rおよび複数の緑色用画素Gでは受光されない。このとき、図7(c)に示すように、複数の青色用画素Bから画素対応領域a1〜a9にそれぞれ対応する画素データA1〜A9が得られ、画素データA1〜A9を含む画像データID1が生成される。この画像データID1において、観察対象物Sの画素対応領域b1〜b9,c1〜c9,d1〜d9に対応する画素データは基準値(例えば0)を示す。
本実施の形態に係るカラーCCD11において、複数の青色用画素Bは行方向、列方向および斜め方向にそれぞれ一画素おきに並ぶ(図6参照)。したがって、本例では、行方向、列方向および斜め方向に隣り合う各2つの青色用画素B間の位置が補完位置に相当する。
次に、図1のアクチュエータ40が制御されることにより、図7(d)に示すように、カラーCCD11が観察対象物Sに対して相対的に一画素分移動される。図7(d)の例では、カラーCCD11が観察対象物Sに対して相対的に一画素分右側に移動する。このように、カラーCCD11の複数の青色用画素Bが行方向に隣り合う各2つの青色用画素B間の補完位置にそれぞれ移動する。
この場合、観察対象物Sの画素対応領域b1〜b9から反射される青色光が、複数の青色用画素Bにより受光される。一方、観察対象物Sの画素対応領域a1〜a9,c1〜c9,d1〜d9から反射される青色光は、複数の赤色用画素Rおよび複数の緑色用画素Gでは受光されない。このとき、図7(e)に示すように、複数の青色用画素Bから画素対応領域b1〜b9にそれぞれ対応する画素データB1〜B9が得られ、画素データB1〜B9を含む画像データID2が生成される。この画像データID2において、観察対象物Sの画素対応領域a1〜a9,c1〜c9,d1〜d9に対応する画素データは基準値(例えば0)を示す。
続いて、上記の例と同様に、カラーCCD11が観察対象物Sに対して相対的に一画素分移動される。図8(a)の例では、カラーCCD11が観察対象物Sに対して相対的に一画素分上側に移動する。このように、カラーCCD11の複数の青色用画素Bが斜め方向に隣り合う各2つの青色用画素B間の補完位置にそれぞれ移動する。
この場合、観察対象物Sの画素対応領域c1〜c9から反射される青色光が、複数の青色用画素Bにより受光される。一方、観察対象物Sの画素対応領域a1〜a9,b1〜b9,d1〜d9から反射される青色光は、複数の赤色用画素Rおよび複数の緑色用画素Gでは受光されない。このとき、図8(b)に示すように、複数の青色用画素Bから画素対応領域c1〜c9にそれぞれ対応する画素データC1〜C9が得られ、画素データC1〜C9を含む画像データID3が生成される。この画像データID3において、観察対象物Sの画素対応領域a1〜a9,b1〜b9,d1〜d9に対応する画素データは基準値(例えば0)を示す。
さらに、上記の例と同様に、カラーCCD11が観察対象物Sに対して相対的に一画素分移動される。図8(c)の例では、カラーCCD11が観察対象物Sに対して相対的に一画素分左側に移動する。このように、カラーCCD11の複数の青色用画素Bが列方向に隣り合う各2つの青色用画素B間の補完位置にそれぞれ移動する。
この場合、観察対象物Sの画素対応領域d1〜d9から反射される青色光が、複数の青色用画素Bにより受光される。一方、観察対象物Sの画素対応領域a1〜a9,b1〜b9,c1〜c9から反射される青色光は、複数の赤色用画素Rおよび複数の緑色用画素Gでは受光されない。このとき、図8(d)に示すように、複数の青色用画素Bから画素対応領域d1〜d9にそれぞれ対応する画素データD1〜D9が得られ、画素データD1〜D9を含む画像データID4が生成される。この画像データID4において、観察対象物Sの画素対応領域a1〜a9,b1〜b9,c1〜c9に対応する画素データは基準値(例えば0)を示す。
このようにして、カラーCCD11を一画素分ずつ複数の画素の配列方向に移動させつつ複数(本例では4つ)の画像データID1〜ID4を生成した後、生成された複数の画像データID1〜ID4を合成する。これにより、図8(e)に示すように、複数の画像データID1〜ID4が互いに補完され、観察対象物Sの全ての画素対応領域a1〜a9,b1〜b9,c1〜c9,d1〜d9にそれぞれ対応する複数の画素データA1〜A9,B1〜B9,C1〜C9,D1〜D9を含む画像データIDが得られる。これにより、画像データIDに基づいて観察対象物Sの青色の画像が高解像度で表示部260に表示される。
上記の例に限らず、赤画像ボタン422または緑画像ボタン423が操作される場合には、赤色光または緑色光が観察対象物Sに照射された状態で、観察対象物Sの全ての画素対応領域a1〜a9,b1〜b9,c1〜c9,d1〜d9に対応する画素データA1〜A9,B1〜B9,C1〜C9,D1〜D9を含む画像データIDが得られる。これにより、画像データIDに基づいて観察対象物Sの赤色または緑色の画像が高解像度で表示部260に表示される。
なお、複数の赤色用画素Rは行方向、列方向および斜め方向にそれぞれ一画素おきに並ぶ(図6参照)。したがって、赤画像ボタン422が操作される場合には、行方向、列方向および斜め方向に隣り合う各2つの赤色用画素R間の位置が補完位置に相当する。また、複数の緑色用画素Gは行方向および列方向にそれぞれ一画素おきに並ぶ(図6参照)。したがって、緑画像ボタン423が操作される場合には、行方向および列方向に隣り合う各2つの赤色用画素R間の位置が補完位置に相当する。
以下の説明では、画素ずらし処理により生成される画像データIDを単波長領域画像データと呼ぶ。また、単波長領域画像データに基づいて表示される画像(上記の青色、赤色または緑色の画像)を単波長領域画像と呼ぶ。
画素ずらし処理の処理中に騒音および風等の外乱によりカラーCCD11に振動が生じると、本来一画素分ずつ移動すべきカラーCCD11の位置が振動によりずれる場合がある。
ここで、観察対象物Sの画素対応領域d1〜d9に対応する画素データD1〜D9に基づいて画像データID4を生成するときに(図8(c),(d)参照)、カラーCCD11が本来あるべき位置からずれた場合を説明する。
図9(a)に、本来あるべきカラーCCD11の位置が一点鎖線で示されるとともに、実際のカラーCCD11と観察対象物Sとの相対的な位置関係が模式的に平面図で示される。また、カラーCCD11における青色用画素Bの位置がハッチングで示される。
本例では、実際のカラーCCD11が、本来あるべきカラーCCD11の位置から右方向に1画素分ずれるとともに下方向に2画素分ずれている。この場合、観察対象物Sの画素対応領域c1〜c9から反射される青色光が複数の青色用画素Bにより受光され、本来受光されるべき画素対応領域d1〜d9から反射される青色光は複数の青色用画素Bにより受光されない。
この状態で、図9(b)に示すように、複数の青色用画素Bから画素対応領域c1〜c9にそれぞれ対応する画素データC1〜C9が得られ、画素データC1〜C9を含む画像データID4が生成される。この画像データID4において、観察対象物Sの画素対応領域a1〜a9,b1〜b9,d1〜d9に対応する画素データは基準値(例えば0)を示す。
この場合、図9(b)の画像データID4を、図7(c)の画像データID1、図7(e)の画像データID2および図8(b)の画像データID3と合成しても、図8(e)の単波長領域画像データIDを得ることはできない。
そこで、本実施の形態に係る画素ずらし処理においては、例えば複数回(本例では4回)の撮像により得られる複数の画像データID1〜ID4のうちの1つの画像データが基準画像データとして図1の記憶装置240に記憶される。本例では、1番目に生成された画像データID1が基準画像データとして図1の記憶装置240に記憶される。
続いて、基準画像データID1と他の画像データID2とのパターンマッチングにより、2番目の画像データID2を生成するための撮像時にカラーCCD11の位置ずれが生じたか否かが判定される。同様に、基準画像データID1と他の画像データID3とのパターンマッチングにより、3番目の画像データID3を生成するための撮像時にカラーCCD11の位置ずれが生じたか否かが判定される。さらに、基準画像データID1と他の画像データID4とのパターンマッチングにより、4番目の画像データID4を生成するための撮像時にカラーCCD11の位置ずれが生じたか否かが判定される。
カラーCCD11の位置ずれが生じたか否かは、例えばパターンマッチングによりカラーCCD11の位置ずれの量が算出され、算出結果が予め定められたしきい値よりも大きいか否かに基づいて判定される。
CPU220による画像データの生成時において、複数の画素データの各々には画像内の位置を示す座標情報が対応付けられる。そこで、画像データID4を生成するための撮像時にカラーCCD11の位置ずれが生じた場合には、図9(c)に示すようにパターンマッチングによる位置ずれ量の算出結果に基づいて画像データID4を構成する複数の画素データC1〜C9の座標情報が、位置ずれが生じなかったときの座標情報に等しくなるように修正(座標変換処理)される。
また、座標変換処理後の4番目の画像データID4に本来含まれるべき画素対応領域d1〜d9の画素データD1〜D9が存在するか否かが判定される。本来含まれるべき画素データ(図8(d)の画素データD1〜D9)が存在しない場合、図8(d)の画素データD1〜D9に対応する画素データが、当該撮像時に取得された複数の画素データC1〜C9に基づくデータ補間処理により生成される。図9(c)の例では、ハッチングで示される複数の画素データD11〜D19がデータ補間処理により生成された画素データを示す。したがって、図9(c)の複数の画素データD11〜D19は、それぞれ図8(d)の画素データD1〜D9に対応する。
このようにして、カラーCCD11の位置ずれが生じた場合には、その撮像時に取得された画像データID4が補正(座標変換処理およびデータ補間処理)され、複数の画素データD11〜D19を含む画像データIDXが生成される。
上記の例に対して、本来含まれるべき画素対応領域d1〜d9の画素データD1〜D9が存在する場合には、画像データID4についてデータ補間処理を行う必要はない。この場合、座標変換処理後の画像データID4が画像データIDXとして生成される。
その後、カラーCCD11の位置ずれが生じない状態で生成された複数の画像データID1〜ID3と上記の補正後の画像データID4Xとが合成されることにより、図9(d)に示す単波長領域画像データIDXが生成される。
上記のように、カラーCCD11の位置ずれが生じた状態で生成される図9(b)の画像データID4が、カラーCCD11の位置ずれが生じていない状態で生成される図8(d)の画像データID4に近づくように補正される。これにより、補正後の画像データID4と他の画像データID1〜ID3とを合成するときに、カラーCCD11の位置ずれに起因するノイズが単波長領域画像に発生することが抑制される。それにより、カラーCCD11の位置ずれが生じた場合でも、画質の劣化を防止しつつ観察対象物Sの高解像度の単波長領域画像を表示することが可能となる。
図10(a)は本発明の一実施の形態に係る画素ずらし処理により得られる単波長領域画像の一例であり、図10(b)は従来の画素ずらし処理により得られる単波長領域画像の一例である。
図10(a)に示すように、顕微鏡100に振動を与えつつ本実施の形態に係る画素ずらし処理を行った場合には、振動の影響を受けることなくノイズが低減された高解像度の単波長領域画像が得られる。一方、図10(b)に示すように、顕微鏡100に振動を与えつつ従来の画素ずらし処理を行った場合には、振動に起因するノイズにより著しく画質が劣化した単波長領域画像が得られる。
上記の例では、カラーCCD11が1画素単位でずれる例を説明したが、カラーCCD11は1画素単位でずれるとは限らない。そこで、例えば図1のCPU220は、基準画像データと他の画像データとのパターンマッチングにより小数点以下の画素単位でカラーCCD11の位置ずれの量を検出してもよい。この場合、小数点以下の画素単位で上記の補正(座標変換処理およびデータ補間処理)を行ってもよい。
また、上記の例では、画素ずらし処理が行われることにより、青色光、赤色光および緑色光のいずれかの光が観察対象物Sに照射され、この状態で観察対象物Sが撮像される。これに限らず、画素ずらし処理は白色光が観察対象物Sに照射された状態で実行されてもよい。この場合にも、画質の劣化が防止された高解像度のカラー画像を得ることができる。
(5)合成カラー画像生成処理
上記のように、図5の青カラー画像ボタン424、赤カラー画像ボタン425および緑カラー画像ボタン426のいずれかのボタンが操作されることにより、合成カラー画像生成処理が実行される。合成カラー画像生成処理により、まず観察対象物Sに白色光が照射された状態で観察対象物Sが撮像され、観察対象物Sのカラー画像データが生成される。続いて、画素ずらし処理により単波長領域画像データが生成される。その後、カラー画像データと単波長領域画像データとが合成される。具体的には、カラー画像データから取得される各画素の色成分と単波長領域画像データから取得される各画素の輝度成分(画素データの値)とが合成される。これにより、合成カラー画像データが生成される。この場合、合成カラー画像データに基づいて、単波長領域画像の輝度成分を含むカラー画像(以下、合成カラー画像と呼ぶ。)を得ることができる。それにより、観察対象物Sの合成カラー画像の解像度が向上する。
青色波長および紫色波長は赤色波長および緑色波長よりも短い。したがって、青色光で撮像されることにより得られる単波長領域画像は、可視光のうち紫色を除く他の色の光で撮像される場合の画像に比べて解像度が高い。これにより、カラー画像データと青色光に基づいて生成される単波長領域画像データとが合成される場合には、観察対象物Sの合成カラー画像の解像度がさらに向上する。
赤色光または緑色光で撮像されることにより得られる単波長領域画像においては、反射率の低い観察対象物Sを観察する場合にその観察対象物Sのエッジを容易に検出することができる。これにより、カラー画像データと赤色光または緑色光に基づいて生成される単波長領域画像データとが合成される場合には、合成カラー画像において観察対象物Sのエッジを容易に検出することが可能となり、寸法計測等を容易に行うことができる。
本実施の形態において、カラー画像と単波長領域画像との合成時には、カラー画像と単波長領域画像とのパターンマッチングを行うことにより、カラー画像データを生成するための撮像時のカラーCCD11の位置と単波長領域画像データを生成するための撮像時のカラーCCD11の位置との間のずれを判定してもよい。この場合、カラーCCD11の位置ずれが生じた場合に位置ずれの量を算出し、算出結果に基づいてカラー画像データおよび単波長領域画像データの少なくとも一方の画像データに上記と同様の補正(座標変換処理およびデータ補間処理)を行う。これにより、補正後のカラー画像データと単波長領域画像データとを合成することにより、互いにずれた複数の画像が合成されることによる合成カラー画像の解像度の低下および画質の劣化が防止される。
(6)合成カラー画像生成処理フロー
(6−1)フローチャートの説明
図11〜図13は、本発明の一実施の形態に係る合成カラー画像生成処理のフローチャートである。図1のCPU220は、記憶装置240に記憶される制御プログラムを実行することにより合成カラー画像生成処理を行う。
CPU220は、使用者による図5の青カラー画像ボタン424、赤カラー画像ボタン425および緑カラー画像ボタン426のいずれかのボタンの操作に応答して合成カラー画像生成処理を開始する。
初期状態では、使用者の操作により拡大観察装置300に予め一定の撮像条件(カラーCCD11のゲイン、露光時間、光源16aの光量および対物レンズ13の焦点の位置等)が設定されている。
合成カラー画像生成処理が開始されると、CPU220は、図1の照明装置16を制御することにより白色光を観察対象物Sに照射し(ステップS11)、オートフォーカスを行うか否かを判定する(ステップS12)。例えば、CPU220は、図5のオートフォーカスチェックボックス427がチェックされている状態で合成カラー画像生成処理が開始された場合にオートフォーカスを行うと判定する。一方、オートフォーカスチェックボックス427がチェックされていない状態で合成カラー画像生成処理が開始された場合に、オートフォーカスを行わないと判定する。
オートフォーカスを行わない場合、CPU220は、初期状態で予め設定された対物レンズ13の焦点の位置、または使用者の操作により設定される対物レンズ13の位置で後続の処理に進む。一方、オートフォーカスを行う場合、CPU220は、図1のレンズ駆動部17を制御して図1の対物レンズ13をZ方向に移動させることにより、撮像装置10の撮像範囲(視野範囲)内の予め定められた位置で、観察対象物Sの表面に撮像装置10の焦点を合わせる(ステップS13)。ここで、予め定められた位置は、撮像装置10の撮像範囲内の一部に対応する矩形領域の位置であってもよい。
上記のステップS12またはステップS13の処理後、CPU220は、撮像装置10を制御することにより観察対象物Sを撮像し、カラー画像データを生成する(ステップS14)。このとき、CPU220は、生成されたカラー画像データを図1の記憶装置240に記憶する。
続いて、CPU220は、図1の照明装置16を制御することにより青色光、赤色光および緑色光のうちいずれかの光を単波長光として観察対象物Sに照射する(ステップS15)。単波長光の種類は、青カラー画像ボタン424、赤カラー画像ボタン425および緑カラー画像ボタン426のうちいずれのボタンが操作されたかに基づいて定められる。例えば、青カラー画像ボタン424が操作されることにより合成カラー画像生成処理が開始された場合には、青色光が単波長光として観察対象物Sに照射される。同様に、赤カラー画像ボタン425または緑カラー画像ボタン426が操作されることにより合成カラー画像生成処理が開始された場合には、赤色光または緑色光が単波長光として観察対象物Sに照射される。
次に、CPU220は撮像条件の調整を行う(ステップS16)。具体的には、CPU220は、観察対象物Sを撮像しつつ撮像により得られる画像の平均輝度を算出し、その算出結果がステップS14で生成されたカラー画像データに基づくカラー画像の平均輝度に近づくように撮像条件を調整する。撮像条件としてカラーCCD11のゲイン、露光時間、光源16aの光量のいずれかが調整されることにより、画像の輝度が調整される。撮像条件の調整の詳細については後述する。
その後、CPU220は、上記ステップS12の処理と同様に、オートフォーカスを行うか否かを判定する(ステップS17)。オートフォーカスを行わない場合、CPU220は、初期状態で予め設定された対物レンズ13の焦点の位置、または使用者の操作により設定される対物レンズ13の位置で後続の処理に進む。一方、オートフォーカスを行う場合、CPU220は、ステップS13の処理と同様に、図1の対物レンズ13をZ方向に移動させることにより、撮像装置10の撮像範囲(視野範囲)内の予め定められた位置で、観察対象物Sの表面に撮像装置10の焦点を合わせる(ステップS18)。
続いて、CPU220は、観察対象物Sを撮像し、図1のアクチュエータ40を制御することによりカラーCCD11を観察対象物Sに対して相対的に一画素分ずつX方向またはY方向に移動させることにより観察対象物Sに照射される単波長光に対応する複数の画素(青色用画素B、赤色用画素Rまたは緑色用画素G)を複数の位置(複数の補完位置)に移動させつつ観察対象物Sを撮像し、複数の画像データを生成する(ステップS19)。本実施の形態では、CPU220は、互いに隣接する4つの位置を移動するようにカラーCCD11を一画素分ずつ移動させるとともに、各位置で観察対象物Sを撮像することにより4つの画像データを生成する。このとき、CPU220は、生成された4つの画像データを図1の記憶装置240に記憶する。
次に、CPU220は、ステップS19の観察対象物Sの撮像時にカラーCCD11の位置ずれが発生したか否かを判定する(ステップS20)。例えば、CPU220は、ステップS19の処理により得られる複数の画像データのうちの1つの画像データを基準画像データとし、基準画像データと他の画像データとの間のパターンマッチングを行う。CPU220は、パターンマッチングの結果に基づいて、基準画像データを生成するための撮像時のカラーCCD11の位置に対する他の画像データを生成するための撮像時のカラーCCD11の位置のずれ量を算出する。CPU220は、算出結果が予め定められたしきい値よりも大きいか否かに基づいてカラーCCD11の位置ずれが発生したか否かを判定する。このようにして、CPU220は画像データごとにカラーCCD11の位置ずれが発生したか否かを判定する。
カラーCCD11の位置ずれが発生していない場合、CPU220は、後続の処理に進む。一方、カラーCCD11の位置ずれが発生している場合、CPU220は、算出されたカラーCCD11のずれ量に基づいて対応する画像データを補正する(ステップS21)。この補正には、座標変換処理およびデータ補間処理のうちの少なくとも一方が含まれる。これにより、ステップS19で生成された複数の画像データのうちカラーCCD11の位置ずれが生じた状態で生成された画像データが補正される。
上記のステップS20またはステップS21の処理後、CPU220は、ステップS19で生成された複数の画像データ、またはステップS21で補正された画像データを含む複数の画像データを合成することにより単波長領域画像データを生成する(ステップS22)。この生成時には、合成される複数の画像データが互いに補完される。
続いて、CPU220は、単波長領域画像データを生成するための撮像時のカラーCCD11の位置とステップS14でカラー画像データを生成するための撮像時のカラーCCD11の位置との間でずれが発生したか否かを判定する(ステップS23)。例えば、CPU220は、上記のステップS20で用いた基準画像データとステップS14で生成されたカラー画像データとの間のパターンマッチングを行う。CPU220は、パターンマッチングの結果に基づいて、基準画像データを生成するための撮像時のカラーCCD11の位置に対するカラー画像データを生成するための撮像時のカラーCCD11の位置のずれ量を算出する。CPU220は、算出結果が予め定められたしきい値よりも大きいか否かに基づいてカラーCCD11の位置ずれが発生したか否かを判定する。
カラーCCD11の位置ずれが発生していない場合、CPU220は、後続の処理に進む。一方、カラーCCD11の位置ずれが発生している場合、CPU220は、算出されたカラーCCD11のずれ量に基づいて、ステップS22で生成された単波長領域画像データおよびステップS14で生成されたカラー画像データのうちの少なくとも一方を補正する(ステップS24)。この補正には、座標変換処理およびデータ補間処理のうちの少なくとも一方が含まれる。本例では、CPU220は、カラー画像データを生成するための撮像時のカラーCCD11のずれ量に基づいてカラー画像データを補正する。
上記のステップS23またはステップS24の処理後、CPU220は、単波長領域画像データに基づく単波長領域画像のコントラスト値とカラー画像データに基づくカラー画像のコントラスト値とが、等しくなるようにまたは近づくように単波長領域画像データおよびカラー画像データのうちの少なくとも一方の画像データを補正し、コントラスト値の調整を行う(ステップS25)。なお、本実施の形態において、コントラスト値は、例えば画像データを構成する複数の画素データの輝度を示す値のうち最も高い値と最も低い値との比を算出することにより求められる。コントラスト値の調整の詳細については後述する。
最後に、CPU220は、単波長領域画像データおよびカラー画像データを合成することにより合成カラー画像データを生成し、生成された合成カラー画像データに基づく観察対象物Sの合成カラー画像を表示部260に表示させる(ステップS26)。上記のように、合成カラー画像データは、カラー画像データから取得される各画素の色成分と単波長領域画像データから取得される各画素の輝度成分(画素データの値)とが合成されることにより生成される。これにより、合成カラー画像生成処理が終了する。
図11および図12に一点鎖線で示すように、本例の合成カラー画像生成処理のうちステップS15からステップS22までの一連の処理(ステップS100)が本実施の形態に係る画素ずらし処理に相当する。
(6−2)オートフォーカスについて
上記のように、白色光には、青色光、赤色光および緑色光の全ての波長領域の光が含まれる。そのため、対物レンズ13の倍率が高いと、白色光による撮像時に撮像装置10の焦点が観察対象物Sの表面に合う位置と、単波長光による撮像時に撮像装置10の焦点が観察対象物Sの表面に合う位置とが互いに異なる場合がある。また、対物レンズ13の倍率が高いと、白色光による撮像時に撮像装置10の焦点が観察対象物Sの表面に合う位置は、観察対象物Sの表面の色によっても変化する。
本実施の形態に係る合成カラー画像生成処理において、上記のオートフォーカスは、必ずしも行われる必要はないが、対物レンズ13の倍率が高い場合にはカラー画像データを生成するための撮像時および単波長領域画像データを生成するための撮像時にそれぞれ行われることが好ましい。
上記の合成カラー画像生成処理では、図5のオートフォーカスチェックボックス427がチェックされることにより、ステップS13の処理でカラー画像データを生成するための撮像時に、撮像装置10の撮像範囲内の予め定められた位置でオートフォーカスが行われる。また、ステップS18の処理で単波長領域画像データを生成するための撮像時に、撮像装置10の撮像範囲内の予め定められた位置でオートフォーカスが行われる。
これにより、カラー画像データに基づくカラー画像において焦点が合う位置と単波長領域画像データに基づく単波長領域画像において焦点が合う位置とが正確に一致する。それにより、カラー画像と単波長領域画像とが合成された合成カラー画像において、焦点が合う位置およびその周辺の領域の解像度が向上する。
オートフォーカスは以下のようにして行われてもよい。例えば、上記の合成カラー画像生成処理の開始前に、観察対象物Sに白色光が照射された状態で、予め使用者が図5の画像表示領域410に表示される画像を視認しつつ撮像装置10のZ方向の位置を設定する。
この状態で、合成カラー画像生成処理が開始されることにより、ステップS13のオートフォーカスを行うことなく観察対象物Sを撮像することによりカラー画像データを生成する。その後、CPU220は、生成されたカラー画像データに基づくカラー画像から最も焦点が合った位置を検出する。この位置は、カラー画像内の一部に対応する矩形領域の位置であってもよい。
続いて、CPU220は、単波長領域画像データを生成するためのステップS18のオートフォーカス時に、カラー画像から検出された位置で撮像装置10の焦点が観察対象物Sの表面に合うようにオートフォーカスを行う。
この場合においても、カラー画像において焦点が合う位置と単波長領域画像において焦点が合う位置とが一致するので、合成カラー画像において、焦点が合う位置およびその周辺の領域の解像度が向上する。
合成カラー画像生成処理においてオートフォーカスを行わない場合には、カラー画像において焦点が合う位置と単波長領域画像において焦点が合う位置とを一致させるために、以下の処理を行ってもよい。
例えば、対物レンズ13の設計寸法および対物レンズ13の校正結果に基づいて、予め対物レンズ13がZ方向に固定されている場合の白色光による撮像時の焦点の位置と、青色光、赤色光および緑色光による撮像時の焦点の位置との間の距離(Z距離差分値)を算出しておく。この場合、算出されたZ距離差分値に基づいて、白色光による撮像時の対物レンズ13の位置および単波長光による撮像時の対物レンズ13の位置の少なくとも一方を調整する。このようにして、カラー画像において焦点が合う位置と単波長領域画像において焦点が合う位置とを一致させてもよい。
なお、上記のZ距離差分値が予め算出されている場合には、ステップS18のオートフォーカス時に、カラー画像データを生成するための撮像時の撮像装置10のZ方向の位置とZ距離差分値とに基づいてオートフォーカスを行うことができる。この場合、撮像装置10の焦点が観察対象物Sの表面に合う位置を探索するために撮像装置10をZ方向に沿って移動させる範囲を小さくすることができるので、オートフォーカスの時間を短縮することができる。
対物レンズ13の倍率が低いと、その対物レンズ13の焦点深度は大きくなる。そのため、白色光による撮像時に撮像装置10の焦点が観察対象物Sの表面に合う位置と、単波長光による撮像時に撮像装置10の焦点が観察対象物Sの表面に合う位置とが一致しやすくなる。この場合、単波長領域画像データを生成するための撮像時にそれぞれオートフォーカスを行う必要がない。したがって、本実施の形態に係る合成カラー画像生成処理においては、対物レンズ13の倍率に応じてステップS18のオートフォーカスを行うか否かが判定されてもよい。この場合、対物レンズ13の倍率が低い場合にステップS18のオートフォーカス処理を省略することにより、合成カラー画像生成処理の時間を短縮することができる。
(6−3)撮像条件の調整について
上記の画素ずらし処理(ステップS100)では、観察対象物Sに単波長光が照射される。単波長光は、白色光のうち一部の波長領域の光が図1のフィルタターレット16bの複数のフィルタのうちのいずれかを通過することにより得られる。そのため、単波長光による撮像時にカラーCCD11で検出される単位時間当たりの受光量は、白色光による撮像時にカラーCCD11で検出される単位時間当たりの受光量よりも小さくなる。
そこで、本例の合成カラー画像生成処理においては、単波長領域画像データに基づく単波長領域画像の平均輝度がカラー画像データに基づくカラー画像の平均輝度に近づくように上記のステップS16で撮像条件が調整される。これにより、単波長領域画像の平均輝度がカラー画像の平均輝度に合うように調整されるので、高品質かつ高解像度の合成カラー画像を得ることが可能となる。
画素ずらし処理(ステップS100)時に生成される複数の画像データは、それぞれ撮像装置10が一画素分ずつ移動されつつ撮像されることにより生成される。したがって、画素ずらし処理(ステップS100)時に生成される複数の画像データに基づく複数の画像の間で、平均輝度はほとんど変らない。そこで、本例では、画素ずらし処理(ステップS100)において最初の画像データを生成するための撮像位置で、撮像条件が調整される。これにより、後続の画像データの生成時に、撮像装置10を一画素分移動させるごとに撮像条件を調整することなく各画像データの平均輝度をカラー画像データの平均輝度に近づけることができる。それにより、合成カラー画像生成処理の時間を短縮することができる。
(6−4)コントラスト値の調整について
画素ずらし処理(ステップS100)時に観察対象物Sに単波長光が照射される場合、単波長領域画像データに基づく単波長領域画像のコントラスト値は単波長光の種類に応じて異なる。例えば、長い波長領域を有する赤色光による撮像時には、観察対象物Sから反射される光の量の微小な変化が検出される。これにより、得られる単波長領域画像のコントラスト値が高くなる。一方、短い波長領域を有する青色光による撮像時には、観察対象物Sから反射される光の量の微小な変化を検出することができない。これにより、得られる単波長領域画像のコントラスト値が低くなる。
そこで、本例の合成カラー画像生成処理においては、ステップS25の処理で、単波長領域画像データに基づく単波長領域画像のコントラスト値とカラー画像データに基づくカラー画像のコントラスト値とが等しくなるようにまたは近づくように単波長領域画像データおよびカラー画像データのうちの少なくとも一方の画像データが補正される。その結果、高品質かつ高解像度の合成カラー画像を得ることが可能となる。
カラー画像の輝度は、例えば次のようにして取得される。本例において、図1の画像処理装置200で生成されるカラー画像データは、例えばRGBフォーマットで生成される。この場合、CPU220は、RGBフォーマットで生成されたカラー画像データを、YUVフォーマットのカラー画像データに変換する。その後、CPU220は、変換されたカラー画像データからY(輝度)成分を抽出し、抽出されたY(輝度)成分に基づいてカラー画像の各画素の輝度を算出する。一方、図1の画像処理装置200で生成される単波長領域画像データは、その単波長領域画像データを構成する複数の画素データの値がそれぞれ輝度を示す。したがって、CPU220は、複数の画素データの値に基づいて単波長領域画像の各画素の輝度を取得する。
単波長光として、上記の青色波長、赤色波長および緑色波長以外の波長領域の光が用いられてもよい。この場合、青色波長、赤色波長および緑色波長のうちその単波長光の波長に最も近い波長領域の光(単波長光が紫色光である場合には青色光)で撮像されるときの画素データが、取得された複数の画素データに重み付け処理等が施されることにより生成される。それにより、生成された画素データに基づいて単波長領域画像の各画素の輝度が取得される。
(7)効果
本実施の形態に係る拡大観察装置300においては、画素ずらし処理時に、観察対象物Sが撮像され、アクチュエータ40によりカラーCCD11が観察対象物Sと相対的に一画素分ずつ異なる複数の位置に移動されることにより観察対象物Sに照射される単波長光に対応する複数の画素(青色用画素B、赤色用画素Rまたは緑色用画素G)が複数の位置にある状態で観察対象物Sが撮像される。これにより、複数の位置の各々で画像データID1〜ID4が生成され、生成された複数の画像データID1〜ID4のパターンマッチングにより各撮像時にカラーCCD11の位置ずれが生じたか否かが正確に判定される。
カラーCCD11の位置ずれが生じた場合に、カラーCCD11の位置ずれの量に基づいて画像データが補正される。補正された画像データおよび他の位置に対応する画像データが合成されることにより高解像度の単波長領域画像データが生成される。この場合、カラーCCD11の位置ずれが生じた状態で生成される画像データが、カラーCCD11の位置ずれが生じていない状態で生成される画像データに等しくなるようにまたは近づくように補正されることにより、カラーCCD11の位置ずれに起因するノイズが単波長領域画像に発生することが抑制される。それにより、カラーCCD11の位置ずれが生じた場合でも、画質の劣化を防止しつつ観察対象物Sの高解像度の単波長領域画像を表示することが可能となる。
上記のステップS21における画像データの補正時に、補正の対象となる画像データの各画素データとカラーCCD11の位置との対応関係が座標変換処理により修正される。また、補正の対象となる画像データに、本来含まれるべき画素対応領域の画素データが存在しない場合、本来含まれるべき画素対応領域の画素データがデータ補間処理により生成される。これにより、補正後の画像データがカラーCCD11の位置ずれが生じない状態で取得されるべき画像データと等しくなるかまたはその画像データに近づく。それにより、カラーCCD11の位置ずれが生じた場合でも、高解像度の単波長領域画像データが生成される。その結果、画質の劣化を防止しつつ観察対象物Sの高解像度の単波長領域画像を表示することが可能となる。
(8)他の実施の形態
(8−1)上記実施の形態では、単波長光として青色光、赤色光および緑色光のうちいずれかの光が単波長光として観察対象物Sに照射され、観察対象物Sが撮像される例を説明した。これに限らず、青色、赤色および緑色以外の色の光(紫色光または黄色光等)が単波長光として観察対象物Sの撮像に用いられてもよい。さらに、可視光領域の光に限らず、赤外線領域の光等の可視光領域以外の波長の光が単波長光として観察対象物Sの撮像に用いられてもよい。
(8−2)上記実施の形態では、白色光を青色フィルタ、赤色フィルタまたは緑色フィルタに入射させることにより、観察対象物Sに照射する単波長光を得る例を説明した。これに限らず、単波長光は、当該単波長光に対応する波長領域の光を発生する単色LED(例えば、青色LED、赤色LEDまたは緑色LED)により得てもよい。この場合、観察対象物Sに照射する白色光は、複数の波長領域にそれぞれ対応する複数のLED(例えば、青色LED、赤色LEDおよび緑色LED)から発生される光を合成することにより生成してもよい。または、白色光は、単色LEDとは別に設けられたハロゲンランプまたは白色LED等により得てもよい。また、複数の単色LED(例えば、青色LED、赤色LEDおよび緑色LED)を用いる場合に、複数の単色LEDにそれぞれ対応する波長領域の光を透過する複数のフィルタをさらに用いてもよい。この場合、各フィルタにおいて単波長光の波長領域の大きさが小さく設定されることにより、色収差の発生が抑制される。
(8−3)上記実施の形態では、図11のステップS16で撮像条件としてカラーCCD11のゲイン、露光時間、光源16aの光量のいずれかが調整される例を説明した。これに限らず、撮像条件として図示しない絞りの開度または図示しないフィルタの透過率が調整されてもよい。この場合においても、撮像により得られる画像の平均輝度を調整することができる。
(8−4)上記実施の形態では、図11のステップS16で撮像により得られる画像の輝度を調整するために撮像条件を調整する例を説明した。これに限らず、図11のステップS16においては、撮像により得られる画像のコントラスト値を調整するための撮像条件の調整が行われてもよい。この場合、例えば、ホワイトバランス等の調整により、コントラスト値を調整することが可能となる。
(8−5)上記実施の形態では、図13のステップS25でカラー画像および単波長領域画像の輝度を調整するために、単波長領域画像データおよびカラー画像データのうちの少なくとも一方の画像データを補正する例を説明した。これに限らず、図13のステップS25においては、単波長領域画像データおよびカラー画像データの平均輝度を調整するための補正が行われてもよい。
(8−6)上記実施の形態では、画素ずらし処理時に、カラーCCD11がX方向およびY方向に移動されることにより観察対象物Sに対するカラーCCD11の相対的なX方向およびY方向の位置が変化されるが、これに限定されない。ステージ21がX方向およびY方向に移動されることにより観察対象物Sに対するカラーCCD11の相対的なX方向およびY方向の位置が変化されてもよい。
(8−7)上記実施の形態では、対物レンズ13がZ方向に移動されることにより対物レンズ13に対する観察対象物Sの相対的なZ方向の位置が変化されるが、これに限定されない。ステージ21がZ方向に移動されることにより対物レンズ13に対する観察対象物Sの相対的なZ方向の位置が変化されてもよい。
(9)請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
上記実施の形態においては、観察対象物Sが対象物の例であり、拡大観察装置300が拡大観察装置の例であり、カラーCCD11が撮像素子の例であり、撮像装置10が撮像部の例である。
また、アクチュエータ40が移動部の例であり、CPU220が処理部の例であり、青色用画素B、赤色用画素Rおよび緑色用画素Gがそれぞれ複数種類の画素の例であり、単波長領域画像データが合成画像データおよび単波長領域画像データの例であり、単波長領域画像が単波長領域画像の例である。
また、図7(c)の基準画像データID1が第1の画像データの例であり、図7(e)の他の画像データID2、図8(b)の他の画像データID3および図8(d)の他の画像データID4がそれぞれ第2の画像データの例であり、図9(c)の補正後の画像データID4Xが補正された第2の画像データの例である。
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。