JP6068010B2 - 顕微鏡システム - Google Patents

Description

本発明は、拡大して観察すべき被写体を撮像して撮像された画像を出力する顕微鏡システムに関する。

例えば、従来型の光学顕微鏡においても、デジタルカメラを装着し、デジタルカメラからモニタに拡大画像を出力可能になっているものがあったが、近年、撮像素子が組み込まれ、接眼レンズがなく、モニタに出力された拡大画像の観察、撮像を行うタイプの顕微鏡が増加している（例えば、特許文献１参照）。

特開２０１２−６５２５７号公報

ところで、光学顕微鏡は、比較的単純な装置であり、使用者が操作できるのは、例えば、レンズ交換による倍率の変更、ピント合わせ、ＸＹステージでの対象物の位置合わせ等である。いずれも比較的単純な操作であるが、顕微鏡の操作に慣れていない人にとっては、意外と難しい作業である。例えば、ピント合わせにおいては、光学顕微鏡は、通常のカメラに比較して焦点深度が小さく、かつ、ピントが合うような状況では対物レンズと対象物とが近接するので、対物レンズを対象物に接触させる虞があり、対象物にピントを合わせるのに繊細な操作が必要になる。

また、ＸＹステージで対象物または対象物内の観察位置を視野の中央部分に移動するのも、例えば、初心者には難しい操作になる。
例えば、比較的小さな倍率の場合に、視野の範囲が広く、比較的簡単に対象物またはその被観察位置を見つけて視野の中央部分に配置できるが、この状態で、倍率を高めた際に、視野が狭くなることで、被観察位置となる部分が視野内に入らなかった場合に、どこに被観察位置があるのかわからなくなり、ＸＹステージを操作して、狭い視野内に被観察位置を導くことが難しい。

ピント合わせにおいては、顕微鏡用のオートフォーカス装置が開発されており、自動化可能だが、汎用の顕微鏡で様々な種類の対象物を拡大表示する場合に、ＸＹステージにおける対象物（被観察位置）の位置合わせを自動化することが難しい。

本発明は、上記事情に鑑みてなされたものであり、顕微鏡で対象物（被写体）を拡大して表示する場合に、対象物の必要とされる部分の位置合わせを不要とし、対象物を撮像した画像データから対象物の必要とされる範囲の拡大画像を得られる顕微鏡システムを提供することを目的とする。

上記課題を解決するために、本発明の顕微鏡システムは、被写体を拡大して撮像するための顕微鏡システムであって、
被写体の画像を表示する表示手段と、
前記被写体の像を撮像エリアに拡大して結像させる光学結像手段と、
画素が縦横に並んだ撮像素子を備え、画像信号を出力する撮像手段と、
前記撮像手段を、前記撮像素子の画像を撮像する撮像領域より広い前記撮像エリア内で、最も短い単位移動距離として、１／２画素に対応する長さより長く、かつ、１／２画素に対応する長さの奇数倍になる長さ単位でＸ方向とＹ方向とに移動させる移動手段と、
前記移動手段により移動された前記撮像手段から画像信号として入力する複数箇所で撮像された複数の画像を繋ぎ合わせるように、前記画像信号を処理するとともに、この処理により繋げられた複数の画像からなる結合画像データを生成する信号処理手段と、
前記信号処理手段から出力された前記結合画像データを記憶し、記憶した前記結合画像データを前記表示手段に出力する画像処理手段と、
操作者が操作するとともに操作に基づいた信号を出力する操作手段と、
を備え、
前記画像処理手段は、前記操作手段から出力された信号に基づいて、記憶された前記結合画像データ中の任意の範囲を、任意の拡大倍率で拡大して前記表示手段に出力し、
前記撮像エリアは、前記撮像領域に略対応する大きさの複数の分割領域に分割され、
前記移動手段は、前記撮像領域が各分割領域に順次配置されるように前記撮像手段を移動させるとともに、各分割領域で前記撮像手段をＸ方向およびＹ方向にそれぞれ前記単位移動距離だけ移動させ、
前記撮像手段は、各分割領域内の異なる位置毎に撮像を繰り返し、
前記信号処理手段は、各分割領域で複数回撮像された画像を一つに合成するとともに、各分割領域で合成された画像を繋ぎ合わせた画像データを生成して出力することを特徴とする。

このような構成によれば、光学結像手段により画像エリアに例えば被写体の広い範囲の像を結像させ、この広い範囲に結像された像を移動手段により移動する撮像手段により撮像することができる。例えば、移動する撮像手段により画像エリア全体を撮像できる。
この際に撮像素子の単位面積当たり画素数は、画像エリアを広くしても変化せず、撮像手段の撮像素子の画像を撮像する撮像領域の面積と、撮像領域内の画素数（有効なフォトトランジスタやフォトダイオード等のセンサの数）により決まる。

したがって、画像エリアを広くするとともに、被写体のより広い範囲を画像エリアに結像させることにより、被写体の広い範囲を解像度を低下させることなく撮像して画像データを得ることができる。この場合に、通常の顕微鏡での作業のように被写体となるサンプルをＸ−Ｙステージ上で縦横に移動し、観察すべき範囲を探して拡大するような作業を行う必要はない。なお、本発明の顕微鏡システムでは、Ｘ−Ｙステージを設けなくともよく、サンプル（被写体）をセットする際に簡単に位置を合わせればよい。画像処理手段により撮像されて記憶された画像データの任意の範囲を、任意の倍率で表示手段に表示できるので、被写体を拡大して撮像した後に、被写体の撮像された範囲内の任意の位置を拡大して観察することができる。

また、この際には、上述のように解像度（単位面積当たりの画素数）を低下させることなく、被写体の広い範囲を撮像可能なので、表示手段に撮像された画像データの任意の範囲をデジタルズームで拡大する際に解像度が下がり過ぎるのを防止できる。
以上のことから、顕微鏡の操作に不慣れな使用者であっても、顕微鏡を操作することなく、表示手段を見ながら画像処理手段を操作することにより容易に被写体の見たい部分を拡大して見ることができる。

本発明の上記構成において、前記画像処理手段は、操作者が操作するとともに操作に基づいた信号を出力する操作手段を備え、前記操作手段から出力された信号に基づいて、記憶された前記画像データの観察すべき範囲を決定し、決定された範囲を前記操作手段から出力された信号に基づいて決定された拡大倍率で前記表示手段に表示することが好ましい。

このような構成によれば、使用者（操作者）は、顕微鏡で上述のように解像度を低下させることなく、被写体の広い範囲の画像データを取得して記憶しておくことにより、いつでも表示手段を見ながら操作手段を操作して被写体の観察すべき部分を探し出し、探し出された部分を表示手段により大きく拡大して観察することができる。また、画像データを保管しておけば、被写体の最初のときとは異なる部分を観察する必要が生じた場合でも、顕微鏡で被写体を撮像することなく、新たに観察する必要が生じた部分を拡大して表示手段に表示することができる。

本発明の上記構成において、前記撮像エリアは、前記撮像領域に略対応する大きさの複数の分割領域に分割され、
前記移動手段は、前記撮像領域が各分割領域に順次配置されるように前記撮像手段を移動させ、かつ、各分割領域に移動した前記撮像領域に結像された前記被写体の像を複数回繰り返し撮像し、
前記移動手段は、前記撮像手段が各分割領域のそれぞれで複数回撮像を繰り返す際に、前記撮像手段の前記撮像素子の各画素が、前記分割領域での最初の撮影時の前記撮像素子の画素の配置における前記画素どうしの間に配置されるように前記撮像手段を移動させ、
前記信号処理手段は、各分割領域で複数回撮像された画像を一つに合成するとともに、各分割領域で合成された画像を繋ぎ合わせた画像データを生成して出力することが好ましい。

このような構成によれば、広い範囲を撮像する際に解像度の低下を防止できるだけではなく、解像度を高めることができる。したがって、撮像された画像データの任意の範囲を任意の倍率で表示する際に、表示時の倍率を高くしても、解像度が低下し過ぎるのを防止できる。

なお、各分割領域で複数回撮像手段で撮像する方法としては、各分割領域で連続して複数回撮影した後に次の分割領域に移動して同様に複数回の撮影を繰り返す方法や、撮像エリアの全ての分割領域で一回ずつ撮像する動作を複数回繰り返す方法や、全ての分割領域を複数グループに分け、各グループに属する分割領域において、一回ずつ撮像する動作を複数回繰り返す方法などを用いることができる。

また、信号処理手段で一つの画像データを得る方法は、各分割領域毎に複数繰り返して撮像された画像を合成した画像データを得た後に、各分割領域毎に合成された画像データを繋ぎ合わせて一つの画像データを得るものとしてもよいし、各分割領域の同じ画素配置で撮影された画像を繋ぎ合わせて画像エリア全体に対応する画像データを各分割領域での撮影回数分だけ得た後に、これら繋ぎ合わされた複数の画像データを合成して一つの画像データを得るものとしてもよい。

本発明の上記構成において、前記撮像手段の前記撮像素子の各画素が、Ｘ方向とこのＸ方向に直交するＹ方向とにそれぞれ沿って並べて配置され、前記撮像手段が各分割領域で、複数回撮像を繰り返す際に、前記分割領域での最初の撮影時の前記撮像手段の前記撮像素子における画素の配置に対して、Ｘ方向に画素の配置が略１／２画素ずれた位置での撮像と、Ｙ方向に画素の配置が略１／２画素ずれた位置での撮像と、Ｘ方向およびＹ方向の両方に画素の配置が略１／２画素ずれた位置での撮像とを行うことが好ましい。

このような構成によれば、最終的に合成された画像データにおいては、最初の撮影時の画素の配置に対して、Ｘ方向に並んだ各画素の間に画素が新たに配置され、Ｙ方向に並んだ各画素の間に画素が新たに配置され、Ｘ方向とＹ方向を合成した斜め方向に並んだ各画素の間に新たに画素が配置される。これにより、４倍密に画素が配置された高解像度の画像データを得ることができる。これにより画像データの任意の範囲を高倍率で表示する際に解像度の劣化を防止することができる。なお、１／２画素とは、隣り合う画素の中心間の距離の１／２であり、例えば、後述の１／２画素ピッチである。

本発明の上記構成において、前記移動手段は、前記撮像手段を１／２画素に対応する長さの奇数倍になる長さ単位でＸ方向とＹ方向とに移動可能に設定され、各分割領域で前記撮像手段を移動する際に、Ｘ方向および／またはＹ方向に１／２画素に対応する長さの奇数倍になる長さだけ移動させることが好ましい。

上述ように各分割領域で最初に撮影された際の撮像素子の画素の配置に対して、各方向に１／２画素ずらすように撮像手段を移動する場合に、基本的には撮像手段を各方向に１／２画素の長さだけずらせばよいが、１／２画素の長さが短いので、精度高く１／２画素の長さだけ撮像手段を移動させることが難しい。

また、移動手段の精度を高めるには高いコストがかかるという問題があった。そこで、移動手段による撮像手段の移動の単位長さを１／２画素の長さの奇数倍とすることにより、撮像手段の単位移動長さが短くなるのを防止し、大きな単位長さで移動することができる。これにより、精度を高めるためのコストの増加を抑制することができる。また、移動手段が撮像手段を１／２画素の長さ単位で移動させる場合に比較して、１／２画素の長さの奇数倍の長さ単位で移動させることにより、移動手段による撮像手段の移動速度の向上や移動制御の簡便化を図ることができる。

本発明によれば、顕微鏡における操作を簡便化できるとともに、解像度を劣化させることなく、被写体の広い範囲を撮像した画像データを用いて、顕微鏡を用いた撮像後に、顕微鏡を操作することなく、被写体の観察すべき部分を探して拡大表示することができる。

本発明の第１実施形態に係る顕微鏡システムの概略構成を示すブロック図である。 前記顕微鏡の撮像エリアと、撮像エリア内をＸ−Ｙ方向に移動可能な撮像素子を備える撮像部の撮像領域との関係を示す図である。 前記撮像部で撮像される分割領域に分けられた撮像エリアを示す図である。 撮像エリアの各分割領域で撮像された画像データを繋ぎ合わせて一つにされた画像データを示す図である。 発明の第２実施形態に係る顕微鏡システムの撮像部を基本の撮像位置から１／２画素ピッチだけＸ方向、Ｙ方向、およびＸ方向＋Ｙ方向にそれぞれ移動した位置で撮像した場合の、各位置での撮像における画素の配置を示す図である。 前記撮像部の基本の撮像位置での空間周波数領域と、基本の撮像位置から１／２画素ピッチだけＸ方向、Ｙ方向、およびＸ方向＋Ｙ方向にそれぞれ移動した位置で撮像した場合に拡大される空間周波数領域を示す図である。

以下、図面を参照しながら本発明の第１実施形態について説明する。
図１に示すように、この実施形態の顕微鏡システムは、撮像装置（撮像部４）が内蔵されたものであり、かつ、基本的に静止画用の顕微鏡であり、撮像した静止画としての拡大画像をモニタに表示するようになっている。

この顕微鏡システムは、図１に示すように、顕微鏡システム内の顕微鏡として、被写体２（対象物）に撮像用の光を当てる照明部（照明手段）１、被写体２の拡大像を得るためのレンズ部（光学結像手段）３、撮像素子を備える撮像部（撮像手段）４、レンズ部３により被写体の拡大像が結像される撮像エリア５、撮像部４を撮像エリア５内でＸ−Ｙ方向に移動するためのＸ−Ｙ可動部（移動手段）６、撮像部４から出力される映像信号を処理する信号処理部（信号処理手段）７、レンズ部３、撮像部４、Ｘ−Ｙ可動部６および信号処理部７等を制御する制御部（制御手段）８を備える。

また、このような顕微鏡を有する顕微鏡システムには、顕微鏡での撮像時に被写体２を表示するとともに、後述の画像処理装置２１で取り扱う各種画像データを表示するためのモニタ（表示手段）２２を有し、信号処理部７から出力された画像データを処理する画像処理装置２１を有する。なお、画像処理装置２１は、顕微鏡部分と一体に設けられた構造であってもよいし、顕微鏡部分と別体に設けられた構成でもよい。また、画像処理装置２１は、パーソナルコンピュータ（ＰＣ）や、タブレット型（パッド型）の電子装置（コンピュータ）や、スマートフォン等であってもよい。また、モニタ２２は、顕微鏡での撮像時に使用するモニタと、画像処理装置２１で用いるモニタとに分けてもよい。

照明部１は、被写体２を適切な光量で照明する。照明部１による照明は、この実施形態において、被写体の裏面から照明して透過光で撮像する構成としている。なお、レンズ部３の方向より照明して反射光で撮像する構成としても良い。また、照明部１は、制御部８の制御により明るさの調整が可能になっている。

レンズ部３は、被写体２の被撮像範囲を撮像エリア５に拡大して結像させる。この顕微鏡においては、レンズ部３は、撮像部４の撮像素子の撮像領域９（図２に図示）の面積に対応じて像を結像させるのではなく、例えば、撮像素子の撮像領域９の面積より大きな面積、例えば、４倍や９倍やそれ以上の倍率の面積の撮像エリア５に対応して被写体２の像を結像させる。これは、後述のように撮像部４をＸ−Ｙ可動部６により移動させて複数個所で撮像エリア５を撮像することにより、実質的に大きな面積を有する撮像素子で撮像したのと同じ画像データを得るためである。

これにより、画素数の多い画像データを得ることができ、画像データの一部を部分的に抜き出してモニタに拡大表示する際（デジタルズームする際）に、所定の画素数の画像データから少ない画素数の範囲を抜き出すことにより生じる画像の画素数の減少による画像の劣化を防止することができる。すなわち、撮像時の画素数を撮像部４を移動することにより増加しておくことができ、画像データの各部分を抜き出した際の抜き出された部分の画素数が多くなるようにしておくものである。

また、レンズ部３により撮像エリア５で結像される被写体の像は、その視野範囲を広いものとする。例えば、従来の撮像装置付きの顕微鏡で最終的に撮像する際、すなわち、顕微鏡の視野内に適切な倍率で適切な範囲の被観察位置が配置されている際の視野範囲よりも大きな範囲、例えば、従来の顕微鏡の視野範囲の１０倍やそれ以上の範囲が撮像エリア５で結像されるようになっている。

この顕微鏡においては、被写体の観察すべき部分である被観察位置を適切な拡大倍率で見るか、撮像する場合に、従来のように撮像前に被観察位置を適切な拡大倍率で視野の中央に配置してから撮像するのではなく、撮像時に被写体の被観察位置を含む広い範囲を撮像して画像データを取得し、この画像データの表示に際し、例えば、低倍率で被観察位置を特定し、特定された被観察位置をデジタルズームにより高倍率で表示させることで、目的とする被観察位置（範囲）または観察に適した被観察位置を観察に適した拡大倍率で表示させるようになっている。

したがって、被写体の結像された像の撮像範囲である撮像エリア５内に含まれる被写体の範囲が上述のように最終的に観察される被観察範囲より広い範囲である必要がある。
なお、レンズ部３は、例えば、レンズ交換による倍率の変更や、ピント合わせを行う機構を有し、制御部８の制御により、倍率の変更とピント合わせが可能になっている。なお、ピント合わせは、オートフォーカスを可能にしてもよい。

撮像部４は、例えば、デジタルカメラ等で使用される周知のＣＣＤやＣＭＯＳの撮像素子を備えるものである。この撮像部４は、Ｘ−Ｙ可動部６により、撮像エリア５内をＸ方向およびＹ方向に移動可能になっている。上述のように撮像部４の撮像素子の撮像領域９より広い範囲である撮像エリア５内を移動して被写体２の像を撮像するようになっている。なお、撮像部４における撮像は、制御部８に制御されるもので、後述のようにＸ−Ｙ可動部６により移動させられた各移動位置で自動的に撮像を行うようになっている。

撮像エリア５は、レンズ部３により被写体２の像が結像される平面（薄い平板上のスペース）であり、撮像領域９（撮像部４）の移動範囲となるエリアであるが、たとえば、外光を遮断するように図示しないケーシング内に配置され、レンズ部３から光が入射するようになっている。
Ｘ−Ｙ可動部６は、周知の自動Ｘ―Ｙテーブルとしての機能を有するものであり、制御部８の制御により撮像部４を予め設定されたＸＹ座標位置に移動するようになっている。
また、Ｘ−Ｙ可動部６は、例えば、ステッピングモータとプーリとベルトにより撮像部４をＸ方向およびＸ方向に直交するＹ方向に移動させる。なお、リニアステッピングモータを用いるものとしてもよい。

信号処理部７は、後述のように撮像エリア５を複数箇所に分割して撮像された画像の画像信号を繋ぎ合わせて一つの画像データを生成する処理と、後述のように画素をずらして複数回撮像された画像の画像信号を合成して一つの画像データを生成する処理とを行う。なお、これらの処理は、周知の画像処理方法により行うことができる。

制御部８は、各種スイッチ、レバー、ダイヤル等を有する操作盤を備え、操作入力が可能になっている。
制御部８は、操作盤からの操作入力により照明部１の明るさの調整を行う。なお、光センサを備え。外光に対応して明るさを自動調整するものとしてもよい。
また、制御部８は、操作盤からの操作入力によりレンズ部３における倍率とピント合わせを制御する。なお、ピント合わせをオートフォーカスとしてもよい。なお、ピント合わせでは、撮像部４を撮像エリア５の所定位置に固定した状態で行うものとしてもよい。

また、制御部８は、撮像部４を制御して、上述のように自動で撮像を行わせる。
また、制御部８は、Ｘ−Ｙ可動部６を制御して、撮像部４を撮像エリア５の複数の配置位置（分割領域５ａ〜ｉ）に移動させる制御を行う（なお、後述の第２実施形態において、各配置位置で後述のように画素をずらすための移動を制御する）。
また、制御部８は、信号処理部７を制御し、上述の処理を行わせる。

画像処理装置２１は、記憶した画像データの拡大、縮小や、表示位置の移動を行うもので、操作手段として、各種ポイントデバイスのいずれかを備え、画像の表示位置の移動、拡大、縮小等を指示することが可能になっている。なお、モニタ２２の画面にポインティングデバイスとしてタッチパネル（ペンタブレット含む）を設けるものとしてもよい。

次に、撮像エリア５内における撮像部４のＸ−Ｙ可動部６による移動について説明する。
例えば、図２および図３に示すように、撮像エリア５内の撮像部４の撮像素子の撮像領域９の面積に対して、例えば、撮像エリア５の面積が９倍等の倍率で広くなっている。なお、撮像エリア５は、撮像領域９より大きい必要があり、少なくとも４倍以上あることが好ましく、顕微鏡のサイズやコスト的に許される範囲で広いことが好ましい。また、撮像素子の撮像領域９とは、撮像素子のフォトセンサがマトリックス状に配置されている部分であり、結像された像を撮像可能な領域である。
自動Ｘ−ＹテーブルとしてのＸ−Ｙ可動部６により、撮像部４が移動すると、撮像部４の撮像素子の撮像領域９が撮像エリア５上を移動することになる。

例えば、撮像エリア５の面積が撮像領域９の９個分の面積の場合（撮像エリア５と撮像領域が相似形であることが好ましい）に、撮像エリア５は、図３に示すように、撮像領域９のサイズに対応して９つの分割領域５ａ〜ｉに分割される。撮像部４の撮像領域９は、撮像エリア５の各分割領域５ａ〜ｉに移動させられる。すなわち、撮像領域９が撮像エリア５の各分割領域５ａ〜ｉに配置されるように撮像部４が９箇所の各分割領域５ａ〜ｉにＸ−Ｙ可動部６により移動させられ、各分割領域５ａ〜ｉで撮像素子による撮像が行われる。なお、このような複数回の撮像において、撮像領域９の周縁部が前の撮像時の撮影領域９の周縁部と重なるように撮像部４を移動してもよい。

図４に示すように、撮像エリア５の各分割領域５ａ〜ｉで撮像部４により撮像された例えば、９つの画像データ５１〜５９は、画像信号として信号処理部７に送られる。信号処理部７で撮像エリア５の各分割領域５ａ〜ｉにそれぞれ対応する例えば９つの画像データ５１〜５９が一つの画像データ５０に繋ぎ合わされてモニタ２２を備えた画像処理装置２１に出力される。なお、各画像データ５１〜５９は、撮像エリア５の各分割領域５ａ〜ｉに結像された像を撮像した画像であり、各画像データ５１〜５９を、その画像データ５１〜５９が撮像された分割領域５ａ〜ｉの配置に対応して配置して各画像データ５１，５９を繋げることにより、撮像エリア５で結像された像の全体を示す画像データ５０を得ることができる。

このような顕微鏡にあっては、被写体を含む被撮像範囲の最終的に撮像されて利用される範囲より広い範囲を、撮像エリア５に結像させ、撮像エリア５より小さい撮像領域９を有する撮像部４をＸ−Ｙ方向（縦横）に移動させることにより、通常の顕微鏡で撮像される被撮像範囲より広い範囲を撮像することができる。また、この際に撮像領域９を移動することで、広い被撮像範囲を撮影しているので、例えば、撮像領域９に広い被撮像範囲全体を結像させて撮像させた場合に比較して、解像度の高い画像（画素数の多い画像）を得ることができる。したがって、画像データから一部を抜き出して高倍率で表示しても、解像度が低くなり過ぎるのを防止できる。

この場合に、撮像時（撮像前）に高い拡大倍率で拡大するとともに、必要とされる被観察位置が含まれた被撮像範囲を決定してから撮影を行う必要はない。すなわち、被撮像範囲のどこかに必要とされる被観察位置が含まれていればよい。この場合に被撮像範囲を広く設定しているので、被写体としてのサンプルのセット位置が正しければ、そのままピントを合わせて撮像することにより、被観察位置が含まれる画像データを得ることができる。
上述のように得られて記憶された画像データには、被観察位置を含む広い範囲が含まれているので、この広い範囲の画像データから被観察位置を観察に適した倍率で拡大するとともに、被観察位置を切り抜いた状態の画像データを作成して記憶することになる。

なお、この際に被観察位置をモニタ２２上で探す場合に、表示倍率（デジタルズームの倍率）を任意に変えながら観察位置を探すことができる。すなわち、低解像度の表示として広い範囲をモニタに表示させ、広い範囲から被観察位置と思われる部分を探し、探した部分を拡大して被観察位置であることを確認する。さらに、被観察位置の表示に適した倍率および撮像範囲を設定する。この際には、実際に撮像するのではなく、記憶した画像データから被観察位置を最適なデジタルズームの倍率で表示できる状態にするために、画像データから被観察位置の画像部分を切り取ること、言い換えれば画像データから不必要な部分をトリミングすることになる。

したがって、顕微鏡の使用者（ユーザ）は、デジタルズーム処理により、画像を拡大することにより、任意の倍率の拡大画像を、レンズの交換なしに得ることができる。すなわち、使用者が顕微鏡に慣れておらず、顕微鏡の視野から観察すべき被観察位置を探し出し、この被観察位置を適切な倍率で拡大して表示するのに時間を要するような場合でも、この顕微鏡では、被写体の一部である被観察位置を拡大表示する目的の場合に、例えば、被写体全体を撮像して画像データを得た後に、顕微鏡に接続されたモニタ２２上で画像処理装置２１により、上述のように被観察位置を探し出し、探し出された被観察位置を適切な倍率で表示させることができる。

すなわち、通常顕微鏡で撮像時に行われている作業の一部を、顕微鏡での被写体の撮像後に撮像された画像データを用いて行うことができる。この場合に、モニタ２２上で操作を行うことができるので、顕微鏡に不慣れな使用者でも、被観察位置を拡大して表示する操作を容易に行うことができる。

この際に、上述のように広い撮像エリア５を撮像部４を移動させて複数個所で撮像させたものを繋ぎ合わせて広い撮像範囲を撮像しているので、撮像部４の撮像素子の画素数より多い画素数の画像データを得ることができる。これにより、デジタルズームで表示倍率を高める際の解像度の低下を抑制できる。

また、記憶されている画像データの任意の部分を選択、拡大することにより任意の位置を拡大して観察することができる。画像は、例えば画像処理装置２１としてのホストＰＣなどに取り組みファイリングすることにより、撮像以降はいつでも上述のように任意の倍率で、任意の位置を観察できる。この時、低倍率の画像で観察すべき位置を確認した後、拡大する部分の位置、倍率を指定するだけで、簡単に被写体を拡大して観察できる。また、同じ種類の被写体を用いて異なる被観察位置を観察するような場合には、再び、顕微鏡で撮像を行わなくても、過去に撮像された画像データから被観察位置のデータを探し出すことも可能である。

次に、本発明の第２実施形態について説明する。
第１実施形態では、上述のようにレンズ部３により撮像エリアで結像された像に対して撮像部４を移動可能にすることにより、解像度を低下させることなく、被写体の撮像範囲を広げることができる。それに対して、第２実施形態では、第１実施形態において解像度を下げることなく広範囲の撮像を可能にするために、撮像部４が撮像エリア５内をＸ−Ｙ可動部６により移動可能になっている構成を利用して、解像度を下げずに撮影範囲を広げるだけではなく、撮像素子に基づく解像度より高い解像度での撮像を可能にしている。

第２実施形態の顕微鏡システムは、第１実施形態の顕微鏡システムと同様の構成を有するとともに、撮像部４が上述のように移動可能なことから、撮像部４で所定範囲（例えば、撮像エリア５の各分割領域５ａ〜ｉ）を撮像する場合に、同じ所定範囲を複数回撮像するとともに、この際に、各撮像時に、画素の配置がずれるように、撮像部４を少しだけずらすように移動させる。このようにすることで、画素の配置が異なる複数回の撮像により得られた画像データを重ねあわせて、画像データ上の画素数を多くして、解像度を高めることができる。

図５に示すように、第２実施形態では、撮像部４を移動させることで、画素の配置をずらした撮像を複数回行うとともに、各撮像毎に移動方向を異なるものとする。この場合に、同じ範囲を撮像していても、画素の配置がずれているので、これら複数回の撮像により得られた画像データを合成すると、一回の撮像時より高い解像度の画像データを得ることができる。すなわち、最初に撮影された画像データの画素の間に後から撮像された画像データの画素が配置されることで、解像度を高くすることができる。

以下の説明で、画素ピッチとは、例えば、複数列に並んで配置された各画素において、隣り合う画素の中心間の距離である。また、撮像素子において、各画素は、縦横にマトリックス状に配置されており、例えば、横方向（Ｘ方向）に沿う画素の列のピッチであるＸ方向画素ピッチと、縦方向（Ｙ方向）に沿う画素の列のピッチであるＹ方向画素ピッチとがある。なお、Ｘ方向画素ピッチと、Ｙ方向画素ピッチとは、同じ距離であっても少し異なる距離であってもよい。

この実施形態では、一か所の撮像（例えば、一つの分割領域５ａ〜ｉの撮像）において、基準位置での撮像と、基準位置での撮像の画素の配置に対して、画素の配置をＸ方向に沿って１／２Ｘ方向画素ピッチだけずらした撮像と、画素の配置をＹ方向に沿って１／２Ｙ方向画素ピッチだけずらした撮像と、画素の配置をＸ方向に沿って１／２Ｘ方向画素ピッチずらすとともに、Ｙ方向に沿って１／２Ｙ方向画素ピッチずらした撮像とを行うようになっている。

ここで、画素の配置をずらす際に、上述の１／２Ｘ方向画素ピッチまたは１／２Ｙ方向画素ピッチ（以下の説明で、これらＸ方向画素ピッチとＹ方向画素ピッチをいずれも１／２画素ピッチと称する場合がある）の奇数倍となる距離だけ撮像部４を移動するようになっている。Ｘ−Ｙ可動部６により撮像部４の移動を例えばステッピングモータ（またはリニアステッピングモータ）で駆動するものとした場合に、撮像部４を１／２画素ピッチだけ移動しようとすると、ステッピングモータの１ステップ分の動作により撮像部４が移動する距離が１／２画素ピッチまたはそれより短い距離となりＸ−Ｙ可動部６を精度の高い構造とする必要がある。

その場合に構造的に精度をだすことが困難であったり、精度をだすために高いコストがかかったりする虞がある。そこで、Ｘ−Ｙ可動部６による撮像部４の最も短い移動距離（単位移動距離）を１／２画素ピッチの奇数倍とすることにより、最も短い移動距離を長く設定できる。これにより、画素の配置を各撮像で１／２画素ピッチだけずらすことができ、かつ、コストの低減を図ることができる。この実施形態では、１／２画素ピッチの７倍となる距離を撮像部４の最低移動距離、例えば、ステッピングモータの１ステップ分の移動距離としている。なお、奇数倍は７倍に限定されるものではなく、それより小さな倍率であっても、大きな倍率であってもよい。

画素の配置を１／２画素ピッチずらして撮影する際に、１／２画素ピッチの奇数倍ずらすものとすると、得られた画像データの周縁部では、奇数倍の画素の長さ部分で、画像データの中央部の画素の密度に対して、ずらした画素の数が少なくなり、画像データの周縁部の画像データの解像度が低くなってしまうが、解像度が低くなるのは画像データの周縁部だけであり画像データの被観察位置が解像度が落ちる周縁部より内側にあれば特に問題がない。

また、画像データの周縁部を使えないものとしても、元の撮像範囲を広く設定しておくことにより、撮像範囲が多少狭くなっても問題ない。また、上述のように撮像エリア５を９分割して、各分割領域５ａ〜ｉに撮像領域９を移動して撮像するとともに、各分割領域５ａ〜ｉで１／２画素ピッチの奇数倍の距離だけずらしての撮影を３回行う場合に、各分割領域５ａ〜ｉの周縁部が使えなくなるわけではなく、分割領域５ａ〜ｉで他の分割領域５ａ〜ｉと隣り合う周縁部は、各分割領域５ａ〜ｉで画素をずらして撮影する際に画素が補われることになり、分割領域５ａ〜ｉの周縁部であっても高解像度の状態になる。すなわち、分割領域５ａ〜ｉ毎の画像データ５１〜５９を繋ぎ合わせて生成された画像データ５０の周縁部が低解像度の状態になる。

図５には、最終的に合成された矩形状の画像データの右上の角部が図示されている。図５において、実線１０ａで囲まれた範囲が撮像部４（撮像領域９）の基準となる位置（基準の画素配置になる位置）での撮像範囲を示し、灰色の丸１０が、基準位置での撮像における各画素の中心位置を示す。

また、二重線１１ａで囲まれた範囲が基準位置に対して撮像部４をＸ方向に１／２Ｘ方向画素ピッチの奇数倍となる距離だけ移動した場合の撮像範囲を示し、白抜きの三角１１が、基準位置に対してＸ方向に１／２画素ピッチの奇数倍の長さだけずらして撮像した場合の各画素の中心位置を示す。

また、三重線１２ａで囲まれた範囲が基準位置に対して撮像部４をＹ方向に１／２Ｙ方向画素ピッチの奇数倍となる距離だけ移動した場合の撮像範囲を示し、白抜きの丸１２が、基準位置に対してＹ方向に１／２画素ピッチの奇数倍の長さだけずらして撮像した場合の各画素の中心位置を示す。

また、点線１３ａで囲まれた範囲が基準位置に対して撮像部４をＸ方向に１／２Ｘ方向画素ピッチの奇数倍となる距離だけ移動し、かつ、Ｙ方向に１／２Ｙ方向画素ピッチの奇数倍となる距離だけ移動した場合の撮像範囲を示し、白抜きのひし形１３が、基準位置に対してＸ方向に１／２画素ピッチの奇数倍の長さをずらし、さらに、Ｙ方向に１／２画素ピッチの奇数倍の長さだけずらして撮像した場合の各画素の中心位置を示す。なお、点線１３ａで囲まれた範囲では、基準となる画素配置（灰色の丸１０）と、Ｘ方向にずらした画素配置（白抜き三角１１）と、Ｙ方向にずらした画素配置（白抜き丸１２）と、Ｘ方向およびＹ方向にずらした画素配置（白抜きのひし形１３）とが重なった状態になる。

画素をずらした異なる位置で４回撮像することにより、１回の撮像に比較して画素が４倍（４倍密で）配置されることになり、高解像度とすることが可能になる。すなわち、１／２画像ピッチの奇数倍の長さずらして４回（基準位置の撮像含む）撮像して得られた画像データとしての画像信号が信号処理部７に出力され、信号処理部７で４回分の撮像データを重ね合わせて図５に示す画素配置の画像データを生成してモニタ２２等に出力する。

ここで、空間的な周期をもつ構造の性質である空間周波数に基づいて、上述のように画素をずらして画像を撮像した場合についての効果を説明する。なお、マトリックス状に配置されたセンサにより順次画像を撮像することは、連続信号を一定の間隔をおいて測定することにより、離散信号として収集するサンプリングにあたることになる。

図５に示すように、１／２画素ピッチだけ画素をずらした画素の配置を示す位相は、元の撮像部４の撮像素子の画素配置（撮像素子のマトリックス状の各センサの配置）の位相、すなわち、灰色の丸１０の配置で示される位相に対して、Ｘ方向に１／２画素ピッチずらした白抜き三角１１の配置で示される位相と、Ｙ方向に１／２画素ピッチずらした白抜きの丸１２の配置で示される位相と、Ｘ方向に１／２画素ピッチ、Ｙ方向に１／２画素ピッチずらした白抜きのひし形１３の配置で示される位相の３つの位相がある。

画素の位置をずらす前のセンサの画素位置（灰色の丸１０の配置）の位相を含めると、図５における画素の配置の位相は、すべてで４位相ある。なお、以下の説明において、画素をずらす前の灰色の丸１０の配置で示される位相を位相１０とし、この位相１０に対してＸ方向に１／２画素ピッチずらした白抜き三角１１の配置で示される位相を位相１１とし、位相１０に対してＹ方向に１／２画素ピッチずらした白抜きの丸１２の配置で示される位相を位相１２とし、Ｘ方向に１／２画素ピッチ、Ｙ方向に１／２画素ピッチずらした白抜きのひし形１３の配置で示される位相を位相１３とする。

この実施形態の撮像では、まず、撮像素子のセンサの画素配置（灰色の丸１０で示される画素配置）で撮像する。この時に撮像された画像信号の空間周波数範囲は、図６のａの領域になる。なお、図６は、横軸がサンプリング周波数（ｆｓ）で縦軸が基準信号（ｆｌ）の周波数である。
なお、ナイキスト定理（標本化定理）では、サンプリング周波数の１／２の周波数（ナイキスト周波数）まで、サンプリング前の原信号（連続信号）を再現できるものとされている。言い換えれば、サンプリング周波数は、サンプリング前の原信号（連続信号）を再現する上では、原信号に含まれる最大周波数の２倍の周波数に設定する必要がある。

位相１０での撮像後に、上述のように位相１０に対してＸ方向に１／２画素ピッチ、Ｙ方向に１／２画素ピッチずらした位相１３の撮像を行い、基準位置での画素位置の撮像画像と、位相１３の撮像画像を合成して、１つの画像を合成する。なお、この画像の合成に際しては、位相１０の画像に位相１３の画像を挿入し、さらに未だ撮像していない位相１１で配置される画素の位置と、位相１２で配置される画素の位置との値を、その回りの画素（位相１０および位相１３の画素）の値から周知の内挿（補間）法により生成する。

生成された位相１１の画像を合成される画像の位相１１の位置に挿入するとともに、生成された位相１２の画像を位相１２の位置に挿入する。
これにより、Ｘ方向、Ｙ方向共に２倍のサンプルを持つ画像を合成できる。この合成した画像信号の空間周波数範囲は、ａの領域に、ｂ，ｃの領域を足した領域となり、空間周波数範囲は広がる。

次に、位相１１の画像を撮像して、上記の合成画像の位相１１の画像（内挿で作成した画像）と入れ替える。これにより、空間周波数領域は、さらにｄの領域が再現できる範囲となり、さらに空間周波数範囲は広がる。

さらに、位相１２の撮像を行い、位相１２の画像を使って、内挿により生成された位相１２の画像を撮像された位相１２の画像と入れ替えることにより、同様に画像合成すると、空間周波数領域は、さらにｅの領域が再現できる範囲となり、さらに空間周波数範囲は広がる。以上の結果、本発明によれば、被写体の広い範囲の撮像を高精細に撮像できる。
ここで、撮像素子として、１４００万画素の撮像素子を使い、１／２画素ピッチだけ各方向に位相をシフトした画像を合成すると、５６００万画素相当の撮像素子で撮像した画素が得られる。

また、例えば、上述のように撮像エリア５が撮像部４の撮像素子の撮像領域９の９倍となっていると、上述の４回の撮像を異なる９つの領域で行うことにより、５６００万画素の９倍のエリア、すなわち、５億４００万画素の画像データが得られることになる。

最終出力の解像度をＶＧＡ（６４０画素×４８０画素）、最少の倍率を１００倍とすると、デジタルズーム処理により、画質劣化なく１３００倍程度までの拡大ができる。

このような第２実施形態の顕微鏡システムにおいては、１／２画素ピッチずらした画像データを合成することにより、４倍蜜の画素数で画像データを得られるので、デジタルズームで表示倍率を上げる際に、元の画像データの解像度を高くすることにより、得られる被観察範囲を含む適切な表示倍率の画像データを得た際に、解像度が低くなり過ぎるのを防止できる。

たとえば、撮像エリア５の面積を撮像部４の撮像領域９の面積の９倍にし、画素をずらすことにより解像度を４倍にすると、画像データの画素数は、例えば、撮像素子の画素数の約３６倍になる。画素数だけで考えれば、画像データの３６分の１となる部分を元の画像データと同じ大きさで表示しても、もともとの撮像素子の解像度での画像データの表示になる。

なお、Ｘ方向と、Ｙ方向と、Ｘ方向にＹ方向を加えた方向とに、それぞれ１／２画素ピッチだけ画素の配置をずらして上述のように４回撮像した場合には画素が４倍密で配置されるが、例えば、１／３画素ピッチずつ画像の配置をずらして９回撮像してもよく、この場合には画素を９倍密で配置できる。

この場合、例えば、基準位置での撮像、Ｘ方向に１／３Ｘ方向画素ピッチずらした撮像、Ｘ方向に２／３Ｘ方向画素ピッチずらした撮像、Ｙ方向に１／３Ｙ方向画素ピッチずらした撮像、Ｙ方向に２／３Ｙ方向画素ピッチずらした撮像、Ｘ方向に１／３Ｘ方向画素ピッチずらすとともにＹ方向に１／３Ｙ方向画素ピッチずらした撮像、Ｘ方向に２／３Ｘ方向画素ピッチずらすとともにＹ方向に２／３Ｙ方向画素ピッチずらした撮像、Ｘ方向に１／３Ｘ方向画素ピッチずらすとともにＹ方向に２／３Ｙ方向画素ピッチずらした撮像、Ｘ方向に２／３Ｘ方向画素ピッチずらすとともにＹ方向に１／３Ｙ方向画素ピッチずらした撮像を行うことになる。

また、同様に１／４画素ピッチずつ画像の配置をずらして１６回撮像してもよく、この場合には画素を１６倍密で配置できる。

２ 被写体
３ レンズ部（光学結像手段）
４ 撮像部（撮像手段、撮像装置）
５ 撮像エリア
６ Ｘ−Ｙ可動部（移動手段）
７ 信号処理部（信号処理手段）
９ 撮像領域
２１ 画像処理装置（画像処理手段）
２２ モニタ（表示手段）

Claims (1)

1. 被写体を拡大して撮像するための顕微鏡システムであって、
   被写体の画像を表示する表示手段と、
   前記被写体の像を撮像エリアに拡大して結像させる光学結像手段と、
   画素が縦横に並んだ撮像素子を備え、画像信号を出力する撮像手段と、
   前記撮像手段を、前記撮像素子の画像を撮像する撮像領域より広い前記撮像エリア内で、最も短い単位移動距離として、１／２画素に対応する長さより長く、かつ、１／２画素に対応する長さの奇数倍になる長さ単位でＸ方向とＹ方向とに移動させる移動手段と、
   前記移動手段により移動された前記撮像手段から画像信号として入力する複数箇所で撮像された複数の画像を繋ぎ合わせるように、前記画像信号を処理するとともに、この処理により繋げられた複数の画像からなる結合画像データを生成する信号処理手段と、
   前記信号処理手段から出力された前記結合画像データを記憶し、記憶した前記結合画像データを前記表示手段に出力する画像処理手段と、
   操作者が操作するとともに操作に基づいた信号を出力する操作手段と、
   を備え、
   前記画像処理手段は、前記操作手段から出力された信号に基づいて、記憶された前記結合画像データ中の任意の範囲を、任意の拡大倍率で拡大して前記表示手段に出力し、
   前記撮像エリアは、前記撮像領域に略対応する大きさの複数の分割領域に分割され、
   前記移動手段は、前記撮像領域が各分割領域に順次配置されるように前記撮像手段を移動させるとともに、各分割領域で前記撮像手段をＸ方向およびＹ方向にそれぞれ前記単位移動距離だけ移動させ、
   前記撮像手段は、各分割領域内の異なる位置毎に撮像を繰り返し、
   前記信号処理手段は、各分割領域で複数回撮像された画像を一つに合成するとともに、各分割領域で合成された画像を繋ぎ合わせた画像データを生成して出力することを特徴とする顕微鏡システム。

Images