JP3737483B2

JP3737483B2 - 実時間全焦点顕微鏡カメラ

Info

Publication number: JP3737483B2
Application number: JP2002580630A
Authority: JP
Inventors: 光太郎大場; 朋彦長瀬; 弘史永井
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2001-03-30
Filing date: 2001-10-29
Publication date: 2006-01-18
Anticipated expiration: 2021-10-29
Also published as: JPWO2002082805A1; EP1381229B1; WO2002082805A1; HK1059523A1; EP1381229A4; US20040131348A1; EP1381229A1; DE60136968D1

Description

技術分野
本発明は、焦点が視野全部に常時合っている全焦点画像を動画で提供する実時間全焦点顕微鏡顕微鏡カメラに関する。
背景技術
近年、細胞や遺伝子の操作、或いはマイクロマシンの組み立て等、顕微鏡カメラを見ながら行う作業が増えている。
これはレンズを経由して物を見る作業になるので、多くの場合、レンズのピント（焦点）を合わせる必要がある。つまり、作業者は、顕微鏡カメラの焦点距離を手動で動かして物体の上下方向の各部に焦点を合わせる。この焦点合わせに伴って得られる物体上下方向各部の画像を観察することで、作業者の脳裏には物体の３次元形状が構築される。作業者は、この脳裏に構築した形状を頼りに所望の作業を行うことになる。しかし、この作業は、時間が掛かり且つ多大な労力を要するので、作業能率が低く、作業者に相当な作業上の負担を強いている。また、目的とする作業を行うには、作業者の熟練も必要になっている。
人間が裸眼で物を見る場合、通常は、近いものにも遠いものも自動的にピント（焦点）が合う。これは目が可変焦点機構として機能しており、近接のピントが合った画像と遠景のピントが合った画像が自動的に脳により合成されるからである。
この人間の目に拠る可変焦点機構と同じように、ピント操作を必要とせず、全視野に常時ピントが合っているカメラとして、全焦点顕微鏡カメラが注目されている。この全焦点顕微鏡カメラとしては、従来、レンズを機械的に移動させて全焦点にピントを合わせる方式の顕微鏡カメラが知られていた。
しかしながら、従来のレンズ位置を機械的に移動させる方式の全焦点顕微鏡カメラの場合、全焦点画像を得るのに数秒から数分の時間が掛かり、実時間の観察には程遠く、このカメラを用いた作業能率は低かった。
発明の開示
本発明は、このような従来の全焦点顕微鏡カメラの現状に鑑みてなされたもので、全焦点画像を高フレームレートの動画として表示でき、あたかも人間の目で直接観察しているときのように実時間性（ライブ性）に優れた全焦点画像を得ることができる実時間全焦点顕微鏡カメラを提供することを、その目的とする。
本発明に係る実時間全焦点顕微鏡カメラの概略原理は、以下のようである。
この実時間全焦点顕微鏡カメラは、焦点距離を高速に変更可能な可変焦点機構を用いる。この可変焦点機構は、例えば１秒間に１００回以上の繰り返しで焦点距離を連続的に変化させることができる。実時間性（リアルタイム性）の高い動画の表示には、３０Ｈｚ以上のフレーム周波数が必要である。そこで、一例として、このレンズの焦点距離を繰り返し周波数３０Ｈｚ以上の周波数で変化させ、１／３０秒の間に多数（複数フレーム）の画像を取り込み、この各画像の中で焦点の合っている部分を抽出する。この抽出した部分の画像を１フレームに合成して全焦点画像を生成する。この全焦点画像の生成は１秒間に３０回繰り返される。これにより、人間の目と同じように実時間全焦点機能を持った実時間全焦点顕微鏡カメラが提供される。
上述の原理に基いて、本発明では、実質的に実時間と見なせる高速な繰返し数に応じて焦点距離を変更可能な可変焦点機構と、この可変焦点機構を駆動してその焦点距離を前記繰返し数に応じて変更させるレンズ駆動装置と、前記繰返し数に対応した繰返し周期毎に複数回の画像読込みを行う高速なフレームレートで前記可変焦点機構を介して対象物を撮影する高速撮影装置と、この高速撮影装置で撮影した画像を実時間で全焦点画像に処理する画像処理装置とを備えたことを特徴とする実時間全焦点顕微鏡カメラが提供される。
好適には、前記画像処理装置で処理された全焦点画像を表示する表示装置を備える。また好適には、前記高速撮影装置は、撮影の画素領域を成す複数の分割領域又は複数の画素から並行して同時に行われる画像データの読出し、及び、前記画素領域の各画素から画像データを読み取るときに行われる読取り画素数の低減のうち、少なくとも一方の手法に基づいて撮影を行うように構成される。
更に好適な一例として、前記画像処理装置は、前記可変焦点機構の焦点距離を所定範囲で可変しながら得た複数の２次元画像の夫々に対して画素毎にＩＱＭ（Image Quality Mcasure）の値を評価する評価手段と、この評価手段で評価されたＩＱＭの値に基づいて最も焦点が合った画素の画像データを貼り合わせて前記全焦点画像を作成する画像作成手段と有する。この場合、例えば、前記評価手段は、前記複数の２次元画像の夫々に対して、画素毎の画像データに、局所空間周波数の分析と平滑化の処理とを行う手段である。また、前記画像作成手段は、前記最も焦点が画素の画像データから、前記対象物のボケ画像が当該対象物の周辺部を覆うことに起因した画素の画像データを除去する除去手段を含むことが望ましい。この除去手段により、ゴースト像の殆ど無い信頼性の高い全焦点画像が得られる。この除去手段は、一例として、前記評価手段で評価されたＩＱＭの値を、予め定めたＩＱＭのしきい値に拠る弁別処理を施すように構成される。
【図面の簡単な説明】
添付図面において、
第１図は、本発明に係る実時間全焦点顕微鏡カメラの第１の実施形態における全体構成を示す概略ブロック図、
第２図は、この実時間全焦点顕微鏡カメラの機能を中心に示す機能ブロック図、
第３図は、高速撮影カメラの撮影タイミングを説明する図、
第４図は、高速撮影カメラのカメラセンサ及びカメラ出力回路の構成及び動作を説明する模式図、
第５図は、画像処理装置で行われる簡略化したＩＱＭの値の評価処理を説明する機能ブロック図、
第６Ａ図〜第６Ｃ図のそれぞれは、全焦点画像と比較するために記載した単一焦点画像の模式図、
第６Ｄ図は、第６Ａ図〜第６Ｃ図の単一焦点の画像と比較して記載した全焦点画像の一例を示す模式図、
第７Ａ図は、本発明の第２の実施形態におけるゴースト像を模式的に例示する図、
第７Ｂ図は、第７Ａ図と対比して記載した、本発明の第２の実施形態においてゴースト除去の処理を行って得た画像を模式的に例示する図、及び、
第８図は、本発明の実時間全焦点顕微鏡カメラの第２の実施形態により実行される、ゴースト除去処理を含む画像処理のアルゴリズムを例示するフローチャート、である。
発明を実施するための最良の形態
以下、添付図面を参照して、本発明に係る実時間全焦点顕微鏡カメラの実施の形態を説明する。
（第１の実施の形態）
第１図〜第６図を参照して、本発明に係る実時間全焦点顕微鏡カメラの第１の実施形態を説明する。
第１図に、実時間全焦点顕微鏡カメラの全体の概略構成を示す。この顕微鏡カメラは、対象物ＯＢからの反射光を入射させる光学系１１、この光学系１１を取り付けた高速撮影装置としての高速撮影カメラ（実時間全焦点顕微鏡カメラのカメラヘッドを成す）１２とを備える。この実時間全焦点顕微鏡カメラは更に、この高速撮影カメラ１２の撮影データを取り込んで高速に処理して全焦点画像を生成する画像処理装置１３と、この画像処理装置１３が生成した全焦点画像に色処理を施すＲＧＢ出力ボード１４と、このＲＧＢ出力ボード１４で色処理された全焦点画像を表示するモニタ１５とを備える。また、この顕微鏡カメラには、レンズ駆動装置１６が備えられる。
第２図には、上述の構成を有する実時間全焦点顕微鏡カメラの機能ブロック図を示す。高速撮影カメラ１２は、カメラセンサ１２Ａと、このカメラセンサの出力信号を処理するカメラ出力回路１２Ｂとを備える。
光学系１１は、対象物ＯＢに近い側から順に位置させる可変焦点機構１１Ａ、照明系１１Ｂ、及びズームレンズ１１Ｃを備える。
この内、可変焦点機構１１Ａは、例えば、「金子卓他、“可変焦点レンズを用いた長焦点深度視覚機構“、電気学会マイクロマシン研究会、１９９７」又は「Takashi Kaneko, et al.,“A New Compact and Quick-Response Dynamic Focusing Lens“、Transducers’97、1997.」で知られているように、ピエゾ素子を用い、このピエゾ素子に印加する電圧を変えると、焦点距離が変わる構成を採る。
この可変焦点機構１１Ａは、一例として、ＰＺＴバイモルフアクチュエータとガラスダイヤフラムを用いて構成される。ＰＺＴバイモルフアクチュエータに印加する電圧を変えると、ガラスダイヤフラムが変化する。このアクチュエータに印加する電圧の周波数を高くすることで、ガラスダイヤフラムを高速に変化させ、凸レンズから凹レンズまでその焦点距離を高速に変化させることができる。この可変焦点機構１１Ａは、１５０Ｈｚ程度まで位相遅れの無い周波数応答を示すことが確認されている。ＰＺＴバイモルフアクチュエータに電圧を加えない場合は平板のガラスとなる。
この可変焦点機構１１Ａを、照明系１１Ｂを介してマクロズームレンズ１１Ｃの先端に取り付けている。これにより、マクロズームレンズの本来の光学特性（焦点距離）を高速に振る可変焦点手段が得られる。
第３図に、レンズ駆動装置１６が上述した可変焦点機構１１Ａを駆動させるタイミングを示す。この可変焦点機構１１Ａの駆動は第３図のように３０Ｈｚのノコギリ波に同期して、各波形毎に８回撮影する。このノコギリ波は高速撮影カメラ１２のカメラ出力回路１２Ｂから送られる同期信号を用いてレンズ駆動装置１６で生成される。上述のように、ピエゾ素子を用いた可変焦点機構１１Ａにはヒステリシスがあるので必ず各波形毎（８回の撮影毎）にヒステリシスがリセットされる。
高速撮影カメラ１２を説明するに際し、高速撮影法の様々な手法について先に説明する。
高速撮影カメラは、通常、１）センサの読み取りクロックを上げる、２）読取りピクセル数を減らす、３）読取りピクセルを並列化する、の何れかの手法又はそれらを組み合せてフレームレートを高速化させている。
１番目のピクセルレートの高速化は理論的には理解し易いが、センサーデバイスの特性や周辺回路の条件から高速化には限度がある。
また、２番目の読取りピクセル数を減らす手法は、例えば、５００×５００ピクセルを３０フレームで撮影可能なセンサに対して、縦２５×横２５０ピクセルで読取りを止め、次フレームに進むようにするもので、これにより４倍のスピードアップを図り、１２０（＝３０×４）フレームのコマ数が出る。この場合、解像度は下がる。
３番目の読取りピクセルの並列化は、種々の態様で行われている。一例として、撮影領域を成す画素領域を、一定領域の高速度画像センサそのものを並列化して形成する手法がある。例えば（株）フォトロン社製の高速度カメラ「アルチマシリーズ」は第４図に模式的に示すように高速度センサ（横２５６×縦１６ピクセル）を独立して１６個、アレイ状に並列配置し、全体としては２５６×２５６のピクセルサイズの撮影領域を形成している。各高速度センサは２５ＭＨｚで読み出される。
本実施形態の高速撮影カメラ１２のカメラセンサ１２Ａは、上述した３番目の並列化の手法を採用しており、第４図に示す如く、撮影用の高速度画像センサをアレイ状に配設している。なお、この高速撮影カメラ１２は、上述した２番目の手法、又は、２番目と３番目の手法を組み合わせる手法で構成してもよい。
なお、３番目の読取りピクセルの並列化の手法には、上述した如く複数個の高速度センサをアレイ状に並列配置する方式のほか、種々の態様で並列化を図る方式も採用できる。
１つの例として、撮影領域を成す１枚の画素領域（例えば２５６×２５６ピクセル）を上下左右に複数分割（例えば４分割）し、各分割領域から並行して同時に画素データを読み出し、読取り速度を高速化する方式を採用することもできる。
また別の例として、１枚の画素領域の内、複数ライン（例えば２ライン：各ラインは例えば２５６ピクセル）分の画素データを並行して同時に読み出し、これを全部のラインについて順次行うことで、読取り速度を高速化する方式を採用することもできる。
さらに、別の例として、１枚の画素領域を構成する各ライン（例えば２５６ピクセル）のうち、複数の画素（例えば１０画素）から画素データを同時に並行して読み出し、これをそのライン及び残りのラインについて順次繰り返すことで、読取り速度を高速化する方式を採用することもできる。
カメラ出力回路１２Ｂは、クロックジェネレータのほか、各センサに対応して、増幅器、ＣＤＳ（Correlated Double Sampling）回路、Ａ／Ｄコンバータなどの回路を備えた処理回路部を備える。このため、カメラセンサ１２Ａからの画像データは、カメラ出力回路１２Ｂにおいて、処理回路部毎に、増幅され、ＣＤＳ処理され、デジタル化される。このカメラ出力回路１２Ｂから出力されるデータはＬＶＤＳ（Low Voltage Differential Signaling）方式で画像処理装置１３に送られる。
画像処理装置１３は、一例として、高速大容量のＦＰＧＡ（Field Programmable Gate Array）を用いたハードウェアロジックで構成されている。この画像処理装置１３は、そのボードにＦＰＧＡ、大容量のＳＤＲＡＭ、及びＬＶＤＳインタフェースを搭載し、外部機器とインタフェースできるようになっている。ＳＤＲＡＭにより、高速撮影カメラ１２から得たオリジナル画像、後述するＩＱＭ（Image Quality Measure）、全焦点画像、焦点距離情報などを読出し／書込み可能に記憶する各種のメモリが提供される。
この画像処理装置１３により、可変焦点機構１１Ａの焦点距離を動かしながら取り込んだ画像データに対して、ＩＱＭの値がそれぞれ画素毎に評価される。
このＩＱＭについて先に説明する。このＩＱＭは、“Depth from Focus”理論と呼ばれる光学的理論に基づいている（例えば、論文：「Masahiro Watanabe and Shree K.Nayer、“Minimal Operator Set for Passive Depth from Defocus”、CVPR‘96、pp.431-438、1996」、「Shree K.Nayer、Masahiro Watanabe、and Minoryu Noguchi、“Rcal-Time Focus Range Sensor”、ICCV ’95.pp.995-1001、1995」、「Shree K. Nayer、and Yasuo Nakagawa、“Shape from Focus”、IEEE Trans. on PAMI、Vol.16、No.8.pp.824-831、1994」、「A.P.Pentland、“A New Sense for Depth of Field”、IEEE Trans.On Pattern Analysis and Machine Intelligence、Vol.PAMI-9、No.4、pp.523-531、1987」、「Michio Miwa、Tomoyuki Oohara、Masahiko Ishii、Yasuharu Koike、and Makoto Sato、“A Method of Far Object Recognition using Depth from Focus“、Proc.3D Image Conference ’99、pp.305-307、1999」などを参照）。
この“Depth from Focus”理論によれば、ピントが合っているかどうかはその画像の局所空間周波数分析を行うと判明し、周波数がピークとなる焦点距離がピントの合っている部分になる。直感的にも、ボケた部分は周波数が低く、ピントが合った部分は周波数が高いものと推測できる。基本的には可変焦点機構１１Ａでレンズの焦点距離を動かしながら画像を１枚１枚取りこみ、それぞれの画像の局所空間周波数分析を行い、周波数のピークの部分、つまり焦点が合った部分をピクセル単位で各画像からピックアップし、１枚の画像として貼り合わせることで、全焦点画像が得られる。また、それらの焦点距離から、全焦点画像に映り込んでいる対象物の３次元データも得られる。
各画素の局所空間周波数分析は、次式のＩＱＭ（Image Quality Measure）に評価した値（ＩＱＭ評価値）：ＩＱＭで定義される、画像濃淡値の空間的な分散で評価できる。

ここで、Ｉは画像濃淡値、（−Ｌ_c，−Ｌ_r）−（Ｌ_c，Ｌ_r）と（ｘ_i、ｙ_i）−（ｘ_f、ｙ_f）はそれぞれ分散評価と平滑化を行うための小領域である。このため、最初の２つの総和の項は平滑化の処理を示し、次の２つの総和を含む｛｝内の処理は分散の処理を示す。また、Ｄは画素単位で正規化するための評価を行うすべての画素数である。
従って、可変焦点機構１１Ａの焦点距離を動かしながらＩＱＭ評価値をそれぞれ画素毎もしくは領域毎に評価し、ＩＱＭ評価値のピークを検出し、その時に画素濃淡値ｆと画像距離ｘから算出した物体距離Ｘを、それぞれの画素位置に対するマトリックス要素にそれぞれ代入する。この処理をすべての焦点距離について行った後、それぞれのマトリックスが全焦点画像と奥行き画像になる。
このＩＱＭの処理は、概略的には、近隣３近傍に拠る局所空間周波数の分析（ラプラシアンフィルタ）と２×２近傍の平滑化処理（メディアンフィルタ）になる。このため、画像処理装置１３は、この局所空間周波数の分析に引き続いて平滑化処理を行って、画素毎に最も焦点の合った画像データを検出して貼り合わせる処理を行う。この貼り合わせた画像が全焦点画像となり、表示に供せられる。
しかしながら、画像処理装置１３は、第５図に示す簡略的な画像処理を行うこともできる。つまり、高速撮影カメラ１２から送られてきた８０ＭＨｚの画像信号はラプラシアン回路で空間周波数の分析に付され、ピークメモリに記録される。ラプラシアンの出力とピークメモリが比較され、それがピーク値、すなわちピントが合っている画像であればＳＤＲＡＭ内のフレームメモリに書き込まれる。それ以外の出力は捨てられる。
このようにして演算されてＳＤＲＡＭに書き込まれた画像データは、標準ＶＧＡ信号の形態でフレームレート６０ＨｚでＲＧＢ出力ボード１４を介してＶＧＡモニタ１５に送られ、実時間の全焦点画像として表示される。また、焦点距離から成る３次元データはＬＶＤＳに変換されて、制御用ＰＣに転送される。
第６Ｄ図に、上述の処理を経てＶＧＡモニタ１５に表示される、実時間全焦点顕微鏡カメラに拠るカメラ画像の例を模式的に示す。第６Ａ図〜第６Ｃ図は、全焦点画像では無く、対象物の下側に焦点が合っている状態（第６Ａ図）、対象物の中間に焦点が合っている状態（第６Ｂ図）、及び、対象物の上側に焦点が合っている状態（第６Ｃ図）を示す。これに対して、本実施形態のカメラ画像の場合、レンズ１１Ａの焦点を動かしながら、実時間で（高速に）全焦点画像を得るようにしたため、常に第６Ｄ図に示す如く、対象物の深さ方向全体に焦点が合っている。
このように本実施形態では、実時間全焦点顕微鏡カメラのカメラ画像を得ることができ、操作者が脳裏で対象物の３次元形状を想像する必要がない。視野全てにピント（焦点）が合っているため、カメラの焦点距離を操作することも不要になる。しかも“ライブ（実時間）”画像が得られる。つまり、視野内の画像表示に遅延も殆ど無く、動きがそのまま殆どリアルタイムに見える。これにより、顕微鏡カメラを用いた作業の効率が大幅に向上する。
これを従来の機械的にレンズの焦点を合わせる方式の全焦点顕微鏡カメラと比較すると、その有効性は際立っている。従来の場合、機械的に焦点を合わせる操作や、その後の処理動作が介在するので、１画面を得るのに数秒から数分、掛かっていた。３０フレームの通常のビデオカメラで撮影しているので静止画は得られるが、ライブ動画を得ることは到底、不可能であった。顕微鏡を覗きながらの作業を行うのに、画像が数秒に１回しか変化しない状態ではデレイが生じ、この顕微鏡を用いた実際の作業は殆ど無理である。人が滑らかな動画として見られるフレーム周波数は秒３０枚以上である。本実施形態の実時間全焦点顕微鏡のフレーム取り込み速度は２４０コマ／秒である。すなわち、１／３０秒の間に連続的に焦点を変化させて８回、画像を取り込むので、２４０（＝３０×８）コマ／秒になる。これにより、人間が普通に（顕微鏡以外で）物の見るときと同程度の実時間性が確保される。
また、人間は普通の大きさの世界では実時間全焦点であるが、ミクロの世界では顕微鏡を用いる必要がある。従来の顕微鏡は実時間単一焦点であった。このため、従来の顕微鏡を用いる場合、操作者は焦点を煩雑に動かす操作を強いられていた。しかしながら、本発明に係る実時間全焦点顕微鏡カメラにより、ミクロの世界を人間の生活に関わる普通の大きさの世界と同様に扱うことが可能になる。
また、顕微鏡で物を見るためには前準備として切片の作成が必要であったが、これは顕微鏡が単一焦点であることを前提としている。本実施形態のように全焦点になれば、切片が不要になるケースもある。
さらに、この実時間全焦点顕微鏡カメラにより、人間が今まで見たこともない微少なマイクロマシンの全体の動きやミクロの生物の生態観察も可能になるものと思われる。
（第２の実施の形態）
第７Ａ図、第７Ｂ図及び第８図を参照して、本発明に係る実時間全焦点顕微鏡カメラの第２の実施形態を説明する。
この第２の実施形態で説明される実時間全焦点顕微鏡カメラは、生物顕微鏡のように、観察対象の背後から照明光が当てられて使用される場合に好適で、とくに、ゴーストと呼ばれる擬像を排除するフィルタリング機能を付加した実時間全焦点顕微鏡カメラに関する。
ここで、本発明に係る実時間全焦点顕微鏡カメラを生物顕微鏡として用いたときに生じるゴーストについて説明する。撮像視野の全ての位置が焦点距離の移動範囲内でピントが合う場合には前述したＤＦＦ理論を適用して撮像できる。このため、生物顕微鏡のように観察対象の背後から照明光が当てられる場合、観察対象の背景部分には焦点距離の移動範囲内ではピントの合う物は実際には存在しないから、その背景部分には物体は写らない筈である。
しかしながら、観察対象の周辺部では、この対象画像のボケ部分がその周辺部分を覆う。このため、前述したＩＱＭに拠る画像処理のアルゴリズムをそのまま実施すると、かかるボケ部分もピントの合った正規の画素として採り込まれてしまうという現象がある。つまり、このボケ部分にもあたかも実際の物体があるように誤認識される。この結果、撮像された画像に、第７Ａ図（実際の観察対象は符号ＯＢで示す）に模式的に示す如く、ボケ部分がゴースト像ＧＴとして写り込んでしまう。
この第２の実施形態では、第１の実施形態と同様に、全焦点画像を高フレームレートの動画として表示できる機能に加え、この実時間全焦点顕微鏡カメラを生物顕微鏡として使用する場合であっても、ゴースト像を確実に除去して、より信頼性の高い画像を提供できるようにした。
第２の実施形態に係る実時間全焦点顕微鏡カメラのハードウエア面の構成は、前述した第１図のものと同様であるので、その詳細な説明は省略する。なお、画像処理装置１３は、第１の実施形態のようにＦＰＧＡによるハードウェアロジック回路のほかに、ＣＰＵとメモリとを含むプロセッサとして構成されていてもよい。この場合、メモリには、後述する第８図に示すアルゴリズムに基づいてプログラムが予め格納される。
上述したゴースト像の写り込みを防止するため、可変焦点機構１１Ａの焦点距離を動かしながら取り込んだ画像データに対して、画像処理装置１３は、第８図に示すアルゴリズムに基づいてＩＱＭの値を画素毎に評価する。このアルゴリズムには、上述したゴーストの除去を行うフィルタリングが含まれている。第８図のアルゴリズムは、ハードウェアロジック又はＣＰＵによるプロセッサにより構成された画像処理装置１３が行う機能的な処理の流れを示している。
具体的には、画像処理装置１３は、まず、ＩＱＭの値の評価に使用する焦点距離ＦＶのメモリ（図示せず）を初期化する（ＦＶ＝０）（第８図、ステップＳ１）。次いで、焦点距離ＦＶをインクリメントする（ＦＶ＝ＦＶ＋１）（ステップＳ２）。
次いで、画像処理装置１３は、ある焦点距離ＦＶの位置に在る２次元面上のある画素位置（ｘ，ｙ）におけるオリジナル画像の濃淡データＯＲＧ（ＦＶ，ｘ，ｙ）を読み込む（ステップＳ３）。次いで、画像処理装置１３は、この読み込んだ濃淡データＯＲＧ（ＦＶ，ｘ，ｙ）に対してＩＱＭの値を評価するために以下のように各種の処理を行う。
具体的には、まず、読み込んだオリジナル画像の濃淡データＯＲＧ（ＦＶ，ｘ，ｙ）に、前処理が施される（ステップＳ４）。この前処理は、前述したように、ＩＱＭの値を評価するためのフィルタリング（局所空間周波数分析のラプラシアンフィルタ及び平滑化のスムージングフィルタ）である。このフィルタリングにより、前述したように、３次元の各位置において焦点がどの程度合っているかを表すＩＱＭ評価値：ＩＭ（ＦＶ，ｘ，ｙ）が得られる。
次いで、画素位置（ｘ，ｙ）がその初期位置に設定され（ステップＳ５）、その画素位置（ｘ，ｙ）に応じたＩＱＭ評価値：ＩＭ（ＦＶ，ｘ，ｙ）が読み出される（ステップＳ６）。
次いで、読み出されたＩＱＭ評価値：ＩＭ（ＦＶ，ｘ，ｙ）は、各画素位置（ｘ，ｙ）において最大値を呈するように更新されるＩＱＭ評価更新値：ＩＱＭ（ｘ，ｙ）に対して、ＩＭ（ＦＶ，ｘ，ｙ）＞ＩＱＭ（ｘ，ｙ）か否かが判断される（ステップＳ７）。このステップＳ７の判断がＮＯとなるときは、今回処理したＩＱＭ評価値：ＩＭ（ＦＶ，ｘ，ｙ）よりも大きい値が既に過去に存在していたことになる。その場合には、次の画素位置（ｘ，ｙ）でＩＱＭ評価値の比較を行うために、画素位置（ｘ，ｙ）が更新される（ステップＳ８）。この位置更新の後は、再び、ステップＳ６及びＳ７の処理が繰り返される。
上述したステップＳ７の判断でＹＥＳ、すなわち今回処理したＩＱＭ評価値：ＩＭ（ＦＶ，ｘ，ｙ）がそれまでの処理で最大であったＩＱＭ評価更新値：ＩＱＭ（ｘ，ｙ）よりも大きい場合には、今回処理したＩＱＭ評価値：ＩＭ（ＦＶ，ｘ，ｙ）の方が焦点の合っている度合いは大きいことになる。
そこで、この場合にのみ、今回のＩＱＭ評価値：ＩＭ（ＦＶ，ｘ，ｙ）に対する、ゴースト除去のためのしきい値処理が実行される。すなわち、予め定めたＩＱＭ評価値のしきい値ＩＱＭ_minを用いて、ＩＭ（ＦＶ，ｘ，ｙ）＞ＩＱＭ_minが成立するか否かが判断される（ステップＳ９）。
このしきい値ＩＱＭ_minは、対象物のボケ部分における通常の画素値に対応したＩＱＭ評価値よりも大きい適宜な値に設定される。このため、ボケ部分の画素位置（ｘ，ｙ）に対するステップＳ９の判断はＮＯ（ＩＭ（ＦＶ，ｘ，ｙ）≦ＩＱＭ_min）となる。
そこで、ステップＳ９の判断がＮＯに場合には、処理は前述したステップＳ８の処理に移行させられる。つまり、後述するＩＱＭ評価値の更新処理（ステップＳ１０）は実行されずに、強制的に、画素位置の更新及びその更新した画素位置におけるＩＱＭ評価値の比較に移行される（ステップＳ８、Ｓ６、及びＳ７）。
反対に、ステップＳ９でＹＥＳの判断になる場合（ＩＭ（ＦＶ，ｘ，ｙ）＞ＩＱＭ_min）、過去のものよりも更に焦点の合う度合いが高いＩＱＭ評価値が得られたものと認識される。そこで、この場合にのみ、今回の画素位置におけるＩＱＭ評価値に関わる情報で、それまでのＩＱＭ評価更新値：ＩＱＭ（ｘ，ｙ）、全焦点画像ＡＩＦ（ｘ，ｙ）、及び焦点距離情報ＤＥＰＴＨ（ｘ，ｙ）が更新される（ステップＳ１０）。
具体的には、それまでのＩＱＭ評価更新値：ＩＱＭ（ｘ，ｙ）が今回のＩＱＭ評価値：ＩＭ（ＦＶ，ｘ，ｙ）で置換され（評価値の更新）、全焦点画像ＡＩＦ（ｘ，ｙ）の対応位置（ｘ，ｙ）の画素値が、オリジナル画像の対応するデータＯＲＧ（ＦＶ，ｘ，ｙ）で置換し（全焦点画像への張込み（作成））、及び焦点距離情報ＤＥＰＴＨ（ｘ，ｙ）が現在の焦点距離ＦＶで置換される。ここで更新されるＩＱＭ評価更新値：ＩＱＭ（ｘ，ｙ）は、次の焦点距離ＦＶ＋１に在る２次元面上の対応位置（ｘ，ｙ）における評価のときに、上述したステップＳ７の処理で使用される。
このようにステップＳ１０における情報更新が完了すると、画像処理装置１３は、ある焦点距離ＦＶの位置にある２次元面上の全画素（ｘ，ｙ）について上述した処理が終了したか否かを判断する（ステップＳ１１）。この判断がＮＯのときには、その処理がステップＳ８に戻される。このため、画素位置（ｘ，ｙ）が次の位置に進められて上述の一連の処理が再度実行される（ステップＳ８、Ｓ６、Ｓ７、Ｓ９〜Ｓ１１）。
このステップＳ１２でＹＥＳ、すなわち全画素（ｘ，ｙ）の位置について上述した処理が完了したときには、次いで、焦点距離ＦＶがその予め定めた上限値ＦＶ_maxよりも小さいか否かが判断される（ステップＳ１３）。この判断でＹＥＳとなるときには、未だ評価しなければならない焦点距離ＦＶの深さが残っていると認識され、処理がステップＳ２に戻される。このため、新たな焦点距離ＦＶに在る２次元面上で上述した一連の評価処理が実行される。
反対に、ステップＳ１２でＮＯとなるときは、焦点距離ＦＶがその上限値ＦＶ_maxに達した場合であるから、与えられた全ての焦点距離ＦＶの範囲において各焦点距離に在る２次元面上のＩＱＭの評価が完了したと認識される。従って、このときに、それまで作成されていた全焦点画像ＡＩＦ（ｘ，ｙ）及び焦点距離情報ＤＥＰＴＨ（ｘ，ｙ）がＲＧＢ出力ボード１４を介して出力され、ＶＧＡモニタ１５に１つのフレームとして表示される（ステップＳ１３）。
この処理及び表示は例えば３０フレーム／秒以上のレートで実行され、実時間性に優れた全焦点画像が提供される。
以上から明かなように、「ＩＭ（ＦＶ，ｘ，ｙ）＞ＩＱＭ（ｘ，ｙ）且つＩＭ（ＦＶ，ｘ，ｙ）＞ＩＱＭ_min）」のアンド条件を満たされたときにのみ、ステップＳ１０における更新処理が実行される。
従って、本発明に係る実時間全焦点顕微鏡カメラを例えば生物顕微鏡に適用する場合であっても、ＩＱＭの値の評価処理の中で、前述した観察対象のボケ部分に因るゴースト成分を確実に且つ事前に排除できる。この結果、前述した第７Ａ図に対比させて第７Ｂ図に模式的に示す如く、全焦点画像へのゴースト像の写り込みは殆ど完全に防止され、信頼性の高い高品質の全焦点画像がリアルタイムに提供される。
さらには、上述の如く、全焦点画像を生成する過程で、その距離（焦点距離）も同時に計算される。このため、その物体の３次元データの計測も可能になり、観察データを多目的に利用でき、観察作業の効率化及び観察情報の豊富化を図ることができる。
なお、本発明に係る実時間全焦点顕微鏡カメラの構成は、上述した実施形態の構成に限定されるものではなく、当業者であれば、特許請求の範囲に記載の発明の要旨の範囲内で適宜に変形可能であり、それらの形態も本発明に含まれる。例えば、前述した可変焦点機構は必ずしもピエゾ素子を用いたものに限定されることなく、レンズを高速に移動させて、その焦点位置を変えることができるアクチュエータを用いてもよい。
産業上の利用可能性
本発明に係る実時間全焦点顕微鏡カメラによれば、全焦点画像を高フレームレートの動画として表示でき、あたかも人間の目で直接観察しているときのように実時間性（ライブ性）に優れた全焦点画像を提供することができる。従って、細胞や遺伝子の操作、マイクロマシンの組立などの顕微鏡カメラを見ながら行う作業、物質の微細構造に関する情報や画像収集、生物顕微鏡の分野などにおいて利用可能性は極めて大である。

Claims

光学レンズを有し且つこの光学レンズの焦点距離を、実質的に実時間と見なせる高速な繰返し時間それぞれにて所定範囲内で変更可能な可変焦点機構と、
前記繰返し時間毎に前記焦点距離が前記所定範囲にわたって変化するように前記可変焦点機構を駆動する焦点機構駆動装置と、
前記各繰返し時間内に複数回の撮影タイミングを設定した高速なフレームレートで前記可変焦点機構を用いて対象物を撮影する高速撮影装置と、
この高速撮影装置により前記高速フレームレートで撮影された複数フレームの画像から実質的に実時間と見なせるフレームレートの全焦点画像を生成する画像処理装置とを備え、
前記高速撮影装置は、前記可変焦点機構を介して到達する前記撮影の光を入射させる画素領域を成す複数の分割領域又は複数の画素から並行して同時に行われる画像データの読出し、及び、前記画素領域の各画素から画像データを読み取るときに行われる読取り画素数の低減のうち、少なくとも一方の手法に基づいて前記撮影を行うように構成したことを特徴とする実時間全焦点顕微鏡カメラ。
請求項１に記載の実時間全焦点顕微鏡カメラにおいて、
前記画像処理装置で処理された全焦点画像を表示する表示装置を備えた実時間全焦点顕微鏡カメラ。
請求項１に記載の実時間全焦点顕微鏡カメラにおいて、
前記画像処理装置は、前記焦点距離が前記所定範囲にわたって変化している間に前記高速撮影装置により前記複数回の撮影タイミングで撮影された複数フレームの２次元画像の夫々に対して画素毎又は領域毎にＩＱＭ（Image Quality Measure）評価値を得る評価手段と、この評価手段により得られた前記ＩＱＭ評価値を用いて前記複数フレームの２次元画像のうちの最も焦点が合っている画素の画像データを画素毎に貼り合わせて前記全焦点画像を作成する画像作成手段とを有する実時間全焦点顕微鏡カメラ。
請求項３に記載の実時間全焦点顕微鏡カメラにおいて、
前記評価手段は、前記複数の２次元画像の夫々に対して、画素毎の画像データに、局所空間周波数の分析と平滑化の処理とを行う手段である実時間全焦点顕微鏡カメラ。
請求項３に記載の実時間全焦点顕微鏡カメラにおいて、
前記画像作成手段は、前記最も焦点が合っている画素の画像データから、前記対象物のボケ画像が当該対象物の周辺部を覆うことに起因した画素の画像データを除去する除去手段を含む実時間全焦点顕微鏡カメラ。
請求項５に記載の実時間全焦点顕微鏡カメラにおいて、
前記除去手段は、前記評価手段で評価されたＩＱＭ評価値を、予め定めたＩＱＭのしきい値に拠る弁別処理を施して前記対象物のボケ画像が当該対象物の周辺部を覆うことに起因した画素の画像データを除去する手段で構成した実時間全焦点顕微鏡カメラ。
請求項１に記載の実時間全焦点顕微鏡カメラにおいて、
前記画像処理装置は、前記対象物のボケ画像が当該対象物の周辺部を覆うことに起因したゴースト像を除去する除去手段を有する実時間全焦点顕微鏡カメラ。
光学レンズの焦点距離を、実質的に実時間と見なせる高速な繰返し時間それぞれにて所定範囲にわたって変化させるときに、前記各繰返し時間内に複数回の撮影タイミングを設定した高速なフレームレートで前記光学レンズを介して対象物を撮影し、
前記高速フレームレートで撮影された複数フレームの画像から実質的に実時間と見なせるフレームレートの全焦点画像を生成し、
この生成した全焦点画像を表示する全焦点画像の撮影方法において、
可変焦点機構を介して到達する撮影の光を入射させる画素領域を成す複数の分割領域又は複数の画素から並行して同時に行われる画像データの読出し、及び、前記画素領域の各画素から画像データを読み取るときに行われる読取り画素数の低減のうち、少なくとも一方の手法に基づいて前記撮影を行うことを特徴とする全焦点画像の撮影方法。
請求項８に記載の全焦点画像の撮影方法において、
前記全焦点画像の生成は、前記対象物のボケ画像が当該対象物の周辺部を覆うことに起因したゴースト像を除去する処理を含む全焦点画像の撮影方法。
請求項３に記載の実時間全焦点顕微鏡カメラにおいて、
前記評価手段は、前記ＩＱＭ評価値のピーク値を１フレーム分、記憶可能なメモリと、このメモリに記憶させた、それまでのフレームの前記ＩＱＭ評価値のピーク値と別のフレームの前記ＩＱＭ評価値とを画素毎に比較する手段とを有し、
前記画像作成手段は、前記比較によって前記ピーク値よりも大きいＩＱＭ評価値を呈する画素データを表示用メモリに書き込む手段である実時間全焦点顕微鏡カメラ。
請求項１に記載の実時間全焦点顕微鏡カメラにおいて、
前記画像処理装置は、前記焦点距離が前記所定範囲にわたって変化している間に前記高速撮影装置により前記複数回の撮影タイミングで撮影された複数フレームの２次元画像の夫々に対して画素毎又は領域毎にＩＱＭ（Image Quality Measure）評価値を得る評価手段と、この評価手段により得られた前記ＩＱＭ評価値を用いて前記複数フレームの２次元画像のうちの最も焦点が合っている画素の画像データを画素毎に貼り合わせて前記全焦点画像を作成する画像作成手段とを有する実時間全焦点顕微鏡カメラ。
請求項１１に記載の実時間全焦点顕微鏡カメラにおいて、
前記評価手段は、前記ＩＱＭ評価値のピーク値を１フレーム分、記憶可能なメモリと、このメモリに記憶させた、それまでのフレームの前記ＩＱＭ評価値のピーク値と別のフレームの前記ＩＱＭ評価値とを画素毎に比較する手段とを有し、
前記画像作成手段は、前記比較によって前記ピーク値よりも大きいＩＱＭ評価値を呈する画素データを表示用メモリに書き込む手段である実時間全焦点顕微鏡カメラ。