JP3961729B2 - 全焦点撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、光学顕微鏡、電子顕微鏡、光学望遠鏡、電子カメラなどの撮像装置の技術分野に属し、特に合焦点技術の技術分野に属する。
【０００２】
【従来の技術】
従来の技術としては、特開平９−２３０２５２号公報に、大まかに分けて次の二つの撮像技術が開示されている。
【０００３】
第一の撮像技術は、観察対象に対する焦点位置（レンズから合焦点面までの距離）を高速で往復させつつ画像をリアルタイムで表示し、焦点のあった輪郭が鮮明な部分だけが網膜残像として視認されることを利用している。同技術は、生理的な残像現象を巧妙に利用して、観察対象の全体に渡って焦点が合った画像をリアルタイムで観察者に視認させることができるので、観察対象に動きがある場合などにも好適な撮像技術である。
【０００４】
しかしながら、同技術には、焦点が合っていないぼやけた画像も網膜に結像し、焦点が合っている瞬間よりも焦点が合っていない時間の方が長いのが普通であるので、ややぼやけた感じを視覚から受けるという不都合があった。すなわち、同技術によっては、観察対象の全ての部分について焦点が合った完全な合焦点画像は得られず、視覚上でもややぼやけた感じがするうえに、目が疲れやすいという不都合もあった。また、合焦点画像は視認されるだけで、合焦点画像を写真撮影したりプリントしたりすることはできないという不都合もあった。
【０００５】
第二の撮像技術は、前述の第一の撮像技術を応用し、二つの撮像装置を視差をもって観察対象に向けて撮像した画像をそれぞれ左右の目に表示し、観察対象を両眼視するものである。同技術によれば、立体感のある画像をリアルタイムで視認することができるという効果がある。
【０００６】
しかしながら、同技術にも、前述の第一の撮像技術と同様の不都合があり、完全な合焦点画像を提供することはできない。また、いずれの撮像技術によっても、観察対象の立体数値モデルを生成することができないので、断面形状を示す端面図を提示したり多方向からの俯瞰画像を連続的に合成して表示したりすることはできない。
【０００７】
【発明が解決しようとする課題】
以上のような現況に鑑み、本発明は、観察対象の各部に焦点があった合焦点画像を準リアルタイムで生成することを第一の課題とし、観察対象の立体形状を示す立体数値モデルを生成して多様な表示形態を可能とすることを第二の課題とする。本発明では、これら第一の課題および第二の課題のうちいずれかが解決されていればよいものとする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、発明者らは以下の手段を発明した。ただし、この項に示す各請求項の通し番号は、出願時の明細書に記載されていたそれである。
【０００９】
（第１手段）
本発明の第１手段は、請求項１記載の全焦点撮像装置である。
【００１０】
ここで、可変焦点レンズ、アクチュエータおよび駆動手段には、光学撮像装置や電子顕微鏡などに採用されている公知技術のうちいずれを採用することもでき、さらに新たに開発される可変焦点レンズ系を採用することもできる。公知の可変焦点レンズのうちでは、前述の公報にも開示されていたように、圧電アクチュエータで液封レンズの焦点距離を変化させる可変焦点レンズ装置を採用することが、作動速度の面からいって好ましい。
【００１１】
一方、撮像手段としては、光学撮像手段であればＣＣＤ素子やＣＭＯＳイメージャ等の固体撮像素子を用いることが小型化の点からは望ましいが、撮像管の出力をデジタル処理してもよく、使用目的に応じて多様な撮像手段から選択することができる。なお、画素の配列は正方形の格子状の配列が最も一般的であるが、その他の配列であっても構わず、たとえば、長方形の格子状の配列であったり、ハニカム状の配列などであってもよい。
【００１２】
また、画像メモリには、各種の記憶装置を採用することができるが、なるべく大容量の画像情報を高速で書き込み読み出しができるメモリが望ましいので、半導体ＲＡＭなどのソリッドステートメモリの採用が望ましい。画像処理手段は、現況ではＶＬＳＩなどの半導体ＭＰＵが最も有力であるが、将来的には光演算素子やバイオ演算素子などの新演算素子を採用することもあり得る。画像処理手段が合焦点画素を判定する方法には様々な手法の適用が考えられるが、代表的なものを後述の第２手段ないし第１１手段において説明する。画像処理手段によって選定された合焦点画素からなる合焦点画像や、選定された合焦点画像の焦点位置情報に基づいて生成される立体数値モデルは、前述の画像メモリの所定の記憶領域や表示装置の付属メモリなどの所定のメモリに記録される。
【００１３】
さらに、制御手段には、前述の画像処理手段と同様に各種の演算素子を採用することができるばかりではなく、制御手段のハードウェアは、画像処理手段と兼用であっても良い。
【００１４】
なお、本手段は、画像処理手段で生成された合焦点画像または立体数値モデルの映像を提供する表示装置をも有することが望ましい。表示装置があれば、合焦点画像または立体数値モデルの映像をすぐに観察者に見せることができるから、使用態様としては表示装置があった方がよいのだが、表示装置なしで製造販売する場合もあるので、表示装置は必須構成要素から外されている。表示装置としては、準リアルタイム性の要求から、ＣＲＴ、液晶ディスプレイおよびプラズマディスプレイなどを採用することができるが、準リアルタイム性の要求がなければ、その他にもプリンターなどの印画手段を採用しても良い。
【００１５】
すなわち、以上の各構成要素には、ありとあらゆる採用可能な各種手段のうちから、使用目的や各種条件に合致した最適な構成要素の組み合わせを選定することができる。
【００１６】
本手段は、以上のように構成されているので、以下のような作用効果を発揮することができる。
【００１７】
本手段では、撮像手段から出力された焦点位置の異なる複数の画像が画像メモリに格納され、画像処理手段によって各画素について合焦点の判定がなされ、これらの画像のうちから合焦点画素が抽出される。
【００１８】
合焦点画像が必要な場合には、画像処理手段は、これらの合焦点画素で画像を埋め尽くすことにより、観察対象の各部に焦点が合っている合焦点画像を、何らかのメモリ上に合成して提供することができる。ここで、ディスプレイ等の表示装置が本手段に接続されていれば、合焦点画像を表示装置に提示することができる。
【００１９】
また、立体数値モデルが必要な場合には、画像処理手段は、各合焦点画素がもつ焦点位置情報を当該画素の高さ方向の位置として、各画素の縦横高さの三次元位置を特定することにより、立体数値モデルを生成して所定のメモリに格納することができる。観察対象の立体数値モデルがあれば、画像処理手段等に画像合成機能をもたせておき、等高線地図状の等高面図や、断面形状を示す端面図や、方向を変えながら連続的に俯瞰図を表示する動画などの立体形状を示す多様な表示データの生成が可能である。そして、ディスプレイ等の表示装置が本手段に接続されていれば、このような多様な表示データを画像として観察者に見せることが可能になる。
【００２０】
なお、光学系の可変焦点レンズ装置については、液封レンズの焦点距離を圧電アクチュエータで変化させることにより、数百Ｈｚ程度の応答速度を持つものがすでに開発されており、大抵のリアルタイム性の要求に対しては対応可能である。また、撮像手段としてＣＣＤ素子を採用すれば、やはり大抵のリアルタイム性の要求に対しては対応可能である。なぜならば、毎秒３０画像のビデオレートでカラー撮像するＣＣＤ素子が普及しており、試作品レベルであれば、十分な輝度の観察対象に対しては毎秒数百画像のレートで撮像し、画素毎の画像信号として出力することが可能だからである。
【００２１】
一方、画像処理手段の処理速度については、解像度（画素数）にもよるが、合焦点画素判定アルゴリズムの演算負荷と画像処理手段の演算処理能力とのトレードオフで決まる。それゆえ、単一のＭＰＵで画像処理を行う場合には、当面はＭＰＵの演算処理速度がリアルタイム性に関するボトルネックとなるものと考えられる。しかし、近い将来には、ＭＰＵの演算処理速度の向上とアルゴリズムの改良とにより、かなりの程度までは画像処理手段の処理速度のリアルタイム性が得られるようになろう。ただし、出願時点においても、リアルタイム性の要求が重要であれば、多数のＭＰＵによる並列処理を行うことにより処理速度のリアルタイム性を向上させることができる。なお、画像メモリに関しても、必要に応じて複数のメモリを使用することにより、高速大容量の要求を満たすことができる。それゆえ、画像処理手段等に関しても、かなりの程度までのリアルタイム性の要求に応じることができる。
【００２２】
したがって本手段によれば、観察対象の各部に焦点が合った合焦点画像を準リアルタイムで提供可能にすることと、観察対象の立体形状を示す立体数値モデルを生成して多様な表示形態を可能とすることのうち、少なくとも一方を実現することができるという効果がある。すなわち、要求仕様に応じて、前述の第一の課題と第二の課題とのうち、いずれか一方または両方を解決可能な全焦点撮像装置を提供することができる。
【００２３】
なお、使用形態としては、ディスプレイ等の表示装置が本手段に接続されていて、すぐに観察者に画像を見せることができることが望ましい。ここで、ディスプレイを含んだ全焦点撮像システム全体をもって、本手段の全焦点撮像装置であるとしてもよい。
【００２４】
（第２手段）
本発明の第２手段は、請求項２記載の全焦点撮像装置である。
【００２５】
本手段では、各画素の輝度は合焦点時に極大値または極小値を取るとの知見に基づき、画像処理手段による合焦点画素の判定は、各画素がもつ輝度の焦点位置に関する差分値の正負反転によって行われる。
【００２６】
すなわち、判定される画素の輝度が周囲の輝度よりも高い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも高いので、当該画素の前後を調べれば輝度の極大値が得られる。それゆえ、当該画素の前後では輝度の差分値が正から負へと反転しているので、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。
【００２７】
逆に、判定される画素の輝度が周囲の輝度よりも低い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも低いので、当該画素の前後を調べれば輝度の極小値が得られる。それゆえ、当該画素の前後では輝度の差分値が負から正へと反転しているので、やはり、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。
【００２８】
以上のように本手段では、それぞれの画素について、その周囲の画素との相関関係を省みることなく、当該画素単独で輝度の変化を観測することにより、当該画素の輝度の差分値の正負反転をもって合焦点の判定がなされる。それゆえ、画像処理手段において、合焦点画素の判定に要する演算負荷が極めて小さいので、リアルタイム性を向上させることができ、安価な画像処理手段を採用することが可能になる。
【００２９】
したがって本手段によれば、前述の第１手段の効果に加えて、画像処理のリアルタイム性の向上と、画像処理手段のコストダウンとのうち少なくとも一方が得られるという効果がある。
【００３０】
なお、当該画素の輝度が周囲と同等である場合には、画像信号が単色であれば周囲と同程度の輝度なのであるから、当該画素で焦点が合っている必要はなくなり、適当な画像の中から選んで合焦点画素に代えることができる。逆に、画像信号が光の三原色（ＲＧＢ）等に分かれた複数の輝度信号をもっている場合には、そのうち適当な色の輝度信号をもって同様の合焦点判定を行い、輝度は周囲と同じでも色合いが異なる画素の合焦点判定を行うことができる。
【００３１】
（第３手段）
本発明の第３手段は、請求項３記載の全焦点撮像装置である。本手段は、実験を重ねた結果、各画素の輝度は合焦点時以外にも極大値または極小値を取ることがあり得るとの知見に基づいて発明された。
【００３２】
本手段では、前述の第２手段において、差分値の正負反転箇所が複数ある場合には、正負反転箇所のうち極大値および極小値を取る箇所のうち一方を選択することによって合焦点判定が画素毎に行われる。そしてさらに、その一方が複数ある場合には、最も突出した値の箇所が選定されることによって、画素毎に合焦点判定が行われる。
【００３３】
すなわち、多数の実験の結果、焦点位置が合っている場合だけではなく、その近傍において正負反転が逆の極大値または極小値が現れることがあることが分かった。そこで、合焦点判定のロジックを簡素にするために、極大値と極小値とが両方現れた場合には、その一方だけを選定してその位置を合焦点位置とするようにした。
【００３４】
すると、厳密には誤判定も起こりうるが、経験上、極大値と極小値とが両方現れた場合には両者の焦点位置は互いに近傍にあるので、誤判定された場合でも、焦点位置は完全に合焦点位置にはなくともその近傍にある。それゆえ、極めて簡素な判定ロジックでありながら、仮に誤判定した場合でもほぼ焦点の合った画素が選定されるので、おおむね大過ない合焦点画像が得られる。
【００３５】
さらに、選定される極大値と極小値との一方が複数の焦点位置で得られる場合には、最も合焦点位置が選定される確率が高くなるように、最も突出した値で合焦点判定がなされるようにした。その結果、合焦点判定の精度が簡素な判定ロジックによっても向上する。なお、選定するようにこれらの焦点位置が互いに近傍にあるとは限らないが、このようなロジックによっても誤判定が起こるくらいであれば、当該画素の近傍ではコントラストが小さいと考えられるので、やはりおおむね大過ない合焦点画像が得られる。
【００３６】
したがって本手段によれば、前述の第２手段の効果に加えて、輝度の差分値の正負反転箇所が複数検出された場合にも、合焦点判定のロジックが比較的簡素に構成されており、演算負荷を小さくして高速処理ができながら、おおむね大過ない合焦点画像が得られるという効果がある。
【００３７】
（第４手段）
本発明の第４手段は、請求項４記載の全焦点撮像装置である。本手段は、発明者らが実験を重ねた結果、コントラストが大きな明部と暗部との境界線上では、合焦点位置を中心に輝度の傾きが大きくなるという知見に基づいて発明されたものである。
【００３８】
本手段では、前述の第１手段において、画像処理手段による合焦点画素の判定は、各画素がもつ輝度の焦点位置に関する差分値の絶対値が最大値を取ることを判定基準として行われる。すなわち、焦点位置の移動に関して当該画素の輝度の変化が最も著しかった焦点位置をもって合焦点位置と判定される。その結果、コントラストが大きな明部と暗部との境界線上で正確な合焦点判定がなされるようになる。
【００３９】
したがって本手段によれば、前述の第１手段の効果に加えて、コントラストが大きな明部と暗部との境界線上で正確な合焦点判定がなされるようになるという効果がある。
【００４０】
（第５手段）
本発明の第５手段は、請求項５記載の全焦点撮像装置である。
【００４１】
本手段では、前述の第１手段において、焦点があった画像では空間周波数が極大値を取るとの知見に基づき、画像処理手段による合焦点画素の判定は、各画素およびその周辺画素の形成する区画がもつ空間周波数の焦点位置に関するピーク判定によって行われる。すなわち、当該画素とその周辺画素に焦点が合った場合には、輝度または各色の輝度の分布がもつ空間周波数が極大値になる。その結果、合焦点判定が行われる画素の周囲の画素に関する輝度情報も使用されて当該画素の合焦点判定が行われるので、より精密な合焦点判定が行われるようになる。
【００４２】
したがって本手段によれば、当該画素だけでなく周囲の画素をも含んだ区画で合焦点判定が行われるので、より精密な合焦点判定が行われるようになるという効果がある。
【００４３】
なお、空間周波数は、厳密に演算される必要は必ずしもなく、簡易化した演算アルゴリズムをもって近似的に算出されても良い。また、空間周波数を算出するに当たっては、仮に画素が正方格子状に配列されているのであれば、当該画素を中心とする３×３の９個の画素を取って演算する方法が、演算量の増大防止と精密な合焦点判定とに有用である。しかし、５×５，７×７，・・・というように、より広い領域に渡って空間周波数を算出するようにしても良い。逆に、当該画素の全周囲の画素を含んだ空間周波数を算出する代わりに、縦方向の空間周波数と横方向の空間周波数との和だけを取って演算量を低減してもよい。同様に、Ｘ字状に斜め二方向の空間周波数の和だけを取って演算量を低減してもよい。
【００４４】
（第６手段）
本発明の第６手段は、請求項６記載の全焦点撮像装置である。
【００４５】
本手段では、前述の第１手段において、画像処理手段による合焦点画素の判定は、焦点があった画像ではエントロピーが極小値を取るとの発明者らの知見に基づき、各画素およびその周辺画素の形成する区画がもつエントロピーの焦点位置に関する最小判定によって行われる。すなわち、当該画素とその周辺画素の形成する区画に焦点が合った場合には、輝度または各色の輝度の分布がもつエントロピーが極小値を取る。その結果、合焦点判定が行われる画素の周囲の画素に関する輝度情報も使用されて当該画素の合焦点判定が行われるので、より精密な合焦点判定が行われるようになる。
【００４６】
したがって本手段によれば、当該画素だけでなく周囲の画素をも含んだ区画で合焦点判定が行われるので、より精密な合焦点判定が行われるようになるという効果がある。
【００４７】
なお、エントロピーの算出方法にはいくつかあるが、エントロピーは厳密に演算される必要は必ずしもなく、簡易化した演算アルゴリズムをもって近似的に算出されても良い。
【００４８】
また、エントロピーの極小値を求めるにあたっては、全ての焦点位置の同一区画について求める必要はなく、極小値を求める公知の数値計算方法を採用して、焦点位置に関してとびとびにエントロピーを算出してもよい。こうすれば、演算負荷を減らすことができるので、合焦点判定に要する演算処理時間が短縮されて有利である。
【００４９】
（第７手段）
本発明の第７手段は、請求項７記載の全焦点撮像装置である。本発明は、合焦点判定を行うべき当該画素を含む小さな区画では、合焦点時には最も明るい画素と最も暗い画素とのコントラストが最大になるとの知見が得られたので、この知見に基づいて発明された。
【００５０】
本手段では、前述の第１手段において、画像処理手段による合焦点画素の判定は、各画素およびその周辺画素の形成する区画における各画素の輝度の最大値と最小値との差である輝度振幅の最大判定によって行われる。輝度振幅は、最も明るい画素と最も暗い画素とのコントラストであるので、輝度振幅が最大になった焦点位置をもって、その区画は合焦点位置にあり、その区画のおそらく中央にある当該画素も合焦点位置にあると判定される。
【００５１】
本手段での合焦点判定アルゴリズムの特徴は、区画中の各画素の輝度の間で複雑な計算をする必要が全くなく、単に各画素の輝度のうちでの最大値と最小値とを探し出し、その差を取ることであるから、極めて簡素な処理であることである。それゆえ、同アルゴリズムの開発が容易であるばかりではなく、同アルゴリズムを処理するデジタル演算手段の演算負荷は極めて低くなり、安価な演算手段を使っても高速処理が可能になる。それでいながら、かなり高い信頼性で合焦点判定が行われる。
【００５２】
したがって本手段によれば、前述の第１手段の効果に加えて、安価な演算手段を使っても高速処理が可能になるうえに、かなり高い信頼性で合焦点判定が行われるという効果がある。
【００５３】
（第８手段）
本発明の第８手段は、請求項８記載の全焦点撮像装置である。本発明は、合焦点判定を行うべき当該画素の周辺では、焦点位置が合うとシャープな画像が得られるので、離散コサイン変換係数の値が最大になるとの知見に基づいてなされている。
【００５４】
本手段では、前述の第１手段において、画像処理手段による合焦点画素の判定は、各画素およびその周辺画素の形成する区画における離散コサイン変換係数の最大判定によって行われる。ここで、離散コサイン変換処理を行うＬＳＩは、ＭＰＥＧの画像処理用にすでに開発されて市場に出回っており、費用をかけて新たに専用ＬＳＩを開発することなく、ＭＰＥＧ処理用ＬＳＩの既製品を安く購入して使用することができる。しかも、既製品にはテレビ画像用ものが多いので、毎秒３０回などの高いビデオレートでの処理が安価な既製品よって可能である。それゆえ、このような画像処理手段をもつ本手段の全焦点撮像装置は、高速処理が可能であるうえに比較的廉価に製造することができる。
【００５５】
したがって本手段によれば、前述の第１手段の効果に加えて、合焦点判定を高速で行うことができながら、製品を比較的安価に提供することができるという効果がある。
【００５６】
なお、離散コサイン変換係数の極大値を求めるにあたっては、全ての焦点位置の同一区画について求める必要はなく、極大値を求める公知の数値計算方法を採用して、焦点位置に関してとびとびに離散コサイン変換係数を算出してもよい。こうすれば、演算負荷を減らすことができるので、合焦点判定に要する演算処理時間が短縮されて有利である。
【００５７】
（第９手段）
本発明の第９手段は、請求項９記載の全焦点撮像装置である。
【００５８】
本手段では、前述の第１手段において、画像処理手段による合焦点画素の判定は、複数の画素からなる区画毎に行われ、その区画における空間周波数、エントロピー、輝度振幅および離散コサイン変換係数のうちいずれかを判定基準にして行われる。すなわち、前述の第５手段ないし第８手段においては、たとえ周囲の区画をも検討対象としても合焦点判定は画素毎に行われるのに対し、本手段では、複数の画素からなる区画毎に合焦点判定が行われる。
【００５９】
それゆえ、画素毎に合焦点判定がなされた精緻な合焦点画像は得られないが、小さな区画毎に焦点があった比較的鮮明な画像が得られる。しかも、合焦点判定に要する演算処理負荷は、区画を形成する画素の数が増えるほど、劇的に低下する。たとえば、２×２の画素からなる区画では演算負荷が１／４に減り、３×３の区画では演算負荷が１／９と約一桁も低減される。その結果、合焦点判定に関して高速処理が可能になる。
【００６０】
したがって本手段によれば、前述の第１手段の効果に加えて、前述の第５手段ないし第８手段に比べて合焦点判定に要する演算負荷が大幅に低下し、高速処理が可能なるという効果がある。
【００６１】
なお、空間周波数、エントロピー、輝度振幅および離散コサイン変換係数のうちいずれを合焦点判定の指標にするかによって、発揮される特徴は異なる。それぞれの特徴は、前述の第５手段ないし第８手段の説明ですでに明らかにされているので、ここでは説明を省く。
【００６２】
（第１０手段）
本発明の第１０手段は、請求項１０記載の全焦点撮像装置である。
【００６３】
本手段では、前述の第１手段において、画像処理手段による合焦点画素の判定は、各画素と複数の画素からなる区画とのうち一方に、複数の互いに異なる判定法を適用して行われる。ここで、各画素に対する合焦点判定の各種方法については、前述の第２手段ないし第８手段に説明されており、区画毎の合焦点判定の各種方法については、前述の第９手段に説明されている。
【００６４】
本手段では、合焦点判定を、単一の判定法でなく複数の判定法を組み合わせて行い、複数の合焦点判定を複合的に利用して、より信頼性の高い合焦点判定を行うことができる。複数の合焦点判定を複合的に利用する方法としては、平均値を採る方法、多数決で決める方法、集団から外れた値を棄却して標準偏差を減らし残りの固まった値の中で平均を取る方法などがある。複数の合焦点判定方法を組み合わせて用いることにより、それぞれの方法に固有の合焦点判定の偏りを是正し、合焦点位置の判定精度を向上させることができる。
【００６５】
したがって本手段によれば、前述の第１手段の効果に加えて、第２手段ないし第９手段よりも合焦点判定の信頼性が向上し、合焦点判定に誤判定が少なくなるので、より鮮明な合焦点画像やより正確な立体数値モデルが得られるようになるという効果がある。
【００６６】
（第１１手段）
本発明の第１１手段は、請求項１１記載の全焦点撮像装置である。
【００６７】
本手段では、前述の第１手段において、画像処理手段による合焦点画素の判定は、二段階の合焦点判定を行って画素または区画の合焦点位置の精度を向上させることが目的である。ここで、第一段階は、単数または複数の画素からなる区画とその周辺の複数の区画とにそれぞれ合焦点判定を行う段階である。次の第二段階は、当該区画とその周辺の区画とからなる大区画に関して合焦点判定を行い当該区画の合焦点判定を改める段階である。この際、第一段階と第二段階とでは、同一の合焦点判定方法を用いてもよいし、互いに異なる合焦点判定方法を用いてもよい。
【００６８】
すなわち、第一段階では、合焦点判定を行うべき区画とその周囲の区画とについて、それぞれいったん合焦点判定が行われる。すると、当該区画だけではなくその周囲の区画についてもおおむね正しい合焦点判定が行われているので、第二段階では、そのうえで周囲の区画も含めて改めて当該区画の合焦点判定が行われる。その結果、周囲の区画でもおおむね正確な合焦点位置が得られているので、当該区画の合焦点判定はより精密になり、よりいっそう正確な合焦点位置が得られるようになる。
【００６９】
したがって本手段によれば、前述の第１手段の効果に加えて、画素または区画の合焦点位置の精度がよりいっそう向上し、極めて鮮明な合焦点画像や極めて正確な立体数値モデルが得られるという効果がある。
【００７０】
（第１２手段）
本発明の第１２手段は、請求項１２記載の全焦点撮像装置である。本手段は、前述の第１手段の構成のうちから、複数枚分の画像をできるだけ短時間で撮像することを追求した構成をしている。
【００７１】
本手段では、液封レンズおよび圧電アクチュエータの組み合わせからなる可変焦点レンズ装置と、駆動手段としての可変焦点レンズ駆動回路と、撮像手段としての固体撮像素子とが装備されている。これらの構成要素は、前述のように数百Ｈｚ程度での作動が可能であるから、かなりの程度まで短時間で複数枚の画像の撮像が可能になる。
【００７２】
その結果、動きがある観察対象に対しても、ほとんど瞬間的に複数枚分の画像を撮像することが可能になり、写真でいうところの長時間露光によるぶれを最低限に抑制することができる。たとえば、ピラミッド状の観察対象が回転している場合には、撮像に長時間がかかってしまうと、合焦点画像では観察対象の稜線が螺旋状にねじれて写ってしまう。しかし、本手段のようにごく短時間で多数枚分の撮像を行うことができれば、合焦点画像でも観察対象の稜線はほとんどねじれることがない。
【００７３】
したがって本手段によれば、前述の第１手段の効果に加えて、ごく短時間で多数枚分の撮像ができるので、時間的に変化する観察対象に対しても合焦点画像のぶれを抑制することができるという効果がある。
【００７４】
（第１３手段）
本発明の第６手段は、請求項６記載の全焦点撮像装置である。本手段は、前述の第１手段の構成のうちからリアルタイム性が高い構成を選定したものであり、合焦点画像をリアルタイムで表示することを追求している。
【００７５】
本手段では、前述の第１２手段と同様に、液封レンズおよび圧電アクチュエータの組み合わせからなる可変焦点レンズ装置と、駆動手段としての可変焦点レンズ駆動回路と、撮像手段としての固体撮像素子とが装備されている。これらの構成要素は、前述のように数百Ｈｚ程度での作動が可能であるから、かなりの程度までのリアルタイム性の要求に応えることができる。
【００７６】
一方、画像処理手段は、新しい画像が取り込まれる度に、リアルタイムで合焦点画素の判定を行い、制御手段は、これらの合焦点画素を逐次更新することにより表示装置に合焦点画像を表示する。すなわち、画像処理手段により合焦点画素が抽出されると、即座に制御装置によって表示装置に表示中の合焦点画像のうち当該画素が更新される。それゆえ、表示装置に表示中の合焦点画像は、全て最新の合焦点画素から構成されており、ほとんどリアルタイムでの合焦点画像の表示が可能になる。
【００７７】
したがって本手段によれば、前述の第１２手段の効果に加えて、時間的に変化する観察対象に対しても、ほとんどリアルタイムで合焦点画像を提供することできるという効果がある。
【００７８】
（第１４手段）
本発明の第１４手段は、請求項１４記載の全焦点撮像装置である。
【００７９】
本手段では、前述の第１２手段において、圧電アクチュエータに印加される電圧の測定値に基づいて、可変焦点レンズ装置の焦点位置が算出される。すなわち、可変焦点レンズ装置の焦点位置は液封レンズのレンズ形状で決まり、このレンズ形状は圧電アクチュエータの変位で決まり、この変位は印加電圧で決まる。それゆえ、圧電アクチュエータへの印加電圧の測定値に基づいて、可変焦点レンズ装置の焦点位置を算出することができる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置を付与することが可能になる。
【００８０】
したがって本手段によれば、前述の第１２手段の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。
【００８１】
（第１５手段）
本発明の第１５手段は、請求項１５記載の全焦点撮像装置である。
【００８２】
本手段では、前述の第１２手段において、圧電アクチュエータに注入および放電される電荷量の測定値に基づいて、可変焦点レンズ装置の焦点位置が算出される。すなわち、可変焦点レンズ装置の焦点位置は液封レンズのレンズ形状で決まり、同レンズ形状は圧電アクチュエータの変位で決まり、同変位は圧電アクチュエータに注入されている電荷量で決まる。それゆえ、圧電アクチュエータに印加されている電荷量の測定値に基づいて、可変焦点レンズ装置の焦点位置を算出することができる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置を付与することが可能になる。
【００８３】
したがって本手段によれば、前述の第１２手段の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。
【００８４】
（第１６手段）
本発明の第１６手段は、請求項１６記載の全焦点撮像装置である。
【００８５】
本手段では、前述の第１２手段において、圧電アクチュエータの変位の測定値に基づいて、可変焦点レンズ装置の焦点位置が算出される。すなわち、可変焦点レンズ装置の焦点位置は液封レンズのレンズ形状で決まり、同レンズ形状は圧電アクチュエータの変位で決まる。それゆえ、圧電アクチュエータの変位の測定値に基づいて、可変焦点レンズ装置の焦点位置を算出することができる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置を付与することが可能になる。
【００８６】
したがって本手段によれば、前述の第１２手段の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。
【００８７】
（第１７手段）
本発明の第１７手段は、請求項１７記載の全焦点撮像装置である。
【００８８】
本手段では、前述の第１手段において、可変焦点レンズ装置の焦点位置は、制御手段が駆動手段に与える信号に基づいて算出算出されるので、何らセンサ等を付加することなく、焦点位置の算出が可能である。
【００８９】
したがって本手段によれば、前述の第１手段の効果に加えて、可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。また、前述の第１４手段ないし第１６手段と異なり、何らセンサを付加する必要がないので、これらの手段よりも安価になるという効果もある。
【００９０】
（第１８手段）
本発明の第１８手段は、請求項１８記載の全焦点撮像装置である。
【００９１】
本手段では、前述の第１手段において、画像メモリは、画像信号を一列の画素からなるライン状の区画に分割して格納するラインメモリである。ラインメモリは、回路規模が小さく安価なうえに、素子サイズも消費電力も小さいので、その分だけ全焦点撮像装置を小型かつ安価にしその消費電力を低減することができる。それゆえ、内視鏡やマイクロマシンなどの小型軽量化要求の高い用途に対しても、その要求に応えやすくなる。
【００９２】
したがって本手段によれば、前述の第１手段の効果に加えて、コストダウンと小型軽量化と消費電力低減とが可能になるという効果がある。
【００９３】
（第１９手段）
本発明の第１９手段は、請求項１９記載の全焦点撮像装置である。
【００９４】
本手段では、前述の第１手段において、画像メモリは、画像信号を二次元の広がりがあるフレーム状の区画ごと格納するフレームメモリである。フレームメモリは、ある程度大きな二次元の広がりをもった区画ごと、画像信号を一度に格納してしまい、一度に読み出すことができるので、高速処理が可能になる。なお、フレームメモリとしては、一画面または複数画面をそっくりそのまま格納できるだけの容量をもったものを採用することが処理速度の点から望ましい。
【００９５】
したがって本手段によれば、前述の第１手段の効果に加えて、高速処理が可能になるという効果がある。
【００９６】
（第２０手段）
本発明の第２０手段は、請求項２０記載の全焦点撮像装置である。すなわち、本手段の全焦点撮像装置において、画像処理手段は、合焦点画像および立体数値モデルのうち少なくとも後者を生成するデジタル演算手段である。そしてこの画像処理手段は、立体数値モデルの生成にあたって空間的な高周波ノイズを除去するノイズ除去フィルタをもつことを特徴とする。
【００９７】
すなわち、ノイズ除去フィルタなしで画像処理が行われると、観察対象のエッジ部分や段差部分など、合焦点位置が位置によって急変している部分では、合焦点判定に誤差が生じやすく、このような誤差は空間的な高周波成分として現れる。その結果、立体数値モデルのエッジ部分や段差部分などがささくれ立ってしまい、立体数値モデルのデータに観察対象にはない乱れが形成されてしまうことが多い。
【００９８】
そこで本手段では、ノイズ除去フィルタによって空間的な高周波成分を取り除き、立体数値モデルから高周波ノイズを除去することにより、観察対象の立体数値モデルをより滑らかで正確なものにすることが可能になる。
【００９９】
したがって本手段によれば、前述の第１手段の効果に加えて、段差やエッジのある観察対象に対しても、その立体数値モデルをより滑らかで正確なものにすることが可能になるという効果がある。
【０１００】
（第２１手段）
本発明の第２１手段は、請求項２１記載の全焦点撮像装置である。本手段は、前述の第２０手段をより具体的に特定したものであり、立体数値モデルを空間周波数領域に変換してフィルタリングをかけるところに特徴がある。
【０１０１】
本手段では、前述の第２０手段において、ノイズ除去フィルタは、立体数値モデルをいったん空間周波数成分に変換する正変換と、空間周波数成分から高周波成分を除去するフィルタリングと、高周波成分が除去された空間周波数成分を再び立体数値モデルに戻す逆変換とを行うデジタルフィルタである。空間周波数成分にフィルタリングをかけるので、空間周波数のうちノイズが多い高周波成分だけを除去することが可能になるともに、フィルタリングに様々な手法を適用することが可能になり有効な選択肢が増える。
【０１０２】
したがって本手段によれば、前述の第２０手段の効果に加えて、空間周波数のうちノイズが多い高周波成分だけを除去することが可能になるともに、フィルタリングに様々な手法を適用することが可能になり有効な選択肢が増えるという効果がある。
【０１０３】
（第２２手段）
本発明の第２２手段は、請求項２２記載の全焦点撮像装置である。本手段は、前述の第２１手段の変換方法を選択的に特定するものである。
【０１０４】
本手段では、前述の第２１手段において、正変換の方法は、離散コサイン変換法、離散サイン変換法、フーリエ変換法および高速フーリエ変換法のうちいずれかであり、当然逆変換の方法は、正変換の方法に対応する方法である。これらの方法のうち、離散コサイン変換法を採用した場合には、正変換および逆変換に、既製品のＭＰＥＧの圧縮処理ＬＳＩおよび解凍処理ＬＳＩを用いることができるので、開発期間が短縮されるうえに安価である。また、高速フーリエ変換法を使用した場合にも、市販の専用チップを採用できるので、安価にすますことができる。
【０１０５】
したがって本手段によれば、前述の第２１手段の効果に加えて、前述のような特定の変換方法を選択することにより、製品をより安価に提供できるようになるという効果がある。
【０１０６】
（第２３手段）
本発明の第２３手段は、請求項２３記載の全焦点撮像装置である。本手段は、前述の第２０手段をより具体的に特定したものである。
【０１０７】
本手段では、前述の第２０手段において、ノイズ除去フィルタは、立体数値モデルに対して移動平均および全平均のうち一方を取ることにより高周波ノイズを除去するデジタルフィルタである。すなわち、本手段では前述の第２１手段ないし第２２手段と異なり、立体数値モデルを空間周波数成分に正変換することも、フィルタリングされた空間周波数成分を立体数値モデルに逆変換することもない。それゆえ、正変換および逆変換の演算処理を行う必要がないので、演算負荷が大幅に低減され、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になる。
【０１０８】
したがって本手段によれば、前述の第２０手段の効果に加えて、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になるという効果がある。
【０１０９】
（第２４手段）
本発明の第２４手段は、請求項２４記載の全焦点撮像装置である。本手段も、前述の第２０手段をより具体的に特定したものである。
【０１１０】
本手段では、前述の第２０手段において、ノイズ除去フィルタは、画像信号を複数の画素からなる区画毎にまとめ、各区画内で最も発生頻度が高い輝度値および輝度値の平均値のうち一方で、区画内の各画素の各画像信号を統一するデジタルフィルタである。すなわち前述の第２３と同様に、立体数値モデルを空間周波数成分に正変換することも、フィルタリングされた空間周波数成分を立体数値モデルに逆変換することもない。そればかりではなく、所定の区画内の輝度を、最も発生頻度が高い輝度値および輝度値の平均値のうち一方で統一してしまうだけであるので、やはり演算負荷が小さくなる。その結果、演算負荷が大幅に低減され、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になる。
【０１１１】
したがって本手段によっても、前述の第２３手段と同様に、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になるという効果がある。
【０１１２】
（第２５手段）
本発明の第２５手段は、請求項２５記載の全焦点撮像装置である。
【０１１３】
本手段では、前述の第１手段において、制御手段は、駆動手段を制御して焦点位置を連続的に移動させ、撮像手段を制御して焦点位置の移動中に連続撮影させる。ここで、必要とされる焦点位置の移動速度は、一枚の画像の撮影に必要な撮像手段の露光時間と、必要な画像の枚数と、被写界深度などとによって異なる。焦点位置の移動速度への要求がかなり高くても、前述の第１２手段で説明したような可変焦点レンズ装置を使用すると、焦点位置の移動速度の要求にはたいてい応えることができるようになる。すると、ごく短時間のうちに焦点位置の異なる多数の画像を撮像することができ、動きの激しい観察対象やごく短いシャッターチャンスしかない観察対象に対しても、全焦点画像や立体数値モデルの生成が可能になる。
【０１１４】
したがって本手段によれば、前述の第１手段の効果に加えて、動きの激しい観察対象やごく短いシャッターチャンスしかない観察対象に対しても、全焦点画像や立体数値モデルの生成が可能になるという効果がある。
【０１１５】
なお、焦点位置の移動パターンとしては、正弦波状、三角波状およびノコギリ波状など、多様なパターンがあり得るので、可変焦点レンズ等の種類と使用目的とに合わせて最も適した移動パターンを選ぶとよい。
【０１１６】
（第２６手段）
本発明の第２６手段は、請求項２６記載の全焦点撮像装置である。
【０１１７】
本手段では、前述の第１手段において、制御手段は、駆動手段を制御して焦点位置を階段状に時間変化させ、撮像手段を制御して焦点位置の各停止時に撮像させる。すると、撮像手段が撮像している間は焦点位置を固定しておくことができるので、前述の第２５手段ほど短時間での全焦点撮像はできないが、撮像される多数の画像の一枚一枚において焦点ぶれがなくなる。その結果、より鮮明な合焦点画像やより正確な立体数値モデルが生成されるようになる。
【０１１８】
したがって本手段によれば、前述の第１手段の効果に加えて、撮像される多数の画像の一枚一枚から焦点ぶれがなくなって、より鮮明な合焦点画像やより正確な立体数値モデルが生成されるという効果がある。
【０１１９】
（第２７手段）
本発明の第２７手段は、請求項２７記載の全焦点撮像装置である。本手段は、前述の第２５手段の長所と第２６手段の長所とを組み合わせ、短い撮像時間でより鮮明な合焦点画像やより正確な立体数値モデルが生成されるようにしたものである。
【０１２０】
本手段では、前述の第１手段において、制御手段は、焦点位置を連続的に移動させつつ連続撮像するプレビュー動作と、このプレビュー動作の間に観察対象が存在する焦点位置の範囲を判定する範囲判定処理と、この範囲において焦点位置を階段状に移動させつつ焦点位置の各停止時に撮像する本撮像動作とを行うよう制御を行う。
【０１２１】
先ず、プレビュー動作では、前述の第２５手段で説明したように、焦点位置は高速で連続的に移動させられ、その間に撮像手段は複数枚の焦点位置が異なる画像をごく短時間のうちに連続撮像する。そして、範囲判定処理では、これらの画像で合焦点判定を行うことにより、プレビュー動作での焦点位置の移動範囲のうち、どの範囲に観察対象が存在するのかが判定される。ここで、範囲判定処理は、プレビュー動作が済んでから行われてもよいが、撮像時間の短縮要求が高い場合にはプレビュー動作と並行してリアルタイムまたは準リアルタイムで行われることが望ましい。範囲判定処理によって観察対象の存在範囲が明らかになったら、次に本撮像動作が行われる。すなわち、焦点位置の移動可能範囲のうち観察対象が存在する範囲にわたって焦点位置が階段状に移動し、その際、焦点位置の各停止時に撮像が行われる。
【０１２２】
このようにプレビュー動作と本撮像動作との二段階に分けて撮像することにより、プレビュー動作で得た画像に基づいて撮像すべき焦点位置の範囲が限定されるので、本撮像動作が短時間で済む。その結果、プレビュー動作も本撮像動作も短時間で済むので、全体の撮像時間も短くて済みながら、本撮像動作で焦点位置を固定した焦点ぶれのない画像が撮像されるので、より鮮明な合焦点画像やより正確な立体数値モデルが得られる。
【０１２３】
あるいは、本撮像動作の撮像時間はあまり短くならないが、本撮像動作での焦点位置の移動ステップを小刻みにし、より多数枚の画像を撮像してよりいっそう鮮明な合焦点画像やよりいっそう正確な立体数値モデルが得られるようにしてもよい。
【０１２４】
したがって本手段によれば、前述の第１手段の効果に加えて、短い撮像時間のうちに、より鮮明な合焦点画像やより正確な立体数値モデルが得られるという効果がある。
【０１２５】
（第２８手段）
本発明の第２８手段は、請求項２８記載の全焦点撮像装置である。
【０１２６】
本手段では、前述の第１手段において、制御手段は、駆動手段を制御し、可変焦点レンズの被写界深度に応じて焦点位置の移動速度を調整する。すなわち、一枚の画像を撮像する間に、被写界深度の範囲内でしか焦点位置が移動していなければ、その画像ではほとんど焦点ぶれが生じず、焦点位置を連続的に移動させていても焦点位置を階段状に移動させて静止時に撮像した場合に準ずる鮮明な画像が撮像される。それゆえ、焦点位置を連続的に移動させて短時間で連続撮像されていても、比較的長時間をかけて焦点位置を階段状に移動させて静止時に撮像した場合に準ずる鮮明な画像が得られる。その結果、短時間のうちに鮮明な合焦点画像や正確な立体数値モデルが生成される。
【０１２７】
したがって本手段によれば、前述の第１手段の効果に加えて、被写界深度の範囲内で各画像が撮像されるよう焦点位置の移動速度が適正に調整されていれば、短時間のうちに鮮明な合焦点画像や正確な立体数値モデルを生成することができるという効果がある。
【０１２８】
（第２９手段）
本発明の第２９手段は、請求項２９記載の全焦点撮像装置である。
【０１２９】
本発明のように、合焦点画像を選択して観察対象の全体に焦点の合った合焦点画像を作成したり合焦点位置に基づいて立体数値モデルを生成しようとすると、各画素または各区画について合焦点判定ができることが必須である。ところが、光学軸方向の位置が異なっていても（つまり高低差があっても）、周囲との輝度や色彩のコントラストがないと、合焦点判定が正確にできなくなるので、合焦点位置を正確に検出することができなくなる。
【０１３０】
すると、合焦点画像の生成においては、多少のピンぼけがあっても周囲とコントラストがなければ、合焦点画像とほぼ同様の画像が得られるので、問題は少ない。しかし、立体数値モデルの生成にあたっては、合焦点判定が正確にできないと合焦点位置の検出に誤差を生じるので、立体数値モデルの表す形状が実際の観察対象とは異なってしまい、不都合である。
【０１３１】
本手段は、このような不都合をなくすために、観察対象においてコントラストがなくても正確な合焦点判定ができ、精密な立体数値モデルを生成することを目的に、発明者らが工夫を凝らしたものである。
【０１３２】
本手段では、前述の第１手段において、少なくとも焦点位置に結像する光学マーカを観察対象に投影するマーカ投影手段をさらに有する。マーカ投影手段が、焦点位置に結像する光学マーカを観察対象に投影すると、観察対象のうち撮像時の焦点位置にある部分にだけ光学マーカが鮮明に投影される。それゆえ、通常の照明下においてはコントラストがない観察対象の表面にも、焦点位置においてだけ鮮明なコントラストが生じるようになり、正確な合焦点判定ができるようになる。その結果、観察対象の表面に投影された光学マーカを観察することにより、精密な立体数値モデルを生成することが可能になる。
【０１３３】
したがって本手段によれば、前述の第１手段の効果に加えて、観察対象自体にコントラストがなくても正確な合焦点判定ができ、精密な立体数値モデルを生成することができるという効果がある。
【０１３４】
なお、マーカ投影手段は、焦点位置にだけ鮮明に結像する光学マーカを投影するものであってもよい。あるいは、平行光線を生じて焦点位置だけでなく無限遠にまで鮮明に結像する光学マーカや、スリット等を通した光学マーカを投影するものであってもよい。
【０１３５】
ところで、合焦点判定をできるようにするために光学マーカを用いると、立体数値モデルの生成にはよいが、合焦点画像には光学マーカまでもが撮像されて邪魔になるという不都合が起こりうる。そこで発明者らは、合焦点画像を撮像する際に光学マーカの像が邪魔になることを避ける目的で、以下の第３０手段および第３１手段を発明した。
【０１３６】
（第３０手段）
本発明の第３０手段は、請求項３０記載の全焦点撮像装置である。
【０１３７】
本手段では、前述の第２９手段において、マーカ投影手段は、光学マーカを点滅させることができ、制御手段は、光学マーカの点滅に同期して撮像手段および画像処理手段を制御して、光学マーカの投影中に合焦点判定を行い、光学マーカの消灯中に画像メモリへの画像信号の取り込みを行う。すなわち、光学マーカの点灯中に合焦点判定が行われ、光学マーカの消灯中に合焦点画像のうち合焦点部分の画像信号の取り込みが行われる。その結果、観察対象自体にコントラストがなくても正確な合焦点判定ができ、精密な立体数値モデルを生成することができるだけではなく、光学マーカが写っていない合焦点画像を生成することもできるようになる。
【０１３８】
したがって本手段によれば、前述の第２９手段の効果が得られながら、光学マーカが写っていない合焦点画像を生成することができるようになるという効果がある。
【０１３９】
（第３１手段）
本発明の第３１手段は、請求項３１記載の全焦点撮像装置である。すなわち、本手段は、前述の第２９手段において、光学マーカの波長帯に感度を有するマーカ撮像手段をさらに有する全焦点撮像装置である。そしてさらに、本手段には、マーカ投影手段は、撮像手段の撮像波長帯域を外れた波長帯で光学マーカを投影し、画像処理手段は、マーカ撮像手段から得られた画像信号に基づいて合焦点判定を行うという特徴がある。
【０１４０】
本手段では、マーカ投影手段は、撮像手段の撮像波長帯域を外れた波長帯で光学マーカを投影するので、撮像手段には光学マーカ感知されず合焦点画像には光学マーカが写らない。一方、本手段には光学マーカの波長帯に感度を有するマーカ撮像手段が装備されているので、マーカ撮像手段によって撮像される光学マーカのぼやけ具合を検討することによって、合焦点判定をすることが可能になっている。
【０１４１】
しかも本手段では、前述の第３０手段と異なって、光学マーカを点灯したまま合焦点画像の撮像を行っても合焦点画像に光学マーカが写らないので、光学マーカを点滅させる必要がなくなる。それゆえ、第３０手段よりも短時間で合焦点判定および撮像が可能になり、その結果、合焦点画像の撮像に要する時間が第３０手段よりも短縮される。
【０１４２】
したがって本手段によれば、前述の第３０手段と同様の効果が得られるばかりではなく、第３０手段よりも合焦点画像の撮像に要する時間が短縮されるという効果がある。
【０１４３】
【発明の実施の形態】
本発明の全焦点撮像装置の実施の形態については、当業者に実施可能な理解が得られるよう、以下の実施例で明確かつ十分に説明する。
【０１４４】
［実施例１］
（実施例１の構成）
本発明の実施例１としての全焦点撮像装置は、図１に示すように、可変焦点レンズ装置１と、その焦点位置を変更する可変焦点レンズ駆動回路２と、撮像手段３と、マイクロコンピュータ４と、液晶ディスプレイ５とを有する。
【０１４５】
可変焦点レンズ装置１は、観察対象に対する焦点位置が可変である可変焦点レンズ１１と、可変焦点レンズ１１の焦点位置（合焦点面Ｆの位置）を変更する複数のアクチュエータ１２と、固定レンズ１３とから主に構成されている。ここで、可変焦点レンズ１１は、表裏の差圧によって曲率が可変な一対の透明弾性膜とこれらの透明弾性膜によって形成される内部空間に封入された透明液体とをもつ液封レンズ１１である。また、複数のアクチュエータ１２は、それぞれ複数の圧電素子（圧電バイモルフ）が積層されてなる圧電アクチュエータ１２である。そして、液封レンズ１１と圧電アクチュエータ１２と固定レンズ１３とは、互いに一体に組み付けられて可変焦点レンズ装置１を形成している。可変焦点レンズ装置１は、観察対象を拡大して撮像手段３に結像する機能をもつ顕微鏡である。なお、可変焦点レンズ装置１の構成は、前述の特開平９−２３０２５２号公報に開示されている可変焦点レンズ部と同様であるので、可変焦点レンズ装置１の詳しい構成を知りたい場合には、同公報を参照されたい。
【０１４６】
可変焦点レンズ駆動回路２は、これらの圧電アクチュエータ１２に適正な電圧を印加し、全ての圧電アクチュエータ１２を同期して駆動する駆動手段である。また、撮像手段３は、可変焦点レンズ１１を通して結像した画像を画素毎の画像信号として出力する機能をもち、固体撮像素子としてのＣＣＤ素子３１とＣＣＤ駆動回路３２とから構成されている。そして、ＣＣＤ素子３１の撮像面は、液封レンズ１１および固定レンズ１３を通して観察対象が結像する位置に、可変焦点レンズ装置１に対して固定されている。
【０１４７】
マイクロコンピュータ４は、撮像手段３からの画像信号を複数枚分に渡って格納可能な画像メモリ４１と、これら複数枚分の画像信号のうち最も焦点が合っているものを画素毎に判定して抽出し一枚の合焦点画像を生成する画像処理手段４２と、全焦点撮像装置全体を制御する制御手段４３とを有する。ここで、画像処理手段４２による合焦点画素の判定は、各画素およびその周辺画素がもつ空間周波数の焦点位置に関するピーク判定によって行われる。また、画像メモリ４１はフレームメモリであって、画像信号を一枚分ずつまとめて高速で入出力することができる。
【０１４８】
液晶ディスプレイ５は、前記合焦点画像を提供する表示装置であり、マイクロコンピュータ４の制御手段４３によって提供される画像を表示する。すなわち、マイクロコンピュータ４の制御手段４３は、前述の可変焦点レンズ駆動回路２、固体撮像素子３、画像メモリ４１、画像処理手段４２、および液晶ディスプレイ５を適正に同期して制御する機能をもつ。
【０１４９】
（実施例１の作用効果）
本実施例の全焦点撮像装置は、以上のように構成されているので、以下のような作用効果を発揮する。
【０１５０】
先ず、観察対象の一例として、図２に示すように、大中小の円筒体が重ねられ、互いに高さが異なる上面、中間面および低面がある物体を定め、同物体の直上から可変焦点レンズ装置１で観察するものとする。
【０１５１】
次に、可変焦点レンズ装置１の焦点位置は、図３に示すように、所定の時間をおいて段階的に所定のピッチで階段状に変更される。このような焦点位置の変更は、再び図１に示すように、マイクロコンピュータ４の制御手段４３によって制御される可変焦点レンズ駆動回路２によって、可変焦点レンズ装置１の圧電アクチュエータ１２が駆動され、液封レンズ１１の度数が変更されて行われる。ここで、非常に小型の圧電アクチュエータ１２で液封レンズ１１の度数を変える応答速度は非常に速く、全ストロークの往復運動を数百Ｈｚの振動数で行うことができるので、焦点位置のわずかな変更は数十マイクロ秒程度で可能である。
【０１５２】
この際、ＣＣＤ素子３１の撮影レートも数百Ｈｚ程度まで上げることができ、しかも制御手段４３によって可変焦点レンズ装置１の焦点位置の変動に同期して撮像するように制御されている。すなわち、再び図３に示すように、可変焦点レンズ装置１の焦点位置が一定に保たれている間に、ＣＣＤ素子３１による撮像が行われる。
【０１５３】
それゆえ、図４に示すように、焦点位置が少しずつ異なる多数枚分の画像が撮像され、順次、マイクロコンピュータ４の制御手段４３を経て画像メモリ４１に記録される（図１参照）。ここで、可変焦点レンズ装置１によって変更される焦点位置のストロークの範囲に、観察対象の全体が入っているように可変焦点レンズ装置１は調製されているものとする。すると、これらの多数枚分の画像のうちには、観察対象の上面に焦点位置が合っている（合焦点している）ものと、観察対象の中間面に合焦点しているものと、観察対象の低面に合焦点しているものとが含まれているはずである。
【０１５４】
以上のようにして所定の焦点位置のストロークの範囲で多数枚分の画像の撮像が行われると、観察対象の全ての部分に合焦点した（ピントがあった）合焦点画像を得るためには、どの画像のどの画素が合焦点画素であるかを判定しなくてはならない。この合焦点判定には、マイクロコンピュータ４の画像処理手段４２が当たる。
【０１５５】
すなわち、画像処理手段４２による合焦点画素の判定は、焦点位置が少しずつ異なる多数枚分の画像のうち、各画素およびその周辺画素がもつ空間周波数の焦点位置に関するピーク判定によって行われる。
【０１５６】
たとえば、図５に示すように、合焦点判定が行われるべき画素の座標が（ｉ，ｊ）であるとし、当該画素を中心にして５画素×５画素の区画を想定する。すると、同区画内の任意の画素は、座標（ｐ，ｑ）で特定されるので、次の数１に従い、ｋ＝２と置いて同区画内の輝度の擬似的な空間周波数Ｖ（ｉ，ｊ）を算出することができる。
【０１５７】
【数１】

【０１５８】
ただし、Ｙ（ｐ，ｑ）は各画素のもつ輝度である。
【０１５９】
ある画像において、座標（ｉ，ｊ）の画素を中心とする区画に焦点が合った場合には、輝度Ｙ（ｐ，ｑ）の分布がもつ空間周波数Ｖ（ｉ，ｊ）は、極大値を取る。その結果、合焦点判定が行われる画素の周囲の画素に関する輝度情報も使用されて、当該画素の合焦点判定が行われるので、より精密な合焦点判定が行われる。なお、この合焦点判定の際、全ての画像について空間周波数Ｖ（ｉ，ｊ）を求める必要はなく、数値計算の常套手段としての極大値を求めるアルゴリズムを使用して、演算負荷を低減することができる。
【０１６０】
ここで、空間周波数Ｖ（ｉ，ｊ）を求める区画を５×５としたが、発明者らの知見として、ＣＣＤ素子３１の解像度と同等程度に非常にきめの細かい画像に対しては、３×３の区画を採用し、ｋ＝１として前記数１を算出すると良い。一方、ＣＣＤ素子３１の解像度に比較してずっと濃淡のきめが粗い画像に対しては、７×７，９×９，・・・のように、空間周波数Ｖ（ｉ，ｊ）を算出する区画を広く取っておく方が、適正な合焦点判定をすることが可能になる。なお、同区画は、必ずしも正方形であることを要しない。
【０１６１】
以上のようにして合焦点判定されて選別された画素は、制御手段４３によって画像メモリ４１のうち他のアドレスに画素配置に従って記録される。すなわち、図６に示すように上面に焦点があった画像と、図７に示すように中間面に焦点が合った画像と、図８に示すように低面に焦点があった画像とのうちから、合焦点部分の画素だけが選択的に抽出される。そして、画像メモリ４１に画素配置に従って記録されるので、図９に示すように、観察対象の全ての部分に焦点があった合焦点画像が画像メモリ４１の中に生成される。
【０１６２】
すなわち、全ての画素について合焦点判定が完了すると、画像メモリ４１には新たに一枚の合焦点画像（観察対象の全ての部分に焦点があった画像）が生成される。この合焦点画像は、生成され次第、制御手段４３により液晶ディスプレイ５に映し出されるので、ほとんど時間遅れなしに、合焦点画像による観察対象の観察を行うことが可能になる。なお、画像処理手段４２を並列処理プロセッサで形成すれば、この時間遅れをよりいっそう短縮することができる。
【０１６３】
また、図３を参照して説明した前述の多画像撮像シーケンスは、焦点位置を往復させながら繰り返し行うことができ、その度に新たな合焦点画像が生成されて液晶ディスプレイ５に表示される。それゆえ、液晶ディスプレイ５には準リアルタイムで合焦点画像が提供されるので、観察対象に動きがある場合にも、準リアルタイムでの観察対象の動作なり形状なりを合焦点画像で観察することが可能になる。
【０１６４】
さらに、画像処理手段４２には、何枚目の画像から取り出した画素であるかを判別して等高線地図のようにグラデーションを付けて当該画素に着色し、色分けした等高面図を画像メモリ４１に記録する機能も付与されている。その結果、準リアルタイムで観察対象の合焦点画像を観察することができるばかりではなく、観察対象の高さ方向の位置情報が色分けで盛り込まれた等高面図をも準リアルタイムで液晶ディスプレイ５に表示させることができる。それゆえ、観察者は観察対象の高さ方向の形状や動きについても、準リアルタイムで情報を得て立体的に観察対象の動きなり形状なりを認識することができるようになる。
【０１６５】
したがって、本実施例の全焦点撮像装置によれば、観察対象の合焦点画像を準リアルタイムの動画で表示することができるので、合焦点画像による準リアルタイムでの観察対象の観察が可能になるという効果がある。
【０１６６】
そればかりではなく、観察対象の高さ方向の位置情報が色分けで盛り込まれた等高面図をも準リアルタイムで液晶ディスプレイ５に表示させることができる。それゆえ、観察者は観察対象の各部の高さ方向の位置についても、準リアルタイムで情報を得て立体的に観察対象の動きや形状を認識することができるようになるという効果がある。
【０１６７】
（実施例１の変形態様１）
本実施例の変形態様１として、図１０に示すように、正方形の区画ではなく、合焦点判定を行う画素を中心とする十字状の区画について、次の数２に従って擬似的な空間周波数Ｖ（ｉ，ｊ）を算出する全焦点撮像装置の実施も可能である。
【０１６８】
【数２】

【０１６９】
本変形態様によれば、演算負荷を減らすことができるので、より高速の処理が可能になり、観察のリアルタイム性が向上するという効果がある。
【０１７０】
なお、このように十字状に区画を取る代わりに、Ｘ字状に区画を取って空間周波数Ｖ（ｉ，ｊ）を算出することもでき、本変形態様とほぼ同等の効果を挙げることができる。
【０１７１】
（実施例１の変形態様２）
本実施例の変形態様２として、画像処理手段４２による合焦点画素の判定は、各画素がもつ輝度の焦点位置に関する差分値の正負反転によって行われる全焦点撮像装置の実施が可能である。
【０１７２】
すなわち、図１１の上半部に示すように、判定される画素の輝度が周囲の輝度よりも高い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも高いので、当該画素の前後を調べれば輝度の極大値が得られる。それゆえ、当該画素の前後では輝度の差分値が正から負へと反転しているので、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。
【０１７３】
逆に、図１１の下半部に示すように、判定される画素の輝度が周囲の輝度よりも低い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも低いので、当該画素の前後を調べれば輝度の極小値が得られる。それゆえ、当該画素の前後では輝度の差分値が負から正へと反転しているので、やはり、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。
【０１７４】
もちろん、輝度の極大値または極小値を探索する上で、通常の数値計算で使われる探索アルゴリズムを採用することにより、全ての画像について輝度を調べる必要がなくなるので、演算負荷を低減することができる。
【０１７５】
以上のように、本変形態様の全焦点撮像装置では、それぞれの画素について、その周囲の画素との相関関係を省みることなく、当該画素単独で輝度の変化を観測することにより、当該画素の輝度の差分値の正負反転をもって合焦点の判定がなされる。それゆえ、画像処理手段４２において、合焦点画素の判定に要する演算負荷が極めて小さいので、リアルタイム性を向上させることができ、安価な画像処理手段４２を採用することが可能になる。
【０１７６】
したがって、本変形態様の全焦点撮像装置によれば、実施例１の効果に加えて、画像処理のリアルタイム性が向上し、画像処理手段４２をコストダウンすることができるという効果がある。
【０１７７】
そこでさらに、撮像手段３の露光時間と画像処理手段４２の演算処理時間とを十分に短縮することができるのであれば、焦点位置を階段状に変更する代わりに連続的に変更させて、リアルタイム性をよりいっそう向上させることも可能になる。
【０１７８】
（実施例１の変形態様３）
本実施例の変形態様３として、画像処理手段４２による合焦点画素の判定は、各前記画素およびその周辺画素がもつエントロピーの焦点位置に関する最小判定によって行われる全焦点撮像装置の実施が可能である。
【０１７９】
すなわち、当該画素とその周辺画素に焦点が合った場合には、輝度または各色の輝度の分布がもつエントロピーが極小値を取る。その結果、合焦点判定が行われる画素の周囲の画素に関する輝度情報も使用されて当該画素の合焦点判定が行われるので、より精密な合焦点判定が行われるようになる。
【０１８０】
より詳しく説明すると、合焦点時には、図１２に示すように鮮明な画像が得られ、当該区画において各画素が互いに同じ輝度をもつ確率が大きくなり、エントロピーは最小になって極小値を取る。逆に、焦点位置が合焦点位置から大きく外れていると、図１３に示すようにぼうっとしてコントラストが少なくなり、当該区画において各画素が互いに同じ輝度をもつ確率が大きくなってエントロピーは大きくなる。すなわち、合焦点位置から焦点位置が離れるにつれてエントロピーは増大する。
【０１８１】
本変形態様においてエントロピーを算出する演算式としては、次の数３を採用している。
【０１８２】
【数３】

【０１８３】
ここで、Ｐｉはデータｉの発生確率であって、たとえば、輝度が０〜２５５の２５６階調で当該区画中に輝度ｉの画素がｎ個あるとすれば、Ｐｉ＝ｎ／２５６である。
【０１８４】
そればかりではなく、たとえば２×２なり３×３のように、小さな区画毎にエントロピーを算出し、画素毎ではなく区画毎に合焦点判定を行うようにすれば、区画毎の合焦点判定が可能になる。その結果、画素毎の合焦点判定が不要になり、区画毎に合焦点判定の演算処理が行われるので、画像処理手段４２の演算負荷が低減されて画像処理のリアルタイム性が向上するうえに、画像処理手段４２をコストダウンすることができるという効果がある。
【０１８５】
なお、エントロピーの算出方法にはいくつかあるが、エントロピーは厳密に演算される必要は必ずしもなく、簡易化した演算アルゴリズムをもって近似的に算出されても良い。
【０１８６】
（実施例１の変形態様４）
本実施例の変形態様４として、画像処理手段４２による合焦点画素の判定は、各画素およびその周辺画素の形成する区画における各画素の輝度の最大値と最小値との差である輝度振幅の最大判定によって行われる全焦点撮像装置の実施が可能である。本変形態様は、合焦点判定を行うべき当該画素を含む小さな区画では、合焦点時には最も明るい画素と最も暗い画素とのコントラストが最大になるとの知見に基づいている。
【０１８７】
ここで、図１４に示すように、たとえば５×５の画素からなる正方形の区画内で輝度振幅を測るものとしよう。すると、図１５に示すように、輝度振幅Δは、最も明るい画素の輝度（最大輝度）ｆmax と最も暗い画素の輝度（最小輝度）ｆmin との差Δ＝Ｆmax−Ｆminである。それゆえ、輝度振幅Δが最大になった焦点位置をもって、その区画は合焦点位置にあり、その区画の中央にある画素は、合焦点位置にあるものと判定される。
【０１８８】
本変形態様での合焦点判定アルゴリズムの特徴は、区画中の各画素の輝度の間で複雑な計算をする必要が全くなく、単に各画素の輝度のうちでの最大値ｆmax と最小値ｆmin とを探し出し、その差Δ＝Ｆmax−Ｆminを取ることであるから、極めて簡素な処理であることである。それゆえ、同アルゴリズムの開発が容易であるばかりではなく、同アルゴリズムを処理するデジタル演算手段の演算負荷は極めて低くなり、安価な演算手段を使っても高速処理が可能になる。それでいながら、かなり高い信頼性で合焦点判定が行われる。
【０１８９】
したがって、本変形態様によれば、前述の実施例１の効果に加えて、安価な演算手段を使っても高速処理が可能になるうえに、かなり高い信頼性で合焦点判定が行われるという効果がある。
【０１９０】
（実施例１の変形態様５）
本実施例の変形態様５として、画像処理手段４２による合焦点画素の判定は、各画素およびその周辺画素の形成する区画における離散コサイン変換係数の最大判定によって行われる。本変形態様は、合焦点判定を行うべき当該画素の周辺では、焦点位置が合うとシャープな画像が得られるので、離散コサイン変換係数の値が最大になるとの知見に基づいている。
【０１９１】
本変形態様では、図１６に示すように、合焦点判定をする区画において、いったん輝度値マトリクスを離散コサイン変換により空間周波数マトリクスに変換した後、次の数４に従って離散コサイン変換係数Ｄが算出される。
【０１９２】
【数４】

【０１９３】
そして、焦点位置が合って鮮明な画像が得られ、合焦点判定をする区画においてコントラストが最大になると、離散コサイン変換係数Ｄは最大になることが知られている。逆に、焦点位置が外れて画像がぼやけてくるに従って、コントラストは小さくなり、離散コサイン変換係数Ｄが低下してくることも知られている。それゆえ、離散コサイン変換係数Ｄの最大値が得られた焦点位置をもって、合焦点位置と判定される。
【０１９４】
ここで、離散コサイン変換処理を行うＬＳＩは、ＭＰＥＧの画像処理用にすでに開発されて市場に出回っており、費用をかけて新たに専用ＬＳＩを開発することなく、ＭＰＥＧ処理用ＬＳＩの既製品を安く購入して使用することができる。しかも、既製品にはテレビ画像用ものが多いので、毎秒３０回などの高いビデオレートでの処理が安価な既製品よって可能である。それゆえ、このような画像処理手段をもつ本変形態様の全焦点撮像装置は、高速処理が可能であるうえに比較的廉価に製造することができる。
【０１９５】
したがって、本変形態様の全焦点撮像装置によれば、合焦点判定を比較的高速で正確に行うことができながら、製品を比較的安価に提供することができるという効果がある。
【０１９６】
なお、離散コサイン変換係数Ｄの極大値を求めるにあたっては、全ての焦点位置の同一区画について求める必要はなく、極大値を求める公知の数値計算方法を採用して、焦点位置に関してとびとびに離散コサイン変換係数Ｄを算出してもよい。こうすれば、演算負荷を減らすことができるので、合焦点判定に要する演算処理時間が短縮されていっそう有利である。
【０１９７】
（実施例１の変形態様６）
本実施例の変形態様６として、画像処理手段４２による合焦点画素の判定は、複数の画素からなる区画毎に行われる全焦点撮像装置の実施が可能である。本変形態様では、たとえば、その区画における空間周波数、エントロピー、輝度振幅および離散コサイン変換係数のうちいずれかを判定基準にして行われる。すなわち、実施例１およびその変形態様１，３〜５においては、たとえ周囲の区画をも検討対象としても合焦点判定は画素毎に行われるのに対し、本手段では、複数の画素からなる区画毎に合焦点判定が行われる。
【０１９８】
それゆえ、画素毎に合焦点判定がなされた精緻な合焦点画像は得られないが、小さな区画毎に焦点があった比較的鮮明な画像が得られる。しかも、合焦点判定に要する演算処理負荷は、区画を形成する画素の数が増えるほど、劇的に低下する。たとえば、２×２の画素からなる区画では演算負荷が１／４に減り、３×３の区画では演算負荷が１／９と約一桁も低減される。その結果、合焦点判定に関して高速処理が可能になる。
【０１９９】
したがって、本変形態様の全焦点撮像装置によれば、たとえば前述の変形態様３や変形態様５よりも合焦点判定に要する演算負荷が大幅に低下し、高速処理が可能なるという効果がある。
【０２００】
なお、空間周波数、エントロピー、輝度振幅および離散コサイン変換係数のうちいずれを合焦点判定の指標にするかによって、発揮される特徴は異なる。それぞれの特徴は、前述の各変形態様の説明ですでに明らかにされているので、ここでは説明を省く。
【０２０１】
（実施例１の変形態様７）
本実施例の変形態様７として、画像処理手段４２による合焦点画素の判定は、各画素と複数の画素からなる区画とのうち一方に、複数の互いに異なる判定法を適用して行われる全焦点撮像装置の実施が可能である。ここで、各画素に対する合焦点判定の各種方法については、前述の実施例１およびその変形態様１〜５に説明されており、区画毎の合焦点判定の各種方法については、前述の変形態様６に説明されている。
【０２０２】
本変形態様では、合焦点判定を単一の判定法でなく複数の判定法を組み合わせて行うことにより、複数の合焦点判定を複合的に利用して、より信頼性の高い合焦点判定を行うことができる。複数の合焦点判定を複合的に利用する方法としては、平均値を採る方法、多数決で決める方法、集団から外れた値を棄却して標準偏差を減らし残りの固まった値の中で平均を取る方法などがある。複数の合焦点判定方法を組み合わせて用いることにより、それぞれの方法に固有の合焦点判定の偏りを是正し、合焦点位置の判定精度を向上させることができる。
【０２０３】
したがって、本変形態様の全焦点撮像装置によれば、前述の実施例１およびその変形態様１〜６よりも合焦点判定の信頼性が向上し、合焦点判定に誤判定が少なくなる。その結果、より鮮明な合焦点画像やより正確な立体数値モデルが得られるようになるという効果が得られる。
【０２０４】
（実施例１の変形態様８）
本実施例の変形態様８として、画像処理手段４２による合焦点画素の判定は、二段階の合焦点判定を行って、画素または区画の合焦点位置の精度を向上させる全焦点撮像装置の実施が可能である。ここで、二段階のうち最初の第一段階は、単数または複数の画素からなる区画とその周辺の複数の区画とに、それぞれ合焦点判定を行う段階である。次の第二段階は、当該区画とその周辺の区画とからなる大区画に関して合焦点判定を行い、当該区画の合焦点判定を改める段階である。この際、第一段階と第二段階とでは、同一の合焦点判定方法を用いてもよいし、互いに異なる合焦点判定方法を用いてもよい。
【０２０５】
すなわち、第一段階では、図１７に示すように、合焦点判定を行うべき区画とその周囲の区画とについて、それぞれいったん合焦点判定が行われる。この合焦点判定は、一枚の画像のうち全ての区画に対して均等に行われる。すると、当該区画（領域１）だけではなく、その周囲の区画（領域２〜９）についてもおおむね正しい合焦点判定が行われている。
【０２０６】
そして第二段階では、図１８に示すように、第一段階の合焦点判定データが得られたうえで周囲の区画も含めた区画（領域１〜９）からなる大区画について、改めて当該区画（領域１）の合焦点判定が行われる。それゆえ、領域１の合焦点位置は、領域２〜９の合焦点位置にも基づいて改められる。すなわち、当該区画（領域１）の合焦点判定にあたっては、隅の方から順に合焦点判定が行われ、すでに第二段階の合焦点判定が終わった領域では、第一段階の合焦点位置から第二段階の合焦点位置にアップデートされる。その結果、周囲の領域２〜９でもおおむね正確な合焦点位置が得られているので、当該区画（領域１）の合焦点判定はより精密になり、よりいっそう正確な合焦点位置が得られるようになる。
【０２０７】
したがって、本変形態様の全焦点撮像装置によれば、画素または区画の合焦点位置の精度がよりいっそう向上し、極めて鮮明な合焦点画像や極めて正確な立体数値モデルが得られるという効果がある。
【０２０８】
（実施例１の変形態様９）
本実施例の変形態様９として、制御手段４３（図１参照）は、駆動手段としての可変焦点レンズ駆動回路２を制御して焦点位置を連続的に移動させ、撮像手段３を制御して焦点位置としての合焦点面Ｆの移動中に連続撮影させる全焦点撮像装置の実施が可能である。ここで、焦点位置の移動パターンとしては、図１９に示すように、ノコギリ波状のパターンが採用され、一定の速度で焦点位置が移動するようになっている。
【０２０９】
この際、必要とされる焦点位置の移動速度は、一枚の画像の撮影に必要な撮像手段の露光時間と、必要な画像の枚数と、被写界深度などとによって異なる。焦点位置の移動速度への要求がかなり高くても、前述の実施例１で説明したような可変焦点レンズ装置１を使用すると、焦点位置の移動速度に関するたいていの要求には応えることができるようになる。すると、ごく短時間のうちに焦点位置の異なる多数の画像を撮像することができ、動きの激しい観察対象やごく短いシャッターチャンスしかない観察対象に対しても、全焦点画像や立体数値モデルの生成が可能になる。
【０２１０】
そのうえで、本変形態様では鮮明な合焦点画像が得られるように、制御手段４３は、駆動手段２を制御し、可変焦点レンズとしての液封レンズ１１の被写界深度に応じて焦点位置の移動速度を調整するようになっている。すなわち、本変形態様のように、一枚の画像を撮像する間に、被写界深度の範囲内でしか焦点位置が移動していなければ、その画像ではほとんど焦点ぶれが生じず、焦点位置を連続的に移動させていても焦点位置を階段状に移動させて静止時に撮像した場合に準ずる鮮明な画像が撮像される。それゆえ、焦点位置を連続的に移動させて短時間で連続撮像されていても、比較的長時間をかけて焦点位置を階段状に移動させて静止時に撮像した場合に準ずる鮮明な画像が得られる。その結果、短時間のうちに鮮明な合焦点画像や比較的正確な立体数値モデルが生成される。
【０２１１】
したがって、本変形態様の全焦点撮像装置によれば、動きの激しい観察対象やごく短いシャッターチャンスしかない観察対象に対しても、短時間のうちに鮮明な全焦点画像や比較的精密な立体数値モデルの生成が可能になるという効果がある。
【０２１２】
（実施例１の変形態様１０）
本実施例の変形態様１０として、制御手段４３は、駆動手段２を適正に制御することにより、図２０に示すように焦点位置Ｆを階段状に時間変化させ、撮像手段を制御して焦点位置の各停止時に撮像させる全焦点撮像装置の実施が可能である。
【０２１３】
すると、撮像手段が撮像している間は焦点位置を固定しておくことができるので、前述の変形態様９ほど短時間での全焦点撮像はできないが、撮像される多数の画像の一枚一枚において焦点ぶれがなくなる。その結果、より鮮明な合焦点画像やより正確な立体数値モデルが生成されるようになる。
【０２１４】
したがって、本変形態様の全焦点撮像装置によれば、撮像される多数の画像の一枚一枚から焦点ぶれがなくなって、より鮮明な合焦点画像やより正確な立体数値モデルが生成されるという効果がある。
【０２１５】
（実施例１の変形態様１１）
本実施例の変形態様１１は、前述の変形態様９の長所と変形態様１０の長所とを組み合わせ、短い撮像時間でより鮮明な合焦点画像やより正確な立体数値モデルが生成されるようにした全焦点撮像装置である。すなわち、本変形態様の全焦点撮像装置の特徴は、プレビュー動作と範囲判定処理と本撮像動作とが行われることである。
【０２１６】
つまり、制御手段４３は、再び図１９の一過程に示すように、焦点位置Ｆを素早く連続的に移動させつつ連続撮像するプレビュー動作と、このプレビュー動作の間に観察対象が存在する焦点位置Ｆの範囲を判定する範囲判定処理と、再び図２０の一過程に示すように、この範囲において焦点位置を階段状に移動させつつ焦点位置の各停止時に撮像する本撮像動作とを行うよう制御を行う。
【０２１７】
先ず、プレビュー動作では、前述の変形態様９で説明したように、焦点位置Ｆは高速で連続的に移動させられ、その間に撮像手段３は複数枚の焦点位置が異なる画像をごく短時間のうちに連続撮像する。この際、焦点位置Ｆの移動速度は、被写界深度の範囲を大きく超えていてもかまわない。プレビュー動作の目的は、観察対象の存在する焦点位置の範囲を調べることにあるからである。
【０２１８】
そして、範囲判定処理では、これらの画像で合焦点判定を行うことにより、プレビュー動作での焦点位置Ｆの移動範囲のうち、どの範囲に観察対象が存在するのかが判定される。ここで、範囲判定処理は、プレビュー動作が済んでから行われてもよいが、撮像時間の短縮要求が高い場合にはプレビュー動作と並行してリアルタイムまたは準リアルタイムで行われることが望ましい。範囲判定処理によって観察対象の存在範囲が明らかになったら、次に本撮像動作が行われる。すなわち、焦点位置の移動可能範囲のうち観察対象が存在する範囲にわたって焦点位置が階段状に移動し、その際、焦点位置の各停止時に撮像が行われる。
【０２１９】
このようにプレビュー動作と本撮像動作との二段階に分けて撮像することにより、プレビュー動作で得た画像に基づいて撮像すべき焦点位置の範囲が限定されるので、本撮像動作が短時間で済む。その結果、プレビュー動作も本撮像動作も短時間で済むので、全体の撮像時間も短くて済みながら、本撮像動作で焦点位置を固定した焦点ぶれのない画像が撮像されるので、より鮮明な合焦点画像やより正確な立体数値モデルが得られる。
【０２２０】
あるいは、本撮像動作の撮像時間はあまり短くならないが、本撮像動作での焦点位置の移動ステップを小刻みにし、より多数枚の画像を撮像してよりいっそう鮮明な合焦点画像やよりいっそう正確な立体数値モデルが得られるようにしてもよい。
【０２２１】
したがって、本変形態様の全焦点撮像装置によれば、短い撮像時間のうちに、より鮮明な合焦点画像やより正確な立体数値モデルが得られるようになるという効果がある。
【０２２２】
（実施例１の変形態様１２）
本実施例の変形態様１２として、ＣＣＤ素子３１をモノクロ画像ではなくカラー画像を出力するものとした全焦点撮像装置の実施が可能である。すなわち、前述の実施例１の記載では、各画素の輝度だけに注目していたので、暗黙のうちにＣＣＤ素子３１はモノクロであることを前提にしていたが、本変形態様のようにカラーのＣＣＤ素子３１で実施例１を構成することも可能である。あるいは、前述の実施例１の各変形態様に対しても、カラー撮像として本変形態様を適用することができる。
【０２２３】
本変形態様によれば、観察対象を自然色画像で準リアルタイム観察することが可能になるので、色彩をもつ観察対象や色彩に変化がある観察対象を観察するのに都合が良いという効果がある。そればかりではなく、ＲＧＢ三色の合成輝度によっては合焦点判定ができない画素についても、ＲＧＢ三色のうちいずれかの輝度で合焦点判定を行うことにより、輝度が同等でも色彩が異なる部分の合焦点判定ができるようになるという効果もある。
【０２２４】
なお、本変形態様は、前述の実施例１だけにではなく、前述の各変形態様にも全て適用可能である。
【０２２５】
［実施例２］
（実施例２の構成）
本発明の実施例２としての全焦点撮像装置は、液晶ディスプレイ５への合焦点画像の動画の表示のリアルタイム性（高速性ないし即時性）を追求したものである。本実施例の全焦点撮像装置の構成は、再び図１に示すように、画像処理手段４２および制御手段４３のソフトウェアの違いを除き、前述の実施例１の変形態様２とほとんど同一である。
【０２２６】
本実施例の全焦点撮像装置の特徴は、画像処理手段４２がリアルタイムで合焦点画素の判定を行い、制御手段４３がこれらの合焦点画素を逐次更新することにより液晶ディスプレイ５に合焦点画像を表示することである。
【０２２７】
（実施例２の作用効果）
本実施例の全焦点撮像装置では、ＣＣＤ素子３１からの画像が取り込まれる毎に、画像処理手段４２は、各画素の輝度の差分値の正負反転をもって当該画素の合焦点判定を行う。そして、一枚の画像のうち合焦点画素が検出されると、その合焦点画素をもって、画像メモリ４１の当該画素の領域がアップデートされる。画像メモリ４１の合焦点画像に相当する記憶領域には、こうしてリアルタイムの合焦点画素による最新の合焦点画像が形成され、この最新の合焦点画像は、合焦点画素のアップデートの度に液晶ディスプレイ５に表示される。それゆえ、焦点位置が少しずつ異なる多数枚分の画像からなるワンセットの画像データの撮像を終えるのを待たずに、一枚の画像の撮像の度にほぼリアルタイムで観察対象の全ての部分に焦点があった動画が提供される。
【０２２８】
また、本実施例はリアルタイム性を重視した構成であるから、焦点位置のスキャンとその間での多数枚分の画像の撮影とは、最短時間で行えるようにする必要がある。それゆえ、可変焦点レンズ装置１の焦点位置は、階段状ではなく連続的に移動しつつ、ＣＣＤ素子３１の撮像は同素子の露光性能が許す限り高速で連続撮像するように運用される。
【０２２９】
したがって、本実施例の全焦点撮像装置によれば、最短時間で画像が撮像される度に、最新の合焦点画素をもって構成された合焦点画像が準リアルタイムで液晶ディスプレイ５に提供され、リアルタイム性が格段に向上するという効果がある。
【０２３０】
なお、本実施例の全焦点撮像装置は、ハードウェアの構成が実施例１と同様であるから、観察者の操作等により、画像処理手段４２および制御手段４３のソフトウェアを実施例１と同様のソフトウェアに切替えることができる。それゆえ、本実施例の全焦点撮像装置は、本実施例に特有のリアルタイム性が高い運用が可能であるばかりではなく、実施例１と同様の運用も可能である。したがって、本実施例の全焦点撮像装置は、実施例１に新たなソフトウェアが付加されている分のコストアップだけで、実施例１とほぼ同等の価格でありながら実施例１よりも多機能であるという効果をも有する。
【０２３１】
（実施例２の変形態様１）
本実施例の変形態様１として、画像メモリ４１が一枚の画像分だけしか容量のない記憶容量が小さなＲＡＭで構成された全焦点撮像装置の実施が可能である。すなわち、前述の本実施例の全焦点撮像装置では、画像メモリ４１の容量が多数枚分の画像を格納するほど大きい必要がなく、合焦点画像一枚分の記憶容量があれば機能するので、画像メモリ４１を記憶容量が小さく安価なＲＡＭ（ラインメモリ）で賄うことができる。それゆえ、本変形態様の構成によれば、画像メモリ４１を安価にすることができるので、実施例１と同様の運用はできなくなるが、実施例１よりも安価に全焦点撮像装置を構成することができるというコストダウン効果がある。また、メモリボードが小型化されるので、実施例１より小型軽量化することができるという効果もある。
【０２３２】
なお、本変形態様においては、画像メモリ４１は液晶ディスプレイ５に付属の専用画像ＲＡＭとする構成も可能である。
【０２３３】
（実施例２のその他の変形態様）
本実施例の全焦点撮像装置に対しても、実施例１の変形態様２に対する実施例１およびその変形態様１，９〜１２に相当する変形態様の実施が可能であり、それぞれに特有の作用効果が得られる。
【０２３４】
［実施例３］
（実施例３の構成および作用効果）
本発明の実施例３としての全焦点撮像装置も、再び図１に示すように、前述の実施例１とほぼ同様の構成をしている。
【０２３５】
ただし、本実施例の全焦点撮像装置では、再び図３に示すような撮像過程を一回だけ行い、再び図４に示すような焦点位置が少しずつ異なる多数枚分の画像のそれぞれに、焦点位置を示す情報が付加されて画像メモリ４１に記録される。すなわち、そのように制御手段４３のソフトウェアが構成されている。焦点位置を示す情報は、制御手段４３から可変焦点レンズ駆動回路２に送られる印加電圧を指定する信号をもとに生成され、合焦点面Ｆ（図１参照）の可変焦点レンズ装置１からの距離を示す値である。
【０２３６】
そればかりではなく、制御手段４３のソフトウェアには、各合焦点画素の縦横のもつ座標および焦点位置情報に基づいて、観察対象の三次元立体数値モデルを生成する機能が付与されている。すなわち、画像処理手段４２は、制御手段４３が駆動手段としての可変焦点レンズ駆動回路２に与える信号に基づいて、可変焦点レンズ装置１の焦点位置に関する情報を算出する焦点位置検出機能をもつ。そして、画像処理手段４２は、各焦点位置での画像のうち合焦点画素はどれであるかを判定し、制御手段４３は、合焦点画素と判定された画素に前述の焦点位置情報を付与して、同画素の平面内での位置とその高さとの情報を合成する。すると、各合焦点画素に関する縦、横、高さの位置情報が揃い、観察対象の立体形状を示す立体数値モデルが合成されるので、制御手段４３は、画像メモリ４１の他の領域に、この立体数値モデルを格納する。
【０２３７】
その結果、観察対象の立体数値モデルをもとに、様々な表示形式で観察対象の立体図を液晶ディスプレイ５に表示することが可能になる。たとえば、全焦点撮像装置の操作装置に付属のマウスなどで合焦点画像を横切る線分を設定すれば、この線分に沿って垂直に切断された切断端面図を、図２１に示すように、液晶ディスプレイ５に表示することができる。あるいは、適当な俯角を決めておいて、図２２に示すように、観察対象の俯瞰図を連続的に全周囲から眺めるように液晶ディスプレイ５に動画を表示することも可能である。また、同様の手法で、俯角や方位角などが連続的に変化する動画を液晶ディスプレイ５に表示することもできる。
【０２３８】
したがって、本実施例の全焦点撮像装置によれば、観察対象の立体数値モデルを生成することができるので、各種の立体表示を行って観察対象の形状の把握を容易にすることができるという効果がある。
【０２３９】
なお、本実施例の全焦点撮像装置も、ソフトウェアの構成は別として、ハードウェアの構成は実施例１とおおむね同様であるから、スイッチの切替等により、実施例１と同様の運用をすることも可能である。すると、実施例１と同様に、合焦点画像も得られるようになる。
【０２４０】
（実施例３の変形態様１）
本実施例の全焦点撮像装置では、立体数値モデルを生成する機能をもつことが要点であるから、焦点位置（合焦点面Ｆの位置）をより正確に計測して各画像に付与し、観察対象の高さ方向の形状をより精密に計測したいとの要求が生じうる。それゆえ、本実施例の変形態様１として、液封レンズ１１（図１参照）の内部の透明液体の圧力を計測する圧力センサ（図略）を装備し、もって液封レンズ１１の度数をより精密に計測する構成の全焦点撮像装置の実施が可能である。
【０２４１】
本変形態様によれば、焦点位置Ｆをより正確に計測して各画像に付与し、観察対象の各合焦点画素の高さがより精密な立体数値モデルが生成されるという効果がある。
【０２４２】
なお、圧力センサに温度補償機能を付与して、さらに焦点位置Ｆの計測精度を高めても良い。あるいは、液封レンズ１１を構成する透明弾性膜の歪みなり曲率なりを直接計測する計測手段を備えた構成とし、さらなる高精度を追求することも可能である。
【０２４３】
（実施例３の変形態様２）
本実施例の変形態様２として、可変焦点レンズ装置１の焦点位置を、制御手段４３から可変焦点レンズ駆動回路２に与える信号から算出する代わりに、電圧センサの測定値に基づいて算出する全焦点撮像装置の実施が可能である。すなわち本変形態様は、可変焦点レンズ駆動回路２から圧電アクチュエータ１２に印加される電圧を計測する電圧センサ（図略）をさらに有し、画像処理手段４２は、この電圧センサから得られる測定値に基づいて、可変焦点レンズ装置１の焦点位置を算出する焦点位置検出機能をもつ。
【０２４４】
それゆえ本変形態様では、圧電アクチュエータ１２に印加される電圧の測定値に基づいて、可変焦点レンズ装置１の焦点位置が算出される。すなわち、可変焦点レンズ装置１の焦点位置は液封レンズ１１のレンズ形状で決まり、同レンズ形状は圧電アクチュエータ１２の変位で決まり、同変位は印加電圧で決まる。それゆえ、圧電アクチュエータ１２への印加電圧の測定値に基づいて、可変焦点レンズ装置１の焦点位置を算出することができるようになる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置の情報を付与することが可能になる。
【０２４５】
したがって本変形態様によれば、前述の実施例３の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。
【０２４６】
（実施例３の変形態様３）
本実施例の変形態様３として、可変焦点レンズ装置１の焦点位置を、制御手段４３から可変焦点レンズ駆動回路２に与える信号から算出する代わりに、電荷量センサの測定値に基づいて算出する全焦点撮像装置の実施が可能である。すなわち本変形態様は、圧電アクチュエータ１２に注入および放電される電荷量を計測する電荷量センサ（図略）をさらに有し、画像処理手段４２は、この電荷量センサから得られる測定値に基づいて、可変焦点レンズ装置１の焦点位置を算出する焦点位置検出機能をもつ。
【０２４７】
本変形態様では、圧電アクチュエータ１２に注入および放電される電荷量の測定値に基づいて、可変焦点レンズ装置１の焦点位置が算出される。すなわち、可変焦点レンズ装置１の焦点位置は液封レンズ１１のレンズ形状で決まり、同レンズ形状は圧電アクチュエータ１２の変位で決まり、同変位は圧電アクチュエータ１２に注入されている電荷量で決まる。それゆえ、圧電アクチュエータ１２に印加されている電荷量の測定値に基づいて、可変焦点レンズ装置１の焦点位置を算出することができるようになる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置の情報を付与することが可能になる。
【０２４８】
したがって本変形態様によれば、前述の実施例３の効果に加えて、測定値に基づいて可変焦点レンズ装置１の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。
【０２４９】
（実施例３の変形態様４）
本実施例の変形態様４として、可変焦点レンズ装置１の焦点位置を、制御手段４３から可変焦点レンズ駆動回路２に与える信号から算出する代わりに、変位センサの測定値に基づいて算出する全焦点撮像装置の実施が可能である。すなわち本変形態様は、圧電アクチュエータ１２の変位に関して計測する変位センサ（図略）をさらに有し、画像処理手段４２は、この変位センサから得られる測定値に基づいて焦点位置を算出する焦点位置検出機能をもつ。
【０２５０】
ここで、圧電アクチュエータ１２の変位センサとしては、圧電アクチュエータ１２を構成する圧電バイモルフまたは圧電ユニモルフの表面に一体的に形成された歪ゲージを採用することが、小型化の要求から好ましい。このような歪ゲージについては、特願平１０−２４６１９８号に詳しく記載されているので、参考にされたい。
【０２５１】
本変形態様では、測定値に基づいて、可変焦点レンズ装置１の焦点位置が算出される。すなわち、可変焦点レンズ装置１の焦点位置は液封レンズ１１のレンズ形状で決まり、同レンズ形状は圧電アクチュエータ１２の変位で決まる。それゆえ、圧電アクチュエータ１２の変位の測定値に基づいて、可変焦点レンズ装置１の焦点位置を算出することができる。その結果、互いに異なる焦点位置で撮像された複数枚分の画像のそれぞれについて、焦点位置を付与することが可能になる。
【０２５２】
したがって本変形態様によれば、前述の実施例３の効果に加えて、測定値に基づいて可変焦点レンズ装置の焦点位置を各画像に付与することができ、正確な立体数値モデルを生成することが可能になるという効果がある。
【０２５３】
（実施例３の変形態様５）
本実施例の変形態様５として、画像処理手段４２は、合焦点画像および立体数値モデルを生成するデジタル演算手段であって、立体数値モデルの生成にあたって空間的な高周波ノイズを除去するノイズ除去フィルタをもつ全焦点撮像装置の実施が可能である。
【０２５４】
本変形態様の全焦点撮像装置の全体構成を、図２３に示す。図２３は、図１に示した前述の実施例１とは異なる印象を与えるが、実際には実施例１の構成を異なった表現のブロック図で表したに過ぎない（構成についての詳細な説明は、後述の実施例４の項に譲る）。ただし、本変形態様では、画像処理手段４２に特徴がある。
【０２５５】
すなわち、画像処理手段４２は、全焦点演算ロジック４２１、ノイズ除去フィルタ４２２、三次元マップ生成ロジック４２３および画像データ再構築ロジック４２４をもつ。画像処理手段４２が、合焦点判定を行う全焦点演算ロジック４２１と、信頼すべき立体数値モデルを生成する三次元マップ生成ロジック４２３との間に、立体数値モデルの高周波ノイズを除去するノイズ除去フィルタ４２２をもつ点で、本変形態様は実施例１と構成が異なっている。
【０２５６】
もしも、実施例１のようにノイズ除去フィルタなしで画像処理が行われると、図２４に示すように、観察対象のエッジ部分や段差部分など、合焦点位置が位置によって急変している部分では、合焦点判定に誤差が生じやすく、このような誤差は空間的な高周波成分として現れる。その結果、全焦点演算ロジック４２１では、立体数値モデルのエッジ部分や段差部分などが高周波ノイズのためにささくれ立ってしまい、立体数値モデルのデータに観察対象にはない乱れが形成されてしまうことが多い。
【０２５７】
そこで本変形態様では、同じく図２４に示すように、ノイズ除去フィルタ４２２によって空間的な高周波成分を取り除くことによって、立体数値モデルから高周波ノイズを除去することができる。その結果、三次元マップ生成ロジック４２３に図示されているように、観察対象の立体数値モデルをより滑らかで正確なものにすることができるようになる。
【０２５８】
ここで、ノイズ除去フィルタ４２２は、立体数値モデルを離散コサイン変換により空間周波数領域に変換したうえで、ローパスフィルタをかけ、逆変換して、高周波ノイズによるささくれが取れた立体数値モデルを再構築する。すなわち、ノイズ除去フィルタ４２２は、立体数値モデルをいったん空間周波数成分に変換する正変換と、空間周波数成分から高周波成分を除去するフィルタリングと、高周波成分が除去された空間周波数成分を再び立体数値モデルに戻す逆変換とを行うデジタルフィルタである。空間周波数成分にフィルタリングをかけるので、空間周波数のうちノイズが多い高周波成分だけを除去することが可能になるともに、フィルタリングに様々な手法を適用することが可能になり有効な選択肢が増える。
【０２５９】
また、ノイズ除去フィルタ４２２は、正変換および逆変換に、離散コサイン変換法を採用している。それゆえ、ノイズ除去フィルタ４２２には、既製品のＭＰＥＧの圧縮処理ＬＳＩおよび解凍処理ＬＳＩを用いることができるので、開発期間が短縮されるうえにコストダウンが可能になる。
【０２６０】
したがって、本変形態様の全焦点撮像装置によれば、前述の実施例３の効果に加えて、段差やエッジのある観察対象に対しても、その立体数値モデルをより滑らかで正確なものにすることが可能になるという効果がある。
【０２６１】
（実施例３の変形態様６）
本実施例の変形態様６として、前述の変形態様５に対してノイズ除去フィルタ４２２（図２３参照）の構成を簡素化した全焦点撮像装置の実施が可能である。本変形態様では、ノイズ除去フィルタ４２２は、立体数値モデルに対して移動平均を取ることにより高周波ノイズを除去するデジタルフィルタである。
【０２６２】
すなわち、本変形態様では、前述の変形態様５と異なって、立体数値モデルを空間周波数成分に正変換することも、フィルタリングされた空間周波数成分を立体数値モデルに逆変換することもない。それゆえ、正変換および逆変換の演算処理を行う必要がないので、演算負荷が大幅に低減され、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になる。
【０２６３】
したがって、本変形態様の全焦点撮像装置によれば、前述の変形態様５の効果に加えて、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になるという効果がある。
【０２６４】
（実施例３の変形態様７）
本実施例の変形態様７として、前述の変形態様６と同様に、前述の変形態様５に対してノイズ除去フィルタ４２２の構成を簡素化した全焦点撮像装置の実施が可能である。ただし本変形態様では、ノイズ除去フィルタ４２２（図２３参照）は、画像信号を複数の画素からなる区画毎にまとめ、各区画内で最も発生頻度が高い輝度値で区画内の各画素の各画像信号を統一するデジタルフィルタである。すなわち、本変形態様では、前述の変形態様６と同様に、立体数値モデルを空間周波数成分に正変換することも、フィルタリングされた空間周波数成分を立体数値モデルに逆変換することもない。そればかりではなく、所定の区画内の輝度を、最も発生頻度が高い輝度値で統一してしまうだけであるので、やはり画像処理手段４２の演算負荷が小さくなる。その結果、演算負荷が大幅に低減され、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になる。
【０２６５】
したがって、本変形態様の全焦点撮像装置によっても、前述の変形態様６とおおむね同様に、立体数値モデルのフィルタリング処理の大幅な高速化と、製品のコストダウンとが可能になるという効果がある。
【０２６６】
（実施例３のその他の変形態様）
本実施例の全焦点撮像装置に対しても、前述の実施例１に対するその各種変形態様や、実施例１に対する実施例２と同様の変形態様の実施が可能であり、それぞれに特有の作用効果が得られる。
【０２６７】
［実施例４］
（実施例４の構成）
本発明の実施例４としての全焦点撮像装置は、図２５に示すように、可変焦点レンズ（図中では高速焦点調節機構）１と、可変焦点レンズ駆動回路（図中では焦点調節駆動回路）２と、撮像手段（図中では固体撮像素子）３とを有する。本実施例の全焦点撮像装置はさらに、マイクロコンピュータ（図中では全焦点ビジョンロジック部）４と、三次元マップ表示回路５１および全焦点画像表示回路５２（図１では省略）と、液晶ディスプレイ５とを有する。
【０２６８】
マイクロコンピュータ４は、画像データ取り込みロジック４０と画像メモリ４１と画像処理手段４２とをもち、画像処理手段４２は、全焦点演算ロジック４２１、三次元マップ生成ロジック４２３および画像データ再構築ロジック４２４をもつ。
【０２６９】
（実施例４の作用効果）
本実施例の全焦点撮像装置は、実施例１と比較して全焦点演算ロジック４２１に特徴があるので、全焦点演算ロジック４２１の作用効果について説明を集中することにする。
【０２７０】
全焦点演算ロジック４２１は、合焦点判定を行うロジックである。すなわち、各画素の輝度は合焦点時に極大値または極小値を取るとの知見に基づき、画像処理手段による合焦点画素の判定は、全焦点演算ロジック４２１によって、各画素がもつ輝度の焦点位置に関する差分値の正負反転が検出されることにより行われる。
【０２７１】
すなわち、判定される画素の輝度が周囲の輝度よりも高い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも高いので、当該画素の前後を調べれば輝度の極大値が得られる。たとえば、白色の部分（明部）と黒色の部分（暗部）との境目付近の明部では、図２６に示すように、焦点位置が合焦点位置にあるときに輝度値はピークを形成する。それゆえ、合焦点位置の前後では、手前から奥に行くに従って輝度の差分値が正から負へと反転しているので、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。
【０２７２】
逆に、判定される画素の輝度が周囲の輝度よりも低い場合、その画素に焦点が合っている画像では、輝度がその前後の画像での当該画素の輝度よりも低いので、当該画素の前後を調べれば輝度の極小値が得られる。たとえば、明部と暗部との境目付近の暗部では、図２７に示すように、焦点位置が合焦点位置にあるときに輝度値は負のピークを形成する。それゆえ、合焦点位置の前後では、焦点位置が手前から奥に移動するに従って輝度の差分値が負から正へと反転しているので、やはり、それぞれの画素がもつ輝度の焦点位置に関する差分値の正負反転によって合焦点画素の判定を行うことができる。
【０２７３】
ただし、暗部と明部との境界線の真上に合焦点判定をすべき画素がくる場合には、焦点位置が合焦点位置にある場合には輝度は極大値や極小値を形成せず、輝度の傾きが最大になる。そこで、本来ならば合焦点判定すべき画素が暗部と明部との境界線上にかかっているか否かを判定したうえで、境界線上の場合には輝度値の差分値最大をもって合焦点判定を行うべきである。しかし、それでは演算処理の負荷が増えてしまうので、本実施例では以下のような簡易化した合焦点判定ロジックを採用している。
【０２７４】
すなわち、本実施例の画像処理手段４２は、図２９のフローチャートに示すようにごく簡素な合焦点判定ロジックに従って合焦点位置の判定を行っている。先ず、処理ステップＳ１で、画像メモリ４１に格納された焦点位置が互いに異なる複数枚の画像から、同一座標にある画素の輝度値がサンプリングされる。次に、処理ステップＳ２で最大値（Ｍａｘ）と最小値（Ｍｉｎ）とが抽出された後、判断ステップＳ３では、最大値の焦点位置と最小値の焦点位置とで、輝度値の差分値の符号が反転しているか否かが判定される。
【０２７５】
そして、最大値と最小値とのうち一方だけで輝度値の差分値が正負反転している場合には、正のピークか負のピークかのうち一方だけが形成されているわけである。それゆえ、Ａ判定がなされ、処理ステップＳ４で、輝度値のピークが形成されている焦点位置をもって合焦点位置とする。
【０２７６】
逆に、最大値と最小値との両方で輝度値の差分値が正負反転している場合には、正のピークと負のピークとが両方とも形成されているわけである。それゆえ、Ｂ判定がなされ、処理ステップＳ５で、負のピークは除外され、輝度値が正のピークを形成している焦点位置をもって合焦点位置とする。なお、処理ステップＳ５では、本実施例とは逆に正のピークを除外してもよく、要するに正負の両ピークのうち一方に合焦点位置があると判定するわけである。
【０２７７】
このように簡易な判定をすると、図３０に示すように、正負の両ピークがある旨のＢ判定された場合には、合焦点判定に誤判定する場合（図中でＮＧと表記）もありうる。しかしながら、発明者らが実験を重ねて得た見地によれば、合焦点判定に誤判定が出た場合でも、多くの場合には、合焦点位置はその近くにあり、大きな誤差は生じない。
【０２７８】
また、合焦点判定に誤判定が起こるのは主に明部と暗部との境界線上であるから、合焦点画像ではその画素が黒く出ても白く出ても、画素が十分に細かければほとんど見た目では違いがないので、合焦点画像に不都合はほとんどでない。一方、立体数値モデルでは、明部と暗部との境界線上に誤差が出ることになるが、これは空間的な高周波ノイズを生じるので、前述のノイズ除去フィルタ４２２を導入することにより不都合を排除することができる。
【０２７９】
以上のように、本実施例の全焦点撮像装置では、それぞれの画素について、その周囲の画素との相関関係を省みることなく、当該画素単独の輝度値の変化に基づいてごく簡素な判定ロジックで合焦点判定がなされる。すなわち、合焦点判定がなされるべき画素の輝度値の変化を観測することにより、当該画素の輝度の差分値の正負反転をもって合焦点の判定がなされる。それゆえ、本実施例では、画像処理手段４２において、合焦点画素の判定に要する演算負荷が極めて小さいので、リアルタイム性を向上させることができ、安価な画像処理手段を採用することが可能になる。
【０２８０】
したがって、本実施例の全焦点撮像装置によれば、前述の実施例１とほぼ同様に、高い画像処理のリアルタイム性と画像処理手段４２のコストダウンとが得られるという効果がある。
【０２８１】
（実施例４の各種変形態様）
本実施例の全焦点撮像装置に対しても、実施例１に対するその各変形態様に相当する変形態様の実施が可能である。そればかりではなく、実施例１に対する実施例２および実施例３ならびにそれぞれの各変形態様に相当する変形態様の実施も可能である。
【０２８２】
［実施例５］
（実施例５の必要性）
本発明のように、合焦点画像を選択して観察対象の全体に焦点の合った合焦点画像を作成したり合焦点位置に基づいて立体数値モデルを生成しようとすると、各画素または各区画について合焦点判定ができることが必須である。ところが、光学軸方向の位置が異なっていても（つまり高低差があっても）、周囲との輝度や色彩のコントラストがないと、合焦点判定が正確にできなくなるので、合焦点位置を正確に検出することができなくなる。
【０２８３】
すると、合焦点画像の生成においては、多少のピンぼけがあっても周囲とコントラストがなければ、合焦点画像とほぼ同様の画像が得られるので、問題は少ない。しかし、立体数値モデルの生成にあたっては、合焦点判定が正確にできないと合焦点位置の検出に誤差を生じるので、立体数値モデルの表す形状が実際の観察対象とは異なってしまい、不都合である。
【０２８４】
そこで、実施例５の全焦点撮像装置は、このような不都合をなくすために、観察対象においてコントラストがなくても正確な合焦点判定がなされ、精密な立体数値モデルが生成されることを解決すべき課題としている。
【０２８５】
（実施例５の構成）
本発明の実施例５としての全焦点撮像装置は、要部としての光学系を図３１に示すように、実施例１の構成に加え、焦点位置Ｆに結像する光学マーカを観察対象に投影するマーカ投影手段６をさらに有する。
【０２８６】
マーカ投影手段６は、点光源であるマーカ光源６１と、同光源からの光を収束させる投影レンズ６２と、鮮明な明暗のある光学マーカを形成するスリットが切られたマスク６３と、マーカ光源６１からの光を可変焦点レンズ装置１の光軸に合致させるハーフミラー６４とをもつ。すなわち、マーカ投影手段６は、可変焦点レンズ装置１の光軸上の焦点位置に、マスク６３のスリット形状に合致したマーカ投影像Ｍを結像する光学投影手段である。
【０２８７】
また、マーカ投影手段６は、マーカ光源６１の点滅によって光学マーカを点滅させることができる。そして、制御手段４３は、光学マーカの点滅に同期して撮像手段３および画像処理手段４２を制御して、光学マーカの投影中に合焦点判定を行い、光学マーカの消灯中に画像メモリへの画像信号の取り込みを行う。
【０２８８】
（実施例５の作用効果）
本実施例の全焦点撮像装置は、以上のような構成をもつので、以下のような作用効果を発揮する。
【０２８９】
マーカ投影手段６は、焦点位置Ｆに結像するように、光学マーカを観察対象に投影する。すると、観察対象のうち撮像時の焦点位置Ｆにある部分にだけ光学マーカの投影像Ｍが鮮明に投影される。それゆえ、通常の照明下においてはコントラストがないような単一色の観察対象の表面にも、焦点位置Ｆにおいてだけは、鮮明なコントラストをもったマーカ投影像Ｍが生じるようになり、正確な合焦点判定ができるようになる。その結果、観察対象の表面に投影された光学マーカを観察することにより、精密な立体数値モデルを生成することが可能になる。
【０２９０】
すなわち、光学マーカの点灯中に合焦点判定が行われ、光学マーカの消灯中に合焦点画像のうち合焦点部分の画像信号の取り込みが行われる。その結果、観察対象自体にコントラストがなくても正確な合焦点判定ができ、精密な立体数値モデルを生成することができるだけではなく、光学マーカが写っていない合焦点画像を生成することもできるようになる。
【０２９１】
したがって、本実施例の全焦点撮像装置によれば、前述の実施例１の効果に加えて、観察対象自体にコントラストがなくても正確な合焦点判定ができ、精密な立体数値モデルを生成することができるという効果がある。そればかりではなく、光学マーカの投影像Ｍが写っていない合焦点画像をも生成することができるという効果がある。
【０２９２】
（実施例５の各種変形態様）
本実施例の全焦点撮像装置に対しても、実施例１に対するその各種変形態様に対応する変形態様の実施が可能であり、それぞれの構成に応じた特徴を持つようになる。同様に、実施例１に対する実施例２〜４およびそれぞれの各変形態様に対応する変形態様の実施が可能であり、それぞれの構成に応じた特徴を持つようになる。
【０２９３】
［実施例６］
（実施例６の構成）
本発明の実施例６としての全焦点撮像装置は、要部としての光学系を図３２に示すように、実施例５で説明したマーカ投影手段６に加え、マーカ撮像手段７をさらに有する。
【０２９４】
マーカ投影手段６は、前述の実施例５のそれとほぼ同一であるが、マーカ光源６１は単一の波長で発光する発光ダイオード（ＬＥＤ）である。
【０２９５】
一方、マーカ撮像手段７は、実施例１のＣＣＤ素子３１に相当する第一固体撮像素子７１と、そのハーフミラー７３および光学フィルタ７４と、ハーフミラー７３を透過してきた光線によって撮像する第二固体撮像素子７２とをもつ。ここで、光学フィルタ７４は、マーカ光源６１の波長を含む狭い波長帯の光線だけを遮断する特性を持つので、第一固体撮像素子７１には光学マーカの投影像Ｍが写らない。
【０２９６】
そこで、第二固体撮像素子７２は、光学マーカの投影像Ｍが写り込んだ観察対象の像を撮像し、焦点位置検出用の画像データを出力する機能を持つ。逆に、第一固体撮像素子７１は、光学フィルタによって光学マーカの投影像Ｍが遮断されるので、光学マーカの写っていない観察対象を撮像し、合焦点画像を生成するための多数枚の画像データを出力する機能を持つ。
【０２９７】
（実施例６の作用効果）
本実施例の全焦点撮像装置は、以上のように構成されているので、以下のような作用効果を発揮する。
【０２９８】
すなわち、本実施例では、マーカ撮像手段７の第二固体撮像素子７２によって撮像される光学マーカの投影像Ｍのぼやけ具合を検討することによって、合焦点判定をすることが可能になっている。
【０２９９】
しかも本実施例では、前述の実施例５と異なって、光学マーカを点灯したまま合焦点画像の撮像を行っても、第一固体撮像素子７１によって撮像される画像に光学マーカの投影像Ｍが写らないので、マーカ光源６１を点滅させる必要がなくなる。それゆえ、第一固体撮像素子７１による撮像と第二固体撮像素子７２による撮像とを同時に行うことができ、実施例５よりも短時間で合焦点判定および撮像をすることが可能になる。その結果、合焦点画像の撮像と立体数値モデルの構成とに要する時間が実施例５よりも短縮される。
【０３００】
したがって本手段によれば、前述の実施例５と同様の効果が得られるばかりではなく、実施例５よりも短時間で合焦点画像の撮像と立体数値モデルの構成とが行えるという効果がある。
【０３０１】
（実施例６の変形態様１）
本実施例の変形態様１として、図３３に示すように、本実施例の構成を簡素化した全焦点撮像装置の実施が可能である。
【０３０２】
本変形態様では、マーカ投影手段６は、撮像手段３のＣＣＤ素子３１がもつ撮像波長帯域を外れた波長帯で光学マーカを投影し、画像処理手段４２は、マーカ撮像手段７の近赤外ＣＣＤ素子７５から得られた画像信号に基づいて合焦点判定を行う。すなわち、マーカ投影手段６のマーカ光源６１は、近赤外線を発光するＧａＡｓ系のＬＥＤであり、マーカ撮像手段７の近赤外ＣＣＤ素子７５は、可視光線の帯域に感度がなく近赤外光線にのみ感度を有する。逆に、撮像手段３のＣＣＤ素子３１は、近赤外帯域には感度を有せず、可視光線の帯域にのみ感度を有している。
【０３０３】
それゆえ、マーカ投影手段６のＣＣＤ素子３１は、撮像手段３の撮像波長帯域を外れた波長帯で光学マーカを投影するので、撮像手段には光学マーカは感知されず合焦点画像には光学マーカが写らない。一方、近赤外ＣＣＤ素子７５は、近赤外線で投影される光学マーカの波長帯に感度を有するので、マーカ撮像手段７の近赤外ＣＣＤ素子７５によって撮像される光学マーカのぼやけ具合を検討することにより、合焦点判定をすることが可能になっている。
【０３０４】
したがって、本変形態様の全焦点撮像装置によれば、光学フィルタ７４が不要であって、より簡素な構成でありながら、前述の実施例６と同様の効果が得られる。すなわち、実施例６よりも小型軽量化およびコストダウンが可能になるという効果がある。
【０３０５】
なお、さらなる変形態様として、ハーフミラー７３にコーティングを施し、特定の波長の光線だけを反射させるようにした全焦点撮像装置の実施も可能であり、本変形態様とほぼ同様の効果が得られる。
【０３０６】
（実施例６の各種変形態様）
本実施例の全焦点撮像装置に対しても、実施例５に対するその各種変形態様に相当する変形態様の実施が可能であり、それぞれの構成に応じた特徴を持つようになる。
【図面の簡単な説明】
【図１】 実施例１としての全焦点撮像装置の構成を示すブロック図
【図２】 実施例１の観察対象の一例の形状を示す斜視図
【図３】 実施例１での焦点位置と撮像タイミングとの関係を示すグラフ
【図４】 実施例１で撮像された多数枚分の画像信号を示す模式図
【図５】 実施例１で空間周波数を算出する範囲の一例を示す平面図
【図６】 実施例１での撮像画像中の上面部に合焦点した画像を示す図
【図７】 実施例１での撮像画像中の中間面部に合焦点した画像を示す図
【図８】 実施例１での撮像画像中の低面部に合焦点した画像を示す図
【図９】 実施例１で生成された合焦点画像を示す図
【図１０】実施例１の変形態様１での空間周波数算出範囲を示す平面図
【図１１】実施例１の変形態様２での当該画素の輝度の変化を示すグラフ
【図１２】実施例１の変形態様３での合焦点時の区画を示す概念図
【図１３】実施例１の変形態様３での非合焦点時の区画を示す概念図
【図１４】実施例１の変形態様４における区画での画素配列を示す平面図
【図１５】実施例１の変形態様４における輝度振幅を示すグラフ
【図１６】実施例１の変形態様５における離散コサイン変換を示す概念図
【図１７】実施例１の変形態様８での合焦点判定第一段階を示す模式図
【図１８】実施例１の変形態様８での合焦点判定第二段階を示す模式図
【図１９】実施例１の変形態様９での焦点位置の移動パターンを示すグラフ
【図２０】実施例１の変形態様１０での焦点位置移動パターンを示すグラフ
【図２１】実施例３で得られる観察対象の端面図
【図２２】実施例３で得られる観察対象の俯瞰図
【図２３】実施例３の変形態様５のノイズ除去フィルタを示すブロック図
【図２４】実施例３の変形態様５のノイズ除去フィルタを作用を示す模式図
【図２５】実施例４としての全焦点撮像装置の構成を示すブロック図
【図２６】焦点位置による画素がもつ輝度値の変化を例示するグラフ
【図２７】焦点位置による画素がもつ輝度値の変化を例示するグラフ
【図２８】焦点位置による画素がもつ輝度値の変化を例示するグラフ
【図２９】実施例４での合焦点判定ロジックを示すフローチャート
【図３０】実施例４での合焦点判定ロジックの判定結果を示す一覧図
【図３１】実施例５としての全焦点撮像装置の光学系の構成を示す模式図
【図３２】実施例６としての全焦点撮像装置の光学系の構成を示す模式図
【図３３】実施例６の変形態様１の全焦点撮像装置の光学系を示す模式図
【符号の説明】
１：可変焦点レンズ装置
１１：液封レンズ（可変焦点レンズとして）
１２：圧電アクチュエータ（アクチュエータとして）
１３：固定レンズ
２：可変焦点レンズ駆動回路（駆動手段として）
３：撮像手段
３１：ＣＣＤ素子（固体撮像素子として） ３２：ＣＣＤ駆動回路
４：マイクロコンピュータ
４０：画像データ取り込み手段
４１：画像メモリ（フレームメモリ）
４２：画像処理手段
４２１：全焦点演算ロジック（合焦点判定を行う）
４２２：ノイズ除去フィルタ
４２３：立体数値モデル生成ロジック（三次元マップデータ生成ロジック）
４２４：合焦点画像生成ロジック（画像データ再構築ロジック）
４３：制御手段
５：液晶ディスプレイ（表示装置）
５１：立体数値モデル表示回路（三次元マップ表示回路）
５２：合焦点画像表示回路（全焦点画像表示回路）
６：マーカ投影手段
６１：マーカ光源 ６２：投影レンズ
６３：マスク ６４：ハーフミラー
７：マーカ撮像手段
７１：第一固体撮像素子 ７２：第二固体撮像素子
７３：ハーフミラー ７４：光学フィルタ
７５：マーカ用固体撮像素子
Ｆ：合焦点面（焦点位置） Ｍ：マーカ投影像

Claims (4)

1. 観察対象に対する焦点位置が可変である可変焦点レンズと、
   この可変焦点レンズのこの焦点位置を変更するアクチュエータと、
   このアクチュエータを駆動する駆動手段と、
   この可変焦点レンズを通して結像した実像を画素毎の画像信号として出力する撮像手段と、
   この画像信号をこの焦点位置の変更に伴って得られる複数枚分に渡って格納可能な画像メモリと、
   これら複数枚分の画素信号のうち最も焦点が合っているものを画素毎に判定して抽出し、この観察対象の各部に焦点があった一枚の合焦点画像を生成するか又は前記焦点位置に基づいてこの観察対象の立体形状を示す一つの立体数値モデルを生成する画像処理手段と、
   この駆動手段、この撮像手段、この画像メモリおよびこの画像処理手段のうち少なくとも前三者を同期して制御する制御手段と、
   を有する全焦点撮像装置であって、
   前記可変焦点レンズは、表裏の差圧によって曲率が可変な透明弾性膜とこの透明弾性膜によって形成される内部空間に封入された透明液体とをもつ液封レンズであり、
   前記アクチュエータは、圧電素子からなる圧電アクチュエータであって、
   この液封レンズとこの圧電アクチュエータとは、互いに一体に組み付けられて可変焦点レンズ装置を形成しており、
   前記駆動手段から前記圧電アクチュエータに印加される電圧を計測する電圧センサをさらに有し、
   前記画像処理手段は、この電圧センサから得られる測定値に基づいて前記焦点位置を算出する焦点位置検出機能をもつ、
   ことを特徴とする全焦点撮像装置。
2. 観察対象に対する焦点位置が可変である可変焦点レンズと、
   この可変焦点レンズのこの焦点位置を変更するアクチュエータと、
   このアクチュエータを駆動する駆動手段と、
   この可変焦点レンズを通して結像した実像を画素毎の画像信号として出力する撮像手段と、
   この画像信号をこの焦点位置の変更に伴って得られる複数枚分に渡って格納可能な画像メモリと、
   これら複数枚分の画素信号のうち最も焦点が合っているものを画素毎に判定して抽出し、この観察対象の各部に焦点があった一枚の合焦点画像を生成するか又は前記焦点位置に基づいてこの観察対象の立体形状を示す一つの立体数値モデルを生成する画像処理手段と、
   この駆動手段、この撮像手段、この画像メモリおよびこの画像処理手段のうち少なくとも前三者を同期して制御する制御手段と、
   を有する全焦点撮像装置であって、
   前記可変焦点レンズは、表裏の差圧によって曲率が可変な透明弾性膜とこの透明弾性膜によって形成される内部空間に封入された透明液体とをもつ液封レンズであり、
   前記アクチュエータは、圧電素子からなる圧電アクチュエータであって、
   この液封レンズとこの圧電アクチュエータとは、互いに一体に組み付けられて可変焦点レンズ装置を形成しており、
   前記圧電アクチュエータに注入および放電される電荷量を計測する電荷量センサをさらに有し、
   前記画像処理手段は、この電荷量センサから得られる測定値に基づいて前記焦点位置を算出する焦点位置検出機能をもつ、
   ことを特徴とする全焦点撮像装置。
3. 観察対象に対する焦点位置が可変である可変焦点レンズと、
   この可変焦点レンズのこの焦点位置を変更するアクチュエータと、
   このアクチュエータを駆動する駆動手段と、
   この可変焦点レンズを通して結像した実像を画素毎の画像信号として出力する撮像手段と、
   この画像信号をこの焦点位置の変更に伴って得られる複数枚分に渡って格納可能な画像メモリと、
   これら複数枚分の画素信号のうち最も焦点が合っているものを画素毎に判定して抽出し、この観察対象の各部に焦点があった一枚の合焦点画像を生成するか又は前記焦点位置に基づいてこの観察対象の立体形状を示す一つの立体数値モデルを生成する画像処理手段と、
   この駆動手段、この撮像手段、この画像メモリおよびこの画像処理手段のうち少なくとも前三者を同期して制御する制御手段と、
   を有する全焦点撮像装置であって、
   前記可変焦点レンズは、表裏の差圧によって曲率が可変な透明弾性膜とこの透明弾性膜によって形成される内部空間に封入された透明液体とをもつ液封レンズであり、
   前記アクチュエータは、圧電素子からなる圧電アクチュエータであって、
   この液封レンズとこの圧電アクチュエータとは、互いに一体に組み付けられて可変焦点レンズ装置を形成しており、
   前記圧電アクチュエータの変位に関して計測する変位センサをさらに有し、
   この変位センサは、この圧電アクチュエータを構成する圧電バイモルフまたは圧電ユニモルフの表面に一体的に形成された歪ゲージであり、
   前記画像処理手段は、この歪ゲージから得られる測定値に基づいて前記焦点位置を算出する焦点位置検出機能をもつ、
   ことを特徴とする全焦点撮像装置。
4. 観察対象に対する焦点位置が可変である可変焦点レンズと、
   この可変焦点レンズのこの焦点位置を変更するアクチュエータと、
   このアクチュエータを駆動する駆動手段と、
   この可変焦点レンズを通して結像した実像を画素毎の画像信号として出力する撮像手段と、
   この画像信号をこの焦点位置の変更に伴って得られる複数枚分に渡って格納可能な画像メモリと、
   これら複数枚分の画素信号のうち最も焦点が合っているものを画素毎に判定して抽出し、この観察対象の各部に焦点があった一枚の合焦点画像を生成するか又は前記焦点位置に基づいてこの観察対象の立体形状を示す一つの立体数値モデルを生成する画像処理手段と、
   この駆動手段、この撮像手段、この画像メモリおよびこの画像処理手段のうち少なくとも前三者を同期して制御する制御手段と、
   を有する全焦点撮像装置であって、
   前記可変焦点レンズは、表裏の差圧によって曲率が可変な透明弾性膜とこの透明弾性膜によって形成される内部空間に封入された透明液体とをもつ液封レンズであり、
   前記アクチュエータは、圧電素子からなる圧電アクチュエータであって、
   この液封レンズとこの圧電アクチュエータとは、互いに一体に組み付けられて可変焦点レンズ装置を形成しており、
   前記液封レンズに封入されている前記透明液体の圧力を計測する圧力センサをさらに有し、
   前記画像処理手段は、この圧力センサから得られる測定値に基づいて前記焦点位置を算出する焦点位置検出機能をもつ、
   ことを特徴とする全焦点撮像装置。

Images