JPH02192276A - 画像入出力装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は画像情報を入出力するための画像入出力装置に
関する。

［従来の技術］ 一般に解像度にすぐれ、かつ倍率および明るさの大きな
画像を光学的に取込むためには、開口の大きな光学素子
を用いた結像光学系が必要である。

ところがレンズに代表される結像用光学素子は、一般に
開口が大きくなると焦点深度が浅くなる。

しかるに顕微鏡、カメラ、内視鏡等の画像機器を利用す
る分野においては、得られた画像が解像度や明るさに優
れていることが望ましいのは勿論であるが、同時に焦点
深度の深い画像であることが強く要求される。

焦点深度の深い画像を得る従来技術として、例えば文献
ｒＷ、Ｔ、Ｗｅｌｌ’ｏｒｄ、、Ｊｏｕｒｎａｌ　ｏｆ
’　０ｐｔｉｃａｌ　Ｓ。

ｃｉｅｔｙ　Ｏ（’　Ａｖｅｒｉｃａ、Ｖｏｌ、５０　
ｐ、７４９（１９８０）　Ｊに示されるように、輪帯開
口等の特殊な開口を設けた結像光学系を用いる手段があ
る。この手段によれば焦点深度の深い画像が簡便に得ら
れるという利点があるが、解像度や光量を著しく損うと
いう欠点。

がある。

また他の技術的手段として、例えば文献「Ｓ、＾。

Ｓｕｇｉｍｏｔｏ　ａｎｄ　Ｙ、１ｃｈ１ｏｋａ、　Ａ
ｐｐｌｉｅｄ　０ｐｔＩｃｓ　Ｖｏｌ、２４、　Ｌ２０
７８（１９８５）　Ｊあるいは「太田亨寿、杉原厚吉、
杉工昇、電子通信学会論文誌（Ｄ）、Ｊ６６−り、１２
４５．（１９８３）Ｊに紹介されているように、画像処
理技術を用いる方法がある。この方法は、物体空間にお
いて焦点の合った位置（以下、合焦点位置という）の異
なる画像を複数枚入力し、これらから局所的な分散情報
を得、これに基づき焦点の合った部分を合成する手段で
ある。この手段によれば、解像度や明るさを損わずに焦
点深度の深い画像を得ることができる。したがって、こ
の点では極めて有用な手段であるといえる。しかし対象
物が、表面が滑らかな対象物である場合や、場所によっ
て構造の起伏が大きく異っている対象物である場合には
、その対象物に対しての適用が難しい。その上、装置と
して実現するには規模の大きな７〜−ドフエアが必要で
あること、アルゴリズムが複雑であること、等々実用上
不都合が多い。

［発明が解決しようとする課題］ 上記したように、従来の技術的手段には次のような欠点
がある。

（１）輪帯開口等の特殊な開口を設けた結像光学系を用
いて焦点深度を深くする手段では、解像度や光量を著し
く損うという欠点がある。つまり焦点深度の深い画像を
得ることは可能であるが、解像度や明るさを失なうこと
になり、焦点深度、解像度、明るさの全てを満足する光
学系とはなり得ないという欠点があった。

（２）合焦点位置の異なる画像を複数枚入力し、これら
の局所的な分散情報から焦点の合った部分画像を合成す
る手段では、対象物の条件如何により適用が難しい場合
があり、実用上不都合を来たすことが多いという欠点が
あった。

本発明者らは、上記のような従来技術の欠点を解決すべ
く種々研究を重ねた結果、解像度や明るさを失うことな
く焦点深度の深い画像を再生し得、しかも実用的で対象
物に対する適用範囲が広い、新規な画像入出力装置を案
出した。この装置については、既に特願昭６３−０３９
９３６号として本出願人が出願済みである。この装置に
おいて採用した技術的手段は、合焦点位置の異なる複数
枚の画像を入力し、これらを加え合せたのち適当な回復
処理を施すことにより、焦点深度の深い画像を合成する
というものである。この手段によれば、簡単な構成であ
りながら大きな効果が得られるという利点がある。しか
し次のような解決すべき課題が残されていた。すなわち
、加え合わせた画像に施す適切な回復処理手段を如何に
して迅速かつ適確に設定するかが問題となる。つまり、
最適な回復フィルタを得るためには、複雑な計算を行な
ったり、何らかの予備実験等を行なったりする必要があ
り、その設定に手間がかかるという問題があった。

そこで本発明は、解像度や明るさを失うことなく焦点深
度の深い画像を再生し得、しかも実用的で対象物に対す
る適用範囲が広く、さらに極めて迅速かつ適確に実用に
供し得る利点をもった画像入出力装置を提供することを
目的とする。

［課題を解決するための手段］ 本発明は上記課題を解決し目的を達成するために次のよ
うな手段を講じた。

■合焦点位置の異なる画像を複数枚入力する。

■入力した合焦点位置の異なる画像をそれぞれフーリエ
変換する。

■フーリエ変換した合焦点位置の異なる画像間で空間周
波数毎に適当な重み付をしながら加重加算する。

■加重加算して得たフーリエスペクトル画像を逆フーリ
エ変換する。

［作用コ このような手段を講じたことにより次のような作用を呈
する。焦点位置の異なる画像が離散的に入力され、その
フーリエ変換画像の加重加算が行なわれ、得られたフー
リエスペクトル画像の逆フーリエ変換が行なわれるので
、解像度や明るさを失うことなく、実質的に焦点深度の
深い画像を再生し得る。しかも対象物の表面がたとえど
のような状態ないし性質を有していても、その影響を受
けないので対象物の条件如何を問わず広く適用可能なも
のとなる。さらに実施するに際し、格別の準備や設定操
作等を必要としないので、迅速かつ適確に実用に供し得
るものとなる。

［実施例コ （第１実施例） 第１図は本発明の第１実施例の構成を示す図である。図
中右上に示すレンズ１によってとらえられた対象物の像
は、電荷結合素子（以下、ＣＣＤと略称する）あるいは
撮像管等すらなる撮像索子２の受光部に結像される。な
お通常の場合、入力光学系は複数のレンズの組み合せで
構成されるが、本図では簡略化して一枚のレンズのみ示
す。前記撮像索子２からの出力信号すなわち画像信号は
、アナログ・デジタル変換器（以下、Ａ／Ｄ変換器と略
称する）３によりデジタル信号に変換される。

このデジタル信号は、次いでセレクタ４によりメモリ５
−１〜５−ｍの内の所定の一つに記録される。上記の動
作は合焦点位置制御器６によって合焦点位置を適当に設
定した距離間隔および距離範囲で離散的に変えながら行
なわれる。そして入力したｎ枚（０５ｍ）の画像は前記
メモリ５−１〜５−ｍのうちのｎ個に記録される。次に
ＦＦＴ演算器７によって、前記メモリ５−１〜５−ｍに
記録されている画像について、それぞれフーリエ変換が
実行され、その結果は再びメモリ５−１〜５−ｍに格納
される。前記メモリ５−１〜５−ｍに記録されているフ
ーリエ変換後の画像信号は、比較器８に送られる。そし
てこの比較器８で、同じ空間周波数ごとに前記フーリエ
変換画像間でスベクトル強度が比較され、大きい順にな
らびかえられて乗算器１０−１〜１Ｏ−ｐ（ｐ≦ｍ）に
転送される。乗算器１０−１〜１０−ｐにはメモリ９に
設定されている係数値が乗数として与えられている。し
たがって乗算器１０−１〜１０−ｐでは上記係数値と、
前記比較器８からのフーリエ変換画像信号との乗算が行
なわれる。乗算器１０−１〜１０−ｐの出力信号は、加
算器１１に送られて加算される。この加算器１１により
加算された画像信号は、メモリ１２に記録される。こう
じと前記メモリ１２に記録された空間周波数ごとに加重
加算されたフーリエ変換画像は、前記ＦＦＴ演算器７に
より逆フーリエ変換が実行され、その結果は再び前記メ
モリ１２に記録される。前記メモリ１２に記録された処
理後の画像信号は、デジタル・アナログ変換器（以下、
Ｄ／Ａ変換器と略称する）１３によりアンログ信号に変
換されたのち、デイスプレィモニタ１４上に表示される
。以上の動作におけるタイミングや信号の流れ等の制御
はコントローラ１５によって行われる。

なお前記係数設定用のメモリ９と乗算器１〇−１〜１０
−ｐの変わりに、ルックアップテーブルメモリを用い、
テーブル変換により、所定の係数を掛けるのと同等の処
理を行なわせるようにしてもよい。また前記メモリ５−
１〜５−ｍに記録された原画像信号をフロッピーディス
ク、磁気テープ、光メモリ等の記録媒体に記録しておき
、画像再生の時に前記記録媒体から読込んだ画像信号に
対しフーリエ変換、加重加算、逆フーリエ変換等を行な
って表示するという具合に、画像入力の記録部と画像再
生部とをオフラインで連結するようにしてもよい。また
空間周波数毎の加重加算における加重係数は、最初から
固定してしまってもよいし、前記コントローラ１５に接
続したマン・マシーンインターフェースにより、操作者
が予め前記メモリ９に記憶されている複数の係数値のパ
ターンのうちの一つを選択するとか、あるいはメモリ９
の内容を書き変えるようにしてもよい。

上記構成の第１実施例によれば次のような作用効果を奏
する。今、例えば第２図に示すような階段状の構造を有
する物体２０を考える。そして上記物体２００階段部に
おける各表面はそれぞれ固有の周波数特性をもつものと
する。このような深さ方向に起伏構造を持った物体２０
を、光学顕微鏡等の焦点深度の比較的浅い光学系で観察
しようとする場合、焦点の合った面は良く観察できるが
、他の面はボケでしまう。ところがある面・に焦点が合
っていれば、入力画像はその面特有の周波数特性を強く
有することになる。したがってそれぞれの面に焦点を合
わせて入力した画像のフーリエスペクトルＦＳＩ、ＦＳ
２．ＦＳ３〜は、各面の固有の空間周波数情報を主に現
わすものと考えられる。そこで焦点位置を変えながら、
入力した複数の画像のフーリエスペクトルＦＳＩ、ＦＳ
２．ＦＳ３〜に対し、空間周波数ごとに適当な加重加算
を行なう。こうすることにより、全ての面の空間周波数
情報を含んだ画像のフーリエスペクトルが合成される。

この場合の重み付けの方法としては、次のようなものが
考えられる。例えばある空間周波数に着目し、合焦点位
置の異なる画像間でその周波数のスペクトル強度を比較
し、最も大きなものに「１０」を加重して、あとは「０
」をかけてしまう方法、あるいは周波数のスペクトル強
度の大きな順にｒ４Ｊ、ｒ３Ｊ、ｒ２Ｊ、ｒｌＪと加重
する方法、さらにはスペクトル強度に比例した加重を行
なう方法などが考えられる。高い空間周波数領域におい
て、はとんどノイズしか見られないときは、全て同じ加
重をかけるとか、全て「０」をかけてしまうことにより
、ノイズの低減を行なうこともできる。このような加重
のかけかたは、対象物体あるいは光学系統の特徴に応じ
て適当に設定すればよい。

このようにして得られたフーリエスペクトル画像を逆フ
ーリエ変換することにより、実質的に焦点深度の深い画
像を得ることができる。なお上記の説明では説明を分り
易くするために、１次元フーリエ変換についての説明を
行なったが、画像を実際に取扱う場合には当然２次元フ
ーリエ変換を用いることになる。

（第２実施例） 第３図は本発明の第２実施例の構成を示す図である。本
実施例においては、画像入力光学系にわざと色収差がで
るように設計された光学素子、例えば図示の如くレンズ
１６を設ける。さらに上記レンズ１６の後方にダイクロ
イックミラー１７−１．１７−２を設け、撮像素子２−
１〜２−３により異なる波長帯域の画像を撮像するよう
に構成する。前記タイクロイックミラー１７−１．１７
−２としては、例えば第４図に示すようなフィルター特
性をもったものを用いる。

第４図に示すように、ミラー１７−１としては、青の領
域の光を反射し、緑より長い波長領域の光を通過させる
ようなミラーを用い、ミラー１７−２としては、緑より
短い波長領域の光を反射し、赤を通過させるようなミラ
ーを用いる。こうすることによって撮像素子２−１には
青の領域の画像、撮像素子２−２には緑の画像、撮像素
子２−３には赤の画像、がそれぞれ入力するように設定
する。

第３図に説明を戻す。

第３図に示すように、前記撮像素子２−１〜２−３から
の画像信号は、対応するＡ／Ｄ変換器３−１〜３−３に
よってそれぞれディジタル信号に変換され、メモリ５−
１〜５−ｍに記録される。

上記した以外の点は前記第１実施例と同様であるので説
明は省略する。

なお本実施例では、画像を青、緑、赤の三つの領域に分
けた例を示したが、これに限られるものではなく、例え
ばバンド数を上記の場合よりも増加させたり、逆に二つ
だけに制限したり、さらには干渉フィルタを用いる等し
て、いくつかの特定の狭い波長領域の画像を入力するよ
うにしてもよい。また前記ダイクロイックミラー１７−
１．１７−２の代わりに複数の異なるバンドパス・色フ
ィルタを用い、これらを時間的にチェンジしながら一つ
の撮像素子２によって多バンドの画像を入力するように
してもよい。

上記構成の第２実施例によれば次のような作用効果を奏
する。すなわち−船釣な対象物の反射分光特性は、可視
光のほぼ全域に亙る広い範囲に亙って分布しており、各
波長での画像は、互いに強い相関をもつという特性を有
している。すなわち、作為的に色収差をもつような光学
素子を用いることにより、波長毎に異なる位置に焦点の
合った像を結像し、これらを複数の異なる波長領域によ
り入力することにより、実質的に異なる合焦点位置の画
像を同時に入力することができる。かくして、合焦点位
置を変えるという機械的な動作を行なわずに、複数の位
置に焦点のあった画像群を入力することができるので、
機械的な動きに起因する「ブレ」等が生じることのない
装置を得ることができる。

（第３実施例） 第５図は本発明の第３実施例の構成を示す図である。本
実施例においては、画像入力光学系におけるレンズ１の
後方位置にハーフミラ−１８−１゜１８−２を設け、さ
らに前記レンズ１から撮像素子２−１〜２−３までの距
離が全て異なるように設定する。上記以外の構成は前記
第２ないし第１実施例と同様であるので説明は省略する
。

なお前記撮像素子２−１〜２−３の位置を、対象物に応
じて適当に可変設定できるようにしてもよい。

上記構成の第３実施例によれば次のような作用効果を奏
する。本実施例においては、複数の異なる面で結像され
た像を入力することにより、合焦点位置の異なる複数の
画像を同時に入力することが可能となる。したがって合
焦点位置をがえるという機械的な動作を行なわずに済む
上、その構成上、より適用範囲の広い装置が得られる。

（第４実施例） 第６図は本発明の第４実施例の構成を示す図で、本発明
を反射型顕微鏡に適用した応用例である。

第６図に示すように光源１００がら発せられた光は落射
照明装置１０１によって導がれ二最終的には対物レンズ
１０２を介して資料の表面に照射される。資料からの反
射光像は前記対物レンズ１゜２によって結像され、鏡筒
１０３の上に設置されたＴＶカメラ１０４によって撮像
される。なおこの際、資料に対する合焦点面はフォーカ
スレベル駆動装置１０５によって設定時間内に連続的に
変えられる。この間に入力される画像は前記ＴＶ右カメ
ラ０４の受光素子部に蓄積される。なお資料はＸ−Ｙス
テージ制御装置１０６によってＸ−Ｙ方向に移動走査さ
れる。前記ＴＶ右カメラ０４で行られた画像信号はカメ
ラドライバ１０７に転送される。なお前記カメラドライ
バ１０７は前記ＴＶ右カメラ０４に対する電力供給等の
制御も行なうものである。前記カメラドライバ１０７に
転送された画像信号は、さらにプロセッサ１０８に送ら
れる。プロセッサ１０８は、Ａ／Ｄ変換器、画像メモリ
、ＦＦＴ演算器、比較器、加重加算器、Ｄ／Ａ変換器等
からなる。そして１０８は前記合焦点面の異なる複数の
入力画像に対して本発明の処理を施す。前記プロセッサ
１０８により処理されへ南像信号はＴＶモニタ１０９に
より表示される。上記の動作はＸ−Ｙステージ制御装置
１０６の制御によって資料の異なる部分について繰返し
行われ、かつ表示される。本実施例における顕微鏡はコ
ントローラ１１０によって総合的に制御され、条件設定
等はマン・マシーンイタ−フェース１１１を通じて観測
者によって行われる。

本実施例によれば、顕微鏡に対して解像度や明るさを保
ったまま、焦点深度の大きい画像の合成を、比較的簡単
な装置構成により実現できる。顕微鏡の場合、非常に細
かい構造を観測しようとすると、高い倍率の対物レンズ
を使用しなけけばならないが、一般に高倍率の対物レン
ズになる程、Ｎ、Ａ、が大きく焦点深度は浅くなる。こ
のような場合において本実施例の如く構成すれば、焦点
深度の深い画像を表示する手段として極めて有効である
。特に顕微鏡観察において、焦点深度が浅いために起こ
る煩雑なフォーカスレベル合せが不要となり、検査の際
に大幅な省力化が実現できる。

かくして本実施例の構成は、ＩＣ，ＬＳＩの検査をはじ
めとして鉱物、紙、繊維、生体組織など広範囲な産業分
野における様々な対象物の観察において有用である。

なお本実施例では反射型顕微鏡への適用例を示したが、
透過型顕微鏡、蛍光顕微鏡など他の方式の顕微鏡に対し
ても適用可能である。また画像入力、加算方法に関して
はプロセッサ１０８内に加算器を設け、本発明の第１実
施例と同様に構成するようにしても良い。

（第５実施例） 第７図は本発明の第５実施例の構成を示す図で、本発明
を電子カメラに応用した例を示す図である。

本実施例は前記第１〜第３実施例における画像入力部と
画像処理表示部とを、記録媒体を介してオフラインで連
結したものに相当する。第７図に示すように、電子カメ
ラ２００により撮像した異なる位置に焦点の合った複数
枚の画像が同カメラ２００内に電気信号とに入力される
。入力された画像信号は全て前記カメラ２００内の記録
媒体２０１に記録される。この記録媒体２０１は、フロ
ッピーディスク、磁気テープ、光メモリ、半導体ＩＣ，
強誘電体薄膜、固体メモリ等で構成されている。記録媒
体２０１に記録された画像信号は、読込み装置２０２内
に読込まれる。前記記録媒体２０１に記録されている画
像信号がアナログ信号である場合には、前記読込み装置
２０２内にＡ／Ｄ変換器を設け、前記画像信号をデジタ
ル信号に変換するようにする。プロセッサ２０３は、第
１〜第３実施例に示したメモリ５−１〜５−ｍ。

ＦＦＴ演算器７．比較器８．メモリ９９乗算器１０、加
算器１１．メモリ１２．Ｄ／Ａ変換器１３、およびコン
トローラ１５等により構成されている。したがってこの
プロセッサ２０３は、前記読込み装置２０２から転送さ
れてくるデジタル画像信号に対し、第１〜第３実施例に
記した場合と同様の処理が実行される。前記処理が施さ
れた画像信号はＴＶモニタ２０４に転送されて表示され
る。なお前記プロセッサ２０３における処理の諸条件等
の設定は、前記プロセッサ２０３内のコントローラと連
結されているマンＱマシーンインターフェース２０５に
より観察者が設定できるようになっている。

本実施例によれば、電子カメラ２００によって焦点の異
なる複数枚の画像を記録することにより、第１〜第３実
施例と同様の作用効果をもたらし得る。特に撮影中にレ
ンズの細かいピント合わせや絞りをあまり気にせずに撮
影してしまったような場合でも、画像を再生する際に焦
点深度を自由に工夫できるという大きな利点がある。か
くして、従来の電子カメラの入力光学系では実現できな
かった課題、すなわち明るさ、解像度を保ちつつ、焦点
深度の深い画像を得ることが可能となり、機能の大幅な
拡大を図ることができる。

（第６実施例） 第８図Ａ〜第８図Ｃは本発明の第６実施例の構成を示す
図で、本発明を面順次方式の電子内視鏡に適用した応用
例を示した図である。本装置は大きく分けて内視鏡プロ
ーブ３００１画像人力装置３０１、色ズレ補正装置３０
２１色彩情報記録装置３０３．焦点深度増大装置３０４
２画像表示装置３０５．コンローラ３０６からなる。

内視鏡プローブ３００は、先端にＣＣＤ等のモノクロ用
固体撮像素子３１０を備えており、合焦点位置制御器３
１１における対物レンズで結像された画像を撮影する。

この場合の照明光は、前記画像入力装置３０１内に設置
されている回転色フィルタ３１２を通過したＸｅランプ
等の白色光源３１３からの光を、光ファイバー等で構成
されるライトガイド３１４によって前記内視鏡プローブ
３００内に導くことにより、プローブ３００の先端より
照射される。

第９図は前記回転色フィルタ３１２の構造を示す平面図
である。図に示すように赤（Ｒ）、緑（Ｇ）、’−青（
Ｂ）の原スペクトル透過フィルタ要素３１２Ｒ，３１２
Ｇ、３１２Ｂを回転角方向に間欠的に配設したものであ
る。

第８図に説明を戻す。前記回転色フィルタ３１２は、前
記画像入力装置３０１内に設置されているモータ３１２
Ｍによって回転駆動されることにより、照明光を時間的
にＲ，Ｇ、Ｂの順に変える。このため前記撮像素子３１
０は夫々の色の光で照明された対象物をモノクロ画像と
して撮像する。前記撮像素子３１０からの出力画像信号
は、前記画像入力装置３０１内のＡ／Ｄ変換器３１５に
よりデジタル信号に変換され、セレクタ３１６によりフ
レームメモリ３１７−１〜３１７−３の所定の色の領域
に格納される。なお以上の動作は画像入力用コントロー
ラ３１８により制御される。

そして逐次的に前記フレームメモリ３１７に格納された
各原色画像は、セレクタ３１９によってＲ２Ｏ，Ｂの原
色画像のうち、ＲとＧもしくはＧとＢが選択される。そ
して選択された画像信号は、色ズレ補正装置３０２内の
原色画像間の対応領域検出装置３２０に入力され、０画
像に対するＲ画像または８画像のズレ量が局所的に検出
される。アドレス発生器３２１はＲ，８画像に対し、原
色画像間対応領域検出装置３２０で求めたズレ量を基に
、これを補正するようなアドレスを発生し、前記フレー
ムメモリ３１７−１〜３１７−３に送る。

フレームメモリ３１７−１〜３１７−３では前記アドレ
ス信号とバッファメモリ３１７−’４を利用して、Ｒ，
８画像の補正が行なわれる。

このようにして得られた一枚のカラー画像は、前記セレ
クタ３１９を介して色彩情報記録装置３０３に入力され
る。色彩情報記録装置３０３では、加算器３２２によっ
て各色成分を加え合せることにより明度Ｙ−Ｒ＋Ｃ；＋
Ｂの値が算出されると共に、除算器３２３−１〜３２３
−３によって各色成分値Ｒ，Ｇ、Ｂの値をＹで除すため
の割り算が実行される。その結果すなわち、Ｒ／Ｙ。

Ｇ／Ｙ、Ｂ／Ｙの値は夫々メモリ３２４−１〜３２４−
３に格納される。

一方、前記内視鏡プローブ３００内の前記合焦点位置制
御器３１１によって焦点位置を変えながら入力したＲ、
Ｇ、８画像すなわち画像入力装置３０１内のフレームメ
モリ３１７−１〜３１７−３に格納されているＲ、Ｇ、
８画像は、焦点深度増大装置３０４のフレームメモリ３
２５−１〜３２５−３に改めて記録される。前記焦点深
度増大装置３０４は、前記フレームメモリ３２５−１〜
３２５−３の他、ＦＦＴ演算器３２６．比較器３２７、
乗算器３２８−１〜３２８−３．メモリ３２９、加算器
３３０．フレームメモリ３３１により構成され、第１実
施例と同様の動作が行なわれる。その処理結果は明度Ｙ
−Ｒ＋Ｇ＋Ｂ画像として前記フレームメモリ３３１に格
納される。

前記メモリ３２４−１〜３２４−３に格納されている色
彩情報と、前記フレームメモリ３３１内に記録されてい
る画像信号とは、乗算器３３２−１〜３３２−３によっ
て夫々の色成分ごとに掛は算が行われる。その結果は前
記画像表示装置３０５内に導かれる。

画像表示装置３０５内に導かれた前記乗算器３３２−１
〜３３２−３からの信号は、Ｄ／Ａ変換器３３３−１〜
３３３−３によってアナログ信号に変換された後、ＴＶ
モニタ３３４によって表示される。以上の画像処理１表
示部は前記コントローラ３０６により制御される。

このように本実施例は、本発明を画像入力装置に適用す
るに際し、内視鏡画像は一般にＲ，Ｇ。

Ｂのカラ−３原色画像間に強い相関があるという性質と
、画像のボケ具合のほとんどがカラーの情報のうちの、
明度に依存するという性質とを利用し、面順次方式の電
子内視鏡において各原色画像ごとに異なる焦点位置の画
像を入力し、本発明の手段による処理を行なうものであ
る。

以下本実施例の作用を説明する。先ず画像入力装置３０
１によって逐次的にＲ，Ｇ、Ｂの各原色画像が入力され
る。その際に対象物や内視鏡プローブ３００自身が急激
に動いてしまうと、各原色画像の相対的な位置が異なっ
てしまい、所Ｍ色ズレが起こる。そこで色ズレ補正装置
３０２では、０画像を基準としてＲ画像および８画像の
ズレ量を局所的な部分画像間のマツチングを計算するこ
とにより求めていく。そして求めた色ズレ量を基にＲ画
像および８画像を修正する。この様な方法により先ずあ
る設定合焦位置におけるカラー画像を入力する。そして
色彩情報記録装置２０３によってＲ，Ｇ、Ｂの値を夫々
明度の情報Ｙ−Ｒ＋Ｇ十Ｂでノーマライズした色彩の情
報Ｒ／Ｙ、Ｇ／Ｙ、Ｂ／Ｙを記録する。次に焦点位置を
変えながら各原色画像を入力し、色ズレ補正処理を施し
た後、焦点深度増大装置３０４により、前記Ｒ，Ｇ。

８画像を利用して焦点深度の大きな画像が合成され、こ
れを新たな明度Ｙ′画像とする。そして最終的に前記Ｙ
′画像に前記色彩情報Ｒ／Ｙ、Ｇ／Ｙ、Ｂ／Ｙを乗じる
ことにより、焦点深度の深いカラー画像が合成されるも
のである。

したがって本実施例によれば、内視鏡画像において、焦
点深度の深い画像を合成できる利点がある。また焦点深
度が浅く、開口が大きい対物レンズを使用することが可
能となるため、光源のパワーを減らすことができる上、
撮像素子の光蓄積時間を短縮でき、色ズレ等の影響を少
なくすることができる。

（第７実施例） 第１０図は本発明の第７実施例の構成を示す図であり、
本発明を単板式カラー撮像素子を用いた電子内視鏡へ適
用した例である。図示の如く、内視鏡プローブ４００の
先端には受像面がＲＧＢフィルタで構成されたカラーモ
ザイクフィルタ４０１で覆われた固体撮像素子４０２が
設置されており、焦点位置制御器４０３内の対物レンズ
に結像された画像を撮像するものとなっている。なおこ
の場合の照明光は、装置本体内の白色光源４０５が発し
た光を、ライトガイド４０４によって前記内視鏡プロー
ブ４００内に導くことにより、プローブ先端から照射さ
れる。前記撮像素子４０２からの出力信号は、色分離回
路４０６によりＲＧＢの各色信号に分離される。なお本
実施例では前記カラーモザイクフィルタ４０１がＲ，Ｇ
。

Ｂフィルタで構成されていると仮定したが、他の色フィ
ルタ、例えばシアン、イエロー等の補色フィルタで構成
もよい。いずれにしても、前記色分離回路４０６では、
前記カラーモザイクフィルタ４０１を構成する色信号が
分離される。そしてマトリクス回路４０７によりＹ、Ｒ
−Ｙ、Ｂ−Ｙ信号に変換される。前記Ｙ、Ｒ−Ｙ、Ｂ−
Ｙ信号はＮＴＳＣエンコーダ４０８によってＮＴＳＣ信
号に変換された後、Ａ／Ｄ変換器４０９によりデジタル
信号に変換される。このデジタル信号はセレクタ４１０
によって、フレームメモリ４１１−１〜４１１−ｍのう
ちの所定の一つに記録される。

以上の構成により合焦点位置を適当に変えながら入力し
たｎ枚（０５ｍ）の画像を前記メモリ４１１−１〜４１
１−ｍのうちのｎ枚に記録する。

なお、装置内には、ＦＦＴ演算器４１２．比較器４１３
、乗算器４１４−１〜４１４−Ｐ、メモリ４１５、加算
器４１６．フレームメモリ４１７゜Ｄ／Ａ変換器４１８
．ＴＶモニタ４１９．およびコントローラ４２０が設け
られており、第１実施例と同様の処理が実行される。

上記したように、本実施例はカラーモザイクフィルタ４
０１を用いた単板式カラー撮像素子４０２で得た内視鏡
画像を、ＮＴＳＣ信号に変換し、この変換したカラー画
像信号について本発明の手段による処理を施すようにし
たものである。

したがって本実施例によれば、装置の規模を小さくでき
、しかも内視鏡画像について第６実施例と同様の作用を
奏し得る。

（第８実施例） 第１１図Ａ〜第１１図りは本発明の第８実施例の構成を
示す図である。本実施例は少ない入力画像から焦点深度
の大きい画像を再生することをねらった実施例であって
９合焦面が異なる画像のフーリエ変換画像を、空間周波
数ごとに加重加算する場合において、Ｓ／Ｎを考慮した
回復処理の効果がもたらされるように加重係数を算定す
るようにしたものである。以下、より効果的な応用例と
して、反射型顕微鏡を用いて層状構造をなす半導体ＩＣ
の検査を行なう場合について述べる。本実施例において
は、条件設定のための「前処理動作」と「本動作」の二
つの動作が行なわれる。

まず「前処理動作」について説明する。観察者は、顕微
鏡５００のステージ５０１を光軸方向へ動作させながら
顕微鏡画像を観察する。前記ステージ５０１は、モータ
５０２により上下方向に駆動される。このモータ５０２
はモータドライバ５０３により駆動され、このモータド
ライバ５０３はプロセッサ６００内のステージ駆動コン
トーラ６０１によって制御される。ステージ駆動コント
ローラ６０１はマン−マシーン吻インターフェース５１
０と結合されている。かくして、観察者が自由にステー
ジ５０１を上下動させ得るものとなっている。観察者は
、顕微鏡画像を見ながら観察対象である半導体ＩＣの各
層について最も上の層からピントを合わせていく。そし
て各層にピントがあったときに前記マン−マシーンやイ
ンターフェース５１０の所定のキーを押す。こうするこ
とにより、前記ステージ駆動コントローラ６０１ヘイン
フオーカス・シグナルが送られる。

前記モータドライバ５０３は、ステージ５０１の位置を
検知する手段を有している。この手段により検知した位
置情報は前記ステージ駆動コントローラ６０１ヘフイー
ドバツクされる。ステージ駆動コントローラ６０１は、
前記マン・マシーン・インターフェース５１０からのイ
ンフォーカス◆シグナルを受は取った時点での前記位置
情報を、前記ステージ駆動コントローラ６０１内の内臓
メモリに記録するようになりでいる。

一方、前記インフォーカス・シグナルが発せられた時点
の顕微鏡画像は、前記顕微鏡５００の鏡筒上に取り付け
たＴＶカメラ５２０により撮像される。その撮像信号は
Ａ／Ｄ変換器６１１によりディジタル変換されたのち、
セレクタ６１２を介してメモリ６１３−１に記録される
。このメモリ６１３−１の内容はセレクタ６２１を介し
てＦＦＴ演算器６２２へ導入され、ここで前記ディジタ
ル画像に対する２次元フーリエ変換が実行される。

そして最終的にその実数部は前記メモリ６１３−１に記
録され、虚数部はメモリ６１３−２に記録される。メモ
リ６１３−１，６１３−２に記録されたフーリエ変換画
像は、それぞれセレクタ６１４−１，６１４−２によっ
て分配され、同じ値が乗算器６１５−１．２に導かれて
実数部、虚数部のそれぞれの２乗が計算される。この２
つの計算の結果は加算器６１６により加算される。こう
してフーリエ変換画像のパワースペクトルＷ（ｆｘ、　
ｆｙ）　−Ｆ（ｆｘ、　ｆｙ）　−Ｆ”（ｆｘ、　ｆｙ
）−（ＦＲ（ｆＸ、　　ｆ）’）　　＋　　１Ｆｉ（ｆ
ｘ、　　ｆｙ）ン（Ｐｇ（ｆＸ、　　ｆｙ＞　　−１Ｆ
ｉ（ｆｘ、　ｆ’ｙ）） −ＦＢ（ｆＸ、　ｆｙ）２＋　Ｆｉ（ｆｘ、　ｆｙ１２
（ただし Ｆ（ｆｘ、　ｆｙ）　−ＦＨ（ｆＸ、　ｆｙ）　＋　１
Ｆｉ（ｆｘ、　ｆｙ）はフーリエ変換画像を表わす。）
が計算される。

以下、式を簡略化するために、Φ（ｆ、ｆ）ｘｙ −Φ、Ｆ（ｆ、ｆ）→Ｆと略記することもあｘｙ る。この計算結果は、セレクタ６１７を介してメモリ６
１８に記録される。以下同様にして、観測者が選んだ対
象ＩＣの各層にピントが合った画像のパワースペクトル
が、次々と前記メモリ・６１８に記録される。同時に前
記ステージ５０１の各ピント位置の情報が前記ステージ
駆動コントローラ６０１内のメモリに記録される。ここ
で観測者が選んだ対称ＩＣのピント面の総数をｎとする
。

前記ステージ駆動コントローラ６０１内に記録された各
ピント面の位置情報は、アドレス発生器６０２によって
所定のアドレス情報となり、ＲＯＭ　６０３１．：送う
レル。ＲＯＭ　６０３　＋：は、いくつかの画像劣化関
数Ｈｊｋがあらかじめ記録されている。なお、画像劣化
関数（つまりボケ関数）Ｈｊｋは、ｊ番目の層（ピント
面）にピントが合った時のに番目の層の画像劣化の度合
を表わしている。この劣化はｊ番目とに番目の層の距離
に依存している。つまり光軸方向の座標を２とし、ｊ番
目、に番目の層の位置をｚ、、ｚｋとすると、Ｈ，−ｗ
Ｈ（ｚ、、ｚ　　）−Ｈ（ｌｚ、−ｚｋ　１）Ｊｋ　　
　　　　　Ｊ　　　　　ｋ　　　　　　　　　　　　Ｊ
・・・・・・　（１） と表わすことができる。かくして観察者が選択した前記
各ピント面の位置情報ｚ−（ｉ＝１．２゜・・・ｎ）か
ら任意の２つの面（ｊ、に番目）に対する劣化関数画像
Ｈｊ、が選択される。前記ＲＯＭ６０３に記録されてい
る劣化関数画像の数には限りがある。このため任意の層
間距Ｍｌｚ、−ｚｋに対する劣化関数を求めることはで
きない。しかし、これと最も近い値に対応する劣化関数
で代用すれば実用上支障はない。前記ＲＯＭ６０３から
は、ｉ番目の層にピントが合った時の所定の注目層ｐに
おける劣化関数画像Ｈ１，の空間周波数（ｆ、ｆ）の値
Ｈ（ｆ、ｆ）が送出さ Ｘ　　　ｙ　　　　　ｉｐ　　　ｘ　　　ｙれ、これが
セレクタ６０４を介してラッチング回路６０５に保持さ
れる。次に、前記ＲＯＭ６０Ｂからはｉ番目の層にピン
トが合った時のある注目層ｑにおける劣化関数画像Ｈ１
９の前記空間周波数（ｆ、、ｆ）の値Ｈ（ｆ、ｆ）が出
力さｘ　　　ｙ　　　　　ｉｑ　　　ｘ　　　ｙれる。

この出力は前記セレクタ６０４を介して乗算器６０６に
入力され、前記ラッチング回路６０５に保持されていた
前記値Ｈ（ｆ、ｆ）ｐｘｙ と乗算される。この結果はセレクタ６０７を介して乗算
器６３１に入力される。

前記メモリ６１８に保存されている各層のパワースペク
トルΦのうち、ｉ番目のスペクトルΦ１の前記空間周波
数（ｆ、ｆ）における値Φ１ｙ （ｆ、ｆ）が読み出される。読み出された値ｙ Φ、はセレクタ６１９を介して、乗算器６３１　Ｅ送ら
れ、前記セレクタ６３２からの出力結果と乗算される。

この乗算器６３１の出力はセレクタ６３２を介して加算
器６３３に送られる。この加算器６３３にはバッファメ
モリ６３５に保存されている値がセレクタ６３６を介し
て入力する。かくして加算器６３３にて二つの入力値が
加算される。

その結果は、セレクタ６３４を介しバッファメモリ６３
５に入力し、前に保存されていた値と入れ代わって記録
される。こうして、異なるｉ　　（ｉ鱒１．２．・・・
ｎ）について上記の処理がくり返された後に、前記バッ
ファメモリ６３５に保存された値は、除算器６３７に入
力されるこの除算器６３７で、ＲＯＭ６３８に記録され
ている値Ｓとの除算が実行される。なお前記ＲＯＭ６３
８からの値はノイズのスペクトル密度Ｓを表わし、前記
スペクトル値Φ　（ｆ、ｆ）との比（（Φ１ｉ　　　　
　ｘ　　　　　ｙ （ｆ　　、　　ｆ　　）／Ｓｌが空間周波数（ｆ、ｆ）
ｘ　　　　　　ｙ　　　　　　　　　　　　　　　　　
　　　　　　　　　ｘ　　　　　　ｙにおけるＳ／Ｈに
相当する。このノイズのスペクトル密度Ｓはｒ　ａ、ｐ
ｒｉｏｒＩＪな情報としてあらかじめ推定し、前記ＲＯ
Ｍ６３８に記録しておくものである。前記除算器６３７
からの出力は、前記セレクタ６３２を介して前記加算器
６３３の一方の入力として入力される。また前記ＲＯＭ
６３８からは値゛１″が読み出され、前記セレクタ６３
６を介して前記加算器６３３に他方の入力として入力さ
れる。二つの入力の加算結果は、セレクタ６３４を介し
て、メモリ６３９に記録される。以上の動作により、上
記メモリ６３９には・・・・・・　（２〉 ・・・・・・　（３） ・・・・・・　（４） の三つの値が記録される。

一方、前記ＲＯＭ６０３に記録されている前記空間周波
数（ｆ、ｆ）における、ｉ番目の層ｙ にピントが合った時の前記注目層ｐ、ｑの劣化関数の値
Ｈ（ｆ　　、ｆ　　）、Ｈ（ｆ　　、ｆ　　）ｉｐ　　
　ｘ　　　ｙ　　　　Ｉｑ　　　ｘ　　　ｙは前記セレ
クタ６０４，６０７を介して前記乗算器６３１に入力さ
れる。ここで前記メモリ６１８に記録されている前記パ
ワースペクトル値Φ１（ｆ、ｆ）と乗算される。この結
果は、前記ｙ 加算器６３３と前記バッファメモリ６３５とによるｎ回
の累積加算がなされた後に、前記ＲＯＭ６３８から読み
出された前記ノイズスペクトル密度Ｓと前記除算器６３
７により除算される。この結果は前記メモリ６３９に記
録される。このようにして前記メモリ６３９には新たに の二つの値が記録される。なお２つの注目層ｐおよびｑ
は、観測者が選んだｎ個の層のうち、中央付近の二つを
選べば良い。なお、ｐ、ｑは各層のパワースペクトルΦ
ｌに応じて適当に設定するようにしても良い。

次に、前記メモリ６３９に記録されているデータは図示
構成のセレクタ６４０．ラッチング回路６４１、乗算器
６４２によってデータ間の乗算が行なわれる。その結果
、Ａ　　−Ａ　　、Ａ　　２ｐｐ　　　　　ｑｑ　　　
　　ｐｑ Ａ　　Ｂ　　、Ａ　　Ｂ　　、Ａ　　Ｂ　　、Ａ　　Ｂ
　　の６個ｑｑｐ　　　　　　ｐｑｑ　　　　　　ｐｐ
ｑ　　　　　　ｐｑｐの値が一段目のメモリ６４３に記
録される。さらに前記メモリ６４３に記録されているデ
ータは、図示構成のセレクタ６４４．ラッチング回路６
４５、減算器９４６にてデータ間の減算が実行される。

その結果Ａｐｐ−Ａ　　−Ａ　　　、Ａ　　Ｂｑｑｐｑ
　　　　　　　ｑｑｐ ＡＢ、ＡＢ、−ＡＢ　　なる三つの値がｐｑｑｐｐｑ　
　　　　　　　ｐｑｐ 二段目のメモリ６４７に記録される。前記メモリ６４７
に記録されているデータは、図示構成のセレクタ６４８
．ラッチング回路６４９．除算器６５０にてデータ間の
除算が実行される。その結果の一つ なる値はセレクタ６５１を介してメモリ６５２−１に記
録される他の結果、 なる値は前記セレクタ６５１を介してメモリ６５２−２
に記録される。

以上の動作により、前記ディジタル入力した画像の全空
間周波数についてω　、ω　が計算されｑ る。その結果は前記メモリ６５２−１，６５２−２に記
録される。

次ニ「本動作」について述べる。上記の「前処理動作」
が終わった後に、観察者は前記ステージ５０１を光軸と
直角な方向、つまり水平方向へ動かし、任意の箇所につ
いて検査を行う。このとき、前記ステージ駆動コントロ
ーラ６０１からは、まずｐ層にピントが合うように前記
モータドライバ５０３に指令が送られる。前記ＴＶ左カ
メラ２０により撮像された画像は前記Ａ／Ｄ変換器６１
１によりディジタル変換された後、前記セレクタ６１２
を介して前記メモリ６１３−１に記録される。

同様にしてｑ層にピントの合った画像は前記メモリ６１
Ｂ−２に記録される。次に記録されたこれらのディジタ
ル画像は、前記ＦＦＴ演算器６２２により２次元フーリ
エ変換される。その結果は再び前記メモリ６１３−１．
６１３−２に記録される。これらフーリエ変換画像は各
空間周波数ごとに読み出され、前記セレクタ６１４−１
，６１４−２を介して前記乗算器１５−１，６１５−２
にそれぞれ入力される。また、前記乗算器６１５−１，
６１５−２には、前記メモリ６５２−１，６５２−２に
記録されている前記空間周波数に対応する係数値ω　、
ω　がそれぞれ入力される。かｑ くしでこの入力した係数値と前記フーリエ変換画像の値
との乗算が行なわれ、その二つの結果は前記加算器６１
６により加算される。この加算結果は前記メモリ６１８
に記録される。つまり、ｐ層。

ｑ層にピントの合った画像のフーリエ成分が空間周波数
ごとにω　、ω　の係数で次式の如く加重ｑ 加算される。

Ｆ　−ω　Ｆ　＋ω　Ｆ ａ　　　　　　ｐｐ　　　　　　ｑｑ ただし、Ｆ　　、Ｆ　　はそれぞれｐ層、ｑ層にビｑ ントの合った画像のフーリエ変換画像を示す。加重加算
の結果は前記メモリ６１８に記録される。

そして、この記録された加重加算されたフーリエ変換画
像は、前記ＦＦＴ演算器６２２により逆フーリエ変換さ
れて、再び前記メモリ６１８に記録される。この記録内
容はＤ／Ａ変換器６２０によりアナログビデオ信号に変
換されて、ＴＶモニタ６００に表示される。

以上のｒ本動作」は前記ステージ５０１の位置が変わる
毎に繰り返し行なわれ、処理画像が随時表示される。な
お、前記ステージ５０１を、水平方向への駆動を行なう
如く設けられたモータにより自動的に水平方向の位置が
変化するように構成しても良い。

以上の動作はプロセッサ６００に内蔵されているコント
ローラ６６０により制御される。なお、コントローラ６
６０から、各構成要素への結線は、繁雑さを避けるため
省略した。

上記した第８実施例によれば、ＦＩＧ、、１２に示す様
なｎ個の層状構造を有する半導体ＩＣ５３０の検査をす
る際に、任意に設定した第２層（Ｐ　Ｌ）、第９層（ｑ
Ｌ）の２つの層だけにフォーカスを合わせた画像を入力
し、この画像を処理することにより層全部に同時にフォ
ーカスが合った画像を表示可能となる。以下にその作用
の詳細を述べる。

まず、第に層の画像をｆｋ　（ｘ、ｙ）とし、これをフ
ーリエ変換した画像をＦ（ｆ、ｆ）ｋ　　　ｘ　　　ｙ とする。また、第１層にフォーカスを合わせた時の第１
（層の劣化関数（っまりＯＴ　Ｆ　：　０ｐｔｌｃａＴ
ｒａｎｓｆｃｒ　Ｐｕｎｃｔｌｏｎ）をＨ，（ｆ、ｆ）
とじ１３ｋ　　　ｘ　　　ｙ さらに前記第１層にフォーカスを合わせて入力した画１
ｇ！に混入する加法的ノイズをＮ　Ｊ　　（ｆ　ｘ。

ｆ、）とする。第１層にフォーカスを合わせて入力した
画像のフーリエ変換画像Ｇ（ｆ、ｆ）ｊ　　　ｘ　　　
ｙ は、 （ｇ（ｆｘ、　　　ｆｙ）　　−Σ　Ｈｏｋ（ｆｘ、　
　ｆｙｌ　・Ｆｋ（ｆｘ、　　　ｆｙ）　　＋　　Ｎｊ
（ｆｘ、　　ｆｙ）ｋ四１ ・・・（９） と表わせられる、また、最終的に求めたい画像のフーリ
エ変換画像Ｆ　は 。

で表すことができる。本発明では、異なる層にフォーカ
スを合わせて入力したフーリエ変換画像間で、空間周波
数ごとに加重加算を行なう。入力画像Ｇ、に対する加重
係数をωｊとすると、処理面像は、 で表わされる。上記（１０）式と（１１）式の差が最も
小さくなるような係数ω、を求める必要がある。そこで
両者の平均２乗誤差Ｅを次式で定義する。

Ｅ　　−＜ＩＦＯ−Ｆｌ　　２＞ ただし、第に層の画像の統計的平均パワースペクトルΦ
には、 Ｈｋ（ｆｘ、　　ｆｙ）　　−＜ｌ　　Ｆｋ（ｆｘ、　
　ｆｙ）　　ｌ　　２＞＝　　＜ｌ　　Ｆｋ（ｆｘ、　
　ｆｙ）・Ｆｋ”（ｆｘ、　　ｆｙ）　　ｌ　　２＞・
・・　（１３） 加法的ノイズを白色ノイズと仮定し、スペクトル密度を
Ｓと仮定し二さらに、層の画像間は無ｔｅｌ関の関係に
ある（Ｆ　　−Ｆ　　＊、−、ｓ、ｕ）と仮定した。

ｕ　　　　　　ｕ またく・〉は集合平均を表すオペレータである。

（１２）式の極小値を求めるために、Φｌをωｊで微分
し、これを０とおく。

２　Σ　Φｋ　　Ｈｋゴ　＋　２Ｓωづ−。

・、、１１４） ただし、ｊ”’１．Ｑ　；１＋ｗｍｐ＋　　Ｑ　（ｊ≠
１）また、劣化関数ＯＴＦであるＨを位相を持たない実
関数とした。（１４）式より次式が導出される。

と表わせられる。この解は、次式のようになる。

（１５）式よりｊ＝ｐ、ｑの２つの式が立つ。これを行
列式の形に改めると と表される。各空間周波数における（ＩＱ）式の各行列
要素を（２）〜（６）式のようにおくと、前記前処理動
作は、（１８）、　（１９）式で表される解を算出する
ように行なわれる。なお（１６）、　　（１９）式で現
れるΦ、／ＳはＳ／Ｎを表わしている。これは本来統計
的な推定をして求める量であるが、実際には推定が困難
である。そこでΦ、は゛、前処理の段階で観察者が対象
物の各層にフォーカスを合わせた時に入力した画像のパ
ワースペクトルΦにで代用する。またノイズのスペクト
ル密度Ｓは、ＴＶ左カメラ２０の特性等を予め考慮に入
れて、適当に設定しておけば良い。

本実施例は、ある層にフォーカスを合わせた場合の各層
の劣化関数と、推定したＳ／Ｎとを考慮し、最小二乗フ
ィルターの手法を応用して、各空間周波数における加重
係数を求めるようにした例である。このため少ない数の
ある層の入力画像から全ての層にフォーカスの合った画
像を再生できる。なお本実施例では４〜５層の半導体Ｉ
Ｃを想定し、入力画像を二として説明したが、対象物が
層数の非常に多いものである場合には、入力する画像数
をＸ　枚（多数枚）とすれば良い。その際、（１Ｂ）、
　（１７）式の行列はＸ　元の式になるので、口 Ｘ　元連立−次方程式を解くようなプロセッサを構成す
ればよい。

以上説明したように第８実施例では、加重係数を、Ｓ／
Ｎを考慮した回復処理の効果かもたらされるように設定
するようにしたので、少ない入力画像から焦点深度の大
きい画像を再生できる。従って、「前処理動作」にて条
件を設定しておけば、「本動作」ではより短い時間で画
像処理を完了できる利点がある。

（第９実施例） 第１３図は第９実施例の構成を示す図である。

本実施例は、入力する画像の焦点面を選択する手段に関
する実施例である。前処理として、合焦点位置制御装置
８０６を適当な位置に調整設定しながら、レンズ系８０
１により結像した画像を撮像素子８０２にて撮像する。

撮像素子８０２の出力信号はバンドパスフィルター８０
３を通ることによって所定の周波数帯域の信号のみが抽
出される。

抽出された信号のスペクトル強度はメモリ８０４に記録
される。このためメモリ８０４には合焦点面が異なる複
数の画像の前記周波数帯域におけるスペクトル強度が記
録される。プロセッサ８０５は上記各スペクトル強度に
基づいて「本動作」を行うための入力画像の合焦点面を
設定し、これを前記合焦点位置制御装置８０６に指令信
号として送る。なお、前記合焦点位置制御装置８０６に
は、前記レンズ系８０１の焦点位置の情報を取出すエン
コーダが設けられており、焦点位置の情報を前記プロセ
ッサ８０５に送り返すようになっている。

第１４図、第１５図は本実施例の作用を示す図である。

第１４図に示すような表面構造を持つ物体８１０を考え
る。このような物体８１０を焦点深度の浅い光学系で撮
像すると、物体８１０のどこかに焦点が合っている画像
と全くどの部分にも焦点が合っていない画像とが得られ
る。前者のフーリエスペクトルは、比較的高い空間周波
数成分も有するが、後者のフーリエスペクトルは低い空
間周波数成分しか持っていない。この様子を同図右方に
概念的に示す。すなわち物体８１０に対して、合焦点面
を破線で示した位置に設定したときの像におけるフーリ
エスペクトルＦ　（ｕ）を示している。第１５図は第１
４図に示すスペクトルについて、ある空間周波数領域（
ｕ、ｕ）のスベクトルを斜線で示した面積だけを積分し
た値Ｆ（ｕ、ｕ２）が、焦点面の位置を変えた場合にど
のように変化するかを示したものである。この図よりＦ
（ｕ、ｕ２）の値が所定のしきい値■ より大きくなる領域を２１〜ｚ２とすれば、この領域以
外の画像すなわち焦点の合った部分が全くない画像を加
算の対象から除外できることになる。

その結果、より鮮明な長焦点深度画像を合成できる。

本実施例によれば入力する画像の合焦点面の範囲が前処
理により予め設定されるので、効率良く本動作を実行で
き、より鮮明な画像を再生できる。

なお、第１〜第３実施例に示した様に、本発明の装置で
は、画像メモリとＦＦＴ演算器とを有している。従って
、第１３図に示したような構成をわざわざ設けずに、デ
ィジタル入力した画像をフーリエ変換し、特定の周波数
領域のスペクトル強度を調べることによって、本実施例
と同様の処理を行なうようにしても良い。

（第１０実施例） 第１６図は本実施例の第１０実施例の構成を示す図であ
る。本実施例は第９実施例と同様に、入力する画像の合
焦点面を選択する手段に関す実施例である。

レンズ系９０１の中央部と通って入力された対象物の像
は、ミラー９０２により反射され、オートフォーカス（
以下ＡＦと略称する）センサ９０３に入力される。ＡＦ
センサ９０３は、位相差ＡＦ方式を用いたものである。

すなわち視差を設けて結像させた二つの画像の位相差に
相当するデータを得、これを測距回路９０４に送る。測
距回路９０４は、前記ＡＦセンサ９０３から送られてき
たデータに基づいて、カメラから対象物までの距離を計
算し、その結果を出力する。出力された距離データはメ
モリ９０５に記録される。以上の動作は、撮影者が設定
した数か所の対象物について同様に行なわれる。メモリ
９０５に記録された複数点の距離データはコントローラ
９０６に送られる。かくして「本撮像」における条件が
設定される。

このように、同時にフォーカスを合わせたい複数の被写
体をファインダーの中央部にとらえた状態で測距ボタン
を押すと、各被写体までの距離データが装置内の前記メ
モリ９０５に記録される。

そして記録された距離データに基づいた入力条件がコン
トローラ９０６によって設定される。

第１０実施例によれば、撮影者が任意に選択した全ての
被写体に対してフォーカスが合うように入力条件が設定
される。

なお本実施例の変形例として、コントローラ９０６と合
焦点制御装置９０７だけで前処理装置を構成しても良い
。この場合、撮影者は前記した方法と同様にして写した
い被写体を次々と狙いながら手動によりフォーカスを合
わすと同時に測距ボタンを押す。こうすることにより前
記合焦点制御装置９０７に設置しである焦点面を示すエ
ンコーダからの位置情報が、前記コントローラ９０６に
送られる。前記コントローラ９０６は、前記位置信号に
基づいて作動し、「本撮像」において前記撮影者が選ん
だ複数に被写体に対し次々と焦点を合わせながら画像を
入力しかつ処理を行なう如く制御する。

［発明の効果］ 本発明は、画像情報を入出力する装置において、主とし
て異なる物体面に焦点の合った複数の画像を入力する手
段と、この手段により入力した前記画像をフーリエ変換
する手段と、この手段によりフーリエ変換した画像を加
重加算する手段と、この手段により加重加算して得たフ
ーリエスペクトル画像を逆フーリエ変換する手段とを備
えたことを特徴とする装置である。

したがって本発明によれば、解像度や明るさを失うこと
なく、焦点深度の深い画像を再生し得、しかも実用的で
対象物に対する適用範囲が広く、容易に実現可能である
上、極めて迅速かつ適確に実用に供し得る利点をもった
画像入出力装置を提供できる。

【図面の簡単な説明】

第１図〜第１０図は本発明の実施例を示す図で、第１図
は第１実施例の構成を示す図、第２図は同第１実施例の
作用説明図、第３図は第２実施例の構成を示す図、第４
図は同第２実施例の作用説明図、第５図は第３実施例の
構成を示す図、第６図は第４実施例の構成を示す図、第
７図は第５実施例の構成を示す図、第８図Ａ〜第８図Ｃ
は第６実施例の構成を示す図、第９図は同第６実施例の
回復色フィルターの構造を示す平面図、第１０図は第７
実施例の構成を示す図である。第１図〜第１０図 図は同第８実施例の作用説明図、第１３図は第９実施例
の構成を示す図、第１４図および第１５図は同第９実施
例の作用説明図、第１６図は第１０実施例の構成を示す
図である。 １・・・レンズ、２・・・撮像素子、３・・・Ａ／Ｄ変
換器、４・・・セレクタ、５−１〜５−ｍ・・・メモリ
、６・・・合焦点位置制御器、７・・・ＦＦＴ演算器、
８・・・比較器、９・・・係数設定用メモリ、１０−１
〜１０−ｐ・・・乗算器、１１・・・加算器、１２・・
・メモリ、１３・・・Ｄ／Ａ変換器、１４・・・デイス
プレィ、１５・・・コントローラ。 出願人代理人　弁理士　坪　井　　　淳第２図 第７図 第４図 第６図 第７図 第９ 図 第１１ 図 口 第１１ 図 第１２図 第１３は 第１３図

Claims (6)

【特許請求の範囲】
1. （１）画像情報を入出力する装置において、複数の異な
   る物体面に（光学系の）焦点を合わせる手段と、 この手段により異なる物体面に焦点のあった複数の画像
   を入力する手段と、 この手段により入力された複数の画像のそれぞれに対し
   てフーリエ変換を行う手段と、 この手段によりフーリエ交換された各画像を加重加算す
   る手段と、 この手段により加重加算された画像を逆フーリエ変換す
   る手段と、 を有することを特徴とする画像入出力装置。
2. （２）複数の異なる物体面に焦点を合わせる手段は、 焦点の合った物体面の位置を変える手段及び光の波長領
   域を変える手段を有すると共に、 焦点の合った物体面の位置と光の波長領域とが共に異な
   る複数の画像を入力する手段と、 この手段により入力された複数の画像のそれぞれに対し
   てフーリエ変換を行う手段と、 この手段によりフーリエ交換された各画像を加重加算す
   る手段と、 この手段により加重加算された画像をフーリエ変換する
   手段と、 この手段により逆フーリエ交換された画像と、前記入力
   された各画像を加え合わせた画像で除算を行ったところ
   の各画像とを乗算し、１つの画像を合成する手段とを有
   する、 ことを特徴とする特許請求の範囲第１項に記載の画像入
   出力装置。
3. （３）異なる物体面に焦点の合った複数の画像を入力す
   る手段は、 複数の異なる像画に複数の撮像装置をそれぞれ配置し、
   これらの撮像装置によって前記複数の異なる物体面に焦
   点のあった複数の画像を同時に入力する、 ことを特徴とする特許請求の範囲第１項に記載の画像入
   出力装置。
4. （４）フーリエ変換された各画像を加重加算する手段は
   、 入力画像の信号対雑音比（Ｓ／Ｎ）とぼけ関数（劣化関
   数）とを考慮して、回復処理の効果がもたらされるよう
   に各加重係数を算定する手段を有する、ことを特徴とす
   る特許請求の範囲第１項に記載の画像入出力装置。
5. （５）異なる物体面に焦点の合った複数の画像を入力す
   る手段は、バンドパスフィルタリングを行う手段を有し
   、 複数の異なる物体面に焦点を合わせる手段は、上記バン
   ドパスフィルタリングを行う手段にて得られた出力に基
   づいて、焦点が合った物体面の位置を変化させる範囲に
   ついての選択を行う手段を有する、 ことを特徴とする特許請求の範囲第１項記載の画像入出
   力装置。
6. （６）複数の異なる物体面に焦点を合わせる手段は、 撮像装置から被写体までの距離を計測する手段と、この
   手段により計測した距離データに基づいて焦点があった
   物体面の位置を変化させる範囲についての選択を行う手
   段とを有する、 ことを特徴とする特許請求の範囲第１項記載の画像入出
   力装置。