JPH08294035A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 比較的簡易な構成で、しかも良好な画像分解
能及び処理速度を得ることを可能とする。 【構成】 合焦時のコントラストが高く輝度変化の激し
い部分についてはコントラスト検出手段３及びコントラ
スト分割合焦画像作成手段４によって、コントラスト情
報に基づく焦点位置検出を実行し、残った部分について
は輝度検出手段５及び輝度分割合焦画像作成手段６によ
って、輝度処理に基づく焦点位置検出を実行し、これに
より得た第１分割合焦画像及び第２分割合焦画像を、合
焦画像合成手段７により合成して最終合焦画像を得るよ
うに構成したもの。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、光軸方向に焦点位置を
ずらして取り込んだ複数の画像の中から合焦状態にある
領域を抽出して合成し、１枚の合焦画像を得るようにし
た画像処理装置及び画像処理方法に関する。

【０００２】

【従来の技術】光学顕微鏡等により３次元被写体を観察
する場合において、被写体の一部にしか焦点が合わず被
写体の完全な画像を得られないことが多い。そのため従
来から、撮像時の条件を変えながら複数枚の画像を入力
し、それらの画像情報を抽出・統合することにより対象
空間の情報を正確に得て、合焦画像（パンフォーカス画
像）を作成しようとする試みがなされている。

【０００３】このような合焦画像（パンフォーカス画
像）の合成は、焦点位置をずらして取り込んだ多数枚の
原画像から合焦領域のみを取り出して１枚の画像を合成
する処理であるが、その場合の合焦状態の判断基準とな
っているのは、原画像の持つコントラストである。すな
わち画像がくっきりと明瞭に見えるコントラストが高い
領域では、画像の空間周波数に含まれる高周波成分の比
率がコントラストの低い領域よりも高くなっており、従
って画像中の高周波成分の量を検出して比較すれば、コ
ントラストの高低から合焦状態の良否を判断することが
できる。

【０００４】一方、合焦画像（パンフォーカス画像）の
合成のように、画素ごとの焦点位置検出を行う場合に
は、合成された画像の分解能や処理速度の点で輝度処理
が有利である。輝度処理は、ある画像の光軸方向の輝度
パターンが焦点位置で極値となることを利用するもので
あって、ある画像の光軸方向の輝度変化を調べ、その極
大値又は極小値となる位置を焦点位置とする処理であ
る。この輝度処理は、画素ごとの処理であるので分解能
が高く処理も高速で行えるという利点がある。

【０００５】

【発明が解決しようとする問題点】しかしながらこの輝
度処理においては、光学系の傾き等によって対象物の像
位置が移動したときに焦点位置検出エラーが発生し易い
という問題がある上に、輝度が比較的低い画素では周辺
の明るい画素のボケによる光が漏れ込み、正しい焦点位
置の検出が行えないという問題がある。

【０００６】そこで本発明は、比較的簡易な構成で、し
かも良好な画像分解能及び処理速度を得ることができる
ようにした画像処理装置及び画像処理方法輝度処理を提
供することを目的としている。

【０００７】

【課題を解決するための手段】上記課題を解決するため
請求項１に記載の発明は、光軸方向に焦点位置をずらし
て複数の原画像を取り込み、これら複数の取込原画像の
それぞれに設定した多数の画素の中から合焦状態にある
画素を抽出し、その抽出した合焦画素に対応する原画像
を合成して１枚の最終合焦画像を得るように構成した画
像処理装置であって、上記多数の取込原画像のそれぞれ
について画素ごとにコントラスト情報を検出するコント
ラスト検出手段と、上記コントラスト検出手段により得
た各画素のコントラスト情報を、前記各取込原画像どう
しの間で光軸方向に比較することにより合焦状態にある
画素を光軸方向に抽出し、その抽出した合焦画素に対応
する原画像を集積・合成して前記最終合焦画像の一部分
である第１分割合焦画像を作成する分割コントラスト合
焦画像作成手段と、前記多数の取込原画像のそれぞれに
ついて各画素ごとに輝度情報を検出する輝度検出手段
と、上記輝度検出手段により得た各画素の輝度情報を、
上記各取込原画像どうしの間で光軸方向に比較すること
によって合焦状態にある画素を光軸方向に抽出し、その
抽出した合焦画素に対応する原画像を集積・合成して前
記最終合焦画像の残りの部分である第２分割合焦画像を
作成する輝度分割合焦画像作成手段と、上記分割コント
ラスト合焦画像作成手段により得た第１分割合焦画像
と、輝度分割合焦画像作成手段により得た第２分割合焦
画像とを合成して、１枚の最終合焦画像を得る合焦画像
合成手段と、を備えた構成を有している。

【０００８】また請求項２に記載の発明は、請求項１記
載のコントラスト検出手段が、各画素ごとに輝度情報の
差分値を算出する差分型フィルタ処理部を有していると
ともに、分割コントラスト合焦画像作成手段は、上記コ
ントラスト検出手段の差分型フィルタ処理部で得た差分
値を光軸方向に比較することによって当該差分値の光軸
方向における最大値を検出する光軸方向比較部と、この
光軸方向比較部で得た上記差分値の最大値が所定の値以
上であるかを検出するレベル判定部と、上記レベル判定
部において差分値の最大値が所定の値以上であると検出
した画素を合焦画素とし、それら合焦画素に対応する原
画像を集積・合成することにより第１分割合焦画像を作
成する第１分割合焦画像作成部と、上記レベル判定部に
おいて差分値の最大値が所定の値未満であると検出した
画素を、輝度検出手段に残存未画素として出力する未作
成部検出部と、を備えた構成を有している。

【０００９】さらに請求項３記載の発明は、請求項１記
載の輝度分割合焦画像作成手段が、各画素ごとの光軸方
向における輝度分布を所定の基準輝度パターンと比較し
て類型パターンに分類し、当該類型パターンに基づいて
輝度値が極大又は極小である位置を合焦位置と検出する
輝度パターン比較部を備えた構成を有している。

【００１０】さらにまた請求項４記載の発明は、光軸方
向に焦点位置をずらして複数の原画像を取り込み、これ
ら複数の取込原画像のそれぞれに設定した多数の画素の
中から合焦状態にある画素を抽出し、その抽出した合焦
画素に対応する原画像を合成して１枚の最終合焦画像を
得るように構成した画像処理方法であって、上記多数の
取込原画像のそれぞれについて画素ごとにコントラスト
情報を検出するコントラスト検出工程と、上記コントラ
スト検出工程により得た各画素のコントラスト情報を、
前記各取込原画像どうしの間で光軸方向に比較すること
により合焦状態にある画素を光軸方向に抽出し、その抽
出した合焦画素に対応する原画像を集積・合成して前記
最終合焦画像の一部分である第１分割合焦画像を作成す
る分割コントラスト合焦画像作成工程と、前記多数の取
込原画像のそれぞれについて各画素ごとに輝度情報を検
出する輝度検出工程と、上記輝度検出工程により得た各
画素の輝度情報を、上記各取込原画像どうしの間で光軸
方向に比較することによって合焦状態にある画素を光軸
方向に抽出し、その抽出した合焦画素に対応する原画像
を集積・合成して前記最終合焦画像の残りの部分である
第２分割合焦画像を作成する輝度分割合焦画像作成工程
と、上記分割コントラスト合焦画像作成工程により得た
第１分割合焦画像と、輝度分割合焦画像作成工程により
得た第２分割合焦画像とを合成して、１枚の最終合焦画
像を得る合焦画像合成工程と、を備えた構成を有してい
る。

【００１１】一方、請求項５記載の発明は、請求項４記
載のコントラスト検出工程が、各画素ごとに輝度情報の
差分値を算出する差分型フィルタ処理工程を有している
とともに、分割コントラスト合焦画像作成工程は、上記
コントラスト検出工程の差分型フィルタ処理工程で得た
差分値を光軸方向に比較することによって当該差分値の
光軸方向における最大値を検出する光軸方向比較工程
と、この光軸方向比較工程で得た上記差分値の最大値が
所定の値以上であるかを検出するレベル判定工程と、上
記レベル判定工程において差分値の最大値が所定の値以
上であると検出した画素を合焦画素とし、それら合焦画
素に対応する原画像を集積・合成することにより第１分
割合焦画像を作成する第１分割合焦画像作成工程と、上
記レベル判定工程において差分値の最大値が所定の値未
満であると検出した画素を残存未画素として輝度検出工
程に出力する未作成部検出工程と、を備えた構成を有し
ている。

【００１２】また請求項６記載の発明は、請求項４記載
の輝度分割合焦画像作成工程が、各画素ごとの光軸方向
における輝度分布を所定の基準輝度パターンと比較して
類型パターンに分類し、当該類型パターンに基づいて輝
度値が極大又は極小である位置を合焦位置と検出する輝
度パターン比較工程を備えたを備えた構成を有してい
る。

【００１３】

【作用】このような構成を有する各手段においては、合
焦時のコントラストが高くなって輝度変化の激しい部分
についてはコントラスト情報に基づいて焦点位置検出が
行われるとともに、残った低コントラストの部分につい
ては輝度処理によって焦点位置検出が行われる。従って
比較的簡易な処理で、高分解能の画像が高速処理により
得られるようになっている。

【００１４】

【実施例】以下、本発明の実施例を図に基づいて説明す
る。まず図１に示された実施例にかかる画像処理装置で
は、所定の３次元被写体からの画像入力がなされる画像
取込手段１に、光軸方向に焦点位置をずらした多数の画
像が取り込まれ、それらの各原画像のデータが、第１画
面、第２画面、…として原画像記憶部２内に格納される
ように構成されている。この原画像記憶部２内の各原画
面データは、後述するコントラスト検出手段３、分割コ
ントラスト合焦画像作成手段４、輝度検出手段５及び輝
度分割合焦画像作成手段６にそれぞれ出力されている。

【００１５】なお上述した画像取込においては、被写体
（試料）のすべての部位が光軸方向のいずれかの焦点位
置で合焦する必要があるため、画像の取込ピッチは光学
系の焦点深度以下とされ、被写体の高さを十分カバーす
るように画像取込が行われるようになっている。例え
ば、総合倍率ｍ＝２０、開口数ＮＡ＝０．４の対物レン
ズを用いるとともに、水平解像度Ｋ＝５６０TV本、素子
幅Ｌ＝８．８ｍｍのＣＣＤカメラを用いた場合における
画像取込ピッチΔｔc は３．０μｍに設定される。また
この場合、被写体（試料）の奥行が１００μｍであると
すれば、３．０μｍ以下のピッチで１００μｍの範囲を
含むように、少なくとも３４枚の画像を取り込む必要が
ある。

【００１６】また３次元形状の測定に本手法を用いる場
合には、画像間隔をさらに小さくしなければならない。
さらに一般のオートフォーカス装置においては、焦点位
置検出の繰り返し精度が焦点深度Δｔc の１／２程度で
あるため、本手法による焦点位置検出が同等であるとす
ると、画像取込ピッチを焦点位置検出精度より小さくし
て焦点深度Δｔc の１／５程度とすれば精度の良い計測
が期待できる。

【００１７】上記コントラスト検出手段３に対しては、
原画像記憶部２内の各原画面データが多数の画素に分割
されて取り込まれ、それら多数の画素のそれぞれについ
てコントラスト情報が検出されるように構成されてい
る。より具体的には、上記コントラスト検出手段３は、
各画素ごとに輝度値の差分を演算する差分型フィルタ処
理部３ａを有しており、この差分型フィルタ処理部３ａ
によって算出された各画素の輝度差分値から、上記各第
１画面、第２画面、…の各取込画像ごとにコントラスト
分布情報（コントラストマップ）が得られるようになっ
ている。このコントラスト分布情報（コントラストマッ
プ）は、コントラスト記憶部３ｂ内に第１画面、第２画
面、…のようにして格納される。

【００１８】このとき上記差分型フィルタ処理部３ａで
は、例えば３×３の画素において処理が行われる構成に
なっており、注目する画素に隣接する画素間の差分演算
が行われるように構成されている。このような演算を全
画素にわたって行う差分処理は、画像の高周波成分を取
り出すフィルタリング処理と呼ばれる。なおこのような
差分型フィルタの他に、ラプラシアンフィルタ、ソーベ
ルフィルタ等を用いてもよい。

【００１９】さらに上記コントラスト検出手段３により
検出・格納された各画素ごとのコントラスト情報（差分
値情報）は、分割コントラスト合焦画像作成手段４に出
力され、当該分割コントラスト合焦画像作成手段４にお
いて各画素のうちの合焦状態にあるものが集積・合成さ
れるように構成されている。

【００２０】すなわち上記分割コントラスト合焦画像作
成手段４は、前記コントラスト検出手段３で得られた各
画素ごとのコントラスト情報（差分値情報）を光軸方向
に比較する光軸方向比較部４ａを有しており、この光軸
方向比較部４ａにおいて、各画素ごとのコントラスト情
報（差分値情報）の光軸方向における最大値が検出され
るようになっている。このような光軸方向比較部４ａに
おける比較動作は、全ての画素について行うと処理時間
が長くなるため、分解能の低下を招かない程度の例えば
２×２のブロックにまとめて実行すれば高速処理が行え
る。

【００２１】そして上記光軸方向比較部４ａで得られた
コントラスト情報（差分値情報）の光軸方向の最大値か
ら、当該最大値に対応する光軸方向の位置が焦点位置と
して求められ、各取込画像ごとに作成された焦点位置分
布情報（コントラスト合焦マップ）が焦点位置記憶部４
ｂ内にコントラスト値を含めて格納されるようになって
いる。

【００２２】さらに上記焦点位置記憶部４ｂ内に格納さ
れた各取込画像ごとの焦点位置分布情報（コントラスト
合焦マップ）は、レベル判定部４ｃに入力されて所定の
閾値と比較される。上記レベル判定部４ｃは、各画素の
うち閾値以上のコントラスト値（差分値）を有する画素
のみを抽出し、その抽出画素に対応して形成される焦点
位置分割分布情報（分割コントラスト合焦マップ）を作
成する機能を有している。

【００２３】上記レベル判定部４ｃにおける閾値は、最
終的に得る合成合焦画像の画質に大きく影響するもので
あるが、本実施例においては、相対差分値を用いて閾値
の設定が行われている。すなわち上述したコントラスト
情報（差分値情報）の閾値を０から１０ずつ増やしなが
ら画像合成を行い、得られた合成画像の差分画像を作成
する。ついで差分画像の全画素の差分値の和（差分値総
和）を求め、各閾値の合成画像の差分値総和を閾値０の
差分値総和で正規化して相対差分値を求める。閾値が低
い場合は、差分型フィルタによる合成の際のブロックパ
ターンノイズやコントラストの高いドットノイズが発生
し、ノイズによるコントラストの影響で相対差分値が大
きくなる。また閾値が高い場合は、輝度変化の激しい部
分で輝度処理による焦点位置検出エラーが発生し、合成
画像のコントラストが低下する。両者の中間に、ノイズ
の影響と焦点位置検出エラーとが低下しコントラストが
安定する領域があれば閾値として適当と考えられる。

【００２４】このようにして各取込画像ごとに形成され
た焦点位置分割分布情報（分割コントラスト合焦マッ
プ）は、第１分割合焦画像作成部４ｄに出力される。こ
の第１分割合焦画像作成部４ｄは、上述のようにして作
成された焦点位置分割分布情報（分割コントラスト合焦
マップ）の各画素に対応する原画像を、前記原画像記憶
部２から読み出して集積・合成する機能を有しており、
この第１分割合焦画像作成部４ｄにおいて、最終合焦画
像の一部分である第１分割合焦画像が作成されるように
構成されている。

【００２５】上記第１分割合焦画像は、後述する合焦画
像合成手段７に出力されるとともに、未作成部検出部４
ｅに入力される。この未作成部検出部４ｅは、前記レベ
ル判定部４ｃで抽出されなかった非抽出画素を検出して
輝度検出手段５に出力する機能を有しており、上記非抽
出画素に対応する原画像が、前記原画像記憶部２から読
み出されて輝度検出手段５の光軸方向輝度パターン作成
部５ａに入力されるようになっている。

【００２６】上記光軸方向輝度パターン作成部５ａは、
前記レベル判定部４ｃでの非抽出画素すなわちコントラ
スト合焦画像作成手段４で焦点位置の検出が行われなか
った画素について、当該非抽出画素ごとに光軸方向の輝
度変化を調べてパターン化する機能を有しており、この
光軸方向輝度パターン作成部５ａで得られた各画素ごと
の光軸方向輝度パターンが、前記輝度分割合焦画像作成
手段６のパターン比較部６ａに出力される構成になされ
ている。

【００２７】上記輝度分割合焦画像作成手段６のパター
ン比較部６ａには、図２に示されているような各種基準
輝度パターンがパターン記憶部６ｂから入力され、上述
した光軸方向輝度パターンと比較されるように構成され
ている。すなわち上記パターン比較部６ａは、光軸方向
輝度パターンを数種類の類型輝度パターンに分類する機
能を有している。このパターン比較部６ａにおいて分類
された光軸方向輝度パターンは、合焦位置決定部６ｃに
入力され、ここで以下のようにして輝度の極小値又は極
大値に対応する光軸方向の位置が焦点位置として決定さ
れるように構成されている。

【００２８】上記パターン記憶部６ｂ内に格納されてい
る基準輝度パターンごとに説明すると、まず第１の基準
輝度パターンを示した図２（ａ）では、光軸方向（横軸
方向）両端の輝度値（縦軸）が平均値より低くなってお
り、この場合には輝度値が最大となる位置で合焦してい
ると判断する。また第２の基準輝度パターンを示した図
２（ｂ）では、光軸方向両端の輝度値が平均値より高く
なっており、この場合には輝度値が最小となる位置で合
焦していると判断する。さらに第３の基準輝度パターン
を示した図２（ｃ）及び（ｄ）では、輝度値の最小値又
は最大値が光軸方向両端位置近傍にあり、この場合には
両端位置から予め定められた所定の枚数（ｋ）内でない
方の最大値（図２（ｃ））又は最小値（図２（ｄ））に
対応する位置を合焦位置と判断する。さらにまた第４の
基準輝度パターンを示した図２（ｂ）及び（ｅ）では、
光軸方向両端の輝度値が平均値の両側にまたがってお
り、この場合には輝度値の最大値と最小値とのうち、平
均値から離れている方の位置を焦点位置と判断する。

【００２９】このように上記合焦位置決定部６ｃは、輝
度情報に基づく焦点位置分割分布情報（輝度分割合焦マ
ップ）を作成する機能を有しており、この各取込画像ご
とに形成された焦点位置分割分布情報（輝度分割合焦マ
ップ）は、第２分割合焦画像作成部６ｄに出力される。

【００３０】上記第２分割合焦画像作成部６ｄには、焦
点位置分割分布情報（輝度分割合焦マップ）に指示され
た各画素に対応する原画像が入力され、それらが集積・
合成されることによって最終合焦画像の残存部分である
第２分割合焦画像が作成されるように構成されている。
この第２分割合焦画像は、後述する合焦画像合成手段７
に出力される。

【００３１】上記合焦画像合成手段７は、前述した分割
コントラスト合焦画像作成手段４により得た第１分割合
焦画像と、輝度分割合焦画像作成手段６により得た第２
分割合焦画像とを合成して１枚の最終合焦画像を得る機
能を有している。

【００３２】さらに上記合焦画像合成手段７には、高さ
情報記憶部８が接続されており、各画素ごとに光軸方向
の合焦位置が、ある基準面からの高さ情報として上記高
さ情報記憶部８内に格納されるようになっている。

【００３３】次に、このような画像処理装置を用いた画
像処理方法の実施例を説明する。まず図３のステップ１
に示されている取込原画像には前処理が施される。すな
わち上記取込原画像には、光学系の汚れやＣＣＤ素子の
欠陥に起因する固定パターンノイズがあり、その固定パ
ターンノイズの除去のために、被写体位置においた白の
上質紙の完全にボケた画像が入力され、この画像と原画
像との間で除去処理が行われる。

【００３４】また取り込んだ画像に位置ズレがある場合
には、隣り合った画像間の相関演算による位置ズレ補正
が行われる。この位置ズレ補正では、例えば画像の中心
付近に２１０×３０画素の領域が定められて隣接画像間
の相関が求められる。相関演算は隣り合った画像間で行
われ、基準となる画像の２１２×３０画素の領域を位置
補正対象の画像上で１画素ずつ移動しながら対応する画
素間の積和が求められる。そしてこの値が最も大きくな
る移動量が２枚の画像間のズレとされる。このような処
理が順次行われることによって全体の位置ズレ補正を完
了する。

【００３５】こうして得られた図３ステップ２における
前処理済原画像は、前述したコントラスト検出手段３に
取り込まれ、そこで各画素の輝度差分値情報すなわちス
テップ３のようなコントラスト分布情報（コントラスト
マップ）が、第１画面、第２画面、…の順に各取込画像
ごとに得られる。

【００３６】このコントラスト検出手段３における検出
手順は、例えば図４に示されているように行われる。す
なわち同図に示されているように、まずステップ１にお
いて１画面分の原画像データが取り出され、次のステッ
プ２で３×３差分型フィルタ処理が実行されてコントラ
スト分布情報（コントラストマップ）が得られる。この
コントラスト分布情報は、ステップ３においてコントラ
スト記憶部３ｂ内に記憶される。そしてこのようなコン
トラスト検出手順は、図４のステップ４のように全画面
にわたって繰り返された後に終了する。

【００３７】このコントラスト検出手順で得たコントラ
スト情報は、前述した分割コントラスト合焦画像作成手
段４に出力され、当該分割コントラスト合焦画像作成手
段４で、上記コントラスト分布情報に基づいて光軸方向
の焦点位置が各画素ごとに得られ、図３のステップ４に
示されているようなコントラスト値を含む焦点位置分布
情報（合焦コントラストマップ）が得られる。

【００３８】さらに上記焦点位置分布情報（合焦コント
ラストマップ）から、閾値以上のコントラスト値（差分
値）を有する画素のみが抽出され、これにより図３のス
テップ５のような分割焦点位置分布情報（分割コントラ
スト合焦マップ）が作成される。なおこの分割焦点位置
分布情報（分割コントラスト合焦マップ）は、前記コン
トラスト検出手順で得たコントラスト分布情報を直ちに
レベル判定することによって、焦点位置分布情報（合焦
コントラストマップ）を作成することなくコントラスト
情報から直接作成することも可能である。

【００３９】次いで、上述のようにして作成された焦点
位置分割分布情報（分割コントラスト合焦マップ）の各
画素に対応する原画像（前処理済原画像）から、最終合
焦画像の一部分である第１分割合焦画像が図３のステッ
プ６のように作成される。

【００４０】このような分割コントラスト合焦画像作成
手段４における焦点位置検出手順は例えば図５に示され
ているような手順で行われる。まず図５中のステップ１
において、例えば画素を２×２ブロックにまとめられ
た、すなわちブロック内の最大値又は平均値をとること
により求められたコントラスト情報が各取込画像どうし
の間で光軸方向に比較され、次のステップ２で、最大値
に対応する位置が合焦位置として記憶される。この焦点
位置検出手順は、ステップ３のように全ブロックにわた
って繰り返され、これにより焦点位置分布情報（合焦コ
ントラストマップ）が得られる。

【００４１】さらに次のステップ４において、上記焦点
位置分布情報（合焦コントラストマップ）に記憶された
各画素のコントラスト値（差分値）が、前述したレベル
判定部４ｃによって所定の閾値と比較される。そしてス
テップ５で、閾値以上のコントラスト値（差分値）を有
する画素のみが合焦に決定・抽出され、これによって分
割焦点位置分布情報（分割コントラスト合焦マップ）が
作成される。

【００４２】そして上述のようにして作成された焦点位
置分割分布情報（分割コントラスト合焦マップ）の各画
素に対応する原画像（前処理済原画像）が、図５のステ
ップ６のように前記原画像記憶部２から第１分割合焦画
像作成部４ｄに取り込まれて集積・合成され、これによ
り最終合焦画像の一部分である第１分割合焦画像が作成
される。

【００４３】再び図３に戻って、上記コントラスト検出
手順で抽出されなかった画素すなわちコントラスト合焦
画像作成手段４で焦点位置の検出が行われなかった非抽
出画素については、前記輝度検出手段５によって、輝度
の最大値、最小値、平均値、両端の輝度値の５つのパラ
メータを用いて図３のステップ７に示されているような
光軸方向輝度パターンが作成され、その光軸方向輝度パ
ターンに基づいて、図３のステップ８のような焦点位置
分割分布情報（輝度分割合焦マップ）が得られる。

【００４４】そして上述のようにして作成された焦点位
置分割分布情報（輝度分割合焦マップ）の各画素に対応
する原画像（前処理済原画像）から、最終合焦画像の残
存部分である第２分割合焦画像が図３のステップ９のよ
うに作成される。

【００４５】このような輝度分割合焦画像作成手段５に
おける焦点位置検出手順は、例えば図６に示されている
ような手順で行われる。まず図６中のステップ１におい
て、コントラスト検出手順で抽出されなかった画素すな
わちコントラスト合焦画像作成手段４で焦点位置の検出
が行われなかった非抽出画素が、未作成部検出部４ｅに
おいて検出される。

【００４６】この未作成部検出部４ｅにおいて検出され
た非抽出画素については、次の図６ステップ２におい
て、輝度検出手段５の光軸方向輝度パターン作成部５ａ
により光軸方向の輝度変化がパターン化される。そして
この光軸方向輝度パターン作成部５ａで得られた各画素
ごとの光軸方向輝度パターンは、図６ステップ３のよう
にして、輝度分割合焦画像作成手段６のパターン比較部
６ａで基準輝度パターンと比較され、類型輝度パターン
に分類される。

【００４７】さらに図６のステップ４において、上記パ
ターン比較部６ａにおいて分類された光軸方向輝度パタ
ーンから合焦位置決定部６ｃにおいて光軸方向の焦点位
置が決定され、焦点位置分割分布情報（輝度分割合焦マ
ップ）を得る。そしてこの焦点位置分割分布情報（輝度
分割合焦マップ）の各画素に対応する原画像（前処理済
原画像）が、図６ステップ５のように原画像記憶部２か
ら第２分割合焦画像作成部６ｄに取り込まれて集積・合
成され、これにより最終合焦画像の残存部分である第２
分割合焦画像が作成される。

【００４８】再び図３に戻って、上述したステップ６及
びステップ９で得られた第１分割合焦画像及び第２分割
合焦画像は、合焦画像合成手段７により合成され、ステ
ップ１０のように１枚の最終合焦画像すなわちパンフォ
ーカス画像が得られる。

【００４９】また高さ情報記憶部８に格納された各画素
ごとの高さ情報から観察物体の形状情報が得られること
から、この形状情報に基づいて未知物体の形状を知るこ
とができる。

【００５０】以上本発明者によってなされた発明を実施
例に基づき具体的に説明したが、本発明は上記実施例に
限定されるものではなく、その要旨を逸脱しない範囲で
種々変形可能であるというのはいうまでもない。例え
ば、上述した実施例における未作成部検出部４ｅを設け
ることなく、コントラストと輝度変化の検出を平行して
行い両者を直接合成するように構成することも可能であ
る。

【００５１】

【発明の効果】以上の通り本発明は、合焦時のコントラ
ストが高く輝度変化の激しい部分についてはコントラス
ト検出手段及び分割コントラスト合焦画像作成手段によ
って、コントラスト情報に基づく焦点位置検出を実行
し、残った部分については輝度検出手段及び輝度分割合
焦画像作成手段によって、輝度処理に基づく焦点位置検
出を実行し、これにより得た第１分割合焦画像及び第２
分割合焦画像を、合焦画像合成手段により合成して最終
合焦画像を得るように構成したものであるから、比較的
簡易な構成で、しかも良好な画像分解能及び処理速度を
得ることができ、画像処理装置及び画像処理方法の実用
性及び信頼性を向上することができる。

【図面の簡単な説明】

【図１】本発明の一実施例における画像処理装置の構成
を表したブロック図である。

【図２】輝度処理に用いる基準パターンを表した線図で
ある。

【図３】本発明の一実施例における画像処理方法を表し
たフロー図である。

【図４】コントラスト検出手順を表したフロー図であ
る。

【図５】コントラスト合焦画像を作成する手順を表した
フロー図である。

【図６】輝度合焦画像を作成する手順を表したフロー図
である。

【符号の説明】

１ 画像取込手段 ２ 原画像記憶部 ３ コントラスト検出手段 ４ 分割コントラスト合焦画像作成手段 ５ 輝度検出手段 ６ 輝度分割合焦画像作成手段

Claims (6)

【特許請求の範囲】
1. 【請求項１】 光軸方向に焦点位置をずらして複数の原
   画像を取り込み、これら複数の取込原画像のそれぞれに
   設定した多数の画素の中から合焦状態にある画素を抽出
   し、その抽出した合焦画素に対応する原画像を合成して
   １枚の最終合焦画像を得るように構成した画像処理装置
   であって、 上記多数の取込原画像のそれぞれについて画素ごとにコ
   ントラスト情報を検出するコントラスト検出手段と、 上記コントラスト検出手段により得た各画素のコントラ
   スト情報を、前記各取込原画像どうしの間で光軸方向に
   比較することにより合焦状態にある画素を光軸方向に抽
   出し、その抽出した合焦画素に対応する原画像を集積・
   合成して前記最終合焦画像の一部分である第１分割合焦
   画像を作成する分割コントラスト合焦画像作成手段と、 前記多数の取込原画像のそれぞれについて各画素ごとに
   輝度情報を検出する輝度検出手段と、 上記輝度検出手段により得た各画素の輝度情報を、上記
   各取込原画像どうしの間で光軸方向に比較することによ
   って合焦状態にある画素を光軸方向に抽出し、その抽出
   した合焦画素に対応する原画像を集積・合成して前記最
   終合焦画像の残りの部分である第２分割合焦画像を作成
   する輝度分割合焦画像作成手段と、 上記分割コントラスト合焦画像作成手段により得た第１
   分割合焦画像と、輝度分割合焦画像作成手段により得た
   第２分割合焦画像とを合成して、１枚の最終合焦画像を
   得る合焦画像合成手段と、 を備えていることを特徴とする画像処理装置。
2. 【請求項２】 請求項１記載のコントラスト検出手段
   が、各画素ごとに輝度情報の差分値を算出する差分型フ
   ィルタ処理部を有しているとともに、 分割コントラスト合焦画像作成手段は、 上記コントラスト検出手段の差分型フィルタ処理部で得
   た差分値を光軸方向に比較することによって当該差分値
   の光軸方向における最大値を検出する光軸方向比較部
   と、 この光軸方向比較部で得た上記差分値の最大値が所定の
   値以上であるかを検出するレベル判定部と、 上記レベル判定部において差分値の最大値が所定の値以
   上であると検出した画素を合焦画素とし、それら合焦画
   素に対応する原画像を集積・合成することにより第１分
   割合焦画像を作成する第１分割合焦画像作成部と、 上記レベル判定部において差分値の最大値が所定の値未
   満であると検出した画素を、輝度検出手段に残存未画素
   として出力する未作成部検出部と、 を備えていることを特徴とする画像処理装置。
3. 【請求項３】 請求項１記載の輝度分割合焦画像作成手
   段は、各画素ごとの光軸方向における輝度分布を所定の
   基準輝度パターンと比較して類型パターンに分類し、当
   該類型パターンに基づいて輝度値が最大又は最小である
   位置を合焦位置と検出する輝度パターン比較部を備えて
   いることを特徴とする画像処理装置。
4. 【請求項４】 光軸方向に焦点位置をずらして複数の原
   画像を取り込み、これら複数の取込原画像のそれぞれに
   設定した多数の画素の中から合焦状態にある画素を抽出
   し、その抽出した合焦画素に対応する原画像を合成して
   １枚の最終合焦画像を得るように構成した画像処理方法
   であって、 上記多数の取込原画像のそれぞれについて画素ごとにコ
   ントラスト情報を検出するコントラスト検出工程と、 上記コントラスト検出工程により得た各画素のコントラ
   スト情報を、前記各取込原画像どうしの間で光軸方向に
   比較することにより合焦状態にある画素を光軸方向に抽
   出し、その抽出した合焦画素に対応する原画像を集積・
   合成して前記最終合焦画像の一部分である第１分割合焦
   画像を作成する分割コントラスト合焦画像作成工程と、 前記多数の取込原画像のそれぞれについて各画素ごとに
   輝度情報を検出する輝度検出工程と、 上記輝度検出工程により得た各画素の輝度情報を、上記
   各取込原画像どうしの間で光軸方向に比較することによ
   って合焦状態にある画素を光軸方向に抽出し、その抽出
   した合焦画素に対応する原画像を集積・合成して前記最
   終合焦画像の残りの部分である第２分割合焦画像を作成
   する輝度分割合焦画像作成工程と、 上記分割コントラスト合焦画像作成工程により得た第１
   分割合焦画像と、輝度分割合焦画像作成工程により得た
   第２分割合焦画像とを合成して、１枚の最終合焦画像を
   得る合焦画像合成工程と、 を備えていることを特徴とする画像処理方法。
5. 【請求項５】 請求項４記載のコントラスト検出工程
   が、各画素ごとに輝度情報の差分値を算出する差分型フ
   ィルタ処理工程を有しているとともに、 分割コントラスト合焦画像作成工程は、 上記コントラスト検出工程の差分型フィルタ処理工程で
   得た差分値を光軸方向に比較することによって当該差分
   値の光軸方向における最大値を検出する光軸方向比較工
   程と、 この光軸方向比較工程で得た上記差分値の最大値が所定
   の値以上であるかを検出するレベル判定工程と、 上記レベル判定工程において差分値の最大値が所定の値
   以上であると検出した画素を合焦画素とし、それら合焦
   画素に対応する原画像を集積・合成することにより第１
   分割合焦画像を作成する第１分割合焦画像作成工程と、 上記レベル判定工程において差分値の最大値が所定の値
   未満であると検出した画素を残存未画素として輝度検出
   工程に出力する未作成部検出工程と、 を備えていることを特徴とする画像処理方法。
6. 【請求項６】 請求項４記載の輝度分割合焦画像作成工
   程は、各画素ごとの光軸方向における輝度分布を所定の
   基準輝度パターンと比較して類型パターンに分類し、当
   該類型パターンに基づいて輝度値が最大又は最小である
   位置を合焦位置と検出する輝度パターン比較工程を備え
   ていることを特徴とする画像処理方法。