JPH06243250A - 光学像の合成方法 - Google Patents

Abstract

(57)【要約】 【目的】 所望の対象それぞれが最も焦点合わせされた
合成像を生成する。 【構成】 フォーカス距離を変えて捕捉した所望の数の
光学像各々をウェイブレット変換により多解像表現に変
換し（ステップ２）、各多解像表現の係数それぞれを同
一位置で比較して最大スペクトル振幅を検知し、それら
検知された最大スペクトル振幅に基いて別の多解像表現
を得（ステップ３）、逆ウェイブレット変換により合成
像を得る（ステップ４）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は光学像、特にフォーカス
距離を変えて得た複数の光学像の合成方法に関する。

【０００２】

【従来の技術及び課題】カメラを使用して光学像を記録
する場合、カメラレンズを近くの対象に焦点合わせする
と、焦点の合わない遠くの対象は不明瞭に記録される。
逆に、遠くの対象に焦点合わせすると近くの対象は不明
瞭に記録される。この問題は、光学システム固有の特性
と考えられている。基礎的光学原理として、ピンホール
・レンズが無限のフォーカス（焦点）深度を有し、ピン
ホール・レンズを介して撮影された物体の全てが正しく
焦点合わせされるということが知られている（ピンホー
ル・カメラ）。しかしピンホール・レンズは只一つのフ
ォトンも微小のホールを通過できず、何らの像も捕捉す
ることはできないため、仮想的レンズでしかない。

【０００３】この基本的な物理的制限により、レンズは
有限のフォーカス深度を有し、通常、手動又は自動のい
ずれかによりフォーカスを調節して対象物を撮影する。
しかしながら、例えば２つの対象が、一つはカメラから
近接した位置に、他は遠く離れた位置にある場合、それ
ら２つの対象に同時に焦点合わせすることはできない。
従って一つの対象に焦点合わせすると他の対象の像は不
明瞭になるという欠点を有する。

【０００４】又合成像を得る技術ではないが、捕捉した
像における不鮮明な部分を鮮明に見せるために不鮮明部
分を強調する試みが逆フィルタリングと呼ばれる技術を
適用して成されたが、ノイズをも増幅する結果となり実
用には至っていない。

【０００５】本発明は、上述の欠点を克服するために、
異なるフォーカス距離で捕捉した複数の光学像を合成
し、その合成像上で各対象が最も焦点合わせされた新た
な合成像を生成することを目的とする。

【０００６】

【課題を解決するための手段】本発明は、多解像表現ア
ルゴリズムに基くデジタル信号処理により、各位置で最
も焦点合わせされた合成像を得る方法を提供する。即
ち、異なるフォーカス距離で捕捉した複数の光学像の各
々の画素信号からウェイブレット変換により上記光学像
の数に対応した数の多解像表現を得、上記各光学像に対
応した上記多解像表現の各々の係数をそれぞれ同一位置
で比較して最大スペクトル振幅を所定位置毎に検知し、
上記所定位置毎に検知された最大スペクトル振幅に基い
て合成多解像表現を得、上記合成多解像表現から逆ウェ
イブレット変換により画素信号をつくるステップを含む
光学像の合成方法を提供する。

【０００７】

【実施例】本発明の一実施例を図面を参照して説明す
る。図１は概念を説明するための図であり、先ずカメラ
レンズのフォーカス距離を変えて幾つかの像を捕捉する
（ステップ１）。フォーカス距離は無限大から零に線形
又は非線形に変えられ得るが、フォーカス距離自体をこ
こで特定することは本質的な問題ではない。焦点合わせ
すべき対象の各々を抽出できる程度に焦点合わせされて
いれば足りる。適当な数の像がこのステップで捕捉され
る。

【０００８】次に、捕捉された各像を多解像表現（ｍｕ
ｌｔｉ−ｒｅｓｏｌｕｔｉｏｎ ｒｅｐｒｅｓｅｎｔａ
ｔｉｏｎ）に各々変換する (ステップ２）。この多解像
表現は、最近数学の分野で議論されている多解像技術
（文献、Ｃ．Ｈ．Ｃｈｕｉ著「Ａｎ ｉｎｔｒｏｄｕｃ
ｔｉｏｎ ｔｏ Ｗａｖｅｌｅｔｓ」，Ｉ．Ｄａｕｂｅ
ｃｈｉｅｓ著「Ｏｒｔｈｏｎｏｒｍａｌ Ｂａｓｅｓ
ｏｆ Ｃｏｍｐａｃｔｌｙ Ｓｕｐｐｏｒｔｅｄ Ｗａ
ｖｅｌｅｔｓ」，「Ｃｏｍｍｕｎｉｃａｔｉｏｎｏｆ
Ｐｕｒｅ ａｎｄ Ａｐｐｌｉｅｄ Ｍａｔｈｅｍａｔ
ｉｃｓ，Ｖｏｌ．ＸＬＩ９０９−９９６（１９８
８）」）に基づいている。これは基本的には、特別なフ
ィルタリング及びサブサンプリングによってオリジナル
信号を高及び低周波数成分信号に、全データ数を増加す
ることなく分離する技術である。この分離の顕著な特徴
は、低周波数成分が更に同様のフィルタリング方法によ
って分離され得ることであり、これは必要な用途に適合
するように何度も繰り返され得る。その結果生じる周波
数領域階層的信号表現が多解像表現と通常呼ばれる。

【０００９】次いで、変換された各多解像表現を合成し
別の新たな多解像表現を作り（ステップ３）、逆多解像
表現を実行し合成像を得る（ステップ４）。即ち、異な
る距離で焦点合わせされた像に各々対応する複数の多解
像表現を合成して別の一つの多解像表現を作り、その別
の多解像表現を対し逆変換を実行して各対象が最も焦点
合わせされた合成画像を得る。

【００１０】図２は本発明の方法を具現化した画像装置
の一例を示し、画像装置１０に近接する対象Ａから最も
遠距離にある対象Ｚまでのいずれにも最も焦点合わせさ
れた合成像Ｉを得る方法及び装置を示す。撮像装置２０
が先ず対象Ａに焦点合わせして得た（又はフォーカス距
離最小で得た）光学像（像Ｉ_A ）をＣＣＤ（図示せず）
を介してフレームメモリ４０に記録する。次に対象Ｂに
焦点合わせし（又はフォーカス距離を少量増加させ）そ
の像を別のフレームメモリ（又はフレームメモリの別の
領域）に記録する。同様の手順で最も遠距離にある対象
Ｚに焦点合わせして得た（又はフォーカス距離無限大で
得た）像Ｉ_Z までを各フレームメモリに記録する。（各
対象は必ずしもＡがＩ_A 上にＢがＩ_B 上に焦点合わせさ
れ記録されているという必要はなく、いずれかのＩ
_n （ｎ＝Ａ，……，Ｚ）に合っていれば十分であるが、
ここではＡがＩ_A で、ＢがＩ_B に、……で焦点合わせさ
れているとしている。）対象ＡからＺまでのフォーカス
の調整は合成装置３０からの制御信号で行うことを示し
ているが他の制御装置又は手動により行うこともでき
る。又、像を捕捉する順序は任意である。各フレームメ
モリに記録された像Ｉ_A 〜Ｉ_Z は合成装置３０により後
述する方法で合成され、合成像Ｉを得る。なおメモリと
しては磁気的、光学的メモリであり得るし、メモリを介
さずに合成装置３０へ撮像信号を入力することもでき
る。又ＣＣＤ以外の光電変換装置も使用できる。

【００１１】図３は他の実施例を示し、図２の例との相
違点は複数の撮像装置を有している点であり、説明を容
易にするため２台の撮像装置２０、２５を図示してい
る。入力光学情報はハーフミラー４０により等しく分割
され、撮像装置２０、及びミラー５０を介して撮像装置
２５へ入力する。従って撮像装置２０又は２５の一方で
対象Ａに焦点合わせして（又は近接フォーカス距離で）
像Ｉ_A を捕捉しフレームメモリ４０に記録し、次に他方
の撮像装置で対象Ｂに焦点合わせして（又は遠隔フォー
カス距離で）像Ｉ_B を捕捉しフレームメモリ４５に記録
し、後述する方法で合成装置３０により対象Ａ，Ｂ共に
最も焦点合わせされた像Ｉを得る。

【００１２】次に、合成装置３０で実行されるウェイブ
レット係数による多解像表現について説明する。図４に
おいて、フレームメモリからの画素信号Ａがハイアラー
キ・フィルタ・バンクにより４つのウェイブレット変換
ａ，ｂ，ｃ及びｄに分離される。フィルタＨ及びＧはそ
れぞれハイパス及びローパス・フィルタに対応し、互い
に相補関係にある（ミラーフィルタ）。フィルタＧ及び
Ｈは、フィルタリング及びサブサンプリング（矢印のブ
ロック）が入力信号の直交分離を構成するときウェイブ
レット・フィルタ（Wavelet Filter) と呼ばれる。図４
は一次元（水平又は垂直方向）フィルタリングによる３
階層信号分離を示すが、本発明で使用する２次元フィル
タリングは、水平及び垂直方向のシーケンシャル・フィ
ルタリングとして実行される。即ち、水平方向（又は垂
直方向）のフィルタリングを実行した後垂直方向（又は
水平方向）のフィルタリングを実行することにより成さ
れる。

【００１３】多解像表現は周波数空間的表現であると共
に、空間情報（位置に関する情報）をも同時に保有す
る。通常のフーリエ変換は良好な周波数空間的表現を与
えるが、空間情報は保有せず、位置を特定せしめない
（不確定性原理）。

【００１４】続いて多解像表現による多解像合成につい
て述べる。ウェイブレット変換を使用する多解像表現は
入力信号の周波数空間的表現であり、この表現は空間情
報を同時に表現する。マルチ・フォーカス合成におい
て、同一シーンに対して記録されウェイブレット変換さ
れたＮ個の複数入力画像がこの対象であり、各画素位置
で最も強い高周波数成分を示すウェイブレット係数がそ
の位置での焦点像を表示するものとして考えられ選択さ
れる。このプロセスは像の全ての画素位置に対して実行
され、各位置で検知された一つの多解像表現上の選択さ
れた画素を合成することによって、各画素が最大限に焦
点合わせされた新しい多解像表現を作る。なお上述のプ
ロセスを、例えば、ウェイブレット係数がほとんど同一
値である最低位置については実行しないとすることも必
要に応じ可能である。

【００１５】一方、この合成は、像のスペクトル分布を
焦点条件を変えることで評価することが必要であるか
ら、全体像又は部分的小ブロックのフーリエ変換（例え
ば画像圧縮の基本技術となっているコサイン変換のよう
な方法）を考えることが自然であるが、そのアプローチ
は一般的に端及び線のスペクトルが多数の係数にまたが
って拡がり、この現象はその周波数及び位置情報を不明
瞭にする。しかしウェイブレット変換はこれらの情報の
両方を保存し、従ってマルチ・フォーカス合成に適用す
るに基本的に適している。

【００１６】図５は近接するカップに焦点を合わせて捕
捉した光学像を示し、図６は遠くの木に焦点を合わせて
同一シーンを捕捉した光学像を示す。図７及び８は図５
及び６の像の多解像表現をそれぞれ示す。図５及び図６
のオリジナル像は共に７０４ピクセル×４８０ラインか
ら構成され、これが図７及び図８に示されるように５層
の周波数帯に分離される。２次元の多解像表現において
は、右方向及び下方向がより高い周波数を示し、最低位
層（左上の隅）が最も低い周波数成分から成り、最も強
いローパス・フィルタを通された（及びサブサンプルさ
れた）像としてみなされる。

【００１７】マルチ・フォーカス合成において、同一の
像シーンが異なるフォーカス距離で一つのカメラ（又は
複数のカメラ）によって必要な回数撮影される。しかし
ながら、最も強いローパス・フィルタリングにより生じ
た最低位層は、例えそれらが異なるフォーカス距離で撮
影されていても像間でほぼ同一になる（別の言葉で言え
ば、最低位周波数層がほぼ同一になるように層の数を設
定することが望ましい）。最低周波数層は画像の平均的
明るさを表現する。

【００１８】一方、より高い周波数層では、強いスペク
トル成分は異なる多解像表現上の位置に現れ、それは各
フォーカス距離におけるフォーカス対象に正しく対応す
る。

【００１９】それ故、この多解像表現を使用すると、 （１） 最低位周波数層（図７及び８における左上の隅
の１５ピクセル×２２ライン）では、各係数は複数入力
像間が平均されるか又は１つの特定の像の係数が抽出さ
れ得るかであり、合成像のそれの最低位周波数層として
使用される。 （２） より上位の層では、各位置で、最大スペクトル
振幅（最大絶対値）を与える一つの多解像表現がかなら
ず存在する。即ち、ｉ、ｊの位置で最大スペクトル振幅
を与える一つの多解像表現は、最も簡単な方法として
は、

【数１】 ｍａｘ（｜Ａ_i,j ⁽¹⁾ ｜，｜Ａ_i,j ⁽²⁾ ｜，・・・・｜Ａ_i,j ^(N) ｜） で表わされ（Ｎ＝多解像表現の数、即ち捕捉した光学像
の数）、それは入力シーンが像上で最も焦点合わせされ
ていること、及び対応する多解像係数がその情報を与え
ることを示す。多解像表現全体がこのルールに従って形
成される。この様にして、全位置について、最大スペク
トル振幅を与える多解像表現を検知し、それらを合成し
て新たな多解像表現を得る。このルール自体は種々様々
のものが考えられる。

【００２０】次いで、検知された最大スペクトル振幅位
置に基く合成多解像表現が逆多解像変換により画素信号
で構成される光学像に変換され、この光学像が図９で示
されるように、近接するカップと遠くの木の両方に焦点
合わせされた合成像となる。

【００２１】なお、本発明とは直接関係ないが、合成の
方法によってはフレームのサイズが異なって合成される
場合もあるが、これは各光学像の焦点合わせに関連する
ズーム効果の影響であり、必要ならば合成オペレーショ
ン前の“拡大”、“縮小”、“補間”、“抜取り”等の
補正方法によりサイズの調整がなされ得る。

【００２２】正及び逆のウェイブレット多解像変換のプ
ログラムの一部を図９及至図１２に示す。

【００２３】上述した合成方法は、縁抽出（ｅｄｇｅ
ｅｘｔｒａｃｔｉｏｎ）や構造（ｔｅｘｔｕｒｅ）解析
のような像内容依存技術によらない。これは、本合成手
法が３次元物体に関してあらかじめ何らかの前提条件を
必要とするこれらの方法とは全く異なり、全ての自然画
像に対して安定した合成結果の得られる（すなわち前提
条件に反する場合には大きな劣化を生ずるといったこと
の絶対に生じない）方法である。更にエッジ解析等は未
だ初等段階にあり、エッジの数に多く処理時間が指数関
数的に増大するなど実際の応用には供されていない。現
在、自然映像に関するかぎり、本手法は最も実用的な方
法を提供する。

【００２４】又、複数の多解像係数の間の最大スペクト
ル振幅の検知に基づくから、捕捉する光学像の数に制限
はない。多数の光学像を捕捉することにより、合成像の
ほとんど全ての位置において焦点合わせされた合成像を
得ることも可能である。又、非常に正確な３−Ｄ像情報
（距離、物体外形等）を得るためにも拡張できる。

【００２５】以上一実施例につき説明したが本発明はこ
れに限定されるものではない。その用途も、一般のカメ
ラ、放送局用カメラ、監視用カメラ、医用カメラ等種々
の装置に適用され得る。

【００２６】

【発明の効果】本発明は、異なるフォーカス距離で捕捉
した複数の光学像から、それぞれ最も焦点合わせされた
一つの合成像を生成する最も実効のある方法を提供す
る。

【図面の簡単な説明】

【図１】本発明の一実施例の概念を説明する図。

【図２】本発明を具現化した画像装置の一実施例のブロ
ック図。

【図３】本発明を具現化した画像装置の他の実施例のブ
ロック図。

【図４】本発明における多解像表現を実行するための一
実施例のブロック図。

【図５】近接する対象に焦点を合わせて撮影し捕捉した
像の図。

【図６】図５と同一シーンで遠くの対象に焦点を合わせ
て撮影し捕捉した像の図。

【図７】本発明の一実施例により図５の像を多解像表現
した図。

【図８】本発明の一実施例により図６の像を多解像表現
した図。

【図９】本発明の一実施例による合成像の図。

【図１０】本発明における多解像表現正変換の一実施例
プログラムの一部。

【図１１】本発明における多解像表現正変換の一実施例
プログラムの一部。

【図１２】本発明における多解像表現逆変換の一実施例
プログラムの一部。

【図１３】本発明における多解像表現逆変換の一実施例
プログラムの一部。

【符号の説明】

１０ 画像装置 ２０ 撮像装置 ３０ 合成装置 ４０ フレームメモリ Ｉ 合成像

Claims (1)

【特許請求の範囲】
1. 【請求項１】 異なるフォーカス距離で捕捉した複数の
   光学像の各々の画素信号からウェイブレット変換により
   上記光学像の数に対応した数の多解像表現を得、 上記各光学像に対応した上記多解像表現の各々の係数を
   それぞれ同一位置で比較して最大スペクトル振幅を所定
   位置毎に検知し、 上記所定位置毎に検知された最大スペクトル振幅に基い
   て合成多解像表現を得、 上記合成多解像表現から逆ウェイブレット変換により画
   素信号をつくるステップを含む光学像の合成方法。