JP3182015B2 - 光学像の合成方法 - Google Patents
光学像の合成方法Info
- Publication number
- JP3182015B2 JP3182015B2 JP01183793A JP1183793A JP3182015B2 JP 3182015 B2 JP3182015 B2 JP 3182015B2 JP 01183793 A JP01183793 A JP 01183793A JP 1183793 A JP1183793 A JP 1183793A JP 3182015 B2 JP3182015 B2 JP 3182015B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- focus
- focused
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000003287 optical effect Effects 0.000 title claims description 26
- 238000001308 synthesis method Methods 0.000 title description 3
- 230000014509 gene expression Effects 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 25
- 239000002131 composite material Substances 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 230000015654 memory Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Input (AREA)
- Studio Devices (AREA)
Description
【０００１】
【産業上の利用分野】本発明は光学像、特にフォーカス
距離を変えて得た複数の光学像の合成方法に関する。
距離を変えて得た複数の光学像の合成方法に関する。
【０００２】
【従来の技術及び課題】カメラを使用して光学像を記録
する場合、カメラレンズを近くの対象に焦点合わせする
と、焦点の合わない遠くの対象は不明瞭に記録される。
逆に、遠くの対象に焦点合わせすると近くの対象は不明
瞭に記録される。この問題は、光学システム固有の特性
と考えられている。基礎的光学原理として、ピンホール
・レンズが無限のフォーカス（焦点）深度を有し、ピン
ホール・レンズを介して撮影された物体の全てが正しく
焦点合わせされるということが知られている（ピンホー
ル・カメラ）。しかしピンホール・レンズは只一つのフ
ォトンも微小のホールを通過できず、何らの像も捕捉す
ることはできないため、仮想的レンズでしかない。
する場合、カメラレンズを近くの対象に焦点合わせする
と、焦点の合わない遠くの対象は不明瞭に記録される。
逆に、遠くの対象に焦点合わせすると近くの対象は不明
瞭に記録される。この問題は、光学システム固有の特性
と考えられている。基礎的光学原理として、ピンホール
・レンズが無限のフォーカス（焦点）深度を有し、ピン
ホール・レンズを介して撮影された物体の全てが正しく
焦点合わせされるということが知られている（ピンホー
ル・カメラ）。しかしピンホール・レンズは只一つのフ
ォトンも微小のホールを通過できず、何らの像も捕捉す
ることはできないため、仮想的レンズでしかない。
【０００３】この基本的な物理的制限により、レンズは
有限のフォーカス深度を有し、通常、手動又は自動のい
ずれかによりフォーカスを調節して対象物を撮影する。
しかしながら、例えば２つの対象が、一つはカメラから
近接した位置に、他は遠く離れた位置にある場合、それ
ら２つの対象に同時に焦点合わせすることはできない。
従って一つの対象に焦点合わせすると他の対象の像は不
明瞭になるという欠点を有する。
有限のフォーカス深度を有し、通常、手動又は自動のい
ずれかによりフォーカスを調節して対象物を撮影する。
しかしながら、例えば２つの対象が、一つはカメラから
近接した位置に、他は遠く離れた位置にある場合、それ
ら２つの対象に同時に焦点合わせすることはできない。
従って一つの対象に焦点合わせすると他の対象の像は不
明瞭になるという欠点を有する。
【０００４】又合成像を得る技術ではないが、捕捉した
像における不鮮明な部分を鮮明に見せるために不鮮明部
分を強調する試みが逆フィルタリングと呼ばれる技術を
適用して成されたが、ノイズをも増幅する結果となり実
用には至っていない。
像における不鮮明な部分を鮮明に見せるために不鮮明部
分を強調する試みが逆フィルタリングと呼ばれる技術を
適用して成されたが、ノイズをも増幅する結果となり実
用には至っていない。
【０００５】本発明は、上述の欠点を克服するために、
異なるフォーカス距離で捕捉した複数の光学像を合成
し、その合成像上で各対象が最も焦点合わせされた新た
な合成像を生成することを目的とする。
異なるフォーカス距離で捕捉した複数の光学像を合成
し、その合成像上で各対象が最も焦点合わせされた新た
な合成像を生成することを目的とする。
【０００６】
【課題を解決するための手段】本発明は、多解像表現ア
ルゴリズムに基くデジタル信号処理により、各位置で最
も焦点合わせされた合成像を得る方法を提供する。即
ち、異なるフォーカス距離で捕捉した複数の光学像の各
々の画素信号からウェイブレット変換により上記光学像
の数に対応した数の多解像表現を得、上記各光学像に対
応した上記多解像表現の各々の係数をそれぞれ同一位置
で比較して最大スペクトル振幅を所定位置毎に検知し、
上記所定位置毎に検知された最大スペクトル振幅に基い
て合成多解像表現を得、上記合成多解像表現から逆ウェ
イブレット変換により画素信号をつくるステップを含む
光学像の合成方法を提供する。
ルゴリズムに基くデジタル信号処理により、各位置で最
も焦点合わせされた合成像を得る方法を提供する。即
ち、異なるフォーカス距離で捕捉した複数の光学像の各
々の画素信号からウェイブレット変換により上記光学像
の数に対応した数の多解像表現を得、上記各光学像に対
応した上記多解像表現の各々の係数をそれぞれ同一位置
で比較して最大スペクトル振幅を所定位置毎に検知し、
上記所定位置毎に検知された最大スペクトル振幅に基い
て合成多解像表現を得、上記合成多解像表現から逆ウェ
イブレット変換により画素信号をつくるステップを含む
光学像の合成方法を提供する。
【０００７】
【実施例】本発明の一実施例を図面を参照して説明す
る。図１は概念を説明するための図であり、先ずカメラ
レンズのフォーカス距離を変えて幾つかの像を捕捉する
（ステップ１）。フォーカス距離は無限大から零に線形
又は非線形に変えられ得るが、フォーカス距離自体をこ
こで特定することは本質的な問題ではない。焦点合わせ
すべき対象の各々を抽出できる程度に焦点合わせされて
いれば足りる。適当な数の像がこのステップで捕捉され
る。
る。図１は概念を説明するための図であり、先ずカメラ
レンズのフォーカス距離を変えて幾つかの像を捕捉する
（ステップ１）。フォーカス距離は無限大から零に線形
又は非線形に変えられ得るが、フォーカス距離自体をこ
こで特定することは本質的な問題ではない。焦点合わせ
すべき対象の各々を抽出できる程度に焦点合わせされて
いれば足りる。適当な数の像がこのステップで捕捉され
る。
【０００８】次に、捕捉された各像を多解像表現（ｍｕ
ｌｔｉ−ｒｅｓｏｌｕｔｉｏｎ ｒｅｐｒｅｓｅｎｔａ
ｔｉｏｎ）に各々変換する (ステップ２）。この多解像
表現は、最近数学の分野で議論されている多解像技術
（文献、Ｃ．Ｈ．Ｃｈｕｉ著「Ａｎ ｉｎｔｒｏｄｕｃ
ｔｉｏｎ ｔｏ Ｗａｖｅｌｅｔｓ」，Ｉ．Ｄａｕｂｅ
ｃｈｉｅｓ著「Ｏｒｔｈｏｎｏｒｍａｌ Ｂａｓｅｓ
ｏｆ Ｃｏｍｐａｃｔｌｙ Ｓｕｐｐｏｒｔｅｄ Ｗａ
ｖｅｌｅｔｓ」，「Ｃｏｍｍｕｎｉｃａｔｉｏｎｏｆ
Ｐｕｒｅ ａｎｄ Ａｐｐｌｉｅｄ Ｍａｔｈｅｍａｔ
ｉｃｓ，Ｖｏｌ．ＸＬＩ９０９−９９６（１９８
８）」）に基づいている。これは基本的には、特別なフ
ィルタリング及びサブサンプリングによってオリジナル
信号を高及び低周波数成分信号に、全データ数を増加す
ることなく分離する技術である。この分離の顕著な特徴
は、低周波数成分が更に同様のフィルタリング方法によ
って分離され得ることであり、これは必要な用途に適合
するように何度も繰り返され得る。その結果生じる周波
数領域階層的信号表現が多解像表現と通常呼ばれる。
ｌｔｉ−ｒｅｓｏｌｕｔｉｏｎ ｒｅｐｒｅｓｅｎｔａ
ｔｉｏｎ）に各々変換する (ステップ２）。この多解像
表現は、最近数学の分野で議論されている多解像技術
（文献、Ｃ．Ｈ．Ｃｈｕｉ著「Ａｎ ｉｎｔｒｏｄｕｃ
ｔｉｏｎ ｔｏ Ｗａｖｅｌｅｔｓ」，Ｉ．Ｄａｕｂｅ
ｃｈｉｅｓ著「Ｏｒｔｈｏｎｏｒｍａｌ Ｂａｓｅｓ
ｏｆ Ｃｏｍｐａｃｔｌｙ Ｓｕｐｐｏｒｔｅｄ Ｗａ
ｖｅｌｅｔｓ」，「Ｃｏｍｍｕｎｉｃａｔｉｏｎｏｆ
Ｐｕｒｅ ａｎｄ Ａｐｐｌｉｅｄ Ｍａｔｈｅｍａｔ
ｉｃｓ，Ｖｏｌ．ＸＬＩ９０９−９９６（１９８
８）」）に基づいている。これは基本的には、特別なフ
ィルタリング及びサブサンプリングによってオリジナル
信号を高及び低周波数成分信号に、全データ数を増加す
ることなく分離する技術である。この分離の顕著な特徴
は、低周波数成分が更に同様のフィルタリング方法によ
って分離され得ることであり、これは必要な用途に適合
するように何度も繰り返され得る。その結果生じる周波
数領域階層的信号表現が多解像表現と通常呼ばれる。
【０００９】次いで、変換された各多解像表現を合成し
別の新たな多解像表現を作り（ステップ３）、逆多解像
表現を実行し合成像を得る（ステップ４）。即ち、異な
る距離で焦点合わせされた像に各々対応する複数の多解
像表現を合成して別の一つの多解像表現を作り、その別
の多解像表現を対し逆変換を実行して各対象が最も焦点
合わせされた合成画像を得る。
別の新たな多解像表現を作り（ステップ３）、逆多解像
表現を実行し合成像を得る（ステップ４）。即ち、異な
る距離で焦点合わせされた像に各々対応する複数の多解
像表現を合成して別の一つの多解像表現を作り、その別
の多解像表現を対し逆変換を実行して各対象が最も焦点
合わせされた合成画像を得る。
【００１０】図２は本発明の方法を具現化した画像装置
の一例を示し、画像装置１０に近接する対象Ａから最も
遠距離にある対象Ｚまでのいずれにも最も焦点合わせさ
れた合成像Ｉを得る方法及び装置を示す。撮像装置２０
が先ず対象Ａに焦点合わせして得た（又はフォーカス距
離最小で得た）光学像（像ＩA ）をＣＣＤ（図示せず）
を介してフレームメモリ４０に記録する。次に対象Ｂに
焦点合わせし（又はフォーカス距離を少量増加させ）そ
の像を別のフレームメモリ（又はフレームメモリの別の
領域）に記録する。同様の手順で最も遠距離にある対象
Ｚに焦点合わせして得た（又はフォーカス距離無限大で
得た）像ＩZ までを各フレームメモリに記録する。（各
対象は必ずしもＡがＩA 上にＢがＩB 上に焦点合わせさ
れ記録されているという必要はなく、いずれかのＩ
n （ｎ＝Ａ，……，Ｚ）に合っていれば十分であるが、
ここではＡがＩA で、ＢがＩB に、……で焦点合わせさ
れているとしている。）対象ＡからＺまでのフォーカス
の調整は合成装置３０からの制御信号で行うことを示し
ているが他の制御装置又は手動により行うこともでき
る。又、像を捕捉する順序は任意である。各フレームメ
モリに記録された像ＩA 〜ＩZ は合成装置３０により後
述する方法で合成され、合成像Ｉを得る。なおメモリと
しては磁気的、光学的メモリであり得るし、メモリを介
さずに合成装置３０へ撮像信号を入力することもでき
る。又ＣＣＤ以外の光電変換装置も使用できる。
の一例を示し、画像装置１０に近接する対象Ａから最も
遠距離にある対象Ｚまでのいずれにも最も焦点合わせさ
れた合成像Ｉを得る方法及び装置を示す。撮像装置２０
が先ず対象Ａに焦点合わせして得た（又はフォーカス距
離最小で得た）光学像（像ＩA ）をＣＣＤ（図示せず）
を介してフレームメモリ４０に記録する。次に対象Ｂに
焦点合わせし（又はフォーカス距離を少量増加させ）そ
の像を別のフレームメモリ（又はフレームメモリの別の
領域）に記録する。同様の手順で最も遠距離にある対象
Ｚに焦点合わせして得た（又はフォーカス距離無限大で
得た）像ＩZ までを各フレームメモリに記録する。（各
対象は必ずしもＡがＩA 上にＢがＩB 上に焦点合わせさ
れ記録されているという必要はなく、いずれかのＩ
n （ｎ＝Ａ，……，Ｚ）に合っていれば十分であるが、
ここではＡがＩA で、ＢがＩB に、……で焦点合わせさ
れているとしている。）対象ＡからＺまでのフォーカス
の調整は合成装置３０からの制御信号で行うことを示し
ているが他の制御装置又は手動により行うこともでき
る。又、像を捕捉する順序は任意である。各フレームメ
モリに記録された像ＩA 〜ＩZ は合成装置３０により後
述する方法で合成され、合成像Ｉを得る。なおメモリと
しては磁気的、光学的メモリであり得るし、メモリを介
さずに合成装置３０へ撮像信号を入力することもでき
る。又ＣＣＤ以外の光電変換装置も使用できる。
【００１１】図３は他の実施例を示し、図２の例との相
違点は複数の撮像装置を有している点であり、説明を容
易にするため２台の撮像装置２０、２５を図示してい
る。入力光学情報はハーフミラー４０により等しく分割
され、撮像装置２０、及びミラー５０を介して撮像装置
２５へ入力する。従って撮像装置２０又は２５の一方で
対象Ａに焦点合わせして（又は近接フォーカス距離で）
像ＩA を捕捉しフレームメモリ４０に記録し、次に他方
の撮像装置で対象Ｂに焦点合わせして（又は遠隔フォー
カス距離で）像ＩB を捕捉しフレームメモリ４５に記録
し、後述する方法で合成装置３０により対象Ａ，Ｂ共に
最も焦点合わせされた像Ｉを得る。
違点は複数の撮像装置を有している点であり、説明を容
易にするため２台の撮像装置２０、２５を図示してい
る。入力光学情報はハーフミラー４０により等しく分割
され、撮像装置２０、及びミラー５０を介して撮像装置
２５へ入力する。従って撮像装置２０又は２５の一方で
対象Ａに焦点合わせして（又は近接フォーカス距離で）
像ＩA を捕捉しフレームメモリ４０に記録し、次に他方
の撮像装置で対象Ｂに焦点合わせして（又は遠隔フォー
カス距離で）像ＩB を捕捉しフレームメモリ４５に記録
し、後述する方法で合成装置３０により対象Ａ，Ｂ共に
最も焦点合わせされた像Ｉを得る。
【００１２】次に、合成装置３０で実行されるウェイブ
レット係数による多解像表現について説明する。図４に
おいて、フレームメモリからの画素信号Ａがハイアラー
キ・フィルタ・バンクにより４つのウェイブレット変換
ａ，ｂ，ｃ及びｄに分離される。フィルタＨ及びＧはそ
れぞれハイパス及びローパス・フィルタに対応し、互い
に相補関係にある（ミラーフィルタ）。フィルタＧ及び
Ｈは、フィルタリング及びサブサンプリング（矢印のブ
ロック）が入力信号の直交分離を構成するときウェイブ
レット・フィルタ（Wavelet Filter) と呼ばれる。図４
は一次元（水平又は垂直方向）フィルタリングによる３
階層信号分離を示すが、本発明で使用する２次元フィル
タリングは、水平及び垂直方向のシーケンシャル・フィ
ルタリングとして実行される。即ち、水平方向（又は垂
直方向）のフィルタリングを実行した後垂直方向（又は
水平方向）のフィルタリングを実行することにより成さ
れる。
レット係数による多解像表現について説明する。図４に
おいて、フレームメモリからの画素信号Ａがハイアラー
キ・フィルタ・バンクにより４つのウェイブレット変換
ａ，ｂ，ｃ及びｄに分離される。フィルタＨ及びＧはそ
れぞれハイパス及びローパス・フィルタに対応し、互い
に相補関係にある（ミラーフィルタ）。フィルタＧ及び
Ｈは、フィルタリング及びサブサンプリング（矢印のブ
ロック）が入力信号の直交分離を構成するときウェイブ
レット・フィルタ（Wavelet Filter) と呼ばれる。図４
は一次元（水平又は垂直方向）フィルタリングによる３
階層信号分離を示すが、本発明で使用する２次元フィル
タリングは、水平及び垂直方向のシーケンシャル・フィ
ルタリングとして実行される。即ち、水平方向（又は垂
直方向）のフィルタリングを実行した後垂直方向（又は
水平方向）のフィルタリングを実行することにより成さ
れる。
【００１３】多解像表現は周波数空間的表現であると共
に、空間情報（位置に関する情報）をも同時に保有す
る。通常のフーリエ変換は良好な周波数空間的表現を与
えるが、空間情報は保有せず、位置を特定せしめない
（不確定性原理）。
に、空間情報（位置に関する情報）をも同時に保有す
る。通常のフーリエ変換は良好な周波数空間的表現を与
えるが、空間情報は保有せず、位置を特定せしめない
（不確定性原理）。
【００１４】続いて多解像表現による多解像合成につい
て述べる。ウェイブレット変換を使用する多解像表現は
入力信号の周波数空間的表現であり、この表現は空間情
報を同時に表現する。マルチ・フォーカス合成におい
て、同一シーンに対して記録されウェイブレット変換さ
れたＮ個の複数入力画像がこの対象であり、各画素位置
で最も強い高周波数成分を示すウェイブレット係数がそ
の位置での焦点像を表示するものとして考えられ選択さ
れる。このプロセスは像の全ての画素位置に対して実行
され、各位置で検知された一つの多解像表現上の選択さ
れた画素を合成することによって、各画素が最大限に焦
点合わせされた新しい多解像表現を作る。なお上述のプ
ロセスを、例えば、ウェイブレット係数がほとんど同一
値である最低位置については実行しないとすることも必
要に応じ可能である。
て述べる。ウェイブレット変換を使用する多解像表現は
入力信号の周波数空間的表現であり、この表現は空間情
報を同時に表現する。マルチ・フォーカス合成におい
て、同一シーンに対して記録されウェイブレット変換さ
れたＮ個の複数入力画像がこの対象であり、各画素位置
で最も強い高周波数成分を示すウェイブレット係数がそ
の位置での焦点像を表示するものとして考えられ選択さ
れる。このプロセスは像の全ての画素位置に対して実行
され、各位置で検知された一つの多解像表現上の選択さ
れた画素を合成することによって、各画素が最大限に焦
点合わせされた新しい多解像表現を作る。なお上述のプ
ロセスを、例えば、ウェイブレット係数がほとんど同一
値である最低位置については実行しないとすることも必
要に応じ可能である。
【００１５】一方、この合成は、像のスペクトル分布を
焦点条件を変えることで評価することが必要であるか
ら、全体像又は部分的小ブロックのフーリエ変換（例え
ば画像圧縮の基本技術となっているコサイン変換のよう
な方法）を考えることが自然であるが、そのアプローチ
は一般的に端及び線のスペクトルが多数の係数にまたが
って拡がり、この現象はその周波数及び位置情報を不明
瞭にする。しかしウェイブレット変換はこれらの情報の
両方を保存し、従ってマルチ・フォーカス合成に適用す
るに基本的に適している。
焦点条件を変えることで評価することが必要であるか
ら、全体像又は部分的小ブロックのフーリエ変換（例え
ば画像圧縮の基本技術となっているコサイン変換のよう
な方法）を考えることが自然であるが、そのアプローチ
は一般的に端及び線のスペクトルが多数の係数にまたが
って拡がり、この現象はその周波数及び位置情報を不明
瞭にする。しかしウェイブレット変換はこれらの情報の
両方を保存し、従ってマルチ・フォーカス合成に適用す
るに基本的に適している。
【００１６】図５は近接するカップに焦点を合わせて捕
捉した光学像を示し、図６は遠くの木に焦点を合わせて
同一シーンを捕捉した光学像を示す。図７及び８は図５
及び６の像の多解像表現をそれぞれ示す。図５及び図６
のオリジナル像は共に７０４ピクセル×４８０ラインか
ら構成され、これが図７及び図８に示されるように５層
の周波数帯に分離される。２次元の多解像表現において
は、右方向及び下方向がより高い周波数を示し、最低位
層（左上の隅）が最も低い周波数成分から成り、最も強
いローパス・フィルタを通された（及びサブサンプルさ
れた）像としてみなされる。
捉した光学像を示し、図６は遠くの木に焦点を合わせて
同一シーンを捕捉した光学像を示す。図７及び８は図５
及び６の像の多解像表現をそれぞれ示す。図５及び図６
のオリジナル像は共に７０４ピクセル×４８０ラインか
ら構成され、これが図７及び図８に示されるように５層
の周波数帯に分離される。２次元の多解像表現において
は、右方向及び下方向がより高い周波数を示し、最低位
層（左上の隅）が最も低い周波数成分から成り、最も強
いローパス・フィルタを通された（及びサブサンプルさ
れた）像としてみなされる。
【００１７】マルチ・フォーカス合成において、同一の
像シーンが異なるフォーカス距離で一つのカメラ（又は
複数のカメラ）によって必要な回数撮影される。しかし
ながら、最も強いローパス・フィルタリングにより生じ
た最低位層は、例えそれらが異なるフォーカス距離で撮
影されていても像間でほぼ同一になる（別の言葉で言え
ば、最低位周波数層がほぼ同一になるように層の数を設
定することが望ましい）。最低周波数層は画像の平均的
明るさを表現する。
像シーンが異なるフォーカス距離で一つのカメラ（又は
複数のカメラ）によって必要な回数撮影される。しかし
ながら、最も強いローパス・フィルタリングにより生じ
た最低位層は、例えそれらが異なるフォーカス距離で撮
影されていても像間でほぼ同一になる（別の言葉で言え
ば、最低位周波数層がほぼ同一になるように層の数を設
定することが望ましい）。最低周波数層は画像の平均的
明るさを表現する。
【００１８】一方、より高い周波数層では、強いスペク
トル成分は異なる多解像表現上の位置に現れ、それは各
フォーカス距離におけるフォーカス対象に正しく対応す
る。
トル成分は異なる多解像表現上の位置に現れ、それは各
フォーカス距離におけるフォーカス対象に正しく対応す
る。
【００１９】それ故、この多解像表現を使用すると、 （１） 最低位周波数層（図７及び８における左上の隅
の１５ピクセル×２２ライン）では、各係数は複数入力
像間が平均されるか又は１つの特定の像の係数が抽出さ
れ得るかであり、合成像のそれの最低位周波数層として
使用される。 （２） より上位の層では、各位置で、最大スペクトル
振幅（最大絶対値）を与える一つの多解像表現がかなら
ず存在する。即ち、ｉ、ｊの位置で最大スペクトル振幅
を与える一つの多解像表現は、最も簡単な方法として
は、
の１５ピクセル×２２ライン）では、各係数は複数入力
像間が平均されるか又は１つの特定の像の係数が抽出さ
れ得るかであり、合成像のそれの最低位周波数層として
使用される。 （２） より上位の層では、各位置で、最大スペクトル
振幅（最大絶対値）を与える一つの多解像表現がかなら
ず存在する。即ち、ｉ、ｊの位置で最大スペクトル振幅
を与える一つの多解像表現は、最も簡単な方法として
は、
【数１】 ｍａｘ（｜Ａi,j (1) ｜，｜Ａi,j (2) ｜，・・・・｜Ａi,j (N) ｜） で表わされ（Ｎ＝多解像表現の数、即ち捕捉した光学像
の数）、それは入力シーンが像上で最も焦点合わせされ
ていること、及び対応する多解像係数がその情報を与え
ることを示す。多解像表現全体がこのルールに従って形
成される。この様にして、全位置について、最大スペク
トル振幅を与える多解像表現を検知し、それらを合成し
て新たな多解像表現を得る。このルール自体は種々様々
のものが考えられる。
の数）、それは入力シーンが像上で最も焦点合わせされ
ていること、及び対応する多解像係数がその情報を与え
ることを示す。多解像表現全体がこのルールに従って形
成される。この様にして、全位置について、最大スペク
トル振幅を与える多解像表現を検知し、それらを合成し
て新たな多解像表現を得る。このルール自体は種々様々
のものが考えられる。
【００２０】次いで、検知された最大スペクトル振幅位
置に基く合成多解像表現が逆多解像変換により画素信号
で構成される光学像に変換され、この光学像が図９で示
されるように、近接するカップと遠くの木の両方に焦点
合わせされた合成像となる。
置に基く合成多解像表現が逆多解像変換により画素信号
で構成される光学像に変換され、この光学像が図９で示
されるように、近接するカップと遠くの木の両方に焦点
合わせされた合成像となる。
【００２１】なお、本発明とは直接関係ないが、合成の
方法によってはフレームのサイズが異なって合成される
場合もあるが、これは各光学像の焦点合わせに関連する
ズーム効果の影響であり、必要ならば合成オペレーショ
ン前の“拡大”、“縮小”、“補間”、“抜取り”等の
補正方法によりサイズの調整がなされ得る。
方法によってはフレームのサイズが異なって合成される
場合もあるが、これは各光学像の焦点合わせに関連する
ズーム効果の影響であり、必要ならば合成オペレーショ
ン前の“拡大”、“縮小”、“補間”、“抜取り”等の
補正方法によりサイズの調整がなされ得る。
【００２２】正及び逆のウェイブレット多解像変換のプ
ログラムの一部を図９及至図１２に示す。
ログラムの一部を図９及至図１２に示す。
【００２３】上述した合成方法は、縁抽出（ｅｄｇｅ
ｅｘｔｒａｃｔｉｏｎ）や構造（ｔｅｘｔｕｒｅ）解析
のような像内容依存技術によらない。これは、本合成手
法が３次元物体に関してあらかじめ何らかの前提条件を
必要とするこれらの方法とは全く異なり、全ての自然画
像に対して安定した合成結果の得られる（すなわち前提
条件に反する場合には大きな劣化を生ずるといったこと
の絶対に生じない）方法である。更にエッジ解析等は未
だ初等段階にあり、エッジの数に多く処理時間が指数関
数的に増大するなど実際の応用には供されていない。現
在、自然映像に関するかぎり、本手法は最も実用的な方
法を提供する。
ｅｘｔｒａｃｔｉｏｎ）や構造（ｔｅｘｔｕｒｅ）解析
のような像内容依存技術によらない。これは、本合成手
法が３次元物体に関してあらかじめ何らかの前提条件を
必要とするこれらの方法とは全く異なり、全ての自然画
像に対して安定した合成結果の得られる（すなわち前提
条件に反する場合には大きな劣化を生ずるといったこと
の絶対に生じない）方法である。更にエッジ解析等は未
だ初等段階にあり、エッジの数に多く処理時間が指数関
数的に増大するなど実際の応用には供されていない。現
在、自然映像に関するかぎり、本手法は最も実用的な方
法を提供する。
【００２４】又、複数の多解像係数の間の最大スペクト
ル振幅の検知に基づくから、捕捉する光学像の数に制限
はない。多数の光学像を捕捉することにより、合成像の
ほとんど全ての位置において焦点合わせされた合成像を
得ることも可能である。又、非常に正確な３−Ｄ像情報
（距離、物体外形等）を得るためにも拡張できる。
ル振幅の検知に基づくから、捕捉する光学像の数に制限
はない。多数の光学像を捕捉することにより、合成像の
ほとんど全ての位置において焦点合わせされた合成像を
得ることも可能である。又、非常に正確な３−Ｄ像情報
（距離、物体外形等）を得るためにも拡張できる。
【００２５】以上一実施例につき説明したが本発明はこ
れに限定されるものではない。その用途も、一般のカメ
ラ、放送局用カメラ、監視用カメラ、医用カメラ等種々
の装置に適用され得る。
れに限定されるものではない。その用途も、一般のカメ
ラ、放送局用カメラ、監視用カメラ、医用カメラ等種々
の装置に適用され得る。
【００２６】
【発明の効果】本発明は、異なるフォーカス距離で捕捉
した複数の光学像から、それぞれ最も焦点合わせされた
一つの合成像を生成する最も実効のある方法を提供す
る。
した複数の光学像から、それぞれ最も焦点合わせされた
一つの合成像を生成する最も実効のある方法を提供す
る。
【図１】本発明の一実施例の概念を説明する図。
【図２】本発明を具現化した画像装置の一実施例のブロ
ック図。
ック図。
【図３】本発明を具現化した画像装置の他の実施例のブ
ロック図。
ロック図。
【図４】本発明における多解像表現を実行するための一
実施例のブロック図。
実施例のブロック図。
【図５】近接する対象に焦点を合わせて撮影し捕捉した
像の図。
像の図。
【図６】図５と同一シーンで遠くの対象に焦点を合わせ
て撮影し捕捉した像の図。
て撮影し捕捉した像の図。
【図７】本発明の一実施例により図５の像を多解像表現
した図。
した図。
【図８】本発明の一実施例により図６の像を多解像表現
した図。
した図。
【図９】本発明の一実施例による合成像の図。
【図１０】本発明における多解像表現正変換の一実施例
プログラムの一部。
プログラムの一部。
【図１１】本発明における多解像表現正変換の一実施例
プログラムの一部。
プログラムの一部。
【図１２】本発明における多解像表現逆変換の一実施例
プログラムの一部。
プログラムの一部。
【図１３】本発明における多解像表現逆変換の一実施例
プログラムの一部。
プログラムの一部。
１０ 画像装置 ２０ 撮像装置 ３０ 合成装置 ４０ フレームメモリ Ｉ 合成像
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 280 G06T 5/00 ＪＩＣＳＴファイル（ＪＯＩＳ) 特許ファイル（ＰＡＴＯＬＩＳ)
Claims (1)
- 【請求項１】 異なるフォーカス距離で捕捉した複数の
光学像の各々の画素信号からウェイブレット変換により
上記光学像の数に対応した数の多解像表現を得、 上記各光学像に対応した上記多解像表現の各々の係数を
それぞれ同一位置で比較して最大スペクトル振幅を所定
位置毎に検知し、 上記所定位置毎に検知された最大スペクトル振幅に基い
て合成多解像表現を得、 上記合成多解像表現から逆ウェイブレット変換により画
素信号をつくるステップを含む光学像の合成方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01183793A JP3182015B2 (ja) | 1993-01-27 | 1993-01-27 | 光学像の合成方法 |
| US08/187,269 US5511155A (en) | 1993-01-27 | 1994-01-27 | Method and device for synthesizing all-objects-in-focus images |
| EP94300605A EP0629964B1 (en) | 1993-01-27 | 1994-01-27 | Method of synthesizing optical images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01183793A JP3182015B2 (ja) | 1993-01-27 | 1993-01-27 | 光学像の合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06243250A JPH06243250A (ja) | 1994-09-02 |
| JP3182015B2 true JP3182015B2 (ja) | 2001-07-03 |
Family
ID=11788855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01183793A Expired - Lifetime JP3182015B2 (ja) | 1993-01-27 | 1993-01-27 | 光学像の合成方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5511155A (ja) |
| EP (1) | EP0629964B1 (ja) |
| JP (1) | JP3182015B2 (ja) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0677780B1 (en) * | 1994-03-31 | 2003-05-28 | Fuji Photo Film Co., Ltd. | Image superposition processing method |
| DE69525127T2 (de) * | 1994-10-28 | 2002-10-02 | Oki Electric Ind Co Ltd | Gerät und Verfahren zur Kodierung und Dekodierung von Bildern unter Verwendung einer Kantensynthese und einer Wavelet-Rücktransformation |
| US5666475A (en) * | 1995-01-03 | 1997-09-09 | University Of Washington | Method and system for editing multiresolution images at fractional-levels of resolution using a wavelet representation |
| JP4136011B2 (ja) * | 1996-04-30 | 2008-08-20 | オリンパス株式会社 | 焦点深度伸長装置 |
| US6219438B1 (en) | 1997-09-02 | 2001-04-17 | Lucent Technologies Inc. | Produce indentifier using barcode scanner and wavelet image processing and having compensation for dirt accumulated on viewing window |
| US6584235B1 (en) * | 1998-04-23 | 2003-06-24 | Micron Technology, Inc. | Wide dynamic range fusion using memory look-up |
| JP2000207549A (ja) * | 1999-01-11 | 2000-07-28 | Olympus Optical Co Ltd | 画像処理装置 |
| US6690618B2 (en) | 2001-04-03 | 2004-02-10 | Canesta, Inc. | Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device |
| US7006236B2 (en) | 2002-05-22 | 2006-02-28 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
| US7050177B2 (en) | 2002-05-22 | 2006-05-23 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
| AU2002240415A1 (en) * | 2001-02-16 | 2002-09-04 | Canesta Inc. | Technique for removing blurring from a captured image |
| JP2002323649A (ja) * | 2001-04-26 | 2002-11-08 | Hitachi Ltd | 撮像装置 |
| US20080036886A1 (en) * | 2001-06-29 | 2008-02-14 | Hannigan Brett T | Methods For Generating Enhanced Digital Images |
| US7173230B2 (en) | 2001-09-05 | 2007-02-06 | Canesta, Inc. | Electromagnetic wave detection arrangement with capacitive feedback |
| US7221805B1 (en) * | 2001-12-21 | 2007-05-22 | Cognex Technology And Investment Corporation | Method for generating a focused image of an object |
| SE520949C2 (sv) * | 2002-01-15 | 2003-09-16 | Sven-Aake Afsenius | Digitalkamera med sökare avsedd för skärpedjupsförbättrad avbildning |
| US10242255B2 (en) | 2002-02-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
| AU2003217587A1 (en) | 2002-02-15 | 2003-09-09 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
| US7352919B2 (en) * | 2004-04-28 | 2008-04-01 | Seiko Epson Corporation | Method and system of generating a high-resolution image from a set of low-resolution images |
| US7653255B2 (en) | 2004-06-02 | 2010-01-26 | Adobe Systems Incorporated | Image region of interest encoding |
| EP1759351A4 (en) * | 2004-06-25 | 2010-04-28 | Ssd Co Ltd | IMAGE MIXING APPARATUS AND PIXEL MIXER |
| US7639886B1 (en) | 2004-10-04 | 2009-12-29 | Adobe Systems Incorporated | Determining scalar quantizers for a signal based on a target distortion |
| CN1316431C (zh) * | 2004-11-05 | 2007-05-16 | 北京师范大学 | 基于小波变换的可调节遥感影像融合方法 |
| US8009871B2 (en) | 2005-02-08 | 2011-08-30 | Microsoft Corporation | Method and system to segment depth images and to detect shapes in three-dimensionally acquired data |
| US20100103175A1 (en) * | 2006-10-25 | 2010-04-29 | Tokyo Institute Of Technology | Method for generating a high-resolution virtual-focal-plane image |
| CN101191719A (zh) * | 2006-12-01 | 2008-06-04 | 鸿富锦精密工业（深圳）有限公司 | 影像焦点合成系统及方法 |
| KR101643613B1 (ko) * | 2010-02-01 | 2016-07-29 | 삼성전자주식회사 | 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체 |
| TWI479455B (zh) * | 2011-05-24 | 2015-04-01 | Altek Corp | 全對焦影像之建立方法 |
| JP4988057B1 (ja) | 2011-10-11 | 2012-08-01 | アキュートロジック株式会社 | 全焦点画像生成方法、全焦点画像生成装置、全焦点画像生成プログラム、被写体高さ情報取得方法、被写体高さ情報取得装置及び被写体高さ情報取得プログラム |
| JP6236908B2 (ja) * | 2013-06-21 | 2017-11-29 | 株式会社リコー | 撮像装置、撮像システムおよび撮像方法 |
| CN108401108B (zh) * | 2018-03-12 | 2020-09-11 | 南京理工大学 | 一种推扫式高光谱相机快速自动调焦方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4584704A (en) * | 1984-03-01 | 1986-04-22 | Bran Ferren | Spatial imaging system |
| DE3931934C2 (de) * | 1988-10-03 | 1994-11-10 | Olympus Optical Co | Bild-Ein/Ausgabevorrichtung |
| US4929951A (en) * | 1988-12-23 | 1990-05-29 | Hughes Aircraft Company | Apparatus and method for transform space scanning imaging |
| US5112129A (en) * | 1990-03-02 | 1992-05-12 | Kla Instruments Corporation | Method of image enhancement for the coherence probe microscope with applications to integrated circuit metrology |
| US5117466A (en) * | 1991-04-30 | 1992-05-26 | The United States Of America As Represented By The United States Department Of Energy | Integrated fluorescence analysis system |
-
1993
- 1993-01-27 JP JP01183793A patent/JP3182015B2/ja not_active Expired - Lifetime
-
1994
- 1994-01-27 US US08/187,269 patent/US5511155A/en not_active Expired - Lifetime
- 1994-01-27 EP EP94300605A patent/EP0629964B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5511155A (en) | 1996-04-23 |
| EP0629964B1 (en) | 2001-12-12 |
| JPH06243250A (ja) | 1994-09-02 |
| EP0629964A1 (en) | 1994-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3182015B2 (ja) | 光学像の合成方法 | |
| US5488674A (en) | Method for fusing images and apparatus therefor | |
| US9025871B2 (en) | Image processing apparatus and method of providing high sensitive color images | |
| CN104683767B (zh) | 透雾图像生成方法及装置 | |
| TWI399975B (zh) | 藉由多孔徑成像系統捕捉的影像之融合 | |
| CN111260580B (zh) | 图像去噪方法、计算机装置及计算机可读存储介质 | |
| JP2008181520A (ja) | 復元された顔画像をビデオから再構成するシステムおよび方法 | |
| JP2002077645A (ja) | 画像処理装置 | |
| JPH06245113A (ja) | ノイズ及び他のアーティファクトを除去して画像をより向上させるための装置 | |
| JP5468930B2 (ja) | 画像処理装置及び画像処理プログラム | |
| Maik et al. | Color shift model-based segmentation and fusion for digital autofocusing | |
| Paul et al. | Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method | |
| US9208532B2 (en) | Watermark processing device and method, and image capturing apparatus | |
| Shih et al. | Generating high-resolution image and depth map using a camera array with mixed focal lengths | |
| Vega et al. | A Bayesian super-resolution approach to demosaicing of blurred images | |
| Malviya et al. | Wavelet based multi-focus image fusion | |
| JP4069468B2 (ja) | 映像形成装置 | |
| Anand et al. | Techniques for pixel based image fusion of real image | |
| Michael et al. | Example based demosaicing | |
| Kannan et al. | The review of feature level fusion of multi-focused images using wavelets | |
| Yadav | Color Demosaicking in Digitallmage Using Nonlocal Adaptive Thresholding and Local Directional Interpolation | |
| Aly | Regularized image up-sampling | |
| Paul et al. | A Novel Demosaicing Algorithm Based on Gregory Newton Formula of Interpolation | |
| Castellano et al. | Regularized CDWT optical flow applied to moving-target detection in IR imagery | |
| Baboulaz | Feature extraction for image super-resolution using finite rate of innovation principles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080420 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090420 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090420 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100420 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 12 |