JP5470959B2 - マルチフレーム再構築を行う方法、システム及びソフトウエア - Google Patents
マルチフレーム再構築を行う方法、システム及びソフトウエア Download PDFInfo
- Publication number
- JP5470959B2 JP5470959B2 JP2009075210A JP2009075210A JP5470959B2 JP 5470959 B2 JP5470959 B2 JP 5470959B2 JP 2009075210 A JP2009075210 A JP 2009075210A JP 2009075210 A JP2009075210 A JP 2009075210A JP 5470959 B2 JP5470959 B2 JP 5470959B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- capture
- images
- captured
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 52
- 230000006870 function Effects 0.000 claims description 104
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 10
- 229920000742 Cotton Polymers 0.000 claims 1
- 230000003247 decreasing effect Effects 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 13
- 238000004088 simulation Methods 0.000 description 13
- 238000007476 Maximum Likelihood Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
I.概要
II.マルチフレーム再構築
III.適応画像捕捉
III.A.MSE推定
III.B.RMSEに基づく捕捉設定の決定
III.C.RMSE及びエネルギ制約に基づく捕捉設定の決定
III.D.深度を伴う対象
IV.シミュレーション結果
V.別の実施例
図1は、マルチフレーム再構築に備えて適応画像捕捉を行う一例を示す。カメラ(又は、他の画像捕捉装置)110は、画像群120(画像1,画像2等)を取得する。この画像群120は、通常のマルチフレーム再構築法(この例の場合、モジュール150で実行される)により、再構築された画像130を合成するのに使用される。通常のマルチフレーム再構築法の場合、画像120は、捕捉するための所定の設定の組を用いて取得される。例えば、焦点は所定の様々な位置にシフトされ、様々な焦点の画像群120を捕捉する。
マルチフレーム再構築は、通常、捕捉の設定パラメータの関数として画像処理システムをモデル化することに基づく。本セクションは、基本原理を説明するのに選択された或る特定のモデルを説明する。しかしながら本発明はこの特定のモデルには限定されない。他のモデル及び前提が使用されてもよい。
yk=H(φk)s+n(φk) (1)
ここで、ykはk番目に捕捉された画像であり、Hはサンプル点広がり関数(sampled optical point spread function)であり、sは未知の理想的なサンプル画像であり、nは画像処理システムに固有のノイズである。ベクトルφkはk番目のフレームの捕捉設定を表す。全てのフレームに関する補足設定の集合は、Φと言及される。簡明化のため、以下の例では2つの捕捉設定パラメータ(絞り直径A及び後方焦点距離d)を、如何にして露出時間Tを更に含めるように拡張されてよいかについての説明と共に、説明する。しかしながら、本適応方法はこれらのパラメータに限定されない。他の捕捉設定パラメータの具体例は、視野、カメラの角度(即ち、カメラが何処に設けられているか)、倍率、波長、偏光、様々な証明態様(輝度や空間変動を含む)等を含む。
δ=A(β−ζ) (3)
H(ρ,δ)=Λ(ρ)sinc(δρ(1−|ρ|)),ρ∈[−1,1] (8)
ここで、ρは、ナイキストサンプリングレート(ρ=1)で規格化された水平又は垂直規格化空間周波数座標である。これらの周波数座標は、F/#及び波長の関数である。関数Λ(x)はΛ(x)=max{1−|x|,0}のように定義され;回折限界MTF包絡線を規定する。このような系の焦点ずれMTFは、δρ(1−|ρ|)が整数値に近い場合、ゼロレベルを跨ぐ(符号が変わる)。これらの空間周波数の間では、位相は反転するが、コントラストは保存される。ゼロレベルを一切跨ぐものがなかった場合、マルチフレーム再構築は、そのような焦点ずれ画像の複数個を使用し、コントラストを抽出する。
III.A.MSE推定
上記のセクションは、深度推定問題としてのマルチフレーム再構築の一例を説明した。引き続きこの例に関し、本セクションは、以前に取得された画像に基づいて、捕捉の設定を選択する動的な方法を説明する。以下の例では、画像捕捉の基準は、マルチフレーム再構築後の二乗平均誤差(MSE: mean square error)の予測に基づく。MLアルゴリズムを実行するこの例の下で、パフォーマンスの予測材料は、クラーメルラオ(CR)パフォーマンス限界(CR Performance Bound)である。CR限界は、MSEパフォーマンスの基本的な限界を与えるだけでなく、ML推定用のMSEパフォーマンスの合理的な予測も与える。MSEパフォーマンスを予測する能力は、ML推定の漸近最適性(asymptotic optimality)に基づく。SNR法で無限大に近づく場合、或いは観測されるフレーム数が増える場合、ML推定は漸近的にCR限界に近づく。更に、推定の誤差分布はガウス型になる。
事前に情報が既知でなかった場合、画像s及び逆深度ζ双方の初期推定を行うには、少なくとも2つの異なるフレーム (この場合、異なる焦点設定b及び/又は絞りAで撮影されたもの) を要する。これらの初期フレームは、平均信号強度μsを近似する際にも使用可能である。これらの初期フレームの捕捉設定は、様々な方法で決定可能である。例えば、未知の逆深度ζに予め配置された場合の統計的な予備知識及び画像信号sに基づいて、初期捕捉の設定が最適化されてもよい。しかしながら以下の例では、初期絞り及び焦点の設定を変動(perturbing)させることで、初期フレームが捕捉されるものとする。
多くのアプリケーションでは、再構築パフォーマンスを最大化すること以外の考察事項も重要になる。例えば、民生のディジタルカメラその他の携帯装置の場合、エネルギの節約及びバッテリ寿命を延ばすことが重要である。そこで、絞り及び焦点の設定を変えることに関するコスト関数だけでなく、パフォーマンスの予測を組み合わせるコスト関数例を考察する(例えば、焦点及び絞りを変えることは、バッテリを消費する機械的な運動を要する。)。このコスト関数例は、次の形式をとる:
E(Φk+1)=cA|Ak+1−Ak|αA+cb|dk+1−dk|αb (19)
ここで、cA,cb,αA及びαbは、定数である。後述のシミュレーションでは、αA=αb=2である。レンズ系を動かすには、絞りの設定を変えるよりも多くのエネルギ及び時間を要するので、相対的な重みcA/cb=50が使用された。様々な大きさのMSE及びエネルギを組み合わせるため、画像処理システムに関連する特定のSNR値に対して、実際の係数が調整されるべきである。
上記の説明は、対象が平坦であり且つ単一の深度に位置していると仮定されていた。これは説明の簡明化のために仮定されていたに過ぎず、本発明の制約ではない。様々な深度を有する更に複雑な場面の場合、捕捉設定の最適化は、様々なフィールド位置に関する様々な深度を考察する。言い換えれば、深度は、空間位置の関数z(x1,x2)としてモデル化される。対象物は、空間的に変化する又は複数の深度の対象物としてモデル化できる。場合によっては、PSF行列H(z(x1,x2))の各行が変化してもよい。
以下の表1で規定される画像処理システムに関し、上記の適応捕捉法について具体的にシミュレーションが行われた。シミュレーションの対象画像は、従来のターゲットパターンである。画像のグレースケール値は、最大グレースケール値が1になるように規格化されている。これは、絞りが開放の場合26dBの一般的なSNRをもたらす。画像は120画素×120画素のサイズである。
詳細な説明は多くの具体例を含んでいるが、それらは本発明の範囲を限定するように解釈されるべきではなく、本発明の様々な実施例及び形態を例示するに過ぎない。本発明の範囲は上記で詳細には議論されなかった他の実施例を含むことが、理解されるべきである。例えば、焦点及び絞り以外の捕捉のパラメータが使用されてもよい。露出時間Tはその一例である。他の具体例は、波長の選別(フィルタリング)、偏光の選別、照明制御及びカメラの向き等を含んでもよい。上記の適応化技法は、これらのパラメータの捕捉設定値を決定するのに使用されてもよい。他の例として、上記の例の初期画像群は、所定の捕捉設定値に基づいて取得されていた。代替例では、これらの捕捉設定値は、例えば信号及び/又は深度の事前の情報に基づいて最適化されてもよい。他の変形例として、CR限界法に基づいて様々な最適化法が使用されてもよい。例えば、局所的な探索法を使用する代わりに、最適化は、最大ΔΦ探索範囲に基づき、網羅的なサーチにより最適な設定を算出してもよい。CR限界やML推定以外の関数が使用されてもよい。また、高速フィルタ近似を使って、マルチフレーム再構築及び/又は深度推定アルゴリズムの演算を行ってもよい。
120 画像群
130 再構築された画像
150 マルチフレーム再構築モジュール
170 適応捕捉モジュール
Claims (13)
- ある対象について1番目ないしK番目に捕捉したK個の画像に基づいて、コスト関数を最適化するように捕捉設定値を決定し、該捕捉設定値を用いてK+1番目の画像を捕捉することを、K=1ないしN−1について実行することで(Nは2以上の整数)、N個の画像を捕捉するステップと、
前記N個の画像を組み合わせることで再構築画像を生成するステップと
を有し、前記コスト関数は、K+1番目に捕捉する画像の品質に関するパフォーマンスコスト関数と、及び捕捉設定値を変更することに伴うペナルティに関するペナルティ関数との総和により表現される、マルチフレーム再構築を行う方法。 - 前記画像の品質が、信号雑音比により表現される、請求項1記載の方法。
- 前記N個の画像を組み合わせることで再構築画像を生成するステップにおいて、前記再構築画像の二乗平均誤差(MSE)を小さくするように、前記再構築画像を生成する、請求項1記載の方法。
- 前記画像の品質が、マルチフレーム再構築による再構築画像の予測された鮮明さの指標又は前記対象の深度に関する局所的な滑らかさの変化の指標により表現される、請求項1記載の方法。
- 前記ある対象について1番目ないしK番目に捕捉したK個の画像に基づいて、前記コスト関数を最適化するように前記捕捉設定値を決定する際に、
前記ある対象について1番目ないしK番目に捕捉したK個の画像に基づいて、K+1番目に捕捉する画像の品質についてのパフォーマンスコスト関数が向上しかつ総電力消費を示す前記ペナルティ関数が減少するように前記捕捉設定値を決定する、請求項1記載の方法。 - 捕捉される前記画像は、捕捉設定値に応じて変化する光点広がり関数とサンプル画像との積とノイズとを加算することで得られる、請求項1記載の方法。
- 前記パフォーマンスコスト関数が、前記1番目ないしK番目に捕捉したK個の画像を含む画像領域にわたる総合的な鮮明さの重み付け加算値により表現される、請求項1記載の方法。
- 前記捕捉設定値は、絞りの設定値を含む、請求項1記載の方法。
- 前記捕捉設定値は、焦点の設定値を含む、請求項1記載の方法。
- 前記捕捉設定値は、露出の設定値を含む、請求項1記載の方法。
- 前記N個の画像の各々は異なる深度を有する、請求項1記載の方法。
- 画像を異なる捕捉設定で捕捉する画像捕捉装置と、
前記画像捕捉装置に結合され、捕捉された画像を受信する適応捕捉モジュールと、
前記適応捕捉モジュールに結合され、マルチフレーム再構築を行うマルチフレーム再構築モジュールと、
を有し、前記適応捕捉モジュールは、
ある対象について1番目ないしK番目に捕捉したK個の画像に基づいて、コスト関数を最適化するように捕捉設定値を決定し、該捕捉設定値を用いてK+1番目の画像を捕捉することを、K=1ないしN−1について実行することで(Nは2以上の整数)、N個の画像を捕捉し、
前記N個の画像を組み合わせることで再構築画像を生成し、
前記コスト関数は、K+1番目に捕捉する画像の品質に関するパフォーマンスコスト関数と、及び捕捉設定値を変更することに伴うペナルティに関するペナルティ関数との総和により表現される、マルチフレーム再構築を行うシステム。 - マルチフレーム再構築システムにマルチフレーム再構築方法を実行させるソフトウエアであって、前記マルチフレーム再構築方法は、
ある対象について1番目ないしK番目に捕捉したK個の画像に基づいて、コスト関数を最適化するように捕捉設定値を決定し、該捕捉設定値を用いてK+1番目の画像を捕捉することを、K=1ないしN−1について実行することで(Nは2以上の整数)、N個の画像を捕捉するステップと、
前記N個の画像を組み合わせることで再構築画像を生成するステップと
を有し、前記コスト関数は、K+1番目に捕捉する画像の品質に関するパフォーマンスコスト関数と、及び捕捉設定値を変更することに伴うペナルティに関するペナルティ関数との総和により表現される、ソフトウエア。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/079,555 | 2008-03-26 | ||
US12/079,555 US8897595B2 (en) | 2008-03-26 | 2008-03-26 | Adaptive image acquisition for multiframe reconstruction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009239908A JP2009239908A (ja) | 2009-10-15 |
JP5470959B2 true JP5470959B2 (ja) | 2014-04-16 |
Family
ID=41117340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009075210A Expired - Fee Related JP5470959B2 (ja) | 2008-03-26 | 2009-03-25 | マルチフレーム再構築を行う方法、システム及びソフトウエア |
Country Status (2)
Country | Link |
---|---|
US (2) | US8897595B2 (ja) |
JP (1) | JP5470959B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9866826B2 (en) | 2014-11-25 | 2018-01-09 | Ricoh Company, Ltd. | Content-adaptive multi-focal display |
US9865043B2 (en) | 2008-03-26 | 2018-01-09 | Ricoh Company, Ltd. | Adaptive image acquisition and display using multi-focal display |
US8897595B2 (en) * | 2008-03-26 | 2014-11-25 | Ricoh Co., Ltd. | Adaptive image acquisition for multiframe reconstruction |
US8587681B2 (en) * | 2008-11-21 | 2013-11-19 | Omnivision Technologies, Inc. | Extended depth of field for image sensor |
US8526754B2 (en) * | 2009-05-28 | 2013-09-03 | Aptina Imaging Corporation | System for enhancing depth of field with digital image processing |
JP5414752B2 (ja) * | 2011-08-08 | 2014-02-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム |
US20130084004A1 (en) * | 2011-09-30 | 2013-04-04 | Konica Minolta Laboratory U.S.A., Inc. | Image processing of data from scanned display |
JP5713885B2 (ja) * | 2011-12-26 | 2015-05-07 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
DE102012106584B4 (de) | 2012-07-20 | 2021-01-07 | Carl Zeiss Ag | Verfahren und Vorrichtung zur Bildrekonstruktion |
FR2996925B1 (fr) * | 2012-10-17 | 2017-06-16 | Office Nat D Etudes Et De Rech Aerospatiales | Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur |
US9338348B2 (en) * | 2012-10-23 | 2016-05-10 | Snapaid Ltd. | Real time assessment of picture quality |
WO2014074138A1 (en) | 2012-11-09 | 2014-05-15 | Nikon Corporation | Globally dominant point spread function estimation |
CN105122787B (zh) * | 2013-04-16 | 2018-11-27 | 富士胶片株式会社 | 摄像装置、校准系统、校准方法 |
US10165263B2 (en) * | 2013-09-30 | 2018-12-25 | Nikon Corporation | Point spread function estimation of optics blur |
US9973672B2 (en) | 2013-12-06 | 2018-05-15 | Huawei Device (Dongguan) Co., Ltd. | Photographing for dual-lens device using photographing environment determined using depth estimation |
EP2938064B1 (en) * | 2014-04-24 | 2016-10-12 | Axis AB | Method and apparatus for determining exposure setting |
US9864205B2 (en) | 2014-11-25 | 2018-01-09 | Ricoh Company, Ltd. | Multifocal display |
FR3043471B1 (fr) * | 2015-11-06 | 2018-05-25 | Thales | Procede d'acquisition d'images par un instrument optique spatial ou aeroporte avec champ de vision etendu |
KR102294319B1 (ko) * | 2017-04-17 | 2021-08-26 | 엘지이노텍 주식회사 | 카메라 모듈의 영상 획득 방법 |
EP3741113B1 (en) | 2018-01-19 | 2022-03-16 | PCMS Holdings, Inc. | Multi-focal planes with varying positions |
MX2020009791A (es) * | 2018-03-23 | 2020-11-11 | Pcms Holdings Inc | Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr). |
CN112585963B (zh) | 2018-07-05 | 2024-04-09 | Pcms控股公司 | 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5193124A (en) * | 1989-06-29 | 1993-03-09 | The Research Foundation Of State University Of New York | Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images |
JP3047252B2 (ja) * | 1990-11-05 | 2000-05-29 | コニカ株式会社 | 合焦制御装置 |
EP0525408A3 (en) * | 1991-07-01 | 1993-12-22 | Eastman Kodak Co | Method for multiframe wiener restoration of noisy and blurred image sequences |
US5870179A (en) * | 1993-06-25 | 1999-02-09 | The Regents Of The University Of Colorado | Apparatus and method for estimating range |
US5521695A (en) * | 1993-06-25 | 1996-05-28 | The Regents Of The University Of Colorado | Range estimation apparatus and method |
US5932872A (en) * | 1994-07-01 | 1999-08-03 | Jeffrey H. Price | Autofocus system for scanning microscopy having a volume image formation |
US20020195548A1 (en) * | 2001-06-06 | 2002-12-26 | Dowski Edward Raymond | Wavefront coding interference contrast imaging systems |
US20020118457A1 (en) * | 2000-12-22 | 2002-08-29 | Dowski Edward Raymond | Wavefront coded imaging systems |
US7218448B1 (en) * | 1997-03-17 | 2007-05-15 | The Regents Of The University Of Colorado | Extended depth of field optical systems |
US6911638B2 (en) * | 1995-02-03 | 2005-06-28 | The Regents Of The University Of Colorado, A Body Corporate | Wavefront coding zoom lens imaging systems |
US20030057353A1 (en) * | 2001-07-20 | 2003-03-27 | Dowski Edward Raymond | Wavefront coding zoom lens imaging systems |
WO1996024085A1 (en) * | 1995-02-03 | 1996-08-08 | The Regents Of The University Of Colorado | Extended depth of field optical systems |
US5793900A (en) * | 1995-12-29 | 1998-08-11 | Stanford University | Generating categorical depth maps using passive defocus sensing |
US5751863A (en) | 1996-06-18 | 1998-05-12 | Hewlett Packard Company | Method and system having relaxed front end distortion requirements |
US5956436A (en) * | 1997-05-23 | 1999-09-21 | Umax Data Systems Inc. | Method for dynamically scanning an image |
JPH11196315A (ja) | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | 画像読み取り装置 |
US6021005A (en) * | 1998-01-09 | 2000-02-01 | University Technology Corporation | Anti-aliasing apparatus and methods for optical imaging |
US6069738A (en) * | 1998-05-27 | 2000-05-30 | University Technology Corporation | Apparatus and methods for extending depth of field in image projection systems |
US6567570B1 (en) | 1998-10-30 | 2003-05-20 | Hewlett-Packard Development Company, L.P. | Optical image scanner with internal measurement of point-spread function and compensation for optical aberrations |
US6519359B1 (en) * | 1999-10-28 | 2003-02-11 | General Electric Company | Range camera controller for acquiring 3D models |
US6873733B2 (en) * | 2001-01-19 | 2005-03-29 | The Regents Of The University Of Colorado | Combined wavefront coding and amplitude contrast imaging systems |
US6525302B2 (en) * | 2001-06-06 | 2003-02-25 | The Regents Of The University Of Colorado | Wavefront coding phase contrast imaging systems |
US6842297B2 (en) * | 2001-08-31 | 2005-01-11 | Cdm Optics, Inc. | Wavefront coding optics |
US7158182B2 (en) * | 2001-09-28 | 2007-01-02 | Nikon Corporation | Camera that engages in a focusing operation through a contrast method |
ATE378619T1 (de) * | 2002-02-27 | 2007-11-15 | Cdm Optics Inc | Optimierte bildverarbeitung für wellenfrontkodierte abbildungssysteme |
DE10217404A1 (de) * | 2002-04-18 | 2003-11-06 | Leica Microsystems | Autofokusverfahren für ein Mikroskop und System zum Einstellen des Fokus für ein Mikroskop |
US7031054B2 (en) * | 2002-10-09 | 2006-04-18 | The Regent Of The University Of Colorado | Methods and systems for reducing depth of field of hybrid imaging systems |
CN101819325B (zh) | 2003-01-16 | 2015-11-25 | 帝欧希数字光学科技国际有限公司 | 光学系统和产生所述光学系统的方法 |
US7180673B2 (en) * | 2003-03-28 | 2007-02-20 | Cdm Optics, Inc. | Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems |
US7260251B2 (en) * | 2003-03-31 | 2007-08-21 | Cdm Optics, Inc. | Systems and methods for minimizing aberrating effects in imaging systems |
CN100508074C (zh) * | 2003-05-30 | 2009-07-01 | Cdm光学有限公司 | 具有扩展的聚焦深度的光刻系统及方法 |
JP2007513427A (ja) * | 2003-12-01 | 2007-05-24 | シーディーエム オプティックス, インコーポレイテッド | 光学システムおよびデジタルシステムの設計を最適化するシステムおよび方法 |
US20050117114A1 (en) * | 2003-12-02 | 2005-06-02 | Jianfeng Jiang | Revolutionary method in optical system design |
US7231097B2 (en) * | 2003-12-16 | 2007-06-12 | Searete, Llc | Lens defect correction |
US7612804B1 (en) * | 2005-02-15 | 2009-11-03 | Apple Inc. | Methods and apparatuses for image processing |
JP4630730B2 (ja) | 2005-05-27 | 2011-02-09 | キヤノン株式会社 | 撮像装置、カメラ及び撮像方法 |
US8897595B2 (en) * | 2008-03-26 | 2014-11-25 | Ricoh Co., Ltd. | Adaptive image acquisition for multiframe reconstruction |
-
2008
- 2008-03-26 US US12/079,555 patent/US8897595B2/en active Active
-
2009
- 2009-03-25 JP JP2009075210A patent/JP5470959B2/ja not_active Expired - Fee Related
-
2014
- 2014-11-24 US US14/551,998 patent/US9438816B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9438816B2 (en) | 2016-09-06 |
JP2009239908A (ja) | 2009-10-15 |
US8897595B2 (en) | 2014-11-25 |
US20090245688A1 (en) | 2009-10-01 |
US20150264245A1 (en) | 2015-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5470959B2 (ja) | マルチフレーム再構築を行う方法、システム及びソフトウエア | |
EP1924966B1 (en) | Adaptive exposure control | |
CN109429001B (zh) | 图像采集方法、装置、电子设备以及计算机可读存储介质 | |
Cossairt et al. | When does computational imaging improve performance? | |
KR101643607B1 (ko) | 영상 데이터 생성 방법 및 장치 | |
CN107995424B (zh) | 基于深度图的光场全聚焦图像生成方法 | |
KR101345012B1 (ko) | 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체 | |
CN103369233B (zh) | 用于通过利用自适应核来执行深度估计的系统和方法 | |
FI117265B (fi) | Elektroninen laite ja menetelmä elektronisessa laitteessa kuvadatan prosessoimiseksi | |
US9865043B2 (en) | Adaptive image acquisition and display using multi-focal display | |
Hajisharif et al. | Adaptive dualISO HDR reconstruction | |
JP6598660B2 (ja) | 画像処理装置および画像処理方法 | |
JP2013531268A (ja) | 符号化開口を使用した距離の測定 | |
JP2017208641A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
CN100543576C (zh) | 基于Contourlet变换的数码成像自动对焦方法 | |
WO2019104670A1 (zh) | 深度值确定方法和装置 | |
Rabie | Adaptive hybrid mean and median filtering of high-ISO long-exposure sensor noise for digital photography | |
Florea et al. | Parametric logarithmic type image processing for contrast based auto-focus in extreme lighting conditions | |
JP5843599B2 (ja) | 画像処理装置および撮像装置並びにその方法 | |
Ito et al. | Compressive epsilon photography for post-capture control in digital imaging | |
JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
CN102090054A (zh) | 成像设备,图像处理程序,图像处理设备和图像处理方法 | |
CN109961422A (zh) | 数字图像的对比度值的确定 | |
KR20150032764A (ko) | 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스 | |
Schleicher et al. | High dynamic range imaging by varying exposure time, gain and aperture of a video camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5470959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |