JP4249627B2 - 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像 - Google Patents

多重焦点非球面レンズを使用して拡大焦点距離を得る撮像 Download PDF

Info

Publication number
JP4249627B2
JP4249627B2 JP2003553302A JP2003553302A JP4249627B2 JP 4249627 B2 JP4249627 B2 JP 4249627B2 JP 2003553302 A JP2003553302 A JP 2003553302A JP 2003553302 A JP2003553302 A JP 2003553302A JP 4249627 B2 JP4249627 B2 JP 4249627B2
Authority
JP
Japan
Prior art keywords
lens
image
camera
blurred image
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003553302A
Other languages
English (en)
Other versions
JP2005513833A5 (ja
JP2005513833A (ja
Inventor
ジョージ,ニコラス
シー,ワンリ
Original Assignee
ザ ユニバーシティ オブ ロチェスター
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ ユニバーシティ オブ ロチェスター filed Critical ザ ユニバーシティ オブ ロチェスター
Publication of JP2005513833A publication Critical patent/JP2005513833A/ja
Publication of JP2005513833A5 publication Critical patent/JP2005513833A5/ja
Application granted granted Critical
Publication of JP4249627B2 publication Critical patent/JP4249627B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/18Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces
    • G02B3/04Simple or compound lenses with non-spherical faces with continuous faces that are rotationally symmetrical but deviate from a true sphere, e.g. so called "aspheric" lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/10Bifocal lenses; Multifocal lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Lenses (AREA)
  • Image Input (AREA)

Description

本発明は、多重焦点非球面レンズを使用して撮像を行って拡大深度を得るシステム、方法、及び装置に関し、更に詳しくは、円形対称多重焦点非球面レンズを使用して不鮮明画像を取得し、この不鮮明画像を処理して画像内の単一または複数の被写体の焦点が合う拡大深度を有する復元画像を生成するシステム、方法、及び装置に関する。
従来のディジタルカメラによる写真撮影では、あるシーンの画像内の単一または複数の被写体の焦点がカメラからの1つの距離(または距離の範囲)で合う場合、同一のシーンのこれら以外の複数の距離にある他の被写体の焦点はしばしば合わない。これは、特に撮像した画像が10フィート以内のようなカメラに近く、しかも異なった距離にある場合に発生し、この場合、最適な焦点は1つの限定された距離の範囲に限定される。このような従来のディジタルカメラは、画像内の複数の被写体の焦点が合うこの限定された距離の範囲を変化させる焦点合わせ機構を有している。しかし、この焦点合わせ機構は、この距離の範囲外にある被写体の焦点が画像内で合わないのを防止することはできない。従って、ある距離の範囲に広がる同一の被写体の焦点、または異なった複数の距離にある異なった複数の被写体の全ての焦点をディジタルカメラによって取込んだ共通のシーンの画像内で合わせるような拡大深度を有する撮像を行うことが望ましい。
従来の研究では、アポディゼーションフィルタ−または意図的に不鮮明化した画像を処理するコンピューターのいずれかを使用することによって、深度を拡大する光学システムを開発し、これらは下記の学術文献に記載されている。J.Ojeda−Castaneda,L.R.Berriel−Valdos,及びE.Montes,Opt.Lett.8,458(1983年);T.−C.Poon,及びM.Motamedi,Appl.Opt.26,4612年1987年);J.Ojeda−Castaneda,とL.R.Berriel−Valdos,Appl.Opt.29,994(1990年);E.R.Dowski,及びW.T.Cathey,Appl.Opt.34,1859(1995年);J.van der Gracht,E.R.Dowski,W.T.Cathy及びJ.P.Bowen,Proc.SPIE 2537,279(1995年);H.B.Wach,W.T.Cathey,及びE.R.Dowski,Jr.,Appl.Opt.37,5359(1998年);S.C.Tucker,E.R.Dowski,及びW.T.Cathey,Optics Express 4,467(1999年)。関連する研究は、また光軸に沿って光のエネルギーを集中させる光学要素であるアキシレンズ(axilens)に関して言及され、その文献は下記の通りである。L.M.Soroko,Progress in Optics,E.Wolf,ed.Elsevier, New York,1989年)、109−160頁,及びその中の参考文献;J.Sochacki,S.Bara,Z.Jaroszewicz,及びA.Kolodziejczyk,Opt.Lett.17,7(1992年);J.Sochacki,A.Kolodziejczyk,Z.Jaroszewicz,及びS.Bara,Appl.Opt.31,5326(1992年)。
本発明の特徴は、円形対称多重焦点非球面レンズを介して画像を取込んで不鮮明画像を生成し、この不鮮明画像をディジタル的に処理し、画像内の単数または複数の被写体の焦点が合う拡大深度を有する画像を生成することである。前述した文献に記載されている拡大深度に対する従来のアプローチは、円形対称多重焦点非球面レンズを使用するものではなく、このレンズを介して得た不鮮明画像を処理して拡大した深度で焦点の改善された画像を得るものでもない。
本発明の特徴は、画像を取り込んで処理し、円形対称多重焦点非球面レンズを使用して深度を拡大する改良されたシステム、方法、及び装置を提供することである。
本発明の他の特徴は、円形対称多重焦点非球面レンズを介して画像を取り込んで不鮮明画像を生成し、このレンズの点拡散機能に従ってこの不鮮明画像を処理し、ある距離の範囲にある1つ以上の被写体の焦点がこのレンズの多重焦点に従って合う復元画像を得ることである。
本発明の更に他の特徴は、円形対称多重焦点非球面レンズを介して取込んだ不鮮明画像のディジタル処理を、反転濾波法、渦巻マトリックス法、または最大エントロピー法のような種々の方法によって行うことである。
本発明の更に他の特徴は、いずれの特定の距離にあっても被写体の焦点を合わせるために従来技術のカメラが必要とした機械的な焦点合わせの必要をなくすため、拡大深度を有するカメラを提供することである。
簡単に説明すると、本発明を実施するシステムは、シーンの中の1つ以上の三次元被写体の画像を取込む円形対称多重焦点非球面レンズ(光学系)を有するディジタルカメラのような画像取り込手段と、画像を処理してこの画像内の単一または複数の被写体の焦点を合せる拡大深度(または距離の範囲)を有する復元画像を得るコンピュータシステムのような画像処理装置を有している。復元画像は、表示装置またはその他の周辺機器に出力する。画像処理装置は、画像取り込手段の一部でも良く、または不鮮明画像を受信する表示装置に結合された外部コンピュータシステムである。不鮮明画像の処理は、レンズの点拡散機能に従って反転フィルタ−法、渦巻マトリックス法(例えば、エッジ鮮鋭化マトリックス法)、または最大マトリックス法の1つによって行う。
この円形対称多重焦点非球面レンズは、その焦点距離がレンズの半径によって連続的に変化するという意味で多重焦点であり、この場合このレンズは下記の式によって特徴付けられている。
Figure 0004249627
ここで、φ(r)は任意の定数以内のレンズの半径rに対する位相遅れであり、前記範囲は距離sからsにわたり、Rは当該レンズの外側半径であり、tは当該レンズが配設されている面から前記取込み手段によって取込んだ画像の面迄の距離であり、λは自由空間の波長である。
ディジタルカメラである画像取り込装置では、上述した多重焦点レンズは、カメラの従来の(写真)対物レンズまたはレンズシステムと代替されるものである。上述した多重レンズは、多重焦点不鮮明撮像を行う1つ以上の光学要素によって構成される。例えば、この多重焦点レンズは多重焦点位相板(またはマスク)であり、これはカメラの従来のレンズまたはレンズシステムと組み合わせて使用する。このことは特に有用であるが、その理由はこの多重焦点位相板を既存のカメラに容易に取り付けて上述した画像取込み装置を設けることができ、またカメラの従来のレンズに従った角視野を有することができるからである。これらのレンズは回折が制限されているが、ディジタルカメラを有するこのシステムは、CCDまたはその他の電子画像検出器に対するその信頼性によって、回折は制限されない。
この画像取込み装置はディジタルカメラ(スチルカメラまたはビデオカメラ)である以外に、これは更に、上述した多重焦点レンズ、または従来のカメラと移送板を介して取込んだ不鮮明画像をフイルム上に記録するフイルムをベースとしたカメラと、フイルムに記録した不鮮明画像を表す陽画または陰画の1つをディジタル化し、当該ディジタル化した不鮮明画像を生成するディジタル化スキャナーでもよく、この場合、画像処理装置は、ディジタル化した不鮮明画像を受信して処理し、復元画像を生成する。
単一または複数の被写体という用語は、あるシーンの中の物体、人物、または周囲の様子を意味するものであり、これは画像取込み装置から1つ以上の距離の範囲にあってもよく、または一定の距離の範囲に広がっていても良い。
図1及び図1Aを参照して、これらの図は統合撮像及び処理システム8を示し、これはディジタルカメラ(または画像取込み装置)10を有し、このカメラには、多重焦点レンズ14を介して被写体13の画像を取込むCCDアレイ検出器11が設けられている。多重焦点レンズ14とは、半径方向に焦点距離が連続して変化する円形対称レンズであり、その結果、1つまたは複数の三次元の被写体の場合、所望の距離範囲に於いて常にシャープに焦点の合った画像を提供するレンズの環状部が存在し、残りのレンズの部分は画像を不鮮明にする。このようなレンズ14は非球面レンズであり、以下では対数非球面レンズと呼び、このレンズは、被写体の光軸の1つの画像点への延長部分を撮像するレンズの伝達機能を見出すために、フェルマットの原理(Fermat’sprinciple)を用いて設計されたものである。図示目的のため、被写体13は階段のような1つの三次元被写体で示すが、この被写体13は、1つのシーンに存在する複数の被写体であってもよい。被写体13を取込んだ不鮮明画像は二次元のピクセルのアレイを表すことができ、各ピクセルは、カメラのCCDの解像度によって決まる値を有している。例えば、8、16、または32ビットの解像度を使用することができる。カメラ10によって取込んだ被写体13の各不鮮明画像は、プログラムを有するマイクロプロセッサまたはコンピュータシステム16によって代表される画像処理装置に出力され、この装置はこの画像を処理し、処理した画像を表示装置18に出力する。画像処理は、反転フィルター、または渦巻マトリックスによって行われてもよく、これらはカメラ10から取込んだ不鮮明画像のピクセルに対して行われ、被写体の焦点が画像内で合っている拡大焦点深度を有する被写体の復元画像を生成する。渦巻マトリックスは、エッジ鮮鋭化フィルターである。最大エントロピー法のような他の画像復元法をまた使用することもできる。図1及び図1Cに示すように、レンズ14は点対点の撮像と不鮮明化を行う1つ以上の光学要素であり、または、このレンズ14は、図1Dに示すように、撮像を行う対物レンズ15によってカスケードの関係で不鮮明化を行う位相板(またはマスク)14a(ここでは、対数非球面位相板と呼ぶ)でもよい。例えば、点対点撮像用の対物レンズ15は、従来の写真用レンズである。レンズ14と位相板14aは、解像度の回折が制限されている。レンズ14の設計及びこのレンズによって取込んだ画像のディジタル処理は、以下で詳細に述べる。
コンピュータシステム16は、パソコン、ワークステーション、ラップトップ、またはその他の種類のコンピュータシステムであり、表示装置18はCRTまたはLCD表示装置である。コンピュータシステム16は、また不鮮明画像と回復画像をハードディスクや光ディスクのようなメモリに格納し、またはこれらをプリンタのような他の周辺機器に出力し、またはモデム、イーサネット、インターネット、T1ライン等のネットワークのインターフェースを介して他のコンピュータをベースにしたシステムに出力する。取込んだ画像のコンピュータシステム16に対する出力は、従来のディジタルカメラが画像(または画像ファイル)をコンピュータシステムに転送するために使用する一般的なインターフェースポート(ケーブルまたは光学系)を介して行ってもよく、またはこの取込んだ画像をメモリカード、メモリチップ、ディスク、PCMCIAカード等のような脱着可能メモリに格納することによって行ってもよく、後者の場合この脱着可能メモリを画像処理のため別のコンピュータシステム16に取り付け、この処理をこの脱着可能メモリから画像を読み込むのに適したインターフェースを介して行ってもよい。
または、プログラム付マイクロプロセッサーまたはコンピュータシステム16(表示装置18を付設してもよいし、しなくてもよい)をカメラ10の一部として設けてもよい。従って、システム8をレンズ14を介して撮像を行うディジタルカメラのハウジングに取付けることができ、この場合、このカメラはコンピュータシステム16によってデジタル画像処理を行うことができる。
カメラ10は、図1に示すように、その対物レンズをレンズ14と交換することによって使用する一般的なディジタルカメラであり、このレンズ14は円形対称非球面ボディーを有する単一の要素によって構成され、または図1Cに示すように、複数の光学要素によって構成され、または図1Dに示すように、カメラの対物レンズ15と組み合わされた対数非球面位相板14aによって構成されている。図1Cには2つの光学要素を示しているが、2つ以上の光学要素を使用することができる。ここで説明するカメラは静止画像用であるが、これは連続画像を撮像するデジタルビデオカメラでもよく、この場合各画像をコンピュータシステム16によって略リアルタイムで処理する。ここではグレイスケールによる撮像を説明しているが、適当なCCDアレイ(単数または複数)を設けることにより、カラーによる撮像を行うことができる。レンズ14を有するディジタルカメラの1つの利点は、撮像したシーン内で異なった距離に位置する複数の物理的被写体の焦点が、出力した画像内で合うことである。このことは、システム8を有さない従来のディジタルカメラの場合、CCDアレイ上の1つの距離において1つの被写体の焦点が合うのは、同じシーンの他の複数の距離に位置する他の複数の被写体の焦点が合わないことの結果に由来するものであることと対照的である。レンズ14または位相板14aでは回折が制限されているが、このようなレンズまはた位相板を使用するディジタルカメラは、CCDアレイ(単数または複数)またはその他の電子画像検出器(単数または複数)のピクセルサイズによって解像度の回折は制限されない。
レンズ14とこのレンズを介して行われる取込んだ不鮮明画像の処理の基礎となる理論は、下記の通りである。この議論では、図1に示す三次元の階段のような被写体(O)13の画像をカメラ10を使用し、非球面レンズ(L)14を介して記録し(取込み)、記録した不鮮明画像をコンピュータシステム(DP)16によってディジタル的に処理し、表示装置(D)18に表示する。図2の光学図を、先ず考える。距離sから距離sの範囲にある被写体の点の焦点は、焦点距離を連続して半径方向に変化させることによって平面(II)上の点Pで合う。レンズをそれぞれが異なった焦点距離を有する複数の環状リングに分割すると、n番目のリングに対して半径rを選択することによりN個のリングの各々に対して同一の面積が得られることを検証することができる。
Figure 0004249627
ここで、Rは平面(I)上におけるレンズの外半径である。
環状リングrを通過する光によってχ(r)に於ける点Sを撮像する場合を考える。均一または自然の照明を行うため、s1からs2までの間隔をN個のセグメントに分割し、χ(r)セグメントを選択し、下記のように重み付けする。
Figure 0004249627
比率n/Nを消去するため、式(1)と(2)を結合すると、レンズに対する下記の基本的な式が得られる。
Figure 0004249627
物理光学で周知のように、レンズの一般的な伝達機能t(r)は、下記の形で書き表すことができる。
Figure 0004249627
ここで、φ(r)は位相遅れである。この位相遅れφ(r)の形は、フェルマットの原理を適応することによって得ることができ、これはR.K.Luneburg, Mathematical Theory of Optics(University of Califirnia,1964)、p.86
を参照のこと。先ず、(SOP)を通過する光に対する合計光学長Lに対する式は、下記のように書き表すことができる。
Figure 0004249627
ここで、tはレンズ面(I)から面(II)までの距離であり、λは自由空間の波長である。
フェルマットの原理と式(5)から、∂L/∂rと置き、χを定数とすれば、式(3)によって、位相遅れφ(r)に対し下記の式が得られる。
Figure 0004249627
これは直接積分することができ(例えば、H.B.Dwight, Tables of Integrals and other Mathematical Data (Macmillan, New York, 1947) Eq. 380.000、p.70参照)、これによって対数非球面レンズの基本公式を得ることができ、これは次の2つの項で表される。
Figure 0004249627
第1項は、被写体の点が無限大に位置する場合の点対点の撮像用の理想的なレンズを示し、第2項は制御された不鮮明または収差を導くものである。レンズ設計の第1段階として、s=610mm、s=6100mm、R=5mm、及びt=25mmを使用した式(7)の冪級数展開式を形成するのが有用であり、式(7)の第1項及び第2項は下記の通りである。
Figure 0004249627
これらの展開式は、括弧内の項に対して±10−5mm迄正確である。これらの展開式は、MathematicaのNonlinearFitを使用して得ることができ、これは、S.Wolfram,Mathematical Software 4.0(Wolfram Research,Champaign, 2000) Statistics NonLinearFit,Sec.3.8.1(2000)に記述されている。s、s、R及びtに対して別の値を使用し非球面レンズに対する撮像の用途に従って異なるφ(r)を与えてもよい。
対数非球面レンズ14はtを24mmから80mm迄変化させて製作するが、このtに対して別の値を使用することもできる。最近の光学系の製作方法の進歩により、この種の対数非球面レンズを実用化することが可能になっている。この対数非球面レンズは、コンピュータ制御非球面研削盤OptiPro モデルSX50及びQED Technologies,LLC,Rochester,New Yorkから市販されているMagneto−Rheological Finisherを使用して製作することができる。これらのレンズは、光学級の水晶を使用して、全体として1/10の波長のオーダーの精度で製作する。このカメラの対数非球面レンズの点拡散機能を測定することによって、このレンズが理論に一致し、コンピュータシステム16の処理により行われた復元に対して適度に不鮮明化した画像を得ることができることが保証されているか否かを判断することができる。前に述べたように、製作したレンズ14は円形対称レンズであり、このレンズは、焦点距離がレンズの半径に従って連続的に変化する多重焦点レンズである。
前に述べたように、レンズ14には、式(7)のφ(r)に従って、2段階の光学システムを設けてもよく、この場合、レンズ14には従来の(写真)レンズ15と多重焦点位相(コレクタ)板14a、即ち、対数非球面位相板を設け、この位相板は、図1Dのブロック図に示すように、コンピュータシステム16の処理により行われた復元に対して適度に不鮮明化した画像を生成することができる。換言すれば、2個の別個のレンズによって、撮像と非鮮明化の両方を行うことができ、単一レンズ14と比較して、一方のレンズ15によって理想的な撮像を行い、他方の位相板14aで制御された非鮮明化を行う。いずれの対数非球面レンズ14に対しても、これに対応する非鮮明化用位相マスク14aが存在する。位相板14aは、非球面レンズを製作するために上述したのと同一の機械を使用して製作することができる。位相マスク14aは、拡大深度を達成するため、どのような写真レンズ15を有する光学システムにも挿入することが可能である。例えば、二重ガウスレンズの設計を高品質の写真レンズに一般的に使用し、位相板を絞りの面に位置させてもよい。基本的に、この面を通過する全ての光線は、これによってこの位相板を通過し、画像に貢献する。位相板14aは光線の経路の他の場所に位置させてもよいが、絞りまたは光のカメラへの入口面に位置させるのが、好ましい。従って、位相板14aを有する従来の撮像レンズ15のカスケードによって、従来の撮像レンズによって得られる角視野全体にわたって拡大深度を得ることができる。例えば、もしレンズ15が広角機能を有していれば、これは拡大深度を有する特徴として保持することができる。
対数非球面レンズを使用して行う撮像とこれによって得られる深度の1例を、図1に示すように、軸方向にΔs50mmの間隔を有する12段の三次元被写体を使用して以下で説明する。対数非球面レンズはt=60mmに設定され、モノクロCDDアレイは23平方μmのピクセルサイズを有し、これによって、システムの基本的な解像度を制限する。各段の垂直面上にストリップ解像度チャートを載置するが、このチャートは、図1Aに示すように、鳥のさえずりのような一連の垂直線に沿って一連のサイズが変化するアルファベット文字を有している。
取込んだ被写体の非鮮明画像をコンピュータシステム16によってディジタル処理することにより、復元した画像を生成し、この復元画像では、被写体は、この被写体が広がっている距離の範囲内で、観察可能かつその焦点があっている。不鮮明画像を復元する1つの方法は、このレンズの測定した点拡散機能に基づいて(画像面内の)写真空間において、反転フィルターまたはこれと同等のマトリックスを使用することである。このような画像面のマトリックスは、渦巻濾波に対して使用する。このフィルターは、フーリェ面Wiener−Helstrom反転フィルタ−を反転することによって得ることができ、このことは、B.R.Hunt,IEEE Trans.Computer.C−22,805(1973),及びR.C.Gonzalez,及びR.E.Woods,Digital Image Processing(Addison−Wesley,1992),p.218に記載されている。このWiener−Helstrom反転フィルター及びその反転フィルターを下記に示す。
Figure 0004249627
不鮮明画像に適用する渦巻マトリックス法は、例えば、下記に示すような5×5または3×3のマトリックスである。この3×3マトリックスは、エッジ鮮鋭化マトリックスに非常に近い。従って、このフィルターは点拡散機能に大きく依存する必要はない。
Figure 0004249627
図3は、復元した(処理した)三次元の階段の被写体の一部を示し、これは被写体の距離が250mm変化する6段を有している。焦点のあった位置(図3のΔ)は、χ=950mmである。図4Aは、図3の30に位置する最終処理画像の拡大図を示し、この画像は最も良く焦点が合った面と比較して250mm(5段)レンズに近い。比較のため、図4Bにはシステム8の対数非球面レンズではなく、ニコンの60mmの(対物)レンズを使用した不鮮明画像を示すが、このレンズはシステム8と同じf/Dを有している。この画像は、前に説明した被写体と同じ位置にある被写体を使用して得たものである。対数非球面レンズによって、大きく拡大した深度が得られる。
対数非球面レンズを使用した他の例では、解像度は、図5に示すように距離の関数として測定する。データを各段(50mm)毎に取込み、5つの読み取り値の平均値を、エラーバーと共に実線としてプロットする。細線で示す鳥の鳴き声のチャート(図1Aの階段の被写体の左側)を使用して解像度を測定することを除いて、前に説明したセットアップと同じセットアップを使用する。その結果、ピクセルサイズは10μmに減少した。点線は23μmのピクセルサイズに対する解像度の限度を示す。比較のため、非球面レンズの代わりにニコンの60mm(対物)レンズを使用して同一の条件で得た解像度を、また図5に破線で示す。これらのデータから、対数非球面レンズ14を有するカメラ10の深度が増していることが示されている。
または、コンピュータシステム18に最大エントロピー法をプログラムし、反転フィルター(または渦巻フィルター)を使用する代わりに被写体13の不鮮明画像を復元してもよい。この最大エントロピー法は、S.F.Gull及びJ.Skilling, Maximum Entropy MethodIn Image Processing,IEE Proc.,Vol,131、PT.F,No.6, 646−659頁(1984年)に記載されている。最大エントロピー法の基本的なプロセスを、図6に示す。これは対話式のプロセスであり、各サイクルに於いて、取込んだ被写体の不鮮明画像と測定点のソース機能を巻込んでいる推定された被写体から生成した、計算された不鮮明画像との差を判定する。この推定した被写体が復元した被写体の画像を表す時点に於いて、この差がノイズ未満(またはノイズの許容範囲内)になる迄、この差を使用して次のサイクルとその後続のサイクルに於ける推定被写体を変更する。
この最大エントロピー法によれば、前に述べた反転フィルター法に比べて、ノイズがより少なく解像度がより高い画像を得ることができ、これは図7〜図13の比較画像とグラフに示している。第1例に於いて、図7Aは2点ソースの被写体13を示し、図7Bは2点被写体のコンピュータによってシュミレーションを行った不鮮明画像を示す。コンピュータシステム16は、反転濾波法によって不鮮明画像を処理して図7Cに示す復元画像を生成し、またこの画像を最大エントロピーによって処理して図7Dに示す復元画像を生成する。図8は、図7Cと図7Dの復元画像のそれぞれに於ける2点ソース被写体を通過する対角線上のピクセルの位置に於けるピクセル値のグラフであり、これは反転濾波法と最大エントロピー法の2つの復元法の比較を行うものである。各画像の対角線は、(図8のグラフに於いて図7Bの画像に図示するように)2点ソース被写体32の不鮮明画像(図7B)を通る白線31の位置によって示す。このグラフが示すように、最大エントロピー法は、反転濾波法と比較して解像度が高くノイズの小さい画像を提供するというより優れた結果を生んだが、濾波法ではノイズが大きくなっている。比較目的のため、図7Bの不鮮明画像の対角線31上のピクセル位置に於けるピクセル値は、図8に於いて点線で示している。
第2例では、図1Aの階段の被写体13の右側部分(文字)に対してシステム8が取得及び処理を行った画像を、図9A〜図9Cに示し、図9Aは、カメラ10の取込んだノイズを有する不鮮明画像を示す。図9Bと図9Cは、2つの異なったノイズモデル(A)と(B)をそれぞれ使用して反転濾波法によって処理した不鮮明画像の回復画像を示し、一方図9Dは最大エントロピー法によって処理した不鮮明画像の回復画像を示す。図10は、図9Dの最大エントロピー法及び図9Bの反転フィルター(A)によって処理した復元画像を通る線上のピクセルの鮮鋭度を比較する図である。図11は、図9Dの最大エントロピー法及び図9Cの反転フィルター(B)によって処理した復元画像を通る線上のピクセルの鮮鋭度を比較する図である。図10と図11で分析した各画像のこの線の位置は、図9Aの不鮮明画像に於いて白線33によって示す。線33は、図10と図11のグラフの下部にまた表示されている。図11Aは、ピクセル位置162〜178のピクセルの位置の間に於ける図10及び図11のグラフの部分の詳細図である。図10、図11及び図11Aに於いて、横軸は線上のピクセル位置を示し、縦軸は鮮鋭度を示すが、この鮮鋭度は同一のピクセル位置に於ける不鮮明画像(図9A)のピクセル値に対するそれぞれの復元画像のピクセル値の比率によって測定する。
第3実施例に於いて、対数非球面レンズの点拡散機能を有する虎の画像のコンピュータシュミレーションを使用して図12Aの不鮮明画像を生成し、復元した画像を、図12Bのエッジ鮮鋭化フィルター、図12Cの反転フィルター、及び図12Dの最大エントロピー法を使用した処理によって示す。図13〜図13Dは、図12Aに示す箱の白線34によって図示する各画像内に位置する同一の正方形領域に於けるそれぞれの図12A〜図12Dの各画像の正方形領域に対応する拡大画像である。これは、システム8に於いて、取込んだ不鮮明画像に対して異なった技術を適用し、拡大深度を有する復元画像を生成しているが、この復元画像の品質は所望の処理方法によって決まることをまた図示している。最大エントロピー法は、エッジ鮮鋭化フィルターまたは反転フィルターと比較して、より鮮鋭に焦点の合った画像を提供する。しかし、画像の処理速度を向上させるため、画像面濾波、エッジ鮮鋭化またはその他の渦巻フィルターを選択して使用することができる。
円形対称多重焦点非球面レンズ14の1つの用途は、2つの特に明確な動作距離を提供することであり、これらの距離の1つは腕の長さ、例えば、2フィートであり、他の距離はより長い距離、例えば、20フィートから無限大である。カメラ10は、ディジタルスチルカメラまたは単独使用カメラとして設計することができ、後者のカメラでは遠方の背景にある風景と共に自分自身の写真を撮ることができる。
前に述べたように、レンズ14を有するカメラ10は、風景、家族のグループなどの従来の撮影に使用することができ、これは、対数非球面レンズ、CCDアレイ11、電子部品、及びコンピュータ処理手段16によって構成され、この手段16はカメラに搭載されてもよいし、この手段によって後で処理を行う場合もある。このシステムでは、従来のカメラのような機械的な焦点合わせは必要としないが、これは、この特別なレンズ14の拡大深度(距離範囲)特性内では、写真(画像)の深度内にある全ての被写体または主題の焦点が合うからである。
前に述べたように、レンズ14は、何れかの従来の(例えば、35mm)カメラのレンズ15(図1D)を有する対数位相板14Aによって構成することができる。この位相板は、35mmの写真撮影に於いて、UVフィルターまたはカラー用バンドパスフィルターを使用するのと同様に、いずれの従来のレンズにも搭載することができ、または絞りのようなカメラの他の場所に取り付けることもできる。この位相板をディジタルスチルカメラに取り付けることにより、拡大深度を得るため、CCDアレイからの出力(不鮮明画像)を前に述べたように処理する。従って、カメラ10は、非球面レンズ14、または従来のレンズ14と位相板14aの一方を有するディジタル(CCD)スチルカメラまたはビデオカメラである。
カメラ10はCCDアレイ(単数または複数)を使用するものとして図示しているが、CMOS、CID等の他のフォト検出器のアレイを使用してもよい。カメラ10がビデオカメラである場合、これは特に有用であるが、それは非常に低い光のレベルで大きく拡大した深度で映画を撮ることができる、または大きな絞りを使用することができるからである。カメラ10、及び一般的にシステム8の解像度は、このカメラのCCDアレイのピクセルサイズによって制限されている、即ち、これは回折が制限されていない。
オプションとして、非球面レンズ14、または図1Cに示すように、従来のレンズ15と位相板14aの一方有するフイルムをベースとするカメラであるカメラ10と共に使用することができる。このフィルムをベースとするカメラから得られた不鮮明画像を有する陽画(または陰画)をスキャナーによって走査することによってディジタル化した不鮮明画像を生成し、このディジタル化した不鮮明画像をコンピュータシステム18に取込み(またはファイルをインポートし)、次にディジタル的に取込んだ不鮮明画像を前に述べたように処理して復元画像を得る。フイルムを使用する場合、多重焦点非球面レンズ14は回折が制限されている、即ち、これは拡大深度を提供し、多重焦点非球面レンズに対する点拡散機能によって証明されているように、その回折が制限されている。
非球面レンズ(または従来のレンズと位相板)を有する本発明の提供するシステム8は、スマートカメラと呼ぶ。写真撮影で深度が制限されていることは大きな障害であり、これによってカメラの設計が非常に複雑になる。スマートカメラでは、CCDによって取込んだ写真(画像)は意図的に不鮮明化され、色彩補正のため、ディジタル画像処理をまた使用することができる。1個の対数非球面レンズ、及びこれとは別にニコン60mmレンズを有する位相マスク(または位相板)の幾つかの例をここでは説明した。画像処理の結果を、Wiener−Helstrom反転フィルタ−と最大エントロピー法とを比較して示し、後者によってより優れた画像の品質が得られる。用途には、ディジタルビデオカメラ、DVDピックアップ装置、手持ちのラベルスキャナー、単独使用カメラ、またはその他の拡大深度での撮像を必要とする用途が含まれる。
上述した対数非球面レンズ14は、新しい種類のレンズである。式(3)及び後続の式(6)と(7)に於いて、比率(r/R)の重み付けを変化させることによって、半径に対する焦点距離を変化させるため、この種類の種々の異なったレンズが提供され、従って、このレンズを製作した場合、異なった位相遅延関数φ(r)を得ることができる。このような異なったレンズの各々は、上述したシステム8またはその他の撮像の用途に於いて、異なった拡大深度の性能を有することができる。
上述したところから、撮像用の改良されたシステム、方法、及び装置が提供されることが明らかであり、これらのシステム、方法、及び装置は、対数多重焦点非球面レンズ並びに新しい種類の対数多重焦点非球面レンズを使用している。ここで説明したシステム、方法、及び装置の変形及び改良が当業者にとって明らかであることは疑う余地がない。従って、上述した説明は例示目的のためであり、本発明を限定するものではない。
本発明によるシステムのブロック図である。 図1のシステムを図示するために使用する階段を表す三次元の被写体の一例を示し、図1Aはこの階段の斜視図である。 図1Bは、図1Aの階段の各垂直面の詳細図を示す。 図1のカメラの対数非球面レンズを示すブロック図であり、このレンズには複数の光学要素が設けられている。 図1のカメラの他の実施例を示すブロック図であり、対数非球面レンズには位相板を設け、この位相板はカメラの対物レンズとカスケードの関係にある。 図1のシステムに於けるレンズの理論の概念を示す光学図である。 図1のシステムによる図1Aの三次元被写体の右側(距離が異なると文字サイズが大きくなる各段)を復元した画像を示す一例である。 図3の復元画像の第1段目の部分詳細図である。 本発明による多重焦点レンズではなく、従来の対物レンズを介して図1のカメラで取込んだ図1Aの被写体の第一段目の同じ部分の画像である。 解像度(mm−1)対被写体の距離(mm)のグラフであり、ここで実線は図1のシステムによって撮像した被写体の改良した解像度を示し、破線は同じ被写体を従来の対物レンズを介してカメラで撮像した場合の解像度を示す。 図1のカメラによって取込んだ被写体の不鮮明画像を復元するために使用することのできる最大エントロピー処理の概念を示す。 2点ソース被写体の例に対して行われた反転フィルター法と最大エントロピー法による復元処理を比較をしたコンピュータシュミレーションを示し、図7Aは2点ソース被写体の画像を示し、図7Bは図7Aのこの2点ソース被写体の不鮮明画像を示し、図7Cは図7Bの不鮮明画像を反転フィルター法によって処理した結果得られた復元画像を示し、図7Dは図7Bの不鮮明画像を最大エントロピー法によって処理した結果得られた復元画像を示す。 図7B、図7C、及び図7Dの各画像を介する同一の対角線上の異なったピクセルの位置に対するピクセル値を示すグラフであり、最大エントロピー法(図7D)によって復元した画像の線のピクセル値は実線で示し、反転フィルター法(図7C)によって復元した画像の線のピクセル値は破線によって示し、不鮮明画像(図7B)の線のピクセル値は点線で示す。 図1のシステムに於ける図1Aの階段の被写体の右側の部分(文字)に対して行われた反転フィルター法及び最大エントロピー法による復元処理の比較を示し、図9Aは被写体の不鮮明画像を示し、図9B及び図9Cは(A)と(B)で示すウイナー−ヘルストロム(Wiener−Helstrom)の異なったノイズモデルを使用する反転濾波法によって図9Aの不鮮明画像を処理した結果得られた復元画像を示し、図9Dは図9Aの不鮮明画像を最大エントロピー法によって処理した結果得られた復元画像を示す。 図9Dの最大エントロピー法によって画像を回復させた場合の線上のピクセルの鮮鋭度を破線で示し、図9Bの反転フィルター(A)によって画像を回復させた場合の線上のピクセルの鮮鋭度を実線によって示す場合、これらの鮮鋭度の比較を示すグラフであり、各画像の線上の位置は、例えば、図9Aの不鮮明画像の線によって示す。 図9Dの最大エントロピー法によって画像を回復させた場合の線上のピクセルの鮮鋭度を破線で示し、図9Cの反転フィルター(B)によって画像を回復させた場合の線上のピクセルの鮮鋭度を実線によって示す場合、これらの鮮鋭度の比較を示すグラフであり、各画像の線上の位置は、例えば、図9Aの不鮮明画像の線によって示す。図11Aは、図10と図11のグラフを組み合わせたより詳細な図であり、図9(最大エントロピー法)の回復画像の線上のピクセルの鮮鋭度は点線で示し、図9C(反転フィルター(A))の回復画像は実線で示し、図9C(反転フィルター(B))の回復画像は破線で示す。 図12Bで鮮鋭度化フィルターを使用し、図12Cで反転フィルターを使用し、図12Dで最大エントロピー法を使用することによって図12のノイズのある不鮮明画像に対して行われた異なった処理を比較する画像のコンピュータシュミレーションを示す。 それぞれ図12A、図12B、図12C及び図12Dの正方形の領域に対応する拡大画像を示し、各画像に於ける正方形の領域の位置は図12Aのボックスによって示す。

Claims (50)

  1. 円形対称多重焦点非球面レンズを介して少なくとも1つの被写体の画像を取込み、意図的に不鮮明画像を生成する手段;及び
    当該取込んだ不鮮明画像を最大エントロピー法によって処理し、拡大深度を有する該被写体の復元画像を生成する手段;
    を具備する1個以上の被写体を撮像するシステム。
  2. 前記被写体は、距離の範囲に広がる三次元被写体であり、前記拡大深度は、距離の範囲の前記復元画像内でその焦点が合っている当該三次元被写体の少なくとも実質的な部分によって特徴付けられており、及び/又は、前記レンズは、半径と、当該レンズの前記半径に応じて焦点距離が連続的に変化する複数の環状部分を有し、前記範囲内の各距離に於いて前記被写体の焦点が前記レンズの前記複数の環状部分の少なくとも1つの部分に於いて合い、前記被写体は前記レンズの前記複数の環状部分の内の他の部分によって不鮮明化されており、及び/又は前記レンズは半径を有し、前記レンズはその半径に従って連続的に変化する焦点距離を有することによる多重焦点レンズである請求項1記載のシステム。
  3. 前記レンズは、下記の式によって特徴づけられる請求項1記載のシステム。
    Figure 0004249627
    ここで、φ(r)は任意の定数以内のレンズの半径rに対する位相遅れであり、前記範囲は距離s からs であり、Rは当該レンズの外側半径であり、tは当該レンズが配設されている面から前記取込み手段によって取込んだ画像の面迄の距離であり、λ は自由空間の波長である。
  4. 前記処理手段は、当該レンズの点拡散機能に従って動作可能であり、及び/又は前記不鮮明画像を処理する手段は、Wiener−Helstrom反転フィルターを利用する請求項1記載のシステム。
  5. 更に前記復元画像を出力する手段を具備する請求項1記載のシステム。
  6. 前記レンズは、1つの光学要素によって構成され、及び/又は前記レンズは、前記取込み手段に対し前記システムの2つ以上の操作距離を与える請求項1記載のシステム。
  7. 前記レンズは、複数の光学要素を有する光学システムによって構成され、及び/又は前記レンズは、多重焦点位相板と対物レンズをもつ光学システムによって構成され、及び/又は前記レンズは多重焦点位相板と対物レンズをもつ光学システムによって構成されると共に前記取込み手段の角視野は、当該対物レンズの角視野に従う請求項1記載のシステム。
  8. 前記取込み手段は、少なくとも前記レンズを介して前記不鮮明画像を取込むカメラを具備し、前記カメラは前記不鮮明画像を前記処理手段に供給する手段を更に具備し、及び/又は前記供給手段は前記不鮮明画像を格納するための前記カメラ内の取外し可能メモリを具備し、前記処理手段は前記取外し可能メモリにアクセスして前記不鮮明画像を取出す手段を具備し、及び/又は前記取込み手段は、少なくとも前記レンズを介して取込んだ前記不鮮明画像をフイルム上に記録するカメラ、及び前記フイルム上に記録した前記不鮮明画像を表す陽画または陰画の1つをディジタル化し、当該ディジタル化した不鮮明画像を生成する手段であり、前記処理手段は前記復元画像を生成するために前記ディジタル化した不鮮明画像上で動作し、及び/又は前記取込み手段は、当該不鮮明画像を記 録するピクセルのアレイを構成する少なくとも1つのCCDを具備し、各ピクセルはある寸法を有し、前記システムの前記撮像解像度は前記ピクセルの前記サイズによって決まる請求項1記載のシステム。
  9. 円形対称非球面レンズを介して少なくとも1つの被写体を撮像し、意図的に不鮮明画像を生成するステップ;及び
    前記不鮮明画像を最大エントロピー法によって処理し、拡大深度を有する当該被写体の復元画像を生成するステップ;
    を具備する1つ以上の三次元被写体を撮像する方法。
  10. 前記被写体は、距離の範囲に広がる三次元被写体であり、前記拡大深度は前記距離の範囲の前記復元画像内でその焦点が合っている当該三次元被写体の少なくとも実質的な部分によって特徴付けられており、及び/又は前記レンズは、半径と、当該レンズの前記半径に応じて焦点距離が連続的に変化する複数の環状部分を有し、前記範囲内の各距離に於いて前記被写体の焦点が前記レンズの前記複数の環状部分の少なくとも1つの部分に於いて合い、前記被写体は前記レンズの前記複数の環状部分の他の部分によって不鮮明化されており、及び/又は前記レンズは半径を有し、前記レンズはその半径に従って連続的に変化する焦点距離を有することによる多重焦点レンズである請求項9記載の方法。
  11. 前記レンズは、下記の式によって特徴づけられる請求項9記載の方法。
    Figure 0004249627
    ここで、φ(r)は任意の定数以内のレンズの半径rに対する位相遅れであり、前記範囲は距離s からs であり、Rは当該レンズの外側半径であり、tは当該レンズが配設されている面から前記取込み手段によって取込んだ画像の面迄の距離であり、λ は自由空間の波長である。
  12. 更に前記復元した画像を表示するステップを具備する請求項11記載の方法。
  13. 前記レンズは、1つ以上の光学要素によって構成され、及び/又は前記レンズは、多重焦点位相板と対物レンズを有する光学システムであり、及び/又は前記撮像ステップの角視野は、当該対物レンズの角視野に従う請求項9記載の方法。
  14. 前記撮像ステップは、少なくとも1つの前記レンズを介して前記不鮮明画像を記録するカメラに支援されて行われ、及び/又は前記撮像ステップは、当該不鮮明画像を記録するピクセルのアレイを構成する少なくとも1つのCCDを利用し、各ピクセルはある寸法を有し、前記システムの前記解像度は前記ピクセルの前記サイズによって決まる請求項9記載の方法。
  15. 前記処理ステップは、当該レンズの点拡散機能に従って行われる請求項9記載の方法。
  16. 円形対称多重焦点距離を有する光学系;
    前記光学系を介して画像を取込み、意図的に不鮮明画像を生成する少なくとも1つの検出器アレイ;及び
    当該取込んだ不鮮明画像を最大エントロピー法によって処理し、拡大深度を有する復元画像を生成する手段;
    を具備するスマートカメラ。
  17. 前記光学系は、円形対称非球面レンズによって構成され、及び/又は前記光学系は、対物レンズと多重焦点位相板によって構成される請求項16記載のカメラ。
  18. 前記光学系は、1つ以上の光学要素によって構成され、及び/又は前記光学系は点拡散機能を有し、前記処理手段は、前記レンズの前記点拡散機能に従って前記不鮮明画像上で動作し、前記復元画像を生成し、及び/又は前記光学系は、前記点拡散機能に従って回折が制限されている請求項16記載のカメラ。
  19. 前記受信した画像を出力する表示装置、及び/または少なくとも前記復元画像を格納するメモリを更に具備する請求項16記載のカメラ。
  20. 円形対称多重焦点光学系を介して画像を取込み、意図的に不鮮明画像を生成する手段;及び
    当該取込んだ不鮮明画像を最大エントロピー法によって処理し、拡大深度を有する復元画像を生成する手段;
    を具備する撮像装置。
  21. 円形対称多重焦点光学系を介して取込んだ意図的に不鮮明な画像を最大エントロピー法によって処理し、前記光学系の点拡散機能に従って復元画像を生成する手段を具備する撮像装置。
  22. 前記光学系は、円形対称多重焦点レンズである請求項20または21記載の撮像装置。
  23. 前記光学系は、少なくとも多重焦点位相板である請求項20または21記載の撮像装置。
  24. 対数位相機能を特徴とする位相板を具備する多重焦点光学要素。
  25. 前記対数位相機能は、下記の式に従ってφ(r)によって与えられる請求項24記載の光学要素。
    Figure 0004249627
    ここで、φ(r)は任意の定数以内のレンズの半径rに対する位相遅れであり、前記範囲は距離sからsであり、Rは当該レンズの外側半径であり、tは当該レンズが配設されている面から前記取込み手段によって取込んだ画像の面迄の距離であり、λは自由空間の波長である。
  26. 少なくとも1つの多重焦点位相板を介して少なくとも1つの被写体の画像を取込み、意図的に不鮮明画像を生成する手段;及び
    当該取込んだ不鮮明画像を処理し、拡大深度を有する該被写体の復元画像を生成する手段;
    を具備する1個以上の被写体を撮像するシステム。
  27. 前記被写体は、距離の範囲に広がる三次元被写体であり、前記拡大深度は前記距離の範囲の前記復元画像内でその焦点が合っている当該三次元被写体の少なくとも実質的な部分によって特徴付けられている請求項26記載のシステム。
  28. 前記多重焦点位相板は、下記の式によって特徴づけられる請求項26記載のシステム。
    Figure 0004249627
    ここで、φ(r)は任意の定数以内のレンズの半径rに対する位相遅れであり、前記範囲は距離sからsであり、Rは当該レンズの外側半径であり、tは当該レンズが配設されている面から前記取込み手段によって取込んだ画像の面迄の距離であり、λは自由空間の波長である。
  29. 前記処理手段は、当該位相板の点拡散機能に従って動作可能であり、及び/又は前記処理手段は、当該不鮮明画像上で反転濾波法、渦巻マトリックス法、または最大エントロピー法の1つを利用して当該復元画像を生成する請求項26記載のシステム。
  30. 前記取込み手段は、少なくとも前記位相板を介して前記不鮮明画像を取込むカメラを具備する請求項26記載のシステム。
  31. 前記カメラは前記不鮮明画像を前記処理手段に供給する手段を更に具備する請求項30記載のシステム。
  32. 前記カメラは前記不鮮明画像から前記復元画像を生成する前記処理手段を更に具備する請求項30記載のシステム。
  33. 前記カメラは、前記復元画像を出力する表示装置を具備し、及び/又は前記カメラは、ディジタルスチルカメラまたはビデオカメラであり、及び/又は前記処理手段は前記不鮮明画像から前記復元画像を生成する前記カメラ内のマイクロプロセッサーをベースとするシステムであり、前記カメラは前記不鮮明画像、前記復元画像、または前記不鮮明画像と復元画像の両方を格納するメモリを具備する請求項31または32記載のシステム。
  34. 前記取込み手段は、少なくとも前記レンズを介して取込んだ前記不鮮明画像をフイルム上に記録するカメラ、及び前記フイルム上に記録した前記不鮮明画像を表す陽画または陰画の1つをディジタル化し、当該ディジタル化した不鮮明画像を生成する手段であり、前記処理手段は前記復元画像を生成するために前記ディジタル化した不鮮明画像上で動作する請求項26記載のシステム。
  35. 前記位相板は、前記取込み手段に対して前記システムの2つ以上の動作距離を設ける請求項26記載のシステム。
  36. 少なくとも多重焦点位相板を介して少なくとも1つの被写体を撮像し、意図的に不鮮明画像を生成するステップ;及び
    前記不鮮明画像を処理し、拡大深度を有する当該被写体の復元画像を生成するステップ;
    を具備する1つ以上の三次元被写体を撮像する方法。
  37. 前記被写体は、距離の範囲に広がる三次元被写体であり、前記拡大深度は前記距離の範囲の上記復元画像内でその焦点が合っている当該三次元被写体の少なくとも実質的な部分によって特徴付けられる請求項36記載の方法。
  38. 前記復元した画像を表示するステップを更に具備する請求項36記載の方法。
  39. 前記取込みステップは、少なくとも前記位相板を介して前記不鮮明画像を記録するカメラに支援されて行われる請求項36記載の方法。
  40. 前記カメラは、ディジタルスチルカメラまたはディジタルビデオカメラの1つであり、及び/又は前記カメラは少なくとも前記位相板を介して取込んだ前記不鮮明画像をフイルム上に記録し、前記方法は前記フイルム上に記録した前記不鮮明画像を表 す陽画または陰画の1つをディジタル化し、当該ディジタル化した不鮮明画像を生成するステップを更に具備し、前記処理ステップは前記ディジタル化した不鮮明画像を使用して実行し、前記復元画像を生成する請求項39記載の方法。
  41. 前記処理ステップは、前記不鮮明画像上で反転濾波法、渦巻マトリックス法、または最大エントロピー法の1つを利用して当該復元画像を生成し、及び/又は前記処理ステップは、当該位相板の点拡散機能に従って行われる請求項36記載の方法。
  42. 多重焦点位相板を介して撮像を行い、拡大深度を有する画像を生成するステップを具備する撮像方法。
  43. 前記位相板は、下記の式によって特徴づけられる請求項36又は42記載の方法。
    Figure 0004249627
    ここで、φ(r)は任意の定数以内のレンズの半径rに対する位相遅れであり、前記範囲は距離s からs であり、Rは当該レンズの外側半径であり、tは当該レンズが配設されている面から前記取込み手段によって取込んだ画像の面迄の距離であり、λ は自由空間の波長である。
  44. 少なくとも多重焦点位相板を有する光学系;
    前記光学系を介して画像を取込み、意図的に不鮮明画像を生成する少なくとも1つの検出器アレイ;及び
    当該取込んだ不鮮明画像を処理し、拡大深度を有する復元画像を生成する手段;
    を具備するスマートカメラ。
  45. 前記受信した画像を出力する表示装置、及び/または少なくとも前記復元画像を格納するメモリを更に具備する請求項44記載のカメラ。
  46. 前記処理手段は、前記不鮮明画像上で反転濾波法、渦巻マトリックス法、または最大エントロピー法の1つを利用して当該復元画像を生成する請求項44記載のカメラ。
  47. 少なくとも多重焦点位相板を有する光学系;及び
    前記光学系を介して画像を取込む手段;
    を具備する撮像システム。
  48. 前記光学系は対物レンズを具備し、及び/または、
    前記取込み手段は、少なくとも1つの写真検出器アレイを具備し、前記少なくとも1つの光学系を介して前記画像を取込み、及び/または、
    前記位相板は対数位相機能を特徴とする請求項47記載の撮像システム。
  49. レンズ;
    多重位相板;及び
    少なくとも前記位相板とレンズを介して光を受光する検出器;
    を具備する装置。
  50. 前記位相板によって拡大深度が設定され、及び/または前記位相板が下記の式によって特徴づけられる請求項47又は49記載の撮像システム。
    Figure 0004249627
    ここで、φ(r)は任意の定数以内のレンズの半径rに対する位相遅れであり、前記範囲は距離s からs であり、Rは当該レンズの外側半径であり、tは当該レンズが配設されている面から前記取込み手段によって取込んだ画像の面迄の距離であり、λ は自由空間波長であり、及び/または、
    ここで、φ(r)によって特徴づけられる前記位相板の中で、前記レンズの半径に対する前記レンズの焦点距離の比率を変化させるため、前記比率r/Rの重み付けを変化させることによって、異なった位相板を提供する。
JP2003553302A 2001-12-18 2002-12-18 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像 Expired - Fee Related JP4249627B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US34158001P 2001-12-18 2001-12-18
PCT/US2002/040538 WO2003052465A2 (en) 2001-12-18 2002-12-18 Multifocal aspheric lens obtaining extended field depth

Publications (3)

Publication Number Publication Date
JP2005513833A JP2005513833A (ja) 2005-05-12
JP2005513833A5 JP2005513833A5 (ja) 2006-02-16
JP4249627B2 true JP4249627B2 (ja) 2009-04-02

Family

ID=23338157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003553302A Expired - Fee Related JP4249627B2 (ja) 2001-12-18 2002-12-18 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像

Country Status (5)

Country Link
US (2) US6927922B2 (ja)
EP (1) EP1468314A4 (ja)
JP (1) JP4249627B2 (ja)
AU (1) AU2002357321A1 (ja)
WO (1) WO2003052465A2 (ja)

Families Citing this family (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218448B1 (en) * 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
US6547139B1 (en) * 1998-07-10 2003-04-15 Welch Allyn Data Collection, Inc. Method and apparatus for extending operating range of bar code scanner
US20060257884A1 (en) * 2004-05-20 2006-11-16 Amnis Corporation Methods for preparing and analyzing cells having chromosomal abnormalities
US7450229B2 (en) * 1999-01-25 2008-11-11 Amnis Corporation Methods for analyzing inter-cellular phenomena
US8885913B2 (en) 1999-01-25 2014-11-11 Amnis Corporation Detection of circulating tumor cells using imaging flow cytometry
US8005314B2 (en) * 2005-12-09 2011-08-23 Amnis Corporation Extended depth of field imaging for high speed object analysis
US8406498B2 (en) * 1999-01-25 2013-03-26 Amnis Corporation Blood and cell analysis using an imaging flow cytometer
US8131053B2 (en) 1999-01-25 2012-03-06 Amnis Corporation Detection of circulating tumor cells using imaging flow cytometry
AU2001297843A1 (en) 2000-10-12 2002-12-23 Amnis Corporation Imaging and analyzing parameters of small moving objects such as cells
US7084910B2 (en) * 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
US8717456B2 (en) * 2002-02-27 2014-05-06 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP2005519361A (ja) * 2002-02-27 2005-06-30 シー・デイ・エム・オプテイクス・インコーポレイテツド 波面符号化イメージングシステムの最適化された画像処理
US7102826B2 (en) * 2002-03-01 2006-09-05 Avago Technologies Sensor Ip Pte. Ltd. Telecentric singlet having a small height requirement
WO2003076984A1 (en) * 2002-03-14 2003-09-18 Ramot At Tel Aviv University Ltd. All optical extended depth-of-field imaging system
US8294999B2 (en) 2003-01-16 2012-10-23 DigitalOptics Corporation International Optics for an extended depth of field
US7773316B2 (en) * 2003-01-16 2010-08-10 Tessera International, Inc. Optics for an extended depth of field
US20070236573A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Combined design of optical and image processing elements
CN1739118B (zh) * 2003-01-16 2010-05-26 德萨拉国际有限公司 具有图像增强功能的照相机
US7180673B2 (en) * 2003-03-28 2007-02-20 Cdm Optics, Inc. Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems
FR2855084A1 (fr) * 2003-05-22 2004-11-26 Air Liquide Optique de focalisation pour le coupage laser
US8254714B2 (en) * 2003-09-16 2012-08-28 Wake Forest University Methods and systems for designing electromagnetic wave filters and electromagnetic wave filters designed using same
US20050146790A1 (en) * 2003-10-31 2005-07-07 National Research Council Optical tracking system, and optical element therefore with quartic phase plate
US7944467B2 (en) * 2003-12-01 2011-05-17 Omnivision Technologies, Inc. Task-based imaging systems
CN1898590A (zh) 2003-12-01 2007-01-17 Cdm光学有限公司 用于优化光学和数字系统设计的系统和方法
US8319975B2 (en) * 2004-03-11 2012-11-27 Nano-Or Technologies (Israel) Ltd. Methods and apparatus for wavefront manipulations and improved 3-D measurements
WO2005090945A1 (en) 2004-03-16 2005-09-29 Amnis Corporation Method for imaging and differential analysis of cells
US8953866B2 (en) 2004-03-16 2015-02-10 Amnis Corporation Method for imaging and differential analysis of cells
CA2598602A1 (en) 2004-03-16 2005-10-20 Amnis Corporation Image based quantitation of molecular translocation
US7365917B2 (en) 2004-08-16 2008-04-29 Xceed Imaging Ltd. Optical method and system for extended depth of focus
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
US7936392B2 (en) 2004-10-01 2011-05-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
CN101080742A (zh) * 2004-10-15 2007-11-28 松下电器产业株式会社 利用多焦点透镜获取的图像的增强
US7215493B2 (en) * 2005-01-27 2007-05-08 Psc Scanning, Inc. Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
KR100691268B1 (ko) * 2005-08-02 2007-03-12 삼성전기주식회사 Psf를 이용하여 이미지를 처리하는 광학 시스템 및이미지 처리방법
US7412158B2 (en) * 2005-08-08 2008-08-12 Nokia Corporation Deeper depth of field for video
WO2008008084A2 (en) * 2005-09-19 2008-01-17 Cdm Optics, Inc. Task-based imaging systems
US8066375B2 (en) * 2005-10-10 2011-11-29 Tobii Technology Ab Eye tracker having an extended span of operating distances
KR100735367B1 (ko) 2005-10-27 2007-07-04 삼성전기주식회사 다중 곡률 렌즈를 구비하는 광학 시스템 및 그 형성 방법
US20070236574A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Digital filtering with noise gain limit
US20070239417A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Camera performance simulation
US8514303B2 (en) * 2006-04-03 2013-08-20 Omnivision Technologies, Inc. Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
WO2009020918A1 (en) 2007-08-04 2009-02-12 Omnivision Cdm Optics, Inc. Multi-region imaging systems
US8390729B2 (en) * 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US8326071B2 (en) * 2007-09-10 2012-12-04 Nikon Corporation Image processing method to restore an image
WO2009061439A2 (en) * 2007-11-06 2009-05-14 Tessera North America, Inc. Determinate and indeterminate optical systems
EP2891918A1 (en) * 2008-02-29 2015-07-08 Global Bionic Optics Pty Ltd. Single-lens extended depth-of-field imaging systems
KR101422503B1 (ko) * 2008-05-09 2014-07-25 삼성전자주식회사 연장된 초점 심도를 갖는 렌즈 및 이를 포함하는 광학시스템
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8131097B2 (en) * 2008-05-28 2012-03-06 Aptina Imaging Corporation Method and apparatus for extended depth-of-field image restoration
US7898746B2 (en) * 2008-07-03 2011-03-01 Aptina Imaging Corporation Extended depth-of-field lenses and methods for their design, optimization and manufacturing
US8831316B2 (en) * 2008-07-31 2014-09-09 Anastasia Tyurina Point source detection
WO2010065344A1 (en) * 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
WO2010077625A1 (en) 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8379321B2 (en) * 2009-03-05 2013-02-19 Raytheon Canada Limited Method and apparatus for accurate imaging with an extended depth of field
EP2228677A1 (en) * 2009-03-09 2010-09-15 Global Bionic Optics Pty Ltd. Extended depth-of-field surveillance imaging system
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US20100271536A1 (en) * 2009-04-27 2010-10-28 Digital Imaging Systems Gmbh Blended autofocus using mechanical and softlens technologies
TWI407235B (zh) * 2009-07-22 2013-09-01 Hon Hai Prec Ind Co Ltd 自動對焦系統及方法
TWI525346B (zh) * 2009-09-01 2016-03-11 財團法人工業技術研究院 具有長焦深之光學成像系統及光學系統
WO2011027536A1 (ja) * 2009-09-01 2011-03-10 オリンパス株式会社 光学装置、およびそれを用いた撮像装置、撮像システム
US8451524B2 (en) * 2009-09-29 2013-05-28 Amnis Corporation Modifying the output of a laser to achieve a flat top in the laser's Gaussian beam intensity profile
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8798388B2 (en) * 2009-12-03 2014-08-05 Qualcomm Incorporated Digital image combining to produce optical effects
JPWO2011096193A1 (ja) * 2010-02-08 2013-06-10 パナソニック株式会社 撮像レンズ及びそれを用いた撮像装置、並びに、当該撮像装置を搭載した携帯機器
US8531783B2 (en) 2010-02-09 2013-09-10 Xceed Imaging Ltd. Imaging method and system for imaging with extended depth of focus
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8600186B2 (en) * 2010-04-26 2013-12-03 City University Of Hong Kong Well focused catadioptric image acquisition
US8416334B2 (en) 2010-04-27 2013-04-09 Fm-Assets Pty Ltd. Thick single-lens extended depth-of-field imaging systems
US8817115B1 (en) 2010-05-05 2014-08-26 Amnis Corporation Spatial alignment of image data from a multichannel detector using a reference image
EP2569935B1 (en) 2010-05-12 2016-12-28 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8159753B2 (en) 2010-05-28 2012-04-17 Universidad De Guanajuato Optical system with variable field depth
JP5660711B2 (ja) * 2010-09-16 2015-01-28 富士フイルム株式会社 復元ゲインデータ生成方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
IN2014CN02708A (ja) 2011-09-28 2015-08-07 Pelican Imaging Corp
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
EP2820838B1 (en) 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
JP6270314B2 (ja) * 2012-12-27 2018-01-31 キヤノン株式会社 光学装置、画像形成装置及び画像読取装置
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP6396638B2 (ja) * 2013-03-29 2018-09-26 マクセル株式会社 位相フィルタ、撮像光学系、及び撮像システム
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
JP6392328B2 (ja) * 2014-04-28 2018-09-19 マクセル株式会社 光学部品およびそれを用いた撮像装置
US8988317B1 (en) 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
GB2544946B (en) 2014-08-31 2021-03-10 Berestka John Systems and methods for analyzing the eye
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9495590B1 (en) 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
CN106610521B (zh) * 2015-10-22 2019-11-19 中强光电股份有限公司 取像装置以及影像拍摄方法
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10578274B2 (en) 2016-06-10 2020-03-03 General Electric Company Lens array assembly and method for making the same
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CA3058554A1 (en) * 2017-03-29 2018-10-04 Engemma Oy Gemological object recognition
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
CN115047548A (zh) 2017-05-24 2022-09-13 纽约市哥伦比亚大学理事会 色散工程化介电超表面的宽带消色差平坦光学部件
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN111656707A (zh) 2017-08-31 2020-09-11 梅特兰兹股份有限公司 透射型超表面透镜集成
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US11927776B2 (en) 2019-03-08 2024-03-12 Interdigital Madison Patent Holdings, Sas Optical method and system for light field displays based on beams with extended depth of focus
CN110428463B (zh) * 2019-06-04 2021-09-14 浙江大学 非球面光学元件离焦模糊定中图像自动提取中心的方法
US11978752B2 (en) 2019-07-26 2024-05-07 Metalenz, Inc. Aperture-metasurface and hybrid refractive-metasurface imaging systems
US11172112B2 (en) 2019-09-09 2021-11-09 Embedtek, LLC Imaging system including a non-linear reflector
DE112020004391B4 (de) 2019-09-17 2024-08-14 Intrinsic Innovation Llc Systeme und Verfahren zur Oberflächenmodellierung unter Verwendung von Polarisationsmerkmalen
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
CN115552486A (zh) 2020-01-29 2022-12-30 因思创新有限责任公司 用于表征物体姿态检测和测量系统的系统和方法
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11927769B2 (en) 2022-03-31 2024-03-12 Metalenz, Inc. Polarization sorting metasurface microlens array device

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4340283A (en) * 1978-12-18 1982-07-20 Cohen Allen L Phase shift multifocal zone plate
US4745484A (en) 1986-07-30 1988-05-17 Drexler Technology Corporation Method and apparatus for stepped imaging in reading data
NL8602149A (nl) * 1986-08-25 1988-03-16 Philips Nv Optisch afbeeldingsstelsel met elektronisch varieerbare brandpuntsafstand en optische beeldopnemer van een dergelijk stelsel voorzien.
FR2609817B1 (fr) 1987-01-21 1989-05-05 Matra Procede et dispositif de prise de vue a grande profondeur de champ
DE3905619C2 (de) 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
US5270825A (en) * 1989-10-12 1993-12-14 Olympus Optical Co., Ltd. Imaging optical system having a moire elimination effect
JP2907465B2 (ja) 1989-11-24 1999-06-21 オリンパス光学工業株式会社 画像入出力装置
US5210398A (en) * 1991-06-14 1993-05-11 Symbol Technologies, Inc. Optical scanner with extended depth of focus
DE4134518A1 (de) * 1991-10-18 1993-04-22 Adatomed Pharma & Med Ophthalmische linse
IL100657A0 (en) * 1992-01-14 1992-09-06 Ziv Soferman Multifocal optical apparatus
JPH06224106A (ja) * 1993-01-26 1994-08-12 Nikon Corp 投影露光装置
US5438366A (en) * 1993-03-31 1995-08-01 Eastman Kodak Company Aspherical blur filter for reducing artifacts in imaging apparatus
US5322998A (en) * 1993-03-31 1994-06-21 Eastman Kodak Company Conical blur filter for reducing artifacts in imaging apparatus
US5483366A (en) * 1994-07-20 1996-01-09 David Sarnoff Research Center Inc LCD with hige capacitance pixel having an ITO active region/poly SI pixel region electrical connection and having poly SI selection line extensions along pixel edges
JPH08172533A (ja) * 1994-12-20 1996-07-02 Olympus Optical Co Ltd 画像処理装置
US6911638B2 (en) 1995-02-03 2005-06-28 The Regents Of The University Of Colorado, A Body Corporate Wavefront coding zoom lens imaging systems
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US20020118457A1 (en) 2000-12-22 2002-08-29 Dowski Edward Raymond Wavefront coded imaging systems
US7218448B1 (en) 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
US20030057353A1 (en) * 2001-07-20 2003-03-27 Dowski Edward Raymond Wavefront coding zoom lens imaging systems
SE512350C2 (sv) 1996-01-09 2000-03-06 Kjell Olsson Ökat skärpedjup i fotografisk bild
JP3464872B2 (ja) * 1996-06-26 2003-11-10 富士通株式会社 分離するユニットの監視制御システム
JP3526381B2 (ja) * 1997-01-28 2004-05-10 三洋電機株式会社 固体撮像装置
EP0864853B1 (en) * 1997-03-11 2005-06-01 Nihon Kohden Corporation Particle analyser with composite lens formed by lens elements of different focal point
JP3408112B2 (ja) * 1997-04-30 2003-05-19 キヤノン株式会社 回折光学素子を有した光学部材及びそれを用いた光学系
US6000798A (en) * 1997-10-06 1999-12-14 Innotech Inc. Ophthalmic optic devices
US6021005A (en) * 1998-01-09 2000-02-01 University Technology Corporation Anti-aliasing apparatus and methods for optical imaging
JP2002513951A (ja) * 1998-05-01 2002-05-14 ユニバーシティ テクノロジー コーポレイション 拡大被写界深度光学システム
JP3961729B2 (ja) * 1999-03-03 2007-08-22 株式会社デンソー 全焦点撮像装置
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
US20030051353A1 (en) 2001-02-13 2003-03-20 Andreas Gartner Formation of a disk from a fracturable material
US6525302B2 (en) 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
US20040008423A1 (en) * 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
DE10227071A1 (de) 2002-06-17 2003-12-24 Merck Patent Gmbh Verbundmaterial enthaltend Kern-Mantel-Partikel

Also Published As

Publication number Publication date
US6927922B2 (en) 2005-08-09
US20050275953A1 (en) 2005-12-15
EP1468314A2 (en) 2004-10-20
WO2003052465A3 (en) 2004-07-15
EP1468314A4 (en) 2006-12-13
JP2005513833A (ja) 2005-05-12
WO2003052465A2 (en) 2003-06-26
AU2002357321A8 (en) 2003-06-30
US20030142877A1 (en) 2003-07-31
US7554750B2 (en) 2009-06-30
AU2002357321A1 (en) 2003-06-30

Similar Documents

Publication Publication Date Title
JP4249627B2 (ja) 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像
Tseng et al. Differentiable compound optics and processing pipeline optimization for end-to-end camera design
JP4828549B2 (ja) 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法
Green et al. Multi-aperture photography
Sun et al. End-to-end learned, optically coded super-resolution SPAD camera
JP5988790B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US7767949B2 (en) Apparatus and method for capturing still images and video using coded aperture techniques
JP4389371B2 (ja) 画像修復装置および画像修復方法
JP2005513833A5 (ja)
JP4742190B2 (ja) 3次元オブジェクト計測装置
US10154216B2 (en) Image capturing apparatus, image capturing method, and storage medium using compressive sensing
Delbracio et al. Removing camera shake via weighted fourier burst accumulation
EP1410327A2 (fr) Procede et systeme pour produire des informations formatees liees aux defauts d'au moins un appareil d'une chaine, notamment au flou
JP5677366B2 (ja) 撮像装置
JP2007503605A (ja) 画像処理のための画像プロセッサ及び方法
WO2019176349A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
CN106663312B (zh) 用于改善计算成像的系统和方法
Savazzi Digital photography for science
JP6087719B2 (ja) 画像処理装置及び画像処理方法
JPWO2019171691A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
Lam Computational photography: Advances and challenges
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
Mascarenas et al. An event-driven light field, digital coded exposure imager architecture for per-pixel image regeneration in post processing
JP2017535807A (ja) 光学素子を有するモバイルデバイス
EP4244806A1 (en) Method for digital image processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080728

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080804

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080930

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4249627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees