JP4828549B2 - 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法 - Google Patents
符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法 Download PDFInfo
- Publication number
- JP4828549B2 JP4828549B2 JP2007552179A JP2007552179A JP4828549B2 JP 4828549 B2 JP4828549 B2 JP 4828549B2 JP 2007552179 A JP2007552179 A JP 2007552179A JP 2007552179 A JP2007552179 A JP 2007552179A JP 4828549 B2 JP4828549 B2 JP 4828549B2
- Authority
- JP
- Japan
- Prior art keywords
- lens
- image
- light
- sensor
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000003384 imaging method Methods 0.000 title description 46
- 239000004065 semiconductor Substances 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 21
- 230000035945 sensitivity Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims 2
- 239000003550 marker Substances 0.000 description 33
- 230000000737 periodic effect Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 238000005314 correlation function Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000005855 radiation Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- 238000003491 array Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 240000005020 Acaciella glauca Species 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 229920001485 poly(butyl acrylate) polymer Polymers 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 235000003499 redwood Nutrition 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/16—Measuring radiation intensity
- G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- High Energy & Nuclear Physics (AREA)
- Molecular Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本出願は、2005年1月18日出願の「符号化開口技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の現在特許出願中の米国特許出願第11/039,029号の一部継続出願であり、2005年7月20日出願の「符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法」という名称の米国特許仮出願第60/701,435号の恩典を主張するものである。その出願は、その全内容が引用により組み込まれている。
本発明は、一般的に画像取込及び画像処理の分野に関する。より具体的には、本発明は、符号化レンズ技術を用いて静止画像及び映像を取り込むための装置及び方法に関する。
本発明の一実施形態により、読み出し電子機器とディスプレイとを含むシングルショット画像又は連続(例えば、ビデオ)画像のための可視光符号化レンズアレイカメラを図5に示している。図示の実施形態は、光感応グレースケール又はカラー半導体センサ504の前に配置された符号化レンズアレイ501を含む。符号化レンズアレイ501は、円形、正方形、六角形、又は矩形のパターン(又は、平面にタイル張りされることが可能なあらゆるパターン)の開口であり、その一部は、可視光を通し(すなわち、「開放」)(例えば、要素503)、その一部は、可視光を通さないものである(すなわち、「閉鎖」)(例えば、要素503)。502のような各開放開口は、508のようなレンズで覆われ(又はレンズを含み)、事実上開放開口を通過する光の全てがレンズを通過するようになっている。典型的な符号化レンズアレイは、約50%の各々レンズが付いた透明な開口を有する。図示の符号化レンズアレイパターンは、透明開口の不透明開口に対する比が4/5であるMURA次数3である。2次元又は3次元の光景500(周囲又は人工照明で照らされることが可能)からの可視光は、符号化開口アレイ501のレンズ及び開放開口を通って画像センサ504上に投射される。(このカメラは、センサ上に投影されたFOVを完全符号化FOVに限定することができる。この完全符号化FOVの重なり合う投影の光の寄与は、図6の説明図620に示されている。)一実施形態では、これは、自動平行化符号化レンズアレイ501を使用することにより達成される(自動平行化は、符号化レンズアレイ501の背後のバッフル517により達成され、これについては以下に説明する)。符号化レンズアレイとセンサの間の空間は、遮光ハウジング516(その概略図のみを図5に示す)で覆われ、符号化レンズアレイ501のレンズ及び開放開口を通過する以外の光がセンサに到達しないようにする。
本発明の一実施形態によれば、符号化レンズアレイ501は、「修正均一冗長アレイ(MURA)」パターンである。本発明の別の実施形態によれば、符号化レンズアレイ501は、「完全バイナリアレイ(PBA)」パターンである。本発明の別の実施形態によれば、符号化レンズアレイ501は、「均一冗長アレイ(URA)パターンである。また、本発明の更に別の実施形態によれば、符号化レンズアレイ501は、ランダムパターンである(ただし、一般的に、ランダムパターンでは、装置の性能は、MURA、PBA、又はURAの場合ほど最適ではない)。典型的に、基本の開口パターンは、センサと同じ大きさであり、符号化レンズアレイ全体は、この基本の開口パターンの2×2のモザイクになる。アレイの各透明開口は、レンズを含む。3つの例示的なMURAパターン及び1つのPBAパターンを図2に示している。MURA101は、101×101の要素のパターンであり、MURA61は、61×61の要素のパターンであり、MURA31は、31×31の要素のパターンである。PBA8は、8×8の要素のパターンであり、PBA24は、24×24の要素のパターンである。PBAパターンは、MURAパターンに比べて拡大して示している。各パターンでは、各黒い区域が不透明であり、各白い区域が透明であって(開放)レンズを含む。
一実施形態では、符号化開口は、スイスの「Suss Micro−optics of Neuchatel」が製造するようなマイクロレンズアレイから成る。マイクロレンズアレイは、典型的に直線又は六角形の格子で製造された典型的に平凸レンズのアレイである。一実施形態では、マイクロレンズアレイは、レンズを格子の各位置に備える符号化レンズアレイに使用されるが、「閉鎖」開口位置にあるこれらのレンズは、不透明の塗料を塗装されるか、又は「閉鎖」開口位置に不透明材料が平板印刷で被覆されるであろう。
本発明により、符号化レンズアレイとセンサ面の間の距離は、個々のレンズの投影の各々について焦点が合うように選択される。無限遠にある被写体を撮像するには、センサ面は、レンズの焦点面に配置される。有限距離にある被写体を撮像するには、センサ面はレンズの焦点面よりも僅かに後ろに配置され、望ましい距離で焦点を合わせる。符号化開口結像の場合と異なり、符号化レンズアレイとセンサ面の間の距離は、従って、任意に選択されてはならず、焦点距離、結像面からセンサ面までの距離、及び結像される被写体の距離の間の制約は守られるべきである。
tanα/2=d/l、又は
α=2atan(d/l)
全ての光景の被写体の距離で焦点が合った画像を投影する符号化開口カメラとは違い、符号化レンズカメラは、符号化レンズアレイのレンズの焦点の制限を受ける。一般的に、従来の単レンズカメラでは、カメラの被写界深度(DOF)(すなわち、近い焦点から遠い焦点までの範囲)は、カメラの集光機能に反比例する。これは、レンズの開口を狭めてセンサに達する光景からの光を低減することにより、典型的にDOFが増大するからである。
説明を分かりやすくするために、図の大部分に示す符号化レンズアレイは、各透明開口にただ1つのレンズ要素を有する。これは、一部の用途には十分であると考えられるが、幾何学歪み、コマ、及び色収差のような画像収差を補正するために複数のレンズ要素を使用することが好ましい用途もある。一世紀にわたってレンズ業界全体は、多要素レンズを設計することに専念してレンズの収差問題に対処してきたが、この従来技術の研究の莫大な文献については、本明細書で繰り返さない。あえて言うならば、一般的に、写真品質の撮像には、3つ又はそれ以上の要素が必要であり、更に、一般的に、カメラが固定焦点ではない場合は、焦点を合わせるために、これらの要素のうちの1つ又はそれよりも多くを光軸上で前後に移動させる必要がある。このような前後の動きは、レンズの一部又は全部を囲むカラーを回転させる回転機構によって行われることが多く、カラーは、次に、レンズ要素の1つ又はそれよりも多くを光軸にそって移動させるネジ山に係合する。
センサピクセルの大きさと開口要素の大きさが典型的に同じ大きさになるように選択された符号化開口の撮像と異なり、符号化レンズの撮像では、個々のレンズは、センサピクセルの大きさよりも遥かに大きくすることができる。
一実施形態によると、図5のセンサ504は、CCDセンサである。より具体的には、「バイエル」パターンの別名でも公知のカラーフィルタアレイ(CFA)を使用するカラーCCDセンサが、カラー撮像のために使用されている。CFAは、各センサのピクセルの前に配置された赤、緑、及び青色のフィルタのモザイクパターンであり、各センサのピクセルが、3つの色平面を読み取ることを可能にする(モノクロCCDセンサに比べて減少した空間解像度で)。図9は、例示的なRGB「バイエルパターン」を示している。各ピクセルクラスター900は、4ピクセル901〜904から成り、各ピクセル上に緑(G)、赤(R)、又は青(B)色のカラーフィルタを有する。「バイエル」パターンの各ピクセルクラスターは、2つの緑色のピクセル(901及び904)と、1つの赤色のピクセル(902)と、1つの青色のピクセル(903)とを有することに注意されたい。ピクセルクラスターは、一般的に、密に詰まってCFA全体を作り出すアレイ905になっている。しかし、本発明の基本原理は、「バイエル」パターンに限定されないことに注意すべきである。
以下の演算の組は、本発明の一実施形態では、上述のように取り込まれて調節されたセンサ画像から光景を再構成するために用いられる。Gottesmanによれば、MURAレンズアレイは、次のように組み立てられる。最初に、pを奇素数とする時、長さpのルジャンドル数列を考える。i=0,1,...,p−1とする時、ルジャンドル数列l(i)は、次のように定められる。
l(0)=0、
l(i)=+1、あらゆるk=1,2,...,P−1に対して、k2 mod p=lの関係が満たされる場合、
l(i)=−1、それ以外の場合。
次に、サイズp×pのMURAであるa(i,j)は、次のように求められる。
a(0,j)=0、j=0,1,...,p−1の場合、
a(i,0)=1、i=1,2,...,p−1の場合、
a(i,j)=(l(i)*l(j)+1)/2、i=1,2,...,p−1及びj=1,2,...,p−1の場合。
g(0,0)=+1/K、
g(i,j)=(2a(i,j)−1)/K、i>0又はj>0の場合。
1.符号化レンズアレイパターンに関連する周期的逆フィルタを計算する。
2.逆フィルタの2つの隣接する要素間の距離がセンサ面における2つの隣接するレンズの光景の投影の隔離距離と等しくなるように、逆フィルタを幾何学的に拡大したものを計算する。逆フィルタを拡大したものは、2つのフィルタ要素間の全ての値をゼロで埋め、フィルタ要素が非ゼロのピークを表し、各々が単一ピクセルの大きさを有するようにして、センサの解像度によって再サンプリングされる。本発明の一実施形態によると、2つの隣接するレンズの投影間の距離がピクセルサイズの整数の倍数である場合には、逆フィルタを拡大したものを計算するために、信号処理から公知である標準的な補間法を用いる。この場合、各フィルタ要素は、1ピクセルよりも多くに広がる場合がある。2つの隣接するレンズの投影間の隔離距離は、符号化レンズカメラからの被写体の距離により変化することに注意すべきである。従って、様々な距離の被写体を再構成するために、様々な逆フィルタが使用される場合がある。
3.段階(2)に従ってセンサの解像度に対して再サンプリングされたセンサ画像と逆フィルタの間の2次元周期的相互相関関数を計算する。
4.3.の結果の各ピクセルをK、すなわち、MURA又はPBA又は他のレンズアレイパターンの単一周期内のレンズの数で割る。
上述のように、一実施形態では、センサ信号からの光景の再構成は、カメラに内蔵されたデジタル信号プロセッサ(DSP)(例えば、DSP132)又はカメラ外部のコンピュータ装置で行われる。一実施形態では、光景の再構成は、以下の演算シーケンスから成る。
1.センサの出力信号の伝達特性を線形にし、各センサの線形にされた出力信号がセンサのピクセル毎に数えられた光子の数に比例するようにする。
2.符号化レンズアレイに関連する適切に拡大された周期的な逆フィルタとセンサ信号を周期的に相関付ける。
3.その結果を負でないピクセル値まで低減する。
4.適切な増幅係数で各ピクセルを拡大することにより、バッフルの減衰を補正する。
5.任意的に、(4)の間に結果の中央部分よりもノイズ増幅を受けやすい結果の軸外部分を平滑化する。
一実施形態では、正確な被写体の距離が不明確であるか又は未知である時に、「既知の距離に1つの被写体を有する光景の再構成」の節で説明した演算シーケンスのうちの演算(2)が、様々な予想される被写体の距離oで繰り返される。この技術により、同じセンサ信号から1組の複数の再構成が得られる。この再構成の組の中で、予想される被写体の距離が本当の被写体の距離と一致するか又はこれに最も近いものが、実際の光景の最も厳密な再構成になり、予想される距離と本当の距離とが一致しない再構成は、アーチファクトを含むことになる。これらのアーチファクトは、再構成の中で横線又は縦線の模様のような高周波アーチファクト、又は再構成の縁部付近の共鳴アーチファクトとして見られる。
一実施形態によると、様々な予想される被写体距離oを用い、画像の一部の部分的再構成のみを計算する。部分的再構成は、再構成画像の全てのピクセルの部分集合について、単に「既知の距離に1つの被写体を有する光景の再構成」の節の演算(2)の周期的な相互相関関数を求めることによって計算され、従って、再構成の計算の複雑性を軽減する。このピクセルの部分集合は、画像の2段抽出バージョン、画像の隣接領域、又はピクセルの他の適切な部分集合とすることができる。次に、2つの1次元の周期的なフィルタリング演算は、単に再構成画像の横列及び/又は縦列の部分集合について数値を求めればよい。部分的再構成の組から、本当の距離oを特定するために、高周波アーチファクトが最も少なく、かつ最も滑らかな強度プロフィールのものが識別される。識別された本当の被写体距離oについて、次に、完全な再構成を行う。このようにして、本当の被写体距離oを自動的に測定しながら光景の再構成を行うという計算の複雑性を軽減することができる。
一実施形態により、様々な被写体距離oの1組の完全な画像再構成が計算される。光景の様々な部分の被写体は、様々な距離にある場合があるために、再構成は、いくつかの領域に分解される。各領域について、高周波アーチファクトが最も少なく、最も滑らかな強度プロフィールをもたらす被写体距離oを識別する。最終的な再構成は、領域毎にまとめられるが、各領域について最適な被写体距離oを有する再構成を選択する。このようにして、FOVの無限深度(クローズアップから無限まで)を有する画像を単一のセンサ信号から再構成することができる。
前に説明した通り、距離o1での領域r1の「単調な」再構成は、光景全体が一定の距離o1であった場合にのみ正確なものになるであろう。しかし、他の領域が様々な距離の場合には、領域r1の再構成に影響を与える「クロストーク」が発生する。従って、一実施形態により、反復的再構成手順を用い、様々な距離の光景の様々な領域間のこのクロストークを低減する。本発明の一実施形態に従った反復的再構成手順は、以下の演算の組から成る。
1.「単調な」再構成、すなわち、光景にわたって均一の距離を仮定する再構成を1組の距離o1、o2、...、onにおいて計算する。
2.このように取得した単調な再構成を用いて、光景をいくつかの連続的な領域r1、r2、...、rm及び対応する距離o1、o2、...、omに分解する。この分解は、各領域について距離oiの再構成riが「より良く」なる、すなわち、同じ領域の他の距離での全ての再構成よりも高周波アーチファクトが少なく、滑らかな強度プロフィールを有するように行われる。
3.再構成された領域ri(i=1,2,...,m)の各々について、センサ画像への寄与量siを計算する。これは、レンズアレイパターンを用いてriの2次元周期的相互相関関数を計算することにより行う。全ての領域の再構成が完全であった場合には、全てのセンサ画像の寄与量の合計は、測定されたセンサ画像sと等しくなるということに注意されたい。
4.再構成された領域ri(i=1,2,...,m)の各々に対して、測定されたセンサ画像から全ての他の領域のセンサ画像の寄与量を引く、すなわち、次のようにする。
5.Δsi(i=1,2,...,m)を利用して、距離oiの各領域について正確な再構成r’iを計算する。任意的に、距離の推定oiを正確にするためにも、最初の距離oj前後のいくつかの様々な距離でこの段階を繰り返すことができる。この場合、各領域について最も少ない高周波アーチファクト及び最も滑らかな強度プロフィールを有する再構成及び距離を選択する。
6.任意的に、各領域を更に精巧にするために演算(3)に戻る。
一実施形態によると、符号化レンズカメラの出力信号は(2次元の画像情報に加えて)、高周波アーチファクトが最も少なくかつ最も滑らかな強度プロフィールを有する各領域の被写体距離oを見つけることから判断された各画像ピクセル又はいくつかの画像領域に対する距離情報も含む。従って、画像内に再構成された各ピクセルに対して、単一強度値(グレースケールの可視光、赤外線、紫外線、又は他の単一周波数放射線に対して)又は赤、緑、青色の可視光線に対する3つの強度値を引き出す再構成に加えて、再構成は、画像内のそのピクセル位置でのカメラから被写体までの距離を示すz値を割り当てる。このようにして、単一の2次元センサ信号から3次元画像データを取得することができる。更に、距離データは、カメラ、外部撮像操作システム、又は画像操作アプリケーション又はシステムを利用するユーザが、光景の前景内の被写体を光景の後景から分離するなど、2次元画像を光景の様々な部分に関連する様々な領域に容易に分割することを可能にする。
クロマキー法は、映像及び写真の製作で前景画像を無地の背景色から切り離すために一般的に使用される技術である。一般的に、「ブルースクリーン」又は「グリーンスクリーン」が使用され、これは、背景がビデオテープ又はフィルム上に撮影される又は取り込まれる間に演者又は被写体の背後に配置される非常に注意深く着色され、かつ照らされたスクリーンである。リアルタイムで又は後処理により、ハードウエア又はソフトウエアシステムは、前景画像を異なる背景に合成することができるように、恐らくは独特の色をした前景画像をかなり一様に着色された背景画像から切り離す。例えば、一般的にTVニュース番組の天気予報士は、ブルー又はグリーンスクリーンに対してクロマキー処理され、その後天気図の上に合成される。
一実施形態のピクセル毎の測距機能はまた、光学性能運動捕獲(mocap)において用途を有する。「mocap」は、現在、テレビゲーム(例えば、カリフォルニア州レッドウッド・シティー所在の「Electronic Arts」が提供する「NBA Live 2005」)及び映画(例えば、ニューヨーク州ニューヨーク所在の「Time Warner、Inc.」の一部門である「Castle Rock Entertainmanet」によりリリースされた「ポーラー・エクスプレス」)を含むCGアニメーションの人物、動物、及び小道具の動きを取り込むのに使用されている。このような「mocap」システム(例えば、英国オックスフォード所在の「Vicon Motion Systems、Ltd.」製のもの)は、一般的に、舞台を取り囲むいくつかの単レンズビデオカメラを用いる。逆反射マーカ(又は、他の特徴的なマーク付け)が、演者の体及び小道具全体に配置される。ビデオカメラは、各々が遮られていないFOV内のマーカを取り込みながら、同時にマーカの画像を取り込む。最後に、ソフトウエアが、ビデオフレームの全てを分析し、三角法によって3D空間の各マーカの位置の識別を試行する。
別の実施形態では、符号化レンズカメラをロボット視覚システムに使用する。例えば、製造用途において、従来のレンズカメラは、ロボット電機子に距離情報を提供して組立てにおいてそれが持ち上げて挿入する必要がある部品の(x,y,z)位置を特定することはできないが、符号化レンズカメラは、それが可能である。
一実施形態では、符号化レンズカメラを防犯システムに用いる。これらは、低ダイナミックレンジのセンサを使用して高ダイナミックレンジの光景を取り込む機能を有するために、従来の単レンズカメラでは通常は画像をぼやけさせる逆光照明がある状況において、使用可能な画像を提供することができる。例えば、侵入者が入口から入ってくる場合に、入口の外に明るい昼の光があった場合は、従来の単レンズカメラは、入口の外側でも入口の内側でも有用な画像を解像することはできないが、符号化レンズカメラは、それが可能である。
101 符号化開口
104 光感応グレースケール又はカラー半導体センサ3
Claims (21)
- 互いに連結されて符号化パターンを形成する複数のレンズを含む符号化レンズアレイを含み、
前記符号化パターンは、円形、正方形、六角形、又は矩形の開口のパターンであり、その一部は、可視光を通す開放開口であり、その一部は、可視光を通さない閉鎖開口であり、各開放開口は、レンズで覆われるか又はレンズを含み、事実上開放開口を通過する光の全てがレンズを通過するように構成され、
前記符号化レンズアレイに連結され、かつ該符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサを更に含み、
前記光感応半導体センサは、前記符号化レンズアレイ内の前記レンズを透過した可視光を感知するように構成され、
前記光感応半導体センサに電気的に接続されたアナログ−デジタル(A/D)変換器を更に含み、
前記A/D変換器は、前記光感応半導体センサにより感知された可視光を表すアナログ信号を前記可視光を表すデジタル信号に変換するように構成され、
前記デジタル信号を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる画像再構成回路を更に含む、
ことを特徴とする、画像を符号化するための装置。 - 前記符号化パターンは、「均一冗長アレイ(URA)」パターンであることを特徴とする請求項1に記載の装置。
- 前記符号化パターンは、「修正均一冗長アレイ(MURA)」パターンであることを特徴とする請求項1に記載の装置。
- 前記符号化パターンは、ランダムパターンであることを特徴とする請求項1に記載の装置。
- 前記画像再構成回路は、デジタル信号プロセッサ(DSP)から成ることを特徴とする請求項1に記載の装置。
- 前記A/D変換器による変換の前に、前記光感応半導体センサから画像データを受け取り、かつ該画像データのピクセル値のゼロオフセット及び/又は利得を調節するように通信的に連結された画像センサ読み出しサブシステム、
を更に含むことを特徴とする請求項1に記載の装置。 - 前記符号化レンズアレイと前記光感応半導体センサの間に構成されて、該符号化レンズアレイと該光感応半導体センサの間を通過する光を平行化する複数のバッフル、
を更に含むことを特徴とする請求項1に記載の装置。 - 画像を符号化する方法であって、
符号化レンズアレイを構成する複数のレンズを符号化パターンに配置する段階を含み、
前記符号化パターンは、円形、正方形、六角形、又は矩形のパターンの開口であり、その一部は、可視光を通す開放開口であり、その一部は、可視光を通さない閉鎖開口であり、各開放開口は、レンズで覆われるか又はレンズを含み、事実上開放開口を通過する光の全てがレンズを通過するように構成され、
前記レンズを透過した可視光を前記符号化レンズアレイの背後の特定の距離に位置決めされた光感応半導体センサで感知する段階を更に含み、
前記光感応半導体センサにより感知された可視光を表すアナログ信号を前記可視光を表すデジタル信号に変換する段階を更に含み、
前記デジタル信号を使用して、前記符号化レンズアレイの前に位置決めされた被写体の画像を表す画像データを発生させる段階を更に含む、
ことを特徴とする方法。 - 前記符号化パターンは、「均一冗長アレイ(URA)」パターンであることを特徴とする請求項8に記載の方法。
- 前記符号化パターンは、「修正均一冗長アレイ(MURA)」パターンであることを特徴とする請求項8に記載の方法。
- 前記符号化パターンは、ランダムパターンであることを特徴とする請求項8に記載の方法。
- 前記画像データ発生段階は、デジタル信号プロセッサ(DSP)によって実行されることを特徴とする請求項8に記載の方法。
- 前記変換段階の前に、前記光感応半導体センサから画像データを受け取り、該画像データのピクセル値のゼロオフセット及び/又は利得を調節する段階、
を更に含むことを特徴とする請求項8に記載の方法。 - 前記符号化レンズアレイと前記光感応半導体センサとの間を通過する光を平行化する段階、
を更に含むことを特徴とする請求項8に記載の方法。 - 符号化パターンに配置された複数のレンズを含む符号化レンズアレイ手段を含み、
前記符号化パターンは、円形、正方形、六角形、又は矩形のパターンの開口であり、その一部は、可視光を通す開放開口であり、その一部は、可視光を通さない閉鎖開口であり、各開放開口は、レンズで覆われるか又はレンズを含み、事実上開放開口を通過する光の全てがレンズを通過するように構成され、
前記符号化レンズアレイ手段に連結され、かつ該符号化レンズアレイ手段の背後の特定の距離に位置決めされた光感応半導体センサ手段を更に含み、
前記光感応半導体センサ手段は、前記符号化レンズアレイ手段内の前記レンズを透過した可視光を感知するように構成され、
前記光感応半導体センサ手段に電気的に接続されたアナログ−デジタル(A/D)変換器手段を更に含み、
前記A/D変換器手段は、前記光感応半導体センサ手段により感知された可視光を表すアナログ信号を前記可視光を表すデジタル信号に変換するように構成され、
前記デジタル信号を使用して、前記符号化レンズアレイ手段の前に位置決めされた被写体の画像を表す画像データを発生させる画像再構成手段を更に含む、
ことを特徴とする装置。 - 前記符号化パターンは、「均一冗長アレイ(URA)」パターンであることを特徴とする請求項15に記載の装置。
- 前記符号化パターンは、「修正均一冗長アレイ(MURA)」パターンであることを特徴とする請求項15に記載の装置。
- 前記符号化パターンは、ランダムパターンであることを特徴とする請求項15に記載の装置。
- 前記画像再構成手段は、デジタル信号プロセッサ(DSP)から成ることを特徴とする請求項15に記載の装置。
- 前記A/D変換器手段による変換の前に、前記光感応半導体センサ手段から画像データを受け取り、かつ該画像データのピクセル値のゼロオフセット及び/又は利得を調節するように通信的に連結された画像センサ読み出し手段、
を更に含むことを特徴とする請求項15に記載の装置。 - 前記符号化レンズアレイ手段と前記光感応半導体センサ手段の間に構成されて、該符号化レンズアレイ手段と該光感応半導体センサ手段の間を通過する光を平行化するバッフル手段、
を更に含むことを特徴とする請求項15に記載の装置。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/039,029 | 2005-01-18 | ||
US11/039,029 US7767949B2 (en) | 2005-01-18 | 2005-01-18 | Apparatus and method for capturing still images and video using coded aperture techniques |
US70143505P | 2005-07-20 | 2005-07-20 | |
US60/701,435 | 2005-07-20 | ||
US11/210,098 US7671321B2 (en) | 2005-01-18 | 2005-08-22 | Apparatus and method for capturing still images and video using coded lens imaging techniques |
US11/210,098 | 2005-08-22 | ||
PCT/US2006/001111 WO2006078537A2 (en) | 2005-01-18 | 2006-01-13 | Apparatus and method for capturing still images and video using coded lens imaging techniques |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008527944A JP2008527944A (ja) | 2008-07-24 |
JP4828549B2 true JP4828549B2 (ja) | 2011-11-30 |
Family
ID=36692736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007552179A Active JP4828549B2 (ja) | 2005-01-18 | 2006-01-13 | 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US7671321B2 (ja) |
EP (1) | EP1856710B1 (ja) |
JP (1) | JP4828549B2 (ja) |
KR (1) | KR101289330B1 (ja) |
WO (1) | WO2006078537A2 (ja) |
Families Citing this family (166)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8717456B2 (en) | 2002-02-27 | 2014-05-06 | Omnivision Technologies, Inc. | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing |
US10425134B2 (en) | 2004-04-02 | 2019-09-24 | Rearden, Llc | System and methods for planned evolution and obsolescence of multiuser spectrum |
US10277290B2 (en) | 2004-04-02 | 2019-04-30 | Rearden, Llc | Systems and methods to exploit areas of coherence in wireless systems |
US9819403B2 (en) | 2004-04-02 | 2017-11-14 | Rearden, Llc | System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client |
US9826537B2 (en) | 2004-04-02 | 2017-11-21 | Rearden, Llc | System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters |
US8654815B1 (en) | 2004-04-02 | 2014-02-18 | Rearden, Llc | System and method for distributed antenna wireless communications |
US10148897B2 (en) | 2005-07-20 | 2018-12-04 | Rearden, Llc | Apparatus and method for capturing still images and video using coded lens imaging techniques |
US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
GB0510470D0 (en) * | 2005-05-23 | 2005-06-29 | Qinetiq Ltd | Coded aperture imaging system |
GB0602380D0 (en) * | 2006-02-06 | 2006-03-15 | Qinetiq Ltd | Imaging system |
GB2434936A (en) * | 2006-02-06 | 2007-08-08 | Qinetiq Ltd | Imaging system having plural distinct coded aperture arrays at different mask locations |
GB2434934A (en) | 2006-02-06 | 2007-08-08 | Qinetiq Ltd | Processing coded aperture image data by applying weightings to aperture functions and data frames |
GB2434937A (en) * | 2006-02-06 | 2007-08-08 | Qinetiq Ltd | Coded aperture imaging apparatus performing image enhancement |
GB2434935A (en) | 2006-02-06 | 2007-08-08 | Qinetiq Ltd | Coded aperture imager using reference object to form decoding pattern |
GB2434877A (en) * | 2006-02-06 | 2007-08-08 | Qinetiq Ltd | MOEMS optical modulator |
ATE512422T1 (de) * | 2006-04-03 | 2011-06-15 | Omnivision Cdm Optics Inc | Optische bildgebungssysteme und verfahren mit nichtlinearer und/oder räumlich variierender bildverarbeitung |
JP4650367B2 (ja) * | 2006-07-26 | 2011-03-16 | 船井電機株式会社 | 動き検出用撮像装置 |
GB0615040D0 (en) * | 2006-07-28 | 2006-09-06 | Qinetiq Ltd | Processing method for coded apperture sensor |
US20080089567A1 (en) * | 2006-10-11 | 2008-04-17 | Eliasson Tracy K | Artifact reduction in an x-ray imaging system |
TWI336810B (en) * | 2006-12-21 | 2011-02-01 | Altek Corp | Method of generating image data having parallax using a digital image-capturing device and digital image-capturing device |
US8103111B2 (en) * | 2006-12-26 | 2012-01-24 | Olympus Imaging Corp. | Coding method, electronic camera, recording medium storing coded program, and decoding method |
US8339418B1 (en) * | 2007-06-25 | 2012-12-25 | Pacific Arts Corporation | Embedding a real time video into a virtual environment |
US8019215B2 (en) * | 2007-08-06 | 2011-09-13 | Adobe Systems Incorporated | Method and apparatus for radiance capture by multiplexing in the frequency domain |
CN101952818B (zh) | 2007-09-14 | 2016-05-25 | 智慧投资控股81有限责任公司 | 基于姿态的用户交互的处理 |
US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
US20100039500A1 (en) * | 2008-02-15 | 2010-02-18 | Matthew Bell | Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator |
US8259163B2 (en) | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
US8243353B1 (en) | 2008-04-07 | 2012-08-14 | Applied Science Innovations, Inc. | Holography-based device, system and method for coded aperture imaging |
EP2289235A4 (en) | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8244058B1 (en) | 2008-05-30 | 2012-08-14 | Adobe Systems Incorporated | Method and apparatus for managing artifacts in frequency domain processing of light-field images |
US8595218B2 (en) * | 2008-06-12 | 2013-11-26 | Intellectual Ventures Holding 67 Llc | Interactive display management systems and methods |
KR101483714B1 (ko) * | 2008-06-18 | 2015-01-16 | 삼성전자 주식회사 | 디지털 촬상 장치 및 방법 |
US20100098323A1 (en) * | 2008-07-18 | 2010-04-22 | Agrawal Amit K | Method and Apparatus for Determining 3D Shapes of Objects |
JP5256933B2 (ja) * | 2008-08-25 | 2013-08-07 | 株式会社ニコン | 焦点情報検出装置 |
EP2175632A1 (en) | 2008-10-10 | 2010-04-14 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
AU2008246243B2 (en) * | 2008-11-19 | 2011-12-22 | Canon Kabushiki Kaisha | DVC as generic file format for plenoptic camera |
GB0822281D0 (en) * | 2008-12-06 | 2009-01-14 | Qinetiq Ltd | Optically diverse coded aperture imaging |
US8189089B1 (en) | 2009-01-20 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for reducing plenoptic camera artifacts |
CN101907700B (zh) * | 2009-06-08 | 2013-02-13 | 英华达股份有限公司 | 一种辅助导航的转向判断方法 |
US8228417B1 (en) | 2009-07-15 | 2012-07-24 | Adobe Systems Incorporated | Focused plenoptic camera employing different apertures or filtering at different microlenses |
US8654234B2 (en) * | 2009-07-26 | 2014-02-18 | Massachusetts Institute Of Technology | Bi-directional screen |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US8577539B1 (en) * | 2010-01-27 | 2013-11-05 | The United States Of America As Represented By The Secretary Of The Air Force | Coded aperture aided navigation and geolocation systems |
JP5688540B2 (ja) * | 2010-02-26 | 2015-03-25 | パナソニックIpマネジメント株式会社 | 固体撮像装置およびカメラ |
US8860833B2 (en) | 2010-03-03 | 2014-10-14 | Adobe Systems Incorporated | Blended rendering of focused plenoptic camera data |
US8432479B2 (en) * | 2010-04-30 | 2013-04-30 | Apple Inc. | Range measurement using a zoom camera |
US20110267485A1 (en) * | 2010-04-30 | 2011-11-03 | Kane Paul J | Range measurement using a coded aperture |
US8330852B2 (en) * | 2010-04-30 | 2012-12-11 | Eastman Kodak Company | Range measurement using symmetric coded apertures |
US8436912B2 (en) | 2010-04-30 | 2013-05-07 | Intellectual Ventures Fund 83 Llc | Range measurement using multiple coded apertures |
EP2569935B1 (en) | 2010-05-12 | 2016-12-28 | Pelican Imaging Corporation | Architectures for imager arrays and array cameras |
DE102010023344A1 (de) | 2010-06-10 | 2012-01-19 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Kameraobjektiv und Kamerasystem |
US8749694B2 (en) | 2010-08-27 | 2014-06-10 | Adobe Systems Incorporated | Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing |
US8665341B2 (en) | 2010-08-27 | 2014-03-04 | Adobe Systems Incorporated | Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data |
US8724000B2 (en) * | 2010-08-27 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for super-resolution in integral photography |
US8803918B2 (en) | 2010-08-27 | 2014-08-12 | Adobe Systems Incorporated | Methods and apparatus for calibrating focused plenoptic camera data |
US8582820B2 (en) | 2010-09-24 | 2013-11-12 | Apple Inc. | Coded aperture camera with adaptive image processing |
JP5591090B2 (ja) * | 2010-12-13 | 2014-09-17 | キヤノン株式会社 | 画像処理装置およびその方法 |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
JP5751826B2 (ja) * | 2010-12-22 | 2015-07-22 | キヤノン株式会社 | 画像形成装置及び画像処理装置 |
KR20120080845A (ko) * | 2011-01-10 | 2012-07-18 | 삼성전자주식회사 | 광 감지 기능을 구비한 oled 디스플레이 장치 |
US20120200829A1 (en) * | 2011-02-09 | 2012-08-09 | Alexander Bronstein | Imaging and projecting devices and methods |
US9551914B2 (en) * | 2011-03-07 | 2017-01-24 | Microsoft Technology Licensing, Llc | Illuminator with refractive optical element |
US9197798B2 (en) | 2011-03-25 | 2015-11-24 | Adobe Systems Incorporated | Thin plenoptic cameras using microspheres |
EP2708019B1 (en) * | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systems and methods for transmitting and receiving array camera image data |
US8531581B2 (en) * | 2011-05-23 | 2013-09-10 | Ricoh Co., Ltd. | Focusing and focus metrics for a plenoptic imaging system |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
WO2013003276A1 (en) | 2011-06-28 | 2013-01-03 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
KR101795600B1 (ko) * | 2011-07-07 | 2017-11-08 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체 |
JP2013026332A (ja) * | 2011-07-19 | 2013-02-04 | Sony Corp | 固体撮像素子および製造方法、並びに電子機器 |
JP5982751B2 (ja) * | 2011-08-04 | 2016-08-31 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
IN2014CN02708A (ja) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
US20140055664A1 (en) * | 2012-02-02 | 2014-02-27 | Panasonic Corporation | Imaging device |
US9137441B2 (en) | 2012-02-16 | 2015-09-15 | Ricoh Co., Ltd. | Spatial reconstruction of plenoptic images |
WO2013126578A1 (en) | 2012-02-21 | 2013-08-29 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
JP6119193B2 (ja) * | 2012-02-24 | 2017-04-26 | 株式会社リコー | 距離測定装置及び距離測定方法 |
WO2013155429A1 (en) * | 2012-04-12 | 2013-10-17 | Schlage Lock Company, Llc | Methods and systems for a security surveillance system with an imaging device |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
BE1019941A3 (nl) * | 2012-06-05 | 2013-02-05 | Tait Technologies Bvba | Inrichting voor de weergave van driedimensionale beelden, systeem voor de creatie van driedimensionale beelden, en werkwijze voor de creatie van driedimensionale beelden. |
US9100635B2 (en) | 2012-06-28 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for detecting defective camera arrays and optic arrays |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
CN104662589B (zh) | 2012-08-21 | 2017-08-04 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
WO2014032020A2 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
US9237263B2 (en) * | 2012-10-05 | 2016-01-12 | Vidinoti Sa | Annotation method and apparatus |
US9207759B1 (en) | 2012-10-08 | 2015-12-08 | Edge3 Technologies, Inc. | Method and apparatus for generating depth map from monochrome microlens and imager arrays |
US9386298B2 (en) * | 2012-11-08 | 2016-07-05 | Leap Motion, Inc. | Three-dimensional image sensors |
WO2014078443A1 (en) | 2012-11-13 | 2014-05-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US11189917B2 (en) | 2014-04-16 | 2021-11-30 | Rearden, Llc | Systems and methods for distributing radioheads |
US10257506B2 (en) * | 2012-12-28 | 2019-04-09 | Samsung Electronics Co., Ltd. | Method of obtaining depth information and display apparatus |
KR101905528B1 (ko) * | 2012-12-28 | 2018-10-08 | 삼성전자주식회사 | 깊이 정보를 획득하는 방법 및 디스플레이 장치 |
US10996542B2 (en) * | 2012-12-31 | 2021-05-04 | Flir Systems, Inc. | Infrared imaging system shutter assembly with integrated thermister |
JP5820831B2 (ja) | 2013-02-14 | 2015-11-24 | オリンパス株式会社 | 撮像装置 |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9374512B2 (en) | 2013-02-24 | 2016-06-21 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
US9638883B1 (en) | 2013-03-04 | 2017-05-02 | Fotonation Cayman Limited | Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process |
US9110240B2 (en) * | 2013-03-05 | 2015-08-18 | Rambus Inc. | Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing |
US9774789B2 (en) | 2013-03-08 | 2017-09-26 | Fotonation Cayman Limited | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
US9973246B2 (en) | 2013-03-12 | 2018-05-15 | Rearden, Llc | Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology |
US10488535B2 (en) * | 2013-03-12 | 2019-11-26 | Rearden, Llc | Apparatus and method for capturing still images and video using diffraction coded imaging techniques |
US9923657B2 (en) | 2013-03-12 | 2018-03-20 | Rearden, Llc | Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology |
WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
WO2014153098A1 (en) | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
JP2016524125A (ja) | 2013-03-15 | 2016-08-12 | ペリカン イメージング コーポレイション | カメラアレイを用いた立体撮像のためのシステムおよび方法 |
WO2014150856A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
RU2767777C2 (ru) | 2013-03-15 | 2022-03-21 | Риарден, Ллк | Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом |
FR3010602B1 (fr) | 2013-09-10 | 2015-10-02 | Commissariat Energie Atomique | Dispositif et procede d'acquisition compressive d'images |
FR3010603A1 (fr) | 2013-09-10 | 2015-03-13 | Commissariat Energie Atomique | Dispositif d'acquisition compressive d'une image |
WO2015048694A2 (en) | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and methods for depth-assisted perspective distortion correction |
TWI508526B (zh) * | 2013-10-01 | 2015-11-11 | Wistron Corp | 產生視角平移影像之方法及其可攜式電子設備 |
EP3066690A4 (en) | 2013-11-07 | 2017-04-05 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US9456134B2 (en) | 2013-11-26 | 2016-09-27 | Pelican Imaging Corporation | Array camera configurations incorporating constituent array cameras and constituent cameras |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
US9716841B2 (en) * | 2014-06-20 | 2017-07-25 | Analog Devices, Inc. | Adaptive gain adjustment in an imaging system |
CN113256730B (zh) | 2014-09-29 | 2023-09-05 | 快图有限公司 | 用于阵列相机的动态校准的系统和方法 |
EP3251338A1 (en) | 2015-01-29 | 2017-12-06 | William Marsh Rice University | Lensless imaging system using an image sensor with one or more attenuating layers |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
US9696439B2 (en) | 2015-08-10 | 2017-07-04 | Shanghai United Imaging Healthcare Co., Ltd. | Apparatus and method for PET detector |
US10284825B2 (en) | 2015-09-08 | 2019-05-07 | Rambus Inc. | Systems with integrated refractive and diffractive optics |
FR3040798B1 (fr) * | 2015-09-08 | 2018-02-09 | Safran | Camera plenoptique |
JPWO2017170392A1 (ja) * | 2016-03-30 | 2019-03-07 | 株式会社ニコン | 光学装置 |
CN105847635A (zh) * | 2016-06-20 | 2016-08-10 | 联想(北京)有限公司 | 成像实现方法、摄像装置及电子设备 |
US10249027B2 (en) * | 2016-09-22 | 2019-04-02 | Sony Corporation | Device and method for P-phase data compression |
WO2019006310A1 (en) * | 2017-06-29 | 2019-01-03 | Cuadros Angela | PIXELIZED K-ENCODED OPENING SYSTEM FOR X-RAY IMAGING WITH COMPRESSION SPECTRUM |
CN107452006A (zh) * | 2017-08-11 | 2017-12-08 | 哈尔滨工业大学 | 基于编码镜头的芯片元件定位方法 |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
KR102403015B1 (ko) | 2017-09-29 | 2022-05-27 | 삼성전자주식회사 | 지문 인식 센서를 포함하는 전자 장치 |
KR102102291B1 (ko) * | 2017-12-20 | 2020-04-21 | 주식회사 고영테크놀러지 | 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법 |
CN107966991B (zh) * | 2017-12-27 | 2024-02-27 | 广州番禺职业技术学院 | 一种上下料机器人的可寻址装置及方法 |
US11399134B2 (en) | 2018-03-14 | 2022-07-26 | Sony Corporation | Image processing apparatus, imaging apparatus, and image processing method |
US10297697B1 (en) * | 2018-11-01 | 2019-05-21 | H3D, Inc. | Coded aperture system of imaging with a plurality of detectors in a spaced-apart configuration |
KR20200104102A (ko) | 2019-02-26 | 2020-09-03 | 삼성전자주식회사 | 다중핀홀을 이용한 3차원 홀로그래픽 디스플레이 및 그 동작방법 |
DE112020004391B4 (de) | 2019-09-17 | 2024-08-14 | Intrinsic Innovation Llc | Systeme und Verfahren zur Oberflächenmodellierung unter Verwendung von Polarisationsmerkmalen |
CN112584133B (zh) * | 2019-09-27 | 2024-08-02 | 苹果公司 | 用于处理图像的系统和方法 |
EP4042101A4 (en) | 2019-10-07 | 2023-11-22 | Boston Polarimetrics, Inc. | SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION |
KR20230116068A (ko) | 2019-11-30 | 2023-08-03 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 |
JP7468546B2 (ja) | 2019-12-03 | 2024-04-16 | ソニーグループ株式会社 | 撮像装置の製造装置、および撮像装置の製造方法、並びに撮像装置 |
CN115552486A (zh) | 2020-01-29 | 2022-12-30 | 因思创新有限责任公司 | 用于表征物体姿态检测和测量系统的系统和方法 |
CN115428028A (zh) | 2020-01-30 | 2022-12-02 | 因思创新有限责任公司 | 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法 |
CN113255636B (zh) * | 2020-02-13 | 2023-08-04 | 宁波吉利汽车研究开发有限公司 | 一种基于圆环编码的定位方法、装置、设备和存储介质 |
WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
GB202013472D0 (en) * | 2020-08-27 | 2020-10-14 | Ams Sensors Singapore Pte Ltd | A sensing system and method |
WO2022080121A1 (ja) * | 2020-10-16 | 2022-04-21 | ソニーグループ株式会社 | 偏光撮像装置、バイナリーマスク、画像処理システム及び画像処理方法 |
GB202101997D0 (en) * | 2021-02-12 | 2021-03-31 | Ams Sensors Singapore Pte Ltd | Coded aperture imaging system and method |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05333398A (ja) * | 1992-05-27 | 1993-12-17 | Sharp Corp | 画像符号化復元システム及び空間光変調器の記録パターン成形方法 |
JPH07152056A (ja) * | 1993-11-26 | 1995-06-16 | Sharp Corp | 光信号補正方法 |
JPH0850520A (ja) * | 1994-05-30 | 1996-02-20 | Sharp Corp | 光演算装置 |
JPH1056386A (ja) * | 1996-03-15 | 1998-02-24 | Fr Telecom | ウォルシュ−アダマール変換による光学シーンの式の供給法および、この方法を実施する画像ピックアップ |
JP2000503393A (ja) * | 1996-01-16 | 2000-03-21 | エーアイエル・システムズ・インコーポレーティド | 正方形反対称均一冗長アレイ符号化アパーチャ撮像システム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4209780A (en) * | 1978-05-02 | 1980-06-24 | The United States Of America As Represented By The United States Department Of Energy | Coded aperture imaging with uniformly redundant arrays |
US4855061A (en) * | 1988-04-26 | 1989-08-08 | Cpc Engineering Corporation | Method and apparatus for controlling the coagulant dosage for water treatment |
US5076687A (en) | 1990-08-28 | 1991-12-31 | Massachusetts Institute Of Technology | Optical ranging apparatus |
US5479026A (en) * | 1994-05-16 | 1995-12-26 | United Technologies Corporation | System having optically encoded information |
US5424533A (en) * | 1994-06-21 | 1995-06-13 | United Technologies Corporation | Self illuminating touch activated optical switch |
US6710797B1 (en) * | 1995-09-20 | 2004-03-23 | Videotronic Systems | Adaptable teleconferencing eye contact terminal |
US5756026A (en) * | 1996-01-05 | 1998-05-26 | Fiberco, Inc. | Method for control of post molding fabric curl and distortion |
US5930314A (en) * | 1996-05-31 | 1999-07-27 | Massachusetts Institute Of Technology | Coded aperture imaging |
US5757005A (en) * | 1996-10-04 | 1998-05-26 | California Institute Of Technology | Advanced x-ray imaging spectrometer |
US6141104A (en) * | 1997-09-09 | 2000-10-31 | Image Guided Technologies, Inc. | System for determination of a location in three dimensional space |
TW510131B (en) * | 2000-05-24 | 2002-11-11 | Chi Mei Electronic Corp | Image input/output device |
US6643386B1 (en) * | 2000-08-10 | 2003-11-04 | Omnivision Technologies, Inc. | Method and apparatus for adding watermarks to images and/or video data streams |
US6737652B2 (en) * | 2000-09-29 | 2004-05-18 | Massachusetts Institute Of Technology | Coded aperture imaging |
CA2475132A1 (en) * | 2002-02-20 | 2003-08-28 | University Of Washington | Analytical instruments using a pseudorandom array of sample sources, such as a micro-machined mass spectrometer or monochromator |
US7196728B2 (en) * | 2002-03-27 | 2007-03-27 | Ericsson, Inc. | Method and apparatus for displaying images in combination with taking images |
JP4067456B2 (ja) | 2003-06-09 | 2008-03-26 | 富士通テン株式会社 | レーダ装置及びその信号処理制御方法 |
ATE325354T1 (de) * | 2003-07-02 | 2006-06-15 | Berner Fachhochschule Hochschu | Verfahren und vorrichtung zur abbildung mit kodierter blende |
-
2005
- 2005-08-22 US US11/210,098 patent/US7671321B2/en active Active
-
2006
- 2006-01-13 WO PCT/US2006/001111 patent/WO2006078537A2/en active Application Filing
- 2006-01-13 EP EP06718208.9A patent/EP1856710B1/en active Active
- 2006-01-13 JP JP2007552179A patent/JP4828549B2/ja active Active
- 2006-01-13 KR KR1020077018857A patent/KR101289330B1/ko active IP Right Grant
-
2010
- 2010-01-21 US US12/691,500 patent/US8013285B2/en active Active
-
2011
- 2011-09-06 US US13/226,461 patent/US8288704B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05333398A (ja) * | 1992-05-27 | 1993-12-17 | Sharp Corp | 画像符号化復元システム及び空間光変調器の記録パターン成形方法 |
JPH07152056A (ja) * | 1993-11-26 | 1995-06-16 | Sharp Corp | 光信号補正方法 |
JPH0850520A (ja) * | 1994-05-30 | 1996-02-20 | Sharp Corp | 光演算装置 |
JP2000503393A (ja) * | 1996-01-16 | 2000-03-21 | エーアイエル・システムズ・インコーポレーティド | 正方形反対称均一冗長アレイ符号化アパーチャ撮像システム |
JPH1056386A (ja) * | 1996-03-15 | 1998-02-24 | Fr Telecom | ウォルシュ−アダマール変換による光学シーンの式の供給法および、この方法を実施する画像ピックアップ |
Also Published As
Publication number | Publication date |
---|---|
US20100220212A1 (en) | 2010-09-02 |
EP1856710B1 (en) | 2019-06-12 |
KR101289330B1 (ko) | 2013-07-31 |
KR20070106613A (ko) | 2007-11-02 |
US20110315855A1 (en) | 2011-12-29 |
JP2008527944A (ja) | 2008-07-24 |
EP1856710A2 (en) | 2007-11-21 |
WO2006078537A2 (en) | 2006-07-27 |
US7671321B2 (en) | 2010-03-02 |
WO2006078537A3 (en) | 2006-09-28 |
US20090167922A1 (en) | 2009-07-02 |
US8013285B2 (en) | 2011-09-06 |
EP1856710A4 (en) | 2015-02-25 |
US8288704B2 (en) | 2012-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4828549B2 (ja) | 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法 | |
US20190116326A1 (en) | Apparatus and method for capturing still images and video using coded lens imaging techniques | |
US7767949B2 (en) | Apparatus and method for capturing still images and video using coded aperture techniques | |
US11681061B2 (en) | Apparatus and method for capturing still images and video using diffraction coded imaging techniques | |
JP5490309B2 (ja) | 撮像装置および測距装置 | |
JP4249627B2 (ja) | 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像 | |
CN103501416A (zh) | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 | |
US8615132B2 (en) | Device and method for processing digital images captured by a binary image sensor | |
KR20180080219A (ko) | 홀로그램 광 필드 이미징 디바이스 및 그 이용 방법 | |
Verhoeven | Basics of photography for cultural heritage imaging | |
WO2019078335A1 (ja) | 撮像装置および方法、並びに、画像処理装置および方法 | |
JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
Schöberl et al. | Building a high dynamic range video sensor with spatially nonregular optical filtering | |
JPWO2019171691A1 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
LU102214B1 (en) | Method for digital image processing | |
US20230419446A1 (en) | Method for digital image processing | |
Pavlidis | Technical Aspects of Photography | |
Stump | Camera Sensors | |
Claxton | Colour depth-from-defocus incorporating experimental point spread function measurements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100830 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101130 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110815 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4828549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |