JP6423019B2 - 屈折プリズムを使用する屈曲光学アレイ カメラ - Google Patents

屈折プリズムを使用する屈曲光学アレイ カメラ Download PDF

Info

Publication number
JP6423019B2
JP6423019B2 JP2016573907A JP2016573907A JP6423019B2 JP 6423019 B2 JP6423019 B2 JP 6423019B2 JP 2016573907 A JP2016573907 A JP 2016573907A JP 2016573907 A JP2016573907 A JP 2016573907A JP 6423019 B2 JP6423019 B2 JP 6423019B2
Authority
JP
Japan
Prior art keywords
camera
prism
array camera
angle
prism array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016573907A
Other languages
English (en)
Other versions
JP2017524977A5 (ja
JP2017524977A (ja
Inventor
ゲオルギエフ、トドル・ゲオルギエフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017524977A publication Critical patent/JP2017524977A/ja
Publication of JP2017524977A5 publication Critical patent/JP2017524977A5/ja
Application granted granted Critical
Publication of JP6423019B2 publication Critical patent/JP6423019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/006Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element at least one element being a compound optical element, e.g. cemented elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G02B13/007Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror the beam folding prism having at least one curved surface
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/04Prisms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/04Prisms
    • G02B5/045Prism arrays
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10TTECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00Metal working
    • Y10T29/49Method of mechanical manufacture
    • Y10T29/49002Electrical device making
    • Y10T29/49117Conductor or circuit manufacturing
    • Y10T29/49119Brush
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10TTECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00Metal working
    • Y10T29/49Method of mechanical manufacture
    • Y10T29/49826Assembling or joining
    • Y10T29/49828Progressively advancing of work assembly station or assembled portion of work

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lenses (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Description

[0001]本開示は、マルチ カメラアレイを含むイメージング システムおよび方法に関する。特に、本開示は、画質を維持または向上させながら、ロー プロファイル イメージング システムおよびモバイル デバイスを可能にするシステムおよび方法に関する。
[0002]モバイルフォンおよびタブレット コンピューティング デバイスなど、多くのモバイル デバイスは、静止画像および/またはビデオ画像をキャプチャするためにユーザによって操作できるカメラを含む。モバイル デバイスは、一般に、比較的小型になるように設計されるので、ロー プロファイル モバイル デバイスを維持するために、カメラまたはイメージング システムをできる限り薄型になるように設計することが重要であり得る。屈曲光学画像 センサー アレイ(「アレイカメラ」)は、焦点距離を短縮すること、またはセンサー アレイの視野にわたって画像の解像度を減少させることなしに、ロー プロファイル画像キャプチャ デバイスの作成を可能にする。1次面と2次面とを使用して光をアレイ中の各センサーのほうへ再度向けることによって、および入射光を集束させるために使用されるレンズの集合を1次面と2次面との間に配置することによって、センサー アレイは、レンズの集合に直角な平坦基板上に配置されることができる。より長い焦点距離は、光学ズームなどの特徴を実装することと、より多くの光学要素を追加することなど、旧来のモバイル カメラによって通常与えられるよりも多くの空間を必要とする、より複雑な光学系を組み込むこととを可能にする。
[0003]いくつかのアレイ カメラは、ターゲット画像を備える入射光を、アレイ中のセンサーによるキャプチャのために複数の部分にスプリットするために、複数の切子面(facets)をもつ中央ミラーまたはプリズムを採用し、ここにおいて、各切子面は、ターゲット画像からの光の部分をアレイ中のセンサーのほうへ向ける(directs)。スプリットされた光の各部分は、各センサーが画像の部分をキャプチャするように、レンズの集合を通過させられ、センサーの真上または真下に配置された面から反射されることができる。センサー視野は、キャプチャされた部分を互いにスティッチして完全な画像にするのを支援するために重複することができる。
[0004]本明細書で説明される屈曲光学センサー アレイおよび画像キャプチャ技法は、焦点距離を短縮すること、またはセンサー アレイの視野にわたって画像の解像度を減少させることなしに、ロー プロファイル画像キャプチャ デバイスの作成を可能にし、ここにおいて、キャプチャされた画像は、増加した視野と、低減または除去されたカメラ視野(FOV:field of view)アーティファクトとを有する。既存のアレイ カメラの1つの課題は、アレイ中のカメラがそれの対応するミラーの上またはそれの周りを見ることによる品質劣化である。したがって、画像シーンを表さない画像データがキャプチャされ、画像スティッチング中に問題をもたらす。アレイ カメラが直面する別の課題は、アレイ全体のFOVが、各個々のカメラのFOVに関する限界により、実際には約60度に制限されることである。一般に、カメラを中央ミラーのより近くに移動することはFOV増加を可能にするが、ロー プロファイル アレイ カメラでは、カメラはミラー中にそれ自体を見(view)始め、有意なFOV増加は達成されない。
[0005]特に、上記で説明された問題は、いくつかの実施形態において、本明細書で説明されるプリズム アレイ カメラによって対処される。実施形態のいくつかは、ターゲット画像を備える入射光を、アレイ中のセンサーによるキャプチャのために複数の部分にスプリットするために、たとえば、複数の面または切子面をもつ、中央屈折プリズムを採用することができる。いくつかの実施形態では、プリズムは、約1.5以上の屈折率を有することができ、色収差(chromatic aberration)アーティファクトを低減し、センサーのFOVを増加させるように整形され、配置されることができる。たとえば、プリズムの上面は、(アレイの光軸でもあり得る)アレイの対称垂直軸(the vertical axis of symmetry)に直角に配置されることができる。いくつかの実施形態では、プリズムの下側内面は対称垂直軸に対して角度αに配置されることができ、(たとえば、対応するカメラに対向する)下側外面は上面に直角に配置されることができる。他の実施形態では、プリズムの下側内面は対称垂直軸に対して角度αに配置されることができ、(たとえば、対応するカメラに対向する)下側外面は上面に対して角度2αに配置されることができる。いくつかの例では、FOVをさらに増加させるために、負レンズが下側外面に組み込まれるかまたはそれに取り付けられることができる。そのような例は、最高180度のアレイの総FOVを与えることができる。
[0006]スプリットされた光の各部分は、各センサーが画像の部分をキャプチャするように、レンズの集合を通過させられ、センサーの真上または真下に配置された随意の追加の反射面から反射(または随意の追加のプリズムを通して屈折)されることができる。いくつかの状況では、アレイ中の各センサーは、アレイ中の近隣センサーによってキャプチャされた部分とわずかに重複する画像の部分をキャプチャすることができ、これらの部分は、たとえば、線形ブレンディング技法または他の画像スティッチング技法によって、ターゲット画像にアセンブルされることができる。
[0007]一態様は、ターゲット画像シーンをキャプチャするためのプリズム アレイ カメラであって、システムが、プリズム アレイ カメラの対称垂直軸の周りに配置された複数のカメラを備え、複数のカメラの各カメラが、画像センサーと、対称垂直軸に対して第1の角度に配置された光軸と、第1の角度が角度値に対応する、複数のプリズムと、各プリズムが、少なくとも部分的に屈折によって、ターゲット画像シーンを表す光の部分を複数のカメラのうちの対応するカメラのほうへダイレクトするために構成される、を備え、各プリズムは、プリズム アレイ カメラの対称垂直軸に直角に配置された第1の面と、第1の面は、ターゲット画像シーンを表す光の部分が第1の面を通ってプリズムに入るように配置される、第2の面によって形成される平面が、対応するカメラの光軸と対称垂直軸との間の第1の角度を二等分するように配置された第2の面と、第3の面と、第2の面は、第1の面から受けた光の部分を第3の面のほうへ再度向けるために構成され、第3の面は、ターゲット画像シーンを表す光の部分が、プリズムを出て、対応するカメラのほうへ進むように配置される、を備える、プリズム アレイ カメラに関する。
[0008]別の態様は、プリズム アレイ カメラを製造する方法であって、プリズム アレイ カメラの対称垂直軸を決定することと、プリズム アレイ カメラの複数のカメラの各カメラについて、カメラの光軸が対称垂直軸に対して第1の角度に配置されるようにカメラを配置することと、第1の角度が角度値に対応する、光学要素の第1の面が対称垂直軸に直角に配置され、光学要素の第2の面が、第2の面によって形成される平面が第1の角度を二等分するように配置されるように光学要素を配置することとを備える方法に関する。
[0009]別の態様は、アレイ カメラにおいて使用するためのプリズムの集合であって、対称垂直軸と、複数の屈折光学要素と、各々が、アレイ カメラの複数のカメラのうちの対応する1つに関連し、ターゲット画像シーンを表す光の部分を複数のカメラのうちの対応する1つのほうへ通すために構成される、を備え、複数の屈折光学要素の各々は、プリズム アレイ カメラの対称垂直軸に直角に配置された第1の面と、第1の面は、ターゲット画像シーンを表す光の部分が第1の面を通ってプリズムに入るように配置される、第2の面によって形成される平面が、対応するカメラの光軸と対称垂直軸との間の第1の角度を二等分するように配置された第2の面と、第3の面と、第2の面は、第1の面から受光された光の部分を第3の面のほうへ再度向けるために構成され、第3の面は、ターゲット画像シーンを表す光の部分が、プリズムを出て、対応するカメラのほうへ進むように配置される、第1の面と第2の面との交差部によって定義される頂点とを備える、プリズムの集合に関する。
[0010]別の態様は、画像をキャプチャするための装置であって、ターゲット画像シーンの複数の部分をキャプチャするための手段と、複数の部分の各部分を表す光を屈折させるための手段と、光を屈折させるための手段が、光を屈折させるための手段の対称垂直軸に直角に配置された第1の平面と、対称垂直軸に対して第1の角度に配置された第2の平面と、第1の角度が第1の角度値に対応する、第1の面に対して第2の角度に配置された第3の平面と、第2の角度が、第1の角度値の2倍に実質的に等しい第2の角度値に対応する、を備える幾何学的関係で構成された切子面を備える、複数の部分をターゲット画像シーンの最終画像に集合するための手段とを備える、装置に関する。
[0011]開示される態様を限定するためではなく、開示される態様を例示するために与えられる、添付の図面および付属書類とともに、開示される態様が以下で説明され、そこにおいて、同様の表示は同様の要素を示す。
屈曲光学アレイ カメラの一実施形態の断面側面図。 屈曲光学アレイ カメラの別の実施形態の断面側面図。 画像キャプチャ デバイスの一実施形態のブロック図。 視差およびチルト アーティファクトがないアレイ カメラの一実施形態を示す図。 視差およびチルト アーティファクトがないアレイ カメラの一実施形態を示す図。 視差およびチルト アーティファクトがないアレイ カメラの一実施形態を示す図。 アレイ カメラの1つのセンサーおよびミラーのための設計パラメータの一例を示す図。 プリズム アレイ カメラのためのプリズムの一実施形態を示す図。 プリズム アレイ カメラのためのプリズムの一実施形態を示す図。 プリズム アレイ カメラのためのプリズムの一実施形態を示す図。 プリズム アレイ カメラのためのプリズムの別の実施形態を示す図。 プリズム アレイ カメラのためのプリズムの別の実施形態を示す図。 プリズム アレイ カメラのためのプリズムの別の実施形態を示す図。 プリズム アレイ カメラのためのプリズムの別の実施形態を示す図。 プリズム アレイ カメラのためのプリズムの別の実施形態を示す図。 プリズム アレイ カメラのためのプリズムの別の実施形態を示す図。 [0020]屈曲光学画像キャプチャ プロセスの一実施形態を示す図。
詳細な説明
I.序論
[0021]本明細書で開示される実施形態は、屈曲光学系をもつアレイ カメラを使用して、実質的に視差およびチルト アーティファクトがない、広い視野を有する画像を生成するためのシステム、方法および装置を提供する。本発明の態様は、広い視野、たとえば約180度を有するアレイ カメラに関する。ミラーをプリズムと置き換えることは、上述の問題、すなわち、カメラが中央ミラーの上を見ることと、各カメラの限られたFOVの両方を同時に解決する。たとえば、広範囲プリズム設計カメラは、内部全反射(total internal reflection)の効果によりプリズムのエッジまたは頂点の上を見ない。これは、第1の問題を極めて効率的に解決する。さらに、カメラはより広いFOVを獲得する。設計の1つのクラスでは、これは色収差の導入に関係する。プリズム アレイ カメラ設計の別の実施形態は収差がまったくない。より高い屈折率のガラスおよび他の材料を用いると、個々のカメラの視野が制約されず、「フリー カメラ」の場合とまったく同じままである。プリズム アレイ カメラ設計の別の実施形態では、プリズムに負レンズ(negative lenses)を追加することは、個々のカメラのFOVを90度までさらに増加させることができ、180度の総FOVを可能にする。
[0022]アレイ中の各センサーは、対応する中央プリズムを使用して画像シーンの部分を「見(sees)」、したがって、各個々のセンサー/ミラーペアは全アレイ カメラのサブ開口のみを表す。完全なアレイ カメラは、すべての個々の開口光線の総和に基づいて、すなわち、サブ開口によって生成された画像を互いにスティッチ(stitching)することに基づいて生成された合成開口(a synthetic aperture)を有する。
[0023]以下の説明では、例の十分な理解が得られるように具体的な詳細が供される。ただし、例は、これらの具体的な詳細なしに実施されることができる。
II.屈曲光学アレイ カメラの概観
[0024]次に図1Aおよび図1Bを参照して、本明細書で説明されるオートフォーカスシステムおよび技法とともに使用するのに好適な屈曲光学マルチセンサーの集合100A、100Bの例が、次により詳細に説明される。図1Aは、すべて基板150に装着されることができる、画像センサー105、125と、反射2次光リダイレクト(redirecting)面110、135と、レンズの集合115、130と、中央反射面120とを含む屈曲光学アレイ100Aの一例の断面側面図を示している。図1Bは、1次光リダイレクト面122、124のための中央プリズム141、146と、2次光リダイレクト面135、110を形成する追加のプリズムと、を含む屈曲光学センサー アレイの一実施形態の断面側面図を示している。
[0025]図1Aを参照すると、画像センサー105、125は、いくつかの実施形態では、電荷結合デバイス(CCD)、相補型金属酸化物半導体センサー(CMOS)、または光を受光し、受け取られた画像に応答して画像データを生成する他の画像センシングデバイスを含み得る。画像センサー105、125は、静止写真の画像データを取得することが可能であり、また、キャプチャされたビデオストリームにおける動きに関する情報を与えることができる。センサー105および125は、3×1アレイのような、複数のセンサーの複数のアレイを表すことができ、或いは個々の複数のセンサーであることができる。しかしながら、当業者によって理解されるように、センサーの任意の好適なアレイが、開示される実装形態において使用されることができる。
[0026]センサー105、125は、図1Aに示されているように基板150上に装着されることができる。いくつかの実施形態では、すべてのセンサーは、平坦基板150に装着されることによって1つの平面上にあることができる。基板150は、任意の好適な実質的に平坦な材料であることができる。中央反射面120およびレンズの集合115、130も基板150上に装着されることができる。1つまたは複数のセンサー アレイと、複数のレンズの集合と、複数の1次および2次反射または屈折面とを装着するためのマルチプルな(multiple)構成が可能である。
[0027]さらに、図1Aを参照すると、いくつかの実施形態では、中央反射面120は、ターゲット画像シーンからの光をセンサー105、125のほうへ再度向けるために使用されることができる。中央反射面120は、1つのミラーまたは複数のミラーであることができ、平坦であるか、または入射光を画像センサー105、125に適切に再度向けるために、必要に応じて整形されることができる。たとえば、いくつかの実施形態では、中央反射面120は、入射光線をレンズの集合115、130を通してそれぞれセンサー105、125に反射するようにサイズ決定され、整形されたミラーであることができる。中央反射面120は、ターゲット画像を備える光を複数の部分にスプリットし、各部分を異なるセンサーにダイレクトすることができる。たとえば、中央反射面120の第1の側面122(他の実施形態は、反射面ではなく屈折プリズムを実装することができるので、1次光を再度向ける面(a primary light redirecting surface)とも呼ばれる)は、第1の視野140に対応する光の部分を左センサー105のほうへ送ることができ、第2の側面124は、第2の視野145に対応する光の第2の部分を右センサー125のほうへ送る。画像センサーの視野(the fields of view )140、145は、合同して、少なくともターゲット画像をカバーすることを認識されるべきである。
[0028]受光センサーは、各々、複数のセンサーのアレイであるいくつかの実施形態では、前記中央反射面は、ターゲット画像シーンの異なる部分をセンサーの各々のほうへ送るために、互いに対して角度を付けられた複数の反射面からなることができる。アレイ中の各センサーは実質的に異なる視野を有することができ、いくつかの実施形態では、視野は重複することができる。中央反射面のいくつかの実施形態は、レンズシステムを設計するときの自由度を増加させるための複雑な非平面を有し得る。さらに、中央面は反射面であるとして説明されるが、他の実施形態では、中央面は屈折であることができる。たとえば、中央面は、複数の切子面で構成されたプリズムであることができ、ここで、各切子面は、シーンを備える光の部分をセンサーのうちの1つのほうへ向ける(directs)。
[0029]中央反射面120から反射された後に、光は、図1Aに示されているようにレンズの集合115、130を通って伝搬することができる。1つまたは複数のレンズの集合115、130は、中央反射面120と、センサー105、125と、反射面110、135との間に設けられることができる。レンズの集合115、130は、各センサーのほうへ向けられたターゲット画像の部分を集束させるために使用されることができる。
[0030]いくつかの実施形態では、複数のレンズの各集合は、1つまたは複数のレンズと、ハウジングを通って複数の異なるレンズ位置の間でレンズを移動するためのアクチュエータ(actuator)とを備えることができる。アクチュエータは、ボイスコイルモーター(VCM)、超小型電子機械システム(MEMS)、または形状記憶合金(SMA)であることができる。レンズの集合は、アクチュエータを制御するためのレンズのドライバをさらに備え得る。
[0031]旧来のオートフォーカス技法は、レンズ115、130と各カメラの対応するセンサー105、125との間の焦点距離を変更することによって実装されることができる。いくつかの実施形態では、これは、レンズ鏡胴(a lens barrel)を移動することによって達成されることができる。他の実施形態は、中央ミラーを上または下に移動することによって、またはレンズの集合に対してミラーの角度を調整することによって焦点を調整することができる。いくつかの実施形態は、各センサー上の側部ミラーを移動することによって焦点を調整することができる。そのような実施形態は、個々に前記集合が各々各センサーの焦点を調整することを可能とすることができる。さらに、いくつかの実施形態が、たとえば、全体の集合上に液体レンズのようなレンズを置くことによって、一度に前記全体の集合の焦点を変更することが可能である。いくつかの実装形態では、コンピュータによる写真術(photography)がカメラアレイの焦点を変更するために使用されることができる。
[0032]図1Aに示されているように、反射面110および135のような、マルチプル(multiple)の側部反射面が、センサーに対向して中央ミラー120の周りに設けられることができる。レンズの集合を通過した後に、側部反射面110、135(他の実施形態が、反射面ではなく屈折プリズムを実装することができるので、2次光を再度向ける面とまた呼ばれる)は、光を(図1Aに示されているように配向において「下向き」に)平坦なセンサー105、125上に反射することができる。図示のように、センサー105は反射面110の下に配置されることができ、センサー125は反射面135の下に配置されることができる。しかしながら、他の実施形態では、複数のセンサーは側部反射された面の上にあることができ、および側部反射面は光を上向きに反射するように構成されることができる。側部反射面およびセンサーの他の好適な構成は、複数のレンズの各集合からの光が複数のセンサーのほうへ再度向けることができる。いくつかの実施形態は、側部反射面110、135の移動が、関連するセンサーの焦点または視野を変更することを可能にすることができる。
[0033]各センサーの視野140、145は、そのセンサーに関連する中央ミラー120の面によってオブジェクト空間にステアリングされることができる。各カメラの視野がオブジェクトフィールド上の異なるロケーションにステアリングされる(steered)ことができるように、ミラーをチルトし、および/またはアレイ中のプリズムを移動するための機械的方法が採用されることができる。これは、たとえば、高ダイナミックレンジカメラを実装すること、カメラシステムの解像度を増加させること、またはプレノプティックカメラシステムを実装することのために使用されることができる。各センサーの(または各3×1アレイの)視野はオブジェクト空間に投影されることができ、各センサーは、そのセンサーの視野によるターゲットシーンの部分を備える部分画像をキャプチャすることができる。いくつかの実施形態では、対向するセンサー アレイ105、125のための視野140、145は、一定の量150だけ重複することができる。重複150を低減し、単一の画像を形成するために、以下で説明されるスティッチング(stitching)プロセスが、2つの対向するセンサー アレイ105、125からの画像を合成するために使用されることができる。スティッチング プロセスのいくつかの実施形態は、部分画像を互いにスティッチする際に共通特徴を識別するために重複150を採用することができる。重複する画像を互いにスティッチした後、スティッチされた画像は、最終画像を形成するために、所望のアスペクト比、たとえば4:3または1:1まで切り取られる(cropped)ことができる。
[0034]図1Bは、屈曲光学アレイ カメラ100Bの別の実施形態の断面側面図を示している。図1Bに示されているように、センサーの集合100Bは、各々が基板150に装着された、画像センサー105、125のペアを含む。センサーレンズの集合100Bはまた、それぞれ画像センサー105、125に対応するレンズの集合115、130と、それぞれ画像センサー105、125のカバーガラス106、126に隣接して配置された、それぞれ2次光リダイレクト面110、135をそれぞれ含む光学的構成要素116、117とを含む。いくつかの実施形態では、カバーガラス106、126は、センサー105、125に、および光学的構成要素116、117に物理的に結合される。いくつかの実施形態は、カバーガラス106、126と光学的構成要素116、117との間に配設されたレンズ127、129を含む。いくつかの実施形態では、カバーガラス106、126の一方の側がセンサー105、125に物理的に結合され、反対側はレンズ127、129に物理的に結合される。いくつかの実施形態では、そのようなレンズ127、129は光学的構成要素116、117にさらに物理的に結合される。たとえば、いくつかの実施形態では、画像センサー105、125、カバーガラス106、117およびレンズ127、129は、それらの整合を知られている構成に固定するために、物理的に、互いに結合され、光学的構成要素116、117に結合されたスタックを形成する。いくつかの実施形態はレンズ127、129を含まない。屈折プリズム141の1次光リダイレクト面(redirecting surface)122は、レンズの集合115を通して光軸121に沿ってターゲット画像シーンからの光の部分を向け、2次光リダイレクト面110を離れて再度向けられ、カバーガラス106を通過し、およびセンサー105に入射する。屈折プリズム146の1次光リダイレクト面124は、ターゲット画像シーンから受光された光の部分を、レンズアセンブリ130を通して光軸123に沿ってダイレクトする(directs)。光は、2次光リダイレクト面135からリダイレクトされ、カバーガラス126を通過し、センサー125に入射する。屈曲光学アレイ カメラ100Bは、図1Aのアレイ カメラ100Aの反射面の代わりに屈折プリズムを実装する1つのアレイ カメラ実施形態を示している。屈折プリズム141、146の各々は、1次光ダイレクト面122、124が、基板によって形成される平面の下にあり、ターゲット画像シーンを表す光を受光するように、基板150にある開口中に設けられる。
[0035]センサー105、125は、図1Bに示されているように基板150上に装着されることができる。いくつかの実施形態では、すべてのセンサーは、平坦基板150に装着されることによって1つの平面上にあり得る。基板150は、任意の好適な実質的に平坦な材料であり得る。基板150は、上記で説明されたように、入射光が、基板150を通過して1次光リダイレクト面122、124に到ることを可能にするための開口を含むことができる。1つまたは複数のセンサー アレイ、ならびに図示された他のカメラ構成要素を基板150に装着するための複数の構成が可能である。
[0036]まだ図1Bを参照すると、1次光再度向ける面122、124は、図示のようにプリズム面であり得るか、あるいは1つのミラーまたは複数のミラーであり得、平坦であるか、または入射光を画像センサー105、125に適切に再度向けるために、必要に応じて整形されることができる。いくつかの実施形態では、1次光リダイレクト面122、124は、図1Aに示されているように中央ミラーピラミッドまたはプリズムとして形成されることができる。中央ミラーピラミッド、プリズム、または他の光学的構成要素は、ターゲット画像を表す光を複数の部分にスプリットし、各部分を異なるセンサーにダイレクトし得る。たとえば、1次光リダイレクト面122は、第1の視野に対応する光の部分を左センサー105のほうへ送り得、1次光リダイレクト面124は、第2の視野に対応する光の第2の部分を右センサー125のほうへ送る。受光センサーが各々、複数のセンサーのアレイであるいくつかの実施形態では、光リダイレクト面は、ターゲット画像シーンの異なる部分をセンサーの各々のほうへ送るために、互いに対して角度を付けられた複数の反射面であることができる。カメラの視野は、合同して、少なくともターゲット画像をカバーし、アレイの合成開口によってキャプチャされた(captured)最終画像を形成するために、キャプチャの後に互いに整合され、スティッチされることができることを諒解されたい。
[0037]アレイ中の各センサーは実質的に異なる視野を有することができ、いくつかの実施形態では、視野は重複することができる。以下でより詳細に説明されるように、様々な1次光リダイレクト面122、124と、レンズの集合115、130と、センサー105、125との間の空間関係が、異なる視野間に発生する視差およびチルト アーティファクトを低減または除去するためにあらかじめ決定されることができる。
[0038]図1Aおよび図1Bによって示されるように、各アレイ カメラは全高Hを有する。いくつかの実施形態では、全高Hは約4.5mm以下であり得る。他の実施形態では、全高Hは約4.0mm以下であり得る。図示されていないが、アレイ カメラ100A、100B全体は、約4.5mm以下または約4.0mm以下の対応する内部高を有するハウジング中に設けられ得る。
[0039]そのようなアレイ カメラ100A、100Bのいくつかの構成は、センサーおよび光リダイレクト面の相対配置に基づく視差およびチルト アーティファクトという欠点があり得、アレイの異なるカメラから見られる同じオブジェクトの異なるビュー間の視差およびチルトによる品質劣化に関する課題を提示する。視差およびチルトは、アーティファクトがまったくない最終画像への、各カメラによってキャプチャされた画像のシームレススティッチングを妨げる。深度(たとえば、レンズからオブジェクトまでの距離)に応じて、あるカメラからの画像は、別のカメラからの重複する画像に対して位置および角度がシフトされることができる。得られた視差およびチルトは、画像が互いにスティッチまたは融合されたとき、重複する視野に対応する画像領域において「二重画像」ゴーストを生じることがある。センサー視野中に重複がないようにアレイが構造化された場合でも、視差は、そのような特徴がセンサー視野間の境界上を横断するとき、ラインおよびエッジなど、画像中の間欠特徴を生じる。
[0040]本明細書で使用する「カメラ」という用語は、画像センサーと、レンズシステムと、いくつかの対応する光リダイレクト面、たとえば、図1に示されている1次光リダイレクト面124、レンズの集合130、2次光リダイレクト面135、およびセンサー125とを指す。「アレイ」または「アレイ カメラ」と呼ばれる屈曲光学マルチセンサーアレイは、様々な構成で複数のそのようなカメラを含むことができる。アレイ構成のいくつかの実施形態は、それの開示が参照により本明細書に組み込まれる、2013年3月15日に出願された、「MULTI-CAMERA SYSTEM USING FOLDED OPTICS」と題する米国出願公開第2014/0111650号に開示されている。本明細書で説明される視差アーティファクトの低減または除去のための幾何学的関係から恩恵を受けるであろう他のアレイ カメラ構成が可能である。
[0041]図2は、1つまたは複数のカメラ215a〜nにリンクされた画像プロセッサ220を含む構成要素のセットを有するデバイス200の高レベルブロック図を示している。画像プロセッサ220はまた、ワーキングメモリ205、メモリ230、およびデバイス プロセッサ250と通信しており、デバイス プロセッサ250は、ストレージ210および電子ディスプレイ225と通信している。
[0042]デバイス200は、セルフォン、デジタルカメラ、タブレットコンピュータ、携帯情報端末などであり得る。本明細書で説明されるような、厚さを薄くしたイメージング システムが利点を与えるであろう、多くのポータブルコンピューティングデバイスがある。デバイス200はまた、固定コンピューティングデバイス、または薄型イメージング システムが有益であろう任意のデバイスであり得る。複数のアプリケーションが、ユーザにとってデバイス200上で利用可能であり得る。これらのアプリケーションは、旧来の写真およびビデオアプリケーション、高ダイナミックレンジイメージング、パノラマ写真およびビデオ、あるいは3D画像または3Dビデオなどの立体視イメージングを含み得る。
[0043]画像キャプチャ デバイス200は、外部画像をキャプチャするためのカメラ215a〜nを含む。カメラ215a〜nは各々、図1に関して上記で説明されたように、センサーと、レンズの集合と、ターゲット画像の部分を各センサーにリダイレクトするための1次および2次反射または屈折面とを備え得る。概して、N個のカメラ215a〜nが使用され得、ただし、N≧2である。したがって、ターゲット画像はN個の部分にスプリットされ得、N個のカメラの各センサーは、そのセンサーの視野に従ってターゲット画像の1つの部分をキャプチャする。カメラ215a〜nは、本明細書で説明される屈曲光学イメージングデバイスの実装形態に好適な任意の数のカメラを備え得ることを理解されよう。センサーの数は、図4に関して以下でより詳細に説明されるように、システムのより低いz高を達成するために、または後処理の後に画像の焦点を調整する能力を可能にし得る、プレノプティック(plenoptic)カメラのそれと同様の重複する視野を有するなど、他の目的の必要を満たすために、増加されることができる。他の実施形態は、2つの同時画像をキャプチャし、次いで、それらを互いにマージする(merge)能力を可能にする、高ダイナミック レンジ カメラに好適な視野重複構成をすることができる。カメラ215a〜nは、キャプチャされた画像をデバイス プロセッサ250に送信するために、画像プロセッサ220に結合されることができる。
[0044] 画像プロセッサ220は、以下でより詳細に説明されるように、高品質のスティッチされた画像を出力するために、ターゲット画像のN個の部分を備える受信された画像データに対して様々な処理動作を実行するように構成されることができる。画像プロセッサ220は、一般の目的の処理ユニットまたはイメージングアプリケーションのために特別に設計されたプロセッサであることができる。画像処理動作の例としては、クロッピング(cropping)、(たとえば、異なる解像度への)スケーリング(scaling)、画像スティッチング、画像フォーマット変換、カラー補間、カラー処理、画像フィルタ処理(たとえば、空間画像フィルタ処理)、レンズ アーティファクト(artifact)または欠陥訂正などがある。画像プロセッサ220は、いくつかの実施形態では、複数のプロセッサを備えることができる。いくつかの実施形態は、各画像センサーに専用のプロセッサをすることができる。画像プロセッサ220は、1つまたは複数の専用画像信号プロセッサ(ISP)またはプロセッサのソフトウェア実施であることができる。
[0045]図示のように、画像プロセッサ220はメモリ230とワーキングメモリ205とに接続される。図示の実施形態では、メモリ230は、キャプチャ制御モジュール235と、画像スティッチング モジュール240と、オペレーティング システム245とを記憶する。これらのモジュールは、様々な画像処理およびデバイス管理タスクを実行するためにデバイス プロセッサ250の画像プロセッサ220を構成する命令を含む。ワーキングメモリ205は、メモリ230のモジュール中に含まれているプロセッサ命令のワーキングセットを記憶するために、画像プロセッサ220によって使用されることができる。代替的に、ワーキングメモリ205はまた、デバイス200の動作中に作成された動的データを記憶するために、画像プロセッサ220によって使用されることができる。
[0046]上述のように、画像プロセッサ220は、メモリに記憶されたいくつかのモジュールによって構成される。キャプチャ制御モジュール235は、カメラ215a〜nの焦点位置を調整するために画像プロセッサ220を構成する命令を含むことができる。キャプチャ制御モジュール235は、デバイス200の全体的な画像キャプチャ機能を制御する命令をさらに含むことができる。たとえば、キャプチャ制御モジュール235は、カメラ215a〜nを使用してターゲット画像シーンの生画像データをキャプチャするために画像プロセッサ220を構成するためのサブルーチンを呼び出す命令を含むことができる。キャプチャ制御モジュール235は、次いで、カメラ215a〜nによってキャプチャされたN個の部分画像に対してスティッチング技法を実行し、スティッチおよびクロップされたターゲット画像をイメージングプロセッサ220に出力するために、画像スティッチング モジュール240を呼び出すことができる。キャプチャ制御モジュール235はまた、キャプチャされるべきシーンのプレビュー画像を出力するために、および一定の時間間隔で、または生画像データ中のシーンが変化したとき、プレビュー画像を更新するために、生画像データに対してスティッチング動作を実行するために画像スティッチング モジュール240を呼び出すことができる。
[0047]画像スティッチング モジュール240は、キャプチャされた画像データに対してスティッチング技法とクロッピング技法とを実行するために画像プロセッサ220を構成する命令を備えることができる。たとえば、N個のセンサー215a〜nの各々は、各センサーの視野によるターゲット画像の部分を備える部分画像をキャプチャすることができる。視野は、上記および以下で説明されるように、重複エリアを共有することができる。単一のターゲット画像を出力するために、画像スティッチング モジュール240は、高解像度ターゲット画像を生成するために複数のN個の部分画像を合成するために画像プロセッサ220を構成することができる。ターゲット画像生成は、知られている画像スティッチング技法を通して行われることができる。画像スティッチングの例は、その全体が参照により本明細書に組み込まれる米国特許出願第11/623,050号において見つけられることができる。
[0048]たとえば、画像スティッチング モジュール240は、N個の部分画像の互いに対する回転と整合とを決定するために、一致する特徴について、N個の部分画像のエッジに沿って重複エリアを比較するための命令を含むことができる。部分画像の回転および/または各センサーの視野の形状により、合成された画像は不規則形状を形成することができる。したがって、N個の部分画像を整合させ、合成した後、画像スティッチング モジュール240は、合成された画像を所望の形状およびアスペクト比、たとえば4:3矩形または1:1方形にクロップするために画像プロセッサ220を構成するサブルーチンを呼び出すことができる。クロップされた画像は、ディスプレイ225上での表示のために、またはストレージ210に保存するために、デバイス プロセッサ250に送られることができる。
[0049]オペレーティング システム モジュール245は、デバイス200のワーキングメモリ205と処理リソースとを管理するために画像プロセッサ220を構成する。たとえば、オペレーティング システム モジュール245は、カメラ215a〜nなどのハードウェア リソースを管理するためのデバイス ドライバを含み得ることができる。したがって、いくつかの実施形態では、上記で説明された画像処理モジュール中に含まれている命令は、これらのハードウェア リソースと直接対話しないが、代わりに、オペレーティング システム構成要素270中にある標準サブルーチンまたはAPIを通して対話することができる。オペレーティング システム245内の命令は、次いで、これらのハードウェア構成要素と直接対話することができる。オペレーティング システム モジュール245は、デバイス プロセッサ250と情報を共有するように画像プロセッサ220をさらに構成することができる。
[0050]デバイス プロセッサ250は、キャプチャされた画像、またはキャプチャされた画像のプレビューをユーザに対して表示するようにディスプレイ225を制御するように構成されることができる。ディスプレイ225は、イメージングデバイス200の外部にあり得るか、またはイメージングデバイス200の一部であることができる。ディスプレイ225はまた、画像をキャプチャすることより前の使用のためのプレビュー画像を表示するビューファインダーを与えるように構成されることができるか、あるいは、メモリに記憶された、またはユーザによって最近キャプチャされた、キャプチャされた画像を表示するように構成されることができる。ディスプレイ225は、LCDまたはLEDスクリーンを備えることができ、タッチ センシティブ技術を実装することができる。
[0051]デバイス プロセッサ250は、データ、たとえば、キャプチャされた画像を表すデータをストレージ モジュール210に書き込むことができる。ストレージ モジュール210は旧来のディスクデバイスとして図式的に表されているが、ストレージ モジュール210は任意のストレージメディアデバイスとして構成されることができることを当業者は理解されよう。たとえば、ストレージ モジュール210は、フロッピー(登録商標)ディスク ドライブ、ハード ディスク ドライブ、光ディスク ドライブまたは光磁気ディスク ドライブなどのディスク ドライブ、あるいはフラッシュ メモリ、RAM、ROM、および/またはEEPROM(登録商標)などの固体メモリを含むことができる。ストレージ モジュール210はまた、複数のメモリユニットを含むことができ、メモリユニットのいずれか1つが、画像キャプチャ デバイス200内にあるように構成されることができるか、または画像キャプチャ デバイス200の外部にあることができる。たとえば、ストレージ モジュール210は、画像キャプチャ デバイス200内に記憶されたシステムプログラム命令を含んでいるROMメモリを含むことができる。ストレージ モジュール210はまた、カメラから取外し可能であり得、キャプチャされた画像を記憶するために構成されたメモリカードまたは高速メモリを含み得る。
[0052]図2は、プロセッサとイメージング センサーとメモリとを含むように別個の構成要素を有するデバイスを示しているが、これらの別個の構成要素は、特定の設計目標を達成するために様々な方法で組み合わせられ得ることを当業者は認識されよう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し、性能を改善するために、プロセッサ構成要素と組み合わせられることができる。いくつかの実施形態では、デバイスは、デバイス プロセッサ250および画像プロセッサ220に関して説明された機能を実行することができる単一のプロセッサを含むことができる。
[0053]さらに、図2は、いくつかのモジュールを備えるメモリ構成要素230と、ワーキングメモリを備える別個のメモリ205とを含む2つのメモリ構成要素を示しているが、異なるメモリ アーキテクチャを利用するいくつかの実施形態を当業者は認識されよう。たとえば、メモリ230中に含まれているモジュールを実装するプロセッサ命令の記憶のための設計は、ROMまたはスタティックRAMメモリを利用することができる。プロセッサ命令は、画像プロセッサ220による実行を可能にするためにRAMにロードされることができる。たとえば、ワーキングメモリ205はRAMメモリを備えることができ、命令は、画像プロセッサ220による実行の前にワーキングメモリ205にロードされる。
III.視差およびチルト アーティファクト(Artifacts)からフリーな(free)屈曲光学アレイ カメラの概観
[0054]図3Aおよび図3Bは、以下で定義される、あらかじめ決定された空間関係による様々な構成要素の構成により視差およびチルト アーティファクト(tilt artifacts)がないアレイ カメラの一実施形態を示している。図3Aおよび図3Bによって示されるように、2つのミラー面330、335および2つの対応するセンサー311A、311Bは、キャプチャされた画像において視差およびチルト アーティファクトを生じることを回避するために、あらかじめ定義された空間関係に基づいて構成されることができる。アレイのセンサーおよびそれの対応するレンズは「カメラ」と呼ばれ、アレイ中のすべてのカメラの協働は「仮想カメラ」と呼ばれる。図示されていないが、各カメラは、カメラの光軸に対して図示された角度に配置されないセンサーのほうへ光をリダイレクトするために、上記で説明されたように2次光リダイレクト面を有することができる。たとえば、いくつかの実施形態では、すべてのセンサーは共通平面に配置されることができる。図示の実施形態では、仮想カメラ320は、仮想センサー321と、仮想センサーに関連する仮想レンズ322とを含む。理解されるように、仮想カメラ320は、物理的センサー311A、311Bによってキャプチャされた画像をスティッチすることによって生成された全体的アレイ300の合成開口(視野340)に対応する仮想センサー321および仮想レンズ322を示すために図示されており、仮想カメラは、アレイの実際の構築において物理的には存在しない。
[0055]各カメラ310A、310Bは中央ミラープリズム350の頂点Aに向いており、各カメラ310A、310Bの光軸315A、315Bは頂点Aを通過する。カメラ310A、310Bの各々に関連するレンズ312A、312Bのレンズ中心は頂点から同じ距離にあり、各カメラ310A、310Bは仮想カメラ320の視野340の半分を見る。垂直軸325に対する各カメラ310A、310Bの光軸315A、315Bの角度は、垂直軸325に対してそれの対応するミラー330、335によって形成される平面の角度の2倍であり得る。図示の実施形態では、垂直軸325は、アレイ300の対称垂直軸を示し、また仮想光軸(たとえば、仮想センサー321および仮想レンズ322によって表される仮想カメラ320の光軸)である。
[0056]図示のように、ミラー面330、335によって形成される平面は、アレイの仮想光軸325に沿った、頂点と呼ばれる、図ではAと標示された共通点において交差する。カメラ310A、310Bは、各カメラの光軸315A、315Bが頂点Aと交差するように配置されることができる。さらに、各カメラ310A、310Bは、カメラの光軸315A、315Bと仮想光軸325との間に形成される(角度2αと標示された)角度が、対応するミラー面330、335と仮想光軸325との間に形成される(角度αと標示された)角度の2倍であるように配置されることができる。しかしながら、これらの角度は、アレイ中のすべてのカメラについて同じである必要はない。頂点Aと投影中心313B(センサー311Bに対応するレンズ312B内に位置する)との間の距離Dは、アレイ中のすべてのカメラについて同じまたは本質的に同じであり得る。アレイのすべてのカメラ310A、310Bは、アレイ300の仮想光軸325に沿って上を向いている1つの単一の仮想カメラ320に仮想的にマージする(merge)(1つの単一の仮想カメラ320「として働く」と読み替えられる)。このようにして、各個々のカメラ/レンズ/ミラー組合せは全アレイ300のサブ開口のみを表す。仮想カメラ320は、すべての個々の開口光線の総和からなる合成開口を有する。
[0057]図3Cは、アレイ300中の1つのカメラ310Bのための上記で説明された設計制約の一例を示している。アレイ300中のすべてのカメラ310A、310Bからの画像をスティッチすることによって形成される仮想カメラ320の視野340は、システムの機械的パラメータの最適化に基づくことができる。しかしながら、概算推定は、無限に小さい(点サイズの)個々のカメラ310Bの仮定に基づいて取得されることができる。仮想カメラ320のための最大可能視野(FOV)は図3Cにおける角度に関係し、だたし、
FOV=2β
β=90−α
FOV=180−2α
である。
[0058]角度βを越えると、仮想カメラ320が「見る」光線は実カメラ310Bの物理的構造によって妨害されることができる。アレイ カメラのいくつかの実施形態では、FOVはより小さいことがある。
[0059]さらに、アレイ カメラは、いくつかの実施形態では、望ましくは薄型(たとえば、高さ4mm以下)であり、これは、角度αを、45°未満に、およびある値よりも大きい値に制約する。他の実際的要件は、α>30°にし得る。様々な実施形態では、焦点距離および角度αは、すべてのカメラについて同じである必要はない。
[0060]図4は、FOV=(約)60°を生じることができる、図3A〜図3Cのアレイ カメラ300の1つのセンサー311Bおよびミラー335に対応する、設計パラメータの一例と、ミラー335に入射した光の様々な角度についての例示的な光線追跡とを示している。しかしながら、これは、一例であり、限定ではなく、より広い角度が現実的に可能である。実レンズについて同様の結果が予想される理想的なレンズ312Bを仮定すると、カメラ310Bの焦点距離は約5mmであり、開口は2.5mmであり、Aからレンズ312B投影中心313Bまでの距離は約10.9mmであり、Aは底面400から約4mmの高さHにあり(ただし、高さHは、アレイのための全体的厚さまたは高さに基づいて変動することがある)、レンズ投影中心313Bは底面400から約2mmの高さにあり、α=40°である。FOV=60°は、相対照度を計算することから決定されることができ、ミラー335サイズと、レンズ投影中心313Bからミラー335までの距離とによって制約されることができる。約4mmのミラー高さHの制約は、アレイ カメラのフォームファクタ制限により増加されないことがあり、ミラー335までの距離は低減されることができるが、物理的カメラが光線の一部を妨害するという犠牲を払うことになる。図示のように、センサー311Bは、センサー311Bが光軸315Bと中心を合わせて従来通り配置された場合にミラーによって与えられる視野よりも多くの視野から光を集めるために、光軸315Bから中心を外れて配置されることができる。他の実施形態では、センサーは、光軸に対して異なる位置および異なる角度に配置されることができ、光をセンサーにリダイレクトするために2次光リダイレクト面が含められることができる。たとえば、中央ミラーピラミッドの底面400は基板上に配置(またはそれに挿入)されることができ、センサー311B(およびアレイ300中のすべての他のセンサー)は基板上に配置(またはそれに挿入)されることができる。
IV.プリズム アレイ カメラの概観
[0061]図5A〜図5Cは、プリズム アレイ カメラのためのプリズムの一実施形態を示している。図5Aは、(仮想カメラVの仮想光軸とも呼ばれる)アレイ カメラ対称垂直軸750に直角に配置された(第1の面とも呼ばれる)上面710と、対称垂直軸750に対して角度αに配置されたプリズム700の(第2の面とも呼ばれる)下側内面720と、上面710に直角に配置された(第3の面とも呼ばれる)下側外面730とを有するプリズム700の破断側面図を示している。第1の面710は、ターゲット画像シーンの少なくとも一部分を表す光が第1の面710を通ってプリズム700に入るように配置されることができる。第2の面720は、第1の面710から受けた光を第3の面730の方へリダイレクトするために、仮想光軸750に関して角度2に配置されることができ、ただし、角度2はαの角度値を有する。第3の面730は、プリズム700を通過した光が第3の面730を出て、カメラCに入るように、対応するカメラCに対向していることができる。
[0062]Vは、イメージング システムの屈曲光学系に基づくカメラCの像である仮想カメラを表す。Aは、仮想カメラVの光軸でもある対称垂直軸750に沿って位置するプリズム700の「頂点」を表す。Cは、プリズム700の外部の、カメラ光軸745に沿ったどこかに位置するカメラを表し、ここで、カメラ光軸745は、プリズム700の第2の面720に対して角度αに配置され、仮想光軸750に対して角度1に配置され、ただし、角度1は2αの角度値を有する。簡単および明快の目的で点として示されているが、カメラCは複数の構成要素、たとえば、図1Aに示されたようなレンズ集合130と、2次光リダイレクト面135と、センサー125とを含むことができる。プリズム700は、いくつかの例では、図1Bに示された屈折プリズム141、146として使用されることができる。
[0063]いくつかの実施形態では、屈折率n=2を有する材料がプリズム700のために使用されることができる。他の実施形態では、n≧1.5の屈折率を有する材料がプリズム700のために使用されることができる。たとえば、高指数ガラスが、プリズム700をそれから構築するのに好適な材料であり得る。プリズムは、好適な材料から彫刻、切削、または成形されることができる。いくつかの実施形態では、プリズム700の第2の面720は、その面の反射特性を向上させるために、反射性材料、たとえばアルミニウムまたは別の金属でコーティングされることができる。
[0064]いくつかの例では、n=2であるとき、角度α=30°である。n=2の屈折率を有する材料の内部全反射特性により、α=30°よりも大きい角度で上面710に当たる、右面730を通ってプリズムに入った光線は、上面710から反射されてプリズムに戻ることになる。カメラ光軸を表す点線のわずかに上のカメラから来る光線は、(例示的な光線735によって示されるように)内部全反射のそれを上回る角度で面710に当たり出てこない。したがって、カメラはプリズムの左上コーナーAの上を何も見ない。画像シーンからの光は、その位置/方向からカメラ開口に入らない。カメラの視野を示すために、本明細書で提供される例では、光線はカメラ「から」来るものとして図示および説明されることができるが、実際には、光線は、ターゲット画像シーンにおいて発生し、カメラCに入る前にプリズムを通過できることが諒解されよう。
[0065](例示的な光線740によって示されるような)概して水平の光線は、内部全反射の角度2α=60°で第2の面720に当たり、水平方向にプリズムを出る。Cから出てくる光線の上の他の光線は、垂直までの異なる角度からプリズムを出る。したがって、このカメラは約90°のFOVをカバーし、そのようなカメラのアレイは約180°のFOVをカバーするであろう。
[0066]図5Bは、個々に示されたプリズム700の斜視図と、4カメラ プリズム アレイ カメラにおいて使用されることができるような、4つのプリズムの集合780の斜視図とを示している。図示された構成はプリズム集合の一例として与えられており、他の実施形態では、2つ、3つ、5つまたはそれ以上のプリズム700が集合において使用されることができる。図示のように、各個々のプリズムの頂点Aは、他の各プリズムの頂点に実質的に隣接して配置されることができ、上面710は同一平面上にあることができる。各プリズム700の第3の面730は、4つのプリズムを有する図示の例では、上面710を通って集合780に入った光が第3の面730を通って4つの方向において外部にリダイレクトされるように、集合780の外側を形成する。集合780は中実のように見えるが、プリズムの角度付き第2の面720は、プリズム集合780において空のピラミッド形の凹部を形成し、それの1つの部分が、プリズム700に関連する負の空間760として図示されている。凹部は、空であるか、または様々な実施形態では、たとえば反射裏張り(backing)または反射固体で埋められることができる。本明細書で使用する「反射裏張り」は、プリズムの面に裏張りまたはコーティングとして適用される反射性材料を含む、1つまたは複数の材料を指すことがある。たとえば、プリズムに材料を接着し、噴霧し、塗布し、真空蒸着によって蒸着し、または他の方法で適用することによって、金属の薄い層、フィルム、または他の反射性材料が、材料の反射側が第2の面720の外側(すなわち、プリズムの外側)に隣接するように、プリズムの第2の面720上に与えられ得る。
[0067]図5Cは、プリズム700を使用するプリズム アレイ カメラが直面し得る潜在的問題を示している。問題を説明するために、BK7ガラスから作られたプリズムの一例を考える。BK7ガラスの屈折率n=1.5はα=24°をもたらす。1つの潜在的問題は、多くの場合、図7Cに示されているように、いくつかの光線(例示的な光線770参照)がプリズム自体によってクリッピングされ、したがって、FOVが約60°に制限されることである。これは、約120°のFOVを有するアレイ カメラをさらに生成することがある。別の潜在的問題は、プリズムが分散性であり、したがって、プリズム700「を通して」画像シーンを見るカメラCによってキャプチャされた画像は、色収差を有する可能性があることである。色収差は、カラフルなおよび/またはぼやけたアーティファクト、たとえば、分散によるカラー化の方向におけるぼけとして視覚的に現れることがある。
[0068]図6A〜図6Cは、図5A〜図5CのカメラのFOV制限および色収差問題に対処する、プリズム アレイ カメラのためのプリズムの別の実施形態を示している。(光学要素とも呼ばれる)プリズム800は、第1の面810の長さと第3の面830の長さとが実質的に同じである二等辺三角形として形成された断面積を有することによって、それの対称性により、反射と屈折の両方を行い、図5A〜図5Cのプリズムに関する上記で説明された問題を補正する。ターゲット画像シーンの少なくとも一部分からの光は、(光がその点において屈折されることができる)第1の面を通って光学要素に入り、第2の面から第3の面のほうへリダイレクトされ、カメラCのほうへ進むために、第3の面を通って光学要素を出る。
[0069]第1の面810と第2の面820との間に形成される角度αの角度値と、第2の面820と第3の面830との間に形成される角度の角度値とは実質的に同じであり、90−αに等しくなり得る。第2の面820と対称垂直軸850(また仮想光軸)との間に形成される角度2の角度値は、第2の面820とカメラ光軸845との間に形成される角度αの角度値に等しくなり得る。したがって、第2の面820によって形成される平面は、仮想光軸850とカメラ光軸845との間に形成される角度1を二等分し、角度1は、角度2の角度値の2倍の角度値を有する。第1の面810と第3の面830との間に形成される角度3は、角度1の角度値の2倍の角度値を有する。対称垂直軸850とカメラ光軸845とはプリズム800の頂点Aにおいて交差することができる。プリズム800は、いくつかの例では、図1Bに示された屈折プリズム141、146として使用されることができる。
[0070]図6Aは、アレイ カメラ対称垂直軸850に直角に配置された第1の(または上)面810と、対称垂直軸に対して角度αに配置されたプリズム800の第2の(または下側内)面820と、第1の面810に対して角度2αに配置された第3の(または下側外)面830とを有するプリズム800の破断側面図を示している。いくつかの実施形態では、第2の面820は反射裏張りを備え得るか、または反射性材料が第2の面820に隣接して配置されることができる。第3の面830は、プリズム800によって受けた光の部分をカメラに通すように、対応するカメラに対向して配置されることができる。(図6Aに示されていない)カメラは、プリズム800の外部の、カメラ光軸845上のどこかに位置することができる。
[0071]上記で説明された視差およびチルトなし設計原理に従って、カメラ光軸845は、対称垂直軸に対して角度2αの角度が付けられ、プリズムの頂点Aを通過する。仮想カメラの投影中心は対称垂直軸850に沿って位置することができる。破断側面図として示されているが、第1の面、第2の面、および第3の面の各々によって形成される平面は、プリズムを実装するプリズム アレイ カメラにおいてキャプチャされた画像における視差およびチルト アーティファクトを低減または除去するための幾何学的関係に従うことが諒解されよう。
[0072]そのようなプリズムは、分散がなく、したがって色収差を生じない。図6Bは、プリズム800を通って進む例示的な光線835を示している。図6BにはカメラCおよび仮想カメラVが示されている。
[0073]プリズム800は、仮想カメラVの観点から見られるとき、平行な上面と下面とをもつガラス板と等価であり、ここで、Vは、プリズム800の屈曲光学系により、実カメラCの鏡像である。平行な面をもつガラスプレートを通って進む光に関する色問題がないので、プリズム800も、キャプチャされた画像において色収差を呈しない。Cから来る水平光線835は、図示のように仮想カメラVから出てくる光線840と等価である。光線は、光線セグメント841によって示されるように、光線がVから入った方向(光線セグメント840によって表される)に平行にプリズムを出る。
[0074]さらに、光線はクリッピング(clipped)されない。光線がプリズムに入る限り、その光線がまた出る。その結果、カメラのFOVは維持される。各々がFOV=60°を有する、カメラのアレイは120°をカバーすることになる。Vがプレートに接しており、αが内部全反射の角度である場合、180°までのアレイ カメラのためのFOVが可能である。
[0075]図6Cは、個々に示されたプリズム800の斜視図と、4カメラプリズムアレイカメラにおいて使用されることができるような、4つのプリズム800の集合880の斜視図とを示している。図示された構成はプリズム集合の一例として与えられており、他の実施形態では、2つ、3つ、5つまたはそれ以上のプリズムが集合において使用されることができる。図示のように、各個々のプリズム800の頂点Aは、他の各プリズムの頂点に実質的に隣接して配置されることができ、上(第1の)面は同一平面上にあることができる。各プリズム800の第3の面830は、4つのプリズムを有する図示の例では、上面810を通って集合880に入った光が第3の面830を通って4つの方向において外部にリダイレクトされるように、集合880の外側を形成する。集合880は中実のように見えるが、プリズムの角度付き下側内(第2の)面820は、プリズム集合880において空のピラミッド形の凹部を形成し、それの一部分が、プリズム800に関連する負の空間860によって図示されている。凹部は、空であるか、または様々な実施形態では、たとえば反射裏張りまたは反射固体で埋められ得る。
[0076]集合880中の各プリズムは、視差およびチルトのない画像を生成するために、上記で定義された幾何学的関係に従って配置された切子面を有するように製造されることができる。下側外(第3の)面の角度は、集合880を、チルトされた側面を有するように見えさせることがある。
[0077]図7A〜図7Cは、負レンズとも呼ばれる平凹レンズ940を有するプリズム アレイ カメラのためのプリズム900の別の実施形態を示している。図6A〜図6Cに関して上記で説明された二等辺プリズム設計へのレンズ940の組込みは、カメラのFOVをさらに増加させることができる。
[0078]図7Aは、アレイ カメラ対称垂直軸950に直角に配置された第1の面910と、対称垂直軸950に対して角度αに配置されたプリズム900の第2の面920と、対称垂直軸950に対して角度2αに配置されたカメラ光軸945と、第1の面910に対して角度2αに配置された第3の面930とを有するプリズム900の破断側面図を示している。第3の面930は、対応するカメラに対向していることができる。(図7Aに示されていない)カメラは、プリズム900の外部の、カメラ光軸945上のどこかに位置することができる。上記で説明された視差およびチルトなし設計原理に従って、カメラ光軸945は、対称垂直軸に対して角度2αの角度が付けられ、プリズムの頂点Aを通過する。仮想カメラの投影中心は、対称垂直軸950に沿って位置し、また頂点Aを通過することができる。プリズム900は、いくつかの例では、図1Bに示された屈折プリズム141、146として使用されることができる。
[0079]負レンズ940は、第3の面930中に形成されるものとして示されている。負レンズ940は、様々な実施形態では、プリズム900から彫刻または切削されることができるか、あるいはプリズム900とともに、成形され、または他の方法で形成されることができる。他の実施形態では、第3の面は平坦であり得、負レンズは、たとえば接着剤によって面に結合されることができる。プリズム900に彫刻されたレンズは、薄型フォーム ファクタ アレイ カメラ(a thin-factor array camera)とともに使用するのにより好適であり得る。
[0080]このレンズ940は、全光学設計の一部として考慮され、カメラを集束させるために使用されるであろうレンズ集合とともに最適化されるべきである。そのようなレンズ940は、カメラのほうへ進む光線を広げることによってFOVを増加させる。一例では、レンズ面は、投影中心を中心とする球体の一部であり得る。すべての光線は、垂直に入り、屈折されない。光線がガラス内の小さい角度をカバーするときでも、それらがレンズ940の平坦面を通って出るとき、角度は増加する。光線の角度が内部全反射に近いとき、出口角は著しく増加する。
[0081]図7Bは、個々に示されたプリズム900の斜視図と、4カメラプリズムアレイカメラにおいて使用されることができるような、4つのプリズム900の集合980の斜視図とを示している。図示された構成はプリズム集合の一例として与えられており、他の実施形態では、2つ、3つ、5つまたはそれ以上のプリズムが集合において使用されることができる。図示のように、各個々のプリズムの頂点Aは、他の各プリズムの頂点に実質的に隣接して配置されることができ、上(第1の)面910は同一平面上にあり得る。各プリズム900の第3の面930は、4つのプリズムを有する図示の例では、上面910を通って集合980に入った光が第3の面930を通って4つの方向において外部にリダイレクトされるように、集合980の外側を形成する。集合980は中実のように見えるが、プリズムの角度付き下側内(第2の)面920は、プリズム集合980において空のピラミッド形の凹部を形成し、それの1つの部分が、プリズム900に関連する負の空間960として図示されている。凹部は、空であるか、または様々な実施形態では、たとえば、第2の面920上の反射裏張りで、または反射固体で埋められ得る。第3の面930の角度は、集合980を、チルトされた側面を有するように見えさせることがある。第3の面930は、側面にある負レンズ940を示している。
[0082]図7Cは、仮想カメラVの観点からの図7Aの概念の表現を示している。図7Cは、曲がることなしに角度90−αで仮想カメラVから(負レンズ940の鏡像に対応する)仮想負レンズ970を通ってプリズム900に入り、内部全反射の角度で第1の面910に達する光線935を示している。この光線935は、ほぼ水平方向に第1の面910を通ってプリズム900を出る。同時に、仮想カメラからの垂直光線(図示せず。垂直光線は対称垂直軸950に沿って進むであろう)が垂直方向に出る。したがって、カメラが全FOV 90−α度、ただし、αは内部全反射の角度である、を有する場合、それはガラスの外側で全視野90°をカバーすることになる。さらに、2つまたはそれ以上のそのようなカメラは180°のFOVをカバーするであろう。4つのそのようなカメラは、2つのそのようなカメラよりも広い直交カバレージをもつ180°のFOVをカバーするであろう。
[0083]図示のように、カメラCによってキャプチャされた画像と、追加のプリズム(たとえば、集合980中のプリズム900とともに構成された別のプリズム)に対応するカメラによってキャプチャされた画像との間の視差アーティファクト(parallax artifacts)を低減するために、第2の面920によって形成される平面は、仮想光軸950とカメラ光軸945との間に形成される角度1を二等分し、角度1は、角度2の角度値の2倍の角度値を有する。第1の面910と第3の面930との間に形成される角度3は、角度1の角度値の2倍の角度値(2α)を有する。集合中の各プリズムおよびそれの対応するカメラは、これらの視差低減設計原理に従って整形および/または構成されることができる。図5A〜図7Cでは簡単の目的で点光源として示されているが、カメラCは様々な構成要素、たとえば、画像センサー、プリズムの第3の面を出た光がセンサーに入射する前にその光に2次リダイレクションを与えるミラーまたは屈折要素、画像センサーとミラーまたは屈折要素との間に配置されたレンズ集合のうちの1つまたは複数を含むことができることが諒解されよう。
[0084]プリズム アレイ カメラの上記で説明された実施形態は、いくつかの例では、プリズムの下側内面によって形成される平面が、仮想光軸とカメラ光軸との間に形成される角度を二等分するように、対応するカメラ投影中心と仮想カメラの仮想投影中心との間に形成されるラインの中間点に、およびそれに直交して下側内面を位置決めする、視差なし設計原理に基づいて構築されることができる。そのような例では、アレイ カメラは、チルト アーティファクトなしであることも、そうでないこともある。他の例では、プリズム アレイ カメラの上記で説明された実施形態は、図3A〜図4の視差およびチルトなし設計原理に基づき得る。この設計は図5A〜図7Cの設計よりも限定的であるが、それはチルトと視差の両方を除去する。
V.例示的な画像キャプチャ プロセスの概観
[0085]図8は、屈曲光学画像キャプチャ プロセス1000の一実施形態を示している。プロセス1000はブロック1005において開始し、そこにおいて、複数のイメージング センサー集合が設けられる。このステップは、前の図に関して上記で説明されたセンサー アレイ構成のいずれかを含む。センサー集合は、図1Aおよび図1Bに関して上記で説明されたように、センサーと、レンズシステムと、レンズシステムからの光をセンサー上にリダイレクトするように配置された反射面とを含むことができる。センサー集合は、代替的に、センサーと、レンズシステムと、上記で説明された屈折プリズム例のいずれかとを含むことができる。プロセス1000は、次いでブロック1010に移動し、そこにおいて、少なくとも1つの屈折面が複数の画像センサーに近接して装着される。たとえば、このステップは、センサー アレイの中心に中央プリズム集合を装着することを備えることができ、ここにおいて、中央プリズム集合は、アレイ中の各センサーに関連する少なくとも1つの面を備える。いくつかの実施形態では、2次ミラーまたはプリズムが設けられることができ、たとえば、アレイの全高を低減するために、各センサーと関連するレンズ集合との間に1つの2次ミラーまたはプリズムが配置される。
[0086]プロセス1000は、次いでブロック1015に遷移し、そこにおいて、ターゲットシーンの画像を備える光が、少なくとも1つの屈折面を通してイメージング センサーのほうへ屈折される。たとえば、光の部分が、プリズム集合中の複数のプリズムの各々を通して複数のセンサーの各々の対応する1つのほうへ屈折されることができる。このステップは、光を、各センサーに関連するレンズ集合に通すことをさらに備えることができ、光を第2の面からセンサー上に反射することをも含むことができ、ここで、レンズ集合は屈折面と反射面との間に配置される。ブロック1015は、レンズ集合を使用して、および/あるいは反射面または屈折面のいずれかの移動によって、光を集束させることをさらに備え得る。
[0087]プロセス1000は、次いでブロック1020に移動し得、そこにおいて、センサーはターゲット画像シーンの複数の画像をキャプチャする。たとえば、各センサーは、そのセンサーの視野に対応するシーンの部分の画像をキャプチャすることができる。複数のセンサーの視野は、合同して、少なくとも、オブジェクト空間中のターゲット画像をカバーする。画像シーンからの光をセンサーのほうへリダイレクトするために使用される屈折プリズムの特性により、ロー プロファイルを維持しながら、そのような屈折プリズムを実装しないシステムと比較して総視野が増加され得ることができる。
[0088]プロセス1000は、次いでブロック1025に遷移することができ、そこにおいて、複数の画像から単一の画像を生成するために画像スティッチング方法が実行される。いくつかの実施形態では、図2の画像スティッチング モジュール240がこのステップを実行することができる。これは、知られている画像スティッチング技法を含むことができる。さらに、視野中の重複エリアは、スティッチング プロセスにおいて画像を整合させる際に使用されることができる、複数の画像における重複を生成することができる。たとえば、ブロック1025は、隣接する画像の重複するエリア中の共通特徴を識別することと、画像を整合させるために共通特徴を使用することとをさらに含むことができる。いくつかの実施形態では、屈折プリズムの面間の幾何学的関係により、スティッチングより前の様々な部分画像間の視差またはチルト アーティファクトがないか、または実質的にないことがある。
[0089]次に、プロセス1000はブロック1030に遷移し、そこにおいて、スティッチされた画像は、指定されたアスペクト比、たとえば4:3または1:1にクロップされる。最終的に、プロセスは、ブロック1035において、クロップされた画像を記憶した後に終了する。たとえば、画像は、図2のストレージ210に記憶されることができるか、またはターゲットシーンのプレビュー画像として表示のために図2のワーキングメモリ205に記憶されることができる。
VI.システムを実装することおよび用語
[0090]本明細書で開示される実装形態は、視差およびチルト アーティファクトがない複数のセンサーアレイカメラのためのシステム、方法および装置を提供する。これらの実施形態は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されることができることを当業者は認識されよう。
[0091]いくつかの実施形態では、上記で説明された回路、プロセス、およびシステムは、ワイヤレス通信デバイスにおいて利用されることができる。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレス通信するために使用される一種の電子デバイスであり得る。ワイヤレス通信デバイスの例としては、セルラー電話、スマートフォン、携帯情報端末(PDA)、電子リーダー、ゲームシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどがある。
[0092]ワイヤレス通信デバイスは、1つまたは複数の画像センサー、2つまたはそれ以上の画像信号プロセッサ、上記で説明されたプロセスを行うための命令またはモジュールを含むメモリを含むことができる。デバイスはまた、データと、メモリから命令および/またはデータをロードするプロセッサと、1つまたは複数の通信インターフェースと、1つまたは複数の入力デバイスと、ディスプレイ デバイスなどの1つまたは複数の出力デバイスと、電源/電力インターフェースとを有し得る。ワイヤレス通信デバイスは、さらに、送信機と受信機とを含むことができる。送信機と受信機とはまとめてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および/または受信するために、1つまたは複数のアンテナに結合されることができる。
[0093]ワイヤレス通信デバイスは、別の電子デバイス(たとえば、基地局)にワイヤレスに接続することができる。ワイヤレス通信デバイスは、代替的に、モバイル デバイス、移動局、加入者局、ユーザ機器(UE)、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることがある。ワイヤレス通信デバイスの例としては、ラップトップまたはデスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどがある。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP(登録商標))など、1つまたは複数の業界規格に従って動作することができる。したがって、「ワイヤレス通信デバイス」という一般的な用語は、業界規格に従って異なる名称を用いて表されるワイヤレス通信デバイス(たとえば、アクセス端末、ユーザ機器(UE)、リモート端末など)を含むことができる。
[0094]本明細書で説明された機能は、1つまたは複数の命令としてプロセッサ可読媒体またはコンピュータ可読媒体上に記憶されることができる。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされることができる任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュ メモリ、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされることができる任意の他の媒体を備えることができる。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびBlu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。コンピュータ可読媒体は有形で非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理または計算されることができるコードまたは命令(たとえば、「プログラム」)と組み合わせたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指すことがある。
[0095]本明細書で開示された方法は、説明された方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに交換されることができる。言い換えれば、説明された方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、その順序、ならびに/あるいは特定のステップおよび/またはアクションの使用は、特許請求の範囲を逸脱することなく変更されることができる。
[0096]「結合する(couple)」、「結合すること(coupling)」、「結合される(coupled)」という用語、または本明細書で使用される結合するという単語の他のバリエーションは、間接接続または直接接続のいずれかを示し得ることに留意されたい。たとえば、第1の構成要素が第2の構成要素に「結合される」場合、第1の構成要素は、第2の構成要素に間接的に接続されるか、または第2の構成要素に直接的に接続されるかのいずれかであることができる。本明細書で使用される「複数」という用語は、2つまたはそれ以上を示す。たとえば、複数の構成要素は、2つまたはそれ以上の構成要素を示す。
[0097]「決定すること」という用語は多種多様なアクションを包含し、したがって、「決定すること」は、計算すること(calculating)、計算すること(computing)、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること)、確認することなどを含むことができる。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ中のデータにアクセスすること)などを含むことができる。また、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含むことができる。
[0098]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
[0099]上記の説明では、例の完全な理解を与えるために具体的な詳細を与えた。ただし、例はこれらの具体的な詳細なしに実施されることができることを当業者は理解されよう。たとえば、電気的構成要素/デバイスは、例を不必要な詳細で不明瞭にしないためにブロック図で示されることがある。他の事例では、そのような構成要素、他の構造および技法は、例をさらに説明するために詳細に図示されることがある。
[0100]参照のために、および様々なセクションの位置を特定することを助けるために、本明細書に見出しが含まれている。これらの見出しは、それに関して説明された概念の範囲を限定するものではない。そのような概念は、本明細書全体にわたって適用可能性を有することができる。
[0101]また、例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明されることがあることに留意されたい。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並行してまたは同時に実行されることができ、プロセスは繰り返されることができる。さらに、動作の順序は並べ替えられることができる。プロセスは、それの動作が完了したときに終了する。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応することができる。プロセスがソフトウェア関数に対応するとき、それの終了は呼出し関数またはメイン関数への関数の復帰に対応する。
[0102]開示された実装形態の以上の説明は、当業者が本発明を実施または使用することができるようにするために提供したものである。これらの実装形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用されることができる。したがって、本発明は、本明細書で示された実装形態に限定されるものではなく、本明細書で開示された原理および新規の特徴に一致する最も広い範囲を与られるべきである。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ターゲット画像シーンをキャプチャするためのプリズム アレイ カメラであって、システムが、
前記プリズム アレイ カメラの対称垂直軸の周りに配置された複数のカメラを備え、前記複数のカメラの各カメラが、
画像センサーと、
前記対称垂直軸に対して第1の角度に配置された光軸と、前記第1の角度は角度値に対応する、および
複数のプリズムと、各プリズムは、少なくとも部分的に屈折によって、前記複数のカメラのうちの対応するカメラの方へ前記ターゲット画像シーンを表す光の部分を向けるように構成される、
各プリズムは、
前記プリズム アレイ カメラの前記対称垂直軸に直角に配置された第1の面と、前記第1の面は、前記ターゲット画像シーンを表す光の前記部分が前記第1の面を通って前記プリズムに入るように配置される、
第2の面によって形成される平面が、前記対応するカメラの前記光軸と前記対称垂直軸との間の前記第1の角度を二等分するように配置された前記第2の面と、
第3の面と、前記第2の面は、前記第1の面から受光された光の前記部分を前記第3の面のほうにリダイレクトするために構成され、前記第3の面は、前記ターゲット画像シーンを表す光の前記部分が、前記プリズムを出て、前記対応するカメラのほうへ進むように配置される、を備える、プリズム アレイ カメラ。
[C2]
前記プリズムが、前記第1の面と前記第2の面との間の交点にある頂点をさらに備え、ここにおいて、前記複数のカメラの前記各カメラの前記光軸と前記プリズムアレイカメラシステムの前記対称垂直軸とが前記頂点を通過する、C1に記載のプリズム アレイ カメラ。
[C3]
前記第3の面が上面に対して第2の角度に配置され、前記第2の角度は前記角度値に対応する、C1に記載のプリズム アレイ カメラ。
[C4]
前記第1の面の長さと前記第3の面の長さとが実質的に等しい、C1に記載のプリズム アレイ カメラ。
[C5]
前記第3の面中に形成されたまたは取り付けられた負レンズをさらに備える、C1に記載のプリズム アレイ カメラ。
[C6]
前記第2の面上に設けられた反射裏張りをさらに備える、C1に記載のプリズム アレイ カメラ。
[C7]
第1の光屈曲面が屈折プリズムの下側内面を備え、前記複数のカメラの各カメラが、前記第1の光屈曲面と前記画像センサーとの間に配置された2次光屈曲面をさらに備える、C1に記載のプリズム アレイ カメラ。
[C8]
前記2次光屈曲面が反射面または追加のプリズムを備える、C7に記載のプリズム アレイ カメラ。
[C9]
前記複数のカメラの各カメラが、前記プリズムの前記第3の面と前記画像センサーとの間に配置されたレンズ集合をさらに備える、C1に記載のプリズム アレイ カメラ。
[C10]
前記複数のカメラの各々からの前記ターゲット画像シーンを表す光の前記部分から生成された画像を前記ターゲットシーンの最終画像内に合成するように構成されたプロセッサをさらに備える、C1に記載のプリズム アレイ カメラ。
[C11]
プリズム アレイ カメラを製造する方法であって、前記方法は、
前記プリズム アレイ カメラの対称垂直軸を決定することと、
前記プリズム アレイ カメラの複数のカメラの各カメラについて、
前記カメラの光軸が前記対称垂直軸に対して第1の角度に配置されるように前記カメラを配置することと、前記第1の角度は角度値に対応する、
光学要素の第1の面が前記対称垂直軸に直角に配置され、および
前記光学要素の第2の面が、前記第2の面によって形成される平面が前記第1の角度を二等分するように配置されるように、前記光学要素を配置することと
を備える、方法。
[C12]
前記光学要素の第3の面が前記光学要素の前記第1の面に対して第2の角度に配置されるように前記光学要素を配置することをさらに備え、前記第2の角度は前記角度値に対応する、C11に記載の前記プリズム アレイ カメラを製造する方法。
[C13]
前記光学要素が、前記第1の面に関する第1の長さと前記第3の面に関する第2の長さとを有し、ここにおいて、前記第1の長さは前記第2の長さに実質的に等しい、C12に記載の前記プリズム アレイ カメラを製造する方法。
[C14]
対応する光学要素の前記第3の面からターゲット画像シーンの部分を表す光を受光するために前記複数のカメラの各々を配置することをさらに備える、C12に記載の前記プリズム アレイ カメラを製造する方法。
[C15]
前記光学要素の前記第3の面内にまたはそれに固定された負レンズを供することをさらに備える、C12に記載の前記プリズム アレイ カメラを製造する方法。
[C16]
前記光学要素の前記第2の面上に反射裏張りを供することをさらに備える、C11に記載の前記プリズム アレイ カメラを製造する方法。
[C17]
前記複数のカメラの各々と電子通信中のプロセッサを供することをさらに備え、前記プロセッサは、前記ターゲット画像シーンの最終画像中に複数の画像を合成するように構成され、前記複数の画像の各々は、前記複数のカメラのうちの対応する1つから受光され、対応する光学要素の前記第3の面から受光された前記ターゲット画像シーンの前記部分の表現を備える、C11に記載の前記プリズム アレイ カメラを製造する方法。
[C18]
前記光学要素の前記第1の面と前記第2の面とが前記光学要素の頂点において交差し、前記プリズム アレイ カメラを製造する前記方法が、前記複数のカメラのうちの対応する1つの前記光軸を前記光学要素の前記頂点と交差するように配置することをさらに備える、C11に記載の前記プリズム アレイ カメラを製造する方法。
[C19]
前記光学要素の前記頂点が前記対称垂直軸に沿って位置する、C18に記載の前記プリズム アレイ カメラを製造する方法。
[C20]
各光学要素の前記頂点が少なくとも1つの他の光学要素の前記頂点に隣接するように、前記複数のカメラの各々に関連する前記光学要素を配置することをさらに備える、C19に記載の前記プリズム アレイ カメラを製造する方法。
[C21]
アレイ カメラにおいて使用するためのプリズム 集合であって、前記プリズム集合が、
対称垂直軸と、
複数の屈折光学要素と、各々は前記アレイ カメラの複数のカメラのうちの対応する1つに関連し、および前記複数のカメラのうちの前記対応する1つのほうへターゲット画像シーンを表す光の部分を通すように構成される、前記複数の屈折光学要素の各々は、
前記プリズム アレイ カメラの前記対称垂直軸に直角に配置された第1の面と、前記第1の面は、前記ターゲット画像シーンを表す光の前記部分が前記第1の面を通って前記プリズムに入るように配置される、
第2の面によって形成される平面が、前記対応するカメラの光軸と前記対称垂直軸との間の第1の角度を二等分するように配置された前記第2の面と、
第3の面と、前記第2の面は、前記第1の面から受けた光の前記部分を前記第3の面のほうへリダイレクトするように構成され、前記第3の面は、前記ターゲット画像シーンを表す光の前記部分が、前記プリズムを出て、前記対応するカメラのほうへ進むように配置される、
前記第1の面と前記第2の面との交差部によって定義される頂点と
を備える、
プリズム集合。
[C22]
前記複数の屈折光学要素の各々の前記第2の面上に供された反射裏張りをさらに備える、C21に記載のプリズム集合。
[C23]
前記複数の屈折光学要素の各々の前記頂点が、前記対称垂直軸に沿って配置された点である、C21に記載のプリズム集合。
[C24]
前記複数の屈折光学要素の各々の前記頂点が、前記複数の屈折光学要素の互いの前記頂点に実質的に隣接して配置される、C22に記載のプリズム集合。
[C25]
前記複数の屈折光学要素の前記第1の面が実質的に同一平面上にある、C24に記載のプリズム集合。
[C26]
前記複数の屈折光学要素の前記第2の面が前記プリズム 集合内の凹部を定義する、C25に記載のプリズム集合。
[C27]
前記複数の屈折光学要素の各々の前記第3の面内に形成されたまたは取り付けられた負レンズをさらに備える、C21に記載のプリズム集合。
[C28]
前記複数の屈折光学要素の各々が、約1.5以上の屈折率を有する実質的に透明な材料から製造される、C21に記載のプリズム集合。
[C29]
画像をキャプチャするための装置であって、
ターゲット画像シーンの複数の部分をキャプチャするための手段と、
前記複数の部分の各部分を表す光を屈折させるための手段と、光を屈折させるための前記手段は、下記を備える幾何学的関係に配置された複数の切子面を備え、
光を屈折させるための前記手段の対称垂直軸に直角に配置された第1の平面と、
前記対称垂直軸に対して第1の角度に配置された第2の平面と、前記第1の角度は第1の角度値に対応し、および、
前記第1の面に対して第2の角度に配置された第3の平面と、前記第2の角度は、前記第1の角度値の2倍に実質的に等しい第2の角度値に対応する、および
前記複数の部分を前記ターゲット画像シーンの最終画像中に集合するための手段と
を備える、装置。
[C30]
光を屈折させるための前記手段が、複数の屈折光学要素の集合を備え、前記複数の屈折光学要素の各々は、前記幾何学的関係で配置された少なくとも3つの切子面を有する、C29に記載の装置。

Claims (15)

  1. ターゲット画像シーンをキャプチャするためのプリズム アレイ カメラであって、前記プリズム アレイ カメラは、
    前記プリズム アレイ カメラの対称垂直軸の周りに配置された複数のカメラ(C)、前記複数のカメラ(C)の各カメラ(C)は、
    画像センサーと、
    前記対称垂直軸に対して第1の角度に配置された光軸と、前記第1の角度は角度値に対応する、
    を備える
    複数のプリズム、各プリズムは、少なくとも部分的に屈折によって、前記複数のカメラ(C)のうちの対応するカメラ(C)の方へ前記ターゲット画像シーンを表す光の部分を向けるように構成され、各プリズムは、
    前記プリズム アレイ カメラの前記対称垂直軸に直角に配置された第1の面と、前記第1の面は、前記ターゲット画像シーンを表す光の前記部分が前記第1の面を通って前記プリズムに入るように配置される、
    第2の面によって形成される平面が、前記対応するカメラ(C)の前記光軸と前記対称垂直軸との間の前記第1の角度を二等分するように配置された前記第2の面と、
    第3の面と、前記第2の面は、前記第1の面から受光された光の前記部分を前記第3の面のほうにリダイレクトするように構成され、前記第3の面は、前記ターゲット画像シーンを表す光の前記部分が、前記第3の面を介して前記プリズムを出て、前記対応するカメラ(C)のほうへ進むように配置される、
    を備える
    を備え、
    前記プリズム アレイ カメラが、
    前記プリズム アレイ カメラの前記対称垂直軸が、各プリズムの前記第1の面と前記第2の面との間の交点にある頂点(A)を通過する
    ように配置され
    前記複数のカメラ(C)の各カメラ(C)の前記光軸が、前記頂点(A)を通過する、
    ことを特徴とする、プリズム アレイ カメラ。
  2. 前記第3の面が前記第1の面に対して第2の角度に配置され、前記第2の角度は前記角度値に対応する、請求項1に記載のプリズム アレイ カメラ。
  3. 前記第1の面の長さと前記第3の面の長さとが実質的に等しい、請求項1に記載のプリズム アレイ カメラ。
  4. 前記第3の面中に形成されたまたは取り付けられた負レンズをさらに備える、請求項1に記載のプリズム アレイ カメラ。
  5. 前記第2の面上に設けられた反射裏張りをさらに備える、請求項1に記載のプリズム アレイ カメラ。
  6. 第1の光屈曲面が前記プリズムの前記第2の面を備え、前記複数のカメラ(C)の各カメラ(C)が、前記第1の光屈曲面と前記画像センサーとの間に配置された2次光屈曲面をさらに備える、請求項1に記載のプリズム アレイ カメラ。
  7. 前記2次光屈曲面が反射面または追加のプリズムを備える、請求項6に記載のプリズム アレイ カメラ。
  8. 前記複数のカメラ(C)の各カメラ(C)が、前記プリズムの前記第3の面と前記画像センサーとの間に配置されたレンズ集合をさらに備える、請求項1に記載のプリズム アレイ カメラ。
  9. 前記複数のカメラ(C)の各々からの前記ターゲット画像シーンを表す光の前記部分から生成された画像を前記ターゲットシーンの最終画像内に合成するように構成されたプロセッサをさらに備える、請求項1に記載のプリズム アレイ カメラ。
  10. プリズム アレイ カメラを製造する方法であって、前記方法は、
    前記プリズム アレイ カメラの対称垂直軸を決定することと、
    前記プリズム アレイ カメラの複数のカメラ(C)の各カメラ(C)について、
    前記カメラ(C)の光軸が前記対称垂直軸に対して第1の角度に配置されるように前記カメラ(C)を配置することと、前記第1の角度は角度値に対応する、
    光学要素の第1の面が前記対称垂直軸に直角に配置され
    前記光学要素の第2の面が、前記第2の面によって形成される平面が前記第1の角度を二等分するように配置され、前記プリズム アレイ カメラの前記対称垂直軸が、前記光学要素の前記第1の面と前記第2の面との間の交点にある頂点(A)を通過することを特徴とする、
    ように、前記光学要素を配置することと、
    前記カメラ(C)の前記光軸が前記光学要素の前記頂点(A)を通過するように前記カメラ(C)を配置すること
    を備える、方法。
  11. 前記光学要素の第3の面が前記光学要素の前記第1の面に対して第2の角度に配置されるように前記光学要素を配置することをさらに備え、前記第2の角度は前記角度値に対応する、請求項10に記載の前記プリズム アレイ カメラを製造する方法。
  12. 前記光学要素が、前記第1の面に関する第1の長さと前記第3の面に関する第2の長さとを有し、ここにおいて、前記第1の長さは前記第2の長さに実質的に等しい、請求項11に記載の前記プリズム アレイ カメラを製造する方法。
  13. 対応する光学要素の前記第3の面からターゲット画像シーンの部分を表す光を受光するように前記複数のカメラ(C)の各々を配置することをさらに備える、請求項11に記載の前記プリズム アレイ カメラを製造する方法。
  14. 前記光学要素の前記第3の面内にまたはそれに固定された負レンズを設けることをさらに備える、請求項11に記載の前記プリズム アレイ カメラを製造する方法。
  15. 前記光学要素の前記第2の面上に反射裏張りを設けることをさらに備える、請求項10に記載の前記プリズム アレイ カメラを製造する方法。
JP2016573907A 2014-06-20 2015-06-18 屈折プリズムを使用する屈曲光学アレイ カメラ Active JP6423019B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015317P 2014-06-20 2014-06-20
US62/015,317 2014-06-20
US14/742,285 2015-06-17
US14/742,285 US9541740B2 (en) 2014-06-20 2015-06-17 Folded optic array camera using refractive prisms
PCT/US2015/036415 WO2015195905A1 (en) 2014-06-20 2015-06-18 Folded optic array camera using refractive prisms

Publications (3)

Publication Number Publication Date
JP2017524977A JP2017524977A (ja) 2017-08-31
JP2017524977A5 JP2017524977A5 (ja) 2018-08-30
JP6423019B2 true JP6423019B2 (ja) 2018-11-14

Family

ID=54869480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016573907A Active JP6423019B2 (ja) 2014-06-20 2015-06-18 屈折プリズムを使用する屈曲光学アレイ カメラ

Country Status (10)

Country Link
US (2) US9541740B2 (ja)
EP (1) EP3158382B1 (ja)
JP (1) JP6423019B2 (ja)
KR (1) KR102008054B1 (ja)
CN (2) CN110430345B (ja)
BR (1) BR112016029782A2 (ja)
CA (1) CA2951277A1 (ja)
ES (1) ES2685719T3 (ja)
HU (1) HUE039483T2 (ja)
WO (1) WO2015195905A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
EP3101890B1 (en) * 2015-06-03 2017-11-22 Axis AB A mechanism and a method for optical image stabilization
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US9776084B2 (en) * 2015-06-15 2017-10-03 Oculus Vr, Llc Virtual reality system with camera shock-mounted to head-mounted display
TWI569640B (zh) * 2015-06-23 2017-02-01 台灣東電化股份有限公司 攝影模組
US20170195561A1 (en) * 2016-01-05 2017-07-06 360fly, Inc. Automated processing of panoramic video content using machine learning techniques
US10455214B2 (en) * 2016-03-03 2019-10-22 Disney Enterprises, Inc. Converting a monocular camera into a binocular stereo camera
US9986223B2 (en) * 2016-06-08 2018-05-29 Qualcomm Incorporated Folded optic passive depth sensing system
US9967547B2 (en) 2016-06-08 2018-05-08 Qualcomm Incorporated Wafer level optics for folded optic passive depth sensing system
US10666923B2 (en) * 2017-02-24 2020-05-26 Immervision, Inc. Wide-angle stereoscopic vision with cameras having different parameters
US10645286B2 (en) * 2017-03-15 2020-05-05 Corephotonics Ltd. Camera with panoramic scanning range
CN107066994A (zh) * 2017-05-15 2017-08-18 中国林业科学研究院 评估疏林草原树木死亡率的方法与无人机
US10539764B2 (en) * 2017-07-05 2020-01-21 Panavision International, L.P. Anamorphic photography and squeeze ratios for digital imagers
US10373362B2 (en) * 2017-07-06 2019-08-06 Humaneyes Technologies Ltd. Systems and methods for adaptive stitching of digital images
CN111133745B (zh) * 2017-07-25 2022-06-03 Lg电子株式会社 相机和包括该相机的图像显示设备
KR102135091B1 (ko) * 2017-07-25 2020-07-17 엘지전자 주식회사 카메라, 및 이를 구비하는 영상표시장치
WO2019075235A2 (en) * 2017-10-11 2019-04-18 The Schepens Eye Research Institute, Inc. EXTENSION OF FIELD OF VIEW
US10698204B1 (en) * 2017-10-16 2020-06-30 Facebook Technologies, Llc Immersed hot mirrors for illumination in eye tracking
CN113075838B (zh) * 2017-11-23 2022-11-29 核心光电有限公司 摄影机及制法、移动电子设备及减小凸起占用空间的方法
JP7207809B2 (ja) 2018-01-18 2023-01-18 バルブ コーポレーション センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム
JP2019128517A (ja) * 2018-01-26 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
CN112204434A (zh) * 2018-04-03 2021-01-08 新加坡国立大学 使用一个或多个棱镜记录图像的方法和系统
CN111238392B (zh) * 2018-11-28 2021-11-02 Oppo(重庆)智能科技有限公司 承载体及电子设备的检测装置
CN114615400A (zh) * 2019-01-03 2022-06-10 核心光电有限公司 相机、双重相机及三重相机
CN110118968B (zh) * 2019-04-30 2021-01-05 华中科技大学 倾斜四反射板镜像综合孔径辐射计及成像方法
CN111371980B (zh) * 2020-04-18 2020-12-18 重庆哆来目科技有限公司 一种基于光学原理的adas摄像头结构
US11516391B2 (en) * 2020-06-18 2022-11-29 Qualcomm Incorporated Multiple camera system for wide angle imaging
EP4202521A1 (en) * 2020-07-15 2023-06-28 Corephotonics Ltd. Point of view aberrations correction in a scanning folded camera
KR102480820B1 (ko) * 2020-08-12 2022-12-22 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
CN114730065B (zh) * 2020-11-05 2023-05-16 核心光电有限公司 基于两个光路折叠元件视场扫描的扫描长焦摄影机
US20230031023A1 (en) * 2021-07-29 2023-02-02 Qualcomm Incorporated Multiple camera system
US11785323B1 (en) * 2022-05-27 2023-10-10 Samsung Electronics Co., Ltd. Camera module including refractive member and electronic device including refractive member

Family Cites Families (297)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA927646A (en) 1970-09-09 1973-06-05 Watanuki Toshio Camera for taking hemispherical motion picture
US4114171A (en) 1976-04-06 1978-09-12 Vivitar Corporation Reflex camera with internal zoom lens
US4437745A (en) 1982-09-30 1984-03-20 Stephen Hajnal Three dimensional camera system
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US4639586A (en) 1985-02-06 1987-01-27 The United States Of America As Represented By The Secretary Of The Air Force Optically phased laser transmitter
US4740780A (en) 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US5012273B1 (en) 1986-05-12 1996-10-01 Asahi Optical Co Ltd Lens shutter type of camera including zoom lens
US6031892A (en) 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
JPH04114574A (ja) * 1990-09-04 1992-04-15 Ricoh Co Ltd 撮像装置
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5063441A (en) 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5142357A (en) 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5207000A (en) 1991-06-14 1993-05-04 Industrial Technology Research Institute Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface
US5231461A (en) 1991-12-09 1993-07-27 Hughes Danbury Optical Systems, Inc. Solar monochromator for filter calibration
US5926411A (en) 1991-12-30 1999-07-20 Ioptics Incorporated Optical random access memory
US5686960A (en) 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE4212271C1 (ja) 1992-04-11 1993-07-08 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De
US5243413A (en) 1992-09-02 1993-09-07 At&T Bell Laboratories Color parallax-free camera and display
US5313542A (en) 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
EP0610605B1 (en) 1993-02-11 1997-07-16 Agfa-Gevaert N.V. Method of recognising an irradiation field
JP3523667B2 (ja) * 1993-08-24 2004-04-26 オリンパス株式会社 複眼式光学系
US5586063A (en) 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
JPH089424A (ja) 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JPH08194274A (ja) 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
JPH08334667A (ja) * 1995-06-06 1996-12-17 Olympus Optical Co Ltd 2眼式光学系
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5903306A (en) 1995-08-16 1999-05-11 Westinghouse Savannah River Company Constrained space camera assembly
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US5640222A (en) 1996-03-15 1997-06-17 Paul; Eddie Method and apparatus for producing stereoscopic images
US6850279B1 (en) 1996-06-18 2005-02-01 Sony Corporation Optical image recording system, and associated processing system
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10142490A (ja) 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
AU6515798A (en) 1997-04-16 1998-11-11 Isight Ltd. Video teleconferencing
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
DE19903807A1 (de) 1998-05-05 1999-11-11 Zeiss Carl Fa Beleuchtungssystem insbesondere für die EUV-Lithographie
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
DE19942900B4 (de) 1998-09-08 2004-01-22 Ricoh Company, Ltd. Vorrichtung zur Korrektur von Bildfehlern, die durch ein Kameraverwackeln hervorgerufen werden
US7271803B2 (en) 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6870680B2 (en) 2001-08-17 2005-03-22 Sony Corporation Imaging device
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3587506B2 (ja) 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB2354390A (en) 1999-09-16 2001-03-21 Ibm Wide-angle image capture apparatus
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2001209037A (ja) 2000-01-26 2001-08-03 Olympus Optical Co Ltd 可変ホログラム素子及びそれらを用いた光学装置
US6823021B1 (en) 2000-10-27 2004-11-23 Greenwich Technologies Associates Method and apparatus for space division multiple access receiver
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
WO2002027372A2 (en) 2000-07-14 2002-04-04 Applied Wdm, Inc. Optical waveguide transmission devices
JP2002040584A (ja) 2000-07-28 2002-02-06 Hamamatsu Photonics Kk 高速撮像カメラ
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002277736A (ja) 2001-03-21 2002-09-25 Olympus Optical Co Ltd 撮像装置
US6421185B1 (en) 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
US6628897B2 (en) 2001-06-20 2003-09-30 Sony Corporation Camera system
US20030038814A1 (en) 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7116351B2 (en) 2001-10-29 2006-10-03 Sony Corporation Imaging device
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003260025A (ja) 2002-03-08 2003-09-16 Olympus Optical Co Ltd カプセル型内視鏡
US6768598B2 (en) 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US6861633B2 (en) 2002-06-20 2005-03-01 The Aerospace Corporation Microelectromechanical system optical sensor providing bit image data of a viewed image
US7298392B2 (en) 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
KR100996094B1 (ko) 2002-07-18 2010-11-22 소니 주식회사 촬상 데이터 처리 방법, 촬상 데이터 처리 장치, 및 컴퓨터 프로그램이 기록된 기록 매체
JP2004072349A (ja) 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US7583289B2 (en) 2003-01-02 2009-09-01 Ge Security, Inc. Optical block assembly
US6933493B2 (en) 2003-04-07 2005-08-23 Kingpak Technology Inc. Image sensor having a photosensitive chip mounted to a metal sheet
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP3709879B2 (ja) 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
CN1802583A (zh) 2003-06-09 2006-07-12 奥林巴斯株式会社 可变镜
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
US20050057659A1 (en) 2003-09-16 2005-03-17 Takami Hasegawa Camera image shake correcting device
US7028546B2 (en) 2003-10-21 2006-04-18 Instrumented Sensor Technology, Inc. Data recorder
US20050111106A1 (en) 2003-10-31 2005-05-26 Kazuhiro Matsumoto Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section
CN100504452C (zh) 2004-02-19 2009-06-24 佳能株式会社 光学设备和光束分离器
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
JP4223420B2 (ja) * 2004-03-05 2009-02-12 メガビジョン株式会社 撮影装置
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
JP2005303693A (ja) * 2004-04-13 2005-10-27 Auto Network Gijutsu Kenkyusho:Kk カメラ装置
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
EP1784988A1 (en) 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7039292B1 (en) 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
DE102004045430A1 (de) 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
JP3791847B1 (ja) 2005-08-10 2006-06-28 京セラ株式会社 カメラモジュールおよび該カメラモジュールを搭載した情報端末
JP4691508B2 (ja) 2004-11-15 2011-06-01 日立オートモティブシステムズ株式会社 ステレオカメラ
US7372996B2 (en) 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
JP4742190B2 (ja) 2005-01-13 2011-08-10 国立大学法人 奈良先端科学技術大学院大学 3次元オブジェクト計測装置
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US20060215054A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
JP2006279538A (ja) 2005-03-29 2006-10-12 Sony Corp 撮像装置
US20060238441A1 (en) 2005-04-25 2006-10-26 The Boeing Company Method and apparatus for displaying a stereoscopic image
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
JP5364965B2 (ja) 2005-07-26 2013-12-11 コニカミノルタ株式会社 撮像光学系、撮像レンズ装置及びデジタル機器
JP2007081473A (ja) 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
TW200721803A (en) 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
US20070164202A1 (en) 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
JP4979928B2 (ja) 2005-11-28 2012-07-18 株式会社トプコン 三次元形状演算装置及び三次元形状演算方法
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US7215479B1 (en) 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
JP4844177B2 (ja) 2006-03-07 2011-12-28 株式会社ニコン ブレ補正装置及びカメラ
JP2007274542A (ja) 2006-03-31 2007-10-18 Sony Corp 撮像装置および携帯電話機
CN101055342A (zh) 2006-04-12 2007-10-17 鸿富锦精密工业(深圳)有限公司 自动对焦镜头模组
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
CN101433077B (zh) * 2006-05-05 2011-03-23 诺基亚公司 具有小高度和高分辨率的光学图像记录设备
WO2007129477A1 (ja) 2006-05-09 2007-11-15 Sega Corporation 画像処理装置および画像処理プログラム
JP4972779B2 (ja) 2006-05-30 2012-07-11 コニカミノルタアドバンストレイヤー株式会社 光学ユニットおよび撮像装置
JP5067021B2 (ja) 2006-06-01 2012-11-07 富士ゼロックス株式会社 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材
JP4851239B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2008048293A (ja) 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
DE102006044786A1 (de) 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1912098B1 (en) 2006-10-12 2012-04-25 Carl Zeiss SMT GmbH Unit magnification projection objective
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
KR100866491B1 (ko) 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
JP4917060B2 (ja) 2007-02-26 2012-04-18 Hoya株式会社 撮像ユニット及び携帯用電子機器
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5013078B2 (ja) 2007-04-24 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 レンズ鏡胴及び撮像装置
US20080290435A1 (en) 2007-05-21 2008-11-27 Micron Technology, Inc. Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods
JP2008294819A (ja) 2007-05-25 2008-12-04 Sony Corp 撮像装置
US7860214B1 (en) 2007-06-13 2010-12-28 The United States Of America As Represented By Secretary Of Agriculture Correction of x-ray images
US20090003646A1 (en) 2007-06-29 2009-01-01 The Hong Kong University Of Science And Technology Lossless visible watermarking
US20090005112A1 (en) 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Optical imaging system configurations for handheld devices
JPWO2009011153A1 (ja) 2007-07-13 2010-09-16 三菱電機株式会社 画像読取装置
JP4900118B2 (ja) 2007-07-31 2012-03-21 コニカミノルタオプト株式会社 カメラモジュールおよび電子機器
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
JP5000428B2 (ja) 2007-08-22 2012-08-15 Hoya株式会社 撮像装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
KR20090032261A (ko) 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP5152483B2 (ja) 2007-10-05 2013-02-27 ソニー株式会社 撮像装置
US8282222B2 (en) 2007-10-10 2012-10-09 Gerard Dirk Smits Image projector with reflected light tracking
EP2201784B1 (en) 2007-10-11 2012-12-12 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
CN101843106B (zh) 2007-11-01 2015-11-25 柯尼卡美能达控股株式会社 摄像装置
JP4831514B2 (ja) 2007-11-13 2011-12-07 独立行政法人情報通信研究機構 設定パラメータ最適化装置およびそのプログラム
KR100927347B1 (ko) 2007-11-13 2009-11-24 파워옵틱스 주식회사 줌렌즈 광학계
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN100465699C (zh) 2007-12-05 2009-03-04 浙江大学 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统
KR101349589B1 (ko) 2007-12-13 2014-01-10 엘지이노텍 주식회사 카메라 모듈
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US20090185067A1 (en) 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
EP2227711A4 (en) 2008-01-02 2014-01-22 Univ California TELEMIC ROSCOPY DEVICE WITH HIGH NUMERICAL APERTURE
US7978222B2 (en) 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
WO2009111642A1 (en) 2008-03-05 2009-09-11 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
CN101981915B (zh) 2008-03-26 2014-03-05 柯尼卡美能达精密光学株式会社 摄像装置
US8934034B2 (en) 2008-03-28 2015-01-13 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
CN101571666A (zh) 2008-04-28 2009-11-04 鸿富锦精密工业(深圳)有限公司 成像设备
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
JP4598102B2 (ja) * 2008-05-28 2010-12-15 富士フイルム株式会社 撮像装置
JP4435867B2 (ja) 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP5223486B2 (ja) 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
WO2010010712A1 (ja) 2008-07-24 2010-01-28 パナソニック株式会社 カメラ駆動装置
JP2010041381A (ja) 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
CN102177468A (zh) 2008-08-14 2011-09-07 远程保真公司 三反射镜全景相机
US8305425B2 (en) 2008-08-22 2012-11-06 Promos Technologies, Inc. Solid-state panoramic image capture apparatus
JP2010067014A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
US10043304B2 (en) 2008-09-25 2018-08-07 Koninklijke Philips N.V. Three dimensional image data processing
JP5535079B2 (ja) 2008-10-14 2014-07-02 日本電産サンキョー株式会社 撮影用光学装置
US8267601B2 (en) 2008-11-04 2012-09-18 James Cameron Platform for stereoscopy for hand-held film/video camera stabilizers
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
CN101770059B (zh) 2008-12-27 2012-06-20 鸿富锦精密工业(深圳)有限公司 相机模组
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US8326036B2 (en) 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
GB0903689D0 (en) 2009-03-03 2009-04-15 Sigmavision Ltd Vehicle tyre measurement
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100278423A1 (en) 2009-04-30 2010-11-04 Yuji Itoh Methods and systems for contrast enhancement
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8170408B2 (en) 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8194170B2 (en) 2009-06-02 2012-06-05 Algonquin College Axicon lens array
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
CN101581828B (zh) 2009-06-09 2011-06-22 苏州大学 环形孔径超薄光学成像系统
JP5293463B2 (ja) 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
TWI389559B (zh) 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
US8294073B1 (en) 2009-10-01 2012-10-23 Raytheon Company High angular rate imaging system and related techniques
US9063345B2 (en) 2009-10-19 2015-06-23 Pixar Super light-field lens with doublet lenslet array element
JP5539818B2 (ja) 2009-10-20 2014-07-02 富士フイルム株式会社 撮像レンズおよび撮像装置
US8325187B2 (en) 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
US8457398B2 (en) 2009-10-27 2013-06-04 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8497934B2 (en) 2009-11-25 2013-07-30 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
WO2011081646A1 (en) 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
US8442392B2 (en) 2009-12-22 2013-05-14 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
CN101819319B (zh) * 2009-12-28 2012-07-04 中国科学院西安光学精密机械研究所 使用菲涅尔双棱镜产生多层光片的荧光显微方法及装置
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
CN102860016A (zh) 2010-04-19 2013-01-02 松下电器产业株式会社 立体图像拍摄装置以及立体图像拍摄方法
JP5593118B2 (ja) 2010-04-30 2014-09-17 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
WO2011155318A1 (ja) 2010-06-08 2011-12-15 日本電産サンキョー株式会社 振れ補正装置、撮影用光学装置およびレンズ駆動装置
JP5622443B2 (ja) 2010-06-08 2014-11-12 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5138734B2 (ja) 2010-06-15 2013-02-06 シャープ株式会社 撮像レンズ、および撮像モジュール
CN101902657B (zh) 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
TWI409577B (zh) 2010-08-20 2013-09-21 Primax Electronics Ltd 光學影像系統
US20120056987A1 (en) 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
WO2012039043A1 (ja) 2010-09-22 2012-03-29 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP6042814B2 (ja) 2010-10-01 2016-12-14 コンテックス・エー/エス イメージセンサの信号輝度マッチング法
SG190730A1 (en) 2010-12-09 2013-07-31 Univ Nanyang Tech Method and an apparatus for determining vein patterns from a colour image
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US8928988B1 (en) 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
EP2695385B8 (en) 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
US9390530B2 (en) 2011-05-27 2016-07-12 Nokia Technologies Oy Image stitching
EP2721828B1 (en) 2011-06-15 2015-07-15 Microsoft Technology Licensing, LLC High resolution multispectral image capture
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
CN102288302B (zh) * 2011-06-29 2014-06-25 北京理工大学 利用双三角棱镜系统进行调制的光学读出方法
US8896890B2 (en) 2011-06-30 2014-11-25 Lexmark International, Inc. Image capture system having a folded optical path
JP5848052B2 (ja) 2011-07-21 2016-01-27 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
JP2013061476A (ja) * 2011-09-13 2013-04-04 Sony Corp レンズ光学系及び撮像装置
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8855476B2 (en) 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
WO2013059399A1 (en) 2011-10-20 2013-04-25 Monsanto Technology Llc Plant stand counter
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
US8582220B2 (en) 2011-12-05 2013-11-12 Himax Technologies Limited Lens module
CN202405984U (zh) 2011-12-10 2012-08-29 东莞市旭业光电科技有限公司 一种用于音圈马达的垫片
KR101975893B1 (ko) 2012-03-21 2019-09-10 엘지이노텍 주식회사 카메라 모듈
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
US20130260823A1 (en) 2012-03-31 2013-10-03 Ashutosh Y. Shukla Compact Portable Electronic Device Having Augmented Back Volume for Speaker
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
EP2677733A3 (en) 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
US9634051B2 (en) 2012-07-17 2017-04-25 Heptagon Micro Optics Pte. Ltd. Optical devices, in particular computational cameras, and methods for manufacturing the same
EP2748792B1 (en) 2012-08-08 2016-12-21 Dolby Laboratories Licensing Corporation Image processing for hdr images
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9547160B2 (en) 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
JP2016114615A (ja) * 2013-04-09 2016-06-23 株式会社ニコン 撮像装置
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
JP2015036716A (ja) 2013-08-12 2015-02-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
EP2860699A1 (en) 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
CN203745777U (zh) 2014-01-10 2014-07-30 瑞声声学科技(深圳)有限公司 阵列式镜头装置
EP3105916A1 (en) 2014-02-13 2016-12-21 Sony Corporation Method and system for adjusting camera settings using corneal reflection
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US20150373269A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US10070055B2 (en) 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US20170038502A1 (en) 2015-08-06 2017-02-09 Qualcomm Incorporated Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras

Also Published As

Publication number Publication date
US9541740B2 (en) 2017-01-10
WO2015195905A1 (en) 2015-12-23
CN106662796A (zh) 2017-05-10
US9854182B2 (en) 2017-12-26
HUE039483T2 (hu) 2019-01-28
EP3158382A1 (en) 2017-04-26
US20150370040A1 (en) 2015-12-24
ES2685719T3 (es) 2018-10-10
CN110430345B (zh) 2021-07-06
EP3158382B1 (en) 2018-06-06
CA2951277A1 (en) 2015-12-23
CN110430345A (zh) 2019-11-08
KR102008054B1 (ko) 2019-08-06
KR20170021788A (ko) 2017-02-28
BR112016029782A2 (pt) 2017-08-22
JP2017524977A (ja) 2017-08-31
CN106662796B (zh) 2019-08-23
US20170118421A1 (en) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6423019B2 (ja) 屈折プリズムを使用する屈曲光学アレイ カメラ
JP6672185B2 (ja) 視差およびチルトアーティファクトが無い屈曲光学系を使用するマルチカメラシステム
JP6700345B2 (ja) フォールデッドオプティクスを用いたマルチカメラシステム
CN110647000B (zh) 使用无视差假影的折叠式光学器件的多相机系统
JP6837841B2 (ja) 屈曲光学アレイカメラのためのオートフォーカス
US20150373269A1 (en) Parallax free thin multi-camera system capable of capturing full wide field of view images
JP2017525221A (ja) 半球形および球形撮像のための広角視野アレイカメラ
KR20170020796A (ko) 완전한 넓은 시야 이미지들을 캡처하는 것을 가능하게 하는 시차 없는 얇은 다중 카메라 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180720

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180720

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180905

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181017

R150 Certificate of patent or registration of utility model

Ref document number: 6423019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250