JP6672185B2 - 視差およびチルトアーティファクトが無い屈曲光学系を使用するマルチカメラシステム - Google Patents

視差およびチルトアーティファクトが無い屈曲光学系を使用するマルチカメラシステム Download PDF

Info

Publication number
JP6672185B2
JP6672185B2 JP2016573905A JP2016573905A JP6672185B2 JP 6672185 B2 JP6672185 B2 JP 6672185B2 JP 2016573905 A JP2016573905 A JP 2016573905A JP 2016573905 A JP2016573905 A JP 2016573905A JP 6672185 B2 JP6672185 B2 JP 6672185B2
Authority
JP
Japan
Prior art keywords
cameras
camera
optical axis
angle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016573905A
Other languages
English (en)
Other versions
JP2017524976A (ja
JP2017524976A5 (ja
Inventor
ゲオルギエフ、トドル・ゲオルギエフ
ゴマ、サーギウ・ラドゥ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017524976A publication Critical patent/JP2017524976A/ja
Publication of JP2017524976A5 publication Critical patent/JP2017524976A5/ja
Application granted granted Critical
Publication of JP6672185B2 publication Critical patent/JP6672185B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10TTECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00Metal working
    • Y10T29/49Method of mechanical manufacture
    • Y10T29/49826Assembling or joining
    • Y10T29/49828Progressively advancing of work assembly station or assembled portion of work

Description

[0001]本開示は、マルチカメラアレイを含むイメージングシステムおよび方法に関する。特に本開示は、画像品質を維持または改善しながら低プロファイルイメージングシステムおよびモバイルデバイスを有効にするシステムおよび方法に関する。
[0002]携帯電話およびタブレットコンピューティングデバイスのような、多くのモバイルデバイスが、静止および/またはビデオ画像をキャプチャするようにユーザによって操作されうるカメラを含む。モバイルデバイスは通常、比較小型になるように設計されるので、低プロファイルモバイルデバイスを維持するためにできるだけ薄くなるようにカメラまたはイメージングシステムを設計することが重要でありうる。屈曲光学系画像センサアレイ(「アレイカメラ」)は、焦点距離を短くすることなく、またはセンサアレイの視野全域で画像の解像度を低下させることなく、低プロファイル画像キャプチャデバイスの作成を可能にする。光を、プライマリおよびセカンダリ面を使用してアレイ中の各センサに向けて再方向付けすることによって、およびプライマリ面とセカンダリ面の間に、入来する光の焦点を合わせるために使用されるレンズアセンブリを位置付けすることによって、センサアレイは、レンズアセンブリと垂直に平面回路基板上に位置付けられうる。焦点距離が長いほど、光学ズームのような機能を実装し、より多くの光学素子を追加することのような、従来のモバイルカメラによって一般的に提供されることのできたもの(afforded)よりも多くの空間を要求するより複雑な光学系(optics)を組み込むこと、を可能にする。
[0003]いくつかのアレイカメラは、アレイ中のセンサによるキャプチャ用に、ターゲット画像を構成する入来する光を複数の部分に分割するために複数のファセットを持つ中央ミラーまたはプリズムを用い、ここにおいて各ファセットは、ターゲット画像からの光の一部分をアレイ中のセンサに方向付けする。分割された光の各一部分は、各センサが画像の一部分をキャプチャするように、レンズアセンブリを通過させられ、センサよりも上部または下部に直接位置付けられた面に反射されうる(reflected off of a serface)。センサ視野は、キャプチャされた部分を完全な画像に互いにステッチするのを支援するために重複しうる。
[0004]本明細書で説明されている屈曲光学系センサアレイおよび画像キャプチャ技法は、焦点距離を短くすることなく、またはセンサアレイの視野全域で画像の解像度を低下させることなく、低プロファイル画像キャプチャデバイスの作成を可能にし、ここにおいてキャプチャされた画像は、視差およびチルトアーティファクトが無くありうる。既存のアレイカメラの課題は、アレイの異なるカメラから見られる同じオブジェクトの異なるビュー間の視差および/またはチルトに起因する品質低下である。視差は、各カメラによってキャプチャされた画像の、アーティファクトが完全に無い最終的な画像への継ぎ目のないステッチングを阻止する。カメラビューは、部分的に重複しうる(例えば、おおよそ20%分)。深度(例えば、レンズからオブジェクトまでの距離)に依存して、1つのカメラからの画像は、別のカメラからの画像に対してシフトされうる。結果として生じる視差およびチルトは、画像が互いにステッチまたは融合されるときに重複する視野に対応する画像エリアにおいてゴースト発生する(ghosting)「ダブルイメージ」を引き起こしうる。センサ視野において重複が存在しないようにアレイが構築されている場合でさえ、視差は、画像において、線およびエッジのような不連続な特徴を、そのような特徴がセンサ視野間の境界をまたぐときに、結果としてもたらす。
[0005]上で説明された問題は特に、いくつかの実施形態において、本願明細書で説明される視差およびチルトアーティファクトが無い(または実質的に無い)アレイカメラによって対処される。実施形態のいくつかは、アレイ中のセンサによるキャプチャ用に、ターゲット画像を構成する入来する光を複数の部分に分割するために、例えば、複数の面またはファセットを持つ中央ミラーまたはプリズムを用いることができる。ミラー面および周りのカメラは、キャプチャされた画像において視差およびチルトアーティファクトを引き起こすことを回避するように構成されうる。例えば、ミラー面またはプリズムファセットによって形成された水平面はすべて、アペックス(apex)と称される共通ポイントで交差し得、それは、いくつかの実施形態では、アレイの垂直な対称軸に沿いうる。カメラは、各カメラの光軸がアペックスに揃ってアラインされているか、アペックスと交差するように位置付けられうる。カメラの光軸は、そのレンズアセンブリの凸部の中央部とアペックスの両方と交差しうる。したがって、合成アパーチャ(アレイ中のカメラのすべてのビューの合計)が、アペックスを通る仮想光軸を有しうる。加えて、各カメラは、カメラの光軸と仮想光軸との間に形成された角度が、対応するミラー面と仮想光軸との間に形成された角度の2倍になるように位置付けられうる。しかしながらこれらの角度は、アレイ中のすべてのカメラにとって同じである必要はない。したがって、いくつかの実施形態では、アペックスは、アレイの垂直な対称軸に沿っていないことがある。さらに、アペックスと(センサに対応するレンズ内に位置する)凸部の中央部との間の距離は、アレイ中のすべてのカメラにとって同じでありうる。したがって、アレイ中のカメラのビューは、視差およびチルトアーティファクトが無い単一画像に継ぎ目なく結合することができる。
[0006]分割された光の各一部分は、各センサが画像の一部分をキャプチャするように、レンズアセンブリを通過させられ、センサよりも上部または下部に直接位置付けられた光学的な追加の反射面に反射されうる。いくつかの状況では、アレイ中の各センサは、アレイ中の近隣センサによってキャプチャされた部分とわずかに重複する画像の一部分をキャプチャすることができ、これらの部分は、例えば、線形混合または他の画像ステッチング技法によって、ターゲット画像にアセンブルされうる。センサは、より広い視野をキャプチャするために、いくつかの例では、そのレンズのアセンブリの光軸の中央から外れて位置付けられうる。
[0007]一態様は、複数のプライマリ光再方向付け面を含む反射コンポーネントと、ここにおいてその反射コンポーネントは、複数のプライマリ光再方向付け面の各々によって形成された水平面の交差のロケーションにアペックスを備える、複数のカメラと、ここにおいてその複数のカメラの各々は、光軸を有し、その複数のカメラは、各々が反射コンポーネントのプライマリ光再方向付け面のうちの1つから再方向付けされた光を受信するように、および複数のカメラの各々の光軸が反射コンポーネントのアペックスと交差するようアラインされるように、配列されている、を備えるイメージングシステムに関する。
[0008]別の態様は、視差およびチルトアーティファクトが実質的に無い屈曲光学系アレイカメラを製造する方法に関し、その方法は、複数のプライマリ光再方向付け面を含む反射コンポーネントを設けることと、ここにおいてその反射コンポーネントは、複数のプライマリ光再方向付け面の各々によって形成された水平面の交差のロケーションにアペックスを備える、反射コンポーネントの周りに位置付けられた複数のカメラの各カメラに関して、複数のプライマリ光再方向付け面のうちの1つからターゲット画像シーンを表現する光の一部分を受信するようにレンズアセンブリを位置付けすること、ここにおいてそのレンズアセンブリは、光軸を有する、および光軸がアペックスと交差するようアラインされるようにレンズアセンブリを位置付けすること、とを備える。
[0009]別の態様は、ターゲット画像シーンを表現する光を複数の部分に分割し、異なる方向に複数の部分の各々を再方向付けするための手段と、複数の光の部分の各々の焦点を合わせるための手段と、焦点を合わされた後、複数の光の部分の各々をキャプチャするための手段と、を備える画像キャプチャ装置に関し、光を分割するための手段、焦点を合わせるための手段、およびキャプチャするための手段は、複数の光の部分に基づいて生成された画像間の視差およびチルトアーティファクトを低減または除去するために、所定の空間関係にしたがって位置付けられている。
[0010]別の態様は、視差およびチルトアーティファクトが実質的に無いアレイカメラを形成する方法に関し、その方法は、垂直な対称軸を有するアレイに位置付けられた複数のカメラの各カメラに関して、画像センサのための第1のロケーションを選択することと、プライマリ光方向付け面によって形成された水平面がアペックスポイントと交差するようにプライマリ光方向付け面のための第2のロケーションを選択することと、ここにおいてその第2のロケーションは、プライマリ光方向付け面がターゲット画像シーンを表現する光の一部分を画像センサに向けて方向付けするように選択される、センサとプライマリ光方向付け面との間に位置付けられたレンズアセンブリの凸部の中央部のための第3のロケーションを選択することと、ここにおいて第3のロケーションは、カメラの光軸角度がアペックスポイントと交差するように選択される、を備え、方法は、1つまたは複数のコンピューティングデバイスによってプログラムで実行される。
[0011]開示される態様は、開示される態様を限定するのではなく例示するという条件で、添付図面および別紙(appendices)と関連して以下で説明されることになり、ここにおいて同様の表記は同様の要素を示す。
屈曲光学系アレイカメラの実施形態の断面側面図を例示している。 屈曲光学系アレイカメラの別の実施形態の断面側面図を例示している。 画像キャプチャデバイスの一実施形態のブロック図を例示している。 視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。 視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。 視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。 アレイカメラの1つのセンサおよびミラーのための設計パラメータの例を例示している。 視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。 視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。 視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。 視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。 視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。 視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。 アレイカメラの1つのセンサおよびミラーのための設計パラメータの例を例示している。 アレイカメラの1つのセンサおよびミラーのための設計パラメータの例を例示している。 図7Aおよび7Bのアレイカメラによってキャプチャされたビューのセットを例示している。 不完全な中央ミラーピラミッドの実施形態を例示している。 不完全な中央ミラーピラミッドの別の実施形態を例示している。 図8Aの中央ミラーピラミッドと理想の中央ミラーピラミッドでキャプチャされた画像間の差分の絶対値の拡大図(magnification)を例示している。 図8Bの中央ミラーピラミッドと理想の中央ミラーピラミッドでキャプチャされた画像間の差分の絶対値の拡大図を例示している。 屈曲光学系画像キャプチャプロセスの実施形態を例示している。
発明の詳細な説明
I.導入
[0026]本明細書で開示される実施形態は、屈曲光学系を用いるアレイカメラを使用して、視差およびチルトアーティファクトが実質的に無い画像を生成するためのシステム、方法、および装置を提供する。本発明の態様は、キャプチャされた画像において視差アーティファクトをほとんどまたは全く提示しないアレイカメラに関する。例えば、アレイカメラの中央ミラーピラミッドまたはプリズムの水平面は、共通ポイント(「アペックス」と称される)で交差しうる。アペックスは、アレイ中のカメラの光軸に関する交差のポイントとして、それに加えて仮想光軸との交差のポイントとしての役割をしうる。アレイ中の各カメラは、中央ミラープリズムの対応するファセットを使用して画像シーンの一部分を「見て」、それにより、各個別のカメラ/ミラーペアは、全アレイカメラのサブアパーチャのみを表現する。完全なアレイカメラは、すべての個別アパーチャ射線(ray)の和(sum)に基づいて、すなわち、サブアパーチャによって生成された画像を互いにステッチすることに基づいて生成された合成アパーチャを有する。各カメラは、センサおよびレンズアセンブリを含むことができ、レンズアセンブリは、カメラ光軸に沿って位置する凸部の中央部を有し、各カメラは、センサとレンズアセンブリとの間にセカンダリ光再方向付け面を任意で含むことができる。センサは、画像シーンからより多くの光をキャプチャするために、光軸の中心から外れて位置付けされうる。
[0027]以下の説明では、特定の詳細が例の完全な理解を提供するために与えられる。しかしながら、例は、これらの指定の詳細なしに実施されうる。

II.屈曲光学系アレイカメラの概要
[0028]次に図1Aおよび1Bを参照すると、本明細書で説明されるオートフォーカスシステムおよび技法で使用するのに適した屈曲光学系マルチセンサアセンブリ100A、100Bの例が、次により詳細に説明されることになる。図1Aは、すべてが回路基板150に装着されうる、画像センサ105、125、反射セカンダリ光再方向付け面110、135、レンズアセンブリ115、130、および中央反射面120を含む屈曲光学系アレイ100Aの例の断面側面図を例示している。図1Bは、プライマリ光再方向付け面122、124のための中央プリズム141、146、およびセカンダリ光再方向付け面135、110を形成する追加のプリズムを含む屈曲光学系センサアレイの実施形態の断面側面図を例示している。
[0029]図1Aを参照すると、画像センサ105、125は、いくつかの実施形態では、電荷結合素子(CCD)、相補型金属酸化膜半導体センサ(CMOS)、または光を受信し、受信された画像に応答して画像データを生成するあらゆる他の画像感知デバイスを含むことができる。画像センサ105、125は、静止写真の画像データを取得することができ得、そしてキャプチャされたビデオストリームにおける動きに関する情報を提供することもできる。センサ105および125は、個別のセンサで有りうるか、または3×1アレイのようなセンサのアレイに相当しうる。しかしながら、当業者によって理解されることになるように、あらゆる適したセンサのアレイが、開示されている実装において使用されうる。
[0030]センサ105、125は、図1Aで図示されているように、回路基板150上に装着されうる。いくつかの実施形態では、すべてのセンサは、平面回路基板150に装着されることによって1つの水平面上にありうる。回路基板150は、あらゆる適した実質的に平面の材料でありうる。中央反射面120およびレンズアセンブリ115、130もまた、回路基板150上に装着されうる。1つのセンサアレイまたは複数のセンサアレイ、複数のレンズアセンブリ、および複数のプライマリおよびセカンダリ反射または屈折面を装着するのに、複数の構成が可能である。
[0031]引き続いて図1Aを参照すると、いくつかの実施形態では、中央反射面120は、ターゲット画像シーンからの光をセンサ105、125に向けて再方向付けするために使用されうる。中央反射面120は、1つのミラーまたは複数のミラーで有り得、画像センサ105、125に入来する光を適切に再方向付けするのに必要とされるように成形されうるか、または平面でありうる。例えば、いくつかの実施形態では、中央反射面120は、レンズアセンブリ115、130を通ってセンサ105、125にそれぞれ、入来する光線(light rays)を反射するようにサイズ設定および成形されたミラーでありうる。中央反射面120は、ターゲット画像を構成する光を複数の部分に分割し、異なるセンサに各一部分を方向付けすることができる。例えば、(プライマリ光再方向付け面とも称され、他の実施形態が、反射面ではなく屈折プリズムを実装することができるような)中央反射面120の第1の側面122は、第1の視野140に対応する光の一部分を左のセンサ105に向けて送ることができる一方で、第2の側面124は、第2の視野145に対応する光の第2の一部分を右のセンサ125に向けて送る。画像センサの視野140、145がまとまって、少なくともターゲット画像をカバーすることは認識されるべきである。
[0032]受信センサが各々複数のセンサのアレイであるいくつかの実施形態では、中央反射面は、ターゲット画像シーンの異なる一部分をセンサの各々に向けて送るために互いに対して角度を付けられた複数の反射面で作られうる。アレイ中の各センサは、実質的に異なる視野を有し得、いくつかの実施形態では視野が重複しうる。中央反射面のいくつかの実施形態は、レンズシステムを設計するときに自由度(the degrees of freedom)を高めるために複雑な非平面状の面を有しうる。さらに、中央面が反射面であると論じられているけれども、他の実施形態では中央面は、屈折性があり得る。例えば、中央面は、複数のファセットで構成されたプリズムであり得、ここで各ファセットは、シーンを構成する光の一部分をセンサの1つに向けて方向付けする。
[0033]図1Aで例示されているように、中央反射面120に反射された後、光は、レンズアセンブリ115、130を通って伝搬しうる。1つまたは複数のレンズアセンブリ115、130は、中央反射面120とセンサ105、125および反射面110、1135との間に設けられうる。レンズアセンブリ115、130は、各センサに向けて方向付けられるターゲット画像の一部分の焦点を合わせるために使用されうる。
[0034]いくつかの実施形態では、各レンズアセンブルは、1つまたは複数のレンズ、および筺体の間中を複数の異なるレンズ位置の間でレンズを移動させるためのアクチュエータを備えることができる。アクチュエータは、ボイスコイルモータ(VCM)、微小電気機械システム(MEMS)、または形状記憶合金(SMA:shape memory alloy)でありうる。レンズアセンブリは、アクチュエータを制御するためのレンズドライバをさらに備えることができる。
[0035]従来のオートフォーカス技法は、各カメラのレンズ115、130と対応するセンサ105、125との間の焦点距離を変更することによって、実装されうる。いくつかの実施形態では、これは鏡筒(lens barrel)を移動させることによって達成されうる。他の実施形態は、中央ミラーを上または下に移動させることによって、またはレンズアセンブリに対してミラーの角度を調整することによって、焦点を調整することができる。ある特定の実施形態は、各センサに対して側面ミラーを移動させることによって、焦点を調整することができる。そのような実施形態は、アセンブリが各センサの焦点を個別に調整することを可能にしうる。さらに、例えばアセンブリ全体にわたって液体レンズのようなレンズを設置することによって、一度にアセンブリ全体の焦点を変更することがいくつかの実施形態では可能である。ある特定の実装では、コンピュテーショナルフォトグラフィ(computational photography)が、カメラアレイの焦点を変更するために使用されうる。
[0036]図1Aで例示されているように、反射面110および135のような複数の側面反射面は、センサの反対側の中央ミラー120の周りに設けられうる。レンズアセンブリを通った(passing through)後、(セカンダリ光再方向付け面とも称され、他の実施形態が反射面ではなく屈折プリズムを実装することができるような)側面反射面110、135は、光を平面センサ105、125上に(図1Aで描写されているように、配向が「下向きに」)反射することができる。描写されているように、センサ105は、反射面110の真下に位置付けされ得、センサ125は、反射面135の真下に位置付けされうる。しかしながら他の実施形態では、センサは、側面反射型面(side reflected surfaces)よりも上部にあり得、側面反射面は、光を上向きに反射するように構成されうる。側面反射面およびセンサの他の適した構成は可能であり、ここで各レンズアセンブリからの光がセンサに向けて再方向付けされる。ある特定の実施形態は、側面反射面110、135の移動が関連付けられたセンサの視野または焦点を変更することを可能にしうる。
[0037]各センサの視野140、145は、そのセンサに関連付けられた中央ミラー120の面によってオブジェクト空間に誘導されうる。機械的方法が、各カメラの視野がオブジェクトフィールド上の異なるロケーションに誘導されうるように、アレイ中の、ミラーを傾ける、および/またはプリズムを移動させるために用いられうる。これは、例えば、高ダイナミックレンジカメラを実装するために、カメラシステムの解像度を高めるために、またはプレノプティックカメラシステムを実装するために使用されうる。各センサの(または各3×1アレイの)視野がオブジェクト空間に突出され得、各センサは、そのセンサの視野にしたがってターゲットシーンの一部分を構成する部分的画像をキャプチャすることができる。いくつかの実施形態では、相対する位置にある(opposing)センサアレイ105、125のための視野140、145は、ある特定の量150分だけ重複しうる。重複150を低減し、単一画像を形成するために、以下で説明されるようなステッチングプロセスは、2つの相対する位置にあるセンサアレイ105、125からの画像を組み合わせるために使用されうる。ステッチングプロセスのある特定の実施形態は、部分的画像を互いにステッチする際に共通の特徴を識別するために重複150を用いることができる。重複する画像を互いにステッチした後、ステッチされた画像は、最終的な画像を形成するために、所望のアスペクト比、例えば4:3または1:1にトリミングされうる(cropped)。
[0038]図1Bは、屈曲光学系アレイカメラ100Bの別の実施形態の断面側面図を例示している。図1Bで図示されているように、センサアセンブリ100Bは、各々が回路基板150に装着された画像センサ105、125のペア、画像センサ105、125それぞれに対応するレンズアセンブリ115、130、および画像センサ105、125のカバーガラス106、126それぞれの上に位置付けられたセカンダリ光再方向付け面110、135を含む。屈折プリズム141のプライマリ光再方向付け面122は、光軸121に沿ってレンズアセンブリ115を通り抜けるように(through)ターゲット画像シーンからの光の一部分を方向付けし、セカンダリ光再方向付け面110に反射され、カバーガラス106を通り、センサ105上に入射する。屈折プリズム146のプライマリ光再方向付け面124は、光軸123に沿ってレンズアセンブリ130を通り抜けるようにターゲット画像シーンからの光の一部分を方向付けし、セカンダリ光再方向付け面135に反射され、カバーガラス126を通り、センサ125上に入射する。屈曲光学系アレイカメラ100Bは、図1Aのアレイカメラ100Aの反射面の代わりに屈折プリズムを実装する1つのアレイカメラの実施形態を例示している。屈折プリズム141、146の各々は、プライマリ光方向付け面122、124が回路基板によって形成された水平面より下部にあり、ターゲット画像シーンを表現する光を受信するように回路基板150におけるアパーチャに設けられている。
[0039]センサ105、125は、図1Bで図示されているように、回路基板150上に装着されうる。いくつかの実施形態では、すべてのセンサが、平面回路基板150に装着されることによって1つの水平面上にありうる。回路基板150は、あらゆる適した実質的に平面の材料でありうる。回路基板150は、入来する光がプライマリ光再方向付け面122、124に向けて回路基板150を通ることを可能にするように、上で説明されたようなアパーチャを含むことができる。1つのセンサアレイまたは複数のセンサアレイ、それに加えて例示されている他のカメラコンポーネントを回路基板150に装着するのに、複数の構成が可能である。
[0040]引き続いて図1Bを参照すると、プライマリ光再方向付け面122、124は、例示されているようなプリズム面でありうるか、または1つのミラーまたは複数のミラーで有り得、画像センサ105、125に入来する光を適切に再方向付けするのに必要とされるように成形されうるか、または平面でありうる。いくつかの実施形態では、プライマリ光再方向付け面122、124は、図1Aで例示されているように中央ミラーピラミッドまたはプリズムとして形成されうる。中央ミラーピラミッド、プリズム、または他の光学コンポーネントは、ターゲット画像を表現する光を複数の部分に分割し、異なるセンサに各一部分を方向付けすることができる。例えば、プライマリ光再方向付け面122が、第1の視野に対応する光の一部分を左のセンサ105に向けて送ることができる一方で、プライマリ光再方向付け面124は、第2の視野に対応する光の第2の一部分を右のセンサ125に向けて送る。受信センサが各々複数のセンサのアレイであるいくつかの実施形態では、光再方向付け面は、ターゲット画像シーンの異なる一部分をセンサの各々に向けて送るために互いに対して角度を付けられた複数の反射面で作られうる。カメラの視野がまとまって、少なくともターゲット画像をカバーし、アレイの合成アパーチャによってキャプチャされた最終的な画像を形成するためにキャプチャ後にアラインおよび互いにステッチされうることは認識されるべきである。
[0041]アレイ中の各センサは、実質的に異なる視野を有し得、いくつかの実施形態では視野が重複しうる。以下でより詳細に説明されるように、様々なプライマリ光再方向付け面122、124、レンズアセンブリ115、130、およびセンサ105、125の間の空間的関係は、異なる視野の間で生じる視差およびチルトアーティファクトを低減または除去するように予め決定されうる。
[0042]図1Aおよび1Bによって例示されているように、各アレイカメラは全高Hを有する。いくつかの実施形態では、全高Hは、おおよそ4.5mm以下でありうる。他の実施形態では、全高Hは、おおよそ4.0mm以下でありうる。例示されていないけれども、アレイカメラ100A、100B全体は、おおよそ4.5mm以下、またはおおよそ4.0mm以下の対応する内部の高さを有する筺体に設けられうる。
[0043]そのようなアレイカメラ100A、100Bのいくつかの構成は、センサおよび光再方向付け面の相対的な位置付けに基づいて視差およびチルトアーティファクトを被り得、アレイの異なるカメラから見られる同じオブジェクトの異なるビューの間の視差およびチルトに起因する品質低下に関する課題を提起する。視差およびチルトは、各カメラによってキャプチャされた画像の、アーティファクトが完全に無い最終的な画像への継ぎ目のないステッチングを阻止する。深度(例えば、レンズからオブジェクトまでの距離)に依存して、1つのカメラからの画像は、別のカメラからの重複する画像に対して位置および角度がシフトされうる。結果として生じる視差およびチルトは、画像が互いにステッチまたは融合されるときに重複する視野に対応する画像エリアにおいてゴースト発生する「ダブルイメージ」を引き起こしうる。センサ視野において重複が存在しないようにアレイが構築される場合でさえ、視差は、画像において、線およびエッジのような不連続な特徴を、そのような特徴がセンサ視野間の境界をまたぐときに、結果としてもたらす。
[0044]本明細書で使用されている場合、「カメラ」という用語は、画像センサ、レンズシステム、ならびに多数の対応する光再方向付け面、例えば図1で例示されたようなプライマリ光再方向付け面124、レンズアセンブリ130、セカンダリ光再方向付け面135、およびセンサ125を指す。「アレイ」または「アレイカメラ」と称される屈曲光学系マルチセンサアレイは、様々な構成において複数のそのようなカメラを含むことができる。アレイ構成のいくつかの実施形態は、2013年3月14日付で出願され、「MULTI-CAMERA SYSTEM USING FOLDED OPTICS」と題された米国特許出願公報第2014/0111650号において開示されており、その開示は、本明細書に参照により組み込まれている。本明細書で説明されている視差アーティファクトの低減または除去のための幾何学的な関係によって益を受けるだろう他のアレイカメラ構成は可能である。
[0045]図2は、1つまたは複数のカメラ215a−nにリンクされた画像プロセッサ220を含むコンポーネントのセットを有するデバイス200の高レベルブロック図を描写している。画像プロセッサ220はまた、ワーキングメモリ205、メモリ230、およびデバイスプロセッサ250と通信状態にあり、デバイスプロセッサ250は同様に、ストレージ210および電子ディスプレイ225と通信状態にある。
[0046]デバイス200は、セルフォン、デジタルカメラ、タブレットコンピュータ、携帯情報端末、または同様のものでありうる。本明細書で説明されているような低減された厚さのイメージングシステムが利点を提供するだろう多くのポータブルコンピューティングデバイスが存在する。デバイス200はまた、固定コンピューティングデバイス、または薄いイメージングシステムが効果的でありうる(advantageous)あらゆるデバイスでありうる。複数のアプリケーションが、デバイス200上でユーザに利用可能でありうる。これらのアプリケーションは、従来の写真およびビデオアプリケーション、高ダイナミックレンジイメージング、パノラマ写真およびビデオ、または3D画像もしくは3Dビデオのような立体イメージングを含むことができる。
[0047]画像キャプチャデバイス200は、外部画像をキャプチャするためのカメラ215−aを含む。カメラ215a−nは各々、図1に関して上で論じられたように、センサ、レンズアセンブリ、ならびに各センサにターゲット画像の一部分を再方向付けするためのプライマリおよびセカンダリ反射または屈折面を備えることができる。概して、N個のカメラ215a−nが使用され得、ここにおいてN≧2である。したがってターゲット画像はN個の部分に分割され得、ここにおいてN個のカメラの各センサはそのセンサの視野にしたがって、ターゲット画像の一部分をキャプチャする。カメラ215a−nが、本明細書で説明されている屈折光学イメージングデバイスの実装に適したあらゆる数のカメラを備えることができることは理解されるだろう。センサの数は、図4に関して以下でより詳細に論じられるようなシステムのより低いzの高さを実現するために、または後処理後に画像の焦点を調整する能力を有効にしうるプレノプティックカメラのものと同様の重複する視野を有することのような、他の目的のニーズを満たすために増加しうる。他の実施形態は、2つの同時画像をキャプチャし、その後それらを互いに統合する能力を有効にする高ダイナミックレンジカメラに適した視野重複構成を有することができる。カメラ215a−nは、デバイスプロセッサ250にキャプチャされた画像を送信するために、画像プロセッサ220に結合されうる。
[0048]画像プロセッサ220は、以下でより詳細に説明されることになるように、高品質のステッチされた画像を出力するためにターゲット画像のN個の部分を備える受信された画像データに対して様々な処理動作を実行するように構成されうる。画像プロセッサ220は、汎用処理ユニット、またはイメージングアプリケーションのために特別に設計されたプロセッサでありうる。画像処理動作の例は、トリミング、(例えば、異なる解像度への)スケーリング、画像ステッチング、画像フォーマット変換、色補間、色処理、画像フィルタリング(例えば、空間画像フィルタリング)、レンズアーティファクトまたは不具合補正等を含む。画像プロセッサ220は、いくつかの実施形態では、複数のプロセッサを備えることができる。いくつかの実施形態は、各画像センサ専用のプロセッサを有することができる。画像プロセッサ220は、1つまたは複数の専用画像信号プロセッサ(ISP)またはプロセッサのソフトウェア実装でありうる。
[0049]図示されているように、画像プロセッサ220は、メモリ230およびワーキングメモリ205に接続されている。例示されている実施形態では、メモリ230は、キャプチャ制御モジュール235、画像ステッチングモジュール240、およびオペレーティングシステム245を記憶する。これらのモジュールは、様々な画像処理およびデバイス管理タスクを実行するようにデバイスプロセッサ250の画像プロセッサ220を設定する命令を含む。ワーキングメモリ205は、メモリ230のモジュールに含まれるプロセッサ命令のワーキングセットを記憶するために画像プロセッサ220によって使用されうる。代わりとして、ワーキングメモリ205はまた、デバイス200の動作中に作成された動的データを記憶するために画像プロセッサ220によって使用されうる。
[0050]上で言及されたように、画像プロセッサ220は、これらメモリに記憶された、いくつかのモジュールによって構成されている。キャプチャ制御モジュール235は、カメラ215a−nの焦点位置を調整するように画像プロセッサ220を設定する命令を含むことができる。キャプチャ制御モジュール235は、デバイス200の画像キャプチャ機能全体を制御する命令をさらに含むことができる。例えば、キャプチャ制御モジュール235は、カメラ215a−nを使用してターゲット画像シーンの生の画像データをキャプチャするように画像プロセッサ220を設定するためのサブルーチンを呼び出す命令を含むことができる。キャプチャ制御モジュール235はその後、カメラ215a−nによってキャプチャされたN個の部分的画像に対してステッチング技法を実行し、イメージングプロセッサ220にステッチおよびトリミングされたターゲット画像を出力するように、画像ステッチングモジュール240を呼び出すことができる。キャプチャ制御モジュール235はまた、キャプチャされるべきシーンのプレビュー画像を出力するために、およびある特定の時間間隔で、または生の画像データにおけるシーンが変化するときに、プレビュー画像を更新するために、生の画像データに対してステッチング動作を実行するように画像ステッチングモジュール240を呼び出すことができる。
[0051]画像ステッチングモジュール240は、キャプチャされた画像データに対してステッチングおよびトリミング技法を実行するように画像プロセッサ220を設定する命令を備えることができる。例えば、N個のセンサ215a−nの各々は、各センサの視野にしたがってターゲット画像の一部分を構成する部分的画像をキャプチャすることができる。視野は、上および以下で説明されているように、重複のエリアを共有することができる。単一のターゲット画像を出力するために、画像ステッチングモジュール240は、高解像度ターゲット画像を生み出すために複数N個の部分的画像を組み合わせるように画像プロセッサ220を設定することができる。ターゲット画像生成は、既知の画像ステッチング技法を通じて生じうる。画像ステッチングの例は、本明細書に全体として参照により組み込まれている米国特許出願第11/623050号において見受けられうる。
[0052]例えば、画像ステッチングモジュール240は、N個の部分的画像の互いに対するアラインメントおよび回転を決定するために特徴を一致させるため、N個の部分的画像のエッジに沿った重複のエリアを比較する命令を含むことができる。部分的画像の回転および/または各センサの視野の形状に起因して、組み合わされた画像は、不揃いな形状を形成しうる。したがって、N個の部分的画像をアラインすることおよび組み合わせた後、画像ステッチングモジュール240は、所望の形状およびアスペクト比、例えば4:3の矩形または1:1の正方形に組み合わされた画像をトリミングするように画像プロセッサ220を設定するサブルーチンを呼び出すことができる。トリミングされた画像は、ディスプレイ225上での表示のために、またはストレージ210に保存するためにデバイスプロセッサ250に送られうる。
[0053]オペレーティングシステムモジュール245は、デバイス200のワーキングメモリ205および処理リソースを管理するように画像プロセッサ220を設定する。例えば、オペレーティングシステムモジュール245は、カメラ215a−nのようなハードウェアリソースを管理するためにデバイスドライバを含むことができる。したがって、いくつかの実施形態では、上で論じられた画像処理モジュールに含まれる命令が、これらのハードウェアリソースと直接対話しないことがあるが、その代わりに、オペレーティングシステムコンポーネント270に位置する標準的なサブルーチンまたはAPIを通じて対話することができる。オペレーティングシステム245内の命令はその後、これらのハードウェアコンポーネントと直接対話することができる。オペレーティングシステムモジュール245はさらに、デバイスプロセッサ250と情報を共有するように画像プロセッサ220を設定することができる。
[0054]デバイスプロセッサ250は、キャプチャされた画像、またはキャプチャされた画像のプレビューを、ユーザに表示するためにディスプレイ225を制御するように構成されうる。ディスプレイ225は、イメージングデバイス200の外部にありうるか、またはイメージングデバイス200の一部でありうる。ディスプレイ225はまた、画像をキャプチャする前に使用のためのプレビュー画像を表示するビューファインダを提供するように構成されうるか、またはユーザによって直近にキャプチャされた、もしくはメモリに記憶された、キャプチャされた画像を表示するように構成されうる。ディスプレイ225は、LCDまたはLEDスクリーンを備えることができ、タッチ感知技術を実装することができる。
[0055]デバイスプロセッサ250は、データ、例えばキャプチャされた画像を表現するデータをストレージモジュール210に書き込むことができる。ストレージモジュール210は、従来のディスクデバイスとして図で(graphically)表現されている一方で、当業者は、ストレージモジュール210があらゆる記憶メディアデバイスとして構成されうることを理解するだろう。例えば、ストレージモジュール210は、フロッピー(登録商標)ディスクドライブ、ハードディスクドライブ、光学ディスクドライブもしくは光磁気ディスクドライブ、またはFLASHメモリ、RAM、ROM、および/もしくはEEPROM(登録商標)のような固体メモリ等の、ディスクドライブを含むことができる。ストレージモジュール210はまた、複数のメモリユニットを含むことができ、メモリユニットのいずれか1つは、画像キャプチャデバイス200内にあるように構成されうるか、または画像キャプチャデバイス200の外部にありうる。例えば、ストレージモジュール210は、画像キャプチャデバイス200内に記憶されたシステムプログラム命令を含むROMメモリを含むことができる。ストレージモジュール210は、カメラから取り外し可能でありうる、キャプチャされた画像を記憶するように構成されたメモリカードまたは高速度メモリを含むことができる。
[0056]図2は、プロセッサ、イメージングセンサ、およびメモリを含むように別個のコンポーネントを有するデバイスを描写しているけれども、当業者は、これらの別個のコンポーネントが、特定の設計目的を実現するために様々な方法で組み合わされうること理解するだろう。例えば、代わりの実施形態では、メモリコンポーネントが、費用を節約し、性能を向上させるために、プロセッサコンポーネントと組み合わされうる。いくつかの実施形態では、デバイスは、デバイスプロセッサ250および画像プロセッサ220を参照して説明されている機能を実行することができる単一のプロセッサを含むことができる。
[0057]加えて、図2は、いくつかのモジュールを備えるメモリコンポーネント230、およびワーキングメモリを備える別個のメモリ205を含む、2つのメモリコンポーネントを例示しているけれども、当業者は、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識するだろう。例えば設計は、メモリ230に含まれるモジュールを実装するプロセッサ命令の記憶のために、ROM、または静的RAMメモリを利用することができる。プロセッサ命令は、画像プロセッサ220による実行を容易にするためにRAMにロードされうる。例えば、ワーキングメモリ205は、画像プロセッサ220による実行の前にワーキングメモリ205にロードされた命令を有する、RAMメモリを備えることができる。

III.視差およびチルトアーティファクトが無い屈曲光学系アレイカメラの概要
[0058]図3Aおよび図3Bは、以下で定義される所定の空間関係にしたがった様々なコンポーネントの配列に起因する視差およびチルトアーティファクトが無いアレイカメラの実施形態を例示している。図3Aおよび3Bによって例示されているように、2つのミラー面330、335、および2つの対応するセンサ311A、311Bは、キャプチャされた画像において視差およびチルトアーティファクトを引き起こすことを回避するために予め定義された空間関係に基づいて構成されうる。アレイのセンサおよびその対応するレンズは、「カメラ」と称され、アレイ中のすべてのカメラの連携は、「仮想カメラ」と称される。例示されていないけれども、各カメラは、光を、カメラの光軸に対する例示されている角度で位置付けされていないセンサに向けて再方向付けするために、上で説明されたようなセカンダリ光再方向付け面を有することができる。例えば、いくつかの実施形態では、すべてのセンサは、共通の水平面に位置付けされうる。例示されている実施形態では、仮想カメラ320は、仮想センサ321、および仮想センサに関連付けられた仮想レンズ322を含む。理解されることになるように、仮想カメラ320は、物理センサ311A、311Bによってキャプチャされた画像をステッチすることによって生成されたアレイ300全体の合成アパーチャ(視野340)に対応する仮想センサ321および仮想レンズ322を図示するように描写されており、仮想カメラは、アレイの実際の構造の中には物理的に存在しない。
[0059]各カメラ310A、310Bは、中央ミラープリズム350のアペックスAの方を向いており、各カメラ310A、310Bの光軸315A、315BはアペックスAを通る。カメラ310A、310Bの各々に関連付けられたレンズ312A、312Bのレンズ中央部は、アペックスから同じ距離にあり、各カメラ310A、310Bは、仮想カメラ320の視野340の半分を見る。垂直軸325に対する各カメラ310A、310Bの光軸315A、315Bの角度は、垂直軸325に対するその対応するミラー330、335によって形成された水平面の角度の二倍でありうる。例示されている実施形態では、垂直軸325は、アレイ300の垂直な対称軸を意味し、仮想光軸(例えば、仮想センサ321および仮想レンズ322によって表現されている仮想カメラ320の光軸)でもある。
[0060]例示されているように、ミラー面330、335によって形成された水平面は、アレイの仮想光軸325に沿った、図においてAと名付けられ、およびアペックスと称される、共通の点で交差する。カメラ310A、310Bは、各カメラの光軸315A、315BがアペックスAで交差するように位置付けされうる。加えて、各カメラ310A、310Bは、カメラの光軸315A、315Bと仮想光軸325との間に形成された角度(角度2αと名付けられる)が、対応するミラー面330、335と仮想光軸325との間に形成された角度(角度αと名付けられる)の2倍になるように位置付けされうる。しかしながらこれらの角度は、アレイ中のすべてのカメラにとって同じである必要はない。アペックスAと(センサ311Bに対応するレンズ312B内に位置する)凸部313Bの中央部との間の距離Dは、アレイ中のすべてのカメラにとって同じ、または本質的に同じでありうる。アレイのすべてのカメラ310A、310Bは、アレイ300の仮想光軸325に沿って上方に向いている1つの単一の仮想カメラ320に仮想で結合する(「としての役割をする」と読まれる)。このように、各個別のカメラ/レンズ/ミラーの組合せは、全アレイ300のサブアパーチャのみを表現する。仮想カメラ320は、すべての個別のアパーチャ射線の和から作られた合成アパーチャを有する。
[0061]図3Cは、アレイ300中の1つのカメラ310Bに関する上で説明された設計制約の例を例示している。アレイ300中のすべてのカメラ310A、310Bからの画像をステッチすることによって形成された仮想カメラ320の視野340は、システムの機械的パラメータの最適化に基づきうる。しかしながら、概算が、非常に小型(ポイントサイズ)の個別のカメラ310Bの前提に基づいて取得されうる。仮想カメラ320にとって最大の可能な視野(FOV)は、図3Cにおける角度に関連し、ここにおいて、
FOV=2β
β=90−α
FOV=180−2α
である。
[0062]角度βを超えると、仮想カメラ320が「見る」光線は、現実のカメラ310Bの物理的構造によって妨害されうる。アレイカメラのいくつかの実施形態では、FOVはより狭くありうる。
[0063]加えて、アレイカメラは、いくつかの実施形態では、望ましいほど薄く(例えば、高さが4mm以下)、それは、角度αを、45°未満に、およびある特定の値より高く制限する。他の実用的要件は、α>30°をなしうる。様々な実施形態において、焦点距離および角度αは、すべてのカメラにとって同じである必要はない。
[0064]図4は、結果としてFOV=60°(おおよそ)になりうる、図3A−3Cのアレイカメラ300のミラー335および1つのセンサ311Bに対応するミラー335に入射する光の様々な角度に対する実例的な射線追跡(ray trace)および設計パラメータの例を例示している。しかしながら、これは例であって限定ではなく、より大きい角度が現実的には可能である。現実のレンズに対して予測されるのと同様の結果を持つ、理想的なレンズ312Bを仮定すると、カメラ310Bの焦点距離はおおよそ5mmであり、アパーチャは2.5mmであり、Aから凸部313Bのレンズ312Bの中央部までの距離はおおよそ10.9mmであり、Aはベース400からのおおよそ4mmの高さHにあり(高さHは、アレイに関する厚さまたは高さ全体に基づいて変化しうるけれども)、凸部313Bのレンズ中央部は、ベース400からおおよそ2mmの高さにあり、α=40°である。FOV=60°は、相対的な照射を計算することから決定され得、ミラー335のサイズおよび凸部313Bのレンズ中央部からミラー335までの距離によって制約されうる。おおよそ4mmのミラーの高さHの制約は、アレイカメラの外形情報制限(form factor limitations)に起因して増加しないことがある一方で、ミラー335までの距離は低減されうるが、物理的カメラが射線のいくらかを妨害するという代償がある。例示されているように、センサ311Bは、センサ311Bが従来、光軸315Bで中心に位置付けされていた場合に比べて、ミラーによって提供される視野のより多くから光を収集するために光軸315Bの中心から外れて位置付けされうる。他の実施形態では、センサは、異なる位置に、かつ光軸に対して異なる角度で位置付けされ得、セカンダリ光再方向付け面は、センサに光を再方向付けするために含まれうる。例えば、中央ミラーピラミッドのベース400は、回路基板上に位置付けされ(または回路基板に差し込まれ)得、センサ311B(およびアレイ300中のすべての他のセンサ)は、回路基板上に位置付けされ(または回路基板に差し込まれ)うる。
[0065]図5A〜5Cは、アレイカメラ500が視差およびチルトアーティファクトをほとんどまたは全く提示しない実施形態を例示しており、ここにおいてアレイカメラは、4つのサブカメラ510A、510B、510C、510D、および中央ミラーピラミッド520を含む。ここで、カメラは、センサ、レンズ、および中央ミラーピラミッド520のファセットに対応する可能なセカンダリ光再方向付け面を指し示すように使用される。4つのカメラ510A、510B、510C、510Dの各々は、ミラーピラミッドのアペックスAと交差する光軸を有し、カメラごとの凸部のレンズ中央部は、アペックスから同じ距離にあり、各カメラは、仮想カメラの視野のおおよそ四分の一を見る。いくつかの実施形態では、各カメラ510A、510B、510C、510Dは、アペックスA以外の共通のポイントと交差する光軸を有することができる。そのような実施形態では、結果としてもたらされる画像は、視差アーティファクトをほとんどまたは全く提示しないことができるが、チルトアーティファクトは提示しうる。
[0066]中央ミラーピラミッド520は、各々が光を4つのカメラ510A、510B、510C、510Dのうちの1つに向けて方向付けし、ピラミッドのアペックスAを形成する4つの反射ファセットまたはミラーの付いた面525A、525B、525C、525Dを含むことができる。各カメラ510A、510B、510C、510Dは、画像センサおよびレンズアセンブリ、および、いくつかの実施形態では、2つの繋がった矩形のボックスとして図中で表現されているセカンダリ光再方向付け面を含むことができる。各カメラ510A、510B、510C、510Dは、ミラーピラミッドのアペックスAを通る光軸515A、515B、515C、515Dを有することができ、対応する反射ファセット525A、525B、525C、525Dを使用して、仮想カメラの全視野の一部分を見ることができる。カメラ510A、510B、510C、510Dの各々、アペックスA、および反射ファセット525A、525B、525C、525Dの対応する1つの間の空間関係は、視差およびチルトアーティファクトを低減または除去するために上記のように定義されうる。ミラーピラミッドとして本明細書では共通して説明されているけれども、いくつかの実施形態では、反射ファセットは、例えば、ある距離だけ離れて位置付けされ、それによって統一された構造を形成しないことによって、または尖ったアペックスではなく平面の上部面を有する反射コンポーネントを形成するように共に位置付けられることによって、異なる形状を有する反射コンポーネントを形成することができる。このように、アペックスAは、物理的ポイントでなく、むしろファセットの水平面の交差を表現する空間におけるポイントでありうる。
[0067]例えば、中央ミラーピラミッド(または中央反射コンポーネントの他の形状/構造)に加えて4つのミラーまたは反射ファセットを使用する8カメラ設計といった、視差低減のための光軸アラインメントを持つ他のアレイカメラ設計もまた可能である。他の数のカメラおよび対応するミラーの付いた面は可能である。加えて図1に関して上で論じられたように、いくつかの実施形態では、第2の反射面が、中央ミラーピラミッドからセンサに光を反射するように、画像センサよりも上部または下部に位置付けされうる。したがってセンサは、中央ミラーピラミッド520を持つ回路基板上に装着され得、アレイカメラ設計は、アレイカメラの高さよりも大きな長さを有するセンサを収容することができる。
[0068]図5Cは、中央ミラーピラミッド520上の円として図示されている、仮想カメラの視野530の例を例示している。
[0069]図6A〜6Cは、視差およびチルトアーティファクトが無いアレイカメラ600の実施形態を例示している。上で説明された4カメラ設計500のように、8カメラアレイ設計600は、カメラ610A−610Hのアレイによって囲まれている中央ミラーピラミッド620を含む。上で説明された4カメラ設計500と比較すると、この8カメラ設計600は、アペックスAで交差する水平面に関して図3A〜3Cに関連して上で説明されたものと同じ空間関係の原則に従う、4つの追加のミラー625E、625F、625G、625H、および4つの対応する追加のカメラ610E、610F、610G、610Hを有するけれども、追加のミラー625E、625F、625G、625Hは、プライマリミラー610A、610B、610C、610Dの角度と比較すると、アレイ600の垂直軸に対して異なる角度で位置付けされうる。4つの追加のミラーの付いた面625E、625F、625G、625Hは、それらが元の4つのカメラによってキャプチャされた射線の円錐を妨害しないように、それらの使用可能なエリアの一部を切断することによって成形されうる。4カメラ設計と比較された追加のミラーおよびカメラは、灰色で図示されている。レンズ中央部からアペックスAまでの距離は、すべての8つのカメラ610A−610Hにとって同じでありうる。これは、アレイカメラの一例を例示するように意図されており、異なる数のカメラ/ミラーと同様に他の変更を持つ他のカメラは可能である。
[0070]図6Cは、中央ミラーピラミッド620上の円として図示されている仮想カメラの視野630の例を例示している。図5Cと比較すると、例示されている円630は、4カメラアレイ500と比較された8カメラアレイ600のFOVの増加を図示している。フィールドをさらに広く(further)拡大するために8つよりも多いカメラ設計は可能であるが、システムの複雑性も比例して増加する。いくつかの実施形態は、おおよそ100°のFOVを実現するように構築されうる。

IV.実例的なキャプチャされた画像の概要
[0071]図7Aは、4カメラアレイカメラの1つのセンサ710およびミラー720のための設計パラメータの例を例示している。現実のレンズに対して予測されるのと同様の結果を持つ、理想的なレンズ715を仮定すると、カメラ310Bの焦点距離はおおよそ5mmであり、アパーチャは2.5mmであり、Aから凸部313Bのレンズ715の中央部までの距離はおおよそ7mmであり、Aはベース725からおおよそ4mmの高さHにあり(高さHは、アレイに関する厚さまたは高さ全体に基づいて変化しうるけれども)、α=39.713°である。おおよそ4mmのミラーの高さHの制約は、アレイカメラの外形情報制限に起因して、いくつかの実装において増加しないことがある。例示されているように、センサ710は、センサ710が従来、光軸730で中心に位置付けされていた場合に比べて、ミラーによって提供される視野のより多くから光を収集するために光軸730の中心から外れて位置付けされうる。他の実施形態では、センサ710は、異なる位置に、かつ光軸に対して異なる角度で位置付けされ得、セカンダリ光再方向付け面は、センサに光を再方向付けするために含まれうる。例えば、中央ミラーピラミッドのベース725は、回路基板上に位置付けされ(または回路基板に差し込まれ)得、センサ710(およびアレイ中のすべての他のセンサ)は、回路基板上に位置付けされ(または回路基板に差し込まれ)うる。
[0072]図7Bは、様々な角度でミラー720に入射する光に対する実例的な射線追跡を例示しており、ここで線の数は、センサ710に到達する各角度における光の相対的な量に対応する。様々な角度に対する射線追跡における線の数によって例示されているように、内角(例えば、12度および24度)よりも少ない外角(例えば、−6度、0度、36度、および44度)からの光がセンサ710に達する。
[0073]図7Cは、図7Aおよび7Bにおいて例示されている設計パラメータを有する4カメラアレイカメラによってキャプチャされたビューのセットを例示している。4カメラアレイを用いてキャプチャされた画像の簡素な線形混合は、アーティファクトを伴わない高品質な結果を生み出すことができる。4つのカメラの視野間の重複が最小化される場合、全視野は88°に達しうる。例示されているシュミレーションされたビューのセットでは、オブジェクトはカメラからおおよそ50mmにあり、カメラは正確にオブジェクトに焦点を合わされる。視野間の重複のアレイには視差がほとんどまたは全くなく、画像ステッチングに関して、以前のアレイカメラ設計に対する著しい改善を提供する。
[0074]すべての画像の焦点が合っているとき、焦点が合っているオブジェクトは、好ましくはある距離に、例えば1つの水平面にあるはずである。適切アラインすることはどの視差も取り除く。異なるオブジェクトへの深度が異なるとき、それらは、すべての焦点が合うことも、すべてが同時にアラインされることもないことがある。1つのオブジェクトが重複するビューにおいてアラインされている場合でさえ、異なる深度にあるいくつかの他のオブジェクトはアラインされないことがある。
[0075]いくつかの例では、焦点が合っているオブジェクトは適切にアラインされることになるけれども、同じシーンにおける焦点が外れたオブジェクトの画像間にはずれ(misalignment)が存在しうる。Zemaxにおける広範なシミュレーションが、そのようなオブジェクトがあると、異なるミラーからの重複するビュー間に可視的な視差が存在することを示してきた。しかしながら2つのそのような画像のミクスチャは、より大きなアパーチャからのまさしく焦点がぼやけた(true defocused)オブジェクトのビューである。個別のカメラからのビューは、部分的(不完全の)アパーチャイメージングを示す。そのような個別のビューをミックスした結果が、完全なアパーチャイメージングである。アレイカメラは、部分的ビューのすべてから合成アパーチャ画像を生成する。
[0076]4カメラアレイを用いる一実験では、50mmにある焦点の合ったオブジェクトと、40mmで焦点を合わされたカメラを用いると、その実験は、個別のビュー間の重複する領域におけるわずかな視差を明らかにした。しかしながら、ビューの線形混合は依然として、最終的なイメージにおいてゴースト発生が存在しないこと、および明瞭さを生み出した。
[0077]図8Aは、不完全な中央ミラーピラミッド800の実施形態を例示している。アレイカメラで使用される現実のミラーは、場合によっては鋭利なエッジにおいて不完全さを有しうる。図8Aのミラーは、0.25mm分だけピラミッドのエッジ805をブロックし、0.5mm分だけ上端810を切除した(切断されたミラーピラミッド(mirror pyramid with cutoffs)と称される)効果を調査するために使用される不完全ミラーを表現する。ブロックされたエッジ805および切除された上端810の効果は、図9Aの実例的な画像に関連して論じられる。
[0078]図8Bは、不完全な中央ミラーピラミッド820の別の実施形態を例示している。図8Bのミラーは、ブロックされたエッジ805の効果を調査するために使用される完全なミラー、およびピラミッドの上端にある壁815もまた表現しており、壁815はおおよそ0.5mmの高さを有し、ある角度で入来するある特定の射線をブロックする(壁を有するミラーピラミッドと称される)。ブロックされたエッジ805およびブロックされた上端815の効果は、図9Bの実例的な画像に関連して論じられる。
[0079]図9Aは、図8Bの中央ミラーピラミッドおよび理想の中央ミラーピラミッドを用いてキャプチャされた画像間の差分の絶対値の拡大図の画像900を例示している。図8Aで例示されているような中央ミラーピラミッドを使用してキャプチャされた画像に対する切除の効果は、45度の斜め方向の画像の暗化であり、画像の中央部のダイヤモンド形状の領域における暗化を二重にする。
[0080]図9Bは、図8Bの中央ミラーピラミッドおよび理想の中央ミラーピラミッドを用いてキャプチャされた画像間の差分の絶対値の拡大図の画像905を例示している。拡大された差分の絶対値によって例示されているように、図8Bで例示されているような中央ミラーピラミッドを使用してキャプチャされた画像に対する壁の効果は、画像の中央部における黒の十字である。
[0081]現実および不完全なミラーは、キャプチャされた画像において暗化を引き起こしうるけれども、そのような暗化は、不完全なミラーを使用するアレイによるすべての画像キャプチャ全域で不断であろう。したがって、いくつかの実施形態では、キャプチャ後処理技法が、例えば、キャプチャされた画像に既知の暗化された領域のマスクを多重化する(multiply)ことによって、ミラーに起因する画像の既知の暗化に関して補正するために使用されうる。その結果は、それが鋭利なエッジおよび鋭利なアペックスを持つ理想的なミラーによってキャプチャされたかのように見えるだろう。他の実施形態では、例えば、ミラーエッジが0.25mmに勝るように精密かつ鋭利であることを要求することといった、製造制約が、暗化アーティファクトを回避するためにミラー構築に設置されうる。

V.実例的な画像キャプチャプロセスの概要
[0082]図10は、屈曲光学系画像キャプチャプロセス1000の実施形態を例示している。プロセス1000は、複数の画像センサが設けられているブロック1005で開始する。このブロックは、センサの数および位置付けを含む、上で論じられたセンサアレイ構成のいずれも提供することを含むことができる。
[0083]プロセス1000はその後、少なくとも1つの反射面が複数のイメージングセンサの対応する1つと予め定義された空間関係で、および複数のイメージングセンサの対応する1つと近接して装着されるブロック1010に移動する。例えば、このブロックは、2つ、4つ、または8つのセンサの取り囲むアレイの真ん中に中央アレイピラミッドを装着することを備えることができ、ここにおいて中央ミラーピラミッドは、アレイ中の各センサに関連付けられた面を備える。上で説明されたように、所定の空間関係は、例えば中央ミラーピラミッドのファセットまたはミラーの付いた面によって形成されたすべての水平面が共通ポイント(アペックス)で交差すること、各ミラーがアペックスを通るアレイの垂直軸に対してある角度で位置付けられる(様々な実施形態において、異なるミラーが異なる角度で、またはすべて同じ角度で装着されうるが)こと、各ミラーの対応するセンサが、アペックスを通るアレイの垂直軸に対して角度2αで位置付けられること、および各センサに関連付けられたレンズアセンブリの凸部の中央部が、凸部の他の中央部の各々と同じアペックスからの距離Dに位置付けられることを特定することによって、視差およびチルトアーティファクトが実質的に無いアレイカメラを提供することができる。いくつかの実施形態では、プロセス1000のブロック1005および1010は、視差およびチルトアーティファクトが実質的に無いアレイカメラを製造する方法として実装されうる。
[0084]プロセス1000はその後、シーンのターゲット画像を構成する光が、ブロック1005および1010によって製造されたアレイカメラのイメージングセンサに向けて、少なくとも1つの反射面に反射されるブロック1015に移行する。例えば、光の一部分は、複数のセンサの各々に向けて、複数の面の各々に反射されうる。これはさらに、各センサに関連付けられたレンズアセンブリに光を通すことを備えることができ、また第2の面に光をセンサ上に向けて反射させることも含むことができる。ブロック1015はさらに、反射面の任意のものの移動も通じて、またはレンズアセンブリを使用して光の焦点を合わせることを備えることができる。
[0085]プロセス1000は、センサがターゲット画像シーンの複数の画像をキャプチャするブロック1020に移動しうる。例えば、各センサは、そのセンサの視野に対応するシーンの一部分の画像をキャプチャすることができる。アレイカメラを構築する際に使用される所定の空間関係に起因して、視野は、視差およびチルトアーティファクトをほとんどまたは全く提示しないことがある。それとともに、複数のセンサの視野は、オブジェクト空間において少なくともターゲット画像をカバーする。
[0086]プロセス1000はその後、画像ステッチング方法が複数の画像から単一の画像を生成するために実行されるブロック1025に移行することができる。いくつかの実施形態では、図2の画像ステッチングモジュール240がこのブロックを実行することができる。これは、既知の画像ステッチング技法を含むことができる。さらに、視野における重複のどのエリアも、複数の画像における重複を生成し得、これは、ステッチングプロセスにおいて画像をアラインする際に使用されうる。例えば、ブロック925はさらに、隣接画像の重複するエリアにおける共通の特徴を識別することと、その共通の特徴を使用して画像をアラインすることを含むことができる。いくつかの実施形態では、ブロック1025は、中央ミラーピラミッドにおける不完全性によって引き起こされた既知のアーティファクトに対する補償を含むことができる。
[0087]次に、プロセス1000は、ステッチされた画像が、指定されたアスペクト比、例えば4:3または1:1にトリミングされるブロック1030に移行する。最後にプロセスは、ブロック1035において、トリミングされた画像を記憶した後終了する。例えば、画像は、図2のストレージ210に、最大解像度の最終的な画像として記憶されうるか、ターゲットシーンのプレビュー画像としての表示のために、図2のワーキングメモリ205に記憶されうる。

VI.実装するシステムおよび用語
[0088]本明細書で開示されている実装は、視差およびチルトアーティファクトが無い複数のアパーチャアレイカメラのためのシステム、方法、および装置を提供する。当業者は、これらの実施形態が、ハードウェア、ソフトウェア、ファームウェア、またはそれらのあらゆる組み合わせで実装されうることを認識するだろう。
[0089]いくつかの実施形態では、上で論じられた回路、プロセス、およびシステムが、ワイヤレス通信デバイスにおいて利用されうる。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレスに通信するために使用される、ある種類のデバイスでありうる。ワイヤレス通信デバイスの例は、セルラ式電話、スマートフォン、携帯情報端末(PDA)、電子リーダ、ゲームシステム、音楽プレイヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイス等を含む。
[0090]ワイヤレス通信デバイスは、上で論じられたプロセスを実行するための、1つまたは複数の画像センサ、2つ以上の画像信号プロセッサ、命令またはモジュールを含むメモリを含むことができる。デバイスはまた、データ、メモリから命令および/またはデータをロードするプロセッサ、1つまたは複数の通信インターフェース、1つまたは複数の入力デバイス、ディスプレイデバイスのような1つまたは複数の出力デバイス、ならびに電力ソース/インターフェースを有することができる。ワイヤレス通信デバイスは、加えて送信機および受信機を含むことができる。送信機および受信機は、トランシーバと合わせて称されうる。トランシーバは、ワイヤレス信号を送信および/または受信するための1つまたは複数のアンテナに結合されうる。
[0091]ワイヤレス通信デバイスは、別の電子デバイス(例えば、基地局)にワイヤレスに接続しうる。ワイヤレス通信デバイスは、代わりとして、モバイルデバイス、モバイル局、加入者局、ユーザ機器(UE)、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニット等と称されうる。ワイヤレス通信デバイスの例は、ラップトップまたはデスクトップコンピュータ、セルラ式電話、スマートフォン、ワイヤレスモデム、電子リーダ、タブレットデバイス、ゲームシステム等を含む。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP(登録商標))のような1つまたは複数の工業規格にしたがって動作しうる。したがって、「ワイヤレス通信デバイス」という一般的な用語は、工業規格にしたがった様々な用語体系をもって説明されるワイヤレス通信デバイス(例えば、アクセス端末、ユーザ機器(UE)、遠隔端末等)を含むことができる。
[0092]本明細書で説明されている機能は、プロセッサ可読またはコンピュータ可読媒体上に、1つまたは複数の命令として記憶されうる。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされうるあらゆる利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROMまたは他の光学ディスクストレージ、磁気ディスクストレージ、または他の磁気記憶デバイス、あるいは命令またはデータ構造の形態で望ましいプログラムコードを記憶するために使用され得、コンピュータによってアクセスされうる、あらゆる他の媒体を備えることができる。本明細書で使用される場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光学ディスク(disc)、デジタル多目的ディスク(disc)(DVD)、フロッピーディスク(disk)、およびブルーレイ(登録商標)ディスク(disc)を含み、ここでディスク(disk)が通常磁気的にデータを再生する一方で、ディスク(disc)は、レーザーを用いて光学的にデータを再生する。コンピュータ可読媒体が有形および非一時的でありうることは留意されるべきである。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行、処理、またはコンピューティングされうるコードまたは命令(例えば、「プログラム」)と組み合わされたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コード、またはデータを指しうる。
[0093]ソフトウェアまたは命令はまた、送信媒体を通じて送信されうる。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、または他の遠隔ソースから送信される場合には、この同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、送信媒体の定義に含まれる。
[0094]本明細書で開示されている方法は、説明されている方法を達成するための1つまたは複数のステップまたはアクションを備える。方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに置き換えられうる。言い換えれば、ステップまたはアクションの特定の順序が、説明されている方法の正常な動作のために要求されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく修正されうる。
[0095]本明細書で使用される場合、「結合する」、「結合すること」、「結合される」という用語、または結合という言葉の他のバリエーションが、間接接続または直接接続のどちらも示すことができることは留意されるべきである。例えば、第1のコンポーネントが第2のコンポーネントに「結合される」場合、第1のコンポーネントは、第2のコンポーネントに間接的に接続されるか、第2のコンポーネントに直接的に接続されるか、のどちらでもありうる。本明細書で使用される場合、「複数」という用語は2つ以上を意味する。例えば、複数のコンポーネントは、2つ以上のコンポーネントを示す。
[0096]「決定すること」という用語は、幅広い種類のアクションを含み、したがって、「決定すること」は、計算すること、コンピューティングすること、処理すること、導出すること、調査すること、ルックアップすること(looking up)(例えば、表、データベース、または別のデータ構造をルックアップすること)、確定すること、および同様のことを含むことができる。また「決定すること」は、受信すること(例えば、情報を受信すること)、アクセスすること(例えば、メモリ中のデータにアクセスすること)、および同様のことを含むことができる。また「決定すること」は、解決すること、選択すること、選ぶこと、確立すること、および同様のことを含むことができる。
[0097]「に基づいて」という表現は、明確に指定されない限り、「だけに基づいて」を意味しない。言い換えれば、「に基づいて」という表現は、「だけに基づいて」および「に少なくとも基づいて」の両方を説明する。
[0098]上述の説明では、特定の詳細が例の完全な理解を提供するために与えられている。しかしながら、例がこれらの特定の詳細なしで実施されうることは当業者によって理解されるだろう。例えば、例を不必要な詳細で曖昧にしないために、電気的コンポーネント/デバイスがブロック図で図示されうる。他の事例では、このようなコンポーネント、他の構造および技術が、例をさらに説明するために詳細に図示されうる。
[0100]見出しは、参照のために、および様々なセクションを検索するのを支援するために、本明細書に含まれている。これらの見出しは、それらに関して説明されている概念の範囲を限定するようには意図されていない。そのような概念は、明細書全体にわたって適用性を有しうる。
[0101]また、例がフローチャート、フロー図、有限状態図、構造図、またはブロック図として描写される、プロセスとして説明されうることに留意されたい。フローチャートは動作を連続したプロセスとして説明しうるけれども、動作の多くは並列または同時に行われることができ、プロセスは繰り返されることができる。加えて、動作の順序は並べ換えられうる。プロセスは、その動作が完了した時に終了する。プロセスは、方法、機能、手順、サブルーチン、サブプログラム、等に対応しうる。プロセスがソフトウェアの機能に対応するとき、その終了は、機能が呼び出し機能または主要機能に戻ることに対応する。
[0102]開示されている実装の先の説明は、いずれの当業者も、本発明を製造または使用できるように提供されている。これらの実装への様々な修正は、当業者には容易に明らかになり、本明細書で定義されている一般的な原理は、本発明の趣旨または範囲から逸脱することなく、他の実装にも適用されうる。したがって、本発明は、本明細書で示されている実装に限定されるようには意図されておらず、本明細書で開示されている原理および新規な特徴と一致する可能性がある最も広い範囲が与えられることとする。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
複数のプライマリ光再方向付け面を含む反射コンポーネント、前記反射コンポーネントは、前記複数のプライマリ光再方向付け面の各々によって形成された水平面の交差のロケーションにアペックスを備える、と、
複数のカメラ、前記複数のカメラの各々は、光軸を有し、前記複数のカメラは、各々が前記反射コンポーネントの前記プライマリ光再方向付け面のうちの1つからの再方向付けされた光を受信するように、および前記複数のカメラの各々の前記光軸が前記反射コンポーネントの前記アペックスと交差するようアラインされるように、配列されている、
を備えるイメージングシステム。
[C2]
前記アペックスを通る仮想光軸をさらに備え、前記複数の光方向付け面のうちの少なくとも1つは、前記仮想光軸に対する前記複数のプライマリ光再方向付け面の前記少なくとも1つによって形成された水平面は、第1の角度を形成するように位置付けられ、前記複数のプライマリ光反射面の前記少なくとも1つ光を受信する前記複数のカメラのうちの1つの前記光軸は、前記仮想光軸に対する第2の角度を形成し、前記第2の角度は、前記第1の角度の値の二倍に等しい値を有する、
C1に記載のシステム。
[C3]
前記複数のプライマリ光再方向付け面の各々は、前記複数のプライマリ光再方向付け面の各々によって形成された水平面が前記仮想光軸に対する前記第1の角度を形成するように位置付けされ、前記複数のカメラの各々の前記光軸は、前記仮想光軸に対する前記第2の角度を形成する、
C2に記載のシステム。
[C4]
前記複数のプライマリ光再方向付け面の第1のサブセットによって形成された水平面は、前記仮想光軸に対する前記第1の角度を形成し、
前記複数のカメラの対応する第1のセットの前記光軸は、前記仮想光軸に対する前記第2の角度を形成し、
前記複数のプライマリ光再方向付け面の第2のサブセットによって形成された水平面は、前記仮想光軸に対する第3の角度を形成し、前記第3の角度は、前記第1の角度の前記値とは異なる値を有し、
前記複数のカメラの対応する第2のサブセットの前記光軸は、前記仮想光軸に対する第4の角度を形成し、前記第4の角度は、前記第3の角度の前記値の二倍に等しい値を有する、
C2に記載のシステム。
[C5]
前記複数のカメラのうちの1つのカメラは、レンズアセンブリおよびセンサを備え、前記カメラの前記光軸は、前記レンズアセンブリの凸部の中央部と交差し、前記光軸は、前記センサの中央部からオフセットされたロケーションで前記センサと交差する、
C1に記載のシステム。
[C6]
複数のレンズアセンブリおよび複数の画像センサをさらに備え、前記複数のカメラの各々は、前記複数のレンズアセンブリのうちの1つおよび前記複数の画像センサのうちの1つを備える、
C1に記載のシステム。
[C7]
前記複数のレンズアセンブリの各々は、凸部の中央部を有し、前記複数のレンズアセンブリのうちの少なくとも2つは、前記アペックスが前記複数のレンズアセンブリの前記少なくとも2つの各々の前記凸部の中央部から等距離にあるように位置付けられる、
C6に記載のシステム。
[C8]
前記複数のレンズアセンブリは、互いに実質的に同一であり、前記複数のレンズアセンブリは、前記アペックスから等距離に位置付けられる、
C6に記載のシステム。
[C9]
実質的に平面の回路基板をさらに備え、前記複数の画像センサの各々は、前記実質的に平面の回路基板上に位置付けられるか、または前記実質的に平面の回路基板に差し込まれる、
C6に記載のシステム。
[C10]
複数のセカンダリ光再方向付け面をさらに備え、前記複数のセカンダリ光再方向付け面の各々は、前記複数のレンズアセンブリのうちの対応する1つから入来する光を受信し、前記入来する光を前記複数の画像センサのうちの対応する1つに向けて再方向付けするように構成される、
C9に記載のシステム。
[C11]
前記複数のセカンダリ光再方向付け面は各々、屈折プリズムの反射面のうちの1つを備える、
C10に記載のシステム。
[C12]
視差およびチルトアーティファクトが実質的に無い屈曲光学系アレイカメラを製造する方法であって、
複数のプライマリ光再方向付け面を含む反射コンポーネントを設けること、前記反射コンポーネントは、前記複数のプライマリ光再方向付け面の各々によって形成された水平面の交差のロケーションにアペックスを備える、と、
前記反射コンポーネントの周囲に位置付けられる複数のカメラの各カメラに関して、
前記複数のプライマリ光再方向付け面のうちの1つからターゲット画像シーンを表現する光の一部分を受信するためにレンズアセンブリを位置付けすること、前記レンズアセンブリは、光軸を有する、および
前記光軸が前記アペックスと交差するようアラインされるように前記レンズアセンブリを位置付けすること、と
を備える、方法。
[C13]
前記複数のカメラの各カメラに関して、前記レンズアセンブリから光を受信するために画像センサを位置付けすることをさらに備える、
C12に記載の屈曲光学系アレイカメラを製造する方法。
[C14]
前記光軸が、前記画像センサの中央部からオフセットされた位置で前記画像センサと交差するように前記画像センサを位置付けすることをさらに備える、
C13に記載の屈曲光学系アレイカメラを製造する方法。
[C15]
おおよそ4.5mm以下の内部高を有する筺体内に前記複数のカメラを配列することをさらに備える、
C12に記載の屈曲光学系アレイカメラを製造する方法。
[C16]
前記アペックスから等距離になるように前記複数のカメラの少なくとも2つの前記レンズアセンブリを位置付けすることをさらに備える、
C12に記載の屈曲光学系アレイカメラを製造する方法。
[C17]
前記屈曲光学系アレイカメラは、仮想カメラの仮想光軸を備え、前記仮想カメラは、前記複数のカメラの各々の視野を組み合わせることによって形成される、
C12に記載の屈曲光学系アレイカメラを製造する方法。
[C18]
前記仮想光軸に対して第1の角度で前記複数のプライマリ光再方向付け面のうちの1つを位置付けすることと、前記仮想光軸に対して第2の角度で前記複数のカメラのうちの対応する1つの前記レンズアセンブリを位置付けすることとをさらに備え、前記第2の角度は、前記第1の角度の値の二倍である値を有する、
C17に記載の屈曲光学系アレイカメラを製造する方法。
[C19]
実質的に平面の回路基板を設けることと、
前記複数のカメラの各々に関して、
前記レンズアセンブリから光を受信するように位置付けられた画像センサを設けること、および
前記実質的に平面の回路基板上の、または前記実質的に平面の回路基板に差し込まれた前記画像センサを位置付けすること、と
をさらに備える、C12に記載の屈曲光学系アレイカメラを製造する方法。
[C20]
前記複数のカメラの各々に関して、前記レンズアセンブリと前記画像センサとの間にセカンダリ光再方向付け面を設けることをさらに備え、前記セカンダリ光再方向付け面は、前記レンズアセンブリからターゲット画像シーンを表現する前記光の一部分を受信し、前記光の一部分を前記画像センサに向けて再方向付けするように構成される、
C19に記載の屈曲光学系アレイカメラを製造する方法。
[C21]
前記ターゲット画像シーンの完全な画像に、前記複数のカメラの各々の前記光の一部分を表現するデータをアセンブルするように構成された処理モジュールに前記複数のカメラの各々を電子的に結合することをさらに備える、
C12に記載の屈曲光学系アレイカメラを製造する方法。
[C22]
ターゲット画像シーンを表現する光を複数の部分に分割し、異なる方向に、前記複数の部分の各々を再方向付けするための手段と、
前記複数の光の部分の各々の焦点を合わせるための手段と、
焦点を合わされた後に前記複数の光の部分の各々をキャプチャするための手段と、
を備え、
前記光を分割するための手段、焦点を合わせるための手段、およびキャプチャするための手段は、前記複数の光の部分に基づいて生成された画像間の視差およびチルトアーティファクトを低減または除去するために所定の空間関係にしたがって位置付けられる、
画像キャプチャ装置。
[C23]
前記焦点を合わせるための手段から受信された前記複数の光の部分を、前記キャプチャするための手段上に再方向付けするための手段をさらに備える、
C22に記載の画像キャプチャ装置。
[C24]
前記複数の部分に前記ターゲット画像シーンを表現する光を前記分割するための手段は、対応する複数の反射ファセットを有する反射コンポーネントと、対応する複数の出力ファセットを有する屈折プリズムとのうちの1つを備える、
C22に記載の画像キャプチャ装置。
[C25]
前記所定の空間関係は、前記ターゲット画像シーンを表現する光を前記分割するための手段と、前記焦点を合わせるための手段と、前記キャプチャするための手段との間の幾何学的な関係を定義する、
C22に記載の画像キャプチャ装置。
[C26]
視差およびチルトアーティファクトが実質的に無いアレイカメラを形成する方法であって、垂直な対称軸を有するアレイに位置付けられる複数のカメラの各々のカメラに関して、
画像センサのための第1のロケーションを選択することと、
プライマリ光方向付け面によって形成された水平面がアペックスポイントと交差するように前記プライマリ光方向付け面のための第2のロケーションを選択すること、前記第2のロケーションは、前記プライマリ光方向付け面がターゲット画像シーンを表現する光の一部分を前記画像センサに向けて方向付けするように選択される、と、
前記センサと前記プライマリ光方向付け面との間に位置付けられたレンズアセンブリの凸部の中央部のための第3のロケーションを選択すること、第3のロケーションは、前記カメラの光軸角度が前記アペックスポイントと交差するように選択される、と
を備え、
前記方法は、1つまたは複数のコンピューティングデバイスによってプログラムで実行される、
方法。
[C27]
前記凸部の中央部と前記アペックスとの間の距離が前記複数のカメラの各々にとって同じであるように前記複数のカメラの各カメラのための前記第3のロケーションを選択することをさらに備える、
C26に記載の方法。
[C28]
前記第1のロケーションおよび第3のロケーションは、前記カメラの光軸角度が前記垂直な対称軸に対する第2の角度を形成するように選択され、前記第2の角度は、前記第1の角度の二倍である、
C26に記載の方法。
[C29]
前記プライマリ光方向付け面が前記垂直な対称軸に対して第1の角度で位置付けられるように前記第2のロケーションを選択することをさらに備える、
C26に記載の方法。
[C30]
前記光軸が前記垂直な対称軸に対する第2の角度を形成するように前記第3のロケーションを選択することをさらに備え、前記第2の角度は、前記第1の角度の二倍である、
C29に記載の方法。

Claims (15)

  1. 複数のプライマリ光反射面を含む反射コンポーネント、前記反射コンポーネントは、前記複数のプライマリ光反射面の各々の交差のロケーションにアペックスを備える、と、
    複数のカメラ、前記複数のカメラの各々は、単一のポイントでのみ交差するようにアラインされた光軸を有し、前記単一のポイントは、前記反射コンポーネントの前記アペックスに位置し、前記複数のカメラの各々は、前記複数のプライマリ光反射面のうちの1つに関連付けられ、前記プライマリ光反射面のうちの前記関連付けられた1つからの反射された光を受信するように配列され、前記反射コンポーネントは、前記複数のカメラのうちの少なくとも2つの間に配置される、
    前記アペックスを通る仮想光軸、前記複数の光反射面のうちの少なくとも1つは、前記仮想光軸に対する前記複数のプライマリ光反射面の前記少なくとも1つによって形成された水平面が第1の角度を形成するように位置付けられ、前記複数のプライマリ光反射面の前記少なくとも1つから光を受信する前記複数のカメラのうちの1つの前記光軸は、前記仮想光軸に対する第2の角度を形成し、前記第2の角度は、前記第1の角度の値の二倍に等しい値を有し、前記第1の角度は、30度より大きく、45度未満である、と
    を備えるイメージングシステム。
  2. 前記複数のプライマリ光反射面の各々は、前記複数のプライマリ光反射面の各々によって形成された水平面が前記仮想光軸に対する前記第1の角度を形成するように位置付けされ、前記複数のカメラの各々の前記光軸は、前記仮想光軸に対する前記第2の角度を形成する、
    請求項1に記載のシステム。
  3. 前記複数のプライマリ光反射面の第1のサブセットによって形成された水平面は、前記仮想光軸に対する前記第1の角度を形成し、
    前記複数のカメラの対応する第1のサブセットの前記光軸は、前記仮想光軸に対する前記第2の角度を形成し、
    前記複数のプライマリ光反射面の第2のサブセットによって形成された水平面は、前記仮想光軸に対する第3の角度を形成し、前記第3の角度は、前記第1の角度の前記値とは異なる値を有し、
    前記複数のカメラの対応する第2のサブセットの前記光軸は、前記仮想光軸に対する第4の角度を形成し、前記第4の角度は、前記第3の角度の前記値の二倍に等しい値を有する、
    請求項1に記載のシステム。
  4. 前記複数のカメラの各カメラは、レンズアセンブリおよびセンサを備え、各カメラに関して、
    前記カメラの前記光軸は、前記レンズアセンブリの凸部の中央部と交差し、
    前記カメラの前記光軸は、前記センサの中央部からオフセットされたロケーションで前記センサと交差する、
    請求項1に記載のシステム。
  5. 複数のレンズアセンブリおよび複数の画像センサをさらに備え、前記複数のカメラの各々は、前記複数のレンズアセンブリのうちの1つおよび前記複数の画像センサのうちの1つを備える、
    請求項1に記載のシステム。
  6. 前記複数のレンズアセンブリの各々は、凸部の中央部を有し、前記複数のレンズアセンブリのうちの少なくとも2つは、前記アペックスが前記複数のレンズアセンブリの前記少なくとも2つの各々の前記凸部の中央部から等距離にあるように位置付けられる、
    請求項5に記載のシステム。
  7. 前記複数のレンズアセンブリは、互いに同一であり、前記複数のレンズアセンブリは、前記アペックスから等距離に位置付けられる、
    請求項5に記載のシステム。
  8. 平面の回路基板をさらに備え、前記複数の画像センサの各々は、前記平面の回路基板上に位置付けられる、
    請求項5に記載のシステム。
  9. 複数のセカンダリ光反射面をさらに備え、前記複数のセカンダリ光反射面の各々は、前記複数のレンズアセンブリのうちの対応する1つから入来する光を受信し、前記入来する光を前記複数の画像センサのうちの対応する1つに向けて再方向付けするように構成される、
    請求項8に記載のシステム。
  10. 前記複数のセカンダリ光反射面は各々、屈折プリズムの反射面のうちの1つを備える、
    請求項に記載のシステム。
  11. 平面の回路基板をさらに備え、前記複数の画像センサの各々は前記回路基板に差し込まれて位置付けられる、
    請求項5に記載のシステム。
  12. 屈曲光学系アレイカメラを製造する方法であって、
    複数のプライマリ光反射面を含む反射コンポーネントを設けること、前記反射コンポーネントは、前記複数のプライマリ光反射面の各々によって形成された水平面の交差のロケーションにアペックスを備え、前記屈曲光学系アレイカメラの仮想光軸は、前記アペックスを通る、と、
    前記反射コンポーネントが前記複数のカメラのうちの少なくとも2つの間に配置されるように前記反射コンポーネントの周囲に複数のカメラを配列すること、前記配列することは、前記複数のカメラの各カメラに関して、
    前記複数のプライマリ光反射面のうちの関連付けられた1つからターゲット画像シーンを表現する光の一部分を受信するためにレンズアセンブリを位置付けすること、前記レンズアセンブリは、光軸を有する、および
    前記光軸が前記アペックスと交差し、単一のポイントでのみ前記複数のカメラのうちのその他のカメラの光軸と交差するようアラインされるように前記レンズアセンブリを位置付けすること、前記単一のポイントは、前記アペックスに位置する、
    を備える、と、
    前記仮想光軸に対する前記複数のプライマリ光反射面の前記少なくとも1つによって形成された水平面が第1の角度を形成するように、前記複数のプライマリ光反射面のうちの少なくとも1つを位置付けすること、前記複数のプライマリ光反射面の前記少なくとも1つから光を受信する前記複数のカメラのうちの1つの前記光軸は、前記仮想光軸に対する第2の角度を形成し、前記第2の角度は、前記第1の角度の値の二倍に等しい値を有し、z前記第1の角度は、30度より大きく、45度未満である、と
    を備える、方法。
  13. 前記複数のカメラの各カメラに関して、前記レンズアセンブリから光を受信するために画像センサを位置付けすることをさらに備える、
    請求項12に記載の屈曲光学系アレイカメラを製造する方法。
  14. 前記屈曲光学系アレイカメラは、仮想カメラの仮想光軸を備え、前記仮想カメラは、前記複数のカメラの各々の視野を組み合わせることによって形成される、
    請求項12に記載の屈曲光学系アレイカメラを製造する方法。
  15. 平面の回路基板を設けることと、
    前記複数のカメラの各々に関して、
    前記レンズアセンブリから光を受信するように位置付けられた画像センサを設けること、および
    前記平面の回路基板上に前記画像センサを位置付けすること、と
    をさらに備える、請求項12に記載の屈曲光学系アレイカメラを製造する方法。
JP2016573905A 2014-06-20 2015-05-29 視差およびチルトアーティファクトが無い屈曲光学系を使用するマルチカメラシステム Active JP6672185B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015319P 2014-06-20 2014-06-20
US62/015,319 2014-06-20
US14/571,149 US9294672B2 (en) 2014-06-20 2014-12-15 Multi-camera system using folded optics free from parallax and tilt artifacts
US14/571,149 2014-12-15
PCT/US2015/033195 WO2015195297A2 (en) 2014-06-20 2015-05-29 Multi-camera system using folded optics free from parallax and tilt artifacts

Publications (3)

Publication Number Publication Date
JP2017524976A JP2017524976A (ja) 2017-08-31
JP2017524976A5 JP2017524976A5 (ja) 2018-06-21
JP6672185B2 true JP6672185B2 (ja) 2020-03-25

Family

ID=54870824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016573905A Active JP6672185B2 (ja) 2014-06-20 2015-05-29 視差およびチルトアーティファクトが無い屈曲光学系を使用するマルチカメラシステム

Country Status (8)

Country Link
US (2) US9294672B2 (ja)
EP (1) EP3158395B1 (ja)
JP (1) JP6672185B2 (ja)
KR (1) KR102225429B1 (ja)
CN (1) CN106415386B (ja)
BR (1) BR112016029714B1 (ja)
CA (1) CA2949550C (ja)
WO (1) WO2015195297A2 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
CN105629429B (zh) * 2014-10-31 2019-07-09 高准精密工业股份有限公司 透镜组件及取像模组
US9835775B2 (en) * 2014-10-31 2017-12-05 Everready Precision Ind. Corp. Image-capturing module
EP3235243A4 (en) * 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US10101817B2 (en) * 2015-03-03 2018-10-16 Intel Corporation Display interaction detection
FR3034553B1 (fr) * 2015-03-30 2018-04-13 Thales Procede de determination d'une direction d'un objet a partir d'une image de l'objet
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
US9906721B2 (en) * 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
US9819865B2 (en) 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
DE102016200285A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102016200287A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
US20170374249A1 (en) * 2016-06-23 2017-12-28 Microsoft Technology Licensing, Llc Imaging device with reflective optical element
KR102365926B1 (ko) * 2017-01-12 2022-02-23 코어포토닉스 리미티드 컴팩트 폴디드 카메라
US10666923B2 (en) * 2017-02-24 2020-05-26 Immervision, Inc. Wide-angle stereoscopic vision with cameras having different parameters
US10645286B2 (en) * 2017-03-15 2020-05-05 Corephotonics Ltd. Camera with panoramic scanning range
CN107357045B (zh) * 2017-08-30 2019-07-19 中国科学院光电技术研究所 一种应用于合成孔径成像设备中的多光束合成器件
US10400929B2 (en) 2017-09-27 2019-09-03 Quick Fitting, Inc. Fitting device, arrangement and method
CN112204434A (zh) * 2018-04-03 2021-01-08 新加坡国立大学 使用一个或多个棱镜记录图像的方法和系统
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
KR102099232B1 (ko) * 2019-07-03 2020-04-08 주식회사 레티널 소형 반사부를 이용한 카메라 모듈 및 이를 이용한 증강 현실용 광학 장치
KR20210046971A (ko) 2019-10-21 2021-04-29 삼성전자주식회사 복수-입력 폴디드 카메라 및 이를 포함하는 모바일 장치
CN111007693B (zh) * 2019-12-17 2022-05-31 广州立景创新科技有限公司 广角摄像装置
AU2020417796B2 (en) 2019-12-30 2023-09-14 Matterport, Inc. System and method of capturing and generating panoramic three-dimensional images
US11943539B2 (en) 2019-12-30 2024-03-26 Matterport, Inc. Systems and methods for capturing and generating panoramic three-dimensional models and images
KR20210088960A (ko) * 2020-01-07 2021-07-15 삼성전자주식회사 전자 기기의 이미지 아티팩트 처리 방법 및 장치
US10969047B1 (en) 2020-01-29 2021-04-06 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11035510B1 (en) 2020-01-31 2021-06-15 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly

Family Cites Families (309)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA927646A (en) 1970-09-09 1973-06-05 Watanuki Toshio Camera for taking hemispherical motion picture
US4114171A (en) 1976-04-06 1978-09-12 Vivitar Corporation Reflex camera with internal zoom lens
US4437745A (en) * 1982-09-30 1984-03-20 Stephen Hajnal Three dimensional camera system
JPS60213178A (ja) 1984-04-06 1985-10-25 Olympus Optical Co Ltd 撮像装置
GB8430980D0 (en) * 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US4639586A (en) * 1985-02-06 1987-01-27 The United States Of America As Represented By The Secretary Of The Air Force Optically phased laser transmitter
US4740780A (en) * 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US5012273B1 (en) * 1986-05-12 1996-10-01 Asahi Optical Co Ltd Lens shutter type of camera including zoom lens
US4890314A (en) 1988-08-26 1989-12-26 Bell Communications Research, Inc. Teleconference facility with high resolution video display
US6031892A (en) * 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
JPH04114574A (ja) * 1990-09-04 1992-04-15 Ricoh Co Ltd 撮像装置
US5194959A (en) * 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5063441A (en) * 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5142357A (en) * 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5207000A (en) * 1991-06-14 1993-05-04 Industrial Technology Research Institute Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface
US5231461A (en) * 1991-12-09 1993-07-27 Hughes Danbury Optical Systems, Inc. Solar monochromator for filter calibration
US5926411A (en) 1991-12-30 1999-07-20 Ioptics Incorporated Optical random access memory
US5686960A (en) 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE4212271C1 (ja) 1992-04-11 1993-07-08 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De
US5243413A (en) 1992-09-02 1993-09-07 At&T Bell Laboratories Color parallax-free camera and display
US5313542A (en) * 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
JP2888713B2 (ja) 1993-01-14 1999-05-10 キヤノン株式会社 複眼撮像装置
EP0610605B1 (en) 1993-02-11 1997-07-16 Agfa-Gevaert N.V. Method of recognising an irradiation field
US5586063A (en) * 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
JPH089424A (ja) 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JPH08194274A (ja) 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5903306A (en) * 1995-08-16 1999-05-11 Westinghouse Savannah River Company Constrained space camera assembly
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JPH09214992A (ja) 1996-02-06 1997-08-15 Asahi Optical Co Ltd 撮像装置
US5640222A (en) * 1996-03-15 1997-06-17 Paul; Eddie Method and apparatus for producing stereoscopic images
US6850279B1 (en) 1996-06-18 2005-02-01 Sony Corporation Optical image recording system, and associated processing system
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10142490A (ja) 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
AU6515798A (en) * 1997-04-16 1998-11-11 Isight Ltd. Video teleconferencing
US7028899B2 (en) * 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
DE19903807A1 (de) * 1998-05-05 1999-11-11 Zeiss Carl Fa Beleuchtungssystem insbesondere für die EUV-Lithographie
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
DE19942900B4 (de) 1998-09-08 2004-01-22 Ricoh Company, Ltd. Vorrichtung zur Korrektur von Bildfehlern, die durch ein Kameraverwackeln hervorgerufen werden
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US6870680B2 (en) 2001-08-17 2005-03-22 Sony Corporation Imaging device
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3587506B2 (ja) 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB2354390A (en) 1999-09-16 2001-03-21 Ibm Wide-angle image capture apparatus
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2001209037A (ja) * 2000-01-26 2001-08-03 Olympus Optical Co Ltd 可変ホログラム素子及びそれらを用いた光学装置
US6823021B1 (en) * 2000-10-27 2004-11-23 Greenwich Technologies Associates Method and apparatus for space division multiple access receiver
US6701081B1 (en) * 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
WO2002027372A2 (en) 2000-07-14 2002-04-04 Applied Wdm, Inc. Optical waveguide transmission devices
JP2002040584A (ja) 2000-07-28 2002-02-06 Hamamatsu Photonics Kk 高速撮像カメラ
JP2002158913A (ja) 2000-11-16 2002-05-31 Canon Inc 撮像装置及び撮像方法
IL139995A (en) * 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
GB2372659A (en) 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
JP2002277736A (ja) * 2001-03-21 2002-09-25 Olympus Optical Co Ltd 撮像装置
US6421185B1 (en) * 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
WO2002089664A2 (en) * 2001-05-03 2002-11-14 Masimo Corporation Flex circuit shielded optical sensor and method of fabricating the same
US6628897B2 (en) 2001-06-20 2003-09-30 Sony Corporation Camera system
US20030038814A1 (en) * 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7116351B2 (en) 2001-10-29 2006-10-03 Sony Corporation Imaging device
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003260025A (ja) 2002-03-08 2003-09-16 Olympus Optical Co Ltd カプセル型内視鏡
US6768598B2 (en) * 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US6861633B2 (en) 2002-06-20 2005-03-01 The Aerospace Corporation Microelectromechanical system optical sensor providing bit image data of a viewed image
US7298392B2 (en) 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
KR100996094B1 (ko) 2002-07-18 2010-11-22 소니 주식회사 촬상 데이터 처리 방법, 촬상 데이터 처리 장치, 및 컴퓨터 프로그램이 기록된 기록 매체
JP2004072349A (ja) * 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
JP2004260787A (ja) 2002-09-09 2004-09-16 Rohm Co Ltd イメージセンサモジュール
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US7583289B2 (en) 2003-01-02 2009-09-01 Ge Security, Inc. Optical block assembly
US6933493B2 (en) 2003-04-07 2005-08-23 Kingpak Technology Inc. Image sensor having a photosensitive chip mounted to a metal sheet
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP3709879B2 (ja) 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
CN1802583A (zh) 2003-06-09 2006-07-12 奥林巴斯株式会社 可变镜
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US20050117015A1 (en) 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
US20050057659A1 (en) * 2003-09-16 2005-03-17 Takami Hasegawa Camera image shake correcting device
US7028546B2 (en) 2003-10-21 2006-04-18 Instrumented Sensor Technology, Inc. Data recorder
US20050111106A1 (en) 2003-10-31 2005-05-26 Kazuhiro Matsumoto Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section
CN100504452C (zh) * 2004-02-19 2009-06-24 佳能株式会社 光学设备和光束分离器
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
US7593057B2 (en) 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
EP1784988A1 (en) 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
WO2006026354A2 (en) * 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7039292B1 (en) 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
DE102004045430A1 (de) 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
EP2398224B1 (en) * 2004-10-01 2016-01-13 The Board of Trustees of The Leland Stanford Junior University Imaging arrangements and methods therefor
JP3791847B1 (ja) 2005-08-10 2006-06-28 京セラ株式会社 カメラモジュールおよび該カメラモジュールを搭載した情報端末
JP4691508B2 (ja) 2004-11-15 2011-06-01 日立オートモティブシステムズ株式会社 ステレオカメラ
US7372996B2 (en) * 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
JP4742190B2 (ja) 2005-01-13 2011-08-10 国立大学法人 奈良先端科学技術大学院大学 3次元オブジェクト計測装置
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
US20060215054A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
JP2006279538A (ja) 2005-03-29 2006-10-12 Sony Corp 撮像装置
US20060238441A1 (en) 2005-04-25 2006-10-26 The Boeing Company Method and apparatus for displaying a stereoscopic image
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
JP5364965B2 (ja) 2005-07-26 2013-12-11 コニカミノルタ株式会社 撮像光学系、撮像レンズ装置及びデジタル機器
JP2007081473A (ja) * 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
TW200721803A (en) * 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
US20070164202A1 (en) 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
JP4979928B2 (ja) 2005-11-28 2012-07-18 株式会社トプコン 三次元形状演算装置及び三次元形状演算方法
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US7215479B1 (en) 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
JP4844177B2 (ja) 2006-03-07 2011-12-28 株式会社ニコン ブレ補正装置及びカメラ
JP2007274542A (ja) 2006-03-31 2007-10-18 Sony Corp 撮像装置および携帯電話機
CN101055342A (zh) 2006-04-12 2007-10-17 鸿富锦精密工业(深圳)有限公司 自动对焦镜头模组
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
CN101433077B (zh) 2006-05-05 2011-03-23 诺基亚公司 具有小高度和高分辨率的光学图像记录设备
WO2007129477A1 (ja) * 2006-05-09 2007-11-15 Sega Corporation 画像処理装置および画像処理プログラム
US20080007617A1 (en) 2006-05-11 2008-01-10 Ritchey Kurtis J Volumetric panoramic sensor systems
JP4972779B2 (ja) 2006-05-30 2012-07-11 コニカミノルタアドバンストレイヤー株式会社 光学ユニットおよび撮像装置
JP5067021B2 (ja) 2006-06-01 2012-11-07 富士ゼロックス株式会社 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材
JP4851239B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2008048293A (ja) * 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
DE102006044786A1 (de) * 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1912098B1 (en) * 2006-10-12 2012-04-25 Carl Zeiss SMT GmbH Unit magnification projection objective
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5040493B2 (ja) * 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
KR100866491B1 (ko) 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
JP4917060B2 (ja) 2007-02-26 2012-04-18 Hoya株式会社 撮像ユニット及び携帯用電子機器
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5013078B2 (ja) 2007-04-24 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 レンズ鏡胴及び撮像装置
US20080290435A1 (en) 2007-05-21 2008-11-27 Micron Technology, Inc. Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods
JP2008294819A (ja) 2007-05-25 2008-12-04 Sony Corp 撮像装置
US7860214B1 (en) 2007-06-13 2010-12-28 The United States Of America As Represented By Secretary Of Agriculture Correction of x-ray images
US20090005112A1 (en) 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Optical imaging system configurations for handheld devices
US20090003646A1 (en) 2007-06-29 2009-01-01 The Hong Kong University Of Science And Technology Lossless visible watermarking
JPWO2009011153A1 (ja) * 2007-07-13 2010-09-16 三菱電機株式会社 画像読取装置
JP4900118B2 (ja) 2007-07-31 2012-03-21 コニカミノルタオプト株式会社 カメラモジュールおよび電子機器
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
JP5000428B2 (ja) 2007-08-22 2012-08-15 Hoya株式会社 撮像装置
US7973834B2 (en) * 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
KR20090032261A (ko) 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP5152483B2 (ja) 2007-10-05 2013-02-27 ソニー株式会社 撮像装置
US8282222B2 (en) * 2007-10-10 2012-10-09 Gerard Dirk Smits Image projector with reflected light tracking
EP2201784B1 (en) 2007-10-11 2012-12-12 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
CN101843106B (zh) 2007-11-01 2015-11-25 柯尼卡美能达控股株式会社 摄像装置
JP4831514B2 (ja) 2007-11-13 2011-12-07 独立行政法人情報通信研究機構 設定パラメータ最適化装置およびそのプログラム
KR100927347B1 (ko) 2007-11-13 2009-11-24 파워옵틱스 주식회사 줌렌즈 광학계
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN100465699C (zh) 2007-12-05 2009-03-04 浙江大学 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统
KR101349589B1 (ko) 2007-12-13 2014-01-10 엘지이노텍 주식회사 카메라 모듈
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US20090185067A1 (en) 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
EP2227711A4 (en) 2008-01-02 2014-01-22 Univ California TELEMIC ROSCOPY DEVICE WITH HIGH NUMERICAL APERTURE
US7978222B2 (en) 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
WO2009111642A1 (en) 2008-03-05 2009-09-11 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
CN101981915B (zh) * 2008-03-26 2014-03-05 柯尼卡美能达精密光学株式会社 摄像装置
US8934034B2 (en) 2008-03-28 2015-01-13 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
US7864336B2 (en) * 2008-04-28 2011-01-04 Agilent Technologies, Inc. Compact Littrow encoder
CN101571666A (zh) 2008-04-28 2009-11-04 鸿富锦精密工业(深圳)有限公司 成像设备
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
JP4435867B2 (ja) 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP5223486B2 (ja) 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
WO2010010712A1 (ja) 2008-07-24 2010-01-28 パナソニック株式会社 カメラ駆動装置
JP2010041381A (ja) 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
CN102177468A (zh) 2008-08-14 2011-09-07 远程保真公司 三反射镜全景相机
US8305425B2 (en) 2008-08-22 2012-11-06 Promos Technologies, Inc. Solid-state panoramic image capture apparatus
JP2010067014A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
US10043304B2 (en) 2008-09-25 2018-08-07 Koninklijke Philips N.V. Three dimensional image data processing
JP5535079B2 (ja) 2008-10-14 2014-07-02 日本電産サンキョー株式会社 撮影用光学装置
US8267601B2 (en) * 2008-11-04 2012-09-18 James Cameron Platform for stereoscopy for hand-held film/video camera stabilizers
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
CN101770059B (zh) 2008-12-27 2012-06-20 鸿富锦精密工业(深圳)有限公司 相机模组
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US8326036B2 (en) 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
GB0903689D0 (en) 2009-03-03 2009-04-15 Sigmavision Ltd Vehicle tyre measurement
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
JP2010230879A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 複眼カメラ装置
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100278423A1 (en) 2009-04-30 2010-11-04 Yuji Itoh Methods and systems for contrast enhancement
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8170408B2 (en) 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8194170B2 (en) * 2009-06-02 2012-06-05 Algonquin College Axicon lens array
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
CN101581828B (zh) 2009-06-09 2011-06-22 苏州大学 环形孔径超薄光学成像系统
US9479768B2 (en) * 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
JP5293463B2 (ja) 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
TWI389559B (zh) 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
US8294073B1 (en) 2009-10-01 2012-10-23 Raytheon Company High angular rate imaging system and related techniques
US9063345B2 (en) 2009-10-19 2015-06-23 Pixar Super light-field lens with doublet lenslet array element
JP5539818B2 (ja) 2009-10-20 2014-07-02 富士フイルム株式会社 撮像レンズおよび撮像装置
US8325187B2 (en) 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
US8457398B2 (en) 2009-10-27 2013-06-04 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8497934B2 (en) 2009-11-25 2013-07-30 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
WO2011081646A1 (en) 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
US8442392B2 (en) 2009-12-22 2013-05-14 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
CN102860016A (zh) 2010-04-19 2013-01-02 松下电器产业株式会社 立体图像拍摄装置以及立体图像拍摄方法
JP5593118B2 (ja) 2010-04-30 2014-09-17 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
WO2011155318A1 (ja) 2010-06-08 2011-12-15 日本電産サンキョー株式会社 振れ補正装置、撮影用光学装置およびレンズ駆動装置
JP5622443B2 (ja) 2010-06-08 2014-11-12 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5138734B2 (ja) 2010-06-15 2013-02-06 シャープ株式会社 撮像レンズ、および撮像モジュール
CN101902657B (zh) 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
TWI409577B (zh) 2010-08-20 2013-09-21 Primax Electronics Ltd 光學影像系統
US20120056987A1 (en) 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
US20120069218A1 (en) * 2010-09-20 2012-03-22 Qualcomm Incorporated Virtual video capture device
WO2012039043A1 (ja) 2010-09-22 2012-03-29 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP6042814B2 (ja) 2010-10-01 2016-12-14 コンテックス・エー/エス イメージセンサの信号輝度マッチング法
TW201222288A (en) 2010-11-22 2012-06-01 Inst Information Industry Image retrieving system and method and computer program product thereof
SG190730A1 (en) 2010-12-09 2013-07-31 Univ Nanyang Tech Method and an apparatus for determining vein patterns from a colour image
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US8928988B1 (en) * 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
EP2695385B8 (en) 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
US9390530B2 (en) 2011-05-27 2016-07-12 Nokia Technologies Oy Image stitching
EP2721828B1 (en) 2011-06-15 2015-07-15 Microsoft Technology Licensing, LLC High resolution multispectral image capture
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8896890B2 (en) 2011-06-30 2014-11-25 Lexmark International, Inc. Image capture system having a folded optical path
JP5848052B2 (ja) 2011-07-21 2016-01-27 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US20130057655A1 (en) 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
CN103827722B (zh) 2011-09-14 2016-03-16 柯尼卡美能达株式会社 摄像镜头、摄像装置以及便携终端以及数字设备
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8855476B2 (en) 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
WO2013059399A1 (en) 2011-10-20 2013-04-25 Monsanto Technology Llc Plant stand counter
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
US8582220B2 (en) 2011-12-05 2013-11-12 Himax Technologies Limited Lens module
CN202405984U (zh) 2011-12-10 2012-08-29 东莞市旭业光电科技有限公司 一种用于音圈马达的垫片
KR101975893B1 (ko) 2012-03-21 2019-09-10 엘지이노텍 주식회사 카메라 모듈
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
US20130260823A1 (en) 2012-03-31 2013-10-03 Ashutosh Y. Shukla Compact Portable Electronic Device Having Augmented Back Volume for Speaker
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
US9571818B2 (en) 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
EP2677733A3 (en) 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
US9634051B2 (en) 2012-07-17 2017-04-25 Heptagon Micro Optics Pte. Ltd. Optical devices, in particular computational cameras, and methods for manufacturing the same
EP2748792B1 (en) 2012-08-08 2016-12-21 Dolby Laboratories Licensing Corporation Image processing for hdr images
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
JP2014112302A (ja) * 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9547160B2 (en) 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
US9602806B1 (en) 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
JP2015036716A (ja) 2013-08-12 2015-02-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
EP2860699A1 (en) * 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
CN203745777U (zh) 2014-01-10 2014-07-30 瑞声声学科技(深圳)有限公司 阵列式镜头装置
EP3105916A1 (en) * 2014-02-13 2016-12-21 Sony Corporation Method and system for adjusting camera settings using corneal reflection
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9383550B2 (en) * 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9541740B2 (en) * 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9386222B2 (en) * 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US20150373269A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10334158B2 (en) 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US10070055B2 (en) * 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US10142113B2 (en) * 2015-06-18 2018-11-27 Bank Of America Corporation Identifying and maintaining secure communications
US20170038502A1 (en) * 2015-08-06 2017-02-09 Qualcomm Incorporated Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras
KR20170063806A (ko) * 2015-09-03 2017-06-08 쓰리엠 이노베이티브 프로퍼티즈 컴파니 확대 디바이스

Also Published As

Publication number Publication date
JP2017524976A (ja) 2017-08-31
BR112016029714A2 (pt) 2017-08-22
BR112016029714B1 (pt) 2022-03-22
US20150373262A1 (en) 2015-12-24
WO2015195297A2 (en) 2015-12-23
CA2949550A1 (en) 2015-12-23
KR20170020789A (ko) 2017-02-24
KR102225429B1 (ko) 2021-03-08
EP3158395A2 (en) 2017-04-26
EP3158395B1 (en) 2020-06-17
CN106415386A (zh) 2017-02-15
US10084958B2 (en) 2018-09-25
US20160198087A1 (en) 2016-07-07
US9294672B2 (en) 2016-03-22
CN106415386B (zh) 2020-03-27
WO2015195297A3 (en) 2016-02-25
CA2949550C (en) 2022-02-22

Similar Documents

Publication Publication Date Title
JP6672185B2 (ja) 視差およびチルトアーティファクトが無い屈曲光学系を使用するマルチカメラシステム
US9854182B2 (en) Folded optic array camera using refractive prisms
EP3158394B1 (en) Multi-camera system using folded optics free from parallax artifacts
JP6837841B2 (ja) 屈曲光学アレイカメラのためのオートフォーカス
US20150373269A1 (en) Parallax free thin multi-camera system capable of capturing full wide field of view images
JP2017525206A (ja) 完全に球形の画像を取り込むことができる視差を有しないマルチカメラシステム
JP2017525208A (ja) 完全な広視野画像をキャプチャすることができる視差のない薄型マルチカメラシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170217

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200304

R150 Certificate of patent or registration of utility model

Ref document number: 6672185

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250