JP5728673B2 - 多開口画像データの処理 - Google Patents

多開口画像データの処理 Download PDF

Info

Publication number
JP5728673B2
JP5728673B2 JP2012553196A JP2012553196A JP5728673B2 JP 5728673 B2 JP5728673 B2 JP 5728673B2 JP 2012553196 A JP2012553196 A JP 2012553196A JP 2012553196 A JP2012553196 A JP 2012553196A JP 5728673 B2 JP5728673 B2 JP 5728673B2
Authority
JP
Japan
Prior art keywords
image data
image
aperture
information
sharpness information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012553196A
Other languages
English (en)
Other versions
JP2013520854A (ja
Inventor
アンドリュー・オーガスティン・ワイス
Original Assignee
デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド filed Critical デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド
Publication of JP2013520854A publication Critical patent/JP2013520854A/ja
Application granted granted Critical
Publication of JP5728673B2 publication Critical patent/JP5728673B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、多開口画像データの処理に関し、詳細には、排他的ではないが、多開口画像データを処理する方法およびシステム、そのようなシステムで使用するための画像処理装置、ならびにそのような方法を使用するコンピュータプログラム製品に関する。
デジタル写真およびビデオの撮像技術が移動電気通信、自動車、および生体認証などの様々な技術分野でますます使用されることで、一眼レフレックスカメラによって提供される画像品質に匹敵し、または少なくとも近似する画像品質を提供する小型の一体型カメラの開発が求められている。しかし、デジタルカメラ技術の一体化および小型化は、光学系および画像センサの設計に重大な制約を課し、それによって撮像システムによってもたらされる画像品質に悪影響を与える。広い範囲の機械的な焦点および開口設定機構は、そのような一体型カメラの適用分野で使用するのに適していない。したがって、固定焦点レンズに基づく撮像システムの撮像品質を向上させるために、様々なデジタルカメラの取込みおよび処理技法が開発されている。
国際特許出願第PCT/EP2009/050502号および第PCT/EP2009/060936号というPCT出願は、色撮像技法と赤外撮像技法の両方を組み合わせる光学系を使用することによって固定焦点レンズの撮像システムの被写界深度を延長する方法について記載している。これらの出願を、参照により本明細書に組み込む。色スペクトルと赤外スペクトルの両方で撮像するように適合された画像センサと、波長選択性の多開口の開口とを組み合わせて使用することで、簡単で費用効果の高い方法で、被写界深度を延長することができ、また固定焦点レンズを有するデジタルカメラに対するISO感度を増大させることができる。これには、知られているデジタル撮像システムに対する軽微な調節が必要とされ、それによってこのプロセスは大量生産に特に適したものになる。
国際特許出願第PCT/EP2009/050502号 国際特許出願第PCT/EP2009/060936号 米国特許出願第2009/0159799号
多開口撮像システムの使用は、知られているデジタル撮像システムに勝る実質的な利点を提供するが、そのようなシステムはまだ、一眼レフレックスカメラで提供されるのと同じ機能を提供することはできない。具体的には、調整可能な被写界深度などのカメラパラメータの調整および/または焦点距離の調整を可能にする固定レンズの多開口撮像システムを有することが望ましいはずである。さらに、知られている3Dデジタルカメラに類似の3D撮像の機能性を有するそのような多開口撮像システムを提供することが望ましいはずである。したがって、機能性が向上した多開口撮像システムを提供できる方法およびシステムが、当技術分野で必要とされている。
本発明の一目的は、従来技術で知られている欠点の少なくとも1つを低減または解消することである。第1の態様では、本発明は、多開口画像データを処理する方法に関することができ、この方法は、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって、1つまたは複数の物体に関連する画像データを取り込むステップと、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記取り込まれた画像に関連する深さ情報を生成するステップとを含むことができる。
したがって、多開口画像データ、すなわち多開口撮像システムによってもたらされる画像データに基づいて、この方法では、画像内の物体を物体とカメラの距離に関係付ける深さ情報を生成することができる。この深さ情報を使用して、取り込まれた画像に関連する深さマップを生成することができる。距離情報および深さマップは、機能性が向上した固定レンズ撮像システムを提供できる画像処理機能を実施することができる。
一実施形態では、この方法は、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報との間の差を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関係付けるステップを含むことができる。
別の実施形態では、この方法は、所定の深さ関数を使用して、前記第1のシャープネス情報と前記第2のシャープネス情報との間の前記差、好ましくは前記第1のシャープネス情報と前記第2のシャープネス情報との間の比を、前記距離に関係付けるステップを含むことができる。撮像システムのDSPまたはメモリ内に位置する所定の深さ関数は、相対的なシャープネス情報を距離情報に効率的に関係付けることができる。
さらに別の実施形態では、この方法は、前記第1の画像データおよび/もしくは前記第2の画像データを高域通過フィルタにかけることによって、または前記第1の画像データおよび/もしくは前記第2の画像データのフーリエ係数、好ましくは高周波フーリエ係数を判定することによって、第1のシャープネス情報および/または第2のシャープネス情報を判定するステップを含むことができる。シャープネス情報は、色画像データおよび/または赤外画像データ内の高周波成分によって判定することができると有利である。
一実施形態では、電磁スペクトルの前記第1の部分は、可視スペクトルの少なくとも一部に関連付けることができ、かつ/または電磁スペクトルの前記第2の部分は、非可視スペクトル、好ましくは赤外スペクトルの少なくとも一部に関連付けることができる。赤外スペクトルを使用することで、画像センサの感度を効率的に使用することができ、それによって信号対雑音比を著しく改善することができる。
さらなる実施形態では、この方法は、前記第1のシャープネス情報と前記第2のシャープネス情報との間の差および/または比を、前記撮像システムと前記1つまたは複数の物体との間の距離に関連付けることによって、前記取り込まれた画像の少なくとも一部に関連する深さマップを生成するステップを含むことができる。この実施形態では、取り込まれた画像に対する深さマップを生成することができる。深さマップは、画像内の各画素データまたは各画素データ群を距離値に関連付ける。
さらなる実施形態では、この方法は、前記深さ情報に基づいて前記第1の画像データ内の画素をシフトさせることによって、立体視で使用するための少なくとも1つの画像を生成するステップを含むことができる。したがって、立体視のための画像を生成することができる。これらの画像は、多開口撮像システムによって取り込まれた画像およびその関連する深さマップに基づいて生成することができる。取り込まれた画像は、高周波赤外情報で強調することができる。
一変形形態では、この方法は、前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、少なくとも1つの閾値距離または少なくとも1つの距離範囲を提供するステップと、前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記閾値距離より大きいもしくは小さい距離に関連する1つもしくは複数の領域を識別し、または前記高周波の第2の画像データ内で、前記少なくとも1つの距離範囲内の距離に関連する1つもしくは複数の領域を識別するステップと、前記第2の高周波画像データの前記識別された1つまたは複数の領域内の高周波成分をマスキング関数に応じて設定するステップと、前記修正された第2の高周波画像データを前記第1の画像データに追加するステップとを含むことができる。したがってこの変形形態では、深さ情報は、被写界深度の制御を提供することができる。
別の変形形態では、この方法は、前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、少なくとも1つの焦点距離を提供するステップと、前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記少なくとも1つの焦点距離に実質上等しい距離に関連する1つまたは複数の領域を識別するステップと、前記識別された1つまたは複数の領域以外の領域内の高周波の第2の画像データをマスキング関数に応じて設定するステップと、前記修正された高周波の第2の画像データを前記第1の画像データに追加するステップとを含むことができる。したがってこの実施形態では、深さ情報は、焦点の制御を提供することができる。
さらに別の変形形態では、この方法は、画像処理機能を使用して前記取り込まれた画像を処理するステップを含むことができ、1つまたは複数の画像処理機能パラメータは前記深さ情報に依存しており、好ましくは、前記画像を処理するステップは、前記第1の画像データおよび/または前記第2の画像データをフィルタにかけることを含み、前記フィルタの1つまたは複数のフィルタパラメータは前記深さ情報に依存する。したがって、深さ情報はまた、フィルタリングなどの従来の画像処理ステップで使用することもできる。
別の態様では、本発明は、多開口画像データを使用して深さ関数を判定する方法に関することができ、この方法は、異なる物体とカメラの距離で1つまたは複数の物体の画像を取り込むステップであって、各画像が、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、画像センサを同時に露出させることによって取り込まれる、取り込むステップと、前記取り込まれた画像の少なくとも一部に対して、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの対応する領域内の第2のシャープネス情報との間の関係を前記距離の関数として判定することによって、深さ関数を生成するステップとを含むことができる。
さらなる態様では、本発明は信号処理モジュールに関することができ、このモジュールは、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを受け取る入力端と、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの対応する領域内の第2のシャープネス情報を判定する少なくとも1つの高域通過フィルタと、電磁スペクトルの第1の部分に関連する画像データと電磁スペクトルの第2の部分に関連する画像データとの間のシャープネス情報の差と、距離、好ましくは物体とカメラの距離との間の関係を含む深さ関数を含むメモリと、前記深さ関数、ならびに前記高域通過フィルタから受け取った前記第1のシャープネス情報および前記第2のシャープネス情報に基づいて深さ情報を生成する深さ情報処理装置とを備えることができる。
さらなる態様では、本発明は、多開口撮像システムに関することができ、このシステムは、画像センサと、光学レンズシステムと、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、前記画像センサを同時に露出させるように構成された波長選択性の多開口と、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成する第1の処理モジュールと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記画像データに関連する深さ情報を生成する第2の処理モジュールとを備えることができる。
さらなる実施形態では、この方法は、デモザイキングアルゴリズムを使用して前記第1の画像データおよび前記第2の画像データを生成するステップを含むことができる。
本発明のさらなる態様は、上述の信号処理モジュールおよび/または多開口撮像システムを備えるデジタルカメラシステム、好ましくは移動端末内で使用するためのデジタルカメラシステムに関し、また画像データを処理するコンピュータプログラム製品に関し、前記コンピュータプログラム製品は、コンピュータシステムのメモリ内で実行中に、上述の方法を実施するように構成されたソフトウェアコード部分を含む。
本発明について、添付の図面を参照してさらに説明する。図面では、本発明による実施形態を概略的に示す。本発明は、これらの特有の実施形態に何ら限定されるものではないことが理解されるであろう。
本発明の一実施形態による多開口撮像システムを示す図である。 デジタルカメラの色応答を示す図である。 ホットミラーフィルタ(hot mirror filter)の応答およびシリコンの応答を示す図である。 多開口システムを使用する概略的な光学系を示す図である。 本発明の一実施形態による多開口撮像システムで使用するための画像処理方法を示す図である。 本発明の一実施形態による深さ関数を判定する方法を示す図である。 深さ関数の概略図ならびに高周波の色および赤外情報を距離の関数として示すグラフである。 本発明の一実施形態による深さマップを生成する方法を示す図である。 本発明の一実施形態による立体視を得る方法を示す図である。 本発明の一実施形態による被写界深度を制御する方法を示す図である。 本発明の一実施形態による焦点を制御する方法を示す図である。 本発明の別の実施形態による多開口システムを使用する光学系を示す図である。 本発明の別の実施形態による深さ関数を判定する方法を示す図である。 本発明の別の実施形態による被写界深度を制御する方法を示す図である。 多開口撮像システム内で使用するための多開口システムを示す図である。
図1は、本発明の一実施形態による多開口撮像システム100を示す。この撮像システムは、デジタルカメラの一部とすることができ、または移動電話、ウェブカム、生体認証センサ、画像スキャナ、もしくは画像取込みの機能性を必要とする任意の他のマルチメディアデバイス内に組み込むことができる。図1に示すシステムは、画像センサ102と、ある場面内の物体を画像センサの撮像面上へ集束させるレンズシステム104と、第1の部分、たとえば可視部分、およびEMスペクトルの少なくとも第2の部分、たとえば電磁(EM)スペクトルの非可視部分(赤外部分など)の光(電磁放射)が、制御された形で撮像システムに入ることを可能にする所定の数の開口を含むシャッタ106および開口システム108とを備える。
以下でより詳細に論じる多開口システム108は、EMスペクトルの可視部分、および任意選択で非可視部分、たとえば赤外部分内の光に対する画像センサの露出を制御するように構成される。具体的には、多開口システムは、EMスペクトルの第1の部分に画像センサを露出させる第1の寸法の少なくとも第1の開口およびEMスペクトルの第2の部分に画像センサを露出させる第2の寸法の少なくとも第2の開口を画定することができる。たとえば、一実施形態では、EMスペクトルの第1の部分は色スペクトルに関係し、第2の部分は赤外スペクトルに関係することができる。別の実施形態では、多開口システムは所定の数の開口を含むことができ、各開口は、EMスペクトルの所定の範囲内の放射に画像センサを露出させるように設計される。
EM放射に対する画像センサの露出は、シャッタ106および多開口システム108の開口によって制御される。シャッタが開いているとき、開口システムは、画像センサ102を露出させる光の量および光の視準度を制御する。シャッタは、機械シャッタとすることができ、または別法として、シャッタは、画像センサ内に組み込まれた電子シャッタとすることができる。画像センサは、2次元の画素アレイを形成する感光性サイト(画素)の行列を含む。画像センサは、CMOS(Complimentary Metal Oxide Semiconductor)能動画素センサまたはCCD(Charge Coupled Device)画像センサとすることができる。別法として、画像センサは、他のSi(たとえば、a-Si)、III-V(たとえば、GaAs)、または導電性ポリマーベースの画像センサ構造に関係することができる。
レンズシステムによって画像センサ上へ光が投影されるとき、各画素は、その画素に入射する電磁放射(エネルギー)に比例する電気信号をもたらす。色情報を得るために、また画像センサの撮像面上へ投影された画像の色成分を分離するために、レンズと画像センサとの間には通常、色フィルタアレイ120(CFA)が配置される。色フィルタアレイは、画像センサの各画素が対応する画素フィルタを有するように、画像センサとともに組み込むことができる。各色フィルタは、所定の色帯域の光を画素内へ通すように適合される。通常、赤色、緑色、および青色(RGB)のフィルタの組合せが使用されるが、他のフィルタ方式、たとえばCYGM(シアン、黄色、緑色、マゼンタ)、RGBE(赤色、緑色、青色、エメラルド)なども可能である。
露出された画像センサの各画素は、画素に関連する色フィルタを通過した電磁放射に比例する電気信号をもたらす。したがって、画素のアレイは、色フィルタアレイを通過した電磁エネルギー(放射)の空間分布を表す画像データ(フレーム)を生成する。画素から受け取った信号は、1つまたは複数のオンチップ増幅器を使用して増幅させることができる。一実施形態では、画像センサの各色チャネルは、別個の増幅器を使用して増幅させることができ、それによって異なる色に対するISO感度を別個に制御することができる。
さらに、画素信号は、画像センサのチップ上に組み込むことができる1つまたは複数のアナログ-デジタル(A/D)変換器110を使用してサンプリングし、量子化し、デジタル形式の言葉に変換することができる。デジタル化された画像データは、画像センサに結合されたデジタル信号処理装置112(DSP)によって処理され、DSP112は、補間、フィルタリング、ホワイトバランス、明るさ補正、データ圧縮技法(たとえば、MPEGまたはJPEGタイプの技法)などのよく知られている信号処理機能を実行するように構成される。DSPは、中央処理装置114と、取り込まれた画像を記憶する記憶メモリ116と、画像データを処理するためにDSPによって使用され、または撮像システムの動作を管理するために中央処理装置によって使用される1つまたは複数のソフトウェアプログラムを含むEEPROMまたは別のタイプの不揮発性メモリなどのプログラムメモリ118とに結合される。
さらに、DSPは、多開口撮像システムによって取り込まれた画像に関連する深さ情報を得るように構成された1つまたは複数の信号処理機能124を含むことができる。これらの信号処理機能は、固定レンズの多開口撮像システムに、可変DOFおよび焦点制御ならびに立体的な3D画像表示能力を含む拡張された撮像機能性を提供することができる。これらの信号処理機能に関連する詳細および利点について、以下により詳細に論じる。
上述のように、撮像システムの感度は、赤外撮像の機能性を使用することによって拡張される。この目的のために、レンズシステムは、可視光と赤外放射または赤外放射の少なくとも一部との両方が撮像システムに入ることができるように構成することができる。レンズシステムの前のフィルタは、赤外放射の少なくとも一部が撮像システムに入ることができるように構成される。具体的には、これらのフィルタは、赤外放射がカメラに入るのを遮断するために従来の色撮像カメラで使用される、通常はホットミラーフィルタと呼ばれる赤外遮断フィルタを含まない。
したがって、多開口撮像システムに入るEM放射122は、EMスペクトルの可視部分と赤外部分の両方に関連する放射を含むことができ、それによって赤外スペクトルに対する画像センサの光応答を拡張することができる。
赤外遮断フィルタ(の不在)が従来のCFA色画像センサに与える影響を、図2〜3に示す。図2Aおよび図2Bでは、曲線202は、赤外遮断フィルタ(ホットミラーフィルタ)をもたないデジタルカメラの典型的な色応答を表す。グラフAは、ホットミラーフィルタを使用する影響をより詳細に示す。ホットミラーフィルタの応答210は、画像センサのスペクトル応答を可視スペクトルに制限し、それによって画像センサの全体的な感度を実質上制限する。ホットミラーフィルタを取り去った場合、赤外放射の一部は色画素フィルタを通過する。この影響を、青色画素フィルタ204、緑色画素フィルタ206、および赤色画素フィルタ208を含む従来の色画素の光応答を示すグラフBによって表す。これらの色画素フィルタ、特に赤色画素フィルタは赤外放射を(部分的に)透過することができ、したがって画素信号の一部は赤外放射に起因すると考えることができる。これらの赤外の寄与は、カラーバランスを歪ませることがあり、その結果いわゆる擬似色を含む画像が生じることがある。
図3は、ホットミラーフィルタの応答302およびシリコン(すなわち、デジタルカメラ内で使用される画像センサの主な半導体成分)の応答304を示す。これらの応答は、赤外放射に対するシリコン画像センサの感度が可視光に対する感度より約4倍高いことをはっきりと示す。
図2および図3によって示す画像センサによって提供されるスペクトル感度を利用するために、図1の撮像システム内の画像センサ102は、従来の画像センサとすることができる。従来のRGBセンサでは、赤外放射は赤色画素によって主に感知される。その場合、DSPは、赤色画素信号を処理して、この赤色画素信号内の低雑音の赤外情報を抽出することができる。この処理については、以下により詳細に説明する。別法として、画像センサは、赤外スペクトルの少なくとも一部を撮像するように特に構成することができる。画像センサは、たとえば1つまたは複数の赤外(I)画素を色画素と一緒に含むことができ、それによって画像センサは、RGB色画像および比較的低雑音の赤外画像をもたらすことができる。
赤外画素は、可視光を実質上遮断し、赤外放射、好ましくは約700から1100nmの範囲内の赤外放射を実質上透過するフィルタ材料で、フォトサイト(photo-site)を覆うことによって実現することができる。赤外/色フィルタアレイ(ICFA)内に設けることができる赤外透過性の画素フィルタは、スペクトルの赤外帯域内の波長に対して高い透過率を有するよく知られているフィルタ材料、たとえば「DARC400」という商標でBrewer Scienceから市販されている黒色ポリイミド材料を使用して実現することができる。
そのようなフィルタを実現する方法は、米国特許出願第2009/0159799号に記載されている。ICFAは、画素ブロック、たとえば2×2個の画素を収容することができ、各ブロックは、赤色、緑色、青色、および赤外の画素を含む。露出されると、そのような画像ICFA色画像センサは、RGB色情報と赤外情報の両方を含む生のモザイク画像をもたらすことができる。よく知られているデモザイキングアルゴリズムを使用して生のモザイク画像を処理した後、RGB色画像および赤外画像を得ることができる。赤外放射に対するそのようなICFA画像色センサの感度は、ブロック内の赤外画素の数を増大させることによって増大させることができる。一構成(図示せず)では、画像センサフィルタアレイは、たとえば、4つの色画素RGGBおよび12個の赤外画素を含む16個の画素からなるブロックを含むことができる。
別の実施形態では、ICFA画像色センサの代わりに、画像センサはフォトサイトのアレイに関係することができ、各フォトサイトは、当技術分野ではよく知られている複数の積層型フォトダイオードを含む。好ましくは、そのような積層型フォトサイトは、少なくとも原色RGBおよび赤外のそれぞれに応答して、少なくとも4つの積層型フォトダイオードを含む。これらの積層型フォトダイオードは、画像センサのシリコン基板内へ組み込むことができる。
多開口システム、たとえば多開口絞りを使用して、カメラの被写界深度(DOF)を改善することができる。そのような多開口システム400の原理を、図4に示す。DOFは、画像が取り込まれるときに焦点が合っているカメラからの距離の範囲を決める。この範囲内では、物体は鮮明であると許容することができる。中程度から大きな距離の場合、所与の画像形式で、レンズの焦点距離N、レンズの開き(開口)に関連するf値、および物体とカメラの距離sによって、DOFが判定される。開口が広ければ広いほど(より多くの光が受け取られる)、DOFはますます制限される。
可視および赤外スペクトルエネルギーは、多開口システムを介して撮像システムに入ることができる。一実施形態では、そのような多開口システムは、所定の直径D1の円形の孔402を有するフィルタで被覆された透明な基板を含むことができる。フィルタ被覆404は、可視放射を透過し、かつ赤外放射を反射および/または吸収することができる。不透明な覆い406が、孔402の直径D1より大きい直径D2を有する円形の開口を含むことができる。このカバーは、赤外と可視の両方の放射を反射する薄膜被覆を含むことができ、または別法として、カバーは、光学系内に基板を保持および位置決めする不透明なホルダの一部とすることができる。このようにして、多開口システムは、複数の波長選択性の開口を含み、EMスペクトルの異なる部分のスペクトルエネルギーに対する画像センサの制御された露出を可能にする。開口システムを通過する可視および赤外スペクトルエネルギーは、その後、レンズ412によって画像センサの撮像面414上へ投影され、撮像面414は、可視スペクトルエネルギーに関連する画像データを得るための画素と、非可視(赤外)スペクトルエネルギーに関連する画像データを得るための画素とを含む。
したがって、画像センサの画素は、大きなDOFを有する赤外スペクトルエネルギーに関連する第2の小さい開口の画像信号418に重なる、制限されたDOFを有する可視スペクトルエネルギーに関連する第1の(比較的)広い開口の画像信号416を受け取ることができる。レンズの焦点面Nに近接している物体420は、可視放射によって比較的小さい焦点ぼけで画像面上へ投影され、焦点面からより遠くに位置する物体422は、赤外放射によって比較的小さい焦点ぼけで画像面上へ投影される。したがって、単一の開口を含む従来の撮像システムとは異なり、デュアルまたは複数開口の撮像システムは、異なる寸法の2つ以上の開口を含む開口システムを使用して、画像センサを露出させるスペクトルの異なる帯域で放射の量および視準を制御する。
DSPは、取り込まれた色および赤外信号を処理するように構成することができる。図5は、多開口撮像システムで使用するための典型的な画像処理ステップ500を示す。この例では、多開口撮像システムは、たとえばバイエルの色フィルタアレイを使用する従来の色画像センサを備える。その場合、主に赤色画素フィルタが、赤外放射を画像センサへ透過する。取り込まれた画像フレームの赤色画素データは、高振幅の赤色可視信号と、鮮明な低振幅の赤外非可視信号との両方を含む。赤外成分は、赤色可視成分より8分の1から16分の1少ないことがある。さらに、知られているカラーバランス技法を使用して赤色バランスを調整し、赤外放射の存在によって生じるわずかな歪みを補償することができる。他の変形形態では、RGBI画像センサを使用することができ、I画素によって赤外画像を直接得ることができる。
第1のステップ502で、バイエルフィルタにかけた生画像データが取り込まれる。その後、DSPは、赤外情報も含む赤色画像データを抽出することができる(ステップ504)。その後、DSPは、赤色画像データから赤外画像に関連するシャープネス情報を抽出し、このシャープネス情報を使用して色画像を強調することができる。
空間領域内でシャープネス情報を抽出する1つの方法は、赤色画像データを高域通過フィルタにかけることによって実現することができる。高域通過フィルタは、赤色画像内の高周波情報(高周波成分)を保持しながら、低周波情報(低周波成分)を低減させることができる。高域通過フィルタのカーネルは、近隣の画素に対して中心画素の明るさを増大させるように設計することができる。カーネルアレイは通常、中心に単一の正の値を収容し、負の値で完全に取り囲む。高域通過フィルタに対する3×3カーネルの簡単な非限定的な例は、次のように見えるであろう。
|-1/9 -1/9 -1/9|
|-1/9 8/9 -1/9|
|/1/9 -1/9 -1/9|
したがって、赤色画像データは高域通過フィルタを通過し(ステップ506)、赤外画像信号に関連する高周波成分(すなわち、シャープネス情報)を抽出する。
赤外開口の寸法が比較的小さいことで、赤外画像信号は比較的小さくなるため、フィルタにかけた高周波成分は、赤外開口に対する可視光開口の比に比例して増幅される(ステップ508)。
赤外開口の寸法が比較的小さいことの影響は、赤色画素によって取り込まれる赤外放射の帯域が赤色放射の帯域より約4倍広いことによって部分的に補償される(通常、デジタル赤外カメラは可視光カメラより4倍感度が高い)。増幅後、赤外画像信号から導出された増幅された高周波成分は、バイエルフィルタにかけた生画像データの各色成分に追加(混合)される(ステップ510)。このようにして、赤外画像データのシャープネス情報は色画像に追加される。その後、組み合わせた画像データは、当技術分野ではよく知られているデモザイキングアルゴリズムを使用して、フルRGB色画像に変換することができる(ステップ512)。
変形形態(図示せず)では、バイエルフィルタにかけた生画像データは、第1にRGB色画像にデモザイクされ、その後追加(混合)によって増幅された高周波成分と組み合わされる。
図5に示す方法で、多開口撮像システムは、より低い光の状況で効果的に動作するために広い開口を有すると同時に、より大きいDOFを有することができ、その結果、より鮮明な写真を得ることができる。さらに、この方法は、レンズの光学的性能を効果的に増大させて、同じ性能を実現するのに必要なレンズのコストを低減させる。
したがって多開口撮像システムにより、7という典型的なf値を有する簡単な移動電話カメラ(たとえば、焦点距離Nは7mmであり、直径は1mmである)では、第2の開口を介してDOFを改善することができ、f値は、たとえば直径0.5mmに対して14から直径0.2mm以下に対して最高70以上まで変動し、f値は、焦点距離fと開口の有効径の比によって画定される。好ましい実装形態は、付近の物体のシャープネスを増大させるために可視放射に対して約2から4のf値を含むとともに、遠くの物体のシャープネスを増大させるために赤外開口に対して約16から22のf値を含む光学系を含む。
多開口撮像システムによって提供されるDOFおよびISO感度の改善は、関連出願第PCT/EP2009/050502号および第PCT/EP2009/060936号により詳細に記載されている。さらに、図1〜5を参照して説明した多開口撮像システムを使用して、取り込まれた単一の画像に関連する深さ情報を生成することができる。より具体的には、多開口撮像システムのDSPは少なくとも1つの深さ関数を含むことができ、この深さ関数は、光学系のパラメータ依存し、一実施形態では、製造者が事前に決定して、デジタル画像処理機能内で使用するためにカメラのメモリ内に記憶することができる。
画像は、カメラレンズから異なる距離のところに位置する異なる物体を収容することができ、したがってカメラの焦点面により近い物体は、焦点面からより遠く離れている物体より鮮明になる。深さ関数は、画像の異なる領域内で撮像された物体に関連するシャープネス情報を、これらの物体がカメラから離された距離に関係する情報に関係付けることができる。一実施形態では、深さ関数Rは、カメラレンズから異なる距離のところにある物体に対する色画像成分と赤外画像成分とのシャープネスの比を判定することを伴うことができる。別の実施形態では、深さ関数Dは、高域通過フィルタにかけた赤外画像の自己相関分析を伴うことができる。これらの実施形態について、図6〜14を参照して以下により詳細に説明する。
第1の実施形態では、深さ関数Rは、色画像内のシャープネス情報と赤外画像内のシャープネス情報との比によって定義することができる。ここで、シャープネスパラメータは、いわゆる錯乱円に関係することができ、錯乱円は、画像センサによって測定された、物体空間内の不鮮明に撮像された点のぼけた箇所の直径に対応する。焦点ぼけを表すぼけた円盤の直径は、焦点面内の点では非常に小さく(0)、物体空間内でこの面から前景または背景の方へ離れると累進的に大きくなる。ぼけた円盤が極大の許容できる錯乱円cより小さい限り、この円盤は十分に鮮明であり、DOF範囲の一部であると考えられる。知られているDOF式から、物体の深さ、すなわちカメラからの物体の距離と、カメラ内のその物体のぼけの量(すなわち、シャープネス)との間には、直接関係が存在するという結果が得られる。
したがって、多開口撮像システム内では、赤外画像内のIR成分のシャープネスに対する色画像のRGB成分のシャープネスの増大または低減は、レンズからの撮像された物体の距離に依存する。たとえば、レンズを3メートルのところに集束させた場合、RGB成分とIR成分のシャープネスが同じになるものとする。対照的に、1メートルの距離のところにある物体に対する赤外画像に使用される開口は小さいため、RGB成分のシャープネスは、赤外成分のものより著しく低くなるであろう。この依存性を使用して、カメラレンズからの物体の距離を推定することができる。
具体的には、レンズが大きい(「無限」)焦点に設定された場合(この点を、多開口システムの過焦点距離Hと呼ぶことができる)、カメラは、色成分と赤外成分が等しく鮮明である画像内の点を判定することができる。画像内のこれらの点は、カメラから比較的大きい距離(通常、背景)のところに位置する物体に対応する。過焦点距離Hから離れて位置する物体の場合、赤外成分と色成分との間のシャープネスの相対的な差は、物体とレンズとの間の距離sの関数として増大する。1つの箇所(たとえば、1つの画素または画素群)で測定された色画像内のシャープネス情報と赤外情報内のシャープネス情報との間の比を、以下、深さ関数R(s)と呼ぶ。
深さ関数R(s)は、カメラレンズから異なる距離sのところにある1つまたは複数の試験物体に対するシャープネス比を測定するによって得ることができ、シャープネスは、それぞれの画像内の高周波成分によって判定される。図6Aは、本発明の一実施形態による深さ関数の判定に関連する流れ図600を示す。第1のステップ602で、少なくともカメラから過焦点距離Hのところに試験物体を位置決めすることができる。その後、多開口撮像システムを使用して画像データを取り込む。次いで、取り込まれたデータから、色画像および赤外情報に関連するシャープネス情報が抽出される(ステップ606〜608)。その後、シャープネス情報R(H)間の比がメモリ内に記憶される(ステップ610)。次いで、試験物体が過焦点距離Hから距離Δだけ離され、この距離でRが判定される。このプロセスは、カメラレンズに近接するまでのすべての距離に対してRが判定されるまで繰り返される(ステップ612)。これらの値は、メモリ内へ記憶することができる。補間を使用して、連続する深さ関数R(s)を得ることができる(ステップ614)。
一実施形態では、Rは、画像内の特定の箇所で測定される高周波赤外成分Dirの絶対値と高周波色成分Dcolの絶対値との間の比として定義することができる。別の実施形態では、特定の領域内の赤外成分と色成分との間の差を計算することができる。次いで、この領域内の差の和を、距離の尺度と見なすことができる。
図6Bは、DcolおよびDirの図を距離の関数として示し(グラフA)、R=Dir/Dcolの図を距離の関数として示す(グラフB)。グラフAでは、焦点距離N前後で高周波色成分が最も高い値を有し、また焦点距離から離れると、ぼけの影響の結果、高周波色成分は急速に低減することがわかる。さらに、赤外開口が比較的小さい結果、高周波赤外成分は、焦点Nから離れて大きな距離にわたって比較的高い値を有する。
グラフBは、その結果得られる深さ関数Rを示し、深さ関数Rは、Dir/Dcol間の比として定義され、焦点距離Nより実質上大きい距離にわたって、高周波赤外画像データ内にシャープネス情報が含まれることを示す。深さ関数R(s)は、製造者が事前に得ることができ、カメラのメモリ内に記憶することができ、多開口撮像システムによって取り込まれた画像を処理する1つまたは複数の後処理機能内でDSPによって使用することができる。一実施形態では、後処理機能の1つは、多開口撮像システムによって取り込まれた単一の画像に関連する深さマップの生成に関係することができる。図7は、本発明の一実施形態によるそのような深さマップを生成するプロセスの概略図を示す。多開口撮像システム内の画像センサが1つの画像フレーム内で可視画像信号と赤外画像信号を同時に取り込んだ後(ステップ702)、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込まれた生のモザイク画像内で色画素信号と赤外画素信号とを分離することができる(ステップ704)。その後、DSPは、色画像データ(たとえば、RGB画像)および赤外画像データ上で高域通過フィルタを使用して、両画像データの高周波成分を得ることができる(ステップ706)。
その後、DSPは、各画素p(i,j)または画素群に距離を関連付けることができる。この目的のために、DSPは、各画素p(i,j)に対して、高周波赤外成分と高周波色成分との間のシャープネス比R(i,j)を判定することができ、R(i,j)=Dir(i,j)/Dcol(i,j)である(ステップ708)。次いで、深さ関数R(s)、具体的には逆深さ関数R'(R)に基づいて、DSPは、各画素で測定されたシャープネス比R(i,j)を、カメラレンズまでの距離s(i,j)に関連付けることができる(ステップ710)。このプロセスは距離マップを生成し、マップ内の各距離値は画像内の画素に関連付けられる。このように生成されたマップは、カメラのメモリ内に記憶することができる(ステップ712)。
各画素に距離を割り当てるには、大量のデータ処理を必要とすることがある。演算量を低減させるために、一変形形態では、第1のステップで、よく知られている縁線検出アルゴリズムを使用して、画像内の縁線を検出することができる。その後、これらの縁線周辺の領域を、これらの領域内のシャープネス比Rを使用してカメラレンズからの距離を判定するためのサンプル領域として使用することができる。この変形形態は、必要な演算がより少ないという利点を提供する。
したがって、多開口カメラシステムによって取り込まれた画像、すなわち画素フレーム{p(i,j)}に基づいて、深さ関数を含むデジタル撮像処理装置は、関連する深さマップ{s(i,j)}を判定することができる。画素フレーム内の各画素に対して、深さマップは関連する距離値を含む。深さマップは、各画素p(i,j)に対して関連する深さ値s(i,j)を計算することによって判定することができる。別法として、深さマップは、深さ値を画像内の画素群に関連付けることによって判定することができる。深さマップは、任意の適したデータ形式で、取り込まれた画像とともにカメラのメモリ内に記憶することができる。
このプロセスは、図7を参照して説明するステップに限定されるものではない。本発明から逸脱することなく、様々な変形形態が可能である。たとえば、デモザイキングステップの前に、高域通過フィルタリングを適用することができる。その場合、高周波色画像は、高域通過フィルタにかけた画像データをデモザイキングすることによって得られる。
さらに、本発明から逸脱することなく、シャープネス情報に基づいて距離を判定する他の方法も可能である。たとえば、たとえば高域通過フィルタを使用して空間領域内のシャープネス情報(すなわち、縁線情報)を分析するのではなく、シャープネス情報はまた、周波数領域内で分析することもできる。たとえば一実施形態では、シャープネス情報を得るために、実行中の個別のフーリエ変換(DFT)を使用することができる。DFTを使用して、色画像と赤外画像の両方のフーリエ係数を計算することができる。これらの係数、具体的には高周波係数の分析で、距離を示すことができる。
たとえば、一実施形態では、色画像および赤外画像内の特定の領域に関連する高周波DFT係数の絶対差は、距離を示すために使用することができる。さらなる実施形態では、フーリエ成分を使用して、赤外信号および色信号に関連するカットオフ周波数を分析することができる。たとえば、画像の特定の領域内で、赤外画像信号のカットオフ周波数が色画像信号のカットオフ周波数より大きい場合、この差は距離を示すことができる。
深さマップに基づいて、様々な画像処理機能を実現することができる。図8は、本発明の一実施形態による立体視を得るための体系800を示す。物体Pからある距離sのところに位置決めされた元のカメラ位置C0に基づいて、2つの仮想カメラ位置C1およびC2(1つは左目用で、1つは右目用)を画定することができる。これらの仮想カメラ位置はそれぞれ、元のカメラ位置に対して距離-t/2および+t/2にわたって対称に変位させることができる。焦点距離N、C0、C1、C2、t、およびsの間の幾何学的関係を考えると、2つの仮想カメラ位置に関連する2つのシフトさせた「仮想」画像を生成するのに必要な画素のシフト量は、次の式によって判定することができる。
P1=p0-(t*N)/(2s)およびP2=p0+(t*N)/(2s)
したがって、これらの式および深さマップ内の距離情報s(i,j)に基づいて、画像処理機能により、元の画像内のp0(i,j)、第1の仮想画像および第2の仮想画像に関連する画素p1(i,j)およびp2(i,j)を、各画素に対して計算することができる(ステップ802〜806)。このようにして、元の画像内の各画素p0(i,j)は、立体視に適した2つのシフトされた画像{p1(i,j)}および{p2(i,j)}を生成する上式に従ってシフトさせることができる。
図9は、一実施形態によるさらなる画像処理機能900を示す。この機能により、多開口撮像システム内のDOFの制御された低減が可能になる。多開口撮像システムが固定レンズおよび固定多開口システムを使用するため、光学系は、この光学系の固定の(改善された)DOFで画像を送達する。しかし、状況によっては、可変DOFを有することが望ましいことがある。
第1のステップ902で、画像データおよび関連する深さマップを生成することができる。その後、この機能は、カットオフ距離として使用できる特定の距離s'の選択を可能にすることができ(ステップ904)、その後、高周波赤外成分に基づくシャープネスの強調は破棄されるべきである。深さマップを使用して、DSPは、画像内で、選択された距離s'より大きい物体とカメラの距離に関連する第1の領域を識別することができ(ステップ906)、また選択された距離s'より小さい物体とカメラの距離に関連する第2の領域を識別することができる。その後、DSPは、高周波赤外画像を検索し、識別された第1の領域内の高周波赤外成分を、マスキング関数に応じた値に設定することができる(ステップ910)。次いで、このように修正された高周波赤外画像は、図5に示す方法と類似の方法でRGB画像と混合することができる(ステップ912)。このようにして、RGB画像を得ることができ、カメラレンズから最高で距離s'だけ離れた画像内の物体は、高周波赤外成分から得られるシャープネス情報で強調される。このようにして、制御された方法で、DOFを低減させることができる。
本発明から逸脱することなく、様々な変形形態が可能であることが提起される。たとえば、単一の距離ではなく、多開口システムの使用者によって距離範囲[s1,s2]を選択することができる。画像内の物体は、カメラから離れた距離に関係付けることができる。その後、DSPは、どの物体領域がこの範囲内に位置するかを判定することができる。その後、これらの領域は、高周波成分内のシャープネス情報によって強調される。
さらなる画像処理機能は、カメラの焦点を制御することに関係することができる。この機能を、図10に概略的に示す。この実施形態では、(仮想)焦点距離N'を選択することができる(ステップ1004)。深さマップを使用して、この選択された焦点距離に関連する画像内の領域を判定することができる(ステップ1006)。その後、DSPは、高周波赤外画像を生成し(ステップ1008)、識別された領域外のすべての高周波成分を、マスキング関数に応じた値に設定することができる(ステップ1010)。このように修正された高周波赤外画像は、RGB画像と混合することができ(ステップ1012)、それによって焦点距離N'に関連する画像内の領域内のシャープネスのみを強調することができる。このようにして、制御可能な方法で、画像内の焦点を変動させることができる。
焦点距離を制御するさらなる変形形態は、複数の焦点距離N'、N''などの選択を含むことができる。これらの選択された距離のそれぞれに対して、赤外画像内の関連する高周波成分を判定することができる。図10を参照して説明した方法と類似の方法で、後に高周波赤外画像を修正して色画像と混合する結果、たとえば2メートルのところにある焦点が合った物体、3メートルのところにある焦点が外れた物体、および4メートルのところにある焦点が合った物体を有する画像を得ることができる。さらに別の実施形態では、図9および図10を参照して説明した焦点制御を、画像内の1つまたは複数の特定の領域に適用することができる。この目的のために、使用者またはDSPは、焦点制御が望ましい画像内で1つまたは複数の特定の領域を選択することができる。
さらに別の実施形態では、距離関数R(s)および/または深さマップを使用し、知られている画像処理機能(たとえば、フィルタリング、混合、平衡化など)を使用して前記取り込まれた画像を処理することができ、そのような機能に関連する1つまたは複数の画像処理機能パラメータは、深さ情報に依存している。たとえば、一実施形態では、深さ情報を使用して、高周波赤外画像を生成するために使用される高域通過フィルタのカットオフ周波数および/またはロールオフを制御することができる。画像の特定の領域に対する色画像と赤外画像内のシャープネス情報が実質上類似しているとき、必要とされる赤外画像のシャープネス情報(すなわち、高周波赤外成分)はより少ない。したがって、その場合、非常に高いカットオフ周波数を有する高域通過フィルタを使用することができる。対照的に、色画像と赤外画像内のシャープネス情報が異なるとき、赤外画像内のシャープネス情報によって色画像内のぼけを補償できるように、より低いカットオフ周波数を有する高域通過フィルタを使用することができる。このようにして、画像全体にわたって、または画像の特有の部分内で、色画像と赤外画像内のシャープネス情報の差に応じて、高域通過フィルタのロールオフおよび/またはカットオフ周波数を調整することができる。
深さマップの生成、およびそのような深さマップに基づく画像処理機能の実装は、上記の実施形態に限定されるものではない。
図11は、さらなる実施形態による深さ情報を生成する多開口撮像システム1100の概略図を示す。この実施形態では、深さ情報は、修正された多開口構成を使用することによって得られる。たとえば図4に示すように中心の1つの赤外開口ではなく、図11の多開口1101は、絞りの縁線に(または周辺部に沿って)複数(すなわち、2つ以上)の小さい赤外開口1102、1104を含み、より大きい色開口1106を形成する。これらの複数の小さい開口は、図4に示す単一の赤外開口より実質上小さく、それによって焦点が合った物体1108が鮮明な単一の赤外画像1112として撮像面1110上へ撮像されるという効果をもたらす。対照的に、焦点が外れた物体1114は、2つの赤外画像1116、1118として撮像面上へ撮像される。第1の赤外開口1102に関連する第1の赤外画像1116は、第2の赤外開口に関連する第2の赤外画像1118に対して特定の距離Δにわたってシフトされる。普通なら焦点が外れたレンズに関連する連続してぼけた画像ではなく、複数の小さい赤外開口を含む多開口は、個別の鮮明な画像の形成を可能にする。単一の赤外開口と比較すると、複数の赤外開口を使用することで、より小さい開口を使用することができ、それによって被写界深度のさらなる増大を実現することができる。物体の焦点が外れれば外れるほど、距離Δはより大きくなる。したがって、2つの撮像された赤外画像間のシフトΔは、物体とカメラレンズとの間の距離の関数であり、深さ関数Δ(s)を判定するために使用することができる。
深さ関数Δ(s)は、カメラレンズから複数の距離のところにある試験物体を撮像し、それらの異なる距離のところでΔを測定することによって判定することができる。Δ(s)は、カメラのメモリ内に記憶することができ、以下でより詳細に論じる1つまたは複数の後処理機能において、DSPによって使用することができる。
一実施形態では、1つの後処理機能は、図11を参照して説明したように個別の多開口を含む多開口撮像システムによって取り込まれた単一の画像に関連する深さ情報の生成に関係することができる。1つの画像フレーム内の可視画像信号と赤外画像信号の両方を同時に取り込んだ後、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込まれた生のモザイク画像内で色画素信号と赤外画素信号とを分離することができる。その後、DSPは、赤外画像データ上で高域通過フィルタを使用して、物体の焦点が合った領域と物体の焦点が外れた領域とを含むことができる赤外画像データの高周波成分を得ることができる。
さらに、DSPは、自己相関関数を使用して高周波赤外画像データから深さ情報を導出することができる。このプロセスを、図12に概略的に示す。高周波赤外画像1204(の一部)の自己相関関数1202をとると、焦点が合っている撮像された物体1208の高周波の縁線に単一のスパイク1206が表れる。対照的に、この自己相関関数は、焦点が外れている撮像された物体1212の高周波の縁線に2重のスパイク1210を生成する。ここで、スパイク間のシフトは、2つの高周波赤外画像間のシフトΔを表し、シフトΔは、撮像された物体とカメラレンズとの間の距離sに依存する。
したがって、高周波赤外画像(の一部)の自己相関関数は、物体の焦点が外れている高周波赤外画像内の位置に2重のスパイクを含み、2重のスパイク間の距離は、距離の尺度(すなわち、焦点距離から離れる距離)を提供する。さらに、自己相関関数は、物体の焦点が合っている画像内の位置に単一のスパイクを含む。DSPは、2重のスパイク間の距離を、所定の深さ関数Δ(s)を使用する距離に関連付けることによって自己相関関数を処理し、この自己相関関数内の情報を、「実際の距離」に関連する深さマップに変換することができる。
図8〜10を参照して上述したように、深さマップの類似の機能、たとえば立体視を使用してDOFおよび焦点の制御を実行することができる。たとえば、Δ(s)または深さマップを使用して、特定の選択されたカメラと物体の距離に関連する赤外画像内の高周波成分を選択することができる。
特定の画像処理機能は、高周波赤外画像の自己相関関数を分析することによって実現することができる。図13は、たとえば、自己相関関数内のピークの幅を特定の閾値幅と比較することによってDOFが低減されるプロセス1300を示す。第1のステップ1302で、図11に示す多開口撮像システムを使用して画像が取り込まれ、色および赤外画像データが抽出され(ステップ1304)、高周波赤外画像データが生成される(ステップ1306)。その後、高周波赤外画像データの自己相関関数が計算される(ステップ1308)。さらに、閾値幅wが選択される(ステップ1310)。特定の撮像された物体に関連する自己相関関数内のピークが閾値幅より狭い場合、自己相関関数内のそのピークに関連する高周波赤外成分は、色画像データと組み合わせるために選択される。特定の撮像された物体の縁線に関連する自己相関関数内のピークまたは2つのピーク間の距離が閾値幅より広い場合、相関関数内のそのピークに関連する高周波成分は、マスキング関数に応じて設定される(ステップ1312〜1314)。その後、このように修正された高周波赤外画像は、多開口によって導入されるシフトΔをなくすように標準的な画像処理技法を使用して処理され、その結果、色画像データと混合することができる(ステップ1316)。混合後、色画像が形成され、低減されたDOFが形成される。このプロセスにより、所定の閾値幅を選択することによってDOFを制御することができる。
図14は、上述の多開口撮像システム内で使用するための多開口の2つの非限定的な例1402、1410を示す。第1の多開口1402は、2つの異なる薄膜フィルタを有する透明な基板と、EMスペクトルの第1の帯域内の放射を透過する第1の開口を形成する基板の中心にある第1の円形の薄膜フィルタ1404と、EMスペクトルの第2の帯域内の放射を透過する第1のフィルタの周囲に形成(たとえば、同心円状に)された第2の薄膜フィルタ1406とを含むことができる。
第1のフィルタは、可視放射と赤外放射の両方を透過するように構成することができ、第2のフィルタは、赤外放射を反射し、可視放射を透過するように構成することができる。外側の同心円の外径は、不透明な開口ホルダ1408内の開口によって画定することができ、または別法として赤外放射と可視放射をどちらも遮断する基板上に堆積された不透明な薄膜層1408内に画定された開口によって画定することができる。薄膜多開口の形成の背後にある原理は、3つ以上の開口を含む多開口に容易に拡張することができ、各開口はEMスペクトル内の特定の帯域に関連する放射を透過することが、当業者には明らかである。
一実施形態では、第2の薄膜フィルタは、赤外スペクトル内の放射を反射し、可視スペクトル内の放射を透過する2色性フィルタに関係することができる。干渉フィルタとも呼ばれる2色性フィルタは当技術分野ではよく知られており、通常、赤外放射(たとえば、約750から1250ナノメートルの波長を有する放射)を反射し、スペクトルの可視部分内の放射を透過するように構成された特有の厚さの複数の薄膜誘電体層を含む。
図11を参照して説明した多開口システム内で、第2の多開口1410を使用することができる。この変形形態では、多開口は、比較的大きい第1の開口1412を構成し、第1の開口1412は、不透明な開口ホルダ1414内の開口として画定され、または別法として赤外放射と可視放射をどちらも遮断する透明な基板上に堆積された不透明な薄膜層内に画定された開口によって画定される。この比較的大きい第1の開口内では、複数の小さい赤外開口1416〜1422が、第1の開口内に形成される薄膜ホットミラーフィルタ1424内の開口として画定される。
本発明の実施形態は、コンピュータシステムで使用するためのプログラム製品として実施することができる。プログラム製品のプログラムは、実施形態(本明細書に記載の方法を含む)の機能を定義し、様々なコンピュータ可読記憶媒体上に収容することができる。例示的なコンピュータ可読記憶媒体は、それだけに限定されるものではないが、(i)情報が永久的に記憶される書込み可能でない記憶媒体(たとえば、CD-ROMドライブによって読取り可能なCD-ROMディスク、フラッシュメモリ、ROMチップ、または任意のタイプの固体の不揮発性半導体メモリなど、コンピュータ内の読取り専用記憶装置)、および(ii)変更可能な情報が記憶される書込み可能記憶媒体(たとえば、ディスケットドライブ内のフロッピー（登録商標）ディスク、もしくはハードディスクドライブ、または任意のタイプの固体のランダムアクセス半導体メモリ)を含む。
いずれか1つの実施形態に関連して記載したあらゆる特徴は、単独で、または記載の他の特徴と組み合わせて使用することができ、任意の他の実施形態の1つもしくは複数の特徴、または任意の他の実施形態の任意の組合せと組み合わせて使用することもできることを理解されたい。さらに、本発明は、上述した実施形態に限定されるものではなく、これらは添付の特許請求の範囲の範囲内で変更することができる。
102 画像センサ
104 レンズシステム
106 シャッタ
108 開口システム
110 アナログ-デジタル(A/D)変換器
112 デジタル信号処理装置(DSP)
114 中央処理装置
116 記憶メモリ
118 プログラムメモリ
120 色フィルタアレイ(CFA)
122 EM放射
124 信号処理機能
202 赤外遮断フィルタ(ホットミラーフィルタ)をもたないデジタルカメラの典型的な色応答
204 青色画素フィルタ
206 緑色画素フィルタ
208 赤色画素フィルタ
210 ホットミラーフィルタの応答
302 ホットミラーフィルタの応答
304 シリコンの応答
400 多開口システム
402 円形の孔
404 フィルタ被覆
406 不透明な覆い
412 レンズ
414 撮像面
416 第1の(比較的)広い開口の画像信号
418 第2の小さい開口の画像信号
420 物体
422 物体
1100 多開口撮像システム
1101 多開口
1102 第1の赤外開口
1104 第2の赤外開口
1106 より大きい色開口
1108 焦点が合った物体
1110 撮像面
1112 鮮明な単一の赤外画像
1114 焦点が外れた物体
1116 第1の赤外画像
1118 第2の赤外画像
1202 自己相関関数
1204 高周波赤外画像
1206 単一のスパイク
1208 物体
1210 2重のスパイク
1212 物体
1402 第1の多開口
1404 第1の円形の薄膜フィルタ
1406 第2の薄膜フィルタ
1408 不透明な開口ホルダ、不透明な薄膜層
1410 第2の多開口
1412 比較的大きい第1の開口
1414 不透明な開口ホルダ
1416 複数の小さい赤外開口
1418 複数の小さい赤外開口
1420 複数の小さい赤外開口
1422 複数の小さい赤外開口
1424 薄膜ホットミラーフィルタ
C0 元のカメラ位置
C1 仮想カメラ位置
C2 仮想カメラ位置
D 深さ関数
Dcol 高周波色成分
Dir 高周波赤外成分
N レンズの焦点距離
P 物体
p0 画素
p1 画素
p2 画素
R シャープネス比
s 距離
-t/2 距離
+t/2 距離
Δ 距離

Claims (18)

  1. 多開口画像データに基づき深さマップを決定する方法であって、
    少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また前記第１の開口とは異なるサイズを有する少なくとも第2の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって、1つまたは複数の
    物体に関連する画像データを取り込むステップと、
    前記電磁スペクトルの前記第1の部分に対する前記画像センサの露出に応じて第1の画像データおよび前記電磁スペクトルの前記第2の部分に対する前記画像センサの露出に応じて第2の画像データを生成するステップと、
    前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの対応する領域内の第2のシャープネス情報に基づいて、深さ情報を生成することによって、および前記第１のシャープネス情報と第２のシャープネス情報とを、前記撮像システムと前記１つまたは複数の物体との間の距離に関係付けることによって、前記取り込まれた画像データに関連する深さマップを形成するステップと
    を含む方法。
  2. 前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報との間の差を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関係付けるステップを含む、請求項1に記載の方法。
  3. 所定の深さ関数を使用して、前記第1のシャープネス情報と前記第2のシャープネス情報との間の前記差を前記距離に関係付けるステップを含む、請求項2に記載の方法。
  4. 空間領域内の第1のシャープネス情報および/もしくは第2のシャープネス情報を判定し、または周波数領域内の前記第1のシャープネス情報および/もしくは前記第2のシャープネス情報を判定するステップを含む、請求項１〜３のいずれか一項に記載の方法。
  5. 高域通過フィルタは、第１のシャープネス情報および/もしくは第２のシャープネス情報が空間領域内で判定される時に使用され、フーリエ変換は、第１のシャープネス情報および/もしくは第２のシャープネス情報が周波数領域内で判定される時に使用される、請求項４に記載の方法。
  6. 前記電磁スペクトルの前記第1の部分が、可視スペクトルの少なくとも一部に関連し、かつ/または前記電磁スペクトルの前記第2の部分が、非可視スペクトルの少なくとも一部に関連する、請求項1から５のいずれか一項に記載の方法。
  7. 前記非可視スペクトルは、赤外スペクトルである、請求項６に記載の方法。
  8. 前記第1のシャープネス情報と前記第2のシャープネス情報との間の差または比を前記撮像システムと前記1つまたは複数の物体との間の距離に関連付けることによって、前記取り込まれた画像データの少なくとも一部に関連する深さマップを生成するステップを含む、請求項１〜７のいずれか一項に記載の方法。
  9. 前記深さ情報に基づいて前記第1の画像データ内の画素をシフトさせることによって、立体視で使用するための少なくとも1つの画像を生成するステップを含む、請求項１〜８のいずれか一項に記載の方法。
  10. 前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、
    少なくとも1つの閾値距離または少なくとも1つの距離範囲を提供するステップと、
    前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記閾値距離より大きいもしくは小さい距離に関連する1つもしくは複数の領域を識別し、または前記高周波の第2の画像データ内で、前記少なくとも1つの距離範囲内の距離に関連する1つもしくは複数の領域を識別するステップと、
    前記高周波の第2の画像データの前記識別された1つまたは複数の領域内の高周波成分をマスキング関数に応じて修正するステップと、
    前記修正された高周波の第2の画像データを前記第1の画像データに追加することによって画像を形成するステップと
    を含む、請求項１〜８のいずれか一項に記載の方法。
  11. 前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、
    少なくとも1つの焦点距離を提供するステップと、
    前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記少なくとも1つの焦点距離に等しい距離に関連する1つまたは複数の領域を識別するステップと、
    前記識別された1つまたは複数の領域以外の領域内の前記高周波の第2の画像データをマスキング関数に応じて修正するステップと、
    前記修正された高周波の第2の画像データを前記第1の画像データに追加することによって画像を形成するステップと
    を含む、請求項１〜８のいずれか一項に記載の方法。
  12. 画像処理機能を使用して前記取り込まれた画像データを処理するステップを含み、1つまたは複数の画像処理機能パラメータが前記深さ情報に依存している、請求項１〜８のいずれか一項に記載の方法。
  13. 前記画像処理機能が、前記第1の画像データおよび/または前記第2の画像データをフィルタにかけることを含み、前記フィルタの1つまたは複数のフィルタパラメータが前記深さ情報に依存する、請求項１２に記載の方法。
  14. 多開口画像データに基づき深さマップを生成する方法であって、
    異なる物体とカメラの距離で1つまたは複数の物体の画像を取り込むステップであって、各画像が、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、画像センサを同時に露出させることによって取り込まれる、取り込むステップと、
    前記取り込まれた画像の少なくとも一部に対して、前記電磁スペクトルの前記第1の部分に対する前記画像センサの露出に応じて第1の画像データおよび前記電磁スペクトルの前記第2の部分に対する前記画像センサの露出に応じて第2の画像データを生成するステップと、
    前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの対応する領域内の第2のシャープネス情報との間の関係を前記距離の関数として判定することによって、深さマップを生成するステップと
    を含む方法。
  15. 多開口画像データに基づき深さマップを生成する信号処理モジュールであって、
    電磁スペクトルの第1の部分に関連する第1の画像データおよび前記電磁スペクトルの第2の部分に関連する第2の画像データを受け取る入力端と、
    前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの対応する領域内の第2のシャープネス情報を判定する少なくとも1つの高域通過フィルタと、
    前記電磁スペクトルの第1の部分に関連する画像データと前記電磁スペクトルの第2の部分に関連する画像データとの間のシャープネス情報の差と、距離との間の関係を含む深さ関数を含むメモリと、
    前記深さ関数、ならびに前記高域通過フィルタから受け取った前記第1のシャープネス情報および前記第2のシャープネス情報に基づいて深さ情報を生成する深さ情報処理装置と
    を備える信号処理モジュール。
  16. 多開口画像データに基づき深さマップを生成する多開口撮像システムであって、
    画像センサと、
    光学レンズシステムと、
    少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、前記画像センサを同時に露出させるように構成された波長選択性の多開口と、
    前記電磁スペクトルの前記第1の部分に対する前記画像センサの露出に応じて第1の画像データおよび前記電磁スペクトルの前記第2の部分に対する前記画像センサの露出に応じて第2の画像データを生成する第1の処理モジュールと、
    前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの対応する領域内の第2のシャープネス情報に基づいて、前記画像データに関連する深さ情報を生成する第2の処理モジュールと
    を備える多開口撮像システム。
  17. 請求項１５に記載の信号処理モジュールおよび/または請求項１６に記載の多開口撮像システムを備えるデジタルカメラ。
  18. 画像データを処理するコンピュータプログラムであって、コンピュータシステムのメモリ内で実行中に、請求項１から１４のいずれか一項に記載の方法ステップを実施するように構成されたソフトウェアコード部分を含む、コンピュータプログラム。
JP2012553196A 2010-02-19 2010-02-19 多開口画像データの処理 Expired - Fee Related JP5728673B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/052151 WO2011101035A1 (en) 2010-02-19 2010-02-19 Processing multi-aperture image data

Publications (2)

Publication Number Publication Date
JP2013520854A JP2013520854A (ja) 2013-06-06
JP5728673B2 true JP5728673B2 (ja) 2015-06-03

Family

ID=41800423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012553196A Expired - Fee Related JP5728673B2 (ja) 2010-02-19 2010-02-19 多開口画像データの処理

Country Status (5)

Country Link
US (1) US20130033579A1 (ja)
EP (1) EP2537332A1 (ja)
JP (1) JP5728673B2 (ja)
CN (1) CN103210641B (ja)
WO (1) WO2011101035A1 (ja)

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP5670481B2 (ja) 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
EP2594062B1 (en) 2010-07-16 2016-09-14 Dual Aperture International Co. Ltd. Flash system for multi-aperture imaging
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
RU2616175C2 (ru) * 2011-09-28 2017-04-12 Конинклейке Филипс Н.В. Определение расстояния до объекта по изображению
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
US9230306B2 (en) * 2012-02-07 2016-01-05 Semiconductor Components Industries, Llc System for reducing depth of field with digital image processing
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US8655162B2 (en) 2012-03-30 2014-02-18 Hewlett-Packard Development Company, L.P. Lens position based on focus scores of objects
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP2872966A1 (en) 2012-07-12 2015-05-20 Dual Aperture International Co. Ltd. Gesture-based user interface
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
TWI494792B (zh) 2012-09-07 2015-08-01 Pixart Imaging Inc 手勢辨識系統及方法
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
CN103679124B (zh) * 2012-09-17 2017-06-20 原相科技股份有限公司 手势识别系统及方法
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
JP6112862B2 (ja) * 2012-12-28 2017-04-12 キヤノン株式会社 撮像装置
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9077891B1 (en) * 2013-03-06 2015-07-07 Amazon Technologies, Inc. Depth determination using camera focus
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
EP2975844B1 (en) 2013-03-13 2017-11-22 Fujitsu Frontech Limited Image processing device, image processing method, and program
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US20140321739A1 (en) * 2013-04-26 2014-10-30 Sony Corporation Image processing method and apparatus and electronic device
JP6440696B2 (ja) 2013-06-13 2018-12-19 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの物体の方位を光学的に検出する検出器
JP2016529474A (ja) 2013-06-13 2016-09-23 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの物体を光学的に検出する検出器
CN104685318B (zh) * 2013-06-27 2018-01-26 松下电器（美国）知识产权公司 运动传感器装置、电路、记录介质以及图像处理装置
CN104603574B (zh) * 2013-07-01 2017-10-13 松下电器（美国）知识产权公司 具有多个光源的运动传感器装置
CN108989649B (zh) * 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
WO2016003253A1 (en) * 2014-07-04 2016-01-07 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
RU2595759C2 (ru) * 2014-07-04 2016-08-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для захвата изображения и одновременного извлечения глубины
KR102397527B1 (ko) 2014-07-08 2022-05-13 바스프 에스이 하나 이상의 물체의 위치를 결정하기 위한 검출기
KR101834393B1 (ko) 2014-08-08 2018-04-13 포토내이션 리미티드 이미지 획득 장치용 광학계
US10152631B2 (en) 2014-08-08 2018-12-11 Fotonation Limited Optical system for an image acquisition device
TWI538508B (zh) 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
EP3230841B1 (en) 2014-12-09 2019-07-03 Basf Se Optical detector
WO2016117716A1 (ko) * 2015-01-20 2016-07-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도 정보를 추출하기 위한 방법 및 장치
KR102282218B1 (ko) * 2015-01-30 2021-07-26 삼성전자주식회사 3 차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3 차원 영상 획득 장치
KR102496245B1 (ko) 2015-01-30 2023-02-06 트리나미엑스 게엠베하 하나 이상의 물체의 광학적 검출을 위한 검출기
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US20160254300A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co., Ltd. Sensor for dual-aperture camera
KR101711927B1 (ko) * 2015-03-16 2017-03-06 (주)이더블유비엠 다른 선명도를 갖는 두 개의 이미지를 캡쳐하는 단일센서를 이용한 거리 정보 (depth)추출장치에서 다단계 검색에 의한 최대유사도 연산량 감축방법
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR101681197B1 (ko) 2015-05-07 2016-12-02 (주)이더블유비엠 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
KR101681199B1 (ko) 2015-06-03 2016-12-01 (주)이더블유비엠 다중컬러 센서를 기반하여, 고속의 컨벌루션을 이용한 영상의 깊이정보 추출방법 및 장치
TWI588585B (zh) * 2015-06-04 2017-06-21 光寶電子（廣州）有限公司 影像擷取裝置及對焦方法
CN106303201A (zh) * 2015-06-04 2017-01-04 光宝科技股份有限公司 影像撷取装置及对焦方法
WO2016199965A1 (ko) * 2015-06-12 2016-12-15 재단법인 다차원 스마트 아이티 융합시스템 연구단 비 원 형상의 애퍼처 기판을 포함하는 광학계 및 이를 포함하는 멀티 애퍼처 카메라
US10955936B2 (en) 2015-07-17 2021-03-23 Trinamix Gmbh Detector for optically detecting at least one object
CN106407881B (zh) * 2015-07-29 2020-07-31 财团法人工业技术研究院 生物辨识装置及方法与穿戴式载体
US11244434B2 (en) 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
DE102015216140A1 (de) 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
KR102539263B1 (ko) * 2015-09-14 2023-06-05 트리나미엑스 게엠베하 적어도 하나의 물체의 적어도 하나의 이미지를 기록하는 카메라
US9456195B1 (en) 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
EP3185209B1 (en) * 2015-12-23 2019-02-27 STMicroelectronics (Research & Development) Limited Depth maps generated from a single sensor
CN105635548A (zh) * 2016-03-29 2016-06-01 联想(北京)有限公司 一种摄像模组
US11211513B2 (en) 2016-07-29 2021-12-28 Trinamix Gmbh Optical sensor and detector for an optical detection
US11428787B2 (en) 2016-10-25 2022-08-30 Trinamix Gmbh Detector for an optical detection of at least one object
WO2018077870A1 (en) 2016-10-25 2018-05-03 Trinamix Gmbh Nfrared optical detector with integrated filter
KR102502094B1 (ko) 2016-11-17 2023-02-21 트리나미엑스 게엠베하 적어도 하나의 피사체를 광학적으로 검출하기 위한 검출기
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
DE102017208709B3 (de) 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
FR3074385B1 (fr) 2017-11-28 2020-07-03 Stmicroelectronics (Crolles 2) Sas Commutateurs et reseau d'interconnexion photonique integre dans une puce optoelectronique
KR102635884B1 (ko) * 2018-10-31 2024-02-14 삼성전자주식회사 조리개를 포함하는 카메라 모듈
KR102205470B1 (ko) * 2019-04-16 2021-01-20 (주)신한중전기 복합 개구경 스크린을 구비한 배전반 열화상 진단 시스템
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
EP4248416A4 (en) * 2020-11-23 2024-04-24 Fingerprint Cards Anacatum IP AB BIOMETRIC IMAGING DEVICE WITH COLOR FILTERS AND IMAGING METHODS USING THE BIOMETRIC IMAGING DEVICE
CN112672136B (zh) * 2020-12-24 2023-03-14 维沃移动通信有限公司 摄像模组和电子设备
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965840A (en) * 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
JP3614898B2 (ja) * 1994-11-08 2005-01-26 富士写真フイルム株式会社 写真撮影装置、画像処理装置及び立体写真作成方法
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
JP2007139893A (ja) * 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
US7819591B2 (en) * 2006-02-13 2010-10-26 3M Innovative Properties Company Monocular three-dimensional imaging
WO2007096816A2 (en) * 2006-02-27 2007-08-30 Koninklijke Philips Electronics N.V. Rendering an output image
JP5315574B2 (ja) * 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
JP4757221B2 (ja) * 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
US20090159799A1 (en) 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images

Also Published As

Publication number Publication date
CN103210641B (zh) 2017-03-15
JP2013520854A (ja) 2013-06-06
US20130033579A1 (en) 2013-02-07
CN103210641A (zh) 2013-07-17
EP2537332A1 (en) 2012-12-26
WO2011101035A1 (en) 2011-08-25

Similar Documents

Publication Publication Date Title
JP5728673B2 (ja) 多開口画像データの処理
JP5670481B2 (ja) 多開口画像データの処理
US9635275B2 (en) Flash system for multi-aperture imaging
US20160286199A1 (en) Processing Multi-Aperture Image Data for a Compound Imaging System
US20160042522A1 (en) Processing Multi-Aperture Image Data
US9721357B2 (en) Multi-aperture depth map using blur kernels and edges
US9615030B2 (en) Luminance source selection in a multi-lens camera
US20170034456A1 (en) Sensor assembly with selective infrared filter array
JP5670456B2 (ja) カラー画像のノイズを低減すること
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
JP2012515480A (ja) イメージングシステムの被写界深度の改善
WO2016137239A1 (en) Generating an improved depth map usinga multi-aperture imaging system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140129

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141205

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150113

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150212

R150 Certificate of patent or registration of utility model

Ref document number: 5728673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees