JP5670481B2 - 多開口画像データの処理 - Google Patents

多開口画像データの処理 Download PDF

Info

Publication number
JP5670481B2
JP5670481B2 JP2012553197A JP2012553197A JP5670481B2 JP 5670481 B2 JP5670481 B2 JP 5670481B2 JP 2012553197 A JP2012553197 A JP 2012553197A JP 2012553197 A JP2012553197 A JP 2012553197A JP 5670481 B2 JP5670481 B2 JP 5670481B2
Authority
JP
Japan
Prior art keywords
image data
aperture
image
distance
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012553197A
Other languages
English (en)
Other versions
JP2013520855A (ja
Inventor
アンドリュー・オーガスティン・ワイス
Original Assignee
デュアル・アパーチャー・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デュアル・アパーチャー・インコーポレーテッド filed Critical デュアル・アパーチャー・インコーポレーテッド
Publication of JP2013520855A publication Critical patent/JP2013520855A/ja
Application granted granted Critical
Publication of JP5670481B2 publication Critical patent/JP5670481B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Description

本発明は、多開口画像データの処理に関し、詳細には、排他的ではないが、多開口画像データを処理する方法およびシステム、そのようなシステムで使用するための画像処理装置、ならびにそのような方法を使用するコンピュータプログラム製品に関する。
デジタル写真およびビデオの撮像技術が移動電気通信、自動車、および生体認証などの様々な技術分野でますます使用されることで、一眼レフレックスカメラによって提供される画像品質に匹敵し、または少なくとも近似する画像品質を提供する小型の一体型カメラの開発が求められている。しかし、デジタルカメラ技術の一体化および小型化は、光学系および画像センサの設計に重大な制約を課し、それによって撮像システムによってもたらされる画像品質に悪影響を与える。広い範囲の機械的な焦点および開口設定機構は、そのような一体型カメラの適用分野で使用するのに適していない。したがって、固定焦点レンズに基づく撮像システムの撮像品質を向上させるために、様々なデジタルカメラの取込みおよび処理技法が開発されている。
国際特許出願第PCT/EP2009/050502号および第PCT/EP2009/060936号というPCT出願は、色撮像技法と赤外撮像技法の両方を組み合わせる光学系を使用することによって固定焦点レンズの撮像システムの被写界深度を延長する方法について記載している。これらの出願を、参照により本明細書に組み込む。色スペクトルと赤外スペクトルの両方で撮像するように適合された画像センサと、波長選択性の多開口の開口とを組み合わせて使用することで、簡単で費用効果の高い方法で、被写界深度を延長することができ、また固定焦点レンズを有するデジタルカメラに対するISO感度を増大させることができる。これには、知られているデジタル撮像システムに対する軽微な調節が必要とされ、それによってこのプロセスは大量生産に特に適したものになる。
国際特許出願第PCT/EP2009/050502号 国際特許出願第PCT/EP2009/060936号 米国特許出願第2009/0159799号
多開口撮像システムの使用は、知られているデジタル撮像システムに勝る実質的な利点を提供するが、そのようなシステムはまだ、一眼レフレックスカメラで提供されるのと同じ機能を提供することはできない。具体的には、調整可能な被写界深度などのカメラパラメータの調整および/または焦点距離の調整を可能にする固定レンズの多開口撮像システムを有することが望ましいはずである。さらに、知られている3Dデジタルカメラに類似の3D撮像の機能性を有するそのような多開口撮像システムを提供することが望ましいはずである。したがって、機能性が向上した多開口撮像システムを提供できる方法およびシステムが、当技術分野で必要とされている。
本発明の一目的は、従来技術で知られている欠点の少なくとも1つを低減または解消することである。第1の態様では、本発明は、多開口画像データを処理する方法に関することができ、この方法は、
少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口および第3の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって、1つまたは複数の物体に関連する画像データを取り込むステップと、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、前記第2の画像データ内の変位情報に基づいて、好ましくは前記第2の画像データに関連する高周波画像データの自己相関関数内の変位情報に基づいて、前記取り込まれた画像に関連する深さ情報を生成するステップとを含むことができる。したがって、多開口画像データ、すなわち多開口撮像システムによってもたらされる画像データに基づいて、この方法では、画像内の物体を物体とカメラの距離に関係付ける深さ情報を生成することができる。この深さ情報を使用して、取り込まれた画像に関連する深さマップを生成することができる。距離情報および深さマップは、機能性が向上した固定レンズ撮像システムを提供できる画像処理機能を実施することができる。
一実施形態では、少なくとも前記第2の開口と前記第3の開口は、前記第2の画像データ内の高周波情報が物体と前記撮像システムとの間の距離の関数として変位されるように、互いに対して位置決めすることができる。したがって、多開口構成は、画像データ内に変位情報を導入し、この変位情報を使用して深さ情報を生成することができる。
別の実施形態では、この方法は、前記自己相関した第2の高周波画像データの1つまたは複数の領域内で、撮像された物体の縁線に関連する1つまたは複数のピークを識別するステップと、前記1つまたは複数の識別されたピークに基づいて、前記撮像システムと前記物体の少なくとも1つとの間の距離を判定するステップとを含むことができる。自己相関関数を使用して、第2の画像データ内の変位情報を正確に判定することができる。
さらなる実施形態では、この方法は、焦点が合っている撮像された物体の縁線に関連する単一のピークを識別し、かつ/または焦点が外れている撮像された物体に関連する2重もしくは複数のピークを識別するステップと、所定の深さ関数を使用することによって、前記単一のピークおよび/または前記2重もしくは複数のピーク内のピーク間の距離を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関係付けるステップとを含むことができる。
さらなる実施形態では、電磁スペクトルの前記第1の部分は、可視スペクトルの少なくとも一部に関連付けることができ、かつ/または電磁スペクトルの前記第2の部分は、非可視スペクトル、好ましくは赤外スペクトルの少なくとも一部に関連付けることができる。赤外スペクトルを使用することで、画像センサの感度を効率的に使用することができ、それによって信号対雑音比を著しく改善することができる。波長選択性の多開口絞りを使用して色画像と赤外画像を同時に取り込むことで、赤外画像内のシャープネス情報で強調された色画像を生成することができる。
一実施形態では、この方法は、前記第2の画像データを高域通過フィルタにかけることによって、前記高周波の第2の画像データを判定するステップ、ならびに/または前記第2の開口および前記第3の開口によって生成された前記高周波の第2の画像データ内の変位をなくすステップを含むことができる。
別の実施形態では、この方法は、前記第2の画像データ内の変位情報、好ましくは前記第2の画像データに関連する高周波画像データの自己相関関数内の変位情報を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関連付けることによって、前記取り込まれた画像の少なくとも一部に関連する深さマップを生成するステップを含む。この実施形態では、取り込まれた画像に対する深さマップを生成することができる。深さマップは、画像内の各画素データまたは各画素データ群を距離値に関連付ける。
一変形形態では、この方法は、前記深さ情報に基づいて前記第1の画像データ内の画素をシフトさせることによって、立体視で使用するための少なくとも1つの画像を生成するステップを含む。したがって、立体視のための画像を生成することができる。これらの画像は、多開口撮像システムによって取り込まれた画像およびその関連する深さマップに基づいて生成することができる。取り込まれた画像は、高周波赤外情報で強調することができる。
別の変形形態では、この方法は、少なくとも1つの閾値距離または少なくとも1つの距離範囲を提供するステップと、前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記閾値距離より大きいもしくは小さい距離に関連する1つもしくは複数の領域を識別し、または前記高周波の第2の画像データ内で、前記少なくとも1つの距離範囲内の距離に関連する1つもしくは複数の領域を識別するステップと、前記第2の高周波画像データの前記識別された1つまたは複数の領域内の高周波成分を0に、または1つもしくは複数の所定の値に設定するステップと、前記第2の高周波画像データを前記第1の画像データに追加するステップとを含むことができる。したがってこの変形形態では、深さ情報は、被写界深度の制御を提供することができる。
さらに別の変形形態では、この方法は、少なくとも1つの焦点距離を提供するステップと、前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記少なくとも1つの焦点距離に実質上等しい距離に関連する1つまたは複数の領域を識別するステップと、前記識別された1つまたは複数の領域以外の領域内の高周波の第2の画像データを0に、または1つもしくは複数の所定の値に設定するステップと、前記高周波の第2の画像データを前記第1の画像データに追加するステップとを含むことができる。したがってこの実施形態では、深さ情報は、焦点の制御を提供することができる。
さらなる変形形態では、この方法は、画像処理機能を使用して前記取り込まれた画像を処理するステップであって、1つまたは複数の画像処理機能パラメータが前記深さ情報に依存している、処理するステップ、好ましくはフィルタを適用することによって前記第2の画像データを処理するステップであって、1つまたは複数のフィルタパラメータが前記深さ情報に応じて変動する、処理するステップを含むことができる。したがって、深さ情報はまた、フィルタリングなどの従来の画像処理ステップで使用することもできる。
一実施形態では、この方法は、少なくとも1つの閾値ピーク幅および/またはピーク高さ閾値を提供するステップと、前記自己相関した第2の高周波画像データ内で、前記閾値ピーク幅より大きいピーク幅を有する1つもしくは複数のピークを含む領域、および/または前記ピーク高さ閾値より小さいピーク高さを有する1つもしくは複数のピークを含む領域を識別するステップと、前記第2の高周波画像データの前記識別された1つまたは複数の領域内の高周波成分を、マスキング関数に応じて設定するステップと、前記第2の高周波画像データを前記第1の画像データに追加するステップとを含むことができる。
別の実施形態では、この方法は、縁線検出アルゴリズムを使用して前記取り込まれた画像内で1つまたは複数の領域を識別するステップと、前記1つまたは複数の識別された領域内で前記深さ情報を生成するステップとを含むことができる。
別の態様では、本発明は、多開口システム、好ましくは波長選択性の多開口システム、より好ましくは波長選択性の多開口システムを構成する絞りに関することができ、前記多開口システムは、電磁スペクトルの少なくとも第1の部分に対する画像センサの露出を制御する少なくとも第1の開口と、電磁スペクトルの少なくとも第2の部分に対する撮像システム内の画像センサの露出を制御する少なくとも第2の開口および第3の開口であって、電磁スペクトルの前記第2の部分に第2の画像データが関連する、第2の開口および第3の開口とを含むことができ、前記第2の開口と前記第3の開口は、前記第2の画像データ内の高周波情報が物体と前記撮像システムとの間の距離の関数として変位されるように、互いに対して位置決めされる。
一実施形態では、前記第1の開口の寸法は、前記第2の開口および前記第3の開口の寸法より実質上大きくすることができる。
さらなる実施形態では、前記第1の開口は、透明な基板またはレンズ上の不透明な薄膜内の開口として形成することができ、前記不透明な薄膜は、前記電磁スペクトルの少なくとも第1の部分と第2の部分の両方を遮断する。
さらなる実施形態では、少なくとも前記第2の開口および前記第3の開口は、前記第1の開口内に位置する薄膜フィルタ内の開口として形成することができ、前記薄膜フィルタは、電磁スペクトルの前記第2の部分内の放射を遮断し、透過される放射は、電磁スペクトルの前記第1の部分である。
別の実施形態では、少なくとも前記第2の多開口および前記第3の多開口は、前記第1の開口の周辺部に沿って複数の小さい赤外開口として位置することができる。
別の態様では、本発明は、画像センサと、光学レンズシステムと、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口および第3の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、前記画像センサを同時に露出させるように構成された波長選択性の多開口と、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成する第1の処理モジュールと、前記第2の画像データ内の変位情報に基づいて、好ましくは前記第2の画像データに関連する高周波画像データの自己相関関数内の変位情報に基づいて、前記取り込まれた画像に関連する深さ情報を生成する第2の処理モジュールとを含む多開口撮像システムに関することができる。
さらなる態様では、本発明は、多開口画像データを使用して深さ関数を判定する方法に関することができ、この方法は、異なる所定の物体とカメラの距離で1つまたは複数の物体の1つまたは複数の画像を取り込むステップであって、各画像が、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口および第3の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって取り込まれる、取り込むステップと、前記取り込まれた画像の少なくとも一部に対して、電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、前記第2の画像データ内の変位情報、好ましくは前記第2の画像データに関連する高周波画像データの自己相関関数内の変位情報を、前記所定の物体とカメラの距離に関係付けることによって、深さ関数を生成するステップとを含む。
本発明はまた、電磁スペクトルの前記第1の部分に関連する第1の取り込まれた画像データおよび電磁スペクトルの前記第2の部分に関連する第2の取り込まれた画像データを受け取る入力端と、前記第1の取り込まれた画像データおよび/または第2の取り込まれた画像データに関連する高周波データを生成する少なくとも1つの高域通過フィルタと、前記高周波の第2の画像データの自己相関関数を判定する自己相関処理装置と、前記第2の画像データ内の変位情報、好ましくは前記第2の画像に関連する高周波画像データの自己相関関数内の変位情報を物体とカメラの距離に関係付ける深さ関数を含むメモリと、前記第2の画像データ内の前記深さ関数および変位情報、好ましくは前記第2の画像に関連する高周波画像データの自己相関関数内の変位情報に基づいて、深さ情報を生成する深さ情報処理装置とを備える信号処理モジュールに関することができる。
本発明はまた、上述の信号処理モジュールおよび/または上述の多開口撮像システムを備えるデジタルカメラ、好ましくは移動端末内で使用するためのデジタルカメラに関することができる。
本発明はまた、画像データを処理するコンピュータプログラム製品に関することができ、前記コンピュータプログラム製品は、コンピュータシステムのメモリ内で実行中に、上述の方法のいずれかによる方法ステップを実施するように構成されたソフトウェアコード部分を含む。
本発明について、添付の図面を参照してさらに説明する。図面では、本発明による実施形態を概略的に示す。本発明は、これらの特有の実施形態に何ら限定されるものではないことが理解されるであろう。
本発明の一実施形態による多開口撮像システムを示す図である。 デジタルカメラの色応答を示す図である。 ホットミラーフィルタ(hot mirror filter)の応答およびシリコンの応答を示す図である。 多開口システムを使用する概略的な光学系を示す図である。 本発明の一実施形態による多開口撮像システムで使用するための画像処理方法を示す図である。 本発明の一実施形態による深さ関数を判定する方法を示す図である。 深さ関数の概略図ならびに高周波の色および赤外情報を距離の関数として示すグラフである。 本発明の一実施形態による深さマップを生成する方法を示す図である。 本発明の一実施形態による立体視を得る方法を示す図である。 本発明の一実施形態による被写界深度を制御する方法を示す図である。 本発明の一実施形態による焦点を制御する方法を示す図である。 本発明の別の実施形態による多開口システムを使用する光学系を示す図である。 本発明の別の実施形態による深さ関数を判定する方法を示す図である。 本発明の別の実施形態による被写界深度を制御する方法を示す図である。 多開口撮像システム内で使用するための多開口システムを示す図である。
図1は、本発明の一実施形態による多開口撮像システム100を示す。この撮像システムは、デジタルカメラの一部とすることができ、または移動電話、ウェブカム、生体認証センサ、画像スキャナ、もしくは画像取込みの機能性を必要とする任意の他のマルチメディアデバイス内に組み込むことができる。図1に示すシステムは、画像センサ102と、ある場面内の物体を画像センサの撮像面上へ集束させるレンズシステム104と、第1の部分、たとえば可視部分、およびEMスペクトルの少なくとも第2の部分、たとえば電磁(EM)スペクトルの非可視部分(赤外部分など)の光(電磁放射)が、制御された形で撮像システムに入ることを可能にする所定の数の開口を含むシャッタ106および開口システム108とを備える。
以下でより詳細に論じる多開口システム108は、EMスペクトルの可視部分、および任意選択で非可視部分、たとえば赤外部分内の光に対する画像センサの露出を制御するように構成される。具体的には、多開口システムは、EMスペクトルの第1の部分に画像センサを露出させる第1の寸法の少なくとも第1の開口およびEMスペクトルの第2の部分に画像センサを露出させる第2の寸法の少なくとも第2の開口を画定することができる。たとえば、一実施形態では、EMスペクトルの第1の部分は色スペクトルに関係し、第2の部分は赤外スペクトルに関係することができる。別の実施形態では、多開口システムは所定の数の開口を含むことができ、各開口は、EMスペクトルの所定の範囲内の放射に画像センサを露出させるように設計される。
EM放射に対する画像センサの露出は、シャッタ106および多開口システム108の開口によって制御される。シャッタが開いているとき、開口システムは、画像センサ102を露出させる光の量および光の視準度を制御する。シャッタは、機械シャッタとすることができ、または別法として、シャッタは、画像センサ内に組み込まれた電子シャッタとすることができる。画像センサは、2次元の画素アレイを形成する感光性サイト(画素)の行列を含む。画像センサは、CMOS(Complimentary Metal Oxide Semiconductor)能動画素センサまたはCCD(Charge Coupled Device)画像センサとすることができる。別法として、画像センサは、他のSi(たとえば、a-Si)、III-V(たとえば、GaAs)、または導電性ポリマーベースの画像センサ構造に関係することができる。
レンズシステムによって画像センサ上へ光が投影されるとき、各画素は、その画素に入射する電磁放射(エネルギー)に比例する電気信号をもたらす。色情報を得るために、また画像センサの撮像面上へ投影された画像の色成分を分離するために、レンズと画像センサとの間には通常、色フィルタアレイ120(CFA)が配置される。色フィルタアレイは、画像センサの各画素が対応する画素フィルタを有するように、画像センサとともに組み込むことができる。各色フィルタは、所定の色帯域の光を画素内へ通すように適合される。通常、赤色、緑色、および青色(RGB)のフィルタの組合せが使用されるが、他のフィルタ方式、たとえばCYGM(シアン、黄色、緑色、マゼンタ)、RGBE(赤色、緑色、青色、エメラルド)なども可能である。
露出された画像センサの各画素は、画素に関連する色フィルタを通過した電磁放射に比例する電気信号をもたらす。したがって、画素のアレイは、色フィルタアレイを通過した電磁エネルギー(放射)の空間分布を表す画像データ(フレーム)を生成する。画素から受け取った信号は、1つまたは複数のオンチップ増幅器を使用して増幅させることができる。一実施形態では、画像センサの各色チャネルは、別個の増幅器を使用して増幅させることができ、それによって異なる色に対するISO感度を別個に制御することができる。
さらに、画素信号は、画像センサのチップ上に組み込むことができる1つまたは複数のアナログ-デジタル(A/D)変換器110を使用してサンプリングし、量子化し、デジタル形式の言葉に変換することができる。デジタル化された画像データは、画像センサに結合されたデジタル信号処理装置112(DSP)によって処理され、DSP112は、補間、フィルタリング、ホワイトバランス、明るさ補正、データ圧縮技法(たとえば、MPEGまたはJPEGタイプの技法)などのよく知られている信号処理機能を実行するように構成される。DSPは、中央処理装置114と、取り込まれた画像を記憶する記憶メモリ116と、画像データを処理するためにDSPによって使用され、または撮像システムの動作を管理するために中央処理装置によって使用される1つまたは複数のソフトウェアプログラムを含むEEPROMまたは別のタイプの不揮発性メモリなどのプログラムメモリ118とに結合される。
さらに、DSPは、多開口撮像システムによって取り込まれた画像に関連する深さ情報を得るように構成された1つまたは複数の信号処理機能124を含むことができる。これらの信号処理機能は、固定レンズの多開口撮像システムに、可変DOFおよび焦点制御ならびに立体的な3D画像表示能力を含む拡張された撮像機能性を提供することができる。これらの信号処理機能に関連する詳細および利点について、以下により詳細に論じる。
上述のように、撮像システムの感度は、赤外撮像の機能性を使用することによって拡張される。この目的のために、レンズシステムは、可視光と赤外放射または赤外放射の少なくとも一部との両方が撮像システムに入ることができるように構成することができる。レンズシステムの前のフィルタは、赤外放射の少なくとも一部が撮像システムに入ることができるように構成される。具体的には、これらのフィルタは、赤外放射がカメラに入るのを遮断するために従来の色撮像カメラで使用される、通常はホットミラーフィルタと呼ばれる赤外遮断フィルタを含まない。
したがって、多開口撮像システムに入るEM放射122は、EMスペクトルの可視部分と赤外部分の両方に関連する放射を含むことができ、それによって赤外スペクトルに対する画像センサの光応答を拡張することができる。
赤外遮断フィルタ(の不在)が従来のCFA色画像センサに与える影響を、図2〜3に示す。図2Aおよび図2Bでは、曲線202は、赤外遮断フィルタ(ホットミラーフィルタ)をもたないデジタルカメラの典型的な色応答を表す。グラフAは、ホットミラーフィルタを使用する影響をより詳細に示す。ホットミラーフィルタの応答210は、画像センサのスペクトル応答を可視スペクトルに制限し、それによって画像センサの全体的な感度を実質上制限する。ホットミラーフィルタを取り去った場合、赤外放射の一部は色画素フィルタを通過する。この影響を、青色画素フィルタ204、緑色画素フィルタ206、および赤色画素フィルタ208を含む従来の色画素の光応答を示すグラフBによって表す。これらの色画素フィルタ、特に赤色画素フィルタは赤外放射を(部分的に)透過することができ、したがって画素信号の一部は赤外放射に起因すると考えることができる。これらの赤外の寄与は、カラーバランスを歪ませることがあり、その結果いわゆる擬似色を含む画像が生じることがある。
図3は、ホットミラーフィルタの応答302およびシリコン(すなわち、デジタルカメラ内で使用される画像センサの主な半導体成分)の応答304を示す。これらの応答は、赤外放射に対するシリコン画像センサの感度が可視光に対する感度より約4倍高いことをはっきりと示す。
図2および図3によって示す画像センサによって提供されるスペクトル感度を利用するために、図1の撮像システム内の画像センサ102は、従来の画像センサとすることができる。従来のRGBセンサでは、赤外放射は赤色画素によって主に感知される。その場合、DSPは、赤色画素信号を処理して、この赤色画素信号内の低雑音の赤外情報を抽出することができる。この処理については、以下により詳細に説明する。別法として、画像センサは、赤外スペクトルの少なくとも一部を撮像するように特に構成することができる。画像センサは、たとえば1つまたは複数の赤外(I)画素を色画素と一緒に含むことができ、それによって画像センサは、RGB色画像および比較的低雑音の赤外画像をもたらすことができる。
赤外画素は、可視光を実質上遮断し、赤外放射、好ましくは約700から1100nmの範囲内の赤外放射を実質上透過するフィルタ材料で、フォトサイト(photo-site)を覆うことによって実現することができる。赤外/色フィルタアレイ(ICFA)内に設けることができる赤外透過性の画素フィルタは、スペクトルの赤外帯域内の波長に対して高い透過率を有するよく知られているフィルタ材料、たとえば「DARC400」という商標でBrewer Scienceから市販されている黒色ポリイミド材料を使用して実現することができる。
そのようなフィルタを実現する方法は、米国特許出願第2009/0159799号に記載されている。ICFAは、画素ブロック、たとえば2×2個の画素を収容することができ、各ブロックは、赤色、緑色、青色、および赤外の画素を含む。露出されると、そのような画像ICFA色画像センサは、RGB色情報と赤外情報の両方を含む生のモザイク画像をもたらすことができる。よく知られているデモザイキングアルゴリズムを使用して生のモザイク画像を処理した後、RGB色画像および赤外画像を得ることができる。赤外放射に対するそのようなICFA画像色センサの感度は、ブロック内の赤外画素の数を増大させることによって増大させることができる。一構成(図示せず)では、画像センサフィルタアレイは、たとえば、4つの色画素RGGBおよび12個の赤外画素を含む16個の画素からなるブロックを含むことができる。
別の実施形態では、ICFA画像色センサの代わりに、画像センサはフォトサイトのアレイに関係することができ、各フォトサイトは、当技術分野ではよく知られている複数の積層型フォトダイオードを含む。好ましくは、そのような積層型フォトサイトは、少なくとも原色RGBおよび赤外のそれぞれに応答して、少なくとも4つの積層型フォトダイオードを含む。これらの積層型フォトダイオードは、画像センサのシリコン基板内へ組み込むことができる。
多開口システム、たとえば多開口絞りを使用して、カメラの被写界深度(DOF)を改善することができる。そのような多開口システム400の原理を、図4に示す。DOFは、画像が取り込まれるときに焦点が合っているカメラからの距離の範囲を決める。この範囲内では、物体は鮮明であると許容することができる。中程度から大きな距離の場合、所与の画像形式で、レンズの焦点距離N、レンズの開き(開口)に関連するf値、および物体とカメラの距離sによって、DOFが判定される。開口が広ければ広いほど(より多くの光が受け取られる)、DOFはますます制限される。
可視および赤外スペクトルエネルギーは、多開口システムを介して撮像システムに入ることができる。一実施形態では、そのような多開口システムは、所定の直径D1の円形の孔402を有するフィルタで被覆された透明な基板を含むことができる。フィルタ被覆404は、可視放射を透過し、かつ赤外放射を反射および/または吸収することができる。不透明な覆い406が、孔402の直径D1より大きい直径D2を有する円形の開口を含むことができる。このカバーは、赤外と可視の両方の放射を反射する薄膜被覆を含むことができ、または別法として、カバーは、光学系内に基板を保持および位置決めする不透明なホルダの一部とすることができる。このようにして、多開口システムは、複数の波長選択性の開口を含み、EMスペクトルの異なる部分のスペクトルエネルギーに対する画像センサの制御された露出を可能にする。開口システムを通過する可視および赤外スペクトルエネルギーは、その後、レンズ412によって画像センサの撮像面414上へ投影され、撮像面414は、可視スペクトルエネルギーに関連する画像データを得るための画素と、非可視(赤外)スペクトルエネルギーに関連する画像データを得るための画素とを含む。
したがって、画像センサの画素は、大きなDOFを有する赤外スペクトルエネルギーに関連する第2の小さい開口の画像信号418に重なる、制限されたDOFを有する可視スペクトルエネルギーに関連する第1の(比較的)広い開口の画像信号416を受け取ることができる。レンズの焦点面Nに近接している物体420は、可視放射によって比較的小さい焦点ぼけで画像面上へ投影され、焦点面からより遠くに位置する物体422は、赤外放射によって比較的小さい焦点ぼけで画像面上へ投影される。したがって、単一の開口を含む従来の撮像システムとは異なり、デュアルまたは複数開口の撮像システムは、異なる寸法の2つ以上の開口を含む開口システムを使用して、画像センサを露出させるスペクトルの異なる帯域で放射の量および視準を制御する。
DSPは、取り込まれた色および赤外信号を処理するように構成することができる。図5は、多開口撮像システムで使用するための典型的な画像処理ステップ500を示す。この例では、多開口撮像システムは、たとえばバイエルの色フィルタアレイを使用する従来の色画像センサを備える。その場合、主に赤色画素フィルタが、赤外放射を画像センサへ透過する。取り込まれた画像フレームの赤色画素データは、高振幅の赤色可視信号と、鮮明な低振幅の赤外非可視信号との両方を含む。赤外成分は、赤色可視成分より8分の1から16分の1少ないことがある。さらに、知られているカラーバランス技法を使用して赤色バランスを調整し、赤外放射の存在によって生じるわずかな歪みを補償することができる。他の変形形態では、RGBI画像センサを使用することができ、I画素によって赤外画像を直接得ることができる。
第1のステップ502で、バイエルフィルタにかけた生画像データが取り込まれる。その後、DSPは、赤外情報も含む赤色画像データを抽出することができる(ステップ504)。その後、DSPは、赤色画像データから赤外画像に関連するシャープネス情報を抽出し、このシャープネス情報を使用して色画像を強調することができる。
空間領域内でシャープネス情報を抽出する1つの方法は、赤色画像データを高域通過フィルタにかけることによって実現することができる。高域通過フィルタは、赤色画像内の高周波情報(高周波成分)を保持しながら、低周波情報(低周波成分)を低減させることができる。高域通過フィルタのカーネルは、近隣の画素に対して中心画素の明るさを増大させるように設計することができる。カーネルアレイは通常、中心に単一の正の値を収容し、負の値で完全に取り囲む。高域通過フィルタに対する3×3カーネルの簡単な非限定的な例は、次のように見えるであろう。
|-1/9 -1/9 -1/9|
|-1/9 8/9 -1/9|
|/1/9 -1/9 -1/9|
したがって、赤色画像データは高域通過フィルタを通過し(ステップ506)、赤外画像信号に関連する高周波成分(すなわち、シャープネス情報)を抽出する。
赤外開口の寸法が比較的小さいことで、赤外画像信号は比較的小さくなるため、フィルタにかけた高周波成分は、赤外開口に対する可視光開口の比に比例して増幅される(ステップ508)。
赤外開口の寸法が比較的小さいことの影響は、赤色画素によって取り込まれる赤外放射の帯域が赤色放射の帯域より約4倍広いことによって部分的に補償される(通常、デジタル赤外カメラは可視光カメラより4倍感度が高い)。増幅後、赤外画像信号から導出された増幅された高周波成分は、バイエルフィルタにかけた生画像データの各色成分に追加(混合)される(ステップ510)。このようにして、赤外画像データのシャープネス情報は色画像に追加される。その後、組み合わせた画像データは、当技術分野ではよく知られているデモザイキングアルゴリズムを使用して、フルRGB色画像に変換することができる(ステップ512)。
変形形態(図示せず)では、バイエルフィルタにかけた生画像データは、第1にRGB色画像にデモザイクされ、その後追加(混合)によって増幅された高周波成分と組み合わされる。
図5に示す方法で、多開口撮像システムは、より低い光の状況で効果的に動作するために広い開口を有すると同時に、より大きいDOFを有することができ、その結果、より鮮明な写真を得ることができる。さらに、この方法は、レンズの光学的性能を効果的に増大させて、同じ性能を実現するのに必要なレンズのコストを低減させる。
したがって多開口撮像システムにより、7という典型的なf値を有する簡単な移動電話カメラ(たとえば、焦点距離Nは7mmであり、直径は1mmである)では、第2の開口を介してDOFを改善することができ、f値は、たとえば直径0.5mmに対して14から直径0.2mm以下に対して最高70以上まで変動し、f値は、焦点距離fと開口の有効径の比によって画定される。好ましい実装形態は、付近の物体のシャープネスを増大させるために可視放射に対して約2から4のf値を含むとともに、遠くの物体のシャープネスを増大させるために赤外開口に対して約16から22のf値を含む光学系を含む。
多開口撮像システムによって提供されるDOFおよびISO感度の改善は、関連出願第PCT/EP2009/050502号および第PCT/EP2009/060936号により詳細に記載されている。さらに、図1〜5を参照して説明した多開口撮像システムを使用して、取り込まれた単一の画像に関連する深さ情報を生成することができる。より具体的には、多開口撮像システムのDSPは少なくとも1つの深さ関数を含むことができ、この深さ関数は、光学系のパラメータ依存し、一実施形態では、製造者が事前に決定して、デジタル画像処理機能内で使用するためにカメラのメモリ内に記憶することができる。
画像は、カメラレンズから異なる距離のところに位置する異なる物体を収容することができ、したがってカメラの焦点面により近い物体は、焦点面からより遠く離れている物体より鮮明になる。深さ関数は、画像の異なる領域内で撮像された物体に関連するシャープネス情報を、これらの物体がカメラから離された距離に関係する情報に関係付けることができる。一実施形態では、深さ関数Rは、カメラレンズから異なる距離のところにある物体に対する色画像成分と赤外画像成分とのシャープネスの比を判定することを伴うことができる。別の実施形態では、深さ関数Dは、高域通過フィルタにかけた赤外画像の自己相関分析を伴うことができる。これらの実施形態について、図6〜14を参照して以下により詳細に説明する。
第1の実施形態では、深さ関数Rは、色画像内のシャープネス情報と赤外画像内のシャープネス情報との比によって定義することができる。ここで、シャープネスパラメータは、いわゆる錯乱円に関係することができ、錯乱円は、画像センサによって測定された、物体空間内の不鮮明に撮像された点のぼけた箇所の直径に対応する。焦点ぼけを表すぼけた円盤の直径は、焦点面内の点では非常に小さく(0)、物体空間内でこの面から前景または背景の方へ離れると累進的に大きくなる。ぼけた円盤が極大の許容できる錯乱円cより小さい限り、この円盤は十分に鮮明であり、DOF範囲の一部であると考えられる。知られているDOF式から、物体の深さ、すなわちカメラからの物体の距離と、カメラ内のその物体のぼけの量(すなわち、シャープネス)との間には、直接関係が存在するという結果が得られる。
したがって、多開口撮像システム内では、赤外画像内のIR成分のシャープネスに対する色画像のRGB成分のシャープネスの増大または低減は、レンズからの撮像された物体の距離に依存する。たとえば、レンズを3メートルのところに集束させた場合、RGB成分とIR成分のシャープネスが同じになるものとする。対照的に、1メートルの距離のところにある物体に対する赤外画像に使用される開口は小さいため、RGB成分のシャープネスは、赤外成分のものより著しく低くなるであろう。この依存性を使用して、カメラレンズからの物体の距離を推定することができる。
具体的には、レンズが大きい(「無限」)焦点に設定された場合(この点を、多開口システムの過焦点距離Hと呼ぶことができる)、カメラは、色成分と赤外成分が等しく鮮明である画像内の点を判定することができる。画像内のこれらの点は、カメラから比較的大きい距離(通常、背景)のところに位置する物体に対応する。過焦点距離Hから離れて位置する物体の場合、赤外成分と色成分との間のシャープネスの相対的な差は、物体とレンズとの間の距離sの関数として増大する。1つの箇所(たとえば、1つの画素または画素群)で測定された色画像内のシャープネス情報と赤外情報内のシャープネス情報との間の比を、以下、深さ関数R(s)と呼ぶ。
深さ関数R(s)は、カメラレンズから異なる距離sのところにある1つまたは複数の試験物体に対するシャープネス比を測定するによって得ることができ、シャープネスは、それぞれの画像内の高周波成分によって判定される。図6Aは、本発明の一実施形態による深さ関数の判定に関連する流れ図600を示す。第1のステップ602で、少なくともカメラから過焦点距離Hのところに試験物体を位置決めすることができる。その後、多開口撮像システムを使用して画像データを取り込む。次いで、取り込まれたデータから、色画像および赤外情報に関連するシャープネス情報が抽出される(ステップ606〜608)。その後、シャープネス情報R(H)間の比がメモリ内に記憶される(ステップ610)。次いで、試験物体が過焦点距離Hから距離Δだけ離され、この距離でRが判定される。このプロセスは、カメラレンズに近接するまでのすべての距離に対してRが判定されるまで繰り返される(ステップ612)。これらの値は、メモリ内へ記憶することができる。補間を使用して、連続する深さ関数R(s)を得ることができる(ステップ614)。
一実施形態では、Rは、画像内の特定の箇所で測定される高周波赤外成分Dirの絶対値と高周波色成分Dcolの絶対値との間の比として定義することができる。別の実施形態では、特定の領域内の赤外成分と色成分との間の差を計算することができる。次いで、この領域内の差の和を、距離の尺度と見なすことができる。
図6Bは、DcolおよびDirの図を距離の関数として示し(グラフA)、R=Dir/Dcolの図を距離の関数として示す(グラフB)。グラフAでは、焦点距離N前後で高周波色成分が最も高い値を有し、また焦点距離から離れると、ぼけの影響の結果、高周波色成分は急速に低減することがわかる。さらに、赤外開口が比較的小さい結果、高周波赤外成分は、焦点Nから離れて大きな距離にわたって比較的高い値を有する。
グラフBは、その結果得られる深さ関数Rを示し、深さ関数Rは、Dir/Dcol間の比として定義され、焦点距離Nより実質上大きい距離にわたって、高周波赤外画像データ内にシャープネス情報が含まれることを示す。深さ関数R(s)は、製造者が事前に得ることができ、カメラのメモリ内に記憶することができ、多開口撮像システムによって取り込まれた画像を処理する1つまたは複数の後処理機能内でDSPによって使用することができる。一実施形態では、後処理機能の1つは、多開口撮像システムによって取り込まれた単一の画像に関連する深さマップの生成に関係することができる。図7は、本発明の一実施形態によるそのような深さマップを生成するプロセスの概略図を示す。多開口撮像システム内の画像センサが1つの画像フレーム内で可視画像信号と赤外画像信号を同時に取り込んだ後(ステップ702)、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込まれた生のモザイク画像内で色画素信号と赤外画素信号とを分離することができる(ステップ704)。その後、DSPは、色画像データ(たとえば、RGB画像)および赤外画像データ上で高域通過フィルタを使用して、両画像データの高周波成分を得ることができる(ステップ706)。
その後、DSPは、各画素p(i,j)または画素群に距離を関連付けることができる。この目的のために、DSPは、各画素p(i,j)に対して、高周波赤外成分と高周波色成分との間のシャープネス比R(i,j)を判定することができ、R(i,j)=Dir(i,j)/Dcol(i,j)である(ステップ708)。次いで、深さ関数R(s)、具体的には逆深さ関数R'(R)に基づいて、DSPは、各画素で測定されたシャープネス比R(i,j)を、カメラレンズまでの距離s(i,j)に関連付けることができる(ステップ710)。このプロセスは距離マップを生成し、マップ内の各距離値は画像内の画素に関連付けられる。このように生成されたマップは、カメラのメモリ内に記憶することができる(ステップ712)。
各画素に距離を割り当てるには、大量のデータ処理を必要とすることがある。演算量を低減させるために、一変形形態では、第1のステップで、よく知られている縁線検出アルゴリズムを使用して、画像内の縁線を検出することができる。その後、これらの縁線周辺の領域を、これらの領域内のシャープネス比Rを使用してカメラレンズからの距離を判定するためのサンプル領域として使用することができる。この変形形態は、必要な演算がより少ないという利点を提供する。
したがって、多開口カメラシステムによって取り込まれた画像、すなわち画素フレーム{p(i,j)}に基づいて、深さ関数を含むデジタル撮像処理装置は、関連する深さマップ{s(i,j)}を判定することができる。画素フレーム内の各画素に対して、深さマップは関連する距離値を含む。深さマップは、各画素p(i,j)に対して関連する深さ値s(i,j)を計算することによって判定することができる。別法として、深さマップは、深さ値を画像内の画素群に関連付けることによって判定することができる。深さマップは、任意の適したデータ形式で、取り込まれた画像とともにカメラのメモリ内に記憶することができる。
このプロセスは、図7を参照して説明するステップに限定されるものではない。本発明から逸脱することなく、様々な変形形態が可能である。たとえば、デモザイキングステップの前に、高域通過フィルタリングを適用することができる。その場合、高周波色画像は、高域通過フィルタにかけた画像データをデモザイキングすることによって得られる。
さらに、本発明から逸脱することなく、シャープネス情報に基づいて距離を判定する他の方法も可能である。たとえば、たとえば高域通過フィルタを使用して空間領域内のシャープネス情報(すなわち、縁線情報)を分析するのではなく、シャープネス情報はまた、周波数領域内で分析することもできる。たとえば一実施形態では、シャープネス情報を得るために、実行中の個別のフーリエ変換(DFT)を使用することができる。DFTを使用して、色画像と赤外画像の両方のフーリエ係数を計算することができる。これらの係数、具体的には高周波係数の分析で、距離を示すことができる。
たとえば、一実施形態では、色画像および赤外画像内の特定の領域に関連する高周波DFT係数の絶対差は、距離を示すために使用することができる。さらなる実施形態では、フーリエ成分を使用して、赤外信号および色信号に関連するカットオフ周波数を分析することができる。たとえば、画像の特定の領域内で、赤外画像信号のカットオフ周波数が色画像信号のカットオフ周波数より大きい場合、この差は距離を示すことができる。
深さマップに基づいて、様々な画像処理機能を実現することができる。図8は、本発明の一実施形態による立体視を得るための体系800を示す。物体Pからある距離sのところに位置決めされた元のカメラ位置C0に基づいて、2つの仮想カメラ位置C1およびC2(1つは左目用で、1つは右目用)を画定することができる。これらの仮想カメラ位置はそれぞれ、元のカメラ位置に対して距離-t/2および+t/2にわたって対称に変位させることができる。焦点距離N、C0、C1、C2、t、およびsの間の幾何学的関係を考えると、2つの仮想カメラ位置に関連する2つのシフトさせた「仮想」画像を生成するのに必要な画素のシフト量は、次の式によって判定することができる。
P1=p0-(t*N)/(2s)およびP2=p0+(t*N)/(2s)
したがって、これらの式および深さマップ内の距離情報s(i,j)に基づいて、画像処理機能により、元の画像内のp0(i,j)、第1の仮想画像および第2の仮想画像に関連する画素p1(i,j)およびp2(i,j)を、各画素に対して計算することができる(ステップ802〜806)。このようにして、元の画像内の各画素p0(i,j)は、立体視に適した2つのシフトされた画像{p1(i,j)}および{p2(i,j)}を生成する上式に従ってシフトさせることができる。
図9は、一実施形態によるさらなる画像処理機能900を示す。この機能により、多開口撮像システム内のDOFの制御された低減が可能になる。多開口撮像システムが固定レンズおよび固定多開口システムを使用するため、光学系は、この光学系の固定の(改善された)DOFで画像を送達する。しかし、状況によっては、可変DOFを有することが望ましいことがある。
第1のステップ902で、画像データおよび関連する深さマップを生成することができる。その後、この機能は、カットオフ距離として使用できる特定の距離s'の選択を可能にすることができ(ステップ904)、その後、高周波赤外成分に基づくシャープネスの強調は破棄されるべきである。深さマップを使用して、DSPは、画像内で、選択された距離s'より大きい物体とカメラの距離に関連する第1の領域を識別することができ(ステップ906)、また選択された距離s'より小さい物体とカメラの距離に関連する第2の領域を識別することができる。その後、DSPは、高周波赤外画像を検索し、識別された第1の領域内の高周波赤外成分を、マスキング関数に応じた値に設定することができる(ステップ910)。次いで、このように修正された高周波赤外画像は、図5に示す方法と類似の方法でRGB画像と混合することができる(ステップ912)。このようにして、RGB画像を得ることができ、カメラレンズから最高で距離s'だけ離れた画像内の物体は、高周波赤外成分から得られるシャープネス情報で強調される。このようにして、制御された方法で、DOFを低減させることができる。
本発明から逸脱することなく、様々な変形形態が可能であることが提起される。たとえば、単一の距離ではなく、多開口システムの使用者によって距離範囲[s1,s2]を選択することができる。画像内の物体は、カメラから離れた距離に関係付けることができる。その後、DSPは、どの物体領域がこの範囲内に位置するかを判定することができる。その後、これらの領域は、高周波成分内のシャープネス情報によって強調される。
さらなる画像処理機能は、カメラの焦点を制御することに関係することができる。この機能を、図10に概略的に示す。この実施形態では、(仮想)焦点距離N'を選択することができる(ステップ1004)。深さマップを使用して、この選択された焦点距離に関連する画像内の領域を判定することができる(ステップ1006)。その後、DSPは、高周波赤外画像を生成し(ステップ1008)、識別された領域外のすべての高周波成分を、マスキング関数に応じた値に設定することができる(ステップ1010)。このように修正された高周波赤外画像は、RGB画像と混合することができ(ステップ1012)、それによって焦点距離N'に関連する画像内の領域内のシャープネスのみを強調することができる。このようにして、制御可能な方法で、画像内の焦点を変動させることができる。
焦点距離を制御するさらなる変形形態は、複数の焦点距離N'、N''などの選択を含むことができる。これらの選択された距離のそれぞれに対して、赤外画像内の関連する高周波成分を判定することができる。図10を参照して説明した方法と類似の方法で、後に高周波赤外画像を修正して色画像と混合する結果、たとえば2メートルのところにある焦点が合った物体、3メートルのところにある焦点が外れた物体、および4メートルのところにある焦点が合った物体を有する画像を得ることができる。さらに別の実施形態では、図9および図10を参照して説明した焦点制御を、画像内の1つまたは複数の特定の領域に適用することができる。この目的のために、使用者またはDSPは、焦点制御が望ましい画像内で1つまたは複数の特定の領域を選択することができる。
さらに別の実施形態では、距離関数R(s)および/または深さマップを使用し、知られている画像処理機能(たとえば、フィルタリング、混合、平衡化など)を使用して前記取り込まれた画像を処理することができ、そのような機能に関連する1つまたは複数の画像処理機能パラメータは、深さ情報に依存している。たとえば、一実施形態では、深さ情報を使用して、高周波赤外画像を生成するために使用される高域通過フィルタのカットオフ周波数および/またはロールオフを制御することができる。画像の特定の領域に対する色画像と赤外画像内のシャープネス情報が実質上類似しているとき、必要とされる赤外画像のシャープネス情報(すなわち、高周波赤外成分)はより少ない。したがって、その場合、非常に高いカットオフ周波数を有する高域通過フィルタを使用することができる。対照的に、色画像と赤外画像内のシャープネス情報が異なるとき、赤外画像内のシャープネス情報によって色画像内のぼけを補償できるように、より低いカットオフ周波数を有する高域通過フィルタを使用することができる。このようにして、画像全体にわたって、または画像の特有の部分内で、色画像と赤外画像内のシャープネス情報の差に応じて、高域通過フィルタのロールオフおよび/またはカットオフ周波数を調整することができる。
深さマップの生成、およびそのような深さマップに基づく画像処理機能の実装は、上記の実施形態に限定されるものではない。
図11は、さらなる実施形態による深さ情報を生成する多開口撮像システム1100の概略図を示す。この実施形態では、深さ情報は、修正された多開口構成を使用することによって得られる。たとえば図4に示すように中心の1つの赤外開口ではなく、図11の多開口1101は、絞りの縁線に(または周辺部に沿って)複数(すなわち、2つ以上)の小さい赤外開口1102、1104を含み、より大きい色開口1106を形成する。これらの複数の小さい開口は、図4に示す単一の赤外開口より実質上小さく、それによって焦点が合った物体1108が鮮明な単一の赤外画像1112として撮像面1110上へ撮像されるという効果をもたらす。対照的に、焦点が外れた物体1114は、2つの赤外画像1116、1118として撮像面上へ撮像される。第1の赤外開口1102に関連する第1の赤外画像1116は、第2の赤外開口に関連する第2の赤外画像1118に対して特定の距離Δにわたって変位される。普通なら焦点が外れたレンズに関連する連続してぼけた画像ではなく、複数の小さい赤外開口を含む多開口は、個別の鮮明な画像の形成を可能にする。単一の赤外開口と比較すると、複数の赤外開口を使用することで、より小さい開口を使用することができ、それによって被写界深度のさらなる増大を実現することができる。物体の焦点が外れれば外れるほど、画像が変位する距離Δはより大きくなる。したがって、2つの撮像された赤外画像間の変位距離Δは、物体とカメラレンズとの間の距離の関数であり、深さ関数Δ(s)を判定するために使用することができる。
深さ関数Δ(s)は、カメラレンズから複数の距離のところにある試験物体を撮像し、それらの異なる距離のところでΔを測定することによって判定することができる。Δ(s)は、カメラのメモリ内に記憶することができ、以下でより詳細に論じる1つまたは複数の後処理機能において、DSPによって使用することができる。
一実施形態では、1つの後処理機能は、図11を参照して説明したように個別の多開口を含む多開口撮像システムによって取り込まれた単一の画像に関連する深さ情報の生成に関係することができる。1つの画像フレーム内の可視画像信号と赤外画像信号の両方を同時に取り込んだ後、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込まれた生のモザイク画像内で色画素信号と赤外画素信号とを分離することができる。その後、DSPは、赤外画像データ上で高域通過フィルタを使用して、物体の焦点が合った領域と物体の焦点が外れた領域とを含むことができる赤外画像データの高周波成分を得ることができる。
さらに、DSPは、自己相関関数を使用して高周波赤外画像データから深さ情報を導出することができる。このプロセスを、図12に概略的に示す。高周波赤外画像1204(の一部)の自己相関関数1202をとると、焦点が合っている撮像された物体1208の高周波の縁線に単一のスパイク1206が表れる。対照的に、この自己相関関数は、焦点が外れている撮像された物体1212の高周波の縁線に2重のスパイク1210を生成する。ここで、スパイク間のシフトは、2つの高周波赤外画像間のシフトΔを表し、シフトΔは、撮像された物体とカメラレンズとの間の距離sに依存する。
したがって、高周波赤外画像(の一部)の自己相関関数は、物体の焦点が外れている高周波赤外画像内の位置に2重のスパイクを含み、2重のスパイク間の距離は、距離の尺度(すなわち、焦点距離から離れる距離)を提供する。さらに、自己相関関数は、物体の焦点が合っている画像内の位置に単一のスパイクを含む。DSPは、2重のスパイク間の距離を、所定の深さ関数Δ(s)を使用する距離に関連付けることによって自己相関関数を処理し、この自己相関関数内の情報を、「実際の距離」に関連する深さマップに変換することができる。
図8〜10を参照して上述したように、深さマップの類似の機能、たとえば立体視を使用してDOFおよび焦点の制御を実行することができる。たとえば、Δ(s)または深さマップを使用して、特定の選択されたカメラと物体の距離に関連する赤外画像内の高周波成分を選択することができる。
特定の画像処理機能は、高周波赤外画像の自己相関関数を分析することによって実現することができる。図13は、たとえば、自己相関関数内のピークの幅を特定の閾値幅と比較することによってDOFが低減されるプロセス1300を示す。第1のステップ1302で、図11に示す多開口撮像システムを使用して画像が取り込まれ、色および赤外画像データが抽出され(ステップ1304)、高周波赤外画像データが生成される(ステップ1306)。その後、高周波赤外画像データの自己相関関数が計算される(ステップ1308)。さらに、閾値幅wが選択される(ステップ1310)。特定の撮像された物体に関連する自己相関関数内のピークが閾値幅より狭い場合、自己相関関数内のそのピークに関連する高周波赤外成分は、色画像データと組み合わせるために選択される。特定の撮像された物体の縁線に関連する自己相関関数内のピークまたは2つのピーク間の距離が閾値幅より広い場合、相関関数内のそのピークに関連する高周波成分は、マスキング関数に応じて設定される(ステップ1312〜1314)。その後、このように修正された高周波赤外画像は、多開口によって導入されるシフトΔをなくすように標準的な画像処理技法を使用して処理され、その結果、色画像データと混合することができる(ステップ1316)。混合後、色画像が形成され、低減されたDOFが形成される。このプロセスにより、所定の閾値幅を選択することによってDOFを制御することができる。
図14は、上述の多開口撮像システム内で使用するための多開口の2つの非限定的な例1402、1410を示す。第1の多開口1402は、2つの異なる薄膜フィルタを有する透明な基板と、EMスペクトルの第1の帯域内の放射を透過する第1の開口を形成する基板の中心にある第1の円形の薄膜フィルタ1404と、EMスペクトルの第2の帯域内の放射を透過する第1のフィルタの周囲に形成(たとえば、同心円状に)された第2の薄膜フィルタ1406とを含むことができる。
第1のフィルタは、可視放射と赤外放射の両方を透過するように構成することができ、第2のフィルタは、赤外放射を反射し、可視放射を透過するように構成することができる。外側の同心円の外径は、不透明な開口ホルダ1408内の開口によって画定することができ、または別法として赤外放射と可視放射をどちらも遮断する基板上に堆積された不透明な薄膜層1408内に画定された開口によって画定することができる。薄膜多開口の形成の背後にある原理は、3つ以上の開口を含む多開口に容易に拡張することができ、各開口はEMスペクトル内の特定の帯域に関連する放射を透過することが、当業者には明らかである。
一実施形態では、第2の薄膜フィルタは、赤外スペクトル内の放射を反射し、可視スペクトル内の放射を透過する2色性フィルタに関係することができる。干渉フィルタとも呼ばれる2色性フィルタは当技術分野ではよく知られており、通常、赤外放射(たとえば、約750から1250ナノメートルの波長を有する放射)を反射し、スペクトルの可視部分内の放射を透過するように構成された特有の厚さの複数の薄膜誘電体層を含む。
図11を参照して説明した多開口システム内で、第2の多開口1410を使用することができる。この変形形態では、多開口は、比較的大きい第1の開口1412を構成し、第1の開口1412は、不透明な開口ホルダ1414内の開口として画定され、または別法として赤外放射と可視放射をどちらも遮断する透明な基板上に堆積された不透明な薄膜層内に画定された開口によって画定される。この比較的大きい第1の開口内では、複数の小さい赤外開口1416〜1422が、第1の開口内に形成される薄膜ホットミラーフィルタ1424内の開口として画定される。
複数の小さい赤外開口は、これらの開口を介して得られる画像データ内の高周波情報(すなわち、縁線情報)が物体と前記撮像システムとの間の距離の関数として変位されるように、互いに対して位置決めすることができる。一実施形態では、多開口は、第1の開口の周辺部に沿って複数の小さい赤外開口として位置することができる。
本発明の実施形態は、コンピュータシステムで使用するためのプログラム製品として実施することができる。プログラム製品のプログラムは、実施形態(本明細書に記載の方法を含む)の機能を定義し、様々なコンピュータ可読記憶媒体上に収容することができる。例示的なコンピュータ可読記憶媒体は、それだけに限定されるものではないが、(i)情報が永久的に記憶される書込み可能でない記憶媒体(たとえば、CD-ROMドライブによって読取り可能なCD-ROMディスク、フラッシュメモリ、ROMチップ、または任意のタイプの固体の不揮発性半導体メモリなど、コンピュータ内の読取り専用記憶装置)、および(ii)変更可能な情報が記憶される書込み可能記憶媒体(たとえば、ディスケットドライブ内のフロッピー（登録商標）ディスク、もしくはハードディスクドライブ、または任意のタイプの固体のランダムアクセス半導体メモリ)を含む。
いずれか1つの実施形態に関連して記載したあらゆる特徴は、単独で、または記載の他の特徴と組み合わせて使用することができ、任意の他の実施形態の1つもしくは複数の特徴、または任意の他の実施形態の任意の組合せと組み合わせて使用することもできることを理解されたい。さらに、本発明は、上述した実施形態に限定されるものではなく、これらは添付の特許請求の範囲の範囲内で変更することができる。
102 画像センサ
104 レンズシステム
106 シャッタ
108 開口システム
110 アナログ-デジタル(A/D)変換器
112 デジタル信号処理装置(DSP)
114 中央処理装置
116 記憶メモリ
118 プログラムメモリ
120 色フィルタアレイ(CFA)
122 EM放射
124 信号処理機能
202 赤外遮断フィルタ(ホットミラーフィルタ)をもたないデジタルカメラの典型的な色応答
204 青色画素フィルタ
206 緑色画素フィルタ
208 赤色画素フィルタ
210 ホットミラーフィルタの応答
302 ホットミラーフィルタの応答
304 シリコンの応答
400 多開口システム
402 円形の孔
404 フィルタ被覆
406 不透明な覆い
412 レンズ
414 撮像面
416 第1の(比較的)広い開口の画像信号
418 第2の小さい開口の画像信号
420 物体
422 物体
1100 多開口撮像システム
1101 多開口
1102 第1の赤外開口
1104 第2の赤外開口
1106 より大きい色開口
1108 焦点が合った物体
1110 撮像面
1112 鮮明な単一の赤外画像
1114 焦点が外れた物体
1116 第1の赤外画像
1118 第2の赤外画像
1202 自己相関関数
1204 高周波赤外画像
1206 単一のスパイク
1208 物体
1210 2重のスパイク
1212 物体
1402 第1の多開口
1404 第1の円形の薄膜フィルタ
1406 第2の薄膜フィルタ
1408 不透明な開口ホルダ、不透明な薄膜層
1410 第2の多開口
1412 比較的大きい第1の開口
1414 不透明な開口ホルダ
1416 複数の小さい赤外開口
1418 複数の小さい赤外開口
1420 複数の小さい赤外開口
1422 複数の小さい赤外開口
1424 薄膜ホットミラーフィルタ
C0 元のカメラ位置
C1 仮想カメラ位置
C2 仮想カメラ位置
D 深さ関数
Dcol 高周波色成分
Dir 高周波赤外成分
N レンズの焦点距離
P 物体
p0 画素
p1 画素
p2 画素
R シャープネス比
s 距離
-t/2 距離
+t/2 距離
Δ 距離

Claims (15)

  1. 多開口画像データを処理する方法であって、
    少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口および第3の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって、1つまたは複数の物体に関連する画像データを取り込むステップであって、前記第２の開口および前記第３の開口は、前記第１の開口より小さい、取り込むステップと、
    前記電磁スペクトルの前記第1の部分に対する前記画像センサの露出によって第1の画像データおよび前記電磁スペクトルの前記第2の部分に対する前記画像センサの露出によって第2の画像データを生成するステップと、
    前記第2の画像データ内の変位情報に基づいて、前記取り込まれた画像データに関連する深さ情報を生成するステップと
    を含む方法。
  2. 前記深さ情報は、前記第2の画像データに関連する高周波画像データの自己相関関数内の変位情報に基づいて生成される、請求項１に記載の方法。
  3. 少なくとも前記第2の開口と前記第3の開口が、前記第2の画像データ内の高周波情報が物体と前記撮像システムとの間の距離の関数として変位されるように、互いに対して位置決めされる、請求項1または２に記載の方法。
  4. 前記第２の画像データに関連する前記自己相関した高周波画像データの1つまたは複数の領域内で、撮像された物体の縁線に関連する1つまたは複数のピークを識別するステップと、
    前記1つまたは複数の識別されたピークに基づいて、前記撮像システムと前記物体の少なくとも1つとの間の距離を判定するステップと
    を含む、請求項2に記載の方法。
  5. 焦点が合っている撮像された物体の縁線に関連する単一のピークを識別し、かつ/または焦点が外れている撮像された物体に関連する2重もしくは複数のピークを識別するステップと、
    所定の深さ関数を使用することによって、前記単一のピークおよび/または前記2重もしくは複数のピーク内のピーク間の距離を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関係付けるステップと
    を含む、請求項１〜４のいずれか一項に記載の方法。
  6. 前記電磁スペクトルの前記第1の部分が、可視スペクトルの少なくとも一部に関連し、かつ/または前記電磁スペクトルの前記第2の部分が、非可視スペクトルの少なくとも一部に関連する、請求項1から５のいずれか一項に記載の方法。
  7. 前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを判定するステップ、ならびに/または
    前記第2の開口および前記第3の開口によって生成された前記高周波の第2の画像データ内の変位をなくすステップ
    を含む、請求項1から６のいずれか一項に記載の方法。
  8. 前記第2の画像データ内の前記変位情報を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関連付けることによって、前記取り込まれた画像データの少なくとも一部に関連する深さマップを生成するステップを含む、請求項1から７のいずれか一項に記載の方法。
  9. 前記深さ情報に基づいて前記第1の画像データ内の画素をシフトさせることによって、立体視で使用するための少なくとも1つの画像を生成するステップを含む、請求項1から８のいずれか一項に記載の方法。
  10. 少なくとも1つの閾値距離または少なくとも1つの距離範囲を提供するステップと、
    前記深さ情報に基づいて、高周波の第2の画像データ内で、前記閾値距離より大きいもしくは小さい距離に関連する1つもしくは複数の領域を識別し、または前記高周波の第2の画像データ内で、前記少なくとも1つの距離範囲内の距離に関連する1つもしくは複数の領域を識別するステップと、
    前記第2の高周波画像データの前記識別された1つまたは複数の領域内の高周波成分を0に、または1つもしくは複数の所定の値に設定するステップと、
    前記第2の高周波画像データを前記第1の画像データに追加するステップと
    を含む、請求項1から９のいずれか一項に記載の方法。
  11. 少なくとも1つの焦点距離を提供するステップと、
    前記深さ情報に基づいて、高周波の第2の画像データ内で、前記少なくとも1つの焦点距離に等しい距離に関連する1つまたは複数の領域を識別するステップと、
    前記識別された1つまたは複数の領域以外の領域内の前記高周波の第2の画像データを0に、または1つもしくは複数の所定の値に設定するステップと、
    前記高周波の第2の画像データを前記第1の画像データに追加するステップと
    を含む、請求項1から９のいずれか一項に記載の方法。
  12. 画像処理機能を使用して前記取り込まれた画像を処理するステップであって、1つまたは複数の画像処理機能パラメータが前記深さ情報に依存している、処理するステップを含む、請求項1から９のいずれか一項に記載の方法。
  13. 波長選択性の多開口システムであって、
    電磁スペクトルの少なくとも第1の部分に対する画像センサの露出を制御する少なくとも第1の開口と、
    前記電磁スペクトルの少なくとも第2の部分に対する撮像システム内の画像センサの露出を制御する少なくとも第2の開口および第3の開口であって、前記電磁スペクトルの前記第2の部分に第2の画像データが関連する、第2の開口および第3の開口と
    を含み、
    前記第2の開口と前記第3の開口が、前記第１の開口より小さく、前記第２の開口と前記第３の開口が、前記第2の画像データ内の高周波情報が物体と前記撮像システムとの間の距離の関数として変位されるように、互いに対して位置決めされる、波長選択性の多開口システム。
  14. 画像データを取り込む画像センサと、
    光学レンズシステムと、
    少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口および第3の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、前記画像センサを同時に露出させるように構成された波長選択性の多開口であって、前記第２の開口および前記第３の開口は、前記第１の開口より小さい、波長選択性の多開口と、
    電磁スペクトルの前記第1の部分に関連する第1の画像データおよび前記電磁スペクトルの前記第2の部分に関連する第2の画像データを生成する第1の処理モジュールと、
    前記第2の画像データ内の変位情報に基づいて、前記取り込まれた画像データに関連する深さ情報を生成する第2の処理モジュールと
    を備える多開口撮像システム。
  15. 画像データを処理するコンピュータプログラムであって、コンピュータシステムのメモリ内で実行中に、請求項1から１２のいずれか一項に記載の方法ステップを実施するように構成されたソフトウェアコード部分を含む、コンピュータプログラム。
JP2012553197A 2010-02-19 2010-02-19 多開口画像データの処理 Expired - Fee Related JP5670481B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/052154 WO2011101036A1 (en) 2010-02-19 2010-02-19 Processing multi-aperture image data

Publications (2)

Publication Number Publication Date
JP2013520855A JP2013520855A (ja) 2013-06-06
JP5670481B2 true JP5670481B2 (ja) 2015-02-18

Family

ID=42458671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012553197A Expired - Fee Related JP5670481B2 (ja) 2010-02-19 2010-02-19 多開口画像データの処理

Country Status (5)

Country Link
US (1) US9495751B2 (ja)
EP (1) EP2537345A1 (ja)
JP (1) JP5670481B2 (ja)
CN (1) CN103229509B (ja)
WO (1) WO2011101036A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI754907B (zh) * 2019-03-25 2022-02-11 弗勞恩霍夫爾協會 用以產生深度圖之包含多光圈影像裝置之裝置

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2594062B1 (en) 2010-07-16 2016-09-14 Dual Aperture International Co. Ltd. Flash system for multi-aperture imaging
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
WO2013054160A1 (en) * 2011-10-11 2013-04-18 Sony Ericsson Mobile Communications Ab Light sensitive, low height, and high dynamic range camera
JP5830348B2 (ja) * 2011-10-26 2015-12-09 オリンパス株式会社 撮像装置
WO2013146066A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
JP5687803B2 (ja) 2012-05-09 2015-03-25 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
WO2014006514A2 (en) * 2012-07-04 2014-01-09 Opera Imaging B.V. Image processing in a multi-channel camera
EP2872966A1 (en) 2012-07-12 2015-05-20 Dual Aperture International Co. Ltd. Gesture-based user interface
TWI451344B (zh) 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
WO2014130019A1 (en) * 2013-02-20 2014-08-28 Intel Corporation Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video
WO2014160510A2 (en) * 2013-03-13 2014-10-02 Massachusetts Institute Of Technology Photometric stereo endoscopy
EP2975844B1 (en) 2013-03-13 2017-11-22 Fujitsu Frontech Limited Image processing device, image processing method, and program
CN108989649B (zh) * 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
KR102066938B1 (ko) * 2013-08-20 2020-01-16 한화테크윈 주식회사 영상 처리 장치 및 방법
KR102112298B1 (ko) * 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
FR3022377B1 (fr) * 2014-06-13 2017-08-25 Morpho Dispositif d'acquisition optique pour systemes biometriques
WO2016117716A1 (ko) * 2015-01-20 2016-07-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도 정보를 추출하기 위한 방법 및 장치
US9674466B2 (en) * 2015-02-26 2017-06-06 Dual Aperture International Co., Ltd. Hybrid image correction for dual-aperture camera
WO2016137238A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co., Ltd. Processing multi-aperture image data
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US20160255334A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Generating an improved depth map using a multi-aperture imaging system
US9712809B2 (en) 2015-05-22 2017-07-18 Intel Corporation Integrated digital camera platform with NIR apodization filter for enhanced depth sensing and image processing
DE102015215837A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Verfahren zum Herstellen derselben und Abbildungssystem
KR102374116B1 (ko) * 2015-09-30 2022-03-11 삼성전자주식회사 전자 장치
US9456195B1 (en) 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
TWI577971B (zh) * 2015-10-22 2017-04-11 原相科技股份有限公司 雙孔徑測距系統
US20170140221A1 (en) * 2015-11-13 2017-05-18 Intel Corporation Dual function camera for infrared and visible light with electrically-controlled filters
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
US10051263B2 (en) * 2015-11-23 2018-08-14 Center For Integrated Smart Sensors Foundation Multi-aperture camera system using scan line processing
KR101684194B1 (ko) 2015-12-17 2016-12-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
CN105635548A (zh) * 2016-03-29 2016-06-01 联想(北京)有限公司 一种摄像模组
EP3422700B1 (en) 2017-06-29 2021-03-10 Axis AB A method for enhancing color images, and an assembly performing such method
EP3343287B1 (en) 2016-12-28 2018-11-21 Axis AB A method for sequential control of ir-filter, and an assembly performing such method
EP3343897B1 (en) 2016-12-28 2019-08-21 Axis AB Camera and method of producing color images
EP3343894B1 (en) 2016-12-28 2018-10-31 Axis AB Ir-filter arrangement
KR102635884B1 (ko) 2018-10-31 2024-02-14 삼성전자주식회사 조리개를 포함하는 카메라 모듈
CN111190285A (zh) * 2020-02-18 2020-05-22 中国人民解放军陆军工程大学 多孔径单探测器光学成像系统
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
US12022214B2 (en) 2020-09-04 2024-06-25 Qualcomm Incorporated Sensitivity-biased pixels
EP4248416A4 (en) * 2020-11-23 2024-04-24 Fingerprint Cards Anacatum IP AB BIOMETRIC IMAGING DEVICE WITH COLOR FILTERS AND IMAGING METHODS USING THE BIOMETRIC IMAGING DEVICE
US11606517B1 (en) 2021-06-07 2023-03-14 Waymo Llc Enhanced depth of focus cameras using variable apertures and pixel binning

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2921509A (en) * 1955-10-24 1960-01-19 Freund Karl Multiple exposure camera
US4965840A (en) 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
JP3614898B2 (ja) 1994-11-08 2005-01-26 富士写真フイルム株式会社 写真撮影装置、画像処理装置及び立体写真作成方法
US5814803A (en) * 1994-12-23 1998-09-29 Spectra-Physics Scanning Systems, Inc. Image reader with multi-focus lens
US7006132B2 (en) * 1998-02-25 2006-02-28 California Institute Of Technology Aperture coded camera for three dimensional imaging
US7683926B2 (en) * 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
US8248457B2 (en) * 1999-02-25 2012-08-21 Visionsense, Ltd. Optical device
JP4020527B2 (ja) * 1999-03-16 2007-12-12 オリンパス株式会社 電子カメラ
SE518050C2 (sv) * 2000-12-22 2002-08-20 Afsenius Sven Aake Kamera som kombinerar skarpt fokuserade delar från olika exponeringar till en slutbild
JP2002344999A (ja) * 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
US7224540B2 (en) * 2005-01-31 2007-05-29 Datalogic Scanning, Inc. Extended depth of field imaging system using chromatic aberration
US7577309B2 (en) * 2005-06-18 2009-08-18 Muralidhara Subbarao Direct vision sensor for 3D computer vision, digital imaging, and digital video
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
JP2007139893A (ja) 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
CN101371568B (zh) * 2006-01-20 2010-06-30 松下电器产业株式会社 复眼方式的照相机模块及其制造方法
US7372642B2 (en) * 2006-02-13 2008-05-13 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures
US7819591B2 (en) * 2006-02-13 2010-10-26 3M Innovative Properties Company Monocular three-dimensional imaging
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
WO2007096816A2 (en) 2006-02-27 2007-08-30 Koninklijke Philips Electronics N.V. Rendering an output image
JP5315574B2 (ja) 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
JP4757221B2 (ja) 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
WO2008127685A1 (en) * 2007-04-13 2008-10-23 John Kesterson Filter assembly and image enhancement system for a surveillance camera and method of using the same
JP4359855B2 (ja) 2007-07-09 2009-11-11 Ｓｍｃ株式会社 電磁弁駆動回路及び電磁弁
US20090015681A1 (en) * 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US20090159799A1 (en) 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
WO2009097552A1 (en) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
JP2009232348A (ja) 2008-03-25 2009-10-08 Nikon Corp 撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法
US8958539B2 (en) * 2008-04-23 2015-02-17 Centurylink Intellectual Property Llc System and method for network based call transfers
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
US8558940B2 (en) * 2008-11-27 2013-10-15 Nikon Corporation Image sensor and image-capturing device
US8830377B2 (en) * 2010-01-04 2014-09-09 Duke University Monocentric lens-based multi-scale optical systems and methods of use
JP5486017B2 (ja) 2009-01-16 2014-05-07 アイピーリンク・リミテッド イメージングシステムの被写界深度の改善
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
WO2011023224A1 (en) 2009-08-25 2011-03-03 Iplink Limited Reducing noise in a color image
EP2537332A1 (en) 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9247238B2 (en) * 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8749636B2 (en) * 2011-07-12 2014-06-10 Lockheed Martin Corporation Passive multi-band aperture filters and cameras therefrom
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US9264676B2 (en) * 2012-01-06 2016-02-16 Microsoft Technology Licensing, Llc Broadband imager

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI754907B (zh) * 2019-03-25 2022-02-11 弗勞恩霍夫爾協會 用以產生深度圖之包含多光圈影像裝置之裝置
US12007680B2 (en) 2019-03-25 2024-06-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device comprising a multi-aperture imaging device for generating a depth map

Also Published As

Publication number Publication date
US20130033578A1 (en) 2013-02-07
JP2013520855A (ja) 2013-06-06
WO2011101036A1 (en) 2011-08-25
CN103229509B (zh) 2016-08-17
EP2537345A1 (en) 2012-12-26
CN103229509A (zh) 2013-07-31
US9495751B2 (en) 2016-11-15

Similar Documents

Publication Publication Date Title
JP5670481B2 (ja) 多開口画像データの処理
JP5728673B2 (ja) 多開口画像データの処理
US9635275B2 (en) Flash system for multi-aperture imaging
US20160286199A1 (en) Processing Multi-Aperture Image Data for a Compound Imaging System
US20160042522A1 (en) Processing Multi-Aperture Image Data
US9721357B2 (en) Multi-aperture depth map using blur kernels and edges
EP3133646A2 (en) Sensor assembly with selective infrared filter array
JP5670456B2 (ja) カラー画像のノイズを低減すること
JP5486017B2 (ja) イメージングシステムの被写界深度の改善
TWI496463B (zh) 形成全彩色影像之方法
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
WO2016137239A1 (en) Generating an improved depth map usinga multi-aperture imaging system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140129

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141217

R150 Certificate of patent or registration of utility model

Ref document number: 5670481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees