JP5734425B2 - 多開口撮像のためのフラッシュシステム - Google Patents

多開口撮像のためのフラッシュシステム Download PDF

Info

Publication number
JP5734425B2
JP5734425B2 JP2013518959A JP2013518959A JP5734425B2 JP 5734425 B2 JP5734425 B2 JP 5734425B2 JP 2013518959 A JP2013518959 A JP 2013518959A JP 2013518959 A JP2013518959 A JP 2013518959A JP 5734425 B2 JP5734425 B2 JP 5734425B2
Authority
JP
Japan
Prior art keywords
image
spectrum
radiation
aperture
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013518959A
Other languages
English (en)
Other versions
JP2013538479A (ja
Inventor
アンドリュー・アウグスティン・ワイス
Original Assignee
デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド filed Critical デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド
Publication of JP2013538479A publication Critical patent/JP2013538479A/ja
Application granted granted Critical
Publication of JP5734425B2 publication Critical patent/JP5734425B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Description

本発明は、多開口画像データの処理に関し、詳細には、排他的ではないが、風景の画像を形成する方法およびシステム、ならびにそのような方法を使用するコンピュータプログラム製品に関する。
現在のカメラ内で使用されるすべての光学系に存在する制限は、開口と被写界深度(DOF)との間の兼ね合いである。開口は、カメラに入る光の量を決定し、DOFは、画像が取り込まれたときに焦点が合っているカメラからの距離範囲を決定する。開口が広ければ広いほど(受け取った光が多ければ多いほど)、DOFはより制限される。
多くの適用分野で、開口とDOFとの間の兼ね合いは明らかである。たとえば、大部分の移動電話は固定焦点レンズを有し、したがって、制限された範囲内の被写体だけに焦点が合う。また、可能な限り多くの物体に焦点を合わせるためにカメラの開口を比較的小さくしなければならないという点で、カメラの開口設定は制約を受ける。この兼ね合いは、低輝度の状況でカメラの性能を低減させ、通常はシャッタ速度を4分の1または8分の1に低減させる。
さらに、低輝度の適用分野では、広い開口が必要とされ、その結果、DOFの損失を招く。複数の物体がカメラから異なる距離を隔てたところに位置する写真では、集束レンズを使用した場合でも、一部の物体の焦点が外れる。広い開口のレンズは、光学性能のためにより大きい精度を必要とし、したがって高価である。
従来技術では、DOFを増大させる技法が知られている。「焦点合成(focus stacking)」と呼ばれる1つの技法では、連続する時点に異なる焦点距離で撮影された複数の画像を組み合わせて、その結果、個々のソース画像のいずれよりも大きい被写界深度DOFを有する画像を生成する。焦点合成の実施には、カメラ電子機器の適合、ならびに比較的大量の画像データの実質的な(非線形)処理および画像分析が必要である。さらに、焦点合成には、連続する瞬間に撮影された複数の画像が必要であるため、この技法は動きによるぼけの影響を受けやすい。
別の手法は、Greenらによる記事、「Multi-aperture photography」、ACM Transactions on Graphics、26(3)、2007年7月、68:1〜68:7頁に記載されている。この記事で著者らは、異なる開口寸法を有する複数の画像を同時に取り込むシステムを使用してFODを増大させることを提案している。このシステムは、中心の円板および1組の同心円内で開口を分割する開口分割鏡を使用する。しかしこの開口分割鏡は、製造するのが複雑であり、高い光学収差をもたらす。さらに、カメラ内でそのような分割鏡を実施するには、高精度の位置合わせを必要とする相対的に複雑な光学系を必要とする。
したがって従来技術では、撮像システム内の被写界深度を改善する簡単かつ安価な方法およびシステムが必要とされている。
参照により本明細書に組み込まれている、国際特許出願第PCT/EP2009/050502号および第PCT/EP2009/060936号というPCT出願は、色撮像技法と赤外撮像技法の両方を組み合わせる光学系を使用することによって固定焦点レンズ撮像システムの被写界深度を拡大する方法について記載している。色スペクトルと赤外スペクトルの両方で撮像するように適合された画像センサと、波長選択性の多開口の開口とを組み合わせて使用することで、簡単かつ費用効果の高い方法により、固定焦点レンズを有するデジタルカメラに対する被写界深度を拡大し、ISO速度を増大させることができる。この方法では、知られているデジタル撮像システムに対して必要な手直しはわずかであり、そのためこの処理は大量生産に特に適している。
さらに、同じく参照により本明細書に組み込まれている、国際特許出願第PCT/EP2010/052151号および第PCT/EP2010/052154号というPCT出願は、多開口撮像システムを使用することによって深度マップを生成する方法について記載している。
多開口撮像システムを使用することで、知られているデジタル撮像システムに比べて実質的な利点を提供するが、当技術分野では、さらに高度な機能性を有する多開口撮像システムを提供できる方法およびシステムが必要とされている。
本発明の目的は、従来技術で知られている欠点の少なくとも1つを低減または解消することである。第1の態様では、本発明は、風景の画像を形成する方法に関係する。この方法は、少なくとも第1の開口を使用して電磁(EM)スペクトルの第1の部分からの放射に、また第1の開口とは異なる寸法を有する少なくとも第2の開口を使用してEMスペクトルの第2の部分からの放射に、画像センサを露出させることによって、風景の第1の画像を取り込むステップと、EMスペクトルの第1の部分からの放射によって生成される第1の画像の画像データに基づいて、またEMスペクトルの第2の部分からの放射によって生成される第1の画像の画像データに基づいて、風景の画像を形成するステップとを含む。第1の画像を取り込むと同時に、EMスペクトルの第2の部分からの放射によって風景が照射される。
本明細書では、「放射によって風景が照射される」とは、光波長(たとえば、赤外、可視、または紫外放射)のEM放射によって風景を照射することを意味する。さらに本明細書では、「画像を取り込むと同時に放射によって風景を照射する」とは、画像センサを放射に露出させる行為の少なくとも一部と照射行為とが同時に行われることを意味する。照射の継続時間は、画像センサを放射に露出させる継続時間より小さくすることができる。
2つの異なる開口からの放射で画像センサを露出させることによって、光学系のDOFを非常に簡単に改善することができる。この方法により、固定焦点レンズの開口を比較的広くし、したがってより低輝度の状況で効果的に動作することができ、同時により大きいDOFを提供し、その結果より鮮明な写真を得ることができる。さらに、この方法は、レンズの光学性能を効果的に増大させ、同じ性能を実現するのに必要なレンズのコストを低減させる。
第2の態様では、この本発明は、風景の画像を形成する多開口撮像システムに関する。このシステムは、フラッシュと、画像センサと、波長選択性の多開口と、処理モジュールとを含む。波長選択性の多開口は、少なくとも第1の開口を使用してEMスペクトルの第1の部分からの放射に、また第1の開口とは異なる寸法を有する少なくとも第2の開口を使用してEMスペクトルの第2の部分からの放射に、画像センサを露出させることによって、第1の画像を取り込むように構成される。処理モジュールは、EMスペクトルの第1の部分からの放射によって生成される第1の画像の画像データに基づいて、またEMスペクトルの第2の部分からの放射によって生成される第1の画像の画像データに基づいて、風景の画像を形成するように構成される。フラッシュは、第1の画像を取り込むと同時に、EMスペクトルの第2の部分からの放射によって風景を照射するように構成される。
請求項2〜5、11、および12は、照射パラメータを設定する様々な有利な実施形態を提供する。照射パラメータは、たとえば、EMスペクトルの第2の部分からの放射による風景の照射の強度および/または継続時間を含むことができる。
請求項6では、EMスペクトルの第2の部分における放射のレベルが所定の閾値に到達したときに照射を中止することができる。そのような閾値は、たとえば、EMスペクトルの第2の部分における放射が特定の絶対値に到達し、またはEMスペクトルの第1の部分からの放射に対して特定のレベルに到達する強度を含むことができる。
請求項7では、画像センサの単一の露出により、小さい開口の画像情報と大きい開口の画像情報の両方を効率的に取り込むことができ、したがって、焦点合成のような従来の技法を使用するときに、動きによるぼけの影響を低減させることができる。
請求項8は、小さい開口の画像データによって生成される高周波情報を介して鮮明な画像情報に容易にアクセスできる一実施形態を提供する。
請求項9では、電磁スペクトルの第1の部分を、可視スペクトルの少なくとも一部に関連付けることができ、かつ/または電磁スペクトルの前記第2の部分を、不可視スペクトル、好ましくは赤外スペクトルの少なくとも一部に関連付けることができる。赤外スペクトルを使用することで、画像センサの感度を効率的に使用することができ、それによって信号対雑音比を著しく改善することができる。
開口システムの光学特性は、光学系内で使用される画像センサおよび/または光学レンズ系のタイプに関して、容易に修正および最適化することができる。一実施形態では、赤外放射に対するシリコン画像センサの感度を用いることができる。
本発明のさらなる態様は、上記の多開口撮像システム内で使用するためのフラッシュ制御装置に関する。
本発明のさらなる態様は、上記の多開口撮像システムを備えるデジタルカメラシステム、好ましくは移動端末内で使用するためのデジタルカメラシステムに関し、また、画像データを処理するコンピュータプログラム製品に関し、前記コンピュータプログラム製品は、コンピュータシステムのメモリ内で実行されるとき、上記の方法を実施するように構成されたソフトウェアコード部分を備える。
本発明について、本発明による実施形態を概略的に示す添付の図面を参照してさらに説明する。本発明は、これらの特有の実施形態に一切限定されないことが理解されるであろう。
本発明の一実施形態による多開口撮像システムを示す図である。 デジタルカメラの色応答を示す図である。 ホットミラーフィルタ(hot mirror filter)の応答およびシリコンの応答を示す図である。 多開口システムを使用する概略的な光学系を示す図である。 本発明の一実施形態による多開口撮像システムで使用するための画像処理方法を示す図である。 本発明の一実施形態による深度関数を決定する方法を示す図である。 深度関数の概略図ならびに高周波色および赤外情報を距離の関数として示すグラフである。 本発明の一実施形態による深度マップを生成する方法を示す図である。 本発明の一実施形態による立体視を得る方法を示す図である。 本発明の一実施形態による被写界深度を制御する方法を示す図である。 本発明の一実施形態による焦点を制御する方法を示す図である。 本発明の別の実施形態による多開口システムを使用する光学系を示す図である。 本発明の別の実施形態による深度関数を決定する方法を示す図である。 本発明の別の実施形態による被写界深度を制御する方法を示す図である。 多開口撮像システム内で使用するための多開口システムを示す図である。 本発明の別の実施形態による多開口撮像システムを示す図である。 本発明の一実施形態によるフラッシュを有する多開口撮像システムで使用するための画像処理方法を示す図である。 本発明の別の実施形態によるフラッシュを有する多開口撮像システムで使用するための画像処理方法を示す図である。
図1は、本発明の一実施形態による多開口撮像システム100を示す。撮像システムは、デジタルカメラの一部とすることができ、または移動電話、ウェブカム、生体認証センサ、画像スキャナ、もしくは画像を取り込む機能性を必要とする任意の他のマルチメディアデバイス内に組み込むことができる。図1に示すシステムは、画像センサ102と、風景内の物体を画像センサの撮像平面上へ集束させるレンズ系104と、シャッタ106と、第1の部分、たとえば可視部分、およびEMスペクトルの少なくとも第2の部分、たとえば電磁(EM)スペクトルの赤外部分などの不可視部分の光(電磁放射)を、制御された形で撮像システムに入れる所定の数の開口を備える開口システム108とを備える。
以下でより詳細に論じる多開口システム108は、EMスペクトルの可視部分、および任意選択で不可視部分、たとえば赤外部分内の光に対する画像センサの露出を制御するように構成される。具体的には、多開口システムは、EMスペクトルの第1の部分で画像センサを露出させるための第1の寸法の少なくとも第1の開口と、EMスペクトルの第2の部分で画像センサを露出させるための第2の寸法の少なくとも第2の開口とを画定することができる。たとえば、一実施形態では、EMスペクトルの第1の部分は色スペクトルに関係することができ、第2の部分は赤外スペクトルに関係することができる。別の実施形態では、多開口システムは、EMスペクトルの所定の範囲内の放射に画像センサを露出させるようにそれぞれ設計された所定の数の開口を備えることができる。
EM放射に対する画像センサの露出は、シャッタ106および多開口システム108の開口によって制御される。シャッタが開かれているとき、開口システムは、画像センサ102を露出させる光の量および光の視準度を制御する。シャッタは、機械シャッタとすることができ、または別法として、画像センサ内に組み込まれた電子シャッタとすることができる。画像センサは、2次元画素アレイを形成する感光箇所(画素)の行列を備える。画像センサは、CMOS(Complimentary Metal Oxide Semiconductor)能動画素センサまたはCCD(Charge Coupled Device)画像センサとすることができる。別法として、画像センサは、他のSi(たとえば、a-Si)、第III〜V族(たとえば、GaAs)、または導電ポリマーベースの画像センサ構造に関係することができる。
レンズ系によって画像センサ上へ光が投影されるとき、各画素は、その画素上に入射する電磁放射(エネルギー)に比例する電気信号を生成する。色情報を得るために、また画像センサの撮像平面上へ投影された画像の色成分を分離するために、通常、レンズと画像センサとの間に色フィルタアレイ120(CFA)が挿入される。色フィルタアレイは、画像センサの各画素が対応する画素フィルタを有するように、画像センサと組み込むことができる。各色フィルタは、所定の色帯域の光をその画素内へ通すように適合される。通常、赤色、緑色、および青色(RGB)フィルタの組合せが使用されるが、他のフィルタ方式、たとえばCYGM(シアン、黄色、緑色、マゼンタ)、RGBE(赤色、緑色、青色、エメラルド)なども可能である。
露出した画像センサの各画素は、画素に関連する色フィルタを通過する電磁放射に比例する電気信号を生成する。したがって、画素のアレイは、色フィルタアレイを通過する電磁エネルギー(放射)の空間分布を表す画像データ(フレーム)を生成する。これらの画素から受け取った信号は、1つまたは複数のオンチップ増幅器を使用して増幅させることができる。一実施形態では、画像センサの各色チャネルは、別個の増幅器を使用して増幅させることができ、それによって異なる色に対するISO速度を別個に制御することができる。
さらに、画素信号は、画像センサのチップ上に組み込むことができる1つまたは複数のアナログ-デジタル(A/D)変換器110を使用して、デジタル形式の単語にサンプル化、量子化、および変換することができる。デジタル化された画像データは、画像センサに結合されたデジタル信号処理装置(DSP)112によって処理される。DSP112は、補間、フィルタリング、ホワイトバランス、輝度補正、データ圧縮技法(たとえば、MPEGまたはJPEGタイプの技法)など、よく知られている信号処理機能を実行するように構成される。DSPは、中央処理装置114、取り込まれた画像を記憶する記憶メモリ116、およびEEPROMまたは別のタイプの不揮発性メモリなどのプログラムメモリ118に結合される。プログラムメモリ118は、画像データを処理するためにDSPによって使用され、または撮像システムの動作を管理するために中央処理装置によって使用される、1つまたは複数のソフトウェアプログラムを備える。
さらに、DSPは、多開口撮像システムによって取り込まれた画像に関連する深度情報を得るように構成された1つまたは複数の信号処理関数124を備えることができる。これらの信号処理関数は、可変DOFならびに焦点制御および3D画像の立体視能力を含む拡大された撮像機能性を有する固定レンズ多開口撮像システムを提供することができる。これらの信号処理関数に関連する詳細および利点については、以下でより詳細に論じる。
上記のように、撮像システムの感度は、赤外撮像の機能性を使用することによって拡大される。その目的のため、レンズ系は、可視光と赤外放射または赤外放射の少なくとも一部との両方を撮像システムに入れるように構成することができる。レンズ系の前のフィルタは、赤外放射の少なくとも一部を撮像システムに入れるように構成される。具体的には、これらのフィルタは、従来の色撮像カメラで赤外放射がカメラに入るのを阻止するために使用される通常はホットミラーフィルタと呼ばれる赤外阻止フィルタを含まない。
したがって、多開口撮像システムに入るEM放射122は、EMスペクトルの可視部分と赤外部分の両方に関連する放射を含むことができ、それによって画像センサの光応答を赤外スペクトルまで拡大することができる。
赤外阻止フィルタ(の不在)が従来のCFA色画像センサに与える影響を、図2〜3に示す。図2Aおよび図2Bでは、曲線202は、赤外阻止フィルタ(ホットミラーフィルタ)をもたないデジタルカメラの典型的な色応答を表す。グラフAは、ホットミラーフィルタを使用する影響をより詳細に示す。ホットミラーフィルタ210の応答は、可視スペクトルに対する画像センサのスペクトル応答を制限し、それによって画像センサの全体的な感度を実質上制限する。ホットミラーフィルタを取り去った場合、赤外放射の一部は色画素フィルタを通過する。この影響について、青色画素フィルタ204、緑色画素フィルタ206、および赤色画素フィルタ208を含む従来の色画素の光応答を示すグラフBによって示す。色画素フィルタ、特に赤色画素フィルタは赤外放射を(部分的に)透過することができ、したがって画素信号の一部は赤外放射に起因することがある。これらの赤外による寄与はカラーバランスを歪ませることがあり、その結果、画像はいわゆる擬似色を含むことがある。
図3は、ホットミラーフィルタ302の応答およびシリコン304(すなわち、デジタルカメラ内で使用される画像センサの主要な半導体成分)の応答を示す。これらの応答は、赤外放射に対するシリコン画像センサの感度が、可視光に対するシリコン画像センサの感度より約4倍高いことをはっきりと示す。
図2および図3に示す画像センサによって提供されるスペクトル感度を利用するために、図1の撮像システム内の画像センサ102は、従来の画像センサとすることができる。従来のRGBセンサでは、赤外放射は、赤色画素によって主に感知される。その場合、DSPは、赤色画素信号を処理して、その赤色画素信号内の低雑音の赤外情報を抽出することができる。この処理については、以下により詳細に説明する。別法として、画像センサは特に、赤外スペクトルの少なくとも一部を撮像するように構成することができる。画像センサは、たとえば、色画素とともに1つまたは複数の赤外(I)画素を備えることができ、それによって画像センサは、RGB色画像および比較的低雑音の赤外画像を生成することができる。
赤外画素は、フォトサイトをフィルタ材料で覆うことによって実現することができ、フィルタ材料は、可視光を実質上阻止し、赤外放射、好ましくは約700〜1100nmの範囲内の赤外放射を実質上透過する。赤外透過性画素フィルタは、赤外/色フィルタアレイ(ICFA)内に提供することができ、スペクトルの赤外帯域内の波長に対して高い透過率を有するよく知られているフィルタ材料、たとえばBrewer Scienceから「DARC 400」という商標で市販されているブラックポリイミド材料を使用して実現することができる。
そのようなフィルタを実現する方法は、米国特許出願第2009/0159799号に記載されている。ICFAは、画素、たとえば2×2の画素のブロックを含むことができ、各ブロックは、赤色、緑色、青色、および赤外の画素を含む。露出されているとき、そのような画像ICFA色画像センサは、RGB色情報と赤外情報の両方を含む生のモザイク画像を生成することができる。よく知られているデモザイキング(demosaicking)アルゴリズムを使用して生のモザイク画像を処理した後、RGB色画像および赤外画像を得ることができる。赤外放射に対するそのようなICFA画像色センサの感度は、ブロック内の赤外画素の数を増大させることによって増大させることができる。1つの構成(図示せず)において、画像センサフィルタアレイはたとえば、4つの色画素RGGBおよび12個の赤外画素を含む16個の画素のブロックを含むことができる。
別の実施形態では、ICFA画像色センサではなく、画像センサはフォトサイトのアレイに関係することができ、各フォトサイトは、当技術分野ではよく知られている複数の積層型フォトダイオードを含む。好ましくは、そのような積層型フォトサイトは、少なくとも原色RGBおよび赤外にそれぞれ応答する少なくとも4つの積層型フォトダイオードを含む。これらの積層型フォトダイオードは、画像センサのシリコン基板内へ組み込むことができる。
多開口システム、たとえば多開口絞りを使用して、カメラの被写界深度(DOF)を改善することができる。そのような多開口システム400の原理を、図4に示す。DOFは、画像が取り込まれたときに焦点が合っているカメラからの距離範囲を決定する。この範囲内では、物体は許容できる程度に鮮明である。所与の画像形式で中間から大きい距離の場合、DOFは、レンズの焦点距離N、レンズの開き(開口)に関連するf値、および物体とカメラの距離sによって決定される。開口が広ければ広いほど(受け取った光が多ければ多いほど)、DOFはより制限される。
可視および赤外スペクトルエネルギーは、多開口システムを介して撮像システムに入ることができる。一実施形態では、そのような多開口システムは、所定の直径D1の円形の孔402を有するフィルタで被覆された透過性基板を備えることができる。フィルタ被覆404は、可視放射を透過し、ならびに赤外放射を反射および/または吸収することができる。不透明な覆い406は、孔402の直径D1より大きい直径D2の円形の開口を含むことができる。このカバーは、赤外放射と可視放射の両方を反射する薄膜被覆を含むことができ、または別法として、このカバーは、光学系内で基板を保持および位置決めする不透明なホルダの一部とすることができる。このようにして、多開口システムは、複数の波長選択性の開口を含み、EMスペクトルの異なる部分のスペクトルエネルギーに対する画像センサの制御された露出を可能にする。開口システムを通る可視および赤外スペクトルエネルギーは、その後、可視スペクトルエネルギーに関連する画像データを得るための画素と、不可視(赤外)スペクトルエネルギーに関連する画像データを得るための画素とを含む画像センサの撮像平面414上へ、レンズ412によって投影される。
したがって、画像センサの画素は、大きいDOFを有する赤外スペクトルエネルギーに関連する第2の小さい開口の画像信号418を覆う、制限されたDOFを有する可視スペクトルエネルギーに関連する第1の(比較的)広い開口の画像信号416を受け取ることができる。レンズの焦点平面Nに近接している物体420は、可視放射による焦点外れのぼけが比較的小さい状態で画像平面上へ投影されるが、焦点平面からより遠くに位置する物体422は、赤外放射による焦点外れのぼけが比較的小さい状態で画像平面上へ投影される。したがって、単一の開口を備える従来の撮像システムとは異なり、2重または複数開口の撮像システムでは、異なる寸法の2つ以上の開口を備える開口システムを使用して、画像センサを露出させるスペクトルの異なる帯域における放射の量および視準を制御する。
DSPは、取り込まれた色および赤外信号を処理するように構成することができる。図5は、多開口撮像システムで使用するための典型的な画像処理ステップ500を示す。この例では、多開口撮像システムは、たとえばバイエル色フィルタアレイを使用する従来の色画像センサを備える。その場合、主に赤色画素フィルタが、赤外放射を画像センサへ透過する。取り込まれた画像フレームの赤色画素データは、高振幅の可視の赤色信号と鮮明な低振幅の不可視の赤外信号の両方を含む。赤外成分は、可視の赤色成分の8分の1〜16分の1とすることができる。さらに、知られているカラーバランス技法を使用して、赤色バランスは、赤外放射の存在によって生じるわずかな歪みを補償するように調整することができる。他の変形形態では、RGBI画像センサを使用することができ、赤外画像は、I画素によって直接得ることができる。
第1のステップ502では、バイエルフィルタにかけた生の画像データが取り込まれる。その後、DSPは赤色画像データを抽出することができ、赤色画像データは赤外情報も含むことができる(ステップ504)。その後、DSPは、赤色画像データからの赤外画像に関連するシャープネス情報を抽出し、このシャープネス情報を使用して色画像を強調することができる。
空間領域内のシャープネス情報を抽出する1つの方法は、赤色画像データに高域通過フィルタを適用することによって実現することができる。高域通過フィルタは、赤色画像内の高周波情報(高周波成分)を保持しながら、低周波情報(低周波成分)を低減させることができる。高域通過フィルタのカーネルは、隣接する画素に対して中心の画素の輝度を増大させるように設計することができる。カーネルアレイは通常、その中心に単一の正の値を含み、負の値によって完全に取り囲まれる。高域通過フィルタに対する3×3のカーネルの簡単で非限定的な例は、次のように見えるであろう。
|-1/9 -1/9 -1/9|
|-1/9 8/9 -1/9|
|-1/9 -1/9 -1/9|
したがって、赤色画像データは高域通過フィルタを通過し(ステップ506)、赤外画像信号に関連する高周波成分(すなわち、シャープネス情報)が抽出される。
比較的小さい寸法の赤外開口は比較的小さい赤外画像信号を生成するため、フィルタにかけた高周波成分は、赤外開口に対する可視光開口の比に比例して増幅される(ステップ508)。
赤外開口の寸法が比較的小さいことの影響は、赤色画素によって取り込まれる赤外放射の帯域が赤色放射の帯域より約4倍広いことによって部分的に補償される(通常、デジタル赤外カメラは、可視光カメラより4倍の感度を有する)。一実施形態では、赤外開口の寸法が比較的小さいことの影響はまた、生の画像データが取り込まれる時点で、撮像すべき物体に赤外フラッシュを照射することによって補償することができる(フラッシュについては、図15〜17に関連して以下でより詳細に説明する)。増幅後、赤外画像信号から導出された増幅された高周波成分は、バイエルフィルタにかけた生の画像データの各色成分に追加(混合)される(ステップ510)。このようにして、赤外画像データのシャープネス情報は色画像に追加される。その後、組み合わせた画像データは、当技術分野ではよく知られているデモザイキングアルゴリズムを使用して、フルRGB色画像に変換することができる(ステップ512)。
一変形形態(図示せず)では、バイエルフィルタにかけた生の画像データはまず、RGB色画像にデモザイクされ、その後、追加(混合)によって、増幅させた高周波成分と組み合わされる。
図5に示す方法では、多開口撮像システムは、より低輝度の状況で効果的に動作するために広い開口を有し、同時により大きいDOFを有することができ、その結果、より鮮明な写真を得ることができる。さらに、この方法は、レンズの光学性能を効果的に増大させ、同じ性能を実現するのに必要なレンズのコストを低減させる。
したがって、多開口撮像システムでは、典型的な7のf値(たとえば、7mmの焦点距離Nおよび1mmの直径)を有する簡単な移動電話カメラは、たとえば直径0.5mmに対する14から0.2mm以下の直径に対する70以上の間で変動するf値を有する第2の開口を介して、そのDOFを改善することができ、f値は、開口の焦点距離fと有効直径との比によって画定される。好ましい実装形態では、付近の物体のシャープネスを増大させるための約2〜4の可視放射に対するf値と、離れた物体のシャープネスを増大させるための約16〜22の赤外開口に対するf値とを組み合わせて含む光学系を含む。
多開口撮像システムによって提供されるDOFおよびISO速度の改善は、関連出願第PCT/EP2009/050502号および第PCT/EP2009/060936号により詳細に記載されている。さらに、図1〜5を参照して説明した多開口撮像システムを使用して、取り込まれた単一の画像に関連する深度情報を生成することができる。より詳細には、多開口撮像システムのDSPは、少なくとも1つの深度関数を含むことができ、深度関数は光学系のパラメータに依存し、一実施形態では、製造業者によって事前に決定し、またデジタル画像処理関数内で使用するためにカメラのメモリ内に記憶することができる。
画像は、カメラレンズから異なる距離を隔てたところに位置する異なる物体を含むことができ、したがって、カメラの焦点面により近い物体は、焦点面からより遠い物体より鮮明になる。深度関数は、画像の異なる領域で撮像された物体に関連するシャープネス情報を、これらの物体がカメラから離された距離に関する情報に関係付けることができる。一実施形態では、深度関数Rは、カメラレンズから異なる距離を隔てたところに位置する物体に対する色画像成分と赤外画像成分とのシャープネスの比を決定することを伴うことができる。別の実施形態では、深度関数Dは、高域通過フィルタにかけた赤外画像の自己相関分析を伴うことができる。これらの実施形態については、図6〜14を参照して以下により詳細に説明する。
第1の実施形態では、深度関数Rは、色画像内のシャープネス情報と赤外画像内のシャープネス情報との比によって画定される。ここで、シャープネスパラメータは、いわゆる錯乱円に関係することができ、錯乱円は、物空間内で不鮮明に撮像された点の、画像センサによって測定されるぼけたスポット直径に対応する。焦点外れのぼけを表すぼけた円板の直径は、焦点平面内の点の場合は非常に小さく(ゼロ)、物空間内でこの平面から前景または背景の方へ離れると累進的に大きくなる。ぼけた円板が最大許容錯乱円cより小さい限り、この円板は十分に鮮明であり、DOF範囲の一部であると考えられる。知られているDOF式から、物体の深度、すなわちカメラからの距離sと、カメラ内のその物体ぼけの量(すなわち、シャープネス)との間に直接の関係があるという結果が得られる。
したがって、多開口撮像システムでは、赤外画像内のIR成分のシャープネスに対する色画像のRGB成分のシャープネスの増大または低減は、撮像された物体とレンズとの距離に依存する。たとえば、レンズが3メートル隔てたところに集束される場合、RGB成分とIR成分の両方のシャープネスを同じにすることができる。対照的に、1メートルの距離を隔てたところに位置する物体に対する赤外画像には小さい開口が使用されるため、RGB成分のシャープネスは、赤外成分のシャープネスより著しく小さくなるであろう。この依存性を使用して、カメラレンズからの物体の距離を予測することができる。
具体的には、大きい(「無限」)焦点(この点を多開口システムの過焦点距離Hと呼ぶことができる)にレンズが設定される場合、カメラは画像内の点を決定することができ、色成分と赤外成分は等しく鮮明である。画像内のこれらの点は、カメラから比較的大きい距離を隔てたところ(通常は背景)に位置する物体に対応する。過焦点距離Hから離れている物体の場合、赤外成分と色成分との間のシャープネスの相対的な差は、物体とレンズとの間の距離sに応じて増大する。以下、1つのスポット(たとえば、1つの画素または1群の画素)で測定される色画像内のシャープネス情報と赤外情報内のシャープネス情報との比を、深度関数R(s)と呼ぶ。
深度関数R(s)は、カメラレンズから異なる距離sを隔てたところに位置する1つまたは複数の試験物体に対するシャープネス比を測定することによって得ることができ、シャープネスは、それぞれの画像内の高周波成分によって決定される。図6Aは、本発明の一実施形態による深度関数の決定に関連する流れ図600を示す。第1のステップ602では、カメラから少なくとも過焦点距離Hを隔てたところに、試験物体を位置決めすることができる。その後、多開口撮像システムを使用して画像データが取り込まれる。次いで、取り込まれたデータから、色画像および赤外情報に関連するシャープネス情報が抽出される(ステップ606〜608)。その後、シャープネス情報R(H)の比がメモリ内に記憶される(ステップ610)。次いで、試験物体は過焦点距離Hから距離Δだけ離れ、この距離でRが決定される。この処理は、カメラレンズ付近まですべての距離に対してRが決定されるまで繰り返される(ステップ612)。これらの値は、メモリ内へ記憶することができる。連続深度関数R(s)を得るには、補間を使用することができる(ステップ614)。
一実施形態では、Rは、画像内の特定のスポットで測定される高周波赤外成分Dirの絶対値と高周波色成分Dcolの絶対値との比として画定することができる。別の実施形態では、特定の領域内の赤外成分と色成分との差を計算することができる。次いで、この領域内の複数の差の和を距離の尺度とすることができる。
図6Bは、DcolおよびDirの図を距離の関数として示し(グラフA)、R=Dir/Dcolの図を距離の関数として示す(グラフB)。グラフAでは、焦点距離Nの前後で高周波色成分が最も高い値を有し、焦点距離から離れると、ぼけの影響によって、高周波色成分は急速に低減することを示す。さらに、赤外開口が比較的小さい結果、高周波赤外成分は、焦点Nから大きい距離にわたって比較的高い値を有する。
グラフBは、Dir/Dcolの比として画定される結果の深度関数Rを示し、焦点距離Nより実質上大きい距離の場合、シャープネス情報は、高周波赤外画像データ内に含まれることを示す。深度関数R(s)は、製造業者によって事前に得ることができ、カメラのメモリ内に記憶することができ、多開口撮像システムによって取り込まれる画像を処理するための1つまたは複数の後処理関数内で、DSPによって使用することができる。一実施形態では、後処理関数の1つは、多開口撮像システムによって取り込まれる単一の画像に関連する深度マップの生成に関係することができる。図7は、本発明の一実施形態によるそのような深度マップを生成する処理の概略図を示す。多開口撮像システム内の画像センサが、1つの画像フレーム内で可視画像信号と赤外画像信号の両方を同時に取り込んだ(ステップ702)後、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込まれた生のモザイク画像内の色画素信号と赤外画素信号を分離することができる(ステップ704)。その後、DSPは、色画像データ(たとえば、RGB画像)および赤外画像データ上で高域通過フィルタを使用して、両画像データの高周波成分を得ることができる(ステップ706)。
その後、DSPは、各画素p(i,j)または1群の画素に距離を関連付けることができる。その目的のため、DSPは、各画素p(i,j)に対して、高周波赤外成分と高周波色成分とのシャープネス比R(i,j)を決定することができ、R(i,j)=Dir(i,j)/Dcol(i,j)になる(ステップ708)。深度関数R(s)、特に逆深度関数R'(R)に基づいて、次いでDSPは、各画素で測定されたシャープネス比R(i,j)を、カメラレンズへの距離s(i,j)と関連付けることができる(ステップ710)。この処理で距離マップが生成され、マップ内の各距離値は画像内の画素に関連する。こうして生成されたマップは、カメラのメモリ内に記憶することができる(ステップ712)。
各画素に距離を割り当てるには、大量のデータ処理を必要とすることがある。1つの変形形態では、演算量を低減させるために、第1のステップで、よく知られている縁部検出アルゴリズムを使用して、画像内の縁部を検出することができる。その後、これらの縁部の周りの領域をサンプル領域として使用し、これらの領域内のシャープネス比Rを使用して、カメラレンズからの距離を決定することができる。この変形形態は、必要な演算が少なくなるという利点を提供する。
したがって、多開口カメラシステムによって取り込まれる画像、すなわち画素フレーム{p(i,j)}に基づいて、深度関数を含むデジタル撮像処理装置は、関連する深度マップ{s(i,j)}を決定することができる。画素フレーム内の各画素に対して、深度マップは関連する距離値を含む。深度マップは、各画素p(i,j)に対して関連する深度値s(i,j)を計算することによって決定することができる。別法として、深度マップは、画像内の画素群に深度値を関連付けるによって決定することもできる。深度マップは、任意の適したデータ形式で、取り込まれた画像とともに、カメラのメモリ内に記憶することができる。
処理は、図7を参照して説明したステップに限定されるものではない。本発明から逸脱することなく、様々な変形形態が可能である。たとえば、高域通過フィルタは、デモザイキングステップの前に適用することができる。その場合、高周波色画像は、高域通過フィルタにかけた画像データをデモザイキングすることによって得られる。
さらに、本発明から逸脱することなく、シャープネス情報に基づいて距離を決定する他の方法も可能である。たとえば高域通過フィルタを使用して空間領域内のシャープネス情報(すなわち、縁部情報)を分析するのではなく、たとえば、周波数領域内でシャープネス情報を分析することもできる。たとえば一実施形態では、現行の離散フーリエ変換(DFT)を使用して、シャープネス情報を得ることができる。DFTを使用して、色画像と赤外画像の両方のフーリエ係数を計算することができる。これらの係数、特に高周波係数の分析により、距離を示すことができる。
たとえば、一実施形態では、色画像と赤外画像における特定の領域に関連する高周波DFT係数の絶対差を使用して、距離を示すことができる。さらなる実施形態では、フーリエ成分を使用して、赤外および色信号に関連するカットオフ周波数を分析することができる。たとえば、画像の特定の領域内で、赤外画像信号のカットオフ周波数が色画像信号のカットオフ周波数より大きい場合、この差は距離を示すことができる。
深度マップに基づいて、様々な画像処理関数を実現することができる。図8は、本発明の一実施形態による立体視を得る方式800を示す。物体Pから距離sを隔てたところに位置決めされた元のカメラ位置C0に基づいて、2つの仮想のカメラ位置C1およびC2(1つが左目で、1つが右目である)を画定することができる。これらの仮想のカメラ位置はそれぞれ、元のカメラ位置に対して距離-t/2および+t/2にわたって対称に移動される。焦点距離N、C0、C1、C2、t、およびsの間の幾何学的関係を考えると、2つの仮想のカメラ位置に関連する2つのずらせた「仮想」の画像を生成するのに必要な画素のずれ量は、次の式によって決定することができる。
P1=p0-(t*N)/(2s)およびP2=p0+(t*N)/(2s)
したがって、これらの式および深度マップ内の距離情報s(i,j)に基づいて、画像処理関数は、元の画像内の各画素p0(i,j)に対して、第1および第2の仮想の画像に関連する画素p1(i,j)およびp2(i,j)を計算することができる(ステップ802〜806)。このようにして、元の画像内の各画素p0(i,j)を上記の式に従ってずらせて、立体視に適した2つのずれた画像{p1(i,j)}および{p2(i,j)}を生成することができる。
図9は、一実施形態によるさらなる画像処理関数900を示す。この関数により、多開口撮像システムにおいてDOFの制御された低減が可能になる。多開口撮像システムが固定レンズおよび固定多開口システムを使用するため、光学系は、光学系の固定の(改善された)DOFで画像を提供する。しかし状況によっては、可変DOFを有することが望ましいことがある。
第1のステップ902では、画像データおよび関連する深度マップを生成することができる。その後、この関数により、カットオフ距離として使用することができる特定の距離s'を選択することができ(ステップ904)、その後、高周波赤外成分に基づくシャープネスの強調は破棄されるべきである。深度マップを使用して、DSPは、画像内で、選択された距離s'より大きい物体とカメラの距離に関連する第1の領域を識別することができ(ステップ906)、また選択された距離s'より小さい物体とカメラの距離に関連する第2の領域を識別することができる。その後、DSPは、高周波赤外画像を取り出し、識別された第1の領域内の高周波赤外成分を、マスキング関数による値に設定することができる(ステップ910)。次いで、こうして修正された高周波赤外画像は、図5と同様にRGB画像と混合することができる(ステップ912)。そのようにして、RGB画像を得ることができ、画像内の物体は、カメラレンズからの距離s'まで、高周波赤外成分から得られるシャープネス情報で強調される。このようにして、制御された形でDOFを低減させることができる。
本発明から逸脱することなく、様々な変形形態が可能であることが提起される。たとえば、単一の距離ではなく、距離範囲[s1,s2]を多開口システムのユーザによって選択することができる。画像内の物体は、カメラからの距離に関係付けることができる。その後、DSPは、どの物体領域がこの範囲内に位置するかを判定することができる。その後、これらの領域は、高周波成分内のシャープネス情報によって強調される。
さらなる画像処理関数は、カメラの焦点の制御に関係することができる。この関数を、図10に概略的に示す。この実施形態では、(仮想の)焦点距離N'を選択することができる(ステップ1004)。深度マップを使用して、画像内でこの選択された焦点距離に関連する領域を決定することができる(ステップ1006)。その後、DSPは、高周波赤外画像を生成することができ(ステップ1008)、識別された領域外のすべての高周波成分を、マスキング関数による値に設定することができる(ステップ1010)。こうして修正された高周波赤外画像は、RGB画像と混合することができ(ステップ1012)、それによって画像内で焦点距離N'に関連する領域内のシャープネスのみを強調することができる。このようにして、画像内の焦点を制御可能に変更することができる。
焦点距離を制御するさらなる変形形態は、複数の焦点距離N'、N"などを選択することを含むことができる。これらの選択された距離のそれぞれに対して、赤外画像内の関連する高周波成分を決定することができる。図10を参照して説明した方法と同様に、高周波赤外画像を修正し、続いて色画像と混合する結果、たとえば、2メートルのところに位置する物体の焦点が合い、3メートルのところに位置する物体の焦点が外れ、4メートルのところに位置する物体の焦点が合った画像を得ることができる。さらに別の実施形態では、図9および図10を参照して説明した焦点制御を、画像内の1つまたは複数の特定の領域に適用することができる。その目的のため、ユーザまたはDSPは、画像内で焦点制御が望ましい1つまたは複数の特定の領域を選択することができる。
さらに別の実施形態では、距離関数R(s)および/または深度マップを使用し、知られている画像処理関数(たとえば、フィルタリング、混合、バランスなど)を使用して、取り込まれた前記画像を処理することができ、そのような関数に関連する1つまたは複数の画像処理関数パラメータは、深度情報に依存している。たとえば、一実施形態では、深度情報を使用して、高周波赤外画像を生成するために使用される高域通過フィルタのカットオフ周波数および/またはロールオフを制御することができる。画像の特定の領域に対する色画像と赤外画像内のシャープネス情報が実質上類似しているとき、赤外画像の必要なシャープネス情報(すなわち、高周波赤外成分)はより少なくなる。したがってその場合、非常に高いカットオフ周波数を有する高域通過フィルタを使用することができる。対照的に、色画像と赤外画像内のシャープネス情報が異なるとき、色画像内のぼけを赤外画像内のシャープネス情報によって補償できるように、より低いカットオフ周波数を有する高域通過フィルタを使用することができる。このようにして、画像全体にわたって、または画像の特有の部分において、色画像と赤外画像のシャープネス情報の差に従って、高域通過フィルタのロールオフおよび/またはカットオフ周波数を調整することができる。
深度マップの生成およびそのような深度マップに基づく画像処理関数の実施は、上記の実施形態に限定されるものではない。
図11は、さらなる実施形態による深度情報を生成する多開口撮像システム1100の概略図を示す。この実施形態では、深度情報は、修正された多開口構成を使用することによって得られる。たとえば図4に示すように中心に1つの赤外開口ではなく、図11の多開口1101は、より大きい色開口1106を形成する絞りの縁部に(または周辺部に沿って)、複数(すなわち、2つ以上)の小さい赤外開口1102、1104を含む。これらの複数の小さい開口は、図4に示す単一の赤外開口より実質上小さく、それによって焦点が合っている物体1108が鮮明な単一の赤外画像1112として撮像平面1110上へ撮像されるという効果を与える。対照的に、焦点が外れた物体1114が、2つの赤外画像1116、1118として撮像平面上へ撮像される。第1の赤外開口1102に関連する第1の赤外画像1116は、第2の赤外開口に関連する第2の赤外画像1118に対して特定の距離Δにわたってずらされる。普通なら焦点が外れたレンズに伴う連続したぼけた画像ではなく、複数の小さい赤外開口を有する多開口により、個別の鮮明な画像を形成することができる。単一の赤外開口と比較すると、複数の赤外開口を使用することで、より小さい開口を使用することができ、それによって被写界深度のさらなる向上を実現することができる。物体の焦点が外れるのが遠ければ遠いほど、距離Δは大きくなる。したがって、2つの撮像された赤外画像間のずれΔは、物体とカメラレンズとの間の距離の関数であり、ずれΔを使用して深度関数Δ(s)を決定することができる。
深度関数Δ(s)は、カメラレンズから複数の距離を隔てたところで試験物体を撮像し、それらの異なる距離を隔てたところでΔを測定することによって決定することができる。Δ(s)は、カメラのメモリ内に記憶することができ、以下でより詳細に論じる1つまたは複数の後処理関数において、DSPによって使用することができる。
一実施形態では、1つの後処理関数は、図11を参照して説明した個別の多開口を含む多開口撮像システムによって取り込まれた単一の画像に関連する深度情報の生成に関係することができる。1つの画像フレーム内で可視画像信号と赤外画像信号の両方を同時に取り込んだ後、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込んだ生のモザイク画像内で色画素信号と赤外画素信号を分離することができる。DSPはその後、赤外画像データ上で高域通過フィルタを使用して、赤外画像データの高周波成分を得ることができ、この成分は、物体の焦点が合っている領域と、物体の焦点が外れている領域とを含むことができる。
さらに、DSPは、自己相関関数を使用して、高周波赤外画像データから深度情報を導出することができる。この処理を、図12に概略的に示す。高周波赤外画像1204(の一部)の自己相関関数1202を考えると、焦点が合っている撮像された物体1208の高周波縁部に、単一のスパイク1206が表れる。対照的に、自己相関関数は、焦点が外れている撮像された物体1212の高周波縁部に2重のスパイク1210を生成する。ここで、スパイク間のずれは、2つの高周波赤外画像間のずれΔであり、撮像された物体とカメラレンズとの間の距離に依存する。
したがって、高周波赤外画像(の一部)の自動相関関数は、高周波赤外画像内で物体の焦点が外れている位置に2重のスパイクを含み、2重のスパイク間の距離は、距離の尺度(すなわち、焦点距離からの距離)を提供する。さらに、自動相関関数は、画像内で物体の焦点が合っている位置に単一のスパイクを含む。DSPは、2重のスパイク間の距離を、所定の深度関数Δ(s)を使用する距離に関連付け、その中の情報を、「実距離」に関連する深度マップに変換することによって、自己相関関数を処理することができる。
深度マップを使用して、図8〜10を参照して上述したように、類似の関数、たとえば立体視、DOFおよび焦点の制御を実行することができる。たとえば、Δ(s)または深度マップを使用して、赤外画像内で特定の選択されたカメラと物体の距離に関連する高周波成分を選択することができる。
特定の画像処理関数は、高周波赤外画像の自己相関関数を分析することによって実現することができる。図13は、たとえば、自己相関関数内のピークの幅と特定の閾値幅を比較することによってDOFが低減される処理1300を示す。第1のステップ1302では、図11に示す多開口撮像システムを使用して画像が取り込まれ、色および赤外画像データが抽出され(ステップ1304)、高周波赤外画像データが生成される(ステップ1306)。その後、高周波赤外画像データの自己相関関数が計算される(ステップ1308)。さらに、閾値幅wが選択される(ステップ1310)。特定の撮像された物体に関連する自己相関関数内のピークが閾値幅より狭い場合、自己相関関数内のそのピークに関連する高周波赤外成分が、色画像データと組み合わせるために選択される。特定の撮像された物体の縁部に関連する自己相関関数内のピークまたは2つのピーク間の距離が閾値幅より広い場合、相関関数内のそのピークに関連する高周波成分は、マスキング関数に従って設定される(ステップ1312〜1314)。その後、こうして修正された高周波赤外画像は、多開口によって導入されたずれΔをなくすように、標準的な画像処理技法を使用して処理され、その結果、色画像データと混合することができる(ステップ1316)。色画像と混合した後、低減されたDOFが形成される。この処理では、所定の閾値幅を選択することによってDOFを制御することができる。
図14は、上記の多開口撮像システム内で使用するための多開口の2つの非限定的な例1402、1410を示す。第1の多開口1402は、2つの異なる薄膜フィルタを有する透過性基板を備えることができ、基板の中心に位置する第1の円形の薄膜フィルタ1404が、EMスペクトルの第1の帯域内の放射を透過する第1の開口を形成し、第1のフィルタの周りに(たとえば、同心円状に)形成された第2の薄膜フィルタ1406が、EMスペクトルの第2の帯域内の放射を透過する。
第1のフィルタは、可視放射と赤外放射の両方を透過するように構成することができ、第2のフィルタは、赤外放射を反射し、可視放射を透過するように構成することができる。外側の同心円の外径は、不透明な開口ホルダ1408内の開口によって画定することができ、または別法として、基板上に堆積させた不透明な薄膜層1408内に画定される開口によって画定することができ、不透明な薄膜層1408は、赤外放射と可視放射の両方を阻止する。薄膜多開口の形成の原理は、3つ以上の開口を含む多開口に容易に拡大することができ、各開口はEMスペクトル内の特定の帯域に関連する放射を透過することが、当業者には明らかである。
一実施形態では、第2の薄膜フィルタは、赤外スペクトル内の放射を反射し、可視スペクトル内の放射を透過する2色性フィルタに関係することができる。干渉フィルタとも呼ばれる2色性フィルタは当技術分野ではよく知られており、通常、赤外放射(たとえば、約750〜1250ナノメートルの波長を有する放射)を反射し、スペクトルの可視部分内の放射を透過するように構成された特有の厚さの複数の薄膜誘電体層を含む。
図11を参照して説明した多開口システム内では、第2の多開口1410を使用することができる。この変形形態では、多開口は比較的大きい第1の開口1412を含み、第1の開口1412は、不透明な開口ホルダ1414内の開口として画定され、または別法として、透過性基板上に堆積させた不透明な薄膜層内に画定される開口によって画定され、不透明な薄膜は、赤外放射と可視放射の両方を阻止する。この比較的大きい第1の開口内で、第1の開口内に形成された薄膜ホットミラーフィルタ1424内の開口として、複数の小さい赤外開口1416〜1422が画定される。
図15は、本発明の別の実施形態による多開口撮像システム1500を示す。撮像システム1500は、図1に示す撮像システム100内に含まれるものと実質上同様のレンズ系104、開口システム108、シャッタ106、色フィルタアレイ120、画像センサ102、アナログ-デジタル変換器110、DSP112、中央処理装置114、記憶メモリ116、およびプログラムメモリ118を含む。撮像システム1500は、少なくとも図1〜14に関連して上述したように機能するように構成される。簡潔にするために、これらの議論についてここでは繰り返さない。
撮像システム1500は、フラッシュ1520をさらに含むという点で、撮像システム100とは異なる。本明細書に前述したように、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、画像センサ102を同時に露出させることによって、1つまたは複数の物体に関連する画像データが取り込まれる。このシナリオでは、画像が取り込まれているとき、フラッシュ1520は、撮像すべき物体に、電磁スペクトルの第2の部分に関連する放射を照射するように構成することができる。言い換えれば、フラッシュ1520は、風景内にすでに存在しうる放射(周囲または背景の放射)に加えて、電磁スペクトルの第2の部分に関連する放射を提供するように構成することができる。フラッシュを用いて画像が取り込まれた後、図1〜14に関連して上述した様々な技法を適用して、画像データを処理することができる。
このフラッシュの機能性は、電磁スペクトルの第2の部分内の背景の放射が低い設定、および/または第2の開口が第1の開口よりはるかに小さい設定で、特に有用であろう。画像が取り込まれているときにフラッシュ1520が物体を照射しなければ、電磁スペクトルの第2の部分内の放射を検出するように構成されたセンサに到達する信号は、正確に検出および分析するには小さすぎることがある。
追加の照射を提供する目的のため、フラッシュ1520は、たとえばダイオードレーザ、発光ダイオード、または他の光源などの適した放射源を含むことができる。任意選択で、フラッシュ1520はまた、フラッシュ1520によって提供される照射内に所望のパターン(たとえば、スペックルパターン)を生成するために、たとえば拡散器または回折光学要素などの適した光学系(図15には図示せず)を含むことができる。図15に示すように、一実施形態では、フラッシュ1520は、DSP112によって制御することができる。他の実施形態では、フラッシュ1520は、中央処理装置114によって、または図15には示されていないが、別の別個の制御装置によって制御することができる。
フラッシュ1520を制御するいくつかの技法について、可視光を通すが赤外放射を通さない第1の開口および赤外放射を通す第2の開口に関して、次に説明する。そのような一実施形態では、フラッシュ1520は、撮像すべき物体に赤外放射を照射するはずである。当然ながら、類似の教示は、異なる放射帯域にも当てはまるはずである。通常、フラッシュ1520は、EMスペクトルの第2の部分内だけでなく、EMスペクトルの他の部分内でも同様に、照射を提供するように構成することができる。たとえば、フラッシュ1520は、たとえば赤外とRGBの両方のスペクトル内の放射を含む広い帯域の照射を提供するように構成することができる。
一実施形態では、赤外フラッシュパラメータ(たとえば、フラッシュの強度、フラッシュの継続時間、フラッシュの波長範囲、またはそれらの導関数の1つまたは複数など)を事前に決定し、メモリ内に記憶することができる。そのような一実施形態では、DSP112はフラッシュ1520に対して、画像が取り込まれているとき、メモリからフラッシュパラメータを得て、得られたフラッシュパラメータに従って動作することを指示するように構成することができる。
別の実施形態では、DSP112は、現在の照明条件を示す情報へのアクセスを有し、現在の照明条件に従って、フラッシュパラメータを設定し、または既存のフラッシュパラメータを調整するように構成することができる。たとえば、周囲の赤外放射強度がRGBに比べて高い照明条件では、画像を取り込んでいるときはフラッシュ1520をオフに切り換えることができる。しかし、周囲の赤外放射強度が(RGBに関わらず、たとえば何らかの所定の絶対閾値などに比べて)低い条件では、DSP112はフラッシュ1520に対して、画像が取り込まれているときは、撮像すべき物体を照射することを指示することができる。DSP112は、たとえば照明条件を整合させるように、フラッシュパラメータを設定することができる。
さらに別の実施形態では、DSP112は、図16の方法1600に示すように、フラッシュ1520を制御するように構成することができる。第1のステップ1602では、フラッシュ1520をオフにした状態で、画像データが取り込まれる。その後、上記の方法700のステップ704と同様に、DSP112は、色画像データおよび赤外画像データを抽出することができる(ステップ1604)。その後、ステップ1606では、抽出された色画像データおよび赤外画像データに基づいて、DSP112は、色光強度と赤外強度との比(またはその導関数)を決定することができる。次に、ステップ1608では、DSP112は、決定された比に基づいて、フラッシュパラメータを設定/調整することができる。たとえばこの比により、DSP112は、背景赤外放射のレベルを決定し、フラッシュ1520による照射の適当な強度および継続時間を決定することができる。最後のステップ1610では、この場合もフラッシュを用いて画像データが取り込まれ、DSP112はフラッシュ1520に対して、ステップ1608で設定されたフラッシュパラメータに従って動作することを指示する。
追加の実施形態では、DSP112はフラッシュ1520に対して、上記の方法のいずれかに従って設定された照射の強度で画像を取り込みながら風景を照射することを指示することができる。フラッシュ1520が風景を照射しているとき、DSP112は、たとえば受け取った赤外放射の強度などの入ってくる赤外放射の入射を示す画像センサからの情報を受け取るように構成することができる。次いでDSP112は、フラッシュで風景を照射しながら画像を取り込んでいる間に、飽和に到達したかどうかを連続して判定する。DSP112が飽和に到達したことを判定した後、DSP112はフラッシュ1520に対して、消すことを指示することができる。いくつかの実施形態では、フラッシュ1520が照射を提供する継続時間は、画像を取り込むための露出時間よりはるかに短くすることができる。たとえば、露出を1/60秒にすることができるのに対して、フラッシュ1520は1/1000秒の照射を提供するように構成することもできる。他の実施形態では、DSP112は、他の条件に基づいて、フラッシュ1520による照射の強度および/または継続時間を制御できることが、当業者には想定できるであろう。
上記の実施形態では、赤外放射の強度はまた、画像全体の画像データを処理するのではなく、専用の赤外画素によって測定することができる。
さらに別の実施形態では、DSP112は、図17の方法1700に示すように、フラッシュ1520を制御するように構成することができる。第1のステップ1702では、フラッシュ1520をオフにした状態で、画像データが取り込まれる。その後、上記の方法を使用して、DSP112は、深度マップを生成することができる(ステップ1704)。次に、ステップ1706で、DSP112は、生成された深度マップに基づいて、フラッシュパラメータを設定/調整することができる。本明細書に前述したように、深度マップは、撮像システムから風景内の物体までの距離を提供する。従来の手動フラッシュでは、撮影者は、フラッシュから物体までの距離を予測し、次いでこの距離に基づいて、フラッシュの開口および/または継続時間を設定する必要がある。深度マップへのアクセスを有することによって、DSP112は、フラッシュを発する開口および/または継続時間を自動的に設定するように構成することができる。最後のステップ1708では、この場合もフラッシュを用いて画像データが取り込まれ、DSP112はフラッシュ1520に対して、ステップ1706で設定されたフラッシュパラメータに従って動作することを指示する。
様々な実施形態では、赤外フラッシュは、従来の可視(RGB)フラッシュと同様に機能することができる。しかし、赤外フラッシュを使用することで、RGBフラッシュを使用するのに比べていくつかの利点が提供される。1つの利点は、画像が撮影されているときに赤外フラッシュが見えないことである。これは、特定の状況では(たとえば、演奏会で写真が撮影されているとき)、それほど邪魔にならずにすむことができる。別の利点は、フラッシュのために生成される波長の帯域を特定の制限された設定に抑制することによって、フラッシュを発する際に消費されるエネルギーを低減させることが可能になることである。この利点は、エネルギー消費が重要な適用分野(たとえば、移動電話)では、特に適当であろう。赤外フラッシュのさらなる別の利点は、赤外フラッシュを使用することで、フラッシュに近すぎる物体は露出過度になり、遠い物体は露出不足になるという、従来のフラッシュに一般的な影響を回避できることである。赤外フラッシュを使用することで、カメラからすべての距離で正しい露出を提供する。
画像の取り込みに関する上記の議論はすべて、ビデオデータの取り込みにも適用することができる。なぜならビデオとは、そのような画像の連続であるからである。
本発明の実施形態は、コンピュータシステムで使用するためのプログラム製品として実施することができる。プログラム製品のプログラムは、実施形態(本明細書に記載の方法を含む)の関数を規定しており、様々なコンピュータ可読記憶媒体上に収容することができる。例示的なコンピュータ可読記憶媒体は、それだけに限定されるものではないが、(i)情報が永久的に記憶される書き込み不可の記憶媒体(たとえば、CD-ROMドライブによって読み取りできるCD-ROMディスク、フラッシュメモリ、ROMチップ、または任意のタイプの固体不揮発性半導体メモリなどのコンピュータ内の読取り専用記憶装置)、および(ii)変更可能な情報が記憶される書き込み可能記憶媒体(たとえば、ディスケットドライブ内のフロッピー（登録商標）ディスクもしくはハードディスクドライブまたは任意のタイプの固体ランダムアクセス半導体メモリ)を含む。
いずれか1つの実施形態に関連して説明したあらゆる特徴は、単独で、または記載の他の特徴と組み合わせて使用することができ、いずれかの他の実施形態の1つもしくは複数の特徴、またはいずれかの他の実施形態のいずれかの組合せと組み合わせて使用することもできることを理解されたい。さらに、本発明は、上記の実施形態に限定されるものではなく、添付の特許請求の範囲の範囲内で変更することができる。
102 画像センサ
104 レンズ系
106 シャッタ
108 多開口システム
110 アナログ-デジタル(A/D)変換器
112 デジタル信号処理装置(DSP)
114 中央処理装置
116 記憶メモリ
118 プログラムメモリ
120 色フィルタアレイ(CFA)
122 EM放射
124 信号処理関数

Claims (15)

  1. 風景の画像を形成する方法であって、
    少なくとも第1の開口を使用して電磁(EM)スペクトルの第1の部分からの放射に、また前記第1の開口とは異なる寸法を有する少なくとも第2の開口を使用して前記EMスペクトルの第2の部分からの放射に、画像センサを露出させることによって、前記風景の第1の画像を取り込むステップと、
    前記EMスペクトルの前記第1の部分からの前記放射によって生成される前記第1の画像の画像データに基づいて、また前記EMスペクトルの前記第2の部分からの放射によって生成される前記第1の画像の画像データに基づいて、前記風景の前記画像を形成するステップとを含み、
    前記第1の画像を取り込むと同時に、前記EMスペクトルの前記第2の部分からの前記放射によって前記風景が照射され、
    所定の1つまたは複数の照射パラメータに従って、前記EMスペクトルの前記第2の部分からの放射によって前記風景が照射され、前記第1の画像を取り込む前に、前記1つまたは複数の照射パラメータが、
    前記EMスペクトルの前記第2の部分からの前記放射によって前記風景が照射されずに、少なくとも前記第1の開口を使用して前記EMスペクトルの前記第1の部分からの前記放射に、また少なくとも前記第2の開口を使用して前記EMスペクトルの前記第2の部分からの前記放射に、前記画像センサを露出させることによって、前記風景の第2の画像を取り込むステップと、
    前記EMスペクトルの前記第1の部分に関連する前記第2の画像の画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の画像データを生成するステップと、
    前記EMスペクトルの前記第1の部分に関連する前記第2の画像の前記画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の前記画像データに基づいて、前記EMスペクトルの前記第1の部分に関連するスペクトルエネルギーの強度またはその導関数と、前記EMスペクトルの前記第2の部分に関連するスペクトルエネルギーの強度またはその導関数との比を決定するステップと、
    前記決定された比に基づいて、前記1つまたは複数の照射パラメータを設定するステップとによって事前に決定される、
    方法。
  2. 風景の画像を形成する方法であって、
    少なくとも第1の開口を使用して電磁(EM)スペクトルの第1の部分からの放射に、また前記第1の開口とは異なる寸法を有する少なくとも第2の開口を使用して前記EMスペクトルの第2の部分からの放射に、画像センサを露出させることによって、前記風景の第1の画像を取り込むステップと、
    前記EMスペクトルの前記第1の部分からの前記放射によって生成される前記第1の画像の画像データに基づいて、また前記EMスペクトルの前記第2の部分からの放射によって生成される前記第1の画像の画像データに基づいて、前記風景の前記画像を形成するステップとを含み、
    前記第1の画像を取り込むと同時に、前記EMスペクトルの前記第2の部分からの前記放射によって前記風景が照射され、
    所定の1つまたは複数の照射パラメータに従って、前記EMスペクトルの前記第2の部分からの前記放射によって前記風景が照射され、前記第1の画像を取り込む前に、前記1つまたは複数の照射パラメータが、
    前記EMスペクトルの前記第2の部分からの前記放射によって前記風景が照射されずに、少なくとも前記第1の開口を使用して前記EMスペクトルの前記第1の部分からの前記放射に、また少なくとも前記第2の開口を使用して前記EMスペクトルの前記第2の部分からの前記放射に、前記画像センサを露出させることによって、第2の画像を取り込むステップと、
    前記EMスペクトルの前記第1の部分に関連する前記第2の画像の画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の画像データを生成するステップと、
    前記EMスペクトルの前記第1の部分に関連する前記第2の画像の前記画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の前記画像データに基づいて、前記取り込まれた第2の画像に関連する深度情報を生成するステップと、
    前記生成された深度情報に基づいて、前記1つまたは複数の照射パラメータを設定するステップとによって事前に決定される、方法。
  3. 前記深度情報が、前記EMスペクトルの前記第1の部分に関連する前記第2の画像の前記画像データの少なくとも1つの領域内の第1のシャープネス情報および前記EMスペクトルの前記第2の部分に関連する前記第2の画像の前記画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて生成される、請求項2に記載の方法。
  4. 前記深度情報が、前記EMスペクトルの前記第2の部分に関連する前記第2の画像の前記画像データ内の移動情報に基づいて生成される、請求項2に記載の方法。
  5. 前記深度情報が、前記EMスペクトルの前記第2の部分に関連する前記第2の画像の前記画像データに関連する高周波画像データの自動相関関数内の移動情報に基づいて生成される、請求項2に記載の方法。
  6. 前記EMスペクトルの前記第2の部分からの前記放射によって前記風景が照射されながら、前記第1の画像を取り込んでいる間に、前記EMスペクトルの前記第2の部分に関連するスペクトルエネルギーの強度またはその導関数が所定の閾値に到達したかどうかを判定するステップと、
    そのような決定の際、前記EMスペクトルの前記第2の部分からの前記放射によって前記風景を照射するのを中止するステップと
    をさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記画像センサが、前記第1の開口と第2の開口からの放射に同時に露出される、請求項1から6のいずれか一項に記載の方法。
  8. 前記EMスペクトルの前記第2の部分に関連する前記第1の画像の前記画像データを高域通過フィルタにかけるステップと、
    前記EMスペクトルの前記第2の部分に関連する前記第1の画像の前記画像データの前記フィルタにかけた高周波成分を、前記EMスペクトルの前記第1の部分に関連する前記第1の画像の前記画像データに追加するステップと
    をさらに含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記EMスペクトルの前記第1の部分が、可視スペクトルの少なくとも一部を含み、前記EMスペクトルの前記第2の部分が、不可視スペクトルの少なくとも一部を含む、請求項1から8のいずれかに記載の方法。
  10. 前記EMスペクトルの前記第1の部分が、可視スペクトルの少なくとも一部を含み、前記EMスペクトルの前記第2の部分が、赤外スペクトルの少なくとも一部を含む、請求項1から8のいずれかに記載の方法。
  11. 風景の画像を形成する多開口撮像システムであって、
    フラッシュと、
    画像センサと、
    少なくとも第1の開口を使用して電磁(EM)スペクトルの第1の部分からの放射に、また前記第1の開口とは異なる寸法を有する少なくとも第2の開口を使用して前記EMスペクトルの第2の部分からの放射に、前記画像センサを露出させることによって、第1の画像を取り込むように構成された波長選択性の多開口と、
    前記EMスペクトルの前記第1の部分からの前記放射によって生成される前記第1の画像の画像データに基づいて、また前記EMスペクトルの前記第2の部分からの放射によって生成される前記第1の画像の画像データに基づいて、前記風景の画像を形成するように構成された処理モジュールとを備え、
    前記第1の画像を取り込むと同時に、前記フラッシュが、前記EMスペクトルの前記第2の部分からの放射によって前記風景を照射するように構成され、
    前記フラッシュが、所定の1つまたは複数の照射パラメータに従って、前記EMスペクトルの前記第2の部分からの前記放射によって前記風景を照射するように構成され、前記第1の画像を取り込む前に、
    前記EMスペクトルの前記第2の部分からの前記放射によって前記風景が照射されずに、前記波長選択性の多開口が、少なくとも前記第1の開口を使用して前記EMスペクトルの前記第1の部分からの前記放射に、また少なくとも前記第2の開口を使用して前記EMスペクトルの前記第2の部分からの前記放射に、前記画像センサを露出させることによって、前記風景の第2の画像を取り込み、
    前記処理モジュールが、前記EMスペクトルの前記第1の部分に関連する前記第2の画像の画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の画像データを生成し、
    前記EMスペクトルの前記第1の部分に関連する前記第2の画像の前記画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の前記画像データに基づいて、前記処理モジュールが、前記EMスペクトルの前記第1の部分に関連するスペクトルエネルギーの強度またはその導関数と、前記EMスペクトルの前記第2の部分に関連するスペクトルエネルギーの強度またはその導関数との比を決定し、
    前記処理モジュールが、前記決定された比に基づいて、前記1つまたは複数の照射パラメータを設定することによって、前記1つまたは複数の照射パラメータが事前に決定される、システム。
  12. 風景の画像を形成する多開口撮像システムであって、
    フラッシュと、
    画像センサと、
    少なくとも第1の開口を使用して前記電磁(EM)スペクトルの第1の部分からの放射に、また前記第1の開口とは異なる寸法を有する少なくとも第2の開口を使用して前記EMスペクトルの第2の部分からの放射に、前記画像センサを露出させることによって、第1の画像を取り込むように構成された波長選択性の多開口と、
    前記EMスペクトルの前記第1の部分からの前記放射によって生成される前記第1の画像の画像データに基づいて、また前記EMスペクトルの前記第2の部分からの放射によって生成される前記第1の画像の画像データに基づいて、前記風景の画像を形成するように構成された処理モジュールとを備え、
    前記第1の画像を取り込むと同時に、前記フラッシュが、前記EMスペクトルの前記第2の部分からの放射によって前記風景を照射するように構成され、
    前記フラッシュが、所定の1つまたは複数の照射パラメータに従って、前記EMスペクトルの前記第2の部分からの前記放射によって前記風景を照射するように構成され、前記第1の画像を取り込む前に、
    前記EMスペクトルの前記第2の部分からの前記放射によって前記風景が照射されずに、前記波長選択性の多開口が、少なくとも前記第1の開口を使用して前記EMスペクトルの前記第1の部分からの前記放射に、また少なくとも前記第2の開口を使用して前記EMスペクトルの前記第2の部分からの前記放射に、前記画像センサを露出させることによって、第2の画像を取り込み、
    前記処理モジュールが、前記EMスペクトルの前記第1の部分に関連する前記第2の画像の画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の画像データを生成し、
    前記処理モジュールが、前記EMスペクトルの前記第1の部分に関連する前記第2の画像の前記画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の前記画像データに基づいて、前記取り込まれた第2の画像に関連する深度情報を生成し、
    前記処理モジュールが、前記生成された深度情報に基づいて、前記1つまたは複数の照射パラメータを設定することによって、前記1つまたは複数の照射パラメータが事前に決定される、請求項11に記載のシステム。
  13. 請求項11または12に記載の多開口撮像システム内で使用するためのフラッシュ制御装置であって、
    前記EMスペクトルの前記第1の部分に関連する前記第2の画像の前記画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の画像データを受け取る入力と、
    前記EMスペクトルの前記第1の部分に関連する前記第2の画像の前記画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の前記画像データに基づいて、前記EMスペクトルの前記第1の部分に関連するスペクトルエネルギーの強度またはその導関数と、前記EMスペクトルの前記第2の部分に関連するスペクトルエネルギーの強度またはその導関数との比を決定し、前記決定された比に基づいて、前記1つまたは複数の照射パラメータを設定し、または
    前記EMスペクトルの前記第1の部分に関連する前記第2の画像の前記画像データおよび前記EMスペクトルの前記第2の部分に関連する前記第2の画像の前記画像データに基づいて、前記取り込まれた第2の画像に関連する深度情報を生成し、前記生成された深度情報に基づいて、前記1つまたは複数の照射パラメータを設定する
    処理ユニットと
    を備える制御装置。
  14. 請求項11または12のいずれか一項に記載の多開口撮像システムを備えるデジタルカメラであって、前記デジタルカメラは、移動端末内で使用するためのデジタルカメラ。
  15. 画像データを処理するコンピュータプログラムであって、コンピュータシステムのメモリ内で実行されるとき、請求項1から10のいずれか一項に記載の方法ステップを実施するように構成されたソフトウェアコード部分を備えるコンピュータプログラム。
JP2013518959A 2010-07-16 2010-07-16 多開口撮像のためのフラッシュシステム Expired - Fee Related JP5734425B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/060282 WO2012007049A1 (en) 2010-07-16 2010-07-16 Flash system for multi-aperture imaging

Publications (2)

Publication Number Publication Date
JP2013538479A JP2013538479A (ja) 2013-10-10
JP5734425B2 true JP5734425B2 (ja) 2015-06-17

Family

ID=43797764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013518959A Expired - Fee Related JP5734425B2 (ja) 2010-07-16 2010-07-16 多開口撮像のためのフラッシュシステム

Country Status (6)

Country Link
US (2) US8917349B2 (ja)
EP (1) EP2594062B1 (ja)
JP (1) JP5734425B2 (ja)
KR (1) KR101655742B1 (ja)
CN (1) CN103250405B (ja)
WO (1) WO2012007049A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
EP2677363A1 (en) * 2012-06-20 2013-12-25 bioMérieux An optical device including a camera, a diaphragm and illumination means
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
JP6271990B2 (ja) * 2013-01-31 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
WO2014142171A1 (ja) * 2013-03-13 2014-09-18 富士通フロンテック株式会社 画像処理装置、画像処理方法、及びプログラム
CN108495051B (zh) 2013-08-09 2021-07-06 热成像雷达有限责任公司 采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
KR101638681B1 (ko) * 2014-07-15 2016-07-12 주식회사 듀얼어퍼처인터네셔널 색재현성이 개선된 듀얼 애퍼처 카메라 및 그 동작 방법
US10152631B2 (en) 2014-08-08 2018-12-11 Fotonation Limited Optical system for an image acquisition device
CN107111009B (zh) 2014-08-08 2019-11-08 快图有限公司 用于图像获取装置的光学系统、图像获取装置以及图像获取系统
CN104243782B (zh) * 2014-09-29 2019-02-05 联想(北京)有限公司 光学模组和电子设备
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US10366509B2 (en) 2015-03-31 2019-07-30 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
JP6491537B2 (ja) * 2015-05-20 2019-03-27 日本放送協会 撮像装置
KR101930196B1 (ko) * 2015-06-03 2018-12-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템
CN106303201A (zh) * 2015-06-04 2017-01-04 光宝科技股份有限公司 影像撷取装置及对焦方法
WO2016199965A1 (ko) * 2015-06-12 2016-12-15 재단법인 다차원 스마트 아이티 융합시스템 연구단 비 원 형상의 애퍼처 기판을 포함하는 광학계 및 이를 포함하는 멀티 애퍼처 카메라
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
US20170099476A1 (en) * 2015-10-01 2017-04-06 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
US9456195B1 (en) 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
KR102015479B1 (ko) * 2017-07-28 2019-08-28 에스케이텔레콤 주식회사 프로젝터 장치
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
KR102100921B1 (ko) * 2019-08-08 2020-04-14 에스케이텔레콤 주식회사 프로젝터 장치
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
JP2023019712A (ja) * 2021-07-29 2023-02-09 トヨタ自動車株式会社 画像生成装置、画像生成方法、及び車両制御システム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2800364B2 (ja) * 1990-04-27 1998-09-21 松下電器産業株式会社 光学的ローパスフィルタ
US5148209A (en) * 1990-07-12 1992-09-15 The Research Foundation Of State University Of New York Passive ranging and rapid autofocusing
US5231443A (en) * 1991-12-16 1993-07-27 The Research Foundation Of State University Of New York Automatic ranging and automatic focusing
US6034372A (en) * 1997-12-03 2000-03-07 The United States Of America As Represented By The Secretary Of The Air Force Pupil stop for multi-band focal plane arrays
US7683926B2 (en) * 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
JP3397758B2 (ja) * 1999-06-30 2003-04-21 キヤノン株式会社 撮像装置
JP3626101B2 (ja) * 2001-01-12 2005-03-02 コニカミノルタフォトイメージング株式会社 デジタルカメラ
JP4010779B2 (ja) * 2001-06-08 2007-11-21 ペンタックス株式会社 画像検出装置と絞り装置
JP2003084344A (ja) * 2001-09-14 2003-03-19 Casio Comput Co Ltd 閃光装置及びそれを備えたカメラ装置、閃光装置の色温度制御方法
US6870684B2 (en) * 2001-09-24 2005-03-22 Kulicke & Soffa Investments, Inc. Multi-wavelength aperture and vision system and method using same
JP2005017347A (ja) * 2003-06-23 2005-01-20 Canon Inc 絞り装置及びそれを用いた光学機器
JP4434991B2 (ja) 2005-03-01 2010-03-17 キヤノン株式会社 イメージセンサ
US7400458B2 (en) * 2005-08-12 2008-07-15 Philips Lumileds Lighting Company, Llc Imaging optics with wavelength dependent aperture stop
US7609291B2 (en) 2005-12-07 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Device and method for producing an enhanced color image using a flash of infrared light
US20070133983A1 (en) * 2005-12-14 2007-06-14 Matilda Traff Light-controlling element for a camera
US7819591B2 (en) * 2006-02-13 2010-10-26 3M Innovative Properties Company Monocular three-dimensional imaging
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
JP5315574B2 (ja) 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
JP2009004605A (ja) 2007-06-22 2009-01-08 Fujifilm Corp 撮像素子及び撮像装置
US20090159799A1 (en) 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
US8824833B2 (en) * 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
CN101561634B (zh) * 2008-04-15 2014-07-23 北大方正集团有限公司 一种获取光刻机最佳参数的方法及装置
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
US9282926B2 (en) * 2008-12-18 2016-03-15 Sirona Dental Systems Gmbh Camera for recording surface structures, such as for dental purposes
US9077916B2 (en) 2009-01-16 2015-07-07 Dual Aperture International Co. Ltd. Improving the depth of field in an imaging system
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
EP2471258B1 (en) 2009-08-25 2017-05-24 Dual Aperture International Co. Ltd. Reducing noise in a color image
JP5670481B2 (ja) 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
WO2011101035A1 (en) 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data
US8780182B2 (en) * 2010-03-31 2014-07-15 Raytheon Company Imaging system and method using partial-coherence speckle interference tomography
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens

Also Published As

Publication number Publication date
WO2012007049A1 (en) 2012-01-19
US20130113988A1 (en) 2013-05-09
KR101655742B1 (ko) 2016-09-09
CN103250405B (zh) 2016-08-17
US20150085137A1 (en) 2015-03-26
JP2013538479A (ja) 2013-10-10
EP2594062A1 (en) 2013-05-22
KR20130140617A (ko) 2013-12-24
US8917349B2 (en) 2014-12-23
EP2594062B1 (en) 2016-09-14
US9635275B2 (en) 2017-04-25
CN103250405A (zh) 2013-08-14

Similar Documents

Publication Publication Date Title
JP5734425B2 (ja) 多開口撮像のためのフラッシュシステム
JP5728673B2 (ja) 多開口画像データの処理
JP5670481B2 (ja) 多開口画像データの処理
US9615030B2 (en) Luminance source selection in a multi-lens camera
US20160286199A1 (en) Processing Multi-Aperture Image Data for a Compound Imaging System
US20160042522A1 (en) Processing Multi-Aperture Image Data
US9721357B2 (en) Multi-aperture depth map using blur kernels and edges
US20170230638A1 (en) Depth Measurement Techniques for a Multi-Aperture Imaging System
US20170034456A1 (en) Sensor assembly with selective infrared filter array
US20160255334A1 (en) Generating an improved depth map using a multi-aperture imaging system
KR20170042226A (ko) 멀티-애퍼처 이미징 시스템을 위한 애플리케이션 프로그래밍 인터페이스
WO2012086127A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP7386703B2 (ja) ビネッティングの補償
JP5409158B2 (ja) 単板カラー２次元撮像素子を備える撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140630

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140707

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140901

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150204

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150414

R150 Certificate of patent or registration of utility model

Ref document number: 5734425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees