JP2024507500A - コーデッドアパーチャイメージングシステムおよび方法 - Google Patents

コーデッドアパーチャイメージングシステムおよび方法 Download PDF

Info

Publication number
JP2024507500A
JP2024507500A JP2023549123A JP2023549123A JP2024507500A JP 2024507500 A JP2024507500 A JP 2024507500A JP 2023549123 A JP2023549123 A JP 2023549123A JP 2023549123 A JP2023549123 A JP 2023549123A JP 2024507500 A JP2024507500 A JP 2024507500A
Authority
JP
Japan
Prior art keywords
light
optical system
image sensor
coded aperture
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023549123A
Other languages
English (en)
Inventor
フランチェスコ・パオロ・ダレオ
マルクス・ロッシ
イェンス・ガイガー
Original Assignee
エーエムエス-オスラム・アジア・パシフィック・ピーティーイー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エーエムエス-オスラム・アジア・パシフィック・ピーティーイー・リミテッド filed Critical エーエムエス-オスラム・アジア・パシフィック・ピーティーイー・リミテッド
Publication of JP2024507500A publication Critical patent/JP2024507500A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30Collimators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

物体を撮像するための光学システムが、初期空間分布で空間的符号化光を生成するための空間符号化装置と、空間的符号化光の初期空間分布に基づくマスクパターンを画定するコーデッドアパーチャと、画像センサと、を含む。光学システムは、使用時、物体が空間的符号化光の少なくとも一部を反射させて反射光を形成するように、空間符号化装置が空間的符号化光を物体上へと導き、反射光がコーデッドアパーチャを通して導かれて空間的復号化光を形成し、空間的復号化光が画像センサ上へと導かれてその上に画像を形成し、そして画像センサが画像を検出するように構成されている。この光学システムを使用して、先行技術のコーデッドアパーチャイメージングシステムを使用して実行される先行技術のコーデッドアパーチャイメージング技術と比較して、画像センサによって検出された光から物体の画像を再構成するために要求される画像処理の複雑さを排除、または少なくとも低減する方法で、物体を撮像することができる。

Description

本開示は、特に、排他的ではないが、モバイルおよび/またはウェアラブル電子デバイスのような電子デバイスで使用するためのコーデッドアパーチャイメージングシステムおよび方法に関する。
コーデッドアパーチャを通して物体からの周囲光を透過して空間的符号化光を形成すること、画像センサ上で空間的符号化光の空間分布を検出すること、そして計算技術を使用して、空間的符号化光の検出された空間分布から物体の画像を再構成することに依る、コーデッドアパーチャイメージングシステムおよび方法が知られている。このようなコーデッドアパーチャイメージングシステムおよび方法はレンズレスであるが、一般に計算量が多く、物体の画像の再構成の結果、いくつかの技術的用途では許容できない時間遅延が発生する可能性があり、および/またはいくつかの技術的用途では法外なレベルの電力消費が発生する可能性がある。
コーデッドアパーチャを通して光源からの光を透過して空間的符号化光を形成すること、空間的符号化光を使用して、少なくとも部分的に透明である物体を照明すること、物体を通して透過される空間的符号化光の少なくとも一部を検出すること、そして計算技術を使用して、検出された空間的符号化光から物体の画像を再構成することを含む、他のコーデッドアパーチャイメージング方法が知られている。このようなコーデッドアパーチャイメージングシステムおよび方法はレンズレスであるが、これらも一般に計算量が多く、物体の画像の再構成の結果、いくつかの技術用途では許容できない時間遅延が発生する可能性があり、および/またはいくつかの技術的用途では法外なレベルの電力消費が発生する可能性がある。
本開示の一態様によれば、物体を撮像するための光学システムが提供され、この光学システムは、
初期空間分布で空間的符号化光を生成するための空間符号化装置と、
空間的符号化光の初期空間分布に基づくマスクパターンを画定するコーデッドアパーチャと、
画像センサと、
を含み、
光学システムは、使用時、物体が空間的符号化光の少なくとも一部を反射させて反射光を形成するように、空間符号化装置が空間的符号化光を物体上へと導き、反射光がコーデッドアパーチャを通して導かれて空間的復号化光を形成し、空間的復号化光が画像センサ上へと導かれてその上に画像を形成し、そして画像センサが画像を検出するように構成されている。
物体から受け取られた空間的符号化光から物体の画像を再構成する計算技術に依存する先行技術のコーデッドアパーチャイメージングシステムとは対照的に、このような光学システムは、初期空間分布で空間的符号化光を生成すること、空間的符号化光を物体から反射させること、そして空間的符号化光の初期空間分布に基づくマスクパターンを画定するコーデッドアパーチャを通して反射した空間的符号化光を透過することに依る。コーデッドアパーチャは空間的符号化光を復号し、先行技術のコーデッドアパーチャイメージングシステムを使用して形成される物体の画像と比較して、その物体によりよく似ている画像を画像センサ上に形成する空間的復号化光を形成する。したがって、このような光学システムは、先行技術のコーデッドアパーチャイメージングシステムを使用して実行される先行技術のコーデッドアパーチャイメージング技術と比較して、物体の画像を再構成するために要求される画像処理の複雑さを排除、または少なくとも低減することができる。したがって、このような光学システムは、先行技術のコーデッドアパーチャイメージングシステムに対して、撮像に関連する計算負荷を排除、または少なくとも低減し、これによって、先行技術のコーデッドアパーチャイメージングシステムに対して、撮像時間を短縮/応答性を改善すること、および/または撮像のためのエネルギー消費を低減することができる。
このような光学システムは、処理リソースの利用可能性およびエネルギー貯蔵量が限定されることがあるモバイル電子デバイスでの使用に特に適し得る。
撮像されるべき物体を通る光の透過に依存するいくつかの先行技術のコーデッドアパーチャイメージングシステムとは異なり、このような光学システムは、物体から反射した光を使用して物体を撮像するために使用することができるため、物体の画像を生成するために物体が空間的符号化光を透過する必要がない。
画像センサによって検出される画像は、物体の画像であり得る。
画像センサによって検出される画像は、物体の鮮明なまたは焦点の合った画像であり得る。
画像センサによって検出される画像は、物体のぼやけた画像であり得る。
画像センサによって検出される画像は、物体のスケールされた画像であり得る。
画像センサによって検出される画像は、物体より小さいことがある。
画像センサによって検出される画像は、物体のスケールされた画像と、コーデッドアパーチャによって画定されるマスクパターンから独立している関数の積であり得る。
マスクパターンはバイナリマスクパターンであり得る。
コーデッドアパーチャは、マスクパターンを一緒に画定する複数の不透明領域および複数の透明領域またはアパーチャを含むことができる。
コーデッドアパーチャは回折性であり得る。
コーデッドアパーチャは位相マスクを含むことができる。
マスクパターンは、マスクパターンの自己相関が、中心ピークまたはローブを含むが、二次ピークまたはサイドローブを含まない、または中心ピークまたはローブを含み、中心ピークまたはローブの振幅の1/10未満、中心ピークまたはローブの振幅の1/100未満、または中心ピークまたはローブの振幅の1/1000未満である振幅を有する1つまたは複数の二次ピークまたはサイドローブを含む、クロネッカーデルタ関数δに等しい、または類似するように構成することができる。
マスクパターンは均一冗長アレイ(URA)マスクパターンであり得る。
マスクパターンは修正均一冗長アレイ(MURA)マスクパターンであり得る。
コーデッドアパーチャは再構成可能であり得る。再構成可能なマスクパターンは、物体の異なる画像を画像センサ上に形成することを可能にすることができ、それぞれの異なる画像は物体の異なる視野角に対応する。再構成可能なマスクパターンにより、画像センサ上に形成される画像を最適化するためにマスクパターンを調整することが可能になり得る。
コーデッドアパーチャは複数の再構成可能な要素から形成される、またはこれらを含むことができ、各要素は透明状態と遮断または吸収状態との間で再構成可能である。
コーデッドアパーチャはLCDアレイから形成される、またはこれを含むことができる。
光学システムは、物体から反射した周囲光を拒絶または遮断するように構成することができる。
光学システムは、物体から反射した周囲光を拒絶または遮断するために画像センサの前に光学フィルタを含むことができる。
画像センサは、赤外光を検出するように構成することができる。
画像センサは、可視光に対してはより低い感度、そして赤外光に対してはより高い感度を有するように構成することができる。
空間的符号化光および空間的復号化光は両方とも赤外光を含むことができ、または両方ともこれから形成することができる。画像センサは、赤外光を検出するように構成することができる。光学システムは、可視光を拒絶または遮断するため、そして赤外光を透過するために、画像センサの前に光学フィルタを含むことができる。
光学フィルタは、染料ベースのポリマー材料を含む、またはこれから形成することができる。
光学フィルタは、アンチモンドープ酸化スズを含む、またはこれから形成することができる。
光学フィルタは干渉フィルタであり得る。
空間的符号化光は所定の時間変調で時間的に変調することができ、そのため空間的復号化光もその所定の時間変調で時間的に変調される。画像センサは、時間的に変調された空間的復号化光と、時間的に変調されていない光および/または所定の時間変調とは異なる時間変調で時間的に変調されている光との間を区別するように構成することができる。
空間符号化装置は1つまたは複数の光学エミッタを含むことができる。
各光学エミッタはランバーシアン光学エミッタまたは非ランバーシアン光学エミッタを含むことができる。
各光学エミッタはLEDを含むことができる。
各光学エミッタは、赤外光を発するように構成することができる。
各光学エミッタは所定の時間変調で時間的に変調することができ、そのため空間的復号化光もその所定の時間変調で時間的に変調される。
空間符号化装置は単一の光学エミッタを含むことができる。
空間符号化装置は複数の光学エミッタを含むことができる。
複数の光学エミッタの各光学エミッタは、複数の光学エミッタの1つまたは複数の他の光学エミッタから独立して動作可能であり得る。
空間符号化装置はコーデッドアパーチャを含むことができ、光学システムは、使用時、1つまたは複数の光学エミッタが、コーデッドアパーチャを通過する光を発して空間的符号化光を形成し、そのため空間的符号化光の初期空間パターンがコーデッドアパーチャのマスクパターンによって画定されるように構成することができる。
1つまたは複数の光学エミッタと画像センサは同一平面上にあり得る。
1つまたは複数の光学エミッタと画像センサは同じ基板上に搭載または形成することができる。
1つまたは複数の光学エミッタは複数の光学エミッタを含み、複数の光学エミッタは画像センサの感光領域にわたって分散している。
空間符号化装置は、コーデッドアパーチャと同じマスクパターンを画定するさらなるコーデッドアパーチャを含むことができ、光学システムは、使用時、1つまたは複数の光学エミッタが、さらなるコーデッドアパーチャを通過する光を発して空間的符号化光を形成し、そのため空間的符号化光の初期空間パターンがさらなるコーデッドアパーチャのマスクパターンによって画定されるように構成されている。
コーデッドアパーチャとさらなるコーデッドアパーチャは互いに隣接して配置することができる。
コーデッドアパーチャとさらなるコーデッドアパーチャは同一平面上にあり得る。
コーデッドアパーチャとさらなるコーデッドアパーチャは同一平面上になくてもよく、コーデッドアパーチャは画像センサの前に配置され、さらなるコーデッドアパーチャは1つまたは複数の光学エミッタの前に配置され、反射光がコーデッドアパーチャのマスクパターンの領域に入射し、1つまたは複数の光学エミッタによって発せられた光がさらなるコーデッドアパーチャの同じマスクパターンの対応する領域に入射するようになっている。
空間符号化装置は複数の光学エミッタを含むことができ、複数の光学エミッタは、空間的符号化光の初期空間パターンを画定するように空間的に配置され、コーデッドアパーチャによって画定されるマスクパターンは、複数の光学エミッタの空間的配置によって画定される空間的符号化光の初期空間パターンの逆である。
複数の光学エミッタの各光学エミッタは、複数の光学エミッタの各光学エミッタがコーデッドアパーチャの対応する不透明または遮断領域を画定することができるように、反射光を吸収または遮断することができる。
複数の光学エミッタの各光学エミッタは、複数の光学エミッタによって発せられる光に対して透明である基板上に搭載、または形成することができる。
複数の光学エミッタの各光学エミッタは、コーデッドアパーチャの対応する不透明または遮断領域と位置合わせされ得る。
複数の光学エミッタの各光学エミッタは、コーデッドアパーチャの対応する不透明または遮断領域上に搭載、または形成することができる。
空間符号化装置は複数のレンズ要素を含むことができ、各レンズ要素は、対応する光学エミッタによって発せられた光を少なくとも部分的に集束またはコリメートするように、対応する光学エミッタの前に位置合わせされている。
本開示の一態様によれば、上述のような光学システムを含む電子デバイスが提供される。
電子デバイスはユーザインターフェイスを含むことができる。1つまたは複数の光学エミッタおよび画像センサをユーザインターフェイスの後ろに配置することができ、物体をユーザインターフェイスの前に配置することができる。
コーデッドアパーチャは画像センサとユーザインターフェイスとの間に画定することができる。
コーデッドアパーチャはユーザインターフェイスと物体との間に画定することができる。
コーデッドアパーチャは、ユーザインターフェイス上に画定、または形成することができる。
コーデッドアパーチャはユーザインターフェイスによって画定することができ、たとえばコーデッドアパーチャの複数の不透明領域の各不透明領域は、ユーザインターフェイスの対応するピクセル、またはピクセルの群によって画定され、複数の透明領域の各透明領域は、ユーザインターフェイスの対応するピクセル、またはピクセルの群によって画定される。
ユーザインターフェイスはディスプレイを含むことができる。
ユーザインターフェイスはタッチスクリーンディスプレイを含むことができる。
電子デバイスはモバイル電子デバイスを含むことができる。
電子デバイスは、移動電話、携帯電話、スマートフォン、タブレット、ラップトップ、または電子時計もしくは電子リストバンドのようなウェアラブル電子デバイスを含むことができる。
電子デバイスは、画像センサによって検出された画像を処理し、これによって物体の1つまたは複数の特徴を認識するように構成することができる。たとえば、物体は人の指または親指の少なくとも一部を含むことができ、電子デバイスは、人の指または親指の少なくとも一部の検出された画像から人の指または親指が光学システムに近いことを認識または判定する目的で、画像センサによって検出された画像を処理するように構成されている処理リソースを含むことができる。これは、ユーザが「タッチスクリーン」の近くの高い仮想平面上で「タッチスクリーン」と相互作用する小型ディスプレイ用の近接「タッチスクリーン」にとって特に有利であり、ユーザの指または親指がディスプレイを隠す範囲を回避または少なくとも低減することができる。
物体は人または人の一部を含むことができ、電子デバイスは、人を認識または識別する目的で、画像センサによって検出された画像を処理するように構成することができる。たとえば、物体は人の顔の少なくとも一部を含むことができ、電子デバイスは、顔認識の目的で、画像センサによって検出された画像を処理するように構成されている処理リソースを含むことができる。物体は人の指紋または拇印を含むことができ、処理リソースは、人の指紋または拇印の画像から人を認識または識別する目的で、画像センサによって検出された画像を処理するように構成することができる。
物体は静止していても移動していてもよい。
電子デバイスは、移動物体の複数の画像を処理して物体の1つまたは複数の所定の動きを認識するように構成することができる。たとえば、移動物体は人の少なくとも一部を含むことができ、電子デバイスは、人の少なくとも一部の1つまたは複数の所定の動き、たとえばジェスチャーを認識または識別する目的で、画像センサによって検出された複数の画像を処理するように構成されている処理リソースを含むことができる。
本開示の一態様によれば、物体を撮像するための方法が提供され、この方法は、
空間的符号化光を初期空間分布で物体上へと導いて、物体が空間的符号化光の少なくとも一部を反射させて反射光を形成するようにするステップと、
コーデッドアパーチャを通して反射光を導いて空間的復号化光を形成するステップであって、コーデッドアパーチャは、空間的符号化光の初期空間分布に基づくマスクパターンを画定する、ステップと、
空間的復号化光を画像センサ上へと導くステップと、
を含み、
空間的復号化光は画像センサ上に画像を形成し、画像センサは画像を検出する。
この方法は、1つまたは複数の光学エミッタによって発せられる光を空間的に符号化して空間的符号化光を形成するステップを含むことができる。
この方法は、単一の光学エミッタによって発せられる光を空間的に符号化して空間的符号化光を形成するステップを含むことができる。
この方法は、複数の光学エミッタによって発せられる光を空間的に符号化して空間的符号化光を形成するステップを含むことができる。
この方法は、空間的符号化光を形成するように複数の光学エミッタを配置するステップを含むことができる。
この方法は、異なる方向から物体を照明するように、および/または物体の異なる部分を異なる時間に照明するように、複数の光学エミッタの異なる光学エミッタを異なる時間に動作させ、これによって異なる方向から見たときに物体の異なる画像を形成する、および/またはこれによって物体の異なる部分の画像を形成するステップを含むことができる。
本開示の前述の態様のいずれか1つの特徴のいずれか1つまたは複数を、本開示の他の前述の態様のいずれかの特徴のいずれか1つまたは複数と組み合わせることができるということが理解されるべきである。
次に、添付の図面を参照して単に非限定的な例として光学システムおよび方法を説明する。
物体を撮像するための光学システムを含む電子デバイスを概略的に示す図である。 図1Aの電子デバイスの光学システムのコーデッドアパーチャによって画定される修正均一冗長アレイ(MURA)バイナリマスクパターンを示す図である。 図1Aの電子デバイスの光学システムのコーデッドアパーチャのアパーチャを通した図1Aの電子デバイスの光学システムの照明器の点源の投影を概略的に示す図である。 物体を撮像するための第1の代替光学システムを含む第1の代替電子デバイスを概略的に示す図である。 物体を撮像するための第2の代替光学システムを含む第2の代替電子デバイスを概略的に示す図である。 物体を撮像するための第3の代替光学システムを含む第3の代替電子デバイスを概略的に示す図である。 図4Aの第3の代替電子デバイスの光学システムの照明器の点源の投影を概略的に示す図である。 ピラミッド関数を示す図である。
まず図1Aを参照すると、全体的に2で示すスマートフォンの形態の電子デバイスが示されている。スマートフォン2は、スマートフォン2の外部の場における物体12を撮像するための全体的に10で示す光学システムを含む。光学システム10は、たとえば、物体12を撮像するためのスマートフォン2の背面カメラの少なくとも一部を形成することができる。光学システム10は、初期空間分布24で空間的符号化光22を生成するための全体的に20で示す空間符号化装置、コーデッドアパーチャ26、赤外光を透過するための、そして可視光を拒絶または遮断するための光学フィルタ27、および画像センサ28を含む。図1Bに示すように、コーデッドアパーチャ26は、複数の不透明領域および複数の透明領域またはアパーチャによって画定される修正均一冗長アレイ(MURA)バイナリマスクパターンを画定する。
空間符号化装置20は、画像センサ28の感光領域と一体化され、これにわたって分散している1つまたは複数の赤外LED32の形態の、全体的に30で示すランバーシアン照明器を含む。また、図1Aの特定の光学システム10において、空間符号化装置20は、空間符号化装置20によって生成される空間的符号化光22の初期空間分布24が、少なくとも部分的にコーデッドアパーチャ26のMURAマスクパターンによって決定または支配されるように、コーデッドアパーチャ26をさらに含む。したがって、コーデッドアパーチャ26によって画定されるMURAマスクパターンは、空間符号化装置20によって生成される空間的符号化光22の初期空間パターン24に基づいていると考えることができる。図1Aに示すように、照明器30および画像センサ28は一般に照明器/画像センサ平面40上、またはその周囲に配置され、コーデッドアパーチャ26は一般にコーデッドアパーチャ平面42上、またはその周囲に配置され、そして物体12は一般に物体平面44上、またはその周囲に配置されている。図1Aに示すように、照明器/画像センサ平面40とコーデッドアパーチャ平面42は距離dによって分離され、コーデッドアパーチャ平面42と物体平面44は距離zによって分離されている。
使用時、照明器30は、光学フィルタ27およびコーデッドアパーチャ26を通過して初期空間分布24で空間的符号化光22を形成する赤外光を発する。光学システム10は、使用時、空間符号化装置20が空間的符号化光22を物体12上へと導き、物体12が空間的符号化光22の少なくとも一部を反射させて、コーデッドアパーチャ26を通って戻る反射光を形成し、光学フィルタ27を通して透過され、画像センサ28に入射する空間的復号化光を形成するように構成されている。空間的復号化光は画像センサ28上に画像を形成し、画像センサ28は画像を検出する。以下で詳細に説明する理由のため、画像センサ28上に形成される画像は、先行技術のコーデッドアパーチャイメージングシステムを使用して形成される物体の画像と比較して、物体12によりよく似ている。結果的に、撮像のための光学システム10の使用により、先行技術のコーデッドアパーチャイメージングシステムを使用して実行される先行技術のコーデッドアパーチャイメージング技術と比較して、物体12の画像を再構成するために要求される処理の複雑さが排除、または少なくとも低減される。
光学システム10の動作原理の簡単な説明として、物体12を照明する空間的符号化光22の放射照度分布Iは、ランバーシアン照明器30によって生成される放射発散度分布Iの畳み込みであると考えることができ、コーデッドアパーチャ26によって画定されるマスクパターンの透過関数A、すなわち物体12を照明する空間的符号化光22の放射照度分布Iは、I=I*Aとして表現することができ、「*」は、畳み込み演算を表す。Rが物体にわたる横位置の関数としての物体12の反射率であれば、物体12によって反射する放射照度は、I・R=(I*A)・Rによって与えられる。反射放射照度(I*A)・Rがコーデッドアパーチャ26を通過して戻った後、空間的復号化光によって画像センサ28上に形成される画像は、反射放射照度(I*A)・Rの畳み込みであると考えることができ、マスクパターンの透過関数A、すなわち画像センサ28に入射する空間的復号化光は、[(I*A)・R]*A=I*A*A・Rによって与えられる。コーデッドアパーチャ26のMURAマスクパターンによって定義される透過関数Aは、A*A=δであるように、すなわちMURAマスクパターンの透過関数Aの自己相関が二次元クロネッカーデルタ関数である、または少なくともこれに近似するように構成されている。また、ランバーシアン照明器30によって生成される放射発散度分布Iが点源である、またはこれに似ている特別な場合について、Iは二次元クロネッカーデルタ関数によって近似することもでき、すなわちI≒δである。結果的に、ランバーシアン照明器30が点源である、またはこれに似ているとき、画像センサ28に入射する空間的復号化光の空間分布は、Rによって与えられ、すなわちランバーシアン照明器30によって生成される放射発散度分布Iが点源である、またはこれに似ている特別な場合について、画像センサ28に入射する空間的復号化光は、物体12にわたる横位置の関数としての物体12の反射率に近似する画像を形成する。換言すれば、画像センサ28に入射する空間的復号化光は、コーデッドアパーチャ26のMURAマスクパターンから独立している物体12の画像を画像センサ28上に形成する。光学システム10の動作原理の前述の簡単な説明が、ランバーシアン照明器30によって生成される放射発散度分布Iが点源であり、またはこれに似ており、照明器30のぼやけもしくは拡大またはMURAマスクパターンの透明領域またはアパーチャを考慮しない特別な場合に当てはまることを、当業者は理解するであろう。光学システム10の動作原理のより一般的な、より詳細な説明を以下に提供する。
一般に、物体12を照明する空間的符号化光22の放射照度分布Iは、
=mtE(I)*mtA(A)*b 等式1
によって与えられ、ここでmtEは、ランバーシアン照明器30によって照明器30の平面40からコーデッドアパーチャ26によって画定されたマスクパターンを通して物体平面44上へと生成される放射発散度分布Iの投影に関連する拡大放射照度分布を表し、mtAは、コーデッドアパーチャ平面42から物体平面44上へのMURAマスクパターンの透過関数Aの透明領域またはアパーチャの1つの投影に関連する拡大関数を表し、bは、照明器30の平面40内の点源の物体平面44上への投影に関連するぼやけ関数を表し、そして「*」は畳み込み演算を表す。
具体的には、
がランバーシアン照明器30の平面40内の横位置であり、ランバーシアン照明器30の平面40内の横位置の関数としてランバーシアン照明器30によって生成される放射発散度分布I
によって表される場合、mtEは、
によって定義され、ここでmtEは、ランバーシアン照明器30によってランバーシアン照明器30の平面40からコーデッドアパーチャ平面42内のピンホールを通して物体平面44上へと生成される放射照度分布
の拡大に関連する拡大係数を表す。具体的には、単純なピンホールカメラ理論から、拡大係数MtEは、
によって与えられる。
同様に、
がコーデッドアパーチャ平面42内の横位置であり、コーデッドアパーチャ平面42内の横位置の関数としてコーデッドアパーチャ26によって画定されるMURAマスクパターンの透過率が
によって表される場合、mtAは、
によって定義され、ここでMtAは、図1Cに示すようにコーデッドアパーチャ平面42からの直径wから物体平面44内の直径Wを有するMURAマスクパターンの透明領域またはアパーチャの1つの投影に関連する拡大係数を表す。具体的には、直径wを有するMURAマスクパターンの透明領域またはアパーチャの1つの投影Wは、
によって与えられ、これは、
にしたがって所望の拡大係数MtAを与えるように再調整することができる。
ぼやけ関数bは、照明器30の平面40内の点源の物体平面44内のスポット上への投影またはぼやけを説明するものである。具体的には、図1Cを参照して、照明器30の平面40内の点源が経験するぼやけの程度は、関係
によって定義されるぼやけ係数Bによって与えられ、ここでWは、照明器30の平面40内の点源から、wの寸法を有するコーデッドアパーチャ26の透明領域またはアパーチャを通して発せられた光の投影の結果として、物体平面44に形成されるスポットの寸法を表す。
ぼやけ係数Bは、
によって与えられる回折ぼやけの寄与も含むことがあり、ここでλはランバーシアン照明器30の波長である。
が物体平面44内の横位置の関数としての物体12の反射率であれば、物体12によって反射する放射照度は、
・R=[mtE(I)*mtA(A)*b]・R 等式9
によって与えられる。
反射放射照度I・Rがコーデッドアパーチャ26を通って戻ってきた後、画像センサ28に入射する空間的復号化光の放射照度分布Iはこのとき、
=mrO(I・R)*mrA(A)*b 等式10
によって与えられ、ここでmrOは、物体12によって反射し、コーデッドアパーチャ26によって画定されたマスクパターンを通って画像センサ平面40上へと戻る反射放射照度I・Rの投影に関連する拡大放射照度分布を表し、mrAは、コーデッドアパーチャ平面42から画像センサ平面40上へのマスクパターンの透過関数Aの透明領域またはアパーチャの1つの投影に関連する拡大関数を表し、bは、物体平面44内の点源の画像センサ平面40上への投影に関連するぼやけ関数を表し、そして「*」は畳み込み演算を表す。
具体的には、
が物体平面44内の横位置であり、物体平面44内の横位置の関数として物体12によって反射する放射照度I
によって表される場合、mrOは、
によって定義され、ここでMrOは、物体平面44からコーデッドアパーチャ平面42内のピンホールを通って画像センサ平面40上に至る反射放射照度分布
の拡大に関連する拡大係数を表す。具体的には、単純なピンホールカメラ理論から、拡大係数MrOは、
によって与えられる。
同様に、
がコーデッドアパーチャ平面42内の横位置であり、コーデッドアパーチャ平面42内の横位置の関数としてコーデッドアパーチャ26によって定義されるマスクパターンの透過率が
によって表される場合、mrAは、
によって定義され、ここでMrAは、コーデッドアパーチャ平面42からの直径wから画像センサ平面40内の直径W’を有するマスクパターンの透明領域またはアパーチャの1つの投影に関連する一定の拡大係数を表す。具体的には、直径wを有するマスクパターンの透明領域またはアパーチャの1つの画像センサ平面40上への投影W’は、
によって与えられ、これは、
にしたがって所望の拡大係数MrAを与えるように再調整することができる。
ぼやけ関数bは、物体平面44内の点源の画像センサ平面40上への投影またはぼやけを説明するものである。具体的には、物体平面44内の点源が経験するぼやけの程度は、関係
によって定義されるぼやけ係数Bによって与えられ、ここでW’は、物体平面44内の点源から、wの寸法を有するコーデッドアパーチャ26の透明領域またはアパーチャを通して発せられた光の投影の結果として、画像センサ平面40に形成されるスポットの寸法を表す。
ぼやけ係数Bは、
によって与えられる回折ぼやけの寄与も含むことがあり、ここでλはランバーシアン照明器30の波長である。
画像センサ28に入射する空間的復号化光の放射照度分布Iは、
=mrO{[mtE(I)*mtA(A)*b]・R}*mrA(A)*b
={mrO[mtE(I)]*mrO[mtA(A)]*mrO(b)}・mrO(R)*mrA(A)*b 等式18
によって与えられる。
z>>dの場合について、
コーデッドアパーチャ26のMURAマスクパターンによって定義される透過関数Aは、A*A=δであるように、すなわちMURAマスクパターンの透過関数Aの自己相関が二次元クロネッカーデルタ関数である、または少なくともこれに近似するように構成されているため、画像センサ28に入射する空間的復号化光の放射照度分布Iは、
≒[I*mrO(b)]・mrO(R) 等式28
によって与えられる。
換言すれば、画像センサ28によって検出される空間的復号化光は、物体12の拡大反射率mrO(R)分布と、コーデッドアパーチャ26のMURAマスクパターンによって定義される透過関数Aから独立している予測可能な関数I*mrO(b)の積である画像を形成する。したがって、分散した(すなわち点源ではない)ランバーシアン照明器30の一般的な場合について、物体12の画像Rは、ランバーシアン照明器30によって生成される放射照度分布Iおよびぼやけ関数bを知ることから得ることができ、コーデッドアパーチャ26のMURAマスクパターンの透過関数Aは知らなくてもよい。事実上、これは、先行技術のコーデッドアパーチャイメージング技術に関連する逆畳み込み演算より迅速に、そして少ないエネルギーで、物体12の画像Rを得ることができるということを意味する。
ランバーシアン照明器30によって生成される放射照度分布Iは、ランバーシアン照明器30の設計または構造を知ることから推定することができる。加えて、または代わりに、ランバーシアン照明器30によって生成される放射照度分布Iは、たとえばランバーシアン照明器30がコーデッドアパーチャ26と組み立てられる前、および/またはランバーシアン照明器30がスマートフォン2内へ装着される前に測定することができる。
ぼやけ関数bは、物体12の得られた画像Rのぼやけの程度を最小化するように反復的な試行錯誤アプローチを使用して決定することができる。あるいは、ぼやけ関数bは、ぼやけ係数を使用して計算することができる。
ここでwはコーデッドアパーチャ26の設計または構造から知られ、dは光学システム10の空間符号化装置20の設計または構造から知られ、そしてzは推定することができる。あるいは、zは、たとえば位相もしくは周波数シフトまたは飛行時間測定方法を使用して測定することができる。
ランバーシアン照明器30によって生成される放射発散度分布Iが点源である、またはこれに似ている特別な場合について、放射発散度分布Iは二次元クロネッカーデルタ関数であると考えることができ、そのため画像センサ28に入射する空間的復号化光の放射照度分布Iは、
≒[δ*mrO(b)]・mrO(R
≒mrO(b)・mrO(R) 等式30
によって与えられる。
換言すれば、ランバーシアン照明器30によって生成される放射発散度分布Iが点源である、またはこれに似ている特別な場合について、画像センサ28によって検出される空間的復号化光は、物体12にわたる横位置の関数としての物体12の反射率Rと、ぼやけに依存するが、コーデッドアパーチャ26のMURAマスクパターンの透過関数Aから独立している予測可能な関数mrO(b)の積である。したがって、点源ランバーシアン照明器30では、物体12の画像Rは、コーデッドアパーチャ26のMURAマスクパターンの透過関数Aを知らなくても、ぼやけ関数bを知ることから得ることができ、ぼやけ関数bは、上述の方法のいずれかを使用して決定することができる。
物体から受け取られた空間的符号化光から物体の画像を再構成する計算技術に依存する先行技術のコーデッドアパーチャイメージングシステムとは対照的に、画像センサ28上に形成される画像は、先行技術のコーデッドアパーチャイメージングシステムを使用して形成される物体の画像と比較して、物体12によりよく似ている。結果的に、光学システム10の使用により、先行技術のコーデッドアパーチャイメージングシステムを使用して実行される先行技術のコーデッドアパーチャイメージング技術と比較して、物体12の画像を再構成するために要求される画像処理の複雑さが排除、または少なくとも低減される。したがって、このような光学システム10は、先行技術のコーデッドアパーチャイメージングシステムに対して、撮像に関連する計算負荷を排除、または少なくとも低減し、これによって、先行技術のコーデッドアパーチャイメージングシステムに対して、撮像時間を短縮/応答性を改善すること、および/または撮像のためのエネルギー消費を低減することができる。
スマートフォン2は、画像センサ28によって検出された画像を処理し、これによって物体12の1つまたは複数の特徴を認識するように構成することができる。たとえば、スマートフォン2は、画像センサ28によって検出された画像を処理し、これによって物体12の1つまたは複数の特徴を認識するように構成されている処理リソース(図示せず)を含むことができる。物体12は人の指または親指の少なくとも一部を含むことができ、処理リソースは、人の指または親指の少なくとも一部の検出された画像から人の指または親指が光学システム10に近いことを認識または判定する目的で、画像センサ28によって検出された画像を処理するように構成することができる。これは、ユーザが「タッチスクリーン」の近くの高い仮想平面上で「タッチスクリーン」と相互作用する小型ディスプレイ用の近接「タッチスクリーン」にとって特に有利であり、ユーザの指または親指がディスプレイを隠す範囲を回避または少なくとも低減することができる。
物体12は人または人の一部を含むことができ、スマートフォン2は、物体12の画像から人を認識または識別する目的で、画像センサ28によって検出された画像を処理するように構成することができる。たとえば、物体12は人の顔の少なくとも一部を含むことができ、スマートフォン2は、顔認識の目的で、画像センサ28によって検出された画像を処理するように構成されている処理リソース(図示せず)を含むことができる。物体12は人の指紋または拇印を含むことができ、処理リソースは、人の指紋または拇印の画像から人を認識または識別する目的で、画像センサ28によって検出された画像を処理するように構成することができる。
スマートフォン2は、移動物体の複数の画像を処理して物体の1つまたは複数の所定の動きを認識するように構成することができる。たとえば、移動物体は人の少なくとも一部を含むことができ、スマートフォン2は、人の少なくとも一部の1つまたは複数の所定の動き、たとえばジェスチャーを認識または識別する目的で、画像センサ28によって検出された複数の画像を処理するように構成されている処理リソース(図示せず)を含むことができる。
図2を参照すると、全体的に102で示すスマートフォンの形態の第1の代替電子デバイスが示されている。スマートフォン102は、タッチスクリーン150と、タッチスクリーン150の後ろに配置され、スマートフォン102の外部の場における物体(図示せず)を撮像するために構成された、全体的に110で示す第1の代替光学システムと、を含む。光学システム110は、たとえば、タッチスクリーン150の前の場における物体を撮像するためのスマートフォン102の前面カメラの少なくとも一部を形成することができる。光学システム110は、空間的符号化光を生成するための全体的に120で示す空間符号化装置、コーデッドアパーチャ126、赤外光を透過するための、そして可視光を拒絶または遮断するための光学フィルタ127、および画像センサ128を含む。コーデッドアパーチャ126は、複数の不透明領域および複数の透明領域またはアパーチャによって画定されるMURAバイナリマスクパターンを画定する。タッチスクリーン150は、空間符号化装置120によって生成される空間的符号化光に対して透明である。具体的には、空間符号化装置120は、画像センサ128の感光領域と一体化され、これにわたって分散している1つまたは複数の赤外LED132の形態の、全体的に130で示すランバーシアン照明器を含み、タッチスクリーン150は、LED132によって生成される赤外光に対して透明である。また、図2の特定の光学システム110において、空間符号化装置120は、空間符号化装置120によって生成される空間的符号化光の初期空間分布が、少なくとも部分的にコーデッドアパーチャ126のMURAマスクパターンによって決定または支配されるように、コーデッドアパーチャ126をさらに含む。したがって、コーデッドアパーチャ126によって画定されるMURAマスクパターンは、空間符号化装置120によって生成される空間的符号化光の初期空間パターンに基づいていると考えることができる。すべての他の点において、使用時、図2のスマートフォン102の光学システム110は図1Aのスマートフォン2の光学システム10と同一である。
スマートフォン102は、画像センサ128によって検出された画像を処理し、これによって物体112の1つまたは複数の特徴を認識するように構成することができる。たとえば、スマートフォン102は、画像センサ128によって検出された画像を処理し、これによって物体112の1つまたは複数の特徴を認識するように構成されている処理リソース(図示せず)を含むことができる。物体112は人の指または親指の少なくとも一部を含むことができ、処理リソースは、人の指または親指の少なくとも一部の検出された画像から人の指または親指が光学システム110に近いことを認識または判定する目的で、画像センサ128によって検出された画像を処理するように構成することができる。これは、ユーザが「タッチスクリーン」の近くの高い仮想平面上で「タッチスクリーン」と相互作用する小型ディスプレイ用の近接「タッチスクリーン」にとって特に有利であり、ユーザの指または親指がディスプレイを隠す範囲を回避または少なくとも低減することができる。
物体112は人または人の一部を含むことができ、スマートフォン102は、物体112の画像から人を認識または識別する目的で、画像センサ128によって検出された画像を処理するように構成することができる。たとえば、物体112は人の顔の少なくとも一部を含むことができ、スマートフォン102は、顔認識の目的で、画像センサ128によって検出された画像を処理するように構成されている処理リソース(図示せず)を含むことができる。物体112は人の指紋または拇印を含むことができ、処理リソースは、人の指紋または拇印の画像から人を認識または識別する目的で、人の指紋または拇印の画像を処理するように構成することができる。
スマートフォン102は、移動物体の複数の画像を処理して物体の1つまたは複数の所定の動きを認識するように構成することができる。たとえば、移動物体は人の少なくとも一部を含むことができ、スマートフォン102は、人の少なくとも一部の1つまたは複数の所定の動き、たとえばジェスチャーを認識または識別する目的で、画像センサ128によって検出された複数の画像を処理するように構成されている処理リソース(図示せず)を含むことができる。
図3を参照すると、全体的に202で示すスマートフォンの形態の第2の代替電子デバイスが示されている。スマートフォン202は、スマートフォン202の外部の場における物体(図示せず)を撮像するための全体的に210で示す第2の代替光学システムを含む。光学システム210は、たとえば、物体を撮像するためのスマートフォン202の背面カメラの少なくとも一部を形成することができる。光学システム210は、空間的符号化光を生成するための全体的に220で示す空間符号化装置、コーデッドアパーチャ226a、赤外光を透過するための、そして可視光を拒絶または遮断するための光学フィルタ227、および画像センサ228を含む。コーデッドアパーチャ226aは、複数の不透明領域および複数の透明領域またはアパーチャによって画定されるMURAバイナリマスクパターンを画定する。
空間符号化装置220は、1つまたは複数の赤外LED232の形態の全体的に230で示すランバーシアン照明器を含む。しかしながら、図1Aの光学システム10の空間符号化装置20とは異なり、図3の光学システム210の空間符号化装置220のランバーシアン照明器230は、画像センサ228から分離しているが、これと同じ平面内に配置されている。空間符号化装置220は、コーデッドアパーチャ226aと同じMURAバイナリマスクパターンを画定するさらなるコーデッドアパーチャ226bを含み、空間符号化装置220によって生成される空間的符号化光の初期空間分布が、少なくとも部分的にさらなるコーデッドアパーチャ226bのMURAマスクパターンによって決定または支配されるようになっている。さらなるコーデッドアパーチャ226bによって画定されるMURAマスクパターンは、コーデッドアパーチャ226aによって画定されるMURAマスクパターンと同じであるため、コーデッドアパーチャ226aによって画定されるMURAマスクパターンは、さらなるコーデッドアパーチャ226bを含む空間符号化装置220によって生成される空間的符号化光の初期空間パターンに基づいていると考えることができる。すべての他の点において、使用時、図3のスマートフォン202の光学システム210は図1Aのスマートフォン2の光学システム10と同一である。
図3のスマートフォン202の光学システム210の一変形において、コーデッドアパーチャ226aとさらなるコーデッドアパーチャ226bは同一平面上になくてもよいが、コーデッドアパーチャ226aは画像センサ228の前に配置され、そしてさらなるコーデッドアパーチャ226bは照明器230の1つまたは複数の光学エミッタ232の前に配置され、反射光がコーデッドアパーチャ226aのマスクパターンの領域に入射し、照明器230の1つまたは複数の光学エミッタ232によって発せられた光が、さらなるコーデッドアパーチャ226bの同じマスクパターンの対応する領域に入射するようになっている。
次に図4Aを参照すると、全体的に302で示すスマートフォンの形態の第3の代替電子デバイスが示されている。スマートフォン302は、スマートフォン302の外部の場における物体312を撮像するための全体的に310で示す光学システムを含む。光学システム310は、たとえば、物体312を撮像するためのスマートフォン302の背面カメラの少なくとも一部を形成することができる。光学システム310は、初期空間分布324で空間的符号化光322を生成するための全体的に320で示す空間符号化装置、コーデッドアパーチャ326、赤外光を透過するための、そして可視光を拒絶または遮断するための光学フィルタ327、および画像センサ328を含む。
図1Aおよび図1Bの光学システム10のコーデッドアパーチャ26と同様に、コーデッドアパーチャ326はMURAバイナリマスクパターンを画定する。しかしながら、図1Aおよび図1Bの光学システム10のコーデッドアパーチャ26とは異なり、図4Aの光学システム310において、空間符号化装置320は、コーデッドアパーチャ326のMURAマスクパターンを画定する複数の赤外LED332の形態の、全体的に330で示すランバーシアン照明器を含む。具体的には、複数の赤外LED332は、LED332がMURAマスクパターンの不透明または遮断領域を画定し、LED332間のギャップがMURAマスクパターンの透明領域を画定するように、MURAマスクパターンにおける透明基板にわたって分散している。空間符号化装置320は複数のレンズ要素360をさらに含み、各レンズ要素は、LED332によって発せられた光をコリメートするために対応するLED332と位置合わせされている。結果的に、図4Aの光学システム310において、空間符号化装置320によって生成される空間的符号化光322の初期空間分布324は、少なくとも部分的にLED332によって画定されるMURAマスクパターンによって決定または支配される。図4Aに示すように、画像センサ328は一般に画像センサ平面340上、またはその周囲に配置され、LED332は一般にコーデッドアパーチャ平面342上、またはその周囲に配置され、そして物体312は一般に物体平面344上、またはその周囲に配置されている。図4Aに示すように、画像センサ平面340とコーデッドアパーチャ平面342は距離dによって分離され、コーデッドアパーチャ平面342と物体平面344は距離zによって分離されている。
使用時、LED332は、MURAマスクパターンの逆である空間分布で赤外光を発して初期空間分布324で空間的符号化光322を形成する。光学システム310は、使用時、空間符号化装置320が空間的符号化光322を物体312上へと導き、物体312が空間的符号化光322の少なくとも一部を反射させて、LED332間のギャップによって画定されるMURAマスクパターンの透明領域を通って戻る反射光を形成し、光学フィルタ327を通して透過され、画像センサ328に入射する空間的復号化光を形成するように構成されている。空間的復号化光は画像センサ328上に画像を形成し、画像センサ328は画像を検出する。以下で詳細に説明する理由のため、画像センサ328上に形成される画像は、先行技術のコーデッドアパーチャイメージングシステムを使用して形成される物体の画像と比較して、物体312によりよく似ている。結果的に、撮像のための光学システム310の使用により、先行技術のコーデッドアパーチャイメージングシステムを使用して実行される先行技術のコーデッドアパーチャイメージング技術と比較して、物体312の画像を再構成するために要求される処理の複雑さが排除、または少なくとも低減される。
一般に、物体312を照明する空間的符号化光322の放射照度分布Iは、
≒m[I・(1-A)] 等式31
によって与えられ、ここでランバーシアン照明器330のLED332のそれぞれが同じ放射発散度Iを生成すると仮定し、AはLED332によって画定されるコーデッドアパーチャ326のMURAマスクパターンの透過関数を表し、mは、照明器330の平面342内の点源から物体平面344内のスポット上への光の発散を説明する拡大関数である。具体的には、図4Bを参照して、距離zの後、照明器330の平面342内の点源から、
によって与えられる寸法Vのスポットまで光が広がる。
が物体平面344内の横位置の関数としての物体312の反射率であれば、物体312によって反射する放射照度は、
・R=m[I・(1-A)]・R 等式33
によって与えられる。
反射放射照度I・Rがコーデッドアパーチャ326を通って透過した後、画像センサ328に入射する空間的復号化光の放射照度分布Iはこのとき、
=mrO(I・R)*mrA(A)*b 等式34
によって与えられ、ここでmrOは、コーデッドアパーチャ326によって画定されたマスクパターンを通って画像センサ平面340上へと物体312によって反射する反射放射照度I・Rの投影に関連する拡大放射照度分布を表し、mrAは、コーデッドアパーチャ平面342から画像センサ平面340上へのマスクパターンの透明領域またはアパーチャの1つの投影に関連する拡大関数を表し、bは、物体平面344内の点源の画像センサ平面340上への投影に関連するぼやけ関数を表し、そして「*」は畳み込み演算を表す。
具体的には、
が物体平面344内の横位置であり、物体平面344内の横位置の関数として物体312によって反射する放射照度I
によって表される場合、mrOは、
によって定義され、ここでMrOは、物体平面344からコーデッドアパーチャ平面342内のピンホールを通って画像センサ平面340上に至る反射放射照度分布
の拡大に関連する拡大係数を表す。具体的には、単純なピンホールカメラ理論から、拡大係数MrOは、
によって与えられる。
同様に、
がコーデッドアパーチャ平面342内の横位置であり、コーデッドアパーチャ平面342内の横位置の関数としてコーデッドアパーチャ326によって定義されるマスクパターンが
によって表される場合、mrAは、
によって定義され、ここでMrAは、コーデッドアパーチャ平面342からの直径wから画像センサ平面340内の直径W’を有するマスクパターン
の透明領域またはアパーチャの1つの投影に関連する一定の拡大係数を表す。具体的には、直径wを有するマスクパターン
の透明領域またはアパーチャの1つの画像センサ平面340上への投影W’は、
によって与えられ、これは、
にしたがって所望の拡大係数MrAを与えるように再調整することができる。
ぼやけ関数bは、物体平面344内の点源の画像センサ平面340上への投影またはぼやけを説明するものである。具体的には、物体平面344内の点源が経験するぼやけの程度は、関係
によって定義されるぼやけ係数Bによって与えられ、ここでW’は、物体平面344内の点源から、wの寸法を有するコーデッドアパーチャ326の透明領域またはアパーチャを通して発せられた光の投影の結果として、画像センサ平面340に形成されるスポットの寸法を表す。
画像センサ328に入射する空間的復号化光の放射照度分布Iは、
=mrO{m[I・(1-A)]・R}*mrA(A)*b 等式41
によって与えられる。
物体312の画像が画像センサ328上へ投影されると仮定すると、このとき図4Bに示す形状に基づくピンホールカメラ理論から、物体平面344内の寸法Vのスポットが画像センサ平面340内の寸法Uのスポットへ撮像される。
コーデッドアパーチャ326によって画定されるMURAマスクパターンの透過関数Aは、A*A=δであるように、すなわちMURAマスクパターンの透過関数Aの自己相関が二次元クロネッカーデルタ関数である、または少なくともこれに近似するように構成されているため、画像センサ328に入射する空間的復号化光の放射照度分布Iは、
≒I・(g-δ)・mrO(R) 等式49
によって与えられ、ここでg=1*Aは、図4Cに示すようなピラミッド関数である。
換言すれば、画像センサ328によって検出される空間的復号化光は、物体312の拡大反射率mrO(R)分布と、LED332に関連する放射発散度分布およびコーデッドアパーチャ326のMURAマスクパターンの透過関数Aから独立している予測可能な関数(g-δ)の積である画像を形成する。したがって、物体312の画像Rは、関数(g-δ)を知ることから得ることができ、LED332に関連する放射発散度分布は知らなくても、そしてコーデッドアパーチャ326のMURAマスクパターンの透過関数Aも知らなくてもよい。事実上、これは、先行技術のコーデッドアパーチャイメージング技術に関連する逆畳み込み演算より迅速に、そして少ないエネルギーで、物体312の画像Rを得ることができるということを意味する。
物体から受け取られた空間的符号化光から物体の画像を再構成する計算技術に依存する先行技術のコーデッドアパーチャイメージングシステムとは対照的に、画像センサ328上に形成される画像は、先行技術のコーデッドアパーチャイメージングシステムを使用して形成される物体の画像と比較して、物体312によりよく似ている。結果的に、光学システム310の使用により、先行技術のコーデッドアパーチャイメージングシステムを使用して実行される先行技術のコーデッドアパーチャイメージング技術と比較して、物体312の画像を再構成するために要求される画像処理の複雑さが排除、または少なくとも低減される。したがって、このような光学システム310は、先行技術のコーデッドアパーチャイメージングシステムに対して、撮像に関連する計算負荷を排除、または少なくとも低減し、これによって、先行技術のコーデッドアパーチャイメージングシステムに対して、撮像時間を短縮/応答性を改善すること、および/または撮像のためのエネルギー消費を低減することができる。
本開示の好ましい実施形態を上に記載したような点に関して説明してきたが、これらの実施形態は単なる例示であること、そして特許請求の範囲がこれらの実施形態に限定されないことが理解されるべきである。添付の特許請求の範囲から逸脱することなく、説明した実施形態に対してさまざまな修正を行うことができるということを、当業者は理解するであろう。たとえば、図1Aのスマートフォン2の光学システム10においてランバーシアン照明器30の代わりに非ランバーシアン照明器が使用されたら、非ランバーシアン照明器の放射発散度分布Iをコーデッドアパーチャ26のマスクパターンの透過関数Aと畳み込む必要がなく、画像センサ28に入射する空間的復号化光の放射照度分布Iが、
≒[I・A*A*mrO(b)]・mrO(R) 等式50
によって与えられるであろうことを、当業者は理解するであろう。
コーデッドアパーチャ26によって画定されるMURAマスクパターンの透過関数Aは、A*A=δであるように、すなわちMURAマスクパターンの透過関数Aの自己相関が二次元クロネッカーデルタ関数である、または少なくともこれに近似するように構成されているため、画像センサ28に入射する空間的復号化光の放射照度分布Iは、
≒[I*mrO(b)]・mrO(R) 等式51
によって与えられる。
非ランバーシアン照明器によって生成される放射発散度分布Iが点源である、またはこれに似ている特別な場合について、放射発散度分布Iは二次元クロネッカーデルタ関数であると考えることができ、そのため画像センサ28に入射する空間的復号化光の放射照度分布Iは、
≒mrO(b)・mrO(R) 等式52
によって与えられる。
換言すれば、画像センサ28に入射する空間的復号化光は、物体12にわたる横位置の関数としての物体12の反射率Rのぼやけた拡大したバージョンであるが、コーデッドアパーチャ26のMURAマスクパターンの透過関数Aから独立している画像を形成する。したがって、点源ランバーシアン照明器では、物体12の画像Rは、コーデッドアパーチャ26のMURAマスクパターンの透過関数Aを知らなくても、ぼやけ関数bを知ることから得ることができる。ぼやけ関数bは、上述の方法のいずれかを使用して決定することができる。
コーデッドアパーチャ26、126、226によって画定されるマスクパターンはMURAマスクパターンであるが、マスクパターンの透過関数の自己相関が、中心ピークまたはローブを含むが、二次ピークまたはサイドローブを含まない、または中心ピークまたはローブと、中心ピークまたはローブの振幅の1/10未満、中心ピークまたはローブの振幅の1/100未満、または中心ピークまたはローブの振幅の1/1000未満である振幅を有する1つまたは複数の二次ピークまたはサイドローブと、を含む、クロネッカーデルタ関数δである、またはこれに似ているように、マスクパターンが構成されていると、他のマスクパターンも可能であり得る。
マスクパターンは均一冗長アレイ(URA)マスクパターンであり得る。
コーデッドアパーチャは位相マスクを含むことができる。
コーデッドアパーチャは回折性であり得る。
コーデッドアパーチャ26は再構成可能であり得る。たとえば、コーデッドアパーチャ26、126、226は、この目的のために複数の再構成可能な要素から形成される、またはこれらを含むことができ、各要素は、ランバーシアン照明器30、130、230からの光が要素を通過することができる透明状態と、ランバーシアン照明器30、130、230からの光が遮断または吸収される遮断または吸収状態との間で再構成可能である。たとえば、コーデッドアパーチャ26、126、226は、LCDアレイから形成される、またはこれを含むことができる。
光学フィルタ27、127、227は、染料ベースのポリマー材料を含む、またはこれから形成することができる。光学フィルタ27、127、227は、アンチモンドープ酸化スズを含む、またはこれから形成することができる。
画像センサ28、128、228、328は、赤外光を検出するように構成することができる。
画像センサ28、128、228、328は、物体から反射した周囲の可視光に対してはより低い感度、そして物体から反射した赤外光に対してはより高い感度を有するように構成することができる。
空間的符号化光22、322は、所定の時間変調で時間的に変調することができ、そのため空間的復号化光もその所定の時間変調で時間的に変調され、画像センサ28、328は、時間的に変調された空間的復号化光と、時間的に変調されていない光および/または所定の時間変調とは異なる時間変調で時間的に変調されている光との間を区別するように構成されている。
1つまたは複数の赤外LED32、132、232、332を照明器として使用するのではなく、他のタイプの光学エミッタを使用することもできる。
各光学エミッタは所定の時間変調で時間的に変調することができ、そのため空間的復号化光もその所定の時間変調で時間的に変調される。
空間符号化装置20、120、220、320は、複数の光学エミッタを含むことができ、異なる方向から物体を照明し、および/または物体の異なる部分を異なる時間に照明して、これによって異なる方向から見たときに物体の異なる画像を形成する、および/またはこれによって物体の異なる部分の画像を形成するように、複数の光学エミッタの異なる光学エミッタを異なる時間に動作させることができる。
光学システム10、110、210、310は、あらゆる種類の電子デバイスに組み込むことができる。
光学システム10、110、210、310は、モバイル電子デバイスに組み込むことができる。
光学システム10、110、210、310は、移動電話、携帯電話、スマートフォン、タブレット、ラップトップ、または電子時計もしくは電子リストバンドのようなウェアラブル電子デバイスに組み込むことができる。
本明細書で開示または例示される各特徴は、単独で、または本明細書で開示または例示される任意の他の特徴との任意の適切な組み合わせで、任意の実施形態に組み込むことができる。特に、図面を参照して上述した本開示の実施形態の特徴の1つまたは複数は、本開示の実施形態の他の特徴の1つまたは複数から離れて使用されるときに効果を生み出す、または利点を提供することができるということ、そして上述した本開示の実施形態の特徴の具体的な組み合わせ以外に、これらの特徴の異なる組み合わせが可能であることを当業者は理解するであろう。
先行する説明および添付の特許請求の範囲において、「上」、「沿って」、「側」などのような位置用語は、添付の図面に示すもののような、概念的な図を参照してなされていることを、当業者は理解するであろう。これらの用語は参照を容易にするために使用され、限定する性質のものであるように意図されていない。これらの用語はしたがって、添付の図面に示すような配向にあるときの物体に言及しているとして理解されるべきである。
本開示の一実施形態の特徴に関連して使用されるときの「comprising(含む)」という用語の使用は、他の特徴またはステップを排除するものではない。本開示の一実施形態の特徴に関連して使用されるときの「a(1つの)」または「an(1つの)」という用語の使用は、実施形態が複数のこのような特徴を含む可能性を排除するものではない。
特許請求の範囲における参照符号の使用は、特許請求の範囲を限定するものとして解釈されるべきではない。
2 スマートフォン
10 光学システム
12 物体
20 空間符号化装置
22 空間的符号化光
24 空間的符号化光の初期空間分布
26 コーデッドアパーチャ
27 光学フィルタ
28 画像センサ
30 照明器
32 LED
40 照明器/画像センサ平面
42 コーデッドアパーチャ平面
44 物体平面
102 スマートフォン
110 光学システム
120 空間符号化装置
126 コーデッドアパーチャ
127 光学フィルタ
128 画像センサ
130 照明器
132 LED
150 タッチスクリーン
202 スマートフォン
210 光学システム
220 空間符号化装置
226a コーデッドアパーチャ
226b さらなるコーデッドアパーチャ
227 光学フィルタ
228 画像センサ
230 照明器
232 LED
302 スマートフォン
310 光学システム
312 物体
320 空間符号化装置
322 空間的符号化光
324 空間的符号化光の初期空間分布
326 コーデッドアパーチャ
327 光学フィルタ
328 画像センサ
330 照明器
332 LED
340 照明器/画像センサ平面
342 コーデッドアパーチャ平面
344 物体平面
360 レンズ要素

Claims (16)

  1. 物体(12)を撮像するための光学システム(10)であって、前記光学システム(10)は、
    初期空間分布(24)で空間的符号化光(22)を生成するための空間符号化装置(20)と、
    前記空間的符号化光(22)の前記初期空間分布(24)に基づくマスクパターンを画定するコーデッドアパーチャ(26)と、
    画像センサ(28)と、
    を含み、
    前記光学システム(10)は、使用時、前記物体(12)が前記空間的符号化光(22)の少なくとも一部を反射させて反射光を形成するように、前記空間符号化装置(20)が前記空間的符号化光(22)を前記物体(12)上へと導き、前記反射光が前記コーデッドアパーチャ(26)を通して導かれて空間的復号化光を形成し、前記空間的復号化光が前記画像センサ(28)上へと導かれてその上に画像を形成し、そして前記画像センサ(28)が前記画像を検出するように構成され、
    前記空間符号化装置(320)は複数の光学エミッタ(332)を含み、前記複数の光学エミッタ(332)は、前記空間的符号化光(322)の初期空間パターン(324)を画定するように空間的に配置され、前記コーデッドアパーチャ(326)によって画定される前記マスクパターンは、前記複数の光学エミッタ(332)の空間的配置によって画定される前記空間的符号化光(322)の前記初期空間パターン(324)の逆である、
    光学システム(10)。
  2. 前記画像センサ(28)によって検出される前記画像は、
    前記物体(12)の画像、
    前記物体(12)の鮮明なまたは焦点の合った画像、
    前記物体(12)のぼやけた画像、
    前記物体(12)のスケールされた画像、または
    前記コーデッドアパーチャ(26)によって画定される前記マスクパターンから独立している関数と前記物体(12)のスケールされた画像の積、
    の少なくとも1つを含む、請求項1に記載の光学システム(10)。
  3. 前記マスクパターンはバイナリマスクパターンを含み、および/または前記コーデッドアパーチャ(26)は、前記マスクパターンを一緒に画定する複数の不透明領域および複数の透明領域またはアパーチャを含む、請求項1に記載の光学システム(10)。
  4. 前記コーデッドアパーチャ(26)は回折性であり、および/または前記コーデッドアパーチャ(26)は位相マスクを含む、請求項1に記載の光学システム(10)。
  5. 前記マスクパターンは、前記マスクパターンの自己相関が、中心ピークまたはローブを含むが、二次ピークまたはサイドローブを含まない、または中心ピークまたはローブと、前記中心ピークまたはローブの振幅の1/10未満、前記中心ピークまたはローブの振幅の1/100未満、または前記中心ピークまたはローブの振幅の1/1000未満である振幅を有する1つまたは複数の二次ピークまたはサイドローブと、を含む、クロネッカーデルタ関数δに等しい、または類似するように構成されている、請求項1に記載の光学システム(10)。
  6. 前記マスクパターンは均一冗長アレイ(URA)マスクパターンまたは修正均一冗長アレイ(MURA)マスクパターンである、請求項1に記載の光学システム(10)。
  7. 前記コーデッドアパーチャ(26)は再構成可能であり、たとえば前記コーデッドアパーチャ(26)はLCDアレイから形成される、またはこれを含む、請求項1に記載の光学システム(10)。
  8. 前記光学システム(10)は、前記物体(12)から反射した周囲光を拒絶または遮断するように構成されていること、
    前記光学システム(10)は、前記物体(12)から反射した周囲光を拒絶または遮断するために前記画像センサ(28)の前に光学フィルタ(27)を含むこと、
    前記画像センサ(28)は、赤外光を検出するように構成されていること、
    前記画像センサ(28)は、可視光に対してはより低い感度、そして赤外光に対してはより高い感度を有するように構成されていること、または
    前記空間的符号化光(22)および前記空間的復号化光は両方とも赤外光を含み、またはこれから形成され、前記画像センサ(28)は、赤外光を検出するように構成され、前記光学システム(10)は、可視光を拒絶または遮断するため、そして赤外光を透過するために、前記画像センサ(28)の前に光学フィルタ(27)を含むこと、
    のうちの少なくとも1つである、請求項1に記載の光学システム(10)。
  9. 各光学エミッタ(32)はランバーシアン光学エミッタまたは非ランバーシアン光学エミッタを含むこと、
    各光学エミッタ(32)はLED(32)を含むこと、または
    各光学エミッタ(32)は、赤外光を発するように構成されていること、
    のうちの少なくとも1つである、請求項1に記載の光学システム(10)。
  10. 前記複数の光学エミッタ(32)の各光学エミッタ(32)は、前記複数の光学エミッタ(32)の1つまたは複数の他の光学エミッタ(32)から独立して動作可能である、請求項1に記載の光学システム(10)。
  11. 前記1つまたは複数の光学エミッタ(32)と前記画像センサ(28)は同一平面上にあり、たとえば前記1つまたは複数の光学エミッタ(32)と前記画像センサ(28)は同じ基板上に搭載または形成されている、請求項1に記載の光学システム(10)。
  12. 前記複数の光学エミッタ(332)の各光学エミッタ(332)は、前記複数の光学エミッタ(332)の各光学エミッタ(332)が前記コーデッドアパーチャ(326)の対応する不透明または遮断領域を画定するように、前記反射光を吸収または遮断し、そして、任意選択で、前記複数の光学エミッタ(332)の各光学エミッタ(332)は、前記複数の光学エミッタ(332)によって発せられる光に対して透明である基板上に搭載、または形成されている、請求項1に記載の光学システム(10)。
  13. 前記空間符号化装置(320)は複数のレンズ要素(360)を含み、各レンズ要素(360)は、対応する光学エミッタ(332)によって発せられた光を少なくとも部分的に集束またはコリメートするように、前記対応する光学エミッタ(332)の前に位置合わせされている、請求項1に記載の光学システム(10)。
  14. 請求項1から13のいずれか一項に記載の光学システム(10、110、210、310)を含む電子デバイス(2、102、202、302)であって、たとえば前記電子デバイス(2、102、202、302)は、移動電話、携帯電話、スマートフォン、タブレット、ラップトップ、または電子時計もしくは電子リストバンドのようなウェアラブル電子デバイスのようなモバイル電子デバイスを含み、そして、任意選択で、前記電子デバイス(2、102、202、302)はディスプレイまたはタッチスクリーンのようなユーザインターフェイス(150)を含み、前記1つまたは複数の光学エミッタ(132)および前記画像センサ(128)は前記ユーザインターフェイス(150)の後ろに配置され、前記物体は前記ユーザインターフェイス(150)の前に配置されている、電子デバイス(2、102、202、302)。
  15. 物体(12)を撮像するための光学システム(10)であって、前記光学システム(10)は、
    初期空間分布(24)で空間的符号化光(22)を生成するための空間符号化装置(20)と、
    前記空間的符号化光(22)の前記初期空間分布(24)に基づくマスクパターンを画定するコーデッドアパーチャ(26)と、
    画像センサ(28)と、
    を含み、
    前記光学システム(10)は、使用時、前記物体(12)が前記空間的符号化光(22)の少なくとも一部を反射させて反射光を形成するように、前記空間符号化装置(20)が前記空間的符号化光(22)を前記物体(12)上へと導き、前記反射光が前記コーデッドアパーチャ(26)を通して導かれて空間的復号化光を形成し、前記空間的復号化光が前記画像センサ(28)上へと導かれてその上に画像を形成し、そして前記画像センサ(28)が前記画像を検出するように構成され、
    前記空間符号化装置(20)は前記コーデッドアパーチャ(26)を含み、前記光学システム(10)は、使用時、1つまたは複数の光学エミッタ(32)が、前記コーデッドアパーチャ(26)を通過する光を発して前記空間的符号化光(22)を形成し、そのため前記空間的符号化光(22)の初期空間パターン(24)が前記コーデッドアパーチャ(26)の前記マスクパターンによって画定されるように構成されている、
    光学システム(10)。
  16. 物体を撮像するための方法であって、
    空間的符号化光(22)を初期空間分布(24)で物体(12)上へと導いて、前記物体(12)が前記空間的符号化光(22)の少なくとも一部を反射させて反射光を形成するようにするステップと、
    コーデッドアパーチャ(26)を通して前記反射光を導いて空間的復号化光を形成するステップであって、前記コーデッドアパーチャ(26)は、前記空間的符号化光(22)の前記初期空間分布(24)に基づくマスクパターンを画定する、ステップと、
    前記空間的復号化光を画像センサ(28)上へと導くステップと、
    を含み、
    前記空間的復号化光は前記画像センサ(28)上に画像を形成し、前記画像センサ(28)は前記画像を検出し、
    前記空間的符号化光(322)の初期空間パターン(324)は複数の光学エミッタ(332)の空間的配置によって画定され、前記コーデッドアパーチャ(326)によって画定される前記マスクパターンは、前記複数の光学エミッタ(332)の前記空間的配置によって画定される前記空間的符号化光(322)の前記初期空間パターン(324)の逆である、
    方法。
JP2023549123A 2021-02-12 2022-02-07 コーデッドアパーチャイメージングシステムおよび方法 Pending JP2024507500A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB2101997.1A GB202101997D0 (en) 2021-02-12 2021-02-12 Coded aperture imaging system and method
GB2101997.1 2021-02-12
PCT/SG2022/050056 WO2022173370A1 (en) 2021-02-12 2022-02-07 Coded aperture imaging system and method

Publications (1)

Publication Number Publication Date
JP2024507500A true JP2024507500A (ja) 2024-02-20

Family

ID=74871740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023549123A Pending JP2024507500A (ja) 2021-02-12 2022-02-07 コーデッドアパーチャイメージングシステムおよび方法

Country Status (7)

Country Link
JP (1) JP2024507500A (ja)
KR (1) KR20230142573A (ja)
CN (1) CN116830021A (ja)
DE (1) DE112022001047T5 (ja)
GB (1) GB202101997D0 (ja)
TW (1) TW202240129A (ja)
WO (1) WO2022173370A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7671321B2 (en) * 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
GB2434936A (en) * 2006-02-06 2007-08-08 Qinetiq Ltd Imaging system having plural distinct coded aperture arrays at different mask locations
US8304737B2 (en) * 2009-10-02 2012-11-06 Ut-Battelle, Llc Apparatus and method to achieve high-resolution microscopy with non-diffracting or refracting radiation
WO2013124664A1 (en) * 2012-02-22 2013-08-29 Mbda Uk Limited A method and apparatus for imaging through a time-varying inhomogeneous medium
US11284786B2 (en) * 2019-03-07 2022-03-29 ZSquare Ltd. Spatial encoding system decoding system imaging system and methods thereof

Also Published As

Publication number Publication date
DE112022001047T5 (de) 2024-03-28
GB202101997D0 (en) 2021-03-31
CN116830021A (zh) 2023-09-29
KR20230142573A (ko) 2023-10-11
TW202240129A (zh) 2022-10-16
WO2022173370A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
CN109891432B (zh) 屏下指纹识别系统、液晶显示屏指纹识别装置及电子设备
US20240103290A1 (en) Skew Mirror Auxiliary Imaging
CN108885341B (zh) 基于棱镜的眼睛跟踪
US9535537B2 (en) Hover detection in an interactive display device
US20200089319A1 (en) Holographic Waveguide Optical Tracker
US20170023780A1 (en) Catadioptric projector systems, devices, and methods
RU2608690C2 (ru) Световой проектор и видеосистема для определения расстояния
US10474229B1 (en) Folded viewing optics with high eye tracking contrast ratio
US20190204911A1 (en) Eye tracking device and eye tracking method applied to video glasses and video glasses
CN107111383B (zh) 非接触输入装置及方法
US10726257B2 (en) Gaze-tracking system and method of tracking user's gaze
JP2002525762A (ja) パターン認識に関する改良
CN108398788B (zh) 眼睛跟踪装置及虚拟现实成像设备
JP2009225064A (ja) 画像入力装置、認証装置、およびそれらを搭載した電子機器
JP2019020991A (ja) 撮像装置、認証装置、および撮像方法
JP2019129327A (ja) 画像表示装置および画像表示方法
CN112689840A (zh) 电子设备
EP3903142B1 (en) Multi-layered thin combiner
JP2024507500A (ja) コーデッドアパーチャイメージングシステムおよび方法
CN112823355A (zh) 具有补偿光路的显示屏下光学传感器
US20240137656A1 (en) Coded aperture imaging system and method
US20210264625A1 (en) Structured light code overlay
CN114270416A (zh) 具有大感测区域的屏下光学传感器
US20230161405A1 (en) Eye tracking device and eye tracking method
WO2020178905A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230814