JP2023529132A - フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法 - Google Patents
フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法 Download PDFInfo
- Publication number
- JP2023529132A JP2023529132A JP2022573783A JP2022573783A JP2023529132A JP 2023529132 A JP2023529132 A JP 2023529132A JP 2022573783 A JP2022573783 A JP 2022573783A JP 2022573783 A JP2022573783 A JP 2022573783A JP 2023529132 A JP2023529132 A JP 2023529132A
- Authority
- JP
- Japan
- Prior art keywords
- image
- diffuse
- focus
- unique
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000005286 illumination Methods 0.000 claims abstract description 70
- 239000000463 material Substances 0.000 claims abstract description 50
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 21
- 206010047571 Visual impairment Diseases 0.000 claims description 15
- 238000009792 diffusion process Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims 2
- 230000004888 barrier function Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 26
- 230000003595 spectral effect Effects 0.000 description 18
- 238000001228 spectrum Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 229910052889 tremolite Inorganic materials 0.000 description 7
- 238000010521 absorption reaction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 229910052500 inorganic mineral Inorganic materials 0.000 description 4
- 239000011707 mineral Substances 0.000 description 4
- 238000004020 luminiscence type Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 239000004698 Polyethylene Substances 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- -1 polyethylene Polymers 0.000 description 2
- 229920000573 polyethylene Polymers 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/02—Diffusing elements; Afocal elements
- G02B5/0273—Diffusing elements; Afocal elements characterized by the use
- G02B5/0278—Diffusing elements; Afocal elements characterized by the use used in transmission
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/007—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
- G02B26/008—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
- G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
- G03B11/06—Lens caps for exposure making
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Astronomy & Astrophysics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Blocking Light For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、無関係な照明を除去することにより、フィルタやダイクロイックミラーを使用することなく固有の画像およびビデオを取得するための装置および方法に関する。
撮像の第一目標は、高品質の画像およびビデオを取得することである。この目標に向けた進歩は、光学部品および露光機構に関してカメラを改善することであった。様々な画素センサ配列を有するデジタルカメラが、この努力に対して大いに寄与した。しかしながら、これらの努力は、画像品質の妨げになるスペクトル成分には対処しない。
通常、蛍光撮像は、材料の分子構造を励起するために材料に向けられる照明の狭い波長範囲を利用する。結果として生じるスペクトルには発光成分は含まれているが、照明成分の波長は、ダイクロイックミラーおよびバリアフィルタを使用して除去されている。これによって、スペクトル発光成分のみを含むスペクトルがもたらされる。
最近、フィルタやダイクロイックミラーは使用せずに、通常のカメラで固有の蛍光像を取得するための方法が開発された。これらの特許取得済みの方法は、固有の処理によって、無関係な照明、すなわち、視野における、材料によって吸収されない成分を、画像から除去し得るやり方を説明するものである。これらの特許で示された特定の撮像プロセスは、無関係な照明を除去してスペクトル成分を計測するものであるが、データを取得するための方法が一様でなく、最も実用的なものではない。たとえば、1つの方法(参照によって全体が本明細書に組み込まれる米国特許第9,435,687号および米国特許第9,998,636号)は、別々の4つの視界および別々の2つのカメラを必要とする。改善された方法(参照によって全体が本明細書に組み込まれる米国特許第10,652,484号)が必要とするのは、たった1つの視野および1つのカメラであるが、視野の画像は、焦点を合わせたものと焦点をぼかしたものとが必要である。必要な視野は1つだけであるが、カメラの焦点を手動でぼかすのが厄介で視野がずれるリスクがあり、したがって処理に誤差を導入する。加えて、低倍率および高いFストップでは、カメラは、視野内の空間的詳細を完全に除去するための十分な焦点調節ができない可能性がある。
目的の物品の識別および検査に関して固有の情報を取得することに頼るあらゆる分野にとって、通常のカメラで固有の画像を取得する能力は有益であり得る。これらの分野には、それだけではないが、地質学における撮像、科学捜査、農業、生物学、天文学、点検、気象学、海洋学、および医学が含まれる。
これら特許取得済みの方法は、固有の画像を生成するが、較正、目標物、および参照のために複数の視野が必要とされ、データ収集が複雑かつ困難になった。本発明は、データ収集と、それに続く固有の画像生成および画像表示のための処理とにおいて、大幅な技術的改善および簡素化を提供するものである。
本発明は、バリアフィルタやダイクロイックミラーなしで固有の画像を生成するための装置および方法を提供するものである。本発明は、合焦視野を収集し、次に同一視野の拡散画像を取得することを含み、またはその逆順を含む。拡散画像は、カメラと視野との間の経路に半透明材料を配置することによって取得される。半透明材料によって、照明エネルギーの透過が可能となり、視野の空間的詳細は拡散して、特徴がない照度の画像が生成する。
同一視野の拡散画像が、たとえば合焦画像のものと同一の強度勾配といった照明の特徴を維持することは重要である。前記合焦画像と拡散画像とのセットが、次いで、2つの方法によって処理されて固有の画像を生成し得る。本発明による、有効または最適な拡散画像を生成するのに必要な半透明材料の基準は次の通りである。
1.半透明材料は、照明のすべての波長を通すこと。
2.もたらされる拡散画像は、合焦画像のいかなる空間的特徴も含まないこと。
3.拡散画像は、合焦画像と同一の照度分布すなわち同一の強度勾配を有すること。
4.半透明材料は、照明波長範囲を比例的に通すこと、すなわち、たとえば蛍光特性といった、偏った吸収や放射はないものとする。
1.半透明材料は、照明のすべての波長を通すこと。
2.もたらされる拡散画像は、合焦画像のいかなる空間的特徴も含まないこと。
3.拡散画像は、合焦画像と同一の照度分布すなわち同一の強度勾配を有すること。
4.半透明材料は、照明波長範囲を比例的に通すこと、すなわち、たとえば蛍光特性といった、偏った吸収や放射はないものとする。
本発明の様式
本発明は、単一フレームおよびマルチフレームの画像収集に適合し、特に、それだけではないが、単一露光、マルチスペクトル、ハイパースペクトルおよびビデオ収集に適合する。装置の構造的な形式は、(1)カメラのレンズの上に分離して配置されてよく、(2)カメラに取り付けられるかもしくは組み込まれてよく、または(3)カメラを保持するように設けられてもよい。半透明材料の設置および操作の位置は、カメラの外部でよく、またはカメラ本体の内部でもよい。本発明のために、カメラおよび撮像デバイスという用語は、本明細書の全体にわたって区別なく使用され、レンズを通して画像を取得することができる他のデバイスを対象として含むように意図された非限定的な例である。この発明には、顕微鏡、望遠鏡、ドローンカメラ、ミラーレスカメラおよび人工衛星といった非限定的な実施形態も、対象として含まれる。
本発明は、単一フレームおよびマルチフレームの画像収集に適合し、特に、それだけではないが、単一露光、マルチスペクトル、ハイパースペクトルおよびビデオ収集に適合する。装置の構造的な形式は、(1)カメラのレンズの上に分離して配置されてよく、(2)カメラに取り付けられるかもしくは組み込まれてよく、または(3)カメラを保持するように設けられてもよい。半透明材料の設置および操作の位置は、カメラの外部でよく、またはカメラ本体の内部でもよい。本発明のために、カメラおよび撮像デバイスという用語は、本明細書の全体にわたって区別なく使用され、レンズを通して画像を取得することができる他のデバイスを対象として含むように意図された非限定的な例である。この発明には、顕微鏡、望遠鏡、ドローンカメラ、ミラーレスカメラおよび人工衛星といった非限定的な実施形態も、対象として含まれる。
視野の合焦画像と拡散画像との各セットが、無関係な照明、すなわち吸収されていない照明波長と半透明材料の透過に起因する照度変動とを除去するために、ソフトウェアによって処理される。画像の各セットは、拡散画像の各画素の強度を合焦画素の対応する強度から減算する、簡単な固有の処理、または半透明材料を通過した照明によって生成された残差成分の強度を合焦画像から画素ごとに減算する、高度な固有の処理を施されてよい。較正された残差が、たとえば半透明材料および自動カメラ調節による照明の5%未満であって寄与が低いと判定されたら、簡単な処理の方法が適切であると見なされてよい。
本発明のさらなる特徴および利点は、本発明の実例となる実施形態を示す添付図に関連して理解される、以下の発明を実施するための形態から明らかになるであろう。
これらの図を通じて、同一の参考番号および文字は、特に明記しない限り、図示の実施形態の類似の要素、構成要素、一部分または特徴を表すように使用されている。主題の発明が、実例となる実施形態を考慮して、添付図とともに詳細に説明される。
装置の構成
装置の最も簡単な構成では、拡散画像を生成するために、半透明材料(拡散要素)3を含む装置1が、図1aおよび図1bに示されるようにカメラ2上に配置される。別の構成は、半透明材料3を含む装置1を、図2aおよび図2bに示されるように、カメラ2に対して、視野とカメラレンズとの間の経路に出し入れされるように取り付けることによって達成される。この形式は、光学管がカメラのレンズと見なされるので、長いレンズのカメラおよび望遠鏡に適切である。
装置の最も簡単な構成では、拡散画像を生成するために、半透明材料(拡散要素)3を含む装置1が、図1aおよび図1bに示されるようにカメラ2上に配置される。別の構成は、半透明材料3を含む装置1を、図2aおよび図2bに示されるように、カメラ2に対して、視野とカメラレンズとの間の経路に出し入れされるように取り付けることによって達成される。この形式は、光学管がカメラのレンズと見なされるので、長いレンズのカメラおよび望遠鏡に適切である。
装置の第3の構成では、装置1がカメラの本体またはケースを保持し、半透明材料3が、カメラレンズ2aと視野との間の経路に回転可能に移動して出し入れされる。この形式は、図3a~図3cおよび図4a~図4bに示されるように、自動調整カメラ2aを有するスマートフォンおよびタブレットとともに使用するのに適切であり、カメラレンズ2a上に拡散要素を取り付けるかまたは組み込むのは、実際的でないかまたは困難である。本発明のために、回転可能に移動するとは、拡散要素を、カメラレンズの前に配置するかまたはカメラレンズから離して配置するために、保持装置またはカメラに対して(何らかの方向または面において)回転させるかまたは枢動させることを意味する。
本発明をビデオカメラに適用するには、合焦ビデオ画像と拡散ビデオ画像とのセットの連続した流れを生成するための形式が必要である。好ましい方法は、それだけではないが、1つおきのフレームが拡散画像を生成し、それに合焦画像が続くか、またはその逆順になるように、回転ホイール(同期要素)1aをカメラ2のフレームレートと同期させることを含む。これは、ホイールの領域3aの半分が開き(透過し)、他の半分が半透明材料3で覆われているホイールによって達成され得る。このホイールの回転をビデオカメラのフレームレートの半速度に同期させると、合焦画像に拡散画像が続く、連続する画像セットの流れをもたらし、これが、本発明の方法によって固有のビデオへと処理され得る。たとえば、60フレーム/秒(fps)のビデオカメラが使用されるとき、図16に示されるように1つのフレームごとに1つの画像で60の連続的に交互になった合焦画像と拡散画像とを取得するために、回転ホイールは30回転/秒で作動され得る。本発明の簡単な処理方法によれば、1秒で30セットの交互になった合焦画像と拡散画像(合計で60の画像)とが処理され、合焦画像の強度から拡散画像の強度が画素ごとに減算されて、1秒につき30の連続した固有のフレームから成る固有のビデオが取得され、これが30fpsで再生される。
高度な処理については、単一残像が計算され、新規の残像が計算されるまで使用されるように記憶装置に記憶される。上記の例によれば、計算された同一の残像が、以前に取得された30個の拡散画像の各々に加算されて、調節された30個の拡散画像が生成され、これが、取得された合焦画像から画素ごとに減算されて、1秒につき30個の連続した固有のフレームから成る固有のビデオが生成され、30fpsで再生される。
本発明の一実施形態によれば、残像は、以前に説明されたような同期した回転ホイールによって取得された、(たとえば晴天からの)較正の合焦画像と拡散画像との単一セットから計算され得る。あるいは、複数の較正の合焦画像と拡散画像とのセットから複数の残像が計算され得、すべての計算された残像の強度を画素ごとに平均することにより、平均残像が計算され得る。ビデオカメラが静止画像を捕捉する機能も有する場合には、カメラによって取得された合焦静止画像と拡散静止画像とで残像が計算され得ることも構想される。計算された残像は、照明または半透明材料が交換されない限り有効である。
したがって、固有のビデオのためには、ビデオのフレームが一定の条件下で得られるので、1つの残像で十分である。
高いビデオフレームレートにより、この形式は、複数の透過穴3aと、開口および半透明の覆い3と、がその周縁に沿って交互になっているホイールにまで拡張される。装置のこれらの形式は図5a~図5cに示されている。同期要素1aはビデオカメラ2の中にも設けられ得る。好ましい実施形態では同期要素1aは回転ホイールであるが、同期要素1aは、それだけではないが、ビデオカメラ2が、本発明の方法によって、合焦ビデオ画像と拡散ビデオ画像との同一のセットを取得することを可能にする、枢動または直線往復運動などの他の移動機構によっても実施され得る。
固有の画像の処理
画像は、吸収、発光に固有の反射および無関係な照明を含む様々なスペクトル成分を含んでいる。無関係な照明は、視野によって吸収されない照明成分と定められる。この無関係な照明は大きなスペクトル成分であり、プロセスを信号対雑音比に関して考えるとき、霧またはノイズのように作用する。すなわち、「ノイズ」を低減することによって、固有の成分が現われる。
画像は、吸収、発光に固有の反射および無関係な照明を含む様々なスペクトル成分を含んでいる。無関係な照明は、視野によって吸収されない照明成分と定められる。この無関係な照明は大きなスペクトル成分であり、プロセスを信号対雑音比に関して考えるとき、霧またはノイズのように作用する。すなわち、「ノイズ」を低減することによって、固有の成分が現われる。
固有の発光すなわち物品の蛍光を取得するための従来の方法は、レーザおよび狭帯域フィルタを用いて取得された狭帯域の励起照明を標的物質に当てた後に、ロングパスフィルタおよびダイクロイックミラーを使用して励起照明を除去する必要がある。これらのフィルタおよびミラーが、吸収されなかった照明成分を除去し、固有の発光が現れる。
以前に、参照によって組み込まれた特許には、フィルタやダイクロイックミラーは使用せずに同じ結果を達成する、固有の処理と称される斬新な方法が提示されている。しかしながら、照明の波長範囲が広ければ、日射などの全体の吸収エンベロープを対象として含み得る。この条件下では、固有の発光は、固有の処理を使用して取得される唯一のスペクトル成分ではない。固有の処理は、全体の照明反射および固有の反射を含む2つの成分があることを明らかにするものである。照明反射は、物品による照明の全波長範囲の反射であり、日射の場合には、反射は白色光と考えられる。固有の反射は、視野において物品に吸収されない、比例した残留照明成分である。固有の反射は、全体の照明に対して小さい成分であっても、物品の知覚される色を発する。色ペイントの混合に似て、比較的少量の顔料すなわち固有の成分が、白を基調色とする明るい色のペイントをもたらす。
本発明は、無関係な照明成分を除去するための方法として、(1)合焦画像の強度から拡散画像の強度を画素ごとに減算する、簡単な固有の処理と、(2)空間的詳細がない視野の取得された較正拡散画像の強度を、空間的詳細がない同一視野の取得された較正合焦画像の対応する強度から画素ごとに減算して残像を取得することにより、空間的詳細がない較正視野を使用して残像成分を判定する高度な固有の処理と、の2つを提供するものである。この残像の強度は、調節された拡散画像を生成するために、拡散画像の強度に対して画素ごとに加算され、これらが、合焦画像の強度から画素ごとに減算される。
たとえば人工衛星から得られた画像といった遠く離れた視野の画像から、煙霧質、水蒸気および微粒子などのスペクトルの前景成分を除去するためのモデル化に、多くの努力が費やされてきた。この発明の固有の処理技法の成功は、拡散照明の画像が、合焦画像と、同一の視野、同一のカメラ条件の下で、ほぼ同時に得られるということである。これは、合焦画像を処理するための、視野の最も正確なリアルタイム照明および前景データをもたらす。
画像処理の簡単な固有の方法は、拡散画像の強度が合焦画像の強度から画素ごとに減算されるという点において簡単であると考えられる。これによって、無関係な照明ならびにあらゆる強度勾配が除去され、そうしなければ全体の反射エネルギーの中に隠されてしまうはずの固有の成分が現われる。
画像処理の高度な固有の方法は、透過による無関係な照明ばかりでなく、半透明材料を通る照明エネルギーの損失も考えるので、高度であると考えられる。この高度な方法は、露光時間の自動調整など、設定におけるあらゆる変化をも把握して、画像を最適化するとき自動カメラに起こり得ることに再び焦点を定める。このプロセスでは、カメラが、空間的詳細がない視野の合焦画像と拡散画像との較正セットを得て、カメラにおけるあらゆる変化から生じる残像、ならびに半透明材料を通る透過による照明の損失を判定することが必要になる。
固有のビデオの生成は、リアルタイムに、または後処理プロシージャにおいて達成され得る。本発明の一実施形態によれば、固有のビデオ処理は、最初に、取得された合焦画像と拡散画像との画像セットを識別することを含み、各セットは、固有のフレームを生成するために別個に処理される。次いで、固有のフレームは、ストリーミング配信されるか、または本発明による固有のビデオ画像を生成するために、図16に示されるように、連続的に組み合わされて、元のカメラのフレームレートの半分で再生される。
以下では、(1)半透明材料の基準、(2)固有の処理の分析、(3)従来の画像および固有の画像に対するスペクトルの寄与、ならびに(4)画像間に認められた相違、といった実施例が提示される。
図に示されるすべての写真画像が、Apple(登録商標)のiPhone(登録商標)11のカメラの自動調節で撮られたものであることに留意されたい。
半透明材料
2つの半透明材料の基準が試験され、結果が図6a~図6bおよび図7a~図7bに示されている。半透明材料として白紙が使用されたとき、図6bの固有の画像には青色の無関係な照明が残った。これは、390nmの照明が固有の処理によって除去されるように、半透明の白紙を通過しなかったことを示す。加えて、トレモライト鉱物の黒い外観は、390nmの照明の強い吸収度を指示する。しかしながら、半透明材料としてポリエチレンが使用されたとき、半透明の基準が満たされて、明るい赤色の蛍光を発する鉱物が黒背景を伴って現われ、固有の処理によって無関係な照明が除去されたことを示す(図7b)。
2つの半透明材料の基準が試験され、結果が図6a~図6bおよび図7a~図7bに示されている。半透明材料として白紙が使用されたとき、図6bの固有の画像には青色の無関係な照明が残った。これは、390nmの照明が固有の処理によって除去されるように、半透明の白紙を通過しなかったことを示す。加えて、トレモライト鉱物の黒い外観は、390nmの照明の強い吸収度を指示する。しかしながら、半透明材料としてポリエチレンが使用されたとき、半透明の基準が満たされて、明るい赤色の蛍光を発する鉱物が黒背景を伴って現われ、固有の処理によって無関係な照明が除去されたことを示す(図7b)。
画像のスペクトル成分の分離
図9aの画像のスペクトル成分が固有の処理によって分離され、この画像の行1900の1000画素にわたる範囲が図10aにプロットされた。
図9aの画像のスペクトル成分が固有の処理によって分離され、この画像の行1900の1000画素にわたる範囲が図10aにプロットされた。
照明が半透明材料を通過するときのスペクトル成分の損失を判定する残像(図8c)を生成するために、晴天の図8aの合焦画像と図8bの拡散画像との較正セットが得られた。分析行にわたる残像の強度は2パーセント未満であると判定された。図9a~図9cは、直射日光下の落葉の、拡散画像と、合焦画像と、固有の画像とのセットを示す。スペクトル成分が互いに関連する様子の質的理解および量的理解を得るために、白線によって示された、列1000~2000にわたる行1900からの画素の強度が、図10a~図10bにプロットされた。図10aのグラフは、合焦画像の行1900の画素の、簡単な固有の処理および高度な固有の処理の前後の強度である。図10bのグラフは、この行の画素にわたって半透明材料を通して撮像された、拡散スペクトル成分の強度および残留スペクトル成分の強度を示す。拡散画像の強度グラフは、合焦画像の行1900の分析範囲にわたる画素の各々の強度の約74パーセントを表す。残留スペクトル成分は、図8a~図8cにおける晴天較正画像の残留強度の約2パーセントを表す。画像のこのセットでは、残留スペクトル成分は、図10aのグラフに示されるように、簡単な固有の画像と高度な固有の画像との間の相違にあまり寄与していないことに留意されたい。
反射成分のスペクトル
黄色紙のサンプルが、図11aに示されるように、白色LEDを用いて45°の角度で照光されるように、キュベットに対角線上に配置され、反射エネルギーは、照明から90°の角度で検知された。青色スペクトルは、白色LED照明の完全スペクトルを表す。赤色スペクトルは、無関係な照明成分を除去した後の、黄色紙から反射された固有のスペクトルを表す。固有のスペクトルのUV範囲/青色範囲/緑色範囲の部分は、白色LED照明(図11b)からの吸収成分を示す負数を有する。この吸収は、統合された照明の11パーセントである。黄色範囲/赤色範囲の固有のスペクトルの割合は正の値を有し、予期された反射残留照明の11パーセントよりも大きい成分を表す。
黄色紙のサンプルが、図11aに示されるように、白色LEDを用いて45°の角度で照光されるように、キュベットに対角線上に配置され、反射エネルギーは、照明から90°の角度で検知された。青色スペクトルは、白色LED照明の完全スペクトルを表す。赤色スペクトルは、無関係な照明成分を除去した後の、黄色紙から反射された固有のスペクトルを表す。固有のスペクトルのUV範囲/青色範囲/緑色範囲の部分は、白色LED照明(図11b)からの吸収成分を示す負数を有する。この吸収は、統合された照明の11パーセントである。黄色範囲/赤色範囲の固有のスペクトルの割合は正の値を有し、予期された反射残留照明の11パーセントよりも大きい成分を表す。
発光成分が固有のスペクトルのかなりの量の正の部分をもたらした場合には、黄色紙のサンプルに蛍光特性があったように見える。固有のスペクトルに関して、89パーセントの照明は吸収されず、無関係と見なされ、固有の処理アルゴリズムによって除去された。
通常の合焦画像と固有の画像との間に認められる差
合焦画像は、目が通常知覚する視野に近いものに見える。しかしながら、固有の処理は、より強い色の暗い画像を生成する。これは、図12cの蛍光像および図13b~図15bの固有の反射画像に見られるように、無関係な照明成分が画像から除去され、固有のスペクトル成分のみが反射されたからである。これらの画像には、知覚される色の強度が、白色ベースの照明の中の顔料として働く少量の固有の成分に由来するという、ペイント混合の類似性を裏付ける傾向がある。加えて、固有の画像の内部の局所的境界は、合焦画像のものよりも鋭く見える。
合焦画像は、目が通常知覚する視野に近いものに見える。しかしながら、固有の処理は、より強い色の暗い画像を生成する。これは、図12cの蛍光像および図13b~図15bの固有の反射画像に見られるように、無関係な照明成分が画像から除去され、固有のスペクトル成分のみが反射されたからである。これらの画像には、知覚される色の強度が、白色ベースの照明の中の顔料として働く少量の固有の成分に由来するという、ペイント混合の類似性を裏付ける傾向がある。加えて、固有の画像の内部の局所的境界は、合焦画像のものよりも鋭く見える。
本明細書において、前述の例示的実施形態を参照しながら本発明が説明されてきたが、この実施形態は、本発明の範囲を制限するように働くものではない。したがって、本発明に関する技術の当業者なら、本発明の技術的精神から逸脱することなく様々な修正形態が可能であることを理解するであろう。
Claims (45)
- 無関係な照明成分がない、視野の固有の画像を、フィルタまたはダイクロイックミラーを使用することなく撮像デバイスを用いて取得するための方法であって、
目的の同一視野の合焦画像および拡散画像を取得することと、
前記拡散画像の各画素の強度を、前記合焦画像の画素の対応する強度から減算することにより、前記合焦画像から無関係な照明を除去して、目的の前記視野の固有の画像を取得することと
を含む方法。 - 前記合焦画像、前記拡散画像および前記固有の画像が静止画像である、請求項1に記載の方法。
- 前記合焦画像、前記拡散画像および前記固有の画像がビデオ画像である、請求項1に記載の方法。
- 前記拡散画像が、前記目的の視野と撮像デバイスのレンズとの間の経路に拡散要素を配置することによって取得される、請求項1に記載の方法。
- 前記経路の中および外への前記拡散要素の配置が、手動で制御されるか、機械的に制御されるか、またはそれらの組合せである、請求項4に記載の方法。
- 前記拡散要素を含む取外し可能なアダプタが、前記撮像デバイスのレンズの上に取外し可能に配置される、請求項4に記載の方法。
- 前記拡散要素が前記撮像デバイスの本体に組み込まれる、請求項4に記載の方法。
- 前記拡散要素が、前記撮像デバイスの本体を内部に受け入れる保持装置の一部である、請求項4に記載の方法。
- 前記拡散要素が、前記保持装置に対して回転可能に移動させられる、請求項8に記載の方法。
- 前記合焦ビデオ画像および前記拡散ビデオ画像が、少なくとも1つの拡散要素と、同数の透過開口とを備える同期要素を通して取得される、請求項3に記載の方法。
- 前記同期要素の拡散要素および透過開口の数が、前記合焦ビデオ画像および前記拡散ビデオ画像を取得する撮像デバイスのフレームレートによって定められる、請求項10に記載の方法。
- 前記同期要素の移動が、前記撮像デバイスのフレームレートの半速度に同期しており、連続的に交互になった合焦ビデオ画像と拡散ビデオ画像との複数のセットが取得され、各画像が、前記目的の視野からのビデオの連続フレームに対応する、請求項10に記載の方法。
- 拡散ビデオ画像の各セットが、対応する合焦ビデオ画像から減算されて幾つかの固有のビデオフレームを生成し、前記複数の固有のビデオフレームが連続的に組み合わされて固有のビデオ画像を生成する、請求項12に記載の方法。
- 前記固有のビデオ画像が、1秒当たりの前記固有のビデオフレームの数と等しいレートで再生される、請求項12に記載の方法。
- 前記拡散要素が半透明材料を含む、請求項4に記載の方法。
- 前記半透明材料が照明のすべての波長の通過を比例的に可能にする、請求項15に記載の方法。
- 前記拡散画像が前記合焦画像から除去された空間的特徴を有するように、前記半透明材料が選択される、請求項15に記載の方法。
- 前記拡散画像が前記合焦画像と同一の強度勾配の同一の照度分布を有するように、前記半透明材料が選択される、請求項15に記載の方法。
- 前記半透明材料に蛍光特性がない、請求項15に記載の方法。
- 前記拡散要素が前記撮像デバイスの内部に設けられる、請求項4に記載の方法。
- 前記同期要素が前記撮像デバイスの内部に設けられる、請求項10に記載の方法。
- 無関係な照明成分がない、視野の固有の画像を、フィルタまたはダイクロイックミラーを使用することなく取得するための方法であって、
空間的詳細がない、同一視野の較正合焦画像および較正拡散画像を取得することと、
前記較正拡散画像の各画素の強度を、前記較正合焦画像の画素の対応する強度から減算して、残像を取得することと、
前記空間的詳細がない前記視野とは異なる、目的の同一の視野の合焦画像および拡散画像を取得することと、
前記残像の各画素の強度を前記拡散画像の前記画素の対応する強度に加算して、調節された拡散画像を取得することと、
前記調節された拡散画像の各画素の強度を、前記合焦画像の画素の対応する強度から減算することにより、前記合焦画像から無関係な照明を除去して、前記目的の視野の固有の画像を取得することと
を含む方法。 - 前記較正合焦画像、前記較正拡散画像、前記残像、前記合焦画像、前記拡散画像および前記調節された拡散画像が静止画像である、請求項22に記載の方法。
- 前記較正合焦画像、前記較正拡散画像、前記合焦画像、前記拡散画像および前記調節された拡散画像がビデオ画像である、請求項22に記載の方法。
- 前記較正拡散画像および前記拡散画像が、前記目的の視野と撮像デバイスのレンズとの間の経路に拡散要素を配置することによって取得される、請求項22に記載の方法。
- 前記経路の中および外への前記拡散要素の移動が、手動で制御されるか、機械的に制御されるか、またはそれらの組合せである、請求項25に記載の方法。
- 前記拡散要素を含む取外し可能なアダプタが、前記撮像デバイスのレンズの上に取外し可能に配置される、請求項25に記載の方法。
- 前記拡散要素が前記撮像デバイスの本体に組み込まれる、請求項25に記載の方法。
- 前記拡散要素が、前記撮像デバイスの本体を内部に受け入れる保持装置の一部である、請求項25に記載の方法。
- 前記拡散要素が、前記保持装置に対して回転可能に移動させられる、請求項29に記載の方法。
- 前記較正合焦画像、前記較正拡散画像、前記合焦画像および前記拡散画像が、少なくとも1つの拡散要素と、同数の透過開口とを備える同期要素を通して取得される、請求項24に記載の方法。
- 前記同期要素の拡散要素および透過開口の数が、前記較正合焦画像、前記較正拡散画像、前記合焦画像および前記拡散画像を取得する撮像デバイスのフレームレートによって定められる、請求項31に記載の方法。
- 前記同期要素の移動が、撮像デバイスのフレームレートの半速度に同期しており、連続的に交互になった合焦ビデオ画像と拡散ビデオ画像との複数のセットが取得され、各画像が、前記目的の視野からのビデオの連続フレームに対応する、請求項31に記載の方法。
- 連続的に交互になった較正合焦ビデオ画像と較正拡散ビデオ画像との少なくとも1つのセットが取得され、前記少なくとも1つのセットから前記残像が計算される、請求項33に記載の方法。
- 前記残像が、連続的に交互になった較正合焦ビデオ画像と較正拡散ビデオ画像との複数のセットから計算された複数の残像の平均である、請求項34に記載の方法。
- 前記残像が、各セットの拡散ビデオ画像に加算されて、調節された拡散画像を生成し、前記調節された拡散画像が前記セットの前記拡散画像から減算されて、前記目的の視野の複数の固有のビデオフレームが取得される、請求項33に記載の方法。
- 前記複数の固有のビデオフレームが連続的に組み合わされて固有のビデオ画像を生成する、請求項36に記載の方法。
- 前記固有のビデオ画像が、1秒当たりの前記固有のビデオフレームの数と等しいレートで再生される、請求項37に記載の方法。
- 前記拡散要素が半透明材料を含む、請求項25に記載の方法。
- 前記半透明材料が照明のすべての波長の通過を比例的に可能にする、請求項39に記載の方法。
- 前記較正拡散画像および前記拡散画像が、それぞれ前記較正合焦画像および合焦画像から除去された空間的特徴を有するように、前記半透明材料が選択される、請求項39に記載の方法。
- 前記較正拡散画像および前記拡散画像が、それぞれ前記較正合焦画像および前記合焦画像と同一の強度勾配の同一の照度分布を有するように、前記半透明材料が選択される、請求項39に記載の方法。
- 前記半透明材料に蛍光特性がない、請求項39に記載の方法。
- 前記拡散要素が前記撮像デバイスの内部に設けられる、請求項25に記載の方法。
- 前記同期要素が撮像デバイスの内部に設けられる、請求項31に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/888,660 | 2020-05-30 | ||
US16/888,660 US10969523B1 (en) | 2019-10-18 | 2020-05-30 | Apparatus and method to obtain intrinsic still and video images without the use of filters or dichroic mirrors |
PCT/US2021/028281 WO2021247157A1 (en) | 2020-05-30 | 2021-04-21 | Apparatus and method to obtain intrinsic still and video images without the use of filters or dichroic mirrors |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023529132A true JP2023529132A (ja) | 2023-07-07 |
Family
ID=78829886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022573783A Pending JP2023529132A (ja) | 2020-05-30 | 2021-04-21 | フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4158394A4 (ja) |
JP (1) | JP2023529132A (ja) |
CA (1) | CA3180904A1 (ja) |
WO (1) | WO2021247157A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5317140A (en) * | 1992-11-24 | 1994-05-31 | Dunthorn David I | Diffusion-assisted position location particularly for visual pen detection |
US7701489B1 (en) * | 2003-05-27 | 2010-04-20 | Apple Inc. | Method and apparatus for color correction |
US8923575B2 (en) * | 2010-06-30 | 2014-12-30 | Nec Corporation | Color image processing method, color image processing device, and color image processing program |
US9013691B2 (en) * | 2012-01-29 | 2015-04-21 | Ramot At Tel-Aviv University | Snapshot spectral imaging based on digital cameras |
US10652484B1 (en) * | 2019-10-18 | 2020-05-12 | Center For Quantitative Cytometry | Method to obtain data cubes of low intensity intrinsic spectral images when imaging under high illumination conditions without the use of filters |
-
2021
- 2021-04-21 CA CA3180904A patent/CA3180904A1/en active Pending
- 2021-04-21 EP EP21817820.0A patent/EP4158394A4/en active Pending
- 2021-04-21 JP JP2022573783A patent/JP2023529132A/ja active Pending
- 2021-04-21 WO PCT/US2021/028281 patent/WO2021247157A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
EP4158394A1 (en) | 2023-04-05 |
WO2021247157A1 (en) | 2021-12-09 |
CA3180904A1 (en) | 2021-12-09 |
EP4158394A4 (en) | 2024-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7424286B2 (ja) | 蛍光観察装置及び蛍光観察方法 | |
Kubik | Hyperspectral imaging: a new technique for the non-invasive study of artworks | |
EP2997353B1 (en) | Microscopy of a tissue sample using structured illumination | |
Casini et al. | Image spectroscopy mapping technique for noninvasive analysis of paintings | |
Cosentino | Panoramic, macro and micro multispectral imaging: an affordable system for mapping pigments on artworks | |
JP2021527228A (ja) | ハイブリッドスペクトルイメージャ | |
TW201208366A (en) | Image processing apparatus, image processing method, and program | |
US11269171B2 (en) | Spectrally-resolved scanning microscope | |
JP2009265618A (ja) | アジャイルスペクトル画像形成装置および方法 | |
JP6673909B2 (ja) | 光バリアフィルタの使用なしにサンプルスペクトルから照明エネルギーのスペクトル成分を除去する方法およびそのための装置 | |
US9998636B2 (en) | Method to remove the spectral components of illumination and background from multi-spectral and hyper-spectral images | |
US20060023217A1 (en) | Method and apparatus for producing a mosaic image | |
CN109218691A (zh) | 摄像机和产生彩色图像的方法 | |
US11143855B2 (en) | Scanning microscope using pulsed illumination and MSIA | |
US10969523B1 (en) | Apparatus and method to obtain intrinsic still and video images without the use of filters or dichroic mirrors | |
US20110304820A1 (en) | Method and device for imaging a target | |
Trumpy et al. | A multispectral design for a new generation of film scanners | |
US10652484B1 (en) | Method to obtain data cubes of low intensity intrinsic spectral images when imaging under high illumination conditions without the use of filters | |
Wu et al. | Development of an underwater multispectral imaging system based on narrowband color filters | |
JP2023529132A (ja) | フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法 | |
Blažek et al. | Low-cost mobile system for multispectral cultural heritage data acquisition | |
Verhoeven | Methods of visualisation | |
Wilda et al. | Visualising varnish removal for conservation of paintings by fluorescence lifetime imaging (FLIM) | |
Brogle | Incorporating High Dynamic Range into Multispectral Imaging for Cultural Heritage Documentation | |
Valero et al. | Framework proposal for high-resolution spectral image acquisition of effect-coatings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250130 |