JP2023529132A - フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法 - Google Patents

フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法 Download PDF

Info

Publication number
JP2023529132A
JP2023529132A JP2022573783A JP2022573783A JP2023529132A JP 2023529132 A JP2023529132 A JP 2023529132A JP 2022573783 A JP2022573783 A JP 2022573783A JP 2022573783 A JP2022573783 A JP 2022573783A JP 2023529132 A JP2023529132 A JP 2023529132A
Authority
JP
Japan
Prior art keywords
image
diffuse
focus
unique
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022573783A
Other languages
English (en)
Inventor
アブラハム シュワルツ,
フィリップ シャーマン,
リポレット, エマ フェルナンデス
Original Assignee
センター フォー クオンティテイティブ サイトメトリー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/888,660 external-priority patent/US10969523B1/en
Application filed by センター フォー クオンティテイティブ サイトメトリー filed Critical センター フォー クオンティテイティブ サイトメトリー
Publication of JP2023529132A publication Critical patent/JP2023529132A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0273Diffusing elements; Afocal elements characterized by the use
    • G02B5/0278Diffusing elements; Afocal elements characterized by the use used in transmission
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • G03B11/04Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G03B11/06Lens caps for exposure making
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

Figure 2023529132000001
バリアフィルタやダイクロイックミラーなしで固有の画像を生成するための装置および方法が提供される。この方法は、合焦視野の画像と同一視野の拡散画像とを収集することを含む。拡散画像は、カメラと視野との間の経路に半透明材料を配置することによって取得される。半透明材料によって、照明エネルギーの透過が可能となり、視野の空間的詳細が拡散して、特徴のない照度の画像が生成する。次いで、合焦画像と拡散画像とが画素ごとに処理されて、無関係な照明がない固有の画像を生成する。
【選択図】図15b

Description

本発明は、無関係な照明を除去することにより、フィルタやダイクロイックミラーを使用することなく固有の画像およびビデオを取得するための装置および方法に関する。
撮像の第一目標は、高品質の画像およびビデオを取得することである。この目標に向けた進歩は、光学部品および露光機構に関してカメラを改善することであった。様々な画素センサ配列を有するデジタルカメラが、この努力に対して大いに寄与した。しかしながら、これらの努力は、画像品質の妨げになるスペクトル成分には対処しない。
通常、蛍光撮像は、材料の分子構造を励起するために材料に向けられる照明の狭い波長範囲を利用する。結果として生じるスペクトルには発光成分は含まれているが、照明成分の波長は、ダイクロイックミラーおよびバリアフィルタを使用して除去されている。これによって、スペクトル発光成分のみを含むスペクトルがもたらされる。
最近、フィルタやダイクロイックミラーは使用せずに、通常のカメラで固有の蛍光像を取得するための方法が開発された。これらの特許取得済みの方法は、固有の処理によって、無関係な照明、すなわち、視野における、材料によって吸収されない成分を、画像から除去し得るやり方を説明するものである。これらの特許で示された特定の撮像プロセスは、無関係な照明を除去してスペクトル成分を計測するものであるが、データを取得するための方法が一様でなく、最も実用的なものではない。たとえば、1つの方法(参照によって全体が本明細書に組み込まれる米国特許第9,435,687号および米国特許第9,998,636号)は、別々の4つの視界および別々の2つのカメラを必要とする。改善された方法(参照によって全体が本明細書に組み込まれる米国特許第10,652,484号)が必要とするのは、たった1つの視野および1つのカメラであるが、視野の画像は、焦点を合わせたものと焦点をぼかしたものとが必要である。必要な視野は1つだけであるが、カメラの焦点を手動でぼかすのが厄介で視野がずれるリスクがあり、したがって処理に誤差を導入する。加えて、低倍率および高いFストップでは、カメラは、視野内の空間的詳細を完全に除去するための十分な焦点調節ができない可能性がある。
目的の物品の識別および検査に関して固有の情報を取得することに頼るあらゆる分野にとって、通常のカメラで固有の画像を取得する能力は有益であり得る。これらの分野には、それだけではないが、地質学における撮像、科学捜査、農業、生物学、天文学、点検、気象学、海洋学、および医学が含まれる。
これら特許取得済みの方法は、固有の画像を生成するが、較正、目標物、および参照のために複数の視野が必要とされ、データ収集が複雑かつ困難になった。本発明は、データ収集と、それに続く固有の画像生成および画像表示のための処理とにおいて、大幅な技術的改善および簡素化を提供するものである。
本発明は、バリアフィルタやダイクロイックミラーなしで固有の画像を生成するための装置および方法を提供するものである。本発明は、合焦視野を収集し、次に同一視野の拡散画像を取得することを含み、またはその逆順を含む。拡散画像は、カメラと視野との間の経路に半透明材料を配置することによって取得される。半透明材料によって、照明エネルギーの透過が可能となり、視野の空間的詳細は拡散して、特徴がない照度の画像が生成する。
同一視野の拡散画像が、たとえば合焦画像のものと同一の強度勾配といった照明の特徴を維持することは重要である。前記合焦画像と拡散画像とのセットが、次いで、2つの方法によって処理されて固有の画像を生成し得る。本発明による、有効または最適な拡散画像を生成するのに必要な半透明材料の基準は次の通りである。
1.半透明材料は、照明のすべての波長を通すこと。
2.もたらされる拡散画像は、合焦画像のいかなる空間的特徴も含まないこと。
3.拡散画像は、合焦画像と同一の照度分布すなわち同一の強度勾配を有すること。
4.半透明材料は、照明波長範囲を比例的に通すこと、すなわち、たとえば蛍光特性といった、偏った吸収や放射はないものとする。
本発明の様式
本発明は、単一フレームおよびマルチフレームの画像収集に適合し、特に、それだけではないが、単一露光、マルチスペクトル、ハイパースペクトルおよびビデオ収集に適合する。装置の構造的な形式は、(1)カメラのレンズの上に分離して配置されてよく、(2)カメラに取り付けられるかもしくは組み込まれてよく、または(3)カメラを保持するように設けられてもよい。半透明材料の設置および操作の位置は、カメラの外部でよく、またはカメラ本体の内部でもよい。本発明のために、カメラおよび撮像デバイスという用語は、本明細書の全体にわたって区別なく使用され、レンズを通して画像を取得することができる他のデバイスを対象として含むように意図された非限定的な例である。この発明には、顕微鏡、望遠鏡、ドローンカメラ、ミラーレスカメラおよび人工衛星といった非限定的な実施形態も、対象として含まれる。
視野の合焦画像と拡散画像との各セットが、無関係な照明、すなわち吸収されていない照明波長と半透明材料の透過に起因する照度変動とを除去するために、ソフトウェアによって処理される。画像の各セットは、拡散画像の各画素の強度を合焦画素の対応する強度から減算する、簡単な固有の処理、または半透明材料を通過した照明によって生成された残差成分の強度を合焦画像から画素ごとに減算する、高度な固有の処理を施されてよい。較正された残差が、たとえば半透明材料および自動カメラ調節による照明の5%未満であって寄与が低いと判定されたら、簡単な処理の方法が適切であると見なされてよい。
本発明のさらなる特徴および利点は、本発明の実例となる実施形態を示す添付図に関連して理解される、以下の発明を実施するための形態から明らかになるであろう。
カメラのレンズの上に配置された半透明材料によって一端を覆われた装置を示す図である。 カメラのレンズの上に配置された半透明材料によって一端を覆われた装置を示す図である。 レンズと視野との間の経路に出し入れ可能な半透明材料を有するカメラまたは望遠鏡のレンズに取り付けられた装置の別の実施形態を示す図である。 レンズと視野との間の経路に出し入れ可能な半透明材料を有するカメラまたは望遠鏡のレンズに取り付けられた装置の別の実施形態を示す図である。 自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンまたはタブレットを保持する装置の別の実施形態を示す図である。 自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンまたはタブレットを保持する装置の別の実施形態を示す図である。 自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンまたはタブレットを保持する装置の別の実施形態を示す図である。 自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンを保持する装置の別の実施形態を示す図である。 自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンを保持する装置の別の実施形態を示す図である。 1つおきに半透明材料[3]で覆われた穴を、そのリムに沿って有する回転ホイール[1]を、ビデオカメラ[2]に取り付けた装置を示す図である。 1つおきに半透明材料[3]で覆われた穴を、そのリムに沿って有する回転ホイール[1]を、ビデオカメラ[2]に取り付けた装置を示す図である。 1つおきに半透明材料[3]で覆われた穴を、そのリムに沿って有する回転ホイール[1]を、ビデオカメラ[2]に取り付けた装置を示す図である。 蛍光性鉱物であるトレモライトを390nmのUV光で照光した合焦画像を示す図である。 半透明の白紙を通して撮像された図6aのトレモライトを示す図である。照明は、簡単な処理の後に、発光成分はなく、トレモライトによって全吸収される。 蛍光性鉱物であるトレモライトを390nmのUV光で照光した合焦画像を示す図である。 半透明のポリエチレンを通して撮像された図7aのトレモライトを示す図である。画像は、簡単な処理の後に、無関係な照明の除去およびトレモライトによる強い発光を示す。 合焦された晴天の較正画像を示す図である。 本発明による、拡散された空の較正画像を示す図である。 処理後の較正画像を示す図である。これは、半透明材料を通過する照明による強度差を表す残像である。 直射日光によって照光された葉の合焦画像を示す図である。白線は、分析される画素の行(列1000~2000からの行1900)を指示している。 図9aの葉の拡散画像を示す図である。白線は、分析される画素の行(列1000~2000からの行1900)を指示している。 固有の処理の後の図9aの葉の画像を示す図である。白線は、分析される画素の行(列1000~2000からの行1900)を指示している。 図9aの画像の白線によって指示された分析領域の画素の行にわたる簡単な処理および高度な処理を示す、未処理の合焦強度のグラフである。 拡散画像の画素の行1900の強度のグラフと、高度な固有の処理を実行するために使用された図8a~図8cの較正画像における画素の行1900の残留強度のグラフとを示す図である。 黄色紙を分析するための反射構成を示す図である。 白色LED照明のスペクトルおよび反射スペクトル成分の固有のスペクトルを示す図である。照明は、89パーセントが無関係であり、11パーセントが黄色紙によって吸収されたものと判定された。 直射日光で照光されたボルダーを示す図である。ボルダー部分のクローズアップ合焦画像を伴う。 図12aに示されたボルダーの同一部分のクローズアップ拡散画像を示す図である。 簡単な固有の処理の後の、図12aに示されたボルダーの同一部分を示す図である。蛍光物質の複雑なパターンを示しており、固有の画像の最高強度は合焦画像の29.7パーセントであって、合焦画像から70.3パーセントの無関係な照明が除去されたことを指示している。 積雲の合焦画像を示す図である。 固有の処理の後の、図13aに示された雲の画像を示す図である。固有の画像の最高強度は合焦画像の53.6パーセントであって、合焦画像から46.4パーセントの無関係な照明が除去されたことを指示している。 色彩に富んだ複雑なパターンの合焦画像を示す図である。 簡単な固有の処理の後のパターンの画像を示す図である。固有の画像の最高強度は合焦画像の45.7パーセントであって、合焦画像から54.3パーセントの無関係な照明が除去されたことを指示している。 複製印刷の合焦画像を示す図である。 固有の処理の後の、図15aに示された複製印刷の画像を示す図である。固有の画像の最高強度が合焦画像の35.6パーセントであって、合焦画像から64.4パーセントの無関係な照明が除去されたことと、合焦画像では照明によって消されていた固有の青色領域が出現したこととを指示している。 本発明による、固有のビデオ画像を生成する方法を示す図である。
これらの図を通じて、同一の参考番号および文字は、特に明記しない限り、図示の実施形態の類似の要素、構成要素、一部分または特徴を表すように使用されている。主題の発明が、実例となる実施形態を考慮して、添付図とともに詳細に説明される。
装置の構成
装置の最も簡単な構成では、拡散画像を生成するために、半透明材料(拡散要素)3を含む装置1が、図1aおよび図1bに示されるようにカメラ2上に配置される。別の構成は、半透明材料3を含む装置1を、図2aおよび図2bに示されるように、カメラ2に対して、視野とカメラレンズとの間の経路に出し入れされるように取り付けることによって達成される。この形式は、光学管がカメラのレンズと見なされるので、長いレンズのカメラおよび望遠鏡に適切である。
装置の第3の構成では、装置1がカメラの本体またはケースを保持し、半透明材料3が、カメラレンズ2aと視野との間の経路に回転可能に移動して出し入れされる。この形式は、図3a~図3cおよび図4a~図4bに示されるように、自動調整カメラ2aを有するスマートフォンおよびタブレットとともに使用するのに適切であり、カメラレンズ2a上に拡散要素を取り付けるかまたは組み込むのは、実際的でないかまたは困難である。本発明のために、回転可能に移動するとは、拡散要素を、カメラレンズの前に配置するかまたはカメラレンズから離して配置するために、保持装置またはカメラに対して(何らかの方向または面において)回転させるかまたは枢動させることを意味する。
本発明をビデオカメラに適用するには、合焦ビデオ画像と拡散ビデオ画像とのセットの連続した流れを生成するための形式が必要である。好ましい方法は、それだけではないが、1つおきのフレームが拡散画像を生成し、それに合焦画像が続くか、またはその逆順になるように、回転ホイール(同期要素)1aをカメラ2のフレームレートと同期させることを含む。これは、ホイールの領域3aの半分が開き(透過し)、他の半分が半透明材料3で覆われているホイールによって達成され得る。このホイールの回転をビデオカメラのフレームレートの半速度に同期させると、合焦画像に拡散画像が続く、連続する画像セットの流れをもたらし、これが、本発明の方法によって固有のビデオへと処理され得る。たとえば、60フレーム/秒(fps)のビデオカメラが使用されるとき、図16に示されるように1つのフレームごとに1つの画像で60の連続的に交互になった合焦画像と拡散画像とを取得するために、回転ホイールは30回転/秒で作動され得る。本発明の簡単な処理方法によれば、1秒で30セットの交互になった合焦画像と拡散画像(合計で60の画像)とが処理され、合焦画像の強度から拡散画像の強度が画素ごとに減算されて、1秒につき30の連続した固有のフレームから成る固有のビデオが取得され、これが30fpsで再生される。
高度な処理については、単一残像が計算され、新規の残像が計算されるまで使用されるように記憶装置に記憶される。上記の例によれば、計算された同一の残像が、以前に取得された30個の拡散画像の各々に加算されて、調節された30個の拡散画像が生成され、これが、取得された合焦画像から画素ごとに減算されて、1秒につき30個の連続した固有のフレームから成る固有のビデオが生成され、30fpsで再生される。
本発明の一実施形態によれば、残像は、以前に説明されたような同期した回転ホイールによって取得された、(たとえば晴天からの)較正の合焦画像と拡散画像との単一セットから計算され得る。あるいは、複数の較正の合焦画像と拡散画像とのセットから複数の残像が計算され得、すべての計算された残像の強度を画素ごとに平均することにより、平均残像が計算され得る。ビデオカメラが静止画像を捕捉する機能も有する場合には、カメラによって取得された合焦静止画像と拡散静止画像とで残像が計算され得ることも構想される。計算された残像は、照明または半透明材料が交換されない限り有効である。
したがって、固有のビデオのためには、ビデオのフレームが一定の条件下で得られるので、1つの残像で十分である。
高いビデオフレームレートにより、この形式は、複数の透過穴3aと、開口および半透明の覆い3と、がその周縁に沿って交互になっているホイールにまで拡張される。装置のこれらの形式は図5a~図5cに示されている。同期要素1aはビデオカメラ2の中にも設けられ得る。好ましい実施形態では同期要素1aは回転ホイールであるが、同期要素1aは、それだけではないが、ビデオカメラ2が、本発明の方法によって、合焦ビデオ画像と拡散ビデオ画像との同一のセットを取得することを可能にする、枢動または直線往復運動などの他の移動機構によっても実施され得る。
固有の画像の処理
画像は、吸収、発光に固有の反射および無関係な照明を含む様々なスペクトル成分を含んでいる。無関係な照明は、視野によって吸収されない照明成分と定められる。この無関係な照明は大きなスペクトル成分であり、プロセスを信号対雑音比に関して考えるとき、霧またはノイズのように作用する。すなわち、「ノイズ」を低減することによって、固有の成分が現われる。
固有の発光すなわち物品の蛍光を取得するための従来の方法は、レーザおよび狭帯域フィルタを用いて取得された狭帯域の励起照明を標的物質に当てた後に、ロングパスフィルタおよびダイクロイックミラーを使用して励起照明を除去する必要がある。これらのフィルタおよびミラーが、吸収されなかった照明成分を除去し、固有の発光が現れる。
以前に、参照によって組み込まれた特許には、フィルタやダイクロイックミラーは使用せずに同じ結果を達成する、固有の処理と称される斬新な方法が提示されている。しかしながら、照明の波長範囲が広ければ、日射などの全体の吸収エンベロープを対象として含み得る。この条件下では、固有の発光は、固有の処理を使用して取得される唯一のスペクトル成分ではない。固有の処理は、全体の照明反射および固有の反射を含む2つの成分があることを明らかにするものである。照明反射は、物品による照明の全波長範囲の反射であり、日射の場合には、反射は白色光と考えられる。固有の反射は、視野において物品に吸収されない、比例した残留照明成分である。固有の反射は、全体の照明に対して小さい成分であっても、物品の知覚される色を発する。色ペイントの混合に似て、比較的少量の顔料すなわち固有の成分が、白を基調色とする明るい色のペイントをもたらす。
本発明は、無関係な照明成分を除去するための方法として、(1)合焦画像の強度から拡散画像の強度を画素ごとに減算する、簡単な固有の処理と、(2)空間的詳細がない視野の取得された較正拡散画像の強度を、空間的詳細がない同一視野の取得された較正合焦画像の対応する強度から画素ごとに減算して残像を取得することにより、空間的詳細がない較正視野を使用して残像成分を判定する高度な固有の処理と、の2つを提供するものである。この残像の強度は、調節された拡散画像を生成するために、拡散画像の強度に対して画素ごとに加算され、これらが、合焦画像の強度から画素ごとに減算される。
たとえば人工衛星から得られた画像といった遠く離れた視野の画像から、煙霧質、水蒸気および微粒子などのスペクトルの前景成分を除去するためのモデル化に、多くの努力が費やされてきた。この発明の固有の処理技法の成功は、拡散照明の画像が、合焦画像と、同一の視野、同一のカメラ条件の下で、ほぼ同時に得られるということである。これは、合焦画像を処理するための、視野の最も正確なリアルタイム照明および前景データをもたらす。
画像処理の簡単な固有の方法は、拡散画像の強度が合焦画像の強度から画素ごとに減算されるという点において簡単であると考えられる。これによって、無関係な照明ならびにあらゆる強度勾配が除去され、そうしなければ全体の反射エネルギーの中に隠されてしまうはずの固有の成分が現われる。
画像処理の高度な固有の方法は、透過による無関係な照明ばかりでなく、半透明材料を通る照明エネルギーの損失も考えるので、高度であると考えられる。この高度な方法は、露光時間の自動調整など、設定におけるあらゆる変化をも把握して、画像を最適化するとき自動カメラに起こり得ることに再び焦点を定める。このプロセスでは、カメラが、空間的詳細がない視野の合焦画像と拡散画像との較正セットを得て、カメラにおけるあらゆる変化から生じる残像、ならびに半透明材料を通る透過による照明の損失を判定することが必要になる。
固有のビデオの生成は、リアルタイムに、または後処理プロシージャにおいて達成され得る。本発明の一実施形態によれば、固有のビデオ処理は、最初に、取得された合焦画像と拡散画像との画像セットを識別することを含み、各セットは、固有のフレームを生成するために別個に処理される。次いで、固有のフレームは、ストリーミング配信されるか、または本発明による固有のビデオ画像を生成するために、図16に示されるように、連続的に組み合わされて、元のカメラのフレームレートの半分で再生される。
以下では、(1)半透明材料の基準、(2)固有の処理の分析、(3)従来の画像および固有の画像に対するスペクトルの寄与、ならびに(4)画像間に認められた相違、といった実施例が提示される。
図に示されるすべての写真画像が、Apple(登録商標)のiPhone(登録商標)11のカメラの自動調節で撮られたものであることに留意されたい。
半透明材料
2つの半透明材料の基準が試験され、結果が図6a~図6bおよび図7a~図7bに示されている。半透明材料として白紙が使用されたとき、図6bの固有の画像には青色の無関係な照明が残った。これは、390nmの照明が固有の処理によって除去されるように、半透明の白紙を通過しなかったことを示す。加えて、トレモライト鉱物の黒い外観は、390nmの照明の強い吸収度を指示する。しかしながら、半透明材料としてポリエチレンが使用されたとき、半透明の基準が満たされて、明るい赤色の蛍光を発する鉱物が黒背景を伴って現われ、固有の処理によって無関係な照明が除去されたことを示す(図7b)。
画像のスペクトル成分の分離
図9aの画像のスペクトル成分が固有の処理によって分離され、この画像の行1900の1000画素にわたる範囲が図10aにプロットされた。
照明が半透明材料を通過するときのスペクトル成分の損失を判定する残像(図8c)を生成するために、晴天の図8aの合焦画像と図8bの拡散画像との較正セットが得られた。分析行にわたる残像の強度は2パーセント未満であると判定された。図9a~図9cは、直射日光下の落葉の、拡散画像と、合焦画像と、固有の画像とのセットを示す。スペクトル成分が互いに関連する様子の質的理解および量的理解を得るために、白線によって示された、列1000~2000にわたる行1900からの画素の強度が、図10a~図10bにプロットされた。図10aのグラフは、合焦画像の行1900の画素の、簡単な固有の処理および高度な固有の処理の前後の強度である。図10bのグラフは、この行の画素にわたって半透明材料を通して撮像された、拡散スペクトル成分の強度および残留スペクトル成分の強度を示す。拡散画像の強度グラフは、合焦画像の行1900の分析範囲にわたる画素の各々の強度の約74パーセントを表す。残留スペクトル成分は、図8a~図8cにおける晴天較正画像の残留強度の約2パーセントを表す。画像のこのセットでは、残留スペクトル成分は、図10aのグラフに示されるように、簡単な固有の画像と高度な固有の画像との間の相違にあまり寄与していないことに留意されたい。
反射成分のスペクトル
黄色紙のサンプルが、図11aに示されるように、白色LEDを用いて45°の角度で照光されるように、キュベットに対角線上に配置され、反射エネルギーは、照明から90°の角度で検知された。青色スペクトルは、白色LED照明の完全スペクトルを表す。赤色スペクトルは、無関係な照明成分を除去した後の、黄色紙から反射された固有のスペクトルを表す。固有のスペクトルのUV範囲/青色範囲/緑色範囲の部分は、白色LED照明(図11b)からの吸収成分を示す負数を有する。この吸収は、統合された照明の11パーセントである。黄色範囲/赤色範囲の固有のスペクトルの割合は正の値を有し、予期された反射残留照明の11パーセントよりも大きい成分を表す。
発光成分が固有のスペクトルのかなりの量の正の部分をもたらした場合には、黄色紙のサンプルに蛍光特性があったように見える。固有のスペクトルに関して、89パーセントの照明は吸収されず、無関係と見なされ、固有の処理アルゴリズムによって除去された。
通常の合焦画像と固有の画像との間に認められる差
合焦画像は、目が通常知覚する視野に近いものに見える。しかしながら、固有の処理は、より強い色の暗い画像を生成する。これは、図12cの蛍光像および図13b~図15bの固有の反射画像に見られるように、無関係な照明成分が画像から除去され、固有のスペクトル成分のみが反射されたからである。これらの画像には、知覚される色の強度が、白色ベースの照明の中の顔料として働く少量の固有の成分に由来するという、ペイント混合の類似性を裏付ける傾向がある。加えて、固有の画像の内部の局所的境界は、合焦画像のものよりも鋭く見える。
本明細書において、前述の例示的実施形態を参照しながら本発明が説明されてきたが、この実施形態は、本発明の範囲を制限するように働くものではない。したがって、本発明に関する技術の当業者なら、本発明の技術的精神から逸脱することなく様々な修正形態が可能であることを理解するであろう。

Claims (45)

  1. 無関係な照明成分がない、視野の固有の画像を、フィルタまたはダイクロイックミラーを使用することなく撮像デバイスを用いて取得するための方法であって、
    目的の同一視野の合焦画像および拡散画像を取得することと、
    前記拡散画像の各画素の強度を、前記合焦画像の画素の対応する強度から減算することにより、前記合焦画像から無関係な照明を除去して、目的の前記視野の固有の画像を取得することと
    を含む方法。
  2. 前記合焦画像、前記拡散画像および前記固有の画像が静止画像である、請求項1に記載の方法。
  3. 前記合焦画像、前記拡散画像および前記固有の画像がビデオ画像である、請求項1に記載の方法。
  4. 前記拡散画像が、前記目的の視野と撮像デバイスのレンズとの間の経路に拡散要素を配置することによって取得される、請求項1に記載の方法。
  5. 前記経路の中および外への前記拡散要素の配置が、手動で制御されるか、機械的に制御されるか、またはそれらの組合せである、請求項4に記載の方法。
  6. 前記拡散要素を含む取外し可能なアダプタが、前記撮像デバイスのレンズの上に取外し可能に配置される、請求項4に記載の方法。
  7. 前記拡散要素が前記撮像デバイスの本体に組み込まれる、請求項4に記載の方法。
  8. 前記拡散要素が、前記撮像デバイスの本体を内部に受け入れる保持装置の一部である、請求項4に記載の方法。
  9. 前記拡散要素が、前記保持装置に対して回転可能に移動させられる、請求項8に記載の方法。
  10. 前記合焦ビデオ画像および前記拡散ビデオ画像が、少なくとも1つの拡散要素と、同数の透過開口とを備える同期要素を通して取得される、請求項3に記載の方法。
  11. 前記同期要素の拡散要素および透過開口の数が、前記合焦ビデオ画像および前記拡散ビデオ画像を取得する撮像デバイスのフレームレートによって定められる、請求項10に記載の方法。
  12. 前記同期要素の移動が、前記撮像デバイスのフレームレートの半速度に同期しており、連続的に交互になった合焦ビデオ画像と拡散ビデオ画像との複数のセットが取得され、各画像が、前記目的の視野からのビデオの連続フレームに対応する、請求項10に記載の方法。
  13. 拡散ビデオ画像の各セットが、対応する合焦ビデオ画像から減算されて幾つかの固有のビデオフレームを生成し、前記複数の固有のビデオフレームが連続的に組み合わされて固有のビデオ画像を生成する、請求項12に記載の方法。
  14. 前記固有のビデオ画像が、1秒当たりの前記固有のビデオフレームの数と等しいレートで再生される、請求項12に記載の方法。
  15. 前記拡散要素が半透明材料を含む、請求項4に記載の方法。
  16. 前記半透明材料が照明のすべての波長の通過を比例的に可能にする、請求項15に記載の方法。
  17. 前記拡散画像が前記合焦画像から除去された空間的特徴を有するように、前記半透明材料が選択される、請求項15に記載の方法。
  18. 前記拡散画像が前記合焦画像と同一の強度勾配の同一の照度分布を有するように、前記半透明材料が選択される、請求項15に記載の方法。
  19. 前記半透明材料に蛍光特性がない、請求項15に記載の方法。
  20. 前記拡散要素が前記撮像デバイスの内部に設けられる、請求項4に記載の方法。
  21. 前記同期要素が前記撮像デバイスの内部に設けられる、請求項10に記載の方法。
  22. 無関係な照明成分がない、視野の固有の画像を、フィルタまたはダイクロイックミラーを使用することなく取得するための方法であって、
    空間的詳細がない、同一視野の較正合焦画像および較正拡散画像を取得することと、
    前記較正拡散画像の各画素の強度を、前記較正合焦画像の画素の対応する強度から減算して、残像を取得することと、
    前記空間的詳細がない前記視野とは異なる、目的の同一の視野の合焦画像および拡散画像を取得することと、
    前記残像の各画素の強度を前記拡散画像の前記画素の対応する強度に加算して、調節された拡散画像を取得することと、
    前記調節された拡散画像の各画素の強度を、前記合焦画像の画素の対応する強度から減算することにより、前記合焦画像から無関係な照明を除去して、前記目的の視野の固有の画像を取得することと
    を含む方法。
  23. 前記較正合焦画像、前記較正拡散画像、前記残像、前記合焦画像、前記拡散画像および前記調節された拡散画像が静止画像である、請求項22に記載の方法。
  24. 前記較正合焦画像、前記較正拡散画像、前記合焦画像、前記拡散画像および前記調節された拡散画像がビデオ画像である、請求項22に記載の方法。
  25. 前記較正拡散画像および前記拡散画像が、前記目的の視野と撮像デバイスのレンズとの間の経路に拡散要素を配置することによって取得される、請求項22に記載の方法。
  26. 前記経路の中および外への前記拡散要素の移動が、手動で制御されるか、機械的に制御されるか、またはそれらの組合せである、請求項25に記載の方法。
  27. 前記拡散要素を含む取外し可能なアダプタが、前記撮像デバイスのレンズの上に取外し可能に配置される、請求項25に記載の方法。
  28. 前記拡散要素が前記撮像デバイスの本体に組み込まれる、請求項25に記載の方法。
  29. 前記拡散要素が、前記撮像デバイスの本体を内部に受け入れる保持装置の一部である、請求項25に記載の方法。
  30. 前記拡散要素が、前記保持装置に対して回転可能に移動させられる、請求項29に記載の方法。
  31. 前記較正合焦画像、前記較正拡散画像、前記合焦画像および前記拡散画像が、少なくとも1つの拡散要素と、同数の透過開口とを備える同期要素を通して取得される、請求項24に記載の方法。
  32. 前記同期要素の拡散要素および透過開口の数が、前記較正合焦画像、前記較正拡散画像、前記合焦画像および前記拡散画像を取得する撮像デバイスのフレームレートによって定められる、請求項31に記載の方法。
  33. 前記同期要素の移動が、撮像デバイスのフレームレートの半速度に同期しており、連続的に交互になった合焦ビデオ画像と拡散ビデオ画像との複数のセットが取得され、各画像が、前記目的の視野からのビデオの連続フレームに対応する、請求項31に記載の方法。
  34. 連続的に交互になった較正合焦ビデオ画像と較正拡散ビデオ画像との少なくとも1つのセットが取得され、前記少なくとも1つのセットから前記残像が計算される、請求項33に記載の方法。
  35. 前記残像が、連続的に交互になった較正合焦ビデオ画像と較正拡散ビデオ画像との複数のセットから計算された複数の残像の平均である、請求項34に記載の方法。
  36. 前記残像が、各セットの拡散ビデオ画像に加算されて、調節された拡散画像を生成し、前記調節された拡散画像が前記セットの前記拡散画像から減算されて、前記目的の視野の複数の固有のビデオフレームが取得される、請求項33に記載の方法。
  37. 前記複数の固有のビデオフレームが連続的に組み合わされて固有のビデオ画像を生成する、請求項36に記載の方法。
  38. 前記固有のビデオ画像が、1秒当たりの前記固有のビデオフレームの数と等しいレートで再生される、請求項37に記載の方法。
  39. 前記拡散要素が半透明材料を含む、請求項25に記載の方法。
  40. 前記半透明材料が照明のすべての波長の通過を比例的に可能にする、請求項39に記載の方法。
  41. 前記較正拡散画像および前記拡散画像が、それぞれ前記較正合焦画像および合焦画像から除去された空間的特徴を有するように、前記半透明材料が選択される、請求項39に記載の方法。
  42. 前記較正拡散画像および前記拡散画像が、それぞれ前記較正合焦画像および前記合焦画像と同一の強度勾配の同一の照度分布を有するように、前記半透明材料が選択される、請求項39に記載の方法。
  43. 前記半透明材料に蛍光特性がない、請求項39に記載の方法。
  44. 前記拡散要素が前記撮像デバイスの内部に設けられる、請求項25に記載の方法。
  45. 前記同期要素が撮像デバイスの内部に設けられる、請求項31に記載の方法。
JP2022573783A 2020-05-30 2021-04-21 フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法 Pending JP2023529132A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/888,660 2020-05-30
US16/888,660 US10969523B1 (en) 2019-10-18 2020-05-30 Apparatus and method to obtain intrinsic still and video images without the use of filters or dichroic mirrors
PCT/US2021/028281 WO2021247157A1 (en) 2020-05-30 2021-04-21 Apparatus and method to obtain intrinsic still and video images without the use of filters or dichroic mirrors

Publications (1)

Publication Number Publication Date
JP2023529132A true JP2023529132A (ja) 2023-07-07

Family

ID=78829886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022573783A Pending JP2023529132A (ja) 2020-05-30 2021-04-21 フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法

Country Status (4)

Country Link
EP (1) EP4158394A4 (ja)
JP (1) JP2023529132A (ja)
CA (1) CA3180904A1 (ja)
WO (1) WO2021247157A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317140A (en) * 1992-11-24 1994-05-31 Dunthorn David I Diffusion-assisted position location particularly for visual pen detection
US7701489B1 (en) * 2003-05-27 2010-04-20 Apple Inc. Method and apparatus for color correction
US8923575B2 (en) * 2010-06-30 2014-12-30 Nec Corporation Color image processing method, color image processing device, and color image processing program
US9013691B2 (en) * 2012-01-29 2015-04-21 Ramot At Tel-Aviv University Snapshot spectral imaging based on digital cameras
US10652484B1 (en) * 2019-10-18 2020-05-12 Center For Quantitative Cytometry Method to obtain data cubes of low intensity intrinsic spectral images when imaging under high illumination conditions without the use of filters

Also Published As

Publication number Publication date
EP4158394A1 (en) 2023-04-05
WO2021247157A1 (en) 2021-12-09
CA3180904A1 (en) 2021-12-09
EP4158394A4 (en) 2024-07-17

Similar Documents

Publication Publication Date Title
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
Kubik Hyperspectral imaging: a new technique for the non-invasive study of artworks
EP2997353B1 (en) Microscopy of a tissue sample using structured illumination
Casini et al. Image spectroscopy mapping technique for noninvasive analysis of paintings
Cosentino Panoramic, macro and micro multispectral imaging: an affordable system for mapping pigments on artworks
JP2021527228A (ja) ハイブリッドスペクトルイメージャ
TW201208366A (en) Image processing apparatus, image processing method, and program
US11269171B2 (en) Spectrally-resolved scanning microscope
JP2009265618A (ja) アジャイルスペクトル画像形成装置および方法
JP6673909B2 (ja) 光バリアフィルタの使用なしにサンプルスペクトルから照明エネルギーのスペクトル成分を除去する方法およびそのための装置
US9998636B2 (en) Method to remove the spectral components of illumination and background from multi-spectral and hyper-spectral images
US20060023217A1 (en) Method and apparatus for producing a mosaic image
CN109218691A (zh) 摄像机和产生彩色图像的方法
US11143855B2 (en) Scanning microscope using pulsed illumination and MSIA
US10969523B1 (en) Apparatus and method to obtain intrinsic still and video images without the use of filters or dichroic mirrors
US20110304820A1 (en) Method and device for imaging a target
Trumpy et al. A multispectral design for a new generation of film scanners
US10652484B1 (en) Method to obtain data cubes of low intensity intrinsic spectral images when imaging under high illumination conditions without the use of filters
Wu et al. Development of an underwater multispectral imaging system based on narrowband color filters
JP2023529132A (ja) フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法
Blažek et al. Low-cost mobile system for multispectral cultural heritage data acquisition
Verhoeven Methods of visualisation
Wilda et al. Visualising varnish removal for conservation of paintings by fluorescence lifetime imaging (FLIM)
Brogle Incorporating High Dynamic Range into Multispectral Imaging for Cultural Heritage Documentation
Valero et al. Framework proposal for high-resolution spectral image acquisition of effect-coatings

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250130