JP7089296B2 - 画像からのハイパースペクトルデータの回復 - Google Patents
画像からのハイパースペクトルデータの回復 Download PDFInfo
- Publication number
- JP7089296B2 JP7089296B2 JP2019533725A JP2019533725A JP7089296B2 JP 7089296 B2 JP7089296 B2 JP 7089296B2 JP 2019533725 A JP2019533725 A JP 2019533725A JP 2019533725 A JP2019533725 A JP 2019533725A JP 7089296 B2 JP7089296 B2 JP 7089296B2
- Authority
- JP
- Japan
- Prior art keywords
- spectral bands
- data
- spectral
- filter
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011084 recovery Methods 0.000 title description 18
- 230000003595 spectral effect Effects 0.000 claims description 200
- 238000000034 method Methods 0.000 claims description 127
- 238000003860 storage Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 20
- 230000002085 persistent effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 description 68
- 238000011156 evaluation Methods 0.000 description 48
- 238000003491 array Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 24
- 238000012549 training Methods 0.000 description 24
- 230000004044 response Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 21
- 238000005457 optimization Methods 0.000 description 21
- 238000001228 spectrum Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 17
- 238000013459 approach Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 15
- 238000013461 design Methods 0.000 description 14
- 230000006872 improvement Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 239000000463 material Substances 0.000 description 12
- 238000005316 response function Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 238000000701 chemical imaging Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000001429 visible spectrum Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 241000961787 Josa Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002800 charge carrier Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241001482630 Epinnula magistralis Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004186 food analysis Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000010238 partial least squares regression Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B33/00—Colour photography, other than mere exposure or projection of a colour film
- G03B33/10—Simultaneous recording or projection
- G03B33/16—Simultaneous recording or projection using colour-pattern screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Spectrometry And Color Measurement (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Compounds Of Unknown Constitution (AREA)
Description
本出願は、2016年9月6日に出願された、米国仮特許出願第62/383,613号および2017年6月12日に出願された米国仮特許出願第62/518,038号の優先権の利益を主張し、その内容が参照により全体として本明細書に組み込まれる。
スペクトルバンド(spectral band)は本明細書では、電磁スペクトル内の波長の範囲またはバンドを意味する。例えば、デジタルカラー画像は、3つのスペクトルバンド-赤色、緑色および青色-内のデータを含み得る。
デジタル画像内のスペクトルデータの近似が本明細書で開示される。好都合に、近似は、元々取得されたものよりも豊かなデジタル画像をもたらす;すなわち、より豊かなデジタル画像は、元々取得されたデジタル画像内に含まれていないスペクトルデータを含む。例えば、スペクトルバンドの第1のセット(例えば、赤色-緑色-青色またはRGBバンド)から成るデジタル画像は、取得時に元の画像に含まれていなかった追加のスペクトルバンドで豊かにされ得る。
Drgb・w=cq (4)
hq=Dh・w (5)
cq=R・hq (6)
Specim PS Kappa DX4ハイパースペクトルカメラおよび空間スキャン用の回転ステージを使用して本発明人によって取得された新しいハイパースペクトルデータベースからの画像を使用して、開示する方法をテストした。この時、様々な都市(住居/商業)、郊外、田舎、屋内、および他の自然場面から100の画像を捕捉した。全ての画像は1392×1300の空間分解能で519スペクトルバンド(およそ1.25nm単位で400~1000nm)であった。比較のため、可能な限り常に、以前に公開されたデータセットおよびベンチマークを使用した。
本明細書で開示するのは、改善されたカメラ性能測定基準のための最適化されたカラーフィルタアレイ(CFA)を選択するための方法である。これらの測定基準は、向上した光量子効率(量子効率としても知られる)、ならびに露光均一性、およびRGB画像からのHSデータの改善された回復を含み得る。しかし、追加の性能測定基準が検討され得ることが理解されるであろう。本方法は、これらのパラメータの各々に重み付けをさらに割り当てて、所望の特性を備えた標的システムを作り出し得る。
RGBカメラの大多数は、光センサー、例えば、複数の個々の画素センサーから成る、CMOS(complementary metal-oxide semiconductor:相補型金属酸化膜半導体)またはCCD(charged-couple device:電荷結合素子)センサーを使用する。光センサーは典型的には、カラーフィルタアレイ(またはCFA)、またはカラーフィルタモザイク(CFM)が重ね合わされており、それは、画像センサーの個々の画素センサーの上に配置された小さいカラーフィルタの配列である。典型的な光センサーは、波長特異性がほとんど、または全くない光強度を検出し、従って、色情報を分離できないので、カラーフィルタが必要とされる。
カメラシステムのためのCFAを設計する場合、次の測定基準が考慮され得る:
(i)量子効率
(ii)露光均一性
(iii)HS再構築精度
所与のCFAのHS性能を評価するために、本発明人はこの節で説明する評価方法を考案した。本明細書で説明する評価ステップは、上で参照した2つの再構築方法を使用する。報告された計算時間は24GBのRAMを備えたIntel Core i5-2400 CPUデスクトップ上で取得された。
トレーニング:
(i)各トレーニング画像を選択されたフィルタセットを用いてRGBに投影する;
(ii)投影された画像に関して照明補正(「ホワイトバランス」)を実行する;および
(iii)補正されたRGBおよびHS画素対を使用して動径基底関数(RBF)ネットワークをトレーニングする。
テスト:
(i)テストRGB画像に関して照明補正(「ホワイトバランス」)を実行する;および
(ii)各画素に対するHS反射率値を推定するために、トレーニングフェーズで生成されたRGBネットワークを使用する。
トレーニング:
(i)K-SVDアルゴリズムを用いてトレーニング画像からスパース過剰完全HS辞書を生成する;および
(ii)ステップ(i)からのHS辞書を選択されたフィルタセットを用いて投影して、対応する過剰完全RGB辞書を取得する。
テスト:
(i)直交マッチング追跡(OMP)によってテスト画像内の各画素を表すためにトレーニングプロセスのステップ(ii)で生成された辞書を使用する;および
(ii)各画素に対するHS放射輝度値を推定するためにトレーニングプロセスのステップ(i)で生成された辞書に、ステップ(i)で計算された辞書重みを適用する。
すぐ上で説明したとおり、再構築されたHS画像をそれらの対応するHSソース画像と比較することによってフィルタセットを評価した。全ての実験で、再構築精度は相対二乗平均平方根誤差(RRMSE)として報告されて、
RGB画像からのHSデータの回復に関するCFA応答関数における小さな変化の影響を評価するために、28のシミュレートされたカメラに関してHS再構築性能を評価する実験を実施した。フィルタ選択のNguyen法への影響を評価するために、本発明人によって提供された未変更コードを使用して28のカメラ応答関数の各々に対してRBFネットワークをトレーニングした。トレーニング画像セットは16,400HS画素から成り、他方、25のフルテスト画像から成るテスト画像セットは合計で5.6×107HS画素を含む。図9は、テスト画像対、全てのカメラにわたる推定された反射率のソートされたRRMSE値を示す。個々のカメラ間の性能における差は小さい可能性があるが、最も悪い(RRMSE=0.293)性能のカメラと最も良い(RRMSE=0.238)ものとの間で、明白なギャップおよび18.7%の改善が容易に認められる。
上で示したとおり、HS再構築性能は、たとえ少数のコンシューマ向けカメラのフィルタセットが検討される場合でさえ、CFAセットにわたって著しく変わり得る。これらのカメラのいずれもHS再構築を念頭に置いて設計されていないので、かかる市販のカメラを越えてフィルタ空間にわたる最適なフィルタ選択は、HS再構築に対して著しい性能向上をもたらし得る。とはいえ、HS推定のタスクにおける特定のフィルタセットの性能評価は、計算集約的なタスクであり得る。使用した方法に応じて、単一の1メガピクセル(MP)のテスト画像の再構築に数秒かかり得る。従って、大規模なフィルタ空間の徹底的な評価は実行不可能なままである。さらに問題を悪化させることに、フィルタ空間(フィルタ結合の空間)は連続的でも凸状でもない。従って、凸最適化法が最適解に収束する可能性は少ない。
・適者生存:最も高い格付けの以前にテストしたフィルタセットを、後続のテストグループに含めるために維持する:
・クロスオーバー:適合性ランキングに基づき、以前にテストした最も高い格付けのセットからの2つのフィルタセットを結合して、2つのセットの各々から無作為に選択したフィルタを含む「子孫(offspring)」を生成する;
・変形:以前にテストしたフィルタセット内のフィルタ要素の1つを無作為に置換することによって新しいフィルタセットを生成する;および
・無作為置換:手順の次の反復のために、フィルタ空間全体から評価のために新しいフィルタセットを作成する。
開示する方法の性能を評価するために、3つのフィルタセットの進化的最適化を次のフィルタ空間について実行した:
・Midoptによって提供された21のフィルタのセット。
・J.Jiang,D.Liu,J.Gu,およびS.Susstrunkによって測定された84の市販のカメラフィルタのセット、what is the space of spectral sensitivity functions for digital color cameras?In Applications of Computer Vision(WACV),2013 IEEE Workshop on,ページ168-179,IEEE,2013。
・OMEGA Optical,Inc.によって提供された1022フィルタのセット。
コンシューマ向けカメラに対する代替、および本明細書で開示する進化的最適化法の収束を調査するために、小規模実験をMidoptフィルタ空間について実行した。Midoptフィルタ集合は、1,330の可能な組合せの比較的小規模の3カウントフィルタ空間となる、21の帯域通過および「色補正」フィルタを含む。各組合せの個々の評価を実行し、図11Aに示すRRMSE性能となった。同様に、図10で説明する28のコンシューマ向けカメラに関する結果に対して、最高および最低性能のフィルタセットの間に著しい性能ギャップがある。追加として、最高性能のフィルタセットは、0.116の平均RRMSE、コンシューマ向けカメラに関する改善(最高RRMSE=0.127)を提供する。
帯域通過および「色補正」フィルタの組合せの調査は、既存のカメラ設計に関してHS再構築精度における著しい利益をもたらした。RGB様のフィルタを完全に諦めるのではなく、コンシューマ向けカメラからの既存のRGBフィルタの代替組合せを調べることは有益であり得る。従って、Jiangら(同上)によって測定された84全てのコンシューマ向けカメラフィルタ(28のカメラ、カメラごとに3つのフィルタ)によって定義されたフィルタ空間を検討した。これらのフィルタは、95,284の可能な組合せのサイズのフィルタ空間に及び、それに関して、徹底的な評価および進化的最適化を実行した。
以前の実験は、HS再構築における非RGB様フィルタの有用性だけでなく、大規模なフィルタ空間にわたる進化的最適化の効率的な収束も示した。従って、最後の実験を、1,022の多種多様な光学フィルタに及び、177,388,540の可能なフィルタの組合せとなる、大規模で高度に変化するフィルタ空間に関して実行した。OMEGA光学フィルタ空間全体の徹底的な評価には、多くの処理年数がかかるので、進化的最適化および無作為探索のみを実行した。300の母集団サイズを使用し、各々50世代の最大実行時間で、3つの進化的最適化を繰り返し、合計で39,595のフィルタセットの組合せを全体で評価して、0.107のRRMSEをもつフィルタセットを生成した。収束は非常に迅速で、わずか4,031の評価後にRRMSE=0.109をもつフィルタセットを得たが、進化的最適化プロセスの残りの間に、RRMSEにおける0.002の最終的な増加を得た。おそらく驚くことではないが、フィルタセットのサイズを所与とすると、この結果は、もっと小規模のMidoptおよび市販カメラのフィルタセットから取得した最高のセットよりも優れている。
本明細書で開示するのは、全場面ハイパースペクトルデータ生成のため、および改善された量子効率のために最適化されたCFAを含むカメラシステムである。
前述の実験では、上で開示したHS再構築のための方法を採用したが、このアプローチは低コストコンシューマ向けハードウェアに増大した計算要求を課し得る。この結果を回避するために、いくつかの実施形態では、以下で説明するように、機械学習による結果または推定の事前計算が、採用され得る。
・ハイパースペクトルセンシング
撮像プロセス(図14を参照)のステップ2で生成されたHS情報は、材料分析などの、様々な用途のために直接、使用でき、RGBカメラと同一であると思われる、スペクトルシグネチャが、材料を区別するために使用できる。ハイパースペクトル情報は、既存の物体認識システムを改善するために、追加の入力としても使用できる。
開示するカメラによって取得されたHS情報は、たとえ選択されたフィルタが従来のRGBまたはマルチスペクトルカメラフィルタの任意の他の所与のセットと大きく異なっていても、RGBまたは他のマルチスペクトル出力をそれから生成するのを可能にする。再構築されたHS情報にRGB(または他のマルチスペクトル)応答関数を適用することにより、従来のRGBまたは他の所望のマルチスペクトル画像が生成され得る。
写真編集ソフトウェアは、写真操作のためにますます複雑なオプションを提供するが、多くのプロの写真家は、様々な色効果を生じるために、物理的な、カメラに装着されたフィルタを使い続ける。物理的な写真フィルタのこの使用は、ソフトウェアベースのシミュレーションがスペクトル情報なしで実行するのが困難なために存続する。HS情報を正確に回復することにより、本カメラシステムは、後処理で写真フィルタの正確なシミュレーションを可能にする。
各フィルタは可視スペクトルのほぼ3分の1、おそらく、400~1000ナノメートル(nm)に広がり得る、カメラセンサー応答範囲に関しては、さらに少ない範囲、しかカバーしないので、従来型のRGBフィルタは、見落とされることが多いが重要な、センサーの光感受性がほぼ66%低下するという欠点を有する。様々な程度の光不足において、同じ制限が全てのマルチスペクトルカメラに存在し、非最適な取得状態(例えば、薄明り、夜間撮影、超短露光時間など)で著しく劣った性能となる。
RGBフィルタを除去するか、またはそれらの範囲を拡張することによるセンサー感度の向上は、前述のとおり、従来から、デュアルカメラシステム、またはRGB-C/RGB-Wベイヤー構成のいずれかによって達成されてきた。デュアルカメラシステムは、B/W(モノクロ)カメラをRGBカメラと共に利用し、第1のものを輝度情報を記録するために使用し、他方、第2のものは色情報を記録する。RGB-C/RGB-Wシステム(RGB-ClearまたはRGB-Whiteとしても知られる)は、「緑色」画素の一部または全部がフィルタ処理されていないか、または「クリア」画素によって置換されるベイヤーフィルタを備えた単一のセンサーを利用する。この「クリア」画素は、大いに向上した光量子効率を享受し、低照度設定において輝度情報を記録するために使用できる。
何年もの調査にかかわらず、コンシューマ向けカメラにおける照明補正(または「ホワイトバランス」)は未解決問題のままである。現世代のカメラはしばしば、特に、照明条件への挑戦において、人間レベルの色覚恒常(color constancy)の照合に失敗する。HSシステムは類似の課題に直面するが、照明推定の問題は、HS情報が利用可能な場合、著しく単純になる。
一旦、照明と反射率が分離されると(上の「照明補正」を参照)、代替照明が場面反射率に適用されて、再照明された画像となり得る。
HDR撮像は、カメラセンサーおよびデジタル表示の両方における制限を克服しようと試みて、カメラセンサーまたは画面が記録/表示できるものよりも広い範囲の輝度値の捕捉および表示をシミュレートする。これは、各々が異なる露出設定の、2つ(またはそれ以上)の画像を捕捉し、それらを適切なアルゴリズムによって融合させることにより、実行される。
HS情報は、様々な材料のスペクトルシグネチャおよびそれらの組合せを識別することにより、画素ごとの材料識別を可能にし得る。
HS情報は、画素レベルの材料識別を容易にできるが、それは、既存の物体認識パイプラインに対する追加の特徴源としても役立ち得る。
Claims (23)
- スペクトルデータを近似するための方法であって、
スペクトルバンドの第1のセット内のデータを含むデジタル画像を提供することと、
(a)スペクトルバンドの第2のセット内のシグネチャおよび(b)スペクトルバンドの前記第1のセット内の値を含む辞書を提供することであって、前記値は前記シグネチャに対応する、辞書を提供することと、
前記値は、前記シグネチャをスペクトルバンドの前記第1のセットの空間に投影することによって生成され、
スペクトルバンドの前記第2のセットは、スペクトルバンドの前記第1のセットに含まれるものとは異なるスペクトルバンドを含み、
前記辞書に基づいて、前記デジタル画像の各画素について、スペクトルバンドの前記第2のセット内のデータを推定することと、
スペクトルバンドの前記第2のセット内のデータを含む対応画像を推定するためにスペクトルバンドの前記第2のセット内の推定された前記データを使用することと
を行うために、少なくとも1つのハードウェアプロセッサを使用することを含む、
スペクトルデータを近似するための方法。 - スペクトルバンドの前記第1のセットおよび第2のセットは一部、重なり合う、請求項1に記載の方法。
- スペクトルバンドの前記第1のセットは、赤色-緑色-青色(RGB)である、請求項1に記載の方法。
- スペクトルバンドの前記第2のセットは、400~800ナノメートルの間である、請求項1に記載の方法。
- スペクトルバンドの前記第1のセットの各バンドは、5~100ナノメートルの幅を有する、請求項1に記載の方法。
- スペクトルバンドの前記第2のセットの各バンドは、5~100ナノメートルの幅を有する、請求項1に記載の方法。
- 前記辞書は過剰完全辞書を含む、請求項1に記載の方法。
- 各々がスペクトルバンドの前記第1のセット内のデータおよびスペクトルバンドの前記第2のセット内のデータを含む、代表的なマルチスペクトル画像のセットに基づいて前記辞書を構築することをさらに含む、請求項1に記載の方法。
- スペクトルバンドの第1のセット内のデジタル画像を捕捉するように構成された画像センサーと、
(a)スペクトルバンドの第2のセット内のシグネチャおよび(b)スペクトルバンドの前記第1のセット内の値を含む辞書をその上に格納している非一時的メモリであって、前記値は前記シグネチャに対応する、非一時的メモリと、
前記値は、前記シグネチャをスペクトルバンドの前記第1のセットの空間に投影することによって生成され、スペクトルバンドの前記第2のセットは、スペクトルバンドの前記第1のセットに含まれるものとは異なるスペクトルバンドを含み、
前記辞書に基づいて、前記デジタル画像の各画素について、スペクトルバンドの前記第2のセット内のデータを推定し、スペクトルバンドの前記第2のセット内のデータを含む対応画像を推定するためにスペクトルバンドの前記第2のセット内の推定された前記データを使用するように構成された少なくとも1つのハードウェアプロセッサと
を備える、装置。 - スペクトルバンドの前記第1のセットおよび第2のセットは一部、重なり合う、請求項9に記載の装置。
- スペクトルバンドの前記第1のセットは、赤色-緑色-青色(RGB)である、請求項9に記載の装置。
- スペクトルバンドの前記第2のセットは、400~800ナノメートルの間である、請求項9に記載の装置。
- スペクトルバンドの前記第1第2のセットの各バンドは、5~100ナノメートルの幅を有する、請求項9に記載の装置。
- スペクトルバンドの前記第2のセットの各バンドは、5~100ナノメートルの幅を有する、請求項9に記載の装置。
- 前記辞書は過剰完全辞書を含む、請求項9に記載の装置。
- スペクトルデータを近似するためのコンピュータプログラムであって、それを用いて具現化されたプログラムコードを有する持続性コンピュータ可読記憶媒体を含み、前記プログラムコードは、
スペクトルバンドの第1のセット内のデータを含むデジタル画像を受信することと、
(a)スペクトルバンドの第2のセット内のシグネチャおよび(b)スペクトルバンドの前記第1のセット内の値を含む辞書を受信することであって、前記値は前記シグネチャに対応する、辞書を受信することと、
前記値は、前記シグネチャをスペクトルバンドの前記第1のセットの空間に投影することによって生成され、スペクトルバンドの前記第2のセットは、スペクトルバンドの前記第1のセットに含まれるものとは異なるスペクトルバンドを含み、
前記辞書に基づいて、前記デジタル画像の各画素について、スペクトルバンドの前記第2のセット内のデータを推定することと、
スペクトルバンドの前記第2のセット内のデータを含む対応画像を推定するためにスペクトルバンドの前記第2のセット内の推定された前記データを使用することと
を行うために少なくとも1つのハードウェアプロセッサによって実行可能である、
コンピュータプログラム。 - スペクトルバンドの前記第1のセットおよび第2のセットは一部、重なり合う、請求項16に記載のコンピュータプログラム。
- スペクトルバンドの前記第1のセットは、赤色-緑色-青色(RGB)である、請求項16に記載のコンピュータプログラム。
- スペクトルバンドの前記第2のセットは、400~800ナノメートルの間である、請求項16に記載のコンピュータプログラム。
- スペクトルバンドの前記第1第2のセットの各バンドは、5~100ナノメートルの幅を有する、請求項16に記載のコンピュータプログラム。
- スペクトルバンドの前記第2のセットの各バンドは、5~100ナノメートルの幅を有する、請求項16に記載のコンピュータプログラム。
- 前記辞書は過剰完全辞書を含む、請求項16に記載のコンピュータプログラム。
- 前記プログラムコードは、各々がスペクトルバンドの前記第1のセット内のデータおよびスペクトルバンドの前記第2のセット内のデータを含む、代表的なマルチスペクトル画像のセットに基づいて前記辞書を構築するために前記少なくとも1つのハードウェアプロセッサによってさらに実行可能である、請求項16に記載のコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662383613P | 2016-09-06 | 2016-09-06 | |
US62/383,613 | 2016-09-06 | ||
US201762518038P | 2017-06-12 | 2017-06-12 | |
US62/518,038 | 2017-06-12 | ||
PCT/IL2017/051002 WO2018047171A1 (en) | 2016-09-06 | 2017-09-06 | Recovery of hyperspectral data from image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019533264A JP2019533264A (ja) | 2019-11-14 |
JP7089296B2 true JP7089296B2 (ja) | 2022-06-22 |
Family
ID=61562380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019533725A Active JP7089296B2 (ja) | 2016-09-06 | 2017-09-06 | 画像からのハイパースペクトルデータの回復 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11085823B2 (ja) |
EP (1) | EP3510558A4 (ja) |
JP (1) | JP7089296B2 (ja) |
KR (1) | KR102482438B1 (ja) |
CN (1) | CN110326022B (ja) |
IL (1) | IL265205B (ja) |
WO (1) | WO2018047171A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9207759B1 (en) * | 2012-10-08 | 2015-12-08 | Edge3 Technologies, Inc. | Method and apparatus for generating depth map from monochrome microlens and imager arrays |
JP7089296B2 (ja) * | 2016-09-06 | 2022-06-22 | ビー.ジー.ネゲブ テクノロジーズ アンド アプリケーションズ リミテッド, アット ベン‐グリオン ユニバーシティー | 画像からのハイパースペクトルデータの回復 |
JP7058941B2 (ja) * | 2017-01-16 | 2022-04-25 | キヤノン株式会社 | 辞書生成装置、辞書生成方法、及びプログラム |
KR102314703B1 (ko) * | 2017-12-26 | 2021-10-18 | 에스케이하이닉스 주식회사 | 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법 |
JP7028075B2 (ja) | 2018-06-12 | 2022-03-02 | オムロン株式会社 | 画像処理装置、画像処理方法、画像センサ |
JP7084616B2 (ja) * | 2018-06-20 | 2022-06-15 | 国立大学法人 筑波大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN109087262B (zh) * | 2018-08-04 | 2022-07-22 | 郑州大学 | 一种多视图光谱图像的重建方法、存储介质 |
CN113614498A (zh) * | 2019-02-06 | 2021-11-05 | 日本电气株式会社 | 过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质 |
CN111386549B (zh) * | 2019-04-04 | 2023-10-13 | 合刃科技(深圳)有限公司 | 一种混合型高光谱图像重构的方法及系统 |
JP7291389B2 (ja) * | 2019-07-23 | 2023-06-15 | 高知県公立大学法人 | 対象識別方法、情報処理装置、情報処理プログラム、および照明装置 |
WO2021014455A1 (en) * | 2019-07-24 | 2021-01-28 | Bar-Ilan University | Device and method for spectral imaging |
US11062761B1 (en) * | 2020-01-13 | 2021-07-13 | Infineon Technologies Ag | Digital address compensation for memory devices |
CN114076637B (zh) * | 2020-08-12 | 2023-06-09 | 舜宇光学(浙江)研究院有限公司 | 高光谱获取方法及其系统、电子设备和编码宽光谱成像装置 |
CN112102218B (zh) * | 2020-09-25 | 2023-07-07 | 北京师范大学 | 一种生成高空间分辨率多光谱影像的融合方法 |
WO2022092555A1 (ko) * | 2020-10-27 | 2022-05-05 | 삼성전자 주식회사 | 노이즈 저감 처리된 이미지 데이터를 생성하는 방법 및 이를 수행하는 전자 장치 |
US20220392598A1 (en) * | 2020-12-15 | 2022-12-08 | Compass Beauty, Inc. | Precision skincare system and method |
CN112862906B (zh) * | 2021-01-15 | 2023-07-21 | 深圳市中钞科信金融科技有限公司 | 基于神经网络的颜色空间转换方法 |
CN112861885B (zh) * | 2021-03-25 | 2023-09-22 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备及存储介质 |
WO2022259248A1 (en) * | 2021-06-08 | 2022-12-15 | Voyage81 Ltd. | Transformation of color representations and spectral recovery |
CN113554112B (zh) * | 2021-07-30 | 2023-09-19 | 西安交通大学 | 一种遥感图像融合方法、系统、设备及介质 |
US20230209210A1 (en) * | 2021-12-28 | 2023-06-29 | Advanced Micro Devices, Inc. | System and method for image banding detection |
CN116939383A (zh) * | 2022-04-08 | 2023-10-24 | 华为技术有限公司 | 图像传感器、成像模组、图像采集设备和图像处理方法 |
CN114998109B (zh) * | 2022-08-03 | 2022-10-25 | 湖南大学 | 基于双rgb图像融合的高光谱成像方法、系统及介质 |
CN115311187B (zh) * | 2022-10-12 | 2023-01-24 | 湖南大学 | 基于内部和外部先验的高光谱融合成像方法、系统及介质 |
CN115587949B (zh) * | 2022-10-27 | 2024-07-12 | 贵州大学 | 一种基于可见光图像的农业多光谱视觉重构方法 |
CN116242484B (zh) * | 2023-05-10 | 2023-08-01 | 中国科学院长春光学精密机械与物理研究所 | 一种光谱成像芯片与光谱重构算法协同设计方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007329380A (ja) | 2006-06-09 | 2007-12-20 | Sony Corp | 物理情報取得方法、物理情報取得装置、半導体装置、信号処理装置 |
JP2014038597A (ja) | 2012-08-17 | 2014-02-27 | Ge Aviation Systems Llc | ハイパースペクトルデータを処理する際に使用するためのアルゴリズムを選択する方法 |
JP2014038614A (ja) | 2012-08-17 | 2014-02-27 | Ge Aviation Systems Llc | ハイパースペクトル画像のシグネチャーのマッチングの信頼度を評価する方法 |
JP2014038620A (ja) | 2012-08-17 | 2014-02-27 | Ge Aviation Systems Llc | ハイパースペクトルデータを処理する際に使用するための追跡される対象を識別する方法 |
US20140072209A1 (en) | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
WO2016029276A1 (en) | 2014-08-29 | 2016-03-03 | Commonwealth Scientific And Industrial Research Organisation | Imaging method and apparatus |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6819798B2 (en) * | 2000-07-27 | 2004-11-16 | Bae Systems Information Electronic Systems Integration Inc. | Spectral drift and correction technique for hyperspectral imaging systems |
US8488863B2 (en) * | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
US8577183B2 (en) * | 2009-08-05 | 2013-11-05 | Raytheon Company | Resolution on demand |
CN105102945B (zh) * | 2013-01-10 | 2018-07-10 | 加利珀生命科学股份有限公司 | 多光谱成像系统和方法 |
CN103247034B (zh) | 2013-05-08 | 2016-01-20 | 中国科学院光电研究院 | 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法 |
US9606056B2 (en) * | 2013-12-06 | 2017-03-28 | Canon Kabushiki Kaisha | Selection of spectral bands or filters for material classification under multiplexed illumination |
CN104063857B (zh) * | 2014-06-30 | 2017-02-15 | 清华大学 | 高光谱图像的生成方法及系统 |
CN104182978B (zh) * | 2014-08-22 | 2017-10-03 | 哈尔滨工程大学 | 一种基于空谱核稀疏表示的高光谱图像目标检测方法 |
US9576216B2 (en) * | 2014-11-07 | 2017-02-21 | The Boeing Company | Hyperspectral resolution using three-color camera |
CN104915935B (zh) * | 2015-06-16 | 2017-09-05 | 西安电子科技大学 | 基于非线性压缩感知与字典学习的压缩光谱成像方法 |
WO2017066825A1 (en) * | 2015-10-19 | 2017-04-27 | National Ict Australia Limited | Spectral reconstruction |
JP7089296B2 (ja) * | 2016-09-06 | 2022-06-22 | ビー.ジー.ネゲブ テクノロジーズ アンド アプリケーションズ リミテッド, アット ベン‐グリオン ユニバーシティー | 画像からのハイパースペクトルデータの回復 |
-
2017
- 2017-09-06 JP JP2019533725A patent/JP7089296B2/ja active Active
- 2017-09-06 IL IL265205A patent/IL265205B/en unknown
- 2017-09-06 CN CN201780068161.6A patent/CN110326022B/zh active Active
- 2017-09-06 KR KR1020197009605A patent/KR102482438B1/ko active IP Right Grant
- 2017-09-06 EP EP17848284.0A patent/EP3510558A4/en active Pending
- 2017-09-06 US US16/330,832 patent/US11085823B2/en active Active
- 2017-09-06 WO PCT/IL2017/051002 patent/WO2018047171A1/en unknown
-
2021
- 2021-08-09 US US17/397,328 patent/US11624652B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007329380A (ja) | 2006-06-09 | 2007-12-20 | Sony Corp | 物理情報取得方法、物理情報取得装置、半導体装置、信号処理装置 |
JP2014038597A (ja) | 2012-08-17 | 2014-02-27 | Ge Aviation Systems Llc | ハイパースペクトルデータを処理する際に使用するためのアルゴリズムを選択する方法 |
JP2014038614A (ja) | 2012-08-17 | 2014-02-27 | Ge Aviation Systems Llc | ハイパースペクトル画像のシグネチャーのマッチングの信頼度を評価する方法 |
JP2014038620A (ja) | 2012-08-17 | 2014-02-27 | Ge Aviation Systems Llc | ハイパースペクトルデータを処理する際に使用するための追跡される対象を識別する方法 |
US20140072209A1 (en) | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
WO2016029276A1 (en) | 2014-08-29 | 2016-03-03 | Commonwealth Scientific And Industrial Research Organisation | Imaging method and apparatus |
Also Published As
Publication number | Publication date |
---|---|
CN110326022B (zh) | 2023-10-03 |
EP3510558A4 (en) | 2020-05-06 |
KR102482438B1 (ko) | 2022-12-29 |
EP3510558A1 (en) | 2019-07-17 |
WO2018047171A1 (en) | 2018-03-15 |
IL265205B (en) | 2022-08-01 |
CN110326022A (zh) | 2019-10-11 |
US11085823B2 (en) | 2021-08-10 |
US11624652B2 (en) | 2023-04-11 |
IL265205A (en) | 2019-05-30 |
JP2019533264A (ja) | 2019-11-14 |
US20190195690A1 (en) | 2019-06-27 |
KR20190075057A (ko) | 2019-06-28 |
US20210364355A1 (en) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7089296B2 (ja) | 画像からのハイパースペクトルデータの回復 | |
Jia et al. | From RGB to spectrum for natural scenes via manifold-based mapping | |
Zhang et al. | Hyperspectral image reconstruction using deep external and internal learning | |
Arad et al. | Sparse recovery of hyperspectral signal from natural RGB images | |
Oh et al. | Do it yourself hyperspectral imaging with everyday digital cameras | |
Khashabi et al. | Joint demosaicing and denoising via learned nonparametric random fields | |
JP5786149B2 (ja) | 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法 | |
Monno et al. | A practical one-shot multispectral imaging system using a single image sensor | |
Arad et al. | Filter selection for hyperspectral estimation | |
Hu et al. | Convolutional sparse coding for RGB+ NIR imaging | |
JP2017526910A (ja) | 撮像分光法用のコンパクトな多機能システム | |
CN102415099B (zh) | 空间变化的光谱响应校准数据 | |
Tsagkatakis et al. | Graph and rank regularized matrix recovery for snapshot spectral image demosaicing | |
KR20190036459A (ko) | 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치 | |
KR20190036442A (ko) | 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치 | |
Lin et al. | Exposure invariance in spectral reconstruction from rgb images | |
CN106895916B (zh) | 一种单次曝光拍摄获取多光谱图像的方法 | |
US11443414B2 (en) | Image signal processing | |
Llanos et al. | Simultaneous demosaicing and chromatic aberration correction through spectral reconstruction | |
Eskelinen et al. | Dangers of demosaicing: Confusion from correlation | |
Gong et al. | Optimal noise-aware imaging with switchable prefilters | |
Lim et al. | Image resolution and performance analysis of webcams for ground-based astronomy | |
Seybold et al. | Beyond standard noise models: Evaluating denoising algorithms with respect to realistic camera noise | |
Losson et al. | From the sensor to color images | |
Ackermann et al. | How bright is the moon? recovering and using absolute luminance values from internet images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211222 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7089296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |