JP6662765B2 - コンテキスト画像融合を用いたハイパースペクトル検出システム及び方法 - Google Patents
コンテキスト画像融合を用いたハイパースペクトル検出システム及び方法 Download PDFInfo
- Publication number
- JP6662765B2 JP6662765B2 JP2016515461A JP2016515461A JP6662765B2 JP 6662765 B2 JP6662765 B2 JP 6662765B2 JP 2016515461 A JP2016515461 A JP 2016515461A JP 2016515461 A JP2016515461 A JP 2016515461A JP 6662765 B2 JP6662765 B2 JP 6662765B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene
- spectral
- context
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000001514 detection method Methods 0.000 title claims description 27
- 230000004927 fusion Effects 0.000 title claims description 11
- 230000003595 spectral effect Effects 0.000 claims description 107
- 238000003384 imaging method Methods 0.000 claims description 59
- 238000004091 panning Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 15
- 238000000701 chemical imaging Methods 0.000 description 9
- 230000003565 oculomotor Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0289—Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectrometry And Color Measurement (AREA)
- Studio Devices (AREA)
Description
12 シーン
20 コンテキストカメラ
24、44 撮像レンズ
26、46 イメージセンサ
27、47 画素
40 イメージング分光器
52 ハンドル
60 コンピュータ
62 プロセッサ
64 メモリ
70 ディスプレイ
FoR 動眼視野
iFoV 瞬間視野
SC コンテキスト画像信号
SS スペクトル画像信号
100 コンテキスト画像
110 スペクトル画像(分光器画像)
114 融合画像
120 タグ
Claims (5)
- シーンのハイパースペクトル検出を行う方法であって、
前記シーンの少なくとも一部の、動眼視野(FoR)にわたる、デジタルコンテキスト画像を撮像するステップと、
前記シーンの前記FoRに含まれる、瞬間視野(iFoV)にわたる、スペクトル画像を撮像するステップであって、前記iFoVが、前記FoRの半分未満であるステップと、
前記コンテキスト画像と前記スペクトル画像を融合して、融合画像を形成するステップと、
前記スペクトル画像を、前記シーン上の前記FoR内に維持したままパンして、該シーン内の1つ以上のスペクトルシグネチャを捕捉するステップと、
前記1つ以上のスペクトルシグネチャを、1つ以上の参照スペクトルシグネチャと比較して、前記コンテキスト画像における、前記1つ以上のスペクトルシグネチャの1つ以上の位置に印を付けるステップと、
前記融合画像と前記1つ以上の印が付された位置を、リアルタイムでディスプレイに表示するステップと、
を有して成ることを特徴とする方法。 - 前記スペクトル画像が幅W’Sを有し、画素幅W47の画素を有するスペクトルイメージセンサによって撮像され、前記コンテキスト画像が幅W’Rを有し、W47/W’R≦[W’S/W’R]<0.25であることを特徴とする請求項1記載の方法。
- 前記融合画像及び前記1つ以上の印が付された位置を、リアルタイムで、ディスプレイに表示するステップを更に有して成ることを特徴とする請求項1又は2記載の方法。
- シーンのハイパースペクトル検出を行う方法であって、
前記シーンの少なくとも一部の、動眼視野(FoR)にわたる、デジタルコンテキスト画像を撮像するステップと、
前記シーンの瞬間視野(iFoV)にわたるスペクトル画像を、第1のセンサの1つの画素列で撮像するステップであって、前記iFoVが前記FoRに含まれるステップと、
前記コンテキスト画像と前記スペクトル画像を融合して、融合画像を形成するステップと、
前記スペクトル画像を、前記シーン上をパンして、該シーン内の1つ以上のスペクトルシグネチャを捕捉するステップと、
前記1つ以上のスペクトルシグネチャを、1つ以上の参照スペクトルシグネチャと比較して、前記コンテキスト画像における、前記1つ以上のスペクトルシグネチャの1つ以上の位置に印を付けるステップと、
前記融合画像と前記1つ以上の印が付された位置を、リアルタイムで、ディスプレイに表示するステップと、
を有して成ることを特徴とする方法。 - シーンをスペクトル分析するためのハイパースペクトル検出システムであって、
前記シーンの少なくとも一部の、動眼視野(FoR)にわたる、デジタルコンテキスト画像を撮像するように動作可能配置されたコンテキストカメラと、
前記シーンの前記FoRに含まれる、瞬間視野(iFoV)にわたる、スペクトル画像を撮像するように動作可能に配置されたイメージング分光器であって、前記iFoVが前記FoRの半分未満であるイメージング分光器と、
前記スペクトル画像を前記シーン上の前記FoR内に維持したままパンして、該シーン内の1つ以上のスペクトルシグネチャを捕捉する手段と、
前記コンテキスト画像と前記スペクトル画像を受信及び融合して、融合画像を形成すると共に、前記1つ以上のスペクトルシグネチャを1つ以上の参照スペクトルシグネチャと比較して、前記コンテキスト画像における、前記1つ以上のスペクトルシグネチャの1つ以上の位置に印を付けるように構成されたプロセッサと、
前記融合画像と前記1つ以上の印が付された位置を、リアルタイムで表示するディスプレイと、
を有して成ることを特徴とするシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361881671P | 2013-09-24 | 2013-09-24 | |
US61/881,671 | 2013-09-24 | ||
PCT/US2014/056270 WO2015047864A2 (en) | 2013-09-24 | 2014-09-18 | Hyperspectral detector systems and methods using context-image fusion |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016532330A JP2016532330A (ja) | 2016-10-13 |
JP6662765B2 true JP6662765B2 (ja) | 2020-03-11 |
Family
ID=51627383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016515461A Active JP6662765B2 (ja) | 2013-09-24 | 2014-09-18 | コンテキスト画像融合を用いたハイパースペクトル検出システム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9269014B2 (ja) |
EP (1) | EP3049776B1 (ja) |
JP (1) | JP6662765B2 (ja) |
AU (1) | AU2014327130A1 (ja) |
WO (1) | WO2015047864A2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6255992B2 (ja) * | 2013-12-27 | 2018-01-10 | セイコーエプソン株式会社 | 分光測定システム、分光モジュール、及び、位置ズレ検出方法 |
JP2016011932A (ja) | 2014-06-30 | 2016-01-21 | セイコーエプソン株式会社 | 分光画像撮像装置、分光画像撮像方法 |
US10469771B2 (en) | 2014-10-29 | 2019-11-05 | Palo Alto Research Center Incorporated | Liquid crystal fourier transform imaging spectrometer |
US11490037B2 (en) | 2014-10-29 | 2022-11-01 | Palo Alto Research Center Incorporated | Liquid crystal fourier transform imaging spectrometer |
US10760967B2 (en) | 2014-10-29 | 2020-09-01 | Palo Alto Research Center Incorporated | Liquid crystal fourier transform imaging spectrometer |
KR102584187B1 (ko) * | 2016-03-30 | 2023-10-05 | 삼성전자주식회사 | 이미지를 처리하기 위한 전자 장치 및 방법 |
US10838190B2 (en) | 2016-06-21 | 2020-11-17 | Sri International | Hyperspectral imaging methods and apparatuses |
US10656305B2 (en) * | 2016-07-01 | 2020-05-19 | The Boeing Company | Method and apparatus for simulating spectral information of geographic areas |
US10161795B2 (en) * | 2016-10-14 | 2018-12-25 | Bayspec, Inc. | Irregular motion compensation for three-dimensional spectroscopy |
US10846824B2 (en) * | 2017-12-08 | 2020-11-24 | Tata Consultancy Services Limited | Systems and methods for reconstructing super-resolution images under total aliasing based upon translation values |
US11263911B2 (en) * | 2018-08-09 | 2022-03-01 | Sensors Unlimited, Inc. | Systems and methods for identifying air traffic objects |
US11076098B2 (en) * | 2019-02-12 | 2021-07-27 | VIAVI Solutions he. | Panoramic image capture for multispectral sensor |
CN109886351B (zh) * | 2019-03-04 | 2021-10-15 | 北京麦飞科技有限公司 | 高光谱数据和高分辨率图像融合方法 |
JP2022535441A (ja) * | 2019-06-06 | 2022-08-08 | ジー.デー ソチエタ ペル アツィオニ | 特にタバコ産業の消費者製品の生産又は包装のための自動機械での制御及び/又は識別の方法 |
CN110533620B (zh) * | 2019-07-19 | 2021-09-10 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
KR20210061044A (ko) | 2019-11-19 | 2021-05-27 | 삼성전자주식회사 | 듀얼 카메라 모듈과 이를 포함하는 전자장치와 그 동작방법 |
WO2024046727A1 (en) * | 2022-08-30 | 2024-03-07 | ams Sensors Germany GmbH | Multispectral image sensor arrangement, electronic device and method of multispectral imaging |
CN117146780B (zh) * | 2023-10-31 | 2024-01-09 | 季华实验室 | 成像方法、终端设备及介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3802219A1 (de) * | 1988-01-26 | 1989-08-03 | Deutsche Forsch Luft Raumfahrt | Verfahren und einrichtung zur fernerkundung der erde |
US5124915A (en) | 1990-05-29 | 1992-06-23 | Arthur Krenzel | Computer-aided data collection system for assisting in analyzing critical situations |
US6066850A (en) * | 1996-09-17 | 2000-05-23 | Canadian Space Agency | Satellite attitude sensor using thermal imaging |
US5721431A (en) * | 1996-09-17 | 1998-02-24 | Institute For Space And Terrestrial Science | Satellite attitude sensor using thermal imaging |
US7149366B1 (en) * | 2001-09-12 | 2006-12-12 | Flight Landata, Inc. | High-definition hyperspectral imaging system |
US7058209B2 (en) | 2001-09-20 | 2006-06-06 | Eastman Kodak Company | Method and computer program product for locating facial features |
US8154578B2 (en) | 2007-05-31 | 2012-04-10 | Eastman Kodak Company | Multi-camera residential communication system |
US8497905B2 (en) | 2008-04-11 | 2013-07-30 | nearmap australia pty ltd. | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
US8094960B2 (en) * | 2008-07-07 | 2012-01-10 | Harris Corporation | Spectral calibration of image pairs using atmospheric characterization |
US20120140981A1 (en) | 2008-07-17 | 2012-06-07 | Chemlmage Corporation | System and Method for Combining Visible and Hyperspectral Imaging with Pattern Recognition Techniques for Improved Detection of Threats |
US8213011B2 (en) | 2009-02-03 | 2012-07-03 | Image Analytics, Inc. | Spatial imaging/imaging spectroscopy system and method |
US8260086B2 (en) * | 2009-03-06 | 2012-09-04 | Harris Corporation | System and method for fusion of image pairs utilizing atmospheric and solar illumination modeling |
JP5187275B2 (ja) * | 2009-05-29 | 2013-04-24 | 株式会社Jvcケンウッド | 撮影方法及び撮影装置 |
WO2011163624A1 (en) | 2010-06-25 | 2011-12-29 | Cellmark Theranostics, Llc | Method for analyzing biological specimens by spectral imaging |
-
2014
- 2014-08-27 US US14/469,952 patent/US9269014B2/en active Active
- 2014-09-18 EP EP14777247.9A patent/EP3049776B1/en active Active
- 2014-09-18 AU AU2014327130A patent/AU2014327130A1/en not_active Abandoned
- 2014-09-18 JP JP2016515461A patent/JP6662765B2/ja active Active
- 2014-09-18 WO PCT/US2014/056270 patent/WO2015047864A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US9269014B2 (en) | 2016-02-23 |
WO2015047864A2 (en) | 2015-04-02 |
EP3049776A2 (en) | 2016-08-03 |
EP3049776B1 (en) | 2021-06-30 |
AU2014327130A1 (en) | 2016-04-21 |
US20150086117A1 (en) | 2015-03-26 |
JP2016532330A (ja) | 2016-10-13 |
WO2015047864A3 (en) | 2015-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6662765B2 (ja) | コンテキスト画像融合を用いたハイパースペクトル検出システム及び方法 | |
US20210311230A1 (en) | Single-sensor hyperspectral imaging device | |
US8410441B2 (en) | Thermal imaging camera for taking thermographic images | |
EP3404401B1 (en) | Optical gas imaging systems and methods | |
CN105009568B (zh) | 用于处理可见光谱图像和红外图像的系统、方法及非易失性机器的可读介质 | |
RU2452033C2 (ru) | Системы и способы наблюдения в ночное время | |
US20170085790A1 (en) | High-resolution imaging of regions of interest | |
Wang et al. | Bio-inspired adaptive hyperspectral imaging for real-time target tracking | |
US20180220080A1 (en) | Automated Digital Magnifier System With Hand Gesture Controls | |
US20140152772A1 (en) | Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device | |
US20200059623A1 (en) | Gas Detection Device, Information Processing Device, And Program | |
US20230251130A1 (en) | Infrared raman microscope | |
KR102028319B1 (ko) | 연관 영상 제공장치 및 방법 | |
JP2007155631A (ja) | Icp発光分光分析装置 | |
JP2021174149A (ja) | 撮像装置、検出システム、および検出方法 | |
Rosenberger et al. | Multispectral imaging system for short wave infrared applications | |
JP2003014430A (ja) | 3次元測定方法および3次元測定装置 | |
JP6763893B2 (ja) | 撮像装置および作動方法 | |
JP2007192552A (ja) | 分光測定装置 | |
JP6634994B2 (ja) | 情報処理装置、及びその制御方法、プログラム | |
JP2013024637A (ja) | 分光撮像装置 | |
Ariff et al. | A study of near-infrared (NIR) filter for surveillance application | |
Rehman et al. | SNR improvement for hyperspectral application using frame and pixel binning | |
Wong | Performance results of pixel co-registered VisNIR-SWIR hyperspectral imaging system | |
Scopatz et al. | Projection of controlled repeatable real-time moving targets to test and evaluate motion imagery quality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190313 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6662765 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |