JPWO2017179378A1 - スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法 - Google Patents

スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法 Download PDF

Info

Publication number
JPWO2017179378A1
JPWO2017179378A1 JP2017565879A JP2017565879A JPWO2017179378A1 JP WO2017179378 A1 JPWO2017179378 A1 JP WO2017179378A1 JP 2017565879 A JP2017565879 A JP 2017565879A JP 2017565879 A JP2017565879 A JP 2017565879A JP WO2017179378 A1 JPWO2017179378 A1 JP WO2017179378A1
Authority
JP
Japan
Prior art keywords
spectrum
spectrum camera
camera control
exposure time
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017565879A
Other languages
English (en)
Other versions
JP6321895B2 (ja
Inventor
高橋 幸弘
幸弘 高橋
純一 栗原
純一 栗原
石田 哲朗
哲朗 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido University NUC
Original Assignee
Hokkaido University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hokkaido University NUC filed Critical Hokkaido University NUC
Application granted granted Critical
Publication of JP6321895B2 publication Critical patent/JP6321895B2/ja
Publication of JPWO2017179378A1 publication Critical patent/JPWO2017179378A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C27/00Rotorcraft; Rotors peculiar thereto
    • B64C27/04Helicopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0278Control or determination of height or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0289Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/32Investigating bands of a spectrum in sequence by a single detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133509Filters, e.g. light shielding masks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/30Supply or distribution of electrical power
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1269Electrooptic filter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/283Investigating the spectrum computer-interfaced
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J2003/283Investigating the spectrum computer-interfaced
    • G01J2003/284Spectral construction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • G01N2021/1797Remote sensing in landscape, e.g. crops
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/02Mechanical
    • G01N2201/021Special mounting in general
    • G01N2201/0214Airborne
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Remote Sensing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Diaphragms For Cameras (AREA)
  • Liquid Crystal (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】スペクトル画像の撮像時における空間分解能と露光時間とをそれぞれ任意に設定することができるとともに、スペクトル画像の空間的な歪みやズレを抑制することができる、スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法を提供する。【解決手段】静止飛行可能な飛行体1に液晶波長可変フィルタ33を備えたスペクトルカメラ3とともに搭載されており、前記飛行体1の静止飛行中において前記液晶波長可変フィルタ33の透過波長を切り換える度に前記スペクトルカメラ3にスナップショット方式で撮像させる。

Description

本発明は、静止飛行可能な飛行体に搭載されるスペクトルカメラによってスペクトル画像を撮像するための、スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法に関するものである。
スペクトル画像は、可視光および赤外線領域等をスペクトルカメラによって撮像することにより得られる。このスペクトル画像は、例えば、撮像対象のタンパク質の量等を把握することができるため、農作物の実入り状況を把握したり、収穫率の良い刈り入れ場所や刈り入れ順を把握することができる。
また、スペクトル画像は、農作物の生育や病害虫・土壌の状態を把握できる他、樹木の種類を判別したり、炭素固定速度(成長速度)を把握したり、鉱物資源を探査したり、漁場を推定したり、塩害や汚染地域を把握したりすること等において、高い精度の情報を提供することができる。
特に、航空機による上空からのスペクトル画像を撮像することは、人が踏査によってアクセスすることが困難な森林や海上、険しい山間部、汚染地域も含めて、圧倒的に広い範囲を短時間で調査することができるため、その応用範囲は極めて広い。
ところで従来、波長幅が約20nm以下の狭い波長分解能を持った数十バンド以上のスペクトル画像を撮像する際には、回折格子を備えたハイパースペクトルセンサと呼ばれる光学装置を固定翼の航空機に搭載し、プッシュブルーム方式と呼ばれる撮像方式を用いて行われている。このプッシュブルーム方式とは、航空機の進行方向に対して直角な方向に設定された一次元の空間視野を用いて1回の露光で全バンド(全波長帯)を同時に記録し、この記録を1画素相当を移動する時間間隔で連続的に行うことにより、進行方向に掃引して二次元空間のスペクトル画像を得る方式である。
例えば、特開2011−169896号公報には、プッシュブルーム型センサを備えたハイパースペクトルイメージングシステムに関する発明が開示されている(特許文献1)。
特開2011−169896号公報
しかしながら、特許文献1に記載された発明を含め、航空機を使用したプッシュブルーム方式によるスペクトル画像を撮像する場合において、撮像中に航空機が擾乱を受けると、図16に示すように、所定の露光時に得られる視野がその前後の露光時に得られる視野と空間的にずれてしまい、合成した二次元のスペクトル画像に空間的な歪みやズレが生じるという問題がある。
また、プッシュブルーム方式における空間分解能の下限値は、任意に選択することができず、露光時間も許容範囲が狭いという問題がある。つまり、航空機の対地速度をV、露光時間をTとすると、進行方向に対する空間分解能XはX=V×Tとなる。ここで、固定翼の飛行機では、安全に飛行できる最低速度が機体能力に基づき定められている。また、露光時間Tは撮像対象の明るさに基づいて十分なSN比(シグナル・ノイズ比)を確保するために自ずと決定される数値である。よって、空間分解能の下限値は、既定の航空機の最低速度と、スペクトルカメラの能力により自動的に決定される露光時間とにより定まる一定値となり、任意に選択することができない。また、撮像中において天候変化等により明るさが変化する場合には、予め露光時間を遅くしておく必要があり、最適な露光時間を選択することができないという問題がある。
本発明は、以上のような問題点を解決するためになされたものであって、スペクトル画像の撮像時における空間分解能と露光時間とをそれぞれ任意に設定することができるとともに、スペクトル画像の空間的な歪みやズレを抑制することができる、スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法を提供することを目的としている。
本発明に係るスペクトルカメラ制御装置およびスペクトルカメラ制御プログラムは、静止飛行可能な飛行体に液晶波長可変フィルタを備えたスペクトルカメラとともに搭載されており、前記飛行体の静止飛行中において前記液晶波長可変フィルタの透過波長を切り換える度に前記スペクトルカメラにスナップショット方式で撮像させる。
また、本発明の一態様として、前記スペクトルカメラにおける露光時間当たりの前記スペクトルカメラの姿勢変化量または位置変化量のうち少なくともいずれかが、前記スペクトルカメラの空間分解能に基づく所定の閾値を超えた場合に、前記スペクトルカメラの露光時間を現露光時間よりも短い時間に設定するようにしてもよい。
さらに、本発明の一態様として、姿勢センサから前記スペクトルカメラの角速度を取得し、前記露光時間を下記の式(1)により算出するようにしてもよい;
T<X/(H×Ω) ・・・式(1)
ただし、各符号は以下を表す。
T:露光時間(sec)
X:空間分解能(m)
H:飛行体の高度(m)
Ω:スペクトルカメラの角速度(rad/sec)
また、本発明の一態様として、撮像されたスペクトル画像のSN比が所定の閾値未満の場合に、同じ透過波長で複数枚のスペクトル画像を連続して撮像させるようにしてもよい。
さらに、本発明の一態様として、同じ透過波長で連続して撮像するスペクトル画像の枚数を下記式(2)により算出してもよい。
N>(SNt/SN1) ・・・式(2)
ただし、各符号は以下を表す。
N:撮像するスペクトル画像の枚数
SN1:最初の1枚目のスペクトル画像のSN比
SNt:SN比閾値
また、本発明に係るスペクトルカメラ制御システムは、前記スペクトルカメラ制御装置と、このスペクトルカメラ制御装置により制御されるスペクトルカメラとを備えている。
さらに、本発明に係る静止飛行可能な飛行体は、前記スペクトルカメラ制御システムを搭載している。
また、本発明に係るスペクトル画像撮像方法は、静止飛行可能な飛行体に液晶波長可変フィルタを備えたスペクトルカメラとともに搭載された前記スペクトルカメラ制御装置を用いて、前記飛行体の静止飛行中において前記液晶波長可変フィルタの透過波長を切り換える度に前記スペクトルカメラにスナップショット方式で撮像させる。
本発明によれば、スペクトル画像の撮像時における空間分解能と露光時間とをそれぞれ任意に設定することができるとともに、スペクトル画像の空間的な歪みやズレを抑制することができる。
本発明に係るスペクトルカメラ制御システムを搭載した飛行体の一実施形態を示す正面図である。 図1における本実施形態の飛行体を示す平面図である。 本実施形態のスペクトルカメラ制御システムを示すブロック図である。 本実施形態のスペクトルカメラ制御装置を示すブロック図である。 本実施形態において、スペクトル画像にブレが生じる原因を説明する図である。 本実施形態において、液晶波長可変フィルタの透過波長を切り換えるタイミングと、イメージセンサによる撮像を行うタイミングとの関係を示す図である。 本実施形態において、同じ透過波長による複数枚のスペクトル画像を連続して取得する場合の透過波長を切り換えるタイミングと撮像を行うタイミングとの関係を示す模式図である。 本実施形態のスペクトルカメラ制御装置の処理動作を示すフローチャートである。 本実施形態のスペクトルカメラ制御装置における最適露光時間設定部の処理動作を示すフローチャートである。 本実施例1におけるスペクトル画像の撮像状況を表す模式図である。 本実施例1により取得されたスペクトル画像に基づき算出された正規化植生指数を色の濃淡で示したカラーマップである。 本実施例2において露光時間を20msとした場合に得られたスペクトル画像である。 本実施例2において露光時間を50msとした場合に得られたスペクトル画像である。 本実施例3において露光時間を10msとし、透過波長を650nmとした場合に得られたスペクトル画像である。 本実施例3において図14に示すスペクトル画像を含む連続して撮像された3枚のスペクトル画像を重ね合わせて得られたスペクトル画像である。 従来の航空機を使用したプッシュブルーム方式に基づくスペクトル画像の撮像における問題点を示す模式図である。
以下、本発明に係るスペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法の一実施形態について図面を用いて説明する。
本実施形態の飛行体1は、静止飛行可能に構成されており、図1に示すように、スペクトルカメラ制御装置6と、このスペクトルカメラ制御装置6により制御されるスペクトルカメラ3とを有するスペクトルカメラ制御システム2を搭載している。以下、各構成について詳細に説明する。
飛行体1は、空中で静止飛行する機能、いわゆるホバリング機能を有する飛行体であり、本実施形態では、図1および図2に示すように、複数枚の回転翼を有するマルチコプタ型のドローン(無人航空機)によって構成されている。また、本実施形態の飛行体1は、予め指定された飛行経路を自律飛行する機能および通信装置等からの遠隔操作によって飛行する機能を有している。さらに、飛行体1は、図示しないが、飛行中の自機の位置(緯度・経度)および高度を検出するためのGPS(Global Positioning System)受信機と、飛行中の自機の姿勢を検出する姿勢センサとを有している。
なお、本実施形態において、飛行体1は、マルチコプタ型のドローンを使用しているが、静止飛行可能な飛行体であればこれに限定されるものではなく、例えば、ヘリコプタ、飛行船、気球等から適宜選択してもよい。
つぎに、スペクトルカメラ制御システム2は、図3に示すように、主として、液晶波長可変フィルタ33(LCTF:Liquid Crystal Tunable Filter)を備えたスペクトルカメラ3と、このスペクトルカメラ3の姿勢および位置の情報を検出する姿勢位置検出器4と、前記スペクトルカメラ3の液晶波長可変フィルタ33を制御する液晶波長可変フィルタ制御回路5と、前記スペクトルカメラ3を制御するスペクトルカメラ制御装置6と、これら各機器に電力を供給するバッテリ7とを有する。
スペクトルカメラ3は、スナップショット方式でスペクトル画像を撮像するためのものであり、図3に示すように、主に、レンズ群31と、偏光を非偏光にするための偏光解消板32と、透過波長を任意に選択できる液晶波長可変フィルタ33と、二次元のスペクトル画像を撮像するイメージセンサ34とを有している。
そして、スペクトルカメラ3は、図1および図3に示すように、飛行体1が静止飛行中に、地表面が撮像対象となるように鉛直下方に向けて飛行体1に搭載されている。本発明において、スナップショット方式とは、イメージセンサ34に対する一回の露光により、所定の単一波長について、二次元の視野内における位置座標ごとのスペクトル強度を全て同時にイメージとして取得する方式をいうものとする。
レンズ群31は、光の屈折を利用して撮像対象からの光を液晶波長可変フィルタ33に透過させるとともに、透過後の光をイメージセンサ34に集光させるものである。本実施形態におけるレンズ群31は、図3に示すように、撮像対象の光を集光して液晶波長可変フィルタ33に入光させる入光レンズ311と、前記液晶波長可変フィルタ33を透過後の透過波長のみの光をイメージセンサ34に集光する集光レンズ312とによって構成されている。なお、各レンズの種類や枚数は特に限定されるものではなく、スペクトルカメラ3の性能等に応じて適宜選択してよい。
偏光解消板32は、偏光を解消して非偏光にするためのものである。本実施形態において、偏光解消板32は、液晶波長可変フィルタ33の入光側に設けられ、液晶波長可変フィルタ33を透過する前の光の偏光を解消し、偏光特性を軽減するようになっている。
液晶波長可変フィルタ33は、予め定めた波長範囲内から透過波長を任意に選択できる光学フィルタである。液晶波長可変フィルタ33は、図示しないが、板状の液晶素子と板状の偏光素子とを交互に複数枚重ね合わせた構成を有している。各液晶素子は、液晶波長可変フィルタ制御回路5から供給される印加電圧によって配向状態が独立に制御される。このため、液晶波長可変フィルタ33は、前記液晶素子の配向状態と前記偏光素子との組み合わせにより、任意の波長の光を透過させられるようになっている。
なお、本実施形態において、液晶波長可変フィルタ33の透過波長の幅は、約20nm以下であり、透過中心波長を1nmごとに設定でき、波長切り換え時間は10ms〜数100ms程度である。
イメージセンサ34は、スナップショット方式でスペクトル画像を撮像するものである。本実施形態において、イメージセンサ34は、CMOSイメージセンサやCCDイメージセンサ等の視野内を同じタイミングで撮像可能な二次元イメージセンサからなる。また、イメージセンサ34は、図3に示すように、スペクトルカメラ制御装置6から送信される撮像指令信号に基づいて撮像を実行するようになっている。
姿勢位置検出器4は、スペクトルカメラ3の姿勢および位置の状態を検出する機器である。本実施形態における姿勢位置検出器4は、スペクトルカメラ3の位置情報および高度情報を検出するGPS受信機41と、前記スペクトルカメラ3の姿勢情報を検出する姿勢センサ42とを有する。
GPS受信機41は、複数の人工衛星の位置を補足することで現在の位置情報および高度情報を取得するものである。本実施形態におけるGPS受信機41は、位置情報として経度情報および緯度情報を取得するとともに、高度情報として標高の情報を取得するようになっている。なお、位置情報および高度情報は、GPS受信機41により取得するものに限定されるものではなく、他の方法により取得してもよい。例えば、基準点を定めレーザー光や音響の反射を用いた距離計測器等によって前記基準点からの距離や高度情報として取得してもよい。
姿勢センサ42は、スペクトルカメラ3の傾斜角度、角速度および加速度の姿勢情報を検出するものである。本実施形態における姿勢センサ42は、図示しないが、ジャイロ特性を利用したジャイロセンサと加速度センサとから構成され、姿勢情報として傾斜角度、角速度および3軸方向の加速度を取得するようになっている。
なお、本実施形態では、スペクトルカメラ制御システム2として備えられている姿勢位置検出器4から位置情報および姿勢情報を取得しているが、この構成に限定されるものではない。例えば、飛行体1が既に備えているGPS受信機および姿勢センサから位置情報および姿勢情報を取得するようにしてもよい。
液晶波長可変フィルタ制御回路5は、液晶波長可変フィルタ33を制御するものである。本実施形態において、液晶波長可変フィルタ制御回路5は、図3に示すように、スペクトルカメラ制御装置6から送信される波長特定信号を受信すると、当該波長特定信号に応じた印加電圧を液晶波長可変フィルタ33の液晶素子に供給するようになっている。また、波長特定信号には、液晶波長可変フィルタ33により透過させる透過波長の情報が含まれており、液晶波長可変フィルタ制御回路5では、前記透過波長の情報に基づいてどの液晶素子に印加電圧を供給するかを判別し、特定された液晶素子に印加電圧を供給するようになっている。
なお、本実施形態における液晶波長可変フィルタ制御回路5は、スペクトルカメラ制御装置6等の他の構成から独立して構成されているが、これに限定されるものではなく、例えば、スペクトルカメラ制御装置6またはスペクトルカメラ3が備えていてもよい。
つぎに、本実施形態のスペクトルカメラ制御装置6について説明する。
スペクトルカメラ制御装置6は、スペクトルカメラ3によるスペクトル画像の撮像を制御するものであり、図4に示すように、主に、スペクトルカメラ制御プログラム6aや各種のデータ等を記憶する記憶手段61と、この記憶手段61等から各種のデータを取得して演算処理する演算処理手段62とから構成されている。また、本実施形態におけるスペクトルカメラ制御装置6は、外部の通信装置等との無線通信を可能とするための無線通信手段63を備えている。
記憶手段61は、ROM、RAM、ハードディスク、フラッシュメモリ等によって構成されており、各種のデータを記憶するとともに、演算処理手段62が演算を実行する際のワーキングエリアとして機能するものである。本実施形態における記憶手段61は、主に、スペクトルカメラ制御プログラム6aを記憶するプログラム記憶部611と、スペクトルカメラ3によってスペクトル画像を撮像する開始条件を記憶する撮像開始条件記憶部612と、スペクトル画像を撮像する露光時間等の撮像条件を記憶する撮像条件記憶部613と、各種の閾値を記憶する閾値記憶部614と、スペクトルカメラ3により撮像されたスペクトル画像とともに撮像時刻等を記憶するスペクトル画像記憶部615とを有する。
プログラム記憶部611には、本実施形態のスペクトルカメラ制御プログラム6aがインストールされている。そして、演算処理手段62が、前記スペクトルカメラ制御プログラム6aを実行し、後述する各構成部として機能させることにより、コンピュータをスペクトルカメラ制御装置6として機能させるようになっている。
なお、スペクトルカメラ制御プログラム6aの利用形態は、上記構成に限られるものではない。例えば、CD−ROMやUSBメモリ等のように、コンピュータで読み取り可能な非一時的な記録媒体にスペクトルカメラ制御プログラム6aを記憶させておき、この記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やASP(application service provider)方式等で利用してもよい。
撮像開始条件記憶部612には、スペクトルカメラ3による撮像開始条件に関する情報が記憶されている。本実施形態において、撮像開始条件としては、図4に示すように、スペクトルカメラ3がスペクトル画像を撮像する開始の時刻である撮像開始時刻、前記スペクトル画像を撮像する開始の経度情報および緯度情報である位置条件および前記スペクトル画像を撮像する開始の高度情報である高度条件が記憶されている。
ここで、高度条件は、所望するスペクトルカメラ3の空間分解能に応じて設定される。具体的には、スナップショット方式で撮像されるスペクトル画像の空間分解能Xは、イメージセンサ34の1画素の大きさをd、スペクトルカメラ3の焦点距離をf、撮像を行う高度をHとすると、X=H×d/fで表される。ここで、d/fはスペクトルカメラ3の仕様で決まる一定値である。よって、スペクトルカメラ3の空間分解能Xは、スペクトルカメラ3の高度Hの関数となる。言い換えると、本実施形態における空間分解能は、スペクトルカメラ3の露光時間とは関係なく、撮像開始条件としての高度条件に基づき任意に設定することが可能である。
撮像条件記憶部613は、スペクトル画像を撮像する際の各種の撮像条件を記憶するものである。本実施形態において、撮像条件記憶部613には、図4に示すように、初期設定された露光時間、後述する処理によって最適化または再設定された露光時間、およびスペクトル画像として撮像するのに必要な特定の透過波長が記憶されるようになっている。前記撮像条件記憶部613において記憶される特定の透過波長は、必要な特定の透過波長のみを選択して記憶されている。ここで記憶される特定の透過波長は、所定の波長範囲を一定の波長間隔で特定した透過波長でもよく、不等間隔で特定した透過波長でもよい。
つぎに、閾値記憶部614には、スペクトルカメラ3を制御するための各種の閾値が記憶されている。本実施形態における閾値記憶部614には、図4に示すように、イメージセンサ34が処理可能な明度の限界値である飽和限界値と、撮像するスペクトル画像にブレが生じるスペクトルカメラ3の角速度の限界値である角速度閾値と、撮像したスペクトル画像から農作物の生育等の各種情報を取得するのに必要となるSN比(シグナル・ノイズ比)の限界値であるSN比閾値とが記憶されている。なお、飽和限界値、ブレが生じる角速度およびSN比に関する詳細情報は後述する。
スペクトル画像記憶部615には、スペクトルカメラ3によって撮像されたスペクトル画像等が記憶される。本実施形態におけるスペクトル画像記憶部615には、図4に示すように、前記スペクトル画像とともに、撮像時刻、撮像時におけるスペクトルカメラ3の位置情報、高度情報および姿勢情報が記憶される。なお、本実施形態におけるスペクトル画像記憶部615は、スペクトルカメラ制御装置6の記憶手段61に設けられているが、これに限定されるものではなく、スペクトルカメラ3あるいは前記スペクトルカメラ制御装置6と無線通信可能な記憶装置側に備えるようにしてもよい。
次に、演算処理手段62について説明する。スペクトルカメラ制御装置6における演算処理手段62は、CPU(Central Processing Unit)等から構成されており、記憶手段61にインストールされたスペクトルカメラ制御プログラム6aを実行させることにより、図4に示すように、スペクトルカメラ制御装置6としてのコンピュータを、撮像開始条件判別部621と、最適露光時間設定部622と、姿勢位置情報取得部623と、姿勢位置変化判別部624と、露光時間再設定部625と、スペクトル画像取得部626と、SN比判別部627と、連続撮像枚数算出部628と、追加スペクトル画像取得部629と、撮像終了判別部630と、波長特定信号送信部631として機能させるようになっている。以下、各構成部についてより詳細に説明する。
撮像開始条件判別部621は、スペクトルカメラ3による撮像開始条件を判別するように機能する。具体的には、撮像開始条件判別部621は、現在の時刻、姿勢位置検出器4により検出されたスペクトルカメラ3の位置情報および高度情報が撮像開始条件記憶部612に記憶されている撮像開始時刻、位置条件および高度条件を満たすか否かの判別処理を実行する。そして、撮像開始条件が満たされた場合、撮像開始条件判別部621は、スペクトルカメラ3による撮像処理を開始させるようになっている。
最適露光時間設定部622は、スペクトルカメラ3の最適な露光時間を自動的に設定するように機能する。具体的には、最適露光時間設定部622は、まず、撮像条件記憶部613に初期設定されている露光時間でスペクトル画像を1枚撮像させ、当該スペクトル画像中の最大画素値を取得する。つぎに、最適露光時間設定部622は、前記最大画素値が閾値記憶部614に記憶されている飽和限界値未満であるか否かを判別する。
そして、判別の結果、前記最大画素値が前記飽和限界値未満の場合、最適露光時間設定部622は、初期設定の露光時間を最適な露光時間として設定する。一方、前記最大画素値が前記飽和限界値以上の場合、最適露光時間設定部622は、露光時間を短くして再度、スペクトル画像を撮像させ、最大画素値が前記飽和限界値未満となるまで上記処理を繰り返す。そして、最大画素値が前記飽和限界値未満となったときの露光時間を最適な露光時間として撮像条件記憶部613に設定する。
ここで、最適露光時間設定部622による上記処理の意味について説明する。スペクトルカメラ3のイメージセンサ34では、撮像対象から放射される光をアナログの電気信号として検出し、そのアナログの電気信号をデジタル化して画像情報としている。そのため、撮像対象から放射させる光が暗いと相対的にノイズが大きくなる。よって、露光時間を長くして十分な光を受光する必要がある。しかし、イメージセンサ34が、処理できる限界よりも明るい光を受けた場合には前記アナログの電気信号が飽和して正確な値の信号を取得することができない。よって、最適露光時間設定部622は、アナログの電気信号が飽和しない範囲でできるだけ明るい画像が得られる露光時間を最適な露光時間として設定するようになっている。
なお、一般的に、露光時間は、撮像対象の明度、つまり分光放射輝度(W/m/sr/nm)に基づき決定される。この分光放射輝度I(λ)は、取得されるスペクトル画像の各画素に対する画素値Dと、I(λ)=C(λ)×D/Tという関係がある。ここで、C(λ)は、波長λにおける校正係数であり、既知の光源を用いた実験によって得られる値である。よって、最適露光時間設定部622は、撮像対象の明度と比例関係にある画素値に基づいて、露光時間を設定するようになっている。
このように、本実施形態のスペクトルカメラ制御装置6は、空間分解能と別途独立にスペクトルカメラ3の露光時間を設定することができるように構成されている。
つぎに、姿勢位置情報取得部623は、姿勢位置検出器4からスペクトルカメラ3の露光時間当たりにおけるスペクトルカメラ3の姿勢変化量または位置変化量を取得するように機能する。本実施形態における姿勢位置情報取得部623は、姿勢センサ42からスペクトルカメラ3の角速度を取得する。
姿勢位置変化判別部624は、飛行体1の姿勢および静止位置が、スペクトル画像にブレを生じさせる程度に変化したか否かを判別するものである。本実施形態において、姿勢位置変化判別部624は、姿勢位置情報取得部623により取得されたスペクトルカメラ3の露光時間当たりにおけるスペクトルカメラ3の姿勢変化量または位置変化量のうち少なくともいずれかが、前記スペクトルカメラ3の空間分解能に基づく所定の閾値以内か否かを判別するように機能する。
ここで、スペクトル画像にブレが生じる要因等について説明する。本実施形態において、スペクトル画像の撮像は飛行体1の静止飛行中に行われる。しかし、静止飛行中において、飛行体1が突風等の外的要因を受けると、図5(a)に示すように飛行体1の姿勢変化や、図5(b)に示すように静止飛行の位置変化が起こる。そして、前記飛行体1の姿勢変化または位置変化によって露光時間内に撮像対象の直下点の変化量(図5におけるA点からB点への変化量)がスペクトルカメラ3の空間分解能を超える動きをしたときに、撮像されたスペクトル画像にブレが生じることとなる。
また、スペクトルカメラ3は、撮像対象までの距離が長い高所から撮像するものであるため、露光時間内に撮像対象の直下点の変化量は高度に比例して増大する。したがって、露光時間をT、空間分解能をX、スペクトル画像を撮像する時におけるスペクトルカメラ3の高度をHとすると、露光時間T当たりの角度変化がX/Hよりも大きくなると、すなわち飛行体1の角速度がX/(H×T)以上になると、撮像されるスペクトル画像にブレが生じる。
以上を踏まえ、本実施形態における姿勢位置変化判別部624は、姿勢位置情報取得部623により取得したスペクトルカメラ3の角速度と、閾値記憶部614に記憶されている所定の角速度閾値とを比較し、前記角速度が前記角速度閾値を超えたか否かを判別するように機能する。
なお、本実施形態における姿勢位置変化判別部624では、スペクトルカメラ3の角速度に基づきスペクトル画像にブレが生じるか否かの判別を行ったが、これに限定されるものではなく、図5(b)に示すように、位置変化によるブレも生じることから、姿勢センサ42の加速度センサから取得した位置変化率またはGPS受信機41から取得した位置の変化量に基づきスペクトル画像のブレが生じるか否かを判別してもよい。
つぎに、露光時間再設定部625は、スペクトル画像にブレが生じないようにスペクトルカメラ3の露光時間を再設定するように機能する。具体的には、露光時間再設定部625は、姿勢位置変化判別部624によって角速度が角速度閾値を超えたと判別された場合、現在設定されている現露光時間よりも短い時間を新たな露光時間として撮像条件記憶部613に再設定するようになっている。
本実施形態における露光時間再設定部625は、スペクトルカメラ3の姿勢変化量として角速度を検出する姿勢センサ42から前記スペクトルカメラ3の角速度を取得し、下記式(1)により新たな露光時間を算出するとともに、前記スペクトルカメラ3の露光時間として撮像条件記憶部613に記憶させて再設定する。
T<X/(H×Ω) ・・・式(1)
ただし、各符号は以下を表す。
T:露光時間(sec)
X:空間分解能(m)
H:飛行体の高度(m)
Ω:スペクトルカメラの角速度(rad/sec)
なお、飛行体1の高度Hは撮像開始条件記憶部612から取得され、空間分解能Xは、上記のとおり、前記高度Hに基づいて算出される。
スペクトル画像取得部626は、イメージセンサ34に撮像させる撮像指令信号を前記スペクトルカメラ3に送信し、スナップショット方式で撮像されたスペクトル画像を取得するように機能する。本実施形態において、スペクトル画像取得部626は、図6に示すように、液晶波長可変フィルタ制御回路5により液晶波長可変フィルタ33の透過波長が切り換えられる度に、スペクトル画像を一回撮像し、スペクトル画像記憶部615に保存するようになっている。
SN比判別部627は、取得されたスペクトル画像が、各種情報の取得に必要な画質を確保しているか否かを確認するため、SN比が所定のSN比閾値未満か否かを判別するように機能する。そして、判別の結果、前記SN比が前記SN比閾値未満の場合のみ、スペクトル画像取得部626に同じ透過波長で複数枚のスペクトル画像を連続して撮像させるようになっている。
ここで、SN比とは、信号レベル(シグナル)を雑音レベル(ノイズ)で除算した数値のことである。ただし、雑音レベルは、同じスペクトルカメラ3、同じ液晶波長可変フィルタ33、同じレンズ構成、同じ設定条件および同じ撮像環境においてほぼ一定値を示すため、予め計測しておくことができる。よって、スペクトル画像のSN比は、画素値に基づく信号レベルのみ算出すれば求めることが可能である。
したがって、本実施形態において、SN比判別部627は、撮像によって取得したスペクトル画像から信号レベルを算出し、これを予め計測した雑音レベルで除算してSN比を算出する。そして、前記SN比と閾値記憶部614に記憶されているSN比閾値とを比較するようになっている。
連続撮像枚数算出部628は、スペクトル画像の画質を向上させるために追加で撮像すべきスペクトル画像の撮像枚数を算出するものである。SN比が低いスペクトル画像であっても、画像処理によって同じ透過波長のスペクトル画像を複数枚重ね合わせることにより得られるスペクトル画像のSN比が向上することが期待される。このため、連続撮像枚数算出部628は、SN比判別部627の判別処理により取得されたスペクトル画像のSN比が、SN比閾値未満であると判別された場合、何枚の画像を重ね合わせればそのスペクトル画像のSN比が前記SN比閾値より大きくなるかを算出するように機能する。
具体的には、N枚の画像を重ね合わせた場合の信号レベルはN倍となるのに対し、ノイズレベルは一般的に√N倍となる性質を有する。このため、N枚の画像を重ね合わせた場合のSN比は(N/√N)倍、つまり、最初の1枚目のスペクトル画像のSN比の√N倍となる。よって、連続撮像枚数算出部628は、下記の式(2)を満たす整数値を、連続して取得すべきスペクトル画像の枚数Nとして算出する。
N>(SNt/SN1) ・・・式(2)
ただし、各符号は以下を表す。
N:撮像するスペクトル画像の枚数
SN1:最初の1枚目のスペクトル画像のSN比
SNt:SN比閾値
なお、連続して取得するスペクトル画像の枚数は、上記式(2)により算出される方法に限定されるものではなく、予め定められた枚数としてもよい。
追加スペクトル画像取得部629は、スペクトル画像の画質を向上させるため、スペクトル画像を追加で取得するものである。本実施形態において、追加スペクトル画像取得部629は、SN比判別部627によって、取得されたスペクトル画像のSN比がSN比閾値未満と判別された場合、連続撮像枚数算出部628により算出された枚数Nから最初の1枚目を差し引いたN−1枚分の撮像指令信号をスペクトルカメラ3に送信し、同じ透過波長のスペクトル画像を連続して取得するようになっている。
具体的には、図7に示すように、追加スペクトル画像取得部629は、液晶波長可変フィルタ制御回路5により液晶波長可変フィルタ33の透過波長が切り換えられる前に、スペクトル画像取得部626による撮像指令信号に続けて、N−1回分の撮像指令信号を前記スペクトルカメラ3に送信し、同じ透過波長のスペクトル画像をスナップショット方式で連続して取得する。
撮像終了判別部630は、スペクトル画像の撮像が終了したか否かを判別するように機能する。本実施形態において、撮像終了判別部630は、撮像条件記憶部613に記憶されている透過波長範囲と、撮像済みのスペクトル画像とを比較し、全ての波長についてスペクトル画像が撮像されたとき、撮像終了と判定するようになっている。
波長特定信号送信部631は、液晶波長可変フィルタ制御回路5に波長特定信号を送信し、液晶波長可変フィルタ33の透過波長を切り換えるためのものである。本実施形態において、波長特定信号送信部631は、撮像が終了していない限り、液晶波長可変フィルタ制御回路5に波長特定信号を順次送信するように機能する。具体的には、波長特定信号送信部631は、撮像条件記憶部613に記憶されている特定の透過波長のうち、まだ撮像されていない特定の透過波長に対応する波長特定信号を予め設定された順に液晶波長可変フィルタ制御回路5に送信する。前記波長特定信号の送信は、各透過波長により撮像してスペクトル画像が取得される度に繰り返し実行され、すべての特定の透過波長によるスペクトル画像が取得されると撮像が終了するようになっている。
無線通信手段63は、通信装置と無線通信を行うためのものである。無線通信手段63は、携帯電話等の通信網や無線LAN、Wi-Fi、Bluetooth(登録商標)等の任意の無線通信方式により無線通信を行うための送受信機である。無線通信手段63は、無線通信を介してスペクトルカメラ制御装置6の遠隔操作や各種設定、およびスペクトル画像等のデータの送受信ができるようになっている。
バッテリ7は、各機器に電源を供給するものであり、本実施形態では、図3に示すように、姿勢位置検出器4、スペクトルカメラ制御装置6、液晶波長可変フィルタ制御回路5およびスペクトルカメラ3のイメージセンサ34のそれぞれに接続されており電源を供給するようになっている。なお、本実施形態におけるイメージセンサ34のバッテリ7は、スペクトルカメラ制御装置6等と共通で使用しているが、これに限られるものではなく、スペクトルカメラ3が独自のバッテリを装備していてもよい。
つぎに、本実施形態のスペクトルカメラ制御装置6、スペクトルカメラ制御プログラム6a、スペクトルカメラ制御システム2、このシステムを搭載した飛行体1およびスペクトル画像撮像方法の作用について説明する。
まず、本実施形態における飛行体1が、飛行体1の制御プログラムによって予め指定された飛行経路に沿って自律飛行を行い、所定の位置および所定の高度の撮像地点まで飛行し、前記撮像地点において静止飛行を行う。このとき、スペクトル画像の空間分機能は、飛行体1の高さと比例関係にあるため、前記高さによって任意の値に制御することが可能である。
つぎに、スペクトルカメラ制御装置6が、図8に示すように、撮像開始条件判別部621によってスペクトルカメラ3が撮像開始条件を充足するか否かの判別処理を実行する(ステップS1)。具体的には、撮像開始条件記憶部612から撮像開始条件として撮像開始時刻、位置条件および高度条件を取得するとともに、GPS受信機41からスペクトルカメラ3の位置情報および高度情報を取得し、前記撮像開始条件を満たすか否かを判別する。この判別は、スペクトルカメラ3の状態がすべての撮像開始条件を満たすまで繰り返し実行される(ステップS1:NO)。
つづいて、撮像開始条件判別部621がすべての撮像開始条件を満たすと判別した場合(ステップS1:YES)、最適露光時間設定部622が、スペクトルカメラ3の最適な露光時間を自動的に設定する(ステップS2)。具体的には、図9に示すように、まず、最適露光時間設定部622が、スペクトルカメラ3に対して初期設定された露光時間でスペクトル画像を1枚撮像させ(ステップS21)、このスペクトル画像中の最大画素値を取得する(ステップS22)。
つぎに、最適露光時間設定部622は、前記最大画素値が閾値記憶部614に記憶された飽和限界値未満か否かを判別する(ステップS23)。判別の結果、前記最大画素値が前記飽和限界値以上であると判別された場合(ステップS23:NO)、最適露光時間設定部622が、露光時間を初期設定された露光時間よりも短時間に設定し、再度、スペクトルカメラ3にスペクトル画像を1枚撮像させる(ステップS24)。そして、ステップS22からの処理を繰り返し、最大画素値が前記飽和限界値未満であると判別された場合(S23:YES)、最適露光時間設定部622が、その時点で設定されている露光時間をスペクトルカメラ3の最適露光時間に設定する。これにより、飛行中に太陽高度や雲量の変化により明るさが変化したような場合であっても、最適な露光時間での撮像が可能となる。
つぎに、姿勢位置情報取得部623が、姿勢センサ42から角速度を取得すると(ステップS3)、姿勢位置変化判別部624が、前記角速度と閾値記憶部614に記憶された角速度閾値とを比較し、前記角速度が前記角速度閾値を超えたか否かを判別する(ステップS4)。判別の結果、スペクトルカメラ3の角速度が角速度閾値以下と判別された場合(ステップS4:NO)、飛行体1が安定的に静止飛行しているものとして露光時間の再設定は行わず、最適露光時間設定部622により設定された露光時間を前記スペクトルカメラ3の露光時間とする。
一方、姿勢位置変化判別部624が、スペクトルカメラ3の角速度が角速度閾値を超えていると判別した場合(ステップS4:YES)、露光時間再設定部625が、現露光時間よりも短い時間からなる新たな露光時間に前記スペクトルカメラ3の露光時間を再設定する(ステップS5)。これにより、スペクトル画像にブレが生じない程度に露光時間が自動的に調整されるため、空間分解能の低下が抑制される。
以上のように、本実施形態のスペクトルカメラ制御装置6では、露光時間と空間分解能とを独立に設定することが可能である。このため、高い空間分解能を確保しながら、スペクトルカメラ3の姿勢変化量や位置変化量に応じて前記露光時間をリアルタイムに調整し、スペクトル画像のブレを抑制する。
つぎに、スペクトル画像取得部626が、スペクトルカメラ3に撮像指令信号を送信してスペクトル画像を取得する(ステップS6)。このとき、取得したスペクトル画像は、撮像時刻、位置情報、高度情報および姿勢情報とともにスペクトル画像記憶部615に記憶される。このため、最終的に視野を一致させるための幾何補正などの画像処理が容易になる。
つづいて、SN比判別部627が、取得されたスペクトル画像のSN比がSN比閾値未満か否かを判別する(ステップS7)。これにより、最適露光時間設定部622により設定された最適な露光時間が、その後、スペクトルカメラ3の姿勢変化量や位置変化量に応じて再設定された場合でも、SN比の適否が判別される。
上記判別の結果、取得されたスペクトル画像のSN比が所定のSN比閾値未満であると判別された場合(ステップS7:YES)、連続撮像枚数算出部628が、上記式(2)に基づいて、重ね合わせるべきスペクトル画像の撮像枚数を算出する(ステップS8)。
そして、追加スペクトル画像取得部629が、連続撮像枚数算出部628により算出された撮像枚数に基づいて撮像指令信号を送信し、図7に示すように、同じ透過波長のスペクトル画像を連続的に取得する(ステップS9)。これにより、単一のスペクトル画像では、所定のSN比を確保できない撮像条件下であっても、重ね合わせることで前記SN比を確保しうる枚数のスペクトル画像が取得される。
一方、SN比判別部627が、取得されたスペクトル画像のSN比が前記SN比閾値以上であると判別した場合(ステップS7:NO)、追加でスペクトル画像を取得することなく次の処理に進む(ステップS10)。
必要数のスペクトル画像が取得されると、撮像終了判別部630が、スペクトル画像の撮像が終了したか否かを判別する(ステップS10)。そして、判別の結果、スペクトル画像の撮像が終了していないと判別された場合(ステップS10:NO)、波長特定信号送信部631が、未撮像の波長特定信号を液晶波長可変フィルタ制御回路5に送信する(ステップS11)。
これにより、液晶波長可変フィルタ制御回路5が、受信した波長特定信号に応じた印加電圧をスペクトルカメラ3の液晶波長可変フィルタ33へと供給する。そして、前記液晶波長可変フィルタ33では、印加電圧に応じて液晶素子の配向状態が制御され、波長特定信号によって特定されている透過波長への切り換えが行われる。
そして、波長特定信号が送信されると(ステップS11)、上記ステップS3へと戻り、各透過波長でのスペクトル画像が取得される度に繰り返し実行される。これにより、目的に応じて必要最小限の透過波長のみのスペクトル画像を取得することにより、一連のスペクトル画像の撮像に係る時間を大幅に短縮することが可能になり、飛行体1の移動可能範囲も広げることにもなる。そして、すべての透過波長によるスペクトル画像が取得されると撮像が終了する(ステップS10:YES)。
スペクトルカメラ3による撮像終了後、飛行体1は、静止飛行状態から自律飛行に変わり、次の撮像地点まで飛行する。スペクトルカメラ制御装置6は、次の撮像地点において、それまでの撮像地点において撮像した透過波長と同じ透過波長または異なる透過波長のスペクトル画像を撮像する。そして、飛行体1は、全ての撮像地点による撮像終了後、所定の場所に帰還ないし着陸する。
以上のような本実施形態によれば、以下の効果を得ることができる。
1.液晶波長可変フィルタ33を備えたスペクトルカメラ3を静止飛行可能な飛行体1に搭載してスナップショット方式で撮像させるため、スペクトル画像の空間分解能を撮像高度に応じて任意に設定することができる。
2.スペクトルカメラ3の露光時間は、スペクトルカメラ3の空間分解能に対して独立して設定でき、スペクトルカメラ3の姿勢変化量または位置変化量に基づきリアルタイムに再設定されるためスペクトル画像の空間的な歪みやブレを抑制することができる。
3.空間分解能の制御機能と、飛行体1に起因するブレの抑制機能とが独立に制御可能であるため、空間解像度の高いスペクトル画像を撮像することができる。
4.スペクトル画像として撮像対象とする全ての波長において、所定のSN比を確保することができる。
5.所定のSN比を確保するために必要な撮像枚数を自動的に算出することができる。
6.スナップショット方式のイメージセンサ34や液晶波長可変フィルタ33は、比較的軽量でかつ安価であり、市販の静止飛行可能な飛行体1に搭載することが可能であるため、製造コストを抑制でき、一般にも広く普及できる。
7.スナップショット方式の液晶波長可変フィルタ33を静止飛行可能な飛行体1に搭載することにより、指定時刻に指定位置においてスペクトル画像を自動的に撮像することができる。
つぎに、本発明に係るスペクトルカメラ制御装置6、スペクトルカメラ制御プログラム6a、スペクトルカメラ制御システム2、このシステムを搭載した飛行体1およびスペクトル画像撮像方法の具体的な実施例について説明する。なお、本発明の技術的範囲は、以下の実施例によって示される特徴に限定されるものではない。
実施例1では、液晶波長可変フィルタを備えたスペクトルカメラを、マルチコプタ型のドローンに搭載し、スペクトル画像を撮像した。
スペクトルカメラは、図10に示すように、対角視野角が約90度のレンズを備えている。イメージセンサは、CCDイメージセンサであり、659×494の画素数を有している。飛行体は、高度約120mに静止飛行させた。このとき、地上に投影した視野の大きさは192m×144mである。また、イメージセンサの1画素は1辺が約0.22mに相当する。つまり、本実施例1におけるスペクトルカメラの空間分解能は約0.22mである。
本実施例1における撮像は、460nmから780nmまで、10nm間隔で33透過波長に対して行った。撮像に係る諸元は下記表1の通りである。
(表1)
つぎに、撮像されたスペクトル画像の応用例として、取得された33個の透過波長のスペクトル画像うち、2つ透過波長のスペクトル画像から正規化植生指数(NDVI)を算出した。図11は、正規化植生指数の数値を色の濃淡で表したカラーマップである。この図11において、指数の値が1に近いほど(色の濃淡が白いほど)、植生が濃いことを示している。このように、スペクトル画像により、植生の育成状態を定量的に評価できる。
以上より、本実施例1によれば、約100mの高度からスペクトル画像を撮像することにより、約20cmの空間分解能で詳細なスペクトル情報が得られることが示された。
実施例2では、本発明によって、スペクトル画像のブレが抑制されることを確認する実験を行った。具体的には、露光時間を20msと50msに設定してスペクトル画像を撮像するとともに、姿勢センサによりスペクトルカメラの角速度の測定を行った。その他の撮像に係る諸元は実施例1と同じである。
図12は、露光時間を20msとした場合に得られたスペクトル画像である。この図12に示すように、取得されたスペクトル画像では、中央や左側に撮像された建物および生い茂る植物をはっきり視認することができる。
一方、図13は、露光時間を50msとした場合に得られたスペクトル画像であるが、図12とは異なり、建物および植物がぼやけておりスペクトル画像のブレが生じているのが見て取れる。
そこで、各々の露光時間に基づき、ブレを生じさせずに空間分解能を保てる角速度について算出した。具体的には、露光時間をT、空間分解能をX、スペクトル画像を撮像した時におけるスペクトルカメラの高度をHとして、角速度Ω=X/(H×T)を算出した。その結果、露光時間20msにおけるブレが生じない角速度Ωは、
Ω=0.22/(120×0.02)=0.092rad/secであった。
同様に、露光時間50msにおけるブレが生じない角速度Ωは、
Ω=0.22/(120×0.05)=0.037rad/secであった。
一方、姿勢センサにより計測されたスペクトルカメラの角速度は、風の影響により約0.087rad/secであった。
つまり、スペクトルカメラの角速度約0.087rad/secは、露光時間20msにおけるブレが生じない角速度Ω=0.092rad/secよりも遅かった。よって、露光時間20msで撮像されたスペクトル画像にはブレが生じなかった。
それに対し、スペクトルカメラの角速度約0.087rad/secは、露光時間50msにおけるブレが生じない角速度Ω=0.037rad/secよりも速かった。よって、露光時間50msで撮像されたスペクトル画像にはブレが生じたものと考えられる。
以上より、本実施例2によれば、スペクトル画像のブレが抑制されること、およびスペクトル画像のブレを抑制するためには、スペクトルカメラの角速度に基づき、ブレが生じないように露光時間を設定してスペクトルカメラを制御することが有効であることが示された。
実施例3では、撮像されたスペクトル画像のSN比が所定のSN比閾値未満の場合に、同じ透過波長で複数枚のスペクトル画像を連続して撮像し、それらのスペクトル画像を重ね合わせることで前記SN比閾値以上のSN比のスペクトル画像が得られることを確認する実験を行った。
スペクトル画像は、実施例1で用いたマルチコプタ型のドローンに搭載したスペクトルカメラにより撮像した。このとき、撮像時の露光時間は10msであり、液晶波長可変フィルタによる透過波長は 650nmであった。
図14は、上記条件により撮像された1枚目のスペクトル画像の一部を拡大したものである。この1枚目のスペクトル画像におけるSN比はSN1=27.3であった。そこで、SN比閾値をSNt=40とし、上記式(2)を用いて同じ透過波長で連続して撮像するスペクトル画像の枚数を算出した。その結果、式(2)はN>2.2となり、必要なスペクトル画像の枚数は3枚であることが算出された。
そこで、1枚目のスペクトル画像を含む連続して撮像された3枚のスペクトル画像の重ね合わせを行った。図15は、連続する3枚のスペクトル画像を重ね合わせたスペクトル画像である。
図14のスペクトル画像は全体的にざらついているように見える。一方、図15のスペクトル画像は、ざらつきが減ってコントラストがより明瞭に見えており、ノイズが少なくなったことがわかる。また、図15に示すスペクトル画像のSN比は40.5であり、連続する3枚のスペクトル画像を重ね合わせることでSN比閾値40を超えるSN比のスペクトル画像を得ることができた。
以上より、同じ透過波長で複数枚のスペクトル画像を連続して撮像し、それらのスペクトル画像を重ね合わせることでスペクトル画像のSN比を向上させることができた。また、上記式(2)が、最初の1枚目のスペクトル画像のSN比からSN比閾値を超えるSN比のスペクトル画像を得るために必要となる撮像枚数を算出する手段として有効であることが示された。
なお、本発明は、前述した実施形態に限定されるものではなく、適宜変更することができる。例えば、露光時間再設定部625において、式(1)により算出する際に用いられる飛行体の高度値は、位置姿勢検出器により実測された値を用いてもよい。また、各種閾値の設定、各信号の送信等は、通信装置から無線通信手段63を介して行ってもよい。
1 飛行体
2 スペクトルカメラ制御システム
3 スペクトルカメラ
4 姿勢位置検出器
5 液晶波長可変フィルタ制御回路
6 スペクトルカメラ制御装置
6a スペクトルカメラ制御プログラム
7 バッテリ
31 レンズ群
32 偏光解消板
33 液晶波長可変フィルタ
34 イメージセンサ
41 GPS受信機
42 姿勢センサ
61 記憶手段
62 演算処理手段
63 無線通信手段
311 入光レンズ
312 集光レンズ
611 プログラム記憶部
612 撮像開始条件記憶部
613 撮像条件記憶部
614 閾値記憶部
615 スペクトル画像記憶部
621 撮像開始条件判別部
622 最適露光時間設定部
623 姿勢位置情報取得部
624 姿勢位置変化判別部
625 露光時間再設定部
626 スペクトル画像取得部
627 SN比判別部
628 連続撮像枚数算出部
629 追加スペクトル画像取得部
630 撮像終了判別部
631 波長特定信号送信部

Claims (13)

  1. 静止飛行可能な飛行体に液晶波長可変フィルタを備えたスペクトルカメラとともに搭載されており、前記飛行体の静止飛行中において前記液晶波長可変フィルタの透過波長を切り換える度に前記スペクトルカメラにスナップショット方式で撮像させる、スペクトルカメラ制御装置。
  2. 前記スペクトルカメラにおける露光時間当たりの前記スペクトルカメラの姿勢変化量または位置変化量のうち少なくともいずれかが、前記スペクトルカメラの空間分解能に基づく所定の閾値を超えた場合に、前記スペクトルカメラの露光時間を現露光時間よりも短い時間に設定する、請求項1に記載のスペクトルカメラ制御装置。
  3. 姿勢センサから前記スペクトルカメラの角速度を取得し、前記露光時間を下記の式(1)により算出する、請求項2に記載のスペクトルカメラ制御装置;
    T<X/(H×Ω) ・・・式(1)
    ただし、各符号は以下を表す。
    T:露光時間(sec)
    X:空間分解能(m)
    H:飛行体の高度(m)
    Ω:スペクトルカメラの角速度(rad/sec)
  4. 撮像されたスペクトル画像のSN比が所定の閾値未満の場合に、同じ透過波長で複数枚のスペクトル画像を連続して撮像させる、請求項1から請求項3のいずれかに記載のスペクトルカメラ制御装置。
  5. 同じ透過波長で連続して撮像するスペクトル画像の枚数を下記式(2)により算出する、請求項4に記載のスペクトルカメラ制御装置;
    N>(SNt/SN1) ・・・式(2)
    ただし、各符号は以下を表す。
    N:撮像するスペクトル画像の枚数
    SN1:最初の1枚目のスペクトル画像のSN比
    SNt:SN比閾値
  6. 請求項1から請求項5のいずれかに記載のスペクトルカメラ制御装置と、このスペクトルカメラ制御装置により制御されるスペクトルカメラとを備えた、スペクトルカメラ制御システム。
  7. 請求項6に記載のスペクトルカメラ制御システムを搭載した、静止飛行可能な飛行体。
  8. 静止飛行可能な飛行体に液晶波長可変フィルタを備えたスペクトルカメラとともに搭載されており、前記飛行体の静止飛行中において前記液晶波長可変フィルタの透過波長を切り換える度に前記スペクトルカメラにスナップショット方式で撮像させるスペクトルカメラ制御装置としてコンピュータを機能させる、スペクトルカメラ制御プログラム。
  9. 前記スペクトルカメラにおける露光時間当たりの前記スペクトルカメラの姿勢変化量または位置変化量のうち少なくともいずれかが、前記スペクトルカメラの空間分解能に基づく所定の閾値を超えた場合に、前記スペクトルカメラの露光時間を現露光時間よりも短い時間に設定するスペクトルカメラ制御装置としてコンピュータを機能させる、請求項8に記載のスペクトルカメラ制御プログラム。
  10. 姿勢センサから前記スペクトルカメラの角速度を取得し、前記露光時間を下記の式(1)により算出するスペクトルカメラ制御装置としてコンピュータを機能させる、請求項9に記載のスペクトルカメラ制御プログラム;
    T<X/(H×Ω) ・・・式(1)
    ただし、各符号は以下を表す。
    T:露光時間(sec)
    X:空間分解能(m)
    H:飛行体の高度(m)
    Ω:スペクトルカメラの角速度(rad/sec)
  11. 撮像されたスペクトル画像のSN比が所定の閾値未満の場合に、同じ透過波長で複数枚のスペクトル画像を連続して撮像させるスペクトルカメラ制御装置としてコンピュータを機能させる、請求項8から請求項10のいずれかに記載のスペクトルカメラ制御プログラム。
  12. 同じ透過波長で連続して撮像するスペクトル画像の枚数を下記式(2)により算出するスペクトルカメラ制御装置としてコンピュータを機能させる、請求項11に記載のスペクトルカメラ制御プログラム;
    N>(SNt/SN1) ・・・式(2)
    ただし、各符号は以下を表す。
    N:撮像するスペクトル画像の枚数
    SN1:最初の1枚目のスペクトル画像のSN比
    SNt:SN比閾値
  13. 静止飛行可能な飛行体に液晶波長可変フィルタを備えたスペクトルカメラとともに搭載されたスペクトルカメラ制御装置を用いて、前記飛行体の静止飛行中において前記液晶波長可変フィルタの透過波長を切り換える度に前記スペクトルカメラにスナップショット方式で撮像させる、スペクトル画像撮像方法。
JP2017565879A 2016-04-14 2017-03-22 スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法 Active JP6321895B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016080896 2016-04-14
JP2016080896 2016-04-14
PCT/JP2017/011411 WO2017179378A1 (ja) 2016-04-14 2017-03-22 スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法

Publications (2)

Publication Number Publication Date
JP6321895B2 JP6321895B2 (ja) 2018-05-09
JPWO2017179378A1 true JPWO2017179378A1 (ja) 2018-05-31

Family

ID=60041529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017565879A Active JP6321895B2 (ja) 2016-04-14 2017-03-22 スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法

Country Status (10)

Country Link
US (2) US10864998B2 (ja)
EP (2) EP3859291A1 (ja)
JP (1) JP6321895B2 (ja)
KR (1) KR102363163B1 (ja)
CN (1) CN109073467B (ja)
AU (2) AU2017250888B2 (ja)
CA (1) CA3021137A1 (ja)
MY (1) MY193902A (ja)
PH (1) PH12018502194A1 (ja)
WO (1) WO2017179378A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7192279B2 (ja) 2018-07-13 2022-12-20 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7225600B2 (ja) * 2018-08-10 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
JP6878375B2 (ja) * 2018-09-28 2021-05-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP2021022846A (ja) * 2019-07-29 2021-02-18 砂防エンジニアリング株式会社 点検方法、点検システム
CN114208144A (zh) * 2019-07-31 2022-03-18 麦克赛尔株式会社 摄像装置、便携终端和曝光控制方法
CN110460757B (zh) * 2019-08-16 2021-08-27 广州星博科仪有限公司 一种一体化的光谱摄像镜头及光谱相机
JP6896962B2 (ja) * 2019-12-13 2021-06-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、飛行体、決定方法、及びプログラム
DE102020127996A1 (de) 2020-10-23 2022-04-28 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Auswerten von Bilddaten in einem Kraftfahrzeug
WO2022230241A1 (ja) * 2021-04-30 2022-11-03 ソニーグループ株式会社 制御システム及び制御方法、並びにカメラ制御装置
JP2022175162A (ja) * 2021-05-13 2022-11-25 凸版印刷株式会社 監視カメラ
US11683585B2 (en) 2021-05-18 2023-06-20 Snap Inc. Direct scale level selection for multilevel feature tracking under motion blur
US11765457B2 (en) 2021-05-18 2023-09-19 Snap Inc. Dynamic adjustment of exposure and iso to limit motion blur
EP4342169A1 (en) * 2021-05-18 2024-03-27 Snap Inc. Dynamic adjustment of exposure and iso related application
JP2023176173A (ja) * 2022-05-31 2023-12-13 株式会社ポーラスター・スペース 方法、プログラム及び情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55148584A (en) * 1979-05-07 1980-11-19 Takayuki Abe Model helicopter with camera
JP2005528280A (ja) * 2002-05-30 2005-09-22 ラファエル―アーマメント ディベロップメント オーソリティー リミテッド 航空偵察システム
JP2006030014A (ja) * 2004-07-16 2006-02-02 Olympus Corp 色推定システム及び色推定方法
JP2010256303A (ja) * 2009-04-28 2010-11-11 Sumitomo Electric Ind Ltd ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法
WO2013047627A1 (ja) * 2011-09-28 2013-04-04 株式会社 トプコン 画像取得装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI111192B (fi) * 2000-03-31 2003-06-13 Oseir Oy Menetelmä kuvantavaan mittaukseen, kuvantava mittalaite ja mitatun informaation käyttö prosessin valvonnassa
US6678395B2 (en) * 2001-03-22 2004-01-13 Robert N. Yonover Video search and rescue device
US7489396B1 (en) * 2005-05-18 2009-02-10 Vie Group, Llc Spectrophotometric camera
US20070077071A1 (en) * 2005-09-30 2007-04-05 Mikhail Belenkiy System for measuring atmospheric turbulence
WO2007056753A2 (en) * 2005-11-08 2007-05-18 General Atomics Apparatus and methods for use in flash detection
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US8644911B1 (en) * 2006-06-30 2014-02-04 Hypermed Imaging, Inc. OxyVu-1 hyperspectral tissue oxygenation (HTO) measurement system
US8481259B2 (en) * 2007-02-05 2013-07-09 Intelligent Bio-Systems, Inc. Methods and devices for sequencing nucleic acids in smaller batches
US9217643B1 (en) * 2009-01-08 2015-12-22 Trex Enterprises Corp. Angles only navigation system
US8634984B2 (en) * 2009-09-29 2014-01-21 Clarion Co., Ltd. Navigation system
US9823127B2 (en) * 2010-01-22 2017-11-21 Duke University Systems and methods for deep spectroscopic imaging of biological samples with use of an interferometer and spectrometer
US8280111B2 (en) 2010-02-17 2012-10-02 The Boeing Company Advanced background estimation technique and circuit for a hyper-spectral target detection method
JP2012015924A (ja) * 2010-07-02 2012-01-19 Sony Computer Entertainment Inc 通信システム、通信方法、プログラム及び情報記憶媒体
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
TWI437209B (zh) * 2011-01-24 2014-05-11 Hon Hai Prec Ind Co Ltd 道路實景導航系統及方法
US9518926B2 (en) * 2011-02-14 2016-12-13 Ben-Gurion University Of The Negev Research & Development Authority Optical sensor with enhanced sensitivity
IL224200A (en) * 2013-01-13 2017-05-29 Opgal Optronic Ind Ltd Optimization of known light sources is known
WO2014118326A2 (en) * 2013-01-31 2014-08-07 Ventana Medical Systems, Inc. Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays
WO2014159779A1 (en) * 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9897688B2 (en) * 2013-11-30 2018-02-20 Bae Systems Information And Electronic Systems Integration Inc. Laser detection and image fusion system and method
JP6330363B2 (ja) * 2014-02-26 2018-05-30 セイコーエプソン株式会社 電子機器及び電子機器の制御方法
US9407826B1 (en) * 2015-02-05 2016-08-02 Rockwell Collins, Inc. System for and method of adjusting a vision system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55148584A (en) * 1979-05-07 1980-11-19 Takayuki Abe Model helicopter with camera
JP2005528280A (ja) * 2002-05-30 2005-09-22 ラファエル―アーマメント ディベロップメント オーソリティー リミテッド 航空偵察システム
JP2006030014A (ja) * 2004-07-16 2006-02-02 Olympus Corp 色推定システム及び色推定方法
JP2010256303A (ja) * 2009-04-28 2010-11-11 Sumitomo Electric Ind Ltd ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法
WO2013047627A1 (ja) * 2011-09-28 2013-04-04 株式会社 トプコン 画像取得装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAKYNEN, J. ET AL.: "Multi- and hyperspectral UAV imaging system for forest and agriculture applications", PROC. OF SPIE, vol. 8374, JPN7017001902, 2012, pages 837409 - 1, ISSN: 0003762043 *
中野一也 ほか: "UAVを用いた安全運航と撮影に関する検討について", 先端測量技術, vol. 第107号, JPN6017021563, November 2015 (2015-11-01), pages 20 - 21, ISSN: 0003762044 *

Also Published As

Publication number Publication date
US20190118970A1 (en) 2019-04-25
MY193902A (en) 2022-10-31
PH12018502194A1 (en) 2019-09-23
CA3021137A1 (en) 2017-10-19
JP6321895B2 (ja) 2018-05-09
US10864998B2 (en) 2020-12-15
US20210114748A1 (en) 2021-04-22
AU2017250888A1 (en) 2018-11-01
EP3444579B1 (en) 2021-11-10
US11542035B2 (en) 2023-01-03
KR20180126570A (ko) 2018-11-27
AU2017250888B2 (en) 2022-04-07
EP3444579A4 (en) 2020-04-01
WO2017179378A1 (ja) 2017-10-19
EP3859291A1 (en) 2021-08-04
EP3444579A1 (en) 2019-02-20
CN109073467A (zh) 2018-12-21
CN109073467B (zh) 2021-04-06
AU2022204851A1 (en) 2022-07-28
KR102363163B1 (ko) 2022-02-14

Similar Documents

Publication Publication Date Title
JP6321895B2 (ja) スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法
CN106647804B (zh) 一种自动巡检方法及系统
CN110537365B (zh) 信息处理装置、信息处理方法、信息处理程序、图像处理装置以及图像处理系统
JP2019049457A (ja) 画像処理装置および測距装置
CA2980092A1 (en) System and method for processing images of a ground surface
JP6796789B2 (ja) 映像撮影装置
US10567678B2 (en) Multispectral camera replaceable filter array
JP2020024563A (ja) 画像処理装置及び撮像装置
JP2021096865A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
Gehrke et al. Multispectral image capturing with foveon sensors
Xiang et al. Development of autonomous unmanned helicopter based agricultural remote sensing system
US11573124B2 (en) Computer storage medium, network system for distributing spectral camera control program and spectral image capturing method using spectral camera control device
JP6803960B1 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
WO2021235265A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、飛行体、飛行体制御方法及び飛行体制御プログラム
JP6997170B2 (ja) 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体
Xiang et al. An autonomous helicopter system for aerial image collection
JP2022040134A (ja) 推定システムおよび自動車
JP2023177352A (ja) 方法、プログラム及び情報処理装置
Hosokawa et al. Site diversity system with cloud monitor to realize effective satellite-to-ground optical communication
CN115615402A (zh) 一种利用卫星通信控制无人机多任务传感器系统的方法
JP2003085541A (ja) 航空機搭載撮像装置

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20171218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171218

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180223

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180405

R150 Certificate of patent or registration of utility model

Ref document number: 6321895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250