JP7127647B2 - 撮像装置、撮像方法、並びにプログラム - Google Patents

撮像装置、撮像方法、並びにプログラム Download PDF

Info

Publication number
JP7127647B2
JP7127647B2 JP2019534025A JP2019534025A JP7127647B2 JP 7127647 B2 JP7127647 B2 JP 7127647B2 JP 2019534025 A JP2019534025 A JP 2019534025A JP 2019534025 A JP2019534025 A JP 2019534025A JP 7127647 B2 JP7127647 B2 JP 7127647B2
Authority
JP
Japan
Prior art keywords
value
spectral characteristics
information
imaging
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019534025A
Other languages
English (en)
Other versions
JPWO2019026618A1 (ja
Inventor
昌利 高嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019026618A1 publication Critical patent/JPWO2019026618A1/ja
Application granted granted Critical
Publication of JP7127647B2 publication Critical patent/JP7127647B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4209Photoelectric exposure meters for determining the exposure time in recording or reproducing
    • G01J1/4214Photoelectric exposure meters for determining the exposure time in recording or reproducing specially adapted for view-taking apparatus
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0264Electrical interface; User interface
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B42/00Obtaining records using waves other than optical waves; Visualisation of such records by using optical means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J2001/4266Photometry, e.g. photographic exposure meter using electric radiation detectors for measuring solar light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • G01J2003/2806Array and filter array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • G01J2003/28132D-array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N2021/635Photosynthetic material analysis, e.g. chrorophyll
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/061Sources
    • G01N2201/0616Ambient light is used
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/097Digital circuits for control of both exposure time and aperture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本技術は撮像装置、撮像方法、並びにプログラムに関し、例えば、所定の物体をセンシングするときに用いて好適な撮像装置、撮像方法、並びにプログラムに関する。
植物の光合成は、光のエネルギーではなく、光の粒子である光量子の数に影響を受けることが知られている。植物の光合成に有効な光量子束密度を測定することで、その植物の生育具合をセンシングすることが提案されている(例えば、特許文献1参照)。
特開2012-163482号公報
植物をセンシングするときに、そのセンシングするときの状況に適した設定で撮像が行われなければ、適切なセンシングは行えない。例えば、露光がオーバしてしまうと、適切な撮像は行えず、適切なセンシングを行えない。
また、例えばセンシングの対象が植物であるとき、その植物に適したセンシングの光の波長があり、適した波長により撮像を行わないと適切なセンシングは行えない。センシングの対象や、撮像状況などの変化により、適切な波長は異なるため、撮像時に用いられる波長は1つの波長ではなく、複数の波長が用いられることが望ましい。
複数の波長により処理されるようにした場合であっても、センシングの対象、撮像状況、波長などにより、例えば、露光がオーバしないような適切な設定がされ、その設定に基づき制御されることが望ましい。
本技術は、このような状況に鑑みてなされたものであり、適切な設定が行え、その設定に基づく撮像が行われるようにすることができるようにするものである。
本技術の一側面の第1の撮像装置は、分光特性が異なる複数の画素を含む撮像部と、測定対象の種類を特定する特定情報に応じて、前記複数の画素に対する露光の制御に関する情報を設定する露光制御部とを備え、前記露光制御部は、前記測定対象の分光特性、前記画素の分光特性、光源の分光特性、制御値積、および所定の係数を乗算することで、前記画素からの出力値を算出し、前記出力値を用いて、前記情報を設定する
本技術の一側面の第1の撮像方法は、分光特性が異なる複数の画素を含む撮像部で撮像を行う撮像装置が、測定対象の種類を特定する特定情報に応じて、前記複数の画素に対する露光の制御に関する情報を設定し、前記情報を、前記測定対象の分光特性、前記画素の分光特性、光源の分光特性、制御値積、および所定の係数を乗算することで、前記画素からの出力値を算出し、前記出力値を用いて設定する
本技術の一側面の第1のプログラムは、分光特性が異なる複数の画素を含む撮像部を備える撮像装置を制御するコンピュータに、測定対象の種類を特定する特定情報に応じて、前記複数の画素に対する露光の制御に関する情報を設定するステップを含み、前記情報を、前記測定対象の分光特性、前記画素の分光特性、光源の分光特性、制御値積、および所定の係数を乗算することで、前記画素からの出力値を算出し、前記出力値を用いて設定するステップを含む処理を実行させる。
本技術の一側面の第2の撮像装置は、分光特性が異なる複数の画素を含む撮像部と、測定対象に関する分光特性に基づく前記複数の画素の各々の出力値に基づいて、前記複数の画素に対する露光の制御に関する情報を設定する露光制御部とを備え、前記露光制御部は、前記測定対象の分光特性、前記画素の分光特性、光源の分光特性、制御値積、および所定の係数を乗算することで、前記出力値を算出し、前記出力値を用いて、前記情報を設定する
本技術の一側面の第1の撮像装置、撮像方法、並びにプログラムにおいては、分光特性が異なる複数の画素を含む撮像部で撮像が行われ、測定対象の種類を特定する特定情報に応じて、複数の画素に対する露光の制御に関する情報が設定される。測定対象の分光特性、画素の分光特性、光源の分光特性、制御値積、および所定の係数を乗算することで、画素からの出力値が算出され、出力値が用いられて、情報が設定される
本技術の一側面の第2の撮像装置においては、分光特性が異なる複数の画素を含む撮像部が備えられ、測定対象に関する分光特性に基づく複数の画素の各々の出力値に基づいて、複数の画素に対する露光の制御に関する情報が設定される。測定対象の分光特性、画素の分光特性、光源の分光特性、制御値積、および所定の係数が乗算されることで、出力値が算出され、出力値が用いられて、情報が設定される
なお、撮像装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
本技術の一側面によれば、適切な設定が行え、その設定に基づく撮像を行える。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮像装置を含むシステムの一実施の形態の構成を示す図である。 撮像装置の構成を示す図である。 1単位画素の構成について説明するための図である。 フィルタの特性について説明するための図である。 フィルタの特性について説明するための図である。 マルチカメラの一例の構成について説明するための図である。 マルチカメラの一例の構成について説明するための図である。 フィルタの特性について説明するための図である。 被写体の反射率について説明するための図である。 センサの分光特性について説明するための図である。 撮像装置の動作について説明するための図である。 撮像装置の動作について説明するためのフローチャートである。 光源分光について説明するための図である。 予測値について説明するための図である。 被写体からの反射光の分光特性について説明するための図である。 被写体の反射率について説明するための図である。 撮像装置の他の構成について説明するための図である。 変換テーブルの一例を示す図である。 光源のパターンについて説明するための図である。 撮像装置の動作について説明するためのフローチャートである。 記録媒体について説明するための図である。
以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。
<撮像装置を含むシステム>
図1は、本技術を適用した撮像装置を含むシステムの一実施の形態の構成を示す図である。図1に示した撮像システム10は、撮像装置11と照度センサ12を含む構成とされている。
撮像装置11は、図2に示すような構成を有し、測定対象とされる物体を撮像する。照度センサ12は、太陽光の照度を測定する装置であり、測定した照度情報(照度値)を、撮像装置11に供給する。
撮像装置11と照度センサ12は、無線または有線により、データの授受を行えるように構成されている。例えば、撮像装置11は、ドローンなどと称される遠隔操縦または自律式の無人航空機の下側(地面側)に装着され、照度センサ12は、無人航空機の上側(空側)に装着される。そして、照度センサ12により得られた照度情報に基づき、撮像装置11は、後述するように露光値などを設定し、撮像を行う。
なおここでは、撮像装置11と照度センサ12は、別体であるとして説明を続けるが、同一の筐体に設けられていても良い。また、撮像装置11と照度センサ12は、それぞれ、無人航空機に含まれている構成としても良い。
またここでは、照度センサ12を用いた例を挙げて説明を続けるが、照度センサ12を含まないシステム構成に対しても本技術を適用することはできる。照度センサ12を含まないシステムに対して、本技術を適用した場合、照度センサ12から得られる照度値の代わりに、例えば、代表的な太陽光の分光特性(例えば、晴天の日中の分光特性)を、予め取得しておき、その取得されている分光特性が用いられるようにすることができる。
<撮像装置の構成>
図2は、本技術を適用した撮像装置11の第1の実施の形態における内部構成例を示す図である。撮像装置11は、露光制御部31、レンズ32、露光部33、MSフィルタ34、センサ35、信号処理部36、反射率算出部37、およびデータベース38を備える。
撮像装置11において、測定対象物等の対象物からの光(反射光)は、レンズ32とMSフィルタ34を介してセンサ35に入射される。MSフィルタ34のMSとは、マルチスペクトルを意味する。後述するように、撮像装置11は、1単位画素から、複数の異なる波長の信号を得ることができるように構成されている。
露光制御部31は、センサ35において、信号電荷が飽和せずにダイナミックレンジ内に入っている状態で撮像(センシング)が行われるように、露光部33とセンサ35を制御する。具体的には、アイリス(絞り)による開口量の制御、センサ35の露光時間などを調整することで、露光制御を行う。
MSフィルタ34は、測定対象の指標に応じた光学フィルタとすることができ、複数の異なる波長を、それぞれ透過させるフィルタとされている。MSフィルタ34は、レンズ32を介して入射された光を、センサ35に透過させる。
センサ35は、そのセンサ面に、複数の画素が繰り返しパターンで2次元配列されたセンシング素子から構成されるイメージセンサである。センサ35は、MSフィルタ34を通過した光を、センシング素子により検出することで、光の光量に応じた測定信号(測定データ)を、信号処理部36に出力する。
ここで、例えば、撮像装置11が植生をセンシングする装置として用いられる場合、光合成有効光量子束密度(PPFD:Photosynthetic Photon Flux Density)がセンシングされることがある。植物の光合成は、光の粒子である光量子(光子)の数によって左右され、葉緑素(クロロフィル)の吸収波長である400nm~700nmの波長での光量子が、単位時間で、単位面積当たりに入射する個数で示したのが、PPFD値となる。
このPPFD値を算出する場合、RGB信号が必要になり、MSフィルタ34として、R(赤)、G(緑)、B(青)、IR(赤外光)などの波長をそれぞれ透過するフィルタが組み合わされたものとされる。例えば、図3に示すように、1単位画素は、縦×横=2×4=8画素で構成され、各画素は、波長A乃至Hの光を受光する。MSフィルタ34は、波長A乃至Hの光をそれぞれ透過させるフィルタとされ、センサ35の画素は、透過された光を受光するセンサとされる。
以下の説明において、1単位画素は、8画素で構成され、それぞれの画素は、それぞれ異なる波長の光を受光する画素であるとして説明を続ける。また、以下の説明において、単に画素との記載をした場合、1単位画素内の1画素を表すとし、単位画素との記載をした場合、8画素から構成される画素(群)であるとして説明を続ける。
また1単位画素は、波長A乃至Hの光を受光するセンサとなるが、例えば、400nm~750nmの光を受光するセンサとし、波長Aを400nm、波長Bを450nm、波長Cを500nm、波長Dを550nm、波長Eを600nm、波長Fを650nm、波長Gを700nm、波長Hを750nmとすることができる。
なお、ここでの1単位画素に含まれる画素数は、一例であり、限定を示す記載ではなく、例えば、2×2の4画素や、4×4の16画素で構成されるようにしても良い。また、1単位画素で受光される光の波長の範囲や、各画素で受光される波長は、上記した例に限定されるわけではなく、センシング対象とされている測定物体を適切にセンシングできる波長を設定することができる。また、その波長は、可視光に限らず、赤外光や紫外光などであっても良い。
このように複数の波長の光を透過させるMSフィルタ34は、所定の狭い波長帯域(狭帯域)の狭帯域光を透過する光学フィルタである。
このような、狭帯域のフィルタなどを用いたカメラは、マルチスペクトルカメラなどと称されることがあり、本技術においても、マルチスペクトルカメラを用いルことができる。ここで、マルチスペクトルカメラについて説明を加える。
図4に示すように、MSフィルタ34を通過した光の波長が重なりあう場合、後述する逆マトリクスを解くことで、被写体の任意の波長の情報を取り出すことができる。
図5に示すように、MSフィルタ34を通過した光の波長が重なる範囲を少なくした場合、それぞれ独立する狭帯域のフィルタとすることができる。この場合、被写体の任意の波長の情報を取り出すことは難しい(特定の波長から内挿、外挿により予測することは可能)が、逆マトリクスを解くことなく、センサ出力を予測できるメリットがある。
図4に示すように、MSフィルタ34を通過した光の波長が重なりあう場合の光学フィルタとしては、アルミニウム等の金属製の薄膜を用いた金属薄膜フィルタの一種であり、表面プラズモン共鳴の原理を利用したものを適用することができる。
図5に示すように、MSフィルタ34を通過した光の波長が重なる範囲を少なくした場合の光学フィルタとしては、センサ表面に薄膜を形成しファブリーペロー共振の原理を利用したものを適用することができる。
また、センサ35の画素単位でマルチスペクトルセンサを構成することも可能である。
また、図6に示すように、マルチフィルタ61とマルチカメラ62を組み合わせることで、マルチスペクトルカメラを構成することも可能である。
マルチフィルタ61は、画素単位ではなく、画素群毎に、異なる光を透過させるフィルタとされている。例えば、領域A乃至Hは、それぞれa×b個の画素群の大きさとされ、マルチカメラ62の対応する領域は、対応する領域A乃至Hの大きさと同一の大きさで構成されている(a×b個の画素群が配置されている)。
さらに、図7に示すように、マルチレンズアレイ71(図2におけるレンズ32に該当する)、マルチフィルタ72を組み合わせることで、マルチスペクトルカメラを構成することも可能である。
マルチレンズアレイ71には、凸レンズが二次元状に配置されており、マルチレンズアレイ71に入射した光束は、マルチフィルタ72に光源像を二次元状に形成(マルチレンズアレイ171を構成するレンズ毎に光源像を形成)する。
マルチフィルタ72は、図6のマルチフィルタ61と同じく、複数の領域に分割されたフィルタであり、この場合、マルチレンズアレイ71の1つのレンズに対応した領域毎に分割されているフィルタとされている。または、マルチフィルタ72は、図3のMSフィルタ34と同じく、画素毎に所定の波長を透過するフィルタとされている。
図6または図7に示したマルチカメラの場合、マルチフィルタ61(72)の特性としては、図4に示したような特性を有するフィルタとすることもできるし、図5に示したような特性を有するフィルタとすることもできる。さらに、図8に示すような特性を有する超狭帯域のマルチフィルタ61(72)でも良い。
図8に示すような特性を有するフィルタは、ダイクロイック・フィルタなどと呼ばれ、屈折率の異なる誘電体の多層膜により構成することができる。
本技術は、これらのマルチカメラのいずれにも適用する(用いる)ことができる。ここでは、図4に示したような特性を有するフィルタを用いた場合を例に挙げ、図3に示したように、MSフィルタ34とセンサ35から構成されるマルチカメラを用いた場合を例に挙げて説明を続ける。
図2に示した撮像装置11の構成の説明に戻り、信号処理部36は、センサ35から出力されるデータに対し、データを並び替える処理などの所定の信号処理を施し、反射率算出部37に出力する。反射率算出部37は、処理後の信号を用いて、撮像された被写体からの反射光に対する反射率を算出する。
露光制御部31は、データベース38で保持されているデータを用いて、露光部33とセンサ35を制御する。データベース38には、モード情報51、被写体反射分光特性代表値52、MSセンサ分光特性53、および露光制御係数54が記憶されている。これらの情報は、関連付けられてデータベース38に記憶されている。
モード情報51は、撮像対象とされる被写体(物体)を特定するための情報(物体情報、特定情報)である。例えば、被写体(センシング対象)が、植物であると特定された場合、植生モードが設定され、構造物であると特定された場合、構造物モードが設定され、食品であると特定された場合、食品モードが設定される。例えば、植生モードとは、植生をセンシングするモードであり、植生をセンシングするのに適したモードとされている。
植生をセンシングするのに適したモードとは、植生以外の被写体、例えば、植生以外の構造物などは、露光オーバなどの原因により最適に撮像できなくとも良いモードとされ、植生は最適な露光量で撮像されるモードである。
データベース38には、設定される可能性のあるモード(センシングの対象となる被写体)が、予めモード情報51として記憶されている。
また、モードは、ユーザにより設定され、その設定されたモードに対応するモード情報51と関連付けられている他の情報、例えば、被写体反射分光特性代表値52が読み出されるように構成されている。
または、モードは、撮像装置11側でユーザの手を煩わすこと無く設定されるようにしても良い。例えば、撮像装置11で、サンプルとして画像を撮像し、その画像を解析することで、設定されるようにしても良い。例えば、画像を解析し、構造物が多く写っている画像であると判定された場合、構造物モードに設定されるなど、被写体に応じたモードが設定されるようにすることもできる。
被写体反射分光特性代表値52は、モードに応じた代表値であり、測定対象とされている被写体からの反射光に関する代表値である。例えば、被写体反射分光特性代表値52は、植生モードである場合、植生に関する代表値であり、植物に太陽光が照射されたときに、反射される光の成分(分光特性)に関する代表値である。
さらに例えば、植生モードである場合、植生として良い植生と悪い植生(生育が良い植物と悪い植物)により反射率が異なる(特性が異なる)ため、同一の植物を測定対象として反射率を測定しても、得られる値にはばらつきがある。
このばらつきを考慮した値が、被写体反射分光特性代表値52とされている。例えば、植生モードで所定の植物を測定したときに取り得る反射率の上限値と下限値の中間値を、被写体反射分光特性代表値52とすることができる。
なお、ここでは、中間値を被写体反射分光特性代表値52とする例を挙げたが、中間値以外の値、例えば、上限値に近い値や、下限値に近い値などを、被写体反射分光特性代表値52としても良い。
図9に、植生とコンクリートを、それぞれ測定対象としたときの、波長と反射率の関係を示すグラフを示す。図9中、横軸が波長を示し、縦軸が反射率を示す。また、図9中、実線で示したグラフは、測定対象を植生としたとき(植生モードのとき)に得られた結果を表し、点線で示したグラフは、測定対象をコンクリートとしたとき(構造物モードとしたとき)に得られた結果を表す。
例えば、植生モードのとき(モード情報51=植生モードのとき)には、データベース38から、図9の実線で示したようなグラフの値が、被写体反射分光特性代表値52として読み出され、露光制御部31に供給される。
また例えば、構造物モードのとき(モード情報51=構造物モードのとき)には、データベース38から、図9の点線で示したようなグラフの値が、被写体反射分光特性代表値52として読み出され、露光制御部31に供給される。
MSセンサ分光特性53は、MSセンサの分光特性を示す情報である。MSセンサは、MSフィルタ34とセンサ35の組み合わせからなるセンサであり、上記したように、例えば、1単位画素において、8種類の波長の信号を受光するセンサである。よって、MSセンサ分光特性53は、MSフィルタ34の透過率と、センサ35の感度の影響を受けた特性となる。
MSセンサ分光特性53は、例えば、図10に示すような特性である。図10には、波長A乃至Hの波長毎の分光特性を示した。図10中、横軸は、波長を表し、縦軸は、透過率を表す。透過率の値は、MSフィルタ34の透過率とセンサ35の感度を乗算した値である。また、センサ35の感度は、基準として設定された感度に対する感度であり、正規化された感度が用いられる。
分光特性は、モードに依存しないため、データベース38には、MSセンサに対応した分光特性のデータが記憶され、どのモードに設定されても、同一のデータが、データベース38から読み出され、露光制御部31に供給される。
露光制御係数54は、モード毎に設定されている係数であり、測定対象とされている被写体を撮像したときに露光オーバとならないように露光値を設定するための係数である。
露光制御部31は、照度センサ12から供給される照度値と、データベース38から供給される情報を用いて、測定対象とされている被写体を撮像したときに露光オーバとなることがないような最適な露光値を設定し、その設定した露光値に基づき、露光部33の絞りやセンサ35のシャッタースピードを制御する。
なお露光値とは、露光制御部31が、適切な露光量で撮像が行われるようにするために、露光部33やセンサ35を制御するときの制御値の組合せである。具体的には、露光部33の絞りを制御する制御値、センサ35のシャッタースピードを制御する制御値、およびセンサ35のゲイン(感度)を制御する制御値の組合せが、露光値である。
適切な露光量とは、露光がオーバしない露光量である。露光量は、感度、絞り、シャッタースピードを調整することで設定される。感度は、センサ35のゲインである。絞りは、レンズ32の絞りの開口量である。シャッタースピードは、センサ35の露光時間である。
露光制御部31は、露光値に基づき、露光部33の絞り、センサ35のシャッタースピードとゲインの制御を行う。
<撮像装置の動作>
図11を参照し、撮像装置11の動作の概略について説明する。
太陽101からの太陽光102は、植物103、道路104に照射されるとともに、照度センサ12にも照射される。照度センサ12は、照射された太陽光102の照度を計測する。
植物103に照射された太陽光102の一部は、植物103により反射され、その反射光105は、撮像装置11に受光される。また、道路104に照射された太陽光102の一部は、道路104により反射され、その反射光106は、撮像装置11に受光される。
ここで、図9を再度参照する。図9に示したように、植物103と道路104(コンクリート)とでは、同一の波長の光が照射されたときの反射率は異なる。例えば、図9中、点線で示したコンクリートの反射率は、実線で示した植生の反射率よりも高い。
また、図9中、点線で示したコンクリートの反射率は、光の波長にかかわらず、略一定の反射率を有するが、実線で示した植生の反射率は、特定の光の波長で急峻に変化する。図9から、植物を測定対象とした場合、700nm以上の波長の光であると、反射率が高くなることが読み取れる。
このように、同一の太陽光102を照射したときであっても、植物103からの反射光105と、道路104からの反射光106では異なり、反射率を測定した結果を比較することで、被写体の種類を判別することができる。
撮像装置11は、測定対象が、植物103(植生)の場合、植生モードとし、植物103を撮像するのに適した露光値を設定する。また、撮像装置11は、測定対象が、道路104(コンクリート)の場合、構造物モードとし、道路104を撮像するのに適した露光値を設定する。ここで、適した露光値とは、上記したように、測定対象とされている被写体を撮像したときに、露光オーバとならないような露光値である。
図12に示したフローチャートを参照し、撮像装置11の動作、換言すれば、露光値を設定するまでの動作について説明する。
ステップS11において、撮像装置11は、照度センサ12から、照度値を取得する。例えば、図13に示したような太陽光102の分光特性を取得する。図13に示したグラフは、太陽光102の分光特性を示し、横軸は光の波長を示し、縦軸は光の強度を示す。
照度センサ12と撮像装置11は、例えば無線により太陽光102の分光特性(照度値)を授受できる構成とされており、ステップS11において、照度センサ12で取得された照度値は、撮像装置11に供給される。なお、照度センサ12を含まないシステムにおいては、図13に示したような太陽光102の分光特性の代表的な一例を保持しておき、その保持されている分光特性が用いられるようにしても良い。
ステップS12において、MSセンサの出力予測値が算出される。撮像装置11の露光制御部31は、照度センサ12からの照度値と、データベース38からの、被写体反射分光特性代表値52とMSセンサ分光特性53を取得する。
データベース38からは、設定されているモード、例えば、植生モードに設定されている場合には、植生の被写体反射分光特性代表値52、例えば、図9の実線で示したグラフが、露光制御部31に供給される。また、例えば、構造物モードに設定されている場合には、構造物(コンクリート)の被写体反射分光特性代表値52、例えば、図9の点線で示したグラフが、露光制御部31に供給される。
また、MSセンサ分光特性53として、データベース38から読み出され、露光制御部31に供給されるデータは、図10に示したようなデータである。
露光制御部31は、これらのデータを用いて、MSセンサの出力予測値、換言すれば、センサ35(図2)から出力される値を予測した予測値を算出する。この算出は、次式(1)に基づき算出される。
Figure 0007127647000001
式(1)において、Nは、フィルタ数を表し、例えば、図3に示したように、8波長を選択的に受光するセンサである場合、N=8となる。また式(1)において、Light(band 1~N)は、光源の分光特性であり、この場合、照度センサ12から供給される照度値である。
また式(1)において、Reflectance(band 1~N)は、被写体の反射率であり、この場合、データベース38から読み出される被写体反射分光特性代表値52である。また式(1)において、MSFilter(band 1~N)は、マルチスペクトルセンサの各画素のフィルタの分光特性であり、この場合、データベース38から読み出されるMSセンサ分光特性53である。
また式(1)において、(制御値積)は、露光部33の絞りを制御する制御値、センサ35の露光時間を制御する制御値、およびセンサ35のゲイン(感度)を制御する制御値をそれぞれ正規化した値の積である。また式(1)において、(所定の係数)は、センサ35の光電変換に関する係数である。
式(1)は、これらの値をバンド(band)毎に乗算し、さらにバンド幅(w)で積分したものの総和(Σ(band1~N))となり、この総和が、画素(センサ35)から出力される値の予測値として算出される。
予測値を算出するときには、制御値積は、例えば、照度センサ12から得られる照度値に応じて予め設定されている値が用いられる。
このような演算が行われた結果の一例を、図14に示す。図14には、植生の場合の予測値と、コンクリートの場合の予測値を示した。図14では、説明のため、植生とコンクリートを同一図面に図示したが、ステップS12(図12)において算出される予測値は、そのときに設定されているモードに対応する予測値のみが算出される。すなわち、植生モードのときには、植生に関する予測値が算出され、構造物モードのときには、構造物に関する予測値が算出される。
図14に示したグラフにおいて、太線で示したグラフは、植生モードのときの予測値を示し、斜線入りで示したグラフは、構造物モードのときの予測値を示す。また、図14に示したグラフにおいて、縦軸は、予測値を示し、横軸は、波長(波長帯域)を示し、a乃至hの8個の波長帯域に分類されている。
図14を参照するに、波長毎に、異なる予測値が算出されていることが読み取れる。また、構造物(コンクリート)と植生とでは、異なる予測値が算出されることも読み取れる。
図14に示したグラフにおいては、8個の波長帯域毎に予測値が算出される例を示した。この8個の波長帯域(8個の予測値)は、図3に示したようにMSセンサで、8個の波長をそれぞれ受光する8画素で、1単位画素を構成した場合であり、各画素が受光する8個の波長毎に、予測値が算出される場合を示している。
例えば、波長帯域aの予測値は、波長A(図3)を含む波長帯域の予測値とされ、波長帯域bの予測値は、波長B(図3)を含む波長帯域の予測値とされる。また、波長帯域cの予測値は、波長C(図3)を含む波長帯域の予測値とされ、波長帯域dの予測値は、波長D(図3)を含む波長帯域の予測値とされる。
また、波長帯域eの予測値は、波長E(図3)を含む波長帯域の予測値とされ、波長帯域fの予測値は、波長F(図3)を含む波長帯域の予測値とされる。波長帯域gの予測値は、波長G(図3)を含む波長帯域の予測値とされ、波長帯域hの予測値は、波長H(図3)を含む波長帯域の予測値とされる。
ここでは、このような関係が満たされているとして説明を続ける。このように、1単位画素の分光特性(MSセンサの分光特性)が8通りである場合、8個の予測値が算出される。
図12のフローチャートの説明に戻り、ステップS12において、MSセンサの出力予測値が算出されると、ステップS13に処理が進められる。ステップS13において、最大波長が検出される。最大波長は、出力予測値が最大値を有する波長(波長帯域)とされる。
例えば、図14に示したような予測値が算出された場合であり、構造物モード(コンクリート)のときには、波長帯域bの予測値が、最大値として検出され、波長帯域bの画素Bが最大値を取る可能性がある分光特性画素として特定される。
また例えば、図14に示したような予測値が算出された場合であり、植生モードのときには、波長帯域hの予測値が、最大値として検出され、波長帯域hの画素Hが最大値を取る可能性がある分光特性画素として特定される。
ステップS14において、露光値が決定される。露光値は、上記したように、露光部33の絞りを制御する制御値、センサ35のシャッタースピードを制御する制御値、およびセンサ35のゲイン(感度)を制御する制御値の組合せである。
出力予測値が最大の波長帯域の分光特性画素が検出され、その分光特性画素が露光オーバしないような露光値が設定され、その設定された露光値で露光制御が行われれば、他の波長帯域の分光特性画素は、露光オーバすることはない。
例えば、上記した例のように、植生モードのときには、波長帯域hに対応する出力予測値が、最大値として検出され、波長帯域hに対応する画素Hが最大値を取る可能性がある分光特性画素として特定される。このとき、画素Hが露光オーバしないように露光値が設定され、この露光値で露光制御されることで露光オーバすることはない。画素Hの出力予測値よりも低い出力予測値を取り得る可能性がある画素H以外の画素(この場合、画素A乃至G)についても同様に、その設定された露光値で露光制御されることで、露光オーバすることはない。
このように、出力予測値が最大の波長帯域の分光特性画素が検出されるが、出力予測値は、上記したように、被写体反射分光特性代表値52が用いられて算出されている。例えば、植生モードのときには、植物の反射率の代表値(被写体反射分光特性代表値52)を用いて、出力予測値が算出されるが、代表値であるため、算出された出力予測値には、誤差が含まれる可能性がある。
換言すれば、植物の反射率を測定した場合、その反射率には、ある範囲内でばらつきがあるが、例えば、その範囲内の中央値を代表値として用いて、出力予測値を算出しているため、出力予測値に誤差が含まれる可能性がある。
露光制御係数54は、出力予測値(この場合、ステップS13で設定された最大波長における出力予測値)の予測誤差を吸収するための係数である。
さらに露光オーバにならないように露光値を設定することついて説明を加える。センサ35(図2)からの出力値は、例えば以下の式により求めることができる。
出力値=(光源の分光特性)×(被写体の分光特性)×(センサの分光特性)×(制御値積)×(所定の係数)
光源の分光特性は、例えば、図13に示したような特性であり、被写体に照射されている光、例えば太陽光の分光特性である。被写体の分光特性は、被写体の反射率であり、例えば、図9に示したような特性であり、被写体により異なる反射率が得られ、そのような特性のことである。
センサの分光特性は、例えば、図10に示したようなMSフィルタ34とセンサ35とからなるMSセンサの特性であり、MSフィルタ34の透過率とセンサの感度を乗算した特性となる。
制御値積は、露光制御部31で設定された制御値の組合せ(露光値)の各制御値を正規化した積であり、所定の露光量を実現するための露光制御を行えるようにするための値である。各制御値とは、露光部33の絞りの開口量(絞り値)、センサ35のゲイン(感度に相当)、およびセンサ35の露光時間(シャッタースピード)である。
所定の係数は、センサ35の光電変換に関する係数である。
この式で求められる出力値が、露光オーバとなる所定の閾値を超えないように、制御値積が設定される。制御値積は、各制御値を正規化した積であり、また露光値は制御値の組合せであるため、制御値積が設定されれば、その制御値積になる制御値の組合せを設定する、すなわち露光値を設定することができる。
ステップS12において、MSセンサの出力予測値が算出されるが、上記した説明においては、(光源の分光特性)×(被写体の分光特性)×(センサの分光特性)×(制御値積)×(所定の係数)により算出されるとして説明した。このステップS12における出力予測値は、制御値積と所定の係数を、例えば照度値に応じた予め設定されている値を用いて計算したときの値としてある。また上記したように、ステップS13において、出力予測値が、最大の波長が検出された。
出力予測値が最大の波長の分光特性画素が、露光オーバしなければ、他の画素も、露光オーバしないと考えられる。そこで、最大の出力予測値が露光オーバしない値以下となるように、露光値が設定されるようにする。
所定の閾値>(光源の分光特性)×(被写体の分光特性)×(センサの分光特性)×(制御値積)×(所定の係数)
となるような制御値積(制御値積から導き出される露光値)が設定される。上式において、所定の閾値は、最大の出力予測値が露光オーバしない値として、例えば、事前に設定される。
制御値積は、照度センサ12から得られる照度値に応じた値が設定される。制御値積は、絞りやシャッタースピードを制御するための制御値を正規化した値の積であるが、照度センサ12から得られる照度値に応じた制御値の組み合わせによる積(制御値積)は、予め設定されていてもよい。
例えば、絞りは、アイリスを開放と設定し、シャッタースピードは固定とし、ゲイン(感度)を、1倍、2倍、3倍などと調整することで、所望とされる露光量を実現する制御値積(その制御値積を実現する制御値の組合せ(露光値))が設定されているようにしても良い。
また例えば、アイリスを開放と設定し、ゲインを固定(例えば、2倍)とし、シャッタースピードを調整することで、所望とされる露光量を実現する制御値積(制御値の組み合わせ)が設定されているようにしても良い。
上記したように、最大の出力予測値が露光オーバしない値以下の値になるように、制御値積は、照度センサ12から得られた照度値に応じて設定された制御値積に、安全係数(露光制御係数54)が乗算された値が用いられる。
すなわち、上記した式の右辺に露光制御係数54が乗算される。
所定の閾値>(光源の分光特性)×(被写体の分光特性)×(センサの分光特性)×(制御値積)×(所定の係数)×(露光制御係数54)
露光制御係数54が、測定対象とされている物体(例えば、植物)に適し、かつ撮影時の明るさに応じた係数とされているため、上式が満たされる制御値積が設定されることで、測定対象とされている物体と撮影時の明るさに適した制御値積が算出され、その制御値積となる制御値の組合せ(露光値)を設定することができる。
図12に示したフローチャートの説明に戻り、ステップS15において、露光制御部31が、算出された露光値(露光値33とセンサ35を制御するそれぞれの制御値)で、露光部33とセンサ35を制御することで、所定の被写体を撮像した画像の信号が、センサ35から信号処理部36(図2)に出力される。
そして、ステップS16において、信号処理部36は、供給された信号に対して信号処理を施す。ステップS17において、信号処理部36は、信号処理結果を、反射率算出部37に出力する。
ステップS18において、反射率算出部37は、反射率を算出し、その算出した反射率を後段の処理部(不図示)に出力する(ステップS19)。ステップS16乃至S19において、信号処理部36と反射率算出部37で行われる処理について説明を加える。
被写体の反射率分光特性は、逆マトリクス演算を行うことで求めることができる。一般的に、光源の分光特性(L(λ)とする)、被写体の分光特性(P(λ)とする)、撮像系の分光特性(S(λ)とする)、撮像された画像(O(λ)とする)との間には、以下の関係式(2)が成り立つ。
(光源の分光特性L(λ))×(被写体の分光特性P(λ))×(撮像系の分光特性S(λ))=(画像(O(λ)) ・・・(2)
光源の分光特性は、照度センサ12から得られる分光特性であり、例えば、図13に示したような太陽光102の分光特性である。被写体の分光特性は、被写体からの反射光から得られる分光特性であり、例えば、図9に示したような植物やコンクリートに太陽光が照射され、反射されたときの、その反射光の分光特性である。
撮像系の分光特性とは、MSセンサ(この場合、MSフィルタ34とセンサ35で構成されるセンサ)の分光特性であり、例えば、図10に示したような分光特性である。
式(2)を変形することで、被写体の分光特性を求める式(3)が得られる。
Figure 0007127647000002
このように式(3)、すなわち、逆マトリクス演算により、被写体の反射率分光特性を求めることができる。
例えば、まず、MSセンサの分光特性(例えば、図10に示したような分光特性)の逆変換により、光源が被写体に照射され、被写体で反射された反射光の分光特性が求められる。例えば、図15に示すような分光特性が求められる。図15に示したグラフは、横軸が波長、縦軸が強度を表し、図13に示したような太陽光102の分光特性が得られたときに、植生やコンクリートといった被写体で反射した反射光の分光特性をグラフ化したグラフである。
被写体の反射光の分光特性は、信号処理部36により演算され、その処理結果として、反射率算出部37に供給される。反射率算出部37は、信号処理部36から供給された被写体の反射光の分光特性を用いて、反射率を算出する。反射率は、次式(4)により求められる。
反射率=(被写体の反射光の分光特性)/(光源の分光特性)
・・・(4)
式(4)において、(被写体の反射光の分光特性)は、信号処理部36において式(3)に基づく演算が行われることで生成され、出力された分光特性であり、(光源の分光特性)は、照度センサ12から得られた、例えば、太陽光102の分光特性である。
このようにして、被写体の反射率が求められる。求められた反射率の一例を、図16に示す。図16は、図9に示した反射率のグラフと同じく、横軸は波長を表し、縦軸が反射率を表す。また、図16中、実線で示したグラフは、植生を表し点線で示したグラフは、コンクリートを表す。
図16では、波長として、9個の波長と、それぞれの波長で算出された反射率を示している。MSセンサは、8波長であり、それぞれの波長の画像が生成されるが、この8波長以外の画像であっても、上記した式(3)に基づく演算を行うことで、生成することができる。
換言すれば、MSセンサから得られる画像(画像データ)を用いて、所望とされる波長の画像を生成することができる。よって、MSセンサが8波長であっても、図16に示すように、9個の反射率を算出することもできる。また、反射率が算出される波長は、MSセンサのMSフィルタ34を透過する波長以外の、所望とされる波長とすることができる。
このようにして、被写体の反射率が求められる。反射率は、同一の植物であっても、生育具合などに依存して異なるため、例えば、求められた反射率から、植物の生育具合を判断したり、反射率の分布(画像)から、生育のよい場所と、悪い場所を判断したりすることができる。
上記したように、予測値を求め、露光値(露光部33とセンサ35をそれぞれ制御する制御値)を設定することで、露光オーバすることなく、撮像が望まれている被写体を撮像する(センシングする)ことができる。すなわち、上記したように、データベース38に、モード情報51、被写体反射分光特性代表値52、MSセンサ分光特性53、および露光制御係数54を保持するようにし、これらの情報を用いて、露光制御を行うことで、露光オーバすることなく、撮像が望まれている被写体を撮像することができる。
撮像が望まれている被写体を撮像することができるとは、例えば、植生モードのときには、植生を測定したい植物は、露光オーバすることなく撮像できることを意味し、コンクリートなどの植物とは別の物体は、露光オーバして撮像される可能性もあることを含む撮像である。
換言すれば、センシング対象とされた物体は、適切な露光量で露光制御されて撮像されるが、センシング対象とされていない物体に対しては、適切でない可能性のある露光量で露光制御されて撮像されることもある。
仮に、本技術によらず、撮像が行われた場合、センシング対象とされた物体を、適切ではない露光量で露光制御されて撮像されてしまう可能性もあるが、本技術によれば、センシング対象とされた物体に適した露光量で露光制御されて撮像されるようにすることができる。
<撮像装置の他の構成、動作>
上記した実施の形態においては、データベース38に、モード情報51、被写体反射分光特性代表値52、MSセンサ分光特性53、および露光制御係数54を保持し、照度センサ12からの照度値に応じて、露光値をその都度算出する例を示した。
例えば、データベース38にテーブルを記憶し、そのテーブルから、照度値に応じた露光値(制御値の組合せ)が読み出されるように構成することもできる。
図17は、第2の実施の形態における撮像装置の構成を示す図である。図17に示した撮像装置211は、基本的に、図2に示した撮像装置11と同様の構成を有するため、同様の部分には、同一の符号を付し、その説明は適宜省略する。
図17に示した撮像装置211は、データベース212に変換テーブル231を記憶し、露光制御部213は、変換テーブル231に記載されているデータを用いて露光値を設定する点で、図2に示した撮像装置11と異なり、その他の部分は、図2に示した撮像装置11と同様の構成を有する。
変換テーブル231は、図18に示すように、代表的な光源のM通りのパターンと、測定対象とされるN通りの物体(モード)の情報を関連付けたM×Nマトリクスのテーブルとされる。
代表的な光源のパターンとしては、例えば、図19に示すようなパターンがある。図19に示したグラフは、太陽光の分光特性を示すグラフであるが、図中(a)は、夏の太陽光の分光特性を示し、(b)は、夕方の太陽光の分光特性を示し、(c)は、日陰の太陽光の分光特性を示し、(d)は、曇りの太陽光の分光特性を、それぞれ示す。
光源(太陽光)のパターンとして、このようなパターンがM通り、変換テーブル231に記載されている。
N通りの物体とは、例えば、植生、構造物、食品といった測定対象となる物体であり、変換テーブル231には、N個の物体情報(測定対象の種類を特定する特定情報)が記載されている。換言すれば、上記したモードに該当し、N通りのモードが、変換テーブル231に記載されている。
変換テーブル231は、M通りの光源の分光特性のパターンと、N通りのモードが関連付けられたM×Nマトリクスのテーブルであり、光源の分光特性とモード(物体情報)により、一意に露光値が決定されるテーブルである。
なお、例えば空撮により画像を取得するような場合、天候が良い日中に行われる可能性が高く、そのような撮像時の条件がある程度絞り込まれているような場合、上記した光源のM通りのパターンのパターン数は、その絞り込まれた数とすることができ、変換テーブル231に記載されるパターン数Mを少なくすることができる。
また、光源のパターンは、代表的な1パターンとし、測定対象の種類を特定する特定情報からなる変換テーブル231が用いられるようにしても良い。この場合、変換テーブル231は、特定情報、例えば、モードに関する情報から、一意に露光値が決定されるテーブルとされる。
M通利の光源の分光特性のパターンが記載された変換テーブル231が用いられる場合、例えば、変換テーブル231に記載されているM通りのパターンと、照度センサ12からの照度値との比較が行われ、一致度が高いパターンが、M通りのパターンから選択される。そして、その選択されたパターンと、設定されているモード(物体情報)により、一意に決定される露光値が、変換テーブル231から読み出される構成に、撮像装置211の構成はされている。
図20に示したフローチャートを参照し、撮像装置211の動作について説明する。
ステップS101において、撮像装置211は、照度センサ12から、照度値を取得する。ステップS102において、撮像装置211の露光制御部213は、データベース212から、露光値を読み出す。
露光制御部213は、供給された照度値と一致(類似)するパターンを、M×Nマトリクスの変換テーブル231から検出する。
例えば、供給された照度値(分光特性)が、曇りの太陽光の分光特性と一致(類似)している場合、曇りの太陽光のパターンであると検出される。また露光制御部213は、その時点で設定されているモード(測定対象とされている被写体)についての情報も取得している。
露光制御部213は、検出された光源のパターンと、設定されているモードに関連付けられている露光値を読み出す。変換テーブル231から露光値が読み出されると、処理は、ステップS104に進められる。
ステップS104乃至S107の処理は、図12に示したフローチャートのステップS15乃至S19の処理と同様に行われるため、その説明は省略する。
このように、変換テーブル231をデータベース212に記憶し、露光値を読み出すように構成した場合も、第1の実施の形態における撮像装置11と同じく、センシング対象とされた物体に適した露光値を設定することができる。
また、変換テーブル231をデータベース212に記憶し、露光値を読み出す構成とすることで、第1の実施の形態における撮像装置11のように露光値を算出する場合と比較して、照度値を取得してから露光値を設定するまでの時間を短縮することができる。
本技術によれば、センシング対象とした被写体に適した露光値を設定することができ、適切な撮像を行うことが可能となる。
また、本技術によれば、例えば、撮像した画像を解析し、その画像内でセンシング対象となっている被写体を検出し、その被写体に適した露光値を設定するのではないため、例えば、画像を解析する必要が無く、露光値を設定するまでに係る時間を短くしたり、処理負担を低減させたりすることもでき、かつ、上記したように、センシング対象とした被写体に適した露光値を設定することができる。
<記録媒体について>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図21は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、及びドライブ1010が接続されている。
入力部1006は、キーボード、マウス、マイクロフォンなどよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
分光特性が異なる複数の画素を含む撮像部と、
測定対象の種類を特定する特定情報に応じて、前記複数の画素に対する露光の制御に関する情報を設定する露光制御部と
を備える撮像装置。
(2)
前記露光制御部は、設定した前記情報に基づいて前記撮像部を制御する
前記(1)に記載の撮像装置。
(3)
前記情報は、前記複数の画素の露光時間または感度である
前記(1)または(2)に記載の撮像装置。
(4)
前記撮像部は、絞りを備え、
前記情報は、前記絞りの開口量である
前記(1)乃至(3)のいずれかに記載の撮像装置。
(5)
前記測定対象の種類は、ユーザにより特定される
前記(1)乃至(4)のいずれかに記載の撮像装置。
(6)
前記特定情報に応じた前記情報を記憶する記憶部をさらに備え、
前記露光制御部は、前記記憶部から前記情報を読み出す
前記(1)乃至(5)のいずれかに記載の撮像装置。
(7)
前記露光制御部は、
前記測定対象の分光特性、前記画素の分光特性、および光源の分光特性を用いて、前記画素からの出力を予測した予測値を算出し、
前記予測値を用いて、前記情報を設定する
前記(1)に記載の撮像装置。
(8)
前記光源の分光特性は、照度値センサで測定された値である
前記(7)に記載の撮像装置。
(9)
前記情報は、前記予測値が最も高い前記画素が、露光オーバしない値に設定される
前記(7)に記載の撮像装置。
(10)
分光特性が異なる複数の画素を含む撮像部で撮像を行う撮像装置が、
測定対象の種類を特定する特定情報に応じて、前記複数の画素に対する露光の制御に関する情報を設定する
撮像方法。
(11)
分光特性が異なる複数の画素を含む撮像部を備える撮像装置を制御するコンピュータに、
測定対象の種類を特定する特定情報に応じて、前記複数の画素に対する露光の制御に関する情報を設定する
ステップを含む処理を実行させるためのプログラム。
(12)
分光特性が異なる複数の画素を含む撮像部と、
測定対象に関する分光特性に基づく前記複数の画素の各々の出力予測値に基づいて、前記複数の画素に対する露光の制御に関する情報を設定する露光制御部と
を備える撮像装置。
(13)
前記露光制御部は、設定した前記情報に基づいて前記撮像部を制御する
前記(12)に記載の撮像装置。
(14)
前記情報は、前記複数の画素の露光時間または感度である
前記(12)または(13)に記載の撮像装置。
(15)
前記撮像部は、絞りを備え、
先記情報は、前記絞りの開口量である
前記(12)乃至(14)のいずれかに記載の撮像装置。
(16)
前記測定対象は、ユーザにより設定される
前記(12)乃至(15)のいずれかに記載の撮像装置。
(17)
前記測定対象に応じた前記情報を記憶する記憶部をさらに備え、
前記露光制御部は、前記記憶部から前記情報を読み出す
前記(12)乃至(16)のいずれかに記載の撮像装置。
(18)
前記露光制御部は、前記出力予測値を、前記測定対象の分光特性、前記画素の分光特性、および光源の分光特性を用いて算出し、
前記出力予測値を用いて、前記情報を設定する
前記(12)に記載の撮像装置。
(19)
前記光源の分光特性は、照度値センサで測定された値である
前記(18)に記載の撮像装置。
(20)
前記情報は、前記出力予測値が最も高い前記画素が、露光オーバしない値に設定される
前記(12)乃至(19)のいずれかに記載の撮像装置。
11 撮像装置, 12 照度センサ, 31 露光制御部, 32 レンズ, 33 露光部, 34 MSフィルタ, 35 センサ, 36 信号処理部, 37 反射率算出部, 38 データベース, 211 撮像装置, 212 データベース, 213 露光制御部, 231 変換テーブル

Claims (18)

  1. 分光特性が異なる複数の画素を含む撮像部と、
    測定対象の種類を特定する特定情報に応じて、前記複数の画素に対する露光の制御に関する情報を設定する露光制御部と
    を備え
    前記露光制御部は、
    前記測定対象の分光特性、前記画素の分光特性、光源の分光特性、制御値積、および所定の係数を乗算することで、前記画素からの出力値を算出し、
    前記出力値を用いて、前記情報を設定する
    撮像装置。
  2. 前記露光制御部は、設定した前記情報に基づいて前記撮像部を制御する
    請求項1に記載の撮像装置。
  3. 前記情報は、前記複数の画素の露光時間または感度である
    請求項1に記載の撮像装置。
  4. 前記撮像部は、絞りを備え、
    前記情報は、前記絞りの開口量である
    請求項1に記載の撮像装置。
  5. 前記測定対象の種類は、ユーザにより特定される
    請求項1に記載の撮像装置。
  6. 前記特定情報に応じた前記情報を記憶する記憶部をさらに備え、
    前記露光制御部は、前記記憶部から前記情報を読み出す
    請求項1に記載の撮像装置。
  7. 前記光源の分光特性は、照度値センサで測定された値である
    請求項に記載の撮像装置。
  8. 前記情報は、前記出力値が最も高い前記画素が、露光オーバしない値に設定される
    請求項に記載の撮像装置。
  9. 分光特性が異なる複数の画素を含む撮像部で撮像を行う撮像装置が、
    測定対象の種類を特定する特定情報に応じて、前記複数の画素に対する露光の制御に関する情報を設定し、
    前記情報を、
    前記測定対象の分光特性、前記画素の分光特性、光源の分光特性、制御値積、および所定の係数を乗算することで、前記画素からの出力値を算出し、
    前記出力値を用いて設定する
    撮像方法。
  10. 分光特性が異なる複数の画素を含む撮像部を備える撮像装置を制御するコンピュータに、
    測定対象の種類を特定する特定情報に応じて、前記複数の画素に対する露光の制御に関する情報を設定する
    ステップを含み、
    前記情報を、
    前記測定対象の分光特性、前記画素の分光特性、光源の分光特性、制御値積、および所定の係数を乗算することで、前記画素からの出力値を算出し、
    前記出力値を用いて設定する
    ステップを含む処理を実行させるためのプログラム。
  11. 分光特性が異なる複数の画素を含む撮像部と、
    測定対象に関する分光特性に基づく前記複数の画素の各々の出力値に基づいて、前記複数の画素に対する露光の制御に関する情報を設定する露光制御部と
    を備え
    前記露光制御部は、
    前記測定対象の分光特性、前記画素の分光特性、光源の分光特性、制御値積、および所定の係数を乗算することで、前記出力値を算出し、
    前記出力値を用いて、前記情報を設定する
    撮像装置。
  12. 前記露光制御部は、設定した前記情報に基づいて前記撮像部を制御する
    請求項11に記載の撮像装置。
  13. 前記情報は、前記複数の画素の露光時間または感度である
    請求項11に記載の撮像装置。
  14. 前記撮像部は、絞りを備え、
    先記情報は、前記絞りの開口量である
    請求項11に記載の撮像装置。
  15. 前記測定対象は、ユーザにより設定される
    請求項11に記載の撮像装置。
  16. 前記測定対象に応じた前記情報を記憶する記憶部をさらに備え、
    前記露光制御部は、前記記憶部から前記情報を読み出す
    請求項11に記載の撮像装置。
  17. 前記光源の分光特性は、照度値センサで測定された値である
    請求項11に記載の撮像装置。
  18. 前記情報は、前記出力値が最も高い前記画素が、露光オーバしない値に設定される
    請求項11に記載の撮像装置。
JP2019534025A 2017-08-01 2018-07-18 撮像装置、撮像方法、並びにプログラム Active JP7127647B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017148857 2017-08-01
JP2017148857 2017-08-01
PCT/JP2018/026825 WO2019026618A1 (ja) 2017-08-01 2018-07-18 撮像装置、撮像方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2019026618A1 JPWO2019026618A1 (ja) 2020-08-20
JP7127647B2 true JP7127647B2 (ja) 2022-08-30

Family

ID=65232672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019534025A Active JP7127647B2 (ja) 2017-08-01 2018-07-18 撮像装置、撮像方法、並びにプログラム

Country Status (6)

Country Link
US (1) US11570371B2 (ja)
EP (1) EP3664444A4 (ja)
JP (1) JP7127647B2 (ja)
CN (1) CN110999283B (ja)
AU (1) AU2018309904A1 (ja)
WO (1) WO2019026618A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690106B1 (ja) * 2019-03-26 2020-04-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、撮像システム、及び移動体
US20220366668A1 (en) * 2019-10-30 2022-11-17 Sony Group Corporation Image processing apparatus, image processing method, and image processing program
JP2021190785A (ja) * 2020-05-28 2021-12-13 セイコーエプソン株式会社 撮像装置、携帯型端末装置、及び撮像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011114662A (ja) 2009-11-27 2011-06-09 Sony Corp 画像処理装置、画像処理方法、プログラム、及び、記録媒体
WO2016208415A1 (ja) 2015-06-26 2016-12-29 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
JP2017011459A (ja) 2015-06-19 2017-01-12 パナソニックIpマネジメント株式会社 撮像装置及び画像処理方法
WO2017010261A1 (ja) 2015-07-10 2017-01-19 ソニー株式会社 検査装置、検査方法、及び、プログラム
WO2017010258A1 (ja) 2015-07-10 2017-01-19 ソニー株式会社 検査装置、検査方法、及び、プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999650A (en) 1996-11-27 1999-12-07 Ligon; Thomas R. System for generating color images of land
JP2002369059A (ja) * 2001-06-06 2002-12-20 Olympus Optical Co Ltd 電子カメラ
KR100551987B1 (ko) * 2003-04-02 2006-02-14 주식회사 씨앤비텍 저조도 조건에서의 자동 초점조절 방법
JP4832899B2 (ja) * 2006-01-05 2011-12-07 イーストマン コダック カンパニー ゲイン算出装置
JP4304628B2 (ja) * 2006-01-31 2009-07-29 ソニー株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御方法のプログラム、撮像装置の制御方法のプログラムを記録した記録媒体
JP5040600B2 (ja) * 2007-11-09 2012-10-03 カシオ計算機株式会社 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
US8063976B2 (en) * 2007-07-24 2011-11-22 Casio Computer Co., Ltd. Image pick-up apparatus and method of controlling the image pick-up apparatus
US7830425B2 (en) * 2008-07-11 2010-11-09 Cmos Sensor, Inc. Areal active pixel image sensor with programmable row-specific gain for hyper-spectral imaging
JP5185150B2 (ja) * 2009-02-04 2013-04-17 富士フイルム株式会社 携帯機器および操作制御方法
JP2011147469A (ja) * 2010-01-19 2011-08-04 Rohm Co Ltd 生体情報取得装置
JP2012163482A (ja) 2011-02-08 2012-08-30 System Instruments Kk 光量子計
US8670620B2 (en) * 2011-08-10 2014-03-11 National Ict Australia Limited Decomposing hyperspectral or multispectral image data
US10356336B2 (en) * 2011-08-10 2019-07-16 National Ict Australia Limited Automatic exposure control for cameras
KR20140024707A (ko) * 2012-08-21 2014-03-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
CN103091296B (zh) * 2013-01-23 2015-06-17 浙江大学 基于光谱成像技术的植物健康状况检测方法及其装置
KR101871034B1 (ko) * 2013-02-13 2018-07-19 유니버시타트 데스 사를란데스 플렌옵틱 이미징 장치
EP2979134B1 (en) 2013-03-28 2020-04-15 National ICT Australia Limited Automatic exposure control for cameras
AU2014361105A1 (en) 2013-12-10 2016-06-30 Bae Systems Plc Data processing method and system
CN105222725B (zh) * 2015-09-24 2017-08-22 大连理工大学 一种基于光谱分析的高清图像动态采集方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011114662A (ja) 2009-11-27 2011-06-09 Sony Corp 画像処理装置、画像処理方法、プログラム、及び、記録媒体
JP2017011459A (ja) 2015-06-19 2017-01-12 パナソニックIpマネジメント株式会社 撮像装置及び画像処理方法
WO2016208415A1 (ja) 2015-06-26 2016-12-29 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
WO2017010261A1 (ja) 2015-07-10 2017-01-19 ソニー株式会社 検査装置、検査方法、及び、プログラム
WO2017010258A1 (ja) 2015-07-10 2017-01-19 ソニー株式会社 検査装置、検査方法、及び、プログラム

Also Published As

Publication number Publication date
EP3664444A1 (en) 2020-06-10
JPWO2019026618A1 (ja) 2020-08-20
US20210144287A1 (en) 2021-05-13
CN110999283B (zh) 2023-02-03
WO2019026618A1 (ja) 2019-02-07
AU2018309904A1 (en) 2020-02-13
US11570371B2 (en) 2023-01-31
CN110999283A (zh) 2020-04-10
EP3664444A4 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
JP7045380B2 (ja) 観察対象物が静止している場合のハイパースペクトルイメージング
US9721357B2 (en) Multi-aperture depth map using blur kernels and edges
US8917349B2 (en) Flash system for multi-aperture imaging
JP5687676B2 (ja) 撮像装置及び画像生成方法
JP7127647B2 (ja) 撮像装置、撮像方法、並びにプログラム
JP4478358B2 (ja) ディジタル画像の輝度調整のためのディジタル画像処理方法及び装置
JP2022501982A (ja) ニューラルネットワークを使用した写真の露出不足補正
JP2022509034A (ja) ニューラルネットワークを使用した輝点除去
US10101206B2 (en) Spectral imaging method and system
US8970728B2 (en) Image pickup apparatus and image processing method
US11017500B2 (en) Image acquisition using time-multiplexed chromatic illumination
WO2017086155A1 (ja) 撮像装置、撮像方法、およびプログラム
US10416026B2 (en) Image processing apparatus for correcting pixel value based on difference between spectral sensitivity characteristic of pixel of interest and reference spectral sensitivity, image processing method, and computer-readable recording medium
WO2020031681A1 (en) Color temperature sensor for ambient light correction
JP6679289B2 (ja) 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体
JP7355008B2 (ja) 分光計測装置、および分光計測方法
US11889175B2 (en) Neural network supported camera image or video processing pipelines
Kenta et al. Radiometric calibration method of the general purpose digital camera and its application for the vegetation monitoring
JP4460717B2 (ja) 色調整装置
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2022163327A1 (ja) 情報処理装置、撮像システム、情報処理方法及びプログラム
JP2012222704A (ja) 撮像装置
Fjellström Laser dazzling of CMOS imaging sensors using amplitude modulated and continuous wave lasers
JP6725060B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6317703B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R151 Written notification of patent or utility model registration

Ref document number: 7127647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151