JP7358817B2 - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、撮像装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP7358817B2
JP7358817B2 JP2019136217A JP2019136217A JP7358817B2 JP 7358817 B2 JP7358817 B2 JP 7358817B2 JP 2019136217 A JP2019136217 A JP 2019136217A JP 2019136217 A JP2019136217 A JP 2019136217A JP 7358817 B2 JP7358817 B2 JP 7358817B2
Authority
JP
Japan
Prior art keywords
band
pixel value
pixel
image
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019136217A
Other languages
English (en)
Other versions
JP2021022758A (ja
Inventor
昌利 高嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2019136217A priority Critical patent/JP7358817B2/ja
Priority to CN202080051464.9A priority patent/CN114145012B/zh
Priority to US17/626,850 priority patent/US11910107B2/en
Priority to PCT/JP2020/021657 priority patent/WO2021014764A1/en
Publication of JP2021022758A publication Critical patent/JP2021022758A/ja
Application granted granted Critical
Publication of JP7358817B2 publication Critical patent/JP7358817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0262Constructional arrangements for removing stray light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • G01J2003/2806Array and filter array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G01J2003/516Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs with several stacked filters or stacked filter-detector pairs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)

Description

本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。具体的には例えば、RGB等の各狭帯域光単位の分離性能を高め、受光信号に含まれるRGB信号等、各波長帯域成分信号を高精度に分離、解析可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。
一般的な撮像装置(カメラ)は、撮像素子(イメージセンサ)にRGBカラーフィルタを介した光を入力する。撮像素子の各画素は、フィルタの各波長光(RGB)対応の入力光強度に応じた画素値を信号処理部に出力する。信号処理部は、撮像素子の出力画素値、すなわちRGB画素値信号を用いてカラー画像を生成する。
撮像素子は多数の画素により構成され、RGBカラーフィルタのR(赤)領域の通過光を受光する画素をR画素、カラーフィルタのG(緑)領域通過光を受光する画素をG画素、カラーフィルタのB(青)領域の通過光を受光する画素をB画素と呼ぶ。
しかし、RGBカラーフィルタの各色(RGB)領域の通過光には、本来、含まれてほしくない波長(色)信号も含まれる。
例えば、RGBカラーフィルタのR(赤)領域の通過光のほとんどはR(赤)成分の波長光となるが、R(赤)以外の緑(G)、青(B)、さらに赤外光(IR)等の波長光もわずかに含まれる。
RGBカラーフィルタのR(赤)以外のG(緑)、B(青)領域の通過光も同様であり、G(緑)フィルタの通過光のほとんどはG(緑)成分の波長光であるが、その他の波長光も含まれ、B(青)フィルタの通過光のほとんどはB(青)成分の波長光であるが、その他の波長光も含まれる。
結果として、RGBカラーフィルタを介した光を入力する撮像素子のRGB各画素の画素値は、RGB各色の信号のみからなる画素値ではなく、その他の色成分であるノイズ成分を含む画素値となってしまう。
このようなノイズ成分を含む画素値に基づいて生成されるカラー画像はノイズ成分を含み、画質が低下してしまう。
さらに、昨今、例えばドローン等に備えられたカメラを用いて農作物や、花、木等の様々な植物を撮影し、撮影画像を解析することで植物の活性度を計測する技術がある。
植物の活性度を示す植生指標として、例えばNDVI(Normalized Difference Vegetation Index)がある。
カメラ撮影画像の解析により、画像内に撮影された植物のNDVIを算出することで、撮影された画像内の植物の活性度を推定することができる。
このNDVI算出処理には、被写体である植物に含まれる色成分を高精度に解析することが必要となる。
しかし、撮像素子の撮影画像のRGB各画素値に上述したノイズ成分が含まれると、高精度なNDVI算出が不可能となり、撮影画像内の植物の活性度を正確に推定することができなくなる。
なお、被写体の色成分解析を高精度に行うためのカメラとしてマルチスペクトルカメラがある。
マルチスペクトルカメラは、カラーフィルタに併せて特定の波長光のみを通過させるバンドパスフィルタ(BPフィルタ)を用いたカメラである。
バンドパスフィルタ(BPフィルタ)とカラーフィルタを通過させた光を撮像素子に入力することで、バンドパスフィルタ(BPフィルタ)を通過する特定の波長光成分を選択的に撮像素子の画素に入力させることが可能となる。
なお、マルチスペクトルカメラについて開示した従来技術として例えば特許文献1(米国特許第7,375,803号公報)がある。
この特許文献1に開示の技術はRGBとIR(赤外)画素を持つ撮像素子を用いて、被写体までの距離を検出する際に、IR成分値を抽出して利用する構成を開示している。
しかし、この特許文献は、カラー画像の高画質化処理や、各色成分の高精度解析処理については開示していない。
米国特許第7,375,803号公報
本開示は、カラーフィルタに併せて特定波長の光等、特定帯域信号を通過させるバンドパスフィルタ(BPフィルタ)を用いて撮影される画像の高画質化処理や、被写体の色成分の高精度解析を可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
前記信号処理部は、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する撮像装置にある。
さらに、本開示の第2の側面は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記信号処理部は、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理装置にある。
さらに、本開示の第3の側面は、
撮像装置において実行する画像処理方法であり、
前記撮像装置は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
前記信号処理部が、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理方法にある。
さらに、本開示の第4の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記信号処理部が、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理方法にある。
さらに、本開示の第5の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記プログラムは、前記信号処理部に、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、ノイズ成分を低減した特定帯域の真の画素値を算出可能とした装置、方法が実現される。
具体的には、例えば、特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、カラーフィルタと、各フィルタの透過光を受光する撮像素子と、信号処理部を有する。マルチバンドパスフィルタは、カラーフィルタの色フィルタ対応の帯域光を選択的に透過させる構成であり、信号処理部は、撮像素子の画素値に基づいて生成した画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータを用いた帯域対応画素値算出式の反復計算を実行して、その収束値を処理対象画素の帯域対応画素値として算出する。
これらの構成により、ノイズ成分を低減した特定帯域の真の画素値を算出可能とした装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
マルチスペクトルカメラの構成例について説明する図である。 マルチスペクトルカメラのフィルタの分光特性の例について説明する図である。 マルチスペクトルカメラの画素値について説明する図である。 RGBIRカラーフィルタの構成例について説明する図である。 ある画像撮影時のRGBIRフィルタと、DBPフィルタの透過光の強度分布と高精度なRGB画素値の算出処理例について説明する図である。 本開示の画像処理装置の一構成例であるマルチスペクトルカメラの構成例について説明する図である。 マルチバンドパスフィルタ(MBP)と、カラーフィルタ(RGBIRカラーフィルタ)の分光特性について説明する図である。 4種類の異なる波長信号A~Dを透過させるABCDカラーフィルタの構成例について説明する図である。 図8に示すABCDカラーフィルタを用いた本開示の画像処理装置の一構成例であるマルチスペクトルカメラの構成例について説明する図である。 マルチバンドパスフィルタ(MBP)と、カラーフィルタ(ABCDカラーフィルタ)の分光特性について説明する図である。 信号処理部の実行する処理について説明する図である。 帯域対応画素値算出式を利用した反復計算による算出値の収束例について説明する図である。 マルチスペクトルカメラが実行する処理のシーケンスについて説明するフローチャートを示す図である。 帯域対応画素値算出式を用いた反復計算の手法について説明する図である。 帯域対応画素値算出式を用いた反復計算の手法について説明する図である。 2つの異なる反射特性を持つ被写体を同じマルチスペクトルカメラで撮影した場合の画素値特性を説明する図である。 ノイズの無い高精度なRGB画像等のカラー画像を生成して出力する場合の画像処理装置としてのマルチスペクトルカメラの一構成例を示す図である。 被写体の色成分の高精度な解析処理を実行する画像処理装置としてのマルチスペクトルカメラの一構成例を示す図である。 植物活性状態を解析するための画像撮影の具体例について説明する図である。 植物活性度指標値について説明する図である。 てカラーフィルタの代わりにマイクロレンズアレイを用いた画像処理装置の構成例について説明する図である。 マイクロレンズアレイ(MLA:Micro Lens Array)について説明する図である。 カラーフィルタの代わりにプラズモンフィルタを用いた画像処理装置の構成例について説明する図である。 本開示の画像処理装置の一例である撮像装置(マルチスペクトルカメラ)の構成例について説明する図である。 本開示の画像処理装置、および画像処理システムの構成例について説明する図である。 本開示の画像処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.マルチスペクトルカメラの概要について
2.本開示の撮像装置、画像処理装置の構成と処理について
3.本開示の画像処理装置が実行する処理のシーケンスについて
4.本開示の処理とマトリックス適用処理との差異について
5.本開示の画像処理装置の具体的利用例について
6.その他の実施例について
6-(1)カラーフィルタの代わりにマイクロレンズアレイを用いた装置構成例
6-(2)カラーフィルタの代わりにプラズモンフィルタを用いた装置構成例
7.本開示の撮像装置、画像処理装置、および画像処理システムの構成例について
8.画像処理装置のハードウェア構成例について
9.本開示の構成のまとめ
[1.マルチスペクトルカメラの概要について]
まず、マルチスペクトルカメラの概要について説明する。
前述したように、マルチスペクトルカメラは、カラーフィルタに併せて特定の波長光のみを通過させるバンドパスフィルタ(BPフィルタ)を用いたカメラである。
バンドパスフィルタ(BPフィルタ)とカラーフィルタを通過させた光を撮像素子に入力することで、バンドパスフィルタ(BPフィルタ)を通過する特定波長光成分を高精度に撮像素子の画素に入力させることが可能となる。
図1にマルチスペクトルカメラ10の一構成例を示す。
図1に示すマルチスペクトルカメラ10は、例えば植物の活性度を解析するために用いられる。具体的には、例えば撮影画像に含まれるR(赤)成分とNIR(近赤外)成分を解析するための画像を撮影するカメラである。
前述したように植物の活性度の指標値としてNDVI(Normalized Difference Vegetation Index)がある。
カメラ撮影画像の解析により、画像内に撮影された植物のNDVIを算出することで、撮影された画像内の植物の活性度を推定することができる。
このNDVI算出処理には、被写体である植物に含まれる色成分を高精度に解析することが必要となる。
図1に示すマルチスペクトルカメラ10のレンズ11を介して入力した被写体の撮影光は、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13を介して撮像素子(イメージセンサ)14に入力する。
デュアルバンドパスフィルタ(DBP)12は、2つの異なる波長光成分の光を選択的に透過するフィルタである。
ここで説明するデュアルバンドパスフィルタ(DBP)12は、R(赤)成分とNIR(近赤外)成分の2つの異なる波長光成分を選択的に透過するフィルタである。
カラーフィルタ(RGBカラーフィルタ)13は、RGB各色成分の波長光を各画素単位で透過させるフィルタである。例えばベイヤ配列のRGBフィルタである。
撮像素子(イメージセンサ)14の各画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のR(赤)またはG(緑)またはB(青)フィルタを通過した光が入力される。
撮像素子(イメージセンサ)14のR画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のR(赤)フィルタを通過した光が入力する。
撮像素子(イメージセンサ)14のG画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のG(緑)フィルタを通過した光が入力する。
撮像素子(イメージセンサ)14のB画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のB(青)フィルタを通過した光が入力する。
図2は、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13の分光特性を説明するグラフを示す図である。
横軸が波長(400~1000nm)、縦軸がフィルタ透過光の信号強度(相対値)を示している。
カラーフィルタ(RGBカラーフィルタ)13を構成するカラーフィルタ(B)の透過光は、その多くが約450nm近傍の波長光であるB(青)成分であるが、その他の波長成分の光も少なからず透過していることが分かる。
また、カラーフィルタ(G)の透過光は、その多くが約540nm近傍の波長光であるG(緑)成分であるが、その他の波長成分の光も含まれる。
同様に、カラーフィルタ(R)の透過光は、その多くが約650nm近傍の波長光であるR(赤)成分であるが、その他の波長成分の光も含まれる。
デュアルバンドパスフィルタ(DBP)12の透過光は、約650nm近傍の波長光であるR(赤)成分と、約900nm近傍の波長光であるNIR(近赤外)成分の2つの波長光成分である。
次に、図3を参照して、図2に示す分光特性を持つデュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13を利用して画像撮影を行った場合の撮像素子(イメージセンサ)14の構成画素であるR画素とB画素各画素の画素値算出例について説明する。
図3には、以下の各画素の画素値算出例を示している。
(1)R画素の画素値
(2)B画素の画素値
まず、(1)R画素の画素値算出例について説明する。
撮像素子(イメージセンサ)14の構成画素であるR画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のR(赤)フィルタを通過した光が入力する。
前述したように、カラーフィルタ(R)の透過光は、その多くが約650nm近傍の波長光であるR(赤)成分であるが、その他の波長成分の光も含まれる。
デュアルバンドパスフィルタ(DBP)12の透過光は、約650nm近傍の波長光であるR(赤)成分と、約900nm近傍の波長光であるNIR(近赤外)成分の2つの波長光成分である。
結果として、撮像素子(イメージセンサ)14の構成画素であるR画素の画素値は、図3(1)に示す信号S1と信号S2の加算信号に相当する画素値となる。
すなわち、
R画素の画素値:Rraw=S1+S2
である。
なお、Rrawのrawは、ロー画像(RAW画像)を意味する。すなわち、信号処理の施されていない撮像素子上の画素値である。
次に、(2)B画素の画素値算出例について説明する。
撮像素子(イメージセンサ)14の構成画素であるB画素には、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13のB(青)フィルタを通過した光が入力する。
カラーフィルタ(B)の透過光は、その多くが約450nm近傍の波長光であるB(青)成分であるが、その他の波長成分の光も含まれる。
デュアルバンドパスフィルタ(DBP)12の透過光は、約650nm近傍の波長光であるR(赤)成分と、約900nm近傍の波長光であるNIR(近赤外)成分の2つの波長光成分である。
結果として、撮像素子(イメージセンサ)14の構成画素であるB画素の画素値は、図3(2)に示す信号S3と信号S4の加算信号に相当する画素値となる。
すなわち、
B画素の画素値:Braw=S3+S4
である。
なお、これらR画素の画素値とB画素の画素値を用いて、以下のようなR(赤)信号、およびNIR(近赤外)信号、各波長光成分の算出が可能となる。
図3(1),(2)を見ると、S2≒S4であり、S3≒0であることが分かる。
この関係から、約650nm近傍の波長光であるR(赤)成分信号は、以下の算出式によって算出できる。
R=(S1+S2)-(S3+S4)
=Rraw-Braw
上記式を用いれば、被写体に含まれるR(赤)成分信号の高精度な値を撮像素子のロー画像(RAW画像)のR画素値(Rraw)とB画素値(Braw)から算出することができる。
同様に、約900nm近傍の波長光であるNIR(近赤外)成分信号は、
NIR=S4
≒(S3+S4)
=Braw
である。
上記式を用いれば、被写体に含まれるNIR(近赤外)成分信号の高精度な値を撮像素子のB画素値(Braw)から算出することができる。
このように、デュアルバンドパスフィルタ(DBP)12と、カラーフィルタ(RGBカラーフィルタ)13を介して撮像素子(イメージセンサ)14に入力する画素の画素値(Rraw,Braw)に基づいて、特定波長帯域の信号(R,NIR)の高精度な値を算出することが可能となる。
この解析値を用いることで例えば植物の活性度指数を高精度に算出することができる。
なお、図1に示すようなマルチスペクトルカメラ10の撮像素子(イメージセンサ)14から出力されるRAW画像の画素値から特定波長帯域の真の画素値を算出する場合、一般的にはマトリクス演算が利用される。例えば、以下の(式11)に従って、撮像素子の出力として得られるRAW画像画素値であるR画素値(Rraw)とB画素値(Braw)を用いて、R(赤)成分信号とNIR(近赤外)成分信号の高精度な値を算出することができる。
Figure 0007358817000001
上記(式11)のマトリクスのマトリクス要素であるG1、G2、G3、G4の値を適切に選択することで、RED帯域、NIR帯域の信号を効率的かつ高精度に算出することが可能となる。
最も簡単な例としては、B画素値(Braw)に含まれるR(赤)帯域の信号レベル(図3(2)の信号S3)は小さいとみなし、マトリクス要素を、
G1=1、G2=-1、G3=0、G4=1
とする。このようなマトリクスを用いることで、先に説明したと同様な信号算出式、すなわち、
R=Rraw-Braw
NIR=Braw
上記と同じ算出処理を行うことができる。
しかし、R(赤)帯域の信号と、NIR(近赤外)帯域の信号の分離特性が不十分であり、精度の高い結果を得るのは難しい。
さらに、光源や被写体が変わると、「B画素値(Braw)に含まれるNIR(近赤外)帯域の信号レベル(図3(2)の信号S4)」と、「R画素値(Rraw)に含まれるR(赤)帯域の信号レベル(図3(1)の信号S1)」との割合が変化するため、上記のマトリクス要素(G1~G4)と同一の値を用いて各帯域の画素値を算出しても、高精度な値が得られ難いという問題がある。
図1に示す構成では、カラーフィルタ13としてRGBフィルタを用いているが、例えばカラーフィルタ13として図4に示すようなRGBIRフィルタを用いることで、RGB各波長の高精度な値を算出することが可能である。
図4に示すRGBIRフィルタのIR(赤外)領域は近赤外(NIR)光成分の透過領域である。
ただし、フィルタのR,G,B,IR領域のいずれも、完全には他の波長成分を遮断できないため、少なからず他波長成分を透過してしまう。
図5(1)は、ある画像撮影時のRGBIRフィルタと、DBPフィルタの透過光の強度分布を示している。左側がRGBIRフィルタのRGBIR各領域の透過光の強度分布データであり、右側がDBPフィルタの透過光の強度分布データである。
本例において、DBPフィルタは、図5(1)右側のグラフに示すように、約660nm以下の可視光帯域と、900nm近傍のNIR帯域を透過するデュアルバンジパスフィルタである。
図5(2)は、高精度なRGB画素値の算出処理例を説明する図である。
図5(2)に示すように、
(2a)撮像素子画素値(Rraw,Graw,Braw)(=RAW画像画素値)から、
(2b)撮像素子画素値(IRraw)(=RAW画像画素値)を減算する。
この減算処理によって、
(2c)RGB高精度画素値(R,G,B)
を算出することができる。
図5(1)の左側に示すRGBIR各領域の透過光の強度分布データから理解されるように、RGBIRフィルタのRGBIR各領域の透過光の強度分布データのIR成分は、ほぼ共通の値である。
すなわち、RGBIRフィルタのRGB各領域の透過光に含まれるIR成分(ノイズ成分)は、RGBIRフィルタのIR領域の透過光に含まれるIR成分とほぼ同じである。
従って、RGBIRフィルタのRGB各領域の透過光によって撮像素子上に形成されるRAW画像画素値(Rraw,Graw,Braw)から、RGBIRフィルタのIR領域の透過光によって撮像素子上に形成されるRAW画像画素値(IRraw)を減算することで、RGBIRフィルタのRGB各領域の透過光に含まれるIR成分(ノイズ成分)を減算することが可能となり、図5(2c)に示すRGB高精度画素値(R,G,B)を算出することができる。
この処理例は、RGB+IRのカラーフィルタと、可視光領域とNIR(近赤外光NIR)の2バンドパス特性を持つDBPフィルタを組み合わせて、高精度なRGB値を得る処理例である。
しかし、この処理例において、最終的に得られる図5(2c)に示す高精度なRGB値は、赤外領域の信号は除去されているものの、赤外領域以外のノイズ成分は残存したままである。すなわち、この処理例では、RGB各狭帯域での信号抽出が実現されておらず、真の高精度RGB画素値の取得処理は実現されていない。
[2.本開示の撮像装置、画像処理装置の構成と処理について]
次に、本開示の撮像装置、画像処理装置の構成と処理について説明する。なお、撮像装置は、画像処理装置の一構成例であり、以下の説明において、画像処理装置は撮像装置を含むものである。
本開示の画像処理装置は、カラーフィルタとマルチバンドパスフィルタ(MBP)の透過光に基づく撮影画像に対する信号処理を行うことで限定された波長帯域単位のノイズの少ない狭帯域信号、例えばR,G,B,IR各々のノイズの少ない特定帯域の信号(画素値)を取得することを可能とした構成である。
本開示の画像処理装置は、例えばカラーフィルタの構成に応じたマルチバンドパスフィルタ(MBP)を利用した構成を有する。
すなわち、本開示の画像処理装置の一例である撮像装置のマルチバンドパスフィルタ(MBP)は、撮像装置のカラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成を有する。
具体的には、例えば、撮像装置のカラーフィルタがRGBカラーフィルタである場合、RGB各々3波長を透過する特性を持つマルチバンドパスフィルタ(MBP)を利用する。
また、撮像装置のカラーフィルタがRGBIRカラーフィルタである場合、RGBIR各々4波長を透過する特性を持つマルチバンドパスフィルタ(MBP)を利用する。
このように、カラーフィルタの構成に応じたマルチバンドパスフィルタ(MBP)を利用することで、RGB、あるいはRGBIR等、カラーフィルタを構成するフィルタ種類に対応する帯域信号の分離性能を高めることが可能となる。
図6に本開示の画像処理装置の一構成例であるマルチスペクトルカメラ100の構成例を示す。
図6に示すマルチスペクトルカメラ100において、レンズ101を介して入力した被写体の撮影光は、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103を介して撮像素子(イメージセンサ)104に入力する。
さらに、撮像素子(イメージセンサ)104の画素値(Rraw,Graw,Braw,IRraw)は信号処理部105に入力され、信号処理がなされる。
信号処理部105は、撮像素子(イメージセンサ)104の画素値(Rraw,Graw,Braw,IRraw)からノイズ成分を除去し、R,G,B,IRの各信号の高精度な値を算出する。
マルチバンドパスフィルタ(MBP)102は、カラーフィルタ103のフィルタ構成に対応したフィルタであり、カラーフィルタ103を構成する複数の色フィルタ対応の帯域光を選択的に透過させる。すなわちカラーフィルタ103を構成する色フィルタ種類数と同様の4つの異なる波長光成分の光を選択的に透過するフィルタである。
図6に示す構成では、カラーフィルタ(RGBIRカラーフィルタ)103は、R,G,B,IRの4種類のフィルタ領域を有している。この場合、マルチバンドパスフィルタ(MBP)102は、これらR,G,B,IRの4種類の波長を選択的に透過するフィルタとする。
撮像素子104のRGBIR画素に入力する各波長光の分布データの一例について図7を参照して説明する。
図7は、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103の分光特性を示す図である。
横軸が波長(400~1000nm)、縦軸がフィルタ透過光の信号強度(相対値)を示している。
カラーフィルタ(RGBカラーフィルタ)103を構成するカラーフィルタ(B)の透過光は、その多くが約450nm近傍の波長光であるB(青)成分であるが、その他の波長成分の光も少なからず透過していることが分かる。
また、カラーフィルタ(G)の透過光は、その多くが約540nm近傍の波長光であるG(緑)成分であるが、その他の波長成分の光も含まれる。
カラーフィルタ(R)の透過光は、その多くが約650nm近傍の波長光であるR(赤)成分であるが、その他の波長成分の光も含まれる。
同様に、カラーフィルタ(IR)の透過光は、その多くが約950nm近傍の波長光であるNIR(近赤外)成分であるが、その他の波長成分の光も含まれる。
また、マルチバンドパスフィルタ(MBP)102の透過光は、全面において、以下の4種類の波長成分を選択的に透過する。
(1)約450nm近傍の波長光であるB(青)成分、
(2)約540nm近傍の波長光であるG(緑)成分、
(3)約650nm近傍の波長光であるR(赤)成分、
(4)約900nm近傍の波長光であるNIR(近赤外)成分、
撮像素子(イメージセンサ)104のR画素、すなわちカラーフィルタ103のR領域透過光受光画素であるR画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103のR(赤)フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちRAW画像のR画素の画素値をRrawとする。
撮像素子(イメージセンサ)104のG画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103のG(緑)フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちRAW画像のG画素の画素値をGrawとする。
撮像素子(イメージセンサ)104のB画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103のB(青)フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちRAW画像のB画素の画素値をBrawとする。
撮像素子(イメージセンサ)104のIR画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(RGBIRカラーフィルタ)103のNIR(近赤外)フィルタを通過した光が入力する。この入力光による撮像素子上の画素値、すなわちRAW画像のIR画素の画素値をIRrawとする。
撮像素子104のRAW画像画素値:Rraw,Graw,Braw,IRraw、これらの各画素値は、RGBIR各々の狭帯域信号のみならず、その他の波長のノイズが含まれたものとなる。
信号処理部105は、撮像素子104のRAW画像画素値(Rraw,Graw,Braw,IRraw)を入力して、これらの画素値からノイズ成分を除去して、RGBIRの各波長の高精度な画素値を算出する。
図8以下を参照して信号処理部105の実行する具体的な信号処理例について説明する。
なお、以下の説明においては、本開示の構成、処理を一般化して説明するため、カラーフィルタ103を、図8に示すように4種類の異なる波長信号A~Dを透過させるABCDカラーフィルタによって構成されたものとして説明する。
ABCDカラーフィルタは、
主に帯域Aの波長光を透過させるA帯域フィルタ、
主に帯域Bの波長光を透過させるB帯域フィルタ、
主に帯域Cの波長光を透過させるC帯域フィルタ、
主に帯域Dの波長光を透過させるD帯域フィルタ、
これら4種類の帯域フィルタによって構成されたカラーフィルタである。
なお、本開示の画像処理装置は、カラーフィルタとしては様々な構成が利用可能である。RGB3色のカラーフィルタ、RGBIR4色のカラーフィルタ、その他様々な異なるカラーフィルタが利用できる。
以下では、代表例として図8に示すように4種類の異なる波長帯域A~Dを透過させるフィルタによって構成されたカラーフィルタを用いた場合の構成と処理例について説明する。
図9は、図8に示すABCDカラーフィルタを用いた本開示の画像処理装置の一構成例であるマルチスペクトルカメラ100を示した図である。
図9に示すマルチスペクトルカメラ100は、先に図6を参照して説明したマルチスペクトルカメラ100のRGBIRカラーフィルタを、図8に示す構成を持つABCD各帯域フィルタからなるABCDカラーフィルタに置き換えた構成である。
マルチバンドパスフィルタ(MBP)102は、ABCDカラーフィルタを構成する4種類のフィルタA~Dに対応する4種類の異なる波長帯域の信号を選択的に透過させるフィルタである。
図10は、先に説明した図7と同様、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103の分光特性を示す図である。
横軸が波長(400~1000nm)、縦軸がフィルタ透過光の信号強度(相対値)を示している。
カラーフィルタ(RGBカラーフィルタ)103を構成するカラーフィルタ(A)の透過光は、その多くが帯域A近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、カラーフィルタ(B)の透過光は、その多くが帯域B近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、カラーフィルタ(C)の透過光は、その多くが帯域C近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、カラーフィルタ(D)の透過光は、その多くが帯域D近傍の波長光であるが、その他の波長成分の光も少なからず透過する。
また、マルチバンドパスフィルタ(MBP)102の透過光は、全面において帯域A~Dの4種類の波長成分を選択的に透過する。
撮像素子(イメージセンサ)104のA画素、すなわちカラーフィルタ103の領域Aの透過光を受光するA画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103のA帯域フィルタを通過した光が入力する。A画素のRAW画像画素値をArawとする。
撮像素子(イメージセンサ)104のB画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103のB帯域フィルタを通過した光が入力する。B画素のRAW画像画素値をBrawとする。
撮像素子(イメージセンサ)104のC画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103のC帯域フィルタを通過した光が入力する。C画素のRAW画像画素値をCrawとする。
撮像素子(イメージセンサ)104のD画素には、マルチバンドパスフィルタ(MBP)102と、カラーフィルタ(ABCDカラーフィルタ)103のD帯域フィルタを通過した光が入力する。D画素のRAW画像画素値をDrawとする。
撮像素子104のRAW画像画素値:Araw,Braw,Craw,Draw、これらの各画素値は、ABCD各々の狭帯域信号のみならず、その他の波長のノイズが含まれたものとなる。
信号処理部105は、撮像素子104のRAW画像画素値(Araw,Braw,Craw,Draw)を入力して、これらの画素値からノイズ成分を除去して、ABCD各帯域の高精度な画素値を算出する。
図10の下部には、撮像素子104のAraw,Braw,Craw,Drawの各画素値の算出式を示している。撮像素子104のAraw,Braw,Craw,Drawの各RAW画像画素値は以下の算出式によって算出できる。
Araw=a1+a2+a3+a4
Braw=b1+b2+b3+b4
Craw=c1+c2+c3+c4
Draw=d1+d2+d3+d4
a1,b2,c3,d4は、図10のグラフに示す点に対応し、以下の各信号に相当する。
a1=RAW画像画素値Arawに含まれる帯域Aの信号成分、
a2=RAW画像画素値Arawに含まれる帯域Bの信号成分、
a3=RAW画像画素値Arawに含まれる帯域Cの信号成分、
a4=RAW画像画素値Arawに含まれる帯域Dの信号成分、
b1=RAW画像画素値Brawに含まれる帯域Aの信号成分、
b2=RAW画像画素値Brawに含まれる帯域Bの信号成分、
b3=RAW画像画素値Brawに含まれる帯域Cの信号成分、
b4=RAW画像画素値Brawに含まれる帯域Dの信号成分、
c1=RAW画像画素値Crawに含まれる帯域Aの信号成分、
c2=RAW画像画素値Crawに含まれる帯域Bの信号成分、
c3=RAW画像画素値Crawに含まれる帯域Cの信号成分、
c4=RAW画像画素値Crawに含まれる帯域Dの信号成分、
d1=RAW画像画素値Drawに含まれる帯域Aの信号成分、
d2=RAW画像画素値Drawに含まれる帯域Bの信号成分、
d3=RAW画像画素値Drawに含まれる帯域Cの信号成分、
d4=RAW画像画素値Drawに含まれる帯域Dの信号成分、
なお、撮像素子104のA画素のRAW画像画素値Arawに含まれる信号成分a1~a4の内、帯域Aに相当する信号はa1のみであり、その他のa2,a3,a4はノイズ信号に相当する。
同様に、撮像素子104のB画素のRAW画像画素値Brawに含まれる信号成分b1~b4の内、帯域Bに相当する信号はb2のみであり、その他のb1,b3,b4はノイズ信号に相当する。
同様に、撮像素子104のC画素のRAW画像画素値Crawに含まれる信号成分c1~c4の内、帯域Cに相当する信号はc3のみであり、その他のc1,c2,c4はノイズ信号に相当する。
同様に、撮像素子104のD画素のRAW画像画素値Drawに含まれる信号成分d1~d4の内、帯域Dに相当する信号はd4のみであり、その他のd1,d2,d3はノイズ信号に相当する。
信号処理部105は、撮像素子104から、これらノイズ成分を含むRAW画像画素値(Araw~Draw)を入力して、ノイズ成分を除去した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する処理を実行する。
信号処理部105の実行する処理について図11以下を参照して説明する。
図11は、信号処理部105の実行する処理の概要を説明する図である。
信号処理部105は図11に示すステップS01~S03の処理を実行する。
(ステップS01)
図11に示すステップS01は、信号処理部105による撮像素子104からの入力画素値に基づく画素単位のRAW画像ベース画素値(Araw~Draw)の算出式生成処理である。
図11(S01)には撮像素子104から入力するRAW画像に基づいて生成される画素単位のRAW画像ベース画素値(Araw~Draw)の算出式、すなわち以下のRAW画像ベース画素値算出式(式21)を示している。
Araw=a1+a2+a3+a4
Braw=b1+b2+b3+b4
Craw=c1+c2+c3+c4
Draw=d1+d2+d3+d4
・・・・・・・・(式21)
なお、これらRAW画像ベース画素値(Araw~Draw)は、撮像素子の各画素単位で生成し、画素単位でステップS01~S03の処理を実行し、信号処理部105は、画素単位でノイズ成分を除去した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する。
撮像素子104から入力するRAW画像は、ABCDカラーフィルタの配置に応じて各画素にABCD画素値が設定されたRAW画像であるが、信号処理部105は、このRAW画像にデモザイク処理を実行し、撮像素子104の各画素にABCD各画素値を設定する。上記(式21)に示すRAW画像ベース画素値(Araw~Draw)は、このデモザイク処理後の1つの同一画素の画素値である。
なお、このようなデモザイク処理を省略し、所定の画素ブロック単位でステップS01~S03の処理を実行する構成としてもよい。
例えば撮像素子の2×2のABCD画素、すなわち4画素のブロックを1つの処理ブロックとして、この1つの処理ブロックの4つのRAW画像画素値(Araw~Draw)を、その4画素全体のRAW画像ベース画素値(Araw~Draw)として処理を行う構成も可能である。この場合、解像度は低下するがノイズ低減効果としては同様の効果が得られる。
(ステップS02)
次に、信号処理部105は、ステップS02において、上記のRAW画像ベース画素値(Araw~Draw)から、ノイズ成分を除去した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する式を生成する。
図11(S02)に示すように、帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)算出式は、以下の(式22)として示される。
a1=Araw-a2-a3-a4
b2=Braw-b1-b3-b4
c3=Craw-c1-c2-a4
d4=Draw-d1-d2-d3
・・・・・・・・(式22)
この(式22)は、上記(ステップS01)に示すRAW画像ベース画素値(Araw~Draw)算出式(式21)を展開して得られる式である。
(ステップS03)
次に、信号処理部105は、ステップS03において、上記(ステップS02)で生成した真の帯域対応画素値(a1,b2,c3,d4)算出式に含まれるノイズ成分データを、マルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)に置き換えて、以下の(式23)として示す帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する帯域対応画素値算出式を生成する。
なお、分光特性パラメータ(Kan~Kdn)は、カメラ固有のパラメータであり、予め測定した値をメモリ内に格納しておく。
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
上記(式23)に利用されるマルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)は以下のパラメータである。
Ka2=a2/b2
Ka3=a3/c3
Ka4=a4/d4
Kb1=b1/a1
Kb3=b3/c3
Kb4=b4/d4
Kc1=c1/a1
Kc2=c2/b2
Kc4=c4/d4
Kd1=d1/a1
Kd2=d2/b2
Kd3=d3/c3
例えば、Ka2=a2/b2は、図10に示すグラフの帯域B領域のフィルタAの透過信号a2と、フィルタBの透過信号b2の比率(a2/b2)である。
Ka3=a3/c3は、図10に示すグラフの帯域C領域のフィルタAの透過信号a3と、フィルタCの透過信号c3の比率(a3/c3)である。
Ka4=a4/cdは、図10に示すグラフの帯域D領域のフィルタAの透過信号a4と、フィルタDの透過信号d4の比率(a4/d4)である。
Kb1=b1/a1は、図10に示すグラフの帯域A領域のフィルタBの透過信号b1と、フィルタAの透過信号a1の比率(b1/a1)である。
以下、同様であり、マルチスペクトルカメラ100の分光特性パラメータは、カラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域、すなわち、マルチバンドパスフィルタの透過光帯域における強度比である。
本例では、マルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)は帯域A~Dにおけるカラーフィルタを構成する各フィルタA~Dの透過信号の比率データである。
この分光特性パラメータ(Kan~Kdn)はカメラ固有のパラメータであり、予め測定可能な値である。
本開示の画像処理装置であるマルチスペクトルカメラ100は、このマルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)をメモリに格納しており、メモリから取得したパラメータを用いて、図11(ステップS03)に示す真の帯域対応画素値(a1,b2,c3,d4)算出式、すなわち帯域対応画素値算出式である(式23)に代入してa1,b2,c3,d4を算出する。
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
なお、マルチスペクトルカメラ100の分光特性パラメータ(Kan~Kdn)は、例えば外部機器や外部サーバから取得する構成としてもよい。
信号処理部105は、まず、上記(式23)の等式の右側部分のa1,b2,c3,d4の初期値として、以下のRAW画像ベース画素値(Araw~Draw)を入力する。
a1=Araw
b2=Braw
c3=Craw
d4=Draw
これらの値の代入処理により、帯域対応画素値算出式の初期設定式(式24)を生成する。
a1=Araw-Ka2×Braw-Ka3×Craw-Ka4×Draw
b2=Braw-Kb1×Araw-Kb3×Craw-Kb4×Draw
c3=Craw-Kc1×Araw-Kc2×Braw-Kc4×Draw
d4=Draw-Kd1×Araw-Kd2×Braw-Kd3×Craw
・・・・・・・・(式24)
信号処理部105は、上記初期設定式(式24)に従って算出したa1,b2,c3,d4を、さらに、先に説明した帯域対応画素値算出式(式23)の等式の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。
さらに、その算出値を帯域対応画素値算出式(式23)の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。
この演算を繰り返す。すなわち、帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行する。
上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行すると、a1,b2,c3,d4の値は次第に収束する。
実際の反復計算によるa1,b2,c3,d4の収束例を図12に示す。
図12には、横軸に上記帯域対応画素値算出式(式23)による計算の実行回数、縦軸に真値との誤差(%)を示したグラフである。
グラフには、上記(式23)による計算を繰り返して得られるa1,b2,c3,d4の値の推移を示している。
グラフから理解されるように反復計算を6~7回実行することで、a1,b2,c3,d4の値は、ほぼ収束する。
信号処理部105は、上記帯域対応画素値算出式(式23)を適用した反復計算による収束値を、帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)とする。
上記帯域対応画素値算出式(式23)を適用した反復計算によって画素値(a1,b2,c3,d4)が収束したか否かの判定については、例えば、n回目の反復計算による複数の画素値の算出結果と、直前のn-1回目の反復計算による算出結果との差分が、すべて所定のしきい値以下、例えば5%以下となった場合に収束したと判定するといった方法が適用可能である。
あるいは予め反復計算の実行回数を6回、あるいは7回等の規定回数として予め設定し、規定回数の反復計算終了時点で、収束したと判定する構成としてもよい。
信号処理部105は、ステップS103における反復計算結果の収束値を、帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)とする。
信号処理部105は、ステップS01~S03の処理を画素単位で実行することで、撮像素子を構成する全画素について、画素単位で帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を算出する。
なお、前述したように所定の画素ブロック単位で処理を実行し、ブロック単位で帯域対応画素値(a1,b2,c3,d4)を算出する構成としてもよい。
なお、信号処理部105は、算出した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を利用して、その後のカラー画像の生成、あるいは被写体の色成分の解析等を実行する。
被写体の色成分の解析とは、例えば、前述した植物の活性度の指標値であるNDVI(Normalized Difference Vegetation Index)の解析処理等である。画像内に撮影された植物のNDVIの算出には、被写体である植物の色成分として含まれる赤(RED)と近赤外(NIR)の値が必要となる。
具体的には、NDVIは、以下の式に従って算出することができる。
NDVI=(NIR-RED)/(NIR+RED)
上記式において、
RED,NIRは画像の各画素におけるRED波長とNIR波長の強度(画素値)である。
なお、カラー画像の生成や被写体の色成分の解析等は、信号処理部105自身が行ってもよいが、信号処理部105の算出した帯域A~D各々の真の帯域対応画素値(a1,b2,c3,d4)を後段のデータ処理部に出力して、データ処理部において実行してもよい。
[3.本開示の画像処理装置が実行する処理のシーケンスについて]
次に、本開示の画像処理装置が実行する処理のシーケンスについて説明する。
本開示の画像処理装置、例えば図6や図9に示すマルチスペクトルカメラ100や、カメラからの入力画像の処理を実行するPC等の画像処理装置が実行する処理のシーケンスについて図13に示すフローチャートを参照して説明する。
なお、図13に示すフローチャートに従った処理は、撮像装置やPC等の画像処理装置内の記憶部に格納されたプログラムに従って実行することが可能である。撮像装置や画像処理装置のデータ処理部は、記憶部に格納されたプログラムに従って図13に示すフローチャートに従った処理を実行する。
以下、フローの各ステップの処理について、順次、説明する。
(ステップS101)
まず、撮像装置は、ステップS101において画像撮影処理を実行する。
図6や図9に示す構成を用いて画像撮影を行う。マルチスペクトルカメラ100による撮影処理により、被写体に応じた光がレンズ101、マルチバンドパスフィルタ102、カラーフィルタ103を介して撮像素子(イメージセンサ)104に入力される。
撮像素子(イメージセンサ)104の各画素は、入力光に応じたRAW画像画素値(Araw~Draw)を信号処理部105に出力する。
(ステップS102)
次に、画像処理装置の信号処理部105は、ステップS102において、撮像素子(イメージセンサ)104から入力するRAW画像に基づくデモザイク処理によって生成される画素単位のRAW画像ベース画素値(Araw~Draw)と、カメラの分光特性パラメータ(Kan~Kdn)を用いて、各帯域(波長)対応の真の画素値(a1,b2,c3,d4)を算出する帯域対応画素値算出式を生成する。
なお、ステップS102~S105の処理は、画素単位で実行する。
画像処理装置の信号処理部105は、ステップS102において、処理対象画素についての帯域対応画素値算出式、すなわち、先に説明した以下に示す帯域対応画素値算出式(式23)を生成する。
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
(ステップS103)
次に、画像処理装置は、ステップS103において、ステップS102で生成した帯域対応画素値算出式を用いた反復計算処理を実行する。
すなわち、まず、上記(式23)の等式の右側部分のa1,b2,c3,d4の初期値として、以下のRAW画像ベース画素値(Araw~Draw)を入力する。
a1=Araw
b2=Braw
c3=Craw
d4=Draw
これらの値の代入処理により、帯域対応画素値算出式の初期設定式(式24)を生成する。
a1=Araw-Ka2×Braw-Ka3×Craw-Ka4×Draw
b2=Braw-Kb1×Araw-Kb3×Craw-Kb4×Draw
c3=Craw-Kc1×Araw-Kc2×Braw-Kc4×Draw
d4=Draw-Kd1×Araw-Kd2×Braw-Kd3×Craw
・・・・・・・・(式24)
信号処理部105は、上記初期設定式(式24)に従って算出したa1,b2,c3,d4を、さらに、前記した帯域対応画素値算出式(式23)の等式の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。さらに、その算出値を帯域対応画素値算出式(式23)の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。この反復計算を繰り返して実行する。
先に図12を参照して説明したように、上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行すると、a1,b2,c3,d4の値は次第に収束する。
(ステップS104)
画像処理装置は、ステップS104において、帯域対応画素値算出式を用いて算出される帯域対応画素値(a1,b2,c3,d4)が収束したか否かを判定する。
なお、上記帯域対応画素値算出式(式23)を適用した反復計算によって帯域対応画素値(a1,b2,c3,d4)が収束したか否かの判定については、前述したように、例えば、n回目の反復計算による複数の画素値の算出結果と、直前のn-1回目の反復計算による算出結果との差分が、すべて所定のしきい値以下、例えば5%以下となった場合に収束したと判定するといった方法が適用可能である。
あるいは予め反復計算の実行回数を6回、7回等として規定回数として決定し、規定回数の反復計算が終了した時点で収束したと判定してもよい。
ステップS104において、帯域対応画素値(a1,b2,c3,d4)が収束していないと判定した場合は、ステップS103に戻り反復計算を繰り返す。一方、帯域対応画素値(a1,b2,c3,d4)が収束したと判定した場合はステップS105に進む。
(ステップS105)
ステップS104において、帯域対応画素値(a1,b2,c3,d4)が収束したと判定した場合はステップS105に進む。
ステップS105において、画像処理装置の信号処理部105は、収束した帯域対応画素値(a1,b2,c3,d4)を、処理対象画素の画素値として設定する。
(ステップS106)
次に、画像処理装置の信号処理部105は、ステップS106において、撮像素子の全画素の帯域対応画素値(a1,b2,c3,d4)の算出が完了したか否かを判定する。
帯域対応画素値(a1,b2,c3,d4)の算出が完了していない画素がある場合は、ステップS102に戻り、未処理画素について、ステップS102~S105の処理を実行する。
全画素の帯域対応画素値(a1,b2,c3,d4)の算出が完了したと判定した場合は、ステップS107に進む。
(ステップS107)
全画素の帯域対応画素値(a1,b2,c3,d4)の算出が完了した場合、画像処理装置の信号処理部105は、ステップS107において、帯域対応画素値算出式の反復計算によって算出した帯域対応画素値(a1,b2,c3,d4)を用いてその後の信号処理を実行する。
その後の信号処理とは、例えばカラー画像の生成や、被写体の色成分の解析、具体的には植物の活性度指標値:NDVIの算出処理等である。
なお、上述した説明では、帯域対応画素値算出式の反復計算による帯域対応画素値(a1,b2,c3,d4)の算出処理を画素単位で実行するものとして説明したが、前述したように所定の画素ブロック単位で実行する構成としてもよい。
また、ステップS106で「撮像素子の全画素の帯域対応画素値(a1,b2,c3,d4)の算出が完了したか否かを判定」し、その後「ステップS107において、帯域対応画素値算出式の反復計算によって算出した帯域対応画素値(a1,b2,c3,d4)を用いてその後の信号処理を実行する。」と述べたが、画素毎に「帯域対応画素値(a1,b2,c3,d4)算出が完了」した後、続けてステップS107の処理を行い、ステップS106の全画素処理終了の判断は、ステップS107の後に行うことも可能である。
フローを参照して説明したように本開示の画像処理装置、例えば図6や図9に示すマルチスペクトルカメラは、マルチバンドパスフィルタとカラーフィルタを介して撮影されるRAW画像の画素値に基づいて画素単位で設定されるRAW画像ベース画素値(Araw~Draw)と、カメラの分光特性パラメータ(Kan~Kdn)を用いて、各帯域(波長)対応の真の画素値(a1,b2,c3,d4)を算出する帯域対応画素値算出式(式23)を生成し、この帯域対応画素値算出式を用いた反復計算により、帯域対応の真の画素値(a1,b2,c3,d4)を算出する。
なお、帯域対応画素値算出式を用いた反復計算の手法として、複数の異なる手法がある。
図14、図15を参照して反復計算の2つの手法について説明する。
図14は、上述した図13に示すフローに従って説明した処理と同様の処理である。
図14は、図13に示すステップS103において実行する帯域対応画素値算出式の反復計算を詳細に説明する図である。
ステップS103-1において、先に説明した帯域対応画素値算出式(式23)の等式の右側部分のa1,b2,c3,d4の初期値として、RAW画像ベース画素値(Araw~Draw)を入力して、以下の帯域対応画素値算出式の初期設定式(式24)を生成する。
a1=Araw-Ka2×Braw-Ka3×Craw-Ka4×Draw
b2=Braw-Kb1×Araw-Kb3×Craw-Kb4×Draw
c3=Craw-Kc1×Araw-Kc2×Braw-Kc4×Draw
d4=Draw-Kd1×Araw-Kd2×Braw-Kd3×Craw
・・・・・・・・(式24)
次にステップS103-2において、上記初期設定式(式24)に従って算出したa1,b2,c3,d4を、帯域対応画素値算出式(式23)、すなわち、
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
上記の帯域対応画素値算出式(式23)の等式の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。さらに、その算出値を帯域対応画素値算出式(式23)の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。この反復計算を繰り返して実行する。
上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行すると、a1,b2,c3,d4の値は次第に収束する。
このような反復計算の処理手法と異なる手法について図15を参照して説明する。
図15も、図13に示すステップS103において実行可能な帯域対応画素値算出式の反復計算を詳細に説明する図である。
図15に示すステップS103-1において、まず、上述した帯域対応画素値算出式の初期設定式(式24)のa1算出式、
a1=Araw-Ka2×Braw-Ka3×Craw-Ka4×Draw
・・・(式24-a)
上記式(式24-1)を用いて、a1を算出する。
次に、帯域対応画素値算出式の初期設定式(式24)のb2算出式、すなわち、
b2=Braw-Kb1×Araw-Kb3×Craw-Kb4×Draw
・・・(式24-2)
上記式(式24-2)のArawを、(式24-1)によって算出されたa1に置き換えた式、すなわち、
b2=Braw-Kb1×a1-Kb3×Craw-Kb4×Draw
・・・(式24-3)
上記式(式24-3)を用いて、b2を算出する。
次に、帯域対応画素値算出式の初期設定式(式24)のc3算出式、すなわち、
c3=Craw-Kc1×Araw-Kc2×Braw-Kc4×Draw
・・・(式24-4)
上記式(式24-4)のArawとBrawを、(式24-1)、(式24-3)によって算出されたa1,b2に置き換えた式、すなわち、
c3=Craw-Kc1×a1-Kc2×b2-Kc4×Draw
・・・(式24-5)
上記式(式24-5)を用いて、c3を算出する。
次に、帯域対応画素値算出式の初期設定式(式24)のd4算出式、すなわち、
d4=Draw-Kd1×Araw-Kd2×Braw-Kd3×Craw
・・・(式24-6)
上記式(式24-6)のArawとBrawとCrawを、(式24-1)、(式24-3),(式24-5)によって算出されたa1,b2,c3に置き換えた式、すなわち、
d4=Draw-Kd1×Aa1-Kd2×b2-Kd3×c3
・・・(式24-7)
上記式(式24-7)を用いて、d4を算出する。
次にステップS103-2において、上記ステップS103-1で算出したa1,b2,c3,d4を、帯域対応画素値算出式(式23)、すなわち、
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
上記の帯域対応画素値算出式(式23)の等式の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。さらに、その算出値を帯域対応画素値算出式(式23)の右側部分に代入して、a1,b2,c3,d4の新たな値を算出する。この反復計算を繰り返して実行する。
上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行すると、a1,b2,c3,d4の値は次第に収束する。
この図15に示す手法では、帯域対応画素値算出式の初期設定式(式24)を構成する複数の式の1つの式を用いて算出される値を、初期設定式のその他の式に代入する処理を実行している。このような処理を行うことで、より早く収束し、演算回数を減らすことが可能となる
[4.本開示の処理とマトリックス適用処理との差異について]
次に、本開示の処理とマトリックス適用処理との差異について説明する。
例えば、先に図3他を参照して説明したように、RAW画像の画素値を利用して帯域対応画素値を算出する場合、前述した(式11)で示すようなマトリックスを適用する処理が知られている。
本開示の処理では、このマトリックスを適用することなく、先に説明した(式23)、すなわち、帯域対応画素値算出式を生成して、反復計算を行うことで帯域対応画素値を算出している。
以下、これらの処理の違いによる差分と、本開示の処理の優位性について説明する。
図16は、2つの異なる反射特性を持つ被写体を同じマルチスペクトルカメラで撮影した場合の画素値特性を説明する図である。
図16(1)と(2)は、図16(1a),(2a)に示す同じ波長特性を持つ光源の下で異なる(1b),(2b)に示す異なる反射特性を持つ異なる被写体を撮影した場合の(1c),(2c)画素値特性、すなわち、撮像素子の画素値特性(RAW画像の画素値特性)を示している。
図16(1)の例は、被写体の反射特性が波長に対して一律である場合の例である。
図16(2)の例は、被写体が長波長領域の反射が強い特性を有する場合、例えば赤色の被写体を撮影した場合の例である。
なお、本例は、マルチパスバンドフィルタとして、帯域Aと帯域Bを透過させるデュアルバンドパスフィルタを用いている例である。
図16(1c),(2c)画素値特性には、RAW画像の2つの画素値ArawとBrawの画素値分布を示している。
図16(1)の場合、すなわち、被写体の反射特性が波長に対して一律である場合は、撮影画像の画素値、すなわちRAW画像のA画素の画素値Arawに含まれる帯域Aと帯域Bの信号値(強度)は、
帯域Aの信号値a1=8、
帯域Bの信号値a2=3、
である。従って、Arawの画素値は、
Araw=a1+a2
=8+3=11
となる。
また、RAW画像のB画素の画素値Brawに含まれる帯域Aと帯域Bの信号値(強度)は、
帯域Aの信号値b1=4、
帯域Bの信号値b2=10、
である。従って、Brawの画素値は、
Braw=b1+b2
=4+10=14
となる。
ここで、マトリクス演算を適用して、RAW画像画素値(Araw,Braw)から帯域対応画素値(a1,b2)を算出する場合、以下の(式31)に従ったマトリクス演算を実行すればよい。
Figure 0007358817000002
一般にマトリクスの係数(G1、G2、G3、G4)は被写体の反射特性が図16(1b)に示すようにフラットである場合に正確な帯域対応画素値(a1,b2)が算出されるように設定される。
従って、図16(1)に示す場合は、上記(式31)に示すマトリクス演算により、a1=8、b2=10が算出され、高精度な真の帯域対応画素値(a1,b2)が算出できる。
ところが、被写体の反射光特性がフラットでなく図16(2b)に示すような設定の場合、図16(2c)に示すように、RAW画像のA画素の画素値Arawに含まれる帯域Aと帯域Bの信号値(強度)は、
帯域Aの信号値a1=2、
帯域Bの信号値a2=3、
である。従って、Arawの画素値は、
Araw=a1+a2
=2+3=5
となる。
また、RAW画像のB画素の画素値Brawに含まれる帯域Aと帯域Bの信号値(強度)は、
帯域Aの信号値b1=1、
帯域Bの信号値b2=10、
である。従って、Brawの画素値は、
Braw=b1+b2
=1+10=11
となる。
この場合、図16(1)に示す例で適用したマトリクスと同じマトリクス要素(G1~G4)を持つマトリクスを適用してマトリクス演算を行うと、帯域対応画素値(a1,b2)として以下の値が算出されてしまう。
a1=2.6、
b2=9.5、
これらの値は、実際の図16(1c)に示す帯域対応画素値(a1,b2)、すなわち、
a1=2、
b2=10、
この実際の値と大きく異なる値となってしまう。
このように、マトリクスを適用して帯域対応画素値(a1,b2)を算出する場合、被写体の反射特性や光源の特性によっては、正しい値が算出できない場合が発生する。
これに対して、本開示の処理ではマトリックスを適用することなく、先に説明した(式23)、すなわち、帯域対応画素値算出式を生成して、反復計算を行うことで帯域対応画素値を算出している。
すなわち、以下に示す帯域対応画素値算出式(式23)を用いて反復計算を実行する。
a1=Araw-Ka2×b2-Ka3×c3-Ka4×d4
b2=Braw-Kb1×a1-Kb3×c3-Kb4×d4
c3=Craw-Kc1×a1-Kc2×b2-Kc4×d4
d4=Draw-Kd1×a1-Kd2×b2-Kd3×c3
・・・・・・・・(式23)
上記帯域対応画素値算出式(式23)を利用した反復計算を複数回、繰り返して実行することで、先に図12を参照して説明したように、a1,b2,c3,d4の値は次第に収束する。
この処理を行うことで、図16(1),(2)のいずれの場合も、帯域対応画素値(a1,b2)を正しく算出することができる。
この理由は、本開示の処理において適用する上記帯域対応画素値算出式(式23)に含まれるパラメータ(Kan~Kdn)は、カメラ固有の分光特性パラメータであり、被写体や利用光源に対する依存性がなく、利用光源や被写体の反射光特性が変化しても不変であるためである。
例えば、先に図10を参照して説明したように、Ka2=a2/b2は、図10に示すグラフの帯域B領域のフィルタAの透過信号a2と、フィルタBの透過信号b2の比率(a2/b2)である。
また、Ka3=a3/c3は、図10に示すグラフの帯域C領域のフィルタAの透過信号a3と、フィルタCの透過信号c3の比率(a3/c3)である。
これらは、カメラ固有の分光特性パラメータであり、被写体や利用光源が変化しても全く変化しない。
従って、上記帯域対応画素値算出式(式23)はどのような光源、被写体を利用した場合でも共通に利用できる式であり、光源、被写体が変化しても精度の高い帯域対応画素値(a1,b2等)を正しく算出することができる。
[5.本開示の画像処理装置の具体的利用例について]
次に、本開示の画像処理装置の具体的利用例について説明する。
本開示の画像処理装置、例えば図6や図9に示す構成を有するマルチスペクトルカメラ100は、マルチバンドパスフィルタ(MBP)と、カラーフィルタを介して撮像素子(イメージセンサ)に入力する画素のRAW画像画素値(Rraw等)に基づいて、特定波長帯域の信号(R,NIR等)の高精度な値を算出することができる。
この処理結果として、例えばノイズの無い高精度なRGB画像等のカラー画像を生成して出力することができる。
さらに、被写体の色成分の高精度な解析も可能となる。例えば、前述したように植物の活性度の指標値であるNDVI(Normalized Difference Vegetation Index)等の植物活性度指標値を精度よく算出することができる。
図17は、ノイズの無い高精度なRGB画像等のカラー画像を生成して出力する場合の画像処理装置としてのマルチスペクトルカメラ120の一構成例を示す図である。
図17に示すマルチスペクトルカメラ120において、レンズ121を介して入力した被写体の撮影光は、マルチバンドパスフィルタ(RGB-MBP)122と、カラーフィルタ(RGBカラーフィルタ)123を介して撮像素子(イメージセンサ)124に入力する。
撮像素子(イメージセンサ)124の撮影画像は信号処理部125に入力される。
信号処理部125は、撮像素子(イメージセンサ)124の出力するRAW画像から、RAW画像ベース画素値(Raw,Graw,Braw)と、マルチスペクトルカメラ120の分光特性パラメータを用いて、先に説明した帯域対応画素値算出式(式23)に相当するRGB各帯域対応画素値算出式を生成して反復計算を実行する。
信号処理部125は、画素単位でRGB各帯域対応画素値算出式の反復計算を実行して、収束値として得られるRGB画素値を、各画素の画素値として算出する。このRGB画素値は、ノイズを低減した高精度画素値であり、この画素値を利用して高精度RGBカラー画像を生成して出力する。
図17の「(1)フィルタ分光特性」に示すグラフは、マルチバンドパスフィルタ(RGB-MBP)122と、カラーフィルタ(RGBカラーフィルタ)123の分光特性である。カラーフィルタ(RGBカラーフィルタ)123はRGBカラーフィルタであるが、それぞれノイズ成分の光も通過させてしまう。
本実施例で利用するマルチバンドパスフィルタ(RGB-MBP)122は、R帯域、G帯域、B帯域の3つの帯域の光を透過させるフィルタである。
これらの分光特性を有するマルチバンドパスフィルタ(RGB-MBP)122と、カラーフィルタ(RGBカラーフィルタ)123を組み合わせて利用して撮影した画像を信号処理部125に入力する。
信号処理部125は、撮像素子124から入力するRAW画像に基づいて、先に説明した帯域対応画素値算出式(式23)に相当するRGB各帯域対応画素値算出式を生成して反復計算を行うことで、ノイズを低減した高精度RGB画素値を算出することができる。
図18は、被写体の色成分の高精度な解析処理を実行する画像処理装置としてのマルチスペクトルカメラ140の一構成例を示す図である。
図18に示すマルチスペクトルカメラ140は、NDVI(Normalized Difference Vegetation Index)等の植物活性度指標値を精度よく算出することができる。
図18に示すマルチスペクトルカメラ140において、レンズ141を介して入力した被写体の撮影光は、マルチバンドパスフィルタ(RGBIR-MBP)142と、カラーフィルタ(RGBIRカラーフィルタ)143を介して撮像素子(イメージセンサ)144に入力する。
撮像素子(イメージセンサ)144の撮影画像は信号処理部145に入力される。
信号処理部145は、撮像素子(イメージセンサ)144の出力するRAW画像から、RAW画像ベース画素値(Raw,Graw,Braw,IRraw)と、マルチスペクトルカメラ120の分光特性パラメータを用いて、先に説明した帯域対応画素値算出式(式23)に相当するRGBIR各帯域対応画素値算出式を生成して反復計算を実行する。
信号処理部125は、画素単位でRGBIR各帯域対応画素値算出式の反復計算を実行して、収束値として得られるRGBIR画素値を用いてNDVI等の植物活性度指標値を算出する。RGBIR各帯域対応画素値算出式の反復計算を実行して、収束値として得られるRGBIR画素値は、ノイズを低減した高精度画素値であり、この画素値を利用することで高精度なNDVI等の植物活性度指標値を算出することができる。
図18の「(1)フィルタ分光特性」に示すグラフは、マルチバンドパスフィルタ(RGBIR-MBP)142と、カラーフィルタ(RGBIRカラーフィルタ)143の分光特性である。カラーフィルタ(RGBIRカラーフィルタ)143はRGBIRカラーフィルタであるが、それぞれノイズ成分の光も通過させてしまう。
本実施例で利用するマルチバンドパスフィルタ(RGBIR-MBP)142は、R帯域、G帯域、B帯域、NIR帯域の4つの帯域の光を透過させるフィルタである。
これらの分光特性を有するマルチバンドパスフィルタ(RGBIR-MBP)142と、カラーフィルタ(RGBIRカラーフィルタ)143を組み合わせて利用して撮影した画像を信号処理部145に入力する。
信号処理部145は、撮像素子144から入力するRAW画像に基づいて、先に説明した帯域対応画素値算出式(式23)に相当するRGBIR各帯域対応画素値算出式を生成して反復計算を行うことで、ノイズを低減した高精度なRGBIR各画素値を算出することができる。
信号処理部は、この高精度なRGBIR各画素値を用いて、被写体である植物の活性度指標値、例えばNDVI値を算出する。
前述したように、NDVIは、以下の式に従って算出することができる。
NDVI=(NIR-RED)/(NIR+RED)
上記式において、
RED,NIRは画像の各画素におけるRED波長とNIR波長の強度(画素値)である。
具体的な画像撮影例について図19を参照して説明する。例えば、図19に示すように、RED波長とNIR波長を同時撮影するマルチスペクトルカメラを搭載したドローン150を用いて、農場全体を撮影し、植物活性状態を解析するといった処理を行う。
なお、植物の活性度の指標値としては、NDVIが最もよく利用されるが、REDの代わりにGreenが利用されるGNDVIや、RGB信号で構成されるVARIも利用される。一例としてそれぞれ、以下の式で表される。(いろいろな指標が提案されており、同じ名称でも式が異なる場合がある)
GNDVI=(NIR-GRN)/(NIR+GRN)
VARI=(GRN-RED)/(GRN+RED-BLU)
これらの2つの植物活性度指標値は、図20のグラフに示すように、植物の生育状況に応じて変化する。成長初期(V1~V3)ではNDVIの方が植物の状態変化をよく把握でき、成長末期(R3~R6)では、GNDVIまたはVARIの方が植物の状態変化を把握しやすく、植物の生育時期に応じて各指標値を使い分けるのが好ましい。
これらの2つの植物活性度指標値は、図20のグラフに示すように、植物の生育状況に応じて変化する。成長初期(V1~V3)ではNDSInの方が植物の状態変化をよく把握でき、成長末期(R3~R6)では、NDSIgの方が植物の状態変化を把握しやすく、植物の生育時期に応じて各指標値を使い分けるのが好ましい。
なお、図19に示すように、RED波長とNIR波長を同時撮影するマルチスペクトルカメラを搭載したドローン150を用いて、農場全体を撮影し、植物活性状態を解析するといった処理を行う場合、カメラは農場全体を分割した領域単位の複数の画像を撮影する。
このような場合、各画像を貼り合わせる(スティッチ)処理を行うことで、広大な領域の合成画像を生成することができる。ただし、このような画像貼り合わせを行う場合には、各撮影画像の輝度等が異なることから、画像の差分を解消するための補正等を行うことが必要である。Band抽出演算を行う場合、画素操作が行われる前、すなわち、スティッチ処理の前に行う方が精度の向上には都合がよい。
逆にband抽出を行うRaw画像間で画素位置がずれている場合には、それを合わせた後で、band抽出演算を行わないと、精度が著しく劣化する。その意味で位相補償が必要な場合には、band抽出演算の前に行うのが適切である。
また、シェーディング補正、ディストーションについては、波長毎に異なる特性を持つことが多いため、Band抽出演算を行った後で行うのが、適切である。
[6.その他の実施例について]
次に、その他の実施例について説明する。以下の2つの実施例について、順次、説明する。
(1)カラーフィルタの代わりにマイクロレンズアレイを用いた装置構成例
(2)カラーフィルタの代わりにプラズモンフィルタを用いた装置構成例
(6-(1)カラーフィルタの代わりにマイクロレンズアレイを用いた装置構成例)
まず、図21を参照してカラーフィルタの代わりにマイクロレンズアレイを用いた画像処理装置の構成例について説明する。
図21に示すマルチスペクトルカメラ170は、先に図6、図9を参照して説明したマルチスペクトルカメラ100におけるカラーフィルタ103をマイクロレンズアレイ173に置き換えた構成を有する。
図21に示すマルチスペクトルカメラ170において、レンズ171を介して入力した被写体の撮影光は、マルチバンドパスフィルタ(MBP)172と、マイクロレンズアレイ173を介して撮像素子(イメージセンサ)174に入力する。
さらに、撮像素子(イメージセンサ)174からRAW画像が信号処理部175に入力され、信号処理がなされる。
図22に示すように、マイクロレンズアレイ(MLA:Micro Lens Array)173は、マイクロレンズを多数配置した構成を有する。
図22(b)断面図に示すように、マイクロレンズアレイ(MLA)173を構成するマイクロレンズを介して入射した光は、撮像素子174に照射され撮像される。
マイクロレンズを介して撮像素子174に入射する光は、レンズにより波長に応じた分光処理がなされる。例えばRGB等の帯域ごとに、撮像素子174の異なる画素に入力する。すなわちカラーフィルタと同様、RGBIR等、各帯域の光を画素単位で受光することができる。
このようにカラーフィルタの代わりにマイクロレンズを用いたマルチスペクトルカメラが構成可能であり、このようなマイクロレンズを用いたマルチスペクトルカメラにおいても本開示の処理を実行することができる。
(6-(2)カラーフィルタの代わりにプラズモンフィルタを用いた装置構成例)
次に、図23を参照してカラーフィルタの代わりにプラズモンフィルタを用いた画像処理装置の構成例について説明する。
図23に示すマルチスペクトルカメラ180は、先に図6、図9を参照して説明したマルチスペクトルカメラ100におけるカラーフィルタ103をプラズモンフィルタ183に置き換えた構成を有する。
図23に示すマルチスペクトルカメラ180において、レンズ181を介して入力した被写体の撮影光は、マルチバンドパスフィルタ(MBP)182と、プラズモンフィルタ183を介して撮像素子(イメージセンサ)184に入力する。
さらに、撮像素子(イメージセンサ)184からRAW画像が信号処理部185に入力され、信号処理がなされる。
プラズモンフィルタ183は、撮像素子184の1画素毎、直径、ピッチの異なる穴をあけることで、異なる光の通過域を構成したフィルタである。例えばプラズモンフィルタ183により、8帯域(バンド)、12帯域、16帯域等、異なる波長帯域の画素アレイを構成できる。
撮像素子(イメージセンサ)184の前にこのプラズモンフィルタ183を置き、さらにその前にマルチバンドパスフィルタ(MBP)182を置くことで、8帯域(バンド)、12帯域、16帯域等、異なる波長帯域の画素値からなるRAW画像の撮影が可能となる。
このようにカラーフィルタの代わりにプラズモンフィルタを用いたマルチスペクトルカメラが構成可能であり、このようなプラズモンフィルタを用いたマルチスペクトルカメラにおいても本開示の処理を実行することができる。
[7.本開示の画像処理装置、および画像処理システムの構成例について]
次に、本開示の画像処理装置、および画像処理システムの構成例について説明する。
本開示の画像処理装置は、例えば図24に示すような構成を有する撮像装置(マルチスペクトルカメラ)200である。
撮像装置(マルチスペクトルカメラ)200は、先に図6や図9に示すマルチスペクトルカメラと同様、レンズ201を介して入力した被写体の撮影光は、マルチバンドパスフィルタ(MBP)202と、カラーフィルタ(RGBIRカラーフィルタ)203を介して撮像素子(イメージセンサ)204に入力する構成を持つ。
さらに、撮像素子(イメージセンサ)204のRAW画像画素値(Rraw等)が信号処理部105に入力され、信号処理がなされる。
信号処理部105は、撮像素子(イメージセンサ)104のRAW画像画素値(Rraw等)を用いて、各帯域(波長)対応のノイズ成分を除去した真の画素値を算出する帯域対応画素値算出式(式23)を用いた反復計算により、帯域対応の高精度画素値を算出する。
さらに、信号処理部105、あるいは後段処理部において、帯域対応の高精度画素値を用いたノイズ成分の少ない高精度カラー画像の生成処理や、被写体の色成分の解析処理等を実行する。
なお、信号処理部105は、プログラム(ソフトウェア)によるデータ処理を実行する構成としてもよいし、FPGA等のハードウェアを用いた構成としてもよい。
なお、本開示の画像処理装置は、図24に示すようなカメラ端単位構成のみならず、例えば、図25に示すシステムを利用した構成としてもよい。
図25(1)は、マルチスペクトルカメラ200の撮影画像(RAW画像)をPC等の画像処理装置250に入力して、画像処理装置250でデータ処理を実行する構成である。
PC等の画像処理装置250が、マルチスペクトルカメラ200から入力したRAW画像画素値(Rraw等)を用いて、各帯域(波長)対応のノイズ成分を除去した真の画素値を算出する帯域対応画素値算出式(式23)を用いた反復計算により、帯域対応の高精度画素値を算出する。
さらに、図25(2)に示すように、マルチスペクトルカメラ200の撮影画像(RAW画像)を、ネットワークを介して画像処理実行サーバ270に入力して、画像処理実行サーバ270でデータ処理を実行する構成である。
画像処理実行サーバ270が、マルチスペクトルカメラ200から入力したRAW画像画素値(Rraw等)を用いて、各帯域(波長)対応のノイズ成分を除去した真の画素値を算出する帯域対応画素値算出式(式23)を用いた反復計算により、帯域対応の高精度画素値を算出する。
このように本開示の画像処理装置やシステムは様々な構成が可能である。
[8.画像処理装置のハードウェア構成例について]
次に、図26を参照して画像処理装置のハードウェア構成例について説明する。
図26は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、撮像部521の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部506、表示部522やスピーカなどに対するデータ出力を実行する出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
[9.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
前記信号処理部は、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する撮像装置。
(2) 前記信号処理部は、
前記RAW画像ベース画素値信号と、前記分光特性パラメータとを用いた帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する(1)に記載の撮像装置。
(3) 前記分光特性パラメータは、
前記カラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である(1)または(2)に記載の撮像装置。
(4) 前記特定帯域は、
前記マルチバンドパスフィルタの透過光帯域である(3)に記載の撮像装置。
(5) 前記信号処理部は、
前記撮像素子から入力するRAW画像のデモザイク処理により、画素単位のRAW画像ベース画素値信号を生成し、画素単位で前記帯域対応画素値を算出する(1)~(4)いずれかに撮像記載の装置。
(6) 前記信号処理部は、
前記撮像素子から入力するRAW画像の複数の画素ブロック単位でRAW画像ベース画素値信号を生成し、前記画素ブロック単位で前記帯域対応画素値を算出する(1)~(5)いずれかに撮像記載の装置。
(7) 前記カラーフィルタは、RGBカラーフィルタであり、
前記マルチバンドパスフィルタは、RGB各帯域光を選択的に透過させる構成であり、
前記信号処理部は、
前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素のRGB画素値として算出する(1)~(6)いずれかに記載の撮像装置。
(8) 前記信号処理部は、
さらに、算出した前記RGB画素値を用いて、ノイズの低減された高精度カラー画像を生成する(7)に記載の撮像装置。
(9) 前記カラーフィルタは、RGBIRカラーフィルタであり、
前記マルチバンドパスフィルタは、RGBIR各帯域光を選択的に透過させる構成であり、
前記信号処理部は、
前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素のRGBIR画素値として算出する(1)~(8)いずれかに記載の撮像装置。
(10) 前記信号処理部は、
さらに、算出した前記RGBIR画素値を用いて、撮影被写体である植物の活性度指標値を算出する(9)に記載の撮像装置。
(11) マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記信号処理部は、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理装置。
(12) 前記信号処理部は、
前記RAW画像ベース画素値信号と、前記分光特性パラメータとを用いた帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素の帯域対応画素値として算出する(11)に記載の画像処理装置。
(13) 前記分光特性パラメータは、
前記マルチスペクトルカメラのカラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である(11)または(12)に記載の画像処理装置。
(14) 前記特定帯域は、
前記マルチスペクトルカメラのマルチバンドパスフィルタの透過光帯域である(13)に記載の画像処理装置。
(15) 前記信号処理部は、
前記帯域対応画素値算出式の反復計算を実行して、反復計算により処理対象画素のRGB画素値を算出してノイズの低減された高精度カラー画像を生成する(11)~(14)いずれかに記載の画像処理装置。
(16) 前記信号処理部は、
前記帯域対応画素値算出式の反復計算を実行して、反復計算により処理対象画素のRGBIR画素値を算出して、算出した前記RGBIR画素値を用いて、前記マルチスペクトルカメラの撮影被写体である植物の活性度指標値を算出する(11)~(15)いずれかに記載の画像処理装置。
(17) 撮像装置において実行する画像処理方法であり、
前記撮像装置は、
特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
前記信号処理部が、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理方法。
(18) 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記信号処理部が、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する画像処理方法。
(19) 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、
マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
前記プログラムは、前記信号処理部に、
前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、ノイズ成分を低減した特定帯域の真の画素値を算出可能とした装置、方法が実現される。
具体的には、例えば、特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、カラーフィルタと、各フィルタの透過光を受光する撮像素子と、信号処理部を有する。マルチバンドパスフィルタは、カラーフィルタの色フィルタ対応の帯域光を選択的に透過させる構成であり、信号処理部は、撮像素子の画素値に基づいて生成した画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータを用いた帯域対応画素値算出式の反復計算を実行して、その収束値を処理対象画素の帯域対応画素値として算出する。
これらの構成により、ノイズ成分を低減した特定帯域の真の画素値を算出可能とした装置、方法が実現される。
10 マルチスペクトルカメラ
11 レンズ
12 デュアルバンドパスフィルタ
13 カラーフィルタ
14 撮像素子(イメージセンサ)
100 マルチスペクトルカメラ
101 レンズ
102 マルチバンドパスフィルタ
103 カラーフィルタ
104 撮像素子(イメージセンサ)
105 信号処理部
120 マルチスペクトルカメラ
121 レンズ
122 マルチバンドパスフィルタ
123 カラーフィルタ
124 撮像素子(イメージセンサ)
125 信号処理部
140 マルチスペクトルカメラ
141 レンズ
142 マルチバンドパスフィルタ
143 カラーフィルタ
144 撮像素子(イメージセンサ)
145 信号処理部
170 マルチスペクトルカメラ
171 レンズ
172 マルチバンドパスフィルタ
173 マイクロレンズアレイ
174 撮像素子(イメージセンサ)
175 信号処理部
180 マルチスペクトルカメラ
181 レンズ
182 マルチバンドパスフィルタ
183 プラズモンフィルタ
184 撮像素子(イメージセンサ)
185 信号処理部
200 撮像装置(マルチスペクトルカメラ)
201 レンズ
202 マルチバンドパスフィルタ
203 カラーフィルタ
204 撮像素子(イメージセンサ)
205 信号処理部
250 画像処理装置
270 画像処理実行サーバ
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
521 撮像部
522 表示部

Claims (17)

  1. 特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
    撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
    前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
    前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
    前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
    前記信号処理部は、
    前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する構成であり、
    前記信号処理部は、
    RAW画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成し、
    生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する撮像装置。
  2. 前記分光特性パラメータは、
    前記カラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である請求項1に記載の撮像装置。
  3. 前記特定帯域は、
    前記マルチバンドパスフィルタの透過光帯域である請求項2に記載の撮像装置。
  4. 前記信号処理部は、
    前記撮像素子から入力するRAW画像のデモザイク処理により、画素単位のRAW画像ベース画素値信号を生成し、画素単位で前記帯域対応画素値を算出する請求項1に撮像記載の装置。
  5. 前記信号処理部は、
    前記撮像素子から入力するRAW画像の複数の画素ブロック単位でRAW画像ベース画素値信号を生成し、前記画素ブロック単位で前記帯域対応画素値を算出する請求項1に撮像記載の装置。
  6. 前記カラーフィルタは、RGBカラーフィルタであり、
    前記マルチバンドパスフィルタは、RGB各帯域光を選択的に透過させる構成であり、
    前記信号処理部は、
    前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素のRGB画素値として算出する請求項1に記載の撮像装置。
  7. 前記信号処理部は、
    さらに、算出した前記RGB画素値を用いて、ノイズの低減された高精度カラー画像を生成する請求項6に記載の撮像装置。
  8. 前記カラーフィルタは、RGBIRカラーフィルタであり、
    前記マルチバンドパスフィルタは、RGBIR各帯域光を選択的に透過させる構成であり、
    前記信号処理部は、
    前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を処理対象画素のRGBIR画素値として算出する請求項1に記載の撮像装置。
  9. 前記信号処理部は、
    さらに、算出した前記RGBIR画素値を用いて、撮影被写体である植物の活性度指標値を算出する請求項8に記載の撮像装置。
  10. マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
    前記マルチスペクトルカメラは、
    特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
    撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
    前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子を有するマルチスペクトルカメラであり、
    前記信号処理部は、
    前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する構成であり、
    前記信号処理部は、
    RAW画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成し、
    生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する画像処理装置。
  11. 前記分光特性パラメータは、
    前記マルチスペクトルカメラのカラーフィルタを構成する複数の異なる色フィルタの透過光の特定帯域における強度比である請求項10に記載の画像処理装置。
  12. 前記特定帯域は、
    前記マルチスペクトルカメラのマルチバンドパスフィルタの透過光帯域である請求項11に記載の画像処理装置。
  13. 前記信号処理部は、
    前記帯域対応画素値算出式の反復計算を実行して、反復計算により処理対象画素のRGB画素値を算出してノイズの低減された高精度カラー画像を生成する請求項10に記載の画像処理装置。
  14. 前記信号処理部は、
    前記帯域対応画素値算出式の反復計算を実行して、反復計算により処理対象画素のRGBIR画素値を算出して、算出した前記RGBIR画素値を用いて、前記マルチスペクトルカメラの撮影被写体である植物の活性度指標値を算出する請求項10に記載の画像処理装置。
  15. 撮像装置において実行する画像処理方法であり、
    前記撮像装置は、
    特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
    撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
    前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子と、
    前記撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
    前記マルチバンドパスフィルタは、前記カラーフィルタを構成する複数の色フィルタ対応の帯域光を選択的に透過させる構成であり、
    前記信号処理部が、
    前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する処理を実行し、
    前記信号処理部は、
    RAW画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成し、
    生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する画像処理方法。
  16. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、
    マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
    前記マルチスペクトルカメラは、
    特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
    撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
    前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子を有するマルチスペクトルカメラであり、
    前記信号処理部が、
    前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する処理を実行し、
    前記信号処理部は、
    RAW画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成し、
    生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する画像処理方法。
  17. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、
    マルチスペクトルカメラの撮像素子の画素値を入力して信号処理を実行する信号処理部を有し、
    前記マルチスペクトルカメラは、
    特定帯域の帯域光を選択的に透過させるマルチバンドパスフィルタと、
    撮像素子の画素単位で特定帯域の帯域光を透過させるカラーフィルタと、
    前記マルチバンドパスフィルタと、前記カラーフィルタの透過光を受光する撮像素子を有するマルチスペクトルカメラであり、
    前記プログラムは、前記信号処理部に、
    前記撮像素子の画素値に基づく画素単位のRAW画像ベース画素値信号と、撮像装置の分光特性パラメータとを用いて処理対象画素の帯域対応画素値を生成する処理を実行させ、
    前記プログラムは、前記信号処理部に、
    RAW画像ベース画素値信号からノイズ成分を減算して真の帯域対応画素値を算出する画素値算出式に含まれるノイズ成分を前記分光特性パラメータに置き換えた帯域対応画素値算出式を生成する処理と、
    生成した前記帯域対応画素値算出式の反復計算を実行して、反復計算による収束値を前記帯域対応画素値として算出する処理を実行させるプログラム。
JP2019136217A 2019-07-24 2019-07-24 画像処理装置、撮像装置、および画像処理方法、並びにプログラム Active JP7358817B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019136217A JP7358817B2 (ja) 2019-07-24 2019-07-24 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN202080051464.9A CN114145012B (zh) 2019-07-24 2020-06-01 图像处理装置、图像拾取装置、方法以及程序
US17/626,850 US11910107B2 (en) 2019-07-24 2020-06-01 Image processing apparatus and image pickup apparatus
PCT/JP2020/021657 WO2021014764A1 (en) 2019-07-24 2020-06-01 Image processing apparatus, image pickup apparatus, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019136217A JP7358817B2 (ja) 2019-07-24 2019-07-24 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2021022758A JP2021022758A (ja) 2021-02-18
JP7358817B2 true JP7358817B2 (ja) 2023-10-11

Family

ID=71096726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019136217A Active JP7358817B2 (ja) 2019-07-24 2019-07-24 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11910107B2 (ja)
JP (1) JP7358817B2 (ja)
CN (1) CN114145012B (ja)
WO (1) WO2021014764A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117322002A (zh) * 2021-05-07 2023-12-29 索尼半导体解决方案公司 固态成像装置和电子设备
EP4142283A1 (en) * 2021-08-24 2023-03-01 Aptiv Technologies Limited Method of generating infrared image
NL2031092B1 (en) 2022-02-28 2023-09-07 Db2 Vision B V Multispectral imaging system and method for using the system
JP2024024495A (ja) * 2022-08-09 2024-02-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び固体撮像システム
KR20240115657A (ko) * 2023-01-19 2024-07-26 삼성전자주식회사 전자 장치 및 이의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017032537A (ja) 2015-08-03 2017-02-09 采▲ぎょく▼科技股▲ふん▼有限公司VisEra Technologies Company Limited スペクトル測定装置
JP2018098341A (ja) 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
US20180307906A1 (en) 2017-04-19 2018-10-25 Sentera, Llc Multiband filtering image collection and analysis

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7312829B2 (en) * 2002-07-15 2007-12-25 Ffei Limited Method of determining a device spectral response
US7456878B1 (en) * 2005-05-11 2008-11-25 Magnachip Semiconductor Ltd. Method of color filter design and color reproduction under the effect of pixel crosstalk in CMOS image sensors
JP2007074635A (ja) * 2005-09-09 2007-03-22 Matsushita Electric Ind Co Ltd 画像入力装置および固体撮像素子
US7692709B2 (en) 2006-05-12 2010-04-06 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems with adjustable optical cutoff frequency
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4933878B2 (ja) * 2006-11-07 2012-05-16 オリンパス株式会社 顕微鏡装置
JP4386096B2 (ja) 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
JP2012029269A (ja) * 2010-06-21 2012-02-09 Sanyo Electric Co Ltd 撮像装置および投写型映像表示装置
US11510600B2 (en) * 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
JP5988093B2 (ja) * 2012-07-30 2016-09-07 株式会社豊田中央研究所 画像処理装置、物体識別装置、及びプログラム
EP3940371B1 (en) * 2014-06-05 2023-08-30 Universität Heidelberg Method and imaging apparatus for acquisition of fluorescence and reflectance images
JP2016197794A (ja) * 2015-04-03 2016-11-24 株式会社シグマ 撮像装置
US9865642B2 (en) * 2015-06-05 2018-01-09 Omnivision Technologies, Inc. RGB-IR photosensor with nonuniform buried P-well depth profile for reduced cross talk and enhanced infrared sensitivity
JP2017009395A (ja) * 2015-06-19 2017-01-12 パナソニックIpマネジメント株式会社 撮像装置及び表示制御方法
CN105136732A (zh) * 2015-08-24 2015-12-09 中国农业科学院农业环境与可持续发展研究所 田间作物双波段成像ndvi测量装置
JP6734647B2 (ja) * 2015-12-23 2020-08-05 マクセル株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017032537A (ja) 2015-08-03 2017-02-09 采▲ぎょく▼科技股▲ふん▼有限公司VisEra Technologies Company Limited スペクトル測定装置
JP2018098341A (ja) 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子、電子機器
US20180307906A1 (en) 2017-04-19 2018-10-25 Sentera, Llc Multiband filtering image collection and analysis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TANG HUIXUAN ET AL,High Resolusion Photography with an RGB-Infrared Camera,2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY(ICCP),IEEE,2015年04月24日,pp. 1-10

Also Published As

Publication number Publication date
CN114145012A (zh) 2022-03-04
US11910107B2 (en) 2024-02-20
CN114145012B (zh) 2024-06-04
JP2021022758A (ja) 2021-02-18
US20220264060A1 (en) 2022-08-18
WO2021014764A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP7358817B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP7087198B2 (ja) ハイブリッドスペクトルイメージャ
US11622085B2 (en) Multispectral image decorrelation method and system
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
EP2263373B1 (en) Generalized assorted pixel camera systems and methods
US8138466B2 (en) Video signal processing apparatus and method with infrared component remover
Mihoubi et al. Multispectral demosaicing using intensity-based spectral correlation
CN113676628A (zh) 多光谱传感器、成像装置和图像处理方法
WO2010052593A1 (en) Camera design for the simultaneous capture of near-infrared and visible images
WO2020126023A1 (en) Image processor
CN110443865B (zh) 基于rgb相机和深度神经网络的多光谱成像方法和装置
KR20190036442A (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
KR20190036459A (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
WO2021246192A1 (ja) 信号処理方法、信号処理装置、および撮像システム
CN116309126B (zh) 基于自回归模型的五波段多光谱图像重建方法
Holloway et al. Generalized assorted camera arrays: Robust cross-channel registration and applications
WO2021100426A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102404581A (zh) 基于插值与近红外的彩色图像处理的方法和装置
JP5375168B2 (ja) 調整装置及び調整方法、並びに撮像装置
US10750135B2 (en) Hardware-friendly model-based filtering system for image restoration
CN113781326A (zh) 解马赛克方法、装置、电子设备及存储介质
AU2016290604A1 (en) Method and system for transforming spectral images
CN108051087B (zh) 一种针对快速成像的八通道多光谱相机设计方法
CN108460805B (zh) 一种利用传统数码相机获取rgb和红外图像的方法
JP7571732B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R151 Written notification of patent or utility model registration

Ref document number: 7358817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151