JPWO2018116972A1 - 画像処理方法、画像処理装置および記録媒体 - Google Patents

画像処理方法、画像処理装置および記録媒体 Download PDF

Info

Publication number
JPWO2018116972A1
JPWO2018116972A1 JP2018557732A JP2018557732A JPWO2018116972A1 JP WO2018116972 A1 JPWO2018116972 A1 JP WO2018116972A1 JP 2018557732 A JP2018557732 A JP 2018557732A JP 2018557732 A JP2018557732 A JP 2018557732A JP WO2018116972 A1 JPWO2018116972 A1 JP WO2018116972A1
Authority
JP
Japan
Prior art keywords
light
image data
infrared light
visible light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018557732A
Other languages
English (en)
Other versions
JP7143767B2 (ja
Inventor
竜一 赤司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018116972A1 publication Critical patent/JPWO2018116972A1/ja
Application granted granted Critical
Publication of JP7143767B2 publication Critical patent/JP7143767B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

画像処理装置（１０）は、可視光から近赤外光までの波長領域におけるカラーイメージセンサの分光感度特性と、カラーイメージセンサを用いて入射光を撮像して得られた画像データとを用いて、入射光の分光分布特性を推定する推定部（１１）と、推定された入射光の分光分布特性とカラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成部（１２）とを備える。

Description

本発明は、暗所撮像等で使用される、近赤外光が利用される高感度撮影モードのカラーカメラで撮影された画像信号から可視光の画像信号と近赤外光の画像信号を生成できる画像処理方法、画像処理装置および記録媒体に関する。
人間の色知覚は、400nmから700nmまでの波長領域に対応する光を感じる。400nmから700nmまでの波長領域に対応する光は、可視光と呼ばれる。
また、画像データを撮像するCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の一般的なイメージセンサは、図１４に示すように波長が400nmから700nmまでのいずれかの値である可視光だけでなく、波長が700nmより長い光である近赤外光(Near InfraRed;NIR)も検出する分光感度特性を有する。
図１４は、一般的なイメージセンサが有する分光感度特性の一例を示す説明図である。図１４に示すように、イメージセンサは、700nmから800nmまでの波長領域に対応する近赤外光を80%以上検出する高い感度を有する。
映像撮影装置で使用されているイメージセンサがシリコン系センサである場合、イメージセンサは、可視光以外に、近赤外光に対しても感度を有する。一般的には、近赤外光は波長が概ね0.7μｍ〜2μｍ程度の光と定義されている。
通常、デジタルカメラやビデオカメラ等の映像撮影装置のイメージセンサには、赤(R)の光、緑(G)の光、および青(B)の光だけを透過させる３色光学フィルタ（以下、単にRGBの光学フィルタ、またはカラーフィルタという。）が組み込まれている。
カメラに入射した光は、３色光学フィルタによって分解される。分解された光は、イメージセンサによって映像信号に変換される。最終的に、変換された映像信号が集積したRGBの映像データが生成される。
以下、上記のイメージセンサにRGBの光学フィルタが適用されたセンサを、カラーイメージセンサと呼ぶ。カラーイメージセンサが出力する画像データは、Rチャネル、Gチャネル、およびBチャネルを含むRGBチャネルの画像データである。
RGBの光学フィルタの分光透過特性の例を図１５に示す。図１５は、カラーフィルタの分光透過率の一例を示す説明図である。図１５は、Rチャネル、Gチャネル、およびBチャネルに関して、光学フィルタが全て可視光に加えて近赤外光も透過させる場合の各分光透過特性の一例を示す。図１５に示すように、RGBの光学フィルタは、波長が700nm以上の近赤外光に対しても高い分光透過率を有する。
また、各チャネルの近赤外光の波長領域における分光透過特性の積分値の比率に閾値が設定されていてもよい。例えば、各分光透過特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。
以上のように、一般的なRGBの光学フィルタは、全てのチャネルまたは一部のチャネルに関して可視光だけでなく近赤外光も透過させる分光透過特性を有する。よって、カラーイメージセンサで撮像された画像において、近赤外光の信号と可視光の色信号とが混在している。すなわち、カラーイメージセンサで撮像された物体の色は、人間が色知覚で感じる物体の色と異なる可能性がある。
具体的には、近赤外光が含まれる光がイメージセンサに入射すると、R,G,Bそれぞれの光の出力信号に、NIRの出力信号が加算される。NIRの出力信号が加算されると、可視光以外の光の信号が含まれるため、映像撮影装置の色再現性が低下する。
上記の課題を解決するために、一般的なデジタルカメラやデジタルビデオカメラでは、近赤外光カットフィルタで近赤外光が除去されることによって、高精度な色再現性が確保されている。
上記のイメージセンサの近赤外光感度が利用された近赤外光映像の撮影には需要がある。需要を受けて、可視光撮影と近赤外光撮影とを１つの映像撮影装置で行う方法が種々検討されている。
可視光撮影と近赤外光撮影とを１つの映像撮影装置で行う最も単純な手法は、赤外光(InfraRed;IR)を除去する赤外光カットフィルタ（IRカットフィルタ）を機械的に移動させる仕組みを映像撮影装置に設ける手法である。上記の仕組みが設けられた映像撮影装置は、通常の撮影ではIRカットフィルタを光学系にセットして可視光映像を撮影する。
また、夜間の屋外や暗所における撮影では、映像撮影装置は、IRカットフィルタを光学系から除去して近赤外光映像を撮影する。以上のように、色再現性の良い可視光撮影と近赤外光撮影とが１つの映像撮影装置で行われる。
具体的には、通常のカメラでは、図１６に示すような分光透過特性を有するIRカットフィルタが光学系に組み込まれる。図１６は、IRカットフィルタの分光透過率の一例を示す説明図である。図１６に示すように、波長が710nm以上の近赤外光に対するIRカットフィルタの分光透過率は0%である。
上記のようなIRカットフィルタが光学系に組み込まれることによって、近赤外光が除かれた光がイメージセンサに入射する。以上の方法により、カラーイメージセンサで撮像された物体の色と人間が色知覚で感じる物体の色が一致するという高精度な色再現性が撮像において実現される。
また、機械的動作を実行せずにRGB画像（可視光画像）とNIR画像（近赤外光画像）を撮影する方法も提案されている。例えば、特許文献１および特許文献３には、RGBの３色光学フィルタに、可視光を除去しIRを透過させるIR透過フィルタが加えられた４色光学フィルタを用いる方法が記載されている。
すなわち、特許文献１および特許文献３に記載されている方法は、IR専用の画素を設けることによってIR信号を取得している。次いで、特許文献１および特許文献３に記載されている方法は、取得されたIR信号を用いて、イメージセンサから出力されたR,G,Bの各色の光の信号からIRの寄与分を差し引くことによって、正しいR,G,Bの各色の光の信号を算出する。
以上の手法により、特許文献１および特許文献３に記載されている方法は、高い色再現性を確保している。また、特許文献１および特許文献３に記載されている方法は、暗所撮影ではRGBのカラーイメージセンサを近赤外光センサとして利用することによって、モノクロームの近赤外光画像を取得している。
また、例えば特許文献２には、半導体フォトセンサに入射した光の検出を、可視光の検出と、近赤外光の検出の２つに分けて行う方法が記載されている。可視光の検出は、R,G,Bの各色の光を透過させる３色光学フィルタを用いて行われる。なお、３色光学フィルタは、NIRも透過させる。
次いで、NIRの検出は、RGBの各光用のフォトセンサ部の深部（表面から遠い部分）に設けられたNIRセンサを用いて行われる。NIRセンサによる検出では、波長が長い光ほど半導体の表面から遠い部分まで進入し吸収されるという現象が利用されている。
すなわち、特許文献２に記載されている方法は、可視光センシング部を透過したNIRを、NIR専用のセンサで検出している。上記の構成が適用された１つの撮影装置は、可視光画像と近赤外光画像の両方を撮影できる。
特開２０１２−２２７７５８号公報 特開２０１１−２４３８６２号公報 特開２０１５−２０４５７９号公報
特許文献１および特許文献３に記載されている方法は、イメージセンサにIR専用の画素を設けている。よって特許文献１および特許文献３に記載されている方法がイメージセンサに適用された場合、画素面積が同一のイメージセンサがRGBの３色の光だけを検出した時に出力するRGBの画素数または画素面積に比べて、出力されるRGBの画素数または画素面積が減少する。すなわち、特許文献１および特許文献３に記載されている方法がイメージセンサに適用されると、解像度または感度が低下するという問題がある。
また、特許文献２に記載されている方法は、RGBの各光用のフォトセンサ部の深部にNIRセンサを設けている。すなわち、特許文献２に記載されている方法が撮影装置に適用されると、一種類のフォトセンサが平面上に配列される通常の撮影装置の構造に比べて撮影装置の構造が複雑になる。よって撮影装置の製造プロセスも複雑になり、製造コストが高くなるという問題がある。
［発明の目的］
そこで、本発明は、上述した課題を解決する、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる画像処理方法、画像処理装置および記録媒体を提供することを目的とする。
本発明による画像処理方法は、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定し、前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する画像処理方法であって、前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たすことを特徴とする。
本発明による画像処理装置は、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定手段と、前記推定された入射光の分光分布特性と前記カラーイメージセンサの前記分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成手段とを備え、前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たすことを特徴とする。
本発明による記録媒体は、コンピュータに、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定処理、および前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成処理を実行させるための画像処理プログラムを記録した、一時的でない記録媒体であって、前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たすことを特徴とする。
本発明によれば、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる。
本発明による画像処理装置１００の第１の実施形態の構成例を示すブロック図である。 入射光の平均ベクトルおよび基底ベクトルの一例を示す説明図である。 第１の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。 本発明による画像処理装置１００の第２の実施形態の構成例を示すブロック図である。 本発明による画像処理装置１００の第２の実施形態の他の構成例を示すブロック図である。 第２の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。 本発明による画像撮影装置２００の第３の実施形態の構成例を示すブロック図である。 ベイヤ配列型カラーフィルタが組み込まれたフォトセンサアレイの一例を示す平面図である。 デモザイキング処理の一例を示す平面図である。 第３の実施形態の画像撮影装置２００による画像生成処理の動作を示すフローチャートである。 本発明による画像撮影装置３００の第４の実施形態の構成例を示すブロック図である。 第４の実施形態の画像撮影装置３００による画像生成処理の動作を示すフローチャートである。 本発明による画像処理装置の概要を示すブロック図である。 一般的なイメージセンサが有する分光感度特性の一例を示す説明図である。 カラーフィルタの分光透過率の一例を示す説明図である。 IRカットフィルタの分光透過率の一例を示す説明図である。
（第１実施形態）
［構成の説明］
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による画像処理装置１００の第１の実施形態の構成例を示すブロック図である。
本実施形態の画像処理装置１００は、構成が簡易であり、かつ暗所撮像等で使用される近赤外光が利用される高感度撮影モードのカラーカメラで撮影された画像信号から可視光の画像信号と近赤外光の画像信号を同時に生成できる画像処理装置である。
なお、本実施形態でも、可視光だけでなく近赤外光も透過させる分光透過特性を有する光学フィルタが用いられる。また、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。
また、本実施形態の画像処理装置１００は、上述したIRカットフィルタが使用されず、カラーイメージセンサが有する分光感度特性が十分に活用された上で撮像された画像データを用いる。よって、取得された画像データの色信号には、可視光の信号および近赤外光の信号が含まれている。
図１に示すように、本実施形態の画像処理装置１００は、画像データ取得部１０１と、入射光スペクトル推定部１０２と、可視光画像生成部１０３と、近赤外光画像生成部１０４とを備える。
また、図１に示すように、画像処理装置１００は、外部手段１１０と通信可能に接続されている。外部手段１１０は、例えばイメージセンサ等の撮像装置である。また、外部手段１１０には、光学フィルタが組み込まれている。
画像データ取得部１０１は、可視光(VIS)から近赤外光(NIR)までを検出する分光感度を有する外部手段１１０で撮像された画像データ（図１に示すIRGB_NIR）を取得する機能を有する。取得される画像データは、静止画像データでもよいし、動画像データでもよい。
本実施形態の画像データ取得部１０１が取得する画像データは、Mチャネルの色信号で構成されている。なお、Mは、１以上の整数である。また、各色信号には、可視光の信号と近赤外光の信号の両方が含まれている。また、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。
画像データ取得部１０１は、全ての画素に対して画像データを取得する。全ての画素には、画像データに含まれる色情報が設定されている。色情報として、例えば、R（赤）、G（緑）、B（青）、またはC（シアン）、M（マジェンタ）、Y（イエロ）が設定されている。なお、設定される色情報には、可視光の情報および近赤外光の情報が含まれている。
本実施形態では、画像データに含まれる色情報としてR,G,Bが設定されているとして説明する。本実施形態の画像処理装置１００は、全ての画素にR,G,Bの色情報が設定された画像データから、VIS画像データおよびNIR画像データをそれぞれ推定し、各画像データを生成する。
設定情報に従って、画像データ取得部１０１は、例えばデモザイキング（demosaicing）処理を実行することによって、図１に示すように画像データIRGB_NIRを画像データIR_NIR、画像データIG_NIR、画像データIB_NIRに分離する。画像データ取得部１０１は、分離された画像データIR_NIR、画像データIG_NIR、画像データIB_NIRを、入射光スペクトル推定部１０２に入力する。
なお、画像データIRGB_NIRは、可視光と近赤外光が混在しているRGBチャネルの画像データである。画像データIR_NIRは、可視光と近赤外光が混在しているRチャネルの画像データである。画像データIG_NIRは、可視光と近赤外光が混在しているGチャネルの画像データである。画像データIB_NIRは、可視光と近赤外光が混在しているBチャネルの画像データである。
なお、画像データ取得部１０１自体が、カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによってRGBチャネルの画像データを取得してもよい。
入射光スペクトル推定部１０２は、取得された画像データを構成する各画素に入射した光の分光分布特性（スペクトル）を推定する機能を有する。
入射光スペクトル推定部１０２は、外部手段１１０の分光感度特性を用いて、画像データから入射光の分光分布特性を推定する。入射光スペクトル推定部１０２により推定された入射光のスペクトルは、可視光の波長領域から近赤外光の波長領域までに対応する。
可視光画像生成部１０３は、推定された画像データを構成する各画素に入射した光のスペクトルと外部手段１１０の分光感度特性とを用いて、可視光の信号のみが含まれる可視光画像（図１に示すIR、IG、IB）を生成する機能を有する。
近赤外光画像生成部１０４は、推定された画像データを構成する各画素に入射した光のスペクトルと外部手段１１０の分光感度特性とを用いて、近赤外光の信号のみが含まれる近赤外光画像（図１に示すINIR）を生成する機能を有する。
以下、本実施形態の入射光スペクトル推定部１０２による分光分布特性の推定処理を説明する。カラーイメージセンサのRチャネルの分光感度特性をCR(λ)、Gチャネルの分光感度特性をCG(λ)、Bチャネルの分光感度特性をCB(λ)、およびカラーイメージセンサが出力する画像データを構成する画素への入射光の分光分布特性をE(λ)とそれぞれする。
カラーイメージセンサは、各チャネルに関していずれも近赤外光の波長領域に感度を有する。かつ、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。光が入射した画素における３つの色信号R,G,Bは、それぞれ以下のように表される。
Figure 2018116972
式（１）におけるλは、光の波長を表す。λの値は、カラーイメージセンサが感度を有する波長領域における任意の値である。
また、式（１）におけるカラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)は、イメージセンサの分光感度特性とRGBの光学フィルタの各分光透過特性との積であり、既知の関数である。式（１）では、カラーイメージセンサが感度を有する波長領域に渡って積分が行われる。
式（１）を用いて画像データにおける色信号R,G,Bを基に入射光の分光分布特性E(λ)を求めるために、本実施形態では、本来波長に関して無限次元の連続データである入射光の分光分布特性を比較的少ないパラメータで表現するモデルが導入される。
入射光の分光分布特性は、比較的少ないパラメータが使用された上で、分光分布特性の基底ベクトルri(λ)(i=1~M)の加重和でモデル化されてもよいし、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されてもよい。さらに、平均ベクトルr0(λ)が、モデルに追加されてもよい。
最初に、入射光の分光分布特性が平均ベクトルr0(λ)と基底ベクトルri(λ)(i=1~M)とでモデル化される場合を説明する。分光分布特性は、式（２）に示すように、平均ベクトルと基底ベクトルの加重和との和でモデル化される。
Figure 2018116972
なお、式（２）における基底ベクトルri(λ)(i=1-3)は、入射光の分光分布特性E(λ)を少ないパラメータで十分に表現可能な関数である。基底ベクトルri(λ)は、光源の分光分布特性と物体の表面反射率との積で形成される分光空間を主成分分析することによって得られる。また、式（２）における係数aiは、入射光の分光分布特性E(λ)を表現するために使用されるパラメータである。
図２は、入射光の平均ベクトルおよび基底ベクトルの一例を示す説明図である。図２は、平均ベクトルr0(λ)と、基底ベクトルr1(λ)〜基底ベクトルr3(λ)とを示す。
式（２）が式（１）に代入されることによって、未知のパラメータaiに関する観測方程式が以下のように生成される。
Figure 2018116972
なお、式（３）の右辺には本来積分係数が必要であるが、本実施形態では説明の簡略化のために積分係数を省略する。
式（３）の積分計算は、以下に示すような総和計算に近似されてもよい。
Figure 2018116972
なお、式（４）において総和は、カラーイメージセンサが持つ分光感度特性に従って、400nmから1000nmの波長領域に渡って求められる。
画像データにおけるRGB値が得られれば、式（３）の観測方程式は、未知のパラメータaiに関する連立M元一次方程式になる。すなわち、未知のパラメータaiが求解可能になる。
式（４）から得られたパラメータaiを式（２）に代入することによって、入射光スペクトル推定部１０２は、画像データにおける該当する画素への入射光の分光分布特性E(λ)を復元できる。
入射光スペクトル推定部１０２は、画像データを構成する全ての画素に対して式（４）等の観測方程式を解くことによって、全ての画素に関して入射光の分光分布特性E(λ)を求めることができる。
以上、入射光の分光分布特性が平均ベクトルr0(λ)と基底ベクトルri(λ)(i=1~M)とでモデル化される場合を説明した。なお、基底ベクトルを一つ増やして、入射光の分光分布特性が平均ベクトルr0(λ)と基底ベクトルri(λ)(i=1~M+1)とでモデル化されてもよい。基底ベクトルri(λ)(i=1~M+1)が使用される場合、分光分布特性は、式（５）に示すように表される。
Figure 2018116972
同様に、式（５）から観測方程式が以下のように生成される。
Figure 2018116972
式（６）において、基底ベクトルri(λ)(i=1~M+1)の係数である未知のパラメータaiは、(M+1)個存在する。すなわち、未知のパラメータが観測方程式の数であるM個よりも多いアンダーデターミナントな状態であり、解析的に未知のパラメータaiが求められない。上記の問題を解決するために、第一基底ベクトルr1(λ)の係数a1は、別の方法で予め求められる。
係数a1を求める方法の一例を説明する。図２に示すように、入射光の第一基底ベクトルr1(λ)は、一般的に直流成分である。すなわち、第一基底ベクトルr1(λ)の係数は、入射光の強度を表すための係数に相当する。よって、Mチャネルの画像データの総和と、第一基底ベクトルr1(λ)の係数との相関は高いことが推測される。
上記の性質に着目すると、例えば、単回帰分析により、Mチャネルの画像データの総和と基底ベクトルr1(λ)の係数a1とに関する回帰式が得られる。得られた回帰式にMチャネルの画像データの総和が代入されることによって、基底ベクトルr1(λ)の係数a1が得られる。
上記の方法で算出されたa1が式（６）に代入されると、アンダーデターミナントの問題は解消される。すなわち、式（６）に示す観測方程式が連立M元一次方程式になり、残りの未知のパラメータaiが得られる。
上記のように得られたパラメータaiを式（５）に代入することによって、入射光スペクトル推定部１０２は、画像データにおける該当する画素への入射光の分光分布特性E(λ)を復元できる。
以下、本実施形態の可視光画像生成部１０３による可視光画像の生成処理を説明する。可視光画像生成部１０３は、カラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)のうち、可視光領域のみにおける分光感度特性CR,VIS(λ)、CG,VIS(λ)、CB,VIS(λ)を利用する。なお、可視光領域は、概ね400nm〜700nmの波長領域である。
可視光画像生成部１０３は、入射光スペクトル推定部１０２によって得られた入射光の分光分布特性E(λ)と、分光感度特性CR,VIS(λ)、CG,VIS(λ)、CB,VIS(λ)を用いて、可視光の信号のみが含まれる色信号RVIS、GVIS、BVISをそれぞれ以下のように生成する。
Figure 2018116972
画像データを構成する全ての画素に対して可視光の信号のみが含まれる色信号RVIS、GVIS、BVISをそれぞれ計算することによって、可視光画像生成部１０３は、可視光の信号のみが含まれる画像データIR、IG、IBを生成できる。
以下、本実施形態の近赤外光画像生成部１０４による近赤外光画像の生成処理を説明する。近赤外光画像生成部１０４は、カラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)のうち、近赤外光領域のみにおける分光感度特性CR,NIR(λ)、CG,NIR(λ)、CB,NIR(λ)を利用する。なお、近赤外光領域は、概ね700nm〜1000nmの波長領域である。
近赤外光画像生成部１０４は、入射光スペクトル推定部１０２によって得られた入射光の分光分布特性E(λ)と、分光感度特性CR,NIR(λ)、CG,NIR(λ)、CB,NIR(λ)を用いて、近赤外光の信号のみが含まれる信号RNIR、GNIR、BNIRをそれぞれ以下のように生成する。
Figure 2018116972
近赤外光画像生成部１０４は、画像データを構成する全ての画素に対して近赤外光の信号のみが含まれる信号RNIR、GNIR、BNIRをそれぞれ計算する。次いで、近赤外光画像生成部１０４は、各画素に関して得られた信号RNIR、GNIR、BNIRを加算し、加算結果を記録することによって、近赤外光の信号のみが含まれる画像データINIRを生成できる。
なお、各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率がユーザから指定されるため、例えば信号の比率であるRNIR/GNIR、RNIR/BNIRは所定値未満の値になる。すなわち、画像データINIRを構成する信号の比率が調整される。
［動作の説明］
以下、本実施形態の画像処理装置１００の可視光画像および近赤外光画像を生成する動作を図３を参照して説明する。図３は、第１の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。
図３に示すように、最初に、画像データ取得部１０１は、外部手段１１０で撮像された画像データIRGB_NIRを取得する（ステップS101）。画像データ取得部１０１は、取得された画像データを加工し、加工された画像データIR_NIR、IG_NIR、IB_NIRを入射光スペクトル推定部１０２に入力する。
次いで、入射光スペクトル推定部１０２は、外部手段１１０のカラーイメージセンサの分光感度特性CR(λ)、CG(λ)、CB(λ)を用いて、取得された画像データにおける画素への入射光の分光分布特性E(λ)を推定する（ステップS102）。
入射光スペクトル推定部１０２は、画像データを構成する全ての画素に関して分光分布特性E(λ)を推定する。入射光スペクトル推定部１０２は、推定された分光分布特性E(λ)を可視光画像生成部１０３と近赤外光画像生成部１０４に入力する。
次いで、可視光画像生成部１０３は、入力された分光分布特性E(λ)と可視光領域のみにおける分光感度特性CR,VIS(λ)、CG,VIS(λ)、CB,VIS(λ)を用いて可視光の信号のみが含まれる色信号RVIS、GVIS、BVISを計算する。次いで、可視光画像生成部１０３は、計算された色信号を基に可視光画像IR、IG、IBを生成する（ステップS103）。
次いで、近赤外光画像生成部１０４は、入力された分光分布特性E(λ)と近赤外光領域のみにおける分光感度特性CR,NIR(λ)、CG,NIR(λ)、CB,NIR(λ)を用いて近赤外光の信号のみが含まれる信号RNIR、GNIR、BNIRを計算する。
次いで、近赤外光画像生成部１０４は、計算された信号を基に近赤外光画像INIRを生成する（ステップS104）。近赤外光画像INIRを生成した後、画像処理装置１００は、画像生成処理を終了する。
［効果の説明］
本実施形態の画像処理装置１００は、可視光から近赤外光まで感度を有するカラーイメージセンサの分光感度特性と、カラーイメージセンサで撮影された近赤外光の信号が含まれるRGBの画像データとを用いて、可視光の信号のみが含まれる画像データと近赤外光の信号のみが含まれる画像データを取得できる。
具体的には、本実施形態の画像データ取得部１０１は、可視光から近赤外光に渡って感度を有し可視光が撮像されたカラー画像を出力するカラーイメージセンサから、可視光だけでなく近赤外光も撮像されたMチャネルのカラー画像を取得する。
上記のカラーイメージセンサは、各チャネルに関して近赤外光の波長領域に感度を有する。各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値になる。
次いで、入射光スペクトル推定部１０２は、取得されたMチャネルのカラー画像から得られる色信号、カラーイメージセンサの分光感度特性、および入射光の分光分布特性を表現する平均ベクトルとM個の基底ベクトルを用いて、入射光の分光分布特性を復元する。なお、入射光スペクトル推定部１０２は、(M+1)個の基底ベクトルを用いて入射光の分光分布特性を復元してもよい。
次いで、可視光画像生成部１０３は、復元された入射光の分光分布特性とカラーイメージセンサの分光感度特性とを用いて、可視光の信号のみで構成される可視光画像を生成する。また、近赤外光画像生成部１０４は、復元された入射光の分光分布特性とカラーイメージセンサの分光感度特性とを用いて、近赤外光の信号のみで構成される近赤外光画像を生成する。
特許文献１〜特許文献３に記載されている方法は、上述したように特殊な機械的構成や特殊なイメージセンサを用いて可視光画像および近赤外光画像を取得している。
本実施形態の画像処理装置１００は、特殊な機械的構成や特殊なイメージセンサを利用せず、一般的な撮影装置の構成のみを利用した上で可視光画像および近赤外光画像を簡易に取得できる。その理由は、入射光スペクトル推定部１０２がカラーイメージセンサの分光感度特性とカラーイメージセンサにより撮影された画像データとを用いて、入射光の分光分布特性E(λ)を推定するためである。
（第２実施形態）
［構成の説明］
次に、本発明の第２の実施形態を、図面を参照して説明する。図４は、本発明による画像処理装置１００の第２の実施形態の構成例を示すブロック図である。
図４に示すように、本実施形態の画像処理装置１００は、画像データ取得部１０１と、入射光スペクトル推定部１０２と、可視光画像生成部１０３と、信号分離部１０５とを備える。画像データ取得部１０１および信号分離部１０５以外の第２の実施形態の構成は、第１の実施形態の構成と同様である。
画像データ取得部１０１は、可視光(VIS)から近赤外光(NIR)までを検出する分光感度を有する外部手段１１０で撮像された画像データ（図４に示すIRGB_NIR）を取得する機能を有する。
本実施形態の画像データ取得部１０１が取得する画像データは、複数の色信号で構成されている。画像データを構成する各色信号には、可視光の信号および近赤外光の信号の両方が含まれている。
また、画像データ取得部１０１が取得する画像データに含まれている各カラーチャネルの近赤外光の信号の比率は、ユーザが指定する所定の閾値未満の値になる。
画像データ取得部１０１は、画像データIRGB_NIRを、画像データIR_NIR、画像データIG_NIR、画像データIB_NIRにそれぞれ分離する。画像データ取得部１０１は、分離された画像データIR_NIR、画像データIG_NIR、画像データIB_NIRを、入射光スペクトル推定部１０２に入力する。
入射光スペクトル推定部１０２は、外部手段１１０の分光感度特性を用いて、画像データを構成する各画素に入射した光の分光分布特性（スペクトル）を、画像データを基に推定する機能を有する。入射光スペクトル推定部１０２により推定された入射光のスペクトルは、可視光の波長領域から近赤外光の波長領域まで含む。
可視光画像生成部１０３は、画像データを構成する各画素に入射した光の推定されたスペクトルと外部手段１１０の分光感度特性とを用いて、可視光の信号のみが含まれる可視光画像（図４に示すIR、IG、IB）を生成する機能を有する。
信号分離部１０５は、入力される第１画像データと第２画像データの２種類の画像データを用いて第１画像データから第２画像データが減算された画像データを出力する機能を有する。
図４に示す例では、信号分離部１０５に入力される第１画像データは、画像データ取得部１０１から出力されたIR_NIR、IG_NIR、IB_NIRである。また、信号分離部１０５に入力される第２画像データは、可視光画像生成部１０３から出力されたIR、IG、IBである。
よって、信号分離部１０５は、IR_NIRからIR、IG_NIRからIG、IB_NIRからIBをそれぞれ減算することによって、近赤外光の信号のみが含まれる近赤外光画像INIRを生成する。
図５は、本発明による画像処理装置１００の第２の実施形態の他の構成例を示すブロック図である。図５は、図４に示す画像処理装置１００の可視光画像生成部１０３が近赤外光画像生成部１０４に置き換えられた場合の画像処理装置１００を示す。
近赤外光画像生成部１０４は、推定された画像データを構成する各画素に入射した光のスペクトルと外部手段１１０の分光感度特性とを用いて、近赤外光の信号のみが含まれる近赤外光画像（図５に示すINIR）を生成する機能を有する。
図５に示す例では、信号分離部１０５に入力される第１画像データは、画像データ取得部１０１から出力されたIR_NIR、IG_NIR、IB_NIRである。また、信号分離部１０５に入力される第２画像データは、近赤外光画像生成部１０４から出力されたINIRである。
よって、信号分離部１０５は、IR_NIRからINIR、IG_NIRからINIR、IB_NIRからINIRをそれぞれ減算することによって、可視光の信号のみが含まれる可視光画像IR、IG、IBをそれぞれ生成する。
［動作の説明］
以下、本実施形態の画像処理装置１００の可視光画像および近赤外光画像を生成する動作を図６を参照して説明する。図６は、第２の実施形態の画像処理装置１００による画像生成処理の動作を示すフローチャートである。なお、図６に示す画像生成処理は、図４に示す画像処理装置１００によって実行される。
図６に示すステップS201〜ステップS203の処理は、第１の実施形態において説明した図３に示すステップS101〜ステップS103の処理と同様である。
図４に示すように、信号分離部１０５には、画像データ取得部１０１から画像データIR_NIR、IG_NIR、IB_NIRが入力される。また、信号分離部１０５には、可視光画像生成部１０３から可視光画像IR、IG、IBが入力される。
図６に示すように、信号分離部１０５は、IR_NIRからIRを、IG_NIRからIGを、IB_NIRからIBをそれぞれ減算し、減算の結果生成された画像データを加算することによって近赤外光画像INIRを生成する（ステップS204）。
近赤外光画像INIRを生成した後、画像処理装置１００は、画像生成処理を終了する。なお、図５に示す画像処理装置１００も、可視光画像の生成と近赤外光画像の生成の順番が入れ替えられる点を除いて、図６に示す画像生成処理と同じ動作をすることによって、可視光画像を生成する。
［効果の説明］
本実施形態の画像処理装置１００は、第１の実施形態の画像処理装置１００に比べて、可視光画像および近赤外光画像の生成コストを低減できる。その理由は、一方の画像は画像データから他方の画像を信号分離部１０５が減算することによって生成されるためである。
（第３実施形態）
［構成の説明］
次に、本発明の第３の実施形態を、図面を参照して説明する。図７は、本発明による画像撮影装置２００の第３の実施形態の構成例を示すブロック図である。
図７に示すように、本実施形態の画像撮影装置２００は、光学フィルタ２０２と、フォトセンサ２０３と、画像処理部２０４と、分光感度特性保存メモリ２０５とで構成される。
なお、本実施形態の画像撮影装置２００は、通常の画像撮影装置に実装されている赤外光カットフィルタ（IRカットフィルタ）２０１が取り外された状態の画像撮影装置、または最初から赤外光カットフィルタ２０１が実装されていない画像撮影装置である。
図７に示す破線の矩形は、通常の画像撮影装置に実装されていた赤外光カットフィルタ２０１に相当する。なお、本実施形態では破線の矩形が示す箇所に構成要素は何ら存在しない。
図７に示すカメラレンズには、通常のカメラレンズが用いられればよい。また、光学フィルタ２０２およびフォトセンサ２０３には、カラー画像入力装置または画像撮影装置で一般的に使用されている光学フィルタおよびフォトセンサがそれぞれ使用されればよい。
すなわち、光学フィルタ２０２の分光透過特性は、例えば図１６に示す分光透過特性と同様である。また、フォトセンサ２０３の分光透過特性は、例えば図１５に示す分光透過特性と同様である。
また、フォトセンサ２０３の各チャネルの近赤外光の波長領域における分光感度特性の積分値の比率は、ユーザが指定する所定の閾値未満の値である。
図８は、ベイヤ配列型カラーフィルタが組み込まれたフォトセンサアレイの一例を示す平面図である。図８は、光学フィルタ２０２およびフォトセンサ２０３における色の配列を示す。
図８に示す光学フィルタ２０２におけるR,G,Bの３色の配列は、ベイヤ配列型と呼ばれる配列である。光学フィルタ２０２において配列されているR,G,Bに対応するように、フォトセンサ２０３が出力する画像データ内の各画素にR,G,Bのうちのいずれか１色がそれぞれ割り当てられている。
図７に示す分光感度特性保存メモリ２０５は、光学フィルタ２０２およびフォトセンサ２０３のイメージセンサとしての分光感度特性を記録する機能を有する。
図７に示す画像処理部２０４は、第１の実施形態の画像処理装置１００、または第２の実施形態の画像処理装置１００と同様の機能を有する。すなわち、画像処理部２０４は、R,G,Bの３つの色信号で構成された画像データを基に、Rの色信号のみが含まれる画像データIR、Gの色信号のみが含まれる画像データIG、Bの色信号のみが含まれる画像データIB、およびNIR信号のみが含まれる画像データINIRをそれぞれ生成する。
画像処理部２０４は、フォトセンサ２０３から出力されたNIR信号が含まれるR,G,Bの３つの色信号で構成された画像データIRGB_NIRに対して、デモザイキング処理および第１の実施形態の画像生成処理を適用する。各処理を適用することによって、画像処理部２０４は、R,G,B,NIRの４チャネル分の画像データを生成する。
以下、図９を参照して、フォトセンサ２０３から出力されたNIR信号が含まれるR,G,Bの３つの色信号で構成された画像データIRGB_NIRに適用されるデモザイキング処理の一例を説明する。
図９は、デモザイキング処理の一例を示す平面図である。なお、デモザイキング処理は、第１の実施形態および第２の実施形態の画像データ取得部１０１が画像データIRGB_NIRを画像データIR_NIR、画像データIG_NIR、画像データIB_NIRに分離する処理の一部に相当する。
最初に、画像処理部２０４は、図９に示す画像データにおける座標(1,1)の画素のデータ（R,G,Bの色信号）を取得する。画像処理部２０４が取得した時点におけるR,G,Bの色信号にはNIR信号も含まれているが、説明の簡略化のため、単にR,G,Bの色信号と記載する。
図９に示すように、座標(1,1)の画素にはRが割り当てられている。よって、画像処理部２０４は、以下のように座標(1,1)の画素のデータをそのままRの信号値とする。
R(1,1)=R(1,1) ・・・式（９）
座標(1,1)の画素に割り当てられていないGの信号値およびBの信号値に関して、画像処理部２０４は、例えば以下のように周辺画素の色信号を用いて補間する。
G(1,1)=(G(2,1)+G(1,2))/2 ・・・式（１０）
B(1,1)=B(2,2) ・・・式（１１）
次いで、画像処理部２０４は、画像データにおける座標(1,2)の画素のデータ（R,G,Bの色信号）を取得する。図９に示すように、座標(1,2)の画素にはGが割り当てられている。よって、画像処理部２０４は、以下のように座標(1,2)の画素のデータをそのままGの信号値とする。
G(1,2)=G(1,2) ・・・式（１２）
座標(1,1)の画素の場合と同様に、座標(1,2)の画素に割り当てられていないRの信号値およびBの信号値に関して、画像処理部２０４は、例えば以下のように周辺画素の色信号を用いて補間する。
R(1,2)=R(1,1) ・・・式（１３）
B(1,2)=B(2,2) ・・・式（１４）
一般に、座標(i, j)の画素に割り当てられている色信号X（＝R or B or G）の信号値X(i, j)は、座標(i, j)におけるXの画素のデータそのものである。一方、座標(i,j)の画素に割り当てられていない色信号Y（＝R or B or G）の信号値は、座標(i, j)の周辺の任意の１つ以上の画素（Yを含むもの）のデータを重み付けして足し合わせたものである。上記の処理を繰り返し実行することによって、画像処理部２０４は、全ての画素に関してR,G,Bの色信号が全て含まれる画像データを取得する。すなわち、画像データに含まれる各チャネルの近赤外光の信号値は、チャネルごとに同等の値になる場合がある。
なお、本実施形態におけるデモザイキング処理は、上記の処理に限られず、一般的なデモザイキング方式が用いられてもよい。以上の処理により、画像処理部２０４は、全ての画素にR,G,Bの色信号が設定された画像データを得る。
［動作の説明］
以下、本実施形態の画像撮影装置２００の可視光画像および近赤外光画像を生成する動作を図１０を参照して説明する。図１０は、第３の実施形態の画像撮影装置２００による画像生成処理の動作を示すフローチャートである。
図１０に示すように、カメラレンズを通じて、画像撮影装置２００に光が入射する（ステップS301）。入射光は、近赤外光がカットされないまま、ベイヤ配列型でR,G,Bが配列された光学フィルタ２０２が組み込まれているフォトセンサ２０３に入射する。
次いで、入射光が光学フィルタ２０２における各フィルタを透過した後、フォトセンサ２０３は、近赤外光の信号が含まれているR,G,Bの３つの色信号を生成する（ステップS302）。
次いで、画像処理部２０４は、デモザイキング処理を実行することによって、全ての画素に関してR,G,Bの色信号が全て含まれる画像データを取得する（ステップS303）。
次いで、画像処理部２０４は、全ての画素にR,G,Bの色信号が設定されている画像データを基に、近赤外光の信号のみで構成される画像データを抽出または生成する。すなわち、画像処理部２０４は、近赤外光の信号が含まれるRGBの画像データを基に、可視光の信号のみで構成される画像データと、近赤外光の信号のみで構成される画像データとを生成する（ステップS304）。
ステップS304で画像処理部２０４が実行する処理は、図３に示す画像生成処理、または図６に示す画像生成処理である。各画像データを生成した後、画像撮影装置２００は、画像生成処理を終了する。
［効果の説明］
本実施形態の画像撮影装置２００は、一般的な画像撮影装置に含まれているIRカットフィルタが光学系から除去された画像撮影装置である。IRカットフィルタは簡単に除去されるため、本実施形態の画像撮影装置２００は、一般的な画像撮影装置を基に容易に製造される。
すなわち、画像撮影装置２００は、低コストで多く生産可能な装置である。また構成が簡素であるため、画像撮影装置２００は、コンパクトな撮影装置であり、かつ頻繁に故障しないことが期待される。本実施形態の画像撮影装置２００は、構成が一般的な画像撮影装置の構成と同様でありながら、可視光画像と近赤外光画像とを同時に取得できる。
（第４実施形態）
［構成の説明］
次に、本発明の第４の実施形態を、図面を参照して説明する。第３の実施形態では、ベイヤ配列型の光学フィルタで入射光を分光する画像撮影装置に本発明が適用された例を説明した。本実施形態では、３板式映像撮影装置に本発明が適用された例を説明する。
図１１は、本発明による画像撮影装置３００の第４の実施形態の構成例を示すブロック図である。図１１に示すように、画像撮影装置３００は、プリズム（色分解部）３０１と、フォトセンサ３１１〜フォトセンサ３１３と、画像処理部３２０と、分光感度特性保存メモリ３３０とで構成される。
図１１に示すカメラレンズには、通常のカメラレンズが用いられればよい。また、プリズム３０１およびフォトセンサ３１１〜フォトセンサ３１３には、３板式映像撮影装置で一般的に使用されているプリズムおよびフォトセンサがそれぞれ使用されればよい。
カメラレンズを通じて画像撮影装置３００に入射した光は、プリズム３０１によりR,G,Bの３色の光に分光される。図１１に示す白抜きの矢印は、光を表す。
フォトセンサ３１１は、Rの色光を撮像し、画像データIR_NIRを出力する。また、フォトセンサ３１２は、Gの色光を撮像し、画像データIG_NIRを出力する。また、フォトセンサ３１３は、Bの色光を撮像し、画像データIB_NIRを出力する。
なお、プリズム３０１による分光で生成される色光には、近赤外光が含まれている。本実施形態の画像撮影装置３００には近赤外光をカットする近赤外光カットフィルタが実装されていないため、フォトセンサ３１１〜フォトセンサ３１３から出力される各画像データには、近赤外光の信号が含まれている。
また、各画像データに含まれている近赤外光の信号の比率は、ユーザが指定する所定の閾値未満の値になる。
画像処理部３２０には、フォトセンサ３１１〜フォトセンサ３１３から出力されるNIR信号が含まれるR,G,Bの各画像データIR_NIR、IG_NIR、IB_NIRがそれぞれ入力される。画像処理部３２０は、第３の実施形態の画像処理部２０４と同様に、NIR信号が含まれるR,G,Bの各画像データを基に、Rの色信号のみが含まれる画像データIR、Gの色信号のみが含まれる画像データIG、Bの色信号のみが含まれる画像データIB、およびNIR信号のみが含まれる画像データINIRをそれぞれ生成する。
［動作の説明］
以下、本実施形態の画像撮影装置３００の可視光画像および近赤外光画像を生成する動作を図１２を参照して説明する。図１２は、第４の実施形態の画像撮影装置３００による画像生成処理の動作を示すフローチャートである。
図１２に示すように、カメラレンズを通じて、画像撮影装置３００に光が入射する（ステップS401）。入射光は、近赤外光がカットされないまま、プリズム３０１に入射する。
次いで、入射光は、プリズム３０１により近赤外光が含まれるR,G,Bの３つの可視光に分光される（ステップS402）。
次いで、フォトセンサ３１１は、Rの色光を撮像し、画像データIR_NIRを出力する。また、フォトセンサ３１２は、Gの色光を撮像し、画像データIG_NIRを出力する。また、フォトセンサ３１３は、Bの色光を撮像し、画像データIB_NIRを出力する（ステップS403）。
次いで、画像処理部３２０は、近赤外光の信号が含まれるR,G,Bの各画像データを基に、可視光の信号のみで構成される画像データと、近赤外光の信号のみで構成される画像データとを生成する（ステップS404）。
ステップS404で画像処理部３２０が実行する処理は、図３に示す画像生成処理、または図６に示す画像生成処理である。各画像データを生成した後、画像撮影装置３００は、画像生成処理を終了する。
［効果の説明］
本実施形態の画像撮影装置３００は、一般的な３板式撮影装置を構成するプリズムおよびフォトセンサを備える。また、３板式撮影装置に一般的に実装されているIRカットフィルタは除去されている。
すなわち、一般的な３板式撮影装置の構成が少し変更されるだけで、画像撮影装置３００は製造される。よって、画像撮影装置３００の製造コストが低いことや、画像撮影装置３００で頻繁に故障が発生しないことが期待される。画像撮影装置３００は、可視光の信号のみで構成される可視光画像および近赤外光の信号のみで構成される近赤外光画像を同時に取得できる。
各実施形態の画像処理装置１００は、近赤外光を撮像するための特別な装置や機械的な駆動機構を用いることなく、一般的なカラーイメージセンサが使用されて撮像された画像データから可視光の信号のみで構成される可視光画像と、近赤外光の信号のみで構成される近赤外光画像とを復元できる。
すなわち、特別なセンサや機械的な駆動機構が含まれないため、各実施形態の技術が適用された可視光および近赤外光を観測する観測装置は、簡易な装置構成で可視光画像と近赤外光画像とを生成できる。各実施形態の技術が使用されると、回路および装置の構成の簡易化が実現される。
なお、各実施形態ではカラーチャネルをRチャネル、Gチャネル、Bチャネルとして説明した。しかし、カラーチャネルは、C（シアン）チャネル、M（マジェンタ）チャネル、Y（イエロ）チャネル等の他のチャネルでもよい。
なお、各実施形態の画像処理装置１００は、例えば、記憶媒体に格納されているプログラムに従って処理を実行するCPU(Central Processing Unit)によって実現される。すなわち画像データ取得部１０１、入射光スペクトル推定部１０２、可視光画像生成部１０３、近赤外光画像生成部１０４、および信号分離部１０５は、例えば、プログラム制御に従って処理を実行するCPUによって実現される。また、一部の機能のみがCPUによって実現されてもよい。
また、各実施形態の画像処理装置１００における各部は、ハードウェア回路によって実現されてもよい。一例として、画像データ取得部１０１、入射光スペクトル推定部１０２、可視光画像生成部１０３、近赤外光画像生成部１０４、および信号分離部１０５が、それぞれLSI(Large Scale Integration)で実現される。また、それらが１つのLSIで実現されていてもよい。
次に、本発明の実施形態の概要を説明する。図１３は、本発明の実施形態に係る画像処理装置の概要を示すブロック図である。図１３において、本発明の実施形態に係る画像処理装置１０は、カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性とカラーイメージセンサから出力された可視光および近赤外光が撮像されており１つ以上のカラーチャネルを含む画像データとを用いて入射光の分光分布特性を表現するモデルを基にカラーイメージセンサへの入射光の分光分布特性を推定する推定部１１（例えば、図１等に示す入射光スペクトル推定部１０２）と、推定された分光分布特性と分光感度特性とを用いて可視光を表す情報のみで構成される可視光画像データと近赤外光を表す情報のみで構成される近赤外光画像データを生成する生成部１２（例えば、図１等に示す可視光画像生成部１０３および近赤外光画像生成部１０４）とを備え、カラーイメージセンサの１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における分光感度特性の各積分値が所定の条件を満たす。
そのような構成により、画像処理装置は、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる。
また、生成部１２は、推定された分光分布特性と可視光の波長領域における分光感度特性との積を用いて、可視光を表す情報のみで構成される可視光画像データを生成し、分光分布特性と近赤外光の波長領域における分光感度特性との積を用いて、近赤外光を表す情報のみで構成される近赤外光画像データを生成してもよい。
そのような構成により、画像処理装置は、生成される画像信号に対応する可視光の波長領域および近赤外光の波長領域を調整できる。
また、生成部１２は、推定された分光分布特性と可視光の波長領域における分光感度特性との積を用いて、可視光を表す情報のみで構成される可視光画像データを生成し、可視光および近赤外光が撮像された画像データから生成された可視光画像データを減じることによって、近赤外光を表す情報のみで構成される近赤外光画像データを生成してもよい。
また、生成部１２は、推定された分光分布特性と近赤外光の波長領域における分光感度特性との積を用いて、近赤外光を表す情報のみで構成される近赤外光画像データを生成し、可視光および近赤外光が撮像された画像データから生成された近赤外光画像データを減じることによって、可視光を表す情報のみで構成される可視光画像データを生成してもよい。
そのような構成により、画像処理装置は、画像信号の生成に係るコストを削減できる。
また、入射光の分光分布特性は、比較的少ないパラメータが使用された上で、分光分布特性の基底ベクトルri(λ)(i=1~M)の加重和でモデル化されてもよいし、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されてもよい。または、入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されてもよいし、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化されてもよい。
例えば、入射光の分光分布特性を表現するモデルは、入射光の分光分布特性の平均ベクトルと画像データに含まれる１つ以上のカラーチャネルの数の基底ベクトルの加重和との和と、カラーチャネルの数に１が加算された数の基底ベクトルの加重和とのいずれかで表されてもよい。
そのような構成により、画像処理装置は、観測方程式を解くことによって可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる。
また、画像データに含まれる１つ以上のカラーチャネルは、赤チャネルと、緑チャネルと、青チャネルでもよい。
そのような構成により、画像処理装置は、RGBチャネルの画像データに対応できる。
また、カラーイメージセンサは、３板式映像撮影装置に備えられているイメージセンサでもよい。
そのような構成により、画像処理装置は、３板式映像撮影装置で撮像された画像データに対応できる。
また、画像処理装置１０は、カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって１つ以上のカラーチャネルを含む画像データを取得する取得部を備えてもよい。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、２０１６年１２月２２日に出願された日本出願特願２０１６−２４９０５６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０、１００ 画像処理装置
１１ 推定部
１２ 生成部
１０１ 画像データ取得部
１０２ 入射光スペクトル推定部
１０３ 可視光画像生成部
１０４ 近赤外光画像生成部
１０５ 信号分離部
１１０ 外部手段
２００、３００ 画像撮影装置
２０１ 赤外光カットフィルタ
２０２ 光学フィルタ
２０３ フォトセンサ
２０４、３２０ 画像処理部
２０５、３３０ 分光感度特性保存メモリ
３０１ プリズム
３１１〜３１３ フォトセンサ

Claims (10)

  1. カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定し、
    前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する画像処理方法であって、
    前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たす
    ことを特徴とする画像処理方法。
  2. 前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
    前記入射光の前記分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
    請求項１記載の画像処理方法。
  3. 前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
    可視光および近赤外光が撮像された前記画像データから、前記生成された可視光画像データを減じることによって、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
    請求項１記載の画像処理方法。
  4. 前記推定された入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成し、
    可視光および近赤外光が撮像された前記画像データから、前記生成された近赤外光画像データを減じることによって、可視光を表す情報のみで構成される前記可視光画像データを生成する
    請求項１記載の画像処理方法。
  5. 入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M、Mは１以上の整数)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化される
    請求項１から請求項４のうちのいずれか１項に記載の画像処理方法。
  6. 前記画像データに含まれる前記１つ以上のカラーチャネルは、赤チャネルと、緑チャネルと、青チャネルである
    請求項１から請求項５のうちのいずれか１項に記載の画像処理方法。
  7. カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、前記入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定手段と、
    前記推定された入射光の分光分布特性と前記カラーイメージセンサの前記分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成手段とを備え、
    前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たす
    ことを特徴とする画像処理装置。
  8. 前記生成手段は、
    前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
    前記入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
    請求項７記載の画像処理装置。
  9. コンピュータに、
    カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、１つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定処理、および
    前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとを生成する生成処理
    を実行させるための画像処理プログラムを記録した、一時的でない記録媒体であって、
    前記カラーイメージセンサの前記１つ以上のカラーチャネルそれぞれに関する近赤外光の波長領域における前記カラーイメージセンサの分光感度特性の各積分値が所定の条件を満たす
    ことを特徴とする、一時的でない記録媒体。
  10. 前記画像処理プログラムは、
    コンピュータに、
    前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成する第１生成処理、および
    前記推定された入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する第２生成処理を実行させる、
    請求項９記載の記録媒体。
JP2018557732A 2016-12-22 2017-12-15 画像処理方法、画像処理装置および画像処理プログラム Active JP7143767B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016249056 2016-12-22
JP2016249056 2016-12-22
PCT/JP2017/045058 WO2018116972A1 (ja) 2016-12-22 2017-12-15 画像処理方法、画像処理装置および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018116972A1 true JPWO2018116972A1 (ja) 2019-10-24
JP7143767B2 JP7143767B2 (ja) 2022-09-29

Family

ID=62627365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018557732A Active JP7143767B2 (ja) 2016-12-22 2017-12-15 画像処理方法、画像処理装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US10931895B2 (ja)
JP (1) JP7143767B2 (ja)
WO (1) WO2018116972A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6969550B2 (ja) * 2016-06-24 2021-11-24 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6862229B2 (ja) * 2017-03-15 2021-04-21 キヤノン株式会社 解析装置、撮像装置、解析方法、および、プログラム
WO2019059632A1 (ko) * 2017-09-25 2019-03-28 한국과학기술원 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
WO2024029738A1 (ko) * 2022-08-02 2024-02-08 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143623A (ja) * 2001-08-22 2003-05-16 Fuji Photo Film Co Ltd 画像撮影方法および装置
JP2005323141A (ja) * 2004-05-10 2005-11-17 Mitsubishi Electric Corp 撮像装置、カメラ、及び信号処理方法
JP2013187711A (ja) * 2012-03-07 2013-09-19 Olympus Corp 画像処理装置、撮像装置及び画像処理方法
JP2016052115A (ja) * 2014-08-29 2016-04-11 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825172B1 (ko) * 2004-04-05 2008-04-24 미쓰비시덴키 가부시키가이샤 촬상 장치
JP2011243862A (ja) 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP5718138B2 (ja) 2011-04-20 2015-05-13 株式会社豊田中央研究所 画像信号処理装置及びプログラム
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
US10171757B2 (en) 2013-10-23 2019-01-01 Nec Corporation Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter
JP2015204579A (ja) 2014-04-16 2015-11-16 キヤノン株式会社 撮像装置
JP2016072741A (ja) * 2014-09-29 2016-05-09 ソニー株式会社 信号処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143623A (ja) * 2001-08-22 2003-05-16 Fuji Photo Film Co Ltd 画像撮影方法および装置
JP2005323141A (ja) * 2004-05-10 2005-11-17 Mitsubishi Electric Corp 撮像装置、カメラ、及び信号処理方法
JP2013187711A (ja) * 2012-03-07 2013-09-19 Olympus Corp 画像処理装置、撮像装置及び画像処理方法
JP2016052115A (ja) * 2014-08-29 2016-04-11 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
津村徳道、羽石秀昭、三宅洋一: "重回帰分析によるマルチバンド画像からの分光反射率の推定", 光学, vol. ２７巻７号, JPN6022006593, 31 July 1998 (1998-07-31), JP, pages 36 - 391, ISSN: 0004710615 *

Also Published As

Publication number Publication date
US10931895B2 (en) 2021-02-23
WO2018116972A1 (ja) 2018-06-28
JP7143767B2 (ja) 2022-09-29
US20190320126A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
US9491440B2 (en) Depth-sensing camera system
TWI525382B (zh) 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
JP4346634B2 (ja) 目標物検出装置
KR101639382B1 (ko) 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
JP5543616B2 (ja) 色フィルタアレイ画像反復デノイズ
WO2018116972A1 (ja) 画像処理方法、画像処理装置および記録媒体
CN110463197B (zh) 增强立体相机成像系统中的空间分辨率
EP2323408A1 (en) Image processing device, image processing method, image capturing device, and computer program
KR20100042957A (ko) 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
KR20170074602A (ko) 영상 출력 장치 및 영상 출력 방법
JP6182396B2 (ja) 撮像装置
JP6969550B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2011176710A (ja) 撮像装置
WO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
US20170214890A1 (en) Image processing apparatus, image processing method, and imaging apparatus
KR100894420B1 (ko) 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법
JP6794989B2 (ja) 映像処理装置、撮影装置、映像処理方法及びプログラム
US8866972B1 (en) Method for transmitting spectrum information
US10249020B2 (en) Image processing unit, imaging device, computer-readable medium, and image processing method
WO2022198436A1 (zh) 图像传感器、图像数据获取方法、成像设备
JP6725060B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2014158165A (ja) 画像処理装置、画像処理方法およびプログラム
JP2023013549A (ja) 撮像装置、撮像方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201116

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R151 Written notification of patent or utility model registration

Ref document number: 7143767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151