JP7039639B2 - 画像処理装置、撮像装置、および画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置、および画像処理方法に関する。

近年、近赤外領域に感度がある撮像素子を用いて、近赤外の画像を利用する用途が増加している。例えば、近赤外の波長を持つ光の照射によって、蛍光物質であるインドシアニングリーンを注入した血管やリンパ管を可視化することは、医療用途および生体観察用途に有用である。また、撮像した画像中の近赤外の波長成分と赤色の波長成分の比から、NDVI（Normalized Difference Vegetation Index)という植生の有無・活性度を示す指標を
求めることは、農作物の生育観察やリモートセンシングに有用である。

近赤外光画像と可視光画像を同時に取得できる撮像装置が開発されている。例えば、可視光用のカラーフィルタが設けられた画素と近赤外光用のカラーフィルタが設けられた画素を同一面上に配置した撮像素子により、近赤外光画像と可視光画像を同時に取得する撮像装置が知られている。

特許文献１は、近赤外光に対して等しい透過率を持つＲ，Ｇ，Ｂのカラーフィルタと透明フィルタが設けられた画素を配置した撮像素子により、可視光画素の出力信号から近赤外成分を分離可能な撮像装置を開示する。特許文献１は、画素が飽和しているか否かによって異なる色信号補正処理を適用する。

特開２０１４－１６５５２８号公報

しかしながら、特許文献１の撮像装置は、可視光成分と近赤外光成分が重畳している信号に基づいて飽和画素であるか否か判断しているので、飽和が生じた場合に、その飽和が可視光によるものか、近赤外光によるものかがわからない。そのために、補正後の色信号において正しい色を再現できずに偽色が発生するという問題がある。

本発明は、飽和している画素を含む画像から、偽色の発生を抑制した高品質な画像を取得可能な画像処理技術を提供することを目的とする。

本発明の一態様は、
可視光画素と近赤外光画素を含むセンサから出力された、可視光画素の画像信号と、近赤外光画素の画像信号とが入力される入力部と、
近赤外光画素の出力信号が閾値より大きいか否かを判定する判定部と、
飽和している可視光画素を検出する検出部と、
飽和している可視光画素に適用する飽和処理を、前記判定部の判定結果に基づいて切り替える切替部と、
を備える、画像処理装置である。

本発明の一態様は、
可視光画素と近赤外光画素を含むセンサから出力された、可視光画素の画像信号と、近
赤外光画素の画像信号とを入力する入力ステップと、
近赤外光画素の出力信号が閾値より大きいか否かを判定する判定ステップと、
飽和している可視光画素を検出する検出ステップと、
飽和している可視光画素に適用する飽和処理を、前記判定ステップでの判定結果に基づいて切り替える切替ステップと、
を含む、画像処理方法である。

本発明によれば、飽和している画素を含む画像から、偽色の発生を抑制した高品質な画像を取得できる。

第一の実施形態の画像処理装置のブロック図 撮像部の画素部の説明図 撮像部の特性に関する説明図 可視光と近赤外光における取得画像に関する説明図 従来技術に係るホワイトバランス処理の説明図 従来技術に係る飽和処理の問題の説明図 第一の実施形態の処理の流れの説明図 第一の実施形態の信号処理の説明図 第一の実施形態の信号処理の説明図 第二の実施形態の画像処理装置のブロック図 第二の実施形態の信号処理の説明図

以下、図面を参照しながら、各実施形態の画像処理装置を説明する。

＜第１の実施形態＞
（全体構成）
図１は、本発明の一実施形態に係る画像処理装置の構成例を示した図であり、画像処理装置に撮像部が設けられている。本実施形態の画像処理装置は撮像装置とも捉えられる。本発明の別の実施形態としては、別体の撮像部からの信号を入力する画像処理部のみから構成される画像処理装置もありうる。

図１に示される画像処理装置１００は、撮像部１０１と画像処理部１０４を含んで構成される。

撮像部１０１は、複数の画素を有する。本実施形態では、撮像部１０１は、近赤外光に最大感度を有したカラーフィルタが設けられた近赤外光画素部１０２および、可視光に最大感度を有したカラーフィルタが設けられた可視光画素部１０３を有している。撮像部１０１は、後述するように、赤色画素、緑色画素、青色画素、および近赤外画素が２行２列に配列された画素グループを複数有している。ここでは、撮像素子として、ＣＭＯＳイメージセンサを想定するが、ＣＣＤイメージセンサであってもよい。また、ここでは、可視光画素部１０３は近赤外光の波長領域に対しては近赤外光画素部１０２同等の感度を有している。

画像処理部１０４は、近赤外光画像信号入力部１０５、可視光画像信号入力部１０６、近赤外成分減算部１０９、ホワイトバランス処理部１１０を備える。また、画像処理部１０４は、飽和処理のための機能部として、近赤外光レベル判定部１０７、飽和画素検出部１０８、第一の飽和処理部１１１、第２の飽和処理部１１２、飽和処理切替部１１３、飽
和処理適用部１１４を備える。これらの各部は、ＡＳＩＣのような専用のハードウェア回路によって実現されてもよいし、ＣＰＵのような汎用プロセッサーがプログラムを実行することにより実現されてもよい。

近赤外光画像信号入力部１０５は、撮像部１０１の近赤外光画素部１０２から画像信号を入力する。可視光画像信号入力部１０６は、撮像部１０１の可視光画素部１０３から画像信号を入力する。以下では、入力部１０５に入力される画像信号を近赤外光信号、入力部１０６に入力される画像信号を可視光信号とも称する。

近赤外光レベル判定部１０７は、近赤外光画像の信号レベルを判定する。具体的には、近赤外光レベル判定部１０７は、近赤外光画素の出力信号がレベル判定閾値よりも大きいか否かを画素単位で判定する。近赤外光レベル判定部１０７の判定結果は、飽和処理切替部１１３に入力される。レベル判定閾値は、近赤外光のレベルがその値よりも小さければ、可視光画素に生じた飽和が可視光成分によると判断できるような値とすることができる。例えば、レベル判定閾値は、撮像部１０１の最大出力レベル（飽和レベル）の半分の値とすることができる。

飽和画素検出部１０８は、可視光画像信号から飽和している可視光画素（飽和画素）を検出する。飽和画素検出部１０８による検出結果は、飽和処理適用部１１４に入力される。

近赤外成分減算部１０９は、可視光画素の出力信号から、当該可視光画素の近傍の近赤外光画素の出力値を減算する。減算処理により、近赤外光成分が除去された可視光の赤（Ｒ）、緑（Ｇ）、青（Ｂ）各色の成分が得られる。可視光画素の近傍の近赤外光画素は、例えば、可視光画素と同一画素グループ内の近赤外光画素であってもよい。また、近赤外成分減算部１０９は、可視光画素に近接する複数の近赤外光画素の出力値に基づく値（例えば平均値）を、可視光画素の出力信号から減算してもよい。

ホワイトバランス処理部１１０は、光源に応じて被写体が自然な白として映るような各色の割合になるよう、近赤外光信号減算後の可視光信号に対して、各色成分の値を調整する。具体的には、ホワイトバランス処理部１１０は、可視光画素の画像信号に含まれる各色の画素値に、色に応じたゲインをかけるホワイトバランス処理を行う。各色に対するゲインはあらかじめ定められる。

第１の飽和処理部１１１は、ホワイトバランス処理後の可視光画像信号に対して第１の飽和処理を施す。第１の飽和処理は、例えば、クリップ処理である。具体的には、第１の飽和処理部１１１は、飽和している可視光画素の各色の画素値を、所定の値に置換する。所定の値は、白レベルの値であり、当該画素と同じ画素グループ内のいずれか１つの色（例えば緑）の可視光画素の画素値に基づいて決定してもよいし、事前に設定された値であってもよい。

第２の飽和処理部１１２は、ホワイトバランス処理後の可視光画像信号に対して、第２の飽和処理を施す。第２の飽和処理は、飽和している可視光画素の画素値を、当該飽和している可視光画素の周囲の可視光画素の画素値に基づいて決定する処理である。第２の飽和処理の具体例は、飽和画素の画素値を、飽和画素の周囲の複数の可視光画素から補間によって得られる画素値に置換する処理である。なお、飽和画素の周囲の可視光画素のうち、飽和していない可視光画素のみを参照して、置換する画素値を求めてもよい。

飽和処理切替部１１３は、飽和している可視光画素に適用する飽和処理を、第１の飽和処理と第２の飽和処理のいずれにするかを、近赤外光レベル判定部１０７の判定結果に基
づいて切り替える。具体的には、飽和処理切替部１１３は、飽和画素の近傍の赤外光画素の出力信号がレベル判定閾値より小さければ第１の飽和処理を選択し、レベル判定閾値よりも大きければ第２の飽和処理を選択する。

飽和処理適用部１１４は、飽和している可視光画素に対しては飽和処理切替部１１３によって選択された飽和処理を適用し、飽和していない可視光画素に対してホワイトバランス処理後の画像信号をそのまま出力する。飽和処理適用部１１４からの出力信号は、不図示の後段部のさらなる画像処理部や画像出力部、画像記録部、表示部などに出力される。

（撮像素子）
図２Ａおよび図２Ｂは、第一の実施形態の撮像部１０１から入力する画像情報の説明図である。

図２Ｂは、従来の一般的な可視光用のカラー撮像素子２１１の模式図である。カラー撮像素子２１１には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが設けられた画素２１２Ｒ，２１２Ｇ，２１２Ｂがベイヤー配列で並べられている。

図２Ａは、本実施形態で採用されうる、可視光と近赤外光の両方の画像信号を取得可能な撮像素子２０３の模式図である。撮像素子２０３には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが設けられた画素２０４Ｒ，２０４Ｇ，２０４Ｂに加えて、近赤外光用のフィルタが設けられた画素２０４ＩＲが配列されている。

撮像素子２０３によって得られる画像信号から、近赤外光の画像信号が分離され、可視光画素の画像信号から減算することにより、赤（Ｒ）のみ、緑（Ｇ）のみ、青（Ｂ）のみからなる画像２０５，２０６，２０７が生成される。また、近赤外光画素２０４ＩＲからは、近赤外光成分のみからなる画像２０８が得られる。

撮像素子２０３は、第１の可視光画素２０４Ｒ、第２の可視光画素２０４Ｇ、第３の可視光画素２０４Ｂ、近赤外光画素２０４ＩＲが２行２列に配列された画素グループが複数有する。なお、画素グループ内での各画素の配置は、図２Ａに示す構成以外であって構わず、また１つの画素グループが同一の色に対応する画素を複数含んでも構わない。

図３は、可視光用のカラーフィルタおよび近赤外用のカラーフィルタが設けられた画素それぞれの、量子効率（受光感度）の模式図を示す。グラフ３０１，３０２，３０３，３０４はそれぞれ、青（Ｂ）画素２０４Ｂ、緑（Ｇ）画素２０４Ｇ、赤（Ｒ）画素２０４Ｒ、近赤外（ＩＲ）画素２０４ＩＲの量子効率（受光感度）を表す。

波長帯３０５は、撮像素子２０３とレンズの間に挿入されるバンドカットフィルタによって除去される波長帯を示す。このバンドカットフィルタは、赤～近赤外の成分を除去する。図３に示されるように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各画素の量子効率は所定の閾値λ２以上の近赤外波長においては一致する。バンドカットフィルタは、近赤外領域のうち、各色の画素間で量子効率が異なるような波長の光が可視光画素および近赤外画素に入射されないよう除去する。具体的には、バンドカットフィルタは、近赤外光画素が感度を有する最短波長λ１から、上記の波長λ２の範囲の波長成分を除去する。このようなバンドカットフィルタを採用することにより、各色の可視光画像信号に含まれる近赤外成分を、近赤外光画像信号に含まれる近赤外成分３０４と等しくすることができる。このため、各可視光画素からの出力信号から近赤外成分３０４を減算すると、各可視光成分のみを取得することができる。

（画素飽和による影響）
図４Ａ～図６Ｃを用いて、可視光画像において飽和が生じる場合の問題点について説明する。ここでは、図２Ａで説明した可視光画素と近赤外光画素を含む撮像素子２０３を用いてリンゴを撮像した例を用いて説明する。

図４Ａは、可視光画素のうち赤（Ｒ）の画素２０４Ｒで取得した画像である。赤いリンゴの果実表面４０１ａは赤色成分が多いため、出力信号が大きく得られ明るい画像となる。一方、緑の葉の部分４０２ａは赤色成分が少ないため、出力信号が小さく暗い画像となる。なお、図４Ａ、図４Ｂにおいて、図面の濃淡は出力信号の大きさを示し、白に近いほど画素値が高い（明るい）ことを示し、黒に近いほど画素値が低い（暗い）ことを示す。

図４Ｂは、近赤外光画素２０４ＩＲで取得した画像である。赤いリンゴの果実表面４０１ｂも緑の葉の部分４０２ｂも近赤外光を多く反射するため、どちらの部分も出力信号が大きく得られ明るい画像となる。

ここで、不図示の可視光光源による照明が被写体（リンゴ）の右上方側にあると、図４Ａの可視光画像のリンゴ表面右上側に照明による光の照り返し４０３ａが生じ、画素が飽和する場合がある。しかしながら、この照明光が近赤外光を含まないＬＥＤ光源などであれば、図４Ｂの近赤外光画素で取得した画像の位置４０３ｂには、可視光照明による飽和の影響は表れない。

一方で、近赤外光画像を得るために不図示の近赤外光光源による照明が被写体（リンゴ）の左下方側にあると、図４Ｂの近赤外光画素で取得した画像のリンゴ表面左下側の位置４０４ｂに近赤外光照明による明るい画素の影響が表れる。これに加えて、可視光画素も近赤外波長に感度を有するので、可視光画像のリンゴ表面左下側にも近赤外光成分による影響４０４ａが表れる。このように、可視光の画素には、近赤外光成分と可視光成分の両者が入射するため、それぞれ単独の光では画素が飽和しなくても、両方の成分の光で画素が飽和することがある。

こうした状況下での飽和処理について図５Ａ～図６Ｃを用いて説明する。

図５Ａは、図２で示した画素によって得られる、図４Ａ、図４ＢにおけるＡ点に対応する画素（飽和していない画素）の出力レベルを示した模式図である。横軸は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）および近赤外（ＩＲ）画素を、縦軸は画素部の出力信号レベルを示している。図中の５０１は１６ビットの信号処理のフルスケール（６５５３５ＬＳＢ）のレベル、５０２は撮像素子の画素の飽和レベル、５０３はＡ点近傍の近赤外光画素の出力信号レベルである。また、５０４は赤（Ｒ）画素の出力、５０５は緑（Ｇ）画素の出力、５０６は青（Ｂ）画素の出力を示している。Ａ点はリンゴの果実表面のため、赤色の可視光成分が多くなっている。ここで、図３で説明したように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の可視光の画素信号には、各可視光成分と近赤外光成分が重畳しており、各色の近赤外光成分は多くの場合、近傍の近赤外光画素で取得される近赤外光成分の量に近い値であることが多い。

図５Ｂは、図５Ａの各画素の信号成分から、近傍の近赤外光成分を減算した信号レベルの模式図を示す。６０４，６０５，６０６は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各可視光画像信号５０４，５０５，５０６から、近傍の近赤外光成分５０３を減算した値となっている。

図５Ｃは、ホワイトバランス処理後の信号レベルの模式図を示す。ここでは、撮像した照明に対応して自然な白色を出すために、図５Ｂの各色信号に対して、赤（Ｒ）を１．５倍、緑（Ｇ）を１倍、青（Ｂ）を２倍するようにホワイトバランス係数を乗算した例を示
している。７０４，７０５，７０６は、近赤外光成分減算後の赤（Ｒ）、緑（Ｇ）、青（Ｂ）各可視光画像信号６０４，６０５，６０６に対して、ホワイトバランス係数を乗算した値となっている。

図５Ｃのように、飽和していない画素においては、色情報は問題なく保たれる。しかしながら、飽和した画素について同様の処理を行うと問題が生じる。以下、この問題を図６Ａ～図６Ｃを用いて説明する。

図６Ａは、図２で示した画素によって得られる、図４Ａ、図４ＢにおけるＢ点に対応する画素（飽和している画素）の出力レベルを示した模式図である。横軸は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）および近赤外（ＩＲ）画素を、縦軸は画素部の出力信号レベルを示している。図中の５０１は１６ビットの信号処理のフルスケール（６５５３５ＬＳＢ）のレベル、５０２は撮像素子の画素の飽和レベル、５０３は近赤外光画素の出力信号レベルである。

また、８０４はもし画素が飽和しなかった場合に期待される赤（Ｒ）画素の出力、８０５はもし画素が飽和しなかった場合に期待される緑（Ｇ）画素の出力、８０６は青（Ｂ）画素の出力を示している。ここで、出力８０４および８０５は、画素の飽和レベル５０２を超過しているため、実際に赤（Ｒ）および緑（Ｇ）の画素の出力レベルは飽和レベル５０２と等しくなる。

図６Ｂは、図５Ｂと同様に、図６Ａの各画素の信号成分から、近傍の近赤外光成分を減算した信号レベルの模式図である。９０４，９０５，９０６は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各可視光画像信号から、近傍の近赤外光成分５０３を減算した値となっている。

図６Ｃは、図５Ｃと同様に、ホワイトバランス処理後の信号レベルの模式図を示す。ホワイトバランス処理の内容は上記と同様であり、図６Ｂの各色信号に対して、赤（Ｒ）を１．５倍、緑（Ｇ）を１倍、青（Ｂ）を２倍するようにホワイトバランス係数を乗算した例を示している。９０４，９０５，９０６の各色信号に対して、それぞれ１．５倍、１倍、２倍することにより、１００４，１００５，１００６に示されるホワイトバランス処理後の信号が得られる。

一方、点線で示される１００７，１００８は、画素が飽和しなかった場合に期待される図６Ａの８０４，８０５に対応したホワイトバランス処理後の出力である。

このように、実際には出力１００７，１００８，１００６で示される色のバランスになるべき信号出力が、画素が飽和しているために、出力１００４，１００５、１００６で示されるような異なる色バランスとなってしまう。図６Ｃの例では、飽和していなければ白が得られるべきであるが、飽和によって紫に近い色が得られる。このように、飽和が生じると、偽色や色ノイズが発生し、画質が低下することがわかる。

本実施形態は、このような画素飽和に起因する偽色や色ノイズの発生を抑えて、良好な可視光画像と近赤外光画像の取得を両立する画像処理装置を実現することを目的としている。

（画像処理動作）
図１を参照しながら、図７～図９を用いて、第一の実施形態の動作を説明する。図７は第一の実施形態における可視光画素の出力信号からカラー画像信号を生成するためのフローであり、図８～図９は、その動作を説明するための信号レベルを示した説明図である。

ステップ１１０１において可視光画素の出力信号からカラー画像信号を生成するためのフローが開始される。この処理はどのようなタイミングで開始されてもよいが、例えば、撮像素子２０３によって可視光画素および赤外光画素の画像信号が得られた直後に開始することができる。

ステップ１１０２において、近赤外光画像信号入力部１０５が近赤外光画素の画素信号値を取得し、可視光画像信号入力部１０６が可視光画素の画素信号値を取得する。

ステップ１１０３において、近赤外成分減算部１０９が、可視光画像信号の各画素から、近傍の近赤外光画素の画素値を減算する。その後、ステップ１１０４において、ホワイトバランス処理部１１０が、各色の信号にホワイトバランス係数をかけるホワイトバランス処理を実行する。

一方、ステップ１１０５において、飽和画素検出部１０８は、近赤外光減算前の可視光画素の出力信号を画素飽和の飽和判定閾値と比較し、画素が飽和しているか否かを検出する。

ステップＳ１１０６において、可視光画素の出力値が飽和判定閾値よりも大きいか否かに応じて処理を切り替えられる。この処理の切り替えは画素ごとに判断される。可視光画素の出力値が飽和判定閾値以下の場合、すなわち飽和画素ではない場合（Ｓ１１０６－ＮＯ）には、ステップ１１０７に進み、飽和処理適用部１１４は飽和処理を適用せず、ホワイトバランス処理後の可視光画素の出力信号をそのまま出力する。

一方、ステップ１１０６において、可視光画素の出力値が飽和判定閾値より大きい場合、すなわち飽和画素である場合（Ｓ１１０６－ＹＥＳ）は、処理はステップＳ１１１０に進む。

ステップＳ１１０９では、近赤外光レベル判定部１０７が、可視光画素の近傍の近赤外光画像信号のレベル判定、すなわちレベル判定閾値との比較を行う。レベル判定結果に基づく制御信号は、飽和処理切替部１１３に入力される。

ステップ１１１０において、飽和処理切替部１１３は、ステップＳ１１０９の判定結果にしたがって、飽和処理を切り替える。飽和処理切替部１１３は、ＩＲ画素信号が低レベル、すなわちレベル判定閾値以下であれば、第１の飽和処理部１１１による第１の飽和処理（クリップ処理）を選択する。一方、ＩＲ画素信号が高レベル、すなわちレベル判定閾値より大きければ、第２の飽和処理部１１２による第２の飽和処理（補間処理）を選択する。

ステップＳ１１１１における第１の飽和処理部１１１による第１の飽和処理（クリップ処理）について説明する。ステップＳ１１１１において、第１の飽和処理部１１１は、可視光画素信号のＧの画素値に合わせてＲとＧのレベルを同じレベルにクリップし、白色に変換する。近赤外光のレベルが低い場合には可視光に起因して飽和が生じている可能性が高いため、白レベルでクリップして色を消す処理が好適である。

図８Ａは、飽和が発生しているが近赤外光のレベルが閾値以下の場合の、ステップＳ１１０２で得られる画素信号のレベルを示した模式図である。横軸は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）および近赤外（ＩＲ）画素を、縦軸は画素部の出力信号レベルを示している。

レベル１２０８は、近赤外光レベルを判定するレベル判定閾値である。図８Ａの例では近赤外光画素の出力信号レベル１２０７は、このレベル判定閾値レベル１２０８よりも低
い値となっている。

また、１２０４はもし画素が飽和しなかった場合に期待される赤（Ｒ）画素の出力、１２０５はもし画素が飽和しなかった場合に期待される緑（Ｇ）画素の出力、１２０６は青（Ｂ）画素の出力を示している。ここで、出力１２０４および１２０５は、画素の飽和レベル５０２を超過しているため、実際には赤（Ｒ）および緑（Ｇ）の画素の出力レベルは飽和レベル５０２と等しくなる。

図８Ｂは、図８Ａの各画素の信号成分から近傍の近赤外光成分を減算した信号レベル、すなわちステップＳ１１０３の処理後の信号レベルの模式図である。１３０４，１３０５，１３０６は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）各可視光画像信号から、近傍の近赤外光成分１２０７を減算した値となっている。

図８Ｃは、図６Ｃと同様にホワイトバランスをかけた時の信号レベルおよびクリップ処理後の信号レベルの模式図を示す。ステップＳ１１０４のホワイトバランス処理では、図８Ｂの各色信号に対して、例えば、赤（Ｒ）を１．５倍、緑（Ｇ）を１倍、青（Ｂ）を２倍するようにホワイトバランス係数が乗算される。点線で表された１４０４，１４０５，１４０６はホワイトバランス処理後の信号レベルを表す。なお、この例では、緑（Ｇ）のホワイトバランス係数は１倍なので、出力１３０５と出力１４０５は等しい。

ホワイトバランス処理後の画像は、色ごとのレベルが違い色を有している、画素出力は飽和しており本来の色情報は失われているため、ホワイトバランス処理後の色は偽色である可能性が高い。また、この画素の近赤外光成分は閾値よりも低いため、近赤外の光が強いために飽和している可能性は低く、したがって可視光で飽和している可能性が高い。このため、この画素については色をつけるよりは、クリップ処理により白く飽和して見せるほうが適切であると判断できる。ステップＳ１１１１のクリップ処理（第１の飽和処理）では、図８Ｃに示すように、ホワイトバランス後の該当画素の色信号のうち、信号レベルの低い緑の信号レベルをクリップレベル１３０９として、赤と青の信号レベルをクリップする。

このように、本実施形態では、画素飽和が発生しており（Ｓ１１０６－ＹＥＳ）、かつ、近赤外光のレベルが低い（Ｓ１１１０－ＮＯ）場合には、第１の飽和処理部１１１によるクリップ処理が選択されて適用される。以上のようにして、対象画素は、色付きのない白色の画像情報に置き換えられる。

次に、ステップＳ１１１２における第２の飽和処理部１１２による第２の飽和処理（補間処理）について説明する。第２の飽和処理部１１２は、飽和画素の周囲の画素から補間信号を生成し、飽和画素の信号を置換する。これは、近赤外成分に起因して飽和が生じている可能性が高く、本来の可視光により画素信号の大半が飽和により失われている可能性が高いためである。なお、飽和画素の周囲の画素は、飽和画素からの距離が所定値以内（例えば、３画素以内）の画素として定義されてもよいし、飽和画素に近い方から所定数個の画素として定義されてもよい。

図９Ａは、飽和が発生しており、かつ近赤外光のレベルが閾値より大きい場合の、ステップＳ１１０２で得られる画素信号のレベルを示した模式図である。横軸は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）および近赤外（ＩＲ）画素を、縦軸は画素部の出力信号レベルを示している。

レベル１２０８は、近赤外光レベルを判定するレベル判定閾値である。図９Ａの例では近赤外光画素の出力信号レベル１５０７は、この判定閾値レベル１２０８よりも高い値と
なっている。

また、１５０４はもし画素が飽和しなかった場合に期待される赤（Ｒ）画素の出力、１５０５はもし画素が飽和しなかった場合に期待される緑（Ｇ）画素の出力、１５０６は青（Ｂ）画素の出力を示している。ここで、出力１５０４および１５０５は、撮像素子の画素の飽和レベル５０２を超過しているため、実際には赤（Ｒ）および緑（Ｇ）の画素の出力レベルは飽和レベル５０２と等しくなる。

図９Ｂは、図９Ａの各画素の信号成分から、近傍の近赤外光成分を減算した信号レベル、すなわちステップＳ１１０３の処理後の信号レベルの模式図である。１６０４，１６０５，１６０６は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）各可視光画像信号から、近傍の近赤外光成分１５０７を減算した値となっている。

図９Ｃは、図６Ｃと同様にホワイトバランスをかけた時の信号レベルおよび補間処理後の信号レベルの模式図を示す。ステップＳ１１０４のホワイトバランス処理では、図９Ｂの各色信号に対して、例えば、赤（Ｒ）を１．５倍、緑（Ｇ）を１倍、青（Ｂ）を２倍するようにホワイトバランス係数が乗算される。点線で表された１７０４，１７０５，１７０６はホワイトバランス処理後の信号レベルを表す。なお、この例では、緑（Ｇ）のホワイトバランス係数は１倍なので、出力１６０５と出力１７０５は等しい。

ホワイトバランス処理後の画像は、色ごとのレベルが違い色を有している、画素出力は飽和しており本来の色情報は失われているため、ホワイトバランス処理後の色は偽色である可能性が高い。また、この画素の近赤外光成分は閾値よりも高いため、近赤外の光が強いことに起因して飽和している可能性が高く、したがって可視光の情報はほとんど失われている可能性が高い。このため、この画素部における色情報は、採用しないほうが良いと判断できる。また、可視光が強いために飽和が発生している分けではないので、クリップ処理により白く飽和してみせることも適切ではない。そこで、ステップＳ１１１２の補間処理（第２の飽和処理）では、画素の色情報を、飽和をしていない近接する複数の同色画素の情報から補間した色情報に置き換える。１７０７，１７０８，１７０９は、ステップＳ１１１２の補間処理によって置き換えられた該当画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）に対応する画像信号を示す。

このように、本実施形態では、画素飽和が発生しており（Ｓ１１０６－ＹＥＳ）、かつ、近赤外光のレベルが高い（Ｓ１１１０－ＹＥＳ）場合には、第２の飽和処理部１１２による補間処理が選択されて適用される。近赤外光成分が閾値よりも高いため、飽和画素は可視光では飽和していない可能性が高いので、クリップ処理して色情報をなくして白に置換するよりも、周囲の色に合わせることでより適切な画像信号が得られる。

以上のように、近赤外光のレベルに応じて飽和処理を切り替えることで、偽色の発生を抑制し、高画質な可視光画像と近赤外光画像の同時取得が実現される。

＜第２の実施形態＞
（全体構成）
図１０は、第２の実施形態に係る画像処理装置１８００の構成例を示す。第１の実施形態と同様に、画像処理装置１８００は、撮像部１０１と画像処理部１８０４から構成される。以下の説明において、第１の実施形態と同様の構成に対しては同一の符号を付して、繰り返しの説明は省略する。

画像処理部１８０４は、第１の実施形態と比較して、飽和画素検出部１０８の代わりに飽和画素フラグ付加部１８０８を有する点、および周囲画素情報取得部１８１６と飽和画
素フラグ検出部１８１５を追加で有する点が異なる。また、第２の飽和処理部１８１２および飽和処理適用部１８１７の処理内容が、第１の実施形態における第２の飽和処理部１１２および飽和処理適用部１１４と異なる。

飽和画素フラグ付加部１８０８は、可視光画像信号入力部１０６に入力される可視光画像信号から飽和画素を検出する処理を行い、飽和画素が検出された場合には当該画素が飽和していることを示す飽和フラグを可視光画像信号に付加する。周囲画素情報取得部１８１６は、対象画素（飽和画素）の周囲の画素から色情報を取得し、第２の飽和処理部１８１２に出力する。第２の飽和処理部１８１２の詳細は後述する。飽和画素フラグ検出部１８１５は、対象画素が飽和しているか否かを、飽和画素フラグに基づいて検出して、検出結果を飽和処理適用部１８１７に出力する。飽和処理適用部１８１７は、画素が飽和している場合には飽和処理切替部１１３によって選択された飽和処理を適用し、画素が飽和していない場合には、ホワイトバランス処理後の可視光画像の画素値をそのまま出力する。

（画像処理動作）
図１０および図１１を参照しながら、第２の実施形態の動作を説明する。図１１は、第２の実施形態における可視光画素の出力信号からカラー画像信号を生成するためのフローである。

ステップ１９０１において可視光画素の出力信号からカラー画像信号を生成するためのフローが開始される。この処理はどのようなタイミングで開始されてもよいが、例えば、撮像素子２０３によって可視光画素および赤外光画素の画像信号が得られた直後に開始することができる。

ステップ１９０２において、近赤外光画像信号入力部１０５が近赤外光画素の画素信号値を取得し、可視光画像信号入力部１０６が可視光画素の画素信号値を取得する。

ステップ１９０３において、飽和画素フラグ付加部１８０８は、近赤外光減算前の可視光画素の出力信号を飽和判定閾値と比較し、画素が飽和しているか否かを検出する。可視光画素の出力信号が飽和判定閾値よりも大きい場合、すなわち、画素が飽和していると判定された場合（Ｓ１９０４－ＹＥＳ）は、ステップＳ１９０５に進んで、飽和画素フラグ付加部１８０８は、この画素の飽和フラグとして１をセットする。一方、可視光画素の出力信号が飽和判定閾値以下である場合、すなわち、画素が飽和していないと判定された場合（Ｓ１９０４－ＮＯ）は、ステップＳ１９０６に進んで、飽和画素フラグ付加部１８０８は、この画素の飽和フラグとして０をセットする。なお、飽和フラグは、１が飽和していることを表し、０が飽和していないことを表すが、フラグにどのような値をセットしても構わない。

ステップ１９０７において、近赤外成分減算部１０９が、可視光画像信号の各画素から、近傍の近赤外光画素から得られる近赤外光画像信号を減算する。その後、ステップ１９０８において、ホワイトバランス処理部１１０が、各色の信号にホワイトバランス係数をかけるホワイトバランス処理を実行する。

ステップＳ１９０９において、可視光画素の飽和フラグが１であるか否かによって、すなわち可視光画素が飽和しているか否かによって処理が切り替えられる。この処理の切り替えは画素ごとに判断される。飽和フラグが０の場合、すなわち飽和画素ではない場合（Ｓ１９０９－ＮＯ）には、ステップ１９１０に進み、飽和処理適用部１１４は飽和処理を適用せず、ホワイトバランス処理後の可視光画素の出力信号をそのまま出力する。

一方、ステップ１９０９において、飽和フラグが１である場合、すなわち飽和画素であ
る場合（Ｓ１９０９－ＹＥＳ）は、処理はステップＳ１９１２に進む。ステップＳ１９１２では、近赤外光レベル判定部１０７が、可視光画素の近傍の近赤外光画像信号のレベル判定、すなわち判定閾値との比較を行う。レベル判定結果に基づく制御信号は、飽和処理切替部１１３に入力される。ステップ１９１３において、飽和処理切替部１１３は、ステップＳ１９１２の判定結果にしたがって、飽和処理を切り替える。飽和処理切替部１１３は、ＩＲ画素信号が低レベル、すなわち判定閾値以下であれば、第１の飽和処理部１１１による第１の飽和処理（クリップ処理）を選択する。一方、ＩＲ画素信号が高レベル、すなわち判定閾値より大きければ、第２の飽和処理部１８１２による第２の飽和処理（色補正処理）を選択する。

ステップＳ１９１４における第１の飽和処理部１１１による第１の飽和処理（クリップ処理）は第１の実施形態と同様である。すなわち、第１の飽和処理部１１１は、可視光画素信号のＧの画素値に合わせてＲとＧのレベルを同じレベルにクリップし、白色に変換する。

ステップＳ１９１５における第２の飽和処理部１８１２による第２の飽和処理（色補正処理）について説明する。第２の飽和処理部１８１２は、周囲画素情報取得部１８１６で取得した、対象画素（飽和画素）の周囲の非飽和画素の色度を検出して補正情報を生成し、飽和画素の画素値を補正する。補正処理は、飽和画素の色度が、周囲の非飽和画素の色度と同じ色度になるようにする処理であり得る。飽和画素近傍の近赤外光成分が高レベルの場合は、近赤外成分によって飽和が発生している可能性が高く、クリップ処理によって白く飽和させてみせるのではなく、周囲の非飽和画素の色情報にしたがって色を補正する方が適切である。

以上のように、近赤外光のレベルに応じて飽和処理を切り替えることで、偽色の発生を抑制し、高画質な可視光画像と近赤外光画像の同時取得が実現される。

本実施形態は、第１の実施形態と比較して主に、第２の飽和処理の内容と、飽和画素の検出結果の飽和処理適用部１１４への伝達方法が異なる。これらの変形は、組み合わせて第１の実施形態に適用する必要はなく、いずれか一方の処理は第１の実施形態と同様としても構わない。

＜その他の実施例＞
適用する飽和処理の内容は、上記第１および第２の実施形態で説明した処理に限定されない。近赤外光のレベルが高いときに適用する第２の飽和処理は、飽和画素の周囲の画素の画素値に基づいて飽和画素の画素値を決定する処理であれば、上記で説明した以外の処理であっても構わない。例えば、飽和画素の周囲の画素の画素値から、あらかじめ構築されたデータベースを用いて飽和画素の色情報を推定して、飽和画素の色情報を当該透いてされた色情報に置換してもよい。あるいは、周囲の画素値から中心画素の色情報を推定するようにあらかじめ機械学習された学習モデルを用いて、当該学習モデルに飽和画素の周囲の画素の画素値を入力して得られる色情報で、飽和画素の色情報を置換してもよい。

上記の実施形態では、近赤外成分減算部１０９を用いて可視光画素の出力信号から赤外光成画素の出力信号を減算しているが、この処理は省略しても構わない。その場合でも、飽和の発生が近赤外成分と可視光成分のいずれに起因するのかに応じて飽和処理を切り替えることで、偽色の発生を抑制できる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。ま
た、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４：画像処理装置
１０５：近赤外光画像信号入力部
１０６：可視光画像信号入力部
１０７：近赤外光レベル判定部
１０８：飽和画素検出部
１０９：近赤外成分減算部
１１３：飽和処理切替部

Claims (17)

1. 可視光画素と近赤外光画素を含むセンサから出力された、可視光画素の画像信号と、近赤外光画素の画像信号とが入力される入力部と、
   近赤外光画素の出力信号が閾値より大きいか否かを判定する判定部と、
   飽和している可視光画素を検出する検出部と、
   飽和している可視光画素に適用する飽和処理を、前記判定部の判定結果に基づいて切り替える切替部と、
   を備える、画像処理装置。
2. 前記切替部は、
   前記近赤外光画素の出力信号が閾値より小さい場合には、飽和している可視光画素の各色の画素値を所定の値に置換する第１の飽和処理を選択し、
   前記近赤外光画素の出力信号が閾値より大きい場合には、飽和している可視光画素の画素値を、当該飽和している可視光画素の周囲の可視光画素の画素値に基づいて決定する第２の飽和処理を選択する、
   請求項１に記載の画像処理装置。
3. 前記センサは、第１の可視光画素、第２の可視光画素、第３の可視光画素を有するグループを複数有しており、
   前記第１の飽和処理は、飽和している可視光画素の画素値を、同じグループ内のいずれかの１つの可視光画素の画素値と同じ値に置換する処理である、
   請求項２に記載の画像処理装置。
4. 前記第２の飽和処理は、飽和している可視光画素の画素値を、当該飽和している可視光画素の周囲の可視光画素であり、かつ、飽和していない画素の画素値に基づいて決定する処理である、
   請求項３に記載の画像処理装置。
5. 前記第２の飽和処理は、飽和している可視光画素の画素値を、当該飽和している可視光画素の周囲の複数の可視光画素から補間によって得られる画素値に置換する処理である、
   請求項３または４に記載の画像処理装置。
6. 前記第２の飽和処理は、飽和している可視光画素の画素値を、当該飽和している可視光画素の周囲の可視光画素の色情報に基づいて補正する処理である、
   請求項３または４に記載の画像処理装置。
7. 前記第２の飽和処理は、前記周囲の可視光画素の色度と同じ色度になるように、飽和している可視光画素の画素値を補正する処理である、
   請求項６に記載の画像処理装置。
8. 前記可視光画素の画像信号の画素値に色に応じたゲインをかけるホワイトバランス処理を行うホワイトバランス処理部と、
   前記切替部によって選択された飽和処理を、前記ホワイトバランス処理後の画像信号に対して適用する飽和処理適用部と、
   をさらに備える、
   請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記飽和処理適用部は、飽和している可視光画素に対しては前記切替部によって選択された飽和処理を適用し、飽和していない可視光画素に対しては前記ホワイトバランス処理
   後の画像信号をそのまま出力する、
   請求項８に記載の画像処理装置。
10. 前記検出部の検出結果は、前記飽和処理適用部に入力され、
    前記飽和処理適用部は、前記検出結果に基づいて、可視光画素に対して飽和処理を適用するか否かを決定する、
    請求項９に記載の画像処理装置。
11. 前記検出部は、可視光画素が飽和しているか否かを示す情報を、前記可視光画素の画像信号に付加し、
    前記飽和処理適用部は、前記可視光画素の画像信号に付加されている前記情報に基づいて、可視光画素に対して飽和処理を適用するか否かを決定する、
    請求項９に記載の画像処理装置。
12. 前記可視光画素の出力信号から、当該可視光画素の近傍の赤外光画素の出力値を減算する減算部をさらに備え、
    前記赤外光画素の出力値が減算された前記可視光画素の出力信号に対して、前記ホワイトバランス処理が行われる、
    請求項８から１１のいずれか１項に記載の画像処理装置。
13. 可視光画素と近赤外光画素を含むセンサと、
    請求項１から１２のいずれか１項に記載の画像処理装置と、
    を備える撮像装置。
14. 前記センサには、前記可視光画素と前記近赤外光画素が同一面上に配置されている、
    請求項１３に記載の撮像装置。
15. 前記センサに入射される光から、近赤外領域の波長帯のうち、可視光画素の受光感度と近赤外光画素の受光感度が異なる波長帯を除去するバンドカットフィルタをさらに備える、
    請求項１３または１４に記載の撮像装置。
16. 可視光画素と近赤外光画素を含むセンサから出力された、可視光画素の画像信号と、近赤外光画素の画像信号とを入力する入力ステップと、
    近赤外光画素の出力信号が閾値より大きいか否かを判定する判定ステップと、
    飽和している可視光画素を検出する検出ステップと、
    飽和している可視光画素に適用する飽和処理を、前記判定ステップでの判定結果に基づいて切り替える切替ステップと、
    を含む、画像処理方法。
17. 請求項１６に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images