JP7771663B2 - 分光カメラ、及び分光測定方法 - Google Patents

Description

本発明は、分光カメラ、及び分光測定方法に関する。

特許文献１には、２台のカメラを用いて画像を作成し、背景画像と現在画像とを対比することにより、レンズの汚れを判定する方法が開示されている。特許文献２には、撮影した画像の不動領域を検知し異物を判定する方法が開示されている。

特開２０１０－１３０５４９号公報 特開２０１２－３８０４８号公報

しかしながら、特許文献１の方法では、２台のカメラが必要なことから、装置の小型化が困難であり利用シーンが限定されるという課題がある。特許文献２の方法では、レンズなど光路上の異物か、デッドピクセル（具体的には、感度が消失している画素）なのか、区別が困難であるという課題がある。即ち、小型で異物の判別が可能な方法が求められている。

分光カメラは、分光フィルターと、光センサーと、入射光学系と、を備えた分光カメラであって、前記分光フィルターの透過波長を制御する制御部と、前記透過波長毎に前記光センサーで撮像した画像情報を記憶する記憶部と、前記画像情報を基に演算処理を行う演算処理部と、前記演算処理の結果に基づき、全ての測定波長において所定閾値以上の輝度値がある正常画素を除き、微分スペクトルの絶対値が一定閾値以上の波長域が存在する画素を異物画素と判定する判定部と、を備える。

分光測定方法は、分光フィルターと、光センサーと、入射光学系と、前記分光フィルターの透過波長を制御する制御部と、前記透過波長毎に前記光センサーで撮像した画像情報を記憶する記憶部と、前記画像情報を基に演算処理を行う演算処理部と、前記演算処理の結果に基づき、異物画素があるか否かを判定する判定部と、を備えた分光カメラによる分光測定方法であって、全ての測定波長において所定閾値以上の輝度値がある正常画素を除き、微分スペクトルの絶対値が一定閾値以上の波長域が存在する画素を前記異物画素と判定する。

分光カメラの構成を示す概略図。 第１実施形態の分光測定方法を示すフローチャート。 画像処理の一部を説明するグラフ。 画像処理の一部を説明するグラフ。 画像処理の一部を説明するグラフ。 異物の判定方法を説明するグラフ。 異物の判定方法を説明するグラフ。 表示部の表示の一例を示す図。 第２実施形態の分光測定方法を示すフローチャート。 変形例の処理方法を説明する図。

図１を参照しながら、分光カメラ１００の構成を説明する。

図１に示すように、分光カメラ１００は、測定対象３０を撮像した際に、測定対象３０が正常に撮像された画素（以下、正常画素と称する）であるか、レンズなどに付着した異物２００（図１０参照）が撮像された画素（以下、異物画素と称する）であるか、を判定するために用いられる。分光カメラ１００は、例えば、測定部１０と、処理部２０と、表示部２５と、を備えている。

測定部１０は、測定対象３０からの光が入射される入射光学系４０と、バンドパスフィルター（ＢＰＦ）５０と、入射光を分光する分光フィルター６０と、分光フィルター６０により分光された光を撮像する光センサー７０と、を備えている。

入射光学系４０は、例えば、オートフォーカス機構を備えている。また、入射光学系４０は、例えば、テレセントリック光学系等により構成され、光軸と主光線とが平行又は略平行となるように、第１波長の光３１を分光フィルター６０に導く。

分光フィルター６０は、例えば、波長選択フィルターであり、透過波長帯域を変更可能なファブリペロー型のフィルターが用いられている。

分光フィルター６０は、一対の基板６１，６２と、互いに対向する一対の反射膜６３，６４と、これらの反射膜６３，６４のギャップ寸法を変更可能なギャップ変更部６５とを備える、波長可変干渉フィルターが使用される。ギャップ変更部６５は、例えば、静電アクチュエーターにより構成される。波長可変干渉フィルターは、エタロンとも呼ばれる。この分光フィルター６０は、光センサー７０へ入射される光の光路上に配置される。

分光フィルター６０は、処理部２０を構成する制御部２１の制御によりギャップ変更部６５に印加される電圧を変更することで、反射膜６３，６４のギャップ寸法を変更し、反射膜６３，６４を透過する光の波長である出力波長λｉ（ｉ＝１，２，・・，Ｎ）を変更する。

光センサー７０は、例えば、ＣＣＤ（Charge Coupled Device）であり、分光フィルター６０を透過した第２波長の光３２を光電変換して測定対象３０を表す電気信号を得る撮像デバイスである。

分光カメラ１００は、制御部２１から複数の測定帯域（マルチバンド）の指示を分光フィルター６０において順に受けることで、分光フィルター６０の透過波長域が順に変更される。こうして、分光カメラ１００は、複数の波長帯域の感度で測定対象３０の撮像を行う。

処理部２０は、制御部２１と、記憶部２２と、演算処理部２３と、判定部２４と、を有する。

制御部２１は、１つ又は複数のプロセッサーを備えて構成され、例えば、記憶部２２に記憶されている制御プログラムに従って動作することにより、分光カメラ１００の動作を統括制御する。

記憶部２２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等のメモリーを備えて構成される。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、分光カメラ１００の動作を制御するための制御プログラムや制御データ等を記憶する。また、記憶部２２は、透過波長毎に光センサー７０で撮像した画像情報を記憶する。

演算処理部２３は、記憶部２２に保存されたデータやパラメータを用いて各処理を実行する。また、演算処理部２３は、画像情報を基に各種演算処理を行う。

判定部２４は、演算処理部２３によって処理された画素ごとのスペクトル画像から、正常画素か異物画素かを判定する。具体的には、判定部２４は、演算処理の結果に基づき、全ての測定波長において所定閾値以上の輝度値がある正常画素を除き、微分スペクトルの絶対値が一定閾値以上の波長域が存在する画素を異物画素と判定する。

表示部２５は、画面に各種情報を表示するためのものであり、例えば、液晶ディスプレイなどを備えている。

次に、図２～図８を参照しながら、第１実施形態の分光カメラ１００を用いた分光測定方法について説明する。第１実施形態の分光測定方法は、分光カメラ１００をキャリブレーションする際に、正常画素であるか、異物画素が含まれているか、を判定する。

図２に示すように、ステップＳ１１では、制御部２１は、光センサー７０によって白タイルを撮像させる。具体的には、白タイルは、基準測定物であり、全波長域で１００％の反射率を有するとみなす。以下、白タイルを撮像した撮像情報に基づいてキャリブレーションを行う。

ステップＳ１２では、処理部２０は、生画像を取得する。具体的には、処理部２０を構成する制御部２１は、演算処理部２３に画像情報に基づいて演算処理させることにより、図３に示すグラフのようなスペクトルを取得することができる。図３に示すグラフは、横軸に光センサー７０の画素の位置（Ｘ，Ｙ）を二次元的に示している。縦軸は、画素位置に対応する輝度値を示しており、上に行くに従って輝度値が高い。

生画像は、例えば、Ｄ＿ｒａｗ（λｎ，Ｘ，Ｙ）に基づいて求めることができる。Ｄは、輝度値である。λｎは、波長である。Ｘは、横方向の画素位置である。Ｙは、縦方向の画素位置である。図３に示すスペクトルは、本来であれば、白タイルを基準としているので、輝度値がフラットになる。しかしながら、例えば、光学系などに起因して、画素位置に対応して多少の歪みを生じる。また、フラットである輝度値が、例えば、異物２００などに起因して、一部の画素の輝度値が低くなっている。この低くなっている部分が異物２００によるものなのかを判定する。

ステップＳ１３では、制御部２１は、演算処理部２３に平坦化補正をさせる。具体的には、図４に示すように、輝度値がフラットになるように補正する。補正した輝度値Ｄ１は、Ｄ１（λｎ、Ｘ，Ｙ）に基づいて求めることができる。

平坦化補正の方法としては、例えば、移動平均フィルター、メディアン(中央値)フィルターなど各種のデジタルフィルターや、曲面関数等の特定関数によるフィッティングなどを挙げることができる。この際、異物２００に相当すると思われる暗部の輝度値落ち込みを保存するように、処理パラメータを調整することが望ましい。

ステップＳ１４では、制御部２１は、演算処理部２３に、全画素のスペクトルを算出させる。全画素のスペクトルは、（Ｘｎ，Ｙｎ），（λｎ，Ｄ）に基づいて求めることができる。具体的には、図５に示すようなグラフのスペクトルが算出される。

図５に示すグラフは、横軸に波長を示し、縦軸に輝度値を示している。具体的には、上記した、補正した輝度値Ｄ１を配列し直し、全画素についてスペクトルを算出したものである。

ステップＳ１５では、制御部２１は、判定部２４に、異物画素が含まれているか否かの判定処理をさせる。具体的には、図６に示す判定例１の方法、及び図７に示す判定例２の方法、を用いて判定する。

まず、図６に示す、判定例１の方法から説明する。図６に示すグラフは、横軸に波長λを示し、縦軸に輝度値（図６では、Ｄ輝度値）を示している。なお、縦軸の輝度値は、上に行くに従って、輝度値が高い（即ち、明るい）。また、描かれた線の１本１本が各画素に相当する。

正常画素は、所定閾値Ｔ１以上の輝度値を有し、波長全域でフラットに近い波形となる。デッドピクセル（具体的には、センサーとして機能していない画素）は、所定閾値Ｔ２未満の輝度値を有し、波長全域でフラットに近い波形となる。所定閾値Ｔ２は、例えば、０に近い輝度値である。

一方、異物画素は、異物２００の種類によって異なるが、全体的にフラットな波形とならず、特定の波長が暗くなるという波長依存性がある。よって、判定例１では、判定部２４は、正常である所定閾値Ｔ１以上の画素と、デッドピクセルである所定閾値Ｔ２未満の画素と、を除いたものを異物画素であると判定する。

次に、図７に示す、判定例２の方法を説明する。図７に示すグラフは、横軸に波長λを示し、縦軸に輝度の微分値（図７では、ｄＤ／ｄλ輝度微分値）を示している。判定例２では、異物画素のスペクトルが平坦形状とならない点に着目し、微分スペクトルの絶対値（図７では、＋Ｔ３，－Ｔ３と表示する）で判定したものである。なお、微分値は、傾きである。

正常画素及びデッドピクセルは、波長λに対して傾きを略もっていないので、０に近い部分に現れる。言い換えれば、＋Ｔ３と－Ｔ３との間に入っている場合、デッドピクセルと判定する。なお、図７では、判定例１において求めた正常画素を除いており、異物画素とデッドピクセルとを判定している。

異物２００に関しては、特徴的なスペクトルを有するので、絶対値の範囲から突出する部分が現れる。言い換えれば、微分スペクトルの絶対値が、＋Ｔ３と－Ｔ３との範囲から外れる、即ち、一定閾値以上の波長域が存在する場合、異物画素であると判定する。

ステップＳ１６では、制御部２１は、表示部２５に、クリーニングを促す表示をさせる。具体的には、図８に示すように、異物画素が検出された場合、表示部２５に「クリーニングをして下さい！」などクリーニングを促す表示を行う。この後、ユーザーは、レンズなどの入射光学系４０のクリーニングを実施する。なお、入射光学系４０に限定されず、例えば、光センサー７０の内部をクリーニングするようにしてもよい。

以上述べたように、本実施形態の分光カメラ１００は、分光フィルター６０と、光センサー７０と、入射光学系４０と、を備えた分光カメラ１００であって、分光フィルター６０の透過波長を制御する制御部２１と、透過波長毎に光センサー７０で撮像した画像情報を記憶する記憶部２２と、画像情報を基に演算処理を行う演算処理部２３と、演算処理の結果に基づき、全ての測定波長において所定閾値以上の輝度値がある正常画素を除き、微分スペクトルの絶対値が一定閾値以上の波長域が存在する画素を異物画素と判定する判定部２４と、を備える。

この構成によれば、分光フィルター６０の透過波長を制御して、透過波長毎に撮像した画像情報を演算し、判定部２４において上記の条件に基づいて異物画素と判定するので、デッドピクセルの画素情報を除くことが可能となり、光路上の異物２００を特定することができる。更に、分光フィルター６０などを用いることにより、異物２００を判定することが可能な小型の分光カメラ１００を提供することができる。

また、デッドピクセルの誤検出による、無駄なクリーニング作業をユーザーが行わなくてよくなる。また、クリーニングを行うことにより、撮像品質を高く保つことが可能となる。更に、小型で省スペースの分光カメラ１００なので、利用シーンを広げることが可能となる。

また、本実施形態の分光カメラ１００において、判定部２４は、正常画素を除き、微分スペクトルの絶対値が全波長域で一定閾値未満の画素をデッドピクセルと判定し、制御部２１は、デッドピクセルと判定した結果を演算処理部２３にフィードバックすることが好ましい。この構成によれば、デッドピクセルと判定した結果を演算処理部２３にフィードバックするので、デッドピクセルの画像情報を除いて異物２００を判定することができる。よって、異物２００の判定精度を向上させることができる。

また、本実施形態の分光カメラ１００において、判定部２４による判定結果を表示する表示部２５を備え、制御部２１は、判定部２４によって異物画素と判定された場合、表示部２５に入射光学系４０のクリーニングを促す表示をさせることが好ましい。この構成によれば、異物画素があると判定された場合、表示部２５にクリーニングを促す表示がされるので、ユーザーは、表示されたタイミングで異物２００を除去することができる。

また、本実施形態の分光測定方法は、分光フィルター６０と、光センサー７０と、入射光学系４０と、分光フィルター６０の透過波長を制御する制御部２１と、透過波長毎に光センサー７０で撮像した画像情報を記憶する記憶部２２と、画像情報を基に演算処理を行う演算処理部２３と、演算処理の結果に基づき、異物画素があるか否かを判定する判定部２４と、を備えた分光カメラ１００による分光測定方法であって、全ての測定波長において所定閾値以上の輝度値がある正常画素を除き、微分スペクトルの絶対値が一定閾値以上の波長域が存在する画素を異物画素と判定する。

この方法によれば、分光フィルター６０の透過波長を制御して、透過波長毎に撮像した画像情報を演算し、判定部２４において上記の条件に基づいて異物画素と判定するので、デッドピクセルの画素情報を除くことが可能となり、光路上の異物２００を特定することができる。

次に、図９を参照しながら、第２実施形態の分光測定方法について説明する。

図９に示すように、第２実施形態の分光測定方法は、複数の品物を検査する際、例えば、大量生産している時に異物画素の判定を行う部分が、第１実施形態と異なっている。その他の構成については概ね同様である。このため第２実施形態では、第１実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略する。

第２実施形態の分光測定方法は、例えば、分光カメラ１００を用いて、複数の品物Ｐ（図１０参照）同士の画素スペクトルを比較することで、品物検査と平行して異物検査を実施する。具体的には、例えば、分光カメラ１００を検査システムに組み込んで実施する。まず、図９に示すように、ステップＳ２１では、制御部２１は、光センサー７０に、品物Ｐを撮像させる。具体的には、例えば、複数の品物Ｐが搬送されているような場合に撮像する。品物Ｐは、例えば、果物である（図１０参照）。

なお、ステップＳ２２～ステップＳ２４における画像処理に関しては、上記した第１実施形態のステップＳ１２～ステップＳ１４と同様の処理を行う。

ステップＳ２５では、制御部２１は、判定部２４に、複数の品物Ｐの画素スペクトルが完全に一致するか否かを判定させる。画素スペクトルは、例えば、図５のグラフに示すスペクトルである。複数の品物Ｐにおいて一致する場合は、ステップＳ２６に移行する。一致していない場合は、ステップＳ２１に移行する。

ステップＳ２６では、制御部２１は、判定部２４に、異物画素が含まれているか判定処理をさせる。具体的には、複数の品物Ｐにおいて、画素スペクトルが完全に一致する画素を異物画素、又はデッドピクセルと判定し、図７に示す判定例２のように、微分スペクトルの特徴点の有無により、異物画素とデッドピクセルとを区別する。判定例２の方法は、上記した内容と同様である。

ステップＳ２７では、制御部２１は、表示部２５に、クリーニングを促す表示をさせる。具体的には、上記したように、図８に示す表示である。この後、ユーザーは、レンズなどの入射光学系４０のクリーニングを実施する。

以上述べたように、第２実施形態の分光カメラ１００は、複数の品物Ｐの画素スペクトルを比較するので、白タイルのような基準測定物が無くても異物画素を判定することができる。また、量産時に品物検査と平行して、異物検査を行うことができる。

以下、上記した実施形態の変形例を説明する。

上記した判定例１及び判定例２は、デッドピクセルと判定された画素を、光センサー７０における有効撮像領域７１から除くようにしてもよい。つまり、図１０に示すように、有効撮像領域７１の範囲を、一回り小さな有効撮像領域７２の範囲に変更する。

このように、変形例の分光カメラ１００において、演算処理部２３は、デッドピクセルと判定した画素を光センサー７０における有効撮像領域７１から除くことが好ましい。この構成によれば、デッドピクセルと判定した画素を有効撮像領域７１から除くので、再び演算処理を行う際、演算処理部２３における演算量を少なくすることができる。

また、本実施形態の分光測定方法において、正常画素を除き、微分スペクトルの絶対値が全波長域で一定閾値未満の画素をデッドピクセルと判定し、デッドピクセルと判定した画素を光センサー７０における有効撮像領域７１から除くことが好ましい。この方法によれば、デッドピクセルと判定した画素を有効撮像領域７１から除くので、再び演算処理を行う際の演算量を少なくすることができる。

上記したように、分光カメラ１００に備えられた表示部２５によって、クリーニングを促す表示を行うことに限定されず、分光カメラ１００と無線で接続されたスマートフォンなどの端末８０の表示部８１に表示させるようにしてもよい（図１参照）。

このように、変形例の分光カメラ１００において、制御部２１は、判定部２４によって異物画素と判定された場合、無線で接続された端末８０の表示部８１に入射光学系４０のクリーニングを促す表示をさせることが好ましい。この構成によれば、異物画素があると判定された場合、端末８０の表示部８１にクリーニングを促す表示がされるので、ユーザーは、分光カメラ１００から離れた場所にいた場合でも、クリーニングのタイミングを知ることができる。ユーザーにクリーニングを促す場合、異物画素と判定された画素を他の画素と異なる色で表示することにより、クリーニングによって異物が除去されたかどうかをユーザーが確認することができる。

上記したように、分光測定方法は、判定例１及び判定例２の両方を行っているが、これに限定されず、判定例１のみ、又は判定例２のみ、で異物画素を判定するようにしてもよい。

本実施形態の分光測定方法において、判定例１および判定例２において、デッドピクセルと判定された画素がある場合、この画素がデッドピクセルであることを記憶部に記憶しておくことにより、その後、そのデッドピクセルについて判定例１および判定例２の判定を省略することができる。

１０…測定部、２０…処理部、２１…制御部、２２…記憶部、２３…演算処理部、２４…判定部、２５…表示部、３０…測定対象、３１…第１波長の光、３２…第２波長の光、４０…入射光学系、５０…バンドパスフィルター、６０…分光フィルター、６１，６２…基板、６３，６４…反射膜、６５…ギャップ変更部、７０…光センサー、７１…有効撮像領域、７２…有効撮像領域、８０…端末、８１…表示部、１００…分光カメラ、２００…異物。

Claims (7)

1. 分光フィルターと、光センサーと、入射光学系と、を備えた分光カメラであって、
   前記分光フィルターの透過波長を制御し、前記光センサーに基準測定物である白タイル
   を撮像させる制御部と、
   前記透過波長毎に前記光センサーで撮像した前記白タイルの画像情報を記憶する記憶部
   と、
   前記白タイルの画像情報に対して演算処理を行うことにより、前記光センサーの画素ご
   との前記白タイルのスペクトルを算出する演算処理部と、
   前記光センサーの画素ごとの前記白タイルのスペクトルに基づき、全ての測定波長にお
   いて所定閾値以上の輝度値がある正常画素を除き、微分スペクトルの絶対値が一定閾値以
   上の波長域が存在する画素を異物画素と判定する判定部と、を備える、分光カメラ。
2. 請求項１に記載の分光カメラであって、
   前記判定部は、前記正常画素を除き、前記微分スペクトルの絶対値が全波長域で一定閾
   値未満の画素をデッドピクセルと判定し、
   前記制御部は、前記デッドピクセルと判定した結果を前記演算処理部にフィードバック
   する、分光カメラ。
3. 請求項２に記載の分光カメラであって、
   前記演算処理部は、前記デッドピクセルと判定した画素を前記光センサーにおける有効
   撮像領域から除く、分光カメラ。
4. 請求項１乃至請求項３のいずれか一項に記載の分光カメラであって、
   前記判定部による判定結果を表示する表示部を備え、
   前記制御部は、前記判定部によって前記異物画素と判定された場合、前記表示部に前記
   入射光学系のクリーニングを促す表示をさせる、分光カメラ。
5. 請求項１乃至請求項３のいずれか一項に記載の分光カメラであって、
   前記制御部は、前記判定部によって前記異物画素と判定された場合、無線で接続された
   端末の表示部に前記入射光学系のクリーニングを促す表示をさせる、分光カメラ。
6. 分光フィルターと、
   光センサーと、
   入射光学系と、
   前記分光フィルターの透過波長を制御し、前記光センサーに基準測定物である白タイル
   を撮像させる制御部と、
   前記透過波長毎に前記光センサーで撮像した前記白タイルの画像情報を記憶する記憶部
   と、
   前記白タイルの画像情報に対して演算処理を行うことにより、前記光センサーの画素ご
   との前記白タイルのスペクトルを算出する演算処理部と、
   前記光センサーの画素ごとの前記白タイルのスペクトルに基づき、異物画素があるか否
   かを判定する判定部と、
   を備えた分光カメラによる分光測定方法であって、
   全ての測定波長において所定閾値以上の輝度値がある正常画素を除き、微分スペクトル
   の絶対値が一定閾値以上の波長域が存在する画素を前記異物画素と判定する、分光測定方
   法。
7. 請求項６に記載の分光測定方法であって、
   前記正常画素を除き、前記微分スペクトルの絶対値が全波長域で一定閾値未満の画素を
   デッドピクセルと判定し、前記デッドピクセルと判定した画素を前記光センサーにおける
   有効撮像領域から除く、分光測定方法。