JP4042256B2 - 暗視システム用画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、警備、監視、野生生物観察、移動体操縦支援、高速現象観察などのために、暗所や高速シャッターによる暗視野における視認対象物体を可視化する暗視システムに適した画像処理装置に関する。
【０００２】
【従来の技術】
もっぱら夜間での観察や高速シャッター撮影等のために視認対象物体を可視化するため、イメージ増幅管（Ｉｍａｇｅ Ｉｎｔｅｎｓｉｆｉｅｒ Ｔｕｂｅ）を有する暗視装置により入射光を増幅し、その増幅された入射光をＣＣＤ等の撮像素子により光電変換することで画像信号を生成し、その画像信号に基づき画像を形成する暗視システムが用いられている。
【０００３】
【発明が解決しようとする課題】
しかし、良好な視野と物体認識度を確保するためにイメージ増幅管の感度を上げて光電子量を増大させると、視認対象物体以外からの入射光によりランダムな位置において発生する量子化ノイズが増加し、却って視認対象物体の認識率の低下を招くという問題があった。
【０００４】
本発明は、上記問題を解決することのできる暗視システム用画像処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の暗視システム用画像処理装置は、イメージ増幅管を有する暗視装置と、その暗視装置により増幅された入射光を光電変換することで画像信号を生成する撮像素子と、複数の画像メモリと、その画像信号が時系列に１フレームの画像分の画像データを構成する毎に、その画像データを前記複数の画像メモリに順番に出力することで、各画像メモリに互いに異なる時系列に形成された画像データを記憶させる手段と、互いに異なる画像メモリにおける画像データに対応する１フレームの画像の画素の濃度値であって、その１フレームの画像における位置が同一の画素に対応するもの全てが、設定された閾値以上であるか否かに対応するマスク値を、各画素毎に求める手段と、互いに異なる画像メモリにおける前記濃度値であって、１フレームの画像における位置が同一の画素に対応するもの同士を掛け合わせることで求められる累乗濃度値に対応する値を、その各画素毎に求める手段と、１フレームの画像における各画素毎に求められた累乗濃度値に対応する値の中から、その各画素毎に求められた前記マスク値に応じて有効な値を選択する手段と、その選択された累乗濃度値に対応する値により構成される画像データに対応する処理済画像信号を出力する手段とを備える。
本発明の構成によれば、時系列に形成された互いに異なる画像データが、互いに異なる画像メモリに記憶される。そして、量子化ノイズの原因となる暗視装置への視認対象物体以外からの入射光の入射位置は、時間的にランダムである。よって、何れかの画像メモリにおける画像データに対応する１フレームの画像の画素の中の何れかの濃度値が、量子化ノイズの原因となる入射光の明るさを反映しても、別の画像メモリにおける画像データに対応する１フレームの画像の同一位置の画素の濃度値は、その量子化ノイズの原因となる入射光の明るさを反映しない確率が高い。すなわち、何れかの画像メモリにおける何れかの画素の濃度値が量子化ノイズの原因となる入射光の明るさを反映して閾値以上になっても、他の画像メモリにおける同一位置の画素の濃度値が閾値以上になる確率は低い。これにより、各画素毎に求められるマスク値の値を、各画素における濃度値が視認対象物体からの入射光に基づくのか、あるいは量子化ノイズの原因となる入射光に基づくのかの判断基準値にできる。
また、互いに異なる画像メモリにおける前記濃度値であって、１フレームの画像における位置が同一の画素に対応するもの同士を掛け合わせることで求められる累乗濃度値に対応する値は、その画素の濃度値が視認対象物体からの入射光に基づく場合、個々の画像メモリにおける濃度値に比べて大きくなり、一方、量子化ノイズの原因となる入射光に基づく場合、何れかの画像メモリにおける濃度値が入射光の明るさを反映しないために個々の画像メモリにおける濃度値に比べて小さくなる確率が高い。これにより、その累乗濃度値に対応する値は、視認対象物体からの入射光を強調した値になる。
よって、その１フレームの画像における各画素毎に求められた累乗濃度値に対応する値の中から、前記マスク値に応じて選択された有効な値により構成される画像データは、視認対象物体を強調すると共に量子化ノイズが低減された画像に対応する。よって、その画像データに対応する処理済画像信号に基づき画像を形成することで、視認対象物体の認識性を向上すると共に量子化ノイズを低減できる。
【０００６】
各画像メモリにおける画像データに対応する１フレームの画像の各画素の濃度値を、設定変更可能な閾値以上か否かの明暗判定値に変換し、互いに異なる画像メモリにおける明暗判定値であって、１フレームの画像における位置が同一の画素に対応するもの同士を掛け合わせることで、前記マスク値を求めるのが好ましい。これによりマスク値を容易に求めることができ、また、量子化ノイズの原因となる入射光の明るさに応じて閾値を設定変更できる。
【０００７】
前記累乗濃度値に対応する値として、その累乗濃度値を真数とする対数値である修正濃度値に対応する値を求めるのが好ましい。一般的に人間の目の光に対する感受性は、光量が少ない範囲では僅かの光量変化も敏感に認識するが、光量の多い範囲では僅かの光量変化は認識しない。よって、その累乗濃度値を真数とする対数値である修正濃度値の、入射光の光量変化に応じた変化は、光量が少ない範囲では大きくなり、光量の多い範囲では小さくなるので、人間の目の光に対する感受性に対応する。これにより、視認対象物体の認識性を向上できる。
【０００８】
前記画像信号を前記各画像メモリに記憶する前にＡ／Ｄ変換するＡ／Ｄ変換器と、前記処理済画像信号に対応する画像データを、その処理済画像信号の出力前にＤ／Ａ変換するＤ／Ａ変換器とを備え、前記修正濃度値に対応する値として、その修正濃度値のとりえる最大値が、前記Ｄ／Ａ変換器によりＤ／Ａ変換可能なデータの最大値に一致するように、各修正濃度値を正規化した値を求めるのが好ましい。これにより、出力される処理済画像信号に対応する画像データの値を可及的に大きくし、視認対象物体の認識性を向上できる。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１に示す暗視システムは、入射光を集光するレンズにより構成される光学系２とイメージ増幅管（Ｉｍａｇｅ Ｉｎｔｅｎｓｉｆｉｅｒ Ｔｕｂｅ）とを有する暗視装置３と、この暗視装置３により増幅された入射光を光電変換することで画像信号を生成するＣＣＤ（撮像素子）４と、その画像信号を処理して出力する画像処理装置１０とを備える。その暗視装置３は公知のものを用いることができ、例えば、光の入射によりイメージ増幅管から放出される光電子を蛍光面にあてて可視化することで入射光を増幅するものを用いることができる。その画像処理装置１０により処理された画像信号に基づき、図外表示装置等により暗視野における画像が形成される。
【００１０】
その画像処理装置１０は、ＣＰＵを有するコンピュータにより構成されるコントローラ１１、このコントローラ１１により制御されるＡ／Ｄ変換器１２、切替器１３、画像間演算部１４、正規化処理部１５、相関処理部１６、マスク処理部１７、およびＤ／Ａ変換器１８、複数の画像メモリ１９、正規化メモリ２０、およびマスクメモリ２１を備える。
【００１１】
そのＡ／Ｄ変換器１２はＣＣＤ４から時系列に出力される画像信号をＡ／Ｄ変換する。その切替器１３は、そのＡ／Ｄ変換された画像信号が時系列に１フレームの画像分の画像データを構成する毎に、その画像データを上記複数の画像メモリ１９に予め定めた順番で出力する。これにより、各画像メモリ１９は互いに異なる時系列に形成された画像データを記憶する。その画像メモリ１９の数は複数であればよく、本実施形態では第１〜第３の画像メモリ１９を有する。各画像メモリ１９における画像データは、その１フレームの画像を構成する複数の画素の各濃度値により構成され、各濃度値は上記入射光の各画素位置における光量に対応する。
【００１２】
その相関処理部１６は、先ず、各画像メモリ１９における画像データに対応する１フレームの画像の各画素の濃度値を、設定変更可能な閾値未満であれば零に変換し、閾値以上であれば１に変換する。その閾値の設定変更は、コントローラ１１に接続される図外入力装置の操作により行う。これにより、各画像メモリ１９における各画素の濃度値は、その閾値以上か否かの明暗判定値に変換される。次に、その相関処理部１６は、互いに異なる画像メモリ１９における明暗判定値であって、その１フレームの画像における位置が同一の画素に対応するもの同士を掛け合わせることで、各画素毎にマスク値を求める。そのマスク値は、互いに異なる画像メモリにおける画像データに対応する１フレームの画像の画素の濃度値であって、その１フレームの画像における位置が同一の画素に対応するもの全てが、設定された閾値以上であるか否かに対応する。各画素毎に求められたマスク値はマスクデータとしてマスクメモリ２１に記憶される。
【００１３】
例えば、その各画素の濃度値が閾値以上である場合の明暗判定値を１、閾値未満である場合の明暗判定値を零とし、各画像メモリ１９における画像データに対応する１フレームの画像が、ｘｙ座標により位置特定される８００×６００の画素により構成される場合において、第１の画像メモリ１９における画像データのｘｙ座標が（１、１）の画素の明暗判定値が１、第２の画像メモリ１９における画像データのｘｙ座標が（１、１）の画素の明暗判定値が１、第３の画像メモリ１９における画像データのｘｙ座標が（１、１）の画素の明暗判定値が０であれば、そのｘｙ座標が（１、１）の画素位置に対応するマスク値は、１×１×０＝０とされる。第１の画像メモリ１９における画像データのｘｙ座標が（１、２）の画素の明暗判定値が１、第２の画像メモリ１９における画像データのｘｙ座標が（１、２）の画素の明暗判定値が１、第３の画像メモリ１９における画像データのｘｙ座標が（１、２）の画素の明暗判定値が１であれば、そのｘｙ座標が（１、１）の画素位置に対応するマスク値は、１×１×１＝１とされる。同様にして全ての画素に対応するマスク値が演算されることで、１フレームの画像を構成する画素の位置に対応する８００×６００のマスク値が演算される。
【００１４】
その相関処理部１６による画像データの処理と並行して、その画像間演算部１４は、互いに異なる画像メモリ１９における上記濃度値であって、１フレームの画像における位置が同一の画素に対応するもの同士を掛け合わせることで、各画素毎に累乗濃度値を求める。さらに、各累乗濃度値に対応する値として、その累乗濃度値を真数とする対数値である修正濃度値を求める。その対数の底は適宜設定すればよく自然対数でも常用対数でもよい。これにより、１フレームの画像における各画素毎に求められた累乗濃度値に対応する修正濃度値が求められる。
【００１５】
例えば、各画像メモリ１９における画像データに対応する１フレームの画像が、ｘｙ座標により位置特定される８００×６００の画素により構成される場合において、第１の画像メモリ１９における画像データのｘｙ座標が（１、１）の画素の濃度値が５０、第２の画像メモリ１９における画像データのｘｙ座標が（１、１）の画素の濃度値が５１、第３の画像メモリ１９における画像データのｘｙ座標が（１、１）の画素の濃度値が０であれば、そのｘｙ座標が（１、１）の画素位置に対応する累乗濃度値は、５０×５１×０＝０とされる。また、第１の画像メモリ１９における画像データのｘｙ座標が（１、２）の画素の濃度値が８０、第２の画像メモリ１９における画像データのｘｙ座標が（１、１）の画素の濃度値が８１、第３の画像メモリ１９における画像データのｘｙ座標が（１、１）の画素の濃度値が８０であれば、そのｘｙ座標が（１、１）の画素位置に対応する累乗濃度値は、８０×８１×８０＝５１８４００とされる。同様にして全ての画素に対応するマスク値が演算されることで、１フレームの画像を構成する画素の位置に対応する８００×６００の累乗濃度値が求められる。各累乗濃度値を真数とする対数値が修正濃度値として演算されることで、１フレームの画像を構成する画素の位置に対応する８００×６００の修正濃度値が求められる。
【００１６】
その正規化処理部１５は、上記修正濃度値のとりえる最大値が、Ｄ／Ａ変換器１８によりＤ／Ａ変換可能なデータの最大値に一致するように、各修正濃度値の値を正規化する。すなわち、その修正濃度値のとりえる最大値を、Ｄ／Ａ変換器１８によりＤ／Ａ変換可能なデータの最大値で除した値を、各修正濃度値に掛けた値が、その修正濃度値に対応する正規化修正濃度値として求められる。その１フレームの画像を構成する画素の位置に対応する８００×６００の正規化修正濃度値は、正規化修正濃度データとして正規化メモリ２０に記憶される。
【００１７】
そのマスク処理部１７は、正規化メモリ２０に記憶された１フレームの画像における各画素毎に求められた正規化修正濃度値の中から、その各画素毎に求められた前記マスク値に応じて有効な値を選択する。
例えば、正規化メモリ２０における１フレームの画像における各画素毎に求められた正規化修正濃度値の中で、その画像における位置が同一の画素に対応するマスク値が１のものは有効な値として維持され、そのマスク値が零のものは無効な値として零とされる。
その選択された正規化修正濃度値により構成される画像データが、Ｄ／Ａ変換器１８によりＤ／Ａ変換されて処理済画像信号として表示装置等に出力される。
【００１８】
上記の構成によれば、時系列に形成された互いに異なる画像データが、互いに異なる画像メモリ１９に記憶される。そして、量子化ノイズの原因となる暗視装置３への視認対象物体以外からの入射光の入射位置は、時間的にランダムである。よって、何れかの画像メモリ１９における画像データに対応する１フレームの画像の画素の中の何れかの濃度値が、量子化ノイズの原因となる入射光の明るさを反映しても、別の画像メモリ１９における画像データに対応する１フレームの画像の同一位置の画素の濃度値は、その量子化ノイズの原因となる入射光の明るさを反映しない確率が高い。すなわち、何れかの画像メモリ１９における何れかの画素の濃度値が量子化ノイズの原因となる入射光の明るさを反映して閾値以上になっても、他の画像メモリ１９における同一位置の画素の濃度値が閾値以上になる確率は低い。これにより、各画素毎に求められるマスク値の値を、各画素における濃度値が視認対象物体からの入射光に基づくのか、あるいは量子化ノイズの原因となる入射光に基づくのかの判断基準値にできる。
また、互いに異なる画像メモリ１９における上記濃度値であって、１フレームの画像における位置が同一の画素に対応するもの同士を掛け合わせることで求められる累乗濃度値は、その画素の濃度値が視認対象物体からの入射光に基づく場合、個々の画像メモリ１９における濃度値に比べて大きくなり、一方、量子化ノイズの原因となる入射光に基づく場合、何れかの画像メモリ１９における濃度値が入射光の明るさを反映しないために個々の画像メモリ１９における濃度値に比べて小さくなる確率が高い。よって、その累乗濃度値に対応する値は、視認対象物体からの入射光を強調した値になる。
これにより、その１フレームの画像における各画素毎に求められた累乗濃度値に対応する正規化修正濃度値の中から、上記マスク値に応じて選択された有効な値により構成される画像データは、視認対象物体を強調すると共に量子化ノイズが低減された画像に対応する。よって、その画像データに対応する処理済画像信号に基づき画像を形成することで、視認対象物体の認識性を向上すると共に量子化ノイズを低減できる。
【００１９】
各画像メモリ１９における画像データに対応する１フレームの画像の各画素の濃度値を、設定変更可能な閾値以上か否かの明暗判定値に変換し、互いに異なる画像メモリにおける明暗判定値であって、１フレームの画像における位置が同一の画素に対応するもの同士を掛け合わせることで、マスク値を容易に求めることができ、また、量子化ノイズの原因となる入射光の明るさに応じて閾値を設定変更できる。
【００２０】
その修正濃度値は累乗濃度値を真数とする対数値であるので、入射光の光量変化に応じた変化は、光量が少ない範囲では大きくなり、光量の多い範囲では小さくなる。よって、その修正濃度値に対応する処理済画像信号の入射光の光量変化に応じた変化は、光量が少ない範囲では僅かの光量変化も敏感に認識し、光量の多い範囲では僅かの光量変化は認識しないという一般的な人間の目の光に対する感受性に対応する。これにより、視認対象物体の認識性を向上できる。
【００２１】
その修正濃度値をＤ／Ａ変換器によりＤ／Ａ変換可能なデータの最大値に一致するように正規化することで、出力される処理済画像信号に対応する画像データの値を可及的に大きくし、視認対象物体の認識性を向上できる。
【００２２】
図２の（１）、（２）は、画像メモリ１９における画像データに対応する１フレームの画像例であり、ノイズ画像Ｂにより視認対象物体画像Ａの視認性が阻害されている。これに対して図２の（３）は処理済画像信号により形成される画像例であり、ノイズ画像Ｂが低減されて視認対象物体画像Ａの視認性が向上している。
【００２３】
なお、画像間演算部１４、正規化処理部１５、相関処理部１６、マスク処理部１７などは、ファームウエアを組み込んだゲートアレイ等のチップにより構成することで小型化、低コスト化を図るのが好ましい。
【００２４】
本発明は上記実施形態に限定されない。例えば、マスク値や修正濃度値の演算方法は上記実施形態に限定されない。
【００２５】
【発明の効果】
本発明によれば、視認対象物体の認識度を向上し、且つ、量子化ノイズを低減できる暗視システム用画像処理装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態の暗視システム用画像処理装置の構成説明図
【図２】本発明の実施形態の暗視システム用画像処理装置における（１）、（２）は画像メモリにおける画像データに対応する１フレームの画像例を示し、（３）は処理済画像信号により形成される画像例を示す図
【符号の説明】
３ 暗視装置
４ ＣＣＤ（撮像素子）
１０ 画像処理装置
１１ コントローラ
１２ Ａ／Ｄ変換器
１３ 切替器
１４ 画像間演算部
１５ 正規化処理部
１６ 相関処理部
１７ マスク処理部
１８ Ｄ／Ａ変換器
１９ 画像メモリ

Claims (4)

1. イメージ増幅管を有する暗視装置と、
   その暗視装置により増幅された入射光を光電変換することで画像信号を生成する撮像素子と、
   複数の画像メモリと、
   その画像信号が時系列に１フレームの画像分の画像データを構成する毎に、その画像データを前記複数の画像メモリに順番に出力することで、各画像メモリに互いに異なる時系列に形成された画像データを記憶させる手段と、
   互いに異なる画像メモリにおける画像データに対応する１フレームの画像の画素の濃度値であって、その１フレームの画像における位置が同一の画素に対応するもの全てが、設定された閾値以上であるか否かに対応するマスク値を、各画素毎に求める手段と、
   互いに異なる画像メモリにおける前記濃度値であって、１フレームの画像における位置が同一の画素に対応するもの同士を掛け合わせることで求められる累乗濃度値に対応する値を、その各画素毎に求める手段と、
   １フレームの画像における各画素毎に求められた累乗濃度値に対応する値の中から、その各画素毎に求められた前記マスク値に応じて有効な値を選択する手段と、
   その選択された累乗濃度値に対応する値により構成される画像データに対応する処理済画像信号を出力する手段とを備える暗視システム用画像処理装置。
2. 各画像メモリにおける画像データに対応する１フレームの画像の各画素の濃度値を、設定変更可能な閾値以上か否かの明暗判定値に変換し、互いに異なる画像メモリにおける明暗判定値であって、１フレームの画像における位置が同一の画素に対応するもの同士を掛け合わせることで、前記マスク値を求める請求項１に記載の暗視システム用画像処理装置。
3. 前記累乗濃度値に対応する値として、その累乗濃度値を真数とする対数値である修正濃度値に対応する値を求める請求項１または２に記載の暗視システム用画像処理装置。
4. 前記画像信号を前記各画像メモリに記憶する前にＡ／Ｄ変換する手段と、
   前記処理済画像信号に対応する画像データを、その処理済画像信号の出力前にＤ／Ａ変換する手段とを備え、
   前記修正濃度値に対応する値として、その修正濃度値のとりえる最大値が、前記Ｄ／Ａ変換手段によりＤ／Ａ変換可能なデータの最大値に一致するように、各修正濃度値を正規化した値を求める請求項１〜３の中の何れかに記載の暗視システム用画像処理装置。

Images