JP7375552B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法およびプログラムに関する。

物体の熱を検出する赤外線カメラを利用した物体検出システムが多く開発されている。またこのような物体検出システムを用いて、例えば自動車の安全性を向上させることが期待されている。一方、赤外線カメラは、物体の熱を検出するという特性上、太陽光を撮像すると撮像素子として用いられているマイクロボロメータが異常を起こす可能性がある。そのため、太陽光の影響を抑制するための技術が必要とされている。

例えば、特許文献１に記載の遠赤外線撮像装置は、遠赤外線検知画素により検知されている遠赤外線の量が、第１の量以上であるか否かを判定し、検知されている遠赤外線の量が第１の量以上である遠赤外線検知画素がある場合には、シャッタを閉鎖する。一方、シャッタを閉鎖した後、検知されている遠赤外線の量が、第１の量以下である第２の量未満であるか否かを遠赤外線検知画素ごとに判定し、全ての遠赤外線検知画素について検知されている遠赤外線の量が第２の量未満である場合には、シャッタを開放する。

特開２００９－００５１２０号公報

赤外線撮像装置が有するマイクロボロメータは、物体検出の解像度を向上させるために、ダイナミックレンジを狭めて使用される。このような場合には、マイクロボロメータが異常を起こさない温度範囲であっても、検出信号が飽和する。そのため、赤外線撮像装置は、マイクロボロメータを保護するために過度にシャッタを閉じてしまう虞がある。しかしながら、シャッタが閉じられている期間は物体検出の機能が使用できないため、必要な場合にシャッタを適切に閉じる技術が期待されている。

本発明は、このような課題を解決するためになされたものであって、太陽光を適切に検出したうえで、太陽光から赤外線センサを保護する画像処理装置等を提供することを目的とする。

本発明にかかる画像処理装置は、飽和領域検出部、ダイナミックレンジ制御部、およびシャッタ制御部を有している。飽和領域検出部は、移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得し、前記撮像データに飽和画素が存在することを検出する。ダイナミックレンジ制御部は、前記飽和領域の検出結果に応じて前記赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。シャッタ制御部は、前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御する。

本発明にかかる画像処理方法は、飽和領域検出ステップ、ダイナミックレンジ制御ステップ、およびシャッタ制御ステップを有している。飽和領域検出ステップは、移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得し、前記撮像データに飽和画素が存在することを検出する飽和領域検出を行う。ダイナミックレンジ制御ステップは、前記飽和領域の検出結果に応じて前記赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。シャッタ制御ステップは、前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御する。

本発明にかかるプログラムは、コンピュータに以下の画像処理方法を実行させる。上記画像処理方法は、飽和領域検出ステップ、ダイナミックレンジ制御ステップ、およびシャッタ制御ステップを有している。飽和領域検出ステップは、移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得し、前記撮像データに飽和画素が存在することを検出する飽和領域検出を行う。ダイナミックレンジ制御ステップは、前記飽和領域の検出結果に応じて前記赤外線撮像素子のダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。シャッタ制御ステップは、前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御する。

本発明によれば、太陽光を適切に検出したうえで、太陽光から赤外線センサを保護する画像処理装置等を提供することができる。

実施の形態１にかかる画像処理装置のブロック図である。 実施の形態１にかかる画像処理装置のフローチャートである。 実施の形態１にかかる画像処理装置が生成する画像の第１例を示す図である。 実施の形態１にかかる画像処理装置が生成する画像の第２例を示す図である。 実施の形態１にかかる画像処理装置が生成する画像の第３例を示す図である。 実施の形態１にかかる画像処理装置が生成する画像の第４例を示す図である。 実施の形態２にかかる画像処理装置のブロック図である。 実施の形態２にかかる画像処理装置のフローチャートである。 実施の形態２にかかる画像処理装置が生成する画像の例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる画像処理装置のブロック図である。図１に示す画像処理装置１００は、自動車の周辺の熱画像を撮像してモニタに表示する熱画像表示システム１０の構成要素である。熱画像表示システム１０は主な構成として、画像処理装置１００、マイクロボロメータ９００、シャッタ９０１およびモニタ９０２を有している。

以下に、画像処理装置１００について説明する。画像処理装置１００は、例えばＣＰＵ（Central Processing Unit）やＭＣＵ（Micro Controller Unit）などの演算装置を有している。また画像処理装置１００は、上記演算装置に加えて、フラッシュメモリもしくはＤＲＡＭ（Dynamic Random Access Memory）のような不揮発性もしくは揮発性のメモリ、およびその他の電気回路により構成された制御基板を少なくとも有している。画像処理装置１００は、これらの演算装置などにプログラムが組み込まれており、ソフトウェアまたはハードウェアの組み合わせにより以下に示す機能を実現する。

画像処理装置１００は、マイクロボロメータ９００が撮像した熱画像の撮像データを取得して、取得した撮像データに予め設定された処理を施す。画像処理装置１００は予め設定された処理を施した撮像データをモニタ９０２に出力する。画像処理装置１００は主な構成として、欠陥画素補正部１１０、画素不均一補正部１２０、ＡＧＣ処理部１３０（AGC=Auto-Gain-Control）、飽和領域検出部１４０、ダイナミックレンジ制御部１５０、画素修復判断部１６０およびシャッタ制御部１７０を有している。画像処理装置１００は、マイクロボロメータ９００が撮像した熱画像に基づき人物などを認識する認識処理部を備えていてもよい。

欠陥画素補正部１１０は、マイクロボロメータ９００から撮像データを受け取り、撮像データに含まれる欠陥画素によるデータを補正する。欠陥画素補正部１１０は例えば、シャッタを閉じた状態で欠陥画素の座標を検出し、検出した欠陥画素の座標を記憶しておく。さらに欠陥画素補正部１１０は、記憶した欠陥画素のデータを、隣接する画素のデータから補間データを生成することにより補正する。欠陥画素補正部１１０は、補正した撮像データを、画素不均一補正部１２０および飽和領域検出部１４０のそれぞれに供給する。

画素不均一補正部１２０は、欠陥画素補正部１１０から受け取った撮像データの画素ごとに生じている不均一状態を補正する。画素ごとの不均一な状態は、画素ごとの特性のばらつき等により発生する。画素不均一補正部１２０は例えばＮＵＣ（Non-Uniformity Correction）と呼ばれる手法を用いて画素ごとのゲインやオフセットを調整することにより撮像データを補正する。画素不均一補正部１２０は、補正した撮像データをＡＧＣ処理部１３０および画素修復判断部１６０のそれぞれに供給する。

ＡＧＣ処理部１３０は、画素不均一補正部１２０から撮像データを受け取り、撮像データのコントラストを調整する。ＡＧＣ処理部１３０は、撮像データのコントラストを調整することにより、モニタ９０２に熱画像を表示する際に、ユーザにとって見やすい画像を生成する。また、ＡＧＣ処理部１３０は、撮像データのコントラストを調整することにより、熱画像に対して物体認識処理を行う際に、認識処理に適切な熱画像を出力することができる。ＡＧＣ処理部１３０は、撮像データに対して、例えば、コントラスト制限適応ヒストグラム均等化などのヒストグラム均等化手法などを用いる。

飽和領域検出部１４０は、欠陥画素補正部１１０から撮像データを受け取り、受け取った撮像データから飽和領域検出を行う。飽和領域は、飽和画素ないし実質的に飽和している画素が存在する領域である。飽和画素とは、画素データが上限値となった状態の画素をいう。例えば、撮像データの各画素の輝度レベルがゼロから２５５までの８ビットで表現されている場合に、輝度レベルが２５５の値を有する座標の画素を飽和画素という。

飽和領域検出部１４０は、例えば隣接する４個以上の画素が飽和画素であることを検出した場合に、飽和領域が存在すると判断する。あるいは飽和領域検出部１４０は、例えば近接する９個以上の画素が輝度値の上限の９８パーセント以上である場合に、飽和領域が存在すると判断する。飽和領域検出部１４０は、受け取った撮像データに飽和領域が存在すると検出した場合、飽和領域の検出結果を示す信号を、ダイナミックレンジ制御部１５０に供給する。

また飽和領域検出部１４０は、ダイナミックレンジ制御部１５０からダイナミックレンジの設定に関する情報を取得する。ダイナミックレンジの設定に関する情報には、マイクロボロメータ９００に設定されているダイナミックレンジの設定が第１温度範囲か第２温度範囲かを示す情報が含まれる。第１温度範囲は、例えばマイクロボロメータにより検出する温度の範囲が１０度から５０度となるように設定された範囲である。第２温度範囲は、第１温度範囲よりも上限値が高く設定された範囲であって、例えばマイクロボロメータにより検出する温度の範囲が１０度から２００度となるように設定された範囲である。飽和領域検出部１４０は、ダイナミックレンジの設定が第２温度範囲の場合において、取得した撮像データに上述の飽和領域を検出した場合には、シャッタ制御部１７０にシャッタを閉じることを指示する信号を供給する。

ダイナミックレンジ制御部１５０は、飽和領域検出部１４０と連携し、飽和領域の検出結果に応じてマイクロボロメータのダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。ダイナミックレンジ制御部１５０は、飽和領域検出部１４０に接続し、飽和領域を検出したことを示す信号を受け取る。またダイナミックレンジ制御部１５０は、マイクロボロメータ９００に接続し、ダイナミックレンジの設定を指示する信号を供給する。なお、本実施の形態におけるダイナミックレンジは、「シーンダイナミックレンジ」と言い換えてもよい。

より具体的には、ダイナミックレンジ制御部１５０は、例えばダイナミックレンジの設定が第１温度範囲となっている場合において、飽和領域検出部１４０が飽和領域を検出した場合に、ダイナミックレンジの設定を第１温度範囲から第２温度範囲に変更する。またダイナミックレンジ制御部１５０は、例えばダイナミックレンジの設定が第２温度範囲となっている場合において、飽和領域検出部１４０が飽和領域を検出しない場合に、ダイナミックレンジの設定を第２温度範囲から第１温度範囲に変更する。

なお、ダイナミックレンジ制御部１５０がダイナミックレンジを第１温度範囲および第２温度範囲に設定する処理を行う場合、ダイナミックレンジ制御部１５０は、例えば、マイクロボロメータ９００のインテグレーションタイムの設定を変更する。インテグレーションタイムの設定を変更することにより、マイクロボロメータ９００は露光時間を変更する。インテグレーションタイムが相対的に短くなると、マイクロボロメータ９００が出力する信号のダイナミックレンジが相対的に広くなる。すなわち、ダイナミックレンジを第１温度範囲から第２温度範囲に変更する場合、ダイナミックレンジ制御部１５０は、マイクロボロメータ９００に対してインテグレーションタイムを短くする指示を送る。

なお、ダイナミックレンジの指示はインテグレーションタイムに代えて、ゲインの設定であってもよい。ゲインの設定の場合において、ダイナミックレンジを第１温度範囲から第２温度範囲に変更する場合、ダイナミックレンジ制御部１５０は、マイクロボロメータ９００に対してゲインを下げる指示を送る。

画素修復判断部１６０は、画素不均一補正部１２０から撮像データの輝度値に関する情報を受け取り、受け取った情報から異常領域の有無を検出する。異常領域とは、異常状態の画素データを含む領域である。

異常領域の有無の検出は、例えば、シャッタを閉じた状態、つまり熱的に均一な面を撮像している状態において、画素データをフレーム平均値と比較し、フレーム平均値から所定値以上異なる値の画素を異常画素として検出する。異常画素が複数存在する領域を異常領域とする。

ここで、画素データが異常状態になる場合について説明する。マイクロボロメータ９００が太陽を撮像した場合には、太陽を撮像した領域の画素の輝度値は上限に達して飽和した状態となる。一般に、マイクロボロメータ９００はダイナミックレンジの上限が、例えば２００度で設計されている。この場合、ダイナミックレンジの設定を上限である２００度に設定しても、太陽を撮像した画素は飽和する。このとき、太陽を撮像した撮像素子は、正しく信号を出力できない異常状態となる。また異常状態となった撮像素子は、シャッタを閉じることにより太陽光から保護された後も、正常状態に復帰するのに時間を要することが知られている。

そこで、画素修復判断部１６０は、シャッタが閉じられた状態の撮像データに対して異常領域の有無を検出する。画素修復判断部１６０は、異常領域の有無に関する情報を、シャッタ制御部１７０に供給する。

シャッタ制御部１７０は、飽和領域の検出結果およびダイナミックレンジの設定に基づいて赤外線撮像素子を保護するためのシャッタの開閉を制御する。例えば、シャッタ制御部１７０は、ダイナミックレンジが第２温度範囲に設定された状態、かつ、飽和領域検出部が飽和領域を検出した場合に、シャッタを閉じる。より具体的には、シャッタ制御部１７０は、飽和領域検出部１４０に接続し、飽和領域検出部１４０からシャッタ９０１を閉じる指示を受ける。シャッタ制御部１７０は、飽和領域検出部１４０からシャッタ９０１を閉じる指示を受けると、この指示に応じてシャッタ９０１を閉じる。

またシャッタ制御部１７０は、画素修復判断部１６０に接続し、シャッタ９０１を閉じた状態の撮像データにおける異常領域の有無に関する情報を受け取る。シャッタ制御部１７０は、シャッタ９０１を閉じた状態の撮像データに異常領域が存在する旨の情報を受け取った場合、シャッタ９０１の閉じた状態を維持する。一方、シャッタ制御部１７０は、シャッタ９０１を閉じた状態の撮像データに異常領域が存在しない旨の情報を受け取った場合、シャッタ９０１を閉じた状態から開く処理を行う。シャッタ制御部１７０は、マイクロボロメータ９００の温度補正を定期的に行うために、シャッタ９０１を定期的に閉じる制御も行う。

以上、画像処理装置１００について説明した。次に、画像処理装置１００に接続している各構成について概要を説明する。

マイクロボロメータ９００は、赤外線撮像素子の一実施態様である。マイクロボロメータ９００は、マトリクス状に配置された赤外線検出素子で構成されており、赤外線検出素子が遠赤外線を検出する。また、マイクロボロメータ９００は、検出した遠赤外線を光電変換して撮像データを生成し、生成した撮像データを、画像処理装置１００の欠陥画素補正部１１０に供給する。

マイクロボロメータ９００は、移動体の周辺の熱画像を撮像するように、移動体に設置されている。移動体が自動車である場合は、自動車の進行方向を撮影可能するために、自動車の前方を向いて設置されているが、他の方向を向くように設置されていてもよい。

シャッタ９０１は、マイクロボロメータ９００に外光が入射するのを許容したり抑制したりする。シャッタ９０１はシャッタ制御部１７０によりその動作が制御されている。シャッタ９０１が開いている場合、シャッタ９０１は外光を通過させてマイクロボロメータ９００に受光させる。シャッタ９０１が閉じている場合、シャッタ９０１は外光を遮断してマイクロボロメータ９００を外光から保護する。また、シャッタ９０１は、マイクロボロメータ９００の温度補正を行う機能を備えている。

モニタ９０２は、ユーザに情報を提示できるように設置された表示装置であって、例えば液晶パネルまたは有機ＥＬ（Electro Luminescence）パネル等を含む。モニタ９０２は、画像処理装置１００のＡＧＣ処理部１３０に接続し、ＡＧＣ処理部１３０から撮像データを受け取り、受け取った撮像データを表示する。モニタ９０２には、撮像データに加えて認識した人物を示す画像を含めて表示してもよい。

次に、実施の形態１にかかる画像処理装置１００が行う処理について説明する。図２は、実施の形態１にかかる画像処理装置のフローチャートである。図２に示すフローチャートは、画像処理装置１００がマイクロボロメータ９００から撮像データを受け取ると開始される。なお、図２に示す処理を開始するにあたり、マイクロボロメータ９００のダイナミックレンジは第１温度範囲（例えば１０度から５０度）に設定されている。なお、図２に示すフローチャートは、飽和領域検出部１４０、ダイナミックレンジ制御部１５０、画素修復判断部１６０およびシャッタ制御部１７０の処理を中心に説明しており、その他の構成の処理については適宜省略されている。ただし、各構成の処理や信号の流れについては、図１を参照して説明したとおりである。

まず、画像処理装置１００は、マイクロボロメータ９００から撮像データを受け取ると、飽和領域検出部１４０が飽和領域の検出を開始する（ステップＳ１０）。次に、画像処理装置１００は、撮像データに飽和領域を検出したか否かを判断する（ステップＳ１１）。

撮像データに飽和領域を検出したと判断しない場合（ステップＳ１１：Ｎｏ）、画像処理装置１００は、ステップＳ１１を繰り返す。すなわち、画像処理装置１００は、取得する撮像データに対して順次、飽和領域の検出を行う。

撮像データに飽和領域を検出したと判断した場合（ステップＳ１１：Ｙｅｓ）、画像処理装置１００は、ダイナミックレンジを第１温度範囲から第２温度範囲（例えば１０度から２００度）に変更する（ステップＳ１２）。

次に、画像処理装置１００は、ダイナミックレンジを変更した後に生成された撮像データに対して、飽和領域を検出したか否かを判断する（ステップＳ１３）。このような処理を行う理由は、第１温度範囲で飽和領域を検出した場合であっても、検出した飽和領域が太陽光によるものでない可能性があるからである。すなわち、ダイナミックレンジを第１温度範囲から第２温度範囲に広げた撮像データに対して飽和領域を検出することにより、画像処理装置１００は、第１温度範囲で検出した飽和領域が太陽光によるものか否かを判断する。

ダイナミックレンジを第２温度範囲に変更した後に生成された撮像データに対して、飽和領域を検出したと判断しない場合（ステップＳ１３：Ｎｏ）、第１温度範囲で検出した飽和領域は、太陽光によるものではない。そこで、画像処理装置１００は、ダイナミックレンジの設定を第２温度範囲から第１温度範囲に戻し（ステップＳ１８）、再びステップＳ１１に戻る。

一方、ダイナミックレンジを第２温度範囲に変更した後に生成された撮像データに対して、飽和領域を検出したと判断する場合（ステップＳ１３：Ｙｅｓ）、その飽和領域は太陽光によるものである。そこで、画像処理装置１００は、シャッタ９０１を閉じる（ステップＳ１４）。

次に、画像処理装置１００は、ダイナミックレンジを、第２温度範囲から再び第１温度範囲に戻す（ステップＳ１５）。さらに、画像処理装置１００は、シャッタ９０１を閉じた状態で生成された撮像データに対して、異常領域が検出されるか否かを判断する（ステップＳ１６）。

シャッタ９０１を閉じた状態で生成された撮像データに異常領域が検出されると判断する場合（ステップＳ１６：Ｙｅｓ）、画像処理装置１００は、ステップＳ１６を繰り返す。すなわち、画像処理装置１００は、シャッタ９０１を閉じた状態の撮像データを順次取得し、取得した撮像データに対して異常領域が検出されるか否かを判断する。

一方、シャッタ９０１を閉じた状態で生成された撮像データに異常領域が検出されると判断しない場合（ステップＳ１６：Ｎｏ）、画像処理装置１００は、シャッタ９０１を開く（ステップＳ１７）。ここで画像処理装置１００がシャッタ９０１を開くのは、太陽光により異常状態となっていた撮像素子の異常状態が解消されたからである。画像処理装置１００はシャッタ９０１を開いた後に、再びステップＳ１１から処理を繰り返す。なお、ステップＳ１５とステップＳ１６は順序が逆でもよい。

次に、熱画像の例を参照して、ダイナミックレンジの設定の違いについて説明する。図３は、実施の形態１にかかる画像処理装置が生成する画像の第１例を示す図である。図３には、画像処理装置１００が生成する熱画像Ａ１１である。図３に示す熱画像Ａ１１は、マイクロボロメータ９００のダイナミックレンジが第１温度範囲に設定されて撮像された例である。熱画像Ａ１１は、熱画像表示システム１０を搭載した車両の進行方向を撮像したものである。熱画像Ａ１１は、他車両Ｄ１１が含まれる。また他車両Ｄ１１にはマフラーＤ１２が含まれる。

熱画像Ａ１１は、物体が放射する電磁波を検出するため、熱の高い部分は明るく表示される。そのため、熱画像Ａ１１では、他車両Ｄ１１が相対的に明るく表示されている。また他車両Ｄ１１の中でも特に温度の高いマフラーＤ１２は白く表示されている。熱画像Ａ１１で白く表示されているマフラーＤ１２の輝度は飽和状態となっている。

次に図４を参照して、ダイナミックレンジが第２温度範囲の場合の画像について説明する。図４は、実施の形態１にかかる画像処理装置が生成する画像の第２例を示す図である。図４に示す熱画像Ａ１２は、マイクロボロメータ９００のダイナミックレンジが第１温度範囲より広い第２温度範囲に設定されて撮像された例である。

熱画像Ａ１２は、熱画像Ａ１１と比較すると、全体として明るい範囲が減少している。他車両Ｄ１１もトーンが暗く表示され、マフラーＤ１２は飽和状態ではなくなっている。

このように、ダイナミックレンジを第１温度範囲で撮像した場合に飽和状態となっていた領域は、ダイナミックレンジを第２温度範囲に変更することにより、飽和状態ではなくなっている。そのため、画像処理装置１００は、シャッタ９０１を閉じることなく、再びダイナミックレンジを第１温度範囲に戻して撮像を継続できる。

次に、図５について説明する。図５は、実施の形態１にかかる画像処理装置が生成する画像の第３例を示す図である。図５に示す熱画像Ａ１３は、マイクロボロメータ９００のダイナミックレンジが第１温度範囲に設定されて撮像された例である。熱画像Ａ１３は、他車両Ｄ１１に加えて、画面の左上に太陽Ｄ１３が含まれる。図５に示すように、太陽Ｄ１３は、温度が高いため、白く表示されている。すなわち、太陽Ｄ１３を表示する部分の輝度は飽和状態である。

次に、図６について説明する。図６は、実施の形態１にかかる画像処理装置が生成する画像の第４例を示す図である。図６示す熱画像Ａ１４は、マイクロボロメータ９００のダイナミックレンジが第２温度範囲に設定されて撮像された例である。

熱画像Ａ１４は、熱画像Ａ１３と比較すると、全体として明るい範囲が減少している。他車両Ｄ１１もトーンが暗く表示され、マフラーＤ１２は飽和状態ではなくなっている。一方、太陽Ｄ１３は、飽和領域は少し減少しているものの、中心部分は飽和状態となっている。

このように、ダイナミックレンジを第１温度範囲で撮像した場合に、輝度が飽和状態となっていた領域のうち、太陽光については、ダイナミックレンジを第２温度範囲に変更しても飽和状態となっている。そのため、画像処理装置１００は、太陽光の存在を適切に把握し、撮像素子を保護するためにシャッタを閉じる。

以上、実施の形態１について説明した。画像処理装置１００は、上述のものに限られない。例えば、画像処理装置１００は、上述の構成に加えて、マイクロボロメータ９００、シャッタ９０１およびモニタ９０２のうち少なくともいずれか１つを含んでいても良い。画像処理装置１００は、図１において説明した各構成が別個に設けられていてもよいし、複数の構成が一体となって構成されていてもよい。図１で説明した構成は、その一部が遠隔の地に設けられており、無線通信により上述の構成を実現するものであってもよい。

上述のように、実施の形態１にかかる画像処理装置１００は、ダイナミックレンジが第１温度範囲の状態において画素の飽和状態を検出した場合、ダイナミックレンジを第１温度範囲より広い第２温度範囲に変更することにより、太陽光を好適に検出できる。そのため、実施の形態１によれば、太陽光を適切に検出したうえで、太陽光から赤外線センサを保護する画像処理装置等を提供できる。

＜実施の形態２＞
次に、実施の形態２について説明する。図７は、実施の形態２にかかる画像処理装置のブロック図である。図７には、実施の形態２にかかる熱画像表示システム１０が示されている。熱画像表示システム１０は、画像処理装置１００に代えて、画像処理装置２００を有している。画像処理装置２００は、検出範囲設定部２１０を有する点が、画像処理装置１００と異なる。

欠陥画素補正部１１０は、マイクロボロメータ９００から撮像データを受け取り、補正した撮像データを、画素不均一補正部１２０および検出範囲設定部２１０のそれぞれに供給する。

検出範囲設定部２１０は、飽和領域検出部１４０が飽和領域検出を行う範囲（検出範囲）を設定する。具体的には例えば、検出範囲設定部２１０は、欠陥画素補正部１１０から撮像データを受け取り、受け取った撮像データのうち、設定された一部分である検出範囲を切り出す。検出範囲は、予め定められた１つのものであってもよいし、所定の条件に応じて変動するものであってもよい。例えば、検出範囲設定部２１０は、時刻、天候、車両の姿勢および車両の進行方向のうち少なくとも１つをパラメータとして検出範囲を設定してもよい。検出範囲設定部２１０は、検出範囲を切り出すと、切り出した撮像データを飽和領域検出部１４０に供給する。よって、飽和領域検出部１４０は、受け取った撮像データの中から実施の形態１と同様に飽和領域を検出する。

次に、実施の形態２にかかる画像処理装置２００の処理について説明する。図８は、実施の形態２にかかる画像処理装置のフローチャートである。

まず、画像処理装置２００は、検出範囲を設定する（ステップＳ２０）。画像処理装置２００は、検出範囲を設定すると、次に、検出範囲に対して飽和領域の検出を開始する（ステップＳ１０）。

次に、画像処理装置２００は、撮像データの検出範囲内に飽和領域を検出したか否かを判断する（ステップＳ２１）。検出範囲内に飽和領域を検出したと判断しない場合（ステップＳ２１：Ｎｏ）、画像処理装置２００は、ステップＳ２１を繰り返す。すなわち、画像処理装置１００は、取得する撮像データに対して順次、検出範囲内に対して飽和領域の検出を行う。検出範囲内に飽和領域を検出したと判断した場合（ステップＳ２１：Ｙｅｓ）、画像処理装置１００は、ダイナミックレンジを第１温度範囲から第２温度範囲（例えば１０度から２００度）に変更する（ステップＳ１２）。

次に、画像処理装置１００は、ダイナミックレンジを変更した後に生成された撮像データの検出範囲に対して、飽和領域を検出したか否かを判断する（ステップＳ２３）。ダイナミックレンジを第２温度範囲に変更した後に生成された撮像データの検出範囲に対して、飽和領域を検出したと判断しない場合（ステップＳ２３：Ｎｏ）、第１温度範囲で検出した飽和領域は、太陽光によるものではない。そこで、画像処理装置２００は、ダイナミックレンジの設定を第２温度範囲から第１温度範囲に戻し（ステップＳ１８）、再びステップＳ２１に戻る。

一方、ダイナミックレンジを第２温度範囲に変更した後に生成された撮像データに対して、飽和領域を検出したと判断する場合（ステップＳ２３：Ｙｅｓ）、その飽和領域は太陽光によるものである。そこで、画像処理装置１００は、シャッタ９０１を閉じる（ステップＳ１４）。ステップＳ１４からステップＳ１７までの処理は、実施の形態１で説明した処理と同様である。そのため、ここでは説明を省略する。

以上に説明した処理により、実施の形態２にかかる画像処理装置２００は、設定された検出範囲に対して飽和領域の検出を行う。よって、画像処理装置２００は、高速に処理を実行できる。なお、ステップＳ２０の処理は、画像処理装置２００がマイクロボロメータ９００から撮像データを取得する前に行われてもよい。

次に、熱画像の例を参照して、検出範囲の設定についてさらに説明する。図９は、実施の形態２にかかる画像処理装置が検出する画像の例を示す図である。図９は、画像処理装置２００が生成する熱画像Ａ２１である。図９に示す熱画像Ａ２１は、マイクロボロメータ９００のダイナミックレンジが第１温度範囲に設定されて撮像された例である。熱画像Ａ２１には、他車両Ｄ１１、マフラーＤ１２および、太陽Ｄ１３が含まれる。図９に示すように、マフラーＤ１２および太陽Ｄ１３は、比較的に温度が高いため、白く表示されている。すなわち、マフラーＤ１２および太陽Ｄ１３を表示する部分の輝度は飽和状態である。

図９には、検出範囲Ｒ２１が示されている。図９において一点鎖線により示された矩形は、検出範囲Ｒ２１を画定する境界線を示している。すなわち、検出範囲Ｒ２１は、一点鎖線により示された矩形の内側の範囲である。図９に示された検出範囲Ｒ２１は、熱画像Ａ２１の鉛直方向上側４０パーセント程の範囲である。すなわち、画像処理装置２００は、撮像データから切り出された検出範囲Ｒ２１について、飽和領域の検出を行う。そのため、画像処理装置２００は、マフラーＤ１２を飽和領域として検出することなく、太陽Ｄ１３が撮像された領域について、上述の処理を行う。

なお、上述の検出範囲の設定において、検出範囲設定部２１０は、検出範囲がない状態（つまり、検出範囲を切り出さない状態）を設定できる。また、上述の検出範囲の設定において、検出範囲設定部２１０は、時刻、天候、車両の姿勢および車両の進行方向のうち少なくとも１つをパラメータとして検出範囲を設定してもよい。

例えば検出範囲設定部２１０は、太陽が出現しない時刻では、検出範囲がない状態を設定してもよい。また検出範囲設定部２１０は、天候情報を取得し、雨天の場合には検出範囲がない状態を設定してもよい。また検出範囲設定部２１０は、太陽の位置が比較的に低い朝や夕方は検出範囲を熱画像Ａ２１の下側に広げ、太陽の位置が比較的に高い昼間は検出範囲を熱画像Ａ２１の上側に狭めてもよい。また、検出範囲設定部２１０は、車両の姿勢を検出し、坂を上っている場合には検出範囲を広げ、坂を下っている場合には検出範囲を狭くしてもよい。また、検出範囲設定部２１０は、時刻情報と車両の進行方向とを検出し、例えば午前中に東に向かって走行している場合には検出範囲を広く設定し、午前中に西に向かって走行している場合には検出範囲がない状態を設定してもよい。

上述のように、実施の形態２にかかる画像処理装置２００は、ダイナミックレンジが第１温度範囲の状態において画素の飽和状態を検出した場合、ダイナミックレンジを第１温度範囲より広い第２温度範囲に変更することにより、太陽光を好適に検出できる。また画像処理装置２００は、検出範囲を設定することにより、効率よく太陽光を検出できる。そのため、実施の形態２によれば、太陽光を適切に検出したうえで、太陽光から赤外線センサを保護する画像処理装置等を提供できる。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、画像処理装置は、自動車に限らず、バイク、船、飛行機、移動ロボット、ドローンなどの移動体に適用可能である。

１０ 熱画像表示システム
１００、２００ 画像処理装置
１１０ 欠陥画素補正部
１２０ 画素不均一補正部
１３０ ＡＧＣ処理部
１４０ 飽和領域検出部
１５０ ダイナミックレンジ制御部
１６０ 画素修復判断部
１７０ シャッタ制御部
２１０ 検出範囲設定部
９００ マイクロボロメータ
９０１ シャッタ
９０２ モニタ
Ａ１１、Ａ１２、Ａ１３、Ａ１４、Ａ２１ 熱画像
Ｄ１１ 他車両
Ｄ１２ マフラー
Ｄ１３ 太陽
Ｒ２１ 検出範囲

Claims (6)

1. 移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得し、前記撮像データに飽和領域が存在することを検出する飽和領域検出部と、
   前記飽和領域の検出結果に応じて前記赤外線撮像素子が検出する温度範囲であるダイナミックレンジを、他車両の温度で上限値側が飽和状態となる第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高く他車両の温度で飽和状態とはならない第２温度範囲に設定するダイナミックレンジ制御部と、
   前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御するシャッタ制御部と、を備え、
   前記ダイナミックレンジ制御部は、前記ダイナミックレンジの設定が前記第１温度範囲のときに前記飽和領域検出部が前記飽和領域を検出した場合に、前記ダイナミックレンジの設定を前記第１温度範囲から前記第２温度範囲に変更し、前記ダイナミックレンジが前記第２温度範囲に設定された状態で前記飽和領域検出部が前記飽和領域を検出しない場合は、前記ダイナミックレンジの設定を前記第２温度範囲から前記第１温度範囲に変更し、
   前記シャッタ制御部は、前記ダイナミックレンジが前記第２温度範囲に設定された状態、かつ、前記飽和領域検出部が前記飽和領域を検出した場合に、シャッタを閉じる、
   画像処理装置。
2. 前記ダイナミックレンジ制御部は、前記第１温度範囲として、前記赤外線撮像素子が検出する温度範囲の上限を５０度に設定し、前記第２温度範囲として、前記赤外線撮像素子が検出する温度範囲の上限を２００度となるように設定する、
   請求項１に記載の画像処理装置。
3. 前記飽和領域検出部は、前記撮像データの一部分であって、前記熱画像における鉛直方向上側の範囲について前記飽和領域の検出を行う
   請求項１または２に記載の画像処理装置。
4. 前記撮像データにおける前記飽和領域の検出を行う検出範囲を設定する検出範囲設定部をさらに備え、
   前記検出範囲設定部は、時刻、天候、前記移動体の姿勢および前記移動体の進行方向のうち少なくとも１つをパラメータとして前記検出範囲を設定する
   請求項１～３のいずれか一項に記載の画像処理装置。
5. 移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得する撮像データ取得ステップと、
   前記撮像データに飽和領域が存在することを検出する飽和領域検出ステップと、
   前記飽和領域の検出結果に応じて前記赤外線撮像素子が検出する温度範囲であるダイナミックレンジを、他車両の温度で上限値側が飽和状態となる第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高く他車両の温度で飽和状態とならない第２温度範囲に設定するダイナミックレンジ制御ステップと、
   前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御するシャッタ制御ステップと、を備え、
   前記ダイナミックレンジ制御ステップは、前記ダイナミックレンジの設定が前記第１温度範囲のときに前記飽和領域検出ステップで前記飽和領域を検出した場合に、前記ダイナミックレンジの設定を前記第１温度範囲から前記第２温度範囲に変更し、前記ダイナミックレンジが前記第２温度範囲に設定された状態において前記飽和領域検出ステップで前記飽和領域を検出しない場合は、前記ダイナミックレンジの設定を前記第２温度範囲から前記第１温度範囲に変更し、
   前記シャッタ制御ステップは、前記ダイナミックレンジが前記第２温度範囲に設定された状態、かつ、前記飽和領域検出ステップで前記飽和領域を検出した場合に、シャッタを閉じる、
   画像処理方法。
6. 移動体の周辺の熱画像を撮像する赤外線撮像素子から撮像データを取得する撮像データ取得ステップと、
   前記撮像データに飽和領域が存在することを検出する飽和領域検出ステップと、
   前記飽和領域の検出結果に応じて前記赤外線撮像素子が検出する温度範囲であるダイナミックレンジを、他車両の温度で上限値側が飽和状態となる第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高く他車両の温度で飽和状態とならない第２温度範囲に設定するダイナミックレンジ制御ステップと、
   前記飽和領域の検出結果および前記ダイナミックレンジの設定に基づいて前記赤外線撮像素子を保護するためのシャッタの開閉を制御するシャッタ制御ステップと、を備え、
   前記ダイナミックレンジ制御ステップは、前記ダイナミックレンジの設定が前記第１温度範囲のときに前記飽和領域検出ステップで前記飽和領域を検出した場合に、前記ダイナミックレンジの設定を前記第１温度範囲から前記第２温度範囲に変更し、前記ダイナミックレンジが前記第２温度範囲に設定された状態において前記飽和領域検出ステップで前記飽和領域を検出しない場合は、前記ダイナミックレンジの設定を前記第２温度範囲から前記第１温度範囲に変更し、
   前記シャッタ制御ステップは、前記ダイナミックレンジが前記第２温度範囲に設定された状態、かつ、前記飽和領域検出ステップで前記飽和領域を検出した場合に、シャッタを閉じる、
   画像処理方法を、コンピュータに実行させるプログラム。

Images