JP6629700B2 - 画像処理装置、撮像装置、移動体、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置、移動体、及び画像処理方法に関する。

従来、露光時間（シャッタースピード）を調整するメカニカルシャッターを備えないカメラが知られている。このようなカメラにおいては、メカニカルシャッターの代わりに撮像素子の電荷を放電してから一定時間で蓄積された電荷に基づいて画像信号を生成する電子シャッターを備える。

特開２００７−２０１８０７号公報

しかしながら、上述の従来技術のような、メカニカルシャッターを備えないカメラが屋外に配置されるような状況にある場合、カメラによる撮像のための動作の有無によらず、撮像素子の結像面は太陽からの遠赤外線を受けることがある。

特に、カメラが同一の位置及び方向で長時間、屋外に配置され続けると、撮像素子の一部の領域のみが太陽からの遠赤外線を結像し続け、該領域は太陽からの遠赤外線の焼き付きによる損傷を受けることがある。この場合、撮像素子は、損傷を受けた領域で受光した光を正常に画像信号に変換することができず、損傷を受けた領域に対応する画像の画素値は、損傷を受けなかった場合の画素値とは異なるものとなる。すなわち、このような撮像素子を備えるカメラによって撮像された画像の一部には異常が発生する。

したがって、これらの点に着目してなされた本発明の目的は、太陽からの遠赤外線の焼き付きに伴う撮像素子の損傷による画像の異常を検出することができる画像処理装置、撮像装置、移動体、及び画像処理方法を提供することにある。

上記課題を解決する画像処理装置は、移動体に搭載される画像処理装置であって、遠赤外線カメラによって撮像された画像を取得する取得部であって、前記移動体が停止している第１の時点に第１の画像を取得し、前記第１の時点の後、前記移動体が移動を再び開始する前の第２の時点に第２の画像を取得する取得部と、前記第１の画像と前記第２の画像との比較に基づいて、前記遠赤外線カメラの撮像素子に結像した太陽像の軌跡による、前記第２の画像の異常を検出し、前記第２の時点以後、前記取得部から取得する画像に対し、前記第２の画像において異常が検出された領域を補正するプロセッサと、を備える。

上記課題を解決する撮像装置は、移動体に搭載される撮像装置であって、遠赤外線により画像を撮像する撮像部と、前記移動体が停止している第１の時点に前記撮像部によって撮像された第１の画像を取得し、前記第１の時点の後、前記移動体が移動を再び開始する前の第２の時点に前記撮像部によって撮像された第２の画像を取得する取得部と、前記第１の画像と前記第２の画像との比較に基づいて、前記撮像部の撮像素子に結像した太陽像の軌跡による、前記第２の画像の異常を検出し、前記第２の時点以後、前記取得部から取得する画像に対し、前記第２の画像において異常が検出された領域を補正するプロセッサと、を含む画像処理装置と、を備える。

上記課題を解決する移動体は、遠赤外線により画像を撮像する撮像部と、移動体が停止している第１の時点に前記撮像部によって撮像された第１の画像を取得し、前記第１の時点の後、前記移動体が移動を再び開始する前の第２の時点に前記撮像部によって撮像された第２の画像を取得する取得部と、前記第１の画像と前記第２の画像との比較に基づいて、前記撮像部の撮像素子に結像した太陽像の軌跡による、前記第２の画像の異常を検出し、前記第２の時点以後、前記取得部から取得する画像に対し、前記第２の画像において異常が検出された領域を補正するプロセッサと、を有する画像処理装置と、を含む撮像装置を備える。

上記課題を解決する画像処理方法は、移動体に搭載される画像処理装置が実行する画像処理方法であって、前記画像処理装置が、前記移動体が停止している第１の時点に遠赤外線カメラによって撮像された第１の画像を取得し、前記第１の時点の後、前記移動体が移動を再び開始する前の第２の時点に前記遠赤外線カメラによって撮像された第２の画像を取得し、前記画像処理装置が、前記第１の画像と前記第２の画像との比較に基づいて、前記遠赤外線カメラの撮像素子に結像した太陽像の軌跡による、前記第２の画像の異常を検出し、前記第２の時点以後、前記取得した画像に対し、前記第２の画像において異常が検出された領域を補正する。

本発明の一実施形態によれば、太陽からの遠赤外線の焼き付きに伴う撮像素子の損傷による画像の異常を検出することが可能となる。

図１は、第１の実施形態に係る撮像装置の概略構成を示す機能ブロック図である。 図２は、図１に示す撮像装置を搭載した移動体の例を示す図である。 図３は、図１に示す画像処理装置で処理される画像の一例を示す模式図であり、図３（ａ）は第１の画像を示す例であり、図３（ｂ）は第２の画像を示す例である。 図４は、図１に示す画像処理装置の処理フローを示すフロー図である。 図５は、図４に示すフロー図の第１の判定処理の詳細を示すフロー図である。 図６は、図４に示すフロー図の第２の判定処理の詳細を示すフロー図である。 図７は、第２の実施形態に係る画像処理装置における第２の判定処理の詳細を示すフロー図である。

以下、本発明の第１の実施形態について、図面を参照して説明する。

図１に示すように、遠赤外線カメラ（撮像装置）１は、撮像部２、画像処理装置３等を含んで構成される。遠赤外線カメラ１は、通信ケーブル等を介して、ＥＣＵ（Engine Control Unit）４、表示装置５等と接続されて情報を送受信する。

また、遠赤外線カメラ１は、図２に示すように移動体６に搭載される。移動体６に搭載された遠赤外線カメラ１は、移動体６の、例えば前方を撮像する。遠赤外線カメラ１の撮像方向は移動体６の前方に限られず、移動体６の側方、後方を撮像してもよい。ここで、「移動体」は、例えば、乗用車、トラック、バスといった道路上を走行する車両等を意味する。

また、遠赤外線カメラ１は、遠赤外線による遠赤外画像（以降、「画像」という）を撮像するカメラである。遠赤外線は、温度に応じて物体から放出される波長約４μｍから１ｍｍの電磁波である。遠赤外線カメラ１は、例えば８μｍから１４μｍ程度の波長帯域の光を検出するカメラが使用できる。遠赤外線カメラ１の波長帯域はこれに限られず、この帯域以外の他の帯域、または、この帯域を含む他の帯域の光を撮像してよい。遠赤外線カメラ１を構成するレンズなどの光学部材としては、例えば、ゲルマニウム、シリコン、硫化亜鉛等が使用される。光学部材の材料としては、使用する遠赤外線の波長に応じて、他の材料を使用してよい。

図１に示したように、撮像部２は、撮像レンズ２１、撮像素子２２、信号処理部２３等を含んで構成される。

撮像レンズ２１は、入射した光が撮像素子２２で結像するように集光するレンズである。撮像レンズ２１は、例えば、魚眼レンズ、超広角レンズで構成されてもよい。撮像レンズ２１は、単レンズで構成されてもよいし、複数枚のレンズで構成されてもよい。

撮像素子２２は、撮像レンズ２１によって結像された画像を撮像する撮像素子である。撮像素子２２は、マイクロボロメータ型の検出器を使用することができる。遠赤外線カメラ１の撮像素子２２としては、熱電素子及び焦電素子などの他の熱型赤外センサ、又は、量子型赤外線撮像素子等を用いることができる。

信号処理部２３は、画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。

信号処理部２３は、撮像素子２２で結像された画像を表す画像信号を生成する。また、信号処理部２３は、画像について、歪み補正、ゲイン調整、コントラスト調整、ガンマ補正等の任意の処理を行ってもよい。

画像処理装置３は、取得部３１、画像メモリ３２、太陽情報メモリ３３、通信インターフェース３４、プロセッサ３５等を含んで構成される。

取得部３１は、信号処理部２３によって生成された画像信号を取得することによって、撮像部２が撮像した画像を取得するインターフェースである。取得部３１は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、IEC60603に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。

取得部３１は、撮像部２が撮像した画像を取得する。具体的には、取得部３１は、移動体６が停止している第１の時点に第１の画像を取得し、第１の時点の後、移動体６が移動を再び開始する前の第２の時点に第２の画像を取得する。

例えば、取得部３１は、通信インターフェース３４が移動体６を停止するための制御が開始されたことを示す停止信号をＥＣＵ４から受信した時点を第１の時点とし、遠赤外線カメラ１によって撮像された第１の画像を取得する。また、撮像部２は、通信インターフェース３４が移動体６を停止状態から動作を開始させるための制御がなされた旨を示す開始信号をＥＣＵ４から受信した時点を第２の時点とし、第２の画像を取得する。

第１の時点以降、第２の時点まで、移動体６は停止状態を継続している。そのため、第１の画像と第２の画像には、略同一の位置で略同一の方向が撮像されており、建造物、道路、空等の不動の被写体に関しては同一のものが画像内における同一の位置に撮像されている。一方、人物、他の移動体等の可動の被写体に関しては、第１の画像と第２の画像とで異なる場合がある。

図３に示す例を参照して、第１の画像及び第２の画像について説明する。図３（ａ）に例示する第１の画像には、建造物、道路、空、木が撮像されている。また、図３（ｂ）に例示する第２の画像においては、図３（ａ）と同様に建造物、道路、空、木が撮像されており、さらに、図３（ａ）には撮像されていない人物が領域ｂ１に撮像されている。また、領域ｂ２は、撮像素子２２の結像面の領域ｂ２に対応する部分が太陽から放射された遠赤外線を直接、受けたために撮像素子２２が損傷を受けたことによって異常が検出された異常領域である。異常領域を構成する画素の画素値は、撮像素子２２が損傷を受けていなかった場合に同じ撮像条件下で得られる画素値とは異なっている。

また、取得部３１は、撮像部２が撮像した画像をプロセッサ３５に引き渡すことができる。

画像メモリ３２は、撮像部２によって撮像され、取得部３１によって取得された第１の画像を記憶することができる。画像メモリ３２は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等の揮発性メモリ、及び、およびフラッシュメモリ等の不揮発性メモリなどを用いることができる。

太陽情報メモリ３３は、遠赤外線カメラ１によって撮像される太陽像の直径を記憶する。太陽像とは、太陽からの遠赤外線が直接、撮像素子２２の結像面に結像された場合に画像空間に表される太陽の像である。太陽情報メモリ３３は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等の揮発性メモリ、及び、およびフラッシュメモリ等の不揮発性メモリなどを用いることができる。

通信インターフェース３４は、画像処理装置３がＥＣＵ４、表示装置５と情報を送受信するためのインターフェースである。

通信インターフェース３４は、移動体６を停止するための制御が開始されたことを示す停止信号をＥＣＵ４から受信する。また、通信インターフェース３４は、移動体６を停止状態から動作を開始させるための制御がなされた旨を示す開始信号をＥＣＵ４から受信する。

また、通信インターフェース３４は、第２の時点以後に撮像された画像を表示装置５に送信する。

通信インターフェース３４は、物理コネクタ、無線通信機等とすることができる。物理コネクタには、電気コネクタ、光コネクタ、及び電磁コネクタが含まれる。また、無線通信機には、Bluetooth（登録商標）及びIEEE802.11を含む各規格に準拠する無線通信機、並びにアンテナが含まれる。

プロセッサ３５は、取得部３１によって取得した画像を処理する。プロセッサ３５は、一つまたは複数のプロセッサを含む。プロセッサ３５は、種々の処理のためのプログラム及び演算中の情報を記憶する一つまたは複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサ３５と独立しているメモリ、及びプロセッサ３５の内蔵メモリが含まれる。プロセッサ３５には、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサ３５には、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。プロセッサ３５は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

プロセッサ３５は、第１の画像と第２の画像との比較に基づいて、撮像部２の撮像素子２２に結像した太陽像による、第２の画像の異常を検出し、第２の時点以後、取得部３１から取得する画像に対し、第２の画像において異常が検出された領域を補正する。

具体的には、プロセッサ３５は、撮像部２によって撮像された第１の画像と第２の画像とに基づいて、第２の画像に焼き付きによる異常の可能性があるか否かを判定する第１の判定処理を行う。

第１の判定処理において、プロセッサ３５は、第１の画像を構成する各画素と、第１の画像の各画素の位置にそれぞれ対応する、第２の画像上の位置にある画素との画素値の差分をそれぞれ算出する。また、プロセッサ３５は、このようにして算出された差分値と各画素の位置を対応付けて差分画像としてよい。プロセッサ３５は、差分画像における差分が第１の閾値ＴＨ_１以上であるか否かを判定する。プロセッサ３５は、差分が第１の閾値ＴＨ_１以上であると判定すると、第１の閾値ＴＨ_１以上である差分に係る、第２の画像を構成する画素を異常の可能性がある補正候補画素として抽出する。第１の閾値ＴＨ_１とは、第１の画像と第２の画像とにおいて、太陽以外の被写体によって生じ得る画素値の差より大きい値に設定した閾値である。

第１の画像及び第２の画像がともにＮ×Ｍの解像度を有する場合、プロセッサ３５は、第１の画像の座標（１，１）に位置する画素と、第２の画像の座標（１，１）に位置する画素の差分Ｄ_１１を算出する。同様にして、プロセッサ３５は、第１の画像の座標（ｊ，ｋ）（ｊ＝１〜Ｎ，ｋ＝１〜Ｍ）に位置する画素と、第２の画像の座標（ｊ，ｋ）に位置する画素との差分Ｄ_ｊｋを算出する。そして、プロセッサ３５は、全てのｊ及びｋについての差分Ｄ_ｊｋが第１の閾値ＴＨ_１以上であるか否かを判定する。そして、プロセッサ３５は、第１の閾値ＴＨ_１以上である差分Ｄ_ｊｋに係る第２の画像の画素を補正候補画素として抽出する。

上述のように、第１の画像の撮像時には焼き付きによる異常がなかった撮像素子２２の部分に第２の画像の撮像時には異常が発生した場合、撮像素子２２が焼き付いた部分に対応する画素は補正候補画素として抽出される。

また、プロセッサ３５は、補正候補領域を抽出し、補正候補領域の形状と、太陽像の直径とに基づいて、補正候補領域が焼き付きによる異常であるかを判定する第２の判定処理を行う。補正候補領域とは、第２の画像の補正候補画素の集合によって構成される領域である。補正候補領域の形状には、補正候補領域の幅等が含まれる。

具体的には、プロセッサ３５は、第２の画像において判定された補正候補画素の単位面積当たりの数が所定の密度閾値以上である連続した部分を抽出し、該抽出された部分を補正候補領域として設定してよい。密度閾値とは、補正候補画素の単位面積当たりの数がこの値以上である領域は、補正候補画素が集合しているとみなされる値である。また、プロセッサ３５は、太陽情報メモリ３３に記憶されている太陽像の直径を抽出する。

そして、プロセッサ３５は、補正候補領域の幅と、太陽像の直径とに基づいて、補正候補領域を構成する画素を補正するか否か判定する。具体的には、プロセッサ３５は、補正候補領域の幅と太陽像の直径との差分が所定の閾値（第２の閾値）ＴＨ_２以上であるか否かを判定する。ここで、第２の閾値ＴＨ_２とは、補正候補領域の幅と太陽像の直径との差分がこの値未満である場合には、補正候補領域に係る撮像素子２２の部分は焼き付きによる異常があるとみなされる、実験等により定められる値である。

そして、プロセッサ３５は、補正候補領域の幅と太陽像の直径との差分が第２の閾値ＴＨ_２未満であった場合、補正候補領域には太陽の焼き付きによる異常があると判定して、補正候補領域を異常のある領域として検出する。また、プロセッサ３５は、差分が第２の閾値ＴＨ_２以上であった場合、補正候補領域には太陽の焼き付きによる異常がないと判定する。

第１の判定処理において、複数の補正候補領域が抽出された場合、プロセッサ３５は、それぞれの補正候補領域について、補正候補領域の大きさと、太陽像の直径とに基づいて、補正候補領域が焼き付きによる異常であるか否かを判定する。

プロセッサ３５は、補正候補領域に異常があると判定すると、すなわち補正候補領域を第２の画像における異常として検出すると、異常が検出された領域（異常領域）を補正する。具体的には、プロセッサ３５は、第２の画像の異常領域を構成する各画素に対応する、第１の画像における画素の画素値を抽出する。そして、プロセッサ３５は、第２の画像の異常領域を構成する各画素を、第１の画像において抽出した画素に基づいて変換する。このとき、プロセッサ３５は、第２の画像の異常領域を構成する各画素を第１の画像において抽出した画素値に置換してもよい。また、プロセッサ３５は、第２の画像の異常でない領域と、異常領域に対応する第１の画像の領域とに基づいて、第１の画像から抽出した画素値のゲインを変更して置換してもよい。

また、プロセッサ３５は、補正候補領域に異常があると判定すると、すなわち第２の画像に異常が検出されると、第２の画像が撮像された後であって、移動体６が移動を開始した後に撮像部２によって撮像された画像における異常領域に対応する領域を補正する。例えば、プロセッサ３５は、異常領域の画素の輝度を、異常領域の周辺の画素の平均輝度とするように、画素値を置換することができる。

続いて、第１の実施形態の画像処理装置３の画像処理方法について、図４を参照して説明する。

まず、取得部３１は、移動体６が停止している第１の時点に第１の画像を取得する。例えば、通信インターフェース３４が、移動体６を停止するための制御が開始されたことを示す停止信号をＥＣＵ４から受信する（ステップＳ１）。ステップＳ１で停止信号が受信されると、取得部３１が撮像部２によって生成された第１の画像を取得し、画像メモリ３２が第１の画像を記憶する（ステップＳ２）。

そして、取得部３１は、第１の時点の後、移動体６が移動を再び開始する前の第２の時点に第２の画像を取得する。例えば、通信インターフェース３４が移動体６を停止状態から動作を開始させるための制御がなされた旨を示す開始信号をＥＣＵ４から受信する（ステップＳ３）。ステップＳ３で開始信号が受信されると、取得部３１が撮像部２によって生成された第２の画像を取得する（ステップＳ４）。

ステップＳ４で、第２の画像が取得されると、プロセッサ３５は、第１の画像と第２の画像とに基づいて、第２の画像に焼き付きによる異常の可能性があるか否かを判定する第１の判定処理を行う（ステップＳ５）。

ここで、ステップＳ５における第１の判定処理について、図５を参照して詳細に説明する。

図５に示すように、プロセッサ３５は、第２の画像を構成する画素と、該画素にそれぞれ対応する、第１の画像を構成する画素との画素値の差分を算出する（ステップＳ５１）。

ステップＳ５１で、差分が算出されると、プロセッサ３５は、算出された差分が第１の閾値ＴＨ_１以上であるか否かを判定する（ステップＳ５２）。

ステップＳ５２で、差分が第１の閾値ＴＨ_１以上であると判定されると、プロセッサ３５は、第１の閾値ＴＨ_１以上の差分に係る第２の画像の画素を補正候補画素として抽出する（ステップＳ５３）

ステップＳ５２で、差分が第１の閾値ＴＨ_１未満であると判定されると、プロセッサ３５は、第１の閾値ＴＨ_１以上の差分に係る第２の画像の画素を補正候補画素としない（ステップＳ５４）

ステップＳ５３又はＳ５４の処理が終了すると、プロセッサ３５は、第２の画像の全ての画素についてステップＳ５１〜Ｓ５４の処理がされたか否かを判定する（ステップＳ５５）。

ステップＳ５５で、全ての画素値について処理がされていないと判定されると、プロセッサ３５は、まだ処理がされていない画素についてステップＳ５１〜Ｓ５４の処理を繰り返す。全ての画素値について処理がされたと判定されると、プロセッサ３５は、第１の判定処理を終了する。

第１の判定処理においては、ステップＳ５１で、第２の画像を構成する全ての画素について、第１の画像における対応する画素との差分を算出してもよい。この場合、ステップＳ５５で、全ての差分についてステップＳ５２〜Ｓ５４の処理がされたか否かを判定し、処理がされていない差分があると判定されると、プロセッサ３５はまだ処理がされていない差分についてステップＳ５２〜Ｓ５４の処理を繰り返す。

図４に戻って、第１の判定処理が終了すると、プロセッサ３５は、第２の画像に補正候補画素があるか否かを判定する（ステップＳ６）。

ステップＳ６で第２の画像に補正候補画素がないと判定されると、プロセッサ３５は第２の画像を補正せずに表示する（ステップＳ１１）。

ステップＳ６で第２の画像に補正候補画素があると判定されると、プロセッサ３５は、第２の画像の補正候補画素の集合によって構成される補正候補領域に焼き付きによる異常があるか否かを判定する第２の判定処理を行う（ステップＳ７）。

具体的には、図６に示すように、プロセッサ３５は、第２の画像における補正候補領域の幅を算出する（ステップＳ７１）。

ステップＳ７１で補正候補領域の幅が算出されると、プロセッサ３５は、太陽情報メモリ３３に記憶されている太陽像の直径を抽出する（ステップＳ７２）。

ステップＳ７１で補正候補領域の幅が算出され、ステップＳ７２で太陽像の直径が抽出されると、プロセッサ３５は、補正候補領域の幅と太陽像の直径との差分を算出する（ステップＳ７３）。

ステップＳ７３で差分が算出されると、プロセッサ３５は、補正候補領域の幅と太陽像の直径との差分が第２の閾値ＴＨ_２以上であるか否かを判定する（ステップＳ７４）。

ステップＳ７４で、補正候補領域の幅と太陽像の直径との差分が第２の閾値ＴＨ_２未満であった場合、プロセッサ３５は、補正候補領域は異常があると判定する（ステップＳ７５）。

また、ステップＳ７４で、補正候補領域の幅と太陽像の直径との差分が第２の閾値ＴＨ_２以上であった場合、プロセッサ３５は、補正候補領域には異常がないと判定する（ステップＳ７６）。

図４に戻って、ステップＳ７での第２の判定処理が終了すると、プロセッサ３５は、第２の判定処理の結果に基づいて、処理を分岐させる（ステップＳ８）。

補正候補領域が異常領域でないと判定された場合（ステップＳ８でＮｏの場合）、プロセッサ３５は第２の画像を補正せずに表示する（ステップＳ１１）。

補正候補領域が異常領域であると判定された場合（ステップＳ８でＹｅｓの場合）、すなわち、第２の画像の補正候補領域から異常が検出された場合、プロセッサ３５は、第２の画像が撮像された第２の時点に撮像された画像の異常が検出された領域を補正する（ステップＳ９）。具体的には、プロセッサ３５は、第２の画像以後に撮像された画像の異常が検出された領域に対応する領域を構成する各画素に対応する、第１の画像における画素の画素値を抽出する。そして、プロセッサ３５は、第２の画像の異常が検出された領域の各画素を、第１の画像において抽出した画素値に基づいて変換する。また、プロセッサ３５は、第２の画像が撮像された後であって、移動体６が移動を開始した後に撮像部２によって撮像された画像については、異常領域の画素の輝度を、異常領域の周辺の画素の平均輝度とするように、画素値を置換することができる。

ステップＳ９で、第２の画像において異常が検出された領域について第２の画像が撮像された以後に撮像された画像が補正されると、通信インターフェース３４は補正された画像を表示装置５に送信する（ステップＳ１０）。

ステップＳ１０で、補正された画像が出力されると、表示装置５は画像処理装置３から出力された画像を表示する（ステップＳ１１）。

第１の実施形態において、画像処理装置３は、移動体６が動作を停止している第１の画像と移動体６が再び移動を開始する前の第２の画像とに基づいて、太陽の焼き付きによる第２の画像における異常領域を補正する。そのため、画像処理装置３は、太陽が放射した遠赤外線により、遠赤外線カメラ１の撮像素子２２に損傷があった場合も、遠赤外線カメラ１の利用者は、異常が軽減された画像を参照することができる。また、画像処理装置３は、第２の時点以後に撮像された画像を利用して、各種の画像処理装置が処理を行う場合も、画像の異常に影響を受けた不適切な処理結果が出力されるのを軽減することができる。

また、第１の実施形態において、プロセッサ３５は、太陽像の直径に基づいて、第２の画像の異常を検出する。すなわち、画像処理装置３は、太陽の焼き付きによる異常に起因しない、第２の画像の第１の画像との差異を異常であるとして誤検出するのを減少させることができる。そのため、画像処理装置３は、第２の画像における太陽像による異常を正確に判定することができる。

第１の実施形態において、プロセッサ３５は、第１の判定により第２の画像に補正候補領域があると判定した場合、第２の判定を行ったがこの限りではない。例えば、プロセッサ３５は、第１の判定により第２の画像に補正候補領域があると判定した場合、第２の判定を行わずに、該補正候補領域が異常領域であると判定してもよい。

また、第１の実施形態において、プロセッサ３５は、太陽像の直径に基づく判定に加え、さらに、遠赤外線カメラ１の方向に基づいて補正候補領域を判定してもよい。この場合、通信インターフェース３４は、移動体６が有する方位センサ等から、移動体６の方向を示す情報を受信し、プロセッサ３５は、移動体６の方向と移動体６における遠赤外線カメラ１の取り付け方向とに基づいて遠赤外線カメラ１の方向を算出する。例えば、遠赤外線カメラ１の方向が北向きである場合、太陽からの遠赤外線を直接受けることがないため撮像素子２２が焼き付きによる損傷を受けていないと想定される。このため、プロセッサ３５は、第２の画像には補正候補領域がないと判定することができる。これにより、プロセッサ３５は、より高い精度で第２の画像の異常を検出することができる。

また、第１の実施形態において、プロセッサ３５は、第１の判定及び第２の判定による異常領域に基づいて、第２の時点以後に撮像された画像を補正するとしたが、この限りではない。例えば、プロセッサ３５は、異常補正領域を示す情報をメモリに記憶してもよい。この場合、プロセッサ３５は、所定の時間前以降に行った第１の判定及び第２の判定に係る異常領域と、現時点で行った第１の判定及び第２の判定に係る異常領域とを補正することができる。所定の時間とは、焼き付きによって損傷を受けた撮像素子２２の部分が損傷のない状態に戻るまでの時間とすればよく、実験等により定めることができる。

具体的には、画像処理装置３は、第１の判定及び第２の判定によって検出された異常領域の画素の位置を記憶する補正メモリを備える。そして、プロセッサ３５は、取得部３１から取得する画像について、補正メモリに記憶されている、異常領域の画素の位置の画素を補正する。

以下、本発明の第２の実施形態について、図面を参照して説明する。

第２の実施形態に係る遠赤外線カメラ１は、第１の実施形態に係る遠赤外線カメラ１と同様に、撮像部２、画像処理装置３等を含んで構成される。また、撮像部２は、撮像レンズ２１、撮像素子２２、信号処理部２３等を含んで構成される。また、画像処理装置３は、取得部３１、画像メモリ３２、太陽情報メモリ３３、通信インターフェース３４、プロセッサ３５等を含んで構成される。

第２の実施形態に係る通信インターフェース３４は、移動体６が有するＧＰＳ受信機及び方位センサ等から、移動体６の位置、方向、及び傾きを示す情報を受信する。また、通信インターフェース３４は、移動体６が有する任意の情報機器から天候を示す情報を受信してもよい。通信インターフェース３４は、移動体６の位置を表す情報を用いて、移動体６の外部の装置から通信ネットワークを介して天候を示す情報を受信してもよい。

第２の実施形態に係るプロセッサ３５は、第１の実施形態に係るプロセッサ３５と同様であるが、さらに、第２の実施形態に係るプロセッサ３５は、補正候補領域と、環境情報に基づいて算出された太陽像の軌跡とが少なくとも部分的に一致したとき補正候補領域には太陽像の焼き付きよる異常があると判定する。環境情報とは、遠赤外線カメラ１の位置、方向、及び傾き、並びに天候、第１の画像及び第２の画像が撮像された時刻の少なくとも１つを含む情報である。

太陽像の軌跡とは、撮像素子２２において太陽からの遠赤外線を直接結像した部分に対応する画素の集合である。太陽からの遠赤外線を直接結像することによって撮像素子２２が何らかの損傷を受けている場合、撮像素子２２の結像面の一部が太陽からの遠赤外線を直接、結像し、撮像素子２２が損傷を受けたことによって、対応する部分である第２の画像の領域ｂ２（図３（ｂ）参照）が異常領域となる。異常領域とは、該異常領域を構成する画素の画素値が、撮像素子２２が損傷を受けていない場合の画素値とは異なっている領域である。太陽像の軌跡は、所定のパラメータに基づいて算出することができる。

具体的には、通信インターフェース３４によって移動体６の位置、方向、及び傾きを示す情報、天候を示す情報が受信されると、プロセッサ３５は、移動体６の位置、方向、及び傾きと移動体６に対する遠赤外線カメラ１の位置、方向、及び傾きに基づいて、遠赤外線カメラ１の位置、方向、及び傾きを算出する。そして、プロセッサ３５は、遠赤外線カメラ１の位置、方向、及び傾き、並びに天候、第１の画像及び第２の画像が撮像された時刻の少なくとも１つを含む環境情報に基づいて、第１の時点以降の太陽像の軌跡を算出する。

また、プロセッサ３５は、第２の判定処理において、さらに、補正候補領域の形状と、環境情報に基づいて算出された太陽像の軌跡との類似性に基づいて補正候補領域に焼き付きによる異常があるか否かを判定する。ここで、「補正候補領域の形状と、環境情報に基づいて算出された太陽像の軌跡とに類似性がある」とは、補正候補対象領域の形状を示す特徴量と、環境情報に基づいて算出された太陽像の軌跡を示す特徴量との差が所定の閾値（第３の閾値）ＴＨ_３以下であることを表す。第３の閾値ＴＨ_３とは、補正候補対象領域の形状を示す特徴量と環境情報に基づいて算出された太陽像の軌跡を示す特徴量との差がこの値未満である場合には、補正候補領域に係る撮像素子２２の部分は焼き付きによる異常があるとみなされる、実験等により定められる値である。

ここで、プロセッサ３５が、補正候補領域の形状が太陽像の軌跡に類似しているか否かを判定する方法の例について説明する。

プロセッサ３５は、特徴量としての遠赤外線カメラ１の位置、方向、傾き、及び、時刻から算出される太陽像の中心の軌跡を表す線分と、補正候補領域を代表する代表線分とに基づいて類似性を判定する。代表線分とは、補正候補領域の長さ方向に沿った線分であり、例えば、補正候補領域と補正候補領域以外とを分ける２つの境界をそれぞれ近似した２つの近似直線の中間を通る線とすることができる。代表線分はこれに限られず、プロセッサ３５は、任意の方法で代表線分を決定することができる。

プロセッサ３５が類似性を判定する方法の一例について説明する。プロセッサ３５は、環境情報に基づいて算出された太陽像の中心の軌跡を表す線分の第１の端点と、代表線分の第１の端点とが所定の距離以内にあり、かつ環境情報に基づいて算出された太陽像の中心の軌跡を表す線分の第１の端点とは反対側の第２の端点と代表線分の第１の端点とは反対側の第２の端点とが所定の距離以内にある場合、類似性があると判定する。

また、プロセッサ３５は、第２の画像のｘｙ座標系において、環境情報に基づいて算出された太陽像の軌跡として表される線分を一次関数（第１の一次関数）で表し、代表線分を一次関数（第２の一次関数）で表し、これらの一次関数に基づいて類似性を判定してもよい。この場合、プロセッサ３５は、第１の一次関数の一次の係数と第２の一次関数の一次の係数との差が所定の閾値以下で、かつ、第１の一次関数の０次の係数と第２の一次関数の０次の係数との差が所定の閾値以下である場合、補正候補領域の形状が環境情報に基づいて算出された太陽像の軌跡とに類似性があると判定する。

第２の実施形態におけるその他の構成、作用は第１の実施形態と同様なので、同一または対応する構成要素には、同一参照符号を付して説明を省略する。

続いて、第２の実施形態の画像処理装置３の画像処理方法について、図７を参照して説明する。

第２の実施形態の画像処理方法は、第１の実施形態における画像処理方法のステップＳ７のみにおいて異なる。そのため、第２の実施形態の画像処理方法のステップＳ７について説明する。

図７に示すように、プロセッサ３５は、第２の画像における補正候補領域の幅を算出する（ステップＳ１７１）。

一方、通信インターフェース３４が、外部の装置等から移動体６の位置、方向、及び傾き、並びに日時、天候のいずれか１つ以上を受信し、プロセッサ３５が、遠赤外線カメラ１の位置、方向、及び傾き、並びに日時、天候のいずれか１つ以上を含む環境情報を取得する（ステップＳ１７２）。

第２の実施形態の画像処理方法のステップＳ１７３〜Ｓ１７５は、第１の実施形態の画像処理方法のステップＳ７２〜Ｓ７４と同様である。

ステップＳ１７５で、補正候補領域の幅と太陽像の直径との差分が第２の閾値ＴＨ_２以上であると判定されると、プロセッサ３５は、補正候補領域に異常がないと判定する（ステップＳ１７８）。

ステップＳ１７５で、補正候補領域の幅と太陽像の直径との差分が第２の閾値ＴＨ_２未満であると判定されると、プロセッサ３５は、補正候補領域の形状と、ステップＳ１７２で取得した環境情報に基づいて算出された太陽像の軌跡との類似性があるか否かを判定する（ステップＳ１７６）。

ステップＳ１７６で、補正候補領域の形状が、環境情報に基づいて算出された太陽像の軌跡に類似性があると判定されると、プロセッサ３５は、補正候補領域に異常があると判定する（ステップＳ１７７）。また、ステップＳ８５で、補正候補領域の形状が、環境情報に基づいて算出された太陽像の軌跡に類似性がないと判定されると、プロセッサ３５は、補正候補領域に異常がないと判定する（ステップＳ１７８）。

以上、説明したように、第２の実施形態においては、画像処理装置３は、移動体６が動作を停止している第１の画像と移動体６が再び移動を開始する前の第２の画像とに基づいて、太陽像の軌跡による第２の画像における異常が検出された領域を補正する。そのため、画像処理装置３は、太陽が放射した遠赤外線により、遠赤外線カメラ１の撮像素子２２に損傷があった場合も、遠赤外線カメラ１の利用者は、異常が軽減された画像を参照することができるという、第１の実施形態と同様の効果を奏する。また、第２の時点以後に撮像された画像を利用して、他の画像処理装置が処理を行う場合も、画像の異常に影響を受けた不適切な処理結果が出力されるのを軽減することができるという、第１の実施形態と同様の効果を奏する。

また、第２の実施形態において、画像処理装置３は、環境情報に基づいて算出された太陽像の軌跡に基づいて、第２の画像の異常を検出する。すなわち、撮像素子２２の焼き付きによる異常に起因しない、第２の画像の第１の画像との差異を異常であるとして誤検出するのを減少させることができる。そのため、第２の画像における異常を正確に判定することができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。

上述の実施形態においては、プロセッサ３５は、第２の画像の全領域から第１の判定処理によって補正候補領域を判定する第１の判定を行い、補正候補領域について第２の判定を行ったが、この限りではない。例えば、プロセッサ３５は、第２の画像について、太陽以外の物体の認識処理を行い、物体が認識された領域を、異常を検出する領域、すなわち第１の判定処理及び第２の判定処理の対象から除外してもよい。これにより、第１の画像と第２の画像に撮像されている物体の違いを、太陽像の軌跡による異常であるとして誤検出するのを減少させることができる。

１ 遠赤外線カメラ
２ 撮像部
３，７ 画像処理装置
４ ＥＣＵ
５ 表示装置
６ 移動体
２１ 撮像レンズ
２２ 撮像素子
２３ 信号処理部
３１ 取得部
３２ 画像メモリ
３３ 太陽情報メモリ
３４ 通信インターフェース
３５ プロセッサ

Claims (11)

1. 移動体に搭載される画像処理装置であって、
   遠赤外線カメラによって撮像された画像を取得する取得部であって、前記移動体が停止している第１の時点に第１の画像を取得し、前記第１の時点の後、前記移動体が移動を再び開始する前の第２の時点に第２の画像を取得する取得部と、
   前記第１の画像と前記第２の画像との比較に基づいて、前記遠赤外線カメラの撮像素子に結像した太陽像の軌跡による、前記第２の画像の異常を検出し、前記第２の時点以後、前記取得部から取得する画像に対し、前記第２の画像において異常が検出された領域を補正するプロセッサと、
   を備える画像処理装置。
2. 前記プロセッサは、前記第２の画像から前記第１の画像を減算することによって生成した差分画像に基づいて、前記第２の画像における異常を検出する請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記差分画像を前記第２の画像の各画素の画素値から前記第１の画像の対応する画素の画素値を減算することによって生成し、前記差分画像の画素値が所定の第１の閾値以上である画素からなる領域を補正候補領域として抽出し、前記補正候補領域を前記太陽像の軌跡によるものと判定した場合、前記第２の画像の異常として検出する請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記補正候補領域の形状に基づいて該補正候補領域を前記太陽像の軌跡によるものと判定する請求項３に記載の画像処理装置。
5. 前記プロセッサは、前記遠赤外線カメラの位置、方向、前記第１の時点及び前記第２の時点の日時、並びに前記第１の時点から前記第２の時点までの天候のいずれか１つ以上を用いて前記第２の画像の異常を検出する請求項１から４の何れか一項に記載の画像処理装置。
6. 前記プロセッサは、前記遠赤外線カメラの位置、方向、前記第１の時点及び前記第２の時点の日時に基づいて、前記太陽像の軌跡を算出し、前記補正候補領域と前記算出した太陽像の軌跡とが少なくとも部分的に一致したとき、前記補正候補領域を前記太陽像の軌跡によるものと判定する請求項３または４に記載の画像処理装置。
7. 前記プロセッサは、前記第２の画像について前記太陽以外の物体の認識処理を行い、前記物体が認識された領域は、前記異常を検出する領域から除外する請求項１から６の何れか一項に記載の画像処理装置。
8. 前記異常が検出された領域の画素の位置を記憶する補正メモリを備え、
   前記プロセッサは、前記補正メモリに記憶された前記異常が検出された領域の画素の位置に基づいて、前記取得部から取得する画像を補正する請求項１〜７のいずれか一項に記載の画像処理装置。
9. 移動体に搭載される撮像装置であって、
   遠赤外線により画像を撮像する撮像部と、
   前記移動体が停止している第１の時点に前記撮像部によって撮像された第１の画像を取得し、前記第１の時点の後、前記移動体が移動を再び開始する前の第２の時点に前記撮像部によって撮像された第２の画像を取得する取得部と、
   前記第１の画像と第２の画像との比較に基づいて、前記撮像部の撮像素子に結像した太陽像の軌跡による、前記第２の画像の異常を検出し、前記第２の時点以後、前記取得部から取得する画像に対し、前記第２の画像において異常が検出された領域を補正するプロセッサと、
   を含む画像処理装置と、を備える撮像装置。
10. 遠赤外線により画像を撮像する撮像部と、
    移動体が停止している第１の時点に前記撮像部によって撮像された第１の画像を取得し、前記第１の時点の後、前記移動体が移動を再び開始する前の第２の時点に前記撮像部によって撮像された第２の画像を取得する取得部と、
    前記第１の画像と第２の画像との比較に基づいて、前記撮像部の撮像素子に結像した太陽像の軌跡による、前記第２の画像の異常を検出し、前記第２の時点以後、前記取得部から取得する画像に対し、前記第２の画像において異常が検出された領域を補正するプロセッサと、
    を有する画像処理装置と、を含む撮像装置を備える移動体。
11. 移動体に搭載される画像処理装置が実行する画像処理方法であって、
    前記画像処理装置が、前記移動体が停止している第１の時点に遠赤外線カメラによって撮像された第１の画像を取得し、前記第１の時点の後、前記移動体が移動を再び開始する前の第２の時点に前記遠赤外線カメラによって撮像された第２の画像を取得し、
    前記画像処理装置が、前記第１の画像と第２の画像との比較に基づいて、前記遠赤外線カメラの撮像素子に結像した太陽像の軌跡による、前記第２の画像の異常を検出し、前記第２の時点以後、前記取得した画像に対し、前記第２の画像において異常が検出された領域を補正する画像処理方法。
    

Images