JP3882640B2 - 赤外線カメラ - Google Patents
赤外線カメラ Download PDFInfo
- Publication number
- JP3882640B2 JP3882640B2 JP2002051941A JP2002051941A JP3882640B2 JP 3882640 B2 JP3882640 B2 JP 3882640B2 JP 2002051941 A JP2002051941 A JP 2002051941A JP 2002051941 A JP2002051941 A JP 2002051941A JP 3882640 B2 JP3882640 B2 JP 3882640B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- correction coefficient
- correction
- value
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【発明の属する技術分野】
本発明は、赤外線センサを利用して赤外線画像を撮像、出力する赤外線カメラに関し、特に、赤外線センサの画素毎の画素値を補正する機能を有する赤外線カメラに関するものである。
【0002】
【従来の技術】
近年、車両のインテリジェント化に伴い、赤外線カメラを車両に搭載して、この赤外線カメラにより撮像された画像を用いて車両周囲を監視する試みが盛んに行われている。赤外線カメラにより撮像された画像は、撮像対象の温度に応じて色分けされた画像として出力されるので、例えば車両周囲に人体等の温度を有する物体が存在し、この物体を赤外線カメラで撮像した場合には、赤外線カメラから出力される画像を参照することで、物体の存在を適格に認識することができる。
【0003】
ところで、赤外線カメラは、半導体を用いて構成される赤外線センサの各画素に入射する入射赤外線を、各画素毎の画素値(電圧値)に変換して出力するようになっているため、赤外線センサの周囲温度が変化すると、この赤外線センサの温度特性により各画素からの出力が変動して、適切な画像が得られない場合がある。
【0004】
そこで、このような赤外線カメラの温度変化に起因する出力ばらつきを補正する方法として、例えば、特開平9−325073号公報にて開示される技術等が提案されている。この特開平9−325073号公報に記載された赤外線カメラは、赤外線センサの前段に入射赤外線を遮断する補正専用のシャッタを設け、赤外線センサ周囲の温度変化が所定値以上となったときに、補正専用のシャッタを閉じて熱的に均一な面を撮像し、その結果に基づいて、各画素の出力値が等しくなるように各画素に補正係数を設定するようにしたものである。
【0005】
以上のような赤外線カメラでは、各画素毎の画素値が、各画素毎に設定された補正係数で補正されて出力されることにより、撮像対象の温度を忠実に反映した適切な画像が得られることになる。
【0006】
【発明が解決しようとする課題】
しかしながら、以上のような赤外線カメラは、温度変化に起因する出力ばらつきを補正する際に、補正専用のシャッタを閉じて熱的に均一な面を撮像するようになっているため、その間、本来撮像したい対象を撮像できないという問題がある。特に、赤外線カメラは、起動直後に赤外線センサ周囲の温度変化が大きくなる傾向にあり、起動直後には頻繁に補正処理を行う必要が生じるため、本来撮像したい対象を撮像できない時間が長くなる。
【0007】
赤外線カメラを車両周囲を監視するために用いる場合には、特に、車両の走行開始時等において、赤外線カメラからの画像をもとにして車両周囲に物体が存在するかどうかを適格に認識することが要求されるので、撮像対象を常時撮像可能とすることが強く望まれる。
【0008】
本発明は、以上のような実情に鑑みて創案されたものであって、撮像対象を常時撮像しながら、画素毎の出力のばらつきを補正することができる赤外線カメラを提供することを目的としている。
【0009】
【課題を解決するための手段】
請求項1に記載の発明は、複数の画素を有し、各画素毎に入射赤外線に応じた画素値を出力する赤外線センサと、前記赤外線センサから出力された各画素値を所定の閾値と比較して、画素値が前記閾値以下の画素を補正候補として特定し、特定した補正候補の画素のうちで画素値が所定の基準値と異なる画素に対して、その画素値と前記基準値との差分を補正係数として設定する補正係数設定手段と、前記補正係数設定手段により補正係数が設定されない画素については、前記赤外線センサにより出力された画素値を出力値として出力し、前記補正係数設定手段により補正係数が設定された画素については、前記赤外線センサにより出力された画素値を前記補正係数を用いて補正した値を出力値として出力する画像出力手段とを備えることを特徴とする赤外線カメラである。
【0010】
この請求項1に係る赤外線カメラでは、撮像対象からの赤外線が赤外線センサの各画素に入射すると、赤外線センサから各画素毎の入射赤外線に応じた画素値が出力される。この赤外線センサから出力された各画素毎の画素値は、補正係数設定手段に供給され、補正係数設定手段により所定の閾値と比較される。そして、閾値以下の画素値を出力した赤外線センサの画素が補正候補として特定される。ここで、画素値の比較対照となる閾値は、物体と背景とを分離できる最適な値に設定される。そして、閾値以下の画素値を出力した画素は、背景を撮像したものとみなして、この背景を撮像したとみなされる画素を補正候補とするようにしている。すなわち、この赤外線カメラでは、背景を撮像したものとみなした画素に対してのみ、必要な場合に補正処理を行って、物体を撮像したものとみなされる画素に対しては補正処理を行わないようにしている。
【0011】
補正候補の画素が特定されると、補正係数設定手段により、この補正候補の画素の画素値が所定の基準値と比較される。ここで、基準値としては、均一な背景を撮像したときに得られる画素値と等しい値に設定される。そして、補正候補の画素のうちで、画素値が所定の基準値と異なる画素に対して、その画素値と基準値との差分が補正係数として設定される。すなわち、補正候補の画素は、均一な背景を撮像したものとみなした画素であり、本来、画素値が基準値と等しくなるはずである。したがって、画素値が基準値と異なる画素は、補正が必要な画素とみなすことでき、補正係数設定手段は、このような画素に対してその画素値と基準値との差分を補正係数として設定するようにしている。
【0012】
補正が必要な画素に対して補正係数が設定されると、次に、画像出力手段により、画像を表示するための各画素毎の出力値が出力される。このとき、画像出力手段は、補正係数が設定されない画素については、赤外線センサからの画素値をそのまま出力値として出力し、補正係数が設定された画素については、赤外線センサからの画素値を補正係数を用いて補正した値を出力値として出力する。これにより、温度変化等に起因する画素毎の出力ばらつきが補正され、適切な画像表示が行えることになる。
【0013】
また、請求項2に記載の発明は、請求項1に記載の赤外線カメラにおいて、前記補正係数設定手段が、画像出力周期毎に前記補正係数の設定処理を行うことを特徴とするものである。
【0014】
この請求項2に係る赤外線カメラでは、画素値の補正が必要な画素に対しては画像出力周期毎に補正係数が設定され、常に最新の補正係数を用いて補正された画素値が出力値として出力されることになる。
【0015】
また、請求項3に記載の発明は、請求項1に記載の赤外線カメラにおいて、前記補正係数設定手段が、出力画像の変化量が大きくなったときに前記補正係数の設定処理を行うことを特徴とするものである。
【0016】
この請求項3に係る赤外線カメラでは、出力画像の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数が設定され、この補正係数で補正された画素値が出力値として出力されることになる。
【0017】
また、請求項4に記載の発明は、請求項1に記載の赤外線カメラにおいて、前記補正係数設定手段が、前記赤外線センサの周囲温度の変化量が大きくなったときに前記補正係数の設定処理を行うことを特徴とするものである。
【0018】
この請求項4に係る赤外線カメラでは、赤外線センサの周囲温度の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数が設定され、この補正係数で補正された画素値が出力値として出力されることになる。
【0019】
また、請求項5に記載の発明は、請求項1乃至4の何れかに記載の赤外線カメラにおいて、前記画像出力手段が、過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正することを特徴とするものである。
【0020】
この請求項5に係る赤外線カメラでは、画素値の補正が必要な画素の画素値が、この画素に対して過去に設定された補正係数も考慮に入れて補正され、出力値として出力されることになる。
【0021】
また、請求項6に記載の発明は、請求項1乃至4の何れかに記載の赤外線カメラにおいて、前記画像出力手段が、予め設定された初期補正係数及び過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正することを特徴とするものである。
【0022】
この請求項6に係る赤外線カメラでは、画素値の補正が必要な画素の画素値が、この画素に対して予め設定された初期補正係数と過去に設定された補正係数も考慮に入れて補正され、出力値として出力されることになる。
【0023】
【発明の効果】
請求項1に係る赤外線カメラによれば、赤外線センサの各画素のうちで背景を撮像しているものとみなされる画素についてのみ、補正が必要な場合に補正係数を設定して、この補正係数を用いて画素値を補正した値を出力値として出力するようにしているので、補正係数設定時に撮像を中断させることなく、常に撮像対象を撮像しながら画素毎の出力ばらつきを補正して、適切な画像を表示させることができる。
【0024】
また、請求項2に係る赤外線カメラによれば、画素値の補正が必要な画素に対する補正係数の設定を画像出力周期毎に行うようにしているので、この画素を常に最新の補正係数を用いて補正することができ、常に適切な画像を表示させることができる。
【0025】
また、請求項3に係る赤外線カメラによれば、出力画像の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数を設定するようにしているので、処理負担の軽減を図りながら効率的な補正処理を行うことができる。
【0026】
また、請求項4に係る赤外線カメラによれば、赤外線センサの周囲温度の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数を設定するようにしているので、処理負担の軽減を図りながら効率的な補正処理を行うことができる。
【0027】
また、請求項5に係る赤外線カメラによれば、画素値の補正が、過去にその画素に対して設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって行われるようになっているので、突発的なノイズ混入等に起因する出力変動があった場合でも、このような突発的な要因に左右されることなく適切な補正処理を行うことができる。
【0028】
また、請求項6に係る赤外線カメラによれば、画素値の補正が、その画素に予め設定された初期補正係数及び過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって行われるようになっているので、突発的なノイズ混入等に起因する出力変動があった場合でも、このような突発的な要因に左右されることなく適切な補正処理を行うことができ、また、初期補正係数も加味することで、当該画素に固有の変動成分も適切に補正することができる。
【0029】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。なお、ここでは、赤外線カメラで撮像した車両周囲の画像を表示して車両周囲を監視するための車両周囲監視装置に本発明を適用した例を挙げて説明するが、本発明は、ここで説明する例に限らず、赤外線センサからの出力に基づいて画像を出力するあらゆる装置に対して有効に適用可能である。
【0030】
本発明を適用した車両周囲監視装置の一構成例を図1に示す。この図1に示す車両周囲監視装置1は、車両周囲の撮像対象を撮像する赤外線カメラ2と、この赤外線カメラ2からの出力に基づいて画像を表示する表示装置3とを備えて構成される。
【0031】
赤外線カメラ2は、結像光学系4、赤外線センサ5、処理装置6、記憶装置7を備えている。結像光学系4は、例えば反射ミラーや結像レンズ等を有し、撮像対象からの放射赤外線を赤外線センサ5へと導き、この赤外線センサ5に入射させるようになっている。
【0032】
赤外線センサ5としては、例えば、サーモパイル型赤外線センサ等の熱型赤外線センサが用いられる。この赤外線センサ5は、複数の画素を有しており、各画素に入射する入射赤外線を各画素毎に熱量に変換し、この熱量に応じた電気抵抗の変化等を利用して、撮像対象からの放射赤外線量に応じた画素値(電圧値)を各画素毎に出力するようになっている。この赤外線センサ5の各画素毎に出力される画素値は、処理装置6に供給される。
【0033】
処理装置6は、赤外線カメラ2全体の動作を制御すると共に、赤外線センサ5からの各画素値をもとに各種演算処理を行って、画像を表示するための画像信号を出力するものである。特に、この処理装置6は、赤外線カメラ2による画像の撮像動作を継続させながら、赤外線センサ5の各画素のうちで補正が必要な画素を判断して、その画素からの画素値を補正するようになっている。なお、赤外線センサ5からの各画素値は、A/D変換されてデジタルデータとして処理装置6により補正処理等が行われた後、D/A変換されてアナログの画像信号として処理装置6から出力されるようになっている。
【0034】
記憶装置7は、処理装置6による各種演算処理に必要な情報、例えば、補正が必要な画素に対して設定された補正係数等の各種情報を記憶しておくものである。
【0035】
表示装置3としては、例えば、液晶表示パネル等が用いられる。この表示装置3は、赤外線カメラ2から出力された画像信号に基づいて駆動され、赤外線カメラ2により撮像された車両周囲の画像を表示するようになっている。
【0036】
ここで、本発明を適用した車両周囲監視装置1において、赤外線カメラ2の処理装置6により実行される画素値の補正処理について、具体的な例を挙げながら説明する。
【0037】
赤外線カメラ2の赤外線センサ5は、周囲温度によってその特性が左右され、温度変化に伴って各画素毎に出力する画素値に変動が生じる場合がある。このように赤外線センサ5から出力される画素値に変動が生じた場合には、この画素値を補正して、温度変化に伴う変動成分を除去した適切な値とすることが要求される。このような画素値の補正を行うには、画像の撮像を一時中断して熱的に均一な面を撮像し、そのときの各画素値をもとに補正が必要な画素を特定する方法も考えられるが、画素値の補正を行う際に画像の撮像を一時中断する必要があるため、特に、車両周囲監視装置1のように車両周囲の状況を常時監視することが要求される装置においてこのような方法を採用することは望ましくない。
【0038】
そこで、本発明を適用した車両周囲監視装置1では、赤外線カメラ2の処理装置6が、赤外線センサ5からの画素値をもとにして、撮像した画像の中で物体と背景とを識別して背景を撮像したとみなされる画素のみを補正候補とし、この背景を撮像したとみなされる補正候補の画素のうちで補正が必要な画素に対して補正係数を設定し、この画素からの画素値に対して補正係数を用いて補正処理を行うことで、画像の撮像動作を継続させながら、赤外線センサ5の各画素のうちで補正が必要な画素からの画素値を補正するようにしている。
【0039】
詳述すると、処理装置6は、図2の機能ブロック図で示すように、補正候補特定部11と、差分算出部12と、補正処理部13とを備えている。そして、補正候補特定部11及び差分算出部12が補正係数設定手段として機能して、これら補正候補特定部11及び差分算出部12の処理によって、赤外線センサ5の補正が必要な画素に対する補正係数が設定されるようになっている。また、補正処理部13が画像出力手段として機能して、この補正処理部13の処理によって、補正係数が設定された画素からの画素値が補正されて、補正された値が出力値として出力されるようになっている。
【0040】
補正候補特定部11は、図3に示すように、赤外線センサ5の各画素毎に供給される画素値を所定の閾値Vpと比較して、所定の閾値Vp以下の画素値を出力した赤外線センサ5の画素を補正候補として特定する。ここで、閾値Vpは、画像の中で物体と背景とを分離できる最適な値に設定される。
【0041】
画像の中で背景となる部分は、物体からの放射赤外線が入射しない部分であるので、この背景を撮像した赤外線センサ5の画素の画素値は、本来、基準値Vrと等しい値となり、赤外線センサ5の周囲温度の変化に伴って変動が生じたとしても、基準値Vrに近い値となる。一方、画像の中で何らかの物体が存在する部分は、この物体からの放射赤外線が入射することになるので、この物体を撮像した赤外線センサ5の画素の画素値は、基準値Vrから離れた値となる。したがって、基準値Vrよりも若干高い値に閾値Vpを設定し、赤外線センサ5の各画素毎に供給される画素値を閾値Vpと比較することで、赤外線センサ5の各画素が背景を撮像したものであるのか、或いは物体を撮像したものであるのかを判断することができる。そして、補正候補特定部11は、赤外線センサ5の各画素のうちで、画素値が閾値Vp以下の画素、すなわち、画像の中で背景を撮像したものとみなされる画素を補正候補として特定するようにしている。具体的には、例えば、図3に示した例では、画素a、画素b、画素c、画素dがそれぞれ補正候補として特定されることになる。
【0042】
差分算出部12は、補正候補特定部11により補正候補として特定された画素の画素値を基準値Vrと比較して、画素値が基準値Vrと異なる画素を補正対象の画素として認識する。そして、補正対象画素の画素値と基準値Vrとの差分を算出し、算出した値を当該補正対象画素の補正係数として設定する。すなわち、補正候補特定部11により補正候補として特定された画素は、上述したように、画像の中で背景を撮像したものとみなされる画素であるので、その出力値(画素値)は、本来、基準値Vrと等しい値となる。したがって、補正候補の画素のうちで画素値が基準値Vrと異なるものは、補正が必要な画素であり、その画素値と基準値Vrとの差分が必要な補正量であると考えられる。そこで、差分算出部12は、補正候補特定部11により補正候補として特定された画素のうちで、画素値が基準値Vrと異なる画素に対して、その画素値と基準値Vrとの差分を補正係数として設定するようにしている。
【0043】
補正候補特定部11及び差分算出部12の処理は、例えば、赤外線カメラ2の画像出力周期毎に行われる。すなわち、赤外線センサ5により1枚の画像を構成する各画素の画素値が出力され、この画素値に基づいて表示装置3に画像を表示させるための画像信号を生成する際に、その都度、補正対象画素に対する新たな補正係数が設定される。この場合には、補正対象画素の画素値を常に最新の補正係数を用いて補正することができる。
【0044】
また、補正候補特定部11及び差分算出部12の処理は、例えば、出力画像の変化量が大きくなったときに行われるようにしてもよい。すなわち、出力画像の変化量が小さい間は各画素値の変化も少ないので、補正対象画素に対して過去に設定した補正係数を用いて補正を行うようにしても適切な補正が行えると考えられる。したがって、出力画像の変化量が小さい間は、新たな補正係数の設定処理は行わないようにしてもよい。この例のように、出力画像の変化量が大きくなったときに補正係数の設定を行うようにすれば、処理装置6の処理負担の軽減を図ることができる。なお、出力画像の変化量は、画像を構成する各画素値の変化量をもとに判断することができる。
【0045】
また、補正候補特定部11及び差分算出部12の処理は、例えば、赤外線センサ5の周囲温度の変化量が大きくなったときに行われるようにしてもよい。すなわち、赤外線センサ5の各画素から出力される画素値に変動が生じる主な要因は、上述したように、赤外線センサ5の温度特性に起因するものであり、赤外線センサ5の周囲温度が大きく変化しない間は、この赤外線センサ5の各画素からの画素値にもそれ程変動が生じないものと考えられる。したがって、赤外線センサ5の周囲温度の変化量が小さい間は、新たな補正係数の設定処理を行わないようにしてもよい。この例のように、赤外線センサ5の周囲温度の変化量が大きくなったときに補正係数の設定を行うようにすれば、処理装置6の処理負担の軽減を図ることができる。なお、赤外線センサ5の周囲温度は、その近傍に温度センサを設けるようにすれば、この温度センサの出力から容易に判断することができる。特に、車両周囲監視装置1のように、車両に搭載される使用形態で用いられる場合には、車両に既設されている温度センサからの出力を用いて赤外線センサ5の周囲温度を判断することもできる。
【0046】
補正処理部13は、赤外線センサ5の各画素のうちで補正対象の画素、すなわち、差分算出部12によって補正係数が設定された画素に対して、その補正係数を用いて赤外線センサ5からの画素値を補正し、補正した値を出力値として出力する。また、補正処理部13は、補正係数が設定されていない画素については、赤外線センサ5からの画素値を出力値として出力する。これら補正処理部13から出力される各画素の出力値が、画像信号として表示装置3に供給されて、表示装置3に画像が表示されることになる。
【0047】
この補正処理部13による補正対象画素の画素値の補正方法としては、補正対象画素に対して差分算出部12によって設定された最新の補正係数で補正する方法も考えられるが、赤外線センサ5からの画素値がノイズ混入等によって突発的に変動する場合もあることを考慮すると、このような突発的な要因を排除するためには、補正対象画素に対して過去に設定された補正係数を記憶装置7に記憶させておき、補正対象画素の補正を行う際に、当該補正対象画素に対して過去に設定された補正係数を記憶装置7から読み出して、この過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正することが望ましい。
【0048】
ここで、補正対象画素に対して補正係数が設定された回数をn、各回に設定された補正係数をk1,k2…knとすると、単純平均は、(k1+k2+…+kn)/nで求められる。また、最新の補正係数knにウェイトwを設定した場合の加重平均は、(k1+k2+…+w・kn)/nで求められる。また、最新の補正係数knから遡ってα回前(但し1<α<n)までの移動平均は、{k(n−α+1)+k(n−α+2)+…+kn}/αで求められる。
【0049】
以上のように、補正対象画素に対して過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正するようにした場合には、ノイズ混入等に起因する突発的な出力変動があった場合でも、このような突発的な要因に左右されない適切な補正処理を行うことができる。
【0050】
また、赤外線センサ5の各画素に固有の変動成分も排除するためには、赤外線センサ5の各画素毎にその画素に固有の変動成分を補正するための初期補正係数を予め設定して記憶装置7に記憶させておくと共に、補正対象画素に対して過去に設定された補正係数を記憶装置7に記憶させておき、補正対象が素の補正を行う際に、当該補正対象画素に対して予め設定された初期補正係数及び当該補正対象画素に対して過去に設定された補正係数を記憶装置7から読み出して、これらの補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正することがより望ましい。
【0051】
ここで、補正対象画素に対して予め設定された初期補正係数をk0、補正係数が設定された回数をn、各回に設定された補正係数をk1,k2…knとすると、単純平均は、(k0+k1+k2+…+kn)/(n+1)で求められる。また、最新の補正係数knにウェイトwを設定した場合の加重平均は、(k0+k1+k2+…+w・kn)/(n+1)で求められる。また、最新の補正係数knから遡ってα回前(但し1<α<n)までの移動平均は、{k0+k(n−α+1)+k(n−α+2)+…+kn}/(α+1)で求められる。
【0052】
以上のように、補正対象画素に対して予め設定された初期補正係数及び当該補正対象画素に対して過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正するようにした場合には、ノイズ混入等に起因する突発的な出力変動があった場合でも、このような突発的な要因を排除できると共に、当該補正対象画素に固有の変動成分も排除して、更に適切な補正処理を行うことができる。
【0053】
ここで、以上のような処理装置6の補正処理により画像が補正される様子を、図4乃至図6を参照して簡単に説明する。
【0054】
図4乃至図6は、車両後方に人体が存在する場合に、その人体を含む車両後方の画像を図4、図5、図6の順番で時系列的に撮像したものであり、図4(a)、図5(a)、図6(a)は処理装置6による補正処理前の画像のイメージをそれぞれ示し、図4(b)、図5(b)、図6(b)は処理装置6による補正処理後の画像のイメージをそれぞれ示している。
【0055】
まず、図4(a)に示すような人体を含む車両後方の画像が撮像されると、この画像を構成する各画素のうち、背景を撮像した画素、すなわち、画素値が所定の閾値Vp以下の画素が補正候補とされる。図4(a)に示した画像のイメージにおいては、ハッチングで示した領域が背景に相当する領域であり、この領域内の各画素が補正候補とされる。ここで、画像全体の中で、画素A,B,Cが補正が必要な画素とすると、これら補正が必要な画素A,B,Cのうちで、画素Aのみが背景に相当する領域内の画素であるので、この画素Aが補正候補の画素とされる。
【0056】
次に、補正候補の画素(背景に相当する領域内の画素)のうちで画素値が基準値Vrと異なる画素、すなわち、図4(a)に示した例では画素Aが、補正対象画素として認識される。そして、この画素Aに対して、その画素値と基準値Vrとの差分が補正係数として設定され、この補正係数を用いて画素Aに対する補正処理が行われる。このとき、画素B,Cは補正が必要な画素であるが、人体を撮像した領域内の画素であるので、これらの画素B,Cに対しては、この段階では補正処理を行わない。
【0057】
以上の処理によって画素Aの画素値が補正されることで、表示装置3には、図4(b)に示すような画像が表示されることになる。
次に、人体の位置が移動して、図5(a)に示す画像が撮像されると、この画像を構成する各画素のうち、図5(a)中ハッチングで示した背景に相当する領域内の各画素が補正候補とされる。ここでは、前回の補正処理により補正されない画素B,Cが、補正が必要な画素となる。そして、これら補正が必要な画素B,Cのうちで、画素Bのみが背景に相当する領域内の画素となるので、この画素Bが補正候補の画素とされる。
【0058】
次に、補正候補の画素(背景に相当する領域内の画素)のうちで画素値が基準値Vrと異なる画素、すなわち、図5(a)に示した例では画素Bが、補正対象画素として認識される。そして、この画素Bに対して、その画素値と基準値Vrとの差分が補正係数として設定され、この補正係数を用いて画素Bに対する補正処理が行われる。このとき、画素Cは補正が必要な画素であるが、人体を撮像した領域内の画素であるので、この画素Cに対しては、この段階では補正処理を行わない。
【0059】
以上の処理によって新たに画素Bの画素値が補正されることで、表示装置3には、図5(b)に示すような画像が表示されることになる。
【0060】
次に、人体の位置が更に移動して、図6(a)に示す画像が撮像されると、この画像を構成する各画素のうち、図6(a)中ハッチングで示した背景に相当する領域内の各画素が補正候補とされる。ここでは、前回の補正処理により補正されない画素Cが、補正が必要な画素となる。そして、この補正が必要な画素Cは背景に相当する領域内の画素であるので、この画素Cは補正候補の画素とされる。
【0061】
次に、補正候補の画素(背景に相当する領域内の画素)のうちで画素値が基準値Vrと異なる画素、すなわち、図6(a)に示した例では画素Cが、補正対象画素として認識される。そして、この画素Cに対して、その画素値と基準値Vrとの差分が補正係数として設定され、この補正係数を用いて画素Cに対する補正処理が行われる。
【0062】
以上の処理によって新たに画素Cの画素値が補正されることで、補正が必要な画素A,B,Cの全てに対して補正処理が行われ、表示装置3には、図6(b)に示すような鮮明な画像が表示されることになる。以後、以上のような処理を繰り返し行うことで、車両後方の画像等の必要な画像を常時撮像しながら、補正が必要な画素に対する補正処理を行うことができ、表示装置3には鮮明な画像を表示させることができる。
【0063】
ここで、以上のような本発明を適用した車両後方監視装置1における一連の処理の流れを図7のフローチャートを参照して説明する。
【0064】
車両後方監視装置1が起動されると、まず、ステップS1において、赤外線カメラ2の赤外線センサ5の各画素の初期補正係数が記憶装置7から読み出される。この初期補正係数は、赤外線センサ5の各画素に固有の変動成分を補正するものとして、予め設定されて記憶装置7に記憶されているものである。
【0065】
初期補正係数の読み込みが完了すると、次に、ステップS2において、赤外線センサ2の処理装置6による制御のもとで、車両周囲の画像が撮像される。具体的には、赤外線センサ5の各画素毎に、入射した放射赤外線量に応じた画素値が出力され、処理装置6に供給される。
【0066】
次に、ステップS3において、処理装置6の補正候補特定部11により、赤外線センサ5から出力された画素値が所定の閾値Vp以下であるかどうかが判断される。そして、画素値が閾値Vp以下の画素が補正候補の画素として特定され、補正候補として特定された画素のうち、画素値が基準値Vrと異なる画素に対しては、ステップS4において、処理装置6の差分算出部12により、その画素値と基準値Vrとの差分が求められ、この差分が当該画素に対する新たな補正係数として設定される。一方、画素値が閾値Vpを超える画素に対しては、新たな補正係数は設定されない。
【0067】
次に、ステップS5において、以上のような画素値の判断が全ての画素に対して行われたかどうかが判断される。そして、画素値の判断が行われていない画素がある場合には、ステップS3に戻って、ステップS3以降の処理が繰り返し行われる。
【0068】
一方、全ての画素に対する画素値の判断が終了すると、次に、ステップS6において、処理装置6の補正処理部13により、補正係数が設定された画素の画素値に対して、補正係数を用いた補正処理が行われ、補正された値が出力値として出力される。この補正係数を用いた補正処理は、例えば初期補正係数及び過去に設定された補正係数と新たに設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって行われる。また、このとき、補正係数が設定されていない画素については、その画素値が補正されることなくそのまま出力されることになる。
【0069】
次に、ステップS7において、処理装置6の補正処理部13から出力された各画素の出力値(画像信号)に基づいて表示装置3が駆動され、表示装置3に、赤外線カメラ2により撮像された画像が表示される。そして、ステップS8において、赤外線カメラ2による画像の撮像が終了したかどうかが判断され、赤外線カメラ2による画像の撮像が終了していない場合には、ステップS2に戻って、同様の処理が繰り返し行われる。一方、赤外線カメラ2による画像の撮像が終了すると、本発明を適用した車両後方監視装置1における一連の処理が終了する。
【0070】
以上説明したように、本発明を適用した車両周囲監視装置1では、赤外線センサ5の各画素のうちで画素値が所定の閾値Vp以下の画素を画像中の背景を撮像した画素とみなして、この画素を補正候補とし、この補正候補の画素のうちで基準値Vrと異なる画素値を出力している画素に対して補正係数を設定して画素値の補正処理を行うようにしているので、画像の撮像を継続しながら、同時に補正が必要な画素の画素値に対する補正処理を行うことができる。したがって、車両周囲の状況を示す画像を高精細な画像として表示装置3に常時表示させることができ、車両周囲の状況を乗員に適格に判断させることができる。
【図面の簡単な説明】
【図1】本発明を適用した車両周囲警戒装置の全体構成を示すブロック図である。
【図2】前記車両周囲警戒装置の赤外線カメラが備える処理装置の機能ブロック図である。
【図3】補正候補の画素を特定する方法を説明する図である。
【図4】前記赤外線カメラにより撮像された画像の一例を示す図であり、(a)は前記処理装置による補正処理前の画像のイメージを示し、(b)は前記処理装置による補正処理後の画像のイメージを示している。
【図5】前記赤外線カメラにより撮像された画像の他の例を示す図であり、(a)は前記処理装置による補正処理前の画像のイメージを示し、(b)は前記処理装置による補正処理後の画像のイメージを示している。
【図6】前記赤外線カメラにより撮像された画像の更に他の例を示す図であり、(a)は前記処理装置による補正処理前の画像のイメージを示し、(b)は前記処理装置による補正処理後の画像のイメージを示している。
【図7】前記車両周囲警戒装置による一連の処理の流れを示すフローチャートである。
【符号の説明】
1 車両周囲警戒装置
2 赤外線カメラ
3 表示装置
5 赤外線センサ
6 処理装置
7 記憶装置
11 補正候補特定部
12 差分算出部
13 補正処理部
Claims (6)
- 複数の画素を有し、各画素毎に入射赤外線に応じた画素値を出力する赤外線センサと、
前記赤外線センサから出力された各画素値を所定の閾値と比較して、画素値が前記閾値以下の画素を補正候補として特定し、特定した補正候補の画素のうちで画素値が所定の基準値と異なる画素に対して、その画素値と前記基準値との差分を補正係数として設定する補正係数設定手段と、
前記補正係数設定手段により補正係数が設定されない画素については、前記赤外線センサにより出力された画素値を出力値として出力し、前記補正係数設定手段により補正係数が設定された画素については、前記赤外線センサにより出力された画素値を前記補正係数を用いて補正した値を出力値として出力する画像出力手段とを備えること
を特徴とする赤外線カメラ。 - 前記補正係数設定手段が、画像出力周期毎に前記補正係数の設定処理を行うこと
を特徴とする請求項1に記載の赤外線カメラ。 - 前記補正係数設定手段が、出力画像の変化量が大きくなったときに前記補正係数の設定処理を行うこと
を特徴とする請求項1に記載の赤外線カメラ。 - 前記補正係数設定手段が、前記赤外線センサの周囲温度の変化量が大きくなったときに前記補正係数の設定処理を行うこと
を特徴とする請求項1に記載の赤外線カメラ。 - 前記画像出力手段が、過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正すること
を特徴とする請求項1乃至4の何れかに記載の赤外線カメラ。 - 前記画像出力手段が、予め設定された初期補正係数及び過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正すること
を特徴とする請求項1乃至4の何れかに記載の赤外線カメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002051941A JP3882640B2 (ja) | 2002-02-27 | 2002-02-27 | 赤外線カメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002051941A JP3882640B2 (ja) | 2002-02-27 | 2002-02-27 | 赤外線カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003259217A JP2003259217A (ja) | 2003-09-12 |
JP3882640B2 true JP3882640B2 (ja) | 2007-02-21 |
Family
ID=28663786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002051941A Expired - Lifetime JP3882640B2 (ja) | 2002-02-27 | 2002-02-27 | 赤外線カメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3882640B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010185704A (ja) * | 2009-02-10 | 2010-08-26 | Yamagata-Chino Corp | 熱画像センサ |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009100380A (ja) * | 2007-10-18 | 2009-05-07 | Hitachi Kokusai Electric Inc | 撮像装置 |
CN102445818B (zh) * | 2010-09-30 | 2016-09-14 | 株式会社尼康 | 更换镜头及相机体 |
US9030597B2 (en) | 2010-09-30 | 2015-05-12 | Nikon Corporation | Interchangeable lens and camera body |
JP5240323B2 (ja) * | 2010-09-30 | 2013-07-17 | 株式会社ニコン | 交換レンズおよびカメラボディ |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05149792A (ja) * | 1991-11-27 | 1993-06-15 | Mitsubishi Electric Corp | 赤外線撮像装置 |
JPH08339498A (ja) * | 1995-06-09 | 1996-12-24 | Yazaki Corp | 車両周辺監視装置 |
JP3804214B2 (ja) * | 1996-10-29 | 2006-08-02 | セイコーエプソン株式会社 | 画像処理方法および画像処理装置 |
JPH1183635A (ja) * | 1997-09-02 | 1999-03-26 | Fujitsu Ltd | 赤外線映像装置 |
EP1018260B1 (en) * | 1997-09-26 | 2002-08-07 | QinetiQ Limited | Sensor apparatus |
JPH11190663A (ja) * | 1997-10-23 | 1999-07-13 | Fujitsu Ltd | 赤外線検知器リアルタイム感度補正方法及び赤外線撮像装置 |
-
2002
- 2002-02-27 JP JP2002051941A patent/JP3882640B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010185704A (ja) * | 2009-02-10 | 2010-08-26 | Yamagata-Chino Corp | 熱画像センサ |
Also Published As
Publication number | Publication date |
---|---|
JP2003259217A (ja) | 2003-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3621850B1 (en) | Shutterless far infrared (fir) camera for automotive safety and driving systems | |
US10469747B2 (en) | Infrared imaging device and signal correction method using infrared imaging device | |
EP1684504B1 (en) | Image capture apparatus and control method therefor | |
US20170163908A1 (en) | Method of shutterless non-uniformity correction for infrared imagers | |
US20150249790A1 (en) | Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program | |
US20040075742A1 (en) | Infrared imaging device, vehicle having the same installed therein, and infrared image adjustment device | |
US20210243338A1 (en) | Techniques for correcting oversaturated pixels in shutterless fir cameras | |
US10699386B2 (en) | Techniques for scene-based nonuniformity correction in shutterless FIR cameras | |
US11936997B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
US11343434B2 (en) | Image processing apparatus and control method for same | |
JP3882640B2 (ja) | 赤外線カメラ | |
KR20150079004A (ko) | 차량용 표시 장치 및 그 제어 방법 | |
JP2010124028A (ja) | 監視装置 | |
WO2016185709A1 (ja) | 赤外線撮像装置及び固定パターンノイズデータの更新方法 | |
JP2003209735A (ja) | 監視装置及びブレ補正機能付蓄積型カメラ | |
JP4807152B2 (ja) | 障害物検出システム及び障害物検出方法 | |
CN115211098B (zh) | 图像处理装置、图像处理方法和存储介质 | |
KR20120055824A (ko) | 차량용 카메라 시스템의 영상 획득 방법 | |
JP4580307B2 (ja) | 検出画像領域決定装置および対象画像の特徴量算出装置ならびにそれらの制御方法およびそれらの制御プログラム | |
KR101745261B1 (ko) | 선바이저 제어장치 및 방법 | |
JP2017011351A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2007028338A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP2009077279A (ja) | 画像認識装置、車載用画像認識装置および車載用画像認識方法 | |
WO2023119751A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR102564134B1 (ko) | 이미지 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061106 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3882640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
EXPY | Cancellation because of completion of term |