JP3882640B2 - 赤外線カメラ - Google Patents
赤外線カメラ Download PDFInfo
- Publication number
- JP3882640B2 JP3882640B2 JP2002051941A JP2002051941A JP3882640B2 JP 3882640 B2 JP3882640 B2 JP 3882640B2 JP 2002051941 A JP2002051941 A JP 2002051941A JP 2002051941 A JP2002051941 A JP 2002051941A JP 3882640 B2 JP3882640 B2 JP 3882640B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- correction coefficient
- correction
- value
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、赤外線センサを利用して赤外線画像を撮像、出力する赤外線カメラに関し、特に、赤外線センサの画素毎の画素値を補正する機能を有する赤外線カメラに関するものである。
【０００２】
【従来の技術】
近年、車両のインテリジェント化に伴い、赤外線カメラを車両に搭載して、この赤外線カメラにより撮像された画像を用いて車両周囲を監視する試みが盛んに行われている。赤外線カメラにより撮像された画像は、撮像対象の温度に応じて色分けされた画像として出力されるので、例えば車両周囲に人体等の温度を有する物体が存在し、この物体を赤外線カメラで撮像した場合には、赤外線カメラから出力される画像を参照することで、物体の存在を適格に認識することができる。
【０００３】
ところで、赤外線カメラは、半導体を用いて構成される赤外線センサの各画素に入射する入射赤外線を、各画素毎の画素値（電圧値）に変換して出力するようになっているため、赤外線センサの周囲温度が変化すると、この赤外線センサの温度特性により各画素からの出力が変動して、適切な画像が得られない場合がある。
【０００４】
そこで、このような赤外線カメラの温度変化に起因する出力ばらつきを補正する方法として、例えば、特開平９−３２５０７３号公報にて開示される技術等が提案されている。この特開平９−３２５０７３号公報に記載された赤外線カメラは、赤外線センサの前段に入射赤外線を遮断する補正専用のシャッタを設け、赤外線センサ周囲の温度変化が所定値以上となったときに、補正専用のシャッタを閉じて熱的に均一な面を撮像し、その結果に基づいて、各画素の出力値が等しくなるように各画素に補正係数を設定するようにしたものである。
【０００５】
以上のような赤外線カメラでは、各画素毎の画素値が、各画素毎に設定された補正係数で補正されて出力されることにより、撮像対象の温度を忠実に反映した適切な画像が得られることになる。
【０００６】
【発明が解決しようとする課題】
しかしながら、以上のような赤外線カメラは、温度変化に起因する出力ばらつきを補正する際に、補正専用のシャッタを閉じて熱的に均一な面を撮像するようになっているため、その間、本来撮像したい対象を撮像できないという問題がある。特に、赤外線カメラは、起動直後に赤外線センサ周囲の温度変化が大きくなる傾向にあり、起動直後には頻繁に補正処理を行う必要が生じるため、本来撮像したい対象を撮像できない時間が長くなる。
【０００７】
赤外線カメラを車両周囲を監視するために用いる場合には、特に、車両の走行開始時等において、赤外線カメラからの画像をもとにして車両周囲に物体が存在するかどうかを適格に認識することが要求されるので、撮像対象を常時撮像可能とすることが強く望まれる。
【０００８】
本発明は、以上のような実情に鑑みて創案されたものであって、撮像対象を常時撮像しながら、画素毎の出力のばらつきを補正することができる赤外線カメラを提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、複数の画素を有し、各画素毎に入射赤外線に応じた画素値を出力する赤外線センサと、前記赤外線センサから出力された各画素値を所定の閾値と比較して、画素値が前記閾値以下の画素を補正候補として特定し、特定した補正候補の画素のうちで画素値が所定の基準値と異なる画素に対して、その画素値と前記基準値との差分を補正係数として設定する補正係数設定手段と、前記補正係数設定手段により補正係数が設定されない画素については、前記赤外線センサにより出力された画素値を出力値として出力し、前記補正係数設定手段により補正係数が設定された画素については、前記赤外線センサにより出力された画素値を前記補正係数を用いて補正した値を出力値として出力する画像出力手段とを備えることを特徴とする赤外線カメラである。
【００１０】
この請求項１に係る赤外線カメラでは、撮像対象からの赤外線が赤外線センサの各画素に入射すると、赤外線センサから各画素毎の入射赤外線に応じた画素値が出力される。この赤外線センサから出力された各画素毎の画素値は、補正係数設定手段に供給され、補正係数設定手段により所定の閾値と比較される。そして、閾値以下の画素値を出力した赤外線センサの画素が補正候補として特定される。ここで、画素値の比較対照となる閾値は、物体と背景とを分離できる最適な値に設定される。そして、閾値以下の画素値を出力した画素は、背景を撮像したものとみなして、この背景を撮像したとみなされる画素を補正候補とするようにしている。すなわち、この赤外線カメラでは、背景を撮像したものとみなした画素に対してのみ、必要な場合に補正処理を行って、物体を撮像したものとみなされる画素に対しては補正処理を行わないようにしている。
【００１１】
補正候補の画素が特定されると、補正係数設定手段により、この補正候補の画素の画素値が所定の基準値と比較される。ここで、基準値としては、均一な背景を撮像したときに得られる画素値と等しい値に設定される。そして、補正候補の画素のうちで、画素値が所定の基準値と異なる画素に対して、その画素値と基準値との差分が補正係数として設定される。すなわち、補正候補の画素は、均一な背景を撮像したものとみなした画素であり、本来、画素値が基準値と等しくなるはずである。したがって、画素値が基準値と異なる画素は、補正が必要な画素とみなすことでき、補正係数設定手段は、このような画素に対してその画素値と基準値との差分を補正係数として設定するようにしている。
【００１２】
補正が必要な画素に対して補正係数が設定されると、次に、画像出力手段により、画像を表示するための各画素毎の出力値が出力される。このとき、画像出力手段は、補正係数が設定されない画素については、赤外線センサからの画素値をそのまま出力値として出力し、補正係数が設定された画素については、赤外線センサからの画素値を補正係数を用いて補正した値を出力値として出力する。これにより、温度変化等に起因する画素毎の出力ばらつきが補正され、適切な画像表示が行えることになる。
【００１３】
また、請求項２に記載の発明は、請求項１に記載の赤外線カメラにおいて、前記補正係数設定手段が、画像出力周期毎に前記補正係数の設定処理を行うことを特徴とするものである。
【００１４】
この請求項２に係る赤外線カメラでは、画素値の補正が必要な画素に対しては画像出力周期毎に補正係数が設定され、常に最新の補正係数を用いて補正された画素値が出力値として出力されることになる。
【００１５】
また、請求項３に記載の発明は、請求項１に記載の赤外線カメラにおいて、前記補正係数設定手段が、出力画像の変化量が大きくなったときに前記補正係数の設定処理を行うことを特徴とするものである。
【００１６】
この請求項３に係る赤外線カメラでは、出力画像の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数が設定され、この補正係数で補正された画素値が出力値として出力されることになる。
【００１７】
また、請求項４に記載の発明は、請求項１に記載の赤外線カメラにおいて、前記補正係数設定手段が、前記赤外線センサの周囲温度の変化量が大きくなったときに前記補正係数の設定処理を行うことを特徴とするものである。
【００１８】
この請求項４に係る赤外線カメラでは、赤外線センサの周囲温度の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数が設定され、この補正係数で補正された画素値が出力値として出力されることになる。
【００１９】
また、請求項５に記載の発明は、請求項１乃至４の何れかに記載の赤外線カメラにおいて、前記画像出力手段が、過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正することを特徴とするものである。
【００２０】
この請求項５に係る赤外線カメラでは、画素値の補正が必要な画素の画素値が、この画素に対して過去に設定された補正係数も考慮に入れて補正され、出力値として出力されることになる。
【００２１】
また、請求項６に記載の発明は、請求項１乃至４の何れかに記載の赤外線カメラにおいて、前記画像出力手段が、予め設定された初期補正係数及び過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正することを特徴とするものである。
【００２２】
この請求項６に係る赤外線カメラでは、画素値の補正が必要な画素の画素値が、この画素に対して予め設定された初期補正係数と過去に設定された補正係数も考慮に入れて補正され、出力値として出力されることになる。
【００２３】
【発明の効果】
請求項１に係る赤外線カメラによれば、赤外線センサの各画素のうちで背景を撮像しているものとみなされる画素についてのみ、補正が必要な場合に補正係数を設定して、この補正係数を用いて画素値を補正した値を出力値として出力するようにしているので、補正係数設定時に撮像を中断させることなく、常に撮像対象を撮像しながら画素毎の出力ばらつきを補正して、適切な画像を表示させることができる。
【００２４】
また、請求項２に係る赤外線カメラによれば、画素値の補正が必要な画素に対する補正係数の設定を画像出力周期毎に行うようにしているので、この画素を常に最新の補正係数を用いて補正することができ、常に適切な画像を表示させることができる。
【００２５】
また、請求項３に係る赤外線カメラによれば、出力画像の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数を設定するようにしているので、処理負担の軽減を図りながら効率的な補正処理を行うことができる。
【００２６】
また、請求項４に係る赤外線カメラによれば、赤外線センサの周囲温度の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数を設定するようにしているので、処理負担の軽減を図りながら効率的な補正処理を行うことができる。
【００２７】
また、請求項５に係る赤外線カメラによれば、画素値の補正が、過去にその画素に対して設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって行われるようになっているので、突発的なノイズ混入等に起因する出力変動があった場合でも、このような突発的な要因に左右されることなく適切な補正処理を行うことができる。
【００２８】
また、請求項６に係る赤外線カメラによれば、画素値の補正が、その画素に予め設定された初期補正係数及び過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって行われるようになっているので、突発的なノイズ混入等に起因する出力変動があった場合でも、このような突発的な要因に左右されることなく適切な補正処理を行うことができ、また、初期補正係数も加味することで、当該画素に固有の変動成分も適切に補正することができる。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。なお、ここでは、赤外線カメラで撮像した車両周囲の画像を表示して車両周囲を監視するための車両周囲監視装置に本発明を適用した例を挙げて説明するが、本発明は、ここで説明する例に限らず、赤外線センサからの出力に基づいて画像を出力するあらゆる装置に対して有効に適用可能である。
【００３０】
本発明を適用した車両周囲監視装置の一構成例を図１に示す。この図１に示す車両周囲監視装置１は、車両周囲の撮像対象を撮像する赤外線カメラ２と、この赤外線カメラ２からの出力に基づいて画像を表示する表示装置３とを備えて構成される。
【００３１】
赤外線カメラ２は、結像光学系４、赤外線センサ５、処理装置６、記憶装置７を備えている。結像光学系４は、例えば反射ミラーや結像レンズ等を有し、撮像対象からの放射赤外線を赤外線センサ５へと導き、この赤外線センサ５に入射させるようになっている。
【００３２】
赤外線センサ５としては、例えば、サーモパイル型赤外線センサ等の熱型赤外線センサが用いられる。この赤外線センサ５は、複数の画素を有しており、各画素に入射する入射赤外線を各画素毎に熱量に変換し、この熱量に応じた電気抵抗の変化等を利用して、撮像対象からの放射赤外線量に応じた画素値（電圧値）を各画素毎に出力するようになっている。この赤外線センサ５の各画素毎に出力される画素値は、処理装置６に供給される。
【００３３】
処理装置６は、赤外線カメラ２全体の動作を制御すると共に、赤外線センサ５からの各画素値をもとに各種演算処理を行って、画像を表示するための画像信号を出力するものである。特に、この処理装置６は、赤外線カメラ２による画像の撮像動作を継続させながら、赤外線センサ５の各画素のうちで補正が必要な画素を判断して、その画素からの画素値を補正するようになっている。なお、赤外線センサ５からの各画素値は、Ａ／Ｄ変換されてデジタルデータとして処理装置６により補正処理等が行われた後、Ｄ／Ａ変換されてアナログの画像信号として処理装置６から出力されるようになっている。
【００３４】
記憶装置７は、処理装置６による各種演算処理に必要な情報、例えば、補正が必要な画素に対して設定された補正係数等の各種情報を記憶しておくものである。
【００３５】
表示装置３としては、例えば、液晶表示パネル等が用いられる。この表示装置３は、赤外線カメラ２から出力された画像信号に基づいて駆動され、赤外線カメラ２により撮像された車両周囲の画像を表示するようになっている。
【００３６】
ここで、本発明を適用した車両周囲監視装置１において、赤外線カメラ２の処理装置６により実行される画素値の補正処理について、具体的な例を挙げながら説明する。
【００３７】
赤外線カメラ２の赤外線センサ５は、周囲温度によってその特性が左右され、温度変化に伴って各画素毎に出力する画素値に変動が生じる場合がある。このように赤外線センサ５から出力される画素値に変動が生じた場合には、この画素値を補正して、温度変化に伴う変動成分を除去した適切な値とすることが要求される。このような画素値の補正を行うには、画像の撮像を一時中断して熱的に均一な面を撮像し、そのときの各画素値をもとに補正が必要な画素を特定する方法も考えられるが、画素値の補正を行う際に画像の撮像を一時中断する必要があるため、特に、車両周囲監視装置１のように車両周囲の状況を常時監視することが要求される装置においてこのような方法を採用することは望ましくない。
【００３８】
そこで、本発明を適用した車両周囲監視装置１では、赤外線カメラ２の処理装置６が、赤外線センサ５からの画素値をもとにして、撮像した画像の中で物体と背景とを識別して背景を撮像したとみなされる画素のみを補正候補とし、この背景を撮像したとみなされる補正候補の画素のうちで補正が必要な画素に対して補正係数を設定し、この画素からの画素値に対して補正係数を用いて補正処理を行うことで、画像の撮像動作を継続させながら、赤外線センサ５の各画素のうちで補正が必要な画素からの画素値を補正するようにしている。
【００３９】
詳述すると、処理装置６は、図２の機能ブロック図で示すように、補正候補特定部１１と、差分算出部１２と、補正処理部１３とを備えている。そして、補正候補特定部１１及び差分算出部１２が補正係数設定手段として機能して、これら補正候補特定部１１及び差分算出部１２の処理によって、赤外線センサ５の補正が必要な画素に対する補正係数が設定されるようになっている。また、補正処理部１３が画像出力手段として機能して、この補正処理部１３の処理によって、補正係数が設定された画素からの画素値が補正されて、補正された値が出力値として出力されるようになっている。
【００４０】
補正候補特定部１１は、図３に示すように、赤外線センサ５の各画素毎に供給される画素値を所定の閾値Ｖｐと比較して、所定の閾値Ｖｐ以下の画素値を出力した赤外線センサ５の画素を補正候補として特定する。ここで、閾値Ｖｐは、画像の中で物体と背景とを分離できる最適な値に設定される。
【００４１】
画像の中で背景となる部分は、物体からの放射赤外線が入射しない部分であるので、この背景を撮像した赤外線センサ５の画素の画素値は、本来、基準値Ｖｒと等しい値となり、赤外線センサ５の周囲温度の変化に伴って変動が生じたとしても、基準値Ｖｒに近い値となる。一方、画像の中で何らかの物体が存在する部分は、この物体からの放射赤外線が入射することになるので、この物体を撮像した赤外線センサ５の画素の画素値は、基準値Ｖｒから離れた値となる。したがって、基準値Ｖｒよりも若干高い値に閾値Ｖｐを設定し、赤外線センサ５の各画素毎に供給される画素値を閾値Ｖｐと比較することで、赤外線センサ５の各画素が背景を撮像したものであるのか、或いは物体を撮像したものであるのかを判断することができる。そして、補正候補特定部１１は、赤外線センサ５の各画素のうちで、画素値が閾値Ｖｐ以下の画素、すなわち、画像の中で背景を撮像したものとみなされる画素を補正候補として特定するようにしている。具体的には、例えば、図３に示した例では、画素ａ、画素ｂ、画素ｃ、画素ｄがそれぞれ補正候補として特定されることになる。
【００４２】
差分算出部１２は、補正候補特定部１１により補正候補として特定された画素の画素値を基準値Ｖｒと比較して、画素値が基準値Ｖｒと異なる画素を補正対象の画素として認識する。そして、補正対象画素の画素値と基準値Ｖｒとの差分を算出し、算出した値を当該補正対象画素の補正係数として設定する。すなわち、補正候補特定部１１により補正候補として特定された画素は、上述したように、画像の中で背景を撮像したものとみなされる画素であるので、その出力値（画素値）は、本来、基準値Ｖｒと等しい値となる。したがって、補正候補の画素のうちで画素値が基準値Ｖｒと異なるものは、補正が必要な画素であり、その画素値と基準値Ｖｒとの差分が必要な補正量であると考えられる。そこで、差分算出部１２は、補正候補特定部１１により補正候補として特定された画素のうちで、画素値が基準値Ｖｒと異なる画素に対して、その画素値と基準値Ｖｒとの差分を補正係数として設定するようにしている。
【００４３】
補正候補特定部１１及び差分算出部１２の処理は、例えば、赤外線カメラ２の画像出力周期毎に行われる。すなわち、赤外線センサ５により１枚の画像を構成する各画素の画素値が出力され、この画素値に基づいて表示装置３に画像を表示させるための画像信号を生成する際に、その都度、補正対象画素に対する新たな補正係数が設定される。この場合には、補正対象画素の画素値を常に最新の補正係数を用いて補正することができる。
【００４４】
また、補正候補特定部１１及び差分算出部１２の処理は、例えば、出力画像の変化量が大きくなったときに行われるようにしてもよい。すなわち、出力画像の変化量が小さい間は各画素値の変化も少ないので、補正対象画素に対して過去に設定した補正係数を用いて補正を行うようにしても適切な補正が行えると考えられる。したがって、出力画像の変化量が小さい間は、新たな補正係数の設定処理は行わないようにしてもよい。この例のように、出力画像の変化量が大きくなったときに補正係数の設定を行うようにすれば、処理装置６の処理負担の軽減を図ることができる。なお、出力画像の変化量は、画像を構成する各画素値の変化量をもとに判断することができる。
【００４５】
また、補正候補特定部１１及び差分算出部１２の処理は、例えば、赤外線センサ５の周囲温度の変化量が大きくなったときに行われるようにしてもよい。すなわち、赤外線センサ５の各画素から出力される画素値に変動が生じる主な要因は、上述したように、赤外線センサ５の温度特性に起因するものであり、赤外線センサ５の周囲温度が大きく変化しない間は、この赤外線センサ５の各画素からの画素値にもそれ程変動が生じないものと考えられる。したがって、赤外線センサ５の周囲温度の変化量が小さい間は、新たな補正係数の設定処理を行わないようにしてもよい。この例のように、赤外線センサ５の周囲温度の変化量が大きくなったときに補正係数の設定を行うようにすれば、処理装置６の処理負担の軽減を図ることができる。なお、赤外線センサ５の周囲温度は、その近傍に温度センサを設けるようにすれば、この温度センサの出力から容易に判断することができる。特に、車両周囲監視装置１のように、車両に搭載される使用形態で用いられる場合には、車両に既設されている温度センサからの出力を用いて赤外線センサ５の周囲温度を判断することもできる。
【００４６】
補正処理部１３は、赤外線センサ５の各画素のうちで補正対象の画素、すなわち、差分算出部１２によって補正係数が設定された画素に対して、その補正係数を用いて赤外線センサ５からの画素値を補正し、補正した値を出力値として出力する。また、補正処理部１３は、補正係数が設定されていない画素については、赤外線センサ５からの画素値を出力値として出力する。これら補正処理部１３から出力される各画素の出力値が、画像信号として表示装置３に供給されて、表示装置３に画像が表示されることになる。
【００４７】
この補正処理部１３による補正対象画素の画素値の補正方法としては、補正対象画素に対して差分算出部１２によって設定された最新の補正係数で補正する方法も考えられるが、赤外線センサ５からの画素値がノイズ混入等によって突発的に変動する場合もあることを考慮すると、このような突発的な要因を排除するためには、補正対象画素に対して過去に設定された補正係数を記憶装置７に記憶させておき、補正対象画素の補正を行う際に、当該補正対象画素に対して過去に設定された補正係数を記憶装置７から読み出して、この過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正することが望ましい。
【００４８】
ここで、補正対象画素に対して補正係数が設定された回数をｎ、各回に設定された補正係数をｋ１，ｋ２…ｋｎとすると、単純平均は、（ｋ１＋ｋ２＋…＋ｋｎ）／ｎで求められる。また、最新の補正係数ｋｎにウェイトｗを設定した場合の加重平均は、（ｋ１＋ｋ２＋…＋ｗ・ｋｎ）／ｎで求められる。また、最新の補正係数ｋｎから遡ってα回前（但し１＜α＜ｎ）までの移動平均は、｛ｋ（ｎ−α＋１）＋ｋ（ｎ−α＋２）＋…＋ｋｎ｝／αで求められる。
【００４９】
以上のように、補正対象画素に対して過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正するようにした場合には、ノイズ混入等に起因する突発的な出力変動があった場合でも、このような突発的な要因に左右されない適切な補正処理を行うことができる。
【００５０】
また、赤外線センサ５の各画素に固有の変動成分も排除するためには、赤外線センサ５の各画素毎にその画素に固有の変動成分を補正するための初期補正係数を予め設定して記憶装置７に記憶させておくと共に、補正対象画素に対して過去に設定された補正係数を記憶装置７に記憶させておき、補正対象が素の補正を行う際に、当該補正対象画素に対して予め設定された初期補正係数及び当該補正対象画素に対して過去に設定された補正係数を記憶装置７から読み出して、これらの補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正することがより望ましい。
【００５１】
ここで、補正対象画素に対して予め設定された初期補正係数をｋ０、補正係数が設定された回数をｎ、各回に設定された補正係数をｋ１，ｋ２…ｋｎとすると、単純平均は、（ｋ０＋ｋ１＋ｋ２＋…＋ｋｎ）／（ｎ＋１）で求められる。また、最新の補正係数ｋｎにウェイトｗを設定した場合の加重平均は、（ｋ０＋ｋ１＋ｋ２＋…＋ｗ・ｋｎ）／（ｎ＋１）で求められる。また、最新の補正係数ｋｎから遡ってα回前（但し１＜α＜ｎ）までの移動平均は、｛ｋ０＋ｋ（ｎ−α＋１）＋ｋ（ｎ−α＋２）＋…＋ｋｎ｝／（α＋１）で求められる。
【００５２】
以上のように、補正対象画素に対して予め設定された初期補正係数及び当該補正対象画素に対して過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正するようにした場合には、ノイズ混入等に起因する突発的な出力変動があった場合でも、このような突発的な要因を排除できると共に、当該補正対象画素に固有の変動成分も排除して、更に適切な補正処理を行うことができる。
【００５３】
ここで、以上のような処理装置６の補正処理により画像が補正される様子を、図４乃至図６を参照して簡単に説明する。
【００５４】
図４乃至図６は、車両後方に人体が存在する場合に、その人体を含む車両後方の画像を図４、図５、図６の順番で時系列的に撮像したものであり、図４（ａ）、図５（ａ）、図６（ａ）は処理装置６による補正処理前の画像のイメージをそれぞれ示し、図４（ｂ）、図５（ｂ）、図６（ｂ）は処理装置６による補正処理後の画像のイメージをそれぞれ示している。
【００５５】
まず、図４（ａ）に示すような人体を含む車両後方の画像が撮像されると、この画像を構成する各画素のうち、背景を撮像した画素、すなわち、画素値が所定の閾値Ｖｐ以下の画素が補正候補とされる。図４（ａ）に示した画像のイメージにおいては、ハッチングで示した領域が背景に相当する領域であり、この領域内の各画素が補正候補とされる。ここで、画像全体の中で、画素Ａ，Ｂ，Ｃが補正が必要な画素とすると、これら補正が必要な画素Ａ，Ｂ，Ｃのうちで、画素Ａのみが背景に相当する領域内の画素であるので、この画素Ａが補正候補の画素とされる。
【００５６】
次に、補正候補の画素（背景に相当する領域内の画素）のうちで画素値が基準値Ｖｒと異なる画素、すなわち、図４（ａ）に示した例では画素Ａが、補正対象画素として認識される。そして、この画素Ａに対して、その画素値と基準値Ｖｒとの差分が補正係数として設定され、この補正係数を用いて画素Ａに対する補正処理が行われる。このとき、画素Ｂ，Ｃは補正が必要な画素であるが、人体を撮像した領域内の画素であるので、これらの画素Ｂ，Ｃに対しては、この段階では補正処理を行わない。
【００５７】
以上の処理によって画素Ａの画素値が補正されることで、表示装置３には、図４（ｂ）に示すような画像が表示されることになる。
次に、人体の位置が移動して、図５（ａ）に示す画像が撮像されると、この画像を構成する各画素のうち、図５（ａ）中ハッチングで示した背景に相当する領域内の各画素が補正候補とされる。ここでは、前回の補正処理により補正されない画素Ｂ，Ｃが、補正が必要な画素となる。そして、これら補正が必要な画素Ｂ，Ｃのうちで、画素Ｂのみが背景に相当する領域内の画素となるので、この画素Ｂが補正候補の画素とされる。
【００５８】
次に、補正候補の画素（背景に相当する領域内の画素）のうちで画素値が基準値Ｖｒと異なる画素、すなわち、図５（ａ）に示した例では画素Ｂが、補正対象画素として認識される。そして、この画素Ｂに対して、その画素値と基準値Ｖｒとの差分が補正係数として設定され、この補正係数を用いて画素Ｂに対する補正処理が行われる。このとき、画素Ｃは補正が必要な画素であるが、人体を撮像した領域内の画素であるので、この画素Ｃに対しては、この段階では補正処理を行わない。
【００５９】
以上の処理によって新たに画素Ｂの画素値が補正されることで、表示装置３には、図５（ｂ）に示すような画像が表示されることになる。
【００６０】
次に、人体の位置が更に移動して、図６（ａ）に示す画像が撮像されると、この画像を構成する各画素のうち、図６（ａ）中ハッチングで示した背景に相当する領域内の各画素が補正候補とされる。ここでは、前回の補正処理により補正されない画素Ｃが、補正が必要な画素となる。そして、この補正が必要な画素Ｃは背景に相当する領域内の画素であるので、この画素Ｃは補正候補の画素とされる。
【００６１】
次に、補正候補の画素（背景に相当する領域内の画素）のうちで画素値が基準値Ｖｒと異なる画素、すなわち、図６（ａ）に示した例では画素Ｃが、補正対象画素として認識される。そして、この画素Ｃに対して、その画素値と基準値Ｖｒとの差分が補正係数として設定され、この補正係数を用いて画素Ｃに対する補正処理が行われる。
【００６２】
以上の処理によって新たに画素Ｃの画素値が補正されることで、補正が必要な画素Ａ，Ｂ，Ｃの全てに対して補正処理が行われ、表示装置３には、図６（ｂ）に示すような鮮明な画像が表示されることになる。以後、以上のような処理を繰り返し行うことで、車両後方の画像等の必要な画像を常時撮像しながら、補正が必要な画素に対する補正処理を行うことができ、表示装置３には鮮明な画像を表示させることができる。
【００６３】
ここで、以上のような本発明を適用した車両後方監視装置１における一連の処理の流れを図７のフローチャートを参照して説明する。
【００６４】
車両後方監視装置１が起動されると、まず、ステップＳ１において、赤外線カメラ２の赤外線センサ５の各画素の初期補正係数が記憶装置７から読み出される。この初期補正係数は、赤外線センサ５の各画素に固有の変動成分を補正するものとして、予め設定されて記憶装置７に記憶されているものである。
【００６５】
初期補正係数の読み込みが完了すると、次に、ステップＳ２において、赤外線センサ２の処理装置６による制御のもとで、車両周囲の画像が撮像される。具体的には、赤外線センサ５の各画素毎に、入射した放射赤外線量に応じた画素値が出力され、処理装置６に供給される。
【００６６】
次に、ステップＳ３において、処理装置６の補正候補特定部１１により、赤外線センサ５から出力された画素値が所定の閾値Ｖｐ以下であるかどうかが判断される。そして、画素値が閾値Ｖｐ以下の画素が補正候補の画素として特定され、補正候補として特定された画素のうち、画素値が基準値Ｖｒと異なる画素に対しては、ステップＳ４において、処理装置６の差分算出部１２により、その画素値と基準値Ｖｒとの差分が求められ、この差分が当該画素に対する新たな補正係数として設定される。一方、画素値が閾値Ｖｐを超える画素に対しては、新たな補正係数は設定されない。
【００６７】
次に、ステップＳ５において、以上のような画素値の判断が全ての画素に対して行われたかどうかが判断される。そして、画素値の判断が行われていない画素がある場合には、ステップＳ３に戻って、ステップＳ３以降の処理が繰り返し行われる。
【００６８】
一方、全ての画素に対する画素値の判断が終了すると、次に、ステップＳ６において、処理装置６の補正処理部１３により、補正係数が設定された画素の画素値に対して、補正係数を用いた補正処理が行われ、補正された値が出力値として出力される。この補正係数を用いた補正処理は、例えば初期補正係数及び過去に設定された補正係数と新たに設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって行われる。また、このとき、補正係数が設定されていない画素については、その画素値が補正されることなくそのまま出力されることになる。
【００６９】
次に、ステップＳ７において、処理装置６の補正処理部１３から出力された各画素の出力値（画像信号）に基づいて表示装置３が駆動され、表示装置３に、赤外線カメラ２により撮像された画像が表示される。そして、ステップＳ８において、赤外線カメラ２による画像の撮像が終了したかどうかが判断され、赤外線カメラ２による画像の撮像が終了していない場合には、ステップＳ２に戻って、同様の処理が繰り返し行われる。一方、赤外線カメラ２による画像の撮像が終了すると、本発明を適用した車両後方監視装置１における一連の処理が終了する。
【００７０】
以上説明したように、本発明を適用した車両周囲監視装置１では、赤外線センサ５の各画素のうちで画素値が所定の閾値Ｖｐ以下の画素を画像中の背景を撮像した画素とみなして、この画素を補正候補とし、この補正候補の画素のうちで基準値Ｖｒと異なる画素値を出力している画素に対して補正係数を設定して画素値の補正処理を行うようにしているので、画像の撮像を継続しながら、同時に補正が必要な画素の画素値に対する補正処理を行うことができる。したがって、車両周囲の状況を示す画像を高精細な画像として表示装置３に常時表示させることができ、車両周囲の状況を乗員に適格に判断させることができる。
【図面の簡単な説明】
【図１】本発明を適用した車両周囲警戒装置の全体構成を示すブロック図である。
【図２】前記車両周囲警戒装置の赤外線カメラが備える処理装置の機能ブロック図である。
【図３】補正候補の画素を特定する方法を説明する図である。
【図４】前記赤外線カメラにより撮像された画像の一例を示す図であり、（ａ）は前記処理装置による補正処理前の画像のイメージを示し、（ｂ）は前記処理装置による補正処理後の画像のイメージを示している。
【図５】前記赤外線カメラにより撮像された画像の他の例を示す図であり、（ａ）は前記処理装置による補正処理前の画像のイメージを示し、（ｂ）は前記処理装置による補正処理後の画像のイメージを示している。
【図６】前記赤外線カメラにより撮像された画像の更に他の例を示す図であり、（ａ）は前記処理装置による補正処理前の画像のイメージを示し、（ｂ）は前記処理装置による補正処理後の画像のイメージを示している。
【図７】前記車両周囲警戒装置による一連の処理の流れを示すフローチャートである。
【符号の説明】
１ 車両周囲警戒装置
２ 赤外線カメラ
３ 表示装置
５ 赤外線センサ
６ 処理装置
７ 記憶装置
１１ 補正候補特定部
１２ 差分算出部
１３ 補正処理部
【発明の属する技術分野】
本発明は、赤外線センサを利用して赤外線画像を撮像、出力する赤外線カメラに関し、特に、赤外線センサの画素毎の画素値を補正する機能を有する赤外線カメラに関するものである。
【０００２】
【従来の技術】
近年、車両のインテリジェント化に伴い、赤外線カメラを車両に搭載して、この赤外線カメラにより撮像された画像を用いて車両周囲を監視する試みが盛んに行われている。赤外線カメラにより撮像された画像は、撮像対象の温度に応じて色分けされた画像として出力されるので、例えば車両周囲に人体等の温度を有する物体が存在し、この物体を赤外線カメラで撮像した場合には、赤外線カメラから出力される画像を参照することで、物体の存在を適格に認識することができる。
【０００３】
ところで、赤外線カメラは、半導体を用いて構成される赤外線センサの各画素に入射する入射赤外線を、各画素毎の画素値（電圧値）に変換して出力するようになっているため、赤外線センサの周囲温度が変化すると、この赤外線センサの温度特性により各画素からの出力が変動して、適切な画像が得られない場合がある。
【０００４】
そこで、このような赤外線カメラの温度変化に起因する出力ばらつきを補正する方法として、例えば、特開平９−３２５０７３号公報にて開示される技術等が提案されている。この特開平９−３２５０７３号公報に記載された赤外線カメラは、赤外線センサの前段に入射赤外線を遮断する補正専用のシャッタを設け、赤外線センサ周囲の温度変化が所定値以上となったときに、補正専用のシャッタを閉じて熱的に均一な面を撮像し、その結果に基づいて、各画素の出力値が等しくなるように各画素に補正係数を設定するようにしたものである。
【０００５】
以上のような赤外線カメラでは、各画素毎の画素値が、各画素毎に設定された補正係数で補正されて出力されることにより、撮像対象の温度を忠実に反映した適切な画像が得られることになる。
【０００６】
【発明が解決しようとする課題】
しかしながら、以上のような赤外線カメラは、温度変化に起因する出力ばらつきを補正する際に、補正専用のシャッタを閉じて熱的に均一な面を撮像するようになっているため、その間、本来撮像したい対象を撮像できないという問題がある。特に、赤外線カメラは、起動直後に赤外線センサ周囲の温度変化が大きくなる傾向にあり、起動直後には頻繁に補正処理を行う必要が生じるため、本来撮像したい対象を撮像できない時間が長くなる。
【０００７】
赤外線カメラを車両周囲を監視するために用いる場合には、特に、車両の走行開始時等において、赤外線カメラからの画像をもとにして車両周囲に物体が存在するかどうかを適格に認識することが要求されるので、撮像対象を常時撮像可能とすることが強く望まれる。
【０００８】
本発明は、以上のような実情に鑑みて創案されたものであって、撮像対象を常時撮像しながら、画素毎の出力のばらつきを補正することができる赤外線カメラを提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、複数の画素を有し、各画素毎に入射赤外線に応じた画素値を出力する赤外線センサと、前記赤外線センサから出力された各画素値を所定の閾値と比較して、画素値が前記閾値以下の画素を補正候補として特定し、特定した補正候補の画素のうちで画素値が所定の基準値と異なる画素に対して、その画素値と前記基準値との差分を補正係数として設定する補正係数設定手段と、前記補正係数設定手段により補正係数が設定されない画素については、前記赤外線センサにより出力された画素値を出力値として出力し、前記補正係数設定手段により補正係数が設定された画素については、前記赤外線センサにより出力された画素値を前記補正係数を用いて補正した値を出力値として出力する画像出力手段とを備えることを特徴とする赤外線カメラである。
【００１０】
この請求項１に係る赤外線カメラでは、撮像対象からの赤外線が赤外線センサの各画素に入射すると、赤外線センサから各画素毎の入射赤外線に応じた画素値が出力される。この赤外線センサから出力された各画素毎の画素値は、補正係数設定手段に供給され、補正係数設定手段により所定の閾値と比較される。そして、閾値以下の画素値を出力した赤外線センサの画素が補正候補として特定される。ここで、画素値の比較対照となる閾値は、物体と背景とを分離できる最適な値に設定される。そして、閾値以下の画素値を出力した画素は、背景を撮像したものとみなして、この背景を撮像したとみなされる画素を補正候補とするようにしている。すなわち、この赤外線カメラでは、背景を撮像したものとみなした画素に対してのみ、必要な場合に補正処理を行って、物体を撮像したものとみなされる画素に対しては補正処理を行わないようにしている。
【００１１】
補正候補の画素が特定されると、補正係数設定手段により、この補正候補の画素の画素値が所定の基準値と比較される。ここで、基準値としては、均一な背景を撮像したときに得られる画素値と等しい値に設定される。そして、補正候補の画素のうちで、画素値が所定の基準値と異なる画素に対して、その画素値と基準値との差分が補正係数として設定される。すなわち、補正候補の画素は、均一な背景を撮像したものとみなした画素であり、本来、画素値が基準値と等しくなるはずである。したがって、画素値が基準値と異なる画素は、補正が必要な画素とみなすことでき、補正係数設定手段は、このような画素に対してその画素値と基準値との差分を補正係数として設定するようにしている。
【００１２】
補正が必要な画素に対して補正係数が設定されると、次に、画像出力手段により、画像を表示するための各画素毎の出力値が出力される。このとき、画像出力手段は、補正係数が設定されない画素については、赤外線センサからの画素値をそのまま出力値として出力し、補正係数が設定された画素については、赤外線センサからの画素値を補正係数を用いて補正した値を出力値として出力する。これにより、温度変化等に起因する画素毎の出力ばらつきが補正され、適切な画像表示が行えることになる。
【００１３】
また、請求項２に記載の発明は、請求項１に記載の赤外線カメラにおいて、前記補正係数設定手段が、画像出力周期毎に前記補正係数の設定処理を行うことを特徴とするものである。
【００１４】
この請求項２に係る赤外線カメラでは、画素値の補正が必要な画素に対しては画像出力周期毎に補正係数が設定され、常に最新の補正係数を用いて補正された画素値が出力値として出力されることになる。
【００１５】
また、請求項３に記載の発明は、請求項１に記載の赤外線カメラにおいて、前記補正係数設定手段が、出力画像の変化量が大きくなったときに前記補正係数の設定処理を行うことを特徴とするものである。
【００１６】
この請求項３に係る赤外線カメラでは、出力画像の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数が設定され、この補正係数で補正された画素値が出力値として出力されることになる。
【００１７】
また、請求項４に記載の発明は、請求項１に記載の赤外線カメラにおいて、前記補正係数設定手段が、前記赤外線センサの周囲温度の変化量が大きくなったときに前記補正係数の設定処理を行うことを特徴とするものである。
【００１８】
この請求項４に係る赤外線カメラでは、赤外線センサの周囲温度の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数が設定され、この補正係数で補正された画素値が出力値として出力されることになる。
【００１９】
また、請求項５に記載の発明は、請求項１乃至４の何れかに記載の赤外線カメラにおいて、前記画像出力手段が、過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正することを特徴とするものである。
【００２０】
この請求項５に係る赤外線カメラでは、画素値の補正が必要な画素の画素値が、この画素に対して過去に設定された補正係数も考慮に入れて補正され、出力値として出力されることになる。
【００２１】
また、請求項６に記載の発明は、請求項１乃至４の何れかに記載の赤外線カメラにおいて、前記画像出力手段が、予め設定された初期補正係数及び過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正することを特徴とするものである。
【００２２】
この請求項６に係る赤外線カメラでは、画素値の補正が必要な画素の画素値が、この画素に対して予め設定された初期補正係数と過去に設定された補正係数も考慮に入れて補正され、出力値として出力されることになる。
【００２３】
【発明の効果】
請求項１に係る赤外線カメラによれば、赤外線センサの各画素のうちで背景を撮像しているものとみなされる画素についてのみ、補正が必要な場合に補正係数を設定して、この補正係数を用いて画素値を補正した値を出力値として出力するようにしているので、補正係数設定時に撮像を中断させることなく、常に撮像対象を撮像しながら画素毎の出力ばらつきを補正して、適切な画像を表示させることができる。
【００２４】
また、請求項２に係る赤外線カメラによれば、画素値の補正が必要な画素に対する補正係数の設定を画像出力周期毎に行うようにしているので、この画素を常に最新の補正係数を用いて補正することができ、常に適切な画像を表示させることができる。
【００２５】
また、請求項３に係る赤外線カメラによれば、出力画像の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数を設定するようにしているので、処理負担の軽減を図りながら効率的な補正処理を行うことができる。
【００２６】
また、請求項４に係る赤外線カメラによれば、赤外線センサの周囲温度の変化量が大きくなったときに、画素値の補正が必要な画素に対して補正係数を設定するようにしているので、処理負担の軽減を図りながら効率的な補正処理を行うことができる。
【００２７】
また、請求項５に係る赤外線カメラによれば、画素値の補正が、過去にその画素に対して設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって行われるようになっているので、突発的なノイズ混入等に起因する出力変動があった場合でも、このような突発的な要因に左右されることなく適切な補正処理を行うことができる。
【００２８】
また、請求項６に係る赤外線カメラによれば、画素値の補正が、その画素に予め設定された初期補正係数及び過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって行われるようになっているので、突発的なノイズ混入等に起因する出力変動があった場合でも、このような突発的な要因に左右されることなく適切な補正処理を行うことができ、また、初期補正係数も加味することで、当該画素に固有の変動成分も適切に補正することができる。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。なお、ここでは、赤外線カメラで撮像した車両周囲の画像を表示して車両周囲を監視するための車両周囲監視装置に本発明を適用した例を挙げて説明するが、本発明は、ここで説明する例に限らず、赤外線センサからの出力に基づいて画像を出力するあらゆる装置に対して有効に適用可能である。
【００３０】
本発明を適用した車両周囲監視装置の一構成例を図１に示す。この図１に示す車両周囲監視装置１は、車両周囲の撮像対象を撮像する赤外線カメラ２と、この赤外線カメラ２からの出力に基づいて画像を表示する表示装置３とを備えて構成される。
【００３１】
赤外線カメラ２は、結像光学系４、赤外線センサ５、処理装置６、記憶装置７を備えている。結像光学系４は、例えば反射ミラーや結像レンズ等を有し、撮像対象からの放射赤外線を赤外線センサ５へと導き、この赤外線センサ５に入射させるようになっている。
【００３２】
赤外線センサ５としては、例えば、サーモパイル型赤外線センサ等の熱型赤外線センサが用いられる。この赤外線センサ５は、複数の画素を有しており、各画素に入射する入射赤外線を各画素毎に熱量に変換し、この熱量に応じた電気抵抗の変化等を利用して、撮像対象からの放射赤外線量に応じた画素値（電圧値）を各画素毎に出力するようになっている。この赤外線センサ５の各画素毎に出力される画素値は、処理装置６に供給される。
【００３３】
処理装置６は、赤外線カメラ２全体の動作を制御すると共に、赤外線センサ５からの各画素値をもとに各種演算処理を行って、画像を表示するための画像信号を出力するものである。特に、この処理装置６は、赤外線カメラ２による画像の撮像動作を継続させながら、赤外線センサ５の各画素のうちで補正が必要な画素を判断して、その画素からの画素値を補正するようになっている。なお、赤外線センサ５からの各画素値は、Ａ／Ｄ変換されてデジタルデータとして処理装置６により補正処理等が行われた後、Ｄ／Ａ変換されてアナログの画像信号として処理装置６から出力されるようになっている。
【００３４】
記憶装置７は、処理装置６による各種演算処理に必要な情報、例えば、補正が必要な画素に対して設定された補正係数等の各種情報を記憶しておくものである。
【００３５】
表示装置３としては、例えば、液晶表示パネル等が用いられる。この表示装置３は、赤外線カメラ２から出力された画像信号に基づいて駆動され、赤外線カメラ２により撮像された車両周囲の画像を表示するようになっている。
【００３６】
ここで、本発明を適用した車両周囲監視装置１において、赤外線カメラ２の処理装置６により実行される画素値の補正処理について、具体的な例を挙げながら説明する。
【００３７】
赤外線カメラ２の赤外線センサ５は、周囲温度によってその特性が左右され、温度変化に伴って各画素毎に出力する画素値に変動が生じる場合がある。このように赤外線センサ５から出力される画素値に変動が生じた場合には、この画素値を補正して、温度変化に伴う変動成分を除去した適切な値とすることが要求される。このような画素値の補正を行うには、画像の撮像を一時中断して熱的に均一な面を撮像し、そのときの各画素値をもとに補正が必要な画素を特定する方法も考えられるが、画素値の補正を行う際に画像の撮像を一時中断する必要があるため、特に、車両周囲監視装置１のように車両周囲の状況を常時監視することが要求される装置においてこのような方法を採用することは望ましくない。
【００３８】
そこで、本発明を適用した車両周囲監視装置１では、赤外線カメラ２の処理装置６が、赤外線センサ５からの画素値をもとにして、撮像した画像の中で物体と背景とを識別して背景を撮像したとみなされる画素のみを補正候補とし、この背景を撮像したとみなされる補正候補の画素のうちで補正が必要な画素に対して補正係数を設定し、この画素からの画素値に対して補正係数を用いて補正処理を行うことで、画像の撮像動作を継続させながら、赤外線センサ５の各画素のうちで補正が必要な画素からの画素値を補正するようにしている。
【００３９】
詳述すると、処理装置６は、図２の機能ブロック図で示すように、補正候補特定部１１と、差分算出部１２と、補正処理部１３とを備えている。そして、補正候補特定部１１及び差分算出部１２が補正係数設定手段として機能して、これら補正候補特定部１１及び差分算出部１２の処理によって、赤外線センサ５の補正が必要な画素に対する補正係数が設定されるようになっている。また、補正処理部１３が画像出力手段として機能して、この補正処理部１３の処理によって、補正係数が設定された画素からの画素値が補正されて、補正された値が出力値として出力されるようになっている。
【００４０】
補正候補特定部１１は、図３に示すように、赤外線センサ５の各画素毎に供給される画素値を所定の閾値Ｖｐと比較して、所定の閾値Ｖｐ以下の画素値を出力した赤外線センサ５の画素を補正候補として特定する。ここで、閾値Ｖｐは、画像の中で物体と背景とを分離できる最適な値に設定される。
【００４１】
画像の中で背景となる部分は、物体からの放射赤外線が入射しない部分であるので、この背景を撮像した赤外線センサ５の画素の画素値は、本来、基準値Ｖｒと等しい値となり、赤外線センサ５の周囲温度の変化に伴って変動が生じたとしても、基準値Ｖｒに近い値となる。一方、画像の中で何らかの物体が存在する部分は、この物体からの放射赤外線が入射することになるので、この物体を撮像した赤外線センサ５の画素の画素値は、基準値Ｖｒから離れた値となる。したがって、基準値Ｖｒよりも若干高い値に閾値Ｖｐを設定し、赤外線センサ５の各画素毎に供給される画素値を閾値Ｖｐと比較することで、赤外線センサ５の各画素が背景を撮像したものであるのか、或いは物体を撮像したものであるのかを判断することができる。そして、補正候補特定部１１は、赤外線センサ５の各画素のうちで、画素値が閾値Ｖｐ以下の画素、すなわち、画像の中で背景を撮像したものとみなされる画素を補正候補として特定するようにしている。具体的には、例えば、図３に示した例では、画素ａ、画素ｂ、画素ｃ、画素ｄがそれぞれ補正候補として特定されることになる。
【００４２】
差分算出部１２は、補正候補特定部１１により補正候補として特定された画素の画素値を基準値Ｖｒと比較して、画素値が基準値Ｖｒと異なる画素を補正対象の画素として認識する。そして、補正対象画素の画素値と基準値Ｖｒとの差分を算出し、算出した値を当該補正対象画素の補正係数として設定する。すなわち、補正候補特定部１１により補正候補として特定された画素は、上述したように、画像の中で背景を撮像したものとみなされる画素であるので、その出力値（画素値）は、本来、基準値Ｖｒと等しい値となる。したがって、補正候補の画素のうちで画素値が基準値Ｖｒと異なるものは、補正が必要な画素であり、その画素値と基準値Ｖｒとの差分が必要な補正量であると考えられる。そこで、差分算出部１２は、補正候補特定部１１により補正候補として特定された画素のうちで、画素値が基準値Ｖｒと異なる画素に対して、その画素値と基準値Ｖｒとの差分を補正係数として設定するようにしている。
【００４３】
補正候補特定部１１及び差分算出部１２の処理は、例えば、赤外線カメラ２の画像出力周期毎に行われる。すなわち、赤外線センサ５により１枚の画像を構成する各画素の画素値が出力され、この画素値に基づいて表示装置３に画像を表示させるための画像信号を生成する際に、その都度、補正対象画素に対する新たな補正係数が設定される。この場合には、補正対象画素の画素値を常に最新の補正係数を用いて補正することができる。
【００４４】
また、補正候補特定部１１及び差分算出部１２の処理は、例えば、出力画像の変化量が大きくなったときに行われるようにしてもよい。すなわち、出力画像の変化量が小さい間は各画素値の変化も少ないので、補正対象画素に対して過去に設定した補正係数を用いて補正を行うようにしても適切な補正が行えると考えられる。したがって、出力画像の変化量が小さい間は、新たな補正係数の設定処理は行わないようにしてもよい。この例のように、出力画像の変化量が大きくなったときに補正係数の設定を行うようにすれば、処理装置６の処理負担の軽減を図ることができる。なお、出力画像の変化量は、画像を構成する各画素値の変化量をもとに判断することができる。
【００４５】
また、補正候補特定部１１及び差分算出部１２の処理は、例えば、赤外線センサ５の周囲温度の変化量が大きくなったときに行われるようにしてもよい。すなわち、赤外線センサ５の各画素から出力される画素値に変動が生じる主な要因は、上述したように、赤外線センサ５の温度特性に起因するものであり、赤外線センサ５の周囲温度が大きく変化しない間は、この赤外線センサ５の各画素からの画素値にもそれ程変動が生じないものと考えられる。したがって、赤外線センサ５の周囲温度の変化量が小さい間は、新たな補正係数の設定処理を行わないようにしてもよい。この例のように、赤外線センサ５の周囲温度の変化量が大きくなったときに補正係数の設定を行うようにすれば、処理装置６の処理負担の軽減を図ることができる。なお、赤外線センサ５の周囲温度は、その近傍に温度センサを設けるようにすれば、この温度センサの出力から容易に判断することができる。特に、車両周囲監視装置１のように、車両に搭載される使用形態で用いられる場合には、車両に既設されている温度センサからの出力を用いて赤外線センサ５の周囲温度を判断することもできる。
【００４６】
補正処理部１３は、赤外線センサ５の各画素のうちで補正対象の画素、すなわち、差分算出部１２によって補正係数が設定された画素に対して、その補正係数を用いて赤外線センサ５からの画素値を補正し、補正した値を出力値として出力する。また、補正処理部１３は、補正係数が設定されていない画素については、赤外線センサ５からの画素値を出力値として出力する。これら補正処理部１３から出力される各画素の出力値が、画像信号として表示装置３に供給されて、表示装置３に画像が表示されることになる。
【００４７】
この補正処理部１３による補正対象画素の画素値の補正方法としては、補正対象画素に対して差分算出部１２によって設定された最新の補正係数で補正する方法も考えられるが、赤外線センサ５からの画素値がノイズ混入等によって突発的に変動する場合もあることを考慮すると、このような突発的な要因を排除するためには、補正対象画素に対して過去に設定された補正係数を記憶装置７に記憶させておき、補正対象画素の補正を行う際に、当該補正対象画素に対して過去に設定された補正係数を記憶装置７から読み出して、この過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正することが望ましい。
【００４８】
ここで、補正対象画素に対して補正係数が設定された回数をｎ、各回に設定された補正係数をｋ１，ｋ２…ｋｎとすると、単純平均は、（ｋ１＋ｋ２＋…＋ｋｎ）／ｎで求められる。また、最新の補正係数ｋｎにウェイトｗを設定した場合の加重平均は、（ｋ１＋ｋ２＋…＋ｗ・ｋｎ）／ｎで求められる。また、最新の補正係数ｋｎから遡ってα回前（但し１＜α＜ｎ）までの移動平均は、｛ｋ（ｎ−α＋１）＋ｋ（ｎ−α＋２）＋…＋ｋｎ｝／αで求められる。
【００４９】
以上のように、補正対象画素に対して過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正するようにした場合には、ノイズ混入等に起因する突発的な出力変動があった場合でも、このような突発的な要因に左右されない適切な補正処理を行うことができる。
【００５０】
また、赤外線センサ５の各画素に固有の変動成分も排除するためには、赤外線センサ５の各画素毎にその画素に固有の変動成分を補正するための初期補正係数を予め設定して記憶装置７に記憶させておくと共に、補正対象画素に対して過去に設定された補正係数を記憶装置７に記憶させておき、補正対象が素の補正を行う際に、当該補正対象画素に対して予め設定された初期補正係数及び当該補正対象画素に対して過去に設定された補正係数を記憶装置７から読み出して、これらの補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正することがより望ましい。
【００５１】
ここで、補正対象画素に対して予め設定された初期補正係数をｋ０、補正係数が設定された回数をｎ、各回に設定された補正係数をｋ１，ｋ２…ｋｎとすると、単純平均は、（ｋ０＋ｋ１＋ｋ２＋…＋ｋｎ）／（ｎ＋１）で求められる。また、最新の補正係数ｋｎにウェイトｗを設定した場合の加重平均は、（ｋ０＋ｋ１＋ｋ２＋…＋ｗ・ｋｎ）／（ｎ＋１）で求められる。また、最新の補正係数ｋｎから遡ってα回前（但し１＜α＜ｎ）までの移動平均は、｛ｋ０＋ｋ（ｎ−α＋１）＋ｋ（ｎ−α＋２）＋…＋ｋｎ｝／（α＋１）で求められる。
【００５２】
以上のように、補正対象画素に対して予め設定された初期補正係数及び当該補正対象画素に対して過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、当該補正対象画素の画素値を補正するようにした場合には、ノイズ混入等に起因する突発的な出力変動があった場合でも、このような突発的な要因を排除できると共に、当該補正対象画素に固有の変動成分も排除して、更に適切な補正処理を行うことができる。
【００５３】
ここで、以上のような処理装置６の補正処理により画像が補正される様子を、図４乃至図６を参照して簡単に説明する。
【００５４】
図４乃至図６は、車両後方に人体が存在する場合に、その人体を含む車両後方の画像を図４、図５、図６の順番で時系列的に撮像したものであり、図４（ａ）、図５（ａ）、図６（ａ）は処理装置６による補正処理前の画像のイメージをそれぞれ示し、図４（ｂ）、図５（ｂ）、図６（ｂ）は処理装置６による補正処理後の画像のイメージをそれぞれ示している。
【００５５】
まず、図４（ａ）に示すような人体を含む車両後方の画像が撮像されると、この画像を構成する各画素のうち、背景を撮像した画素、すなわち、画素値が所定の閾値Ｖｐ以下の画素が補正候補とされる。図４（ａ）に示した画像のイメージにおいては、ハッチングで示した領域が背景に相当する領域であり、この領域内の各画素が補正候補とされる。ここで、画像全体の中で、画素Ａ，Ｂ，Ｃが補正が必要な画素とすると、これら補正が必要な画素Ａ，Ｂ，Ｃのうちで、画素Ａのみが背景に相当する領域内の画素であるので、この画素Ａが補正候補の画素とされる。
【００５６】
次に、補正候補の画素（背景に相当する領域内の画素）のうちで画素値が基準値Ｖｒと異なる画素、すなわち、図４（ａ）に示した例では画素Ａが、補正対象画素として認識される。そして、この画素Ａに対して、その画素値と基準値Ｖｒとの差分が補正係数として設定され、この補正係数を用いて画素Ａに対する補正処理が行われる。このとき、画素Ｂ，Ｃは補正が必要な画素であるが、人体を撮像した領域内の画素であるので、これらの画素Ｂ，Ｃに対しては、この段階では補正処理を行わない。
【００５７】
以上の処理によって画素Ａの画素値が補正されることで、表示装置３には、図４（ｂ）に示すような画像が表示されることになる。
次に、人体の位置が移動して、図５（ａ）に示す画像が撮像されると、この画像を構成する各画素のうち、図５（ａ）中ハッチングで示した背景に相当する領域内の各画素が補正候補とされる。ここでは、前回の補正処理により補正されない画素Ｂ，Ｃが、補正が必要な画素となる。そして、これら補正が必要な画素Ｂ，Ｃのうちで、画素Ｂのみが背景に相当する領域内の画素となるので、この画素Ｂが補正候補の画素とされる。
【００５８】
次に、補正候補の画素（背景に相当する領域内の画素）のうちで画素値が基準値Ｖｒと異なる画素、すなわち、図５（ａ）に示した例では画素Ｂが、補正対象画素として認識される。そして、この画素Ｂに対して、その画素値と基準値Ｖｒとの差分が補正係数として設定され、この補正係数を用いて画素Ｂに対する補正処理が行われる。このとき、画素Ｃは補正が必要な画素であるが、人体を撮像した領域内の画素であるので、この画素Ｃに対しては、この段階では補正処理を行わない。
【００５９】
以上の処理によって新たに画素Ｂの画素値が補正されることで、表示装置３には、図５（ｂ）に示すような画像が表示されることになる。
【００６０】
次に、人体の位置が更に移動して、図６（ａ）に示す画像が撮像されると、この画像を構成する各画素のうち、図６（ａ）中ハッチングで示した背景に相当する領域内の各画素が補正候補とされる。ここでは、前回の補正処理により補正されない画素Ｃが、補正が必要な画素となる。そして、この補正が必要な画素Ｃは背景に相当する領域内の画素であるので、この画素Ｃは補正候補の画素とされる。
【００６１】
次に、補正候補の画素（背景に相当する領域内の画素）のうちで画素値が基準値Ｖｒと異なる画素、すなわち、図６（ａ）に示した例では画素Ｃが、補正対象画素として認識される。そして、この画素Ｃに対して、その画素値と基準値Ｖｒとの差分が補正係数として設定され、この補正係数を用いて画素Ｃに対する補正処理が行われる。
【００６２】
以上の処理によって新たに画素Ｃの画素値が補正されることで、補正が必要な画素Ａ，Ｂ，Ｃの全てに対して補正処理が行われ、表示装置３には、図６（ｂ）に示すような鮮明な画像が表示されることになる。以後、以上のような処理を繰り返し行うことで、車両後方の画像等の必要な画像を常時撮像しながら、補正が必要な画素に対する補正処理を行うことができ、表示装置３には鮮明な画像を表示させることができる。
【００６３】
ここで、以上のような本発明を適用した車両後方監視装置１における一連の処理の流れを図７のフローチャートを参照して説明する。
【００６４】
車両後方監視装置１が起動されると、まず、ステップＳ１において、赤外線カメラ２の赤外線センサ５の各画素の初期補正係数が記憶装置７から読み出される。この初期補正係数は、赤外線センサ５の各画素に固有の変動成分を補正するものとして、予め設定されて記憶装置７に記憶されているものである。
【００６５】
初期補正係数の読み込みが完了すると、次に、ステップＳ２において、赤外線センサ２の処理装置６による制御のもとで、車両周囲の画像が撮像される。具体的には、赤外線センサ５の各画素毎に、入射した放射赤外線量に応じた画素値が出力され、処理装置６に供給される。
【００６６】
次に、ステップＳ３において、処理装置６の補正候補特定部１１により、赤外線センサ５から出力された画素値が所定の閾値Ｖｐ以下であるかどうかが判断される。そして、画素値が閾値Ｖｐ以下の画素が補正候補の画素として特定され、補正候補として特定された画素のうち、画素値が基準値Ｖｒと異なる画素に対しては、ステップＳ４において、処理装置６の差分算出部１２により、その画素値と基準値Ｖｒとの差分が求められ、この差分が当該画素に対する新たな補正係数として設定される。一方、画素値が閾値Ｖｐを超える画素に対しては、新たな補正係数は設定されない。
【００６７】
次に、ステップＳ５において、以上のような画素値の判断が全ての画素に対して行われたかどうかが判断される。そして、画素値の判断が行われていない画素がある場合には、ステップＳ３に戻って、ステップＳ３以降の処理が繰り返し行われる。
【００６８】
一方、全ての画素に対する画素値の判断が終了すると、次に、ステップＳ６において、処理装置６の補正処理部１３により、補正係数が設定された画素の画素値に対して、補正係数を用いた補正処理が行われ、補正された値が出力値として出力される。この補正係数を用いた補正処理は、例えば初期補正係数及び過去に設定された補正係数と新たに設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって行われる。また、このとき、補正係数が設定されていない画素については、その画素値が補正されることなくそのまま出力されることになる。
【００６９】
次に、ステップＳ７において、処理装置６の補正処理部１３から出力された各画素の出力値（画像信号）に基づいて表示装置３が駆動され、表示装置３に、赤外線カメラ２により撮像された画像が表示される。そして、ステップＳ８において、赤外線カメラ２による画像の撮像が終了したかどうかが判断され、赤外線カメラ２による画像の撮像が終了していない場合には、ステップＳ２に戻って、同様の処理が繰り返し行われる。一方、赤外線カメラ２による画像の撮像が終了すると、本発明を適用した車両後方監視装置１における一連の処理が終了する。
【００７０】
以上説明したように、本発明を適用した車両周囲監視装置１では、赤外線センサ５の各画素のうちで画素値が所定の閾値Ｖｐ以下の画素を画像中の背景を撮像した画素とみなして、この画素を補正候補とし、この補正候補の画素のうちで基準値Ｖｒと異なる画素値を出力している画素に対して補正係数を設定して画素値の補正処理を行うようにしているので、画像の撮像を継続しながら、同時に補正が必要な画素の画素値に対する補正処理を行うことができる。したがって、車両周囲の状況を示す画像を高精細な画像として表示装置３に常時表示させることができ、車両周囲の状況を乗員に適格に判断させることができる。
【図面の簡単な説明】
【図１】本発明を適用した車両周囲警戒装置の全体構成を示すブロック図である。
【図２】前記車両周囲警戒装置の赤外線カメラが備える処理装置の機能ブロック図である。
【図３】補正候補の画素を特定する方法を説明する図である。
【図４】前記赤外線カメラにより撮像された画像の一例を示す図であり、（ａ）は前記処理装置による補正処理前の画像のイメージを示し、（ｂ）は前記処理装置による補正処理後の画像のイメージを示している。
【図５】前記赤外線カメラにより撮像された画像の他の例を示す図であり、（ａ）は前記処理装置による補正処理前の画像のイメージを示し、（ｂ）は前記処理装置による補正処理後の画像のイメージを示している。
【図６】前記赤外線カメラにより撮像された画像の更に他の例を示す図であり、（ａ）は前記処理装置による補正処理前の画像のイメージを示し、（ｂ）は前記処理装置による補正処理後の画像のイメージを示している。
【図７】前記車両周囲警戒装置による一連の処理の流れを示すフローチャートである。
【符号の説明】
１ 車両周囲警戒装置
２ 赤外線カメラ
３ 表示装置
５ 赤外線センサ
６ 処理装置
７ 記憶装置
１１ 補正候補特定部
１２ 差分算出部
１３ 補正処理部
Claims (6)
- 複数の画素を有し、各画素毎に入射赤外線に応じた画素値を出力する赤外線センサと、
前記赤外線センサから出力された各画素値を所定の閾値と比較して、画素値が前記閾値以下の画素を補正候補として特定し、特定した補正候補の画素のうちで画素値が所定の基準値と異なる画素に対して、その画素値と前記基準値との差分を補正係数として設定する補正係数設定手段と、
前記補正係数設定手段により補正係数が設定されない画素については、前記赤外線センサにより出力された画素値を出力値として出力し、前記補正係数設定手段により補正係数が設定された画素については、前記赤外線センサにより出力された画素値を前記補正係数を用いて補正した値を出力値として出力する画像出力手段とを備えること
を特徴とする赤外線カメラ。 - 前記補正係数設定手段が、画像出力周期毎に前記補正係数の設定処理を行うこと
を特徴とする請求項１に記載の赤外線カメラ。 - 前記補正係数設定手段が、出力画像の変化量が大きくなったときに前記補正係数の設定処理を行うこと
を特徴とする請求項１に記載の赤外線カメラ。 - 前記補正係数設定手段が、前記赤外線センサの周囲温度の変化量が大きくなったときに前記補正係数の設定処理を行うこと
を特徴とする請求項１に記載の赤外線カメラ。 - 前記画像出力手段が、過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正すること
を特徴とする請求項１乃至４の何れかに記載の赤外線カメラ。 - 前記画像出力手段が、予め設定された初期補正係数及び過去に設定された補正係数との単純平均、又は加重平均、又は移動平均を含む演算処理によって、前記補正係数設定手段により補正係数が設定された画素の画素値を補正すること
を特徴とする請求項１乃至４の何れかに記載の赤外線カメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002051941A JP3882640B2 (ja) | 2002-02-27 | 2002-02-27 | 赤外線カメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002051941A JP3882640B2 (ja) | 2002-02-27 | 2002-02-27 | 赤外線カメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259217A JP2003259217A (ja) | 2003-09-12 |
| JP3882640B2 true JP3882640B2 (ja) | 2007-02-21 |
Family
ID=28663786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002051941A Expired - Lifetime JP3882640B2 (ja) | 2002-02-27 | 2002-02-27 | 赤外線カメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3882640B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010185704A (ja) * | 2009-02-10 | 2010-08-26 | Yamagata-Chino Corp | 熱画像センサ |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009100380A (ja) * | 2007-10-18 | 2009-05-07 | Hitachi Kokusai Electric Inc | 撮像装置 |
| US9030597B2 (en) | 2010-09-30 | 2015-05-12 | Nikon Corporation | Interchangeable lens and camera body |
| CN102445818B (zh) * | 2010-09-30 | 2016-09-14 | 株式会社尼康 | 更换镜头及相机体 |
| JP5240323B2 (ja) * | 2010-09-30 | 2013-07-17 | 株式会社ニコン | 交換レンズおよびカメラボディ |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05149792A (ja) * | 1991-11-27 | 1993-06-15 | Mitsubishi Electric Corp | 赤外線撮像装置 |
| JPH08339498A (ja) * | 1995-06-09 | 1996-12-24 | Yazaki Corp | 車両周辺監視装置 |
| JP3804214B2 (ja) * | 1996-10-29 | 2006-08-02 | セイコーエプソン株式会社 | 画像処理方法および画像処理装置 |
| JPH1183635A (ja) * | 1997-09-02 | 1999-03-26 | Fujitsu Ltd | 赤外線映像装置 |
| WO1999017541A1 (en) * | 1997-09-26 | 1999-04-08 | The Secretary Of State For Defence | Sensor apparatus |
| JPH11190663A (ja) * | 1997-10-23 | 1999-07-13 | Fujitsu Ltd | 赤外線検知器リアルタイム感度補正方法及び赤外線撮像装置 |
-
2002
- 2002-02-27 JP JP2002051941A patent/JP3882640B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010185704A (ja) * | 2009-02-10 | 2010-08-26 | Yamagata-Chino Corp | 熱画像センサ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003259217A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3621850B1 (en) | Shutterless far infrared (fir) camera for automotive safety and driving systems | |
| US10469747B2 (en) | Infrared imaging device and signal correction method using infrared imaging device | |
| EP1684504B1 (en) | Image capture apparatus and control method therefor | |
| US20170163908A1 (en) | Method of shutterless non-uniformity correction for infrared imagers | |
| US20040075742A1 (en) | Infrared imaging device, vehicle having the same installed therein, and infrared image adjustment device | |
| US20120113307A1 (en) | Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program | |
| US8873881B2 (en) | Dust detection system and digital camera | |
| US20210243338A1 (en) | Techniques for correcting oversaturated pixels in shutterless fir cameras | |
| US10699386B2 (en) | Techniques for scene-based nonuniformity correction in shutterless FIR cameras | |
| US20180376088A1 (en) | Techniques for correcting fixed pattern noise in shutterless fir cameras | |
| US11936997B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
| US11343434B2 (en) | Image processing apparatus and control method for same | |
| JP5155110B2 (ja) | 監視装置 | |
| JP3882640B2 (ja) | 赤外線カメラ | |
| KR20150079004A (ko) | 차량용 표시 장치 및 그 제어 방법 | |
| WO2016185709A1 (ja) | 赤外線撮像装置及び固定パターンノイズデータの更新方法 | |
| JP2003209735A (ja) | 監視装置及びブレ補正機能付蓄積型カメラ | |
| JP4807152B2 (ja) | 障害物検出システム及び障害物検出方法 | |
| JP2007174113A (ja) | 障害物検出システム及び障害物検出方法 | |
| CN115211098A (zh) | 图像处理装置、图像处理方法和程序 | |
| JP4580307B2 (ja) | 検出画像領域決定装置および対象画像の特徴量算出装置ならびにそれらの制御方法およびそれらの制御プログラム | |
| KR101745261B1 (ko) | 선바이저 제어장치 및 방법 | |
| JP2017011351A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP2007028338A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP2009077279A (ja) | 画像認識装置、車載用画像認識装置および車載用画像認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061013 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061106 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3882640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |