JP4103179B2 - 環境認識装置 - Google Patents
環境認識装置 Download PDFInfo
- Publication number
- JP4103179B2 JP4103179B2 JP18425698A JP18425698A JP4103179B2 JP 4103179 B2 JP4103179 B2 JP 4103179B2 JP 18425698 A JP18425698 A JP 18425698A JP 18425698 A JP18425698 A JP 18425698A JP 4103179 B2 JP4103179 B2 JP 4103179B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- infrared
- camera
- visible light
- reflectance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、赤外線カメラと可視光線カメラとを用いて、周囲環境を明確に認識できるようにした環境認識装置に関するものである。
【０００２】
例えば、船舶、列車、自動車等の乗り物にあっては、安全確保のために、前方の状況つまり前方の環境状態を明確に認識することが望まれ、このためカメラによって撮像された前方環境状態を運転者に目視し易い位置に表示することが行われている。カメラを、可視光線を用いて撮像する可視光線カメラとした場合は、夜間や、雨、霧、雪等の悪天候のときに、照明のない道路や対向車のグレアによって、歩行者の存在認識や前方走行路の状況変化等の認識が不十分となり易い。
【０００３】
また、カメラとして、赤外線を用いて撮像する赤外線カメラを用いることが特開平２−１５８９００号公報に開示されている。この赤外線カメラを用いた場合は、夜間時や悪天候のときでも、前方物体を撮像することが可能となり、可視光線カメラで撮像する場合よりも有利となる。
【０００４】
【発明が解決しようとする課題】
赤外線カメラで撮像した場合、歩行者や対向車のように高い熱放射物体を検出することは可能であっても、例えば路面に描かれた走行区分線（白線）のような低い熱放射物体との区別が十分つけにくいものとなり、赤外線カメラにより撮像した画像のみでは周囲環境を十分認識することが難しいものとなる。
【０００５】
本発明は以上のような事情を勘案してなされたもので、その目的は、夜間時や悪天候のときでも、周囲環境にある特に安全上問題となる物体の存在をより明確に認識できるようにした環境認識装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、特許請求の範囲における請求項１に記載のように、
周囲の環境状態を赤外線を用いて撮像する赤外線カメラと、
前記赤外線カメラとほぼ同一位置での環境状態を可視光線を用いて撮像する可視光線カメラと、
可視光域の周辺光を計測する周辺光計測手段と、
前記可視光線カメラからの反射光を計測する反射光計測手段と、
前記周辺光計測手段と反射光計測手段からの出力に基づいて、可視光域での反射率を算出する反射率算出手段と、
前記反射率算出手段により算出された反射率に基づいて、赤外線域での反射率を推定する赤外線反射率推定手段と、
赤外線域の周辺光を計測する赤外線用周辺光計測手段と、
前記赤外線反射率推定手段により推定された赤外線反射率と前記赤外線用周辺光計測手段により計測された赤外線域の周辺光とに基づいて、赤外線域での反射量を推定する赤外線反射量推定手段と、
前記赤外線カメラにより計測された赤外線放射量と前記赤外線反射量推定手段により推定された赤外線反射量とに基づいて、物体の放射量を推定する物体放射量推定手段と、
前記物体放射量推定手段により推定された物体放射量を画像に変換する画像変換手段と、
前記画像変換手段により変換された画像を表示する画像表示手段と、
を備えたものとしてある。上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項２以下に記載のとおりである。
【０００７】
【発明の効果】
請求項１によれば、夜間時や悪天候時であっても、赤外線カメラによって高い熱放射物体である人間や車を撮像つまり明確に補足することができ、しかも可視光線カメラによって得られた画像を差し引くことにより、安全上特に問題となる人間や車をそれ以外のものと十分コントラストを付けて表示することができ、安全上必要な物体を明確に表示つまり認識させる上で好ましいものとなる。特に、高い熱放射体である特定物体を、より明確に認識、表示させることができる。
【０００８】
請求項２によれば、自動車において、前方の状況を明確に認識する上で好ましいものとなる。
【０００９】
請求項３によれば、赤外線カメラにより得られる画像に対して、赤外線カメラでは十分に補足できないが可視光線カメラによっては明確に補足される画像を足し合わせて、全体として両カメラの利点を生かした画像を表示させることができる。
請求項４、請求項５によれば、表示される画像をコントラストがより強調されたものとして、表示された画像の認識度合いを高める上で好ましいものとなる。
【００１０】
請求項６によれば、可視光線カメラでは明確に撮像つまり補足されるが、赤外線カメラでは十分撮像つまり補足されにくい特定物体を明確に表示させる上で好ましいものとなる。
請求項７によれば、レーザレーダで測定される所定距離にある特定物体を、明確に表示させる上で好ましいものとなる。
請求項８によれば、外部環境に応じて撮像された画像が変化され易い特定物体を明確に表示させる上で好ましいものとなる。
【００１１】
【発明の実施の形態】
図１において、自動車１の前端部に、自動車前方の環境状況を撮像するためのカメラヘッド２が装備されている。このカメラヘッド２は、後述するように、赤外線カメラと可視光線カメラとを有している。カメラヘッド２は、その撮像方向（カメラ位置）がカメラコントロ−ラ３により制御されて、各カメラにより撮像された画像が、合成／画像処理用のコントロ−ラ４を得て、ＨＵＤ（ヘッドアップディスプレイ装置）７に入力される。ＨＵＤ７は、運転席の直前方にあるウィンドウ６に設けた画像表示部としての表示部７ａを制御する。
【００１２】
図２は、カメラヘッド２（カメラ）と表示部７ａとの好ましい設定例を示す。この図２において、車体の前後方向中心線が符合ＯＢＬで示され、このＯＢＬと平行でかつ運転者の中心（視線の上での中心）を通る視線中心線が符合ＩＬで示される。カメラヘッド２と表示部７ａとはそれぞれ視線中心線ＩＬ上にその中心が位置するように設定されている。そして、カメラヘッド２の視野角は視線中心線ＩＬを中心に左右同じ大きさに設定されている。このような設定により、カメラヘッド２により検出されて表示部７ａに表示される表示画像と運転者が実際に前方物体を目視したときの方向感覚とを一致させることができる。
【００１３】
図３は、図２の変形例を示す。すなわち、運転者の左右の視野は、通常運転席側方向視野角よりも助手席側方向視野角の方が大きくなるので、この運転者の左右の視野角の相違に対応して、カメラヘッド２の左右の視野角の大きさが設定されている。このように設定した場合、カメラヘッド２の視野角と運転者の視野角とが一致されることになるが、表示部７ａの中心を視野線ＩＬと一致させたままでは、左右の方向感覚が、表示部７ａに表示された画像と運転者が実際に前方物体を目視したときとで相違してしまうことになる。このような相違を解消するため、表示部７ａの中心を視野角の大きい助手席側へオフセットさせて、当該表示部７ａを配置してある。
【００１４】
図４は、カメラヘッド２の具体例が示される。この図４において、１１はカメラハウジングであり、その内部には、可視光線は反射するが赤外線は通過させるミラー１２と、赤外線を用いて撮像する赤外線カメラ１３と、可視光線を用いて撮像する可視光線カメラ１４とが装備されている。前方からの光が、可視光線および赤外線を共に透過する保護フィルタ１５を通過した後、可視光線のみがミラー１２で略９０度偏向されて可視光線カメラ１４へ入力される一方、ミラー１２を通過した赤外線が赤外線カメラ１２に入力される。可視光線カメラ１４は、３軸方向に位置調整可能な雲台１６に搭載されていて、赤外線カメラ１３との光軸合わせの微調整が可能とされている。
【００１５】
図５は、図４の変形例を示すものである。この図５の例では、ミラーとして、１２Ａ、１２Ｂの２種類用いられている。前方に位置するミラー１２Ａは、可視光線を反射するが赤外線を通過するものとなっており、ミラー１２Ａで略９０度反射された可視光線が可視光線カメラ１４に入力される。また、後方に位置するミラー１２Ｂは、赤外線を反射するもので、ミラー１２Ａを通過した赤外線がミラー１２Ａと同一方向へ略９０度反射されて、赤外線カメラ１３に入力される。なお、可視光線カメラ１４は３軸方向に位置調整可能な雲台１６Ａに搭載され、赤外線カメラ１３は３軸方向に位置調整可能な雲台１６Ｂに搭載され、この両方の雲台１６Ａ、１６Ｂを調整することによって、両カメラ１３と１４との光軸合わせが行われる。
【００１６】
図６は、ＨＵＤ７の好ましい設定例であり、特に前方車両等からの外乱光に邪魔されずに、ＨＵＤ７によって運転者の直前方のウィンドウ６に表示される画像を、運転者が明確に視認できるようにしてある。すなわち、運転者の直前方のウィンドウ６内面には高反射被膜からなる表示部７ａが設けられると共に、表示部７ａの直前方位置において液晶、ＥＣなどの遮光素子１７が挟み込まれている。この遮光素子１７に対する通電を制御することにより、遮光素子１７による遮光のレベルが調整可能とされている。遮光レベル調整のために、表示部７ａ付近のウィンドウ６には外乱光の強さを検出する光センサ１８が設けられ、光りセンサ１８での検出信号が、遮光素子１７用のコントロ−ラ１９に入力される。コントロ−ラ１９は、光センサ１８で検出される外乱光が強いほど、遮光素子１７の遮光レベルが強くなるように、遮光素子１７に対する通電を制御する。
【００１７】
図７は、赤外線カメラ１３で撮像された画像と可視光線カメラ１４で撮像された画像とを合成して表示部７ａにより表示させる画像処理回路の一例を示すものであり、図１におけるコントロ−ラ４の内容に相当する。この図７において、可視光線カメラ１４からの撮像信号が、画像反転装置２１により反転された後、位置合わせ装置２２によって赤外線カメラ１３で撮像された画像との位置合わせの処理が行われて、この位置合わせ処理後の画像が、映像合成装置２３へ入力される。この映像合成装置２３には、赤外線カメラ１３により撮像された画像も入力されて、両カメラ１３と１４とで撮像された画像が当該合成装置２３によって後述するように合成されることになる。
【００１８】
合成装置２３からの合成映像と、位置合わせ装置２２からの信号と、赤外線カメラ１３からの撮像画像とが、認識処理装置２４に入力される。認識処理装置２４では、合成装置２３での合成映像が運転者が認識し易いように後述するように処理されるが、この認識処理装置２４から合成装置２３に対して合成レベル信号が出力されて、合成装置２３は、入力される合成レベル信号に応じたレベルでもって、両カメラ１３、１４での撮像画像を合成する。合成装置２３からの合成映像と、認識処理装置２４からの認識結果とが映像加工装置２５に入力されて、この加工装置２５での加工後の映像（運転者に目視可能な状態での映像に加工）が、ＨＵＤ７に出力される（表示部７ａに表示される）。
【００１９】
図８は、本発明の制御内容を図式的に示すもので、図７における合成装置２３と認識処理装置２４の機能内容に相当する。まず、可視光線カメラ１４によって撮像された画像がＧ１で示されるが、ヘッドライト３１ａを点灯させた対向車３１（図８では、点灯状態にあるヘッドライトのみ符合３１ａを付してある）と、対向車３１の脇に居る歩行者３２と、走行路の区分線となる白線３３とが撮像される。ただし、夜間であって歩行者３２の付近が暗いために、ヘッドライト３１ａと白線３３とが明確に撮像されているが（実線で示す）、対向車３１のボディ輪郭や、歩行者３２はほとんど識別できないものとなっている（非常に暗い状態で、破線で示す）。なお、歩行者３２よりも対向車３１のボディ輪郭の方が多少明瞭となっている。
【００２０】
赤外線カメラ１３によって撮像された画像が、Ｇ２として示される。この画像Ｇ２では、高熱放射体である歩行者３２と対向車３１のボディ輪郭とは明瞭に撮像されるが、低熱放射体である白線３３は全く撮像されていないものとなっている。画像Ｇ３は、歩行者３２を特に強調して表示するもので、このため、画像Ｇ２から画像Ｇ１を差し引いた画像に対して（減算処理装置３５による差し引き処理）、特に歩行者３２を特定する処理（認識処理装置２４）を行って、歩行者３２のみを特定物体として表示されたものとなっている（このために、可視光線カメラ１４からの反射光に基づいて後述するように反射率を推定する反射率推定３４の処理が行われる）。
【００２１】
画像Ｇ４は、各画像Ｇ１とＧ２とＧ３とを合成して得た画像となっている（加算処理装置３６による加算処理）。より具体的には、画像Ｇ１から物体放射量が所定量以上の領域のもの（歩行者３２と対向車３１が対応）を差し引いた画像（白線３３が相当）を、画像Ｇ２に加算する。そして、加算された画像に、画像Ｇ３をさらに加算して、画像Ｇ４が得られる。これにより画像Ｇ４は、歩行者３２が特に強調されて極めて明瞭に表示され、対向車３１もヘッドライト３１ａが点灯された状態でかなり明瞭に表示され、さらに白線３３も明瞭に表示されたものとなる。
【００２２】
ここで、画像Ｇ３をＨＵＤ７に表示させることもできる。また、画像Ｇ２から画像Ｇ１を差し引いた画像をＨＵＤ７に表示させることもできる（高熱放射体となる対向車３１と歩行者３２のみが強調された画像の表示）。さらに、画像Ｇ２に対して、画像Ｇ１でのみ明瞭に表示されている部分（領域で、白線３３が相当する）を加算した画像をＨＵＤ７に表示させることもできる（画像Ｇ４において、対向車３１のヘッドライト３１ａが消灯状態に近い状態となるがそのボディ輪郭がより明瞭になるー画像Ｇ２での対向車３１の画像と同じ状態）。
【００２３】
図９は、可視光線の物体からの反射率に基づいて物体放射量（物体の有する固有の赤外線放射量で、この物体放射量を知ることにより物体の識別が可能）を推定して、物体放射量から特定の物体をＨＵＤ７に表示させる手法を示す。すなわち、計測手段４１により計測された可視光域の周辺光と、可視光線カメラ１４により計測される反射光とに基づいて、可視光域での反射率が算出手段４２により算出される。算出された可視光域での反射率に基づいて、赤外線域での反射率が推定手段４３により推定される。
【００２４】
一方、計測手段４４により計測された赤外線域の周辺光と、推定手段４３により推定された反射率とに基づいて、赤外線域での反射量が推定手段４５により推定される。赤外線カメラ１３により計測される放射量と推定手段４５での推定放射量とに基づいて、物体放射量が推定手段４６により推定される。そして、推定手段４６により推定された物体放射量に基づいて、画像変換手段４７により画像変換されて（物体放射量特有の特定物体への画像変換）、この画像変換された画像がＨＵＤ７に表示される。
【００２５】
図１０〜図１２、および以下の式１〜式１８を参照しつつ、図９での物体放射量を得るための具体的な推定手法の一例について説明する。まず、図１０は、物体（被写体）からの可視光線の反射状況を示すものであり、周辺光が物体で反射されたときの反射光は、物体の表面特性（反射率と反射角度）に依存する。一方、図１１は、物体（被写体）からの赤外線の反射状況を示すものであり、周辺光が物体で反射されたときの反射量と、物体とのものからの放射量とが加算された値が赤外線カメラ１３により検出されることになる。ただし、赤外線の場合でも、周辺光が物体で反射さされたときの反射量は物体の表面特性（反射率と反射角度）に依存するということは、可視光線と同じである。
【００２６】
図１２は、可視光線の反射率を算出するときの前提となる光学系を示すものであり、この図１２において、物体の反射率をＲ、面積をＡとし、物体を光束ＦOで照明し、ＦナンバーＦN のレンズを距離ｌだけ離して置いてある。像の倍率をｍとすれば、像はレンズからｍｌの位置に結像し、面積はｍ2 Ａとなる。このとき、撮像面に入射する光束Ｆ［ｌｍ］は、式１に示すようになる。
【００２７】
【数１】
【００２８】
物体から反射されて単位立体角に発散する光束Ｆd は、式２に示すようになる。
【００２９】
【数２】
【００３０】
レンズ絞り２ｒを通る光束は全て撮像面に達するから、Ｆd に絞りの張る立体角を掛けて、レンズ透過率を乗ずる（式３）。
【００３１】
【数３】
【００３２】
レンズの焦点距離をｆとすると、前述したレンズのＦナンバー、レンズ倍率に対して、式４の関係が成立する。
【００３３】
【数４】
【００３４】
さらに、下記の式５〜式８の関係が成立する。
【００３５】
【数５】
【００３６】
【数６】
【００３７】
【数７】
【００３８】
【数８】
【００３９】
普通の撮像では、レンズから被写体までの距離ｌは、撮像面までの距離よりも十分長いので、ｍよりもｌが十分大きいとして、式９が成立する。
【００４０】
【数９】
【００４１】
計測可能な周辺光の照度をＥS とすると、推定反射率ＲS は、式１０に示すものとなる。
【００４２】
【数１０】
【００４３】
式１０におけるＥに関しては、実際のカメラ出力がＮＴＳＣであるので、カメラの状態量（ゲイン、オフセット、ガンマ補正値）から算出することになる。
【００４４】
上記推定反射率ＲS に基づいて、赤外線域での反射率を推定するが、その前提として、物体が選択放射体でないものとする（ほとんどの物体は選択放射体でなく、特に歩行者や自動車ボディ等の金属は選択放射体ではない）。これにより、赤外線域での反射率Ｒl は、可視光線域での反射率ＲS の関数として式１１のように示される。
【００４５】
【数１１】
【００４６】
計測可能な赤外線域の周辺放射量をＩS とすると、赤外線カメラ１３に入射される物体からの反射成分ＩR は、式１２に示すようになる。
【００４７】
【数１２】
【００４８】
赤外線カメラ１３の出力値ＩからＩR を減算すれば、物体固有の放射量ＩO が求められる（式１３）。
【００４９】
【数１３】
【００５０】
画像全体に以上の処理を行うと、物体固有放射量ＩO 画像が作成される。このＩO 画像を領域分割することで、材質（表面）の違いによる物体の識別ができることになる。温度、放射率が既知の物体については、ＩO 画像に対する形状認識を行わずに抽出することが可能である。物体からの放射量は、温度と波長のみに依存し、プランクの式を利用することにより求められる。波長λ1 からλ2 に感度のある赤外線カメラ１３で撮像した場合、プランクの式は、式１４に示すように示される。
【００５１】
【数１４】
【００５２】
２個の波長に対するＭの比はλとＴとの積であることを利用すると、式１５が成立する。
【００５３】
【数１５】
【００５４】
式１５中に示されている次式１６は、λＴの積のみの関数であり、数値表で与えられる。
【００５５】
【数１６】
【００５６】
式１６での分母は、式１７に示されるステファン・ボルツマンの式により求められる。
【００５７】
【数１７】
【００５８】
ここで、赤外線域での反射率ＲI は、最終的に式１８で示されることになる（ＲI という特性を持った領域が抽出可能）。
【００５９】
【数１８】
【００６０】
【００６１】
図１３、図１４は、温度環境にかかわらず赤外線カメラ１３により適切に撮像できるようにした場合を示す。すなわち、通常赤外線カメラ１３は、そのカメラセンサ部分は所定温度となるように温度管理されるが、レンズ部分は常温で設計されているので、このレンズ部分の温度変化に起因して撮像が良好に行われない場合を生じることが考えられる。このような事態を防止するために、レンズ部分を保温器５１で覆う一方、レンズ部分の温度を検出する温度センサ５２を設けて、温度制御装置５３によって、温度センサ５２で検出される温度が所定の一定温度となるように保温器５１を制御するようにしてある。
【００６２】
図１５以下は、赤外線カメラ１３により得られる赤外線画像が、コントラストが低い、画像のエッジがなだらか（境界が不鮮明）、ノイズが多いという欠点を補うための種々の解決手法を示すものであり、例えば次の (1)〜 (5)の解決手法がある。
【００６３】
(1)赤外線画像の濃度分布に基づいて提示（表示）濃度を変化させること（シーンに影響されない画像変換が可能になる）。
(2)赤外線エッジ強度に基づいてエッジ強調量を変化させること（白線などの低コントラスト物体のみの輪郭強調が可能になり、錯視の効果を狙って交通信号情報以上のコントラスト向上が可能になる）。
(3)可視光線画像の処理結果に基づいて特定物体を選択的に表示させること（白線などの低コントラスト物体を安定して表示可能となり、信号、標識などの色情報が表示可能となる）。
【００６４】
(4)レーザレーダからの距離情報に基づいて特定物体を選択的に表示させること（停止車両など低コントラスト物体の安定したコントラスト向上が可能になる）。
(5)カメラ以外の外部環境を検出するセンサからの情報に基づいて特定物体を選択的に表示させること（例えば、濡れた路面でも白線の濃度を明るくする処理が可能になる）。
【００６５】
まず、図１５〜図１７は、上記 (1)の解決手法を示すもので、赤外線画像の濃度分布に基づいて、表示部７ａへの提示画像を変化させるようにしたものである。すなわち、図１５に示される原画像の濃度ヒストグラムを図１６に示すように平坦化した後、ガンマ変換あるいは対数変換して図１７に示すように、運転者（人間）の目の特性にあった画像を提示（表示）するようにしてある。
【００６６】
図１８〜図２２は、前記 (2)の解決手法を示すものである。すなわち、図１８に示す赤外線画像の原画像から、図１９に示すような２次微分画像を得る。そして、図１８、図１９に示す画像同士を加算して、図２０に示すような合成画像を得るようにしてある。２次微分を行うフィルタの設定例が、図２１あるいは図２２に示される。
【００６７】
図２３〜図２５は、前記 (2)の解決手法を示すもので、図１８〜図２０の変形例ともなるもので、濃度の低い部分を２次微分する場合に、濃度が低いほどより強調された２次微分画像を得るようにしてある（所定以下の濃度をＮ倍してある−Ｎは１よりも大）。
【００６８】
図２６〜図２９は、上記図２３〜図２５の変形例となるもので、濃度が低いほど強調度合いをより高めるようにしてある。すなわち、濃度が低いときはＮ倍に強調し、濃度がより低いときはＭ倍に強調するようにしてある（Ｍ＞Ｎ）。この場合、図２９に示すように、強調のための補正値（上記Ｍ、Ｎに相当）を、２次微分値の大きさに基づいて連続可変式に変更することもできる。
【００６９】
図３０は、前記解決手法の (3)の例を示すものである。すなわち、赤外線画像Ｇ１１では、歩行者が撮像されているが、白線と信号表示のコントラストがはっきりしないものとなる。一方、可視光線画像Ｇ１２では、上記白線と信号表示のコントラストがはっきりしたものとなるが、歩行者が撮像されていないものとなっている。この可視光線画像Ｇ１２を、ＲＧＢデコーダ６１による処理を行った後、物体認識部６２でもってコントラストが明瞭な白線と信号表示という特定物体を選択して、この選択された特定物体を合成処理部６３によって赤外線画像Ｇ１１に合成させる。そして、合成された画像を、目視できるように表示処理部６４で処理した画像が、画像Ｇ１３として示される。
【００７０】
図３１は、前記 (4)の解決手法の一例を示すものである。すなわち、赤外線画像Ｇ２１のままでは、前方車両が不鮮明であり、白線も不鮮明となる。図３１では、レーザレーダ７１からの出力を受ける位置変換部７２によって、前方物体としての前方車両までの距離が検出される。一方、領域抽出部７３によって、赤外線画像Ｇ２１のうち位置変換部７２によって検出される距離内にある特定物体が抽出される。そして抽出された特定物体（実施形態では前方車両と前方車両までにある白線）が強調されて、表示処理部７４を経て処理画像Ｇ２２として表示される。
【００７１】
図３２、図３５は、前記 (5)の解決手法の一例を示すものである。すなわち、図３２に示すように、白線は、路面が乾燥しているときは画像Ｇ３２で示すように背景が暗く、白線が明るく表示されるが、雨天時では路面が濡れるために、背景が明るく、白線が暗くなるように反転されて、白線が認識しずらいものとなる。このため、外部環境検出手段としての外界センサ８１（実施形態では降雨センサ）からの出力を受ける乾湿判定部８２が、路面の濡れ具合を判定して、路面が濡れていると判定されたときは、赤外線画像Ｇ３１が反転処理部８３によって反転処理されて、赤外線画像Ｇ３１における背景が暗く、赤外線画像Ｇ３１における白線が明るくなるように反転処理される。反転処理された画像は、表示処理部８４を経て、処理画像Ｇ３２として表示される。路面が濡れていると判定されたときの赤外線画像Ｇ２１の濃度と、処理画像Ｇ３２の表示濃度との関係が図３３に示される。
【００７２】
以上実施形態について説明したが、本発明はこれに限らず、例えば次のような場合をも含むものである。カメラにより撮像される環境としては、例えば自動車の後方や側方、さらには自動車以外の船舶や列車等の乗り物にカメラを搭載したものでもよく、さらにはカメラは所定の一定位置に設置されて、この一定位置の周辺環境を撮像するものであってもよい。センサ等の各種部材は、その機能の上位表現に手段の名称を付して表現することができる。また、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。さらに、本発明は、環境認識方法として表現することも可能である。
【図面の簡単な説明】
【図１】自動車に本発明が適用された場合のカメラ、表示部の配置例を示す図。
【図２】カメラと表示部と運転者位置との好ましい設定例を示す図。
【図３】カメラと表示部と運転者位置との好ましい他の設定例を示す図。
【図４】カメラヘッドの一例を示す簡略系統図。
【図５】カメラヘッドの他の例を示す簡略系統図。
【図６】ウィンドウに設けた表示部の好ましい設定例を示す説明図。
【図７】赤外線画像可視光線画像とに基づいて、表示部へ表示する表示画像を得るための全体制御系統図。
【図８】赤外線画像と可視光線画像とに基づいて画像処理される内容を示す系統図。
【図９】物体放射量を推定するための系統図。
【図１０】可視光線の反射状況を示す説明図。
【図１１】赤外線の反射状況を示す説明図。
【図１２】可視光線カメラのレンズ系を示す図。
【図１３】赤外線カメラのレンズを所定温度に維持するための一例を示す簡略側面図。
【図１４】図１３のレンズを正面から見たときの図。
【図１５】赤外線画像の濃度に基づいて画像処理する一例を示す図。
【図１６】赤外線画像の濃度に基づいて画像処理する一例を示す図。
【図１７】赤外線画像の濃度に基づいて画像処理する一例を示す図。
【図１８】赤外線画像を２次微分に基づいて画像処理する一例を示す図。
【図１９】赤外線画像を２次微分に基づいて画像処理する一例を示す図。
【図２０】赤外線画像を２次微分に基づいて画像処理する一例を示す図。
【図２１】２次微分フィルタの設定例を示す図。
【図２２】２次微分フィルタの他の設定例を示す図。
【図２３】赤外線画像を２次微分に基づいて画像処理する別の例を示す図。
【図２４】赤外線画像を２次微分に基づいて画像処理する別の例を示す図。
【図２５】赤外線画像を２次微分に基づいて画像処理する別の例を示す図。
【図２６】赤外線画像を２次微分に基づいて画像処理するさらに別の例を示す図。
【図２７】赤外線画像を２次微分に基づいて画像処理するさらに別の例を示す図。
【図２８】赤外線画像を２次微分に基づいて画像処理するさらに別の例を示す図。
【図２９】図２６〜図２８の例での２次微分の補正値の設定例を示す図。
【図３０】赤外線画像を可視光線画像に基づいて補正する例を示す図。
【図３１】赤外線画像をレーザレーダを用いて補正する例を示す図。
【図３２】赤外線画像を外界センサを用いて補正する例を示す図。
【図３３】図３２の補正の内容を示す図。
【符号の説明】
１自動車
２カメラヘッド
４画像合成用コントロ−ラ
７ＨＵＤ（ヘッドアップディスプレイ装置）
７ａ表示部
１３赤外線カメラ
１４可視光線カメラ
【発明の属する技術分野】
本発明は、赤外線カメラと可視光線カメラとを用いて、周囲環境を明確に認識できるようにした環境認識装置に関するものである。
【０００２】
例えば、船舶、列車、自動車等の乗り物にあっては、安全確保のために、前方の状況つまり前方の環境状態を明確に認識することが望まれ、このためカメラによって撮像された前方環境状態を運転者に目視し易い位置に表示することが行われている。カメラを、可視光線を用いて撮像する可視光線カメラとした場合は、夜間や、雨、霧、雪等の悪天候のときに、照明のない道路や対向車のグレアによって、歩行者の存在認識や前方走行路の状況変化等の認識が不十分となり易い。
【０００３】
また、カメラとして、赤外線を用いて撮像する赤外線カメラを用いることが特開平２−１５８９００号公報に開示されている。この赤外線カメラを用いた場合は、夜間時や悪天候のときでも、前方物体を撮像することが可能となり、可視光線カメラで撮像する場合よりも有利となる。
【０００４】
【発明が解決しようとする課題】
赤外線カメラで撮像した場合、歩行者や対向車のように高い熱放射物体を検出することは可能であっても、例えば路面に描かれた走行区分線（白線）のような低い熱放射物体との区別が十分つけにくいものとなり、赤外線カメラにより撮像した画像のみでは周囲環境を十分認識することが難しいものとなる。
【０００５】
本発明は以上のような事情を勘案してなされたもので、その目的は、夜間時や悪天候のときでも、周囲環境にある特に安全上問題となる物体の存在をより明確に認識できるようにした環境認識装置を提供することにある。
【０００６】
【課題を解決するための手段】
前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、特許請求の範囲における請求項１に記載のように、
周囲の環境状態を赤外線を用いて撮像する赤外線カメラと、
前記赤外線カメラとほぼ同一位置での環境状態を可視光線を用いて撮像する可視光線カメラと、
可視光域の周辺光を計測する周辺光計測手段と、
前記可視光線カメラからの反射光を計測する反射光計測手段と、
前記周辺光計測手段と反射光計測手段からの出力に基づいて、可視光域での反射率を算出する反射率算出手段と、
前記反射率算出手段により算出された反射率に基づいて、赤外線域での反射率を推定する赤外線反射率推定手段と、
赤外線域の周辺光を計測する赤外線用周辺光計測手段と、
前記赤外線反射率推定手段により推定された赤外線反射率と前記赤外線用周辺光計測手段により計測された赤外線域の周辺光とに基づいて、赤外線域での反射量を推定する赤外線反射量推定手段と、
前記赤外線カメラにより計測された赤外線放射量と前記赤外線反射量推定手段により推定された赤外線反射量とに基づいて、物体の放射量を推定する物体放射量推定手段と、
前記物体放射量推定手段により推定された物体放射量を画像に変換する画像変換手段と、
前記画像変換手段により変換された画像を表示する画像表示手段と、
を備えたものとしてある。上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項２以下に記載のとおりである。
【０００７】
【発明の効果】
請求項１によれば、夜間時や悪天候時であっても、赤外線カメラによって高い熱放射物体である人間や車を撮像つまり明確に補足することができ、しかも可視光線カメラによって得られた画像を差し引くことにより、安全上特に問題となる人間や車をそれ以外のものと十分コントラストを付けて表示することができ、安全上必要な物体を明確に表示つまり認識させる上で好ましいものとなる。特に、高い熱放射体である特定物体を、より明確に認識、表示させることができる。
【０００８】
請求項２によれば、自動車において、前方の状況を明確に認識する上で好ましいものとなる。
【０００９】
請求項３によれば、赤外線カメラにより得られる画像に対して、赤外線カメラでは十分に補足できないが可視光線カメラによっては明確に補足される画像を足し合わせて、全体として両カメラの利点を生かした画像を表示させることができる。
請求項４、請求項５によれば、表示される画像をコントラストがより強調されたものとして、表示された画像の認識度合いを高める上で好ましいものとなる。
【００１０】
請求項６によれば、可視光線カメラでは明確に撮像つまり補足されるが、赤外線カメラでは十分撮像つまり補足されにくい特定物体を明確に表示させる上で好ましいものとなる。
請求項７によれば、レーザレーダで測定される所定距離にある特定物体を、明確に表示させる上で好ましいものとなる。
請求項８によれば、外部環境に応じて撮像された画像が変化され易い特定物体を明確に表示させる上で好ましいものとなる。
【００１１】
【発明の実施の形態】
図１において、自動車１の前端部に、自動車前方の環境状況を撮像するためのカメラヘッド２が装備されている。このカメラヘッド２は、後述するように、赤外線カメラと可視光線カメラとを有している。カメラヘッド２は、その撮像方向（カメラ位置）がカメラコントロ−ラ３により制御されて、各カメラにより撮像された画像が、合成／画像処理用のコントロ−ラ４を得て、ＨＵＤ（ヘッドアップディスプレイ装置）７に入力される。ＨＵＤ７は、運転席の直前方にあるウィンドウ６に設けた画像表示部としての表示部７ａを制御する。
【００１２】
図２は、カメラヘッド２（カメラ）と表示部７ａとの好ましい設定例を示す。この図２において、車体の前後方向中心線が符合ＯＢＬで示され、このＯＢＬと平行でかつ運転者の中心（視線の上での中心）を通る視線中心線が符合ＩＬで示される。カメラヘッド２と表示部７ａとはそれぞれ視線中心線ＩＬ上にその中心が位置するように設定されている。そして、カメラヘッド２の視野角は視線中心線ＩＬを中心に左右同じ大きさに設定されている。このような設定により、カメラヘッド２により検出されて表示部７ａに表示される表示画像と運転者が実際に前方物体を目視したときの方向感覚とを一致させることができる。
【００１３】
図３は、図２の変形例を示す。すなわち、運転者の左右の視野は、通常運転席側方向視野角よりも助手席側方向視野角の方が大きくなるので、この運転者の左右の視野角の相違に対応して、カメラヘッド２の左右の視野角の大きさが設定されている。このように設定した場合、カメラヘッド２の視野角と運転者の視野角とが一致されることになるが、表示部７ａの中心を視野線ＩＬと一致させたままでは、左右の方向感覚が、表示部７ａに表示された画像と運転者が実際に前方物体を目視したときとで相違してしまうことになる。このような相違を解消するため、表示部７ａの中心を視野角の大きい助手席側へオフセットさせて、当該表示部７ａを配置してある。
【００１４】
図４は、カメラヘッド２の具体例が示される。この図４において、１１はカメラハウジングであり、その内部には、可視光線は反射するが赤外線は通過させるミラー１２と、赤外線を用いて撮像する赤外線カメラ１３と、可視光線を用いて撮像する可視光線カメラ１４とが装備されている。前方からの光が、可視光線および赤外線を共に透過する保護フィルタ１５を通過した後、可視光線のみがミラー１２で略９０度偏向されて可視光線カメラ１４へ入力される一方、ミラー１２を通過した赤外線が赤外線カメラ１２に入力される。可視光線カメラ１４は、３軸方向に位置調整可能な雲台１６に搭載されていて、赤外線カメラ１３との光軸合わせの微調整が可能とされている。
【００１５】
図５は、図４の変形例を示すものである。この図５の例では、ミラーとして、１２Ａ、１２Ｂの２種類用いられている。前方に位置するミラー１２Ａは、可視光線を反射するが赤外線を通過するものとなっており、ミラー１２Ａで略９０度反射された可視光線が可視光線カメラ１４に入力される。また、後方に位置するミラー１２Ｂは、赤外線を反射するもので、ミラー１２Ａを通過した赤外線がミラー１２Ａと同一方向へ略９０度反射されて、赤外線カメラ１３に入力される。なお、可視光線カメラ１４は３軸方向に位置調整可能な雲台１６Ａに搭載され、赤外線カメラ１３は３軸方向に位置調整可能な雲台１６Ｂに搭載され、この両方の雲台１６Ａ、１６Ｂを調整することによって、両カメラ１３と１４との光軸合わせが行われる。
【００１６】
図６は、ＨＵＤ７の好ましい設定例であり、特に前方車両等からの外乱光に邪魔されずに、ＨＵＤ７によって運転者の直前方のウィンドウ６に表示される画像を、運転者が明確に視認できるようにしてある。すなわち、運転者の直前方のウィンドウ６内面には高反射被膜からなる表示部７ａが設けられると共に、表示部７ａの直前方位置において液晶、ＥＣなどの遮光素子１７が挟み込まれている。この遮光素子１７に対する通電を制御することにより、遮光素子１７による遮光のレベルが調整可能とされている。遮光レベル調整のために、表示部７ａ付近のウィンドウ６には外乱光の強さを検出する光センサ１８が設けられ、光りセンサ１８での検出信号が、遮光素子１７用のコントロ−ラ１９に入力される。コントロ−ラ１９は、光センサ１８で検出される外乱光が強いほど、遮光素子１７の遮光レベルが強くなるように、遮光素子１７に対する通電を制御する。
【００１７】
図７は、赤外線カメラ１３で撮像された画像と可視光線カメラ１４で撮像された画像とを合成して表示部７ａにより表示させる画像処理回路の一例を示すものであり、図１におけるコントロ−ラ４の内容に相当する。この図７において、可視光線カメラ１４からの撮像信号が、画像反転装置２１により反転された後、位置合わせ装置２２によって赤外線カメラ１３で撮像された画像との位置合わせの処理が行われて、この位置合わせ処理後の画像が、映像合成装置２３へ入力される。この映像合成装置２３には、赤外線カメラ１３により撮像された画像も入力されて、両カメラ１３と１４とで撮像された画像が当該合成装置２３によって後述するように合成されることになる。
【００１８】
合成装置２３からの合成映像と、位置合わせ装置２２からの信号と、赤外線カメラ１３からの撮像画像とが、認識処理装置２４に入力される。認識処理装置２４では、合成装置２３での合成映像が運転者が認識し易いように後述するように処理されるが、この認識処理装置２４から合成装置２３に対して合成レベル信号が出力されて、合成装置２３は、入力される合成レベル信号に応じたレベルでもって、両カメラ１３、１４での撮像画像を合成する。合成装置２３からの合成映像と、認識処理装置２４からの認識結果とが映像加工装置２５に入力されて、この加工装置２５での加工後の映像（運転者に目視可能な状態での映像に加工）が、ＨＵＤ７に出力される（表示部７ａに表示される）。
【００１９】
図８は、本発明の制御内容を図式的に示すもので、図７における合成装置２３と認識処理装置２４の機能内容に相当する。まず、可視光線カメラ１４によって撮像された画像がＧ１で示されるが、ヘッドライト３１ａを点灯させた対向車３１（図８では、点灯状態にあるヘッドライトのみ符合３１ａを付してある）と、対向車３１の脇に居る歩行者３２と、走行路の区分線となる白線３３とが撮像される。ただし、夜間であって歩行者３２の付近が暗いために、ヘッドライト３１ａと白線３３とが明確に撮像されているが（実線で示す）、対向車３１のボディ輪郭や、歩行者３２はほとんど識別できないものとなっている（非常に暗い状態で、破線で示す）。なお、歩行者３２よりも対向車３１のボディ輪郭の方が多少明瞭となっている。
【００２０】
赤外線カメラ１３によって撮像された画像が、Ｇ２として示される。この画像Ｇ２では、高熱放射体である歩行者３２と対向車３１のボディ輪郭とは明瞭に撮像されるが、低熱放射体である白線３３は全く撮像されていないものとなっている。画像Ｇ３は、歩行者３２を特に強調して表示するもので、このため、画像Ｇ２から画像Ｇ１を差し引いた画像に対して（減算処理装置３５による差し引き処理）、特に歩行者３２を特定する処理（認識処理装置２４）を行って、歩行者３２のみを特定物体として表示されたものとなっている（このために、可視光線カメラ１４からの反射光に基づいて後述するように反射率を推定する反射率推定３４の処理が行われる）。
【００２１】
画像Ｇ４は、各画像Ｇ１とＧ２とＧ３とを合成して得た画像となっている（加算処理装置３６による加算処理）。より具体的には、画像Ｇ１から物体放射量が所定量以上の領域のもの（歩行者３２と対向車３１が対応）を差し引いた画像（白線３３が相当）を、画像Ｇ２に加算する。そして、加算された画像に、画像Ｇ３をさらに加算して、画像Ｇ４が得られる。これにより画像Ｇ４は、歩行者３２が特に強調されて極めて明瞭に表示され、対向車３１もヘッドライト３１ａが点灯された状態でかなり明瞭に表示され、さらに白線３３も明瞭に表示されたものとなる。
【００２２】
ここで、画像Ｇ３をＨＵＤ７に表示させることもできる。また、画像Ｇ２から画像Ｇ１を差し引いた画像をＨＵＤ７に表示させることもできる（高熱放射体となる対向車３１と歩行者３２のみが強調された画像の表示）。さらに、画像Ｇ２に対して、画像Ｇ１でのみ明瞭に表示されている部分（領域で、白線３３が相当する）を加算した画像をＨＵＤ７に表示させることもできる（画像Ｇ４において、対向車３１のヘッドライト３１ａが消灯状態に近い状態となるがそのボディ輪郭がより明瞭になるー画像Ｇ２での対向車３１の画像と同じ状態）。
【００２３】
図９は、可視光線の物体からの反射率に基づいて物体放射量（物体の有する固有の赤外線放射量で、この物体放射量を知ることにより物体の識別が可能）を推定して、物体放射量から特定の物体をＨＵＤ７に表示させる手法を示す。すなわち、計測手段４１により計測された可視光域の周辺光と、可視光線カメラ１４により計測される反射光とに基づいて、可視光域での反射率が算出手段４２により算出される。算出された可視光域での反射率に基づいて、赤外線域での反射率が推定手段４３により推定される。
【００２４】
一方、計測手段４４により計測された赤外線域の周辺光と、推定手段４３により推定された反射率とに基づいて、赤外線域での反射量が推定手段４５により推定される。赤外線カメラ１３により計測される放射量と推定手段４５での推定放射量とに基づいて、物体放射量が推定手段４６により推定される。そして、推定手段４６により推定された物体放射量に基づいて、画像変換手段４７により画像変換されて（物体放射量特有の特定物体への画像変換）、この画像変換された画像がＨＵＤ７に表示される。
【００２５】
図１０〜図１２、および以下の式１〜式１８を参照しつつ、図９での物体放射量を得るための具体的な推定手法の一例について説明する。まず、図１０は、物体（被写体）からの可視光線の反射状況を示すものであり、周辺光が物体で反射されたときの反射光は、物体の表面特性（反射率と反射角度）に依存する。一方、図１１は、物体（被写体）からの赤外線の反射状況を示すものであり、周辺光が物体で反射されたときの反射量と、物体とのものからの放射量とが加算された値が赤外線カメラ１３により検出されることになる。ただし、赤外線の場合でも、周辺光が物体で反射さされたときの反射量は物体の表面特性（反射率と反射角度）に依存するということは、可視光線と同じである。
【００２６】
図１２は、可視光線の反射率を算出するときの前提となる光学系を示すものであり、この図１２において、物体の反射率をＲ、面積をＡとし、物体を光束ＦOで照明し、ＦナンバーＦN のレンズを距離ｌだけ離して置いてある。像の倍率をｍとすれば、像はレンズからｍｌの位置に結像し、面積はｍ2 Ａとなる。このとき、撮像面に入射する光束Ｆ［ｌｍ］は、式１に示すようになる。
【００２７】
【数１】
物体から反射されて単位立体角に発散する光束Ｆd は、式２に示すようになる。
【００２９】
【数２】
レンズ絞り２ｒを通る光束は全て撮像面に達するから、Ｆd に絞りの張る立体角を掛けて、レンズ透過率を乗ずる（式３）。
【００３１】
【数３】
レンズの焦点距離をｆとすると、前述したレンズのＦナンバー、レンズ倍率に対して、式４の関係が成立する。
【００３３】
【数４】
さらに、下記の式５〜式８の関係が成立する。
【００３５】
【数５】
【数６】
【数７】
【数８】
普通の撮像では、レンズから被写体までの距離ｌは、撮像面までの距離よりも十分長いので、ｍよりもｌが十分大きいとして、式９が成立する。
【００４０】
【数９】
計測可能な周辺光の照度をＥS とすると、推定反射率ＲS は、式１０に示すものとなる。
【００４２】
【数１０】
式１０におけるＥに関しては、実際のカメラ出力がＮＴＳＣであるので、カメラの状態量（ゲイン、オフセット、ガンマ補正値）から算出することになる。
【００４４】
上記推定反射率ＲS に基づいて、赤外線域での反射率を推定するが、その前提として、物体が選択放射体でないものとする（ほとんどの物体は選択放射体でなく、特に歩行者や自動車ボディ等の金属は選択放射体ではない）。これにより、赤外線域での反射率Ｒl は、可視光線域での反射率ＲS の関数として式１１のように示される。
【００４５】
【数１１】
計測可能な赤外線域の周辺放射量をＩS とすると、赤外線カメラ１３に入射される物体からの反射成分ＩR は、式１２に示すようになる。
【００４７】
【数１２】
赤外線カメラ１３の出力値ＩからＩR を減算すれば、物体固有の放射量ＩO が求められる（式１３）。
【００４９】
【数１３】
画像全体に以上の処理を行うと、物体固有放射量ＩO 画像が作成される。このＩO 画像を領域分割することで、材質（表面）の違いによる物体の識別ができることになる。温度、放射率が既知の物体については、ＩO 画像に対する形状認識を行わずに抽出することが可能である。物体からの放射量は、温度と波長のみに依存し、プランクの式を利用することにより求められる。波長λ1 からλ2 に感度のある赤外線カメラ１３で撮像した場合、プランクの式は、式１４に示すように示される。
【００５１】
【数１４】
２個の波長に対するＭの比はλとＴとの積であることを利用すると、式１５が成立する。
【００５３】
【数１５】
式１５中に示されている次式１６は、λＴの積のみの関数であり、数値表で与えられる。
【００５５】
【数１６】
式１６での分母は、式１７に示されるステファン・ボルツマンの式により求められる。
【００５７】
【数１７】
ここで、赤外線域での反射率ＲI は、最終的に式１８で示されることになる（ＲI という特性を持った領域が抽出可能）。
【００５９】
【数１８】
【００６１】
図１３、図１４は、温度環境にかかわらず赤外線カメラ１３により適切に撮像できるようにした場合を示す。すなわち、通常赤外線カメラ１３は、そのカメラセンサ部分は所定温度となるように温度管理されるが、レンズ部分は常温で設計されているので、このレンズ部分の温度変化に起因して撮像が良好に行われない場合を生じることが考えられる。このような事態を防止するために、レンズ部分を保温器５１で覆う一方、レンズ部分の温度を検出する温度センサ５２を設けて、温度制御装置５３によって、温度センサ５２で検出される温度が所定の一定温度となるように保温器５１を制御するようにしてある。
【００６２】
図１５以下は、赤外線カメラ１３により得られる赤外線画像が、コントラストが低い、画像のエッジがなだらか（境界が不鮮明）、ノイズが多いという欠点を補うための種々の解決手法を示すものであり、例えば次の (1)〜 (5)の解決手法がある。
【００６３】
(1)赤外線画像の濃度分布に基づいて提示（表示）濃度を変化させること（シーンに影響されない画像変換が可能になる）。
(2)赤外線エッジ強度に基づいてエッジ強調量を変化させること（白線などの低コントラスト物体のみの輪郭強調が可能になり、錯視の効果を狙って交通信号情報以上のコントラスト向上が可能になる）。
(3)可視光線画像の処理結果に基づいて特定物体を選択的に表示させること（白線などの低コントラスト物体を安定して表示可能となり、信号、標識などの色情報が表示可能となる）。
【００６４】
(4)レーザレーダからの距離情報に基づいて特定物体を選択的に表示させること（停止車両など低コントラスト物体の安定したコントラスト向上が可能になる）。
(5)カメラ以外の外部環境を検出するセンサからの情報に基づいて特定物体を選択的に表示させること（例えば、濡れた路面でも白線の濃度を明るくする処理が可能になる）。
【００６５】
まず、図１５〜図１７は、上記 (1)の解決手法を示すもので、赤外線画像の濃度分布に基づいて、表示部７ａへの提示画像を変化させるようにしたものである。すなわち、図１５に示される原画像の濃度ヒストグラムを図１６に示すように平坦化した後、ガンマ変換あるいは対数変換して図１７に示すように、運転者（人間）の目の特性にあった画像を提示（表示）するようにしてある。
【００６６】
図１８〜図２２は、前記 (2)の解決手法を示すものである。すなわち、図１８に示す赤外線画像の原画像から、図１９に示すような２次微分画像を得る。そして、図１８、図１９に示す画像同士を加算して、図２０に示すような合成画像を得るようにしてある。２次微分を行うフィルタの設定例が、図２１あるいは図２２に示される。
【００６７】
図２３〜図２５は、前記 (2)の解決手法を示すもので、図１８〜図２０の変形例ともなるもので、濃度の低い部分を２次微分する場合に、濃度が低いほどより強調された２次微分画像を得るようにしてある（所定以下の濃度をＮ倍してある−Ｎは１よりも大）。
【００６８】
図２６〜図２９は、上記図２３〜図２５の変形例となるもので、濃度が低いほど強調度合いをより高めるようにしてある。すなわち、濃度が低いときはＮ倍に強調し、濃度がより低いときはＭ倍に強調するようにしてある（Ｍ＞Ｎ）。この場合、図２９に示すように、強調のための補正値（上記Ｍ、Ｎに相当）を、２次微分値の大きさに基づいて連続可変式に変更することもできる。
【００６９】
図３０は、前記解決手法の (3)の例を示すものである。すなわち、赤外線画像Ｇ１１では、歩行者が撮像されているが、白線と信号表示のコントラストがはっきりしないものとなる。一方、可視光線画像Ｇ１２では、上記白線と信号表示のコントラストがはっきりしたものとなるが、歩行者が撮像されていないものとなっている。この可視光線画像Ｇ１２を、ＲＧＢデコーダ６１による処理を行った後、物体認識部６２でもってコントラストが明瞭な白線と信号表示という特定物体を選択して、この選択された特定物体を合成処理部６３によって赤外線画像Ｇ１１に合成させる。そして、合成された画像を、目視できるように表示処理部６４で処理した画像が、画像Ｇ１３として示される。
【００７０】
図３１は、前記 (4)の解決手法の一例を示すものである。すなわち、赤外線画像Ｇ２１のままでは、前方車両が不鮮明であり、白線も不鮮明となる。図３１では、レーザレーダ７１からの出力を受ける位置変換部７２によって、前方物体としての前方車両までの距離が検出される。一方、領域抽出部７３によって、赤外線画像Ｇ２１のうち位置変換部７２によって検出される距離内にある特定物体が抽出される。そして抽出された特定物体（実施形態では前方車両と前方車両までにある白線）が強調されて、表示処理部７４を経て処理画像Ｇ２２として表示される。
【００７１】
図３２、図３５は、前記 (5)の解決手法の一例を示すものである。すなわち、図３２に示すように、白線は、路面が乾燥しているときは画像Ｇ３２で示すように背景が暗く、白線が明るく表示されるが、雨天時では路面が濡れるために、背景が明るく、白線が暗くなるように反転されて、白線が認識しずらいものとなる。このため、外部環境検出手段としての外界センサ８１（実施形態では降雨センサ）からの出力を受ける乾湿判定部８２が、路面の濡れ具合を判定して、路面が濡れていると判定されたときは、赤外線画像Ｇ３１が反転処理部８３によって反転処理されて、赤外線画像Ｇ３１における背景が暗く、赤外線画像Ｇ３１における白線が明るくなるように反転処理される。反転処理された画像は、表示処理部８４を経て、処理画像Ｇ３２として表示される。路面が濡れていると判定されたときの赤外線画像Ｇ２１の濃度と、処理画像Ｇ３２の表示濃度との関係が図３３に示される。
【００７２】
以上実施形態について説明したが、本発明はこれに限らず、例えば次のような場合をも含むものである。カメラにより撮像される環境としては、例えば自動車の後方や側方、さらには自動車以外の船舶や列車等の乗り物にカメラを搭載したものでもよく、さらにはカメラは所定の一定位置に設置されて、この一定位置の周辺環境を撮像するものであってもよい。センサ等の各種部材は、その機能の上位表現に手段の名称を付して表現することができる。また、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。さらに、本発明は、環境認識方法として表現することも可能である。
【図面の簡単な説明】
【図１】自動車に本発明が適用された場合のカメラ、表示部の配置例を示す図。
【図２】カメラと表示部と運転者位置との好ましい設定例を示す図。
【図３】カメラと表示部と運転者位置との好ましい他の設定例を示す図。
【図４】カメラヘッドの一例を示す簡略系統図。
【図５】カメラヘッドの他の例を示す簡略系統図。
【図６】ウィンドウに設けた表示部の好ましい設定例を示す説明図。
【図７】赤外線画像可視光線画像とに基づいて、表示部へ表示する表示画像を得るための全体制御系統図。
【図８】赤外線画像と可視光線画像とに基づいて画像処理される内容を示す系統図。
【図９】物体放射量を推定するための系統図。
【図１０】可視光線の反射状況を示す説明図。
【図１１】赤外線の反射状況を示す説明図。
【図１２】可視光線カメラのレンズ系を示す図。
【図１３】赤外線カメラのレンズを所定温度に維持するための一例を示す簡略側面図。
【図１４】図１３のレンズを正面から見たときの図。
【図１５】赤外線画像の濃度に基づいて画像処理する一例を示す図。
【図１６】赤外線画像の濃度に基づいて画像処理する一例を示す図。
【図１７】赤外線画像の濃度に基づいて画像処理する一例を示す図。
【図１８】赤外線画像を２次微分に基づいて画像処理する一例を示す図。
【図１９】赤外線画像を２次微分に基づいて画像処理する一例を示す図。
【図２０】赤外線画像を２次微分に基づいて画像処理する一例を示す図。
【図２１】２次微分フィルタの設定例を示す図。
【図２２】２次微分フィルタの他の設定例を示す図。
【図２３】赤外線画像を２次微分に基づいて画像処理する別の例を示す図。
【図２４】赤外線画像を２次微分に基づいて画像処理する別の例を示す図。
【図２５】赤外線画像を２次微分に基づいて画像処理する別の例を示す図。
【図２６】赤外線画像を２次微分に基づいて画像処理するさらに別の例を示す図。
【図２７】赤外線画像を２次微分に基づいて画像処理するさらに別の例を示す図。
【図２８】赤外線画像を２次微分に基づいて画像処理するさらに別の例を示す図。
【図２９】図２６〜図２８の例での２次微分の補正値の設定例を示す図。
【図３０】赤外線画像を可視光線画像に基づいて補正する例を示す図。
【図３１】赤外線画像をレーザレーダを用いて補正する例を示す図。
【図３２】赤外線画像を外界センサを用いて補正する例を示す図。
【図３３】図３２の補正の内容を示す図。
【符号の説明】
１自動車
２カメラヘッド
４画像合成用コントロ−ラ
７ＨＵＤ（ヘッドアップディスプレイ装置）
７ａ表示部
１３赤外線カメラ
１４可視光線カメラ
Claims (8)
- 周囲の環境状態を赤外線を用いて撮像する赤外線カメラと、
前記赤外線カメラとほぼ同一位置での環境状態を可視光線を用いて撮像する可視光線カメラと、
可視光域の周辺光を計測する周辺光計測手段と、
前記可視光線カメラからの反射光を計測する反射光計測手段と、
前記周辺光計測手段と反射光計測手段からの出力に基づいて、可視光域での反射率を算出する反射率算出手段と、
前記反射率算出手段により算出された反射率に基づいて、赤外線域での反射率を推定する赤外線反射率推定手段と、
赤外線域の周辺光を計測する赤外線用周辺光計測手段と、
前記赤外線反射率推定手段により推定された赤外線反射率と前記赤外線用周辺光計測手段により計測された赤外線域の周辺光とに基づいて、赤外線域での反射量を推定する赤外線反射量推定手段と、
前記赤外線カメラにより計測された赤外線放射量と前記赤外線反射量推定手段により推定された赤外線反射量とに基づいて、物体の放射量を推定する物体放射量推定手段と、
前記物体放射量推定手段により推定された物体放射量を画像に変換する画像変換手段と、
前記画像変換手段により変換された画像を表示する画像表示手段と、
を備えていることを特徴とする環境認識装置。 - 請求項１において、
前記赤外線カメラと可視光線カメラと画像表示手段とがそれぞれ車両に搭載されており、
前記赤外線カメラと可視光線カメラとがそれぞれ車両前方の環境状態を撮像するように設定され、
前記画像表示手段が、運転者により目視可能な位置に設けられている、
ことを特徴とする環境認識装置。 - 請求項１において、
可視光画像から物体放射量が所定量以上の領域を差引いた画像を、前記物体放射量に基づく画像に足し合わせてなる画像が前記画像表示手段に表示される、ことを特徴とする環境認識装置。 - 請求項１において、
赤外線映像の濃度分布に基づいて前記画像表示手段に表示される画像の濃度を変化させてコントラストを向上させるようにされている、ことを特徴とする環境認識装置。 - 請求項１において、
赤外線映像のエッジ強度に基づいて前記画像表示手段に表示される画像のエッジを強調させるようにされている、ことを特徴とする環境認識装置。 - 請求項１において、
前記可視光線カメラで撮像された画像の処理結果に基づいて特定物体を選択して、該選択された特定物体が前記画像表示手段に表示される、ことを特徴とする環境認識装置。 - 請求項１において、
レーザレーダからの距離表示に基づいて特定物体を選択して、該選択された特定物体が前記画像表示手段に表示される、ことを特徴とする環境認識装置。 - 請求項１において、
前記各カメラ以外であって外部環境を検出する外部環境検出手段からの情報に基づいて特定物体を選択して、該選択された特定物体が前記画像表示手段に表示される、ことを特徴とする環境認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18425698A JP4103179B2 (ja) | 1998-06-30 | 1998-06-30 | 環境認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18425698A JP4103179B2 (ja) | 1998-06-30 | 1998-06-30 | 環境認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000019259A JP2000019259A (ja) | 2000-01-21 |
| JP4103179B2 true JP4103179B2 (ja) | 2008-06-18 |
Family
ID=16150136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18425698A Expired - Fee Related JP4103179B2 (ja) | 1998-06-30 | 1998-06-30 | 環境認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4103179B2 (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4414054B2 (ja) | 2000-03-27 | 2010-02-10 | 本田技研工業株式会社 | 物体認識装置 |
| US7075079B2 (en) * | 2001-06-27 | 2006-07-11 | Wood Roland A | Sensor for dual wavelength bands |
| JP3867542B2 (ja) * | 2001-10-09 | 2007-01-10 | 日産自動車株式会社 | 白線検出装置 |
| JP3939626B2 (ja) * | 2002-10-10 | 2007-07-04 | 本田技研工業株式会社 | 車両周辺監視装置 |
| DE10301468B4 (de) | 2002-01-18 | 2010-08-05 | Honda Giken Kogyo K.K. | Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs |
| DE10202163A1 (de) | 2002-01-22 | 2003-07-31 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge |
| DE10203421C1 (de) * | 2002-01-28 | 2003-04-30 | Daimler Chrysler Ag | Automobiles Infrarot-Nachtsichtgerät und automobiles Display |
| JP2003302470A (ja) * | 2002-04-05 | 2003-10-24 | Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai | 歩行者検出装置および歩行者検出方法 |
| US6759949B2 (en) * | 2002-05-23 | 2004-07-06 | Visteon Global Technologies, Inc. | Image enhancement in far infrared camera |
| JP2004030212A (ja) * | 2002-06-25 | 2004-01-29 | Toyota Central Res & Dev Lab Inc | 車両用情報提供装置 |
| JP3988657B2 (ja) * | 2003-02-27 | 2007-10-10 | 日産自動車株式会社 | 対象物検出装置 |
| JP2004325165A (ja) * | 2003-04-23 | 2004-11-18 | Mitsubishi Electric Corp | 異物探知装置および方法、並びに地雷探知装置 |
| JP2005025692A (ja) * | 2003-07-04 | 2005-01-27 | Suzuki Motor Corp | 車両用情報提供装置 |
| DE10348109A1 (de) * | 2003-10-16 | 2005-05-19 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung |
| JP2005184523A (ja) * | 2003-12-19 | 2005-07-07 | Matsushita Electric Ind Co Ltd | 車載監視カメラ装置 |
| JP2006060425A (ja) * | 2004-08-18 | 2006-03-02 | Olympus Corp | 画像生成方法および装置 |
| JP2006178538A (ja) * | 2004-12-20 | 2006-07-06 | Nissan Motor Co Ltd | 道路領域検出装置 |
| DE102005006290A1 (de) * | 2005-02-11 | 2006-08-24 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds |
| KR100777428B1 (ko) | 2005-07-26 | 2007-11-20 | 한국원자력연구원 | 화상처리 장치 및 방법 |
| JP4501855B2 (ja) * | 2005-12-22 | 2010-07-14 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| JP4740769B2 (ja) * | 2006-03-02 | 2011-08-03 | 日本放送協会 | 画像歪補正装置 |
| JP4814655B2 (ja) * | 2006-03-02 | 2011-11-16 | 富士通株式会社 | 路面状態判定装置および路面状態判定方法 |
| JP4932293B2 (ja) * | 2006-03-23 | 2012-05-16 | 本田技研工業株式会社 | 障害物認識装置 |
| JP5119675B2 (ja) * | 2007-02-13 | 2013-01-16 | トヨタ自動車株式会社 | 車両周辺監視装置 |
| JP4757221B2 (ja) | 2007-03-30 | 2011-08-24 | 富士フイルム株式会社 | 撮像装置及び方法 |
| EP2517170A2 (en) | 2009-12-24 | 2012-10-31 | BAE Systems PLC | Image enhancement |
| JP5243486B2 (ja) * | 2010-06-01 | 2013-07-24 | 日本電信電話株式会社 | ケーブル位置検出装置、ケーブル位置検出方法及びケーブル位置検出プログラム |
| US20130321614A1 (en) * | 2010-12-02 | 2013-12-05 | An-Sheng Liu | Driving safety device |
| CN103797528A (zh) * | 2011-09-28 | 2014-05-14 | 本田技研工业株式会社 | 生物体识别装置 |
| JP5888117B2 (ja) * | 2012-05-25 | 2016-03-16 | コニカミノルタ株式会社 | 物体検出装置 |
| CN108025670A (zh) * | 2015-10-27 | 2018-05-11 | 株式会社小糸制作所 | 车辆用灯具 |
| JP6867023B2 (ja) * | 2017-06-16 | 2021-04-28 | ディーピーティー株式会社 | 移動体用映像表示装置およびその方法 |
| JP2018139328A (ja) * | 2018-06-05 | 2018-09-06 | キヤノン株式会社 | 固体撮像装置および撮像システム |
| JP7472007B2 (ja) | 2020-12-14 | 2024-04-22 | 株式会社小糸製作所 | 画像投影システムおよび画像投影方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6228614A (ja) * | 1985-07-31 | 1987-02-06 | Komatsu Ltd | 車両の画像ホ−ミング方法 |
| JPS63246638A (ja) * | 1987-04-01 | 1988-10-13 | Tokyo Gas Co Ltd | 流体の漏洩の広域監視方法 |
| JPH04315950A (ja) * | 1991-04-15 | 1992-11-06 | Toshiba Corp | 画像処理装置 |
| JPH06273255A (ja) * | 1993-03-22 | 1994-09-30 | Mitsubishi Heavy Ind Ltd | 漏油検知方法及び装置 |
| JP4019182B2 (ja) * | 1995-07-19 | 2007-12-12 | 本田技研工業株式会社 | 視覚装置 |
| JP2850890B2 (ja) * | 1996-12-02 | 1999-01-27 | 日本電気株式会社 | 複合センサ型車両感知器 |
-
1998
- 1998-06-30 JP JP18425698A patent/JP4103179B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000019259A (ja) | 2000-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4103179B2 (ja) | 環境認識装置 | |
| US10384610B2 (en) | Rearview vision system for vehicle | |
| US9445011B2 (en) | Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation | |
| US8842176B2 (en) | Automatic vehicle exterior light control | |
| US6498620B2 (en) | Vision system for a vehicle including an image capture device and a display system having a long focal length | |
| EP0830267B1 (en) | Rearview vision system for vehicle including panoramic view | |
| EP1683668B1 (en) | Variable transmissivity window system | |
| JP4491453B2 (ja) | 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置 | |
| JP3855439B2 (ja) | 夜間運転視界支援装置 | |
| US20180015879A1 (en) | Side-view mirror camera system for vehicle | |
| CN104163133A (zh) | 使用后视镜位置的后视摄像机系统 | |
| JP2005195601A (ja) | 自動車のための運転条件を検出するシステムおよび方法 | |
| JP2005126068A (ja) | 適応画像化暗視装置 | |
| JP2001519266A (ja) | 運動物体前方たとえば自動車前方の光の状態を求める方法および装置 | |
| JP2007091186A (ja) | 車両周囲状況の撮影表示方法および撮影表示システム | |
| EP2869021B1 (en) | Multiple imager vehicle optical sensor system | |
| JPH08253059A (ja) | 車両用運転支援システム | |
| JPH0937147A (ja) | 視覚装置 | |
| JP2005033680A (ja) | 車両用画像処理装置 | |
| US20210256278A1 (en) | Method for Detecting Light Conditions in a Vehicle | |
| JP6750449B2 (ja) | 撮像装置 | |
| JPH10230805A (ja) | 自動車用運転支援装置 | |
| US11778316B2 (en) | Imaging apparatus | |
| WO2019177036A1 (ja) | 車両用映像システム | |
| JP2006157634A (ja) | 車載撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |