JP5194501B2 - 撮像素子、障害物検出装置及び方法 - Google Patents

撮像素子、障害物検出装置及び方法 Download PDF

Info

Publication number
JP5194501B2
JP5194501B2 JP2007069341A JP2007069341A JP5194501B2 JP 5194501 B2 JP5194501 B2 JP 5194501B2 JP 2007069341 A JP2007069341 A JP 2007069341A JP 2007069341 A JP2007069341 A JP 2007069341A JP 5194501 B2 JP5194501 B2 JP 5194501B2
Authority
JP
Japan
Prior art keywords
image
temperature
image sensor
far
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007069341A
Other languages
English (en)
Other versions
JP2008236062A (ja
Inventor
徳夫 藤塚
勲 青柳
香苗 村田
義輝 大村
雄一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2007069341A priority Critical patent/JP5194501B2/ja
Publication of JP2008236062A publication Critical patent/JP2008236062A/ja
Application granted granted Critical
Publication of JP5194501B2 publication Critical patent/JP5194501B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Radiation Pyrometers (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、撮像素子、障害物検出装置及び方法に関する。
日本における年間交通死亡事故の中で、夜間歩行者の死亡事故は約2割を占めている。これらの事故の多くは、運転者が前方歩行者の存在に気付くのが遅れたために発生していると考えられる。そこで、遠赤外線カメラを用いて前方の横断歩行者や走路上の歩行者を検出して運転者に報知する歩行者認知支援システムが開発されている。歩行者認知支援システムとして、遠赤外線画像を用いて歩行者、車両等の障害物を抽出する技術が開示されている(特許文献1、2参照。)。
特許文献1の歩行者検知装置は、撮像手段により得られる画像から人間と推定される領域を切り出し、切り出した人間推定領域の面積を特徴量として算出し、特徴量の時系列データからそのばらつきを示す統計量を算出し、算出した統計量が判定閾値より大きいときに人間推定領域に対応する像が歩行者であると判定する。
特許文献2の車両周辺監視装置は、CPUを備えた画像処理ユニットを有している。画像処理ユニットは、特許文献1の図1に示すように、遠赤外線を検出可能な2つの遠赤外線カメラ、ヨーレートセンサ、車速センサ、ブレーキセンサにそれぞれ接続され、車両の周辺の遠赤外画像と車両の走行状態を示す信号とから、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
特開2001−28050号公報 特開2005−354597号公報
ところで、例えば夏場に気温が上がり、歩行者と路面や外壁などの背景と温度差が小さくなる場合、あるいは雨により背景と歩行者の温度差が小さくなる場合などでは、輻射率及び温度がそれぞれ異なっていても、歩行者と背景のコントラストが低下する、あるいは同化することがある。このような条件下では、特許文献1及び2に記載されたように遠赤外画像を用いても、歩行者等の障害物を検出できなくなる問題がある。
本発明は、上述した課題を解決するために提案されたものであり、コントラストの高い画像を得て障害物を確実に検出する撮像素子、障害物検出装置及び方法を提供することを目的とする。
本発明の撮像素子は、被写体からの遠赤外線に応じた画像を生成する撮像素子基板と、前記撮像素子基板を時間的に異なる基板温度に制御する温度制御手段と、を備えている。また、本発明の撮像素子は、被写体からの遠赤外線に応じた画像を生成する第1及び第2の受光素子アレイが搭載された撮像素子基板と、前記撮像素子基板における第1及び第2の受光素子アレイの各々の領域を異なる基板温度に制御する温度制御手段と、を備えている。
本発明の障害物検出装置は、上記いずれかの撮像素子と、前記温度制御手段により異なる基板温度に制御された各々の状態で、前記撮像素子基板により生成された各々の画像に基づいて障害物を検出する障害物検出手段と、を備えている。
撮像素子基板は、被写体からの遠赤外線に応じて画像を生成する。このとき、被写体及び背景について、輻射率、温度がそれぞれ異なっていても、画像の輝度がほぼ同じになって、それらが同化することがある。そこで、温度制御装置は、撮像素子基板の基板温度を2段階以上に制御する。これにより、各画像の輝度を変えることができ、同化を回避することができる。そして、障害物検出手段は、2段階以上の基板温度に制御された各々の状態で前記撮像素子基板により生成された各々の画像に基づいて、障害物を検出する。
よって、上記発明によれば、輻射率、温度がそれぞれ異なっていても、画像の輝度がほぼ同じになってしまう場合であっても、基板温度を変えることで各画像の輝度を変えて、障害物を確実に検出することができる。
本発明は、コントラストの高い画像を得て障害物を確実に検出する。
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
[発明の原理]
絶対ゼロ度以上の物体は、すべてシュテファンボルツマンの法則に従い、遠赤外線を放出する。輻射率1.0の黒体は以下の(1)式の放射エネルギーを放出し、それ以外の物体は(2)式のように物体表面の輻射率を乗じた放射エネルギーを放出する。
E=σT[W/m] ・・・(1)
E=εσT[W/m] ・・・(2)
なお、
σ:シュテファンボルツマン定数 5.67e−8[W/mK]
ε:輻射率(0〜1.0)
T:温度[K]
である。
熱型遠赤外線カメラは、この物体からの放射エネルギー吸収による微量な温度変化を電気信号に変換し、映像化する。ここで、物体はそれぞれ材料、色、表面状態などにより、異なる輻射率をもつ。
図1は、輻射率の一例を示す図である。例えば、皮膚は0.98、アスファルトは0.95、繊維は0.9、レンガは0.8などの値をもつ。また、同一材料であっても、色や表面の凹凸・平坦性や吸収率で異なる値になる。
従来の遠赤外線カメラは、夏場の路面や外壁の温度が上昇し、歩行者との温度差が小さくなる場合や、雨で路面、外壁、歩行者すべてが冷やされ温度差が小さくなる場合など、歩行者と背景のコントラストが低下し、歩行者を認識できないという問題があった。
一般に、非接触温度計測が可能な遠赤外線カメラは、撮像素子をペルチェ素子にて22℃(295K)程度に恒温制御を行っている。これは、物体からの遠赤外線によるセンサ受光部の温度変化が1mK程度と非常に小さく、遠赤外線吸収によって発生した熱の逃げ道となる基板の温度が安定していないと、安定な測定、温度情報を出力できないからである。
図2は、熱交換が行われているときの被写体の微小面dSと遠赤外線カメラのイメージセンサの微小面dSとの関係を示す図である。遠赤外線カメラでは、被写体とセンサ間で、次の(3)式で与えられる熱交換が行われ、この輻射交換量に対応した電気信号により熱画像が生成される。
12=ψ12εεσ(T −T )[W/m] ・・・(3)
ここで、
12:全体の輻射交換量[W/m
ψ12:微小面dSからみた面Sの形態係数
ε:物体1(被写体)の輻射率0〜1.0
ε:物体2(センサ)の輻射率
:物体1(被写体)の温度
:物体2(センサ)の温度
である。
通常の遠赤外線カメラは、基板温度Tを一定に保っており、加えてセンサの輻射率を変えることはできないのでεも固定である。(3)式から分かるように、次の(4)式のように、輻射率と温度が異なる物体でも、輻射交換量が同じになることがある。
12=ψ12ε1aεσ(T1a −T
=ψ12ε1bεσ(T1b −T

ε1a(T1a −T )=ε1b(T1b −T ) ・・・(4)
なお、
ε1a:物体Aの輻射率
1a:物体Aの温度
ε1b:物体Bの輻射率
1b:物体Bの温度
である。つまり、輻射率と温度が異なる物体でも、熱画像上で同一の輝度になってしまうことがある。以下にセンサの輻射率が1.0、素子基板温度が295Kの場合の具体例を示す。
図3は、輻射率0.98、35℃(308K)の人の顔と同一輝度に映る温度であって、輻射率0.98とは異なる輻射率である物体の温度を示す図である。
図4はコントラストが良好な熱画像を示す図であり、図5はコントラストが低下した熱画像を示す図である。このように、従来の遠赤外線カメラでは、輻射率と温度が異なる物体であっても同一輝度に同化して、両者の識別ができなくなるという問題があった。
図6は、撮像素子を−3℃(270K)に保持した場合、輻射率0.98、35℃の人の顔と同じ輝度に映る温度であって、輻射率0.98とは異なる輻射率になる物体の温度を示す図である。図5及び図6に示すように、撮像素子温度を変えることで、輻射率0.98、35℃(308K)の人の顔と同一輝度になる、異なる輻射率の物体の温度を自由に変えることができる。つまり、撮像素子の温度を変えることで、輻射率と温度が異なる物体Aと物体Bが同一輝度になる条件を変えることができる。
例えば、ある物体は、撮像素子温度295Kでは背景とのコントラストが低下(同化)して識別されなかった場合であっても、撮像素子温度270Kにすることでコントラストを改善でき識別できる。
このように、撮像素子温度を変調、あるいは撮像素子温度が異なる2台以上の遠赤外線カメラを使うことで、従来、異なる輻射率で異なる温度でも、コントラストが低下して識別できなかった2つの物体を識別可能にすることができる。
図7は、基板温度を変えたときに、輻射率0.98、35℃の皮膚と同一輝度に映る温度であって、様々な値(0.8、0.9、0.95、1.0)の輻射率である物体温度(同化温度)を示す図である。同図に示すように、基板温度が被検出物体(35℃)から離れるほど、異なる輻射率で同一輝度になる温度が被検出物体から離れるようになる。次に示す障害物検出装置は、このような本発明の原理を利用したものである。
[具体的な実施形態]
図8は、本発明の実施の形態に係る障害物検出装置の構成を示す図である。障害物検出装置は、遠赤外光を集光する遠赤外線レンズ10と、撮像対象物の温度に対応した熱画像を生成する遠赤外線イメージセンサ20と、遠赤外画像に基づいて画像処理を行い、障害物を検出する画像処理部30と、を備えている。
遠赤外線イメージセンサ20は、被写体からの光線に応じて画像を生成する遠赤外線イメージセンサ基板21と、遠赤外線イメージセンサ基板21に貼り付けられた状態で当該遠赤外線イメージセンサ基板21の温度を制御する温度制御装置22と、を備えている。
温度制御装置22は、遠赤外線イメージセンサ基板21の基板温度を2段階以上に制御できるものであり、例えばペルチェ素子で構成されている。なお、温度制御装置22は、ペルチェ素子に限定されるものではなく、スターリングクーラー、ヒーター等であってもよい。本実施の形態では、温度制御装置22は、最初に遠赤外線イメージセンサ基板21の基板温度をTaに制御し、障害物が検出されなかったときに基板温度をTbに制御する。
遠赤外線イメージセンサ20は、更に、外界温度の影響を受けないように遠赤外線イメージセンサ基板21の周囲を真空状態にして封止する真空封止パッケージ23と、真空封止パッケージ23の開口部に設けられ被写体からの遠赤外線を透過して遠赤外線イメージセンサ基板21の受光面に入射させる遠赤外線透過窓24と、を備えている。
なお、遠赤外線透過窓24の代わりに、図9に示すように、遠赤外線を集光して遠赤外線イメージセンサ基板21の受光面に入射させるレンズでもある遠赤外線透過窓24aを用いてもよい。また、次のような遠赤外線イメージセンサを用いてもよい。
図10は、遠赤外線イメージセンサ20aを用いた障害物検出装置の構成を示す図である。この遠赤外線イメージセンサ20aは、ウエハレベル封止を用いた遠赤外線イメージセンサ基板21aと、遠赤外線イメージセンサ基板21aの温度を制御する温度制御装置22と、を備えている。すなわち、遠赤外線イメージセンサ20aは、図8又は図9に示す真空封止パッケージ23のない構成となっている。
画像処理部30は、図示しないCPU、ROM、RAM等を備え、所定の基板温度になった状態で遠赤外線イメージセンサ20により生成された画像(以下、熱画像という。)に基づいて障害物を検出する。
図11は、画像処理部30による障害物検出ルーチンを示すフローチャートである。本実施形態では、障害物として歩行者を検出する場合を例に挙げて説明する。
ステップS1では、画像処理部30は、図12に示すように、基板温度Taの状態で遠赤外線イメージセンサ20により生成された熱画像に基づいて、歩行者を検出する。
例えば、最初に画像処理部30は、熱画像に対してフィルタ処理を行い、熱画像内の歩行者に相当する輝度範囲を抽出する。次に画像処理部30は、抽出した輝度範囲において、歩行者の大きさや形を示す歩行者テンプレートを用いてテンプレートマッチングを行い、歩行者を検出する。なお、歩行者と背景の輝度差が小さくコントラストが低下している場合は、テンプレートマッチングを正確に行えない場合がある。
ステップS2では、画像処理部30は、歩行者を検出できたか否かを検出し、肯定判定のときはコントラストの低下がなかったので歩行者を検出でき、歩行者検出を終了し、否定判定のときはステップS3に進む。
ステップS3では、画像処理部30は、図12に示すように、遠赤外線イメージセンサ20の基板温度がTb(例えばTb<Ta)になったときの熱画像に基づいて歩行者を検出して、ステップS4に進む。
ステップS4では、画像処理部30は、歩行者を検出できたか否かを検出し、肯定判定のときはコントラストの低下がなかったので歩行者検出を終了し、否定判定のときは歩行者がドライバの視野内にないものと判断して歩行者検出を終了する。
図13は、基板温度とコントラスト低下の関係を示す図である。同図によれば、基板温度がTaでもTbでも歩行者が検出された場合、コントラスト低下は発生していない。但し、基板温度がTaのときに歩行者が検出されたものの、基板温度がTbのときに歩行者が検出されない場合、基板温度Tbでコントラスト低下が発生している。逆に、基板温度がTbのときに歩行者が検出されたものの、基板温度がTaのときに歩行者が検出されない場合、基板温度Taでコントラスト低下が発生している。なお、基板温度Ta、Tbのいずれでも歩行者が検出されない場合は、視野内に検出対象である歩行者がいない(コントラスト低下の判断不可能)と考えられる。
ここで、上記の例では、画像処理部30は、基板温度Taにおける障害物検出処理の結果に基づいて、基板温度Tbにおける障害物検出処理の有無を判断したが、基板温度Taのときの障害物検出処理の結果によらず、基板温度Tbにおける障害物検出処理を行い、図13の関係に基づいて、基板温度を選択・設定してもよい。
以上のように、本発明の実施の形態に係る障害物検出装置は、所定の基板温度で撮影したときに障害物と背景との輝度差があまりなくコントラスト低下が発生している場合に、基板温度を変えることにより、障害物と背景との輝度差を大きくしてコントラスト低下を防止する。この結果、障害物検出装置は、障害物と背景とのコントラストの低下によって障害物が検出できなくなることを防止して、確実に障害物を検出することができる。
すなわち、上記障害物検出装置は、適宜、環境によるコントラスト低下があった場合は、基板温度を変えてコントラストを上げることができる。このため、異なる輻射率異なる温度で同一あるいは非常に近い放射エネルギーを出す物体であっても、その物体を確実に検出することができる。
また、路面や外壁などは、材質、日の当たり具合、凹凸などの影響で、必ずしも均一の輝度には映らない。同様に、歩行者も衣服の影響や、重ね着の枚数、体からの熱の伝わり具体、日の当たり具合、風向きなどの影響で、均一の輝度には映らず、体の部位ごとに異なる輝度として映る。このように、背景も歩行者も必ずしも均一の輝度ではなく、むしろお互いがバラツキを持つことが多い。
このため、背景と歩行者のコントラスト低下(同化)は、歩行者全体には起こらず、頭だけ、あるいは足だけ、手だけなど局所的に起こることが多い。図14は、足と背景が同化した例を示す図である。図15は、手と背景が同化した例を示す図である。
そこで、障害物検出装置は、基板温度が異なる状態で生成された熱画像を用いて、局所的にコントラストが高い部分だけを切り出して合成してもよい。これにより、視野全体において実際の放射エネルギーに依存しない、コントラストの高い鮮明な熱画像を生成し、障害物を確実に検出することができる。図16は、コントラストの高い部分を合成することにより生成された熱画像を示す図である。
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。
例えば、基板温度Ta、Tbは自由に設定可能である。また、基板温度はTa、Tbの2段階に設定される場合に限らず、3段階以上に設定されてもよい。この場合、画像処理部30は、複数の基板温度の中からコントラスト低下の最も少ない基板温度のときの熱画像を用いて障害物を検出すればよい。更に、基板温度は、Ta、Tbでそれぞれ固定させていたが、サイン波、方形波、Δ波などの中心値が異なる2つ以上の値に設定させてもよい。
上述した実施形態では、障害物として歩行者を例に挙げて説明したが、その他、車両、落下物、水たまり、凍結路面などであってもよい。
また、障害物検出装置は、基板温度Ta、Tbにおける熱画像に基づいて障害物検出処理を行った後、Ta、Tbと異なる最適な基板温度を設定してもよい。例えば、基板温度がTaのときに障害物が検出されず、Tb(<Ta)のときに障害物が検出された場合、基板温度をTc(<Tb)に制御してもよい。
上述した実施形態では、基板温度の変調は随時行われているが、随時行う必要はなく、条件に合わせて、時間毎、日毎、季節毎等の使用条件に応じて行われてもよい。撮影対象、撮影環境が安定しており、同一輝度になる物体や、日時などの同一輝度になる条件が予め分かっている場合は、基板温度Ta、Tbのときの撮影、コントラスト低下の判断を行わず、予め分かっている両物体が同一輝度にならない基板温度にして撮影を行ってもよい。
また、上述した障害物検出装置は、テンプレートマッチング手法を用いて障害物を検出したが、熱画像の濃度ヒストグラムを用いて障害物を検出してもよいし、それらを組み合わせた手法を用いてもよい。さらに、形状特徴に基づいて特定の大きさと縦横比をもつ障害物を検出したり、頭部、肩などの部分特徴から障害物の1つである歩行者を検出したりしてもよい。
上述した実施形態では、障害物検出装置は、遠赤外線イメージセンサ20の基板温度Ta、Tbの2段階で制御したが、以下に示すように、遠赤外線イメージセンサ20を2つ設け、各遠赤外線イメージセンサ20の基板温度をTa、Tbに設定してもよい。
図17は、2つの遠赤外線イメージセンサ20を用いた障害物検出装置の構成を示す図である。画像処理部30は、一方の遠赤外線イメージセンサ20の基板温度がTのときに障害物検出処理を実行し、障害物が検出されなかったときに、他方の遠赤外線イメージセンサ20の基板温度がTのときに障害物検出処理を実行する。
この結果、障害物検出装置は、2つの遠赤外線イメージセンサ20を使うことで基板温度の変調を省くことができ、高速にコントラスト低下の判断が可能になる。また、上記障害物検出装置は、基板温度設定後はステレオ画像を得ることができるので、一方の遠赤外線イメージセンサ20が故障したとしても、他方の遠赤外線イメージセンサ20により生成される熱画像を用いて障害物を検出することができる。なお、次のように基板温度の変調を行ってもよい。
図18は、障害物検出装置に設けられた2つの遠赤外線イメージセンサ20の基板温度の変化を示す図である。すなわち、各温度制御装置22は、同位相の三角波に基づいて、各遠赤外線イメージセンサ基板21の基板温度を制御してもよい。
また、2つの遠赤外線イメージセンサ20を1つに構成した2アレイ搭載チップである遠赤外線イメージセンサ20bを用いてもよい。
図19(A)は2アレイ搭載チップである遠赤外線イメージセンサ20bの正面図、(B)はその断面図である。遠赤外線イメージセンサ20bは、遠赤外線イメージセンサ基板25、当該遠赤外線イメージセンサ基板25上に設けられた第1の受光素子アレイ26及び第2の受光素子アレイ27、を備えている。
遠赤外線イメージセンサ基板25は、第1の受光素子アレイ26及び第2の受光素子アレイ27がそれぞれ設けられている領域25a、25cにおいては厚く形成され、第1の受光素子アレイ26及び第2の受光素子アレイ27の間の領域25bでは薄く形成されている。
受光素子アレイ形成面の反対側の面では、領域25aに温度制御装置22aが設けられ、領域25cに温度制御装置22bが設けられている。そして、温度制御装置22aは第1の受光素子アレイ26の基板温度をT℃に制御し、温度制御装置22bは第2の受光素子アレイ27の基板温度をT℃に制御する。このような構成の遠赤外線イメージセンサ20bを備えた障害物検出装置は、図18に示したものに比べて、装置の小型化を図ることができる。
輻射率の一例を示す図である。 熱交換が行われているときの被写体の微小面dSと遠赤外線カメラのイメージセンサの微小面dSとの関係を示す図である。 輻射率0.98、35℃(308K)の人の顔と同一輝度に映る温度であって、輻射率0.98とは異なる輻射率である物体の温度を示す図である。 コントラストが良好な熱画像を示す図である。 コントラストが低下した熱画像を示す図である。 撮像素子を−3℃(270K)に保持した場合、輻射率0.98、35℃の人の顔と同じ輝度に映る温度であって、輻射率0.98とは異なる輻射率になる物体の温度を示す図である。 基板温度を変えたときに、輻射率0.98、35℃の皮膚と同一輝度に映る温度であって、様々な値(0.8、0.9、0.95、1.0)の輻射率である物体温度(同化温度)を示す図である。 本発明の実施の形態に係る障害物検出装置の構成を示す図である。 他の遠赤外線イメージセンサを備えた障害物検出装置の構成を示す図である。 他の遠赤外線イメージセンサを用いた障害物検出装置の構成を示す図である。 画像処理部による障害物検出ルーチンを示すフローチャートである。 基板温度の変化を示す図である。 基板温度とコントラスト低下の関係を示す図である。 足と背景が同化した例を示す図である。 手と背景が同化した例を示す図である。 コントラストの高い部分を合成することにより生成された熱画像を示す図である。 2つの遠赤外線イメージセンサ20を用いた障害物検出装置の構成を示す図である。 障害物検出装置に設けられた2つの遠赤外線イメージセンサ20の基板温度の変化を示す図である。 (A)は2アレイ搭載チップである遠赤外線イメージセンサの正面図、(B)はその断面図である。
符号の説明
10 遠赤外線レンズ
20、20a、20b 遠赤外線イメージセンサ
21、25 遠赤外線イメージセンサ基板
22、22a、22b 温度制御装置
23 真空封止パッケージ
24 遠赤外線透過窓
30 画像処理部

Claims (13)

  1. 被写体からの遠赤外線に応じた画像を生成する撮像素子と、
    前記撮像素子が第1温度の場合に、第1画像を生成する第1画像生成手段と、
    前記撮像素子が第2温度の場合に、第2画像を生成する第2画像生成手段と、
    前記第1画像及び前記第2画像に基づき被検出物を検出する検出手段と、
    を備え、
    前記第1温度は、前記第2温度と異なる、
    被検出物検出システム。
  2. 被写体からの遠赤外線に応じた画像を生成する第1撮像素子と、
    被写体からの遠赤外線に応じた画像を生成する第2撮像素子と、
    前記第1撮像素子が第1温度の場合に、第1画像を生成する第1画像生成手段と、
    前記第2撮像素子が第2温度の場合に、第2画像を生成する第2画像生成手段と、
    前記第1画像及び前記第2画像に基づき被検出物を検出する検出手段と、を備え、
    前記第1温度は、前記第2温度と異なる、
    被検出物検出システム。
  3. 前記検出手段は、
    前記第1画像及び前記第2画像を合成した画像に基づき被検出物を検出する、
    請求項1または2のいずれか記載の被検出物検出システム。
  4. 前記検出手段は、
    前記第1画像のコントラストの高い部分及び前記第2画像のコントラストの高い部分を合成した画像に基づき被検出物を検出する、
    請求項1乃至3のいずれか1項に記載の被検出物検出システム。
  5. 被写体からの遠赤外線に応じた画像を生成する撮像素子と、
    前記撮像素子が第1温度の場合に、第1画像を生成する第1画像生成手段と、
    前記撮像素子が第2温度の場合に、第2画像を生成する第2画像生成手段と、
    前記第1画像に基づいて、被検出物を検出する第1検出手段と、
    前記第2画像に基づいて、被検出物を検出する第2検出手段と、
    被検出物の有無を判断する判断手段と、
    を備え、
    前記判断手段は、前記第1検出手段および前記第2検出手段の少なくともいずれかが被検出物を検出した場合には、被検出物が有るものと判断し、
    前記判断手段は、前記第1検出手段および前記第2検出手段が被検出物を検出しなかった場合には、被検出物が無いものと判断し、
    前記第1温度は、前記第2温度と異なる、
    被検出物検出システム。
  6. 被写体からの遠赤外線に応じた画像を生成する第1撮像素子と、
    被写体からの遠赤外線に応じた画像を生成する第2撮像素子と、
    前記第1撮像素子が第1温度の場合に、第1画像を生成する第1画像生成手段と、
    前記第2撮像素子が第2温度の場合に、第2画像を生成する第2画像生成手段と、
    前記第1画像に基づいて、被検出物を検出する第1検出手段と、
    前記第2画像に基づいて、被検出物を検出する第2検出手段と、
    被検出物の有無を判断する判断手段と、
    を備え、
    前記判断手段は、前記第1検出手段および前記第2検出手段の少なくともいずれかが被検出物を検出した場合には、被検出物が有るものと判断し、
    前記判断手段は、前記第1検出手段および前記第2検出手段が被検出物を検出しなかった場合には、被検出物が無いものと判断し、
    前記第1温度は、前記第2温度と異なる、
    被検出物検出システム。
  7. 被写体からの遠赤外線に応じた画像を生成する撮像素子と、
    前記撮像素子が第1温度の場合に、第1画像を生成する第1画像生成手段と、
    前記第1画像に基づいて、被検出物を検出する第1検出手段と、
    前記第1検出手段により被検出物が検出されない場合に、前記撮像素子を第2温度に制御する第2温度制御手段と、
    前記第2温度制御手段により前記撮像素子が第2温度に制御された際に、第2画像を生成する第2画像生成手段と、
    前記第2画像に基づいて、被検出物を検出する第2検出手段と、
    を備え、
    前記第1温度は、前記第2温度と異なる、
    被検出物検出システム。
  8. 被写体からの遠赤外線に応じた画像を生成する撮像素子と、
    前記撮像素子が第1温度の場合に、第1画像を生成する第1画像生成手段と、
    前記第1画像に基づいて、被検出物を検出する第1検出手段と、
    前記第1画像のコントラストが所定値以下の場合に、前記撮像素子を第2温度に制御する第2温度制御手段と、
    前記第2温度制御手段により前記撮像素子が第2温度に制御された際に、第2画像を生成する第2画像生成手段と、
    前記第2画像に基づいて、被検出物を検出する第2検出手段と、
    を備え、
    前記第1温度は、前記第2温度と異なる、
    被検出物検出システム。
  9. 前記撮像素子を第1温度に制御する第1温度制御手段と、
    前記撮像素子を第2温度に制御する第2温度制御手段と、
    を備えた請求項1、5、7、8のいずれか1項に記載の被検出物検出システム。
  10. 前記第1撮像素子を第1温度に制御する第1温度制御手段と、
    前記第2撮像素子を第2温度に制御する第2温度制御手段と、
    を備えた請求項2または6のいずれか記載の被検出物検出システム。
  11. 前記第1温度制御手段は、周期的に前記撮像素子を第1温度に制御し、
    前記第2温度制御手段は、周期的に前記撮像素子を第2温度に制御する、
    請求項9記載の被検出物検出システム。
  12. 前記第1温度制御手段は、周期的に前記第1撮像素子を第1温度に制御し、
    前記第2温度制御手段は、周期的に前記第2撮像素子を第2温度に制御する、
    請求項10に記載の被検出物検出システム
  13. 前記第1撮像素子及び前記第2撮像素子を1つに構成した2アレイ搭載チップを備える、
    請求項2、6または10のいずれか1項に記載の被検出物検出システム。
JP2007069341A 2007-03-16 2007-03-16 撮像素子、障害物検出装置及び方法 Expired - Fee Related JP5194501B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007069341A JP5194501B2 (ja) 2007-03-16 2007-03-16 撮像素子、障害物検出装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007069341A JP5194501B2 (ja) 2007-03-16 2007-03-16 撮像素子、障害物検出装置及び方法

Publications (2)

Publication Number Publication Date
JP2008236062A JP2008236062A (ja) 2008-10-02
JP5194501B2 true JP5194501B2 (ja) 2013-05-08

Family

ID=39908368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007069341A Expired - Fee Related JP5194501B2 (ja) 2007-03-16 2007-03-16 撮像素子、障害物検出装置及び方法

Country Status (1)

Country Link
JP (1) JP5194501B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021014857A1 (ja) * 2019-07-24 2021-01-28 Agc株式会社 車両用外装部材、及び遠赤外カメラ付き車両用外装部材
EP4071122A4 (en) * 2019-12-06 2023-12-06 Agc Inc. GLASS FOR VEHICLES, AND CAMERA UNIT

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2630604B2 (ja) * 1987-11-26 1997-07-16 本田技研工業株式会社 車両の後方視界表示装置
JP2752679B2 (ja) * 1989-01-14 1998-05-18 株式会社チノー 人体検出装置
JPH0399952A (ja) * 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH0816941A (ja) * 1994-06-30 1996-01-19 Atsumi Electron Corp Ltd 物体検知方法、物体検知システム及びそれに用いる焦電素子
JP3573040B2 (ja) * 1999-05-07 2004-10-06 三菱電機株式会社 赤外線カメラ及び赤外線カメラシステム
JP3948956B2 (ja) * 2001-12-27 2007-07-25 三菱電機株式会社 赤外線カメラ
JP2004282299A (ja) * 2003-03-14 2004-10-07 Mitsubishi Electric Corp 赤外線カメラ
JP3892422B2 (ja) * 2003-08-11 2007-03-14 ユーディナデバイス株式会社 波長測定装置、受光ユニット及び波長測定方法
JP4385255B2 (ja) * 2004-06-10 2009-12-16 日本電気株式会社 ボロメータ型赤外線検出器及び残像の低減方法
JP4734884B2 (ja) * 2004-09-30 2011-07-27 日産自動車株式会社 人物検出装置及び方法
JP2006226699A (ja) * 2005-02-15 2006-08-31 Mitsubishi Electric Corp 非冷却赤外線カメラ
JP4720341B2 (ja) * 2005-07-25 2011-07-13 日本電気株式会社 ボロメータ型赤外線検知素子及び検知器

Also Published As

Publication number Publication date
JP2008236062A (ja) 2008-10-02

Similar Documents

Publication Publication Date Title
JP4814655B2 (ja) 路面状態判定装置および路面状態判定方法
JP6667596B2 (ja) 物体検出システム、それを用いた自律走行車、およびその物体検出方法
JP5354767B2 (ja) 物体検知装置
Taraba et al. Utilization of modern sensors in autonomous vehicles
US8818079B2 (en) 3D radiometry
JP6894775B2 (ja) 測距システム及びその制御方法
EP2187189B1 (en) Far infrared imaging apparatus, physical quantity detection method, and obstacle estimation apparatus and method
JP5194501B2 (ja) 撮像素子、障害物検出装置及び方法
WO2021069503A1 (en) Multi-sensory measuring system and method for transportation vehicle operating systems
KR20210131048A (ko) 열화상을 이용한 실내 열쾌적도를 현장평가하기 위한 장치 및 이를 위한 방법
CN115512307A (zh) 广域空间红外多点实时火灾探测方法及系统、定位方法
JP2008022454A (ja) 障害物検出システム及び障害物検出方法
CN111753629A (zh) 车辆环境的环境数据处理
US20220155149A1 (en) Object Recognition Device and Object Recognition Method
US11544918B2 (en) Vehicle to infrastructure system and method with long wave infrared capability
Yamada et al. A vision sensor having an expanded dynamic range for autonomous vehicles
JP2010092353A (ja) 画像処理装置及び画像処理方法
Altaf et al. Usage of IR sensors in the HVAC systems, vehicle and manufacturing industries: A review
JP6135871B2 (ja) 光源位置検出装置、光源追尾装置、制御方法およびプログラム
JP2013024761A (ja) 撮像方法および撮像装置
JP2008256367A (ja) 赤外線撮像素子、障害物検出装置及び方法
KR101893501B1 (ko) 통합기상검지기
KR102329413B1 (ko) 노면의 휘도를 판별하여 블랙아이스 구간을 판별하는 방법
US11653808B2 (en) Robot cleaner and controlling method thereof
KR20220085006A (ko) 적외선 이미징-관련 불확실성 측정 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5194501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees