JP5031617B2 - 関連領域特定装置及び方法、並びに画像認識装置及び方法 - Google Patents

Description

本発明は、例えば可視光カメラ、赤外線カメラなどの撮像装置で撮像された画像上で、被写体中の特定種類の物体（例えば、道路標識、他の車両、歩行者、植物など）の画像認識を行う画像認識装置及び方法、並びにこのような画像認識の前処理として画像上における特定種類の物体に関連する領域を特定する或いは限定するのに好適に用いられる関連領域特定装置及び方法の技術分野に関する。

この種の画像認識装置として、ＣＣＤ（Charged Coupled Device）等から構成される可視光カメラを用いたものの他、赤外線を照射し且つその反射光を赤外線カメラで撮像するものが提案されている（特許文献１）。特許文献１によれば、反射率の高低による物体の区別ができない場合に、被写体中の物体の縦横比等を用いて、歩行者とそれ以外の道路標識等とを区別可能であるとされている。

また、照明を当てて取得した画像と照明を当てないで取得した画像との差分を取ることで、反射率の高低を検出し、これにより道路標識や道路白線を認識する画像認識装置が提案されている（特許文献２）
他方、この種の画像認識装置の周辺技術として、１４００ｎｍ（ナノメートル）の波長を持つ赤外線を利用することで、太陽光に対し頑強(ロバスト)な距離センサが開示されている（特許文献３）。

特開２００５−１５９３９２号公報 特開２００６−１１６７１号公報 特開平６−５３６１５号公報

しかしながら上述したような従来の画像認識装置によれば、取得された画像全域を対象として、一般に複雑高度である画像認識処理（即ち、コンピュータ処理）を施すので、基本的に画像認識に係る処理負担が大きいという技術的な問題点がある。特に、連続的に或いはリアルタイム的に、迅速なる画像認識が求められるような使用環境（例えば、車載カメラで撮像された画像の画像認識）においては、このように処理負担が大きいことによる弊害は大きい。

因みに、特許文献１では、専ら赤外線画像の処理で歩行者の認識を行っており、波長或いは波長域については触れられておらず、複数の波長域の利用についても何ら想定されていない。赤外線画像に可視光画像を併用することについても何ら触れられていない。特に、太陽光の影響を受ける昼間に、この装置を利用することには、著しい困難が予想される。

特許文献２では、同一のカメラによる撮像を前提としており、複数の波長域の利用については、やはり何ら想定されていない。また、例えば車載用であれば、差分を取るためには、相前後して撮像される２枚の画像間の位置合せが必要となる。しかし、この位置合せに困難が予想され、全体として実用性に欠ける。

特許文献３が開示する技術は、専ら距離センサに関するものであり、特に、カメラや画像認識とは関係がない。

本発明は、例えば上述した問題点に鑑みなされたものであり、画像認識に係る処理負担を軽減させるのに役立ち、比較的効率良く或いは比較的容易にして、画像上における被写体中の特定種類の物体に関連する関連領域を特定可能である関連領域特定装置及び方法、並びにそのような装置及び方法を用いることで迅速に或いは小規模な処理にて画像認識が可能である画像認識装置及び方法を適用することを課題とする。

本発明に係る請求項１記載の関連領域特定装置は上記課題を解決するために、被写体に向けて赤外線を照射する照射手段と、該照射された赤外線が前記被写体で反射されてなる反射光を含む赤外線を受光することにより赤外線画像を生成する赤外線撮像手段と、該生成された赤外線画像を構成する複数の画素から、前記被写体のうち特定種類の物体を示す画素を、前記複数の画素の各々における前記受光された赤外線の強度に基づいて抽出し、前記赤外線画像上における前記抽出された画素からなる領域を前記特定種類の物体に関連する関連領域として特定する抽出手段とを備える。

本発明に係る請求項９記載の画像認識装置は上記課題を解決するために、請求項１から８のいずれか一項に記載の関連領域特定装置と、前記被写体からの可視光を受光することにより可視画像を生成する可視光撮像手段と、該生成された可視画像のうち、前記特定された関連領域内にある部分に対して、画像認識処理を施す画像認識手段とを備える。

本発明に係る請求項１０記載の画像認識装置は上記課題を解決するために、請求項１から８のいずれか一項に記載の関連領域特定装置と、前記生成された赤外線画像のうち、前記特定された関連領域内にある部分に対して、画像認識処理を施す画像認識手段とを備える。

本発明に係る請求項１１記載の関連領域特定方法は上記課題を解決するために、被写体に向けて赤外線を照射する照射工程と、該照射された赤外線が前記被写体で反射されてなる反射光を含む赤外線を受光することにより赤外線画像を生成する赤外線撮像工程と、該生成された赤外線画像を構成する複数の画素から、前記被写体のうち特定種類の物体を示す画素を、前記複数の画素の各々における前記受光された赤外線の強度に基づいて抽出し、前記赤外線画像上における前記抽出された画素からなる領域を前記特定種類の物体に関連する関連領域として特定する抽出工程とを備える。

本発明に係る請求項１２記載の画像認識方法は上記課題を解決するために、請求項１１に記載の関連領域特定方法と、前記被写体からの可視光を受光することにより可視画像を生成する可視光撮像工程と、該生成された可視画像のうち、前記特定された関連領域内にある部分に対して、画像認識処理を施す画像認識工程とを備える。

本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされる。

以下、発明を実施するための最良の形態として、本発明の関連領域特定装置及び方法、並びに画像認識装置及び方法に係る実施形態の説明を進める。

（関連領域特定装置の実施形態）
本発明の関連領域特定装置の実施形態は上記課題を解決するために、被写体に向けて赤外線を照射する照射手段と、該照射された赤外線が前記被写体で反射されてなる反射光を含む赤外線を受光することにより赤外線画像を生成する赤外線撮像手段と、該生成された赤外線画像を構成する複数の画素から、前記被写体のうち特定種類の物体を示す画素を、前記複数の画素の各々における前記受光された赤外線の強度に基づいて抽出し、前記赤外線画像上における前記抽出された画素からなる領域を前記特定種類の物体に関連する関連領域として特定する抽出手段とを備える。

本発明の関連領域特定装置の実施形態によれば、その動作時には、例えば前方を照射するように車両に取り付けられた赤外線ライト、赤外線照射器、赤外線ランプなどの照射手段によって、例えば前方に存在する道路標識、歩行者、他の車両、植物、道路白線、道路自体、建造物、空、山などの、被写体に向けて赤外線が照射される。ここに「赤外線」は、例えば９００〜１５００ｎｍの波長域の光であり、好ましくは少なくとも近赤外領域の光を含む。照射手段は、関連領域が関連する物の種類によっては、後述の如く特定の波長域の光を選択的に照射するように構成されている。

すると、例えば赤外線カメラである赤外線撮像手段によって、照射された赤外線が被写体で反射されてなる反射光を含む赤外線が受光され、赤外線画像が生成される。赤外線撮像手段は、例えば９００〜１５００ｎｍの波長域の光を撮像できるように構成されている。赤外線撮像手段は、関連領域が関連する物の種類によっては、後述の如く特定の波長域の光を選択的に撮像するように構成されている。

続いて、例えばプロセッサ、メモリ、コンパレータ等を備える抽出手段によって、赤外線画像を構成する複数の画素から、例えば道路標識、歩行者、他の車両又は植物である（例えば、道路自体、空、山、建造物などが除外されている）特定種類の物体を示す画素が、各画素における赤外線の強度に基づいて抽出され、抽出された画素からなる領域が、関連領域として特定される。ここで、赤外線撮像手段で受光される反射光の強度は、被写体中に存在する物体の種類或いは属性に応じて、強弱があることが判明している。ここで、「物体の種類」とは、金属や木などであり、「物体の属性」とは、色などである。本発明において画素が「物体を示す」とは、特定種類の物体の部分又は全部を画素として実際に示す意味の他、反射光の強度に基づいてでは完全に区別できない特定種類の物体を示す可能性があるという意味も含む。例えば、特定種類の物体が、道路標識や他の車両であれば、反射光の強度は高く、道路自体や遠方の山、空、建造物であれば、反射光の強度は低い。歩行者であれば、反射光の強度は高い。また、道路標識であっても、再帰性反射材が使われた種類であれば、著しく反射光の強度は高いことが判明している。加えて、特定の波長域の反射光の強度の場合（例えば、波長スペクトル上で地表付近の太陽光のパワーが相対的に弱い波長域の場合）、撮像された赤外線画像中における、太陽光に起因する光の寄与率が低下することも判明している。

従って、各画素における赤外線の強度に基づいて、更に好ましくは特定の波長域の赤外線を用いた結果得られる各画素における赤外線の強度に基づいて、上述のように、抽出手段によって、赤外線画像を構成する複数の画素から、特定種類の物体を示す画素を抽出できる訳である。

この際、「反射光の強度に基づいて画素を抽出する」とは、具体的には、例えば、強度が所定閾値より大きい画素を抽出したり、強度が所定閾値より小さい画素を抽出したり、強度が所定範囲に入っている画素を抽出することである。より一般には、被写体となり得る各種物体を、反射光の強度と何らかの相関を持つ種類となるように分類或いは種別することで、かかる種別或いは分類による特定種類の物体を示す画素を、反射光の強度に応じて抽出すればよい。逆に、反射光の強度で分類不可能な物体相互間では、抽出手段による画素の抽出或いは関連領域の特定は困難であるが、可視光波長域までも含めれば、通常の分類や種別による“物体”を示す画素の抽出は大なり小なり可能である。

いずれの場合にも、抽出の結果として、抽出されない画素が多少なりとも発生すれば、以下に説明する本実施形態の効果は相応に得られる。言い換えれば、画素の抽出及び関連領域の特定は完璧に近い程よいが、多少の画素が除外される限りにおいて或いは関連領域が画像全域より若干なりとも小さい限りにおいて、画素の抽出或いは関連領域の特定は、完全なものでなくても有意義である。

このように特定種類の物体に対応する画素を抽出することで、典型的には抽出された複数の画素が占める領域として関連領域が特定された後に、例えば特定種類の物体の認識を目的とする画像認識を実行すれば、関連領域に対応する画像部分についてのみ、画像認識処理を施せば、実践的な意味で過不足なく施せることになる。即ち、関連領域以外の領域に対応する画像部分については処理対象から除外して画像認識処理を行っても、画像認識処理の結果としては、同じ結果が得られるか、或いは同じ結果が得られる可能性が高い。また、処理の工夫によっては、より良い結果が得られる場合もある。

以上説明したように、関連領域が、赤外線の反射光の強度に基づいて抽出されない画素に対応する分だけ画像全域よりも減っている。このため、その後における、例えばパターン認識等を伴う画像認識処理の対象となる画像データの量を削減でき、特定種類の物体を処理対象とする任意の後処理を施す際における処理負担を軽減できる。また、関連領域を特定する処理自体も、反射光の強度に基づく画素の抽出という、例えばパターン認識などの複雑高度な処理を必要としない処理によって、比較的簡単且つ迅速に実施可能である。

本実施形態の関連領域特定装置の一態様では、前記照射手段は、前記赤外線として、波長スペクトル上で太陽光に含まれる割合が相対的に小さい波長成分を有する特定波長光を照射する。

赤外線撮像手段によって、被写体で反射されてなる反射光を含む赤外線が受光される際に、照射手段から照射された赤外線以外の赤外線に基づく被写体からの反射光や、赤外線を発光する発光体（例えば高温物体）からの赤外線なども、ここで受光される赤外線に含まれる。特に、ここで生成される赤外線画像は、太陽光に起因する反射光も混入してなる。よって、照射手段からの赤外線に起因する反射光を想定して行われる、画素を抽出する際の或いは関連領域を特定する際の正確性は、その太陽光に起因する反射光が多くなるだけ低下してしまう。

しかるに、この態様によれば、照射手段は、波長スペクトル上で太陽光に含まれる割合が相対的に小さい波長成分を有する特定波長光を照射する。ここで「波長スペクトル上で太陽光に含まれる割合が相対的に小さい波長成分」とは、地表付近を通過する太陽光の波長スペクトル上で、パワーが局所的に落ち込む波長域内にある、光の波長成分を意味する。即ち、宇宙空間における太陽光の波長スペクトル上のパワーを基準として、地表付近における太陽光のスペクトル上のパワーが、これらのスペクトル曲線間の差の平均値以上に局所的に落ち込んでいる波長域内にある波長成分である。

従って、赤外線撮像手段による撮像処理以降を、当該特定波長光を対象に行えば、太陽光に起因する反射光分に対する照射手段から照射された赤外線に起因する反射光分の相対割合が高められている分だけ、太陽光による抽出手段における抽出動作への悪影響を低減することが可能となる。

この照射手段が特定波長光を照射する態様では、前記赤外線撮像手段は、前記特定波長光を選択的に又は優先的に受光するように構成されてもよい。

このように構成すれば、照射手段から照射され被写体で反射した特定波長光は、赤外線撮像手段によって、選択的に又は優先的に受光される。ここに「選択的に受光する」とは、受光面における受光動作と同時に又は相前後して、例えば物理的な又は信号処理上のフィルタ（例えば、バンドパスフィルタ、ローパスフィルタ、ハイパスフィルタなど）によって、特定波長光を取り込むと共にこれと異なる波長の反射光成分を除外することを意味する。他方、「優先的に受光する」とは、受光面における受光動作と同時に又は相前後して、例えば物理的な又は信号処理上のフィルタによって、特定波長光を相対的に多く取り込むと共にこれと異なる波長の反射光成分を相対的に少なく取り込むことを意味する。例えば、赤外線撮像手段は、関連領域が関連する物の種類によっては、後述の如く９５０ｎｍ近傍の波長域の波長の光、１１５０ｎｍ近傍の波長域の波長の光、及び１４００ｎｍ近傍の波長域の波長の光のうち少なくとも一つの光を、選択的に又は優先的に撮像するように構成されている。

このように特定波長光が選択的に又は優先的に受光されるので、特定波長光の波長の設定により、太陽光などの外光による、抽出手段における抽出動作への悪影響を低減することが可能となる。

尚、照射手段が、波長特性を有することなく、赤外線撮像手段が、このような特定波長光を選択的に又は優先的に受光することも可能である。但し、照射手段による照射効率、更には装置全体のエネルギ効率を上げるためには、照射手段により特定波長光のみを照射するように構成する方が有利である。

上述の照射手段が特定波長光を照射する態様では、前記特定波長光は、１３００〜１５００ｎｍ、１１００〜１２００ｎｍ及び９００〜１０００ｎｍのうち少なくとも一つの波長域に含まれている波長成分を有してもよい。

このように構成すれば、太陽光による、抽出手段における抽出動作への悪影響を低減することが可能となる。即ち、特に地表付近を通過する太陽光に起因して被写体で反射する赤外線については、これら１３００〜１５００ｎｍ、１１００〜１２００ｎｍ及び９００〜１０００ｎｍの波長域で、パワーが著しく弱いことが判明している。これは、地表付近を通過する太陽光は、大気中の水分及び二酸化炭素により減衰されているためと考察される。

他方で、道路標識、他の車両、歩行者などの交通環境に関連する物で反射する赤外線の反射光については、これらの波長域の赤外線を使用した場合であっても、特に問題ない。よって、これら１３００〜１５００ｎｍ、１１００〜１２００ｎｍ及び９００〜１０００ｎｍのうち少なくとも一つの波長域に含まれている波長成分を有するように特定波長光を照射し、或いは更に、これを受光すれば、太陽光などの外光による、抽出手段における抽出動作及び領域特定動作への悪影響を低減することが可能となる。従って、比較的簡単にして且つより高精度で、交通環境に関連する関連領域（以下適宜“交通環境関連領域”と称する）を特定することが可能となる。

本実施形態の関連領域特定装置の他の態様では、前記抽出手段は、前記複数の画素から、前記強度が所定閾値以上となる画素を抽出する。

この態様によれば、例えばソフトウエア的な又はハードウエア的なコンパレータなどを有する抽出手段による所定閾値との比較という比較的簡単な動作処理によって、画素を抽出できる。ここに「所定閾値」とは、関連領域を占めることとなる画素を判別するための閾値である。その具体的な値は、照射手段により特定種類の物となり得る各種の物に対して赤外線を照射しつつ、生成された赤外線画像上における、特定種類の物からの反射光の強度を実験的、経験的、シミュレーション等で調べることで、当該関連領域特定装置を固定した場合に、特定種類の物に固有の値として設定される。

このように特定種類の物体に対応する画素を抽出することで（典型的には、抽出された複数の画素が占める領域として関連領域が特定された後に）、例えば特定種類の物体の認識を目的とする画像認識を実行するのであれば、関連領域に対応する画像部分についてのみ、画像認識処理を施せば足りる。即ち、関連領域以外の領域に対応する画像部分については処理対象から除外して画像認識処理を行っても、画像認識処理の結果としては、同じ結果が得られるか、或いは同じ結果が得られる可能性が高い。従って、より迅速且つ確実に関連領域を特定できる。

本実施形態の関連領域特定装置の他の態様では、前記赤外線撮像手段は、波長スペクトル上で１１５０ｎｍを含む第１波長域に感度を有する第１撮像手段及び１４００ｎｍを含む第２波長域に感度を有する第２撮像手段を有し、前記抽出手段は、前記複数の画素から、前記第１及び第２撮像手段により撮像された赤外線画像間の差分が所定閾値以上となる画素を、前記被写体中に存在する植物を示す画素として抽出し、前記関連領域として前記植物に関連する植物領域を特定する。

この態様によれば、１１５０ｎｍを含む第１波長域に感度を有する第１撮像手段及び１４００ｎｍを含む第２波長域に感度を有する第２撮像手段によって、２枚の赤外線画像が並行して又は相前後して生成される。ここで、植物の葉に着目すると、交通環境に関連する物と同様に、反射光の強度が一般に高いので、交通環境に関連する物を特定種類の物として関連領域を特定する場合に、植物も関連領域に一緒に含まれてしまうという不具合が生じる可能性がある。本願発明者の研究によれば、植物の葉からの反射光の強度は、波長１４００ｎｍで、大きく落ち込んでいること、少なくとも道路標識と比べると落ちていることが判明している。これに対して、波長１１５０ｎｍでは、概ね道路標識の場合と同様に反射光の強度は総じて高い。

そこで本態様では、抽出手段によって、上述の如く第１及び第２撮像手段により生成された２枚の赤外線画像間の差分が所定閾値以上となる画素が、被写体中に存在する植物を示す画素として抽出される。更に、植物に関連する植物領域が特定される。ここに「所定閾値」とは、植物を示す画素であるか否かを差分に応じて判別するための閾値である。その具体的な値は、照射手段により植物に対して二つの波長の赤外線を照射しつつ、生成された赤外線画像上における、植物からの反射光の強度の差分を、実験的、経験的、シミュレーション等で調べることで、当該関連領域特定装置を固定した場合に、植物に固有の値として設定される。

加えて、交通環境関連領域を特定したい場合であれば、反射光強度の高い領域として、先ず区別なく交通環境関連領域及び植物領域を合わせた領域が特定され、これから、本態様により特定された植物領域を除外することで、交通環境関連領域を更に特定することも可能である。

本実施形態の関連領域特定装置の他の態様では、前記被写体までの距離を測定する距離画像センサと、前記生成された赤外線画像に対して、前記測定された距離に応じて明度補正を施す補正手段とを更に備え、前記抽出手段は、前記明度補正が施された赤外線画像を構成する複数の画素の各々における前記強度に基づいて前記画素を抽出する。

この態様によれば、赤外線撮像手段による撮像と並行して又は相前後して、距離画像センサによって、被写体までの距離が測定される。尚、距離画像センサと赤外線撮像手段とは、少なくとも部分的に共用であってもよい。

続いて、例えばプロセッサ、メモリ等を備える補正手段によって、赤外線撮像手段により生成された赤外線画像に対し、測定された距離に応じて明度補正が施される。例えば、照射手段や赤外線撮像手段から遠方に離れている被写体に対しては、見掛けの反射光の強度を距離に応じて高める補正が施される。

続いて、抽出手段では、この明度補正が施された赤外線画像を構成する複数の画素の各々における反射光の強度に基づいて、画素が抽出される。よって、被写体や特定種類の物体までの距離が様々であっても、正確に関連領域を特定可能となる。

本実施形態の関連領域特定装置の他の態様では、前記被写体までの距離を測定する距離画像センサと、該測定された距離に基づいて前記被写体における前記照射された赤外線を反射する表面の、前記照射手段に対する傾斜角度を検出する傾斜検出手段と、前記生成された赤外線画像に対して、前記検出された傾斜角度に応じて明度補正を施す補正手段とを更に備え、前記抽出手段は、前記明度補正が施された赤外線画像を構成する複数の画素の各々における前記強度に基づいて前記画素を抽出する。

この態様によれば、赤外線撮像手段による撮像と並行して又は相前後して、距離画像センサによって、被写体までの距離が測定される。尚、距離画像センサと赤外線撮像手段とは、少なくとも部分的に共用であってもよい。

続いて、例えばプロセッサ、メモリ等を備える傾斜角度検出手段によって、距離画像センサにより測定された距離に基づいて、被写体における赤外線を反射する表面の、傾斜角度が検出される。続いて、例えばプロセッサ、メモリ等を備える補正手段によって、赤外線撮像手段により生成された赤外線画像に対し、検出された傾斜角度に応じて明度補正が施される。例えば、照射手段や赤外線撮像手段に対し斜めに向いている表面に対しては、見掛けの反射光の強度を傾斜に応じて高める補正が施される。尚、ここでの明度補正は、傾斜角度に加えて、測定された距離に応じて明度補正が施されてもよい。

続いて、抽出手段では、明度補正が施された赤外線画像を構成する複数の画素の各々における反射光の強度に基づいて、画素が抽出される。よって、被写体や特定種類の物体の表面が傾斜していても、正確に関連領域を特定可能となる。

（画像認識装置の実施形態）
本発明の画像認識装置の第１実施形態は上記課題を解決するために、上述した本発明の実施形態に係る関連領域特定装置（但し、その各種態様を含む）と、前記被写体からの可視光を受光することにより可視画像を生成する可視光撮像手段と、該生成された可視画像のうち、前記特定された関連領域内にある部分に対して、画像認識処理を施す画像認識手段とを備える。

本発明の画像認識装置の第１実施形態によれば、先ず、上述した本発明の実施形態に係る関連領域特定装置によって、関連領域が特定される。これと並行して又は相前後して、例えばＣＣＤカメラ、通常のカメラ等である、可視光撮像手段によって、被写体からの可視光が受光され、可視画像が生成される。続いて、生成された可視画像のうち、特定された関連領域内にある部分に対して、画像認識処理が施される。言い換えれば、関連領域内にない部分の全て又は一部に対しては、基本的に或いは原則として画像認識処理が施されることはない。

本発明に係る「画像認識」の具体的な方法としては、例えば道路標識であれば、可視光画像を元にテンプレートマッチング、エッジ抽出などの既存の手法で、例えば歩行者であれば、色情報や動き情報を用いた既存の手法で、例えば他の車両であれば、ナンバープレート検出やエッジ検出などの既存の手法で、道路標識や他の車両、歩行者などの画像認識が行われる。

画像認識の結果は、映像出力や音声出力などの提示手段或いは出力手段によって、画像認識の結果を示す又は画像認識の結果に対応する所定フォーマット若しくはフォームの出力データとして、ドライバ等の操作者に提示される。これに加えて又は代えて、画像認識の結果は、制御用のデータとしても出力され、例えば車両における自動操作又は半自動操作などに供される。

以上の結果、画像全域よりも小さい関連領域に対して、画像認識処理を施せば済むので、画像認識処理の処理負担を軽減できる。特に、赤外線撮像手段は、関連領域を特定するのに用いられ、可視光撮像手段は、画像認識用に用いられるので、夫々の撮像手段の長所を生かしつつ或いは両撮像撮像手段の連携によって、全体として効率良く高精度で、関連領域の特定から画像認識までの一連の処理を実行可能となる。従って車載用など、被写体が赤外線撮像手段や可視光撮像手段に対して相対的に動いたり、迅速な対応が逐次要求されるような使用環境で、本発明は特に有利となる。

尚、本発明の画像認識装置の第１実施形態においても、上述した本発明の関連領域特定装置の実施形態における各種態様と同様の各種態様を採ることが可能である。

本発明の画像認識装置の第２実施形態は上記課題を解決するために、上述した本発明の実施形態に係る関連領域特定装置（但し、その各種態様を含む）と、前記生成された赤外線画像のうち、前記特定された関連領域内にある部分に対して、画像認識処理を施す画像認識手段とを備える。

本発明の画像認識装置の第２実施形態によれば、先ず、上述した本発明の実施形態に係る関連領域特定装置によって、関連領域が特定される。続いて、生成された赤外線画像のうち、抽出手段により特定された関連領域内にある部分に対して、画像認識処理が施される。言い換えれば、関連領域内にない部分の全て又は一部に対しては、基本的に或いは原則として画像認識処理が施されることはない。

以上の結果、画像全域よりも小さい関連領域に対して、画像認識処理を施せば済むので、画像認識処理の処理負担を軽減できる。特に、撮像手段として、赤外線撮像手段だけあれば、関連領域の特定から画像認識までの一連の処理を実行可能となるので、装置構成を単純簡易化する上で有利である。従って車載用など、被写体が赤外線撮像手段や可視光撮像手段に対して相対的に動いたり、迅速な対応が逐次要求されるような使用環境で、本発明は特に有利となる。

尚、本発明の画像認識装置の第２実施形態においても、上述した本発明の関連領域特定装置の実施形態における各種態様と同様の各種態様を採ることが可能である。

（関連領域特定方法の実施形態）
本発明の関連領域特定方法の実施形態は上記課題を解決するために、被写体に向けて赤外線を照射する照射工程と、該照射された赤外線が前記被写体で反射されてなる反射光を含む赤外線を受光することにより赤外線画像を生成する赤外線撮像工程と、該生成された赤外線画像を構成する複数の画素から、前記被写体のうち特定種類の物体を示す画素を、前記複数の画素の各々における前記受光された赤外線の強度に基づいて抽出し、前記赤外線画像上における前記抽出された画素からなる領域を前記特定種類の物体に関連する関連領域として特定する抽出工程とを備える。

本発明の関連領域特定方法の実施形態によれば、上述した本発明の関連領域特定装置の実施形態の場合と同様に、関連領域が画像全域よりも減っている分だけ、その後における、例えば画像認識処理の対象となる画像データの量を削減でき、特定種類の物体を処理対象とする任意の後処理を施す際の処理負担を軽減できる。

尚、本発明の関連領域特定方法の実施形態においても、上述した本発明の関連領域特定装置の実施形態における各種態様と同様の各種態様を採ることが可能である。

（画像認識方法の実施形態）
本発明の画像認識方法の実施形態は上記課題を解決するために、上述した本発明の実施形態に係る関連領域特定方法（但し、その各種態様を含む）と、前記被写体からの可視光を受光することにより可視画像を生成する可視光撮像工程と、該生成された可視画像のうち、前記特定された関連領域内にある部分に対して、画像認識処理を施す画像認識工程とを備える。

本発明の画像認識方法の実施形態によれば、上述した本発明の画像認識装置の第１実施形態の場合と同様に、画像全域よりも小さい関連領域に対して、画像認識処理を施せば済むので、画像認識処理の処理負担を軽減できる。

尚、本発明の画像認識方法の実施形態においても、上述した本発明の画像認識装置の第１実施形態における各種態様と同様の各種態様を採ることが可能である。

本実施形態におけるこのような作用及び他の利得は、次に説明する実施例から更に明らかにされる。

以上詳細に説明したように、本実施形態に係る関連領域特定装置によれば、照射手段、赤外線撮像手段及び抽出手段を備え、本実施形態に係る関連領域特定方法によれば、照射工程、赤外線撮像工程及び抽出工程を備えるので、画像認識に係る処理負担を軽減させるのに役立ち、比較的効率良く或いは比較的容易にして、画像上における被写体中の特定種類の物体に関連する関連領域を特定可能である。また、本実施形態に係る画像認識装置によれば、関連領域特定装置を備え、本実施形態に係る画像認識方法によれば、関連領域特定方法を備えるので、迅速に或いは小規模な処理にて画像認識が可能である。

以下では、本発明の実施例について図を参照しつつ説明する。

＜第１実施例＞
本発明の画像認識装置の第１実施例を、図１から図７を参照して説明する。

先ず、本発明の第１実施例に係る画像認識装置の構成について、図１から図４を参照して説明する。ここに図１は、第１実施例に係る画像認識装置の構成を示す。図２は、太陽光の波長スペクトルを示し、図３は、撮像される赤外線画像中における反射光のスペクトルを各種物体別に示し、図４は、図３に示された波長スペクトルＣ２０の部分を縦方向（即ち、パワー軸方向）に拡大して示す。

図１に示すように、第１実施例に係る画像認識装置は、赤外線照射器１、赤外線カメラ１２、可視光カメラ１３、領域抽出部１４、画像認識部１６及び表示部１８を備え、車両に搭載される。

赤外線照射器１は、本発明に係る「照射手段」の一例として、車両の前側に取り付けられており、車両の前方に存在する任意の被写体に向けて赤外線を照射するように構成されている。ここでの被写体とは、車両が走行中の道路の付近に存在する、道路標識、他の車両、歩行者、道路自体（例えば、アスファルト又は土の路面）やその白線若しくは黄色線、ビルや家などの建造物（例えば、コンクリート、木材の外壁）、植物や森、山々、海、空などである。

ここで図２に示すように、地表付近の太陽光の波長スペクトルＣ１は、宇宙空間における太陽光の波長スペクトルＣ０に比べて、パワーが落ち込んでいる波長域Ｒ１、Ｒ２及びＲ３が存在する。このような波長域Ｒ１（即ち、波長９５０ｎｍを中心とする波長９００〜１０００ｎｍの波長域）、波長域Ｒ２（即ち、波長１１５０ｎｍを中心とする波長１１００〜１２００ｎｍの波長域）及び波長域Ｒ３（即ち、波長１４００ｎｍを中心とする波長１３００〜１５００ｎｍの波長域）は、大気圏内或いは地球付近に存在する水分や二酸化炭素の、太陽光を吸収する際の波長依存性によって発生するものと考察される。即ち、波長スペクトルＣ１は、波長スペクトルＣ０と相似形をなす、赤外線領域で単調減少する主要曲線部分から局所的に乖離している部分が複数見受けられ、これらの乖離部分が、波長域Ｒ１、Ｒ２及びＲ３の各々に対応している。

そこで赤外線照射器１は、図２に示した地表付近における太陽光の波長スペクトルＣ１が落ち込んでいる波長域Ｒ１、Ｒ２及びＲ３のいずれか一つ、又はこれらのうち二つ又は三つの組み合わせとなる波長域（以下適宜、単に「特定波長域」と呼ぶ）の赤外線を照射するように構成されている。これにより、照射された赤外線を利用しての領域抽出の際に、太陽光の影響を相対的に低めることができ、夜間のみならず昼間でも、以下に詳述する領域抽出及び画像認識処理が、実行可能となる。

同様の原理により図２に示した波長域Ｒ１〜Ｒ３の各々を多少狭めることも可能である。即ち、例えば、波長域Ｒ１を、波長９５０ｎｍを中心とする波長９２５〜９７５ｎｍの波長域とし、波長域Ｒ２を、波長１１５０ｎｍを中心とする波長１１２５〜１１７５ｎｍの波長域とし、波長域Ｒ３を、波長１４００ｎｍを中心とする波長１３５０〜１４５０ｎｍの波長域として、特定波長域を設定してもよい。特定波長域を狭く設定すると、撮像する際の総光量が減るので、受光信号が基本的に弱まる。このため、受光信号について装置仕様上要求される感度や精度を考慮して、特定波長域の幅或いは範囲を個別具体的に設定すればよい。

加えて、図２では３つの波長域Ｒ１〜Ｒ３を示したが、これは一例であり、要は地表付近における太陽光のパワーが弱くなっている（好ましくは、局所的に非常に又は顕著に弱くなっている）波長域を特定波長域として設定すればよい。

図１において、赤外線カメラ１２は、本発明に係る「赤外線撮像手段」の一例として、車両の前側に取り付けられており、赤外線照射器１により照射された赤外線が、車両の前方に存在する被写体で反射されてなる反射光を含む赤外線を受光する。特に、赤外線カメラ１２は、赤外線照射器１の波長特性に対応する波長特性を有しており、図２に示した特定波長域の赤外線を選択的に又は優先的に受光し、赤外線画像を生成するように構成されている。赤外線カメラ１２が感度を持つ波長域を限定するには、バンドパスフィルタ等を用いればよい。

尚、赤外線照射器１及び赤外線カメラ１２は、車両の前側のみならず、側方や後側に設けられてもよい。

領域抽出部１４は、本発明に係る「抽出手段」の一例として、プロセッサ、メモリ、コンパレータ等を備えて、車両に内蔵されている。領域抽出部１４は、赤外線カメラ１により生成された赤外線画像を構成する複数の画素から、被写体のうち本発明に係る「特定種類の物体」の一例としての交通環境に関連する物を示す画素を、複数の画素の各々における赤外線の強度に基づいて、抽出する。更に、領域抽出部１４は、このように抽出された画素からなる、赤外線画像上における領域を、本発明に係る「関連領域」の一例である交通環境関連領域として、特定するように構成されている。

ここで図３及び図４に示すように、被写体に含まれる可能性がある各種物体（即ち、道路標識、他の車両、歩行者など）についての、赤外線を照射した場合の反射光の強度は、物体の種類に応じて識別可能な差が有る。特に、可視光よりも、赤外線、特に９００〜１５００ｎｍの近赤外領域の光を含む赤外線の方が、反射光のパワーに差がより顕著に出る。

図３に示すように、再帰性反射材からなる物体、典型的には再帰性反射材から表示表面が形成された道路標識は、反射光のパワーが顕著に高い波長スペクトルＣ１０を有する。即ち、道路標識は、赤外線画像上で相対的に明るく表示される。尚、図３では、波長スペクトルＣ１０は、再帰性反射材の色別や条件別に複数示されている。再帰性反射材を用いない道路標識であっても、白い道路標識であれば、波長スペクトル上では、図３における再帰性反射材を用いた道路標識と同様に、分類される。

従って、赤外線照射器１により照射され赤外線カメラ１２で撮像された赤外線画像を構成する複数の画素のうち、光の強度（明度）が顕著に高い画素については、再帰性反射材から表示表面が形成された道路標識である可能性が高い。少なくとも、赤外線画像中に、再帰性反射材の道路標識が撮像された部分が含まれていれば、ここで光の強度（明度）が高い画素の集合に含まれていると考えてよい。即ち、比較的低パワーの波長スペクトルＣ２０を有する他の各種物体と、比較的高パワーの波長スペクトルＣ１０を有する道路標識とを、赤外線画像上において画素単位で区別することができる。尚、図３では、波長スペクトルＣ２０は、複数種類の物体について複数示されている。

図４に示すように、図３中で波長スペクトルＣ１０と比べて低パワーの波長スペクトルＣ２０であっても、パワー方向（即ち、縦軸方向）に拡大してみれば、物体の種類別に波長スペクトルのパワーは異なると共に一定の規則性を有する。具体的には、植物の葉が有する波長スペクトルＣ２１、衣類の材料で表面を覆われた物体である歩行者が有する波長スペクトルＣ２２、金属塗装の表面を有する他の車両が有する波長スペクトルＣ２３などは、それ以外のアスファルト表面を有する道路自体や空が有する波長スペクトルＣ２５と比べて、赤外線領域においてパワーが高い。また、遠方風景などは、赤外線照射器１からの距離が遠くなるため、十分に減衰してパワーが低くなる。例えば、赤外領域で、植物が６０％程度の比較的高い反射率を持ち、アスファルトの道路面は、１０％程度に低い。即ち、植物、歩行者、他の車両などは、赤外線画像上で相対的に明るく表示され、道路面、建造物、空等は、相対的に暗く表示される。尚、再帰性反射材が用いられていない白以外の道路標識については、例えば、他の車両が有する波長スペクトルＣ２３と同類となる。

従って、赤外線カメラ１２で撮像された赤外線画像を構成する複数の画素のうち、光の強度（明度）が高い画素については、植物、歩行者又は他の車両（若しくは再帰性反射材が用いられていない道路標識）である可能性が高い。少なくとも、赤外線画像中に、これらの植物、歩行者、他の車両等が撮像された部分が含まれていれば、ここで光の強度（明度）が高い画素の集合に含まれていると考えてよい。即ち、比較的低パワーの波長スペクトルＣ２５を有する他の各種物体と、比較的高パワーの波長スペクトルＣ２１〜２３を有する植物、歩行者、他の車両等とを、赤外線画像上において画素単位で区別することができる。尚、波長スペクトルＣ２５は、複数種類の物体について複数示されている。また、道路の白線や黄色線を示す画素についても、画素を抽出する際に用いる閾値を調整することで、領域抽出部１４による抽出の対象に含めてもよい。

再び図１において、領域抽出部１４は、図３及び図４を参照して説明した原理に基づき、赤外線画像を構成する複数の画素から、交通環境に関連する物（即ち、道路標識、植物、歩行者又は他の車両など）を示す画素を、各画素における赤外線の強度に基づいて（即ち、比較的明るい画像領域として）抽出する。

具体的には、再帰性反射材が用いられた道路標識に特化して交通環境関連領域を特定するのであれば、特定波長域（図２参照）で、図３に示した波長スペクトルＣ１０よりも低パワーであり且つ波長スペクトルＣ２０よりも高パワーである閾値を設定し、領域抽出部１４でコンパレータ等による閾値との比較処理を行うことで、閾値より大きい画素を抽出すればよい。

或いは、植物、歩行者、再帰性反射材が用いられていない道路標識又は他の車両に特化して交通環境関連領域を特定するのであれば、特定波長域（図２参照）で、図４に示した波長スペクトルＣ２１〜２３よりも低パワーであり且つ波長スペクトルＣ２５よりも高パワーである閾値を設定し、領域抽出部１４でコンパレータ等による閾値との比較処理を行うことで、閾値より大きい画素を抽出すればよい。更にこのような抽出処理を、上述の再帰性反射材が用いられた道路標識に特化した画素の抽出処理の後に又は前に若しくは並行して行ってもよい。

領域抽出部１４は、このように抽出された複数の画素が、赤外線画像上に占める領域を、交通環境関連領域として特定する。言い換えれば、赤外線画像上で、相対的に明るい部分となる領域は、道路標識、他の車両、歩行者などが含まれており、交通上重要な領域であるとして、交通環境関連領域とされる。いずれの場合にも、抽出の結果として、赤外線画像全域に対し、抽出されない画素が多少なりとも発生すれば、以下に説明する本実施形態の効果は相応に得られる。

図１において、可視光カメラ１３は、本発明に係る「可視光撮像手段」の一例として、車両の前側に取り付けられており、太陽光や照明光などの外光が、車両の前方に存在する被写体で反射されてなる反射光を含む可視光を受光する。可視光カメラ１３は、ＣＣＤカメラ等であり、被写体からの可視光を受光すると、フルカラー若しくはカラー又は白黒の可視画像を生成する、即ち画像データを出力するように構成されている。特に、可視光カメラ１３は、赤外線カメラ１２と同一被写体を撮像することが好ましいので、両カメラの取り付け位置や視野はなるべく同じとされる。但し、両カメラ間における取り付け位置や視野の相違を、画像上で補正する処理を行ってもよい。また、可視光カメラ１３は、赤外線カメラ１２と同時に被写体を撮像することが好ましいので、両者の撮像時期はなるべく同じとされる。但し、両カメラ間における撮像時期の相違を、画像上で補正する処理を行ってもよい。

尚、可視光カメラ１３は、車両の前側のみならず、側方や後側に設けられてもよい。

画像認識部１６は、本発明に係る「画像認識手段」の一例として、プロセッサ、メモリ、コンパレータ等を備えて、車両に内蔵されている。画像認識部１６は、領域抽出部１４と同一のプロセッサから構成されてもよく、或いは、個別のプロセッサから構成されてもよい。画像認識部１６は、可視光カメラ１３により生成された可視画像のうち、領域抽出部１４により特定された交通環境関連領域内にある部分に対して、画像認識処理を施す。言い換えれば、画像認識部１６は、交通環境関連領域内にない部分に対しては、画像認識処理を施さないように構成されている。

具体的には、可視光画像を元にテンプレートマッチング、エッジ抽出などの既存の各種手法（例えば、『道路標識の自動認識』（電子情報通信学会技術研究報告、ＩＥ、画像工学、Ｖｏｌ．１０１、Ｎｏ．６２６（２００２０１２２）ｐｐ．６７−７２）参照）で、道路標識を認識する。色情報や動き情報を用いた既存の各種手法（例えば、『車載カメラによる歩行者検出のための背景除去及びアクティブ探索を用いたテンプレートマッチングの高速化』（電子情報通信学会論文誌、Ｄ−ＩＩ、情報・システム、ＩＩ−パターン処理、Ｖｏｌ．Ｊ８７−Ｄ−ＩＩ、Ｎｏ．５（２００４０５０１）ｐｐ．１０９４−１１０３）参照）で、例えば歩行者を認識する。ナンバープレート検出やエッジ検出などの既存の各種手法で（例えば、『ＧＡを用いた閾値決定法による車のナンバープレート検出』（電子情報通信学会技術研究報告、ＮＣ、ニューロコンピューティング、Ｖｏｌ．１０２、Ｎｏ．１５８（２００２０６２１）ｐｐ．５５−５９）参照）、他の車両を認識する。

これらの手法は、いずれもコンピュータによるデータ解析を利用した複雑高度な手法であり、基本的に処理対象となる画像領域の大きさに応じて処理負担が増大する。しかるに本実施例では、処理対象は、画像全域ではなく、交通環境関連領域に限定されているので、低負担で迅速に画像認識処理を実行可能であり、同一時間内における精度の向上を図れる。

図１において、表示部１８は、画像認識の結果を所定フォーマット若しくはフォームの映像出力データとして表示する。表示部１８は、可視光カメラ１３により撮像された画像を表示し、更にこの表示上で、重要な部分（例えば、道路標識、他の車両、歩行者など）をハイライト表示してもよい。これに加えて又は代えて、画像認識の結果は、アラームなどの警告音として音声出力されてもよい。更に、画像認識の結果は、制御用の出力データとして、画像認識部１６から出力されてもよい。このような出力データは、例えば車両における自動操作又は半自動操作などに供される。

次に以上のように構成された画像認識装置の処理の流れについて、図５から図７を参照して、説明する。ここに図５は、第１実施例に係る画像認識装置の処理の流れを示し、図６は、可視光カメラ１３により撮像される可視光画像の一例を示し、図７は、図６の画像に対して特定される交通環境関連領域を示す。

図５において、初期状態として、画像認識装置が搭載された車両は、道路上を走行中であるとする。

先ず、画像認識装置のシステム全体がＯＮ（オン）されると、画像認識を実行するために、赤外線照射器１がＯＮ（オン）され、特定波長域を含む赤外線が車両の前方へ向けて照射される（ステップＳ１１）。この際、特定波長域の赤外線（図２参照）が用いられるので、昼間であってもよい。続いて、赤外線カメラ１２及び可視光カメラ１３で、車両の前方の被写体が撮像される（ステップＳ１２）。

すると、赤外線カメラ１２で生成された赤外線画像を示す赤外線画像データは、領域抽出部１４に入力される。領域抽出部１４では、赤外線画像を構成する複数の画素のうち、所定閾値以上となる画素が抽出され、抽出された画素により占められる赤外線画像上の領域が交通環境関連領域とされる（ステップＳ１３）。

例えば図６に示すような可視光画像Ｐ１が、ステップＳ１２で撮像されるとする。尚、ステップＳ１２で撮像される赤外線画像についても、明暗の差を除き、可視光画像Ｐ１と同じである。このとき、ステップＳ１３の画素の抽出及び交通環境関連領域の特定を行うと、図７に示した領域抽出後における画像Ｐ２のように、道路標識Ａ１、他の車両Ａ２、歩行者Ａ３、及植物Ａ４を含んで構成される、太線の輪郭線で囲われている領域が、交通環境関連領域として特定される。図７では、画像全域のうち、交通環境関連領域でない部分に、ハッチングが掛けられている。

赤外線画像データの入力に並行して若しくは相前後して、可視光カメラ１３から可視光画像を示す可視光画像データは、画像認識部１６に入力される。他方、領域抽出部１４で生成された交通環境関連領域を示す関連領域データは、画像認識部１６に入力される。すると、画像認識部１６では、可視光画像の全域に対してではなく、可視光画像のうち、図７において太線の輪郭線で囲われた交通環境関連領域に対応する部分について（即ち、図７でハッチングが掛けられた領域は、処理対象から除外された形で）画像認識処理が施される（ステップＳ１４）。

画像認識処理の結果は、表示部１６によって、所定フォーマットで、車両の運転手などに提示される。例えば、交通環境関連領域が他の領域から区別されるフォーマットで、可視光画像が表示されてもよいし、特殊画像の表示によって、運転手に対して警告が行われてもよい（ステップＳ１５）。

その後、画像認識装置をオフしない場合（ステップＳ１６：ＮＯ）、ステップＳ１２からの処理が繰り返して行われ、画像認識装置をオフする場合（ステップＳ１６：ＹＥＳ）、一連の処理が終了される。

以上詳細に説明したように、画像全域よりも小さい交通環境関連領域（図７参照）に対して、画像認識処理を施せば済むので、処理負担を軽減できる。特に、赤外線カメラ１２は、専ら関連領域を特定するのに用いられ、可視光カメラ１３は、専ら画像認識用に用いられるので、夫々のカメラの長所を生かしつつ或いは両カメラの連携によって、全体として効率良く高精度で、交通環境関連領域に係る画素の抽出から画像認識までの一連の処理を実行可能となる。従って車両の移動に伴い、被写体が時々刻々と変化する場合にも、迅速な対応が可能となる。また、交通環境関連領域を特定する処理自体も、特定波長域における赤外線の反射光の強度に基づく画素の抽出という、比較的簡単且つ迅速な処理によって日夜を問わず実行できる。

＜第２実施例＞
本発明の画像認識装置の第２実施例を、図８から図１０、並び図４を参照して説明する。

先ず、本発明の第２実施例に係る画像認識装置の構成について、図８を参照して説明する。ここに図８は、第２実施例に係る画像認識装置の構成を示すブロック図である。図８において、図１に示した第１実施例と同様の構成要素には同様の参照符号を付し、その説明は適宜省略する。

図８に示すように、第２実施例に係る画像認識装置は、第１実施例の場合と同様に、赤外線照射器（その１）１、赤外線カメラ（その１）１２、可視光カメラ１３、領域抽出部１４、画像認識部１６及び表示部１８を備え、更にこれらに加えて、赤外線照射器（その２）２１、赤外線カメラ（その２）２２、及び植物領域抽出部２４を備える。

第２実施例では特に、赤外線照射器１は、本発明に係る「第１撮像手段」の一例として、１１５０ｎｍの波長を含む第１波長域の赤外線を照射し、赤外線カメラ１２は、第１波長域の赤外線を受光するように構成されている。赤外線カメラ２１が感度を持つ波長域を、第１波長域に限定するには、１１５０ｎｍを中心とする透過帯域を持つバンドパスフィルタ等を用いればよい。

図８において、赤外線照射器２１は、本発明に係る「照射手段」の他の一例として、車両の前側に取り付けられており、車両の前方に存在する任意の被写体に向けて、１４００ｎｍの波長を含む第２波長域の赤外線を照射するように構成されている。

赤外線カメラ２２は、本発明に係る「第２撮像手段」の一例として、車両の前側に取り付けられており、赤外線照射器２１により照射された赤外線が、車両の前方に存在する被写体で反射されてなる反射光を含む赤外線を受光する。特に、赤外線カメラ２２は、赤外線照射器１の波長特性に対応する波長特性を有しており、第２波長域の赤外線を選択的に又は優先的に受光し、赤外線画像を生成するように構成されている。赤外線カメラ２２が感度を持つ波長域を、第２波長域に限定するには、１４００ｎｍを中心とする透過帯域を持つバンドパスフィルタ等を用いればよい。

特に、赤外線カメラ１２及び赤外線カメラ２２は、同一被写体を撮像することが好ましいので、両カメラの取り付け位置や視野はなるべく同じとされる。但し、両カメラ間における取り付け位置や視野の相違を、画像上で補正する処理を行ってもよい。また、赤外線カメラ１２及び赤外線カメラ２２は、同時に被写体を撮像することが好ましいので、両者の撮像時期はなるべく同じとされる。但し、両カメラ間における撮像時期の相違を、画像上で補正する処理を行ってもよい。

尚、赤外線照射器２１及び赤外線カメラ２２は、車両の前側のみならず、側方や後側に設けられてもよい。

植物領域抽出部２４は、本発明に係る「抽出手段」の他の一例として、プロセッサ、メモリ、コンパレータ等を備えて、車両に内蔵されている。

ここで本発明者の研究によれば、既に図４に示したように、植物の波長スペクトルＣ２１は、波長１４００ｎｍ付近で、パワーが局所的に落ち込んでおり、逆に、波長１１５０ｎｍ付近では、パワーが極大的な値をとっている。これは、植物の葉に含まれる水分や二酸化炭素の影響によるものと考察される。

そこで第２実施例では特に、植物領域抽出部２４は、赤外線カメラ１２により撮像された赤外線画像と赤外線カメラ２２により撮像された赤外線画像との間の差分を算出し、この差分が所定閾値以上となる画素を、被写体中に存在する植物を示す画素として抽出する。更に、赤外線画像上でこれらの抽出された画素により占められる領域を、本発明に係る「関連領域」の他の一例としての植物領域を特定するように構成されている。尚、ここでの差分と比較される閾値の値は、図４に示した波長スペクトルＣ２１の落ち込み具合と、他の波長スペクトルＣ２２等の落ち込み具合との兼ね合いから、設定すればよい。特に、歩行者のスペクトルＣ２２についての第１波長域におけるパワーと第２波長域におけるパワーとの間の差分より大きくなるように、ここでの所定閾値は設定される。

第２実施例では、このように植物領域が特定されるので、第１実施例と同様に領域抽出部１４により特定された、謂わば“広義の交通環境関連領域（植物領域を含む）”から、この特定された植物領域を間引くことで、謂わば“狭義の交通環境関連領域（植物領域を除く）”を特定できる。

尚、第２実施例において、第１波長域は、その波長域内で受光される光の信号強度が検出するのに十分となる程度に、１１５０ｎｍを中心に適当な幅を有する。植物領域の抽出が目的であることから、この植物領域の抽出が可能である限りにおいて狭くてよく、例えば、数ｎｍ或いは数十ｎｍから百ｎｍ程度の幅を有するように設定される。第２波長域についても同様に、１４００ｎｍを中心に、例えば、数ｎｍ或いは数十ｎｍから百ｎｍ程度の幅を有するように設定される。

次に以上のように構成された画像認識装置の処理の流れについて、図９及び図１０を参照して説明する。ここに図９は、第２実施例に係る画像認識装置の処理の流れを示し、図１０は、図６の画像に対して特定される交通環境関連領域を示す。尚、図９及び図１０において、図５及び図７と同様の構成要素或いはステップには、同様の参照符号を付し、それらの説明は適宜省略する。

図９において、初期状態として、画像認識装置が搭載された車両は、道路上を走行中であるとする。

先ず、画像認識装置のシステム全体がＯＮ（オン）されると、画像認識を実行するために、赤外線照射器１及び赤外線照射器２１が夫々ＯＮ（オン）され、第１波長域及び第２波長域の赤外線が、車両の前方へ向けて夫々照射される（ステップＳ２１）。続いて、赤外線カメラ１２、赤外線カメラ２２及び可視光カメラ１３で、車両の前方の被写体が撮像される（ステップＳ２２）。

すると、赤外線カメラ１２で生成された赤外線画像を示す赤外線画像データは、植物領域抽出部２４に入力される。これと並行して、赤外線カメラ２２で生成された赤外線画像を示す赤外線画像データは、植物領域抽出部２４と領域抽出部１４とに入力される。

植物領域抽出部２４では、画像赤外線画像を構成する複数の画素のうち、二つの赤外線画像間の差分が所定閾値以上となる画素が抽出され、抽出された画素により占められる赤外線画像上の領域が、植物領域として特定される（ステップＳ２３）。

領域抽出部１４では、赤外線画像を構成する複数の画素のうち、所定閾値以上となる画素が抽出され、抽出された画素により占められる赤外線画像上の領域が、先ず第１実施例と同様の“広義の交通環境関連領域”として特定され、更にこらから、ステップＳ２３で特定された植物領域を除外することで、“狭義の交通環境関係領域”が特定される（ステップＳ２４）。

例えば図６に示すような可視光画像Ｐ１が、ステップＳ２２で撮像されるとする。尚、ステップＳ２２で撮像される二つの赤外線画像についても、明暗の差を除き、可視光画像Ｐ１と同じである。このとき、ステップＳ２３を経てステップＳ２４における、狭義の交通環境関連領域の特定を行うと、図１０に示した領域抽出後における画像Ｐ３のように、道路標識Ａ１、他の車両Ａ２及び歩行者Ａ３を含んで構成される、太線の輪郭線で囲われている領域が、狭義の交通環境関連領域として特定される。図１０では、画像全域のうち、狭義の交通環境関連領域でない部分に、ハッチングが掛けられている。第１実施例に係る図７と比較すると、図１０では、植物領域が除外されることで、植物Ａ４が交通環境関連領域から除外されているのが分かる。

続いて、ステップＳ２４以降は、第１実施例の場合と同様に、ステップＳ１４〜Ｓ１６の処理が行われる。

以上詳細に説明したように、第２実施例によれば、画像全域よりも小さい交通環境関連領域（図１０参照）に対して、画像認識処理を施せば済むので、処理負担を軽減できる。特に、第１実施例（図７参照）と比べて、植物領域が、交通環境関連領域から除外される分だけ、画像認識処理の負担を軽減する上で有利である。

尚、第２実施例では、２台の赤外線照射器を用いたが、１台で第１及び第２波長域の両者を照射可能であれば、１台の照射器でもよい。

＜第３実施例＞
本発明の画像認識装置の第３実施例を、図１１及び図１２を参照して説明する。

先ず、本発明の第３実施例に係る画像認識装置の構成について、図１１を参照して説明する。ここに図１１は、第３実施例に係る画像認識装置の構成を示すブロック図である。図１１において、図１に示した第１実施例と同様の構成要素には同様の参照符号を付し、その説明は適宜省略する。

図１１に示すように、第３実施例に係る画像認識装置は、第１実施例の場合と同様に、赤外線照射器１、赤外線カメラ１２、可視光カメラ１３、領域抽出部１４、画像認識部１６及び表示部１８を備え、更にこれらに加えて、距離画像センサ３１、面・傾き検出部３２、及び赤外線画像補正部３３を備える。

図１１において、距離画像センサ３１は、赤外線カメラ１２による撮像と並行して又は相前後して、例えば道路標識、他の車両などの被写体までの距離を測定するように構成されている。

面・傾き検出部３２は、本発明に係る「傾斜検出手段」の一例として、プロセッサ、メモリ等を備えて、車両に内蔵されている。面・傾き検出部３２は、距離画像センサ３１により測定された距離に基づいて、例えば道路標識、他の車両などの被写体における、照射された赤外線を反射する表面を検出すると共に、その表面のポイント毎における、赤外線照射器１に対する傾斜角度を検出或いは算出するように構成されている。

赤外線画像補正部３３は、本発明に係る「補正手段」の一例として、プロセッサ、メモリ等を備えて、車両に内蔵されている。赤外線画像補正部３３は、赤外線カメラ１２で生成された赤外線画像に対して、面・傾き検出部３２により検出された傾斜角度に応じて、明度補正を施すように構成されている。例えば、赤外線照射器１や赤外線カメラ１２に対し斜めに向いている被写体の表面に対しては、明度を傾斜に応じて高める補正が施される。更に、ここでは、傾斜角度に加えて、測定された距離に応じて明度補正が施される。即ち、例えば、赤外線照射器１や赤外線カメラ１２から被写体までの距離が長い程、明度を距離に応じて高める補正が施され、逆に、赤外線照射器１や赤外線カメラ１２から被写体までの距離が短い程、明度を距離に応じて低める補正が施される。

第３実施例では特に、領域抽出部１４は、このように明度補正が施された赤外線画像を構成する複数の画素の各々における強度に基づいて、画素を抽出する。

次に以上のように構成された画像認識装置の処理の流れについて、図１２を参照して説明する。ここに図１２は、第３実施例に係る画像認識装置の処理の流れを示す。尚、図１２において、図５と同様の構成要素或いはステップには、同様の参照符号を付し、それらの説明は適宜省略する。

図１２において、ステップＳ１１が第１実施例と同様に行われる。

続いて、赤外線カメラ１２、可視光カメラ１３、及び距離画像センサ３１で、車両の前方の被写体が撮像される（ステップＳ３２）。この際、距離画像センサ３１では、センサ範囲内の各物体までの距離を画像として取得する。

続いて、面・傾き検出部３２によって、距離画像センサ３１により測定された距離に基づいて、撮像された画像中の各物体の表面と、その傾斜角度とが検出或いは算出される（ステップＳ３３）。

続いて、赤外線画像補正部３３によって、赤外線カメラ１２で生成された赤外線画像に対して、面・傾き検出部３２により検出された傾斜角度に応じて、明度補正が施される（ステップＳ３４）。

続いて、領域抽出部１４では、明度補正が施された後における赤外線画像を構成する複数の画素のうち、所定閾値以上となる画素が抽出され、抽出された画素により占められる赤外線画像上の領域が交通環境関連領域とされる（ステップＳ３５）。

続いて、ステップＳ３５以降は、第１実施例の場合と同様に、ステップＳ１４〜Ｓ１６の処理が行われる。

以上詳細に説明したように第３実施例によれば、道路標識や他の車両などの表面が傾斜していても、より正確に交通環境関連領域を特定できるので実践上、大変有利である。

本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う関連領域特定装置及び方法並びに画像認識装置及び方法もまた本発明の技術的範囲に含まれるものである。

第１実施例に係る、画像認識装置の構成を示すブロック図である。 太陽光の宇宙における波長スペクトル及び地表付近における波長スペクトルを示す特性図である。 赤外線画像中における反射光のスペクトルを各種物体別に示す特性図である。 図３に示した比較的低いパワーを持つスペクトルを、パワー軸を拡大して示す特性図である。 第１実施例に係る、画像認識装置の画像認識の処理の流れを示すフローチャートである。 第１実施例に係る、画像認識装置において、処理対象とされる画像の一例を示す平面図である。 第１実施例により、図６の画像上で特定される交通環境関連領域を図式的に示した平面図である。 第２実施例に係る、画像認識装置の構成を示すブロック図である。 第２実施例に係る、画像認識装置の画像認識の処理の流れを示すフローチャートである。 第２実施例により、図６の画像上で特定される交通環境関連領域を図式的に示した平面図である。 第３実施例に係る、画像認識装置の構成を示すブロック図である。 第３実施例に係る、画像認識装置の画像認識の処理の流れを示すフローチャートである。

符号の説明

１、２１…赤外線照射器、１２、２２…赤外線カメラ、１３…可視光カメラ、１４…領域抽出部、１６…画像認識部、１８…表示部、２４…植物領域抽出部、３１…距離画像センサ、３２…面・傾きセンサ、３３…赤外線画像補正部

Claims (10)

1. 被写体に向けて赤外線を照射する照射手段と、
   該照射された赤外線が前記被写体で反射されてなる反射光を含む赤外線を受光することにより赤外線画像を生成する赤外線撮像手段と、
   該生成された赤外線画像を構成する複数の画素から、前記被写体のうち特定種類の物体を示す画素を、前記複数の画素の各々における前記受光された赤外線の強度に基づいて抽出し、前記赤外線画像上における前記抽出された画素からなる領域を前記特定種類の物体に関連する関連領域として特定する抽出手段と
   を備え、
   前記赤外線撮像手段は、波長スペクトル上で１１５０ｎｍを含む第１波長域に感度を有する第１撮像手段及び１４００ｎｍを含む第２波長域に感度を有する第２撮像手段を有し、
   前記抽出手段は、前記複数の画素から、前記第１及び第２撮像手段により撮像された前記赤外線画像間の差分が所定閾値以上となる画素を、前記被写体中に存在する植物を示す画素として抽出し、前記関連領域として前記植物に関連する植物領域を特定する
   ことを特徴とする関連領域特定装置。
2. 前記照射手段は、前記赤外線として、波長スペクトル上で太陽光に含まれる割合が相対的に小さい波長成分を有する特定波長光を照射することを特徴とする請求項１に記載の関連領域特定装置。
3. 前記赤外線撮像手段は、前記特定波長光を選択的に又は優先的に受光するように構成されていることを特徴とする請求項２に記載の関連領域特定装置。
4. 前記特定波長光は、１３００〜１５００ｎｍ、１１００〜１２００ｎｍ及び９００〜１０００ｎｍのうち少なくとも一つの波長域に含まれている波長成分を有することを特徴とする請求項２又は３に記載の関連領域特定装置。
5. 前記抽出手段は、前記複数の画素から、前記強度が所定閾値以上となる画素を抽出することを特徴とする請求項１から４のいずれか一項に記載の関連領域特定装置。
6. 前記被写体までの距離を測定する距離画像センサと、
   前記生成された赤外線画像に対して、前記測定された距離に応じて明度補正を施す補正手段と
   を更に備え、
   前記抽出手段は、前記明度補正が施された赤外線画像を構成する複数の画素の各々における前記強度に基づいて前記画素を抽出する
   ことを特徴とする請求項１から５のいずれか一項に記載の関連領域特定装置。
7. 前記被写体までの距離を測定する距離画像センサと、
   該測定された距離に基づいて前記被写体における前記照射された赤外線を反射する表面の、前記照射手段に対する傾斜角度を検出する傾斜検出手段と、
   前記生成された赤外線画像に対して、前記検出された傾斜角度に応じて明度補正を施す補正手段と
   を更に備え、
   前記抽出手段は、前記明度補正が施された赤外線画像を構成する複数の画素の各々における前記強度に基づいて前記画素を抽出する
   ことを特徴とする請求項１から５のいずれか一項に記載の関連領域特定装置。
8. 請求項１から７のいずれか一項に記載の関連領域特定装置と、
   前記被写体からの可視光を受光することにより可視画像を生成する可視光撮像手段と、
   該生成された可視画像のうち、前記特定された関連領域内にある部分に対して、画像認識処理を施す画像認識手段と
   を備えることを特徴とする画像認識装置。
9. 被写体に向けて赤外線を照射する照射工程と、
   該照射された赤外線が前記被写体で反射されてなる反射光を含む赤外線を受光することにより赤外線画像を生成する赤外線撮像工程と、
   該生成された赤外線画像を構成する複数の画素から、前記被写体のうち特定種類の物体を示す画素を、前記複数の画素の各々における前記受光された赤外線の強度に基づいて抽出し、前記赤外線画像上における前記抽出された画素からなる領域を前記特定種類の物体に関連する関連領域として特定する抽出工程と
   を備え、
   前記赤外線撮像工程では、波長スペクトル上で１１５０ｎｍを含む第１波長域に感度を有する第１撮像手段により第１赤外線画像を撮像すると共に、前記波長スペクトル上で１４００ｎｍを含む第２波長域に感度を有する第２撮像手段により第２赤外線画像を撮像し、
   前記抽出工程では、前記複数の画素から、前記第１及び第２撮像手段により撮像された前記第１及び第２赤外線画像間の差分が所定閾値以上となる画素を、前記被写体中に存在する植物を示す画素として抽出し、前記関連領域として前記植物に関連する植物領域を特定する
   ことを特徴とする関連領域特定方法。
10. 請求項９に記載の関連領域特定方法と、
    前記被写体からの可視光を受光することにより可視画像を生成する可視光撮像工程と、
    該生成された可視画像のうち、前記特定された関連領域内にある部分に対して、画像認識処理を施す画像認識工程と
    を備えることを特徴とする画像認識方法。

Images