以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
なお、以下に示す実施の形態では、本発明に係る画像処理装置によって交差点にいる人人物を正確に検出することを可能とし、交差点に進入する自動車で事故防止のための走行制御を実行させる安全運転支援システムに適用した場合を例に説明する。
(実施の形態1)
図1は、実施の形態1における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。図1中の1は、交差点を撮像する撮像装置と一体に構成される画像処理装置である。画像処理装置1は、路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置1と一体に構成されている撮像装置のレンズが交差点及びその近傍の範囲を俯瞰するように設置されており、画像処理装置1及び撮像装置は撮像装置のレンズ側を撮影波長帯を透過する素材とした筐体に収められている。図1中の2は路側機であり、画像処理装置1と同様に路側の支柱に取り付けられている。画像処理装置1と路側機2とは通信線により接続されている。
画像処理装置1は、路側機2を介して無線通信によりデータを送受信することが可能である。例えば、図1中には2台の自動車が示されている。各自動車の車載器は、例えばDSRC(Dedicated Short Range Communication)技術により路側機2との無線通信が可能に構成されている。
実施の形態1における安全運転支援システムでは、画像処理装置1が以下に説明する動作を行なうことにより各自動車での走行制御を実現する。画像処理装置1が、交差点を俯瞰するように撮像する撮像装置により得られる画像データから、交差点における自動車、自転車、歩行者、又は落下物等を検出する。そして、画像処理装置1は検出対象の情報を路側機2を介して各自動車に送信する。これにより各自動車では、路側機2を介して受信した情報に基づき、進行方向に歩行者の存在を検知した場合にはブレーキを自動的に作動させるなどの走行制御が実現可能となる。また、緩衝装置を作動させるなど、衝突事故が起こった場合でも衝突による衝撃を軽減させるための安全制御も実現可能となる。
このような安全運転支援システムを実現するために、画像処理装置1が画像データに基づき行なう画像処理、及び画像処理によって得られる各種情報について以下に説明する。
図2は、実施の形態1における安全運転支援システムを構成する画像処理装置1、路側機2、及び撮像装置3の内部構成を示すブロック図である。画像処理装置1は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等を利用して各構成部を制御する制御部10と、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ等の不揮発性のメモリを利用した記憶部11と、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)等のメモリを利用した画像メモリ12と、撮像装置3からの画像信号を受け付ける画像取得部13と、路側機2との通信を実現する通信部14とを備える。
制御部10は、内蔵するROM(Read Only Memory)又は記憶部11に記憶されている制御プログラムを読み出して実行することにより各構成部を制御し、後述にて説明する画像処理を行なうようにしてある。記憶部11は制御部10に内蔵される構成としてもよい。制御部10の処理によって発生する各種データは、更に別途備えられる不揮発性のメモリ又は制御部10内蔵のメモリに一時的に記憶される。
画像メモリ12は、画像取得部13により取得された画像データを記憶する。制御部10は、画像取得部13にて画像データを取得した場合に画像メモリ12への書き込みを指示する。
画像メモリ12は、制御部10が内蔵するRAM(Random Access Memory)の一部の記憶領域であってもよい。また、記憶部11又は画像メモリ12は画像処理装置1の外部に設置され、画像処理装置1の制御部10が読み書きが可能なように、画像処理装置1と接続されている構成としてもよい。また、後述にて説明する各処理は、画像メモリ12に記憶されている画像データ、又はその複製に対して行なう。
画像取得部13は撮像装置3から出力される画像信号を受け付ける。画像取得部13は、受け付けた画像信号から画像データを取り出し画像メモリ12に記憶する。詳細には、画像取得部13は制御部10からの指示に従い、受け付けている画像信号から画像を構成する画素毎の輝度値又は色差等を特定して画像データとし、画像メモリ12へ書き込む。
通信部14は、路側機2との間を接続する通信線を介した情報の送受信を実現する。制御部10は、画像処理によって得られた情報を通信部14にて路側機2へ送信し、通信部14にて路側機2からの情報を受信する。
路側機2は、CPU又はMPUを利用して各構成部を制御する制御部20と、画像処理装置1との通信を実現する通信部21と、各自動車に搭載されている車載器への通信を無線により実現する無線通信部22とを備える。
通信部21は画像処理装置1の通信部14と対応して情報の送受信が可能である。制御部20は、通信部21が画像処理装置1から送信された情報を受信した場合、通信部21からの通知を受けてこれを受信する。
無線通信部22は、DSRC技術の方式により無線通信が可能である。制御部20は、通信部22により画像処理装置1から受信した情報を無線通信部22により各自動車の車載器へ送信する。なお、無線通信部22は車載器へのDSRC方式による通信のみならず、遠隔地にある交通管制センター内の通信装置宛に情報を送信できるように構成してあってもよい。
撮像装置3は、赤外線レンズ及び遠赤外線撮像素子を備え、遠赤外線波長帯にて撮像を行なう遠赤外線カメラである。赤外線レンズは硫化亜鉛、カルコゲンガラス、ゲルマニウム、ジンクセレン等を原料として作製されている。遠赤外線撮像素子は、酸化バナジウム(VOx)、アモルファスシリコン、SOI(Silicon on Insulator)ダイオード、サーモパイル等を用いた非冷却型のものを用いる。遠赤外線撮像素子が検出可能な波長帯は例えば、8μm〜12μmである。フィルターを備えて他の波長の光を遮断するようにしてもよい。
撮像装置3の遠赤外線撮像素子は、温度差を輝度差に変換して出力する。撮像装置3の遠赤外線撮像素子の画素数は例えば320×240であり、1秒間に約30フレームのレートで生成される画像の画像信号を出力する。
なお撮像装置3は、可視光レンズ及び可視光撮像素子を備え、可視光波長帯にて撮像を行なうカメラであってもよい。
次に、上述のように構成される画像処理装置1の制御部10が、撮像装置3から出力される画像信号から取得した画像データに対して行なう画像処理について詳細を説明する。
制御部10は、画像取得部13にて取得した画像データから、検出対象を人物、即ち歩行者及び自転車に限定して検出する。具体的には制御部10は画像データから人物の領域を抽出する。画像データに基づく人物の検出方法としては従来より種々の技術がある。実施の形態1では背景差分の方法を用いる構成とするが、一又は複数フレーム分前の画像データとの差分をとるフレーム差分の方法を用いてもよいし、オプティカルフローと呼ばれる方法を用いてもよい。
図3は、実施の形態1における画像処理装置1の記憶部11に予め記憶されている背景の画像データの内容例を示す説明図である。なお、図3に示すような遠赤外線用の背景の画像データが記憶部11に記憶してある。
図3に示すように、背景の画像データには固定物である路面が写っている。撮像装置3から取得される画像データと背景の画像データとの差分を算出することにより、固定物でないものが写っている領域が、人物領域候補として抽出される。
なお、画像処理装置1の設置位置、設置高さ、及び撮像装置3の俯角、画角に応じて撮像範囲は決定される。実施の形態1の場合、撮像装置3は交差点を俯瞰するように設置される。したがって画像データ内における位置、特に垂直方向の位置と実空間の交差点における位置とに対応関係がある。図3中の破線で表わされる水平線は夫々、画像データ内における垂直方向の位置に対応する実空間における画像処理装置1からの距離を示している。例えば、図3中の一番下方にある破線上に写る路面の一部は、画像処理装置1が設置される位置から20mの距離に位置する。また、中央にある破線上に写る路面の一部は、画像処理装置1が設置される位置から50mの距離に位置する。一番上方にある破線上に写る路面の一部は、画像処理装置1が設置される位置から100mの距離に位置する。
そして、人物の大きさはある程度決まっており、概ね縦×横×高さが80cm×80cm×2m(身長)の体積以内に収まるはずである。撮像装置3によって人物が撮像された場合、画像データ内の人物領域の大きさは、画像処理装置1から遠いほど小さく、近いほど大きくなる。そして、人物領域の画像データ中における大きさは、撮像装置3から人物までの実空間における距離、及び撮像装置3の画角に応じて決まる。
したがって、画像処理装置1から所定の距離に位置する人物領域の画像データ内に占めるべき縦横の大きさを記憶部11に記憶しておく。人物は上述のように80cm×80cm×2m(身長)の体積以内に収まる。画像処理装置1から50mの位置にいる人物が撮像装置3によって撮像された場合、人物の領域が占めるべき大きさは、誤差を考慮して水平方向の大きさ(画素数)が15ピクセル、垂直方向の大きさが30ピクセル以内とする。
なお、人物領域として抽出した領域の画像データ内における位置が、記憶部11に記憶されているサイズ情報に対応する所定の位置(例えば、50mの距離の位置)とは異なる位置である場合、制御部10は、差異に応じて人物領域が占めるべき水平方向及び垂直方向の大きさを算出する。例えば画像処理装置1から100mの距離に対応する位置に、人物領域が位置する場合、所定の50mの距離から2倍の距離であるので、占めるべき大きさは略半分となる。このように、画像データ中の人物領域が占めるべき縦横の大きさを記憶部11に予め記憶しておく。
遠赤外線波長帯で撮像される画像データでは温度差が輝度値の差を生じさせるから、コートなどの厚地の服を着た人物が撮像された場合、周辺とコートの表面との間に温度差が生じないときがある。この場合、人物の顔部分及び脚部分が各別に人物領域候補として抽出される。制御部10が、上述のように遠赤外線波長帯の画像データから背景差分により抽出された人物領域候補の内、人物の領域が占めるべき大きさの条件に合っている領域を人物領域と特定するとした場合、顔部分の領域のみでは大きさの条件に合わないので、人物領域の一部であるにも拘わらず、人物領域から誤って除外される。
可視光波長帯で撮像される画像データでも同様である。背景と似た色の服を着た人物が撮像された場合、周辺と服の部分とが同化する。この場合も、胴体部分が背景との間でコントラストを生じさせないので背景差分の算出又はエッジ処理をしたとしても、人物の顔部分及び脚部分が各別に人物領域候補として抽出される。
そこで画像処理装置1の制御部10は、上述のように記憶部11に記憶されている情報を用いて以下に示す処理を行なう。図4は、実施の形態1における画像処理装置1の制御部10が行なう画像処理の手順の一例を示すフローチャートである。
制御部10は、画像取得部13へ指示信号を出力することにより、撮像装置3から出力される画像信号に基づく画像データを取得する(ステップS1)。なお、ステップS1における画像データの取得タイミングは任意である。例えば100ミリ秒等の一定時間毎に行なう構成としてもよいし、路側機2で車載器からの情報を受信した場合など、自動車が交差点への進入を検知した場合に行なう構成としてもよい。
制御部10は、撮像装置3から出力される画像信号からステップS1で画像取得部13が取得した画像データと、記憶部11に記憶してある遠赤外線用の背景の画像データとの差分データを算出する(ステップS2)。算出された差分データは、画像メモリ12又は制御部10内蔵メモリに一時的に記憶される。これにより、遠赤外線波長帯にて撮像する撮像装置3から得られる画像データから、背景の画像データには写っていない検出対象が存在する領域が、検出対象である人物領域候補として抽出される。
制御部10は差分データを例えば以下のようにして算出する。制御部10は画素毎に、背景の画像データと取得した画像データとの輝度値の差分を算出し、差分が所定値以上である画素と、差分が所定値未満である画素とに区別する。制御部10は、画像データを構成する画素毎の、差分が所定値以上であるか否かの真偽を示す1ビット情報の二次元配列を、差分データとして算出する。なお、複数の連続する画素で真である場合以外、即ち、真である画素が連続しない場合は当該画素の1ビット情報を偽としてもよい。ノイズにより差分が所定値以上となった画素を除去するためである。
更に具体的には、制御部10は取得した画像データの画素毎に、以下に示す式1に基づく演算を行なう。
ただし、式1におけるf(x,y)は、取得した画像データを構成する水平方向の位置x及び垂直方向の位置yで特定される各画素の1ビット情報である。なお、水平方向の位置xは画像データの左端からの画素数であり、垂直方向のyは画像データの上端からの画素数とする。Ix,yは取得した画像データにおけるx、yで特定される画素毎の輝度値である。I´x,yは、背景の画像データにおけるx、yで特定される画素毎の輝度値である。thresholdは任意の閾値である。
なお、式1に示すように差分データを算出する際、取得した画像データ及び背景の画像データ夫々にエッジ抽出処理を施すなどした後の輝度値に基づいて算出してもよい。
そして制御部10は、ステップS2にて差分データを算出することにより抽出される検出対象領域候補が複数であるか否かを判断する(ステップS3)。制御部10は、検出対象領域候補が単一であると判断した場合(S3:NO)、処理を後述のステップS10へ進める。
制御部10は、検出対象領域候補が複数であると判断した場合(S3:YES)、ステップS2で算出された遠赤外線画像データの差分、即ち検出対象領域候補の画像データ中における位置に基づき、撮像装置3から検出対象である人物までの距離を算出する(ステップS4)。詳細には、制御部10は、ステップS2で算出された差分データの連続領域に外接する矩形を特定し、特定した矩形を抽出された検出対象領域候補とする。そして、制御部10は検出対象領域候補の上端の画像データ中における垂直方向の座標を特定する。特定される上端の座標と実空間における距離との対応は、図3に示したように予め記憶してあるものに基づいて求める。これにより、演算処理が容易となる。なお、差分データにおける差分値が所定値以上である画素の連続領域が複数ある場合には夫々の連続領域を検出対象領域候補とし、検出対象領域候補毎に距離を算出する。
ステップS3の上述の説明では、制御部10は検出対象領域候補の上端の画像データ中における垂直方向の座標を特定した。しかしながら、検出対象領域候補の下端の画像データ中における垂直方向の座標を特定してもよい。検出対象である人物が写っている人物領域は、人物の路面との接地点に対応する可能性が高いので、接地点に対応する座標を特定することにより、画像処理装置1から人物までの実空間における距離を算出することができるからである。ただし、接地点付近には、降雨がある状況では水溜りでの反射成分が、日照がある状況では影部分が生じている可能性がある。したがって、下端として特定される座標は、本来の人物の足元に相当する位置でなく、反射成分又は影部分の下端に相当している可能性がある。この場合、当該位置を基準に、撮像装置3から人物までの距離を算出すると、誤って距離を短く算出して精度を低下させる可能性がある。
次に制御部10は、ステップS4で検出対象領域候補夫々の上端に基づき算出した実空間における画像処理装置1から人物までの距離に応じて、各検出対象領域候補について、検出対象である人物の領域が占めるべき大きさを特定する(ステップS5)。具体的には、制御部10は、各検出対象領域候補の水平方向及び垂直方向の画素数(ピクセル)を特定する。例えば、一の検出対象領域候補について、ステップS3で算出した距離が50mであった場合、記憶部11に記憶されている情報を参照し、検出対象である人物が占めるべき大きさは水平方向15ピクセル、垂直方向30ピクセルであると特定する。
そして制御部10は、複数の検出対象領域候補から、一の検出対象領域候補を選択し(ステップS6)、選択した検出対象領域候補の上端の画像データ中における位置から、特定された大きさの分だけ下方の位置までの範囲に、他の検出対象領域候補を内包するか否かを判定する(ステップS7)。
詳細には、制御部10は以下に示すように、各検出対象領域候補の矩形に対して探索範囲を設定し、探索範囲内に他の検出対象領域候補が内包されるか否かを判定する。制御部10が一の検出対象領域候補を選択した場合、制御部10は、検出対象領域候補は矩形として特定されているから(S4参照)、当該矩形の垂直二等分線を特定する。制御部10は、探索範囲の大きさを、各検出対象領域候補に対応して特定された占めるべき大きさとする。そして制御部10は、検出対象領域候補と探索範囲とで垂直二等分線が一致するように、探索範囲の水平方向を設定し、検出対象領域候補と探索範囲とで上端が等しくなるように、探索範囲の垂直方向を設定する。
制御部10は、ステップS7にて、他の検出対象領域候補を内包しないと判断した場合(S7:NO)、処理をステップS9へ進める。制御部10は、ステップ7にて、他の検出対象領域候補を内包すると判断した場合(S7:YES)、ステップS6にて選択した検出対象領域候補と、内包すると判断された他の検出対象領域候補とを対応付け、新たな一の検出対象領域候補として抽出する(ステップS8)。
制御部10は、新たに抽出された候補も含む検出対象領域候補全てについて他の検出対象領域候補を内包しているか否かなどの処理を行なったか否かを判断し(ステップS9)、全候補について処理していないと判断した場合(S9:NO)、処理をステップS6へ戻し、他の検出対象領域候補を選択して処理を継続する。制御部10は、全候補について処理したと判断した場合(S9:YES)、各検出対象領域候補の内の一部又は全部を検出対象領域と特定する(ステップS10)。具体的には制御部10は、各検出対象領域候補の画像データにおける位置から、第1撮像装置3からの実空間における距離を求め、当該候補が求めた距離にある場合に検出対象領域が占めるべき縦横の大きさの条件に合っている場合、検出対象領域として特定する。条件に合っていない検出対象領域候補は、検出対象領域として特定されずに除外される。
制御部10は、ステップS10で特定した検出対象領域に基づき検出対象を検出し、検出対象の交差点における位置、即ち撮像装置3からの距離など、検出した対象の情報を通信部14により送信し(ステップS11)、処理を終了する。
ここで、図4のフローチャートに示した処理手順について具体例を挙げて説明する。
まず、ステップS7における処理の詳細、及びステップS8にて新たな候補として抽出される処理について図5を参照して説明する。図5は、実施の形態1における画像処理装置1の制御部10による処理の結果を具体的に示す説明図である。
図5(a)は、参考のために撮像装置3の撮像範囲の内の一部を拡大して示している。図5(a)に示すように撮像装置3の撮像範囲には、撮像装置3側を向いている人物が写っている。図5(b)は、撮像装置3にて撮像された遠赤外線画像データから、背景画像との差分を算出することによって抽出された検出対象領域候補の内容例を示している。なおハッチングにて差分データとして算出される領域を示し、太破線により外接矩形にて抽出される検出対象領域候補を示している。図5(b)に示す例では、図5(a)に示す顔部分及び脚部分の露出部に相当する領域が、輝度値が背景データにおける輝度値よりも高い領域として各別に抽出される。撮像装置3は遠赤外線波長帯にて撮像するので、衣服の部分が背景と温度差を生じていない場合、遠赤外線画像データにてコントラストを生じさせず、図5(b)に示すように検出対象領域候補として抽出されない。
図5(c)は、制御部10の処理により、選択された検出対象領域候補夫々に対して設定される探索範囲を細破線にて示している。また、図5(c)は、ステップS7にて内包すると判断された他の検出対象領域候補とを対応付け、新たな一の検出対象領域候補として抽出される領域を実線にて示している。
探索範囲の設定は具体的に以下のように行なわれる。制御部10がステップS6にて顔部分に相当する検出対象領域候補を選択した場合、矩形として特定される検出対象領域候補の垂直二等分線を、図5(c)中の一点鎖線に示すように特定する。そして制御部10は、選択した検出対象領域候補の上端の垂直方向の座標yを特定する。制御部10は、図3に示す背景データに対応付けられている垂直方向の座標と実空間における距離との対応関係に基づき、特定した座標yに対応する実空間における距離を特定する。制御部10は、特定した距離に検出対象(人物)がある場合に、検出対象領域が占めるべき大きさ(縦Vy 及び横Hy )を特定する。これらの情報に基づき制御部10は、座標yを上端とし、且つ検出対象領域候補の垂直二等分線を中心軸とする縦Vy 及び横Hy の矩形(細破線)を探索範囲として設定する。制御部10が脚部分に相当する検出対象領域候補を選択した場合も同様に、制御部10は、検出対象領域候補の上端の垂直方向の座標y´を特定し、検出対象領域が占めるべき大きさ(縦Vy´及び横Hy´)を特定する。そして制御部10は、検出対象領域候補に対し、座標y´を上端とし、且つ検出対象領域候補の垂直二等分線を中心軸とする縦Vy´及び横Hy´の矩形(細破線)を探索範囲として設定する。
そして制御部10は、選択された検出対象領域候補に対して設定した探索範囲内に、他の候補が内包されるか否かを判定する。図5(c)に示す例では、細破線にて示される顔部分に対応する検出対象領域候補の探索範囲内に、脚部分の検出対象領域候補が含まれている。したがって、図5(c)中の実線にて示すように、顔部分の検出対象領域候補と脚部分の検出対象領域候補とが対応付けられ、新たな一の検出対象領域候補として抽出される。
次に、画像処理装置1の制御部10により検出対象領域候補が抽出され、検出対象領域として特定される処理を、具体例を示して説明する。図6は、実施の形態1における画像処理装置1の制御部10が行なう画像処理結果の具体例を示す説明図である。
図6(a)は、撮像装置3から画像取得部13にて取得される画像データ、即ち遠赤外線画像データの内容例を模式的に示す。図6(a)の遠赤外線画像データでは一点鎖線に輪郭を模式的に示すように、路面が写っている。画像データにおける中央、左下、及び右付近には他の路面よりも輝度値が高い白抜きで示された領域がある。左下と右部分が人物領域であるとする。
図6(b)は、図6(a)に示す遠赤外線画像データから制御部10によって算出される差分データを示す。図6(b)中の破線にて示される矩形は、差分データから抽出される検出対象領域候補を示す。図6(b)に示すように、左下と右部分にある人物領域は夫々、2つの検出対象領域(人物領域)候補として各別に抽出されている。夫々の検出対象領域候補について、その縦横の大きさから検出対象である人物が占める領域であるか否かが判断される場合、その大きさが小さく認識されるために、人物領域ではないと誤って除外される可能性がある。
しかしながら、実施の形態1の画像処理装置1における処理により、図6(c)中の実線に示すように、人物領域夫々に対応する2つに分離した検出対象領域候補は、一方の候補の探索範囲に他方が内包されると判定されるため、一の検出対象領域候補としても抽出されて取り扱われる。したがって、2つに分離していても正しく検出対象である人物対象領域として特定され、精度よく人物が検出される。
なお、上述の探索範囲の設定は、検出対象領域候補と垂直二等分線を同じくし、且つ上端の座標を同じくした検出対象領域が占めるべき大きさの矩形とした。これは、検出対象を人物としていることによる。即ち、検出対象が人物である場合は特に、露出部分である顔部分と、衣服を着ている場合でも比較的輝度値が高くなる脚部分とに上下2つに分離することが多いことを利用している。撮像装置3が可視光波長帯にて撮像する場合でも、同化する部分は衣服の部分が多く、顔部又は頭部と、脚部又は足部との上下2つに分離する可能性が高い。
したがって、逆に検出対象が人物でない場合は、探索範囲の設定は、垂直二等分線を同じくし、且つ上端の座標を同じくした検出対象領域が占めるべき大きさの矩形とは限らない。検出対象が撮像されて、差分データを算出した場合に分離する可能性があるときは、分離の仕方に応じて探索範囲を設定することにより同様に正しい検出が可能である。
(実施の形態2)
検出対象を人物とする場合、降雨が有るときには人物は傘を差して歩行するか又は自転車にて走行することがある。この場合、画像データに写る人物領域は縦方向に伸びるはずである。そのまま、実施の形態1に示したように、選択した人物領域候補から下方の人物領域が占めるべき大きさの範囲内に、他の人物領域候補が内包されるか否かを判定する構成とした場合、判定を誤る可能性がある。探索範囲の縦方向が短く、夫々同一の人物の人物領域の一部であるにも拘らず、内包されないと判定されて一の人物領域候補として抽出されない場合があるからである。内包するか否かの判定の際に、許容範囲を持たすことによって上述のように判定を誤ることを回避できるが、より高精度に判定するため、実施の形態2では、降雨センサを用いる。
図7は、実施の形態2における安全運転支援システムが設置されている交差点の例を示す上方からの斜視図である。図7中の4は、交差点を撮像する撮像装置3と一体に構成される画像処理装置であり、2は路側機であり、5は降雨センサである。路側機2、並びに撮像装置3については実施の形態1と同様であるため同一の符号を付して詳細な説明を省略する。
画像処理装置4は、実施の形態1における画像処理装置1同様に路側に設置されて所定の高さで道路側に伸びている支柱に取り付けられている。画像処理装置4、及び撮像装置3は、撮像装置3のレンズ側を撮影波長帯を透過する素材とした筐体に収められている。降雨センサ5は、交差点付近における降雨の有無を検知するために、画像処理装置4及び路側機2と並べて支柱に取り付けられている。画像処理装置4と降雨センサ5とは、降雨センサ5からの信号を画像処理装置4が受信可能なように信号線にて接続されている。
図8は、実施の形態2における安全支援システムを構成する画像処理装置4、路側機2、撮像装置3、及び降雨センサ5の構成を示すブロック図である。画像処理装置4は、CPU、MPU等を利用して各構成部を制御する制御部40と、EEPROM、フラッシュメモリ等の不揮発性のメモリを利用した記憶部41と、SRAM、DRAM等のメモリを利用した画像メモリ42と、撮像装置3からの画像信号を受け付ける画像取得部43と、路側機2との通信を実現する通信部44と、降雨センサ5からの信号が入力される入力部45とを備える。制御部40、記憶部41、画像メモリ42、通信部44の詳細は、実施の形態1における画像処理装置1の制御部10、記憶部11、画像メモリ12、通信部14と同様であるので詳細な説明を省略する
入力部45は、降雨センサ5から入力される信号を制御部40へ通知する。A/D変換機能を有していてもよい。
降雨センサ5は、水没した場合に抵抗値が変化する素子等を用いてもよいし、水没した場合に通電するように電極を複数備えたセンサ等を用いてもよい。降雨センサ5は、一部が水没して降雨があると判定できる場合に、降雨有を示す信号を出力する。なお、抵抗値をそのまま画像処理装置4へ入力し、制御部40が入力部45を介して降雨の有無を判定してもよい。
上述のように構成される実施の形態2における画像処理装置4の制御部40は、基本的に、実施の形態1に示した画像処理装置1の制御部10と同様に以下のような処理を行なう。ただし制御部40は、降雨センサ5から入力される降雨の有無を示す信号に基づき、探索範囲の縦方向を所定値大きく設定することにより、傘を差している分だけ縦方向に伸びていると考えられる人物領域をより精度よく特定し、人物を検出する。
以下に、実施の形態2における画像処理装置4の制御部40が、撮像装置3から出力される画像信号から取得した画像データに対して行なう画像処理について詳細を説明する。
図9は、実施の形態2における画像処理装置4の制御部40が行なう画像処理の手順の一例を示すフローチャートである。なお、以下に示す処理手順の内、実施の形態1の図4のフローチャートに示した処理手順と共通する処理手順については同一のステップ番号を付して詳細な説明を省略する。
制御部40は、撮像装置3から取得した画像データから差分データを算出することによって抽出した複数の検出対象領域候補夫々について、検出対象が算出される距離にいる場合に検出対象領域が占めるべき大きさを特定する(S1〜S5)。
制御部40は、降雨センサ5から入力される信号に基づき降雨の有無を判定する(ステップS12)。制御部40は、降雨有りと判定した場合(S12:YES)、ステップS5で各検出対象領域候補に特定した大きさに対して、夫々縦方向を所定値分だけ大きく特定し(ステップS13)、処理をステップS6へ進める。制御部40が降雨無と判定した場合(S12:NO)、ステップS5にて特定した大きさはそのままで処理をステップS6へ進める。
制御部40は、全ての検出対象領域候補を一つずつ選択し、ステップS5及びステップS13にて降雨の有無に応じて特定された検出対象領域が占めるべき大きさに基づいて設定される探索範囲に、他の候補を内包するか否かの判定を行ない、内包する場合には検出対象領域候補を対応付けて新たな候補として抽出する(S6〜S9)。そして制御部40は、抽出された検出対象領域候補の一部又は全部を検出対象領域として特定し(S10)、特定された検出対象領域に基づき検出対象の情報を送信して(S11)処理を終了する。
これにより、降雨の有無に応じて人物領域が占めるべき大きさを精度よく特定することができ、検出対象である人物を精度よく検出することが可能となる。
上述の実施の形態1及び2では、画像取得部13又は画像取得部43による画像の取得、並びに画像処理を制御部10,40が行なう構成とした。しかしながら本発明はこれに限らず、画像の取得処理及び画像処理を画像処理部分を分離した集積回路によって実現するように構成してもよい。特に、上述の実施の形態1及び2では図4、及び図9のフローチャートに示した処理手順を制御部10又は制御部40が各構成部を制御して行なう構成とした。しかしながら、本発明に係る画像処理装置1,4は、フローチャートに示した各処理手順を行なうように設計された集積回路を更に集積した特定用途向けの回路(ASIC:Application Specific Integrated Circuit)を有する構成としてもよい。例えば、図4のフローチャートに示したステップS2に対応する差分データを算出する回路、ステップS6〜S9における処理を実現する回路等を組み合わせたASICを設計して用いることにより、各処理を高速に実行することができる。
更に、実施の形態1及び2は、安全運転支援システムに適用した場合を示した。しかしながら、本発明に係る画像処理装置による移動体の検出は安全運転支援システムに限らず、他の分野にも適用可能である。例えば、防犯システム又は監視システム等、撮像画像に基づき対象を精度よく検出することが可能である。
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。