JP6273682B2 - 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム - Google Patents

Description

この発明は、検知エリアに照射した光の反射光を受光することによって撮像した、この検知エリアの距離画像を処理して、検知エリア内に位置するオブジェクトを検出する技術に関する。

従来、正弦波変調光を検知エリアに投光し、拡散反射光を受光することにより、検知エリアの距離画像、および受光強度画像を同じタイミングで撮像した一対の撮像画像として取得するＴＯＦ（Time Of Flight）カメラがある（例えば、特許文献１参照）。ＴＯＦカメラは、正弦波変調光（赤外光）を検知エリアに投光する発光素子を有する投光部、およびｎ×ｍ個の受光素子をマトリクス状に配置したイメージセンサを有する受光部、を備えている。

ＴＯＦカメラは、赤外光を検知エリアに投光し、その反射光（拡散反射光）をイメージセンサの各受光素子で受光することにより、受光強度画像を取得する。

また、ＴＯＦカメラは、各受光素子で、赤外光を撮像エリアに投光してから、その反射光を受光するまでの時間（飛行時間）を計測する。ＴＯＦカメラは、撮像エリアに照射した赤外光と、受光した反射光と、の位相差を計測することによって、飛行時間を得る。ＴＯＦカメラは、各受光素子で得た飛行時間から、投光した光を反射した反射面までの距離を算出することにより、距離画像を取得する。

また、鉄道会社では、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って落下防止柵を設置することを進めている。落下防止柵には、駅ホームに停車した列車のドア（車両ドア）に対向する位置に、水平方向にスライドして開閉するスライドドアを設けたものがある。この落下防止柵は、列車が駅ホームに停車した後に、乗降客の通路を確保するためにスライドドアを一時的に開する。列車は、乗降客の乗降が完了し、落下防止柵のスライドドアが閉された後に発車する。

列車の発車時における安全性を確保するため、この列車と、落下防止柵と、の間に位置する物体の有無をセンサで検出している。最近では、物体の有無を検出することができない死角が生じるのを防止する観点（物体の見逃しを防止する観点）から、透過型や反射型の光電センサを用いるのではなく、上述のＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）を処理して、撮像されている物体（列車と落下防止柵との間に位置する物体）を検出することが検討されている。

特表２０１０−５３４０００号公報

しかしながら、ＴＯＦカメラを用いた構成では、降雨時に、雨滴の影響を受けた画素（雨滴影響画素）が発生することがある。雨滴影響画素には、雨滴で反射された反射光を受光した雨画素や、撮像レンズに付着した雨滴を透過した反射光を受光した雨滴付着画素がある。この雨滴影響画素は、ノイズである。したがって、雨滴影響画素が多くなるにつれて、物体が誤検出される可能性が高くなる（実際に存在していない物体を検出する可能性が高くなる。）。

例えば、上述した列車と、落下防止柵と、の間に位置する物体の有無の検出にＴＯＦカメラを利用した場合、降雨時に、ノイズである雨滴影響画素によって、列車と落下防止柵との間に位置する物体（実際には存在していない物体）が誤検出されると、駅での列車の停車時間が無駄に長くなり、ダイヤを乱すことになる。列車の運転手は、列車と、落下防止柵と、の間に位置する物体が検出されると、駅係員等が安全を確認するまで、列車を発車させない。また、安全確認を行う、駅係員の作業負担を増大させることになる。

この発明の目的は、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出が抑えられる技術を提供することにある。

この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。

画像取得部は、撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した検知エリアの距離画像、および受光強度画像を一対の検知用画像として取得する。撮像装置は、例えば、公知のＴＯＦ（Time Of Flight）カメラを用いてもよいし、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成としてもよい。撮像装置は、検知エリアの距離画像、および受光強度画像が同じタイミングで撮像できる構成であればよい。

なお、ＴＯＦカメラは単眼で距離画像を得ることができ、ステレオ画像処理方式に比べて低コストで小型化できる点で注目されている。

雨滴影響画素判定部は、画像取得部が一対の検知用画像として取得した距離画像、および受光強度画像の各画素について、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する。雨滴影響画素には、例えば雨滴からの反射光を受光した雨画素や、撮像レンズに付着している雨滴を透過した反射光を受光した雨滴付着画素がある。

なお、この発明で言う画素とは、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。この発明の画像処理装置は、距離画像や受光強度画像を、ここで言う画素単位で処理する（受光素子単位で処理するとは限らない。）。

降雨時に検出される雨滴からの反射光は、比較的近い位置で反射されている。また、雨滴の反射率を考慮し、その反射率が大きく異なる受光強度の反射光については、雨滴で反射された反射光ではなく、オブジェクトで反射された反射光である可能性が高い。したがって、雨画素であるかどうかにかかる判定は、その画素において取得した距離や受光強度を用いることで判定精度を確保できる。

特に、雨滴の反射率は、その雨滴の後方に位置する物体（背景を含む）の反射率によって変化する。したがって、その画素において取得した距離、および基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の受光強度の差、を用いることで、雨滴からの反射光を検知した雨画素であるかどうかの判定が、雨滴の後方に位置する物体（背景を含む）の反射率を考慮して行える。したがって、雨滴からの反射光を検知した雨画素であるかどうかの判定精度を一層向上できる。

なお、基準受光強度画像とは、検知エリアの背景受光強度画像に相当する画像である。

また、撮像レンズに付着している雨滴を透過した反射光を受光した雨滴付着画素は、受光強度が低下する傾向にあることを実験により確認した。また、雨滴付着画素の多くは、受光光量の低下量がある範囲に収まることも実験で確認した。これは、撮像レンズに付着している雨滴の透過にともなう反射光量の減衰により生じた現象であると考えられる。また、雨滴付着画素の多くは、距離の変化がある範囲に収まることも確認した。これは、撮像レンズに付着している雨滴の透過時に反射光が屈折し、この反射光を受光する画素が、隣接する画素や近辺の画素にずれることにより生じた現象であると考えられる。

したがって、雨滴付着画素については、上述の距離や受光強度の変化の傾向に基づき、撮像レンズに付着している雨滴の影響を受けた雨滴付着画素であるかどうかを判定することにより、その判定精度を確保できる。

特に、雨滴付着画素の多くは、距離の変化がある範囲に収まること、および受光光量の低下量がある範囲に収まることから、基準距離画像と検知用画像の距離画像とにおける当該画素の距離の差が、設定した範囲内（距離の変化が収まる範囲内）であり、且つ、基準受光強度画像と検知用画像の受光強度画像とにおける受光強度の差が設定した範囲内（受光光量の低下量が収まる範囲内）である画素を雨滴付着画素と判定するのが好ましい。これにより、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素であるかどうかの判定精度を一層向上できる。

なお、基準距離画像とは、検知エリアの背景距離画像に相当する画像であり、また、基準受光強度画像とは、検知エリアの背景受光強度画像に相当する画像である。

また、雨滴影響画素（雨画素、および雨滴付着画素）における、距離、および受光強度の変化は、撮像装置の特性や撮像環境等の要因によって異なると考えられるので、本装置の設置時に、これらの傾向を確認し、雨滴影響画素であるかどうかを判定する判定基準を設定するのが好ましい。

オブジェクト仮検出部は、画像取得部が一対の検知用画像として取得した距離画像を処理して、撮像されているオブジェクトを仮検出する。例えば、オブジェクト仮検出部は、画像取得部が一対の検知用画像として取得した距離画像と、検知エリアの基準距離画像（所謂、検知エリアの背景距離画像）と、の差分画像を生成し、撮像されているオブジェクトを仮検出する。このオブジェクト仮検出部は、雨滴影響画素によってオブジェクトを誤検出することがある。

判定部は、オブジェクト仮検出部が仮検出したオブジェクトが雨滴影響画素により誤検出されたオブジェクトであるかどうかを判定する。この判定は、この仮検出したオブジェクトにかかる画素の総数と、この仮検出したオブジェクトにかかる画素であって、且つ雨滴影響画素判定部が雨滴影響画素であると判定した画素の個数と、を用いて判定する。判定部は、オブジェクト仮検出部が仮検出したオブジェクトにかかる画素の総数に対する、この仮検出したオブジェクトにかかる画素であり、且つ雨滴影響画素判定部が雨滴影響画素であると判定した画素の個数の比率により（例えばこの比率が予め定めた判定値（例えば、５０％）を超えているとき、）、この仮検出したオブジェクトを雨滴影響画素により誤検出されたオブジェクト（ノイズ）であると判定する。

これにより、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出が抑えられる。

また、オブジェクト仮検出部が仮検出したオブジェクトについて、判定部において雨滴影響画素により誤検出されたオブジェクトであると判定したオブジェクトの個数をカウントし、このカウント値に基づいて、判定値を定める判定値設定部を設けてもよい。このように構成すれば、降雨量等に応じて判定値を変化させることができ、オブジェクトの誤検出が一層抑えられる。

また、この発明にかかるオブジェクト検出方法は、上述の画像取得部、雨滴画素判定部、オブジェクト仮検出部、および判定部の構成に相当する処理をコンピュータに実行させる発明である。

さらに、この発明にかかるオブジェクト検出プログラムは、コンピュータにインストールすることで、上述の画像取得部、雨滴画素判定部、オブジェクト仮検出部、および判定部の構成に相当する処理を、このコンピュータに実行させる発明である。

この発明によれば、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出を十分に抑えることができる。

落下防止柵が設置されている駅ホームを示す概略図である。 画像処理装置の主要部の構成を示すブロック図である。 オブジェクトまでの距離を求める既知の原理を説明する図である。 ＴＯＦカメラの取付例を示す図である。 画像処理装置の動作を示すフローチャートである。 基準画像取得処理を示すフローチャートである。 オブジェクト検出処理を示すフローチャートである。 雨画素であるかどうかの判定手法を説明する図である。 雨滴付着画素にかかる実験結果を示す図である。 雨滴付着画素であるかどうかの判定手法を説明する図である。 オブジェクト仮検出処理を示すフローチャートである。 判定処理を示すフローチャートである。 判定値設定処理を示すフローチャートである。

以下、この発明の実施形態である画像処理装置について説明する。

この例にかかる画像処理装置は、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って設置している落下防止柵と、列車と、の間の空間を検知エリアとしたものである。画像処理装置は、この検知エリア内に位置するオブジェクトを検出する。

まず、駅ホームの側端部に沿って設置している落下防止柵について簡単に説明しておく。

図１は、落下防止柵が設置されている駅ホームを示す概略図である。図１（Ａ）は、駅ホームの俯瞰図であり、図１（Ｂ）は、線路側から駅ホームを見た平面図である。落下防止柵は、戸袋として機能する筐体１と、この筐体１に対してスライド自在に取り付けたスライドドア２を有する。図１は、スライドドア２を閉している状態を示している。スライドドア２は、設置している駅ホームに停車する列車の各ドアが対向する位置に設けている。スライドドア２は、開したときに、筐体１内（戸袋）に収納される。スライドドア２は、図１において、左右方向にスライドする。

この例にかかる画像処理装置がオブジェクトを検出する検知エリアは、スライドドア２が設けられている位置における、落下防止柵と線路との間である。

図２は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。画像処理装置１０は、制御部１１と、画像センサ部１２と、画像処理部１３と、出力部１４と、を備えている。この画像処理装置１０は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。ハードウェアとして利用する情報処理装置は、この発明で言うオブジェクト検出プログラムをインストールすることで、後述する処理（図５、図６、図７、図１１、図１２および図１３に示すフローチャートにかかる処理）を実行する。

制御部１１は、画像処理装置１０本体各部の動作を制御する。

画像センサ部１２は、赤外光を検知エリアに照射し、その反射光を受光することにより検知エリアの距離画像、および受光強度画像を撮像するＴＯＦ（Time Of Flight）カメラを有する。

ＴＯＦカメラは、検知エリア（撮像エリア）に赤外光を照射する光源、およびｎ×ｍ個の受光素子をマトリクス状に配置した撮像素子（ｎ×ｍ画素の撮像素子）を有する。ＴＯＦカメラは、赤外光を検知エリアに照射してから、反射光を受光するまでの時間（飛行時間）を画素毎に計測する。ＴＯＦカメラは、検知エリアに照射した光と、受光した反射光と、の位相差を計測することによって、オブジェクト（光反射した対象物体の反射面）までの距離を得る。

オブジェクトまでの距離を求める既知の原理を説明すると、光源から照射される光は、発光強度が変調されたものを用いる。検知エリアからの反射光を受光する際に伝播距離に応じて変調位相がずれる。光源からの光の一部を受光素子の一部で直接受光することで照射光の位相をモニタし、反射光として受光した光の位相とのズレを求める。位相ずれを求める既知の原理は、図３（Ａ）に示すように、照射光の変調周期Ｔに対してＴ／２期間ごとにサンプリングした受光信号（Ａ０、Ａ２）と、さらに図３（Ｂ）に示すように、Ｔ／４ずらしたタイミングでサンプリングした受光信号（Ａ１，Ａ３）と、に基づいて伝播距離によって位相のずれ量φを算出する。位相のずれ量φは、
φ＝arctan{（Ａ３−Ａ１）／（Ａ０−Ａ２）}
により算出できる。

また、ここで求めた位相のずれφからオブジェクトまでの距離Ｄを求めることができる。オブジェクトまでの距離Ｄは、
Ｄ＝Ｌｍａｘ×φ／２π
により算出できる。ここでＬｍａｘはφ＝２πとなるときの物体までの距離（測定最大距離）であり、変調周波数が２０ＭＨｚであればＬｍａｘは７．５ｍ、１０ＭＨｚであれば１５ｍとなる。

なお、撮像素子における説明をすると、隣接する縦横それぞれ２つずつ（合計４つ）の受光素子（４ピクセル）を１組とし、これを１画素として扱う。各受光素子（ピクセル）は、Ｔ／４期間ごとずらしたサンプリングタイミングで光電変換された電荷を蓄積する。これにより、Ｔ／４期間ごとの蓄積電荷に基づいて、前述のＡ０，Ａ１，Ａ２，Ａ３の受光信号を得ることができる。また、他の既知技術として、２つの受光素子を１画素として扱い、前述のＡ０〜Ａ３の受光信号を得る方式もある。

ここでいう「画素」とは、上述したように、位相のずれまたは距離を求めてオブジェクトを検知するために画像処理を行うときの単位となる受光素子（ピクセル）のブロックであり、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。この発明の画像処理装置は、距離画像や受光強度画像を、ここで言う画素単位で処理する（受光素子単位で処理するとは限らない。）。

ＴＯＦカメラにおける実際の画像処理においては、前述の照射光の変調の１周期だけの受光電荷では量的に少なすぎるので、カメラの露光時間を適宜設定し、その期間に蓄積された電荷量を用いて位相のずれを算出し、オブジェクトまでの距離を求める。これで求めた画素（上述したように、画像処理をするうえで単位となるブロックの意味である。）毎の距離情報を全て集めることにより、画素毎に反射面までの距離を対応付けた距離画像を取得する。また、ＴＯＦカメラは、画素毎に所定期間分（複数周期分）の蓄積電荷を全て集めることにより、画素毎にその画素が受光した反射光の強度（反射光量）を対応付けた受光強度画像を取得する。ＴＯＦカメラは、同じ露光タイミング（露光期間)で撮像した検知エリアの距離画像、および受光強度画像を得ることができる。

なお、上述のＴＯＦカメラにかえて、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成の撮像装置を用いてもよい。画像センサ部１２が有する撮像装置は、検知エリアの距離画像、および受光強度画像が同じ露光タイミング（露光期間)で撮像できる構成であればよい。このＴＯＦカメラは、例えば、１秒間に５〜１０フレーム程度の距離画像、および受光強度画像（一対の撮像画像）の撮像が行える。

図４は、ＴＯＦカメラの取付例を示す図である。ＴＯＦカメラは、図１に示した検知エリアが撮像エリア内に収まるように、筐体１の比較的上方に取り付け、撮像方向を斜め下方に向けている。また、ＴＯＦカメラは、スライドドア２よりも線路側に取り付けている。

また、ＴＯＦカメラは、検知エリアを撮像エリア内に収めることができれば、図４に示すように、落下防止柵の筐体１に取り付けなくても、駅ホームに立設している支柱等に取り付けてもよい。

画像処理部１３は、画像センサ部１２が同じタイミングで撮像した検知エリアの距離画像、および受光強度画像を、一対の検知用画像（検知用距離画像、および検知用受光強度画像）として処理する場合もあれば、一対の基準画像（基準距離画像、および基準受光強度画像）の生成に用いる場合もある。画像処理部１３は、生成した一対の基準画像を記憶するメモリ（不図示）を有している。また、画像処理部１３は、メモリに記憶している一対の基準画像を用いて、一対の検知用画像を処理し、検知エリア内に位置するオブジェクトを検出する。オブジェクトを検出する処理の詳細については、後述する。

出力部１４は、画像処理部１３におけるオブジェクトの検出結果を、接続されている落下防止柵や、警報装置に出力する。オブジェクトが検出された場合、オブジェクトの検出結果が入力された装置は、警告音による報知や、警告灯の点灯等により、その旨（オブジェクトが検出されたこと）を駅係員等に知らせる。

以下、画像処理装置１０の動作について説明する。図５は、画像処理装置の動作を示すフローチャートである。

落下防止柵は、上述したように、駅ホームに列車が停車していないとき、スライドドア２を閉している。画像処理装置１０は、駅ホームに列車が停車する毎に、図５に示す処理を実行する。

画像処理装置１０は、駅ホームに列車が停車すると、このタイミングで、画像センサ部１２がＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）に基づく、基準距離画像、および基準受光強度画像（一対の基準画像）を生成し、取得する基準画像取得処理を実行する（ｓ１）。この基準画像取得処理は、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が閉している状態で、ＴＯＦカメラが撮像した一対の撮像画像を用いる。すなわち、一対の基準画像は、検知エリア内にオブジェクトが存在していない背景画像（背景距離画像、および背景受光強度画像）として用いることができる。また、この一対の基準画像は、駅ホームに停車している列車を背景とした画像である。

画像処理装置１０が一対の基準画像を生成し、取得すると、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が開され、列車に対する乗降客の乗降が許可される。列車に対する乗降客の乗降が完了すると、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉される。

画像処理装置１０は、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉された後、画像センサ部１２がＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）を、一対の検知用画像として取得する検知用画像取得処理を実行する（ｓ２）。

画像処理装置１０は、ｓ１で生成し、取得した一対の基準画像、およびｓ２で取得した一対の検知用画像を用いて、検知エリア内に位置するオブジェクトを検出するオブジェクト検出処理を行う（ｓ３）。ｓ３では、ｓ１で取得した一対の基準画像に撮像されていないオブジェクトが、ｓ２で取得した一対の検知用画像に撮像されているかどうかを検出する処理である。したがって、駅ホームに停車している列車や、駅ホームに設置されている支柱や、落下防止柵等の構造物を、ｓ３でオブジェクトとして検出することはない。

画像処理装置１０は、出力部１４おいて、ｓ３にかかるオブジェクト検出処理の検出結果を出力する（ｓ４）。

検出結果が入力された装置は、検知エリア内に位置するオブジェクトが検出されていれば、警告報知等を行って、駅係員や、列車の運転手等にその旨を通知する。列車の運転手は、画像処理装置１０におけるオブジェクト検出処理で、検知エリア内に位置するオブジェクトが検出されなければ、駅ホームから列車を発車させる。反対に、検知エリア内に位置するオブジェクトが検出されていれば、駅係員が確認を行った後に、駅ホームから列車を発車させる。

なお、列車の運行を管理している運行管理システム等が、画像処理装置１０に対して、ｓ１にかかる基準画像取得処理の開始タイミングや、ｓ２にかかる検知用画像取得処理の開始タイミングを指示する構成とすればよい。また、これらの開始タイミングの指示は、列車の運転手や駅係員による入力操作で行う構成としてもよい。

また、画像処理装置１０は、次の列車が駅ホームに停車するまでの間、ｓ２〜ｓ４にかかる処理を繰り返している。この間は、最新の基準画像（基準距離画像、および基準受光強度画像）を用いて、ｓ３にかかる処理を行う。

次に、ｓ１にかかる基準画像取得処理、ｓ２にかかる検知用画像取得処理、およびｓ３にかかるオブジェクト検出処理を、詳細に説明する。

図６は、基準画像取得処理を示すフローチャートである。

画像センサ部１２は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を予め設定されているフレーム数（例えば、５フレーム）撮像する（ｓ１１）。画像処理部１３は、ｓ１１で撮像されたフレーム数の距離画像を用いて、基準距離画像を生成する（ｓ１２）。ｓ１２では、画素毎に、その画素に対応する各フレームの距離の平均値を対応付けた距離画像を生成し、これを基準距離画像として取得する処理である。

また、画像処理部１３は、ｓ１１で撮像されたフレーム数の受光強度画像を用いて、基準受光強度画像を生成する（ｓ１３）。ｓ１３では、画素毎に、その画素に対応する各フレームの受光強度の平均値を対応付けた受光強度画像生成し、これを基準受光強度画像として取得する処理である。

ｓ１２、およびｓ１３にかかる処理を実行する順番は、上記と逆であってもよい。

画像処理部１３は、ｓ１２で生成し、取得した基準距離画像、およびｓ１３で生成し、取得した基準受光強度画像を、一対の基準画像として画像メモリ（不図示）に記憶する（ｓ１４）。

このように、この例では、基準距離画像を複数フレームの距離画像から生成し、基準受光強度画像を複数フレームの受光強度画像から生成する構成としたので、各フレームに生じているノイズの影響を抑えた基準距離画像、および基準受光強度画像を生成し、取得することができる。

なお、画像処理部１３は、設定しているフレーム数を１フレームとし、画像センサ部１２で撮像した距離画像、および受光強度画像を、基準距離画像、および基準受光強度画像として画像メモリに記憶する構成としてもよい。

ｓ２にかかる検知用画像取得処理は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を撮像し、これを検知用距離画像、および検知用受光強度画像とした一対の検知用画像を取得する処理である。

図７は、オブジェクト検出処理を示すフローチャートである。画像処理部１３は、検知用画像の画素毎に、その画素が雨滴からの反射光を受光した画素（以下、雨画素と言う。）であるかどうかを判定する雨画素判定処理を行う（ｓ２１）。

なお、前述のように、雨画素の「画素」の意味は、画像処理を行うときの単位となる受光素子（ピクセル）のブロックである。ただし、このブロックは、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。

ｓ２１にかかる雨画素判定処理は、以下に示す（１）〜（３）のいずれかの方法で行う。

（１）雨滴からの反射光は、比較的近い位置で反射されることに注目し、図８（Ａ）に示すように、検知用距離画像において対応付けられている距離（図８（Ａ）における横軸）が、予め定めた距離Ｄ１未満である画素を雨画素と判定し、予め定めた距離Ｄ１以上である画素を雨画素でないと判定する。

（２）また、雨滴の反射率も考慮し、図８（Ｂ）に示すように、距離と受光強度との一次関数で、雨画素であるかどうかを判定する判定直線を予め定めておき、検知用距離画像において対応付けられている距離（図８（Ｂ）における横軸）と、検知用受光強度画像に対応付けられている受光強度（図８（Ｂ）における縦軸）と、に基づいてプロットした点が、図８（Ｂ）にハッチングで示す領域内に位置する画素を雨画素と判定し、このハッチングで示す領域内に位置しない画素を雨画素でないと判定する。

（３）さらに、雨滴の反射率は、その雨滴の後に位置する反射面の反射率によって変化することを考慮してもよい。図８（Ｃ）に示すように、距離と受光強度差（検知用受光強度画像における受光強度と、基準受光強度画像における受光強度との差の絶対値）との一次関数で、雨画素であるかどうかを判定する判定直線を予め定めておく。そして、検知用距離画像において対応付けられている距離（図８（Ｃ）における横軸）と、検知用受光強度画像における受光強度と基準受光強度画像における受光強度との差の絶対値（図８（Ｃ）における縦軸）と、に基づいてプロットした点が、図８（Ｃ）にハッチングで示す領域内に位置する画素を雨画素と判定し、このハッチングで示す領域内に位置しない画素を雨画素でないと判定する。

図８（Ａ）、（Ｂ）、（Ｃ）に示す、雨画素と判定する領域は、検知エリアの撮像環境や、画像センサ部１２の撮像特性（例えば、ＴＯＦカメラの画素密度や、撮像レンズの焦点距離）によって変化するので、画像処理装置１０の設置時に調整している。

ここで言う、受光強度差は、上述したように、基準受光強度画像と、検知用受光強度画像と、において対応する画素の受光強度の差の絶対値である。絶対値を用いる理由は、基準受光強度画像の画素が雨滴からの反射光を検出した雨画素で、検知用受光強度画像の対応する画素が雨滴からの反射光を検出していない画素であった場合を考慮するためである。また、基準受光強度画像、および検知用受光強度画像の両方において、雨滴からの反射光を検出した画素については、後述する差分画像生成処理で、背景と判定される可能性が高い。

雨画素判定処理は、（１）、（２）、（３）の順番に精度が向上する。また、雨画素判定処理は、（１）、（２）、（３）の順番に計算量が増加するので、処理時間が増加する。雨画素判定処理を、上述した（１）〜（３）のいずれの方法で行うかについては、精度、および処理時間を考慮して決めればよい。

次に、画像処理部１３は、検知用画像の画素毎に、その画素が撮像レンズに付着した雨滴の影響を受けた画素（以下、雨滴付着画素と言う。）であるかどうかを判定する雨滴付着画素判定処理を行う（ｓ２２）。

ｓ２２にかかる雨滴付着画素判定処理は、以下に示す（４）〜（６）のいずれかの方法で行う。

撮像レンズに付着した雨滴の影響を受けた雨滴付着画素について、距離、および受光強度の変化の傾向を実験により確認した。雨滴付着画素は、受光強度が低下することを確認した。また、雨滴付着画素の多くは、受光光量の低下量がある範囲に収まることを確認した。これは、撮像レンズに付着している雨滴の透過にともなう反射光量の減衰により生じた現象であると考えられる。

図９（Ａ）は、撮像レンズに雨滴が付着した画素にかかる受光光量の変化量を測定した測定結果である。棒グラフは、受光強度の変化量に対する画素数を示す。また、折れ線グラフは、雨滴影響画素における、受光強度の変化量に対する画素の累計の割合（百分率）を示す。この実験では、図９（Ａ）に示すように、雨滴付着画素の約９４％が、受光強度の変化量が１００以下であることが確認された。ただし、ここで言う受光強度の変化量は、発明者が本実験を実施した環境によるものであり、その数値については、環境によって異なることはいうまでもない。

また、雨滴付着画素の多くは、距離の変化がある範囲に収まることも確認した。これは、撮像レンズに付着している雨滴の透過時に反射光が屈折し、この反射光を受光する画素が、隣接する画素や近辺の画素にずれることにより生じた現象であると考えられる。

図９（Ｂ）は、撮像レンズに雨滴が付着した画素にかかる距離の変化量を測定した測定結果である。棒グラフは、距離の変化量に対する画素数を示す。また、折れ線グラフは、雨滴影響画素における、距離の変化量に対する画素の累計の割合（百分率）を示す。この実験では、図９（Ｂ）に示すように、雨滴付着画素の約７３％が、距離の変化量が３５０ｍｍ以下であることが確認された。また、距離の変化量が１５０ｍｍ以下である雨滴付着画素の割合が約３％であることも確認された。ただし、ここで言う距離の変化量も、発明者が本実験を実施した環境によるものであり、その数値については、環境によって異なることはいうまでもない。

したがって、雨滴付着画素について実験により確認した、上述の距離、および受光強度の変化の傾向に基づき、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素であるかどうかを判定することにより、その判定精度を確保できる。

（４）基準受光強度画像と、検知用受光強度画像において、受光強度の差の絶対値が、図１０（Ａ）に示すＰ１（上記の実験では、例えばＰ１＝１００である。）以下である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。

（５）基準距離画像と、検知用距離画像において、距離の差の絶対値が、図１０（Ｂ）に示すＤｍｉｎと、Ｄｍａｘ（上記の実験では、例えばＤｍｉｎ＝１５０、Ｄｍａｘ＝３５０である。）との間である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。

（６）基準受光強度画像と、検知用受光強度画像において、受光強度の差の絶対値が、図１０（Ｃ）に示すＰ１以下であり、且つ、基準距離画像と、検知用距離画像において、距離の差の絶対値が、図１０（Ｃ）に示すＤｍｉｎと、Ｄｍａｘとの間である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。

図１０（Ａ）、（Ｂ）、（Ｃ）に示す、雨滴付着画素と判定する領域を決定するＰ１、Ｄｍｉｎ、Ｄｍａｘは、検知エリアの撮像環境や、画像センサ部１２の撮像特性（例えば、ＴＯＦカメラの画素密度や、撮像レンズの焦点距離）によって変化するので、画像処理装置１０の設置時に調整する。

この雨滴付着画素判定処理は、（４）、（５）、（６）の順番に精度が向上する。また、この雨滴付着画素判定処理も、上述した雨画素判定処理と同様に、対応する画素の受光強度の差の絶対値、および対応する画素の距離の差の絶対値を用いる理由は、基準受光強度画像の画素が雨滴付着画素で、検知用受光強度画像の対応する画素が雨滴付着画素でなかった場合を考慮するためである。

なお、ｓ２１にかかる処理と、ｓ２２にかかる処理とは、上記の順番に限らず、その順番を入れ替えてもよい。

画像処理部１３は、ｓ２１またはｓ２２の少なくとも一方で雨画素、または雨滴付着画素と判定した画素を雨滴影響画素、その他の画素（ｓ２１で雨画素でないと判定され、且つｓ２２で雨滴影響画素でないと判定された画素）を非雨滴影響画素とした雨滴影響画像（２値画像）を生成する（ｓ２３）。

画像処理部１３は、オブジェクト仮検出処理を行う（ｓ２４）。図１１は、このオブジェクト仮検出処理を示すフローチャートである。

画像処理部１３は、ｓ１２で生成し取得した基準距離画像と、ｓ２で取得した検知用距離画像と、の差分画像を生成する（ｓ３１）。ｓ３１では、距離がほぼ同じ画素（例えば距離の差の絶対値が１４０ｍｍ未満）である画素を背景画素、それ以外の画素を前景画素とした差分画像（２値化画像）を生成する。ｓ３１で生成する差分画像は、距離画像にかかる背景差分画像である。

また、ｓ３１では、ｓ２で取得した検知用受光強度画像における受光強度が予め定めた閾値以上であるかどうかを条件に加えて背景画素、または前景画素にかかる判定を行ってもよい。具体的には、距離がほぼ同じでなく（例えば距離の差の絶対値が１４０ｍｍ以上）、且つ、受光強度が閾値以上である画素を前景画素と判定し、その他の画素を背景画素と判定した差分画像を生成する処理としてもよい。受光強度の閾値は、予め設定しておけばよく、比較的遠い反射面からの反射光を受光した画素を背景画素と判定する条件である。具体的には、上述したように、画像処理装置１０は、列車が発車した後も、ｓ２〜ｓ４にかかる処理を繰り返しているので、列車が発車した後に、列車で反射されず、比較的遠い反射面で反射された反射光を受光した画素を前景画素と判定しないための条件である。比較的遠い反射面は、列車の後側（列車を挟んで、ＴＯＦカメラの反対側）に位置する背景からの反射光である。

画像処理部１３は、ｓ３１で生成した差分画像に対して、前景画素をグルーピングするグルーピング処理を行う（ｓ３２）。ｓ３２は、差分画像上において、周辺に位置する前景画素を１つのオブジェクトとして纏める処理である。このとき、周辺に位置する前景画素であっても、ｓ２で取得した検知用距離画像において距離が略同じでない前景画素については、異なるグループにグルーピングする。これにより、ＴＯＦカメラの撮像方向に重なっている複数のオブジェクトにかかる前景画素を、オブジェクト毎にグルーピングできる。

画像処理部１３は、ｓ３２でグルーピングした各オブジェクト（画素の集合）に識別符号を付与するラベリングを行う（ｓ３３）。ここでラベリングされたオブジェクトが、仮検出されたオブジェクトである。仮検出されたオブジェクトは、適正に検出されたオブジェクトだけでなく、雨滴影響画素により誤検出されたオブジェクトもある。

画像処理部１３は、ｓ２４にかかるオブジェクト仮検出処理を完了すると、仮検出したオブジェクト（ｓ３３で識別符号を付与したオブジェクト）が、適正に検出されたオブジェクトであるか、雨滴影響画素により誤検出されたオブジェクトであるかを判定する判定処理を行う（ｓ２５）。

図１２は、この判定処理を示すフローチャートである。図１２では、仮検出した１つのオブジェクトに対する処理を示している。図１２に示す判定処理は、ｓ３３で識別符号を付与したオブジェクト毎に（ｓ２４で仮検出したオブジェクト毎に）、この判定処理を繰り返す。

画像処理部１３は、処理対象のオブジェクト（ｓ２４で仮検出したオブジェクト）にかかる画素が所定の画素数（例えば、１０画素）以上であるかどうかを判定する（ｓ４１）。画像処理部１３は、ｓ４１で予め設定した所定の画素数未満であると判定すると、処理対象のオブジェクト（仮検出されたオブジェクト）を、オブジェクトであると判定する（ｓ４４）。

なお、画像処理部１３は、所定の画素数（例えば、１０画素）未満であるオブジェクトについては、その判定精度を十分に確保することができないため、オブジェクトの見逃しを防止する観点からｓ４４でオブジェクトであると判定している。また、画像処理部１３は、下限の画素数（例えば、２画素）を設定しておき、この下限の画素数以下のオブジェクトをオブジェクトでないと判定するように構成してもよい。

画像処理部１３は、ｓ４１で予め設定した画素以上であると判定すると、処理対象のオブジェクト（仮検出されたオブジェクト）にかかる画素の総数ａと、この処理対象のオブジェクトにかかる画素であって、且つ雨滴影響画素の個数ｂとの比率（ｂ／ａ×１００％）が、予め定めた判定値以上であるかどうかを判定する（ｓ４２）。ｓ４２では、処理対象のオブジェクトにおいて、雨滴影響画素が占める比率が判定値以上であるかどうかを判定している。この判定値は、例えば５０％である。

画像処理部１３は、上記比率が予め定めた判定値未満であれば、ｓ４４で処理対象のオブジェクトをオブジェクトであると判定する。一方、画像処理部１３は、上記比率が予め定めた判定値以上であれば、処理対象のオブジェクトを雨滴の影響により誤検出されたオブジェクト（オブジェクトでない。）と判定する（ｓ４３）。

なお、この判定処理における上述したｓ４２にかかる判定は、雨滴影響画素の個数が、予め設定した閾値画素数以上であるかどうかによって行う処理に置き換えてもよい。

画像処理装置１０は、出力部１４において、ｓ２５にかかる判定処理の結果（オブジェクトの検出結果）を上位装置に出力する。

このように、この例にかかる画像処理装置は、ｓ２５にかかる判定処理を行うことで、雨滴影響画素により誤検出されたオブジェクト（仮検出されたオブジェクト）を、オブジェクトでない（背景である。）と判定することができる。これにより、降雨時におけるオブジェクトの誤検出を抑えることができる。

また、ｓ４２にかかる判定で用いる判定値については降雨状態に応じて変化させる構成としてもよい。ここでは、判定値を２段階（通常値と、下限値）で切り換える例について説明する。図１３は、判定値設定処理を示すフローチャートである。

画像処理装置１０は、ｓ３にかかるオブジェクト検出処理を行う毎に、当該オブジェクト検出処理において、ｓ２４で仮検出した総画素数が所定数（例えば、３０画素）以上であるオブジェクトであって、且つｓ２５で滴影響画素により誤検出されたオブジェクトであると判定した回数（判定回数）をカウントアップする（ｓ５１）。この判定回数は、制御部１１、または画像処理部１３がメモリに記憶している。

画像処理装置１０は、ｓ５１でカウントアップした判定回数が、予め定めた所定回数（例えば、１００）に達したかどうかを判定する（ｓ５２）。ｓ５２では、雨滴影響画素によるオブジェクトの誤検出が多くなっているかどうかを判定している。通常、降雨量が多くなるにつれて、雨滴影響画素によるオブジェクトの誤検出も多くなる。

画像処理装置１０は、ｓ５２で判定回数のカウント値が定めた所定回数に達したと判定すると、ｓ４２にかかる判定で用いる判定値を下限値に変更する（ｓ５３）。ｓ５３では、判定値を小さくする。例えば、通常時５０％であった判定値を、３０％に設定する。これにより、降雨量が比較的多いときにおけるオブジェクトの誤検出を抑えることができるとともに、降雨量が比較的少ないときにおけるオブジェクトの見逃しが抑えられる。

また、画像処理装置１０は、ｓ５２で判定回数のカウント値が予め定めた所定回数に達していないと判定すると、今回のオブジェクト検出処理で雨滴影響画素によるオブジェクトの誤検出があったかどうかを判定する（ｓ５４）。画像処理装置１０は、ｓ５４で雨滴影響画素によるオブジェクトの誤検出があれば、すなわち雨滴影響画素によるオブジェクトの誤検出が発生している状況（降雨時）であれば、フレーム数のカウント値をリセットする（ｓ５５）。このフレーム数のカウント値は、制御部１１、または画像処理部１３がメモリに記憶している。また、このフレーム数のカウント値は、以下に示すように、ｓ４２にかかる判定で用いる判定値を下限値から通常値に戻すかどうかの判定に用いる。

画像処理装置１０は、ｓ５４で雨滴影響画素によるオブジェクトの誤検出がないと判定すると、すなわち雨滴影響画素によるオブジェクトの誤検出が発生していない状況（晴天時や曇天時等）であれば、フレーム数のカウント値を１カウントアップする（ｓ５６）。画像処理装置１０は、ｓ５６でカウントアップしたフレーム数のカウント値が、予め定めたフレーム上限数（所定フレーム数）に達したかどうかを判定する（ｓ５７）。

上記の説明から明らかなように、フレーム数のカウント値は、雨滴影響画素によるオブジェクトの誤検出が発生しなかったフレーム（ｓ２で取得した検知よう画像）が連続した回数である。

画像処理装置１０は、ｓ５７でフレーム数のカウント値が予め定めたフレーム上限数に達していないと判定すると、本処理を終了する。

一方、画像処理装置１０は、ｓ５７でフレーム数のカウント値が予め定めたフレーム上限数に達したと判定すると、ｓ４２にかかる判定で用いる判定値を通常値（例えば、５０％）に設定し（ｓ５８）、このフレーム数のカウント値をリセットした後に、本処理を終了する（ｓ５９）。ｓ５８では、直前における判定値が通常値であった場合、この判定値が実際に変更されることはない。

この図１３に示す判定値設定処理は、ｓ３にかかるオブジェクト検出処理を行う毎に繰り返し実行する。この判定値設定処理を行うことで、降雨時における雨滴影響画素によるオブジェクトの誤検出を抑えるために、ｓ４２にかかる判定で用いる判定値を下限値に設定した後に、天気の回復により、雨滴影響画素によるオブジェクトの誤検出が発生しにくい状況になると、この判定値を通常値に戻すことができる。これにより、天候の回復後におけるオブジェクトの見逃しが抑えられる。

また、ｓ５９にかかる処理は、雨滴影響画素によるオブジェクトの誤検出が発生していない状況（晴天時や曇天時等）が継続しているときに、ｓ５８にかかる処理が毎回行われることによる処理負荷を抑えるものであり、特に設けなくてもよい。

また、上記の判定値設定処理では、雨滴影響画素によるオブジェクトの誤検出が発生しなかったフレームが予め定めているフレーム上限数に達したタイミングでｓ４２にかかる判定で用いる判定値を通常値に戻すとしたが、ｓ５３で判定値を下限値に設定したタイミングから所定時間経過したときに、この判定値を通常値に戻す構成としてもよいし、他の手法で判定値を通常値に戻す構成としてもよい。

さらに、上記の例では、ｓ４２にかかる判定で用いる判定値を２段階で変化させる例を示したが、この判定値については３段階以上で変化させるようにしてもよい。この場合には、ｓ５３にかかる処理を現時点よりも１段階下（下限値側）の判定値に設定する処理とし、ｓ５８にかかる処理を現時点よりも１段階上（通常値側）の判定値に設定する処理とすればよい。

なお、上記の例では、オブジェクトを検出する検知エリアを、スライドドア２が設けられている位置における、落下防止柵と線路との間とした画像処理装置１０を例にして本願発明の説明を行ったが、例えば、工場やマンション等に出入口を検知エリアとし、侵入者を検知する用途等で使用することもできる。この場合、侵入者を検知したときには、警備室や管理室に滞在している警備員にその旨を通知する構成とすればよい。

１０…画像処理装置
１１…制御部
１２…画像センサ部
１３…画像処理部
１４…出力部

Claims (8)

1. 撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の検知用画像として取得する画像取得部と、
   前記画像取得部が一対の検知用画像として取得した前記距離画像、および前記受光強度画像の各画素について、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定部と、
   前記画像取得部が一対の検知用画像として取得した前記距離画像を処理して、撮像されているオブジェクトを仮検出するオブジェクト仮検出部と、
   前記オブジェクト仮検出部が仮検出したオブジェクトが前記雨滴影響画素により誤検出されたオブジェクトであるかどうかを、この仮検出したオブジェクトにかかる画素の総数に対する、当該仮検出したオブジェクトにかかる画素であり、且つ前記雨滴影響画素判定部が前記雨滴影響画素であると判定した画素の個数の比率によって判定する判定部と、を備えた画像処理装置。
2. 前記判定部は、前記比率が予め定めた判定値を超えているとき、仮検出したオブジェクトを前記雨滴影響画素により誤検出されたオブジェクトであると判定する、請求項１に記載の画像処理装置。
3. 前記オブジェクト仮検出部が仮検出したオブジェクトについて、前記雨滴影響画素により誤検出されたオブジェクトであると判定したオブジェクトの個数をカウントしたカウント値に応じて、前記判定値を定める判定値設定部を備えた請求項２に記載の画像処理装置。
4. 前記オブジェクト仮検出部は、前記画像取得部が一対の検知用画像として取得した前記距離画像と、前記検知エリアの背景距離画像である基準距離画像と、の差分画像を生成し、撮像されているオブジェクトを仮検出する、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記雨滴影響画素判定部は、各画素について、前記画像取得部が一対の検知用画像として取得した前記距離画像における当該画素において取得した距離、および前記画像取得部が一対の検知用画像として取得した前記受光強度画像と前記検知エリアの背景受光強度画像である基準受光強度画像とにおける当該画素の受光強度の差、を用いて前記雨滴影響画素であるかどうかを判定する、請求項１〜４のいずれかに記載の画像処理装置。
6. 前記雨滴影響画素判定部は、各画素について、前記画像取得部が一対の検知用画像として取得した前記距離画像と前記検知エリアの背景距離画像である基準距離画像とにおける当該画素の距離の差、および前記画像取得部が一対の検知用画像として取得した前記受光強度画像と前記検知エリアの背景受光強度画像である基準受光強度画像とにおける当該画素の受光強度の差、を用いて前記雨滴影響画素であるかどうかを判定する、請求項１〜４のいずれかに記載の画像処理装置。
7. コンピュータが、
   撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の検知用画像として取得する画像取得ステップと、
   前記画像取得ステップが一対の検知用画像として取得した前記距離画像、および前記受光強度画像の各画素について、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
   前記画像取得ステップが一対の検知用画像として取得した前記距離画像を処理して、撮像されているオブジェクトを仮検出するオブジェクト仮検出ステップと、
   前記オブジェクト仮検出ステップが仮検出したオブジェクトが前記雨滴影響画素により誤検出されたオブジェクトであるかどうかを、この仮検出したオブジェクトにかかる画素の総数に対する、当該仮検出したオブジェクトにかかる画素であり、且つ前記雨滴影響画素判定ステップで前記雨滴影響画素であると判定された画素の個数の比率によって判定する判定ステップと、
   を実行するオブジェクト検出方法。
8. 撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の検知用画像として取得する画像取得ステップと、
   前記画像取得ステップが一対の検知用画像として取得した前記距離画像、および前記受光強度画像の各画素について、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
   前記画像取得ステップが一対の検知用画像として取得した前記距離画像を処理して、撮像されているオブジェクトを仮検出するオブジェクト仮検出ステップと、
   前記オブジェクト仮検出ステップが仮検出したオブジェクトが前記雨滴影響画素により誤検出されたオブジェクトであるかどうかを、この仮検出したオブジェクトにかかる画素の総数に対する、当該仮検出したオブジェクトにかかる画素であり、且つ前記雨滴影響画素判定ステップで前記雨滴影響画素であると判定された画素の個数の比率によって判定する判定ステップと、
   をコンピュータに実行させるオブジェクト検出プログラム。

Images