JP6015296B2 - 画像処理装置、周囲環境推定方法、および周囲環境推定プログラム - Google Patents

Description

この発明は、検知エリアを撮像した距離画像を処理し、この検知エリアの周囲環境を推定する技術に関する。

従来、鉄道会社では、列車の乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に落下防止柵の設置を進めている。落下防止柵は、駅ホームに停車している列車の乗降客の通行を制御する開閉部を備えている。

従来の落下防止柵には、駅ホームに停車した列車のドア（車両ドア）に対向する位置に、水平方向にスライドして開閉するスライドドアを備えたものがある（特許文献１参照。）。また、入出口の両側に固定支柱を立設し、この固定支柱に対して上下方向にスライド自在に取り付けた可動支柱間に、上下方向に並べて水平方向に掛け渡した複数本の制止バーを備えたものがある（特許文献２参照。）。

落下防止柵の開閉部は、列車が駅ホームに入線して停車した後に、乗降客の通路を確保するために一時的に開かれる。また、落下防止柵の開閉部は、乗降客の乗降が完了して、列車が発車する前に閉じられる。落下防止柵は、列車の発車時における安全性を確保するために、列車と落下防止柵の間に位置する物体の有無を検出するセンサを備えている。駅ホームに停車している列車に対する乗降客の乗降が完了し、この列車のドアと落下防止柵の開閉部を閉じた後に、センサが、列車と落下防止柵との間に位置する物体を検出すると、列車を発車させずに、駅係員等に確認させる。

この落下防止柵に設置するセンサとしては、死角が生じて物体の有無を検出できないことを防止する観点から、距離画像センサが一般的に用いられる。距離画像センサは、対象物までの距離の値を持った画像である距離画像を撮像して出力する。この距離画像を用いることで、物体の有無を検出できる。

特開２０００− １６２８０号公報 国際公開第２０１１／０２４６１２号パンフレット

しかしながら、距離画像センサを用いた場合、霧等の微粒子が空気中に漂っている環境下では、微粒子の反射光の影響を受けた距離画像になる。このような影響を受けた距離画像では、オブジェクトの誤検知が発生することがある。駅係員は霧の発生時においては、普段よりも目視による安全確認をより強く行うべきである。

そこで、この発明は、霧の発生等の周囲環境を視程の変化から推定する技術を提供することを目的とする。

この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。

画像処理装置は、画像取得部と、検出部と、推定部と、を備えている。画像取得部は、撮像装置が、基準反射板を設置した検知エリアに光を照射し、その反射光を受光することで撮像した検知エリアの距離画像を入力する。撮像装置は、例えば、公知のＴＯＦ（Time Of Flight）カメラを用いてもよいし、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成としてもよい。

検出部は、画像取得部に入力された距離画像における、基準反射板に対応する特定画素の距離から視程距離を検出する。推定部は、検出部が検出した視程距離に基づき、周囲環境を推定する。推定部は、検出部が検出した視程距離が短いほど、周囲環境として、空気中における微粒子の濃度が高い度合いであると推定する。

例えば、霧等の微粒子が空気中を漂うと、その影響を受けて視程距離が変化する。また、このとき、撮像装置で撮像した距離画像の距離が変化する。周知のように、霧等の濃度（空気中における微粒子の濃度）と視程距離には一定の関係があるので、視程距離がわかれば、霧の発生等の周囲環境の推定が可能となる。また、本願発明者は、反射率が既知のオブジェクトの場合、距離画像の距離と視程距離には、一定の関係があることを発見した。
この発明では、基準反射板は、反射率の異なる第１領域と第２領域を備えている。検出部は、画像取得部に入力された距離画像の特定画素に属する、基準反射板の第１領域が対応する第１の特定画素の距離と、基準反射板の第２領域が対応する第２の特定画素の距離と、の差から視程距離を検出する。例えば、第１領域を反射率の低い黒色の反射板を用いた領域とし、第２領域を反射率の高い白色の反射板を用いた領域とする。この場合、黒色の反射板を用いた領域は、微粒子の濃度が高いほど、距離画像における反射板の距離が短くなる。一方、白色の反射板を用いた領域は、微粒子の濃度にかかわらず、距離画像における反射板の距離はほとんど変化しない。したがって、距離画像におけるこれら２つの領域の距離の差分を、基準反射板の距離差として用いることで、装置自身の特性を考慮した周囲環境の推定が行える。

また、検出部は、特定画素の距離が、撮像装置と基準反射板との距離未満であり、且つ、特定画素の距離と、この特定画素の周囲に位置する周囲画素の距離と、の差が予め定めた範囲内であるとき、視程距離の検出を行わない構成にしてもよい。

撮像装置と基準反射板との間に、オブジェクトが位置する場合には、特定画素の距離が、撮像装置と基準反射板との距離未満であり、且つ、特定画素の距離と、この特定画素の周囲に位置する周囲画素の距離と、の差が予め定めた範囲内になる。この場合には、撮像装置で基準反射板を撮像できないので、距離画像を用いた周囲環境の推定を行うことができない。そこで、検出部が基準反射板を検出できないときには、視程距離の検出を行わない。

また、画像取得部には、前記撮像装置が撮像した前記検知エリアの前記距離画像とともに、この検知エリアの受光強度画像が入力されるように構成し、以下に示す記憶部、および距離画像補正部を備える構成にしてもよい。
記憶部は、画素の受光強度と距離を入力変数とし、この画素の距離の補正値を算出する補正関数を記憶する。また、距離画像補正部は、画像取得部に入力された距離画像の画素毎に、補正関数により算出した補正値を、その画素の距離とした補正距離画像を生成する。

また、記憶部は、距離画像における第１の特定画素の距離と第２の特定画素の距離との差分である基準反射板の距離差、および受光強度画像から得られる基準反射板の受光強度の大きさ、を対応付けた複数の補正関数を記憶する構成とし、且つ距離画像補正部は、記憶部が記憶する複数の補正関数の中から、画像取得部に入力された距離画像における基準反射板の距離差、および画像取得部に入力された受光強度画像における基準反射板の受光強度の大きさに対応する補正関数を選択し、選択した補正関数により補正距離画像を生成する構成としてもよい。

撮像装置で撮像した距離画像の画素毎の距離は、同じ距離のオブジェクトであっても、その反射率によって異なる。この発明では、推定した周囲環境に応じて決まる距離画像の距離と、オブジェクトの反射率に応じて決まる受光強度と、を用いて距離画像の画素毎の距離を補正するので、精度のよい距離画像（補正距離画像）を得ることができる。

また、画像処理装置は、オブジェクト検出部を備えた構成としてもよい。オブジェクト検出部は、第１のタイミングで撮像装置が撮像して、画像取得部が取得し、距離画像補正部が補正した補正距離画像である基準距離画像と、第１のタイミングよりも遅い第２のタイミングで撮像装置が撮像して、画像取得部が取得し、距離画像補正部が補正した補正距離画像である検知用距離画像と、に基づいて、この検知用距離画像に撮像されているオブジェクトを検出する構成にしてもよい。

この構成では、基準距離画像と検知用距離画像が共に補正されるので、オブジェクトの誤検知を防止できる。

また、この発明にかかる周囲環境推定方法は、上述の画像取得部、検出部、および推定部の構成に相当する処理をコンピュータに実行させる発明である。

さらに、この発明にかかる周囲環境推定プログラムは、コンピュータにインストールすることで、上述の画像取得部、検出部、および推定部の構成に相当する処理を、このコンピュータに実行させる発明である。

この発明によれば、霧の発生等の周囲環境を視程の変化から推定することができる。

落下防止柵が設置されている駅ホームを示す概略図である。 画像処理装置の主要部の構成を示すブロック図である。 ＴＯＦカメラの取付位置を示す図である。 （Ａ）は、基準反射板の一例を示す図である。（Ｂ）は、ＴＯＦカメラの撮像素子を示す図である。 視程と、距離画像の距離と、受光強度と、の関係を示すグラフである。 周囲環境推定処理を示すフローチャートである。 画像処理装置画像処理装置が行う複数の処理を示すフローチャートである。 基準画像取得処理を示すフローチャートである。 テーブルの例を示す図である。 オブジェクト検出処理を示すフローチャートである。

以下、この発明の実施形態に係る画像処理装置について説明する。

以下の説明において、画像処理装置は、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って設置している落下防止柵と、列車と、の間の空間を検知エリアとしたものである。画像処理装置は、この検知エリア内における霧の発生など周囲環境の変化を推定する。

まず、駅ホームの側端部に沿って設置している落下防止柵について簡単に説明する。

図１は、落下防止柵が設置されている駅ホームを示す概略図である。図１（Ａ）は、駅ホームの俯瞰図であり、図１（Ｂ）は、線路側から駅ホームを見た平面図である。落下防止柵は、戸袋として機能する筐体１と、この筐体１に対してスライド自在に取り付けたスライドドア２を有する。また、筐体１の両端部には、専用筐体３Ａと専用筐体３Ｂが設置されている。専用筐体３Ａには、後述のＴＯＦカメラ２１が設けられている。専用筐体３Ｂには、後述の基準反射板２２が設けられている。図１は、スライドドア２を閉じている状態を示している。スライドドア２は、設置している駅ホームに停車する列車の各ドアが対向する位置に設けている。スライドドア２は、開いた状態のときには筐体１内（戸袋）に収納される。スライドドア２は、図１において、左右方向にスライドする。

この例における画像処理装置がオブジェクトを検出する検知エリアは、スライドドア２が設けられている位置における、落下防止柵と線路との間である。この例では、画像処理装置は各スライドドア２に設けている。

なお、ここでは、落下防止柵として、上述した特許文献１に示されているものを例示しているが、上述した特許文献２に示されているものでもよい。

図２は、画像処理装置の主要部の構成を示すブロック図である。画像処理装置１０は、制御部１１と、画像センサ部１２と、記憶部１３と、画像処理部１４と、出力部１５と、を備えている。この画像処理装置１０は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。ハードウェアとして利用する情報処理装置は、この発明で言う周囲環境推定プログラムをインストールすることで、後述する処理（図６に示すフローチャートにかかる処理）を実行する。

制御部１１は、画像処理装置１０の本体各部の動作を制御する。

画像センサ部１２は、この発明で言う画像取得部に相当し、ＴＯＦ（Time Of Flight）カメラ２１が接続されている。画像センサ部１２は、ＴＯＦカメラ２１が撮像した検知エリアの距離画像および受光強度画像を取得する。

ＴＯＦカメラ２１は、検知エリアに赤外光を照射する光源、およびｎ×ｍ個の受光素子をマトリクス状に配置した撮像素子（ｎ×ｍ画素の撮像素子）２１１を有する。ＴＯＦカメラ２１は、赤外光を検知エリアに照射してから、反射光を受光するまでの時間（飛行時間）を画素毎（受光素子毎）に計測する。ＴＯＦカメラ２１は、検知エリアに照射した光と、受光した反射光と、の位相差を計測することによって、飛行時間を得る。ＴＯＦカメラ２１は、この飛行時間を得るため、撮像素子２１１の一部の画素に、検知エリアに照射した光を直接受光させている。
ＴＯＦカメラ２１は、画素毎に、その画素について得た飛行時間から、照射した光を反射した反射面までの距離を算出する。ＴＯＦカメラ２１は、画素毎に、反射面までの距離を対応付けた距離画像を取得する。また、ＴＯＦカメラ２１は、画素毎に、その画素が受光した反射光の強度（反射光量）を対応付けた受光強度画像を取得する。ＴＯＦカメラ２１は、同じタイミングで撮像した検知エリアの距離画像、および受光強度画像を得ることができる。ＴＯＦカメラ２１は、同じタイミングで撮像した検知エリアの距離画像、および受光強度画像を画像センサ部１２に出力する。

なお、上述のＴＯＦカメラ２１に代えて、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成の撮像装置を用いてもよい。画像センサ部１２が有する撮像装置は、検知エリアの距離画像、および受光強度画像が同じタイミングで撮像できる構成であればよい。このＴＯＦカメラ２１は、例えば、１秒間に５〜１０フレーム程度の距離画像および受光強度画像の撮像を行うことができる。

図３は、ＴＯＦカメラの取付例を示す図である。図３（Ａ）は、駅ホームの側面から見た図であり、図３（Ｂ）は、線路側から駅ホームを見た図である。図４（Ａ）は、基準反射板の一例を示す図である。図４（Ｂ）は、ＴＯＦカメラの撮像素子を示す図である。ＴＯＦカメラ２１は、検知エリアを撮像できるように、落下防止柵の専用筐体３Ａの側端面における中央部に取り付けられている。専用筐体３Ａは、スライドドア２よりも線路側に取り付けている。

また、検知エリアには、ＴＯＦカメラ２１の正面に対向して基準反射板２２を設けている。すなわち、図３（Ｂ）に示すように、基準反射板２２は、専用筐体３Ｂの側端面における中央部に取り付けられている。専用筐体３Ｂは、スライドドア２よりも線路側に取り付けられている。図４に示すように、基準反射板２２は、黒色領域（この発明で言う第１領域に相当する。）２２Ｂと、白色領域（この発明で言う第２領域に相当する。）２２Ｗと、を備えている。これら２つの領域は、隣接している。また、これら２つの領域は、図４（Ｂ）に示すように、基準反射板２２の黒色領域２２Ｂと、白色領域２２Ｗは、それぞれＴＯＦカメラ２１の撮像素子２２１の複数の画素の２画素を覆う面積になるように、サイズ及び設置位置が設定されている。同図において、符号２１１Ｂで示す２画素が、基準反射板２２の黒色領域２２Ｂを撮像する特定画素である。符号２１１Ｗで示す２画素が、基準反射板２２の白色領域２２Ｗを撮像する特定画素である。

なお、黒色領域２２Ｂと白色領域２２Ｗを、隣接させずに離して配置してもよい。

なお、基準反射板２２の黒色領域２２Ｂと白色領域２２Ｗの距離は、距離画像の１画素で確認することができる。また、基準反射板２２の黒色領域２２Ｂと白色領域２２Ｗの受光強度は、受光強度画像の１画素で確認することができる。そのため、基準反射板２２の黒色領域２２Ｂと白色領域２２Ｗのサイズは、ＴＯＦカメラ２１の撮像素子２２１のサイズ、ＴＯＦカメラ２１と基準反射板２２との距離、検知エリアの広さなどに応じて設定すればよい。

また、ＴＯＦカメラ２１は、検知エリアを撮像できるのであれば、図３に示すように落下防止柵の専用筐体３Ａに取り付けずに、駅ホームに立設している支柱等に取り付けてもよい。

図２に示す記憶部１３は、距離画像における基準反射板２２の黒色領域２２Ｂの距離と、視程距離と、の関係を表すテーブル（詳細は後述）を記憶している。また、検知エリアの距離画像における画素の距離を補正するためのテーブル（詳細は後述）を記憶している。

画像処理部１４は、この発明で言う距離画像補正部に相当する機能を有し、画像センサ部１２が取得した距離画像および受光強度画像から、補正値を決める各値を読み出し、これらの値に応じた補正値を記憶部１３から取得し、この補正値を用いて距離画像の画素毎に距離を補正する。

出力部１５は、制御部１１における周囲環境の推定結果や、画像処理部１４におけるオブジェクトの検出結果を、接続されている落下防止柵や、警報装置に出力する。オブジェクトの検出結果が入力された装置は、周囲環境の状態が予め設定されている閾値を超えた場合やオブジェクトが検出された場合など異常状態のときには、警告音による報知を行ったり警告灯を点灯させたりして、異常状態が検出されたことを駅係員等に知らせる。

［第１実施形態］
まず、画像処理装置１０が行う処理の原理を説明する。

図５は、（Ａ），（Ｂ）が霧による視程に対する、撮像画像の基準反射板の距離と受光強度と、の関係を示すグラフである。図５（Ｃ），（Ｄ）は、フレームと、基準反射板の受光強度と、の関係を示すグラフである。図５（Ｅ），（Ｆ）は、フレームと、基準反射板の距離と、の関係を示すグラフである。なお、図５（Ａ），（Ｃ），（Ｅ）は、基準反射板の黒色領域についてのグラフであり、図５（Ｂ），（Ｄ），（Ｆ）は、基準反射板の白色領域についてのグラフである。また、図５は、基準反射板をＴＯＦカメラ２１から２．５ｍ離れた位置に設置したときのグラフである。

発明者らが行った実験では、図５（Ａ），（Ｃ），（Ｅ）に示すように、基準反射板２２の黒色領域２２Ｂでは、視程距離が短くなるほど、距離画像の距離が短くなった（精度が悪くなった）。距離画像は、視程距離が短くなるほど、フレーム間のばらつきが大きかった。また、視程距離が短くなるほど、受光強度は大きくなった。さらに、視程距離が短くなるにつれて、受光強度のフレーム間のばらつきが徐々に大きくなった。

一方、基準反射板２２の白色領域２２Ｗでは、視程距離が短くなっても、距離画像の距離は、ほとんど変化がなかった。また、距離画像は、視程距離が短くなっても、フレーム間のばらつきがほとんどなかった。また、視程距離が短くなるにつれて、受光強度が徐々に小さくなった。また、視程距離が短くなっても、受光強度のフレーム間のばらつきはほとんどなかった。

なお、基準反射板２２の黒色領域２２Ｂの反射率は３％、基準反射板２２の白色領域２２Ｗの反射率は８１％である。上記実験では、他の色のオブジェクトについても実験を行ったが、図５（Ａ）に示すように、黒色の反射板が距離画像の距離の変化が最も大きかった。また、図５（Ｂ）に示すように、白色の反射板が、距離画像の距離の変化が最も小さく、ほとんど変化しなかった。

このように、微粒子が空気中に漂っている環境下では、視程距離に応じて基準反射板の距離画像の距離が変化する。また、ＴＯＦカメラ２１が撮像した距離画像の精度は、微粒子の濃度や背景の反射率などにより異なる。

そこで、本発明では、視程距離が変化したときの距離画像の距離の変化が顕著である基準反射板２２の黒色領域２２Ｂの距離に基づいて、正しい視程距離を取得する。また、このようにして取得した視程距離に基づいて、霧の発生等の周囲環境の変化を推定する。

以下、画像処理装置１０の動作について説明する。図６は、画像処理装置の周囲環境推定処理の動作を示すフローチャートである。

落下防止柵は、上述したように、駅ホームに列車が停車していないとき、スライドドア２を閉じている。画像処理装置１０は、駅ホームに列車が停車する毎に、図６に示す処理を実行する。

画像処理装置１０は、駅ホームに列車が停車すると、このタイミングで、画像センサ部１２がＴＯＦカメラ２１で撮像した撮像画像（距離画像）に基づいて、周囲環境推定処理を実行する。この処理は、霧の発生等の周囲環境を視程の変化から推定する処理である。

画像センサ部１２には、ＴＯＦカメラ２１が１フレーム撮像した画像（距離画像）が入力される（ｓ１０１）。画像センサ部１２は、画像処理部１４にこの距離画像を出力する。

画像処理部１４は、ＴＯＦカメラ２１の撮像画像において、特定画素で基準反射板２２を撮像できているか否かを以下のようにして確認する（ｓ１０２）。なお、画像処理部１４は、本発明で言う、検出部の機能を有している。

画像処理部１４は、ＴＯＦカメラ２１が撮像した距離画像における特定画素２１１Ｂの距離を確認する。また、ＴＯＦカメラ２１が撮像した距離画像における特定画素２１１Ｂの距離と、この特定画素２１１Ｂの周囲に位置する周囲画素の距離と、の差（画素間距離差と称する。）を確認する。なお、画素間距離差の範囲は、実験結果に基づいて設定するとよい。

ＴＯＦカメラ２１と基準反射板２２の間に位置し、基準反射板２２よりも画像上のサイズが大きい、基準反射板２２とは異なるオブジェクトを特定画素２１１Ｂで撮像しているときには、距離画像における特定画素２１１Ｂの距離がＴＯＦカメラ２１と基準反射板２２との距離未満であり、かつ、上記画素間距離差が予め定めた範囲内である。

そのため、画像処理部１４は、次の処理、すなわち、視程距離の検出を行わずに、再度、ｓ１０１の処理を行う（ｓ１０２：Ｎ、ｓ１１１：Ｎ）。

画像処理部１４は、一例として３回連続して、基準反射板２２とは異なるオブジェクトを特定画素２１１Ｂで撮像しているときには、エラー信号を出力して、駅係員などに、異常を警報する（ｓ１１２）。

画像処理部１４は、上記画素間距離差が、予め定めた範囲外であるときには、基準反射板２２を特定画素２１１Ｂで撮像していると判断できる。このときには、視程距離の検出を行うために、ｓ１０３以降の処理を行う。

なお、ｓ１０２では、距離画像における基準反射板２２の黒色領域２２Ｂの距離だけでなく、基準反射板２２の白色領域２２Ｗの距離も確認し、黒色領域２２Ｂの距離と白色領域２２Ｗの距離との差から視程距離を検出することも可能である。

前記のように、基準反射板２２の白色領域２２Ｗの距離は、視程距離にかかわらずほとんど変化せず、ＴＯＦカメラ２１から基準反射板２２までの距離とほぼ同様の値である。一方、距離画像における黒色領域２２Ｂの距離は、視程距離に応じて変化する。例えば、霧等が発生しておらず視程距離が１ｋｍ以上のときには、距離画像における黒色領域２２Ｂの距離とほぼ同じ距離になる。このとき、距離画像における黒色領域２２Ｂの距離と白色領域２２Ｗの距離の差は一定値未満である。また、霧等が発生した場合には視程距離が短くなるほど、距離画像における黒色領域２２Ｂの距離も短くなる。このとき、距離画像における黒色領域２２Ｂの距離と白色領域２２Ｗの距離の差は、視程距離に応じて大きくなる。このように、距離画像における黒色領域２２Ｂの距離と白色領域２２Ｗの距離との差を求めることでも、視程距離を検出することができる。

また、距離画像における白色領域２２Ｗの距離が、ＴＯＦカメラ２１から基準反射板２２までの距離未満になった場合には、ＴＯＦカメラ２１と基準反射板２２の白色領域２２Ｗの間に、別のオブジェクトが位置していると判定できる。

画像処理部１４は、画像センサ部１２に入力された距離画像における、基準反射板２２の黒色領域２２Ｂに対応する特定画素２１１Ｂの距離から視程距離を検出する。画像処理部１４は、記憶部１３に予め記憶させている距離画像における特定画素２１１Ｂの距離と、視程距離と、の関係を表すテーブル（不図示）から、特定画素２１１Ｂの距離に対応する視程距離を読み出す。

制御部１１（この発明で言う、推定部に相当する。）は、画像処理部１４が検出した視程距離に基づいて、周囲環境を推定する。例えば、視程距離が５００ｍ未満であれば、霧が発生していると推定する。また、制御部１１が推定する周囲環境は、霧の発生の有無だけでなく、その度合い、すなわち、霧の濃さなども推定することができる。制御部１１は、霧の濃さについて、視程距離に基づいて推定する。例えば、視程距離が５００ｍ以上１ｋｍ未満の場合は薄い霧、視程距離が１００ｍ以上５００ｍ未満の場合は霧、視程距離が１００ｍ未満の場合は濃霧であると推定する。

このように、周囲環境を推定することで、駅係員に対して安全確認を強化するよう注意を促すことができる。駅係員は、この注意に基づいて目視による安全確認を強化することができる。

［第２実施形態］
第１実施形態では、基準反射板２２の距離画像における基準反射板２２の距離に基づき、周囲環境を推定する場合について説明したが、さらに、距離画像の各画素の距離を補正することが可能である。また、異なるタイミングで距離画像を撮像して各画素の距離を補正することで、これら補正した距離画像に基づいてオブジェクトを検出することができる。以下にその詳細を説明する。図７は、画像処理装置が行う複数の処理を示すフローチャートである。

画像処理装置１０は、駅ホームに列車が停車すると、このタイミング（この発明で言う第１のタイミングに相当する。）で、図６に基づいて説明した周囲環境推定処理を実行する（ｓ１）。

また、画像処理装置１０は、周囲環境推定処理と並行して画像センサ部１２がＴＯＦカメラ２１で撮像した撮像画像（距離画像と受光強度画像）に基づいて、基準距離画像を生成し、取得する基準画像取得処理を実行する（ｓ２）。このとき、画像処理装置１は、画像センサ部１２がＴＯＦカメラ２１で撮像画像として距離画像に加えて受光強度画像を撮像する。この基準画像取得処理は、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が閉じている状態で、ＴＯＦカメラ２１が撮像した距離画像を用いる。すなわち、基準距離画像は、検知エリア内にオブジェクトが存在していない背景画像として用いることができる。また、この基準距離画像は、駅ホームに停車している列車を背景とした画像である。

画像処理装置１０が基準距離画像を生成し、取得すると、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が開かれ、列車に対する乗降客の乗降が許可される。列車に対する乗降客の乗降が完了すると、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉じられる。

画像処理装置１０は、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉じられたタイミング（この発明で言う第２のタイミングに相当する。）で、画像センサ部１２がＴＯＦカメラ２１で撮像した撮像画像（距離画像および受光強度画像）に基づいて、検知用距離画像を生成し、取得する検知用画像取得処理を実行する（ｓ３）。

画像処理装置１０は、ｓ２で生成し、取得した距離基準画像、およびｓ３で生成し、取得した検知用距離画像を用いて、検知エリア内に位置するオブジェクトを検出するオブジェクト検出処理を行う（ｓ４）。ｓ４では、ｓ１で取得した基準距離画像に撮像されていないオブジェクトが、ｓ３で取得した検知用距離画像に撮像されているかどうかを検出する処理である。したがって、駅ホームに停車している列車や、駅ホームに設置されている支柱や、落下防止柵等の構造物を、ｓ４でオブジェクトとして検出することはない。

画像処理装置１０は、出力部１５において、ｓ４にかかるオブジェクト検出処理の検出結果を出力する（ｓ５）。

検出結果が入力された警報装置は、検知エリア内に位置するオブジェクトが検出されていれば、警告報知等を行って、駅係員や、列車の運転手等にその旨を通知する。列車の運転手は、画像処理装置１０におけるオブジェクト検出処理で、検知エリア内に位置するオブジェクトが検出されなければ、駅ホームから列車を発車させる。反対に、検知エリア内に位置するオブジェクトが検出されていれば、駅係員が確認を行った後に、駅ホームから列車を発車させる。

なお、列車の運行を管理している運行管理システム等が、画像処理装置１０に対して、ｓ２にかかる基準画像取得処理の開始タイミングや、ｓ３にかかる検知用画像取得処理の開始タイミングを指示する構成とすればよい。また、これらの開始タイミングの指示は、列車の運転手や駅係員による入力操作で行う構成としてもよい。

次に、ｓ２にかかる基準画像取得処理、ｓ３にかかる検知用画像取得処理、およびｓ４にかかるオブジェクト検出処理を、詳細に説明する。

図８は、基準画像取得処理を示すフローチャートである。図９は、テーブルの例を示す図である。

画像センサ部１２は、ＴＯＦカメラ２１で撮像画像（距離画像および受光強度画像）を１フレーム撮像する（ｓ１１）。

画像処理部１４は、ｓ１１で取得した１フレームの距離画像について、以下に説明するように補正を行う（ｓ１２）。

距離画像の各画素の補正を行うための補正値は、テーブルとして記憶部１３に記憶されている。各補正値は、例えば、図９に示すように、距離画像における選択した画素の距離（Ａ）と、選択した画素の受光強度（Ｂ）と、を２変数とする補正関数を、基準反射板の距離差（Ｃ）と、基準反射板の受光強度（Ｄ）と、に対応付けたものとなる。

なお、上記距離差（Ｃ）としては、ＴＯＦカメラ２１が撮像した距離画像における基準反射板２２の黒色領域２２Ｂの距離と、この距離画像における基準反射板２２の白色領域２２Ｗの距離と、の差分を用いることも可能である。前記のように、距離画像における基準反射板２２の白色領域２２Ｗの距離は、視程距離にかかわらず、ほとんど変化しないので、反射板２２の白色領域２２Ｗの距離を、撮像装置と基準反射板との距離として用いることができる。このようにすることで、装置自身の特性を考慮した補正を行うことができる。

画像処理部１４は、画像センサ部１２が取得した距離画像および受光強度画像から、補正値を決めるのに必要な上記の各値（Ａ）〜（Ｄ）を読み出す。そして、これらの値に応じた補正関数を記憶部１３から取得し、この補正関数により得られる補正値を用いて距離画像の画素毎に距離を補正することで、オブジェクトの距離を補正する。

続いて、画像処理部１４は、ｓ１２で補正された１フレームの距離画像を、基準距離画像に設定する（ｓ１３）。

画像処理部１４は、ｓ１３で生成し、取得した基準距離画像を、画像メモリ（不図示）に記憶させる（ｓ１４）。

ｓ３にかかる検知用画像取得処理では、ＴＯＦカメラ２１で撮像画像（距離画像および受光強度画像）を撮像し、距離画像について上記の基準距離画像と同様に、補正関数により得られる補正値を用いて補正を行う。そして、この補正した距離画像を検知用距離画像とする。

図１０は、オブジェクト検出処理を示すフローチャートである。画像処理部１４は、ｓ１３で生成し取得した基準距離画像と、ｓ２で生成し取得した検知用距離画像と、の差分画像を生成する（ｓ２１）。ｓ２１では、距離がほぼ同じ画素（所謂、背景画素）の画素値を「０」、距離が比較的離れている画素（所謂、前景画素）の画素値を「１」とした２値画像を生成する。ｓ２１で、背景画素であるか、前景画素であるかの判定に用いる距離の閾値Ｄ１については、予め設定しておけばよい。

画像処理部１４は、ｓ２１で生成した差分画像に撮像されているオブジェクトの検出処理を行う（ｓ２２）。このｓ２２が、この発明で言う検出部に相当する。ｓ２２では、ｓ２１で生成した差分画像において、周辺に位置する画素値が「１」である画素の集合を１つのグループとするグルーピングを行う。画像処理部１４は、グループ毎に、そのグループの画素数が、予め設定しているオブジェクトの下限サイズの画素数Ａ１よりも多ければ、そのグループをオブジェクトとして検出し、少なければノイズ（オブジェクトでない。）と判断する（オブジェクトとして検出しない。）。

このように、画像処理装置１０では、霧などの微粒子が空気中に漂っている環境下でも、精度のよい距離画像を得ることができる。したがって、オブジェクトを誤検知することなく、確実に検出できる。

なお、上記の例では、オブジェクトを検出する検知エリアを、スライドドア２が設けられている位置における、落下防止柵と線路との間とした画像処理装置１０を例にして本願発明の説明を行ったが、例えば、工場やマンション等に出入口を検知エリアとし、侵入者を検知する用途等で使用することもできる。この場合、侵入者を検知したときには、警備室や管理室に滞在している警備員にその旨を通知する構成とすればよい。

なお、以上の説明では、画像処理装置１が推定する周囲環境としては、霧等の微粒子が空気中に漂っている環境としたが、これに限るものではなく、黄砂、スモッグ、煙等の微粒子が空気中に漂っている環境も推定することができる。

１０…画像処理装置
１１…制御部
１２…画像センサ部
１３…記憶部
１４…画像処理部
１５…出力部

Claims (7)

1. 撮像装置が、基準反射板を設置した検知エリアに光を照射し、その反射光を受光することで撮像した距離画像を入力する画像取得部と、
   前記画像取得部に入力された前記距離画像における、前記基準反射板に対応する特定画素の距離から視程距離を検出する検出部と、
   前記検出部が検出した視程距離に基づき、周囲環境として、空気中における微粒子の濃度の度合いを推定する推定部と、を備えた画像処理装置であって、
   前記基準反射板は、反射率の異なる第１領域と第２領域を備え、
   前記検出部は、前記画像取得部に入力された前記距離画像の特定画素に属する、前記基準反射板の前記第１領域が対応する第１の特定画素の距離と、前記基準反射板の前記第２領域が対応する第２の特定画素の距離と、の差から視程距離を検出し、
   前記推定部は、前記検出部が検出した視程距離が短いほど、周囲環境として、空気中における微粒子の濃度が高い度合いであると推定する、画像処理装置。
2. 前記検出部は、前記特定画素の距離が、前記撮像装置と前記基準反射板との距離未満であり、且つ、前記特定画素の距離と、この特定画素の周囲に位置する周囲画素の距離と、の差が予め定めた範囲内であるとき、視程距離の検出を行わない、請求項１に記載の画像処理装置。
3. 前記画像取得部には、前記撮像装置が撮像した前記検知エリアの前記距離画像とともに、この検知エリアの受光強度画像が入力され、
   画素の受光強度と距離を入力変数とし、この画素の距離の補正値を算出する補正関数を記憶する記憶部と、
   前記画像取得部に入力された前記距離画像の画素毎に、前記補正関数により算出した補正値を、その画素の距離とした補正距離画像を生成する距離画像補正部と、を備えた、請求項１、または２に記載の画像処理装置。
4. 前記記憶部は、前記距離画像における前記第１の特定画素の距離と前記第２の特定画素の距離との差分である前記基準反射板の距離差、および前記受光強度画像から得られる前記基準反射板の受光強度の大きさ、を対応付けた複数の前記補正関数を記憶し、
   前記距離画像補正部は、前記記憶部が記憶する複数の前記補正関数の中から、前記画像取得部に入力された前記距離画像における前記基準反射板の距離差、および前記画像取得部に入力された前記受光強度画像における前記基準反射板の受光強度の大きさに対応する前記補正関数を選択し、選択した前記補正関数により前記補正距離画像を生成する、請求項３に記載の画像処理装置。
5. 第１のタイミングで前記撮像装置が撮像して、前記画像取得部が取得し、前記距離画像補正部が補正した前記補正距離画像である基準距離画像と、
   前記第１のタイミングよりも遅い第２のタイミングで前記撮像装置が撮像して、前記画像取得部が取得し、前記距離画像補正部が補正した前記補正距離画像である検知用距離画像と、
   に基づいて、この検知用距離画像に撮像されているオブジェクトを検出するオブジェクト検出部を備えた、請求項３または４に記載の画像処理装置。
6. コンピュータが、
   撮像装置が、基準反射板を設置した検知エリアに光を照射し、その反射光を受光することで撮像した距離画像を入力する画像取得ステップと、
   前記画像取得ステップにおいて入力された前記距離画像における、前記基準反射板が対応する特定画素の距離から視程距離を検出する検出ステップと、
   前記検出ステップにおいて検出された視程距離に基づき、周囲環境として、空気中における微粒子の濃度の度合いを推定する推定ステップと、
   を実行する周囲環境推定方法であって、
   前記基準反射板は、反射率の異なる第１領域と第２領域を備え、
   前記検出ステップは、前記画像取得ステップに入力された前記距離画像の特定画素に属する、前記基準反射板の前記第１領域が対応する第１の特定画素の距離と、前記基準反射板の前記第２領域が対応する第２の特定画素の距離と、の差から視程距離を検出するステップであり、
   前記推定ステップは、前記検出ステップで検出した視程距離が短いほど、周囲環境として、空気中における微粒子の濃度が高い度合いであると推定するステップである、周囲環境推定方法。
7. 撮像装置が、基準反射板を設置した検知エリアに光を照射し、その反射光を受光することで撮像した距離画像を入力する画像取得ステップと、
   前記画像取得ステップにおいて入力された前記距離画像における、前記基準反射板が対応する特定画素の距離から視程距離を検出する検出ステップと、
   前記検出ステップにおいて検出された視程距離に基づき、周囲環境として、空気中における微粒子の濃度の度合いを推定する推定ステップと、
   をコンピュータに実行させる周囲環境推定プログラムであって、
   前記基準反射板は、反射率の異なる第１領域と第２領域を備え、
   前記検出ステップは、前記画像取得ステップに入力された前記距離画像の特定画素に属する、前記基準反射板の前記第１領域が対応する第１の特定画素の距離と、前記基準反射板の前記第２領域が対応する第２の特定画素の距離と、の差から視程距離を検出するステップであり、
   前記推定ステップは、前記検出ステップで検出した視程距離が短いほど、周囲環境として、空気中における微粒子の濃度が高い度合いであると推定するステップである、周囲環境推定プログラム。