JP5935617B2 - 画像処理装置、移動体の状態判定方法、および移動体の状態判定プログラム - Google Patents

Description

この発明は、列車や車両等の移動体の進入、停止、発車、通過等の状態を判定する技術に関する。

従来、鉄道会社は、列車の進入、停止、発車等の状態を検知し、その検知結果を出力するセンサ（動態センサ）を駅ホームに設置している。この動態センサには、例えば非特許文献１に示されたものがある。

動態センサは、検知結果を案内装置や、列車の運行案内表示板等に出力する。案内装置は、動態センサが出力した検知結果に基づき、駅ホームの乗降客に対する案内放送を行う。案内装置は、例えば、「〇番線に、列車が進入しています。白線まで、お下がりください。」という、乗降客に対する注意喚起を案内する。また、列車の運行案内表示板では、動態センサが出力した検知結果に基づき、列車の発着案内等にかかる表示の切り替えを行う。

このように、動態センサは、乗降客の安全確保や、乗降客に対するサービスを向上する目的で利用している。

http://www.kanno.co.jp/catalog/E001_D-Sensor/E001(D-Sensor).pdf

しかしながら、非特許文献１に示されている従来の動態センサは、処理する撮像画像に、非検知対象の移動体（駅ホームの乗降客等）が撮像されていると、この非検知対象について判定した状態を、列車の状態として出力することがある。

したがって、従来の動態センサは、状態を検知する列車等の移動体（検知対象の移動体）のみが撮像される位置に設置した撮像装置を用い、この撮像装置の撮像画像を処理画像として入力していた。このため、撮像装置の設置スペースの確保等が必要になる。また、撮像装置の設置スペースの確保にともなって、乗降客の通路を制限することもあり、結果的に乗降客に対するサービスを低下させることもあった。

さらに、上述した理由から、動態センサの処理画像を撮像する撮像装置と、駅ホームにおける乗降客の安全監視の撮像装置と、を１つの撮像装置で併用することができなかった。

この発明の目的は、進入、停止、発車、通過等の状態を判定する移動体以外の非対象移動体が撮像されている撮像画像であっても、移動体の状態判定が適正に行える技術を提供する。

この発明の画像処理装置は、上記課題を解決し、その目的を達するために以下のように構成している。

画像入力部には、撮像エリア内を通過する移動体の移動方向に対して、撮像方向を垂直でない方向に設置した撮像装置により、移動体の消失点が生じるアングルで撮像したフレーム画像が入力される。例えば、駅ホームにおける乗降客の安全監視の撮像装置は、このようなアングルで設置されているので、画像入力部にフレーム画像（撮像画像）を入力する撮像装置として利用できる。

消失点は、遠近感のある平面画像において、移動体が移動方向に集まる点である。撮像装置によるフレーム画像は、遠近感のある平面画像である。消失点は、撮像装置によるフレーム画像(画像入力部に入力されるフレーム画像）上に存在していてもよいし、存在していなくてもよい。

また、移動ベクトル検出部は、画像入力部に入力されたフレーム画像を処理し、時間的に連続するフレーム画像間において、撮像エリア内に定めた計測点における移動体の移動ベクトルを検出する。消失エネルギ算出部は、移動ベクトル検出部が検出した計測点の移動ベクトルについて、その計測点における消失点方向の成分に応じた消失エネルギを算出する。消失エネルギは、消失点方向における移動体の運動エネルギが大きくなるにつれて、大きくなる。言い換えれば、消失エネルギは、消失点方向における移動体の移動速度が速くなるにつれて大きくなる。

状態判定部は、消失エネルギ算出部が算出した消失エネルギに基づいて移動体の状態を判定する。すなわち、状態判定部は、移動体の進入、停止、発車、通過等の状態を、この移動体の消失点方向の運動エネルギ（移動速度）によって判定する。

例えば、状態判定部は、消失エネルギ算出部が算出した消失エネルギの時間的推移に基づいて移動体の状態を判定する構成にすればよい。また、移動体の停止状態については、消失エネルギが低下していく時間的推移を適正に判断するために、消失エネルギ算出部が算出した消失エネルギの時間的推移をフィルタリング処理で平滑化し、この平滑化した信号の時間的推移から判定すればよい。一方で、移動体の通過状態については、移動体が速度を保って通過することから、消失エネルギの時間的推移を必要としないので、消失エネルギ算出部が算出した消失エネルギの時間的推移から判定すればよい。

また、状態判定部における移動体の判定精度を向上させるため、撮像エリア内に複数の計測点を定め、移動ベクトル検出部が各計測点について、それぞれ移動ベクトルを検出し、消失エネルギ算出部が、各計測点における移動ベクトルの消失点方向の成分に応じたエネルギの総和を消失エネルギとして算出する、構成とするのが好ましい。このようにすれば、消失エネルギの時間的推移をより正確に得ることができる。

また、消失エネルギ算出部は、計測点における消失方向の成分を、フレーム画像上における当該計測点の高さ、および消失点の高さに応じた補正係数で補正し、消失エネルギを算出する構成にすることで、移動体の消失点方向における消失エネルギの算出精度を一層向上できる。

この補正係数は、計測点が消失点に近づくにつれて、消失エネルギを大きくする係数であればよい。

また、この発明にかかる移動体の状態判定方法は、上述の移動ベクトル検出部、消失エネルギ算出部、および状態判定部の構成に相当する処理をコンピュータに実行させる発明である。

さらに、この発明にかかる移動体の状態判定プログラムは、コンピュータにインストールすることで、上述の移動ベクトル検出部、消失エネルギ算出部、および状態判定部の構成に相当する処理をコンピュータに実行させる発明である。

この発明によれば、進入、停止、発車、通過等の状態を判定する検知対象の移動体以外の移動体（非検知対象の移動体）が撮像されている画像であっても、検知対象の移動体の状態判定が適正に行える。

画像処理装置の主要部の構成を示すブロック図である。 撮像装置の撮像エリアを示す図である。 消失エネルギ算出処理にかかる動作を示すフローチャートである。 フレーム画像に設定されている計測点を説明する図である。 奥行き補正係数を説明する図である。 消失エネルギＶＥの変化を示す図である。 状態判定処理を示すフローチャートである。 消失エネルギＶＥを最小二乗法により平滑化したグラフである。 消失エネルギＶＥに基づく通過判定に用いる閾値を説明する図である。

以下、この発明の実施形態である画像処理装置について説明する。

図１は、画像処理装置の主要部の構成を示すブロック図である。画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。この画像処理装置１は、駅ホームにおける列車の進入、停止、発車、通過等の状態を判定する。この例では、この発明で言う移動体が列車である。この画像処理装置１は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。ハードウェアとして利用する情報処理装置は、この発明で言う移動体の状態判定プログラムをインストールすることで、後述する処理（図３、および図７に示すフローチャートにかかる処理）を実行する。

制御部２は、画像処理装置１本体各部の動作を制御する。

画像入力部３は、撮像装置１０で撮像したフレーム画像が入力される。この撮像装置１０は、可視画像を撮像するビデオカメラであり、１秒間に３０フレーム程度のフレーム画像を画像入力部３に入力する。

ここで撮像装置１０の撮像エリアについて説明する。図２は、撮像装置の撮像エリアを示す図である。撮像装置１０は、図２に示すように、駅ホームに設置され、撮像エリア内を進入、停止、発車、通過等の状態を判定する列車が通過する。撮像装置１０は、撮像エリア内を通過する列車の移動方向に対して、撮像方向を垂直でない方向に設置している。したがって、撮像装置１０のアングルは、列車の消失点が生じるアングルである。移動体の消失点とは、遠近感のある平面画像において、移動体が移動方向に集まる点である。撮像装置１０で撮像したフレーム画像は、移動体である列車の移動方向に対して、遠近感のある平面画像である。

なお、撮像装置１０は、図２に示すように、消失点が撮像したフレーム画像上に存在するアングルに設置されている必要はなく、消失点が撮像したフレーム画像外に存在するアングルであってもよい。ここでは、説明を分かりやすくするため、撮像装置１０のアングルを、消失点が撮像したフレーム画像上に存在するアングルとして説明する。

一般的な駅では、駅ホームにおける乗降客の安全監視のために設置している監視用の撮像装置が上述したアングルで設置されている。したがって、画像入力部３に入力するフレーム画像は、この監視用の撮像装置で撮像したフレーム画像としてもよい。このようにすれば、この例にかかる画像処理装置１にフレーム画像を入力する撮像装置１０を特別に用意する必要がない。

画像処理部４は、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されている列車の状態（進入、停止、発車、通過等）を判定する。この状態を判定する処理の詳細については、後述する。

なお、画像処理部４は、画像入力部３に入力されたフレーム画像を全て処理してもよいし、２フレーム毎や、３フレーム毎等、全てのフレーム画像を処理しない構成であってもよい。

入出力部５は、図示していない上位装置との間におけるデータの入出力を制御する。入出力部５は、画像処理部４における列車の状態判定の判定結果を上位装置（不図示）に通知する。

なお、上位装置は、画像処理装置１における列車の状態の判定結果に基づき、例えば、「〇番線に、列車が進入しています。白線まで、お下がりください。」という、乗降客に対する注意喚起を案内する案内装置であってもよいし、運行案内表示板における列車の運行案内表示を制御する表示装置であってもよい。また、これらの装置に対して、画像処理装置１の判定結果を通知する、駅サーバ等の装置であってもよい。また、画像処理装置１は、列車の状態の判定結果を１つの上位装置に通知する構成に限らず、複数の上位装置にパラに通知する構成であってもよい。

以下、この画像処理装置１の動作について説明する。この画像処理装置１は、以下に示す消失エネルギ算出処理、および状態判定処理を並行して行う。

図３は、この画像処理装置の消失エネルギ算出処理にかかる動作を示すフローチャートである。画像処理装置１は、処理対象のフレーム画像が画像入力部３に入力されると（ｓ１）、このフレーム画像に対して、各計測点における移動ベクトルを検出する（ｓ２）。画像処理装置１は、上述したように、画像入力部３に入力されたフレーム画像を全て処理対象にしてもよいし、２フレーム毎や、３フレーム毎等に処理対象にしてもよい。

画像処理装置１は、画像入力部３に入力されるフレーム画像に対して、図４に示すように、計測点を複数設定している。計測点Ｐ１〜Ｐｎ（以下、任意の計測点をＰｍと示す。）は、フレーム画像上の位置に設定した点であり、撮像されている移動体に対して設定した点ではない。また、計測点Ｐ１〜Ｐｎは、駅ホームに進入してきた列車が撮像される位置に設定しており、列車が撮像されることがない位置に設定していない。

画像処理部４は、計測点Ｐ１〜Ｐｎ毎に、前回の処理対象であったフレーム画像において、その計測点Ｐｍに撮像されていた画像が、今回の処理対象であるフレーム画像において撮像されている位置を検出する。この位置の検出は、前回の処理対象であったフレーム画像と、今回の処理対象であるフレーム画像と、を用いたパターンマッチング等で行える。画像処理部４は、各計測点Ｐ１〜Ｐｎについて、その計測点Ｐｍから、上述した処理で検出した位置に達するベクトルを、この計測点Ｐｍの移動ベクトルｆｍ（ｆ１〜ｆｎ）として検出する。

なお、上記の説明から明らかなように、フレーム画像上に移動体である列車が撮像されていない場合や、撮像されている列車が停止している場合、各計測点Ｐ１〜Ｐｎの移動ベクトルｆ１〜ｆｎは、ほぼ０になる。また、一部の計測点において乗降客等の非検知対象の移動体が撮像されても、残りのほとんどの計測点では、非検知対象の移動体が撮像されないので、移動ベクトルがほぼ０になる。したがって、後述する処理で算出される消失エネルギが非常に小さい値をとるので、非検知対象の移動体の状態を列車の状態として判定し、出力することはない。詳細については、後述する。

画像処理部４は、各計測点Ｐ１〜Ｐｎについて各点消失エネルギＶＥｍ（ＶＥ１〜ＶＥｎ）を算出する（ｓ３）。各点消失エネルギＶＥｍは、ｓ２で検出した移動ベクトルｆｍの消失点方向の成分に応じたエネルギであり、以下のようにして算出する。

計測点Ｐｍ毎に、消失点方向のベクトルは異なる。画像処理部４は、図示していないメモリに、各計測点Ｐｍの消失点方向の単位ベクトルａｍ（ａ１〜ａｎ）を記憶している。

また、撮像装置１０が撮像したフレーム画像は、遠近感のある平面画像であることから、画像処理部４は、各計測点Ｐ１〜Ｐｎにおける奥行き補正係数αｍ（α１〜αｎ）を記憶している。この奥行き補正係数αｍは、各計測点Ｐｍの移動ベクトルｆｍの大きさ（結果的に、ｓ３で算出する各点消失エネルギＶＥｍの大きさ）を、その計測点Ｐｍと、消失点と、の距離に応じて補正する係数である。

この例では、奥行き補正係数αｍ（α１〜αｎ）は、図５に示すように、フレーム画像全体の高さＨ、消失点の高さＹｖ、および、計測点Ｐｍの高さＹ（Ｐｍ）に基づき、
αｍ＝（Ｈ−Ｙｖ）／（Ｙ（Ｐｍ）−Ｙｖ）
と定義している。

ｓ３では、上述した、計測点Ｐｍ毎に、ｓ２で検出したその計測点Ｐｍにおける移動ベクトルｆｍ、その計測点Ｐｍにおける消失点方向の単位ベクトルａｍ、およびその計測点に対する奥行き補正係数αｍに基づき、各点消失エネルギＶＥｍを、
ＶＥｍ＝｜（αｍ）×ｆｍ・ａｍ｜
（ｆｍ・ａｍは、移動ベクトルｆｍと、消失点方向の単位ベクトルａｍと、の内積を示す。）
により算出する。

さらに、画像処理部４は、ｓ３で算出した各計測点Ｐ１〜Ｐｎの各点消失エネルギＶＥ１〜ＶＥｎの総和を、消失エネルギＶＥとして算出し（ｓ４）、ｓ１に戻る。ｓ４で算出される消失エネルギＶＥは、消失点方向に移動する移動体の運動エネルギの大きさに相当し、この運動エネルギが大きくなるにつれて大きくなる。言い換えれば、ｓ４で算出される消失エネルギＶＥは、消失点方向に移動する移動体の移動速度が速くなるにつれて大きくなる。

図６は、ｓ４で算出される消失エネルギＶＥの変化を示す図である。図６において、横軸は時間を示し、縦軸は消失エネルギの大きさを示す。図６に示す時刻ｔ１が、撮像装置１０の撮像エリアに列車が進入してきた直後のタイミングであり、この時点では列車の速度が比較的速いので、ｓ４で算出される消失エネルギＶＥも比較的大きい。その後、列車は、駅ホームに停止するため、減速するので、ｓ４で算出される消失エネルギＶＥが徐々に小さくなり、時刻ｔ２において停止すると、ｓ４で算出される消失エネルギＶＥがほぼ０になる。

また、図６に示す時刻ｔ３は、列車が駅ホームからの発車を開始した直後のタイミングであり、ｓ４で算出される消失エネルギＶＥが徐々に増加する。また、列車の発車後は、この列車が撮像装置１０の撮像エリア外に移動していくので、ｓ２で検出される移動ベクトルがほぼ０である計測点Ｐｍが徐々に増加する。その結果、ｓ４で算出される消失エネルギＶＥは、列車の進入時ほど増加することなく、やがて低下して、ほぼ０になる。

次に、この画像処理装置１における状態判定処理について説明する。この例では、駅ホームにおける列車の状態として、進入、停止、発車、通過を判定する。図７は、この状態判定処理を示すフローチャートである。

画像処理装置１は、上述したｓ４で消失エネルギＶＥが算出されるのを待っている（ｓ１１）。画像処理装置１は、ｓ４で消失エネルギＶＥが算出されると、消失エネルギＶＥの時系列平滑化処理を行う（ｓ１２）。ｓ１２にかかる平滑化処理は、公知の最小二乗法等により、今回算出された消失エネルギＶＥを基準にし、予め定めているサンプリング期間（過去の期間）に算出した消失エネルギＶＥを用いて平滑化する処理である。

図８は、図６に示す消失エネルギＶＥを最小二乗法により平滑化したグラフである。

この画像処理装置１は、ｓ１２で平滑化した消失エネルギＶＥの値に対する、進入閾値、発車閾値、および停止閾値を定め、これらを図示していないメモリに記憶している（進入閾値＞発車閾値＞停止閾値）。

また、図９に示すように、ｓ４で算出した消失エネルギＶＥに対して、存在閾値、および通過閾値（存在閾値＞通過閾値）を定めている。この図９は、駅に停止することなく通過した列車について、ｓ４で算出される消失エネルギＶＥの変化を示したグラフである。画像処理装置１は、ｓ４で算出した消失エネルギＶＥの値に対する、存在閾値、および通過閾値も図示していないメモリに記憶している。

画像処理装置１は、前回の状態の判定結果が列車無しであれば（ｓ１３）、列車の進入判定を行う（ｓ１４）。ｓ１４では、今回ｓ１２で時系列平滑化処理を行った消失エネルギＶＥの値が、図８に示した進入閾値以上であれば今回の状態を列車進入と判定し、反対に、この進入閾値未満であれば今回の状態を列車無しと判定する。画像処理装置１は、ｓ１４における今回の判定結果をメモリに記憶するとともに、入出力部５に接続されている上位装置に通知する（ｓ１５）。

また、画像処理装置１は、前回の状態の判定結果が列車進入であれば（ｓ１６）、列車通過判定を行う（ｓ１７）。ｓ１７では、ｓ４で算出した消失エネルギＶＥが図９に示す今回から一定時間遡った存在時間中で常に図９に示す存在閾値以上であり、且つ、今回ｓ４で算出した消失エネルギＶＥが図９に示す通過閾値未満であれば、列車通過と判定する。一方、ｓ１７では、ｓ４で算出した消失エネルギＶＥが図９に示す今回から一定時間遡った存在時間中で図９に示す存在閾値以下となることがあった列車、または、今回ｓ４で算出した消失エネルギＶＥが図９に示す通過閾値以上である列車であれば、列車通過と判定せず（この時点では、この列車が通過列車か、駅に停止する列車か判定できない。）、停止判定を行う（ｓ１８、ｓ１９）。ｓ１９では、今回ｓ１２で時系列平滑化処理を行った消失エネルギＶＥの値が、図８に示した停止閾値未満であれば今回の状態を列車停止と判定し、反対に、この停止閾値以上であれば今回の状態を列車進入と判定する。画像処理装置１は、ｓ１７における列車の通過判定、またはｓ１９における列車の停止判定における判定結果をメモリに記憶するとともに、入出力部５に接続されている上位装置に通知する（ｓ２０）。

なお、ｓ１７にかかる列車の通過判定よりも先に、ｓ１９にかかる列車の停止判定を行ってもよい。

また、画像処理装置１は、前回の状態の判定結果が列車停止であれば（ｓ２１）、列車発車判定を行う（ｓ２２）。ｓ２２では、今回ｓ１２で時系列平滑化処理を行った消失エネルギＶＥの値が、図８に示した発車閾値以上であれば今回の状態を列車発車と判定し、反対に、この発車閾値未満であれば今回の状態を列車停止と判定する。画像処理装置１は、ｓ２２における列車の発車判定における判定結果をメモリに記憶するとともに、入出力部５に接続されている上位装置に通知する（ｓ２３）。

なお、ｓ２１で、前回の状態の判定結果が列車停止でないと判定されるのは、前回の判定結果が列車通過、または列車発車であった場合である。この場合には、列車無しの場合と同様に、ｓ１４、およびｓ１５にかかる処理を行う。

このように、この画像処理装置１は、撮像装置１０の撮像画像を処理して、撮像されている列車の運動エネルギ（移動速度）の大きさに応じて変化する消失エネルギＶＥを算出し、この消失エネルギＶＥの時間的推移によって、移動体である列車の状態を判定するので、列車の状態判定が正確に行える。

また、一部の計測点において乗降客等の非検知対象の移動体が撮像されても、残りのほとんどの計測点では、非検知対象の移動体が撮像されないので、移動ベクトルがほぼ０になる。したがって、上述した処理で算出される消失エネルギＶＥが非常に小さい値をとるので、非検知対象の移動体の状態を列車の状態として判定し、出力することはない。また、撮像装置１０として、駅ホームに設置されている乗降客の安全監視用のカメラを利用することができるので、専用の撮像装置１０を用いなくてもよい。

なお、上記の説明では、駅ホームにおいて列車の状態を判定する場合を例にして本願発明の説明を行ったが、道路を走行している自動車等を対象の移動体とし、この自動車の状態を判定する装置としても利用できる。

１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
５…入出力部
１０…撮像装置

Claims (8)

1. 撮像エリア内を通過する移動体の移動方向に対して、撮像方向を垂直でない方向に設置した撮像装置により、前記移動体の消失点が生じるアングルで撮像したフレーム画像を入力する画像入力部と、
   前記画像入力部に入力されたフレーム画像を処理し、時間的に連続するフレーム画像間において、撮像エリア内に定めた計測点における移動体の移動ベクトルを検出する移動ベクトル検出部と、
   前記移動ベクトル検出部が検出した前記計測点の移動ベクトルについて、その計測点における前記消失点方向の成分に応じた消失エネルギを算出する消失エネルギ算出部と、
   前記消失エネルギ算出部が算出した消失エネルギに基づいて移動体の状態を判定する状態判定部と、を備えた画像処理装置。
2. 前記移動ベクトル検出部は、撮像エリア内に定めた複数の計測点について、それぞれ移動ベクトルを検出し、
   前記消失エネルギ算出部は、各計測点における移動ベクトルの前記消失点方向の成分に応じたエネルギの総和を前記消失エネルギとして算出する、請求項１に記載の画像処理装置。
3. 前記消失エネルギ算出部は、前記計測点における前記消失点方向の成分を、フレーム画像上における当該計測点の高さ、および前記消失点の高さに応じた補正係数で補正し、前記消失エネルギを算出する、請求項１、または２に記載の画像処理装置。
4. 前記状態判定部は、前記消失エネルギ算出部が算出した消失エネルギの時間的推移に基づいて移動体の状態を判定する、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記状態判定部は、移動体の停止状態については、前記消失エネルギ算出部が算出した消失エネルギの時間的推移をフィルタリング処理で平滑化し、この平滑化した信号の時間的推移から直接判定する、請求項１〜４のいずれかに記載の画像処理装置。
6. 前記状態判定部は、移動体の通過状態については、前記消失エネルギ算出部が算出した消失エネルギの時間的推移から直接判定する、請求項１〜５のいずれかに記載の画像処理装置。
7. コンピュータが、
   撮像エリア内を通過する移動体の移動方向に対して、撮像方向を垂直でない方向に設置した撮像装置により、画像入力部に入力された、前記移動体の消失点が生じるアングルで撮像したフレーム画像を処理し、時間的に連続するフレーム画像間において、撮像エリア内に定めた計測点における移動体の移動ベクトルを検出する移動ベクトル検出ステップと、
   前記移動ベクトル検出ステップが検出した前記計測点の移動ベクトルについて、その計測点における前記消失点方向の成分に応じた消失エネルギを算出する消失エネルギ算出ステップと、
   前記消失エネルギ算出ステップが算出した消失エネルギに基づいて移動体の状態を判定する状態判定ステップと、を実行する、移動体の状態判定方法。
8. 撮像エリア内を通過する移動体の移動方向に対して、撮像方向を垂直でない方向に設置した撮像装置により、画像入力部に入力された、前記移動体の消失点が生じるアングルで撮像したフレーム画像を処理し、時間的に連続するフレーム画像間において、撮像エリア内に定めた計測点における移動体の移動ベクトルを検出する移動ベクトル検出ステップと、
   前記移動ベクトル検出ステップが検出した前記計測点の移動ベクトルについて、その計測点における前記消失点方向の成分に応じた消失エネルギを算出する消失エネルギ算出ステップと、
   前記消失エネルギ算出ステップが算出した消失エネルギに基づいて移動体の状態を判定する状態判定ステップと、をコンピュータに実行させる移動体の状態判定プログラム。