JP7014021B2 - 画像処理装置及び監視領域設定方法 - Google Patents

Description

本発明は、撮像画像において物体を検出する画像処理装置及び監視領域設定方法に関する。

多数の乗客が利用する鉄道車両では安全な運行が要求されるため、鉄道車両の関係者は、鉄道車両を安全に運行するための様々な試みを行っている。例えば、物体（異物）が線路に落下すると、重大な事故に繋がるおそれがあることから、線路内に物体が落下したことをいち早く検知する試みが行われている。例えば、駅のプラットホームの天井下に複数のステレオカメラを設置し、複数のステレオカメラにおいて撮像した撮像画像に基づいて、プラットホームから線路内に落下した物体を検出することが行われている。

ステレオカメラを用いた監視装置として、ステレオカメラによって撮像した複数の画像に基づいて、ステレオカメラから当該複数の画像に含まれる所定物体までの距離を示す距離画像を求め、距離画像に基づいて、所定物体が監視対象範囲への侵入者であることを判定する装置が知られている（例えば、特許文献１参照）。

特開２００７－１１５１８号公報

特許文献１に記載の技術において、監視装置が画像全体を監視対象範囲とすると、物体を検出したい場所（例えば線路内）にステレオカメラの撮像範囲を一致させる必要があるため不便である。そのため監視装置は、画像中で物体を検出する領域を設定可能に構成される場合がある。このような構成により、ユーザは、ステレオカメラを動かすことなく、画像中で物体を検出する領域を任意に設定することができる。

しかしながら、駅に設置された複数のステレオカメラのそれぞれについて、ユーザが物体を検出する領域の座標を指定するためには、大きな手間が掛かるという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、画像中で物体を検出する領域を容易に設定できる画像処理装置及び監視領域設定方法を提供することを目的とする。

本発明の第１の態様に係る画像処理装置は、所定領域を撮像する撮像部によって撮像された撮像画像に含まれる複数の画素の、前記所定領域における基準面からの被写体の高さを特定する高さ特定部と、前記撮像画像において隣接する画素同士の前記高さの関係に基づいて、前記撮像画像を複数の領域に分割する分割部と、ユーザが指定した監視対象の条件を受け付ける受付部と、前記複数の領域のうち前記受付部が受け付けた前記条件を満たす領域を、物体の存在を監視するための監視領域として設定する設定部と、前記監視領域内に前記物体を検出した場合に、信号を出力する出力部と、を有する。

前記画像処理装置は、第１時点において前記分割部が生成した前記複数の領域と、前記第１時点とは異なる第２時点において前記分割部が生成した前記複数の領域とを比較することによって、前記撮像部の向きが変化したか否かを判定する判定部をさらに有し、前記撮像部の向きが変化したと前記判定部が判定した場合に、前記出力部は信号を出力してもよい。

前記分割部は、前記高さの差が所定の閾値未満である隣接する画素同士を同じ領域に含めることによって、前記撮像画像を前記複数の領域に分割してもよい。

前記受付部は、前記条件として、前記複数の領域のうち前記ユーザが指定した監視対象とする少なくとも１つの領域を示す情報と、前記ユーザが指定した監視対象とする高さの範囲を示す情報との少なくとも一方を受け付けてもよい。

本発明の第２の態様に係る監視領域設定方法は、プロセッサが、所定領域を撮像する撮像部によって撮像された撮像画像に含まれる複数の画素の、前記所定領域における基準面からの被写体の高さを特定するステップと、前記撮像画像において隣接する画素同士の前記高さの関係に基づいて、前記撮像画像を複数の領域に分割するステップと、ユーザが指定した監視対象の条件を受け付けるステップと、前記複数の領域のうち前記受け付けるステップで受け付けられた前記条件を満たす領域を、物体の存在を監視するための監視領域として設定するステップと、を実行する。

本発明によれば、画像中で物体を検出する領域を容易に設定できるという効果を奏する。

本実施形態に係る画像処理システムの模式図である。 本実施形態に係る画像処理システムのブロック図である。 本実施形態に係る画像処理装置が画素ごとの高さを算出する方法の模式図である。 本実施形態に係る画像処理装置が実行する画像分割処理を示す模式図である。 本実施形態に係る画像処理装置が監視対象の条件の指定を受け付ける画面を示す模式図である。 本実施形態に係る画像処理装置が監視領域内に存在する物体を検出したことを示す画面を示す模式図である。 本実施形態に係る画像処理装置が実行する向き変化判定処理を示す模式図である。 本実施形態に係る画像処理装置が撮像装置の向きが変化したことを通知する画面を示す模式図である。 本実施形態に係る画像処理方法のうち、画像分割処理、監視領域設定処理及び向き変化判定処理のフローチャートを示す図である。 本実施形態に係る画像処理方法のうち、物体検出処理のフローチャートを示す図である。

（第１の実施形態）
図１は、本実施形態に係る画像処理システムＳの模式図である。画像処理システムＳは、画像処理装置１と、撮像装置２と、表示装置３と、入力装置４とを含む。画像処理システムＳは、その他のサーバ、端末等の機器を含んでもよい。

撮像装置２は、複数の撮像部が駅のプラットホームＰＬの長さ方向に沿って水平に配置されたステレオカメラである。撮像装置２は、駅のプラットホームＰＬの上部から、車両が走行する線路ＲＡに向けて所定の角度となるように設置される。撮像装置２は、プラットホームＰＬの周辺、すなわちプラットホームＰＬ及び線路ＲＡを含む所定の撮像範囲を俯瞰的に撮像して撮像画像を取得し、画像処理装置１に送信する。プラットホームＰＬの周辺における監視対象の領域を網羅して撮像できるように、任意の数の撮像装置２が配置される。

表示装置３は、液晶ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等、画像処理装置１から受け取った情報を表示可能な任意の表示装置である。入力装置４は、キーボード、マウス等、ユーザによる入力を受け付ける入力装置である、表示装置３及び入力装置４は、１つのコンピュータとして構成されてもよい。

画像処理装置１は、撮像装置２が撮像した撮像画像において物体を検出するコンピュータである。画像処理装置１は、撮像装置２、表示装置３及び入力装置４に有線又は無線で接続される。画像処理装置１は、撮像装置２から受信した撮像画像を用いて所定の処理を行い、所定の結果等の情報を表示装置３に表示させる。画像処理装置１は、撮像装置２と一体的に構成されてもよい。すなわち、撮像装置２は、後述する画像処理装置１の機能を有してもよい。

［画像処理システムＳの構成］
図２は、本実施形態に係る画像処理システムＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示したもの以外のデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

画像処理装置１は、制御部１１と、インタフェース１２と、記憶部１３と、を有する。制御部１１は、画像取得部１１１と、高さ特定部１１２と、画像分割部１１３と、条件受付部１１４と、監視領域設定部１１５と、物体検出部１１６と、出力部１１７と、向き変化判定部１１８とを有する。

インタフェース１２は、撮像装置２、表示装置３及び入力装置４との間で信号の授受をするためのインタフェースである。インタフェース１２は、撮像装置２、表示装置３及び入力装置４から受信した信号に所定の処理を行ってデータを取得し、取得したデータを制御部１１に入力する。また、インタフェース１２は、制御部１１から入力されたデータに所定の処理を行って信号を生成し、生成した信号を撮像装置２、表示装置３及び入力装置４に送信する。

記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１３は、制御部１１が実行するプログラムを予め記憶している。また、記憶部１３は、画像分割部１１３が撮像画像を分割して設定した分割領域を示す分割領域情報と、監視領域設定部１１５が物体を監視する対象として設定した監視領域を示す監視領域情報とを記憶する。記憶部１３は、画像処理装置１の外部に設けられてもよく、その場合にインタフェース１２を介して制御部１１との間でデータの授受を行ってもよい。

制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３に記憶されたプログラムを実行することにより、画像取得部１１１、高さ特定部１１２、画像分割部１１３、条件受付部１１４、監視領域設定部１１５、物体検出部１１６、出力部１１７及び向き変化判定部１１８として機能する。制御部１１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。

本実施形態に係る画像処理システムＳは、図２に示す具体的な構成に限定されない。例えば画像処理装置１は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。

［画像分割処理の説明］
本実施形態に係る画像処理方法において、まず画像処理装置１は、撮像装置２が撮像した撮像画像を、各画素の高さに基づいて複数の領域に分割する画像分割処理を実行する。画像処理装置１は、所定の時間間隔で定期的に画像分割処理を開始してもよく、あるいはユーザによる指示に従って画像分割処理を開始してもよい。

図３は、本実施形態に係る画像処理装置１が画素ごとの高さを算出する方法の模式図である。ステレオカメラである撮像装置２は、２つの撮像部を用いて同時に撮像範囲を撮像する。撮像装置２は、所定の時間間隔で定期的に撮像してもよく、あるいは画像処理装置１からの指示に従って撮像してもよい。撮像装置２は、２つの撮像部を用いて同時に撮像した２つの撮像画像を、当該撮像装置２を識別する識別情報（ＩＤ）と関連付けて画像処理装置１に送信する。

画像処理装置１において、画像取得部１１１は、撮像装置２が同時に撮像した２つの撮像画像を取得する。画像取得部１１１は、撮像装置２からインタフェース１２を介して撮像画像を直接取得してもよく、あるいは記憶部１３に記憶された撮像画像を読み出して取得してもよい。

高さ特定部１１２は、撮像装置２が撮像した撮像画像に基づいて、撮像画像に含まれる複数の画素の高さ（すなわち画素の位置に対応する被写体の高さ）を特定する。

まず高さ特定部１１２は、撮像装置２が同時に撮像した２つの撮像画像に基づいて、当該２つの撮像画像における撮像装置２の２つの撮像部の間の視差を、撮像画像の画素ごとに特定する。例えば、高さ特定部１１２は、２つの撮像画像のうち一方を基準画像とするとともに、他方を比較画像とする。そして、高さ特定部１１２は、当該基準画像に含まれる複数の画素のそれぞれを基準点とし、それぞれの基準点と対応する対応点を比較画像の中から探索することによって視差を算出する。

具体的には、高さ特定部１１２は、基準となる画素を中心に基準画像から画素ブロックを抽出し、比較画像の探索領域内の画素ブロックのうち基準画像から抽出した画素ブロックと輝度パターンが類似している画素ブロックをＳＡＤ（Sum of Absolute Differences）法等の公知の手法により特定する。そして、高さ特定部１１２は、基準画像の画素ブロックの座標と比較画像の画素ブロックの座標との相違から、視差を特定する。

なお、本実施形態では、それぞれの撮像画像において水平方向をＸ方向（第１方向）、垂直方向をＹ方向（第２方向）とする。撮像装置２の２つの撮像部が駅のプラットホームＰＬの長さ方向（すなわち、車両の走行方向）に沿って水平に配置されるため、Ｘ方向はプラットホームＰＬの長さ方向に相当する。また、Ｙ方向は、プラットホームＰＬや線路ＲＡの幅方向（すなわち、車両の走行方向に垂直な方向）に相当する。

そして高さ特定部１１２は、撮像画像の画素ごとに特定した視差に基づいて、所定の基準面からの被写体の高さを示す高さ情報を画素ごとに特定する。基準面は、例えば、レールの設置面であるものとするが、これに限らず、プラットホームＰＬであってもよい。ここで、図３を用いて、高さ特定部１１２が視差に基づいて高さを算出する方法を説明する。高さ特定部１１２は、ある位置Ｐ（ｘ，ｙ）の画素について特定した視差と、撮像装置２の２つの撮像部が有するレンズの中心間の間隔と、撮像装置２の２つの撮像部の焦点距離とに基づいて、撮像画像の画素ごとに被写体から撮像装置２までの距離Ｚ’を特定する。

それと同時に、高さ特定部１１２は、同じ位置Ｐ（ｘ，ｙ）の画素について、撮像装置２の設置高さと、撮像装置２の設置角度と、撮像装置２の２つの撮像部の視野角と、撮像装置２の２つの撮像部が有するレンズの中心間の間隔と、撮像装置２の２つの撮像部の焦点距離と、撮像素子の画素サイズとに基づいて、基準面における理論視差（すなわち基準面上に被写体Ｔが無い場合の視差）を特定することによって、基準面から撮像装置２までの距離Ｚを特定する。

そして高さ特定部１１２は、位置Ｐ（ｘ，ｙ）の画素について、被写体から撮像装置２までの距離Ｚ’と、基準面から撮像装置２までの距離Ｚとに基づいて、高さｈ（ｘ，ｙ）を特定する。高さ特定部１１２は、実際の高さではなく、基準面から撮像装置２までの距離Ｚから、被写体から撮像装置２までの距離Ｚ’を減算した値Ｚ－Ｚ’を高さｈ（ｘ，ｙ）と特定してもよい（ただし、ｈ（ｘ，ｙ）＜＜Ｚ’＜Ｚ）。より厳密には、高さ特定部１１２は、撮像装置２の設置角度θを用いて値Ｚ－Ｚ’を補正した値（Ｚ－Ｚ’）／ｃｏｓθを高さと特定してもよい。

高さ特定部１１２は、上述の具体的な方法に限らず、撮像画像の画素ごとの高さを特定可能な公知の方法を用いることができる。また、高さ特定部１１２は、撮像画像に含まれる全ての画素でなく一部の画素（例えば、１つおきの画素）について高さを特定してもよい。その場合には、高さ特定部１１２は、高さを特定していない画素の高さとして、当該画素の近傍において高さを特定した画素の高さを用いる。

また、撮像装置２が距離センサを備え、距離センサが撮像範囲内の複数の位置について被写体から撮像装置２までの距離を測定することによって、撮像画像の画素ごとの高さを特定してもよい。この場合に、撮像装置２は、ステレオカメラでなく単眼のカメラであってもよい。

本実施形態では画像処理装置１が高さを特定しているが、撮像装置２が高さを特定してもよい。この場合に、撮像装置２は、自身が撮像した撮像画像に対して、上述の方法によって画素ごとの高さを特定する。そして撮像装置２は、特定した画素ごとの高さを示す高さ情報を撮像画像と関連付けて画像処理装置１に送信する。画像処理装置１において、高さ特定部１１２は、撮像装置２から受信した撮像画像に対して、当該撮像画像とともに撮像装置２から受信した高さ情報に基づいて、画素ごとの高さを特定する。

図４は、本実施形態に係る画像処理装置１が実行する画像分割処理を示す模式図である。画像分割部１１３は、高さ特定部１１２が特定した画素ごとの高さに基づいて、撮像装置２が撮像した撮像画像を複数の領域に分割する。図４の上図は、高さ特定部１１２が、撮像装置２（２つの撮像部の一方）が撮像した撮像画像ＩＭの画素ＰＸのそれぞれについて特定した高さの例示的な値を表している。図４の下図は、画像分割部１１３が、撮像装置２（２つの撮像部の一方）が撮像した撮像画像ＩＭを、画素ＰＸごとの高さに基づいて複数の分割領域ＡＲに分割した状態を表している。

まず画像分割部１１３は、高さ特定部１１２が特定した画素ごとの高さに基づいて、撮像画像において隣接する画素同士の高さを比較する。そして画像分割部１１３は、隣接する画素同士の高さの差が所定の閾値δ未満である場合に、当該隣接する２つの画素に同一のラベル（例えば図４の下図に示す０、１、２、３のような通し番号）を割り当てる。具体的には、画像分割部１１３は、｜ｈ（ｘ，ｙ）－ｈ（ｘ±１，ｙ±１）｜＜δとなる場合に、互いに隣接するＰ（ｘ，ｙ）の位置の画素と、Ｐ（ｘ±１，ｙ±１）の位置の画素とを同じ高さとみなして同一のラベルを割り当てる。これをラベリング処理という。

そして画像分割部１１３は撮像画像の中で全ての隣接する画素同士についてラベリング処理を行った後、同一のラベルが割り当てられた１つ又は複数の画素を分割領域（図４の下図に示す分割領域ＡＲ）として設定する。すなわち画像分割部１１３は、隣接する画素同士が所定の高さの関係を有するように、撮像画像を複数の領域に分割する。同一の分割領域として設定するための隣接する画素同士の高さの関係（閾値）は、予め画像処理装置１に設定される。画像分割部１１３は、撮像画像に対して設定した１つ又は複数の分割領域を示す分割領域情報を、撮像装置２の識別情報と関連付けて記憶部１３に記憶させる。監視領域情報は、例えば各分割領域の撮像画像内の座標範囲を示す。

［監視領域設定処理の説明］
次に画像処理装置１は、各画素の高さに基づいて撮像画像を分割することによって設定した分割領域のうち、ユーザが指定した条件を満たす領域を監視領域として設定する監視領域設定処理を実行する。監視領域は、画像処理装置１が物体の存在を検出する領域である。

画像処理装置１は、ユーザによる指示に従って監視領域設定処理を開始する。図５は、本実施形態に係る画像処理装置１が監視対象の条件の指定を受け付ける画面ＳＣ１を示す模式図である。

画像処理装置１に複数の撮像装置２が接続されている場合には、画像処理装置１は撮像装置２（撮像装置２の識別情報）ごとに以降の処理を行う。画像処理装置１において、条件受付部１１４は、撮像装置２が撮像した撮像画像を取得するとともに、記憶部１３から分割領域情報を取得する。条件受付部１１４は、撮像画像及び分割領域情報に基づいて、監視対象の条件の指定を受け付ける画面ＳＣ１を表示するための情報（信号）を生成し、表示装置３に送信する。

表示装置３は、画像処理装置１から受け取った情報に従って、監視対象の条件を受け付ける画面ＳＣ１を表示する。画面ＳＣ１は、撮像装置２が撮像した撮像画像ＩＭと、分割領域情報が示す分割領域ＡＲと、物体を検出する高さの範囲を入力可能な高さ入力欄ＨＣとを含む。

図５において、表示装置３は、撮像画像ＩＭ上に分割領域ＡＲを示す破線の枠を重畳することによって、分割領域ＡＲを表示している。これに限らず、表示装置３は、分割領域ＡＲごとに色等の表示態様を変更することによって、分割領域ＡＲを表示してもよい。

ユーザは、入力装置４を用いて、監視領域として、画面ＳＣ１上に表示された１つ又は複数の分割領域ＡＲを選択して指定する。あるいはユーザは、入力装置４を用いて、高さ入力欄ＨＣに監視領域とする高さの範囲を入力して指定する。画像処理装置１において、条件受付部１１４は、入力装置４からユーザが指定した内容（すなわち分割領域ＡＲの指定又は高さ範囲の指定）を、監視対象の条件として受け付ける。

監視領域設定部１１５は、画像分割部１１３が撮像画像に対して設定した１つ又は複数の分割領域のうち、ユーザが指定した監視対象の条件を満たす１つ又は複数の分割領域を、監視領域として設定する。監視領域設定部１１５は、撮像画像に対して設定した１つ又は複数の監視領域を示す監視領域情報を、撮像装置２の識別情報と関連付けて記憶部１３に記憶させる。監視領域情報は、例えば撮像画像内における各監視領域の座標範囲を示す。

また、監視領域設定部１１５は、設定した監視領域を示す監視領域情報を、表示装置３に送信してもよい。表示装置３は、画像処理装置１から受け取った監視領域情報に基づいて、監視領域に対応する分割領域ＡＲの表示態様（色、枠線等）と、監視領域に対応しない分割領域ＡＲの表示態様とが異なるように、分割領域ＡＲを表示する。これにより、ユーザはいずれの分割領域ＡＲが監視領域であるか容易に把握できる。

また、監視領域設定部１１５は、設定した監視領域に対応する実際の面積（すなわち被写体の面積）を算出してもよい。この場合に、監視領域設定部１１５は、高さ特定部１１２が特定した被写体から撮像装置２までの距離と、予め設定された撮像素子の画素サイズとに基づいて、監視領域の画素数から、実際の面積を算出し、表示装置３に送信する。表示装置３は、画像処理装置１から受け取った監視領域の面積を、監視領域に対応する分割領域ＡＲ上に表示する。これにより、ユーザは監視領域に対応する実際の面積を把握できる。

このように監視領域設定部１１５は、予め隣接画素同士の高さの関係に基づいて分割した分割領域の中からユーザによる条件を満たす監視領域を選択する。そのため、ユーザは撮像画像中で監視対象とする座標を細かく指定する必要がなく、監視領域を容易に設定できる。

［物体検出処理の説明］
次に画像処理装置１は、監視領域内に存在する物体を検出する物体検出処理を実行する。画像処理装置１は、監視領域の設定後に物体検出処理を開始する。図６は、本実施形態に係る画像処理装置１が監視領域内に存在する物体を検出したことを示す画面ＳＣ２を示す模式図である。

画像処理装置１に複数の撮像装置２が接続されている場合には、画像処理装置１は撮像装置２（撮像装置２の識別情報）ごとに以降の処理を行う。画像処理装置１において、物体検出部１１６は、撮像装置２の２つの撮像部の一方が撮像した撮像画像を取得する。物体検出部１１６は、撮像装置２からインタフェース１２を介して撮像画像を直接取得してもよく、あるいは記憶部１３に記憶された撮像画像を読み出して取得してもよい。また、物体検出部１１６は、記憶部１３から監視領域情報を取得する。

そして物体検出部１１６は、撮像装置２が撮像した撮像画像の、監視領域情報が示す監視領域内において、物体の存在を検出する。具体的には、物体検出部１１６は、所定の時間間隔で定期的に撮像画像を取得し、記憶部１３に記憶させる。このとき、物体検出部１１６は、撮像画像のうち監視領域内の部分のみを記憶部１３に記憶させてもよく、撮像画像全体を記憶部１３に記憶させてもよい。

物体検出部１１６は、記憶部１３に記憶された過去のいずれかの時点（第１時点）の撮像画像を基準画像として、基準画像の監視領域と最新（第２時点）の撮像画像の監視領域とを比較する。物体検出部１１６は、時系列で１つ前に記憶された撮像画像を基準画像としてもよく、あるいは特定の時点（例えば監視領域設定時）の撮像画像を基準画像としてもよい。そして基準画像の監視領域と最新の撮像画像の監視領域との間の差分が所定の条件（例えば差分の面積が所定値以上であること）を満たす場合に、物体検出部１１６は監視領域内に新たに存在する物体を検出する。

物体検出部１１６が監視領域内の物体を検出する方法は、上述の具体的な方法に限定されない。例えば物体検出部１１６は、高さ特定部１１２が特定した画素ごとの高さに基づいて、監視領域内の物体を検出してもよい。この場合に、物体検出部１１６は、監視領域内に所定の範囲内の高さの画素が発生した場合に、物体を検出する。ユーザが監視対象の高さを適宜設定することによって、物体検出部１１６が地面にできた影を物体として検出しないようにしたり、また駅に進入してきた車両を物体として検出しないようにしたりできる。

物体検出部１１６が監視領域内に新たに存在する物体を検出した場合に、出力部１１７は、物体を検出したことを通知する画面ＳＣ２を表示するための情報（信号）を生成し、表示装置３に送信する。

表示装置３は、画像処理装置１から受け取った情報に従って、物体を検出したことを通知する画面ＳＣ２を表示する。画面ＳＣ２は、物体を検出した旨を表す情報Ｉ１と、物体が検出された撮像画像を表す情報Ｉ２とを含む。情報Ｉ２は、撮像装置２が撮像した撮像画像全体を含んでもよく、撮像画像のうち監視領域の部分のみを含んでもよい。

本実施形態に係る画像処理装置１は、監視領域設定処理と物体検出処理との両方を実行しているが、監視領域設定処理のみを実行してもよい。この場合には、画像処理装置１は、上述の監視領域設定処理によって生成した監視領域情報を外部装置に送信する。そして外部装置は、画像処理装置１から受信した監視領域情報に基づいて上述の物体検出処理を行う。

［向き変化判定処理の説明］
さらに画像処理装置１は、撮像装置２の向きの変化を判定する向き変化判定処理を実行してもよい。画像処理装置１は、分割領域の設定後に向き変化判定処理を開始する。図７は、本実施形態に係る画像処理装置１が実行する向き変化判定処理を示す模式図である。

画像処理装置１に複数の撮像装置２が接続されている場合には、画像処理装置１は撮像装置２（撮像装置２の識別情報）ごとに以降の処理を行う。画像処理装置１において、向き変化判定部１１８は、記憶部１３に記憶された過去のいずれかの時点（第１時点）の撮像画像を基準画像として、基準画像の分割領域と最新（第２時点）の撮像画像の分割領域とを比較する。向き変化判定部１１８は、時系列で１つ前に記憶された撮像画像を基準画像としてもよく、あるいは特定の時点（例えば監視領域設定時）の撮像画像を基準画像としてもよい。

図７の上図は基準画像の分割領域ＡＲを表しており、図７の下図は最新の撮像画像の分割領域ＡＲを表している。撮像装置２の向きが変化すると、分割領域ＡＲの面積又は境界位置が変化する。図７の例では、ラベル「０」が割り当てられた分割領域ＡＲの面積が下側に増加していることから、撮像装置２の向きは上側に変化したと推定できる。

向き変化判定部１１８は、基準画像と最新の撮像画像との間で分割領域の面積又は境界位置が変化している場合に、撮像装置２の向きが変化したと判定し、そうでない場合に、撮像装置２の向きが変化していないと判定する。そして向き変化判定部１１８は、同じ分割領域が基準画像の時点から最新の撮像画像の時点までに撮像画像上で移動した画素数及び向きを特定する。そして向き変化判定部１１８は、高さ特定部１１２が特定した被写体から撮像装置２までの距離と、予め設定された撮像素子の画素サイズとに基づいて、撮像画像上で移動した画素数及び向きから、撮像装置２の向きの変化を示す角度及び向きを特定する。

向き変化判定部１１８が撮像装置２の向きが変化したと判定した場合に、出力部１１７は、撮像装置２の向きが変化したことを通知する画面ＳＣ３を表示するための情報（信号）を生成し、表示装置３に送信する。表示装置３は、画像処理装置１から受け取った情報に従って、撮像装置２の向きが変化したことを通知する画面ＳＣ３を表示する。

図８は、本実施形態に係る画像処理装置１が撮像装置２の向きが変化したことを通知する画面ＳＣ３を示す模式図である。画面ＳＣ３は、撮像装置２の向きが変化した旨を表す情報Ｉ３と、撮像装置２の向きの変化に係る情報Ｉ４とを含む。撮像装置２の向きの変化に係る情報Ｉ４は、例えば撮像装置２の識別情報と、変化の向きと、変化の角度とを含む。これにより、画像処理装置１は、風や地震等によって撮像装置２の向きが変化したことを判定して、ユーザに通知できる。ユーザは変化の向き及び角度を知ることができるため、撮像装置２の向きを容易に調整できる。

［画像処理方法のフローチャート］
本実施形態に係る画像処理装置１は、画像分割処理、監視領域設定処理、向き変化判定処理及び物体検出処理を含む画像処理方法を実行する。図９は、本実施形態に係る画像処理方法のうち、画像分割処理、監視領域設定処理及び向き変化判定処理のフローチャートを示す図である。図９のフローチャートは、例えばユーザが画像処理装置１に対して所定の開始操作を行うことによって開始される。

画像取得部１１１は、撮像装置２が撮像した撮像画像を取得する（Ｓ１１）。高さ特定部１１２は、ステップＳ１１で画像取得部１１１が取得した撮像画像に基づいて、撮像画像に含まれる複数の画素の高さ（すなわち画素の位置に対応する被写体の高さ）を特定する（Ｓ１２）。

画像分割部１１３は、ステップＳ１２で高さ特定部１１２が特定した画素ごとの高さに基づいて、撮像装置２が撮像した撮像画像を複数の領域に分割する（Ｓ１３）。画像分割部１１３は、撮像画像に対して設定した１つ又は複数の分割領域を示す分割領域情報を、撮像装置２の識別情報と関連付けて記憶部１３に記憶させる。

条件受付部１１４は、ステップＳ１３で画像分割部１１３が設定した分割領域に基づいて、監視対象の条件の指定を受け付ける画面を表示するための情報を生成し、表示装置３に送信する。そして条件受付部１１４は、入力装置４からユーザが指定した内容（すなわち分割領域の指定又は高さ範囲の指定）を、監視対象の条件として受け付ける（Ｓ１４）。

監視領域設定部１１５は、画像分割部１１３が撮像画像に対して設定した１つ又は複数の分割領域のうち、ユーザが指定した監視対象の条件を満たす１つ又は複数の分割領域を、監視領域として設定する（Ｓ１５）。監視領域設定部１１５は、撮像画像に対して設定した１つ又は複数の監視領域を示す監視領域情報を、撮像装置２の識別情報と関連付けて記憶部１３に記憶させる。

向き変化判定部１１８は、記憶部１３に記憶された過去の撮像画像を基準画像として、基準画像の分割領域と最新の撮像画像の分割領域とを比較することによって、撮像装置２の向きが変化したか否かを判定する（Ｓ１６）。向き変化判定部１１８は、基準画像と最新の撮像画像との間で分割領域の面積又は境界位置が変化している場合に、撮像装置２の向きが変化したと判定し、そうでない場合に、撮像装置２の向きが変化していないと判定する。

ステップＳ１６で撮像装置２の向きが変化していないと向き変化判定部１１８が判定した場合に（Ｓ１７のＮＯ）、画像処理装置１は処理を終了する。ステップＳ１６で撮像装置２の向きが変化したと向き変化判定部１１８が判定した場合に（Ｓ１７のＹＥＳ）、出力部１１７は、撮像装置２の向きが変化したことを通知する画面を表示するための情報を生成し、表示装置３に送信する（Ｓ１８）。表示装置３は、画像処理装置１から受け取った情報に従って、撮像装置２の向きが変化したことを通知する画面を表示する。

図１０は、本実施形態に係る画像処理方法のうち、物体検出処理のフローチャートを示す図である。図１０のフローチャートは、例えばユーザが画像処理装置１に対して所定の開始操作を行うことによって開始される。

物体検出部１１６は、撮像装置２が撮像した撮像画像を取得する（Ｓ２１）。物体検出部１１６は、記憶部１３から監視領域情報を取得する（Ｓ２２）。そして物体検出部１１６は、ステップＳ２１で取得した撮像画像の、ステップＳ２２で取得した監視領域情報が示す監視領域内において、物体の存在を検出する（Ｓ２３）。例えば物体検出部１１６は、過去に撮像された基準画像の監視領域と最新の撮像画像の監視領域とを比較することによって、物体の存在を検出する。

ステップＳ２３で物体検出部１１６が物体の存在を検出した場合に（Ｓ２４のＹＥＳ）、出力部１１７は、物体を検出したことを通知する画面を表示するための情報を生成し、表示装置３に送信する（Ｓ２５）。表示装置３は、画像処理装置１から受け取った情報に従って、物体を検出したことを通知する画面を表示する。ステップＳ２３で物体検出部１１６が物体の存在を検出しなかった場合に（Ｓ２４のＮＯ）、画像処理装置１はステップＳ２５を行わずステップＳ２６へ進む。

所定の終了条件（例えばユーザが画像処理装置１に対して所定の終了操作を行うこと）が満たされていない場合に（Ｓ２６のＮＯ）、画像処理装置１はステップＳ２３に戻って処理を繰り返す。所定の終了条件が満たされた場合に（Ｓ２６のＹＥＳ）、画像処理装置１は処理を終了する。

図９、図１０においては、画像分割処理、監視領域設定処理及び向き変化判定処理のフローチャートと、物体検出処理のフローチャートとを別々に記載しているが、画像処理装置１は、物体検出処理の途中（例えばステップＳ２３とステップＳ２４との間）で、画像分割処理、監視領域設定処理及び向き変化判定処理を行ってもよい。これにより、画像処理装置１は、例えば物体検出処理の途中において分割領域が移動していることを検出した場合に、監視領域を再設定し、また撮像装置２の向きが変化しているとユーザに通知できる。

［実施形態の効果］
本実施形態によれば、画像処理装置１は、予め隣接画素同士の高さの関係に基づいて分割した分割領域のうち、ユーザから受け付けた条件を満たす監視領域を選択する。これにより、ユーザは、撮像画像中で監視対象とする座標を細かく指定する必要がなく、監視領域を容易に設定できる。さらに画像処理装置１は、分割領域の位置の変化に基づいて、撮像装置２の向きの変化を検出してユーザに通知する。これにより、ユーザは、撮像装置２の向きが変化したことを知ることができ、撮像装置２の向きを調整できる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

上述の実施形態において、画像処理システムＳは、駅のプラットホームに適用されているが、その他の用途に適用されてもよい。例えば金庫を撮像するように撮像装置２を設置し、ユーザが監視領域を金庫の扉の取っ手を含む部分に設定することよって、画像処理装置１は金庫が不正に開けられようとしていることを検出できる。

画像処理装置１の制御部１１（プロセッサ）は、図９、図１０に示す方法に含まれる各ステップ（工程）の主体となる。すなわち、制御部１１は、図９、図１０に示す方法を実行するためのプログラムを記憶部１３から読み出し、当該プログラムを実行して画像処理装置１の各部を制御することによって、図９、図１０に示す方法を実行する。

１ 画像処理装置
２ 撮像装置
１１ 制御部
１１２ 高さ特定部
１１３ 画像分割部
１１４ 条件受付部
１１５ 監視領域設定部
１１６ 物体検出部
１１７ 出力部
１１８ 向き変化判定部

Claims (5)

1. 所定領域を撮像する撮像部によって撮像された撮像画像に含まれる複数の画素の、前記所定領域における基準面からの被写体の高さを特定する高さ特定部と、
   前記撮像画像において隣接する画素同士の前記高さの関係に基づいて、前記撮像画像を複数の領域に分割する分割部と、
   ユーザが指定した監視対象の条件を受け付ける受付部と、
   前記複数の領域のうち前記受付部が受け付けた前記条件を満たす領域を、物体の存在を監視するための監視領域として設定する設定部と、
   前記監視領域内に前記物体を検出した場合に、信号を出力する出力部と、
   を有する画像処理装置。
2. 第１時点において前記分割部が生成した前記複数の領域と、前記第１時点とは異なる第２時点において前記分割部が生成した前記複数の領域とを比較することによって、前記撮像部の向きが変化したか否かを判定する判定部をさらに有し、
   前記撮像部の向きが変化したと前記判定部が判定した場合に、前記出力部は信号を出力する、請求項１に記載の画像処理装置。
3. 前記分割部は、前記高さの差が所定の閾値未満である隣接する画素同士を同じ領域に含めることによって、前記撮像画像を前記複数の領域に分割する、請求項１又は２に記載の画像処理装置。
4. 前記受付部は、前記条件として、前記複数の領域のうち前記ユーザが指定した監視対象とする少なくとも１つの領域を示す情報と、前記ユーザが指定した監視対象とする高さの範囲を示す情報との少なくとも一方を受け付ける、請求項１から３のいずれか一項に記載の画像処理装置。
5. プロセッサが、
   所定領域を撮像する撮像部によって撮像された撮像画像に含まれる複数の画素の、前記所定領域における基準面からの被写体の高さを特定するステップと、
   前記撮像画像において隣接する画素同士の前記高さの関係に基づいて、前記撮像画像を複数の領域に分割するステップと、
   ユーザが指定した監視対象の条件を受け付けるステップと、
   前記複数の領域のうち前記受け付けるステップで受け付けられた前記条件を満たす領域を、物体の存在を監視するための監視領域として設定するステップと、
   を実行する監視領域設定方法。

Images