JP5110246B2 - 転倒検知装置、プログラム、転倒検知方法、及び転倒検知システム - Google Patents

Description

本発明は、転倒を検知する技術に関する。

近年、公共の場などには多数の監視カメラが設けられ、主に異常の発生や混雑の状況などを把握する目的で利用されている。

この異常の一例としては人の転倒（倒れ）などが挙げられる。

そして、監視カメラで取得された画像データを用いて、浴室やトイレなどの部屋内において人が転倒するなどといった異常を検出する技術が種々提案されている（例えば、特許文献１〜４）。例えば、上記特許文献１で提案された技術では、画像データから高周波成分を抽出して動状態と静止状態とを判定することで異常の発生を検知する。また、上記特許文献２〜４で提案された技術では、各画像データについて、背景画像（参照画像）との差分領域を抽出して、当該差分領域（すなわち人体画像）の高さ情報の時間あたりの変化や面積の変化によって人体の転倒動作を検知する。

特開２００２−３０４６８０号公報 特開２０００−２５３３８２号公報 特開２０００−２０７６６５号公報 特開２０００−２０７６６４号公報

しかしながら、上記特許文献１〜４で提案された技術では、エスカレータや動く歩道などといった限られた空間に多数の人間が混み入って存在している場合には、１人１人が転倒したか否かを検知することが困難である。

例えば、人の特徴量を用いて転倒を検知する手法では、複数人が存在する場合には、人の重なり具合や並び具合が変化しただけでも特徴量が変化してしまうため、誤検知が発生する。特に、例えば、エスカレータ等では、乗降エリア付近を進行方向の正面側からカメラで撮影する場合、後方に背の高い人が立っていて、手前の比較的背の低い人（例えば子供）が転倒しても、１人１人を区別して転倒を検知することができないため、手前の人の転倒を検知することができない。

また、人物を１人１人区別して検出する手法としては、形状や特徴量や色に基づいて頭部や顔を検出する手法が知られているが、例えば、顔を検出するためには、人物を正面側から撮影しなければならないといった制約がある。また、円や楕円などといった形状認識によって頭部を検出する場合には、人全体を占める頭部の割合はあまり大きくなく、頭部以外の丸っぽい他の部位まで頭部として誤検出され易い。更に、色で顔を検出する手法では、照明や背景や衣服の色の影響や肌自体の色のぶれによって誤検出が生じ易い。すなわち、環境や被写体の条件によって人物の倒れの誤検知が生じ易い。

本発明は、上記課題に鑑みてなされたものであり、人物の倒れ検知を精度良く行うことができる技術を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、複数フレームの撮影画像を時間順次に受け付ける画像受付手段と、撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、前記画像受付手段によって受け付けられる複数フレームの撮影画像を構成する各フレームの撮影画像から検出する位置検出手段と、前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出する評価値算出手段と、少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行う転倒検知手段とを備え、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出する処理を含み、前記評価値算出手段が、前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出する手段を有し、前記転倒検知処理が、前記垂直変化評価値が第１所定値を超えた倒れ途中状態を検出した後に、前記移動評価値が前記第１所定値よりも小さな第２所定値未満である倒れ状態を検出した場合に人が転倒したと検知する処理を含むことを特徴とする。

また、請求項２の発明は、請求項１に記載の転倒検知装置であって、前記複数フレームの撮影画像が、人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする。

また、請求項３の発明は、請求項２に記載の転倒検知装置であって、前記人物搬送装置が、エスカレータを含むことを特徴とする。

また、請求項４の発明は、転倒検知装置に含まれるコンピュータによって実行されることにより、前記転倒検知装置を、請求項１から請求項３のいずれかに記載の転倒検知装置として機能させるプログラムである。

また、請求項５の発明は、(a)撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、撮影タイミングが互いに前後する複数フレームの撮影画像を構成する各フレームの撮影画像から検出するステップと、(b)前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出するステップと、(c)少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行うステップとを備え、前記転倒検知処理が、前記垂直変化評価値が所定値を超えた状態を検出する処理を含み、前記ステップ(b)が、前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出するステップを有し、前記転倒検知処理が、前記垂直変化評価値が第１所定値を超えた倒れ途中状態を検出した後に、前記移動評価値が前記第１所定値よりも小さな第２所定値未満である倒れ状態を検出した場合に人が転倒したと検知する処理を含むことを特徴とする。

また、請求項６の発明は、請求項５に記載の転倒検知方法であって、前記複数フレームの撮影画像が、人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする。

また、請求項７の発明は、請求項６に記載の転倒検知方法であって、前記人物搬送装置が、エスカレータを含むことを特徴とする。

また、請求項８の発明は、異なるタイミングで複数フレームの撮影画像を取得する撮像装置と、請求項１に記載の転倒検知装置とを備えることを特徴とする。

また、請求項９の発明は、請求項８に記載の転倒検知システムであって、前記撮像装置の撮影方向が、人物搬送装置における人物の搬送経路に対して略平行に設定されていることを特徴とする。

また、請求項１０の発明は、請求項９に記載の転倒検知システムであって、前記人物搬送装置が、エスカレータを含むことを特徴とする。

請求項１に記載の発明によれば、撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに当該カーブと所定の関係を維持する基準位置を、各フレームの撮影画像から検出し、少なくとも基準位置の垂直方向への変化に係る評価値に基づいて人の転倒を検知することで、人物の倒れ検知を精度良く行うことができる。また、基準位置の垂直方向への変化に係る評価値が所定値を超えた状態を検出する処理を用いて人物の転倒を検知することで、人物が倒れていく状態を精度良く検出して、人物の倒れ検知を精度良く行うことができる。また、基準位置の垂直方向への変化に係る評価値が所定値を超えた後に、基準位置の移動に係る評価値が所定範囲内となった場合に、人物が転倒したと検知することで、人物が倒れていく状態とその後の転倒状態とを精度良く検出して、人物の倒れ検知を精度良く行うことができる。また、例えば、人物が走り抜けていく際に誤って人物が倒れていると検知されてしまうような不具合も解消することができる。

また、請求項２に記載の発明によれば、人物搬送装置において人物が搬送される方向に対して撮影方向が略平行に設定された撮像装置により異なるタイミングでそれぞれ撮影された複数フレームの撮影画像を用いて、人物の転倒を検知するような構成を採用しても、肩の輪郭の近似曲線と所定の関係を維持する基準位置を精度良く検出することができるため、人物の倒れ検知を精度良く行うことができる。

また、請求項３に記載の発明によれば、人物搬送装置がエスカレータを含むため、エスカレータなどの人物搬送装置における人物の倒れを精度良く検知することができる。

また、請求項４に記載の発明によれば、請求項１から請求項３に記載の発明と同様な効果を得ることができる。

また、請求項５から請求項７に記載の発明によれば、請求項１から請求項３にそれぞれ記載された発明と同様な効果を得ることができる。

また、請求項８に記載の発明によれば、請求項１に記載の発明と同様な効果を得ることができる。

また、請求項９及び請求項１０に記載の発明によれば、請求項２及び請求項３にそれぞれ記載された発明と同様な効果を得ることができる。

以下、本発明の実施形態を図面に基づいて説明する。

＜倒れ検知システムの概要＞
図１は、本発明の実施形態に係る倒れ検知システム１の概略構成を例示する図である。倒れ検知システム１は、例えば、エスカレータの乗降における人物の転倒を検知する監視システムに用いられている。なお、本実施形態では、監視場所をエスカレータの乗降位置付近としているが、これに限られず、例えば動く歩道等といったその他の人物を搬送する装置（以下「人物搬送装置」とも称する）一般の乗降位置付近等であっても良い。

図１に示すように、倒れ検知システム１は、倒れ検知装置１０とＮ台（Ｎは４以上の自然数）のカメラ（第１のカメラ、第２のカメラ、第３のカメラ、・・・第Ｎのカメラ）Ｃ１〜ＣＮとがネットワーク回線ＮＴ等の通信回線を介してデータ送受信可能に接続されて構成されている。なお、本実施形態では、カメラの台数を４台以上としたが、これに限られず、１台以上であれば何台であっても良い。

倒れ検知装置１０は、例えば、各種施設のセキュリティーセンター等に設置され、第１〜第ＮのカメラＣ１〜ＣＮから送信されてくる動画を解析することで人の転倒を検知する装置である。

第１〜第ＮのカメラＣ１〜ＣＮは、動画撮影が可能なビデオカメラであり、人が転倒し易い位置であるエスカレータの乗り口や降り口付近等を撮影することができるように設置されている。また、第１〜第ＮのカメラＣ１〜ＣＮは、毎秒３０フレームによって構成される動画撮影が可能であり、１／３０秒毎に１フレーム分の画像データ（すなわち撮影画像）を倒れ検知装置１０に対して送出する。

＜カメラの配置＞
図２は、第１及び第２のカメラＣ１，Ｃ２の配置例を示す模式図であり、図２では第１及び第２のカメラＣ１，Ｃ２による撮影範囲の外縁がそれぞれ破線で示されている。

図２に示すように、エスカレータ１００は、例えば、人物Ｈを図中矢印方向に搬送する。そして、第１のカメラＣ１がエスカレータ１００の降り口１０１付近を撮影することができるように設置され、第２のカメラＣ２がエスカレータ１００の乗り口１０２付近を撮影することができるように設置されている。具体的には、エスカレータ１００が人物Ｈを搬送する経路（以下「人物搬送経路」とも称する）の略延長線上に第１及び第２のカメラＣ１，Ｃ２が設置されている。このような第１及び第２のカメラＣ１，Ｃ２の配置は、エスカレータ付近を監視する一般的なカメラと同様な配置である。

より詳細には、第１のカメラＣ１は、エスカレータ１００で搬送される人物Ｈを正面側から撮影することができるように、降り口１０１付近におけるエスカレータ１００の進行方向（すなわち、人物Ｈを搬送する搬送方向）の前方に配置され、第２のカメラＣ２は、エスカレータ１００で搬送される人物Ｈを背面側から撮影することができるように、乗り口１０２付近におけるエスカレータ１００の進行方向の後方に配置されている。よって、第１のカメラＣ１は、一定のアングルを保持しつつエスカレータ１００から降りる際の人物Ｈの動作を前方から動画撮影し、第２のカメラＣ２は、一定のアングルを保持しつつエスカレータ１００に乗る際の人物Ｈの動作を後方から動画撮影する。その結果、第１のカメラＣ１では、エスカレータ１００から降りる人物Ｈを正面から捉えた画像（正面画像）が得られ、第２のカメラＣ２では、エスカレータ１００に乗る人物Ｈを背面から捉えた画像（背面画像）が得られる。

換言すれば、第１のカメラＣ１の撮影方向と、降り口１０１付近におけるエスカレータ１００の進行方向とが略同一となるように設定され、第２のカメラＣ２の撮影方向と、乗り口１０２付近におけるエスカレータ１００の進行方向とが略反対となるように設定されている。更に換言すれば、第１のカメラＣ１の撮影方向と、降り口１０１付近においてエスカレータ１００が人物Ｈを搬送する経路（人物搬送経路）とが略平行となるように設定され、第２のカメラＣ２の撮影方向と、乗り口１０２付近においてエスカレータ１００が人物Ｈを搬送する経路（人物搬送経路）とが略平行となるように設定されている。なお、ここで人物搬送経路と各カメラの撮影方向とが略平行に設定されるのは、後述する人物の肩の輪郭を略半円状として検出する際に、人物Ｈを極力正面又は背面から捉える方が好ましいからである。したがって、ここで言う「略平行」には、完全な平行から約３０度程度の角度のずれも許容し含まれるが、角度のずれは例えば約１５度以下など極力小さな方が好ましく、角度のずれがほとんどない状態が更に好ましい。

図２では、第１〜第ＮのカメラＣ１〜ＣＮの配置のうち、第１及び第２のカメラＣ１，Ｃ２の配置を代表例として説明したが、第３〜第ＮのカメラＣ３〜ＣＮの配置も、第１及び第２のカメラＣ１，Ｃ２の配置と同様に設定されるため、ここでは説明を省略する。

＜倒れ検知装置の構成＞
図３は、倒れ検知装置１０の物理的構成（ハードウエア構成）を中心に示すブロック図である。なお、図３では、図が複雑化するのを防ぐため、第１〜第ＮのカメラＣ１〜ＣＮを代表して第１のカメラＣ１のみを記載し、以下では、第１のカメラＣ１からの画像データを解析して倒れ検知を行う場合を代表例として説明する。

倒れ検知装置１０は、例えば、一般的なパーソナルコンピュータ（パソコン）を用いて構成される。この倒れ検知装置１０は、主にインターフェース（Ｉ／Ｆ）１１、制御部１２、記憶部１３、操作部１４、及び表示部１５を備えている。

Ｉ／Ｆ１１は、第１のカメラＣ１等との間におけるネットワーク回線ＮＴを介したデータの送受信をコントロールするためのインターフェースである。Ｉ／Ｆ１１では、倒れ検知装置１０から第１のカメラＣ１に対し、第１のカメラＣ１の動作をコントロールする制御信号が出力され、第１のカメラＣ１から出力される画像データが入力される。具体的には、第１のカメラＣ１によって時間的に前後するタイミング（ここでは、１／３０秒毎）でそれぞれ取得された画像データ（毎秒３０フレーム分の画像データ）が時間順次にＩ／Ｆ１１に対して入力され、Ｉ／Ｆ１１で受け付けられる。

制御部１２は、ＣＰＵ１２ａ及びメモリ１２ｂを有し、操作部１４からの各種信号や、記憶部１３に格納されたプログラムＰＧ等に基づいて、各種機能や動作を実現する。例えば、制御部１２が、記憶部１３に格納されたプログラムＰＧを読み込んで実行することにより、第１のカメラＣ１等から入力された画像データを解析することで人物の倒れを検知する処理（倒れ検知処理）を行う機能（倒れ検知機能）が実現される。より詳細には、所定のＯＳ（オペレーションシステム）が稼働するコンピュータにおいて、所定のアプリケーションプログラム（ここでは、プログラムＰＧ）を実行することなどによって倒れ検知処理に係る各種機能が実現される。なお、制御部１２における各種情報処理の過程で生成される各種データはメモリ１２ｂに一時的に記憶される。

記憶部１３は、例えばハードディスク等を備えて構成され、倒れ検知機能を実現するためのプログラムＰＧを格納している。なお、このプログラムＰＧは、可搬性の記録媒体（ＣＤ−ＲＯＭあるいはＤＶＤ等）に格納された状態で提供されても良いし、ネットワーク上の所定のダウンロードサイトからダウンロードされても良い。

操作部１４は、例えばキーボードやマウス等を備えて構成されており、倒れ検知装置１０のユーザー（例えば、警備員）によって操作部１４が適宜操作されると、制御部１２に対して操作に応じた各種信号を送信する。

表示部１５は、例えば、ブラウン管や液晶パネル等によって構成され、制御部１２からの信号に応答して各種画像を可視的に出力する。

＜倒れ検知機能に係る機能構成＞
図４は、制御部１２によって実現される倒れ検知機能に係る機能構成を概念的に示す機能ブロック図である。

図４に示すように、制御部１２は、倒れ検知機能に係る機能構成として、主に輝度画像生成部１２０、画素間引き部１３０、フレーム間引き部１４０、人物エッジ画像生成部１５０、肩位置検出／追跡部１６０、処理切換部１７０、倒れ途中検出部１８０、倒れ状態検出部１９０、及び警告画面生成部２００を備えている。

輝度画像生成部１２０は、第１のカメラＣ１から出力されＩ／Ｆ１１を介して入力された画像データから輝度によって表現した画像データ（以下「輝度画像」とも称する）を生成する。具体的には、第１のカメラＣ１から出力される画像データは例えば縦２４０×横３２０画素の２４ビットのＲＧＢの画像データであり、輝度画像生成部１２０は、ＲＧＢの画像データから各画素について下式（１）を用いて輝度値Ｙを算出することで縦２４０×横３２０画素の輝度画像を生成する。

Ｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ・・・（１）

画素間引き部１３０は、輝度画像生成部１２０において生成された輝度画像について、縦及び横ラインともに１ラインおきにライン間引きを行うことで、縦１２０×横１６０画素の画像（以下「縮小画像」とも称する）を生成する。

フレーム間引き部１４０は、画素間引き部１３０において毎秒３０フレーム分生成される縮小画像について、１フレームおきにフレーム間引きを行う（すなわち、１フレームおきに画像データを採用する）ことで、毎秒１５フレームの縮小画像を人物エッジ画像生成部１５０に出力する。

人物エッジ画像生成部１５０は、背景とは異なる被写体を人物とみなして、当該人物の輪郭を示す画像（以下「人物エッジ画像」とも称する）を生成し、肩位置検出／追跡部１６０に出力する。人物エッジ画像生成部１５０の詳細については後述する。

肩位置検出／追跡部１６０は、人物の肩の輪郭を半円（半円弧）に類似した所定範囲の大きさを有する形状とみなして、人物エッジ画像生成部１５０で生成された人物エッジ画像に含まれる輪郭の近似曲線である上に凸の半円の中心位置を人物の肩が存在する大凡の場所を示す位置（以下「基準位置」とも称する）として検出する。更に、肩位置検出／追跡部１６０は、時間的に連続して入力されてくる各人物エッジ画像から中心位置をそれぞれ検出するとともに、人物毎に区別して中心位置に係る情報をメモリ１２ｂに格納することで、中心位置の移動を追跡した情報（以下「肩追跡情報」とも称する）ＴＩを生成及び更新する。肩位置検出／追跡部１６０は、各フレームの画像データについて肩追跡情報ＴＩを生成又は更新し終わると、処理切換部１７０に対して信号を出力する。肩位置検出／追跡部１６０の詳細については後述する。

処理切換部１７０は、局面（フェイズ）に応じて、人物が倒れ途中にある状態（以下「倒れ途中状態」とも称する）を検出する処理（以下「倒れ途中状態検出処理」とも称する）と、人物が倒れてしまった状態（以下「倒れ状態」とも称する）を検出する処理（以下「倒れ状態検出処理」とも称する）とを選択的に切り換えて実行させる。処理切換部１７０は、肩位置検出／追跡部１６０から各フレームの画像データの解析が終了された旨の信号が入力される度に、上記処理の切換処理の判定及び決定を行う。ここで、処理切換部１７０は、初期状態では、倒れ途中検出部１８０において倒れ途中状態検出処理を実行させる。そして、ある人物について一旦倒れ途中検出部１８０において倒れ途中状態が検出されると、当該ある人物については倒れ状態検出部１９０において倒れ状態検出処理を実行させる。なお、倒れ状態検出処理は、ある人物について中心位置が評価範囲外に到達したことによって終了される。このような処理の切換を行うのは、倒れ途中状態を経て倒れ状態に至る人物の詳細な転倒動作に対応させるためである。

倒れ途中検出部１８０は、肩位置検出／追跡部１６０によって生成された肩追跡情報ＴＩに基づいて中心位置の垂直方向への変化を評価することで倒れ途中状態を検出する。なお、倒れ途中検出部１８０は、倒れ途中状態が検出されると当該検出結果を処理切換部１７０に出力することで、処理切換部１７０による処理の切換を実現させる。また、倒れ途中検出部１８０における算出結果に基づいて肩追跡情報ＴＩが更新される。倒れ途中検出部１８０の詳細については後述する。

倒れ状態検出部１９０は、肩位置検出／追跡部１６０によって生成された肩追跡情報ＴＩに基づいて中心位置の変化を評価することで倒れ状態を検出する。なお、倒れ状態検出部１９０は、倒れ状態が検出されると当該検出結果を警告画面生成部２００に出力する。また、倒れ状態検出部１９０における算出結果に基づいて肩追跡情報ＴＩが更新される。倒れ状態検出部１９０の詳細については後述する。

警告画面生成部２００は、倒れ状態検出部１９０から入力される倒れ状態が検出された検出結果に基づいて、人物が倒れたことを報知する警告画面の画像データを生成し、表示部１５に対して出力する。このとき、表示部１５では、警告画面が可視的に出力される。

図５から図８は、人物エッジ画像生成部１５０、肩位置検出／追跡部１６０、倒れ途中検出部１８０、及び倒れ状態検出部１９０にそれぞれ含まれる機能構成を概念的に示す機能ブロック図である。以下、図５から図８を参照しつつ、人物エッジ画像生成部１５０、肩位置検出／追跡部１６０、倒れ途中検出部１８０、及び倒れ状態検出部１９０の詳細な機能について説明する。

○人物エッジ画像生成部１５０：
図５に示すように、人物エッジ画像生成部１５０は、機能構成として、主に差分画像生成部１５１、平滑化処理部１５２、２値化処理部１５３、膨張処理部１５４、エッジ強調部１５５、２値化処理部１５６、マスク処理部１５７、及びノイズ除去部１５８を備えている。

差分画像生成部１５１は、第１のカメラＣ１によって予め背景を撮影して記憶部１３等に記憶しておいた画像（以下「背景画像」とも称する）Ｇ１（例えば図９）と、フレーム間引き部１４０から入力される縮小画像Ｇ２（例えば図１０）との差分画像Ｇ３（例えば図１１）を生成する。この差分画像Ｇ３は、背景とは異なる主に人物を含む被写体を捉えた画像となっている。

差分画像生成部１５１で生成された差分画像Ｇ３に対して、平滑化処理部１５２において平滑化処理、２値化処理部１５３において２値化処理、膨張処理部１５４において膨張処理がそれぞれ施されることで、撮影画像のうちで人物を捉えた領域を特定する画像（以下「人物領域特定画像」とも称する）が生成される。なお、平滑化処理部１５２では、例えば、注目画素とその近傍画素の間で単純平均を行う一般的な平滑化処理が実施される。また、２値化処理部１５３では、例えば、予め設定された所定値を閾値とした２値化処理又は全画素値から所定ルールに従って求められる値を閾値とした２値化処理が実施される。更に、膨張処理部１５４では、例えば、注目画素の近傍に１つでも白画素があれば、当該注目画素を白画素とするような一般的な膨張処理が実施される。

このように、差分画像生成部１５１、平滑化処理部１５２、２値化処理部１５３、及び膨張処理部１５４によって、人物等といった動体のみを抽出するためのマスク情報として機能する人物領域特定画像が生成される。

一方、エッジ強調部１５５において、フレーム間引き部１４０から入力される縮小画像Ｇ２（例えば図１０）に対して横方向に伸びる輪郭を強調するエッジ強調処理が施された後に、２値化処理部１５６において、２値化処理が施されることで、縮小画像の横方向の輪郭を主に強調して抽出したエッジ画像（例えば図１２）が生成される。なお、エッジ強調部１５５では、例えば、図１３に示すようなソーベルフィルタを用いたエッジ強調処理が実施される。また、２値化処理部１５６では、例えば、予め設定された所定値を閾値とした２値化処理又は全画素値から所定ルールに従って求められる値を閾値とした２値化処理が実施される。なお、以下では、エッジ画像は、例えば背景が白でエッジが黒で表されたものとして説明する。

マスク処理部１５７は、膨張処理部１５４から入力される人物領域特定画像と、２値化処理部１５６から入力されるエッジ画像との論理積を得ることで、人物等の動体に注目したエッジ画像（人物エッジ画像）Ｇ５（例えば図１４）を生成する。マスク処理部１５７で生成された人物エッジ画像Ｇ５は、ノイズ除去部１５８において例えば孤立点除去等の公知のノイズ除去処理が施されて、肩位置検出／追跡部１６０に出力される。ここで生成される人物エッジ画像は、例えば背景が白で人物等のエッジが黒で表されたものとなっている。

なお、ここで、人物等の動体に係るエッジを選択的に採用したのは、後述する中心位置の検出における計算量を低減するとともに、背景から中心位置が誤って検知されるような不具合を抑制するためである。

○肩位置検出／追跡部１６０：
図６に示すように、肩位置検出／追跡部１６０は、機能構成として、主に半円中心検出部１６１、及び中心位置グループ化部１６２を備えている。

半円中心検出部１６１は、人物の肩の輪郭が下弦の半円の弧と類似していることを利用して、人物エッジ画像生成部１５０から入力される人物エッジ画像から肩の輪郭に近似した半円の中心位置（すなわち中心位置の座標）を検出する。当該中心位置は、人物の肩が存在する大凡の場所を示す基準位置であり、中心位置の検出は、例えば、円の検出で用いられるハフ変換を採用することで実現することができる。なお、中心位置の検出及び管理においては、図１０で示すような縮小画像（縦１２０画素×横１６０画素）の各画素の座標を、例えば、縮小画像の左下を原点、右方向をＸ軸方向、上方向をＹ軸方向としたＸＹ平面上の座標（Ｘ，Ｙ）として扱う。

ここで、ハフ変換を用いた中心位置の検出手法について説明する。

半円中心検出部１６１における中心位置の検出においては、まず、ある座標を中心位置として検出するか否かを判定する際に指標となるスコアを算出する。

図１５は、半円中心検出部１６１において実施されるスコアの算出処理の動作フローを例示するフローチャートである。

ステップＳ１では、スコアがリセットされて、初期値である０に設定される。

ステップＳ２では、人物エッジ画像を構成する全画素のうちの判断対象となる画素（判断対象画素）を特定するためのカウントｉ（ｉは自然数）が初期値である１に設定される。

ステップＳ３では、人物エッジ画像を構成する全画素のうちのｉ番目の画素（Ｘｉ，Ｙｉ）が判断対象画素として指定される。

ステップＳ４では、ステップＳ３で指定された画素（指定画素）が黒画素であるか否か判定される。ここで、指定画素が黒画素でない場合（すなわち、人物等のエッジに対応する画素でない場合）には、ステップＳ５に進み、黒画素である場合には、ステップＳ７に進む。

ステップＳ５では、人物エッジ画像を構成する全画素が判断対象画素として指定されたか否か判定される。ここで、全画素（ここでは、１２０×１６０＝１９２００画素）が判断対象画素として指定されていなければ、ステップＳ６でカウントｉが１だけ増加されて、ステップＳ３に進む。一方、全画素が判断対象画素として指定されていれば、スコアの算出処理動作のフローが終了される。つまり、全画素が判断対象画素として指定されるまで、ステップＳ３以降の処理が適宜繰り返して実行される。

ステップＳ７では、指定画素である黒画素（Ｘｉ，Ｙｉ）を通る円の中心座標（Ｘｃ，Ｙｃ）が求められる。ここでは、円の最大半径をＲmaxとし、下式（２），（３）を満たす範囲内で、中心座標（Ｘｃ，Ｙｃ）が求められる。

（Ｘｉ−Ｒmax）≦Ｘｃ≦（Ｘｉ＋Ｒmax）・・・（２）
（Ｙｉ−Ｒmax）≦Ｙｃ≦Ｙｉ ・・・（３）

つまり、黒画素（Ｘｉ，Ｙｉ）を中心とした半径Ｒmaxの半円（上弦の半円）に含まれる全画素の座標が、中心座標（Ｘｃ，Ｙｃ）として求められる。したがって、ステップＳ７では、多数の座標が中心座標（Ｘｃ，Ｙｃ）として求められる。なお、最大半径Ｒmaxは、画像において捉えられる人物の肩の大きさの上限値として予め設定される値であり、プログラムＰＧで予め規定されていても良いし、ユーザによる操作部１４の操作により任意に設定可能とされていても良い。

ステップＳ８では、ステップＳ７において求められた多数の中心座標（Ｘｃ，Ｙｃ）のうちスコアを算出する対象となる中心座標（以下「スコア算出対象中心座標」とも称する）を特定するためのカウントｊ（ｊは自然数）が初期値である１に設定される。

ステップＳ９では、ステップＳ７において求められた多数の中心座標（Ｘｃ，Ｙｃ）のうちのｊ番目の中心座標（Ｘｃｊ，Ｙｃｊ）がスコア算出対象中心座標として指定される。

ステップＳ１０では、ステップＳ９で指定された中心座標（Ｘｃｊ，Ｙｃｊ）と指定画素である黒画素（Ｘｉ，Ｙｉ）との距離が、下式（４）によって、座標（Ｘｃｊ，Ｙｃｊ）を中心として黒画素（Ｘｉ，Ｙｉ）を通る半円の半径Ｒｊとして求められる。

Ｒｊ＝√｛（Ｘｉ−Ｘｃｊ）²＋（Ｙｉ−Ｙｃｊ）²｝・・・（４）

ステップＳ１１では、ステップＳ１０で求められた半径Ｒｊが、予め設定された最小半径Ｒmin以上でかつ予め設定された最大半径Ｒmax以下であるか否か判定される。すなわち、下式（５）を満たすか否か判定される。

Ｒmin≦Ｒｊ≦Ｒmax・・・（５）

なお、最小半径Ｒminは、画像において捉えられる人物の肩の大きさの下限値として予め設定される値であり、プログラムＰＧで予め規定されていても良いし、ユーザによる操作部１４の操作により任意に設定可能とされていても良い。このように、人物の肩の大きさに合わせて半径の範囲をある程度限定することで、ハフ変換における計算量の低減、ひいては処理の高速化を図ることができる。

このステップＳ１１では、中心座標（Ｘｃｊ，Ｙｃｊ）と半径Ｒｊとの組合せについて、上式（５）を満たさないと判定されると、ステップＳ１３に進み、上式（５）を満たすと判定されると、ステップＳ１２で中心座標（Ｘｃｊ，Ｙｃｊ）と半径Ｒｊとの組合せに対するスコアが１だけ増加されて、ステップＳ１３に進む。

ステップＳ１３では、ステップＳ７で求められた全中心座標（Ｘｃ，Ｙｃ）がスコア算出対象中心座標として指定されたか否か判定される。ここで、全中心座標（Ｘｃ，Ｙｃ）がスコア算出対象中心座標として指定されていなければ、ステップＳ１４でカウントｊが１だけ増加されて、ステップＳ９に進む。一方、全中心座標（Ｘｃ，Ｙｃ）がスコア算出対象中心座標として指定されていれば、ステップＳ５に進む。つまり、１つの指定画素（Ｘｉ，Ｙｉ）について全中心座標（Ｘｃ，Ｙｃ）に係るスコアが算出されるまで、ステップＳ９〜Ｓ１４の処理が繰り返され、１つの指定画素（Ｘｉ，Ｙｉ）について全中心座標（Ｘｃ，Ｙｃ）に係るスコアが算出されると、次の画素が指定画素として指定されるか、又はスコアの算出処理動作のフローが終了される。

なお、半円中心検出部１６１におけるスコアの算出処理動作（図１５）は、人物エッジ画像生成部１５０から１フレームの人物エッジ画像が入力される度に実行される。

半円中心検出部１６１は、上述したスコアの算出処理動作（図１５）によってスコアを算出した後に、スコアが高い方から所定数（ここでは上位５つ）のスコアについて、下式（６）を満たすスコアが付与された中心座標（Ｘｃｊ，Ｙｃｊ）と半径Ｒｊの組合せがあれば、その中心座標（Ｘｃｊ，Ｙｃｊ）を中心位置の座標（以下単に「中心位置」と略する）として検出する。

｛（スコア×１００）／（３．１４×Ｒｊ）｝＞７０・・・（６）

図１６は、人物エッジ画像Ｇ５（図１４）に対して検出される肩の輪郭を大凡示す略半円の位置とその中心位置とを例示する図である。図１６では、肩の輪郭を示す略半円が太線で示されており、その中心位置Ｐｃ１，Ｐｃ２が示されている。

なお、半円中心検出部１６１におけるスコアの評価方法については、上式（６）を用いるものに限られず、例えば、他の関係式を用いても良い。また、半円中心検出部１６１においては、中心位置が複数存在する場合に、中心位置どうしの距離が所定距離（例えば最小半径Ｒminの４分の１など）以下の関係にある複数の中心位置については、所定のルール（例えば、付与されたスコアが最大のものを採用するルールや半径Ｒｊが最大のものを採用するルール等）に従い、１つの中心位置を排他的に採用するようにしても良い。この処理は、肩の輪郭が完全には半円形状とはならないことに起因して、１人の人物の肩について複数の中心位置が検出される不具合の発生を抑制するための処理である。

そして、半円中心検出部１６１における中心位置の検出は、人物エッジ画像生成部１５０から人物エッジ画像が入力される度に実行され、その都度、中心位置グループ化部１６２に中心位置の情報が出力される。

中心位置グループ化部１６２は、半円中心検出部１６１から時間順次に入力される中心位置の情報を、各人物毎の中心位置の情報にグループ分けして中心位置を追跡した情報（以下「肩追跡情報」とも称する）ＴＩを生成し、メモリ１２ｂに記憶する。

このグループ分けの手法としては、例えば、ｎフレーム目（ｎは自然数）の人物エッジ画像において検出された中心位置（以下「ｎ中心位置」とも称する）とｎ＋１フレーム目の人物エッジ画像において検出された中心位置（以下「ｎ＋１中心位置」とも称する）との距離が最も近い中心位置の組合せを、同一人物の中心位置としてグループ化するような手法を採用することができる。なお、ｎ中心位置とｎ＋１中心位置との距離Ｄは、ｎ中心位置の座標を（Ｘ１，Ｙ１）、ｎ＋１中心位置の座標を（Ｘ２，Ｙ２）とすると、下式（７）によって算出される。

Ｄ＝√｛（Ｘ１−Ｘ２）²＋（Ｙ１−Ｙ２）²｝・・・（７）

このような中心位置のグループ分けによって、１フレームの人物エッジ画像Ｇ５において複数の人物が捉えられている場合でも、各人物毎の中心位置を区別して追跡、管理することができる。

図１７は、５フレーム分の人物エッジ画像を解析することで検出された中心位置をグループ分けすることで得られた第１及び第２の中心位置のグループＧｃ１，Ｇｃ２を例示する図である。図１７では、人物エッジ画像Ｇ５に対応する画像領域ＡＲに対して、各々５点の中心位置からなる第１及び第２の中心位置のグループＧｃ１，Ｇｃ２が示されている。

但し、人物エッジ画像生成部１５０で時間順次に生成される人物エッジ画像、すなわち同じアングルを捉えた時間的に前後する画像では、人物の移動に伴い、人物の肩が時間順次に出現／消滅する。すなわち撮影範囲に対して人物の肩が時間順次に入出する。そして、撮影範囲から第１の人物の肩が出て行く際に、撮影範囲に第２の人物の肩が存在する場合には、第１の人物に係る中心位置と第２の人物の中心位置とが誤ってグループ化される可能性がある。このような不具合を回避するために、中心位置グループ化部１６２では、例えば、ｎ中心位置とｎ＋１中心位置との距離Ｄが、予め設定された所定距離（例えば、１０画素）以上離れている場合には、同じグループを形成しないようにしている。つまり、画像上から消滅した第１の人物に係る中心位置のグループは、過去のものとされ、当該グループに係る全情報が肩追跡情報ＴＩから消去される。一方、画像上に存在する第２の人物に係る中心位置は他のグループを独自に形成する。

このように、画像上である程度の大きさ（サイズ）を占める肩の場所を特定する中心位置の変化を追跡することで、人物の姿勢の変化を精度良く検知することができる。

なお、中心位置グループ化部１６２は、１フレーム分の人物エッジ画像の解析処理が終了する度に、当該解析処理が終了した旨の信号を処理切換部１７０に対して出力する。

図１８は、人物が転倒する際における中心位置の経時的変化を例示する図である。図１８では、縦軸が画像における中心位置の高さ（Ｙ座標）を示し、横軸が時刻を示しており、折れ線が中心位置の高さ（Ｙ座標）の経時的変化を示している。図１８に示すように、人物が転倒する際には、まず、倒れていく過程で中心位置の高さが大きく変化し（時刻ｔ１〜ｔ２）、その後、倒れた状態では、中心位置の高さがほとんど変化しない（時刻ｔ２〜ｔ３）。そこで、本実施形態に係る倒れ検知装置１０では、倒れ途中検出部１８０によって倒れ途中状態を検出し、その後、倒れ状態検出部１９０によって倒れ状態（ほぼ静止した状態）を検出する倒れ検知処理を行うことで、例えば、ある人物が第１のカメラＣ１の前を走って通り過ぎるような場合であっても、誤って人物が転倒したと検知しないようにすることができ、結果として、人物の転倒を精度良く検知することができる。なお、図１８では、参考の為に、倒れ状態から起き上がる過程における中心位置の高さの経時的変化も示されている（時刻ｔ３〜ｔ４）。

○倒れ途中検出部１８０：
図７に示すように、倒れ途中検出部１８０は、機能構成として、主に垂直移動量算出部１８１、垂直移動量評価部１８２、及びフェイズ切換決定部１８３を備えている。

垂直移動量算出部１８１は、肩追跡情報ＴＩを参照することで、各グループ毎に、中心位置の垂直方向への移動量を算出する。垂直移動量算出部１８１では、各フレーム間における中心位置のＹ座標の差分（以下「中心位置垂直差分」とも称する）を算出し、当該中心位置垂直差分の算出に用いた中心位置の情報と関連付けて肩追跡情報ＴＩに記憶する。このとき肩追跡情報ＴＩが更新される。

垂直移動量評価部１８２は、肩追跡情報ＴＩを参照することで、所定期間（例えば、１／３秒間）における人物の肩の移動量を評価する。具体的には、例えば、肩追跡情報ＴＩを参照することで、所定数のフレーム（例えば、最新フレーム及び直近４フレームからなる合計５フレーム）について、各フレーム間における中心位置垂直差分を２乗して累積し、比較数（例えば４）で割った値を中心位置の経時的な垂直方向への変化に係る評価値（以下「垂直変化評価値」とも称する）として算出する。そして、当該垂直変化評価値が所定値（例えば２０）を超える場合には、中心位置の変化が比較的大きいため、人物が倒れている途中の状態（倒れ途中状態）であると評価する。つまり、倒れ途中状態を検出する。なお、ここでは、垂直変化評価値として、所定数のフレームについて中心位置垂直差分を２乗して累積し、比較数で割った値を採用したが、これに限られず、例えば、所定数のフレームについて、各フレーム間における中心位置垂直差分を単に合計した値など、中心位置の垂直変化を評価することができる値であれば良い。

フェイズ切換決定部１８３は、人物（すなわち中心位置のグループ）毎に、垂直移動量評価部１８２によって倒れ途中状態であると評価されたことに応答して、倒れ途中状態を検出する倒れ途中状態検出処理を行うフェイズ（フェイズ１）から倒れ状態を検出する倒れ状態検出処理を行うフェイズ（フェイズ２）に切り換えることを決定し、その旨を示す信号を処理切換部１７０に対して出力する。

○倒れ状態検出部１９０：
図８に示すように、倒れ状態検出部１９０は、機能構成として、主に移動量算出部１９１、及び分散量評価部１９２を備えている。

移動量算出部１９１は、肩追跡情報ＴＩを参照することで、各グループ毎に中心位置の移動量を算出する。移動量算出部１９１では、各フレーム間における中心位置のＸＹ座標のそれぞれの差分、すなわち水平及び垂直方向それぞれにおける差分（以下「中心位置水平垂直差分」とも称する）を算出し、当該中心位置水平垂直差分の算出に用いた中心位置の情報と関連付けて肩追跡情報ＴＩに記憶する。このとき肩追跡情報ＴＩが更新される。

分散量評価部１９２は、肩追跡情報ＴＩを参照することで、所定期間（例えば、１／３秒間）における中心位置の分散量（すなわち、人物の肩の動き量）を評価する。具体的には、例えば、肩追跡情報ＴＩを参照することで、所定数のフレーム（例えば、最新フレーム及び直近４フレームからなる合計５フレーム）について、各フレーム間における中心位置水平垂直差分を２乗して累積し、比較数（例えば４）で割った値を中心位置の経時的な移動量に係る評価値（以下「移動評価値」とも称する）として算出する。そして、当該移動評価値が所定値（例えば５）未満である場合、すなわち所定の値域範囲内（例えば０以上４以下）である場合には、中心位置の経時的な変化が著しく小さいため、人物が倒れて状態（倒れ状態）に至ったと評価（検出）し、人物が転倒したことを検知する。なお、ここでは、移動評価値として、所定数のフレームについて中心位置水平垂直差分を２乗して累積し、比較数で割った値を採用したが、これに限られず、例えば、所定数のフレームについて、各フレーム間における中心位置水平垂直差分を単に合計した値など、中心位置の移動を評価することができる値であれば良い。

なお、例えば、エスカレータ１００の乗り口１０２において人物Ｈが転倒する際には、エスカレータ１００によって人物Ｈが転倒した状態で搬送されるような場面も想定されるが、そのような場面においても、中心位置の経時的な変化量は比較的小さな値となるため、上記倒れ状態検出処理によって倒れ状態を精度良く検出することができる。

また、分散量評価部１９２は、人物が転倒したことを検知すると、その旨を示す信号を警告画面生成部２００に出力する。

なお、上述した倒れ途中検出部１８０による倒れ途中状態検出処理、及び倒れ状態検出部１９０による倒れ状態検出処理を行うタイミングは制限されても良い。例えば、画像上の所定の領域（例えば、図１９に示すように、画像領域ＡＲのうちの斜線を付した下から１０ライン目から８０ライン目にかけた領域）に中心位置が存在している場合にのみ、倒れ途中状態検出処理や倒れ状態検出処理が行われるようにしても良い。また、一般に倒れ途中状態から倒れ状態に至るまでの時間は、比較的短いと予測されるため、倒れ状態検出処理が行われる期間を予め設定された所定期間（例えば、０．５秒間や１秒間）に制限して、当該所定期間の経過に応答して、倒れ途中状態検出処理を行うフェイズ１に強制的に戻るようにしても良い。

＜倒れ検知処理に係る動作＞
図２０は、倒れ検知システム１における倒れ検知処理に係る動作フローを示すフローチャートである。本動作フローは、倒れ検知装置１０においてユーザが操作部１４を種々操作すること等により、プログラムＰＧが制御部１２で読み込まれて実行されることで開始され、実現される。なお、ここでは、説明を簡略化するために、第１のカメラＣ１で撮影された動画を構成する各フレームの画像データが順次入力される場合に着目して説明する。

ステップＳＴ１では、第１のカメラＣ１から１フレーム分の画像データがＩ／Ｆ１１を介して輝度画像生成部１２０に入力される。

ステップＳＴ２では、輝度画像生成部１２０によってステップＳＴ１で入力された画像データから輝度画像が生成される。

ステップＳＴ３では、画素間引き部１３０によってステップＳＴ２で生成された輝度画像について縦及び横ラインともに１ラインおきにライン間引き（すなわち画素間引き）が行われることで、縮小画像が生成される。

ステップＳＴ４では、フレーム間引き部１４０によってステップＳＴ３で生成された縮小画像が偶数番目のフレームに係る縮小画像か否か判定される。ここで、偶数番目のフレームに係る縮小画像でないと判定されれば、当該縮小画像は採用されずにステップＳＴ１に戻り、偶数番目のフレームに係る縮小画像と判定されれば、当該縮小画像が採用されて、ステップＳＴ５に進む。つまり、フレーム間引き処理が行われる。なお、ここでは、偶数番目のフレームに係る縮小画像を採用するものとして説明したが、奇数番目のフレームに係る縮小画像を採用しても良い。

ステップＳＴ５では、人物エッジ画像生成部１５０によって縮小画像から人物エッジ画像が生成される。

ステップＳＴ６では、肩位置検出／追跡部１６０によってステップＳＴ５で生成された人物エッジ画像から中心位置が検出される。

ステップＳＴ７では、肩位置検出／追跡部１６０によってステップＳＴ６で検出された中心位置について、人物毎に中心位置がグループ分けされる。ステップＳＴ７の処理が１回目の場合には、各人物の中心位置は１点ずつしか検出されていないため、各々１点ずつの中心位置が各グループを形成するが、ステップＳＴ７の処理が２回目以降となると、経時的に変化する中心位置が人物毎にグループ分けされ、人物毎に中心位置を追跡した肩追跡情報ＴＩが生成されてメモリ１２ｂに記憶される。

ステップＳＴ８では、中心位置のグループがメモリ１２ｂに記憶されているか否か、すなわち肩追跡情報ＴＩがメモリ１２ｂに記憶されているか否か判定される。ここで、肩追跡情報ＴＩがメモリ１２ｂに記憶されていなければ、ステップＳＴ１に戻る。一方、肩追跡情報ＴＩがメモリ１２ｂに記憶されていれば、ステップＳＴ９に進む。なお、第１のカメラＣ１で人物が捉えられていない場合には、肩追跡情報ＴＩがメモリ１２ｂに記憶されていない状態となる。

ステップＳＴ９では、肩追跡情報ＴＩに含まれる中心位置に係るグループのうちの評価対象となる中心位置に係るグループを特定するためのカウントＡ（Ａは自然数）が初期値である１に設定される。

ステップＳＴ１０では、Ａ人目の中心位置に係るグループが評価対象として指定される。

ステップＳＴ１１では、処理切換部１７０によってステップＳＴ１０で指定された評価対象についてフェイズ２にあるか否か判定される。ここで、フェイズ２になければステップＳＴ１２に進み、フェイズ２にあればステップＳＴ１５に進む。

ステップＳＴ１２では、ステップＳＴ１０で評価対象として指定されたＡ人目の中心位置のグループについて倒れ途中検出部１８０による倒れ途中状態検出処理が行われる。

ステップＳＴ１３では、ステップＳＴ１２における処理結果に応じて倒れ途中状態であるか否か判定される。ここで、倒れ途中状態であれば、ステップＳＴ１４に進み、当該ステップＳＴ１４で評価対象であるＡ人目についてはフェイズ切換決定部１８３によりフェイズ２に切り換えられる。一方、倒れ途中状態でなければ、ステップＳＴ１８に進む。

ステップＳＴ１５では、ステップＳＴ１０で評価対象として指定されたＡ人目の中心位置のグループについて倒れ状態検出部１９０による倒れ状態検出処理が行われる。

ステップＳＴ１６では、ステップＳＴ１５における処理結果に応じて倒れ状態であるか否か判定される。ここで、倒れ状態であれば、ステップＳＴ１７に進み、当該ステップＳＴ１７で警告画面生成部２００によって警告画面の画像データが生成され、表示部１５において当該警告画面が可視的に出力される。なお、警告画面とともに警告音声が出力されても良い。このとき、例えば、セキュリティーセンターの表示部１５において警備員が現在第１のカメラＣ１で撮影されている画像を確認して、緊急の措置が必要か否か判断することができる。一方、ステップＳＴ１６において倒れ状態でなければ、ステップＳＴ１８に進む。

ステップＳＴ１８では、肩追跡情報ＴＩに含まれる中心位置に係る全グループが評価対象として指定されたか否か判定される。ここで、全グループが評価対象として指定されていなければ、ステップＳＴ１９でカウントＡが１だけ増加されて、ステップＳＴ１０に進む。一方、全グループが評価対象として指定されていれば、ステップＳＴ１に戻る。つまり、全グループが評価対象として指定されるまで、ステップＳＴ１０〜ＳＴ１９の処理が適宜繰り返して実行される。

そして、第１のカメラＣ１から１フレーム分の画像データがＩ／Ｆ１１を介して輝度画像生成部１２０に入力される度に、上記ステップＳＴ１〜ＳＴ１９の処理が行われる。

以上のように、本発明の実施形態に係る倒れ検知システム１では、倒れ検知装置１０において、第１〜第ＮのカメラＣ１〜ＣＮで撮影された動画を構成する各フレームの画像データについて、画像に含まれる輪郭の近似曲線である上に凸の半円の中心位置を検出する。そして、中心位置の垂直方向への経時的な変化を評価するための垂直変化評価値を算出して、少なくとも当該垂直変化評価値に基づいて人物の転倒を検知する。このような構成を採用すると、例えば、限られた空間に複数の人物が混在して画像上で複数人が重なり合うような状況や照明の違いなどといった各種環境的要因に拘わらず、人物のある程度の大きさの領域を占める肩に係る基準位置（ここでは中心位置）は比較的精度良く検出できるため、人物の倒れ検知を精度良く行うことができる。

また、中心位置の垂直方向への変化に係る垂直変化評価値が所定値を超えた状態を検出する倒れ途中状態検出処理を用いて人物の転倒を検知する。このような肩の場所を大凡特定する中心位置を用いた倒れ途中状態検出処理によれば、人物が倒れていく状態を精度良く検出することができるため、人物の倒れ検知を精度良く行うことができる。

また、中心位置の垂直方向への変化に係る垂直変化評価値が所定値を超えた後に、中心位置の移動に係る移動評価値が所定範囲内となった場合（ここでは、倒れ状態検出処理によって倒れ状態が検出された場合）に、人物が転倒したと検知する。このような構成を採用することで、人物が倒れていく状態（倒れ途中状態）とその後の転倒状態（倒れ状態）とを精度良く検出することができる。このため、人物の倒れ検知を精度良く行うことができる。

また、人物搬送装置（ここでは、エスカレータ１００）によって人物Ｈが搬送される方向に対して撮影方向が略平行に設定された第１〜第ＮのカメラＣ１〜ＣＮにより異なるタイミングでそれぞれ撮影された複数の撮影画像から人物の転倒を検知する。このような人物搬送装置で搬送される人物Ｈが正面方向又は背面方向から撮影されるといったエスカレータ等に係る監視カメラの一般的な配置に即した構成を採用した場合であっても、肩の輪郭の近似曲線と所定の関係を維持する中心位置（すなわち基準位置）を精度良く検出することができる。したがって、人物の倒れ検知を精度良く行うことができる。

特に、人物搬送装置に含まれるエスカレータ１００に倒れ検知システム１を適用することで、人物が転倒し易いエスカレータ１００などにおいて、人物の倒れを精度良く検知することができる。

＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

◎例えば、上記実施形態では、倒れ検知装置１０が表示部１５を含んで構成されたが、これに限られず、例えば、倒れ検知装置１０から表示部１５を除いた構成を倒れ検知装置とし、当該倒れ検知装置に対して各種画像を表示するディスプレイ装置を接続することで、倒れ検知システムを構成するようにしても良い。

◎また、上記実施形態では、人物の肩の移動を追尾して評価するために、人物の肩が存在する大凡の場所を示す基準位置として、人物の肩の輪郭の近似曲線である半円の中心位置を検出したが、これに限られない。例えば、半円の弧の一端や中心点など、半円との関係で一義的に決まる、すなわち半円と所定の関係を維持する位置を基準位置として検出しても良い。更に、上記実施形態では、人物の肩の輪郭の近似曲線を半円としたが、これに限られず、例えば、円の１／３の弧や楕円の一部の弧などとしても良い。したがって、人物の肩の移動を追尾して評価するために、撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに当該カーブと所定の関係を維持する基準位置を、各フレームの撮影画像から検出するようにすれば良い。

◎また、上記実施形態では、１フレームの画像の解析が次のフレームの画像が入力されるまでに完了するものとして説明したが、これに限られず、例えば、１フレームの画像の解析が次のフレームの画像が入力されるまでに完了しない場合には、１フレームの画像の解析を行っている途中で次のフレームの画像の解析を開始するようにしても良い。

◎また、上記実施形態では、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出した後に、中心位置の移動評価値が所定の値域範囲に含まれる倒れ状態を検出することで、人物が倒れたことを検知したが、これに限られず、例えば、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出しただけで人物が倒れたことを検知するようにしても良い。但し、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出しただけで人物の倒れを検知するような構成を採用すると、例えば、人物Ｈがエスカレータ１００を走って通過する際等に、誤って人物が倒れたと検知する不具合が生じる虞がある。したがって、誤検知を抑制して人物の倒れ検知の高精度化を図る観点から言えば、中心位置の垂直変化評価値が所定値を超える倒れ途中状態を検出した後に、中心位置の移動評価値が所定の値域範囲に含まれる倒れ状態を検出することで、人物が倒れたことを検知することが好ましい。

◎また、上記実施形態では、人物毎に中心位置を追尾して、人物毎にフェイズに応じて倒れ途中状態検出処理と倒れ状態検出処理とを選択的に実施したが、これに限られず、例えば、１人の人物について倒れ途中状態が検出されると、単純に全ての人物について一律に倒れ状態検出処理を実施するフェイズ２に切り換えるようにしても良い。なお、このような構成を採用する場合には、倒れ状態検出処理が行われる期間を適宜制限することで、倒れ途中状態検出処理を行うフェイズ１に戻すようにすれば良い。倒れ状態検出処理が行われる期間を適宜制限する手法としては、例えば、画像上の所定の領域（例えば、図１９で斜線を付した領域）から中心位置が外れた場合にフェイズ１に戻す手法や、倒れ状態検出処理が行われる期間を予め設定された所定期間（例えば、０．５秒間や１秒間）に制限して、所定期間の経過後にフェイズ１に戻す手法などが考えられる。

◎また、上記実施形態では、倒れ途中状態検出処理においては、中心位置の垂直方向（すなわち１次元方向）への変化に基づいて倒れ途中状態が検出され、倒れ状態検出処理においては、中心位置の２次元（ＸＹ方向）における移動に基づいて倒れ途中状態が検出されたが、これに限られず、例えば、倒れ状態検出処理においても中心位置の垂直方向（すなわち１次元方向）への変化（移動）に基づいて倒れ状態を検出するようにしても良い。但し、人物がエスカレータから走って降りて横方向に走り抜けて行くような場面等における誤検知を抑制する観点からすれば、倒れ状態検出処理においては、中心位置の２次元平面内における移動に基づいて倒れ途中状態を検出した方が好ましい。

◎なお、上記実施形態では、制御部１２で実現される各機能構成が、ハードウェア構成とソフトウェアとの協働によって実現されるものとして説明したが、これに限られず、例えば、制御部１２に含まれる機能構成のうちの一部又は全部がハードウェア構成によって実現されるものであっても良い。

本発明の実施形態に係る倒れ検知システムの概略構成を例示する図である。 本発明の実施形態に係るカメラの配置の一例を示す図である。 倒れ検知装置の物理的構成を主に示すブロック図である。 倒れ検知機能に係る機能構成を概念的に示す機能ブロック図である。 人物エッジ画像生成部の機能構成を例示するブロック図である。 肩位置検出／追跡部の機能構成を例示するブロック図である。 倒れ途中検出部の機能構成を例示するブロック図である。 倒れ状態検出部の機能構成を例示するブロック図である。 背景画像のイメージ図である。 縮小画像のイメージ図である。 縮小画像と背景画像との差分にあたる差分画像のイメージ図である。 エッジ画像のイメージ図である。 ソーベルフィルタのフィルタ特性を例示する図である。 人物エッジ画像のイメージ図である。 スコア算出の動作フローを例示するフローチャートである。 画像上での肩の輪郭を示す略半円とその中心の位置を例示する図である。 画像上において中心位置が変化していく様子を例示する図である。 中心位置の変化を例示する図である。 画像上において中心位置を追尾する領域を例示する図である。 倒れ検知処理の動作フローを例示するフローチャートである。

符号の説明

１ 倒れ検知システム
１０ 倒れ検知装置
１２ 制御部
１００ エスカレータ
１５０ 人物エッジ画像生成部
１６０ 肩位置検出／追跡部
１７０ 処理切換部
１８０ 倒れ途中検出部
１９０ 倒れ状態検出部
Ｃ１〜ＣＮ 第１〜第Ｎのカメラ
ＰＧ プログラム
ＴＩ 肩追跡情報

Claims (10)

1. 複数フレームの撮影画像を時間順次に受け付ける画像受付手段と、
   撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、前記画像受付手段によって受け付けられる複数フレームの撮影画像を構成する各フレームの撮影画像から検出する位置検出手段と、
   前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出する評価値算出手段と、
   少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行う転倒検知手段と、
   を備え、
   前記転倒検知処理が、
   前記垂直変化評価値が所定値を超えた状態を検出する処理を含み、
   前記評価値算出手段が、
   前記位置検出手段によって複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出する手段、を有し、
   前記転倒検知処理が、
   前記垂直変化評価値が第１所定値を超えた倒れ途中状態を検出した後に、前記移動評価値が前記第１所定値よりも小さな第２所定値未満である倒れ状態を検出した場合に人が転倒したと検知する処理を含むことを特徴とする転倒検知装置。
2. 請求項１に記載の転倒検知装置であって、
   前記複数フレームの撮影画像が、
   人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする転倒検知装置。
3. 請求項２に記載の転倒検知装置であって、
   前記人物搬送装置が、
   エスカレータを含むことを特徴とする転倒検知装置。
4. 転倒検知装置に含まれるコンピュータによって実行されることにより、前記転倒検知装置を、請求項１から請求項３のいずれかに記載の転倒検知装置として機能させるプログラム。
5. (a)撮影画像に含まれる輪郭の近似曲線であって、上に凸かつ所定の値域範囲の曲率半径を有するカーブに対し、各フレームによらずに前記カーブと所定の関係を維持する基準位置を、撮影タイミングが互いに前後する複数フレームの撮影画像を構成する各フレームの撮影画像から検出するステップと、
   (b)前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて少なくとも基準位置の垂直方向への変化に係る垂直変化評価値を算出するステップと、
   (c)少なくとも前記垂直変化評価値に基づいて人の転倒を検知する転倒検知処理を行うステップと、
   を備え、
   前記転倒検知処理が、
   前記垂直変化評価値が所定値を超えた状態を検出する処理を含み、
   前記ステップ(b)が、
   前記ステップ(a)で複数フレームの撮影画像からそれぞれ検出される複数の基準位置に基づいて基準位置の移動に係る移動評価値を算出するステップを有し、
   前記転倒検知処理が、
   前記垂直変化評価値が第１所定値を超えた倒れ途中状態を検出した後に、前記移動評価値が前記第１所定値よりも小さな第２所定値未満である倒れ状態を検出した場合に人が転倒したと検知する処理を含むことを特徴とする転倒検知方法。
6. 請求項５に記載の転倒検知方法であって、
   前記複数フレームの撮影画像が、
   人物搬送装置における人物の搬送経路に対して撮影方向が略平行に設定された撮像装置によって異なるタイミングでそれぞれ撮影された画像であることを特徴とする転倒検知方法。
7. 請求項６に記載の転倒検知方法であって、
   前記人物搬送装置が、
   エスカレータを含むことを特徴とする転倒検知方法。
8. 異なるタイミングで複数フレームの撮影画像を取得する撮像装置と、
   請求項１に記載の転倒検知装置と、
   を備えることを特徴とする転倒検知システム。
9. 請求項８に記載の転倒検知システムであって、
   前記撮像装置の撮影方向が、
   人物搬送装置における人物の搬送経路に対して略平行に設定されていることを特徴とする転倒検知システム。
10. 請求項９に記載の転倒検知システムであって、
    前記人物搬送装置が、
    エスカレータを含むことを特徴とする転倒検知システム。

Images