JP7020931B2 - 対象者検出装置 - Google Patents

Description

本発明は、例えば駅ホーム等における監視に際して、例えば視覚障碍者等の対象者を検出する対象者検出装置に関する。

監視対象となり得る対象者として、例えば、杖（典型例としては白杖）を利用する視覚障碍者（視覚障害者）は、単独で歩行を行い、例えば、地面に設置された誘導ブロックに従って歩行をする。しかし、誘導ブロックだけでは、周囲の状況を正しく判断できない場合があり、例えば、駅ホームにおける転落が問題となっている。したがって、駅ホームにおいて杖の利用者を早期発見することは、駅務を行う者にとって重要になる。

これに対して、例えばステレオカメラから得られる３次元距離情報に基づいて、歩行者を特定し、白杖が存在する可能性のある部分を画像処理し、白杖を検出することで白杖利用者を検出するもの（特許文献１参照）が知られている。

しかしながら、上記特許文献１では、例えばカメラの撮像範囲おいて白杖利用者のかげに白杖が隠れてしまったり、白杖利用者がカメラに対して遠方に離れたことによりカメラの解像度の関係で白杖が画像上で認識できなくなったりすることで、白杖が未検出になる場合については、何ら対処がなされていない。

特開２００７－２７４２３４号公報

本発明は上記した点に鑑みてなされたものであり、監視中に、杖等の監視対象となる対象者に付随する付随物が未検出になる可能性があっても適切に付随物を有する対象者（典型的には、杖を有する視覚障碍者）を捉えることを可能にする対象者検出装置を提供することを目的とする。

上記目的を達成するための対象者検出装置は、人物画像における付随物画像の有無を判定する付随物判定部と、付随物判定部で付随物画像有りと判定された人物画像について、連続画像データ中のフレーム間で画像を関連付けて同一人物をトラッキングするトラッキング処理部と、上記同一人物を対象者として記憶する対象者記憶部とを備える。

上記対象者検出装置では、付随物判定部で付随物画像有りと判定されれば、該当する人物画像について同一人物とされる人を対象者として記憶された状態を維持できるので、監視中に付随物である杖が未検出になることがあっても、杖を有していると判定された人が引き続き対象者である視覚障碍者として取り扱われる。すなわち、杖を有する視覚障碍者を適切に捉えることができる。

本発明の具体的な側面では、監視対象エリアを撮像して連続画像データとして２次元画像データを取得する撮像部と、撮像部で取得された２次元画像データから機械学習による形状抽出によって人物画像を抽出することで人の存在を検出する人検出部とを備える。この場合、例えば既に監視用等のために配備されているカメラ等で取得可能な２次元画像データからであっても、人検出部において、的確に人物画像を抽出できる。

本発明の別の側面では、トラッキング処理部は、連続画像データのフレーム間での人物画像の位置変化の情報に基づいて同一人物についての人物画像であるか否かを判定する。この場合、撮像された人物の識別を確実に行える。

本発明のさらに別の側面では、トラッキング処理部は、一の画像データにおいて検出された人物に対応する人物画像が所定のフレーム数連続して以後の画像データに存在しない場合に、該当する人がフレームアウトしたと判定する。この場合、画像認識上のエラーにより検出されるべき画像データが得られないといったことがある場合にも適切な対応が可能になる。

本発明のさらに別の側面では、付随物判定部は、人物画像のうち、人の下半身に相当する箇所を切り出すマスク処理をする。この場合、迅速かつ確実な杖判定を行える。

本発明のさらに別の側面では、付随物判定部は、ＨＳＶ変換処理による色情報に基づいて付随物画像の有無を判定する。この場合、色彩的特徴に基づいて、杖を迅速かつ確実に判別できる。

本発明のさらに別の側面では、付随物判定部は、ハフ変換処理による直線成分情報に基づいて付随物画像の有無を判定する。この場合、形状的特徴に基づいて、杖を迅速かつ確実に判別できる。

実施形態に係る対象者検出装置を概念的に示すブロック図である。 対象者検出装置を配備した駅の様子を示す概念図である。 （Ａ）～（Ｃ）は、トラッキングされる人物の様子について一例を示す概念的な画像図である。 （Ａ）～（Ｃ）は、トラッキングされる人物に関するデータについて一例を示すデータ表である。 （Ａ）～（Ｃ）は、人物のフレーム間での対応付けについて説明するための概念的な画像図である。 （Ａ）～（Ｄ）は、付随物画像としての杖画像を抽出する方法について一例を示す概念的な画像図である。 トラッキング処理の一例について説明するためのフローチャートである。 １つの画像における付随物画像としての杖画像の抽出処理の一例について説明するためのフローチャートである。

以下、図１等を参照して、本実施形態に係る対象者検出装置の一態様である視覚障碍者検出装置について一例を説明する。図１は、本実施形態に係る視覚障碍者検出装置１００を概念的に示すブロック図であり、図２は、視覚障碍者検出装置１００を配備した駅ＳＴの様子を示す概念図である。ここでは、一例として、列車ＴＲが発着可能な駅ＳＴのホーム（プラットホーム）ＰＦを視覚障碍者検出装置１００による監視対象エリアとしている。すなわち、駅ＳＴのホームＰＦにいる利用者ＨＵを検知の対象とし、利用者ＨＵが視覚障碍者であるか否か、つまり、監視の対象となる対象者であるか否か、の検出を行っている。

上記目的を達成するため、視覚障碍者検出装置１００は、利用者ＨＵの駅構内（特にホームＰＦ上）での位置検知を行うとともに利用者ＨＵの特徴を捉えることで、視覚障碍者であるか否かを判定する。ここでは、代表例として、図２に示すように、杖ＣＡを有する利用者ＨＵの存在を確認しており、さらに、確認結果を駅務室ＳＯ内の駅員ＳＡに対して報知するようにしている。ここでは、代表的な例として、白杖を付随物として有するか否かを検知することで、視覚障碍者の検出を行うものとして説明する。

以下、図１、２を参照して、本実施形態における視覚障碍者検出装置１００の構成等について具体的に説明する。本実施形態に係る視覚障碍者検出装置１００は、利用者ＨＵすなわちホームＰＦ上を移動する人を検知するために監視対象エリアを撮像する撮像部（撮像カメラ）１０と、撮像部１０で取得した画像データに基づいて視覚障碍者を検出すべく各種処理及び制御を行う制御装置５０とを備える。

撮像部１０は、例えばＣＣＤやＣＭＯＳ等の個体撮像素子で構成される撮像カメラであり、図２に例示するように、ホームＰＦの上方側に設置され、下方側を撮像する。すなわち、撮像部１０により上方側からホームＰＦの床面ＦＬに向けて監視対象エリアについて撮像が行われる。ここでは、特に、連続画像データ中のフレーム間で画像を関連付けて同一人物をトラッキングするトラッキング処理を可能とすべく、連続画像データとして、例えば３０ｆｐｓのフレームレートで２次元画像データを取得している（例えば、図３（Ａ）～３（Ｃ）参照）。なお、撮像部１０については、ホームＰＦ全体についての撮像を可能とすべく、設置位置やホームＰＦの形状等に応じて、単数又は複数設けられている。

制御装置５０は、例えばＣＰＵや記憶装置等により構成され、撮像部１０により取得された連続画像データの関連付けに基づいて、同一人物をトラッキングしつつ、撮像された人物について付随物の一例として白杖を有しているか否かを判定している。すなわち、取得された連続画像データについて、人物画像における付随物画像の一例としての杖画像の有無を判定している。上記処理を可能とするため、図１に例示するように、制御装置５０は、主制御部６０と、記憶部７０と、画像処理部８０とを備える。

主制御部６０は、例えばＣＰＵ等で構成され、各種情報処理を行うことにより、撮像部１０で取得された２次元画像である連続画像データから機械学習による形状抽出によって人物画像を抽出することで人の存在を検出する人検出部６１や、撮像部１０から取得した連続画像データ中のフレーム間で画像を関連付けて同一人物をトラッキングするトラッキング処理部６２、あるいは、人物画像における杖画像の有無を判定する杖判定部６３として機能する。すなわち、杖判定部６３は、付随物判定部の一例として、付随物画像である杖画像についての判定を行う。

また、記憶部７０は、記憶装置等により構成され、各種データやプログラムを格納しており、例えば、トラッキング処理部６２で同一人物とされる者のうち一定の要件を満たす人物を視覚障碍者として記憶する視覚障碍者記憶部７１ａを含むトラッキングデータ記憶部７１のほか、人特徴量情報記憶部７２や、色情報記憶部７３、直線成分情報記憶部７４等を備えて構成されている。この場合、視覚障碍者記憶部７１ａは、一定の要件を満たす人物を視覚障碍者すなわち対象者として記憶する対象者記憶部として機能していることになる。

以下、制御装置５０を構成する上記各部について、より詳細に説明する。

まず、主制御部６０は、人検出部６１として、撮像部１０により取得された各２次元画像データ中において、人（人物）の特徴を持った画像が存在するか否かの確認が可能となっている。例えば、既知のＨＯＧ特徴量やサポートベクターマシーン（ＳＶＭ）を利用することで、２次元画像データから機械学習による形状抽出によって人物画像を抽出することを可能にしている。すなわち、人検出部６１は、撮像部１０により取得された各画像データから直線部分等を抽出し、抽出された直線部分の特徴量等に基づいて、画像データ中に人に固有の特徴を有したものがあるか否かを判定する。さらに言い換えると、人検出部６１は、画像データ中における人と人以外とを仕分ける。これにより、人検出部６１は、判定結果に基づいて人物画像の抽出をする。このため、人検出部６１は、必要なプログラムを記憶部７０から適宜読み出すとともに、人特徴量情報記憶部７２に格納された人に関する特徴量のデータを利用して、人の存在を検出している。ＨＯＧ特徴量等を利用することで、２次元的画像からであっても的確に人検出を行うことができる。なお、この場合、撮像部１０について、例えばステレオカメラのような３次元情報を取り出すといった特殊な構成を要せずに、データ取得が可能となる。つまり、例えば駅ＳＴに設置されている発着時のモニター用の既存のカメラ等を適用する、といったことも可能になる。

また、主制御部６０は、トラッキング処理部６２として、同一人物をトラッキング可能にしている。このため、トラッキング処理部６２は、記憶部７０から適宜プログラムを読み出して、人検出部６１において検出あるいは抽出された各人物画像について、連続画像データ中のフレーム間で画像を関連付けする処理を行う。特に、本実施形態では、杖判定部６３で一度でも杖画像有りと判定された人物画像については、該当する人物画像について同一人物とされる人を視覚障碍者として記憶された状態を維持する。これにより、例えば監視中において杖が未検出になるようなことがあっても、一旦杖を有していると判定された人については、引き続き視覚障碍者として取り扱われるようにしていることになるので、杖を有する視覚障碍者を適切かつより確実に捉えることができる態様となっている。

また、主制御部６０は、杖判定部６３として、人検出部６１において検出あるいは抽出された各人物画像における杖画像の有無を判定する。ここでは、一例として、杖判定部６３は、人物画像の一部をマスクするマスク処理のほか、色情報記憶部７３や直線成分情報記憶部７４に格納されたデータを利用して、色や形状に関する判定処理を行う。なお、各処理について詳しくは後述する。

次に、制御装置５０のうち、記憶部７０は、記憶装置として、各種データを格納する。ここでは、例えば、上記のようにして検出された人物画像に関するトラッキング処理に際して、各人物画像に関するデータをトラッキングデータ記憶部７１に随時格納する（例えば、図４（Ａ）～４（Ｃ）のデータ表参照）。特に、このようなデータ格納の際、各人物画像に関するデータの１つである、視覚障碍者に関する情報を、視覚障碍者記憶部７１ａに格納している。

また、記憶部７０のうち、人特徴量情報記憶部７２は、既述のように、人検出部６１による人検出に関して、ＨＯＧ特徴量等の既知の手法により機械学習による形状抽出によって人物画像を抽出するに際して必要となる各種情報を格納している。さらには、人物画像の抽出ための各種プログラムについて格納しているものとしてもよい。

また、記憶部７０のうち、色情報記憶部７３は、杖判定部６３による杖判定に関して、色判定のための各種情報を格納している。特に、本実施形態では、白杖の色を抽出する、すなわち白色を抽出すべく、ＨＳＶ変換処理すなわち色相(Hue)、彩度(Saturation)、明度(Value)の３つの成分からなる色空間にもとすく処理を可能とするための情報を格納している。また、直線成分情報記憶部７４は、白杖の形状のうち特徴的事項である棒状の直線形状の平行度等を測定するための情報を格納している。杖の場合、２次元画像データとしては、細い棒状のものとして抽出され、その両端（棒の側面についての画像上の端）のエッジ部分の平行度や長さ等が杖であるか否かの判定における重要な形状的特徴になると考えられる。

最後に、制御装置５０のうち、画像処理部８０は、例えばＧＰＵ等で構成され、上記のような各種画像処理を可能とすべく、制御装置５０からの指示に従って、撮像部１０により取得された各２次元画像データについて、各種画像処理を行う。

なお、視覚障碍者検出装置１００は、図２に示すように、上記のほか、駅務室やホーム等の駅構内に存在する駅員ＳＡに対して報知をするための駅員用報知部として、例えば、駅員用スピーカーＰＡや、ディスプレイ表示部ＤＡを有している。これらは、例えば駅務室ＳＯ内に設置されている。駅員用スピーカーＰＡ及びディスプレイ表示部ＤＡは、制御装置５０に接続され、制御装置５０からの指示に従って駅務室ＳＯ内等にいる駅員ＳＡに対して報知を行う。また、各種通信手段を設けることで、発着する列車ＴＲ内の乗務員（運転士や車掌）に対して報知を行うものとしてもよい。

以下、図３を参照して、監視対象となる人物についての視覚障碍者検出装置１００におけるトラッキング処理について説明する。図３（Ａ）～３（Ｃ）は、連続画像データ中のフレーム間での関連付けにより同一人物をトラッキングした様子について一例を示す概念的な画像図である。図示の例では、画像上の人物である人物画像ＨＵｉや杖画像ＣＡｉを含む人物トラッキング用の抽出画像ＨＧａが、経時的に、図３（Ａ）、図３（Ｂ）、図３（Ｃ）の順で、１つの撮像部１０によって撮像される全範囲である全体画像ＧＩ中において、矢印ＡＲ１に示す方向に移動している。図示の場合、図３（Ａ）の抽出画像Ａ１と、図３（Ｂ）の抽出画像Ａ２と、図３（Ｃ）の抽出画像Ａ３とが同一人物画像として関連付けられて抽出画像ＨＧａとして捉えられることで、トラッキングされる。この際、抽出画像ＨＧａ中の部分画像として存在する杖画像ＣＡｉの抽出が重要となる。このため、各抽出画像Ａ１～Ａ３、あるいはこれらをまとめた抽出画像ＨＧａについては、人物画像ＨＵｉとともに杖画像ＣＡｉが捉えられるようにする必要かつ十分な範囲となるように抽出されている。ここでは、図に例示するように、矩形の領域で画像の抽出を行っている。具体的には、人検出部６１での人物検出により、人物画像ＨＵｉが検出されると、人物画像ＨＵｉを含み、かつ、仮に人物画像ＨＵｉに杖画像ＣＡｉが付随しているとしているとしたら、当該杖画像ＣＡｉが併せて含まれるであろうと推定される範囲をあらかじめ定めた矩形範囲の抽出画像ＨＧａとして捉える。

以上を前提として、特に、本実施形態では、図３（Ａ）の抽出画像Ａ１に対する杖検出によって、一旦、杖画像ＣＡｉが検出されれば、その後、図３（Ｂ）のような抽出画像Ａ２において、杖画像ＣＡｉが人物画像ＨＵｉで隠れて見えにくい状態となり、仮に杖検出をしたとしても検出されないような場合であっても、トラッキング処理により抽出画像ＨＧａとして関連付けておくことを利用して、トラッキング対象の画像においては引き続き杖画像ＣＡｉが付随するものとして取り扱うようにしている。これにより、当該人物が杖を有する者すなわち視覚障碍者として捉えることが可能となる。

図４（Ａ）～４（Ｃ）は、上記のようなトラッキング処理によってトラッキングされる人物に関して、記憶部７０に格納されるデータについて、一例を示すデータ表である。ここでは、図示のように、トラッキングされる各人物ごとにＩＤ番号を付した上で、ＩＤ番号ごとすなわち人物ごとの位置情報としての２次元画像上の位置（中心座標）の情報、進行方向の情報及び白杖者であるか否かすなわち視覚障碍者であるか否かの情報についてトラッキングデータ記憶部７１に記録されている。

上記各情報について、より具体的に説明すると、まず、各人物の位置情報については、抽出画像の中心位置を２次元画面の横軸と縦軸とについてのｘｙ座標で示している。つまり、全体画像ＧＩ（図３等参照）中における各抽出画像の中心すなわち矩形領域の中心を、全体画像ＧＩについてのｘ座標及びｙ座標の値で示している。また、進行方向の情報については、例えば２次元画面における基準方向を角度ゼロの方向と定め、この方向に対する角度で定めることができる。さらに、白杖者であるか否かすなわち視覚障碍者であるか否かの情報については、人物画像についての抽出画像中から杖画像が検出されたか否かを「Ｔｒｕｅ」と「Ｆａｌｓｅ」で示している。ここで、図示のように、例えばＩＤ番号１が付された人物について、トラッキングの結果、図４（Ａ）に示す時点では「Ｆａｌｓｅ」すなわち杖画像無し、と判断されていたが、その後、図４（Ｂ）に示す時点では「Ｔｒｕｅ」すなわち杖画像有り、と判断されると、その後は、例えば図４（Ｃ）に示すように、杖画像の有り無しの検出結果にかかわらず、「Ｔｒｕｅ」すなわち白杖者すなわち視覚障碍者であるものとして取り扱われる。言い換えると、一旦、「Ｔｒｕｅ」となった場合には、以後は引き続き「Ｔｒｕｅ」が維持される。一方、最初は「Ｆａｌｓｅ」有ったものが、途中から「Ｔｒｕｅ」に変更されることは生じ得る。以上のように取り扱うことで、視覚障碍者が検出された場合に、その後当該人物をより確実に捉え続けて監視をすることが可能になる。

以下、図５を参照して、トラッキング処理に関するより具体的な一例として、本実施形態に係る人物のフレーム間での対応付けについて説明する。図５（Ａ）～５（Ｃ）は、人物のフレーム間での対応付けの方法について具体的一例を概念的に示す画像図である。

まず、人検出部６１での人物画像の検出により、例えば図５（Ａ）に示すように、あるフレームでのコマ画像において、人物画像ＨＵｉを含む人物トラッキング用の抽出画像Ａ１が検出され、さらに、図５（Ａ）よりも経時的に後のフレームでのコマ画像である図５（Ｂ）に示すコマ画像において、他の複数の抽出画像Ａ２，Ｂ１が検出された場合、抽出画像Ａ１との間での関連付けがなされる。関連付けの方法としての一例としては、トラッキング処理部６２において、２次元画像のｘｙ面内を移動した距離の量の差異から人物画像の関連付けあるいは対応付けについての判定をすることが考えられる。図示の場合、全体画像ＧＩ内における中心位置の比較により、抽出画像Ａ２，Ｂ１のうち、抽出画像Ａ１との画像上の距離がより近い抽出画像Ａ２が、抽出画像Ａ１と同一人物の画像であると判定され、これらが同一人物を示す抽出画像ＨＧａであるものとして関連付けられる。一方、抽出画像Ｂ１については、新たな人物が検出されたもの、すなわち別人が全体画像ＧＩ内にフレームインしたものとして取り扱う。つまり、トラッキング処理部６２は、撮像部１０からの連続画像データのフレーム間での人物画像の位置変化の情報に基づいて、同一人物についての人物画像であるか否かを判定している。

さらに、別の態様として、例えば図５（Ｃ）に示すように、図５（Ａ）よりも経時的に後のフレームでのコマ画像において、それまで抽出画像ＨＧａとして関連付けられていた抽出画像Ａｘが画像から検出されなくなった場合には、条件に応じて、単に画像取得時のエラー発生等により検出できなかった（実際には存在している）ものとして扱う場合と、実際にその人物が撮像範囲の外に出たもの、すなわちフレームアウトしたものとして扱う場合とに分ける。ここでは、所定のフレーム回数（例えば５，６フレーム程度）連続して抽出画像ＨＧａに対応する画像が検出されない場合には、当該人物が全体画像ＧＩの外へフレームアウトしたものとして取り扱うものとする。つまり、トラッキング処理部６２は、撮像部１０から取得した一の画像データにおいて検出された人物に対応する人物画像が、所定のフレーム回数（例えば５，６フレーム程度）数連続して以後の画像データに存在しない場合に初めて、該当する人がフレームアウトしたと判定する。

以上により、各人物が、撮像範囲へフレームインしてからフレームアウトするまでの間における人物画像のトラッキング処理がなされる。

以下、図６を参照して、杖判定部６３による杖判定に関して、杖画像を抽出する方法について具体的一例を示す。図６（Ａ）に示すように、杖画像の有無を判定すべき人物画像ＨＵｉを含む抽出画像Ａ１が取り出されると、抽出画像Ａ１を必要に応じて正規化する。例えば撮像部１０（図２等参照）の配置や撮像範囲、画角等に応じて正規化の条件を適宜定めておく。正規化により、例えば、図６（Ｂ）に例示する場合では、抽出画像Ａ１が、人間の身長方向について長い２：１の長方形画像となるようにしている。すなわち、図示において、縦幅ＬＡと横幅ＬＢとの比が２：１となっている。この状態において、図６（Ｃ）に示すように、上半分すなわち上半身部分をマスクし、下半分すなわち下半身部分のみを抽出して、部分画像Ａ１ａを取り出す。すなわち、図６（Ｂ）に示す抽出画像Ａ１の縦方向についての中央の破線ＰＸを基準として破線ＰＸより下側の部分を、部分画像Ａ１ａとして取り出す。これにより、身体の下半身側に位置する杖画像ＣＡｉをより検出しやすくなる。

ここで、さらに図６（Ｃ）に示す部分画像Ａ１ａについて、色彩的特徴に基づく特徴抽出の１つである白色抽出を行う。白色抽出については、ＨＳＶ変換処理による色情報に基づいて杖画像の有無の判定を行っている。これにより、白色である杖画像ＣＡｉの候補となる箇所の検出を確実に行えるようにしている。

さらに、形状的特徴に基づく特徴抽出の既知の手法の１つであるハフ変換処理（Hough変換）による直線成分情報に基づいて杖画像の候補画像部分における杖画像の有無を判定する。具体的には、図６（Ｄ）に示すように、白色部分についてのエッジ部分ＥＧ１，ＥＧ２を抽出し、エッジ部分ＥＧ１，ＥＧ２の長さＬ１や、エッジ部分ＥＧ１とエッジ部分ＥＧ２との間の幅Ｌ２や両者間の平行度等を、ハフ変換処理に基づいて解析することにより、白色抽出によって抽出された画像が杖画像であるか否かを判定している。以上により、杖画像ＣＡｉの検出を迅速かつ確実に行えるようにしている。

以下、図７のフローチャートを参照して、トラッキング処理の一例について説明する。まず、制御装置５０において人物監視のための動作を開始すると、主制御部６０は、トラッキング処理部６２として、撮像部１０から監視対象エリアの全体画像データが取得されているかを確認する（ステップＳ１０１）。ステップＳ１０１では、最初の画像データ入力の場合を含め、連続画像データについて次の画像データが入力されたか否かを逐次検出している。

ステップＳ１０１において、動作開始後の最初の画像データあるいは、２回目以降の画像データが取得されると（ステップＳ１０１：Ｙｅｓ）、主制御部６０は、人検出部６１として、取得した画像中において人検出を行い、人の検出あるいは前フレームの画像までに存在していた人画像について不検出が発生しているか否か（２回目以降の場合）を判定する（ステップＳ１０２）。ステップＳ１０２において、人検出もなく、かつ、２回目以降における上記のような不検出人の発生もない場合には、特段の処理を行わず（ステップＳ１０２：Ｎｏ）、ステップＳ１０１からの処理動作を繰り返す。

一方、ステップＳ１０２において、人検出がされた場合、あるいは、前フレームの画像までに存在していた人画像について不検出が発生した場合には、フレームの前後での対応付け処理を行う（ステップＳ１０３）。具体的に例示すると、図５（Ａ）及び５（Ｂ）に例示した場合のように、前フレームでのコマ画像では１人の人物画像についてのみデータが取得されていたのに対して、次のフレームでのコマ画像では２人の人物画像が現れている態様では、２人の人物画像のうち一方を、前フレームでのコマ画像の人物と同一人物として取り扱う関連付けをするともに、他方を、新たに検知された人物として新規データ登録をする、といった処理がなされる。また、図５（Ａ）及び５（Ｃ）に例示した場合のように、前フレームのコマ画像までに存在していた人画像について不検出が発生した場合には、さらに、場合に応じた関連付けを行うための処理（ステップＳ１０４以降）がなされる。

なお、ステップＳ１０２における人検出、あるいは、不検出人の発生が確認されステップＳ１０３へ進むと、図８を参照して後述するステップＳ２０１からの杖画像の抽出処理が、開始される。

以下、図７に戻って、ステップＳ１０４以降の処理動作について説明する。ステップＳ１０３での対応付けにおいて、人画像について不検出が発生している場合（ステップＳ１０４）、すなわち、図５（Ａ）及び５（Ｃ）に例示するように、前後のフレーム間でのコマ画像において存在していた人物画像に対応する画像が、次のフレームでのコマ画像において存在しないと判断された場合（ステップＳ１０４：Ｙｅｓ）には、当該不検出が予め定めている所定回数（例えば、５回あるいは６回に予め設定）以上継続しているかを確認する（ステップＳ１０５）。

ステップＳ１０５において、所定回数に達していないと判断されると（ステップＳ１０５：Ｎｏ）、不検出カウントを＋１追加する処理をするとともに（ステップＳ１０６ａ）、画像取得未検出であったが対応する人物画像データを存在させたまま保留の扱いとする処理をし（ステップＳ１０７ａ）、上記内容でのデータ更新を行う（ステップＳ１０８）。つまり、人検出等に関してエラーがあったものとして捉え、１つ前までの情報を維持しつつ、不検出の発生回数を１回増やす。

一方、ステップＳ１０５において、所定回数（例えば、５回あるいは６回）に達している、と判断されると（ステップＳ１０５：Ｙｅｓ）、不検出カウントをクリアする処理をするとともに（ステップＳ１０６ｂ）、未検出の人物画像データに相当する人が検出範囲外にフレームアウトしたものとして当該データを削除する処理をし（ステップＳ１０７ｂ）、上記内容でのデータ更新を行う（ステップＳ１０８）。つまり、該当する人物がフレームアウトしたものとして捉え、該当するデータを削除し、併せて、それまでの不検出の発生回数のカウントをクリアする。

なお、ステップＳ１０４において、不検出が確認されない場合（ステップＳ１０４：Ｎｏ）には、不検出カウントをクリアする処理をし（ステップＳ１０７ｃ）、その内容でのデータ更新を行う（ステップＳ１０８）。

ステップＳ１０８でのデータ更新を終えると、再びステップＳ１０１からの処理動作に戻る。すなわち、一連のトラッキング処理において、次のデータ取得の有無を確認する。以上により、人物画像のトラッキングに関する一連の処理がなされる。

以下、図８のフローチャートを参照して、取得された１つの画像における杖画像の抽出処理の一例について説明する。

既述のように、図７のステップＳ１０２における人検出、あるいは、不検出人の発生が確認されステップＳ１０３へ進むと、杖判定部６３としての主制御部６０は、杖画像の抽出処理に関して、まず、そもそも杖画像の抽出処理が必要であるか否かの判定、すなわち視覚障碍者判定の要否を判定する（ステップＳ２０１）。具体的には、ステップＳ１０２における人検出やステップＳ１０３での人物画像の対応付けの結果、検出されている人物画像の全てについて既に「Ｔｒｕｅ」すなわち杖画像有り、と判定されている場合には、改めて杖画像の有無を検出する必要が無い。

ステップＳ２０１において、視覚障碍者判定が不要であると判定されれば（ステップＳ２０１：Ｎｏ）、何ら処理を行うことなく、終了し、新たな人検出があるまで待機する。

一方、視覚障碍者判定が必要であると判定された（ステップＳ２０１：Ｙｅｓ）場合、すなわち、ステップＳ１０３での対応付けの結果、「Ｆａｌｓｅ」すなわち杖画像無し、と判定されている人物画像が１つでも存在すれば、当該人物画像に対して、杖画像の有無を判定するための画像処理が順次行われる（ステップＳ２０２～ステップＳ２０５）。

以下、杖画像の有無を判定するための一連の画像処理について、具体的に説明する。まず、杖判定部６３としての主制御部６０は、人物画像のうち、人の下半身に相当する箇所を切り出すマスク処理をする（ステップＳ２０２）。すなわち、図６（Ｂ）及び６（Ｃ）を参照して説明したように、必要に応じて対象画像の縦横比を２：１に正規化した上で、下半身に相当する下半分の部分画像（例えば図６（Ｃ）の部分画像Ａ１ａ）を取り出す。次に、杖判定部６３は、ステップＳ２０２において取り出された下半分の部分画像について、白色抽出の処理をする（ステップＳ２０３）。すなわち、図６（Ｃ）を参照して説明したように、色彩的特徴に基づく特徴抽出として、ＨＳＶ変換処理による色情報に基づく白色部分の抽出を行う。これにより、抽出画像から杖画像となる候補の画像部分を取り出せる。さらに、杖判定部６３は、ステップＳ２０３において取り出された画像部分について線分抽出すなわち直線成分の抽出処理をする（ステップＳ２０４）。具体的には、図６（Ｄ）を参照して説明したように、白色部分についてのエッジ部分を抽出し、その長さや、間隔（幅）、平行度等を算出するためにハフ変換処理等を行い、当該算出結果に基づいて、取り出された画像が杖画像であるか否かを判定可能にしている。以上のステップＳ２０２～Ｓ２０４の解析結果に基づき、杖判定部６３は、杖画像の有無、すなわち対象となっている人物画像が視覚障碍者の画像であるか否かの判定（白杖判定）を行う（ステップＳ２０５）。

ステップＳ２０５において、視覚障碍者であるとの判定がなされた（ステップＳ２０５：Ｙｅｓ）場合、視覚障碍者（白杖者）追加処理を行う（ステップＳ２０６）。すなわち、図４に示すデータ表中における対象のＩＤ番号の人物画像について、データ表の白杖者の欄中において「Ｆａｌｓｅ」となっていたものを「Ｔｒｕｅ」に変更する。

一方、ステップＳ２０５において、視覚障碍者でないとの判定がなされた（ステップＳ２０５：Ｎｏ）場合、視覚障碍者（白杖者）追加処理を行うことなく、処理を終える。すなわち、対象のＩＤ番号の人物画像について、欄中において「Ｆａｌｓｅ」となっていた状態を維持する。以上により、１つの抽出画像における杖画像の抽出に関する一連の処理がなされる。

以上のように、本実施形態に係る視覚障碍者検出装置１００では、制御装置５０のうち、杖判定部６３としての主制御部６０において、杖画像有りと判定されれば、該当する人物画像についてトラッキング処理部６２でのトラッキング処理により同一人物とされる人を、視覚障碍者として記憶された状態を維持できるので、監視中に杖が未検出になることがあっても、杖を有していると判定された人が引き続き視覚障碍者として取り扱われる。すなわち、杖を有する視覚障碍者を適切に捉えることができる。

〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

まず、上記実施形態では、一例として、人検出後、判定の要否を確認した上で（図８のステップＳ２０１）、杖画像の判定を行っているが、判定の要否を問わず、人検出された画像の全てに対して杖画像の判定を行うものとしてもよい。

また、上記では、例えば杖画像の検出に際して、まず、白色抽出すなわち色抽出を行った上で、直線成分の抽出すなわち形状による抽出をするものとしている。この場合、例えば白色あるいはこれに近い色ではない杖や傘等は除外されると考えられ、形状として似たものがあらかじめ除外できると考えられる。ただし、上記の場合に限らず、例えば順序を入れ替えて、形状的特徴による抽出を先に行う場合も考えられる。

また、上記では、視覚障碍者が有する杖を白杖すなわち白色の杖としているが、他の色や色の組合せ等も考えられる場合や、形状についても別の箇所に特徴があると考えられる、といった場合には、これらに応じて、適切な色抽出や形状抽出の方法を選択することが考えられる。

また、上記では、一例として、監視対象エリアを駅ＳＴのホームＰＦとしているが、これに限らず視覚障碍者を適切に捉えることが望まれる種々の場所を監視対象とすることができる。

また、撮像部１０の配置についても、上記のように、ホームＰＦの上方側に設置されて下方側を撮像する場合に限らず、目的とする範囲を撮像できる種々の態様とすることができる。例えば、撮像対象とすべきホームの反対側に位置するホームに撮像部を設置すること等が考えられる。

また、上記では、制御装置５０での検出結果についての報知先の一例として、駅務室ＳＯを挙げているが、これに限らず、種々の箇所へ報知することが可能である。さらに、報知先を駅員等に限らず、駅に設置されるホームドア等を制御する制御回路としてもよい。この場合、例えば視覚障碍者が近くにいるホームドアについては、杖が接触する可能性が高まるが、このことを考慮して、ホームドアの開閉動作を停止させるべきか否かの判断基準を設定することができる。

また、撮像部１０が、複数設定されるような場合においては、例えば撮像範囲が隣接する撮像部間での情報を、データ中においてリンクさせるようにしてもよい。これにより、より広い範囲に亘って連続的に人物のトラッキングを行うことができる。

また、上記では、付随物の典型的一例として、白杖を取り上げ、白杖を有しているか否かについて検出・判定等を行うようにしているが、付随物は、これに限らず、盲導犬や車椅子等とすることも考えられる。また、監視対象とすべき対象者についても、上記では、典型的一例として、視覚障碍者とし、対象者検出装置を視覚障碍者検出装置して説明しているが、これに限らず、本実施形態に係る対象者検出装置は、監視態様に応じて、種々の者を対象者とすることができる。また、対象者の特性に応じて、検出・判定等を行うべき付随物についても白杖や盲導犬等に限らず、種々の物にできる。

１０…撮像部、５０…制御装置、６０…主制御部、６１…人検出部、６２…トラッキング処理部、６３…杖判定部、７０…記憶部、７１…トラッキングデータ記憶部、７１ａ…視覚障碍者記憶部、７２…人特徴量情報記憶部、７３…色情報記憶部、７４…直線成分情報記憶部、８０…画像処理部、１００…視覚障碍者検出装置、Ａ１，Ａ２，Ａ３，Ａｘ，Ｂ１…抽出画像、ＡＲ１…矢印、ＣＡ…杖、ＣＡｉ…杖画像、ＤＡ…ディスプレイ表示部、ＥＧ１，ＥＧ２…エッジ部分、ＦＬ…床面、ＧＩ…全体画像、ＨＧａ…抽出画像、ＨＵ…利用者、ＨＵｉ…人物画像、Ｌ１…長さ、Ｌ２…幅、ＬＡ…縦幅、ＬＢ…横幅、ＰＡ…駅員用スピーカー、ＰＦ…ホーム、ＰＸ…破線、ＳＡ…駅員、ＳＯ…駅務室、ＳＴ…駅、ＴＲ…列車

Claims (8)

1. 人物画像を抽出する人検出部と、
   連続画像データ中のフレーム間で画像を関連付けて抽出された人物画像から同一人物をトラッキングするトラッキング処理部と、
   人物画像における付随物画像の有無を判定する付随物判定部と、
   同一人物を付随物画像の有無とともに記憶する記憶部と
   を備え、
   付随物画像無しであったものが付随物画像有りに変更された同一人物について、以後、対象者として取り扱う、対象者検出装置。
2. 監視対象エリアを撮像して前記連続画像データとして２次元画像データを取得する撮像部を備え、
   前記人検出部は、前記撮像部で取得された前記２次元画像データから機械学習による形状抽出によって人物画像を抽出することで人の存在を検出する、請求項１に記載の対象者検出装置。
3. 前記記憶部において付随物画像有りに変更されたものとして記憶され、対象者として取り扱われた同一人物について、以後の付随物画像の有無判定を要しないものとして取り扱う、請求項１及び２のいずれか一項に記載の対象者検出装置。
4. 前記トラッキング処理部は、連続画像データのフレーム間での人物画像の位置変化の情報に基づいて同一人物についての人物画像であるか否かを判定する、請求項１～３のいずれか一項に記載の対象者検出装置。
5. 前記トラッキング処理部は、一の画像データにおいて検出された人物に対応する人物画像が所定のフレーム数連続して以後の画像データに存在しない場合に、該当する人がフレームアウトしたと判定する、請求項１～４のいずれか一項に記載の対象者検出装置。
6. 前記付随物判定部は、人物画像のうち、人の下半身に相当する箇所を切り出すマスク処理をする、請求項１～５のいずれか一項に記載の対象者検出装置。
7. 前記付随物判定部は、ＨＳＶ変換処理による色情報に基づいて付随物画像の有無を判定する、請求項１～６のいずれか一項に記載の対象者検出装置。
8. 前記付随物判定部は、ハフ変換処理による直線成分情報に基づいて付随物画像の有無を判定する、請求項１～７のいずれか一項に記載の対象者検出装置。

Images