JP6255309B2 - 情報処理装置および報知システム - Google Patents

Description

本発明の実施形態は、情報処理装置および報知システムに関する。

近年、都市部を中心に、自転車等の軽車両との接触事故が問題になっている。係る問題については、軽車両の走行方向を交通規則として定める等することで対応が行われている。しかしながら、上記の交通規則が遵守されているとは言い難く、自転車との接触事故が依然として多い状況にある。特に見通しの悪い交差点などでは接触事故を起こすケースが多くあり、係る事故を防止するための技術が要求されている。

本発明が解決しようとする課題は、交通規則に違反した通行者を道路上から検出し、報知を行うことが可能な情報処理装置および報知システムを提供することである。

実施形態の情報処理装置は、受信手段と、第１検出手段と、第１判定手段と、第２検出手段と、第２判定手段と、出力手段と、を備える。前記受信手段は、道路上の所定領域を撮像する撮像部から、前記撮像された画像を順次受信する。前記第１検出手段は、前記受信手段が受信した画像から、移動中の人物を検出する。前記第１判定手段は、前記第１検出手段により検出された人物の移動方法が、軽車両か否かを判定する。前記第２検出手段は、前記第１判定手段により軽車両と判定された場合、当該軽車両の進行方向を検出する。前記第２判定手段は、前記第１判定手段により軽車両と判定された場合、前記第２検出手段で検出された当該軽車両の進行方向が前記道路上において遵守すべき交通規則に違反している場合に非適合と判定する。前記出力手段は、前記第２判定手段が非適合と判定した場合に、前記道路上に設けられた報知装置を用いて報知を行うための情報を出力する。

図１は、実施形態に係る報知システムの構成を概略的に示した説明図である。 図２は、報知システムを交差点に設置した場合の一例を示す説明図である。 図３は、サーバ装置の要部構成を示すブロック図である。 図４は、監視カメラの要部構成を示すブロック図である。 図５は、スピーカーの要部構成を示すブロック図である。 図６は、電子掲示板の要部構成を示すブロック図である。 図７は、報知システムの機能構成を示すブロック図である。 図８は、顔の特徴点が検出された状態を示す説明図である。 図９は、人体の特徴点が検出された状態を示す説明図である。 図１０は、顔領域の変化を示す説明図である。 図１１は、歩行時の特徴点の変位を示した説明図である。 図１２は、駆け足時の特徴点の変位を示した説明図である。 図１３は、自転車で走行している人物の特徴点の変位を示した説明図である。 図１４は、検出処理の流れを示すフローチャートである。 図１５は、報知処理の流れを示すフローチャートである。

以下、添付図面を参照して実施形態の情報処理装置及び報知システムを詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

図１は、実施形態に係る報知システム１の構成を概略的に示した説明図である。図１に示すように報知システム１は、サーバ装置１０と、違反者用の監視カメラ２０ａと、報知対象者用の監視カメラ２０ｂと、スピーカー３０と、電子掲示板４０とを備える。ここで、サーバ装置１０と、違反者用の監視カメラ２０ａと、報知対象者用の監視カメラ２０ｂと、スピーカー３０と、電子掲示板４０とは、ＬＡＮ（Local Area Network）５０で接続される。ＬＡＮ５０は、有線であってもよいし、無線であってもよい。また、ＬＡＮ５０は、各種公衆網であってもよい。

サーバ装置１０は、違反者用の監視カメラ２０ａから送信された画像から交通規則に違反している人物を検出する。そして、報知対象者用の監視カメラ２０ｂから送信された画像に報知対象者が含まれていると判定した場合に、サーバ装置１０は、スピーカー３０や、電子掲示板４０に報知するための情報を送信する。

違反者用の監視カメラ２０ａと、報知対象者用の監視カメラ２０ｂとは、機能や構成は同一であるが、用途が異なる。違反者用の監視カメラ２０ａは、交通規則に違反している人物を検出するために、道路上の所定領域を撮像するカメラである。報知対象者用の監視カメラ２０ｂは、交通規則に違反している人物がいることを知らせる人物を検出するために、道路上の所定領域を撮像するカメラである。

スピーカー３０は、サーバ装置１０の制御の下、音声により報知を行う。電子掲示板４０は、サーバ装置１０の制御の下、表示により報知を行う。なお、図１の報知システム１では、サーバ装置１０と、監視カメラ２０ａ、２０ｂと、スピーカー３０と、電子掲示板４０とをそれぞれ１台ずつ記載したが複数台であってもよい。

次に、報知システム１の設置例について説明する。図２は、報知システム１を交差点Ｋに設置した場合の一例を示す説明図である。図２に示す交差点Ｋは、道路Ｒ１と、道路Ｒ２とが交差している。

道路Ｒ１は、路側帯Ｒ１１と、車道Ｒ１２と、車道Ｒ１３と、路側帯Ｒ１４とを備える。路側帯Ｒ１１は、人や、自転車などの軽車両が通行する道路である。また、路側帯Ｒ１１を走行する場合に、軽車両は、矢印Ｂ方向に向かって走ることが交通規則により定められている。車道Ｒ１２は、矢印Ｂ方向に向かって走行する自動車が通行する道路である。車道Ｒ１３は、矢印Ｄ方向に向かって走行する自動車が通行する道路である。路側帯Ｒ１４は、人や、自転車などの軽車両が通行する道路である。また、路側帯Ｒ１４を走行する場合に、軽車両は、矢印Ｄ方向に向かって走ることが交通規則により定められている。

道路Ｒ２は、路側帯Ｒ２１と、車道Ｒ２２と、車道Ｒ２３と、路側帯Ｒ２４とを備える。路側帯Ｒ２１は、人や、自転車などの軽車両が通行する道路である。また、路側帯Ｒ２１を走行する場合に、軽車両は、矢印Ａ方向に向かって走ることが交通規則により定められている。車道Ｒ２２は、矢印Ａ方向に向かって走行する自動車が通行する道路である。車道Ｒ２３は、矢印Ｃ方向に向かって走行する自動車が通行する道路である。路側帯Ｒ２４は、人や、自転車などの軽車両が通行する道路である。また、路側帯Ｒ２４を走行する場合に、軽車両は、矢印Ｃ方向に向かって走ることが交通規則により定められている。

また、交差点Ｋの四隅には、見通しを遮る建築物の塀等の遮蔽物６０がある。そのため、例えば道路Ｒ１を通行する歩行者や、自転車や自動車の運転手は、道路Ｒ２を通行する通行者が、いつ交差点から出てくるかが分からない。よって、交通規則が遵守されていることを前提に道路Ｒ１を通行する通行者は、道路Ｒ２の交通規則に違反した通行者と出会い頭に衝突するおそれがある。

そこで、本実施形態の報知システム１では、道路Ｒ２の路側帯Ｒ２１、Ｒ２４に交通規則に違反している人物を検出する監視カメラ２０ａを設置する。監視カメラ２０ａは、路側帯Ｒ２１、Ｒ２４の所定領域を撮像する。サーバ装置１０は、監視カメラ２０ａが撮像した画像から通行者を検出する。一方、道路Ｒ１には、違反者がいることを伝える人物を検出する監視カメラ２０ｂを設置する。監視カメラ２０ｂは、車道Ｒ１２、Ｒ１３の所定領域を撮像する。

そして、監視カメラ２０ａにより検出された通行者が交通規則に違反しており、道路Ｒ１の車道Ｒ１２、Ｒ１３に設置された監視カメラ２０ｂが報知対象者を検出した場合に、サーバ装置１０は、スピーカー３０や、電子掲示板４０を介して報知する。

監視カメラ２０ａは、交差点Ｋの手前に定められた撮像方向に向けて設置することで、道路上の所定領域を撮像する。監視カメラ２０ａは、路側帯Ｒ２１、Ｒ２４上の所定領域を撮像するように設置されている。ここで、監視カメラ２０ａは、道路Ｒ２の矢印Ａ方向と矢印Ｃ方向とを背中合わせに撮像する。図２の例では、８つの監視カメラ２０ａを、道路Ｒ１（交差点Ｋ）を間に挟んだ路側帯Ｒ２１、Ｒ２４上の所定の対称位置に設けた例を示している。これにより、監視カメラ２０ａは、路側帯Ｒ２１、Ｒ２４を通行する通行者を撮像する。なお、監視カメラ２０ａは、車道Ｒ２２、Ｒ２３上の所定領域を撮像するように設置してもよい。

監視カメラ２０ｂは、電子掲示板４０などの報知装置の手前に、定められた撮像方向に向けて設置することで、道路上の所定領域を撮像する。図２の例では、監視カメラ２０ｂは、道路Ｒ１の車道Ｒ１２、Ｒ１３に、矢印Ｂ方向と矢印Ｄ方向とに向けて設置される。これにより、監視カメラ２０ｂは、車道Ｒ１２、Ｒ１３を通行する報知対象者を自動車のフロントガラス越しに撮像する。なお、監視カメラ２０ｂは、路側帯Ｒ１１、Ｒ１４上の所定領域を撮像するように設置してもよい。

また、交差点Ｋは、音声により報知を行うための一対のスピーカー３０を備える。スピーカー３０は、交差点Ｋの近傍において、道路Ｒ２の矢印Ａ方向及び矢印Ｃ方向に向けて設置される。これにより、スピーカー３０は、道路Ｒ２を通行する人に対し、音声により報知することができる。

さらに、交差点Ｋは、画像や文字の表示により報知を行う一対の電子掲示板４０を備える。電子掲示板４０の表示面は、道路Ｒ１の矢印Ｄ方向及び矢印Ｂ方向に向けて設置される。これにより、電子掲示板４０は、道路Ｒ１を通行する人や車両に対し、文字や画像により報知することができる。

なお、監視カメラ２０ａ、２０ｂ、スピーカー３０及び電子掲示板４０は、交差点Ｋ上に設置された信号機や道路標識等を支持するためのアームに取り付ける形態としてもよい。また、スピーカー３０は、道路Ｒ１の矢印Ｄ方向や、矢印Ｂ方向に向けて設置されてもよい。また、電子掲示板４０の表示画面は、道路Ｒ２の矢印Ａ方向や、矢印Ｃ方向に向けて設置されてもよい。

次に、実施形態の報知システム１が有する各部について説明する。

まず、サーバ装置１０の要部構成を説明する。図３は、サーバ装置１０の要部構成を示すブロック図である。サーバ装置１０は、報知システム１を制御する情報処理装置である。図３に示すように、サーバ装置１０は、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、記憶部１３と、ネットワークインターフェース１４と、表示部１５と、入力部１６と、時計部１７とを備える。

ＣＰＵ１１は、サーバ装置１０の全体を制御する。メモリ１２は、データを一時的に記憶する。記憶部１３は、ＣＰＵ１１からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。また、記憶部１３は、顔検知プログラムＰ１と、動作検知プログラムＰ２と、歩行動作情報１３ａと、駆け足動作情報１３ｂと、自転車動作情報１３ｃとを記憶する。

顔検知プログラムＰ１は、監視カメラ２０ａ、２０ｂが撮像した画像から顔を検知するプログラムである。動作検知プログラムＰ２は、監視カメラ２０ａ、２０ｂが撮像した画像に含まれている人物の移動方法を検知するプログラムである。歩行動作情報１３ａは、歩行している人物の動作の特徴点が記憶された情報である。駆け足動作情報１３ｂは、駆け足をしている人物の動作の特徴点が記憶された情報である。自転車動作情報１３ｃは、自転車で走行している人物の動作の特徴点が記憶された情報である。

ネットワークインターフェース１４は、ＬＡＮ５０に接続される。なお、ＬＡＮ５０は、各種公衆網であってもよい。表示部１５は、各種情報を表示するディスプレイなどである。入力部１６は、キーボードやマウスなどの入力装置から入力された情報を制御する。または、入力部１６は、表示部１５に積層されたタッチパネル入力された情報を制御する。時計部１７は、時間を計時する。

次に、監視カメラ２０ａ、２０ｂについて説明する。図４は、監視カメラ２０ａ、２０ｂの要部構成を示すブロック図である。監視カメラ２０ａと、監視カメラ２０ｂとは、用途は異なるが、機能及び構成は同一である。監視カメラ２０ａ、２０ｂは、監視カメラ２０ａ、２０ｂが設置された道路上の所定領域を撮像する撮像装置である。図４に示すように、監視カメラ２０ａ、２０ｂは、ＣＰＵ２１と、メモリ２２と、記憶部２３と、ネットワークインターフェース２４と、カラー画像センサ２５と、距離画像センサ２６と、時計部２７とを備える。

ＣＰＵ２１は、監視カメラ２０ａ、２０ｂの全体を制御する。メモリ２２は、データを一時的に記憶する。記憶部２３は、ＣＰＵ２１からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース２４は、ＬＡＮ５０に接続される。時計部２７は、時間を計時する。

カラー画像センサ２５は、監視カメラ２０ａ、２０ｂの撮像範囲内に存在する人物や物体等の被写体を撮像し、カラー画像情報を収集する。例えば、カラー画像センサ２５は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像センサ２５は、その電気信号をデジタルデータに変換することにより、撮像範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮像時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red Green Blue）値が対応付けられた色情報と、この１フレームに含まれる各画素に輝度値が対応付けられた輝度情報と、が含まれる。

カラー画像センサ２５は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで動画として撮像する。なお、カラー画像センサ２５によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像センサ２５は、受光素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。

距離画像センサ２６は、監視カメラ２０ａ、２０ｂの撮像範囲内に存在する人物や物体等の被写体を撮像し、距離画像情報を収集する。例えば、距離画像センサ２６は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像センサ２６は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像センサ２６との距離を求め、撮像範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮像時刻情報と、画素ごとに被写体と距離画像センサ２６との距離を示す情報とが含まれる。

距離画像センサ２６は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで動画として撮像する。なお、距離画像センサ２６によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像センサ２６は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像センサ２５で用いられる受光素子と共用されても良い。また、距離画像センサ２６によって算出される距離の単位は、例えば、メートル［ｍ］である。

次に、スピーカー３０について説明する。図５は、スピーカー３０の要部構成を示すブロック図である。スピーカー３０は、音声により報知する報知装置である。図５に示すように、スピーカー３０は、ＣＰＵ３１と、メモリ３２と、記憶部３３と、ネットワークインターフェース３４と、音響発生部３５とを備える。

ＣＰＵ３１は、スピーカー３０の全体を制御する。メモリ３２は、データを一時的に記憶する。記憶部３３は、ＣＰＵ３１からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース３４は、ＬＡＮ５０に接続される。音響発生部３５は、音響出力デバイスである。音響発生部３５は、ＣＰＵ３１によって制御された電圧の印加を受けて音響を発する。

次に、電子掲示板４０について説明する。図６は、電子掲示板４０の要部構成を示すブロック図である。電子掲示板４０は、画面により報知する報知装置である。図６に示すように、電子掲示板４０は、ＣＰＵ４１と、メモリ４２と、記憶部４３と、ネットワークインターフェース４４と、表示部４５とを備える。

ＣＰＵ４１は、電子掲示板４０の全体を制御する。メモリ４２は、データを一時的に記憶する。記憶部４３は、ＣＰＵ４１からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。ネットワークインターフェース４４は、ＬＡＮ５０に接続される。表示部４５は、発光ダイオードや、電球などを用いて情報を発信するための掲示板である。表示部４５は、液晶などを使用したディスプレイであってもよい。

次に、実施形態にかかる報知システム１が有する特徴的な機能について説明する。図７は、報知システム１の機能構成を示すブロック図である。

監視カメラ２０ａ、２０ｂのＣＰＵ２１は、メモリ２２や記憶部２３に記憶された制御プログラムに従って動作することで、撮像制御部２１１と、送信部２１２として機能する。

撮像制御部２１１は、監視カメラ２０ａ、２０ｂのカラー画像センサ２５と距離画像センサ２６とを制御して、監視カメラ２０ａ、２０ｂが設置された道路上の所定領域の画像を連続して撮像することで動画を撮像する。動画には、カラー画像センサ２５が撮像したカラー画像情報と、距離画像センサ２６が検出した距離画像情報と、時計部２７が計時した撮像時刻情報とが含まれる。

送信部２１２は、撮像制御部２１１が撮像したカラー画像情報と、距離画像情報とが含まれる動画をサーバ装置１０に順次送信する。この時、送信部２１２は、１フレームごとに動画を送信してもよいし、複数フレームごとに動画を送信してもよい。

サーバ装置１０のＣＰＵ１１は、メモリ１２や記憶部１３に記憶された制御プログラムに従って動作することで、受信部１１１と、顔認識部１１２と、顔特徴点検出部１１３と、姿勢特徴点検出部１１４と、姿勢動作情報生成部１１５と、移動検出部１１６と、移動方法判定部１１７と、規則判定部１１８と、報知制御部１１９と、送信部１２０として機能する。

受信部１１１は、監視カメラ２０ａ、２０ｂから送信されたカラー画像情報と、距離画像情報と、撮像時刻情報とが含まれる動画を順次受信する。

顔認識部１１２は、受信部１１１が受信した動画から、動画に含まれる人物の顔を検出する。すなわち、顔認識部１１２は、受信した動画から顔が認識できた場合に、人物を検出したと判定する。具体的には、顔認識部１１２は、受信した動画の輝度情報を利用して顔の領域を示す座標を求める。なお、顔領域を求める方法は、どのような方法を用いてもよい。また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔領域の形状を異ならせても良い。

ところで、監視カメラ２０ａ、２０ｂなどで撮像された映像データの場合、検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法としては、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用することで実現可能である。この追跡処理は、同一人物として対応付けられた顔領域が顔認識部１１２により検出されず、追跡終了の判定が行われるまで継続される。

顔特徴点検出部１１３は、追跡処理により複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに目、鼻、口などの顔の特徴点を検出する顔特徴点検出処理を行う。すなわち、顔特徴点検出部１１３は、顔認識部１１２が検出した顔領域から特徴点を検出する。なお、設定等によって検出すべき顔の特徴点は任意に変更することができる。また、顔特徴点検出部１１３における顔の特徴点の検出方法は、どのような方法を用いてもよい。

ここで、図８は、顔の特徴点が検出された状態を示す説明図である。特徴点として検出された箇所は、図８に示すようにアスタリスクで表現している。特徴点は、図８に示すように、片方の眉に２箇所と、片方の目に３箇所と、眉間に１箇所と、鼻に６箇所と、口に５箇所との合計２２箇所が検出されている。

姿勢特徴点検出部１１４は、顔認識部１１２が認識した人物の動作の特徴点を検出する。人体は、関節を動かすことで、様々な動作を取る。そこで、姿勢特徴点検出部１１４は、人体の関節を動作の特徴点として検出する。姿勢特徴点検出部１１４は、距離画像情報から顔認識部１１２が認識した人物の形状を抽出する。そして、姿勢特徴点検出部１１４は、距離画像情報にて示された人物の形状と、人体パターンとを比較することにより関節を検出する。

ここで、図９は、人体の特徴点が検出された状態を示す説明図である。人体の特徴点は、図９に示すように、白色の丸マークにて表現している。すなわち、図９は、頭部、首、肩、肘、手、腰、膝、足首、足が動作の特徴点として検出されたことを示している。

図７に戻り、姿勢動作情報生成部１１５は、人物の動作を示した姿勢動作情報を生成する。この姿勢動作情報は、例えば、人物の動作を複数の姿勢の連続として捉えることにより生成される。さらに詳しくは、姿勢動作情報生成部１１５は、姿勢特徴点検出部１１４が検出した人物の関節の座標の変位を示す姿勢動作情報を生成する。

移動検出部１１６は、人物が移動していることを検出する。また、移動検出部１１６は、人物の移動速度を算出する。例えば、監視カメラ２０ａ、２０ｂが交差点Ｋ（図２参照）に設置されている場合、人物が交差点Ｋに近づくと、顔認識部１１２が検出する顔領域が大きくなる。ここで、図１０は、顔領域の変化を示す説明図である。図１０は、左側の顔から右側の顔となることによって人物が監視カメラ２０ａ、２０ｂに近づいていることを示している。図１０に示すように右側の顔の顔面積は、左側の顔の顔面積より拡大している。移動検出部１１６は、単位時間当たりの顔面積の変化量から人物の速度を算出する。そして、移動検出部１１６は、人物の顔が向けられている方向が移動方向であると判定する。

なお、移動検出部１１６は、顔画像以外の情報から人物の速度を算出してもよい。例えば、距離画像センサ２６は、被写体である人物までの距離が示された距離画像情報を収集する。そのため、移動検出部１１６は、距離画像情報から単位時間当たりの移動距離を算出することができるため、動画に含まれる人物の速度を算出することができる。

移動方法判定部１１７は、顔認識部１１２が認識した人物の移動方法を検出する。さらに詳しくは、移動方法判定部１１７は、顔認識部１１２が検出した人物が歩行、駆け足又は自転車の何れの移動方法で通行しているかを判定する。

まず、歩行の判定処理について説明する。移動方法判定部１１７は、姿勢動作情報生成部１１５が生成した姿勢動作情報が、記憶部１３に記憶された歩行動作情報１３ａと一致した場合に歩行をしていると判定する。歩行動作情報１３ａは、歩行している場合の姿勢の特徴点の変位を示した情報を有する。

図１１は、歩行時の特徴点の変位を示した説明図である。なお、図１１は、説明のために側面図にて表現している。歩行時において、腰は、上下方向には、ほとんど変位しない。一方、膝は、上下方向に、わずかに移動する。

さらに詳しくは、歩行に伴う屈伸運動において、膝は、膝が曲げられた最も高い最上位置と、膝が伸ばされ最も低い最下位置とを交互に行き来することになる。また、膝が歩行における最上位置に移動したとしても、駆け足や、自転車の場合と比べて、膝は、低い位置にある。すなわち、歩行において膝は、最上位置と最下位置との差が所定の範囲内で、最上位置と最下位置とを繰り返し移動する。よって、歩行時の動作情報である歩行動作情報１３ａには、腰が上下方向に移動せずに、膝の最上位置と最下位置との差が所定の範囲内で、最上位置と最下位置とを繰り返し移動することを示す情報を備える。

このため、移動方法判定部１１７は、姿勢動作情報生成部１１５が生成した姿勢動作情報と、記憶部１３に記憶された歩行動作情報１３ａとを比較することにより、歩行であるか否かを判定することができる。なお、歩行動作情報１３ａには、足の動きが含められていてもよい。具体的には、例えば、歩行における歩幅が、身長に対して所定の割合の範囲内である場合に、歩行であると判定するなどである。さらには、歩行動作情報１３ａには、人物の移動速度が所定の速度より速いことを条件に加えてもよい。

次に、駆け足の判定処理について説明する。移動方法判定部１１７は、姿勢動作情報生成部１１５が生成した姿勢動作情報が、記憶部１３に記憶された駆け足動作情報１３ｂと一致した場合に駆け足をしていると判定する。駆け足動作情報１３ｂは、駆け足している場合の姿勢の特徴点の変位を示した情報を有する。

ここで、図１２は、駆け足時の特徴点の変位を示した説明図である。なお、図１２は、説明のために側面図にて表現している。歩行と同様に駆け足においても、腰は、上下方向には、ほとんど変位しない。一方、膝は、上下方向に移動する。

さらに詳しくは、駆け足に伴う屈伸運動においても、膝は、膝が曲げられた最も高い最上位置と、膝が伸ばされ最も低い最下位置とを交互に行き来することになる。また、膝が駆け足における最上位置に移動したとしても、自転車の場合と比べて、膝は、低い位置にある。そして、歩行の場合と比べて、膝は、高い位置にある。すなわち、駆け足において膝は、最上位置と最下位置との差が、歩行よりも大きく、所定の範囲より小さい範囲内で、最上位置と最下位置とを繰り返し移動する。よって、駆け足時の動作情報である駆け足動作情報１３ｂには、腰が上下方向に移動せずに、膝の最上位置と最下位置との差が、歩行よりも大きく、所定の範囲より小さい範囲内で、最上位置と最下位置とを繰り返し移動することを示す情報を備える。

このため、移動方法判定部１１７は、姿勢動作情報生成部１１５が生成した姿勢動作情報と、記憶部１３に記憶された駆け足動作情報１３ｂとを比較することにより、駆け足であるか否かを判定することができる。なお、駆け足動作情報１３ｂには、足の動きが含められていてもよい。具体的には、例えば、駆け足における歩幅が、身長に対して所定の割合以上である場合に、駆け足であると判定するなどである。さらには、駆け足動作情報１３ｂには、人物の移動速度が所定の速度より速いことを条件に加えてもよい。

次に、自転車の判定処理について説明する。移動方法判定部１１７は、姿勢動作情報生成部１１５が生成した姿勢動作情報が、記憶部１３に記憶された自転車動作情報１３ｃと一致した場合に自転車で走行をしていると判定する。自転車動作情報１３ｃは、自転車で走行している場合の姿勢の特徴点の変位を示した情報を有する。

ここで、図１３は、自転車で走行している人物の特徴点の変位を示した説明図である。なお、図１３は、説明のために側面図にて表現している。自転車で走行した場合において、腰は、上下方向には、ほとんど変位しない。一方、膝は、上下方向に大きく移動する。

さらに詳しくは、ペダルを漕ぐ動作に伴う屈伸運動において、膝は、膝が曲げられた最も高い最上位置と、膝が伸ばされ最も低い最下位置とを交互に行き来することになる。すなわち、ペダルを漕ぐ動作において膝は、最上位置と最下位置との差が所定の範囲以上で、最上位置と最下位置とを繰り返し移動する。よって、自転車走行時の動作情報である自転車動作情報１３ｃには、腰が上下方向に移動せずに、膝の最上位置と最下位置との差が所定の範囲以上で、最上位置と最下位置とを繰り返し移動することを示す情報を備える。

このため、移動方法判定部１１７は、姿勢動作情報生成部１１５が生成した姿勢動作情報と、記憶部１３に記憶された自転車動作情報１３ｃとを比較することにより、自転車で走行しているか否かを判定することができる。なお、自転車動作情報１３ｃには、人物の移動速度が所定の速度より速いことを条件に加えてもよい。

規則判定部１１８は、移動方法判定部１１７により判定された移動方法が、遵守すべき交通規則に適合しているか否かを判定する。図２を用いて説明すると、例えば、自転車などの軽車両は道路Ｒ１，Ｒ２の左側を通行することが交通規則に定められている場合において、自転車が路側帯Ｒ２１を矢印Ｃ方向に向かって走ることは交通規則に違反するものである。このような、自転車が交通規則で禁止された進行方向に進んでいる場合に、規則判定部１１８は、非適合であると判定する。一方、自転車が交通規則で定められた進行方向に進んでいる場合に、規則判定部１１８は、交通規則に適合すると判定する。

ここで、規則判定部１１８は、顔認識部１１２を通行者の進行方向を検出する手段としても用いる。さらに詳しくは、自転車で走行している通行者は、前方を確認しながら運転する。すなわち、通行者の進行方向は、通行者の顔が向けられている方向が進行方向である。よって、規則判定部１１８は、顔認識部１１２が通行者の顔を認識した場合に、通行者の顔が向けられている方向、すなわち、監視カメラ２０ａに向かう方向が進行方向であると判定する。

図２において、監視カメラ２０ａは、道路Ｒ２の矢印Ａ方向と、矢印Ｃ方向とのそれぞれの方向に向けて設置される。よって、道路Ｒ２の矢印Ａ方向に向けられた監視カメラ２０ａで撮像された画像から顔認識部１１２が顔を認識できた場合に通行者は、道路Ｒ２を矢印Ｃ方向に向かって進んでいることがわかる。一方、道路Ｒ２の矢印Ｃ方向に向けられた監視カメラ２０ａで撮像された画像から顔認識部１１２が顔を認識できた場合には通行者は、道路Ｒ２を矢印Ａ方向に向かって進んでいることがわかる。そして、姿勢動作情報生成部１１５は、顔認識された通行者の動作情報を生成する。すなわち、姿勢動作情報生成部１１５で生成された姿勢動作情報を用いて移動方法判定部１１７が移動方法の判定を行った場合には、通行者は、判定された移動方法で監視カメラ２０ａに向かって進んでいることになる。

よって、規則判定部１１８は、移動方法判定部１１７により判定された移動方法で、監視カメラ２０ａに向かって進むことが、交通規則を遵守しているか否かを判定することができる。

報知制御部１１９は、スピーカー３０や電子掲示板４０を用いて報知を行う機能部である。具体的には、報知制御部１１９は、移動検出部１１６が算出した人物の移動速度から交差点に差し掛かるまでの時間を算出することで報知する時機を制御する。これにより、報知制御部１１９は、交通規則に違反している人物が交差点に差し掛かった時に、報知することができる。

また、報知制御部１１９は、顔面積の大きさを用いて監視カメラ２０ａ、２０ｂから人物までの距離、すなわち、監視カメラ２０ａ、２０ｂが設置された交差点から人物までの距離を算出する。そして、報知制御部１１９は、算出された速度と、算出された距離とから交差点に差し掛かる時機を算出する。なお、監視カメラ２０ａ、２０ｂが設置された交差点から人物までの距離は、距離画像センサ２６が収集した距離画像情報から算出してもよい。

また、報知制御部１１９は、報知する対象者がいることを報知の条件に加えてもよい。報知対象者がいることを条件に加える場合には、報知制御部１１９は、顔認識部１１２を報知する対象者がいるか否かを判定する手段としても用いる。

図２を用いて説明すると、監視カメラ２０ｂは、道路Ｒ１の車道に設置され、車道Ｒ１２、Ｒ１３を撮像する。サーバ装置１０の受信部１１１は、撮像された画像を受信する。そして、監視カメラ２０ｂによって撮像された動画から、自動車のフロントガラス越しに人物の顔を認識した場合に顔認識部１１２は、報知対象者がいると判定する。そして、報知制御部１１９は、報知対象者がいる場合に報知情報を出力する。これにより、報知対象者がいない場合には、無駄な報知を防止することができる。

送信部１２０は、報知制御部１１９の制御に従い、所定の報知情報をスピーカー３０や、電子掲示板４０に送信する。ここで、報知情報とは、スピーカー３０を介して報知される音声情報や、電子掲示板４０を介して報知される文字情報や画像情報などである。報知情報の内容は、例えば、「交通規則を遵守しましょう」などの違反した人物に対して注意するものなどである。または、報知情報の内容は、「交通規則に違反している通行者が交差点にいます」などの周囲の人に注意喚起する内容などであってもよい。または、報知情報の内容は、「右側から交差点に進入する自転車がいます」などの具体的な内容であってもよい。

図７に戻り、スピーカー３０のＣＰＵ３１は、メモリ３２や記憶部３３に記憶された制御プログラムに従って動作することで、受信部３１１と、音声制御部３１２として機能する。

受信部３１１は、サーバ装置１０から報知情報を受信する。音声制御部３１２は、受信部３１１が受信した報知情報を、音響発生部３５を介して音声により報知する。

電子掲示板４０のＣＰＵ４１は、メモリ４２や記憶部４３に記憶された制御プログラムに従って動作することで、受信部４１１と、表示制御部４１２として機能する。

受信部４１１は、サーバ装置１０から報知情報を受信する。表示制御部４１２は、受信部４１１が受信した報知情報を、表示部４５を介して画面により報知する。

次に、上述した実施形態にかかるサーバ装置１０のＣＰＵ１１及び監視カメラ２０ａのＣＰＵ２１が制御プログラムに従って実行する検出処理について説明する。ここで、検出処理は、交通規則に違反している人物を検出する処理である。

図１４は、実施形態にかかるサーバ装置１０のＣＰＵ１１及び監視カメラ２０ａのＣＰＵ２１が制御プログラムに従って実行する検出処理の流れを示すフローチャートである。

まず、監視カメラ２０ａのＣＰＵ２１（撮像制御部２１１）は、監視カメラ２０ａの撮像範囲内に存在する被写体の動画を撮像する（ステップＳ１）。動画には、前述したようにカラー画像情報と、距離画像情報と、撮像時刻情報と、が含まれる。

次いで、監視カメラ２０ａのＣＰＵ２１（送信部２１２）は、サーバ装置１０にカラー画像情報と距離画像情報と撮像時刻情報とが含まれる動画を順次送信し（ステップＳ２）、ステップＳ１に戻り、停止が入力されるまで繰り返す。

次いで、サーバ装置１０のＣＰＵ１１（受信部１１１）は、監視カメラ２０ａからカラー画像情報と距離画像情報と撮像時刻情報とが含まれる動画を順次受信する（ステップＳ３）。

次いで、サーバ装置１０のＣＰＵ１１（顔認識部１１２）は、受信した動画から顔認識できるか否かを判定する（ステップＳ４）。受信した動画から顔認識できない場合に（ステップＳ４；Ｎｏ）、サーバ装置１０のＣＰＵ１１（顔認識部１１２）は、受信した動画には、人物は含まれていないとしてステップＳ３に戻り、再度動画を受信する。

一方、受信した動画から顔認識できた場合に（ステップＳ４；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（顔認識部１１２）は、受信した動画には、認識された顔の人物を認識する（ステップＳ５）。これにより、サーバ装置１０のＣＰＵ１１（顔認識部１１２）は、複数のフレームにわたって連続して映っていても、同一人物として対応付ける。

次いで、サーバ装置１０のＣＰＵ１１（顔特徴点検出部１１３）は、顔を認識した人物の顔の特徴点を検出する（ステップＳ６）。次いで、サーバ装置１０のＣＰＵ１１（姿勢特徴点検出部１１４）は、顔が認識された人物の関節を動作の特徴点として検出する（ステップＳ７）。

次いで、サーバ装置１０のＣＰＵ１１（姿勢動作情報生成部１１５）は、人物の動作を示した姿勢動作情報を生成する（ステップＳ８）。

次いで、サーバ装置１０のＣＰＵ１１（移動方法判定部１１７）は、生成された姿勢動作情報から、人物が何れの移動方法により通行しているかを判定する（ステップＳ９）。さらに詳しくは、サーバ装置１０のＣＰＵ１１（移動方法判定部１１７）は、生成された姿勢動作情報と、記憶部１３に記憶された歩行動作情報１３ａ、駆け足動作情報１３ｂ及び自転車動作情報１３ｃと比較して何れの移動方法で通行しているかを判定する。

生成された姿勢動作情報から移動方法が検出されない場合に（ステップＳ９；Ｎｏ）、サーバ装置１０のＣＰＵ１１（移動方法判定部１１７）は、ステップＳ３に戻る。

一方、生成された姿勢動作情報から移動方法が検出された場合に（ステップＳ９；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（規則判定部１１８）は、検出された移動方法による通行が、遵守すべき交通規則に適合するものであるか否かを判定する（ステップＳ１０）。

検出された移動方法による通行が交通規則を遵守するものである場合に（ステップＳ１０；Ｎｏ）、サーバ装置１０のＣＰＵ１１（規則判定部１１８）は、ステップＳ３に戻る。

一方、検出された移動方法による通行が交通規則に非適合であると判定した場合に（ステップＳ１０；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（規則判定部１１８）は、通行者が交通規則に違反していると判定し（ステップＳ１１）、ステップＳ３に戻る。

以上のように、サーバ装置１０のＣＰＵ１１は、検出処理の停止が入力されるまで繰り返す。

次に、上述した実施形態にかかるサーバ装置１０のＣＰＵ１１、スピーカー３０のＣＰＵ３１及び電子掲示板４０のＣＰＵ４１が制御プログラムに従って実行する報知処理について説明する。ここで、報知処理では、交通規則に違反している通行者がいることを報知する処理である。

図１５は、実施形態にかかるサーバ装置１０のＣＰＵ１１、スピーカー３０のＣＰＵ３１及び電子掲示板４０のＣＰＵ４１が制御プログラムに従って実行する報知処理の流れを示すフローチャートである。

まず、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、上述の検出処理において交通規則に違反していると判定された場合に、報知時機を算出する（ステップＳ２１）。

次いで、サーバ装置１０のＣＰＵ１１（移動検出部１１６）は、交通規則に違反していると判定された人物が、交通規則に違反した移動方法での通行を継続しているか否かを判定する（ステップＳ２２）。

交通規則に違反した移動方法での通行を継続していない場合に（ステップＳ２２；Ｎｏ）、サーバ装置１０のＣＰＵ１１（移動検出部１１６）は、報知する必要がないとしてステップＳ２１に戻る。

一方、交通規則に違反した移動方法での通行を継続している場合に（ステップＳ２２；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、報知時機となったか否かを判定する（ステップＳ２３）。報知時機となっていない場合に（ステップＳ２３；Ｎｏ）、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、ステップＳ２２に戻る。

一方、報知時機となった場合に（ステップＳ２３；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、報知対象者がいるか否かを判定する（ステップＳ２４）。ここで、報知対象者とは、交通規則に違反した通行者がいることを報知する対象者のことである。図２の場合を例に説明すると、報知対象者とは、道路Ｒ２に交通規則に違反した通行者がいることを報知する道路Ｒ１を通行する通行者のことである。サーバ装置１０の顔認識部１１２が、道路Ｒ１に設置された監視カメラ２０ｂの画像から顔を認識できた場合に、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、報知対象者がいると判定する。

報知対象者がいない場合に（ステップＳ２４；Ｎｏ）、サーバ装置１０のＣＰＵ１１（報知制御部１１９）は、報知する必要がないとしてステップＳ２１に戻る。一方、報知対象者がいる場合に（ステップＳ２４；Ｙｅｓ）、サーバ装置１０のＣＰＵ１１（送信部１２０）は、報知を行うための情報をスピーカー３０及び電子掲示板４０に送信し（ステップＳ２５）、ステップＳ２１に戻る。

次いで、スピーカー３０のＣＰＵ３１（受信部３１１）及び電子掲示板４０のＣＰＵ４１（受信部４１１）は、それぞれ報知情報を受信する（ステップＳ２６）。

次いで、スピーカー３０のＣＰＵ３１（音声制御部３１２）及び電子掲示板４０のＣＰＵ４１（表示制御部４１２）は、それぞれ報知する（ステップＳ２７）。さらに詳しくは、スピーカー３０のＣＰＵ３１（音声制御部３１２）は、音響発生部３５を介して音声により報知する。また、電子掲示板４０のＣＰＵ４１（表示制御部４１２）は、表示部４５を介して画面により報知する。

以上のように、本実施形態の報知システム１によれば、監視カメラ２０ａは、カラー画像センサ２５と距離画像センサ２６とによって撮像された動画をサーバ装置１０に送信する。動画を受信したサーバ装置１０は、動画に含まれるカラー画像情報と距離画像情報とから、動画に含まれる人物を検出する。そして、サーバ装置１０は、検出した人物の姿勢動作情報を生成し、記憶部１３に記憶された歩行動作情報１３ａ、駆け足動作情報１３ｂ及び自転車動作情報１３ｃと比較することで移動方法を検出する。次いで、サーバ装置１０は、検出した移動方法が交通規則を遵守しているか否かを判定する。そして、移動方法が交通規則に違反している場合に、サーバ装置１０は、報知情報をスピーカー３０及び電子掲示板４０に送信する。よって、サーバ装置１０は、交通規則に違反した通行者がいることを報知することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、上記実施形態では、違反者用の監視カメラ２０ａと、報知対象者用の監視カメラ２０ｂとは、用途は異なるが、機能及び構成は同一であると説明したが、機能及び構成は異なっていてもよい。例えば、報知対象者用の監視カメラ２０ｂは、報知対象者がいるか否かを判定する動画の撮像に用いられる。報知対象者がいるか否かを判定する顔認識部１１２は、動画に含まれるカラー画像情報を基に判定する。よって、距離画像センサ２６は、備えられていなくてもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ 報知システム
１０ サーバ装置
１１ ＣＰＵ
２０ａ、２０ｂ 監視カメラ
３０ スピーカー
４０ 電子掲示板
１１１ 受信部
１１２ 顔認識部
１１３ 顔特徴点検出部
１１４ 姿勢特徴点検出部
１１５ 姿勢動作情報生成部
１１６ 移動検出部
１１７ 移動方法判定部
１１８ 規則判定部
１１９ 報知制御部
１２０ 送信部

特開２０１３−０６５１１９号公報

Claims (4)

1. 道路上の所定領域を撮像する撮像部から、前記撮像された画像を順次受信する受信手段と、
   前記受信手段が受信した画像から、移動中の人物を検出する第１検出手段と、
   前記第１検出手段により検出された人物の移動方法が、軽車両か否かを判定する第１判定手段と、
   前記第１判定手段により軽車両と判定された場合、当該軽車両の進行方向を検出する第２検出手段と、
   前記第１判定手段により軽車両と判定された場合、前記第２検出手段で検出された当該軽車両の進行方向が前記道路上において遵守すべき交通規則に違反している場合に非適合と判定する第２判定手段と、
   前記第２判定手段が非適合と判定した場合に、前記道路上に設けられた報知装置を用いて報知を行うための情報を出力する出力手段と、
   を備える情報処理装置。
2. 前記第２検出手段は、前記第１検出手段が検出した人物の顔の向きに基づいて、前記進行方向を検出する請求項１に記載の情報処理装置。
3. 前記道路上に設けられた報知装置により報知する対象者がいるか否かを判定する第３判定手段を更に備え、
   前記出力手段は、前記第３判定手段が対象者がいると判定した場合に報知を行うための情報を出力する請求項１又は２に記載の情報処理装置。
4. 撮像装置と、情報処理装置と、報知装置と、を備えた報知システムであって、
   前記撮像装置は、道路上の所定領域を撮像する撮像部を備え、
   前記情報処理装置は、前記撮像装置から、前記撮像された画像を順次受信する受信手段と、
   前記受信手段が受信した画像から、移動中の人物を検出する第１検出手段と、
   前記第１検出手段により検出された人物の移動方法が、軽車両か否かを判定する第１判定手段と、
   前記第１判定手段により軽車両と判定された場合、当該軽車両の進行方向を検出する第２検出手段と、
   前記第１判定手段により軽車両と判定された場合、前記第２検出手段で検出された当該軽車両の進行方向が前記道路上において遵守すべき交通規則に違反している場合に非適合と判定する第２判定手段と、
   前記第２判定手段が非適合と判定した場合に、前記道路上に設けられた報知装置を用いて報知を行うための情報を出力する出力手段と、を備え、
   前記報知装置は、前記道路上に設けられ、前記情報処理装置から出力された情報を用いて報知する報知システム。