JPWO2017141454A1 - 混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラム - Google Patents

Abstract

エリアの混雑を適切に判定する。混雑解析装置（４）は、人物を撮影した動画から、人数を決定する人物分類部（４３）と、各人物の移動軌跡を決定する移動軌跡決定部（４４）と、この動画に撮影されている各人物の移動軌跡から、これら人物の状態を決定し、人数と各人物の状態とに応じて混雑度を判定する混雑情報解析部（４５）とを備える。

Description

本発明は、混雑解析装置、混雑解析方法および混雑解析プログラムに関する。

近年、ＩＴ（Information Technology）技術の進化により、リアルタイムに変化する駅の混雑状況を、いつでもどこでも確認できるサービスが提供されるようになっている。

特許文献１の解決手段には、「画像生成部１１の画像列から動き情報を算出する動き情報生成部１３と、画像のテクスチャ情報を生成するテクスチャ情報生成部１５と、動きの基準となる基準動き情報を保持・更新する基準動き情報生成部１４と、人の有無を判定するための基準テクスチャ情報を保持・更新する基準テクスチャ情報生成部１６と、動きがあるかどうかを判定する動き情報判定部１８と、人と同じテクスチャ情報があるかどうかを判定するテクスチャ情報判定部１９と、動き情報とテクスチャ情報判定の結果を受けて、人が存在するかしないかどうかを判定する滞留判定部２０とを備え、動きの有無とテクスチャを用いた類似度判定を用いて個々の領域毎の各種状態を判別して混雑度を推定し、また混雑状況の指標および異常状態かどうかの情報を提供する。」と記載されている。

特開２００９−１１０１５２号公報

混雑とは、多くの人が集まって混み合うことをいう。また、駅などでは、単に多くの人が集まるだけが問題ではなく、その結果として移動が妨げられることが問題である。このような状況を、混雑度として判定することが求められている。

特許文献１に記載されている発明によれば、個々の領域の状態として滞留領域、移動領域、ノイズ領域、前景領域を出力することで、混雑判定手段での混雑推定処理を行う際に領域の種別毎に計測可能である。また、合計混雑度は、移動領域の数と滞留領域の数を加算した値や、滞留領域の割合や、移動領域の割合で算出することが記載されている。

特許文献１では、単位面積あたり人数については言及されておらず、単にテクスチャ情報判定部人非存在判定／テクスチャ情報判定部人存在判定について記載されているだけである。しかし一般的には、移動領域や滞留領域が存在するとしても、単位面積あたり人数が少なければ混雑とはいえない。
そこで、本発明は、エリアの混雑を適切に判定する混雑解析装置、混雑解析方法および混雑解析プログラムを提供することを課題とする。

前記した課題を解決するため、本発明の混雑解析装置は、人物を撮影した動画から、人数と各前記人物の移動軌跡とを決定する軌跡決定部と、前記動画に撮影されている各前記人物の移動軌跡から当該人物の状態を決定し、前記人数と各前記人物の状態とに応じて混雑度を判定する混雑情報解析部とを備える。
その他の手段については、発明を実施するための形態のなかで説明する。

本発明によれば、混雑解析装置、混雑解析方法、および混雑解析プログラムにおいて、エリアの混雑を適切に判定することが可能となる。

混雑解析システムの論理構成を示すブロック図である。 混雑解析システムのハードウェア構成を示すブロック図である。 画像解析のうち特徴点抽出と軌跡抽出とを説明する図である。 画像解析のうち人物分類と移動軌跡決定とを説明する図である。 混雑度の判定と配信の方法を示すフローチャートである。 混雑度のデフォルトの第１判定条件を示すグラフである。 混雑度のイベント用の第２判定条件を示すグラフである。 混雑度の第３判定条件を示すグラフである。 混雑度の第４判定条件を示すグラフである。 表示装置に配信されたヒートマップを示す図である。 表示装置に配信された混雑画像を示す図である。 混雑画像の生成方法を示すフローチャートである。 人物の移動状態と静止状態とを示すアイコンである。 混雑画像の生成方法の変形例を示すフローチャートである。 変形例の人物の移動状態と静止状態とを示すアイコンである。 変形例の人物の滞留時間を示すアイコンである。 混雑動画の生成方法を示すフローチャートである。 平均通過時間の算出方法を示すフローチャートである。 スムーズ性による混雑度判定方法を示すフローチャートである。 スムーズ性評価の概念図である。

以降、本発明を実施するための形態を、各図と数式とを参照して詳細に説明する。
図１は、混雑解析システム１の論理構成を示すブロック図である。
混雑解析システム１は、映像撮影装置２ａ，２ｂまたは／および映像記憶装置３と、混雑解析装置４と、表示装置５とを含んで構成される。

映像撮影装置２ａ，２ｂは、例えば駅などの所定エリアに設置されたアナログカメラやＩＰカメラなどであり、動画を撮影して混雑解析装置４に出力する。以下、各映像撮影装置２ａ，２ｂを特に区別しないときには、単に映像撮影装置２と記載する。映像記憶装置３は、カメラで撮影した動画を記憶し、この記憶している動画を混雑解析装置４に出力する。映像撮影装置２ａ，２ｂまたは／および映像記憶装置３の台数は、任意台数であってもよい。
表示装置５は、例えば映像撮影装置２ａ，２ｂが設置される駅の利用者が有する携帯端末であるが、単なるモニタディスプレイであってもよい。

混雑解析装置４は、駅などを撮影した動画から混雑状況を解析する装置である。混雑解析装置４は、映像入力部４０、特徴点抽出部４１、軌跡抽出部４２、人物分類部４３、移動軌跡決定部４４、混雑情報解析部４５、混雑情報出力部４６、混雑情報データベース４９２の各部を備えている。
映像入力部４０は、アナログカメラやＩＰカメラからエリアを撮影した動画を取得する。アナログカメラから動画を取得する際、映像入力部４０は、アナログの映像信号をキャプチャしてデジタル信号に変換する。ＩＰ（Internet Protocol）カメラから動画を取得する際、映像入力部４０はＩＰネットワークを介して動画ストリームを受信する。

特徴点抽出部４１は、動画を構成する各フレーム中のエッジや角などの特徴的な部分を抽出する。軌跡抽出部４２は、特徴点抽出部４１が抽出した特徴点を複数フレームに亘って追跡して、同一の特徴点から軌跡を抽出する。
人物分類部４３は、軌跡抽出部４２が抽出した軌跡のうち類似した軌跡をまとめることで、人物毎に軌跡を分類する。人物分類部４３は更に、分類した軌跡により、エリアの人数を判定する。
移動軌跡決定部４４は、人物分類部４３により分類された特徴点の軌跡から各人物の重心を求め、この重心の軌跡を用いて人物の移動軌跡を決定する。これら映像入力部４０、特徴点抽出部４１、軌跡抽出部４２、人物分類部４３、移動軌跡決定部４４は、人物を撮影した動画から、人数と各人物の移動軌跡とを決定する軌跡決定部として機能する。なお、本発明は、動画からエリアの人数と各人物の移動軌跡とを決定できればよく、その構成は本実施形態に限定されない。

混雑情報解析部４５は、人数と状態とを判定し、この人数と状態に応じて混雑度を判定する。更に混雑情報解析部４５は、混雑画像やヒートマップを生成し、通過人数のカウントを行う。
混雑情報データベース４９２は、混雑情報解析部４５が用いる各種情報や、混雑情報解析部４５が出力する各種情報を格納するデータベースである。図面では、混雑情報データベース４９２のことを、「混雑情報ＤＢ」と省略記載している。
混雑情報出力部４６は、混雑情報解析部４５が判定した結果を示す混雑画像やヒートマップを配信（出力）し、混雑情報解析部４５が判定した混雑度を配信（出力）する。混雑情報出力部４６は、直接に表示装置５に混雑度を出力してもよく、またサーバ等を経由して表示装置５に混雑度を配信してもよい。

図２は、混雑解析システム１のハードウェア構成を示すブロック図である。
混雑解析システム１は、図１と同様に映像撮影装置２ａ，２ｂまたは／および映像記憶装置３と、混雑解析装置４と、表示装置５とを含んで構成され、更にネットワークＮを含んでいる。ネットワークＮは、表示装置５と混雑解析装置４とを通信可能に接続するものであり、例えばキャリアネットワークである。
混雑解析装置４は、例えばサーバコンピュータであり、プロセッサ４７、ネットワークインタフェース４８ａ，４８ｂ、記憶装置４９を含んで構成される。プロセッサ４７と、ネットワークインタフェース４８ａ，４８ｂと、記憶装置４９とは、バスを介して相互に接続される。

記憶装置４９は、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリであり、混雑解析プログラム４９１と、混雑情報データベース４９２とを格納する。なお、記憶装置４９は、メディアリーダとメディアの組合せであってもよい。
ネットワークインタフェース４８ａは、映像撮影装置２ａ，２ｂまたは／および映像記憶装置３と、混雑解析装置４とを通信可能に接続するインタフェースである。ネットワークインタフェース４８ｂは、表示装置５と混雑解析装置４とを通信可能に接続するインタフェースである。

プロセッサ４７は、例えばＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含んで構成される。プロセッサ４７が混雑解析プログラム４９１を実行することにより、映像入力部４０、特徴点抽出部４１、軌跡抽出部４２、人物分類部４３、移動軌跡決定部４４、混雑情報解析部４５、混雑情報出力部４６（図１参照）が具現化される。

図３は、画像解析のうち特徴点抽出と軌跡抽出とを説明する図である。
図３のフレームＦ１〜Ｆ３は、それぞれ時間軸が異なるフレームを示している。フレームＦ１は、時刻ｔのフレームである。フレームＦ２は、時刻（ｔ＋１）のフレームであり、フレームＦ１の次に撮影されている。フレームＦ３は、時刻（ｔ＋２）のフレームであり、フレームＦ２の次に撮影されている。

フレームＦ１には、撮影された人物６１が実線で表示されている。このフレームＦ１には更に、特徴点抽出部４１により抽出された、人物６１に関する特徴点６２ａ〜６２ｃが表示されている。以下、各特徴点６２ａ〜６２ｃを特に区別しないときには、単に特徴点６２と記載する。
フレームＦ２には、人物６１が実線で表示され、フレームＦ１の人物６１ｐが細線で表示されている。このフレームＦ２には更に、特徴点抽出部４１により抽出された、人物６１に関する特徴点６２ａ〜６２ｃが表示されている。各特徴点６２ａ〜６２ｃには、その左側に、軌跡抽出部４２により抽出された軌跡６３ａ〜６３ｃが描かれている。以下、各軌跡６３ａ〜６３ｃを特に区別しないときには、単に軌跡６３と記載する。
時刻（ｔ＋１）の各特徴点６２ａ〜６２ｃと、時刻ｔの各特徴点６２ａ〜６２ｃにより、軌跡６３ａ〜６３ｃを描くことができる。各特徴点６２から軌跡６３を描く際には、例えばLucas-Kanade法を用いてもよく、更にパーティクルフィルタ、カルマンフィルタを用いてもよく、限定されない。

フレームＦ３には、人物６１が実線で表示され、フレームＦ１の人物６１ｐとフレームＦ２の人物６１ｑとが細線で表示されている。このフレームＦ３は、特徴点抽出部４１により、人物６１に関する特徴点６２ａ〜６２ｃが抽出されている。各特徴点６２ａ〜６２ｃには、軌跡抽出部４２により、その左側に軌跡６３ａ〜６３ｃが描かれている。時刻（ｔ＋２）の各特徴点６２ａ〜６２ｃと、時刻（ｔ＋１）の各特徴点６２ａ〜６２ｃにより、軌跡６３ａ〜６３ｃを描くことができる。以降同様な処理を繰り返すことにより、各特徴点の移動軌跡を得ることができる。

図４は、画像解析のうち人物分類と移動軌跡決定とを説明する図である。
図４のフレームＦ１１〜Ｆ１３は、時刻（ｔ＋Ｎ）のフレームを示している。フレームＦ１１には、人物６１ａ，６１ｂに関する特徴点６２が示されている。
フレームＦ１２には、特徴点６２のみが表示されている。人物分類部４３は、これら特徴点６２を、現在と過去の位置情報を考慮したクラスタリングで分類する。特徴点６２を分類した結果を、フレームＦ１３に示す。

フレームＦ１３には、各特徴点６２と、人物分類部４３により分類された特徴点６２の外接矩形である人物矩形６４ａ，６４ｂが表示される。更にフレームＦ１３には、分類された特徴点６２に係る人物６１ａ，６１ｂの重心６５ａ，６５ｂと、各重心６５ａ，６５ｂの軌跡から決定した人物移動軌跡６６ａ，６６ｂとが表示される。移動軌跡決定部４４は、人物分類部４３により分類された特徴点６２の外接矩形である人物矩形６４ａ，６４ｂを決定し、各人物６１ａ，６１ｂの特徴点６２から重心６５ａ，６５ｂを決定する。移動軌跡決定部４４は更に、各重心６５ａ，６５ｂの軌跡から、人物移動軌跡６６ａ，６６ｂを決定する。以下、人物移動軌跡６６ａ，６６ｂを特に区別しないときには、単に人物移動軌跡６６と記載する。

図５は、混雑度の判定と配信の方法を示すフローチャートである。
最初、混雑情報解析部４５〈図１参照〉は、この駅で何かイベントが開催されているか否かを判断する（ステップＳ１０）。混雑情報解析部４５は、イベントが開催されているならば、判定条件をイベント用条件として設定する（ステップＳ１２）。混雑情報解析部４５は、イベントが開催されていないならば、判定条件をデフォルト条件として設定する（ステップＳ１１）。この判定条件は、後記するステップＳ２０で用いられる。
このようにすることで、混雑情報解析部４５は、イベント時に一般的に想定される混雑を織り込んだ上で、更に混雑しているか否かを判定することができる。

次に人物分類部４３〈図１参照〉が、動画に含まれる画面（フレーム）中の人数を取得する（ステップＳ１３）。混雑情報解析部４５は、この画面中の全人物について、ステップＳ１４〜Ｓ１９の処理を繰り返す。
混雑情報解析部４５は、この画面中の一人について着目し、この人物の移動速度を取得する〈ステップＳ１５〉。この人物の移動速度は、移動軌跡決定部４４〈図１参照〉が決定した人物移動軌跡６６（図４参照）によって決定される。
混雑情報解析部４５は、この人物の移動速度が所定値を超えているか否かを判定する（ステップＳ１６）。混雑情報解析部４５は、この人物の移動速度が所定値を超えていたならば、この人物の状態を「移動」と判定する（ステップＳ１７）。混雑情報解析部４５は、この人物の移動速度が所定値を超えていなかったならば、この人物の状態を「静止」と判定する（ステップＳ１８）。
混雑情報解析部４５は、この画面中の全人物について、ステップＳ１４〜Ｓ１９の処理を繰り返したのち、人数と状態と判定条件とから混雑度を判定する〈ステップＳ２０〉。この判定条件の詳細は、後記する図６から図９で詳細に説明する。
混雑情報出力部４６は、判定した混雑度を表示装置５（図１参照）に配信（出力）して（ステップＳ２１）、図５の処理を終了する。
表示装置５に配信された混雑度により、表示装置５の利用者は、この駅の混雑状況を好適に知ることができる。

この混雑度は、処理対象となる１台の映像撮影装置２が撮影したエリアに関するものである。混雑情報解析部４５は、駅に設置された複数の映像撮影装置２が撮影した各エリアの混雑度の平均を算出することにより、更に駅全体としての混雑度を算出可能である。混雑情報解析部４５は、その瞬間の混雑度を算出してもよく、所定期間の平均の混雑度を算出してもよい。更に混雑情報解析部４５は、処理対象となる１台の映像撮影装置２が撮影したエリアのうち一部に関する混雑度を算出してもよい。

図６は、混雑度のデフォルトの第１判定条件を示すグラフである。
以下の図６から図９に示すグラフの横軸は、所定領域内に存在する人数であり、例えば画面内の人数のことをいう。グラフの縦軸の状態は、所定領域内に存在する人の状態のことであり、例えば移動状態の人数と静止状態の人数との割合のことをいう。
混雑度は、人数と状態とから判定される。人数が多い程、混雑度が高くなる。人数が同じであっても、静止状態の人数割合が高ければ、混雑度が高くなる。移動状態の人数割合が高いならば、自由に移動できることを意味するため、混雑度が高いとはいえないためである。
混雑度の第１判定条件で、混雑度１は、状態の値ｙが以下の式（１）よりも小さい場合である。境界線９１ａは式（１）に該当し、混雑度１と混雑度２とを分ける境界である。混雑度１の場合には、人数が少なく滞留もない。

なお、本実施形態において混雑度は１から４の数値で示される。混雑度１は最も混雑度が低い状態を意味する。
混雑度２は、状態の値ｙが以下の式（２）よりも小さく、かつ式（１）以上の場合である。境界線９２ａは式（２）に該当し、混雑度２と混雑度３とを分ける境界である。混雑度２の場合には、人数が少なく滞留もさほど多くない。

混雑度３は、状態の値ｙが以下の式（３）よりも小さく、かつ式（２）以上の場合である。境界線９３ａは式（３）に該当し、混雑度３と混雑度４とを分ける境界である。混雑度３の場合には、人数が少ないものの滞留が発生しているか、または滞留が発生していなくても人数がかなり多い。

混雑度４は、状態の値ｙが式（３）以上の場合である。このとき、人数が多いか、または滞留が発生している。

図７は、混雑度のイベント時の第２判定条件を示すグラフである。
イベント時において境界線９１ｂは、境界線９１ａよりも右上に位置している。境界線９２ｂは、境界線９２ａよりも右上に位置している。境界線９３ｂは、境界線９３ａよりも右上に位置している。このように判定することで、イベント時に一般的に想定される混雑を織り込んだ上で、更に混雑しているか否かを判定することができる。
これら第１、第２判定条件では、加算と乗算のみで混雑度の境界を算出しているので、計算負荷を小さくすることができる。

図８は、混雑度の第３判定条件を示すグラフである。
混雑度の第３判定条件で、混雑度１は、状態の値ｙが以下の式（４）よりも小さい場合である。境界線９１ｃは式（４）に該当し、混雑度１と混雑度２とを分ける境界である。

混雑度２は、状態の値ｙが以下の式（５）よりも小さく、かつ式（４）以上の場合である。境界線９２ｃは式（５）に該当し、混雑度２と混雑度３とを分ける境界である。

混雑度３は、状態の値ｙが以下の式（６）よりも小さく、かつ式（５）以上の場合である。境界線９３ｃは式（６）に該当し、混雑度３と混雑度４とを分ける境界である。

混雑度４は、状態の値ｙが式（６）以上の場合である。
これら混雑度の第１〜第３判定条件のいずれも、人数が多いほど混雑度が高いと判定し、かつ各人物の静止割合が多いほど混雑度が高いと判定するという条件である。このように、人物と各人物の状態に応じて混雑度を判定しているので、人間の感覚に近く有用な混雑度を判定することができる。

図９は、混雑度の第４判定条件を示すグラフである。
混雑度の第４判定条件で、混雑度１は、状態の値ｙが状態閾値よりも小さく、かつ人数ｘが第１閾値よりも小さい場合である。
混雑度２は、状態の値ｙが状態閾値よりも小さく、かつ人数ｘが第１閾値以上の場合である。

混雑度３は、状態の値ｙが状態閾値以上であり、かつ人数ｘが第２閾値よりも小さい場合である。混雑度４は、状態の値ｙが状態閾値以上であり、かつ人数ｘが第２閾値以上の場合である。これにより、第１〜第３判定条件よりも簡単に混雑度を判定することができる。

図１０は、表示装置５に配信されたヒートマップ７１を示す図である。
ヒートマップ７１は、駅の構内地図に対して、混雑度を色や濃度により重畳表示したものである。これにより表示装置５のユーザは、この駅の構内の混雑状況を容易に知覚することができる。このヒートマップ７１に表示されている各ルーペ・アイコン８５ａ〜８５ｈは、それぞれ映像撮影装置２を示している。ユーザがルーペ・アイコン８５ａ〜８５ｈのいずれかをタップすることにより、対応する映像撮影装置２による混雑画像７２（図１１参照）を閲覧可能である。
このヒートマップ７１は、例えば、駅の構内地図の各エリアに対して、図５で計算した混雑度を色や濃度で重畳表示することにより生成される。

図１１は、表示装置５に配信された混雑画像７２を示す図である。
混雑画像７２は、人物が撮影されていない背景画像の上に、人物を示すアイコンが配置されて構成される。この混雑画像７２には、複数の静アイコン８１と、複数の動アイコン８２とが配置されている。混雑解析装置４は、撮影画像を直接に配信していないので、被撮影者のプライバシーを守ることができる。
静アイコン８１は黄色であり、動アイコン８２は紫色である。この黄色と紫色とは、赤色盲、緑色盲などの色覚異常を有する者であっても、その大多数が識別可能な色の組合せである。これら静アイコン８１と動アイコン８２の密度と、静アイコン８１と動アイコン８２との割合により、ユーザは直感的に混雑度を察知可能である。

混雑画像７２の下部には、混雑度バー７３が表示されている。混雑度バー７３には、混雑度を示す棒グラフと、この混雑度に係る時刻とが表示されている。これにより、各ユーザは、駅の混雑度を適切に知ることができる。

図１２は、混雑画像７２の生成方法を示すフローチャートである。
最初、人物分類部４３〈図１参照〉が、動画に含まれる画面（フレーム）中の人数を取得する（ステップＳ３０）。混雑情報解析部４５は、この画面中の全人物について、ステップＳ３１〜Ｓ３９の処理を繰り返す。
混雑情報解析部４５は、各人物の状態が移動／静止のいずれかを取得し（ステップＳ３２）、この人物が移動状態であるか否かを判定する（ステップＳ３３）。なお、ステップＳ３２の処理は、図５に示したステップＳ１５〜Ｓ１８の処理と同様である。
混雑情報解析部４５は、この人物が移動状態ならば、その移動方向を取得して（ステップＳ３４）、移動方向に応じた動アイコン８２を生成する（ステップＳ３５）。更に混雑情報解析部４５は、この人物が移動状態でないならば、その滞留時間を取得して（ステップＳ３６）、滞留時間に応じた静アイコン８１を生成する（ステップＳ３７）。
その後混雑情報解析部４５は、背景画像に生成したアイコンを重畳加工する（ステップＳ３８）。

混雑情報解析部４５がこの画面中の全人物について、ステップＳ３１〜Ｓ３９の処理を繰り返す。その後、混雑情報出力部４６は、生成した混雑画像７２（図１１参照）を表示装置５に配信（出力）し（ステップＳ４０）、図１２の処理を終了する。
これにより、混雑解析装置４は、ユーザの表示装置５に対して、混雑画像７２（図１１参照）を配信（出力）することができる。

なお、混雑情報解析部４５は、各人の状態として移動／静止のいずれかを判定するのみでなく、荷物の有無を判定してもよい。荷物の有無は、例えばスーツケースやキャリングバッグの画像データベースとフレーム画像との照合により判定可能である。このとき、混雑情報解析部４５は、荷物の有無を示すアイコンを付与することができる。これによりユーザは、スーツケースやキャリーバッグなどの荷物を有する人物により混雑していることを、容易に察知できる。
また混雑情報解析部４５は、荷物を有する人物の割合が多いときは、混雑度のレベルを上げるように判定してもよい。これによりユーザは、その人物が有する荷物により空間が占有されてエリアが混雑していることを、容易に察知できる。

更に、混雑情報解析部４５は、各人の状態として人物の性別、人物の年齢などの属性を判定してもよい。人物の性別、人物の年齢などの属性は、例えば顔画像データベースとフレーム画像との照合により判定可能である。このとき、混雑情報解析部４５は、人物の性別、人物の年齢などの属性を示すアイコンを付与することができる。これによりユーザは、どのような属性の人物によって混雑しているかを容易に察知できる。
また混雑情報解析部４５は、特性の属性を有する人物の割合が多いときには、混雑度のレベルを調整して判定してもよい。例えば１４歳を超える人物が多いときには混雑度を高く判定し、１４歳以下の人物が多いときには混雑度を低く判定するなどである。

図１３は、人物の移動状態と静止状態とを示すアイコンである。
これらアイコンは、特定エリア内に設置された映像撮影装置２（カメラ）で撮影された人の行動を表示するものである。混雑解析装置４は、映像撮影装置２（カメラ）で撮影されたエリア内の人の混雑や滞留などの状況を以下のアイコンで表示する。

動アイコン８２Ｌは紫色であり、図ではハッチングで示している。この動アイコン８２Ｌは、足を開いた人物と、その頭部が左を向いているアイコンで表示される。これにより、対応する人物が左に移動している状況を示している。
動アイコン８２Ｆは紫色であり、図ではハッチングで示している。この動アイコン８２Ｆは、足を開いた人物と、その頭部が前方（紙面の手前方向）を向いているアイコンで表示される。これにより、対応する人物が前方（紙面の手前方向）に移動している状況を示している。

動アイコン８２Ｂは紫色であり、図ではハッチングで示している。この動アイコン８２Ｂは、足を開いた人物と、その頭部が後方（紙面の奥方向）を向いているアイコンで表示される。これにより、対応する人物が後方（紙面の奥方向）に移動している状況を示している。
動アイコン８２Ｒは紫色であり、図ではハッチングで示している。この動アイコン８２Ｒは、足を開いた人物と、その頭部が右を向いているアイコンで表示される。これにより、対応する人物が右に移動している状況を示している。

静アイコン８１ａ，８１ｂは黄色であり、図では白抜きで示している。この静アイコン８１ａ，８１ｂは、足を閉じた人物のアイコンで表示される。これにより、対応する人物が立ち止まっている状況を示している。
この静アイコン８１ａの上側には、吹き出し内に「３分」を表示した滞留時間アイコン８３ａが配置される。静アイコン８１ｂの上側には、吹き出し内に「５分」を表示した滞留時間アイコン８３ｂが配置される。これによりユーザは、立ち止まっている各人物の滞留時間を容易に視認することができる。以下、各滞留時間アイコン８３ａ，８３ｂを特に区別しないときには、単に滞留時間アイコン８３と記載する。
なお、静アイコン８１の上に吹き出しの滞留時間アイコン８３を表示するだけでなく、動アイコン８２の上に吹き出しの滞留時間アイコン８３を表示してよい。この変形例については、後記する図１４から図１６で詳細に説明する。

動アイコン８２Ｌ，８２Ｆ，８２Ｂ，８２Ｒは、いずれも足を開いた様子がデザインされている。これによりユーザは、このアイコンに対応する人物が移動していることを直感的に知ることができる。
その反対に、静アイコン８１ａ，８１ｂは、いずれも足を閉じた様子がデザインされている。これによりユーザは、このアイコンに対応する人物が立ち止まっていることを直感的に知ることができる。

図１４は、混雑画像７２の生成方法の変形例を示すフローチャートである。
ステップＳ３０〜Ｓ３５までの処理は、図１２に示した混雑画像７２の生成方法と同様である。
ステップＳ３３の処理で移動状態ではないと判定されたならば、混雑情報解析部４５は、この人物の向きを取得し〈ステップＳ４１〉、向きに応じた静アイコン８１を生成する（ステップＳ４２）。混雑情報解析部４５は、例えば顔の向きの画像データベースとフレーム画像との照合により、立ち止まっている人物の向きを判定（取得）可能である。

ステップＳ３５またはステップＳ４２の処理の後、更に混雑情報解析部４５は、この人物の滞留時間を取得して（ステップＳ４３）、滞留時間に応じた吹き出しである滞留時間アイコン８３を追加する（ステップＳ４４）。以下、混雑情報解析部４５が背景画像に生成したアイコンを重畳加工するステップＳ３８以降の処理と、ステップＳ３６，Ｓ３７の処理とは、図１２に示した混雑画像７２の生成方法と同様である。

図１５は、変形例における人物の移動状態と静止状態とを示すアイコンである。
これらアイコンは、特定エリア内に設置された映像撮影装置２（カメラ）で撮影された人の行動を表示するものである。混雑解析装置４は、映像撮影装置２（カメラ）で撮影されたエリア内の人の混雑や滞留などの状況を以下のアイコンで表示する。
動アイコン８２Ｌは紫色であり、図ではハッチングで示している。この動アイコン８２Ｌは、足を開いた人物と、その頭部が左を向いているアイコンで表示される。これにより、対応する人物が左に移動している状況を示している。
静アイコン８１Ｌは黄色であり、図では白抜きで示している。この静アイコン８１Ｌは、足を閉じた人物と、その頭部が左を向いているアイコンで表示される。これにより、対応する人物が左を向いて立ち止まっている状況を示している。

動アイコン８２Ｆは紫色であり、図ではハッチングで示している。この動アイコン８２Ｆは、足を開いた人物と、その頭部が前方（紙面の手前方向）を向いているアイコンで表示される。これにより、対応する人物が前方（紙面の手前方向）に移動している状況を示している。
静アイコン８１Ｆは黄色であり、図では白抜きで示している。この静アイコン８１Ｆは、足を閉じた人物と、その頭部が前方（紙面の手前方向）を向いているアイコンで表示される。これにより、対応する人物が前方（紙面の手前方向）を向いて立ち止まっている状況を示している。

動アイコン８２Ｂは紫色であり、図ではハッチングで示している。この動アイコン８２Ｂは、足を開いた人物と、その頭部が後方（紙面の奥方向）を向いているアイコンで表示される。これにより、対応する人物が後方（紙面の奥方向）に移動している状況を示している。
静アイコン８１Ｂは黄色であり、図では白抜きで示している。この静アイコン８１Ｂは、足を閉じた人物と、その頭部が後方（紙面の奥方向）を向いているアイコンで表示される。これにより、対応する人物が後方（紙面の奥方向）を向いて立ち止まっている状況を示している。

動アイコン８２Ｒは紫色であり、図ではハッチングで示している。この動アイコン８２Ｒは、足を開いた人物と、その頭部が右を向いているアイコンで表示される。これにより、対応する人物が右に移動している状況を示している。
静アイコン８１Ｒは黄色であり、図では白抜きで示している。この静アイコン８１Ｒは、足を閉じた人物と、その頭部が右を向いているアイコンで表示される。これにより、対応する人物が右を向いて立ち止まっている状況を示している。

動アイコン８２Ｌ，８２Ｆ，８２Ｂ，８２Ｒは、いずれも足を開いた様子がデザインされている。これによりユーザは、このアイコンに対応する人物が移動していることを直感的に知ることができる。これら動アイコン８２Ｌ，８２Ｆ，８２Ｂ，８２Ｒは、図１４に示したステップＳ３５の処理で生成される。
その反対に、静アイコン８１Ｌ，８１Ｆ，８１Ｂ，８１Ｒは、いずれも足を閉じた様子がデザインされている。これによりユーザは、このアイコンに対応する人物が立ち止まっていることを直感的に知ることができる。これら静アイコン８１Ｌ，８１Ｆ，８１Ｂ，８１Ｒは、図１４に示したステップＳ４２の処理で生成される。

図１６は、変形例の人物の滞留時間を示すアイコンである。
動アイコン８２ｃは、図１５に示した動アイコン８２Ｂと同様である。この動アイコン８２ｃの上側には、吹き出し内に「８秒」を表示した滞留時間アイコン８３ｃが配置される。
動アイコン８２ｄは、図１５に示した動アイコン８２Ｂと同様である。この動アイコン８２ｄの上側には、吹き出し内に「１４秒」を表示した滞留時間アイコン８３ｄが配置される。これによりユーザは、移動中の各人物の滞留時間を容易に視認することができる。
なお、動アイコン８２の滞留時間とは、予め設定したエリアに対象人物が入ってから出るまでの時間を指す。ここで予め設定したエリアは、映像撮影装置２の撮影画角の範囲でもよく、また、改札の入り口から出口までの範囲でもよく、限定されない。

静アイコン８１ａは、図１５に示した静アイコン８１Ｂと同様である。この静アイコン８１ａの上側には、吹き出し内に「３分」を表示した滞留時間アイコン８３ａが配置される。
静アイコン８１ｂは、図１５に示した静アイコン８１Ｂと同様である。この静アイコン８１ｂの上側には、吹き出し内に「５分」を表示した滞留時間アイコン８３ｂが配置される。これによりユーザは、立ち止まっている各人物の滞留時間を容易に視認することができる。
以下、各滞留時間アイコン８３ａ〜８３ｄを特に区別しないときには、単に滞留時間アイコン８３と記載する。これら滞留時間アイコン８３は、図１４に示したステップＳ４４の処理で生成される。滞留時間アイコン８３を、任意の動アイコン８２Ｌ，８２Ｆ，８２Ｂ，８２Ｒや、静アイコン８１Ｌ，８１Ｆ，８１Ｂ，８１Ｒと組み合わせて表示することにより、各人物の滞留時間を知ることができる。よってユーザは、各エリアの混雑状況を容易に把握可能となる。

図１７は、混雑動画の生成方法を示すフローチャートである。
最初、人物分類部４３〈図１参照〉が、動画に含まれる画面（フレーム）中の人数を取得する（ステップＳ５０）。
混雑情報解析部４５は、所定時間に亘ってステップＳ５１〜Ｓ５７の処理を繰り返す。更に混雑情報解析部４５は、各時間における画面中の全人物についてステップＳ５２〜Ｓ５５の処理を繰り返す。
混雑情報解析部４５は、各人物の状態が移動／静止のいずれかを取得し（ステップＳ５３）、各人物の状態に応じたアイコンを生成する（ステップＳ５４）。混雑情報解析部４５は、画面中の全人物についてステップＳ５２〜Ｓ５５の処理を繰り返したならば、背景画像に生成したアイコンを重畳加工して混雑画像７２を作成する。更に混雑情報解析部４５は、作成した混雑画像７２を保存する（ステップＳ５６）。

更に混雑情報解析部４５は、所定時間に亘ってステップＳ５１〜Ｓ５７の処理を繰り返したならば、保存した混雑画像７２をＧＩＦ（Graphics Interchange Format）動画に加工し（ステップＳ５８）する。混雑情報解析部４５は更に、加工したＧＩＦ動画を表示装置５に配信〈出力〉し（ステップＳ５９）、図１７の処理を終了する。
これにより、混雑解析装置４は、ユーザの表示装置５に対して、混雑動画を配信（出力）することができる。この混雑動画により、ユーザは、混雑状況の変化をより好適に把握可能である。

図１８は、平均通過時間の算出方法を示すフローチャートである。
混雑情報解析部４５は、人数と状態に限られず、ユーザにとって有用な混雑度の尺度を配信する。例えは、ここでは改札通り抜けに要する平均通過時間を、ユーザの表示装置５に配信している。
具体的にいうと、混雑情報解析部４５は、ステップＳ７０〜Ｓ７３の処理を所定時間に亘って繰り返す。混雑情報解析部４５は、改札を通過した人物の移動軌跡を取得し（ステップＳ７１）、改札通過所要時間を計算する（ステップＳ７２）。
所定時間に亘って処理を繰り返した（ステップＳ７３）のち、混雑情報解析部４５は、この所定時間に通過した人物群の平均通過時間を計算する（ステップＳ７４）。混雑情報解析部４５は、計算した平均通過時間を表示装置５に配信（出力）し（ステップＳ７５）、図１８の処理を終了する。これによりユーザは、改札通り抜けに要する平均通過時間を知ることができ、駅の混雑の状況を把握することができる。

また混雑情報解析部４５は、改札通り抜けに要する平均通過時間に限定されず、単位時間に改札を通り抜けた人数をカウントして、カウントした平均通り抜け人数を配信してもよい。これによってもユーザは、駅の混雑の状況を把握することができる。
混雑情報解析部４５は、列車到着時とそれ以外とを分けたり、混雑時とそれ以外とを分けたりして、改札通り抜けに要する平均通過時間を計算してもよく、限定されない。

図１９は、スムーズ性による混雑度判定方法を示すフローチャートである。
混雑情報解析部４５は、人数と状態に限られず、更に衝突性やスムーズ性を用いた混雑判定により、ユーザの体感に即した混雑度を判定することができる。人は、他の人にぶつかりそうになると、混雑していると感じるためである。
混雑情報解析部４５は、ステップＳ８０〜Ｓ８６の処理を所定時間に亘って繰り返す。
混雑情報解析部４５は、ある人物の移動軌跡を取得し（ステップＳ８１）、この人物の所定距離以内に存在する別の人物の移動方向を取得する（ステップＳ８２）。この移動方向は、上方向から見たときの移動方向である。混雑情報解析部４５は、各人物の移動軌跡を座標変換して、斜めから撮影した画像から、上方向から見たときの移動方向を取得する。

更に混雑情報解析部４５は、人物同士の移動方向の成す角度を算出する（ステップＳ８３）。混雑情報解析部４５は、算出した角度から算出される設定範囲内に収まる別の人物がいたならば（ステップＳ８４）、これを該当人数としてカウントする（ステップＳ８５）。
所定時間に亘ってステップＳ８０〜Ｓ８６の処理を繰り返したならば、混雑情報解析部４５は、カウントした該当人数を混雑度として判定する（ステップＳ８７）。これによっても、ユーザの体感に即した混雑度を判定することができる。

図２０は、スムーズ性評価の概念図である。図１９に示したステップＳ８４の判定条件の概念が図示されている。
人物６１ｃ〜６１ｉは、その移動方向が矢印により示されている。図２０では、人物６１ｈに着目して、衝突のおそれがある設定範囲をハッチングで示している。この設定範囲は、人物６１ｈの移動方向を中心とする約９０度の扇型である。図２０では、この設定範囲内に人物６１ｃ，６１ｄが位置しているので、２名が該当人数としてカウントされる。
これにより、ユーザの体感に即した混雑度を容易に判定することができる。

（変形例）
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスクなどの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。

各実施形態において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の変形例として、例えば、次の（ａ）〜（ｉ）のようなものがある。

（ａ） 駅全体の混雑度は、単なる各エリアの混雑度の平均ではなく、各エリアに応じた重み付けを行ってもよい。例えば、改札付近にいる人物への重み付けを行い、混雑度を算出してもよい。
（ｂ） 改札付近では、静止と移動の判定条件の閾値を変えてもよい。これにより混雑解析装置４は、改札前で自然に発生する移動速度の低下を、混雑として検知しなくなる。

（ｃ） 更に混雑解析装置４は、列車の発着に応じた混雑判定を行ってもよい。例えば、列車の発着直後には、混雑の判定条件を引き上げるなどである。これにより混雑解析装置４は、列車の発着時に自然に発生する移動速度の低下を、混雑として検知しなくなる。
（ｄ） 混雑解析装置４は、通常の混雑状況に応じて、閾値を設定してもよい。例えば朝晩のラッシュ時には混雑の判定条件を引き上げるなどである。これにより混雑解析装置４は、ラッシュ時に自然に発生する移動速度の低下を、混雑として検知しなくなる。

（ｅ） 混雑解析装置４は、表示装置５に配信するヒートマップ７１や混雑画像７２に、列車の到着状況を同時に表示してもよい。
（ｆ） 混雑解析装置４は、通常の混雑状況に応じて、閾値を設定してもよい。例えば朝晩のラッシュ時には混雑の判定条件を引き上げるなどである。これにより混雑解析装置４は、ラッシュ時に自然に発生する移動速度の低下を、混雑として検知しなくなる。
（ｇ） 混雑画像７２は、予め用意した背景画像の上に、人物を示す静アイコン８１や動アイコン８２を配置している。しかし、これに限られず、混雑画像７２は、予め用意した背景画像の上に、実画像中の人物領域にモザイクを掛けたものを配置してもよく、限定されない。
（ｈ） 混雑解析装置４が解析する対象は、駅に限られず、イベント会場やショッピングモールやテーマパークなどであってもよく、限定されない。
（ｉ） 混雑解析装置４が配信する混雑動画の形式は、ＧＩＦ動画に限定されない。例えば、ＭＰＥＧ（Moving Picture Experts Group）１、ＭＰＥＧ２、ＭＰＥＧ４、ＡＶＩ（Audio Video Interleave）など任意のコーデックであってもよい。

１ 混雑解析システム
２ａ，２ｂ 映像撮影装置
３ 映像記憶装置
４ 混雑解析装置
４０ 映像入力部
４１ 特徴点抽出部
４２ 軌跡抽出部
４３ 人物分類部
４４ 移動軌跡決定部 （軌跡決定部）
４５ 混雑情報解析部
４６ 混雑情報出力部 （出力部）
４７ プロセッサ
４８ａ，４８ｂ ネットワークインタフェース
４９ 記憶装置
４９１ 混雑解析プログラム
４９２ 混雑情報データベース
５ 表示装置
６１ 人物
６２ 特徴点
６３ａ〜６３ｃ 軌跡
６４ａ，６４ｂ 人物矩形
６５ａ，６５ｂ 重心
６６ａ，６６ｂ 人物移動軌跡
７１ ヒートマップ
７２ 混雑画像
８１，８１Ｌ，８１Ｆ，８１Ｂ，８１Ｒ 静アイコン
８２，８２Ｌ，８２Ｆ，８２Ｂ，８２Ｒ 動アイコン
８３ａ〜８３ｄ 滞留時間アイコン
Ｎ ネットワーク

本発明は、混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラムに関する。

特許文献１では、単位面積あたり人数については言及されておらず、単にテクスチャ情報判定部人非存在判定／テクスチャ情報判定部人存在判定について記載されているだけである。しかし一般的には、移動領域や滞留領域が存在するとしても、単位面積あたり人数が少なければ混雑とはいえない。
そこで、本発明は、ユーザがエリアの混雑を適切に判定できる混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラムを提供することを課題とする。

前記した課題を解決するため、本発明の混雑状況可視化装置は、撮影画像から人物の移動方向を検出し、前記人物の移動方向に応じて、移動している方向を示す人型アイコンを生成し、背景画像へ前記人型アイコンを重畳した混雑画像を生成する処理部を有する。
その他の手段については、発明を実施するための形態のなかで説明する。

本発明によれば、混雑状況可視化装置、混雑状況可視化システム、混雑状況可視化方法、および混雑状況可視化プログラムにおいて、ユーザがエリアの混雑を適切に判定することが可能となる。

Claims (13)

1. 人物を撮影した動画から、人数と各前記人物の移動軌跡とを決定する軌跡決定部と、
   前記動画に撮影されている各前記人物の移動軌跡から当該人物の状態を決定し、前記人数と各前記人物の状態とに応じて混雑度を判定する混雑情報解析部と、
   を備えることを特徴とする混雑解析装置。
2. 前記混雑情報解析部が判定した前記混雑度を表示装置に出力する出力部、
   を更に備えることを特徴とする請求項１に記載の混雑解析装置。
3. 前記混雑情報解析部は、前記人物の状態として、当該人物が移動中と静止中のうちいずれかを決定する、
   ことを特徴とする請求項１に記載の混雑解析装置。
4. 前記混雑情報解析部は、前記人数が多いほど混雑度が高いと判定し、かつ各前記人物の静止割合が多いほど混雑度が高いと判定する、
   ことを特徴とする請求項３に記載の混雑解析装置。
5. 前記混雑情報解析部は、前記人物の状態として更に移動方向を決定する、
   ことを特徴とする請求項３に記載の混雑解析装置。
6. 前記混雑情報解析部は、前記人物の状態として更に荷物の有無を決定する、
   ことを特徴とする請求項３に記載の混雑解析装置。
7. 前記混雑情報解析部は、前記人物の状態として更に性別を決定する、
   ことを特徴とする請求項３に記載の混雑解析装置。
8. 前記混雑情報解析部は、前記人物の状態として更に年齢を決定する、
   ことを特徴とする請求項３に記載の混雑解析装置。
9. 前記混雑情報解析部は、予め用意した背景画像の上に、各前記人物の位置および当該人物の状態を示す図形を配置して、混雑状況を示す画像を生成する、
   ことを特徴とする請求項３ないし８のうちいずれか１項に記載の混雑解析装置。
10. 混雑状況を示す前記画像を表示装置に出力する出力部、
    を更に備えることを特徴とする請求項９に記載の混雑解析装置。
11. 前記混雑情報解析部は、混雑状況を示す前記画像を複数生成して混雑状況を示す動画を生成し、
    前記出力部は、混雑状況を示す前記動画を表示装置に出力する、
    ことを特徴とする請求項１０に記載の混雑解析装置。
12. 人物を撮影した動画から、人数と各前記人物の移動軌跡とを決定するステップ、
    前記動画に撮影されている各前記人物の移動軌跡から当該人物の状態を決定するステップ、
    前記人数と各前記人物の状態とに応じて混雑度を判定するステップ、
    判定した前記混雑度を表示装置に出力するステップ、
    を備えることを特徴とする混雑解析方法。
13. コンピュータに、
    人物を撮影した動画から、人数と各前記人物の移動軌跡とを決定するステップ、
    前記動画に撮影されている各前記人物の移動軌跡から当該人物の状態を決定するステップ、
    前記人数と各前記人物の状態とに応じて混雑度を判定するステップ、
    判定した前記混雑度を表示装置に出力するステップ、
    を実行させるための混雑解析プログラム。

Images