JP6485709B2 - 座席モニタリング装置、座席モニタリングシステムおよび座席モニタリング方法 - Google Patents

Description

本発明は、複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する座席モニタリング装置、座席モニタリングシステムおよび座席モニタリング方法に関するものである。

近年、乗客が自由席を快適に利用することができるように、座席利用料を支払うことで利用可能な座席を設けた列車が運行されている。このような列車においては、座席の不正利用（不正乗車）を防止するため、座席を利用している乗客の切符を乗務員が確認する車内検札が行われていたが、この車内検札は非常に手間がかかることから、ＩＣカードを用いて車内検札を行うシステムが運用されるようになっている。

ところが、このようなＩＣカードを用いて車内検札を行うシステムは、車内検札を無人化することができるものの、座席の不正利用そのものを防止することはできない。このため、座席の不正利用の状況を把握するには、乗務員が車内を巡回するしかない。一方、車内の座席をカメラで撮像することも考えられるが、その撮像画像のみでは、座席の不正利用の状況を即座に把握することができない。そこで、座席の不正利用の状況を監視者が即座に把握することができるように、座席の不正利用の状況を可視化して表示する技術が望まれる。

このような座席の不正利用の状況を可視化して表示する技術に関するものとして、従来、列車の車内をカメラで撮像して、その車内の画像から、座席を利用している乗客を検知して、この検知結果と、予約された座席に関する予約情報とに基づいて、座席の不正利用、すなわち、予約済みでない座席を乗客が利用していることを判別して、その座席の不正利用を表すオブジェクトを車内の画像に重畳して表示する技術が知られている（特許文献１参照）。

また、映画館やスタジアムにおける観客席をカメラで撮像して、その観客席の画像から、座席を利用している観客を検知して、観客が利用している座席とその予約状況とを、観客席の画像上に表示することで、未予約の座席を観客が利用していることを監視員が容易に識別することができるようにした技術が知られている（特許文献２参照）。

特開２０１１−２１０１２５号公報 特許第４３６７１７７号公報

さて、前記従来の技術のように、監視エリアを撮像した撮像画像を表示することで、監視エリアの実際の状況をユーザが把握することができるが、撮像画像を表示することで、利用者のプライバシーが侵害されることは避けることが望まれる。特に、不正な利用者については、撮像画像をそのまま表示させて個人を識別する必要性があるが、正当な利用者については、個人を識別する必要性がないため、常時、プライバシーを保護することが望まれる。しかしながら、前記従来の技術では、このような撮像画像に写る利用者のプライバシーを保護することに関する考慮はなんらなく、利用者のプライバシーを保護することができないという問題があった。

そこで、本発明は、監視エリアを撮像した画像上に、各座席の不正利用などに関する利用状況を可視化すると共に、監視エリアを撮像した画像に写る利用者のプライバシーを保護することができる座席モニタリング装置、座席モニタリングシステムおよび座席モニタリング方法を提供することを主な目的とするものである。

本発明の座席モニタリング装置は、複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する座席モニタリング装置であって、利用者による座席の利用状況に関する座席利用情報を取得する座席利用情報取得部と、前記座席利用情報に基づき、前記監視エリアを撮像した撮像画像上で座席ごとの利用状況を可視化するとともに、前記撮像画像における利用者の人物領域の少なくとも一部に対してプライバシー保護の画像処理が実施されたモニタリング画像を生成するモニタリング画像生成部と、前記座席利用情報に基づき、座席ごとの利用者の利用状況が可視化された座席マップ画像を生成するマップ画像生成部と、前記座席マップ画像を表示する画面上で座席を指定するユーザの操作入力に応じて、ユーザが指定する座席が属する座席区画に対応する前記モニタリング画像を含む前記出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の座席モニタリングシステムは、複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する座席モニタリングシステムであって、前記監視エリアを撮像して、撮像画像に対する人物検出を行うカメラと、利用者による座席の利用状況を可視化した前記出力情報を生成するサーバ装置と、前記出力情報に基づき、閲覧画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、利用者による座席の利用状況に関する座席利用情報を取得する座席利用情報取得部と、前記座席利用情報に基づき、前記撮像画像上で座席ごとの利用状況を可視化するとともに、前記撮像画像における利用者の人物領域の少なくとも一部に対してプライバシー保護の画像処理が実施されたモニタリング画像を生成するモニタリング画像生成部と、前記座席利用情報に基づき、座席ごとの利用者の利用状況が可視化された座席マップ画像を生成するマップ画像生成部と、前記座席マップ画像を表示する画面上で座席を指定するユーザの操作入力に応じて、ユーザが指定する座席が属する座席区画に対応する前記モニタリング画像を含む前記出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の座席モニタリング方法は、複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する処理を情報処理装置に行わせる座席モニタリング方法であって、利用者による座席の利用状況に関する座席利用情報を取得し、前記座席利用情報に基づき、前記監視エリアを撮像した撮像画像上で座席ごとの利用状況を可視化するとともに、前記撮像画像における利用者の人物領域の少なくとも一部に対してプライバシー保護の画像処理が実施されたモニタリング画像を生成し、前記座席利用情報に基づき、座席ごとの利用者の利用状況が可視化された座席マップ画像を生成し、前記座席マップ画像を表示する画面上で座席を指定するユーザの操作入力に応じて、ユーザが指定する座席が属する座席区画に対応する前記モニタリング画像を含む前記出力情報を生成する構成とする。

本発明によれば、座席マップ画像で座席ごとの利用状況を把握し、この座席マップ画像で注目する座席を指定することで、その座席が写るモニタリング画像を表示させて、注目する座席の実際の状況を確認することができるため、座席の利用状況を確認する作業を効率よく行うことができる。また、プライバシー保護の画像処理が実施されるため、モニタリング画像に写る利用者のプライバシーを保護することができる。

第１実施形態に係る座席モニタリングシステムの全体構成図 列車の車両におけるカメラ１の配置状況を示す説明図 路線マップ画像表示画面を示す説明図 列車マップ画像表示画面を示す説明図 車両マップ画像表示画面を示す説明図 座席マップ画像表示画面を示す説明図 モニタリング画像表示画面を示す説明図 カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図 カメラ１およびサーバ装置２の機能ブロック図 第１実施形態の変形例に係るカメラ１およびサーバ装置２の機能ブロック図 第２実施形態に係るモニタリング画像表示画面を示す説明図 第２実施形態に係るカメラ１およびサーバ装置２の機能ブロック図 第２実施形態の変形例に係るカメラ１およびサーバ装置２の機能ブロック図

前記課題を解決するためになされた第１の発明は、複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する座席モニタリング装置であって、利用者による座席の利用状況に関する座席利用情報を取得する座席利用情報取得部と、前記座席利用情報に基づき、前記監視エリアを撮像した撮像画像上で座席ごとの利用状況を可視化するとともに、前記撮像画像における利用者の人物領域の少なくとも一部に対してプライバシー保護の画像処理が実施されたモニタリング画像を生成するモニタリング画像生成部と、前記座席利用情報に基づき、座席ごとの利用者の利用状況が可視化された座席マップ画像を生成するマップ画像生成部と、前記座席マップ画像を表示する画面上で座席を指定するユーザの操作入力に応じて、ユーザが指定する座席が属する座席区画に対応する前記モニタリング画像を含む前記出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、座席マップ画像で座席ごとの利用状況を把握し、この座席マップ画像で注目する座席を指定することで、その座席が写るモニタリング画像を表示させて、注目する座席の実際の状況を確認することができるため、座席の利用状況を確認する作業を効率よく行うことができる。また、プライバシー保護の画像処理が実施されるため、モニタリング画像に写る利用者のプライバシーを保護することができる。

なお、利用状況を可視化として、利用者ごとの識別画像を付加する場合、モニタリング画像における利用者の人物領域上またはその近傍に配置すればよく、また、識別画像の表示態様を変更するとは、識別画像の表示色などの表示形態を変更する他に、識別画像の表示の有無を変更することを含み、識別画像の表示形態を変更することにより、また、識別画像を表示させるか否かにより、座席ごとの利用状況を可視化することができる。

また、第２の発明は、さらに、座席ごとの利用の可否に関する座席管理情報を取得する座席管理情報取得部と、前記撮像画像に対する人物検出の結果に基づき、各座席における利用者の在席を検知する在席検知部と、を備え、前記座席利用情報取得部は、前記座席管理情報および前記在席検知部の検知結果に基づき、各座席について不正利用か否かを判定して、各座席の不正利用に関する前記座席利用情報を取得する構成とする。

これによると、不正利用か否かをユーザが即座に把握することができる。この場合、座席の利用の可否、すなわち、座席の利用が許可されているか否かに関する座席利用情報と、在席検知部の検知結果とを座席ごとに比較することで、各座席について不正利用か否かを判定することができる。

また、第３の発明は、前記モニタリング画像生成部は、前記座席利用情報に基づき、不正利用でない利用者の人物領域に対して前記プライバシー保護の画像処理を実施し、不正利用である利用者の人物領域に対して前記プライバシー保護の画像処理を実施しない構成とする。

これによると、正当な利用者のプライバシーを保護することができる。一方、不正な利用者は未処理の状態で表示されるため、個人を識別することができる。

また、第４の発明は、前記モニタリング画像生成部は、前記プライバシー保護の画像処理として、モザイク処理、ぼかし処理、ブレンド処理のいずれかの識別性低減処理が実施された前記モニタリング画像を生成する構成とする。

これによると、モザイク処理、ぼかし処理、ブレンド処理のいずれかの識別性低減処理を実施することで、個人を識別することができなくなるため、利用者のプライバシーを確実に保護することができる。

また、第５の発明は、前記モニタリング画像生成部は、前記識別性低減処理が実施された識別性低減画像上に、利用者の人物領域の少なくとも一部を取り囲む枠画像を重畳した前記モニタリング画像を生成し、前記座席利用情報に基づき、前記枠画像の表示形態を変更することで、座席ごとの利用状況を可視化する構成とする。

これによると、利用者ごとの枠画像の表示態様（例えば、表示色）により、利用者による座席の利用状況（例えば、不正利用か否か）が表現されるため、利用者による座席の利用状況を即座に把握することができる。

また、第６の発明は、前記モニタリング画像生成部は、前記プライバシー保護の画像処理として、前記撮像画像における利用者の人物領域をその人物領域の形状を表すマスク画像に置き換える画像処理が実施された前記モニタリング画像を生成する構成とする。

これによると、撮像画像内の人物領域をマスク画像に置き換えることで、個人を識別することができなくなるため、利用者のプライバシーを確実に保護することができる。

また、第７の発明は、前記モニタリング画像生成部は、前記座席利用情報に基づき、前記マスク画像の表示形態を変更することで、座席ごとの利用状況を可視化する構成とする。

これによると、利用者ごとのマスク画像の表示態様（例えば、表示色）により、利用者による座席の利用状況（例えば、不正利用か否か）が表現されるため、利用者による座席の利用状況を即座に把握することができる。

また、第８の発明は、前記監視エリアは、座席利用料が課される座席が配置された列車の車内であり、前記モニタリング画像生成部は、駅構内での列車の発車時または停車時に撮像された前記撮像画像に対する人物検出の結果に基づいて前記プライバシー保護の画像処理が実施された前記モニタリング画像を生成する構成とする。

これによると、列車の発車時または停車時の車両の揺れで乗客の身体に動きが生じることから、動体検知に基づく人物検出を確実に行うことができるため、乗客に対してプライバシー保護の画像処理が適切に実施されたモニタリング画像を生成することができる。

また、第９の発明は、前記監視エリアは、座席利用料が課される座席が配置された列車の車内であり、前記座席管理情報取得部は、駅構内での列車の発車時または停車時における前記座席管理情報を取得する構成とする。

これによると、列車の発車時または停車時に乗客が着席や離席を行う場合が多いため、適切な座席管理情報を取得することができる。

また、第１０の発明は、前記監視エリアは、座席利用料が課される座席が配置された列車の車内であり、さらに、前記座席利用情報取得部で取得した前記座席利用情報を、車両単位、列車単位、路線単位の少なくともいずれかで集約する座席利用情報集約部と、この座席利用情報集約部で集約された前記座席利用情報に基づき、路線ごとの利用状況を可視化した路線マップ画像、列車ごとの利用状況を可視化した列車マップ画像、車両ごとの利用状況を可視化した車両マップ画像の少なくともいずれかを生成するマップ画像生成部と、を備えた構成とする。

これによると、車両単位や列車単位や路線単位でユーザが座席の利用状況を把握することができる。

また、第１１の発明は、前記モニタリング画像生成部は、初期状態において、前記プライバシー保護の画像処理を実施した前記モニタリング画像を生成し、プライバシー保護を解除するユーザの操作入力に応じて、前記プライバシー保護の画像処理を実施しない前記モニタリング画像を生成する構成とする。

これによると、ユーザが必要に応じてプライバシー保護を解除して、プライバシー保護の画像処理が実施されていないモニタリング画像を表示させることができる。

また、第１２の発明は、複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する座席モニタリングシステムであって、前記監視エリアを撮像して、撮像画像に対する人物検出を行うカメラと、利用者による座席の利用状況を可視化した前記出力情報を生成するサーバ装置と、前記出力情報に基づき、閲覧画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、利用者による座席の利用状況に関する座席利用情報を取得する座席利用情報取得部と、前記座席利用情報に基づき、前記撮像画像上で座席ごとの利用状況を可視化するとともに、前記撮像画像における利用者の人物領域の少なくとも一部に対してプライバシー保護の画像処理が実施されたモニタリング画像を生成するモニタリング画像生成部と、前記座席利用情報に基づき、座席ごとの利用者の利用状況が可視化された座席マップ画像を生成するマップ画像生成部と、前記座席マップ画像を表示する画面上で座席を指定するユーザの操作入力に応じて、ユーザが指定する座席が属する座席区画に対応する前記モニタリング画像を含む前記出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、第１の発明と同様に、座席マップ画像で座席ごとの利用状況を把握し、この座席マップ画像で注目する座席を指定することで、その座席が写るモニタリング画像を表示させて、注目する座席の実際の状況を確認することができるため、座席の利用状況を確認する作業を効率よく行うと共に、モニタリング画像に写る利用者のプライバシーを保護することができる。

また、第１３の発明は、複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する処理を情報処理装置に行わせる座席モニタリング方法であって、利用者による座席の利用状況に関する座席利用情報を取得し、前記座席利用情報に基づき、前記監視エリアを撮像した撮像画像上で座席ごとの利用状況を可視化するとともに、前記撮像画像における利用者の人物領域の少なくとも一部に対してプライバシー保護の画像処理が実施されたモニタリング画像を生成し、前記座席利用情報に基づき、座席ごとの利用者の利用状況が可視化された座席マップ画像を生成し、前記座席マップ画像を表示する画面上で座席を指定するユーザの操作入力に応じて、ユーザが指定する座席が属する座席区画に対応する前記モニタリング画像を含む前記出力情報を生成する構成とする。

これによると、第１の発明と同様に、座席マップ画像で座席ごとの利用状況を把握し、この座席マップ画像で注目する座席を指定することで、その座席が写るモニタリング画像を表示させて、注目する座席の実際の状況を確認することができるため、座席の利用状況を確認する作業を効率よく行うと共に、モニタリング画像に写る利用者のプライバシーを保護することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、本実施形態に係る座席モニタリングシステムの全体構成図である。

この座席モニタリングシステムは、列車の車内を監視エリアとして、車内を撮影した画像などに基づいて生成された、座席ごとの利用状況を可視化したモニタリング画像を、監視センターの監視者などのユーザに提供するものであり、カメラ１と、サーバ装置（座席モニタリング装置）２と、ユーザ端末装置（閲覧装置）３と、車内検札装置４と、座席管理装置５と、を備えている。

列車は、自由席で座席利用料が課される複数の座席が配置された特別車両（普通列車のグリーン車）が連結されたものであり、この特別車両では、乗客は座席利用料を支払うことで自由に座席を選択して利用することができる。この特別車両には、座席ごとの乗客の利用状況を監視するために、カメラ１および車内検札装置４が設置されている。このカメラ１および車内検札装置４は、車載ネットワークおよび無線通信部６と無線基地局７とを介して、ＶＬＡＮ（Virtual Local Area Network）などの閉域ネットワークに接続されている。

カメラ１は、列車の車内の天井に設置され、列車の車内に設けられた座席を撮像する。このカメラ１では、車内の座席を撮像した撮像画像から人物を検出する処理が行われ、撮像画像および人物検出情報が出力される。

車内検札装置４は、各座席の上方の天井に設置され、乗客が購入した座席利用券（グリーン券）を確認する車内検札を無人で行うものであり、リーダライタ８と、表示ランプ９と、を備えている。乗客は、駅構内の券売機などにおいてＩＣカードを用いて座席利用券を購入した上で列車に乗車し、自分が着席する座席に対応する車内検札装置４のリーダライタ８にＩＣカードをかざす操作を行うと、表示ランプ９が赤色から緑色に変わる。これにより、乗務員等は、車内検札が終了したことを確認することができる。なお、座席利用券の購入および車内検札を、スマートフォンなどの携帯端末装置で行うこともできる。

座席管理装置５は、各列車に搭載された車内検札装置４と閉域ネットワークを介して接続されており、車内検札装置４から、各座席の車内検札が終了したか否かに関する車内検札情報を収集する。また、座席管理装置５は、閉域ネットワークを介してサーバ装置２に接続されており、座席ごとの利用の可否、すなわち、乗客が車内改札により座席を利用する権限があるか否かに関する座席管理情報をサーバ装置２に提供する。

サーバ装置２は、閉域ネットワークを介して各列車の各カメラ１に接続されており、各列車の各カメラ１から送信される撮像画像を受信する。また、サーバ装置２は、インターネットを介してユーザ端末装置３に接続されており、ユーザが閲覧する画面を生成してユーザ端末装置３に配信し、また、ユーザが画面で入力した情報を取得する。

ユーザ端末装置３は、スマートフォンやタブレット端末やＰＣで構成される。このユーザ端末装置３では、サーバ装置２から配信されるモニタリング画像などの閲覧画面が表示される。このモニタリング画像などの閲覧画面をユーザが閲覧することで、各列車の各車両における乗客による座席の利用状況などを把握することができる。

さて、本実施形態では、サーバ装置２において、カメラ１から取得した撮像画像に基づいて、各座席における乗客の在席を検知し、この在席検知結果と、座席管理装置５から取得した座席管理情報とに基づいて、ＩＣカードによる車内検札の有無に応じて、座席に在席する乗客が不正乗車か否かを判定する。すなわち、ＩＣカードによる車内検札が終了した座席に着席する乗客を正当な乗客とし、ＩＣカードによる車内検札が終了していない座席に着席する乗客を不正な乗客とする。

なお、本実施形態では、座席利用券の購入および車内検札を全てＩＣカードを用いて行い、ＩＣカードを用いた車内検札を受けていない乗客を不正乗車とするが、座席利用券を切符で購入するようにしてもよい。この場合、座席利用券の切符を購入して乗車した乗客は、ＩＣカードを用いた車内検札ができないため、車内検札を受けていない乗客は、正当か否かが未定となる。この場合、乗務員は、座席利用券の切符を確認した際に、所持する管理端末（図示せず）から車内検札終了に関する情報を入力することで、表示ランプ９を赤色から緑色に変えることができる。

次に、列車の各車両におけるカメラの配置状況について説明する。図２は、列車の車両におけるカメラ１の配置状況を示す説明図である。

列車の各車両Ｃの天井には、車内に複数配置された座席Ｓを撮像するようにカメラ１が設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮像範囲を有する全方位カメラが採用されているが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。

次に、サーバ装置２で生成されてユーザ端末装置３に表示される画面について説明する。図３は、路線マップ画像表示画面を示す説明図である。図４は、列車マップ画像表示画面を示す説明図である。図５は、車両マップ画像表示画面を示す説明図である。図６は、座席マップ画像表示画面を示す説明図である。図７は、モニタリング画像表示画面を示す説明図である。

本実施形態では、路線マップ画像表示画面（図３参照）、列車マップ画像表示画面（図４参照）、車両マップ画像表示画面（図５参照）、座席マップ画像表示画面（図６参照）、およびモニタリング画像表示画面（図７参照）に関する画面情報がサーバ装置２で生成されて、これらの画面がユーザ端末装置３に表示される。

路線マップ画像表示画面（図３参照）で、注目する路線を選択すると、選択した路線に関する列車マップ画像表示画面（図４参照）に遷移する。そして、列車マップ画像表示画面で、注目する列車を選択すると、選択した列車に関する車両マップ画像表示画面（図５参照）に遷移する。そして、車両マップ画像表示画面で、注目する車両を選択すると、選択した車両に関する座席マップ画像表示画面（図６参照）に遷移する。そして、座席マップ画像表示画面で、注目する座席を選択すると、選択した座席に関するモニタリング画像表示画面（図７参照）に遷移する。

まず、図３に示すように、路線マップ画像表示画面には、路線ごとの利用状況（不正乗車の多さ）を可視化する路線マップ画像１０１が表示される。この路線マップ画像１０１は、対象となる地域における各路線の敷設状況を模式的に描画したものであり、路線マップ画像１０１内の各路線を表す路線画像１０２の表示形態を変更することで、路線ごとの利用状況が可視化されている。図３に示す例では、路線画像１０２の表示色で、路線ごとの不正乗車の多さが表現されている。

次に、図４に示すように、列車マップ画像表示画面には、列車ごとの利用状況（不正乗車の多さ）を可視化する列車マップ画像１１１が表示される。この列車マップ画像１１１は、対象となる路線における列車の運行状況を模式的に描画したしたものであり、列車マップ画像１１１内の各列車を表す列車画像１１２の表示形態を変更することで、列車ごとの利用状況が可視化されている。図４に示す例では、列車画像１１２の表示色で、列車ごとの不正乗車の多さが表現されている。

次に、図５に示すように、車両マップ画像表示画面には、車両ごとの利用状況（不正乗車の多さ）を可視化する車両マップ画像１２１が表示される。この車両マップ画像１２１は、対象となる列車における車両の編成状況を模式的に描画したものであり、車両マップ画像１２１内の各車両を表す車両画像１２２の表示形態を変更することで、車両ごとの利用状況が可視化される。図５に示す例では、車両画像１２２の表示色で、車両ごとの不正乗車の多さが表現されている。

次に、図６に示すように、座席マップ画像表示画面には、座席ごとの利用状況（不正乗車か否か）を可視化する座席マップ画像１３１が表示される。この座席マップ画像１３１は、対象となる車両における座席の配置状況を模式的に描画したものであり、座席マップ画像１３１内の各座席を表す座席画像１３２の表示形態（表示色）を変更することで、座席ごとの利用者の利用状況が可視化される。図６に示す例では、座席画像１３２の表示色で、座席ごとの不正乗車の有無が表現されている。例えば、正当な乗客が在席する座席では座席画像１３２が緑色で表示され、不正な乗客が在席する座席では座席画像１３２が赤色で表示される。空席では座席画像１３２が白色で表示される。

ここで、本実施形態では、サーバ装置２において、カメラ１から取得した撮像画像および人物検出情報と、座席管理装置５から取得した座席管理情報とに基づいて、座席ごとに不正乗車か否かを判定し、この不正乗車か否かに関する座席ごとの座席利用情報に基づいて、座席マップ画像（図６参照）における座席画像１３２の表示色が決定される。

また、サーバ装置２において、座席ごとの座席利用情報を車両ごとに集約して、車両ごとの座席利用情報（不正乗車の座席数）を取得し、この車両ごとの座席利用情報に基づいて、車両マップ画像（図５参照）における車両画像１２２の表示色が決定される。また、車両ごとの座席利用情報を列車ごとに集約して、列車ごとの不正乗車情報を取得し、この列車ごとの座席利用情報に基づいて、列車マップ画像（図４参照）における列車画像１１２の表示色が決定される。また、列車ごとの座席利用情報を路線ごとに集約して、路線ごとの座席利用情報を取得し、この路線ごとの座席利用情報に基づいて、路線マップ画像（図３参照）における路線画像１０２の表示色が決定される。

次に、図７に示すように、モニタリング画像表示画面には、座席ごとの利用状況（不正乗車か否か）を可視化するモニタリング画像１４１が表示される。このモニタリング画像１４１には、識別性低減画像１４２上に矩形の枠画像１４３が重畳して表示されている。なお、モニタリング画像１４１は、動画として閲覧できることが望ましいが、所定の時間間隔で配信される静止画によって閲覧できるようにしてもよい。

識別性低減画像１４２は、撮像画像に写る乗客のプライバシーを保護する画像処理として、人物の識別性を低減する画像処理（識別性低減処理）を撮像画像に対して実施することで生成される。図７に示す例では、識別性低減処理としてモザイク処理が実施されている。また、図７に示す例では、各乗客の顔領域（人物の顔が写る画像領域）に対して識別性低減処理が実施されている。

モザイク処理は、撮像画像を複数のブロックに分割して、ブロック内の１つの画素の画素値あるいはブロック内の各画素の画素値の平均値などの単一の画素値に、そのブロック内の全ての画素の画素値を置換するものである。

なお、本実施形態では、人物の識別性を低減する上で最も効果的な顔領域に対して識別性低減処理を実施するようにしたが、このような人物領域（人物の身体が写る画像領域）の一部ではなく、人物領域の全体に対して識別性低減処理を実施するようにしてもよい。また、撮像画像の全体に対して識別性低減処理を実施するようにしてもよい。

また、図７に示す例では、撮像画像に写る人物の識別性を低減する画像処理として、モザイク処理を実施したが、この他にぼかし処理やブレンド処理を実施するようにしてもよい。

ぼかし処理は、各種のフィルタ処理、例えば、ブラーフィルタ、ガウシアンフィルタ、メディアンフィルタ、およびバイラテラルフィルタなどによるフィルタ処理である。さらに、ネガ／ポジ反転、色調補正（明るさ変化、ＲＧＢカラーバランス変化、コントラスト変化、ガンマ補正、および彩度調整など）、２値化、ならびにエッジフィルタなどの各種の画像処理を利用することも可能である。

ブレンド処理は、２つの画像を半透過状態で合成（ブレンド）するものであり、合成する度合いを示すα値に基づいて、所定の合成用の画像と撮像画像とを合成する。

なお、撮像画像の全体に対して識別性低減処理を行う場合には、モザイク処理やぼかし処理やブレンド処理のような特殊な画像処理を行うことなく、人物の識別性が失われる程度に画像の解像度を低下させる処理を行うようにしてもよい。この場合、特別な画像処理機能を搭載する必要がないため、画像処理部を安価に構成でき、画像データ量も減少させることができるので、ネットワーク上での通信負荷を軽減することができる。

枠画像１４３は、各乗客の頭部領域（人物の頭部が写る画像領域）を取り囲むように表示されている。この枠画像１４３は、カメラ１で行われる人物検出において、検出された人物が存在する領域に設定される人物枠に基づいて生成される。

この枠画像１４３では、座席ごとの利用状況（不正乗車か否か）を表現する識別画像であり、枠画像１４３の表示態様を変更することで、座席ごとの利用状況が可視化される。図７に示す例では、枠画像１４３の表示色で、座席ごとの不正乗車の有無が表現されている。例えば、正当な乗客では枠画像１４３が緑色で表示され、不正な乗客では枠画像１４３が赤色で表示される。

なお、本実施形態では、枠画像１４３の表示色で座席ごとの利用状況を表現するようにしたが、この利用状況を表現する表示要素は、表示色（色合いや色の濃さ）に限定されるものではなく、線種（破線など）や太さで利用状況を表現することもできる。すなわち、色合い、色の濃さ、線種、および太さの少なくとも１つの表示要素が異なるように描画される構成とすればよい。

また、本実施形態では、座席ごとの利用状況（不正乗車か否か）を可視化する識別画像として、乗客の頭部を取り囲む枠画像１４３を表示するようにしたが、乗客の上半身を取り囲むように枠画像１４３を表示するようにしてもよく、さらにこのような人物領域の一部ではなく、人物領域の全体を取り囲むように枠画像１４３を表示するようにしてもよい。また、枠画像１４３を矩形としたが、この枠画像は矩形に限定されるものではなく、円形などの他の形状の図形であってもよい。さらに、座席ごとの利用状況（不正乗車か否か）を可視化する画像は、人物領域の一部あるいは全体を取り囲む枠画像に限定されるものではなく、適宜な形状の図形、記号および文字の少なくともいずれかからなる画像として、この画像を人物領域の内部またはその近傍に表示させるようにしてもよい。

さて、図７（Ａ）に示す例では、全ての人物を対象にしてプライバシー保護の画像処理（識別性低減処理）が実施されている。図７（Ｂ）に示す例では、正当な乗客のみを対象にしてプライバシー保護の画像処理が実施されており、不正な乗客にはプライバシー保護の画像処理が実施されない。

ここで、図７（Ａ）に示すモニタリング画像１４１と、図７（Ｂ）に示すモニタリング画像１４１とのいずれかのみを表示するようにしてもよいが、図７（Ａ）に示すモニタリング画像１４１を表示させる表示モードと、図７（Ｂ）に示すモニタリング画像１４１を表示させる表示モードとのいずれかをユーザが選択することができるようにしてもよい。

また、初期状態として、図７（Ａ）に示すモニタリング画像１４１を表示し、プライバシー保護を解除する操作をユーザが行うと、図７（Ｂ）に示すモニタリング画像１４１が表示されるようにしてもよい。この場合、モニタリング画像表示画面上に、プライバシー保護を解除するボタンを設ければよい。また、ユーザ認証を行って、ユーザ認証が成功した場合にのみ、プライバシー保護を解除する操作をユーザが行うことができるようにして、プライバシー保護の画像処理が実施されていないモニタリング画像１４１の閲覧を制限するようにしてもよい。

なお、図７（Ｂ）に示すモニタリング画像１４１では、プライバシー保護の画像処理（識別性低減処理）の有無で不正な乗客か否かを判別することができることから、座席利用情報（不正な乗客か否か）を可視化する枠画像１４３を省略するようにしてもよい。

また、図７（Ｂ）に示すモニタリング画像１４１では、プライバシー保護の画像処理の有無で不正な乗客か否かを判別することができることから、枠画像を別の情報を表示する用途で用いるようにしてもよい。例えば、空席状態と在席状態とを判別するために枠画像を表示させるようにしてもよい。この場合、枠画像の表示色で空席状態と在席状態とを表現し、例えば、空席状態の場合に緑色の枠画像を表示し、在席状態の場合に赤色の枠画像を表示するようにしてもよい。

また、本実施形態では、人物検出において人物領域に設定される人物枠に基づいて枠画像１４３を表示するようにしたが、人物検出の対象となる検出エリアを撮像画像上にユーザが予め設定して、この検出エリアの範囲を表す枠画像１４３を表示するようにしてよい。撮像画像において座席に着席した人物の頭部の像は座席のヘッドレストの位置に現れるため、このヘッドレストの位置に検出エリアを設定することで、座席に着席した人物を検出することができる。

ところで、本実施形態では、座席利用料が課される全ての座席が複数のカメラ１のいずれかで撮像され、各カメラ１では、魚眼レンズを介して撮像することで得られる魚眼画像に対して歪み補正を実施した複数の撮像画像が出力され、この複数の撮像画像からモニタリング画像が生成される。このため、１つのモニタリング画像には車両に設置された座席の一部が写り、各モニタリング画像に写る複数の座席ごとの座席区画（座席グループ）に、１つの車両内の全ての座席が区分（グループ分け）される。そして、座席マップ画像表示画面（図６参照）において座席を選択すると、モニタリング画像表示画面（図７参照）に遷移するが、このとき、選択した座席が属する座席区画に対応するモニタリング画像が表示される。

このように、本実施形態では、路線マップ画像表示画面（図３参照）において、座席の利用状況が路線単位で表示され、列車マップ画像表示画面（図４参照）において、座席の利用状況が列車単位で表示され、車両マップ画像表示画面（図５参照）において、座席の利用状況が車両単位で表示され、座席マップ画像表示画面（図６参照）において、座席の利用状況が座席単位で表示される。したがって、監視センターにおいて、路線、列車、車両の順に絞り込みながら座席の利用状況を確認することができる。そして、モニタリング画像表示画面（図７参照）において、注目する座席の実際の状況を確認することができる。これにより、座席の利用状況を確認する作業を効率よく行うことができる。

なお、本実施形態では、座席マップ画像表示画面（図６参照）において座席を選択すると、モニタリング画像表示画面（図７参照）に遷移するようにしたが、モニタリング画像表示ウィンドウを座席マップ表示画面上にホップアップ表示するようにしてもよい。このとき、座席マップ表示画面上における選択された座席の近傍にモニタリング画像表示ウィンドウをホップアップ表示するとよく、複数の座席を順次選択することで、モニタリング画像表示ウィンドウが複数表示されるようにしてもよい。

また、本実施形態では、列車マップ画像表示画面（図４参照）において、路線を運行する列車の中から、注目する列車を選択することで、車両マップ画像表示画面（図５参照）において、選択した列車における車両ごとの利用状況を表示するようにしたが、路線を運行する各列車の車両ごとの利用状況を、列車ごとに並べて一覧表示するようにしてもよい。

次に、カメラ１、サーバ装置２およびユーザ端末装置３の概略構成について説明する。図８は、カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図である。

カメラ１は、撮像部１１と、制御部１２と、情報記憶部１３と、通信部１４と、を備えている。

撮像部１１は、イメージセンサを備え、時間的に連続する撮像画像（フレーム）、いわゆる動画像を順次出力する。制御部１２は、撮像部１１から出力される撮像画像から人物を検出する処理などを行う。情報記憶部１３は、制御部１２を構成するプロセッサで実行されるプログラムや、撮像部１１から出力される撮像画像を記憶する。通信部１４は、サーバ装置２との間で通信を行うものであり、撮像部１１から出力される撮像画像や制御部１２から出力される人物検出情報をネットワークを介してサーバ装置２に送信する。

撮像部１１は、イメージセンサの他に、魚眼レンズと、この魚眼レンズを介して被写体を撮像することで得られた魚眼画像に対して歪み補正を実施する画像処理回路と、を備えており、画像処理回路で生成した補正画像が撮像画像として出力される。

サーバ装置２は、制御部２１と、情報記憶部２２と、通信部２３と、を備えている。

通信部２３は、カメラ１、ユーザ端末装置３および座席管理装置５との間で通信を行うものであり、カメラ１から送信される撮像画像および人物検出情報を受信し、また、座席管理装置５から送信される座席管理情報を受信し、また、ユーザ端末装置３から送信されるユーザ設定情報を受信し、また、座席モニタリングの閲覧画面をユーザ端末装置３に配信する。情報記憶部２２では、通信部２３で受信した撮像画像、人物検出情報および座席管理情報や、制御部２１を構成するプロセッサで実行されるプログラムなどを記憶する。制御部２１は、撮像画像、人物検出情報および座席管理情報に基づいてモニタリング画像などを生成して、ユーザ端末装置３に配信する座席モニタリングの閲覧画面を生成する。

ユーザ端末装置３は、制御部３１と、情報記憶部３２と、通信部３３と、入力部３４と、表示部３５と、を備えている。

入力部３４は、ユーザが各種の設定情報を入力する。表示部３５は、サーバ装置２から送信される画面情報に基づいて座席モニタリングの閲覧画面を表示する。入力部３４および表示部３５は、タッチパネルディスプレイで構成することができる。通信部３３は、サーバ装置２との間で通信を行うものであり、入力部３４で入力されたユーザ設定情報をサーバ装置２に送信し、また、サーバ装置２から送信される画面情報を受信する。制御部３１は、ユーザ端末装置３の各部を制御する。情報記憶部３２は、制御部３１を構成するプロセッサで実行されるプログラムなどを記憶する。

次に、カメラ１およびサーバ装置２の機能的な構成について説明する。図９は、カメラ１およびサーバ装置２の機能ブロック図である。

カメラ１の制御部１２は、動体除去画像生成部４１と、人物検出部４２と、を備えている。この制御部１２の各部は、情報記憶部１３に記憶された座席モニタリング用のプログラム（インストラクション）を、制御部２１を構成するプロセッサに実行させることで実現される。

動体除去画像生成部４１では、所定の学習期間における複数の撮像画像（フレーム）に基づいて、撮像画像から人物などの動体を除去した動体除去画像（背景画像）を生成する。この動体除去画像の生成には、公知の背景画像生成技術を利用すればよい。

人物検出部４２では、動体除去画像生成部４１で取得した動体除去画像（背景画像）と、撮像部１１から出力される現在の撮像画像とを比較して、両者の差分から撮像画像内の動体の画像領域を特定する（動体検知）。そして、動体の画像領域に、人物の顔、または頭部および肩部で構成されるΩ形状が検出されると、その動体を人物と判断する（人物検知）。なお、この動体検知および人物検知には公知の技術を用いればよい。この人物検出部４２では、人物検出情報として、撮像画像内における各乗客の人物領域の位置情報、および各乗客の人物領域に設定される人物枠の位置情報が出力される。

なお、本実施形態では、公知の技術に基づく標準的な人物検出を行うようにしたが、撮像画像において座席に着席した人物の頭部の像は座席のヘッドレストの位置に現れるため、座席のヘッドレストの位置に人物の頭部と想定される動体を検知すると、人物と判定するようにしてもよい。

サーバ装置２の制御部２１は、カメラ画像取得部５１と、人物検出情報取得部５２と、座席管理情報取得部５３と、在席検知部５４と、座席利用情報取得部５５と、座席利用情報集約部５６と、マップ画像生成部５７と、モニタリング画像生成部５８と、出力情報生成部５９と、を備えている。この制御部２１の各部は、情報記憶部２２に記憶された座席モニタリング用のプログラム（インストラクション）を、制御部２１を構成するプロセッサに実行させることで実現される。

カメラ画像取得部５１では、カメラ１から定期的（例えば１５分間隔）に送信されて通信部２３において受信した撮像画像を取得する。人物検出情報取得部５２では、撮像画像と同時にまたはこれと異なるタイミングでカメラ１から送信されて通信部２３において受信した人物検出情報を取得する。

座席管理情報取得部５３では、座席管理装置５から送信されて通信部２３において受信した座席管理情報を取得する。本実施形態では、座席管理装置５において、座席ごとの車内改札の有無に関する車内改札情報が車内検札装置４から収集され、座席ごとの利用の可否、すなわち、乗客が車内改札により座席を利用する権限があるか否かに関する座席管理情報が座席管理装置５からサーバ装置２に提供される。

在席検知部５４では、人物検出情報取得部５２においてカメラ１から取得した人物検出情報に基づいて、各座席における乗客の在席を検知する。本実施形態では、撮像画像における各座席の位置に関する座席位置情報が予め設定されており、この座席位置情報を参照して、人物検出情報における撮像画像上での各乗客の位置から、どの座席に乗客が在席しているかを判定する。このとき、乗客が座席に着座している状態が一定時間継続した場合に、在席と判定するようにするとよい。この在席検知部５４では、各座席の在席検知の検知結果に関する在席検知情報（座席番号および各座席の在席の有無など）が出力される。

座席利用情報取得部５５では、座席管理情報取得部５３で座席管理装置５から取得した座席管理情報、および在席検知部５４から出力される在席検知情報に基づき、各座席の利用状況を表す座席利用情報を取得する。本実施形態では、座席管理情報が、座席ごとの利用の可否、すなわち、車内改札により座席を利用する権限があるか否かに関するものであり、この座席管理情報と在席検知情報とを比較することで、座席ごとの利用状況として、各座席に在席する利用者が不正乗車か否か、すなわち、座席利用料を支払わないまま座席を利用しているか否かを判定して、不正乗車か否かを表す座席利用情報を座席ごとに取得する。

座席利用情報集約部５６では、座席利用情報取得部５５で取得した座席ごとの座席利用情報を車両ごとに集約して、車両ごとの座席利用情報を生成する。また、車両ごとの座席利用情報を列車ごとに集約して、列車ごとの座席利用情報を生成する。また、列車ごとの座席利用情報を路線ごとに集約して、路線ごとの座席利用情報を生成する。これらの集約処理では、座席利用情報としての不正乗車の座席数に対して積算や平均化などの統計処理を行えばよい。

マップ画像生成部５７では、路線マップ画像１０１（図３参照）、列車マップ画像１１１（図４参照）、車両マップ画像１２１（図５参照）、および座席マップ画像１３１（図６参照）を生成する。このマップ画像生成部５７では、座席利用情報取得部５５で取得した座席ごとの座席利用情報（不正乗車か否か）に応じた表示形態（表示色）で、座席マップ画像１３１における座席画像１３２が描画される。

また、マップ画像生成部５７では、座席利用情報集約部５６で取得した座席利用情報（不正乗車の座席数）を所定のしきい値と比較してランク分けを行い、ランクごとに割り当てられた表示形態（表示色）で、路線マップ画像１０１における路線画像１０２、列車マップ画像１１１における列車画像１１２、および車両マップ画像１２１における車両画像１２２が描画される。

マップ画像生成部５７で生成したマップ画像（路線マップ画像、列車マップ画像、車両マップ画像および座席マップ画像）は情報記憶部２２に蓄積され、ユーザが日時を指定することで、指定された日時のマップ画像をマップ画像表示画面に表示させることができる。

モニタリング画像生成部５８では、座席ごとの利用状況を可視化するとともに、撮像画像に写る乗客のプライバシーを保護する画像処理が施されたモニタリング画像（図７参照）を生成する。このモニタリング画像生成部５８は、識別性低減処理部６１と、枠画像生成部６２と、画像合成部６３と、を備えている。

識別性低減処理部６１では、人物検出情報取得部５２でカメラ１から取得した人物検出情報（人物領域の位置情報）に基づいて、撮像画像に写る乗客のプライバシーを保護する画像処理として、人物の識別性を低減する画像処理（識別性低減処理）を、カメラ画像取得部５１でカメラ１から取得した撮像画像内の各乗客の人物領域に対して実施して、識別性低減画像を生成する。本実施形態では、各乗客の顔領域に対して識別性低減処理を実施する。

このとき、撮像画像から各乗客の顔領域を切り出して、その顔領域の画像に対して識別性低減処理を実施し、次に、識別性低減処理が実施された顔領域の画像を撮像画像に重畳して、識別性低減画像を生成すればよい。ここで、図７（Ａ）に示したように、全ての乗客を対象にしてプライバシー保護の画像処理を実施する場合には、全ての乗客について識別性低減処理が実施された顔領域の画像を取得し、図７（Ｂ）に示したように、正当な乗客のみを対象にしてプライバシー保護の画像処理を実施する場合には、正当な乗客についてのみ識別性低減処理が実施された顔領域の画像を取得すればよい。

枠画像生成部６２では、座席利用情報取得部５５で取得した各座席の座席利用情報と、人物検出情報取得部５２でカメラ１から取得した人物検出情報（人物枠の位置情報）とに基づいて、各座席に在席する乗客ごとに、乗客の頭部を取り囲む枠画像１４３を、各座席の座席利用情報に応じた表示色で生成する。

画像合成部６３では、枠画像生成部６２で生成した枠画像１４３を、識別性低減処理部で生成した識別性低減画像における対応する乗客の人物領域上に重ね合わせる画像合成を行って、モニタリング画像１４１を生成する。

モニタリング画像生成部５８で生成したモニタリング画像は情報記憶部２２に蓄積され、ユーザが日時を指定することで、指定された日時のモニタリング画像をモニタリング画像表示画面に表示させることができる。

出力情報生成部５９では、マップ画像生成部５７で生成した路線マップ画像１０１、列車マップ画像１１１、車両マップ画像１２１、および座席マップ画像１３１に基づいて、路線マップ画像表示画面（図３参照）、列車マップ画像表示画面（図４参照）、および座席マップ画像表示画面（図５参照）に関する表示情報を生成する。また、出力情報生成部５９では、モニタリング画像生成部５８で生成したモニタリング画像に基づいて、モニタリング画像表示画面（図６参照）に関する表示情報を生成する。

ところで、本実施形態では、動体除去画像を生成して、この動体除去画像と撮像画像との差分から人物を検出するようにしたが、このような動体検知による人物検出方法では、例えば睡眠中で人物に動きがないと、人物を動体として検知することができないため、人物検出が失敗して、乗客に対してプライバシー保護の画像処理を適切に実施することができない。

そこで、本実施形態では、駅構内での列車の発車時または停車時に取得した撮像画像で動体除去画像を生成して人物検出を行う。このようにすると、列車の発車時または停車時の車両の揺れで乗客の身体に動きが生じるため、乗客を動体として確実に検知することができるようになり、乗客に対してプライバシー保護の画像処理が適切に実施されたモニタリング画像を生成することができる。

また、本実施形態では、座席に在席する乗客が不正乗車か否かを判定することができるが、不正乗車が見つかる度に乗客に対して注意を行うことは乗務員の負担が大きい。そこで、不正乗車を繰り返す悪質な乗客に限って注意を行い、また、不正乗車の摘発を行うことが考えられる。この場合、不正乗車を行う乗客が見つかると、不正乗車を行う乗客の顔画像をカメラ１の撮像画像から抽出して、その顔画像を情報記憶部２２に蓄積する。そして、情報記憶部２２に蓄積された顔画像に対して同一人物か否かの人物照合を行い、この人物照合の結果に基づいて、各路線における乗客ごとの不正乗車の回数を取得する。これにより、不正乗車を繰り返す悪質な乗客を見つけ出すことができる。

（第１実施形態の変形例）
次に、第１実施形態の変形例について説明する。図１０は、第１実施形態の変形例に係るカメラ１およびサーバ装置２の機能ブロック図である。

第１実施形態では、サーバ装置２が識別性低減処理部６１を備えていたが、この変形例では、カメラ１が識別性低減処理部４５を備えている。このカメラ１の識別性低減処理部４５では、人物検出部４２で取得した人物領域の位置情報に基づいて、各乗客の人物領域（顔領域）に対して識別性低減処理を実施する。

ここで、図７（Ａ）に示したように、全ての乗客を対象にしてプライバシー保護の画像処理を実施する場合には、カメラ１の識別性低減処理部４５において、各乗客の人物領域（顔領域）を切り出して、その切り出した人物画像（顔画像）に対して識別性低減処理を実施する。次に、識別性低減処理が実施された人物画像を撮像画像に重畳して識別性低減画像を生成し、この識別性低減画像をサーバ装置２に送信する。そして、サーバ装置２の画像合成部６３において、カメラ１から取得した識別性低減画像に、枠画像生成部６２で生成した枠画像１４３を重畳する画像合成を行って、モニタリング画像１４１を生成する。

なお、識別性低減処理が実施された人物画像および撮像画像をカメラ１からサーバ装置２に送信し、サーバ装置２の画像合成部６３において、識別性低減処理が実施された人物画像を撮像画像に重畳する画像合成を行うようにしてもよい。

一方、図７（Ｂ）に示したように、正当な乗客のみを対象にしてプライバシー保護の画像処理を実施する場合には、カメラ１の識別性低減処理部４５において、全ての乗客について識別性低減処理が実施された人物画像を生成して、その乗客ごとの人物画像および撮像画像をサーバ装置２に送信する。そして、サーバ装置２の画像合成部６３において、座席利用情報取得部５５で取得した各座席の座席利用情報に基づいて、正当な乗客の人物画像を選択して、その乗客の人物画像を撮像画像に重畳して識別性低減画像を生成し、さらに枠画像生成部６２で生成した枠画像１４３を識別性低減画像に重畳する画像合成を行って、モニタリング画像１４１を生成する。

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１１は、第２実施形態に係るモニタリング画像表示画面を示す説明図である。

第１実施形態では、プライバシー保護の画像処理として、撮像画像に写る人物の識別性を低減する画像処理（識別性低減処理）を実施するようにしたが、本実施形態では、撮像画像１５２内の各乗客の人物領域の形状を表すマスク画像１５３を生成して、撮像画像１５２内の各乗客の人物領域をマスク画像１５３に置き換える画像処理を実施する。

また、第１実施形態では、座席ごとの利用状況（不正乗車か否か）を可視化する識別画像として、各乗客の人物領域を取り囲む枠画像１４３を描画して、枠画像１４３の表示形態（表示色）を変更することで、座席利用情報（不正乗車か否か）を可視化するようにしたが、本実施形態では、マスク画像１５３が識別画像となり、このマスク画像１５３の表示形態（表示色）を変更することで座席利用情報を可視化するようにしている。

図１１（Ａ）に示す例では、全ての乗客を対象にしてプライバシー保護の画像処理が実施されており、全ての乗客がマスク画像１５３で表示されている。この場合、マスク画像１５３の表示態様を変更することで、座席ごとの利用状況（不正乗車か否か）が可視化され、図１１（Ａ）に示す例では、マスク画像１５３の表示色で、座席ごとの不正乗車の有無が表現されており、例えば、不正な乗客ではマスク画像１５３が赤色で表示され、正当な乗客ではマスク画像１５３が緑色で表示される。

図１１（Ｂ）に示す例では、正当な乗客のみを対象にしてプライバシー保護の画像処理が実施されており、正当な乗客が所定の表示色（例えば青色）のマスク画像１５３で表示されている。一方、不正な乗客にはプライバシー保護の画像処理が実施されず、不正な乗客の人物領域では撮像画像１５２がそのまま表示される。

次に、第２実施形態に係るカメラ１およびサーバ装置２の機能的な構成について説明する。図１２は、カメラ１およびサーバ装置２の機能ブロック図である。

カメラ１の制御部１２は、第１実施形態（図９参照）と同様であるが、人物検出部４２では、人物検出情報として、撮像画像内における各乗客の人物領域の位置情報を出力し、この人物領域の位置情報および撮像画像が通信部１４からサーバ装置２に送信される。

サーバ装置２の制御部２１は、第１実施形態（図９参照）と略同様であるが、モニタリング画像生成部５８の構成が第１実施形態と異なり、モニタリング画像生成部５８は、マスク画像生成部６５と、画像合成部６３と、を備えている。

マスク画像生成部６５では、人物検出情報取得部５２でカメラ１から取得した人物検出情報（人物領域の位置情報）と、座席利用情報取得部で取得した各座席の座席利用情報（不正か否か）と、に基づいて、各乗客のマスク画像１５３を生成する。このとき、まず、人物領域の位置情報に基づいて人物領域の輪郭線を取得し、次に、座席利用情報に応じた表示色で輪郭線の内部を塗りつぶすことで、撮像画像内の各乗客の人物領域に対応する輪郭を有するマスク画像１５３が生成される。

ここで、図１１（Ａ）に示したように、全ての乗客を対象にしてプライバシー保護の画像処理を実施する場合には、全ての乗客について、座席利用情報に応じた表示色のマスク画像１５３を生成する。一方、図１１（Ｂ）に示したように、正当な乗客のみを対象にしてプライバシー保護の画像処理を実施する場合には、正当な乗客についてのみ、所定の表示色のマスク画像１５３を生成する。

画像合成部６３では、カメラ画像取得部５１でカメラ１から取得した撮像画像内の人物領域を、マスク画像生成部６５で生成したマスク画像１５３に置き換える画像合成を行って、モニタリング画像を生成する。

なお、マスク画像１５３は、背景が透けて見える透過状態で表示するようにしてもよく、この場合には、動体除去画像生成部４１で生成した動体除去画像（背景画像）がカメラ１からサーバ装置２に送信され、マスク画像生成部６５において、動体除去画像に基づいて、透過状態のマスク画像１５３を生成する。

（第２実施形態の変形例）
次に、第２実施形態の変形例について説明する。図１３は、第２実施形態の変形例に係るカメラ１およびサーバ装置２の機能ブロック図である。

第２実施形態では、サーバ装置２がマスク画像生成部６５を備えていたが、この変形例では、カメラ１がマスク画像生成部４６を備えている。このカメラ１のマスク画像生成部４６では、人物検出部４２で取得した人物領域の位置情報に基づいて、各乗客のマスク画像を生成する。

ここで、図１１（Ａ）に示したように、全ての乗客を対象にしてプライバシー保護の画像処理を実施する場合には、カメラ１のマスク画像生成部４６において、各乗客について、２種類（色違い）のマスク画像、すなわち、正当な乗客を表す第１のマスク画像と、不正な乗客を表す第２のマスク画像とを生成してサーバ装置２に送信する。そして、サーバ装置２のマスク画像選択部６６において、座席利用情報取得部５５で取得した各座席の座席利用情報に基づいて、各乗客について第１のマスク画像と第２のマスク画像とのいずれかを選択する。そして、画像合成部６３において、撮像画像内の各乗客の人物領域を、マスク画像選択部６６で選択された各乗客のマスク画像に置換する画像合成を行う。

一方、図１１（Ｂ）に示したように、正当な乗客のみを対象にしてプライバシー保護の画像処理を実施する場合には、カメラ１のマスク画像生成部４６において、各乗客について１種類のマスク画像を生成してサーバ装置２に送信する。そして、サーバ装置２のマスク画像選択部６６において、正当な乗客のマスク画像を選択して、画像合成部６３において、撮像画像内の正当な乗客の人物領域を、マスク画像選択部６６で選択されたマスク画像に置換する画像合成を行う。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

例えば、前記の実施形態では、自由席で座席利用料が課される座席を対象としたが、指定席を対象としてもよい。この場合、サーバ装置２において、乗客が券売機などにおいて購入した座席指定券に関する座席管理情報を座席管理装置５から取得して、座席管理情報および在席検知の結果に基づき、予約済みの座席、すなわち、販売された座席指定券で指定された座席以外の座席に乗客が在席している場合に、不正乗車と判定すればよい。

また、前記の実施形態では、列車の車内を監視エリアとして、車内に設置された座席の利用状況（不正乗車の状況）を可視化するようにしたが、映画館やスタジアムなどの各種の施設の観客席を監視エリアとしてもよい。このような施設には指定席が設けられており、販売済みの座席指定券で指定された座席以外の座席に利用者が在席している場合には、不正利用と判定することができる。

また、前記の実施形態では、座席ごとの利用の可否、すなわち、利用者が座席を利用する権限があるか否かに関する座席管理情報に基づいて、座席の不正利用を可視化するようにしたが、レストランや喫茶店などの飲食店の店内を監視エリアとして、座席の利用状況を可視化するようにしてもよい。

例えば、レストランにおいて、座席利用情報として、顧客が客席に着席してから、店員が注文を受け付けるまでに要した待ち時間を取得して、モニタリング画像において顧客ごとの枠画像またはマスク画像の表示色を待ち時間に応じて変更することで、顧客ごとの待ち時間の状況を可視化することができる。これにより、待ち時間が長い顧客をユーザが即座に把握することができる。

また、座席利用情報として、客席に着席している顧客が注文した商品に関する情報を取得して、モニタリング画像において顧客ごとの枠画像またはマスク画像の表示色を注文商品に応じて変更することで、顧客ごとの注文の状況を可視化することができる。これにより、客席に着席している顧客がどのような商品を注文したかをユーザが即座に把握することができ、また、特定の商品（例えばコーヒー）に絞り込むことで、その特定の商品を注文した顧客がどの客席に着席しているかをユーザが即座に把握することができる。

また、座席利用情報として、顧客が客席に滞在している滞在時間を取得して、モニタリング画像において顧客ごとの枠画像またはマスク画像の表示色を滞在時間に応じて変更することで、顧客ごとの滞在時間の状況を可視化することができる。これにより、客席に着席している顧客がどの程度滞在しているかをユーザが即座に把握することができ、また、滞在時間が所定のしきい値を超える場合に限定して表示することで、長時間滞在している顧客をユーザが即座に把握することができる。

本発明に係る座席モニタリング装置、座席モニタリングシステムおよび座席モニタリング方法は、監視エリアを撮像した画像上に、各座席の不正利用などに関する利用状況を可視化すると共に、監視エリアを撮像した画像に写る利用者のプライバシーを保護することができる効果を有し、複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する座席モニタリング装置、座席モニタリングシステムおよび座席モニタリング方法などとして有用である。

１ カメラ
２ サーバ装置
３ ユーザ端末装置
４ 車内検札装置
５ 座席管理装置
４１ 動体除去画像生成部
４２ 人物検出部
４５ 識別性低減処理部
４６ マスク画像生成部
５１ カメラ画像取得部
５２ 人物検出情報取得部
５３ 座席管理情報取得部
５４ 在席検知部
５５ 座席利用情報取得部
５６ 座席利用情報集約部
５７ マップ画像生成部
５８ モニタリング画像生成部
５９ 出力情報生成部
６１ 識別性低減処理部
６２ 枠画像生成部
６３ 画像合成部
６５ マスク画像生成部
６６ マスク画像選択部
１０１ 路線マップ画像
１０２ 路線画像
１１１ 列車マップ画像
１１２ 列車画像
１２１ 車両マップ画像
１２２ 車両画像
１３１ 座席マップ画像
１３２ 座席画像
１４１ モニタリング画像
１４２ 識別性低減画像
１４３ 枠画像
１５１ モニタリング画像
１５２ 撮像画像
１５３ マスク画像

Claims (13)

1. 複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する座席モニタリング装置であって、
   利用者による座席の利用状況に関する座席利用情報を取得する座席利用情報取得部と、
   前記座席利用情報に基づき、前記監視エリアを撮像した撮像画像上で座席ごとの利用状況を可視化するとともに、前記撮像画像における利用者の人物領域の少なくとも一部に対してプライバシー保護の画像処理が実施されたモニタリング画像を生成するモニタリング画像生成部と、
   前記座席利用情報に基づき、座席ごとの利用者の利用状況が可視化された座席マップ画像を生成するマップ画像生成部と、
   前記座席マップ画像を表示する画面上で座席を指定するユーザの操作入力に応じて、ユーザが指定する座席が属する座席区画に対応する前記モニタリング画像を含む前記出力情報を生成する出力情報生成部と、
   を備えたことを特徴とする座席モニタリング装置。
2. さらに、座席ごとの利用の可否に関する座席管理情報を取得する座席管理情報取得部と、
   前記撮像画像に対する人物検出の結果に基づき、各座席における利用者の在席を検知する在席検知部と、
   を備え、
   前記座席利用情報取得部は、前記座席管理情報および前記在席検知部の検知結果に基づき、各座席について不正利用か否かを判定して、各座席の不正利用に関する前記座席利用情報を取得することを特徴とする請求項１に記載の座席モニタリング装置。
3. 前記モニタリング画像生成部は、前記座席利用情報に基づき、不正利用でない利用者の人物領域に対して前記プライバシー保護の画像処理を実施し、不正利用である利用者の人物領域に対して前記プライバシー保護の画像処理を実施しないことを特徴とする請求項２に記載の座席モニタリング装置。
4. 前記モニタリング画像生成部は、前記プライバシー保護の画像処理として、モザイク処理、ぼかし処理、ブレンド処理のいずれかの識別性低減処理が実施された前記モニタリング画像を生成することを特徴とする請求項１から請求項３のいずれかに記載の座席モニタリング装置。
5. 前記モニタリング画像生成部は、前記識別性低減処理が実施された識別性低減画像上に、利用者の人物領域の少なくとも一部を取り囲む枠画像を重畳した前記モニタリング画像を生成し、前記座席利用情報に基づき、前記枠画像の表示形態を変更することで、座席ごとの利用状況を可視化することを特徴とする請求項４に記載の座席モニタリング装置。
6. 前記モニタリング画像生成部は、前記プライバシー保護の画像処理として、前記撮像画像における利用者の人物領域をその人物領域の形状を表すマスク画像に置き換える画像処理が実施された前記モニタリング画像を生成することを特徴とする請求項１から請求項３のいずれかに記載の座席モニタリング装置。
7. 前記モニタリング画像生成部は、前記座席利用情報に基づき、前記マスク画像の表示形態を変更することで、座席ごとの利用状況を可視化することを特徴とする請求項６に記載の座席モニタリング装置。
8. 前記監視エリアは、座席利用料が課される座席が配置された列車の車内であり、
   前記モニタリング画像生成部は、駅構内での列車の発車時または停車時に撮像された前記撮像画像に対する人物検出の結果に基づいて前記プライバシー保護の画像処理が実施された前記モニタリング画像を生成することを特徴とする請求項１から請求項７のいずれかに記載の座席モニタリング装置。
9. 前記監視エリアは、座席利用料が課される座席が配置された列車の車内であり、
   前記座席管理情報取得部は、駅構内での列車の発車時または停車時における前記座席管理情報を取得することを特徴とする請求項２または請求項３のいずれかに記載の座席モニタリング装置。
10. 前記監視エリアは、座席利用料が課される座席が配置された列車の車内であり、
    さらに、前記座席利用情報取得部で取得した前記座席利用情報を、車両単位、列車単位、路線単位の少なくともいずれかで集約する座席利用情報集約部と、
    この座席利用情報集約部で集約された前記座席利用情報に基づき、路線ごとの利用状況を可視化した路線マップ画像、列車ごとの利用状況を可視化した列車マップ画像、車両ごとの利用状況を可視化した車両マップ画像の少なくともいずれかを生成するマップ画像生成部と、
    を備えたことを特徴とする請求項１から請求項９のいずれかに記載の座席モニタリング装置。
11. 前記モニタリング画像生成部は、初期状態において、前記プライバシー保護の画像処理を実施した前記モニタリング画像を生成し、プライバシー保護を解除するユーザの操作入力に応じて、前記プライバシー保護の画像処理を実施しない前記モニタリング画像を生成することを特徴とする請求項１から請求項１０のいずれかに記載の座席モニタリング装置。
12. 複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する座席モニタリングシステムであって、
    前記監視エリアを撮像して、撮像画像に対する人物検出を行うカメラと、
    利用者による座席の利用状況を可視化した前記出力情報を生成するサーバ装置と、
    前記出力情報に基づき、閲覧画面を表示するユーザ端末装置と、
    を有し、
    前記サーバ装置は、
    利用者による座席の利用状況に関する座席利用情報を取得する座席利用情報取得部と、
    前記座席利用情報に基づき、前記撮像画像上で座席ごとの利用状況を可視化するとともに、前記撮像画像における利用者の人物領域の少なくとも一部に対してプライバシー保護の画像処理が実施されたモニタリング画像を生成するモニタリング画像生成部と、
    前記座席利用情報に基づき、座席ごとの利用者の利用状況が可視化された座席マップ画像を生成するマップ画像生成部と、
    前記座席マップ画像を表示する画面上で座席を指定するユーザの操作入力に応じて、ユーザが指定する座席が属する座席区画に対応する前記モニタリング画像を含む前記出力情報を生成する出力情報生成部と、
    を備えたことを特徴とする座席モニタリングシステム。
13. 複数の座席が配置された監視エリアを撮像した画像に基づき、利用者による座席の利用状況を可視化した出力情報を生成する処理を情報処理装置に行わせる座席モニタリング方法であって、
    利用者による座席の利用状況に関する座席利用情報を取得し、
    前記座席利用情報に基づき、前記監視エリアを撮像した撮像画像上で座席ごとの利用状況を可視化するとともに、前記撮像画像における利用者の人物領域の少なくとも一部に対してプライバシー保護の画像処理が実施されたモニタリング画像を生成し、
    前記座席利用情報に基づき、座席ごとの利用者の利用状況が可視化された座席マップ画像を生成し、
    前記座席マップ画像を表示する画面上で座席を指定するユーザの操作入力に応じて、ユーザが指定する座席が属する座席区画に対応する前記モニタリング画像を含む前記出力情報を生成することを特徴とする座席モニタリング方法。

Images