JP6280722B2 - 画像解析システム、解析装置および解析方法 - Google Patents

Description

本発明は、車両等の移動体のドアから乗降する際の画像を解析する画像解析システム、解析装置および解析方法に関する。

車両の前方や車室内などの画像を記録する画像記録装置としてのドライブレコーダは、近年車両に搭載されることが多くなっている。この種のドライブレコーダは、バスやタクシー車両において、乗客の乗車および下車時の画像を撮影して安全確認を行う際にも用いられることがある。

例えば、特許文献１には、動画を撮影する撮影部３３と、バスに関するバス情報を取得するバス情報取得部５２と、撮影部３３により撮影された動画に対して、バス情報取得部５２により取得されたバス情報をメタデータとして付加する情報付加部５３と、を備えるようにして、例えば、乗口用ドア開閉時の動画を検索することが容易となっている。

特開２０１１−２２７６１６号公報

例えば路線バスにおいては、日本では営業している路線の利用客数を運輸局に報告する義務がある。また、この利用客数は、路線の運行本数の見直しなどにも利用されている。

従来、利用客数は、例えば、乗降口等の近傍に赤外線センサを設けたり、利用客を数える乗務員を同乗させたり、利用客数カウント機能の入った料金箱等を導入したりすることにより計測していた。

しかしながら、赤外線センサの場合は精度が悪く計測誤差が大きいという問題や専用の設備が必要となるためコストアップとなるという問題があった。また、利用客を数える乗務員を同乗させたり、乗客カウント機能の入った料金箱を導入する場合は、人員コストや設備コストが高くなってしまうという問題があった。

そこで、本発明は、上述した問題に鑑み、専用の設備を設置することなく低コストに車両等の移動体の利用者数を計測することができる画像解析システム、解析装置および解析方法を提供することを課題とする。

上記課題を解決するためになされた請求項１に記載の発明は、移動体に搭載され前記移動体のドア近傍の画像を撮影する撮影手段および前記撮影手段が撮影した画像情報を記録する記録手段を備えた画像記録装置と、前記記録手段に記録された画像情報を解析する解析装置と、を有する画像解析システムであって、前記画像記録装置が、前記移動体のドアの開状態または閉状態を検出するドア開閉検出手段と、前記画像情報と前記ドア開閉検出手段が検出したドアの開状態または閉状態を示すドア開閉情報とを関連付けて前記記録手段に記録する記録制御手段と、前記ドア開閉検出手段と、前記移動体の速度検出手段及び加速度検出手段のうち少なくともいずれか一方と、に基づいて前記移動体の異常を検出する異常検出手段と、前記記録手段に記録されている前記画像情報、前記ドア開閉情報および前記異常検出手段が検出した前記移動体の異常を示す情報を前記解析装置に出力する出力手段と、を備え、前記解析装置が、前記画像記録装置から送信された前記画像情報、前記ドア開閉情報および前記移動体の異常を示す情報を取得する取得手段と、前記ドア開閉情報に基づいて前記画像情報のうち前記ドアから乗降する乗員を画像認識することにより前記移動体の利用者数を算出する解析手段と、前記取得手段が前記移動体の異常を示す情報を取得した場合に、当該異常に関する情報を通知する通知手段と、を備えている、ことを特徴とする画像解析システムである。

請求項２に記載の発明は、請求項１に記載の発明において、前記出力手段が、定期的に前記記録手段に記録されている前記画像情報および前記ドア開閉情報を前記解析装置に出力することを特徴とするものである。

請求項３に記載の発明は、請求項１または２に記載の発明において、前記画像記録装置が、前記移動体の現在位置を取得する位置情報取得手段を備え、前記出力手段が、前記画像情報と前記ドア開閉情報に加えて前記位置情報取得手段が取得した前記移動体の現在位置情報も前記解析装置に出力し、前記取得手段が、前記画像情報と前記ドア開閉情報に加えて前記現在位置情報も取得し、前記解析手段が、前記現在位置情報に基づいて、予め定めた所定地点ごとに前記利用者数を算出することを特徴とするものである。

請求項４に記載の発明は、移動体から乗降する乗員の画像情報を解析する解析装置であって、移動体から乗降する乗員の画像情報を解析する解析装置であって、前記移動体から乗降する乗員の画像情報、前記移動体のドアの開状態または閉状態を示すドア開閉情報および、前記ドア開閉検出手段と、前記移動体の速度検出手段及び加速度検出手段のうち少なくともいずれか一方と、に基づいて前記移動体の異常を示す情報を取得する取得手段と、前記ドア開閉情報に基づいて前記画像情報のうち前記ドアから乗降する乗員を画像認識することにより前記移動体の利用者数を算出する解析手段と、前記取得手段が前記移動体の異常を示す情報を取得した場合に、当該異常に関する情報を通知する通知手段と、を備えている、ことを特徴とする解析装置である。

請求項５に記載の発明は、移動体から乗降する乗員の画像情報を解析する解析方法であって、前記移動体から乗降する乗員の画像情報、前記移動体のドアの開状態または閉状態を示すドア開閉情報および、前記ドア開閉検出手段と、前記移動体の速度検出手段及び加速度検出手段のうち少なくともいずれか一方と、に基づいて前記移動体の異常を示す情報を取得する取得工程と、前記ドア開閉情報に基づいて前記画像情報のうち前記ドアから乗降する乗員を画像認識することにより前記移動体の利用者数を算出する解析工程と、前記取得工程で前記移動体の異常を示す情報を取得した場合に、当該異常に関する情報を通知する通知工程と、ことを特徴とする解析方法である。

以上説明したように請求項１に記載の発明によれば、画像記録装置が、記録手段に記録されている画像情報とドア開閉情報とを解析装置に送信し、解析装置が、ドア開閉情報に基づいて画像情報のうちドアから乗降する乗員を画像認識することにより移動体の利用者数を算出するので、画像記録装置に記録している画像情報から利用者数を計測することができる。したがって、画像記録装置に機能を追加するだけでよく、利用者数を計測するための設備を新たに設ける必要がなく低コストに車両の利用者数を計測することができる。また、移動体側で故障や事故等の異常が発生した場合に、自動的にその情報を送信することができる。したがって、解析装置が設置されている事務所等では、異常の内容に応じた対処を迅速に行うことができる。

請求項２に記載の発明によれば、定期的に利用者数を計測することができるので、移動体の運行中に利用者数を把握することが可能となる。

請求項３に記載の発明によれば、移動体として例えばバスの場合にバス停ごとの利用者数を算出することが可能となる。

請求項４に記載の発明によれば、解析装置が、ドア開閉情報に基づいて画像情報のうちドアから乗降する乗員を画像認識することにより移動体の利用者数を算出するので、移動体に設置されているドライブレコーダや監視カメラなどの撮影手段等で撮影した画像から利用者数を算出することができ、利用者数を計測するための設備を新たに設ける必要がなく低コストに車両の利用者数を計測することができる。また、移動体側で故障や事故等の異常が発生した場合に、自動的にその情報を送信することができる。したがって、解析装置が設置されている事務所等では、異常の内容に応じた対処を迅速に行うことができる。

請求項５に記載の発明によれば、ドア開閉情報に基づいて画像情報のうちドアから乗降する乗員を画像認識することにより移動体の利用者数を算出するので、移動体に設置されているドライブレコーダや監視カメラなどの撮影手段等で撮影した画像から利用者数を算出することができ、利用者数を計測するための設備を新たに設ける必要がなく低コストに車両の利用者数を計測することができる。また、移動体側で故障や事故等の異常が発生した場合に、自動的にその情報を送信することができる。したがって、解析装置が設置されている事務所等では、異常の内容に応じた対処を迅速に行うことができる。

本発明の一実施形態にかかる画像解析システムのブロック図である。 図１に示されたドライブレコーダの動作を示したフローチャートである。 図１に示された解析装置における利用者数算出動作を示したフローチャートである。 図１に示された解析装置における異常連絡があった場合の動作を示したフローチャートである。

次に、本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施形態にかかる画像解析システムのブロック図である。図１に示したように、画像解析システム１は、ドライブレコーダ２と、解析装置３と、を有している。

画像記録装置としてのドライブレコーダ２は、移動体としてバス等の車両に設置されている。ドライブレコーダ２は、本体部１０と、ドアセンサ２１と、速度センサ２２と、Ｇセンサ２３と、前方カメラ２４と、車内カメラ２５と、メモリカード２６と、ＧＰＳアンテナ２７と、スピーカ２８と、通信機器２９と、を備えている。

本体部１０は、制御部１１と、センサＩ／Ｆ１２と、カメラＩ／Ｆ１３と、カードリーダ／ライタ１４と、ＧＰＳＩ／Ｆ１５と、アンプ１６と、通信Ｉ／Ｆ１７と、を備えている。

記録制御手段としての制御部１１は、例えば、ＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリを備えたマイクロコンピュータで構成されている。制御部１１は、前記したＲＯＭに格納されたプログラムによって、ドライブレコーダ２の全体制御を司る。また、制御部１１は、前方カメラ２４や車内カメラ２５が撮影した画像情報をドアセンサ２１の検出結果に関連付けてメモリカード２６に記録する。また、解析装置３からの送信要求に応じてメモリカード２６に記録されている車内カメラ２５で撮影された画像情報およびドア開閉情報を読み出して車両（移動体）の位置情報（現在位置情報）と併せて通信機器２９を介して解析装置３に送信する。

センサＩ／Ｆ１２は、制御部１１と、ドアセンサ２１、速度センサ２２、Ｇセンサ２３と、を接続するためのインターフェースであり、各センサからの検出信号が入力され、制御部１１に出力される。カメラＩ／Ｆ１３は、前方カメラ２４や車内カメラと制御部１１とを接続するためのインターフェースであり、例えば前方カメラ２４や車内カメラ２５が撮影した画像情報をデジタルデータに変換し制御部１１に出力する。なお、前方カメラ２４や車内カメラ２５で撮影された画像情報は、カメラＩ／Ｆ１３で圧縮処理されて制御部１１に出力される。圧縮処理はカメラＩ／Ｆ１３でなく制御部１１で行ってもよい。

カードリーダ／ライタ１４は、メモリカード２６にデータを書き込んだり読み出したりする装置であり、制御部１１から制御される。ＧＰＳＩ／Ｆ１５は、ＧＰＳアンテナ２７と制御部１１とを接続するためのインターフェースであり、周知のＧＰＳ（Global Positioning System）衛星からＧＰＳアンテナ２７が受信（取得）した信号を制御部１１に出力する。制御部１１では、ＧＳＰアンテナ２７からＧＰＳＩ／Ｆ１５を介して入力された信号に基づいて自身の現在位置（緯度、経度）を算出する。

アンプ１６は、制御部１１からスピーカ２８に出力された音声情報を所定のレベルに増幅する回路である。またアンプ１６は、増幅機能だけでなく制御部１１から出力された音声情報をＤ／Ａ変換する機能を持っていてもよい。通信Ｉ／Ｆ１７は、通信機器２９と制御部１１とを接続するためのインターフェースであり、通信機器２９と制御部１１間におけるデータ（情報）の送受信を中継する。通信Ｉ／Ｆ１７は、通信機器２９とは有線または無線により接続され、例えば、有線であれはＵＳＢ（Universal Serial Bus）、無線であればＢｌｕｅｔｏｏｔｈ（登録商標）などで接続される。

ドア開閉検出手段としてのドアセンサ２１は、例えばバス等の車両の乗降口等に設けられたドアの開状態または閉状態を検出してドア開閉情報として出力する。速度センサ２２は、例えば、車軸等と共に回動して磁石の回転に応じて車速パルス信号を出力する素子であり、車速パルス信号の周期から速度を算出することができる。Ｇセンサ２３は、例えば３軸（Ｘ、Ｙ、Ｚ）方向の加速度・傾き・衝撃等を検出する３軸加速度センサで形成される。

前方カメラ２４は、車両に搭載され、例えば車室内の運転席の近傍に固定される。前方カメラ２４は、運転席前方のウインドシールドガラス越しに見える進行方向前方の所定範囲を撮影する。車内カメラ２５は、例えば車両に搭載され、車室内の天井に固定されている。撮影手段としての車内カメラ２５は、車両の乗降口等に設けられたドアから乗降する乗員を撮影することが可能となっている。即ち、車両のドア近傍の画像を撮影するとは、車両の乗降口等に設けられたドアから乗降する乗員を撮影することを意味する。

前方カメラ２４や車内カメラ２５は、ＣＣＤ（Charge Coupled Device）カメラ、デジタルカメラ、ビデオカメラ、赤外線カメラ等の各種カメラを用いることができる。また、前方カメラ２４や車内カメラ２５は複数のカメラから構成されていてもよい。

記録手段としてのメモリカード２６は、不揮発性の半導体メモリとその半導体メモリの書き込みや読み出しの制御を行う回路等を有するカード状の記録媒体である。メモリカード２６には、前方カメラ２４が撮影した画像情報と車内カメラ２５が撮影した画像情報とドアセンサ２１が検出したドア開閉情報とが関連付けて記録される。

位置情報取得手段としてのＧＰＳアンテナ２７は、ＧＰＳ衛星から受信した信号をＩ／Ｆ１８を介して制御部１１に出力する。スピーカ２８は、例えばドライブレコーダ２の操作音や警報等が出力される。

出力手段としての通信機器２９は、解析装置３と通信するための機器（通信手段）である。通信機器２９は、解析装置３から送信要求を受信するとともに、その要求に応じて制御部１１がメモリカード２６から読み出した車内カメラ２５で撮影された画像情報およびドア開閉情報と、車両の位置情報と、を解析装置３に送信（出力）する。また、車両に異常が検出された場合は、当該異常内容を示す情報とともに、車内カメラ２５で撮影された画像情報およびドア開閉情報と、車両の位置情報と、を解析装置３に送信する。

なお、通信機器２９は、後述するが本実施形態では、解析装置３はドライブレコーダ２が設置されている車両とは異なる事務所等に設置されているので、無線により通信する機器となっている。また、無線通信は携帯電話網などの公衆回線やインターネット等を経由するものでもよいし、専用線によるものでもよい。なお、解析装置３が持ち運び可能で車両に設置できるものであれば有線通信する構成でもよい。

解析装置３は、例えばバスなどの車両を管理する事業者の事務所等に設置されている。解析装置３は、本体部３０と、通信機器４０と、出力装置４１と、を備えている。

本体部３０は、制御部３１と、画像認識部３２と、記録装置３３と、Ｉ／Ｆ３４、３５と、を備えている。解析手段としての制御部３１は、解析装置３の全体制御を司る。また、制御部３１は、定期的にドライブレコーダ２に対して通信機器４０からＩ／Ｆ３４を介して車内カメラ２５で撮影された画像情報およびその画像情報に関連付けられているドア開閉情報と、車両の位置情報の送信要求を行う。そして、通信機器４０からＩ／Ｆ３４を介して入力された画像情報およびその画像情報に関連付けられているドア開閉情報と、車両の位置情報と、を記録装置３３に記録する。

また、制御部３１は、記録装置３３に記録された画像とその画像に関連付けられているドア開閉情報とに基づいて画像認識部３２に画像認識を行わせる。即ち画像情報の解析を行わせている。そして、制御部３１は、画像認識部３２の画像認識結果に基づいて車両の利用者数を算出しＩ／Ｆ３５を介して出力装置４１に出力する。

解析手段としての画像認識部３２は、制御部３１からの指示に応じて車両のドアが開いている期間の乗降口等から乗降する利用客を画像認識し認識結果を制御部３１に出力する。画像認識処理方法としては、例えば周知のオプティカルフロー法により行うことができるがそれに限らないことは言うまでもない。

記録装置３３は、不揮発性の記録装置で構成され、制御部３１からの指示に応じて通信機器４０が受信した画像情報およびその画像情報に関連付けられているドア開閉情報と、車両の位置情報と、を記録する。Ｉ／Ｆ３４は、通信機器４０と制御部３１とを接続するためのインターフェースであり、通信機器４０と制御部３１間におけるデータ（情報）の送受信を中継する。Ｉ／Ｆ３４は、通信Ｉ／Ｆ１７と同様に通信機器４０とは有線または無線により接続され、例えば、有線であれはＵＳＢ、無線であればＢｌｕｅｔｏｏｔｈ（登録商標）などで接続される。Ｉ／Ｆ３５は、出力装置４１と制御部３１とを接続するためのインターフェースであり、例えば制御部３１で算出された利用者数を出力装置４１に合わせたフォーマットに変換して出力する。

取得手段としての通信機器４０は、ドライブレコーダ２と通信するための機器である。通信機器４０は、制御部３１が出力した送信要求をドライブレコーダ２へ送信するとともに、ドライブレコーダ２から送信された画像情報およびその画像情報に関連付けられているドア開閉情報と、車両の位置情報と、を受信（取得）する。

出力装置４１は、制御部３１が算出した利用者数を出力する。出力装置４１は、例えば、日報等にバス停ごとの利用者数を記録する場合は、当該日報が保存されているハードディスク等を出力装置４１として、日報等のファイルを更新する。また、出力装置４１としては、液晶ディスプレイ等の表示装置やプリンタ等の印刷装置などであってもよい。また、出力装置４１はハードディスクと液晶ディスプレイなど複数種類あってもよい。

なお、出力装置４１に表示装置を含む場合は、ドライブレコーダ２から異常連絡を受信した際に当該異常を通知する通知手段を兼ねることができる。

解析装置３は、例えばパーソナルコンピュータ（ＰＣ）で構成することができる。この場合、制御部３１や画像認識部３２は、ＰＣのＣＰＵ上で動作するソフトウェア（コンピュータプログラム）として構成し、ＰＣのハードディスクに予め格納されている。また、記録装置３３は、ＰＣのハードディスクが対応する。出力装置は、出力方法に合わせて、ＰＣに接続される機器（ハードディスク、液晶ディスプレイ、プリンタ等）が対応する。

次に、上述した構成の車載画像解析システム１の動作を図２乃至図４を参照して説明する。図２は、ドライブレコーダ２の動作を示したフローチャートである。図３および図４は、解析装置３の動作を示したフローチャートである。なお、以降の説明においては移動体としての車両の例としてバスで説明する。

まず、図２に示したドライブレコーダ２の動作を説明する。図２は制御部１１で実行される。ステップＳ１１において、バスのイグニッションスイッチ（ＩＧＮ）がＯＮになったか（車両ＩＧＮ信号ＯＮ）否かを判断し、ＯＮの場合（ＹＥＳの場合）はステップＳ１２に進み、ＯＦＦの場合（ＮＯの場合）はステップＳ１９に進む。

次に、ステップＳ１２において、前方カメラ２４や車内カメラ２５で撮影した画像情報をメモリカード２６に記録してステップＳ１３に進む。なお、この画像記録は以後のステップ実行中も継続して行われている。即ち本実施形態では画像は動画像として記録されている。

次に、ステップＳ１３において、ドアセンサ２１の検出結果に基づいて、バスの乗降口等のドアがＯＰＥＮ（開いている）か否かを判断し、ＯＰＥＮである場合（ＹＥＳの場合）はステップＳ１４に進み、ＯＰＥＮでない場合（ＮＯの場合）はステップＳ１５に進む。

次に、ステップＳ１４において、ドアＯＰＥＮイベント（ドア開閉情報）をメモリカード２６に記録してステップＳ１６に進む。このイベントは車内カメラ２５が撮影した画像情報と対応付けて記録する。つまり、ドアＯＰＥＮイベントが発生した時刻の画像情報に関連付けて記録する。

一方、ステップＳ１５においては、ドアＣＬＯＳＥイベント（ドア開閉情報）をメモリカード２６に記録してステップＳ１６に進む。このイベントは車内カメラ２５が撮影した画像情報と対応付けて記録する。つまり、ドアＣＬＯＳＥイベントが発生した時刻の画像情報に関連付けて記録する。

次に、ステップＳ１６において、解析装置３（事務所）からの定時刻連絡の要求（送信要求）を受信したか否かを判断し、受信した場合（ＹＥＳの場合）はステップＳ１７に進み、受信していない場合（ＮＯの場合）はステップＳ１１に戻る。

次に、ステップＳ１７において、車内異常が有るか否かを判断し、有る場合（ＹＥＳの場合）はステップＳ１８に進み、無い場合（ＮＯの場合）はステップＳ１９に進む。車内異常の判断は、例えばＧセンサ２３が所定以上の加速度を検出した場合や、速度センサ２２が予め定めた速度以上の速度を検出した場合などで判断すればよい。即ち、速度センサ２２やＧセンサ２３が異常検出手段として機能する。また、ドアセンサ２１、速度センサ２２、Ｇセンサ２３の複数のセンサの検出結果の組み合わせ（例えばドア開状態で速度が所定以上の速度など）や、図１に図示していない他のセンサ等により車両の事故や故障を判断して異常としてもよい。

次に、ステップＳ１８において、異常連絡およびその異常内容と、ＧＰＳアンテナ２７が受信した電波により求めたバスの位置（現在位置）情報と、メモリカード２６に記録されている車内カメラ２５で撮影された画像情報およびドア開閉情報と、を解析装置３に送信してステップＳ１１に戻る。即ち、移動体の異常を示す情報を、画像情報およびドア開閉情報とともに送信している。

一方、ステップＳ１９においては、異常無し連絡と、ＧＰＳアンテナ２７が受信した電波により求めたバスの位置情報と、メモリカード２６に記録されている車内カメラ２５で撮影された画像情報およびドア開閉情報と、を解析装置３に送信してステップＳ１１に戻る。なお、ステップＳ１８とＳ１９において、ステップＳ１７が２回目以降に実行された場合は、メモリカード２６に記録されている車内カメラ２５で撮影された画像情報およびドア開閉情報は前回のステップＳ１８またはＳ１９の実行後からの現在までの差分を送信する。

また、ステップＳ２０においては、車両ＩＧＮ信号がＯＦＦであるので画像記録を停止して終了する。

次に、図３のフローチャートを説明する。図３のフローチャートは、利用客数を算出する動作のフローチャートである。図３は制御部３１で実行される。まず、ステップＳ２１において、ドライブレコーダ２から送信されたバスの位置情報と、メモリカード２６に記録されている車内カメラ２５で撮影された画像情報およびドア開閉情報と、を受信して記録装置３３に記録しステップＳ２２に進む。

次に、ステップＳ２２において、ステップＳ２１で受信した情報を記録装置から読み出してドアＯＰＥＮイベントが有るか否かを判断し、有る場合（ＹＥＳの場合）はステップＳ２３に進み、無い場合（ＮＯの場合）は終了する。

次に、ステップＳ２３において、ドアが開いている期間の画像情報を抽出してステップＳ２４に進む。ドアが開いている期間は、ドアＯＰＥＮイベントの検出からドアＣＬＯＳＥイベントの検出までとすればよい。

次に、ステップＳ２４において、画像認識により乗降客数（利用者数）を計算してステップＳ２５に進む。本ステップでは、ドアが開いている期間において、画像認識部３２がドアを通過した乗客を画像認識により識別し、その結果に基づいて制御部３１で乗降客数を計算する。即ち、ドア開閉情報に基づいて画像情報のうちドアから乗降する乗員を画像認識することにより移動体の利用者数を算出している。

次に、ステップＳ２５において、ステップＳ２１で受信したバスの位置情報に基づいてバス停を判別し、ステップＳ２４で算出した乗降客数を判別されたバス停の乗降客数として日報等にデータを追加する。即ち、予め定めた所定地点ごとに利用者数を算出している。

日報等に記録された乗降客数は、例えば路線ごとにまとめたり、日、週、月ごと、あるいは時間帯ごとに整理したデータを表やグラフ等として出力するようにしてもよい。

なお、図３のフローチャートでは利用者数を乗降客数として算出したが、乗客数（車内に乗車している乗客の数）として算出するようにしてもよい。この場合は、始点となるバス停で乗車した乗客数をカウントすれば、バス停ごとに降車した人数と乗車した人数を算出して加減算すれば算出できる。

次に、図４のフローチャートを説明する。図４のフローチャートは、バスから異常連絡があった場合の動作のフローチャートである。図４は制御部３１で実行される。まず、ステップＳ３１において、バスに対して定時刻連絡の要求を送信して、定時刻連絡を実施してステップＳ３２に進む。本ステップでは、定期的に定時刻連絡の要求するため、例えば、予め定めた所定時間間隔で当該要求を送信する。

次に、ステップＳ３２において、ステップＳ３１で送信した定時刻連絡の要求に対してバスから返信が有るか否か（バスからの返信を受信したか否か）を判断し、有る場合（ＹＥＳの場合）はステップＳ３３に進み、無い場合（ＮＯの場合）はステップＳ３５に進む。

次に、ステップＳ３３において、乗降客数の算出を行ってステップＳ３４に進む。本ステップは図３に示したフローチャートが実行される。

次に、ステップＳ３４において、ステップＳ３２で受信した返信に異常連絡が有るか否かを判断し、異常連絡が有る場合（ＹＥＳの場合）はステップＳ３５に進み、無い場合（ＮＯの場合）、即ち異常無し連絡の場合は終了する。

次に、ステップＳ３５において、異常連絡とともに受信した異常内容を例えば表示装置に表示したりスピーカ等から音声により出力することで通知する。異常が通知された場合は、例えば臨時バスの手配等の対応を実施する。また、定時刻連絡の要求に対して返信が無い場合も異常として通知する。定時刻連絡の要求に対して返信が無い場合はドライバー等の乗務員に連絡を取る等の対応を実施する。本ステップ実行後は、ステップＳ３１に戻って定時刻連絡時間になった際に定時刻連絡が実施される。

以上の実施形態によれば、ドライブレコーダ２が車内カメラ２５で撮影された画像情報とその画像情報に関連付けてドア開閉情報とを解析装置３に送信し、解析装置３が受信した画像情報とドア開閉情報からドアが開いている期間にドアを通過した乗客を画像認識することにより乗降客数を計算しているので、ドライブレコーダ２に記録している画像情報から乗降客数を計測することができる。したがって、車両側ではドライブレコーダ２に機能を追加するだけでよく、乗降客数を計測するための設備を新たに設ける必要がなく低コストに車両の乗降客数を計測することができる。

また、解析装置３からの定時刻連絡要求に基づいてドライブレコーダ２が車内カメラ２５で撮影された画像情報とその画像に関連付けてドア開閉情報とを解析装置３に送信するので、一定時間間隔で乗降客数を計測することができる。

また、バス等の車両の位置情報に基づいて、計測した地点ごとの乗降客数を出力装置から出力して日報等にデータを追加しているので、自動的に例えばバス停ごとに乗降客数を日報に追加することができる。

また、解析装置３からの定時刻連絡要求に基づいてドライブレコーダ２が車両の異常の有無を解析装置３に送信するので、定期的にバスの状態を把握することができる。

また、バス等の車両から異常連絡が有った場合は解析装置３が自動的に異常内容を通知するので、例えばドライバー等の乗務員が連絡する必要がなく、事務所等の管理者側が異常を迅速に認知して対処することができる。

なお、上述した実施形態では、解析装置３からの要求に応じて車内カメラ２５で撮影された画像情報とその画像情報に関連付けてドア開閉情報とをドライブレコーダ２は送信していたが、それに限らない。例えば、要求によらずドライブレコーダ２自身に定められた一定時間間隔で送信するようにしてもよいし、バスであればバス停毎などドアが開いて閉じるという動作が行われた時に送信するようにしてもよい。即ちドライブレコーダ２が、定期的にメモリカード２６に記録されている画像情報およびドア開閉情報を解析装置３に送信できればよい。

また、車両側で異常が発生した場合は、解析装置３側からの定時刻連絡の要求に関わらず異常連絡およびその異常内容と、ＧＰＳアンテナ２７が受信した電波により求めたバスの位置情報と、メモリカード２６に記録されている車内カメラ２５で撮影された画像情報およびドア開閉情報と、を解析装置３に送信してもよい。このようにすることで、車両側で異常が発生した場合に即座に異常発生を解析装置３に送信することができ、事業者等の異常の把握や対策をより迅速に行うことができる。

また、上述した実施形態では、乗降客数の算出を説明するために車内カメラ２５の画像情報のみを解析装置３に送信するようにしていたが、前方カメラ２４が撮影した画像情報を送信するようにしてもよい。特に異常発生時には前方カメラ２４が撮影した画像情報を確認することにより、事務所等の管理者側で状況をより詳しく把握することができる。

また、上述した実施形態では、移動体として主にバスなどの車両を例に説明したが、バスに限らず、タクシー等の他の車両でもよいし、エレベータのかご等の不特定多数の利用がある移動体であれば本発明を適用することができる。

また、上述した実施形態では、解析装置３は、通信機器４０のより通信により画像情報とドア開閉情報とを取得していたが、通信に限らず、例えばドライブレコーダ２と同様のカードリーダ／ライタを備えてメモリカード等の可搬できる記録媒体から取得するようにしてもよい。即ち、解析装置３は移動体から乗降する乗員の画像情報および移動体のドアの開状態または閉状態を示すドア開閉情報を取得する取得手段を備えていればよい。

また、本発明は上記実施形態に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の画像解析システム、解析装置および解析方法の構成を具備する限り、勿論、本発明の範疇に含まれるものである。

１ 画像解析システム
２ ドライブレコーダ（画像記録装置）
３ 解析装置
１１ 制御部（記録制御手段）
２１ ドアセンサ（ドア開閉検出手段）
２２ 速度センサ（異常検出手段）
２３ Ｇセンサ（異常検出手段）
２５ 車内カメラ（撮影手段）
２６ メモリカード（記録手段）
２７ ＧＰＳアンテナ（位置情報取得手段）
２９ 通信機器（出力手段）
３１ 制御部（解析手段）
３２ 画像認識部（解析手段）
４０ 通信機器（取得手段）
４１ 出力装置（通知手段）
Ｓ２１ 画像情報およびドア開閉情報受信（取得工程）
Ｓ２４ 画像認識による乗降客数の計算（解析工程）

Claims (5)

1. 移動体に搭載され前記移動体のドア近傍の画像を撮影する撮影手段および前記撮影手段が撮影した画像情報を記録する記録手段を備えた画像記録装置と、前記記録手段に記録された画像情報を解析する解析装置と、を有する画像解析システムであって、
   前記画像記録装置が、
   前記移動体のドアの開状態または閉状態を検出するドア開閉検出手段と、
   前記画像情報と前記ドア開閉検出手段が検出したドアの開状態または閉状態を示すドア開閉情報とを関連付けて前記記録手段に記録する記録制御手段と、
   前記ドア開閉検出手段と、前記移動体の速度検出手段及び加速度検出手段のうち少なくともいずれか一方と、に基づいて前記移動体の異常を検出する異常検出手段と、
   前記記録手段に記録されている前記画像情報、前記ドア開閉情報および前記異常検出手段が検出した前記移動体の異常を示す情報を前記解析装置に出力する出力手段と、
   を備え、
   前記解析装置が、
   前記画像記録装置から送信された前記画像情報、前記ドア開閉情報および前記移動体の異常を示す情報を取得する取得手段と、
   前記ドア開閉情報に基づいて前記画像情報のうち前記ドアから乗降する乗員を画像認識することにより前記移動体の利用者数を算出する解析手段と、
   前記取得手段が前記移動体の異常を示す情報を取得した場合に、当該異常に関する情報を通知する通知手段と、を備えている、
   ことを特徴とする画像解析システム。
2. 前記出力手段が、定期的に前記記録手段に記録されている前記画像情報および前記ドア開閉情報を前記解析装置に出力することを特徴とする請求項１に記載の画像解析システム。
3. 前記画像記録装置が、前記移動体の現在位置を取得する位置情報取得手段を備え、
   前記出力手段が、前記画像情報と前記ドア開閉情報に加えて前記位置情報取得手段が取得した前記移動体の現在位置情報も前記解析装置に出力し、
   前記取得手段が、前記画像情報と前記ドア開閉情報に加えて前記現在位置情報も取得し、
   前記解析手段が、前記現在位置情報に基づいて、予め定めた所定地点ごとに前記利用者数を算出することを特徴とする請求項１または２に記載の画像解析システム。
4. 移動体から乗降する乗員の画像情報を解析する解析装置であって、
   前記移動体から乗降する乗員の画像情報、前記移動体のドアの開状態または閉状態を示すドア開閉情報および、前記ドア開閉検出手段と、前記移動体の速度検出手段及び加速度検出手段のうち少なくともいずれか一方と、に基づいて前記移動体の異常を示す情報を取得する取得手段と、
   前記ドア開閉情報に基づいて前記画像情報のうち前記ドアから乗降する乗員を画像認識することにより前記移動体の利用者数を算出する解析手段と、
   前記取得手段が前記移動体の異常を示す情報を取得した場合に、当該異常に関する情報を通知する通知手段と、を備えている、
   ことを特徴とする解析装置。
5. 移動体から乗降する乗員の画像情報を解析する解析方法であって、
   前記移動体から乗降する乗員の画像情報、前記移動体のドアの開状態または閉状態を示すドア開閉情報および、前記ドア開閉検出手段と、前記移動体の速度検出手段及び加速度検出手段のうち少なくともいずれか一方と、に基づいて前記移動体の異常を示す情報を取得する取得工程と、
   前記ドア開閉情報に基づいて前記画像情報のうち前記ドアから乗降する乗員を画像認識することにより前記移動体の利用者数を算出する解析工程と、
   前記取得工程で前記移動体の異常を示す情報を取得した場合に、当該異常に関する情報を通知する通知工程と、を含んでいる、
   ことを特徴とする解析方法。

Images