添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
図1は、本発明の最適実施形態である、ドライブレコーダで撮像された映像データ管理システムについての構成を示す図である。図1に示されるとおり、本開示のシステムは、管理サーバ100および車両200を含んで構成されている。車両200は、自動車、電車などの移動体であって、複数の機器を備えている。複数の機器のひとつは、機器であるドライブレコーダ200aを備える。ドライブレコーダ200aは、撮影機器であって、車両200の移動に伴って、車両200の内外における所定の範囲の静止画像または動画を撮影して記憶する。なお、本実施形態では車両などの移動体に配置されるドライブレコーダを例示しているが、移動体であれば他の検出対象であっても良く、例えば船舶または航空機などの移動体でもよい。また、ドローンなど無線操作または自律移動することができる装置(移動体)であってもよい。なお、ドローンなどにおいては、撮影対象が前方又は後方に限られることなく、360°全方位で撮影された画像であってもよい。
更に、検出対象は移動体に配置された機器として説明しているが、移動体に限定されるものでもなく、例えば、通信対象の機器として、特定の場所に設置された固定カメラを対象としても良く、その場合の検出対象は、人や他の移動体となり、機器の相対的な移動関係が連携されず、独立して検出される場合であってもよい。また映像データの取得のみに限定されることなく、データの取得や制御、取得予約や画像分析処理への転送、転送結果に基づく動作計画など、今後のデータ処理で想定される動作全般の実行と、映像取得予約時間における動作制御を含む計画を包含するものであることは、言うまでもない。
管理サーバ100は、複数の車両200に各々配置される機器のうち機器であるドライブレコーダ200aに記憶されたデータを管理するための管理サーバである。管理サーバ100は、ドライブレコーダ200aから、管理者端末110により設定された取得条件を満たしている映像を取得する。
なお、車両200は、例えば、運送会社で使用される輸送用車両、バス会社で使用されるバス、またはタクシー会社で使用されるタクシーなどの業務用の車両を想定しており、同じ会社・同じ事業者で使用される。会社・事業者によって、把握したい映像は異なっている。なお、車両の利用目的は業務用に限られず、例えばBtoBtoCの場合にある様な、各々が契約関係のあるリース会社や損害保険会社のエンドユーザ向けの車両にも適用し得るし、また契約関係に限定されることなく、個人向けの車両に対し、例えばある駐車場と契約関係のある、または一時的にその駐車場を利用する車両等であってもよい。要は、ドライブレコーダ200aは、一般的な個人向けドライブレコーダに本願発明の管理プログラム(ドライブレコーダ内の管理テーブルを含むファームウェアなど)にインストールされて管理サーバ100側との通信を可能としてもよい。また、ドライブレコーダに限られるものでもなく、ドローンなどの移動体自体にインストールされても良く、また移動体と関連付けられた機器、即ち人が保有するスマートフォンなどの機器にインストールされてもよいことは言うまでもない。
つぎに、管理サーバ100の機能構成について説明する。図2は、管理サーバの機能構成を示すブロック図である。図2に示されるとおり、管理サーバ100は、データ処理部101、エリアテーブル102、エリア動作設定テーブル103、エリア検出記録テーブル104、映像キー情報記憶テーブル105、映像データテーブル106および通信部107を含んで構成される。
データ処理部101は、ドライブレコーダ200aに記憶されている映像データのうち、エリア動作設定テーブル103に記憶されている取得条件であるエリア動作条件を満たす映像データを、通信部107を介してドライブレコーダと通信して取得する部分である。例えば、カメラ映像を事故多発地点で取得することは考慮しておらず、また管理者の基準にしたがって、車両の移動速度、場所の種別(高速道、一般道、荷下ろし・送迎場所、駐車場など)、カメラの設置位置・撮影方向、車両の進入・進出目的に応じて映像取得する。
エリアテーブル102は、映像の取得対象エリアに関する情報を記憶するテーブルであり、エリアマスタ領域、エリア領域、およびエリア端末設定領域からなる。図3にその具体例を示す。図3(a)は、エリアマスタ領域の具体例を示す。図に示されるとおり、エリアマスタ領域は、エリアマスタIDおよびエリアマスタ名、エリアマスタの内容を対応付けた情報を記憶する。エリアマスタIDは、エリアマスタとして定義される所定の条件からなるエリア同士を識別するためのIDである。エリアマスタ名は、エリアマスタの名称である。エリアマスタの内容は、例えばエリアマスタIDと関連付けられるエリアIDに共通の内容を記載するなどし、後にエリアマスタを設定した管理者や利用者がその内容を確認できるようにしている。後述する通り、エリアマスタは、例えば地理的な小エリアを束ねて管理する大エリアであり、少なくとも1以上のエリアから構成される。
なお、ここでいうエリアマスタは、必ずしも構成されるエリアと包含関係にある必要はなく、当該エリア検出時に撮像等するエリア映像等のデータの利用目的が共通するなど、何らかの管理基準により、柔軟にエリアマスタIDと複数のエリアIDを関連付けしてもよい。具体的には、例えば、有料道路又は電車の路線、バス路線の駅やインターチェンジ、橋梁、分岐点やバス停などの管理対象毎に、車両や人の乗降の安全を見守ることを目的として、エリア映像データを取得するため、路線毎にエリアマスタIDを付与し、その路線上にある駅やバス停ごとにエリアIDを付与し、関連付けしてもよい。
また、エリアマスタIDとエリアIDは必ずしも1対多となるわけではなく、対象エリアで撮像する映像データ等の利用目的に応じて、多対1や多対多で管理されてもよいことは言うまでもない。要は、管理者が必要な映像データ等を取得するために、エリアID及びエリアマスタIDを柔軟に活用でき、特に検索条件の設定を行う際に効率的な設定を可能とするために利用してよいことは言うまでもない。また、後述するエリア領域において、エリアマスタIDを用いて、複数のエリアIDの動作条件を一括設定・変更することが可能となることは、言うまでもない。
図3(b)は、エリア領域の具体例を示す。図に示されるとおり、エリア領域は、エリアマスタID、エリアID、エリア名、およびエリア範囲を対応付けた情報を記憶する。エリアマスタは、複数のエリアを含む。エリアIDは、エリアを識別するためのIDである。エリア名は、そのエリアの名称である。エリア範囲は、その範囲を定義する情報であり、例えばGPS情報などの座標情報で定義される。
なお、絶対位置として特定可能な座標情報のほか、相対位置として他の情報と組合せることで特定される位置情報で示してもよい。また、本実施形態ではエリアを文言通り、位置情報を起点として定義し説明しているが、必ずしもこれに限定されるという訳ではなく、何らかの検出対象となる情報を起点として、変化した時点の位置情報を用いたエリア特定の他、データの利用目的に応じて柔軟に検出する範囲を定め、間接的に導かれる検出時の位置情報により定義されてもよい。
具体的は、特許文献2で説明しているが、危険挙動や注意挙動、踏切や一旦停止位置での一旦停止挙動、信号無視挙動、スピード違反挙動など、他の機器から予めデータを取得して、車両等の安全をより配慮すべきエリアを自律的または管理者により支配的にエリア設定して、本願発明のエリア検出に利用し、他の車両等の安全に活用してもよいことは言うまでもない。
更に、特許文献2のイベント映像取得特許の中で明記していない、車両自体のメンテナンス事象データや、あおり運転・渋滞等の周辺車両に関するデータの変化、横風や道路凍結、道路や航路上の障害物などを、前方映像の解析結果に基づき検出したり、除雪車両や清掃車両での前後映像の比較解析結果に基づき検知したりなどして、その検知した位置情報を基にエリア設定して、エリア検出に利用し、他の車両等の安全に活用してもよいことは言うまでもない。
図3(c)は、エリア端末設定領域を示す。図に示されるとおり、エリア端末設定領域は、機器IDとエリアIDとを対応付けた情報を記憶する。機器IDとは、ドライブレコーダ200a等を識別するためのIDである。この情報を使って、機器IDで示されるドライブレコーダ200aの映像のうち、エリアIDのエリアに入ったときの映像が取得されるようにしてもよい。
なお、重ねての説明となるが、本願発明の実施形態では、ドライブレコーダとして説明しているが、必ずしも車両等に配置されるドライブレコーダに限定される訳ではなく、移動体であれば車両の他、船舶または航空機など、ドローンなど無線操作または自律移動することができる装置に関連付けられる機器でも良く、また人が所持する携帯端末やスマートフォンなどの機器であっても良く、必ずしもカメラが接続されている機器には限定されないことは言うまでもない。その他、例えば動物保護や飼育を目的として、首輪やベルトなどに設置された小型機器で、ペット側から見た映像を取得できるようにしたり、位置情報を管理することが出来るようにしてもよいことは言うまでもない。
また、移動体以外の固定カメラや環境センサなど、特定の場所に固定設置された機器であっても良く、この場合は、相対的に関連付けられる移動体の移動を検知して、データ等の取得ができることは言うまでもない。
エリアテーブル102は、映像の利用目的が合致する複数のエリア(エリアID)を、エリアマスタIDと関連付けて記憶してもよい。そして、エリアマスタID毎にエリア動作設定テーブル103のエリア動作条件が定義づけられてもよい。これにより、エリアマスタIDという、一つのIDを利用して、複数のエリアに対するエリア動作条件を定義づけることができる。例えば、エリアマスタIDに、橋梁を含んだ複数のエリアを対応付けるとする。エリアマスタIDをエリア動作条件に対応付けることで、橋梁などにおける経年劣化を纏めて観測するための映像を取得することができる。
エリア動作設定テーブル103は、ドライブレコーダ200aにおいて撮影された映像の取得条件であるエリア動作条件を記憶する部分である。図4は、エリア動作設定テーブル103の具体例を示す図である。図に示されるとおり、エリア動作設定テーブル103は、エリアID、動作タイミング、映像UPLOAD(動作種別)、対象カメラ、映像切り出し時間、映像UPLOAD回数(動作上限回数)、検出速度帯、検出温度帯および管理通知などを対応付けた情報を記憶する。エリア動作設定テーブル103におけるエリアIDが、検出条件に相当し、動作タイミング、映像UPLOAD、対象カメラ、映像切り出し時間、映像UPLOAD回数、検出速度帯、検出温度帯、管理通知が、動作条件に相当する。そのうち、映像切り出し時間が動作予約情報に相当する。そのほか、ここには例示していないが、映像が取得される時間(検出時間または動作時間)、すなわち動作予約情報とは、何らかの時間に関連する情報としてもよい。例えば、固定カメラを定期的に動作させるため、交通量や台風や大雨を各種センサで検出して、センサで検出している時間帯に動作させたり、画像分析処理への転送結果に基づき、何らかの交通事故や災害の原因となる映像分析結果を検出した時間帯に動作させるなど、データ処理により想定される検出結果に基づき、交通事故や災害を防止するために映像を活用してもよい。なお、映像の活用は利用目的によるもので、様々な利用を想定しても良く、検出対象の状態情報は、車速などの車両等に関するセンサ情報を広く含んでもよい。
なお、エリアIDは上述したとおり、エリアマスタIDとしてもよいし、少なくとも1つの項目で動作を設定していれば良く、またテーブルの構成としても全項目を項目化しなくてもエリア検出時の動作を設定できることは言うまでもない。
このエリア動作設定テーブル103は、管理者端末110から設定され、管理者が取得しようとする映像の利用目的に応じた動作条件が設定される。
ここで、動作タイミングは、映像切り出し処理について後述する図7を用いて説明する。車両200が指定された範囲に入った時を起点にした所定時間の映像を切り出すか(エリアIN)、出た時を起点に所定時間遡った映像を切り出すか(エリアOUT)、または、入ってから出るまでの間の映像を切り出すか(エリアIN-OUT)、いずれかを示す。
なお、本願発明の理解を促進するために上述の動作タイミングをエリアの例として説明するが、必ずしもエリアに限定されるものではなく、エリアマスタとエリアを管理する際に説明した、ある事象において取得したい映像等のデータの利用目的に応じた検出基準であってもよい。例えば、特許文献2のイベント映像取得特許の中で規定していない、車両自体のメンテナンス事象データの変化を検知したり、あおり運転・渋滞等の後部車両との接近距離に関するデータの変化を検知したり、横風や道路凍結、道路や航路上の障害物などを、前方映像の解析結果に基づき検知したり、除雪車両や清掃車両での前後映像の比較解析結果に基づき検知したり、その他、車両などの移動体自体、または移動体に関連付けられた機器で検知可能なデータの変化等であってもよいことは言うまでもない。その場合は、エリアマスタ領域、エリア領域、エリア端末設定領域と呼んでいるテーブルと同様に、別の条件テーブルを設け、位置情報ではなく別の情報で定められる、条件名と条件を満たす範囲を設定し、検出対象の情報に基づく検知条件に付いて後述するが、同様に検知条件が位置情報ではなく別の情報で定められてもよいことは言うまでもない。
映像UPLOADは、管理サーバ100の管理者からの要求(取得要求やアクセス要求、取得予約を含む)により映像の取得を行うか、管理サーバ100が自動的に映像の取得を行うか、の手法が設定される。この映像UPLOADは、映像の即時取得か否かの判断のために利用される。なお、ここでも映像データのUPLOADを中心に説明するが、必ずしも映像データに限定されるわけではなく、車両などの移動体自体または移動体と関連付けられた機器に関するデータのUPLOADまたはその機器の動作を規定する制御信号のDOWNLOADによる対象機器の動作を行わせてもよいことは言うまでもない。なお自動的な処理は、後述する検出および動作条件を判断する主体が管理サーバなのかドライブレコーダなのかによらず、映像UPLOADの設定によりドライブレコーダ200aから即時映像データが送信され、管理サーバ100が映像を取得する他にも、危険挙動等のイベントを検出したとき、ドライブレコーダ200aと通信できないときなどに映像取得予約がされているときなどに、管理サーバ100は自動的に映像が取得されることは言うまでもない。
対象カメラは、例えばフロントカメラの映像か、室内カメラの映像かまたはその両方のカメラの映像か、映像取得対象となるカメラの種別を示す。なお、フロントまたは室内に限定される訳ではなく、任意の数を室内外の任意の方向や位置に設置可能であり、リアカメラを含めてもよいことは言うまでもない。その場合には、車両側が管理する制御装置を介して、室外にあるリアカメラやカメラ付バックミラーの映像等を取得する方式を取っても良く、関連する機器(この場合はカメラ)との通信は、近接通信など何らかの手段で接続されていればよく、何ら限定されるものではないことは言うまでもない。なお、映像の場合は対象カメラを特定する情報が有益となるが、例えば車両の一輪がパンク等したときの車両の振動周期や上下振動の振幅やジャイロデータによる車両の傾きから、前後左右どの部分の車輪がパンク等したことを検出し、管理者等への有益な情報として提供してもよいことは言うまでもない。あくまで一例にすぎず、車両の異常情報は、特に安全運転の関係で様々な映像データの取得や検出を可能とすることが出来ることは言うまでもない。
映像切り出し時間は、取得対象となる映像の切り出される時間を示す。切り出される映像は、動作タイミングを起点にして、切り出される。この欄には、“エリアALL”が設定される場合がある。“エリアALL”が設定されており、動作タイミングが“エリアIN/OUT”と設定されている場合には、車両200が、映像取得のための対象エリアに進入してから退出するまでの映像が切り出されることを示す。
なお、いずれの場合においても、例えば映像データの利用目的に欠かせない映像シーンを確実に取得するために、動作タイミングを起点にして数秒前後して映像の切り出しを開始したり終了したりしてもよいことは言うまでもない。
映像UPLOAD回数は、映像のアップロードの回数の1日における上限を示す。これは、道路などの経年劣化をみる場合に、一日に何度もアップロードすることの意味が無いために設定される。なお、道路やトンネルの壁や天井、橋梁などの経年劣化を見る場合に、映像取得の回数よりも、1回の映像の解像度が高いものが必要となる場合があり、この場合は、接続されたカメラの設置位置や仕様にもよるが、例えば天井、壁、道路の場合は車外に上向き、横向き、下向きに設置し、かつカメラの撮像範囲を車両の移動方向に並行して移動させ、対象映像の動態速度を低減したり、解像度を向上するような撮影法(ズームイン撮影)を採用するなど、様々な動作条件が考えられることは言うまでもない。
検出速度帯は、映像の取得条件となる、車両200の移動速度を示す。ここで設定された速度の範囲で移動した車両200による映像が取得され、その速度の範囲以外の速度で移動した車両200による映像は取得対象とはならない。なお、上述の変形例での説明の通り、必ずしも人や車両などの移動体と一体で移動する機器の移動速度を検出することに限定される訳ではなく、特定の位置に設置された固定カメラなどで、撮像範囲に人が映り込むときの速度を検出しても良く、また検出速度は車両の他、ドローンなどの航空機や船舶、その他移動体と関連付けられた機器で移動対象の速度を検出してもよいことは言うまでもない。
検出温度帯は、例えば、移動体による輸送時に車両または荷台に乗せた食料や動物などの撮影対象に与える影響を監視するための条件の1つや、車両の安全運転を目的として、エンジンやラジエータなどの温度などを検出対象の温度として、何らかの動作条件を設定するための温度帯を示し、必ずしも条件設定しなくてもよい。なお、上述の例では、例えば食料、動物、エンジン、ラジエータなど監視対象それぞれに動作条件となる温度帯が異なることは言うまでもなく、また設定された温度帯で撮影された映像を取得することに限定されるものではないことは言うまでもない。
管理者通知は、ON/OFFで示され、映像取得時において管理者に通知するか否かが設定される。管理者通知は、映像をまとめて送りたい場合、取得対象となるエリアの数が多い場合など、管理者が最優先で動作条件を満たした機器やデータを区別するなどの利用目的に基づいて、その有無が設定される。
エリア検出記録テーブル104は、ドライブレコーダ200aや、検出対象となる車両などの移動体、又はエリアに設置された固定カメラなどの機器から取得されたエリア検出情報を記憶する。図5は、エリア検出記録テーブル104の具体例を示す。図に示されるとおり、エリア検出記録テーブル104は、機器ID、エリアID(または必要に応じて、エリアマスタID)、エリアIN日時(または必要に応じて、エリアOUT日時)、速度、および温度を記憶する。機器IDは、撮影したドライブレコーダ200aのIDである。エリアIDは、撮影したエリアのIDである。エリアIN日時は、車両200がエリアに入った日時である。速度は、車両200の撮影時の速度である。温度は、ドライブレコーダ200aによる撮影時の温度である。これら情報は、撮影時におけるエリアに関する情報または車両200の状態情報である。
映像キー情報記憶テーブル105は、ドライブレコーダ200aから取得された、取得予定の映像の検索用のキー情報を記憶するテーブルである。図6は、その具体例を示す図である。この映像キー情報記憶テーブル105は、データ処理部101により、エリア検出情報(エリア検出記録テーブル104)の機器ID、エリアID、エリアIN日時(またはエリアOUT日時)、速度、温度、映像の取得の有無を、切り出された映像の映像IDに対応付けて生成される。また、組織IDおよび運転者IDは、図示しない運転者DBに基づき取り出されるか、運転前にICカードリーダで検出した情報として、外部メモリに記録されている。これら情報は、機器IDと紐付けられ、機器IDは車両と紐付けられている。走行地域は、図示しないエリアDBとエリアIDとから導出される。管理者端末110は、この映像キー情報記憶テーブル105を用いて、映像キーを使った映像の検索を行うことができる。なお、イベント映像データと同様に、映像キーを一旦付与した映像を管理者が後に取得したい場合に、この映像キーによるアクセス要求を受信して、対象の映像データファイルを送信することは言うまでもない。
映像データテーブル106は、ドライブレコーダ200aにおいて撮影された映像を記憶するテーブルである。この映像データテーブル106は、映像IDと映像データとを対応付けて記憶している。映像IDは、管理サーバ100において映像が取得あれたときに割り振られる。映像データテーブル106は、映像IDによって、映像キー情報記憶テーブル105と連携がとられている。
通信部107は、ドライブレコーダ200aと通信する部分である。
つぎに、本開示のドライブレコーダ200aの機能構成を示す。図9は、ドライブレコーダ200aの機能構成を示すブロック図である。図に示されるとおり、ドライブレコーダ200aは、通信モジュール201、GPSモジュール202、ICカードリーダ203、記録部204、カメラ205、カメラ206、マイク207、スピーカ208、表示部209、Gセンサ210、制御部211、各種挙動検出部212,電源・イグニッション入力部213、車両データ入力部214、およびI/O入力部215を含んで構成される。
通信モジュール201は、管理サーバ100と通信する部分であり、例えば、移動体通信網を利用した通信を行う。
GPSモジュール202は、位置測位を行う部分である。なお、位置測位を行う構成としては、対象エリアの面的な広さ(マクロエリアで見通しのよい空間であればGPSを、ミクロエリアで見通しの悪い空間であれば、位置測位センサ)に応じて、GPS以外にも各種センサと近接通信を行い、相対的な位置を特定する方式であってもよい。
ICカードリーダ203は、ICカードの読込みを行う部分である。
記録部204は、SDカードなどの外部メモリに情報の記録を行う部分である。本開示においては、カメラ205およびカメラ206により撮影された映像が記録部204によりSDカード等の外部メモリに記録される。記録部204は映像とともに、そのときの車両200の位置情報を刻々と記録する。そのほか後述するパターン2~4において、外部メモリには、エリアテーブル102、エリア動作設定テーブル103、エリア検出記録テーブル104に相当する各種テーブルが記憶される。
カメラ205およびカメラ206は、映像を撮影する部分である。静止画像または動画像を撮影する。カメラ205が、車両200の進行方向を撮影し、カメラ206が、車両200の室内を撮影する。そのほか、車両の後方を撮影するためのリアカメラを備えてもよい。なお、カメラの設置位置や台数は本図面や実施態様に限定される訳ではなく、更にフロントまたは室内に限定される訳ではなく、任意の数を室内外の任意の方向や位置に設置可能であり、リアカメラを含めてもよいことは言うまでもない。その場合には、車両側が管理する制御装置を介して、室外にあるリアカメラやカメラ付バックミラーの映像等を取得する方式を取っても良く、関連する機器(この場合はカメラ)との通信は、近接通信など何らかの手段で接続されていればよく、何ら限定されるものではないことは言うまでもない。
マイク207およびスピーカ208は、音を入力し、また音を出力する部分である。
表示部209は、ドライブレコーダ200aに対する設定情報を表示する部分である。
Gセンサ210は、加重を検出するセンサである。
制御部211は、通信モジュール201~I/O入力部215の制御を行う部分である。
各種挙動検出部212は、車両200における各種挙動を検出する部分である。例えば、各種挙動検出部212は、GPSモジュール202により測位された位置情報、Gセンサ210により検出された加重情報、および車両データ入力部214から入力した車速パルスや温度に基づいた各種状態の検出を行う部分である。例えば、後述するパターン2~4においては、車両200が所定のエリアに進入しまたは退出したか、またはその状態(速度、ハンドルの角速度などの車両自体に関する情報や、温度などの車両等の周辺環境に関する情報など)を検出する。
電源・イグニッション入力部213は、ドライブレコーダ200aに対して、電源供給をするための入力部である。
車両データ入力部214は、車速パルスなどの車両データを入力する部分である。なお例えば温度は、図示しない温度センサにおいて計測され車両データ入力部214を介して入力される。
I/O入力部215は、外部装置に対するインターフェース部分である。よって、車両に搭載された各種センサに関する情報を車両制御装置等と通信を行い、取得してもよいことは言うまでもない。
このように構成された管理サーバ100およびドライブレコーダ200aの動作について説明する。図10は、管理者端末110が管理サーバ100に対して、エリアの定義および映像の取得条件であるエリアテーブルを設定するときの動作を示すシーケンス図である。
管理者端末110は、その管理者による操作に従って、エリアマスタ(そのほかエリア情報、エリア端末設定情報を含む)を作成するための情報を入力等することにより、管理サーバ100に送信する(S11)。管理サーバ100は、エリアテーブル102にエリアマスタ情報を記憶する。また、管理者端末110は、その管理者による操作に従って、エリア動作条件を設定し、管理サーバ100に送信する(S12)。管理サーバ100において、データ処理部101は、受信したエリア動作条件をエリア動作設定テーブル103に記憶する。なお、本実施形態での説明を、管理者による支配的な動作条件の設定を行う例で説明しているが、これに限定される訳ではなく、検出対象の情報により自律的に動作設定を行わせることも可能である。
具体的は、特許文献2で説明しているが、危険挙動や注意挙動、踏切や一旦停止位置での一旦停止挙動、信号無視挙動、スピード違反挙動など、他の機器から予めデータを取得して、車両等の安全をより配慮すべきエリアを自律的または管理者により支配的にエリア設定して、本願発明のエリア検出に利用し、他の車両等の安全に活用してもよいことは言うまでもない。更に、特許文献2のイベント映像取得特許の中で明記していない、車両自体のメンテナンス事象データや、あおり運転・渋滞等の周辺車両に関するデータの変化、横風や道路凍結、道路や航路上の障害物などを、前方映像の解析結果に基づき検出したり、除雪車両や清掃車両での前後映像の比較解析結果に基づき検知したりなどして、その検知した位置情報を間接的にエリア設定して、エリア検出に利用し、他の車両等の安全に活用してもよいことは言うまでもない。
このエリアマスタ情報等は、例えば、ドライブレコーダ200aの映像のうち、取得したい映像の撮影場所に基づいて、管理者により設定される。取得したい映像の撮影場所として、事故多発の交差点、クレームの多いスクールゾーンが挙げられる。また、道路、橋梁、トンネルなどの経年劣化を調べるために、そのような場所を取得対象エリアとして定義してもよい。
また、鉄道事業者とっては、沿線にある森林、河川の状況をみるために、電車にドライブレコーダ200aを設置し、線路そのほか線路沿いの設備のチェックや、河川の氾濫チェックに利用するため、そのようなエリアを定義してもよい。
また、介護事業者またはその利用者・その家族にとっては、利用者を適切に扱っているかを判断するために、送迎場所などを取得対象エリアとし、カメラ種別は室内カメラやリアカメラ、また送迎場所に設置された固定カメラなどとしてもよい。
また、ペット、競走馬の輸送事業にも適用することができ、搬入場所や輸送時間における荷台を取得対象エリアとして定義して、搬出入や輸送が適切に扱われているかみることができる。また、輸送経路上でも任意のエリアを定義することで、例えば急カーブや急坂など、車両に対してではなくペット等の視点からその輸送が適切に行われているかをみることができる。
そのほか、降雪事業者のために、現場や作業進捗の状況把握のためのエリア設定、高速道路事業者のための渋滞予測のためのエリア設定、一般的に輸送事業者の荷物の積みおろし業務のためのエリア設定、輸送事業者の荷台チェック(空きスペース確認)のためのエリア設定(および室内カメラ)など考えられる。
また、事故多発箇所、そのほか橋梁、トンネルの他、経年劣化しやすい箇所を、例えば別途用意されている地図データベースなどから取り出し、その位置情報に基づいて自動的に定義付けがされてもよい。例えば、事故多発箇所は、警察等がデータベース化しており、そのデータベースを利用することによりエリアの定義を可能にする。また、橋梁、トンネルの築年数も官庁等でデータベース化されており、所定の築年数が経過した橋梁等の情報を取り出し、その位置に基づいてエリアを定義してもよい。
つぎに、管理サーバ100がドライブレコーダ200aから映像を取得するときの動作について説明する。図11は、その動作の具体例(パターン1)を示すシーケンス図である。
ドライブレコーダ200aにおいて、車両200のエンジンがかけられ、電源供給がなされると、GPSモジュール202が位置情報取得を開始する(S201)。また、カメラ205およびカメラ206は、映像撮影を開始して、記録部204は、映像記録を開始する(S202)。記録された映像は、記録部204により、SDカード等の外部メモリに記録される。通信モジュール201は、管理サーバ100に、位置情報を所定周期で送信する(S203)。なお、この位置情報に加えて、車速、イベント検知映像情報や各種車両に設置された温度などのセンサ情報を含む状態情報を送信してもよい。
管理サーバ100において、データ処理部101は、通信部107を介して、ドライブレコーダ200aから位置情報を取得し、位置情報バッファ(図示せず)に、ドライブレコーダ200aの機器ID、位置情報、時刻を記憶する(S101)。データ処理部101は取得した位置情報とエリアテーブル102とを参照して、映像の取得対象エリアに進入したか、または/および退出したかを判断する(S102)。なお、今までエリア外であった位置情報を受信した後、エリア内の位置情報を受信した場合に、車両200はエリアに侵入したと判断できる。その逆に、エリアへ進入したと判断した後、エリア外の位置情報を受信した場合に、車両200はエリア外に退出したと判断できる。
取得対象エリアに進入したまたは/および退出したと判断されると(S102:進入・退出)、データ処理部101は、エリアテーブル102から対応するエリアIDを取得する。データ処理部101は、エリア動作設定テーブル103を参照して、位置情報とともに受信した車速等の状態情報等が、そのエリアに対応付けられているエリア動作条件に適合するか否かを判断する(S103)。すなわち、データ処理部101は、車両200の状態情報がエリア動作条件(所定の車速、所定の温度などの状態情報)を満たすか否かを判断する。また、映像UPLOAD回数が上限に達していないかを判断する。映像UPLOAD回数の上限に達したか否かは、車両200がそのエリアに侵入または退出した回数に基づいて判断される。例えばS102において、エリアごとに進入したまたは退出した回数を記憶する。映像を送信するドライブレコーダ200aの車両200は、同じものでもよいし、異なったものでもよい。このエリア動作条件は、エリア動作設定テーブル103で定義されているエリアIDに対応する取得条件である。
データ処理部101は、さらに、それらエリア動作条件を満たした映像が映像即時取得されるものであるか判断する(S104)。すなわち、データ処理部101は、エリア動作設定テーブル103を参照して、その映像UPLOAD情報が、自動に設定されていれば、映像即時取得対象であると判断し、即時取得処理を行う。
そして、映像即時取得対象であると判断されると、データ処理部101は、映像取得命令をドライブレコーダ200aに送信する(S105)。この映像取得命令には、動作タイミング(エリアに入ったタイミングか、出たタイミングなど)、映像切り出し時間が含まれる。動作タイミングおよび映像切り出し時間は、エリア動作設定テーブル103における、S102で取得されたエリアIDに対応する動作条件から取り出される。
ドライブレコーダ200aにおいて、制御部211は、映像取得命令に基づいて、映像の切り出し処理を行い、切り出した映像を機器IDとともに、管理サーバ100に送信する(S204)。ドライブレコーダ200aが撮影した映像には、位置情報等が所定タイミングで記録されている。制御部211は、映像取得命令に含まれている動作タイミングと映像切り出し時間とに基づいて、外部メモリに記録された映像の切り出し処理を行う。
管理サーバ100において、データ処理部101は、ドライブレコーダ200aから送信された映像を、映像IDを割り振って映像データテーブル106に記憶する(S106)。また、データ処理部101は、映像とともに送られた機器IDを、エリアID、エリアIN日時、速度、温度に対応付けてエリア検出記録テーブル104に記憶する(S106)。また、データ処理部101は、映像キー情報記憶テーブル105のためのキー情報をエリア検出記録テーブル104などから取り出し、先に取得した映像の映像IDと対応付けて映像キー情報記憶テーブル105に記憶する(S106)。そして、データ処理部101は、管理者通知が必要か否かを判断する(S107)。管理者通知の有無は、エリア動作設定テーブル103に設定されている。
ここで必要であると判断されると、データ処理部101は、管理者端末110に、映像取得した旨の通知処理を行う(S107:はい)。不要である場合には、処理終了となり、つぎの位置情報を待つ。
上記ステップS104において、映像即時取得が「いいえ」であった場合には、データ処理部101は、ドライブレコーダ200aから、映像を取得することなく、エリア検出情報を取得し、エリア検出記録テーブル104および映像キー情報記憶テーブル105を生成する。その際、データ処理部101は、特許文献2で開示したイベント映像に関するキー情報を含む映像取得データと同様に、管理者のアクセス要求時や動作条件で設定された日時に行うために映像IDを付与する。そして、定期的な位置情報送信とあわせ、その映像IDに対応する映像が未取得である旨の情報を管理サーバに送信する。
上記ステップS102およびS103において、それぞれ「いいえ」であった場合には、処理は一旦終了する。
ここで映像の切り出し処理S204について説明する。図7は、動作タイミングと映像の切り出し処理との関係を説明するための説明図である。図に示されるとおり、車両200は、エリアINからエリアOUTに移動するものとする。ここで、図13のエリア動作命令(S105)において、図4に記載のエリアINから遡って切り出すことが指定されていた場合に、例えば、動作タイミング:エリアIN、映像切り出し時間:10秒が指定されていた場合には、制御部211は、外部メモリに刻々と記憶されている映像から、エリアINの検出時間より10秒遡った時間からエリアINの検出時間までの映像を切り出す。なお、管理サーバ100とドライブレコーダ200aの内部時間のずれが無いよう、GPS時刻補正などにより同じ時間を用いて管理した方が望ましい。また、制御遅延や検出時間のタイムラグを考慮して、更にx秒前後した時間の映像を切り出してもよいことは言うまでもない。なお、10秒に限定される訳ではなく、管理者などが任意に決めることが出来ることは言うまでもない。
映像は、イベント映像と同様に、少なくとも検出時間における位置情報を含め刻々とドライブレコーダ200aの記録部204に記録されている。よって、制御部211は、S101で記憶した位置情報から、エリアへの進入および/または退出を検出した時間と、エリア動作設定テーブルに設定された映像切り出し時間より映像の切り出し時間帯を特定し、刻々と記録される映像の中から指定された時間帯の映像を切り出すことができる。また、ドライブレコーダ200aは、定期的にGPSやセンサなどから位置を特定するための信号を受信し、位置情報と映像情報との関連付けが可能であることから、検出された位置情報に基づき、必要とされる位置まで遡った映像を、既知の位置情報に基づき推測し、複数の位置情報を基に映像を切り出すことが出来ることは言うまでもない。
なお動作タイミングは、一つではない。取得対象となる映像の利用目的に応じて管理者により設定されている。例えば、運転者の運転状況を見たい場合には、それに適したタイミングがよい。例えば、エリアINまたはエリアOUTのタイミングの映像である。道路などの経年劣化をみたい場合には、エリアINからエリアOUTまでの映像がよい。その他、上述でも説明したが、検出基準はエリアに限定される訳ではなく、検出したい何かしらの情報、例えばイベント映像として検知した運転者の居眠りやわき見を検知したタイミングであってもよいことは言うまでもない。その際、居眠りの要因となった車両等の周辺の環境情報(例えば車両速度や前後車両との車間など)を併せて映像と共に取得してもよいことは言うまでもない。
また、エリア動作命令において、エリアOUTから遡って切り出すことが指定されていた場合に、例えば、動作タイミング:エリアOUT、映像切り出し時間:10秒が指定されていた場合には、制御部211は、ドライブレコーダ200aの記録部204に刻々と記録される映像の中から、エリアOUTの検出時間から10秒遡った時間からエリアOUTの検出時間まで映像を切り出す。切り出し位置の特定は上記と同様である。
この場合も、制御遅延や検出時間のタイムラグを考慮して、更にx秒前後した時間の映像を切り出してもよいことは言うまでもない。
また、エリア動作命令において、エリアINからエリアOUTまでの全エリアの映像を切り出すことが指定されていた場合には、すなわち、動作タイミング:エリアIN/OUT、映像切り出し時間:エリアALLが指定されていた場合には、制御部211は、外部メモリに刻々と記憶されている映像の記憶時間を参照して、エリアINからエリアOUTまでの全エリアに渡った映像を切り出す。なお、エリア動作設定テーブル103において、動作タイミング:エリアIN/OUT、映像切り出し時間:15秒と規定されていた場合には、データ処理部101は、エリアINを検出したタイミングから15秒遡った時間からエリアINを検出した時間までと、エリアOUTを検出したタイミングから15秒遡った時間からエリアOUTを検出した時間までの、映像を取得したい複数のタイミングを含む映像として、映像データとしては30秒の映像データに合成する旨の、エリア動作命令を生成する。なお、合成を行わず各々に映像IDを付与し管理してもよいことは言うまでもない。
このように、エリアに進入する直前の映像、エリアから退出する直前の映像、またはエリアを通過する間の映像を切り出すことができる。なお、切り出す映像の長さの設定は、上記したとおり、秒数を固定で設定してもよいし、走行速度などに応じて切り出し秒数を設定してもよい。例えば、30km/hまでは、10秒、60km/hまでは5秒などと設定してもよい。映像の利用目的にもよるが、速度が速いと、その分切り出す映像は短くてよい。また、エリアOUT時刻とエリアINの時刻の差分の秒数で動的に設定してもよい。これら切り出し時間の決定手法は、エリア動作設定テーブル103の映像切り出し時間に設定され、それ基づいて、切り出し時間が算出される。その他、映像データの利用目的に欠かせない映像シーンを確実に取得するために、切り出し時間を様々な情報に基づき決定してよいことは言うまでもない。
図8は、車両200の移動とそのときの切り出された映像を説明するための図である。図8(a)は、エリアINから遡った映像およびエリアOUTから遡った映像を示す。ここでは、ドライブレコーダ200aの室内カメラ206による映像が取得対象として指定されている。
図に示されるように、エリアとして工場などの敷地を設定し、カメラを室内カメラに設定していた場合、車両200が車道から当該敷地に入ったときのドライバの映像を管理サーバ100は取得することができる。同様に、車両200が敷地から出るときのドライバの映像を管理サーバ100は取得することができる。このように映像の取得を行うことで、ドライバの運転状況を把握することができる。
また、図8(b)に示すように、道路の経年劣化状況を把握するために映像取得をしてもよい。図8(b)では、エリアとして橋梁が指定されており、またフロントカメラ205が映像取得対象のカメラとして設定されている。図8(b)では、管理サーバ100は、エリアINからエリアOUTまでのエリア全体の映像を取得することができる。
これら映像切り出し処理については、後述する変形例(パターン2~4)についても同様に適用することができる。
つぎに、本開示における管理サーバ100およびドライブレコーダ200aの変形例における動作について説明する。図12および図13は、変形例(パターン2)における処理を示すシーケンス図である。このパターン2における処理は、ドライブレコーダ200aにおいて、エリア進入・退出の検出を行い、それに基づいてエリア検出情報を管理サーバ100に送信する点で、パターン1の処理と異なっている。このため、エリアマスタの定義処理が、ドライブレコーダ200aに対して行われる。ここでは、異なっている処理に着目して説明する。
図12において、管理者端末110は、エリアマスタ作成およびエリア動作条件の設定処理を行う(S11、S12)。管理サーバ100は、エリア動作条件をエリア動作設定テーブル103に記憶する(S13)。
また、管理サーバ100において、データ処理部101は、エリアマスタ作成によって取得したエリアマスタ情報の書き込み命令をドライブレコーダ200aに送信する(S14)。
ドライブレコーダ200aにおいて、制御部211は、エリアマスタ情報を記録部204によって外部メモリに記憶する(S21)。外部メモリは、エリアテーブル102相当のテーブルを有し、エリア情報を記憶する。
このようにして、ドライブレコーダ200aは、映像の取得対象エリアを示すエリア情報を記憶し、その取得対象エリアに進入または/および退出した場合に、そのエリア検出情報を管理サーバ100に送信することができる。エリア検出情報は、機器ID、エリアID、エリアIN日時(またはエリアOUT日時)、速度、および温度などを含む。
つぎに、図13を用いてパターン2で示される映像の取得処理について説明する。なお、ステップS203aは、図11のS102に相当する処理であり、その処理内容は同じである。ドライブレコーダ200aにおいて、位置情報取得、映像記録が開始され(S201、S202)、各種挙動検出部212は、GPSモジュール202により検出された位置情報が、外部メモリに記憶されているエリアマスタ情報で定義されている範囲(エリアテーブル102相当のもの)に含まれるかを判断する(S203a)。位置情報が、その範囲に含まれると判断されると、制御部211は、エリア検出情報を、通信モジュール201を介して、管理サーバ100に送信する(S203b)。エリア検出情報は、機器ID、エリアID、エリアIN日時(またはエリアOUT日時)、車速、および温度を含む。なお、パターン1と同様に位置情報はGPSに限定されないのは言うまでもない。
管理サーバ100においては、データ処理部101が、エリア検出情報の状態情報(速度、温度など)が、エリア動作設定テーブル103において定義されているエリアIDに対応するエリア動作条件を満たしている否かを判断する(S103)。そして、データ処理部101は、エリア動作条件を満たしており、さらに映像即時取得の条件を満たしていると判断すると、エリア動作命令をドライブレコーダ200aに送信する(S105)。以下、S106~S107、S204の処理が行われる。
このように、ドライブレコーダ200aは、予め定められた映像の取得対象エリアに進入した、または/および取得対象エリアから退出したことを自動的に検出して、それを示すエリア検出情報を管理サーバ100に送信することができる。ドライブレコーダ200aにおいて、管理サーバ側でエリア判定を行うために定期的にエリア判定のための位置情報を送信する必要が無く、また管理サーバ100では、その対象エリアに入ったときに通知が来るため、映像取得処理の負荷を軽減することができる。
つぎに、映像取得処理におけるパターン3について説明する。パターン3では、ドライブレコーダ200aが、さらに映像が取得条件を満たしているか否かを判断する。
図14は、パターン3における事前設定処理を示すシーケンス図である。図14に示されるとおり、管理サーバ100は、管理者端末110からエリアマスタ情報およびエリア動作条件を受け付けると(S11およびS12)、ドライブレコーダ200aに対してエリアマスタ情報およびエリア動作条件の書き込み命令を送信する。ドライブレコーダ200aにおいて、通信モジュール201が受信し、制御部211は、外部メモリなどの記録部204へ記憶する(S21a)。外部メモリには、エリアテーブル102およびエリア動作設定テーブル103に相当する情報が記憶される。これにより、ドライブレコーダ200aにおいて、エリアの検出およびエリア動作条件の判断を行うことができる。
なお、管理サーバ100において、エリア動作条件の全てを記憶してもよいし、映像即時取得処理の判断を行うために、エリア動作条件に含まれる映像UPLOAD情報(手動取得か、自動取得かを示す)のみを記憶してもよい。
つぎに、パターン3における具体的処理について説明する。図15は、その処理を示すシーケンス図である。図に示されるとおり、ドライブレコーダ200aにおけるステップS203a~S203bが異なる処理である。したがって、この処理に着目した説明をする。なお、ステップS203a~S203cは、図11のS102~S103に相当する処理であり、その処理内容は同じである。
ドライブレコーダ200aにおいて、位置情報取得および映像記録が開始され(S201~S202)、各種挙動検出部212は、エリアに侵入したまたはエリアから退出したことを検出する(S203a)。制御部211は、検出したエリアのエリアID、エリアIN日時(または必要に応じてエリアOUT日時)、そのほか状態情報である車速、温度などを含むエリア検出情報を取得する。
制御部211は、エリア検出情報に基づいて、外部メモリに記憶されているエリア動作条件を満たしているか否かを判断する(S203c)。満たしていない場合には、処理は終了となる。満たしている場合には、制御部211は、通信モジュール201を介してエリア検出情報を送信する(S203b)。
管理サーバ100において、データ処理部101は、エリア映像検出情報を受信すると、エリアIDに基づいて当該エリアが映像即時取得対象であるかを判断し、映像取得依頼(S105)、エリア検出記録テーブル104の生成、映像データの記憶処理、映像キー情報記憶テーブル105の生成(S106)、管理者通知処理(S107)を行う。
これにより、ドライブレコーダ200aにおいて、エリアの検出およびエリア動作条件の判断を行うことができる。
つぎに、パターン4の処理について説明する。図16は、パターン4の動作を示すシーケンス図である。パターン4においては、図14に示される事前設定がなされている。このパターン4においては、パターン3と比較して、ステップS203dが、ドライブレコーダ200aにおいて行われている点で相違する。
ドライブレコーダ200aにおいては、事前設定により、エリアテーブル102およびエリア動作設定テーブル103に相当する情報が記憶されている。
そして、ドライブレコーダ200aにおいて、位置情報取得および映像記録が開始され(S201、S202)、エリア進入等の判断、エリア動作条件適合の判断がなされる(S203c)。そして、制御部211は、これら判断が「はい」である場合に、映像即時送信か否かを判断する(S203d)。これは、管理者端末110による映像の手動送信か、自動送信かに基づいて判断される。
そして、制御部211は、映像即時送信すると判断されると、外部メモリに記憶されている映像から、ドライブレコーダ200aにおいて設定されている動作タイミングおよび映像切り出し時間に基づいて、指定の映像の切り出しを行う。制御部211は、通信モジュール201を用いて、切り出した映像を、そのエリア検出情報とともに送信する(S204)。
そして、管理サーバ100において、データ処理部101は、切り出された映像データを取得して映像データテーブル106に記憶するとともに、エリア検出情報を取得して、エリア検出記録テーブル104に記憶する(S106a)。また、映像キー情報記憶テーブル105が生成される。一方で、データ処理部101は、エリア検出情報のみを受信した場合には、エリア検出記録テーブル104に記憶する。映像キー情報記憶テーブル105を生成する際、映像は未取得の旨が記憶される。
つぎに、映像キー情報記憶テーブル105を利用した映像の検索処理について説明する。図17は、管理者端末110の検索画面の一例を示す図である。管理者は、管理者端末110を操作することにより、車両200において撮影された映像を検索することができる。検索画面は、図17に示されるとおり、絞り込み検索条件設定部分と、検索ボタン、検索一覧、および映像画面から構成あれている。図17に示されるとおり、管理者は、検索キーとして、組織ID、運転者ID、機器ID、エリアマスタID、エリアID、走行地域、走行時間帯、速度帯、温度帯を用いて映像の検索することができる。管理者端末110は、管理サーバ100の映像キー情報記憶テーブル105を参照することで、映像の検索を可能にする。
図18は、管理サーバ100のハードウェア構成図である。図2に示される管理サーバ100は、物理的には、図18に示すように、一または複数のCPU11、主記憶装置であるRAM12及びROM13、入力デバイスであるキーボード及びマウス等の入力装置14、ディスプレイ等の出力装置15、ネットワークカード等のデータ送受信デバイスである通信モジュール16、ハードディスクまたは半導体メモリ等の補助記憶装置17などを含むコンピュータシステムとして構成されている。図2における各機能は、図18に示すCPU11、RAM12等のハードウェア上に所定のコンピュータソフトウェア(プログラム)を読み込ませることにより、CPU11の制御のもとで入力装置14、出力装置15、通信モジュール16を動作させるとともに、RAM12や補助記憶装置17におけるデータの読み出し及び書き込みを行うことで実現される。
つぎに、本開示における管理サーバ100およびドライブレコーダ200aの作用効果について説明する。本開示における管理システムは、管理サーバ100およびドライブレコーダ200aを含む。この管理システムは、複数の車両200(移動体)に各々配置される機器のうちドライブレコーダ200a(機器)に記憶された映像(データ)を管理する。ここではドライブレコーダ200aが、特定機器となるが、必ずしもドライブレコーダ200aに限るものではない。管理サーバ100が通信を行う全ての機器の中から図3(b)および(c)に示されるエリア領域に格納された検出条件を満たす機器が特定機器である。
また、移動体がドローンであればドローンのカメラ制御装置、移動体が人であればその人が持っているスマートフォンが該当する。
また移動対象と機器の位置情報が必ずしも一致する例だけでなく、移動対象のみが移動する例も変形例として含めていて、人や車両が固定カメラの撮影領域を横切るなど、固定カメラの位置付近での様々な変化を検出条件として定めることができ、その場合は固定カメラが特定機器に該当する。
この管理システムは、映像の利用目的に応じて定められた、1以上のエリアID及び位置情報に基づき特定された対象エリアへの移動体の進出および/または退出の動作タイミングと、当該動作タイミングに応じたデータ取得範囲(切り出し時間)とを少なくとも含む映像の取得条件(データ取得条件)をエリアID毎に記憶するエリア動作設定テーブル103を備える。
そして、管理システムは、ドライブレコーダ200a(機器)に記憶された映像(データ)のうち、映像の取得条件(データ取得条件)を満たす映像(データ)を、ドライブレコーダ200a(機器)と通信し取得するデータ処理部を備える。
本開示のパターン1および2においては、エリア動作設定テーブル103は、おもに管理サーバ100に備えていることにしているが、パターン3および4のようにドライブレコーダ200aがエリア動作設定テーブル103を備え、ドライブレコーダ200aを含めて管理システムを構築してもよい。このパターンは、管理サーバや機器の処理能力や、管理サーバと機器の通信環境などにより、柔軟に対応することが出来るようにするための実装上の相違であり、機能的には管理サーバに備わるのか、機器に備わるのかの違いであるところ、特に機器の処理能力や、新旧端末の機能差分などに応じて柔軟に管理サーバが対応し、能力や機能の差分を補うことができることは言うまでもない。
この開示によれば、管理サーバ100は、車両200が映像取得の対象エリアに入る動作タイミングおよび映像取得範囲(映像切り出し時間)を含む映像の取得条件に基づいたドライブレコーダ200aの映像を取得することができる。この映像の取得条件は、その映像の利用目的に応じて、管理者の基準により定めることができる。よって、管理者は、その利用目的に応じた映像を取得することができる。例えば、撮影対象およびドライブレコーダ200aの緯度経度だけでなく、車両200の移動速度、撮影対象となる場所の種別(高速道、一般道、荷下ろし&送迎場所、駐車場など)、カメラの種別(フロント、室内)、車両の進入・進出目的に応じた撮像パターンなどに基づき画像取得することできる。
本開示において、エリア動作設定テーブル103は、映像の取得条件(データ取得条件)として、映像の取得タイミングをさらに記憶する。データ処理部101は、さらに取得タイミングに基づいて、データ取得を行う。この取得タイミングは、ドライブレコーダ200aの映像を自動で取得するか(すなわち通知が来てすぐに(または所定時間経過後も可)取得するか)、管理者に操作により手動で取得するかにより定められる。映像の利用目的によっては、自動的にすぐに映像を取得する必要がないものもある。よって、管理者の視点により、いずれにするか設定可能にしている。
また、エリア動作設定テーブル103は、映像の取得条件として、ドライブレコーダ200a(機器)のカメラ種別をさらに記憶する。このカメラ種別は、車両200の進行方向を撮影するフロントカメラか、室内を撮影する室内カメラかを示す。データ処理部101は、ドライブレコーダ200a(機器)のカメラ種別に対応するカメラが撮影した映像を取得する。
映像の利用目的によって、車両200の進行方向(または通過したところ)の道路、その他の映像を管理したい場合、ドライバの運転の様子を管理したい場合などがある。取得条件として、カメラ種別を設定しておくことで、管理者の利用目的に応じた映像取得を可能にする。
また、エリア動作設定テーブル103は、映像の取得条件(データ取得条件)として、車両200(移動体)が映像を取得したときの状態情報をさらに記憶する。状態情報は、例えば、車両200の速度、車両200のセンサが検出した温度(室内または室外)である。データ処理部101は、さらに状態情報に基づいて、データ取得を行う。
映像の利用目的によって、車両200の状態情報に応じた映像を取得したい場合がある。例えば、車両200の速度に応じた映像を取得することで、その速度に応じたドライバの運転状況を把握することができる。また温度に応じた映像を取得することで、動物輸送時における動物の搬送状態を把握することができる。
また、エリア動作設定テーブル103は、映像の取得条件として、映像の取得回数の上限をさらに記憶する。データ処理部101は、その取得回数に基づいて、映像の取得を行う。管理者の映像の利用目的によっては、複数の映像は必要とならない場合がある。本開示においては、映像の取得を制限することができる。
本開示の管理システムにおいて、データ処理部101は、ドライブレコーダ200a(機器)から、映像取得時に関する情報であるエリア検出情報を受信する。そして、エリア検出情報に基づいて、取得した映像の検索に用いるキー情報テーブルを生成する。例えば、エリア検出情報は、エリアに進入した日時、退出した日時、車両200の速度、温度である。これら情報を検索に用いるキー情報として、映像と関連付けることで、映像検索を可能にする。なお、この関連付けは即時映像取得しない場合など、エリア検出情報や映像ID、記録日時などを含む映像キー情報に基づいて検索できればよく、映像データそのものは、検索した後に映像取得要求等を行えばよいことは言うまでもない。
エリアテーブル102は、映像(データ)の利用目的が合致する複数のエリアIDを、エリアマスタIDと関連付けて記憶する。エリアマスタID毎にエリア動作設定テーブル103の映像の取得条件が設定されている。
この開示によれば、エリアマスタIDごとにまとめて映像の取得条件を定めることができる。
また、本開示の管理システムにおいて、データ処理部101は、ドライブレコーダ200aから、映像取得時に関する情報であるエリア検出情報を受信すると、当該エリア検出情報に従ってドライブレコーダ200aが取得条件を満たす映像を記憶しているか否かを判断する。
この開示によれば、上記パターン2で示される、ドライブレコーダ200aにおいてエリア検出をする構成を取っていた場合に、そのエリア検出情報を利用して取得条件を満たす映像の取り出しを可能にする。
また、本開示において、管理サーバ100のデータ処理部101は、動作タイミングおよびデータ取得範囲をドライブレコーダ200aに送信することで、ドライブレコーダ200a側で映像切り出し処理をさせ映像取得を可能にする。
この開示によれば、管理サーバ100の制御に従って、取得条件を満たした映像取得を可能にする。
上記パターン1における管理システムにおいては、ドライブレコーダ200aは、車両200の位置情報を定期的に管理サーバ100へ送信する通信モジュール201を備える。
管理サーバ100は、映像の取得対象エリアを特定する、少なくとも1以上のエリアID及び座標情報を含むエリアテーブル102と車両200の位置情報とに基づき、映像の取得対象エリアへの進入および/または退出を検出するデータ処理部101を備える。これはエリア検出部として機能する。そして、映像の利用目的に応じて定められた、映像の取得対象エリアに対する動作タイミングと、当該動作タイミングに応じた映像の取得範囲とを少なくとも含むデータ取得条件を前記エリアID毎に記憶するエリア動作設定テーブル103を備え、データ処理部101は、ドライブレコーダ200aに記憶されたデータのうち、データ取得条件を満たすデータを、ドライブレコーダ200aと通信し取得する。
このパターン1における開示においては、ドライブレコーダ200aから定期的に位置情報を送信することで、ドライブレコーダ200a側で、エリア検出を行う必要が無い。よって、その構成を簡易なものとすることができる。
また、パターン3においては、ドライブレコーダ200aにおいて、制御部211は、エリア検出部として機能し、映像の取得対象エリアを特定する、少なくとも1以上のエリアID及び座標情報を含むエリアテーブル(エリアテーブル102に相当する)と車両200の位置情報とに基づき、取得対象エリアへの進入および/または退出を検出する。そして、制御部211は、取得条件判断部として機能して、映像の利用目的に応じて定められた、車両200の進入および/または退出の動作タイミングと、当該動作タイミングに応じたデータ取得範囲(映像切り出し時間)とを少なくとも含むデータ取得条件をエリアID毎に記憶するエリア動作設定テーブル(エリア動作設定テーブル103に相当)に基づいて、映像の取得条件を満たしているか否かを判断する。
通信モジュール201は、制御部211により映像の取得条件を満たしていると判断されると、制御部211で検出されたエリア検出情報を、管理サーバ100へ送信する。
管理サーバ100において、データ処理部101は、エリア検出情報を取得すると、ドライブレコーダ200aに記憶された映像のうち、映像の取得条件を満たすデータを、ドライブレコーダ200aと通信し取得する。
このパターン3による開示においては、ドライブレコーダ200aにおいて、エリア検出と、動作条件の判断を行っている。そのため、エリアテーブル102およびエリア動作設定テーブル103に相当するテーブルを有している。この開示によれば、ドライブレコーダ200a側で多くの処理を行うことで、管理サーバ100側の処理を簡易なものにしている。
また、パターン4においては、パターン3に加えて、制御部211は、映像の利用目的に応じて定められた、車両の200のエリアに対する進入および/または退出の動作タイミングと、当該動作タイミングに応じたデータ取得範囲(映像切り出し時間)とを少なくとも含む映像の取得条件をエリアID毎に記憶するエリア動作設定テーブルに基づいて、制御部211は、外部メモリからデータ取得条件を満たしている映像を取り出す。
特に、車両が地下駐車場などの携帯電話網やGPSの圏外にいる場合、パターン1および2による管理サーバ100側での検出条件および動作条件の判断ができない場合でも、ドライブレコーダ200a側で車両センサなどの環境センサの情報に基づき車両の位置を検出し、検出条件および動作条件を満たすかどうか判断を行う。そして、通信モジュール201は、データ取得条件を満たしている映像を、動作条件に従い、即時自動で送信する場合には、管理サーバ100側への送信を、図示しないドライブレコーダ200a側の予約情報テーブルに記憶しておき、通信可能となった段階で送信する。
また、管理者側から手動で映像データを送信する場合には、図示しないアクセス要求を受信したら、ドライブレコーダ200a側はアクセス要求に対する応答として映像データを送信する。また、見通しはよくGPS情報の受信なエリアにおいても、例えば自動車教習所の運転技能スポット(S字カーブや横づけ、幅寄せ、一旦停止位置、上り坂一旦停止位置など)の映像を取得したい位置について精度が求められる場合には、GPSの信号に基づく検出には限界があり、スクランブル情報の影響を受けやすい。その場合にも、相対的な位置に基づき検知を行えば、運転免許を取得したい人や運転教師が、取得した映像に基づき、運転技術の結果を映像で確認することが出来る。
この開示によれば、ドライブレコーダ200a側においてほとんどの処理を行うことになる。よって、管理サーバ100における処理を簡易なものにすることができる。
ここで、何れのパターンにおいても、管理サーバ100がドライブレコーダ200aとの間の何らかの原因により、映像などのデータを取得できないがあることや、映像データそのものを管理サーバ100に送信すると通信トラフィックに負荷をかけ、また通信費用がかかるため、制御部211は、その送信データ量を少なくするために、前記映像データそのものを送らずに、映像識別子およびそのほか映像データのキー情報となる情報(例えば位置または時刻情報)を送信してもよい。
その場合には、図6の映像キー情報記憶テーブルや、特許文献2に記載の車両管理テーブル105、機器側の車両管理テーブル215との関係と、予約情報テーブル104に記載された実施形態を応用して、特定エリアの映像データを管理・取得処理がなされる。以下は、特許文献2で開示した、車両管理テーブルを管理サーバ及び機器側で管理し、後に映像キー情報を基に、管理サーバが映像を取得する際の、実施形態を説明する。
まず、ユーザの管理下にある複数の前記機器に記憶された機器側の車両管理テーブル215に、映像識別子および映像データのキー情報及び映像ファイルが記録されていく。その後、複数の前記機器から管理サーバ100へ自発的にキー情報等が送信され、又は管理サーバ100からのアクセス要求に対し、能動的にキー情報等が送信され、管理サーバ100側の車両管理テーブル105に、複数の機器に記憶されるキー情報等が記録されていく。
管理サーバ100側の車両管理テーブル105には、機器側の車両管理テーブル215の情報を区別するために、車両管理テーブル215には図示しないテーブル項目として、前記機器識別子が必要となる。この点では、複数の前記機器のどの映像識別子を予約するのか特定するために、特許文献2の図3の予約情報テーブルにも同じく備わっている。
一方で、機器側の車両管理テーブル215の映像データ記憶領域には、刻々と映像識別子に紐つく映像データが記憶されていくため、原則として映像データは揃っている。しかし、管理サーバ100側の車両管理テーブル105には、原則として送信データ量を少なくするために、前記映像データそのものを送らずに、映像識別子およびそのほか映像データのキー情報となる情報(例えば位置または時刻情報)を送信する。その後、所定の条件に基づき映像データが送信され、取得状況フラグが取得済に更新される。
このことから、車両管理テーブル105の映像データ記憶領域では、原則として映像データは揃っていない。そのため、映像データを取得済かを区別するために、車両管理テーブル215には図示しないテーブル項目として、取得状況フラグが必要となり、取得済、未取得、予約中、取得不可の状態を区別している。
また、車両管理テーブル215の映像データ記憶領域では、管理サーバ100との通信可否状態に関係なく、映像識別子に紐付けられた映像データが記録されていくが、車両管理テーブル1 05の映像データ記憶領域では、管理サーバ100と対象機器との通信ができない場合は、映像データを取得することができない。そのため、映像データの取得可否を区別するために、車両管理テーブル215には図示しないテーブル項目として、取得可否フラグが必要となり、通信可、通信不可の状態を区別している。
そして、後述する管理者端末300の管理画面上で映像データのアクセス要求又は再生要求を行う際には、管理下にある複数機器に記憶されているキー情報等の一覧が、車両管理テーブル105に基づき表示され、キー情報等ごとに映像取得状態をアイコン化し、アイコンクリックにより簡単にアクセス要求又は再生要求を行うことができるようになっている。なお取得が完了すると、取得状況フラグを取得済に変更することにより、管理画面上のアイコン表示も取得済に変更される。
また、図17の絞り込み検索条件設定画面内の映像一覧枠内にも、例えば、(1)組織ID、(2)運転者ID(氏名でもよい)、(3)機器ID、(4)エリアマスタID、(5)エリアID、(6)走行地域、(7)走行時間帯、(8)速度帯、(9)温度帯などの絞り込み検索条件により抽出された映像の記録日時や車両名、状態、映像取得状況フラグが表示されており、映像取得状態をクリックすることにより、未取得の映像について簡単にアクセス要求によるデータ取得が可能となっている。
なお、これらの発明について、管理サーバ100がドライブレコーダ200aから映像データを取得することを中心に説明しているが、この発明は管理サーバ100が車両又は飛行体に衝合される機器に対し、対象データの送受信を行うことに限定される訳ではなく、例えば飛行体などから取得したリアルタイム映像に基づき自律的に障害物等を避けて移動するよう、制御することが可能である。これにより、管理サーバと対象機器の間で送受信が必要となる対象データを、上述した検出条件および動作条件に基づいて、対象エリアを検出して、所望の動作を行わせるまたはその計画を行うことができることは言うまでもない。
その他、様々な利用シーンで用いられる発明であることは言うまでもないが、その場合、上述の説明において用いられる以下の用語は、それぞれ「映像データ」を「対象データ」、
「映像を取得」を「所望の動作を実行または計画」、
「データ送信」を「データ送信または対象機器の制御」、
「取得処理」を「取得または制御処理、または動作予約」、
「エリア検知通知」を「検出通知」、
「取得対象機器」を「送受信対象機器」、
「取得予約完了通知」を「送受信予約完了通知」、
と読み替えるものとし、発明のカテゴリは「管理システム」に限定される訳ではなく、「管理装置」、「管理方法」、またはこれら「管理方法」を実現する「プログラム」に関するカテゴリに対する発明の詳細な説明に容易に適応可能であることは言うまでもない。
上述の実施形態では、車両に搭載されているドライブレコーダまたはドローンにおける適用例ついて説明したが、スマートフォンなどカメラによる撮影を行う機器にも適用可能である。例えば、ユーザがスマートフォンを持ちながら、所定のエリアに入退出した場合に、そのエリアで撮影された映像のみの切り出し処理にも適用することができる。
また、ドローンに適用しようとした場合、撮影処理以外にも遠隔操作に適用することができる。例えば、ドローンが所定のエリアに入退出した場合に、所定の動作を行う。所定の動作として、ドローンのカメラにより撮影された映像の分析による障害物回避動作などがある。所定のエリアに入ったときの映像分析機能を起動させることで、より細かな処理を行うことができる。そのほか、ドローンを配達に利用する場合、配達先の認識処理などにも利用できる。