JP7092540B2 - 交通監視システムおよび交通監視方法 - Google Patents

Description

本開示は、交通監視システムおよび交通監視方法に関する。

従来、交差点などの道路において、自転車を含む車両および歩行者の移動を監視する交通監視システムの導入が進められている。交通監視システムでは、車両および歩行者（以下、移動体と記載する）を精度良く、漏れなく検知することによって、道路状態の通知および／または危険アラートの通知を効率良く行うことが望まれる。

例えば、特許文献１には、監視カメラの撮影画像に基づいて、道路の所定区間毎に対応させた道路状況画像を生成し、定められた表示色により道路状況画像を表示する方法が開示されている。

また、例えば、特許文献２には、ミリ波レーダにより走行車両を計測し、車線数、各斜線幅、中央分離帯幅などを自動的に判断しながら車両交通量を監視する装置が開示されている。

特開２００４－１０２５４５号公報 特開２００７－２５７５３６号公報

しかしながら、監視カメラとレーダという２つのセンサデバイスを融合させ、道路状況の監視を精度良くかつ効率的に行う交通監視システムに対する検討は十分ではない。

本開示の非限定的な実施例は、カメラとレーダという２つのセンサデバイスを融合させ、道路状況の監視を精度良くかつ効率的に行う交通監視システムおよび交通監視方法の提供に資する。

本開示の一態様に係る交通監視システムは、道路を含む監視エリアを撮影し、画像データを生成するカメラと、前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、を備える交通監視システムであって、 前記情報処理サーバは、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記道路の状況を示す監視画面を生成する画面生成部と、を備え、前記画面生成部は、前記ミリ波データに対して、前記ミリ波データが有するミリ波レーダ座標系から前記画像データが有するカメラ座標系への座標変換処理を行い、前記画像データが示す画像に前記ミリ波データの情報を重畳した監視領域画像が含まれた前記監視画面を生成する構成とする。

本開示の一態様に係る交通監視方法は、道路の状況を示す監視画面を生成する処理をプロセッサにより実行する交通監視方法であって、前記プロセッサは、前記道路を含む監視エリアを撮影し、生成された画像データをカメラから取得し、前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記道路の状況を示す前記監視画面を生成してなり、前記監視画面を生成するに際、前記ミリ波データに対して、前記ミリ波データが有するミリ波レーダ座標系から前記画像データが有するカメラ座標系への座標変換処理を行い、前記画像データが示す画像に前記ミリ波データの情報を重畳した監視領域画像が含まれた前記監視画面を生成する構成とする。

なお、これらの包括的または具体的な態様は、システム、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、カメラとレーダという２つのセンサデバイスを融合させ、ミリ波データに対して、カメラ座標系への座標変換処理を行い、画像データが示す画像にミリ波データの情報を重畳した監視領域画像が含まれた監視画面を生成するので、道路状況の監視を精度良くかつ効率的に行う交通監視システムおよび交通監視方法の提供に資する。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

本開示の一実施の形態に係る交通監視システムの構成の一例を示す図 本開示の一実施の形態に係る情報処理サーバの構成の一例を示す図 本開示の一実施の形態に係る情報処理サーバの処理の一例を示すフローチャート 本開示の一実施の形態における表示画面の表示例１を示す図 本開示の一実施の形態における表示画面の表示例２を示す図 本開示の一実施の形態における表示画面の表示例３を示す図 本開示の一実施の形態における表示画面の表示例４を示す図 本開示の一実施の形態における表示画面の表示例５を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（一実施の形態）
＜交通監視システムの構成＞
図１は、本実施の形態に係る交通監視システム１の構成の一例を示す図である。交通監視システム１は、複数のカメラ２と、複数のミリ波レーダ３と、情報処理サーバ（制御装置）４と、遠隔監視ＰＣ（Personal Computer）５と、を備える。本実施の形態では、車両、歩行者などが通行する道路交通を監視する交通監視システムを一例に挙げて説明する。

カメラ２およびミリ波レーダ３は、ネットワークＮ１を介して、情報処理サーバ４と接続する。ネットワークＮ１は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。

情報処理サーバ４は、ネットワークＮ２を介して、遠隔監視ＰＣ５と接続する。ネットワークＮ２は、無線ネットワークであってもよいし、有線ネットワークであってもよいし、無線と有線とを含むネットワークであってもよい。

カメラ２は、例えば、道路周辺の構造物（例えば、道路標識を設置するポール）の上方に設けられる。カメラ２は、道路を含む道路周辺のエリアを撮影する。なお、カメラ２の撮影範囲であって、道路を含む道路周辺のエリアを監視エリアと記載してもよい。

カメラ２は、撮影した画像のデータ（画像データ）を生成し、撮影した画像データを情報処理サーバ４へ送信する。送信される画像データには、画像データを生成したタイミング（例えば、時刻）を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、カメラ２が撮影を行った時刻であってもよい。また、カメラ２は、例えば、フレーム単位で画像データを情報処理サーバ４へ送信してもよい。また、カメラ２によって撮影された画像は、カメラ画像と記載されてもよい。また、例えば、カメラ画像の横方向と縦方向を規定する座標系は、カメラ座標系と記載されてもよい。カメラ座標系は、例えば、カメラ２の設置位置、カメラ２の向きおよびカメラの画角に基づいて規定される。

ミリ波レーダ３は、例えば、道路周辺の構造物の上方に設けられる。ミリ波レーダ３は、道路周辺に対してミリ波帯のレーダ信号を送信し、レーダ信号が道路周辺の物体によって反射した反射信号を受信する。なお、ミリ波レーダ３は、複数の方向へ、順次、レーダ信号を送信することによって、道路周辺を走査する。ミリ波レーダ３がレーダ信号を走査する範囲を走査エリアと記載してもよい。

ミリ波レーダ３は、例えば、レーダ信号を送信した時刻と反射信号を受信した時刻との間の時間、レーダ信号を送信した方向、反射信号の受信強度、及び、反射信号のドップラー周波数の少なくとも１つの情報に基づいて、ミリ波データを生成する。

ミリ波データは、例えば、レーダ信号を反射した道路周辺の物体（以下、反射物と記載）を示す情報を含む。例えば、ミリ波データは、ミリ波レーダ３の位置を基準に規定した座標系における、反射物の位置を示す点（以下、反射点と記載）の集合を含むデータである。ミリ波レーダ３の位置を基準に規定した座標系とは、例えば、ミリ波レーダ３の位置からの距離と、ミリ波レーダ３が走査する方位角とによる、極座標系である。なお、ミリ波レーダ３の位置を基準に規定した座標系は、ミリ波レーダ座標系と記載されてもよい。ミリ波レーダ座標系は、例えば、ミリ波レーダ３の設置位置、ミリ波レーダ３の向きおよびミリ波レーダ３の走査エリア（検知範囲）に基づいて規定される。

なお、反射点は１つの反射物に対して１つに限られない。ミリ波データでは、１つの反射物が複数の反射点によって表されてもよい。

また、反射物には、例えば、道路周辺を移動する車両及び歩行者（以下、移動体と記載する）と、道路周辺に設けられた構造物（道路標識、信号など、以下、静止物と記載する）とが含まれる。ミリ波データには、移動体の位置を示す反射点と、静止物の位置を示す反射点とが含まれていてもよい。

ミリ波レーダ３は、ミリ波データを情報処理サーバ４に送信する。送信されるミリ波データには、ミリ波データを生成したタイミング（例えば、時刻）を示す時刻情報が含まれる。なお、時刻情報が示す時刻は、ミリ波データを生成するためのレーダ信号を送信した時刻であってもよいし、レーダ信号を受信した時刻であってもよい。また、ミリ波レーダ３は、設定された周期で走査エリアを走査し、ミリ波データを情報処理サーバ４へ送信してもよい。

カメラ２が画像データを生成するタイミングと、ミリ波レーダ３がミリ波データを生成するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。また、カメラ２が画像データを送信するタイミングと、ミリ波レーダ３がミリ波データを送信するタイミングとは、一致していなくてもよく、各々のタイミングであってもよい。例えば、カメラ２が画像データを生成する頻度は、ミリ波レーダ３がミリ波データを生成する頻度よりも多い。

なお、カメラ２とミリ波レーダ３は、同一の構造物に設置されてもよいし、互いに異なる構造物に設置されてもよい。また、カメラ２とミリ波レーダ３は、同一の筐体に設けられてもよいし、別々の筐体に設けられてもよい。

また、カメラ２とミリ波レーダ３の設置する方法、場所、および、相対的な位置関係は、限定されない。また、カメラ２の監視エリアとミリ波レーダ３の走査エリアの位置関係は限定されない。本開示は、カメラ２の監視エリアにミリ波レーダ３の走査エリアが含まれるように設置されるのが好ましい。

例えば、少なくとも１つのカメラ２と少なくとも１つのミリ波レーダ３が組となり、１つの監視を行う地点（以下、監視地点と記載する）に設けられる。なお、１つの監視地点には、２つ以上のカメラ２が設けられてもよいし、２つ以上のミリ波レーダ３が設けられてもよい。

情報処理サーバ４は、ネットワークＮ１を介して、複数の監視地点にそれぞれ設けられるカメラ２およびミリ波レーダ３と接続する。情報処理サーバ４は、カメラ２から画像データを取得し、ミリ波レーダ３からミリ波データを取得する。そして、情報処理サーバ４は、画像データ及びミリ波データに基づき、監視地点における道路状況に関する監視画面を生成する。情報処理サーバ４は、ネットワークＮ２を介して、生成した監視画面のデータを遠隔監視ＰＣ５へ送信する。

なお、情報処理サーバ４は、監視画面に関する設定および／または監視地点に関する指示を含む指示情報を、遠隔監視ＰＣ５から受信してもよい。この場合、情報処理サーバ４は、指示情報に基づき、監視画面を生成する。

遠隔監視ＰＣ５は、ネットワークＮ２を介して、情報処理サーバ４から、監視画面のデータを受信する。遠隔監視ＰＣ５は、監視画面のデータの処理を行い、表示部（図示せず）に監視画面を表示する。

なお、遠隔監視ＰＣ５は、例えば、操作部（図示せず）を介して、監視画面に関する設定および／または監視地点に関する指示を、ユーザから受け付けてもよい。この場合、遠隔監視ＰＣ５は、監視画面に関する設定および／または監視地点に関する指示を含む指示情報を情報処理サーバ４へ送信してもよい。

なお、図１では、１台の遠隔監視ＰＣ５が示されるが、遠隔監視ＰＣ５は、複数であってもよい。また、図１では、ネットワークＮ１とネットワークＮ２が示されるが、ネットワークＮ１とネットワークＮ２は、同一のネットワークであってもよいし、異なるネットワークであってもよい。また、情報処理サーバ４が、ネットワークＮ１を介して、カメラ２およびミリ波レーダ３と接続する例を示したが、情報処理サーバ４は、カメラ２および／またはミリ波レーダ３と、ネットワークＮ１を介さずに、直接、有線接続または無線接続してもよい。また、遠隔監視ＰＣ５は、情報処理サーバ４と、ネットワークＮ２を介さずに、直接、有線接続または無線接続してもよい。

以上説明した交通監視システム１では、例えば、監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して、特定の監視地点を入力した（または選択した）場合、遠隔監視ＰＣ５はその入力された（または選択された）監視地点を示す指示情報を、情報処理サーバ４へ送信する。

情報処理サーバ４は、指示情報が示す監視地点における道路状況に関する監視画面を生成する。そして、情報処理サーバ４は、生成した監視画面のデータを、指示情報の送信元の遠隔監視ＰＣ５へ送信する。

＜情報処理サーバの構成＞
次に、情報処理サーバ４の構成の一例について説明する。図２は、本実施の形態に係る情報処理サーバ４の構成の一例を示す図である。

例えば、情報処理サーバ４は、通信部４１と、データ同期部４２と、データ蓄積部４３と、画面生成部４４と、モード設定部４５と、を備える。

通信部４１は、ネットワークＮ１を介したカメラ２およびミリ波レーダ３との通信のインタフェースである。また、通信部４１は、ネットワークＮ２を介した遠隔監視ＰＣ５との通信のインタフェースである。

データ同期部４２は、通信部４１を介して、カメラ２から画像データを取得する。また、データ同期部４２は、通信部４１を介して、ミリ波レーダ３からミリ波データを取得する。

データ同期部４２は、画像データとミリ波データとの同期を図る。例えば、データ同期部４２は、画像データに含まれる時刻情報とミリ波データに含まれる時刻情報に基づき、画像データが生成されたタイミングとミリ波データが生成されたタイミングとを調整する。

例えば、データ同期部４２は、１フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻との時間差が所定値以下の時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを当該１フレームの画像データに対応づける。あるいは、データ同期部４２は、１フレームの画像データに対して、画像データに含まれる時刻情報が示す時刻に最も近い時刻を示す時刻情報を含むミリ波データを選択し、選択したミリ波データを１フレームの画像データに対応づけてもよい。

なお、例えば、カメラ２が画像データを生成する頻度と、ミリ波レーダ３がミリ波データを生成する頻度とが異なる場合、データ同期部４２は、１つの画像データを２つの異なるミリ波データに対応づけるように、データの同期を図ってもよい。あるいは、データ同期部４２は、１つのミリ波データを２つの異なる画像データに対応づけるように、データの同期を図ってもよい。データ同期部４２は、それぞれの時刻情報が示す時刻が所定の時間内に含まれる、画像データとミリ波データを対応づける。

データ同期部４２は、同期を図ったデータをデータ蓄積部４３へ出力する。また、データ同期部４２は、同期を図ったデータを画面生成部４４へ出力する。

データ蓄積部４３は、データ同期部４２によって同期が図られた画像データとミリ波データとを対応付けて蓄積する。データ蓄積部４３には、例えば、時刻情報に基づいて、画像データとミリ波データが時系列で蓄積される。また、データ蓄積部４３には、複数の監視地点それぞれの画像データとミリ波データが蓄積されてもよい。

画面生成部４４は、データ同期部４２から、同期が図られた（タイミングが調整された）画像データとミリ波データを取得する。また、画面生成部４４は、通信部４１を介して、遠隔監視ＰＣ５から監視画面に関する設定および／または監視地点に関する指示を含む指示情報を取得してもよい。

そして、画面生成部４４は、同期が図られた（タイミングが調整された）画像データとミリ波データとを対応づけて、道路の状況を示す監視画面を生成する。

例えば、画面生成部４４は、指示情報が示す監視地点に設けられたミリ波レーダ３のミリ波データに対して信号処理（例えば、クラスタリング処理）を行い、反射物に対応する領域を推定する。推定した領域は、ミリ波データの情報の一例である。

また、画面生成部４４は、走査エリアに対応するミリ波データを、監視エリアに対応するように変換を行う。例えば、画面生成部４４は、ミリ波レーダ座標系によって規定されるミリ波データの情報を、カメラ座標系へ変換する座標変換処理を行ってもよい。画面生成部４４は、座標変換後のミリ波データの情報を、画像データが示す画像に重畳する。

また、画面生成部４４は、モード設定部４５によって指示されるモードに応じた信号処理を行い、モードに応じた監視画面を生成してもよい。なお、モードおよびモードに応じた監視画面の例については後述する。

そして、画面生成部４４は、生成した監視画面のデータを遠隔監視ＰＣ５へ送信する。なお、画面生成部４４は、監視画面のデータの生成に用いたミリ波データを遠隔監視ＰＣ５へ送信してもよい。

なお、画面生成部４４は、データ蓄積部４３に蓄積されたデータを用いて、監視画面を生成してもよい。

モード設定部４５は、通信部４１を介して、指示情報を取得する。モード設定部４５は、指示情報に含まれる、監視画面に関するモードを、画面生成部４４へ指示する。

＜情報処理サーバにおける処理フロー＞
次に、情報処理サーバ４において実行される処理フローの一例について図３を参照して説明する。

図３は、本実施の形態に係る情報処理サーバ４の処理の一例を示すフローチャートである。なお、図３に示すフローチャートは、１つの監視地点に設けられたカメラ２およびミリ波レーダ３から取得するデータに対する処理を示す。情報処理サーバ４は、各監視地点に設けられたカメラ２およびミリ波レーダ３から取得するデータに対して、図３に示す処理を並行して行ってもよい。

データ同期部４２は、カメラ２から画像データを取得する（Ｓ１０１）。

データ同期部４２は、ミリ波レーダ３からミリ波データを取得する（Ｓ１０２）。

なお、Ｓ１０１とＳ１０２の順は、これに限定されない。また、Ｓ１０１の処理は、カメラ２が画像データを送信する毎に実行され、Ｓ１０２の処理は、ミリ波レーダ３がミリ波データを送信する毎に実行される。

データ同期部４２は、画像データとミリ波データとの同期を図るデータ同期処理を行う（Ｓ１０３）。

データ同期部４２は、同期を図ったデータをデータ蓄積部４３に蓄積するデータ蓄積処理を行う（Ｓ１０４）。

画面生成部４４は、ミリ波データに対してクラスタリング処理を行う（Ｓ１０５）。

クラスタリング処理とは、ミリ波データに含まれる、１つの反射物に対応する複数の反射点をグルーピングする処理である。グルーピングする処理によって、反射物のサイズ、形状、色といった反射物に関する情報が取得されてもよい。なお、以下では、クラスタリング処理後の１つの反射物に対応する複数の反射点のグループを包含する領域を、反射領域と記載する。

なお、クラスタリング処理では、画面生成部４４は、データ蓄積部４３に蓄積された、現時点よりも前のミリ波データを用いてもよい。画面生成部４４は、現時点よりも前のミリ波データを用いて時系列で処理することによって、例えば、移動体に対応する反射点と、静止物に対応する反射点を区別してもよい。

次に、画面生成部４４は、設定されたモードに応じたデータ処理を行う（Ｓ１０６）。

例えば、設定されたモードが移動体の移動方向を監視するモード（例えば、後述する逆走検知モード）である場合、画面生成部４４は、移動体の追跡処理を行う。例えば、画面生成部４４は、追跡処理の一例として、移動体に対応する反射領域の移動方向を判定する処理を行う。

また、例えば、設定されたモードが反射物の種類を識別するモード（例えば、後述する物体識別モード）である場合、画面生成部４４は、ミリ波データが示す反射信号の受信強度、反射領域のサイズなどを用いて、反射物の種類を識別する。

また、例えば、設定されたモードが、反射物の滞留状況を判定するモード（例えば、後述するヒートマップモード）である場合、画面生成部４４は、データ蓄積部４３に蓄積された一定時間内のミリ波データを用いて、走査エリアにおいて、反射物が検知された回数（頻度）を、部分的な範囲毎に算出する。

なお、設定されたモードに応じたデータ処理は、上述した例に限られない。

次に、画面生成部４４は、画像データとミリ波データとを対応付けた監視画面の生成処理を行う（Ｓ１０７）。

例えば、画面生成部４４は、画像データが示すカメラ画像に、ミリ波データを重畳する処理を行う。この処理において、画面生成部４４は、カメラ座標系にミリ波レーダ座標系が揃うように、ミリ波データの情報を座標変換してもよい。

画面生成部４４は、生成した監視画面のデータを送信する処理を行う（Ｓ１０８）。

次に、情報処理サーバ４において生成され、遠隔監視ＰＣ５の表示部に表示される監視画面の表示例について説明する。

＜表示例１＞
表示例１は、監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して、交差点の監視地点を選択した場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。

図４は、本実施の形態における表示画面の表示例１を示す図である。図４に示す表示例１は、監視地点である交差点の路面から見ての斜め上方向に設けられたカメラ２と、カメラ２と略同一の位置に設けられたミリ波レーダ３とから取得したデータに基づいて生成される監視画面を含む。

図４の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。各ボタンは、監視画面に関する設定、例えば、監視画面に関するモードを設定する場合にユーザによって押下される。

図４の下部には、ミリ波データを表示する領域Ｒ１が示される。そして、領域Ｒ２には、監視画面の一例が示される。

例えば、領域Ｒ１には、ミリ波レーダ３の位置を基準（原点）とし、複数の縦線と横線により区切られた複数のグリッドが示される。そして、領域Ｒ１には、ミリ波レーダ３の走査エリアを示すエリアＡ１と、エリアＡ１における反射点が示される。なお、領域Ｒ１の表示は、例えば、ユーザの設定によって、適宜、省略されてもよい。

例えば、領域Ｒ２の監視画面には、カメラ画像に、ミリ波レーダ３によって走査されて得られるミリ波データが重畳されている。

なお、画面生成部４４は、カメラ画像にミリ波データを重畳する場合に、座標変換処理を行ってもよい。例えば、画面生成部４４は、ミリ波レーダ座標系によって規定されるエリアＡ１およびエリアＡ１内の反射点を、カメラ座標系へ変換する。領域Ｒ２の監視画面は、カメラ２の監視エリアの座標系へ変換されたミリ波データが、カメラ画像に重畳されている。

例えば、ミリ波レーダ座標系によって規定される領域Ｒ１のエリアＡ１は、カメラ座標系によって規定される領域Ｒ２の監視画面ではラインＬ１とラインＬ２によって挟まれるエリアに対応する。

なお、領域Ｒ２のラインＬ１とラインＬ２によって挟まれるエリアは、カメラ画像におけるミリ波レーダ３の走査エリアを示す。ラインＬ１とラインＬ２によって挟まれるエリアは、例えば、カメラ画像が透過するように、カメラ画像と異なる態様（例えば、異なる色）によって示されてもよい。また、ラインＬ１とラインＬ２によって挟まれるエリアは、適宜、省略されてもよい。

領域Ｒ２のエリアＡ２では、ミリ波データに基づいて検知された反射物に対応する反射領域を示す枠ｒ１～ｒ６が示される。このように、領域Ｒ２の監視画面では、反射物に対応する反射領域が、カメラ画像において枠を用いて示されるため、監視エリアに存在し、ミリ波レーダ３によって検知された反射物をユーザが視覚的に確認できる。

また、枠ｒ１～枠ｒ４は、枠ｒ５および枠ｒ６と異なる態様（例えば、異なる色）によって示される。枠の態様は、ミリ波データを用いて検知した反射物が移動体か静止物かによって異なっている。反射物を示す枠の態様を変えることによって、ミリ波レーダ３によって検知された反射物が移動体か静止物かという情報を、ユーザが視覚的に確認できる。

例えば、枠ｒ１～枠ｒ４は、移動体（車両または歩行者）を示し、枠ｒ５および枠ｒ６は、静止物（道路の路側に設けられる構造物）を示す。

なお、図４の上部の、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンは、それぞれ、逆走検知モード、物体識別モード、ヒートマップモードおよび設定モードに対応する。ユーザは、遠隔監視ＰＣ５の操作部を操作し、いずれかのボタンを押下してもよい。その場合、遠隔監視ＰＣ５は、押下されたボタンに対応するモードが設定されたことを情報処理サーバ４へ送信する。

次に、情報処理サーバ４がモードを変更した場合の表示例について説明する。

＜表示例２＞
表示例２は、監視を行うユーザが遠隔監視ＰＣ５の操作部を介して「逆走検知」ボタンを押下し、逆走検知モードが設定された場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。

図５は、本実施の形態における表示画面の表示例２を示す図である。図５に示す表示例２は、監視地点である片側２車線ずつの合計４車線の道路の路面の上方向に設けられたカメラ２と、カメラ２と略同一の位置に設けられたミリ波レーダ３とから取得したデータに基づいて生成される監視画面を含む。

図５の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。図５では、逆走検知モードに設定されているため、「逆走検知」ボタンが押下された状態である。

領域Ｒ３は、逆走検知モードに設定された場合に表示される監視画面である。領域Ｒ３には、カメラ画像に、ミリ波データが重畳されている。

なお、画面生成部４４は、カメラ画像にミリ波データを重畳する場合に、図４の例と同様に、座標変換処理を行ってもよい。また、逆走検知モードに設定されている場合、画面生成部４４は、移動体（例えば、車両）の逆走を検知する処理を行う。

例えば、逆走を検知する処理において、画面生成部４４は、ミリ波データを用いて、走査エリアに存在する移動体を検知する。そして、画面生成部４４は、検知した移動体の移動方向を検知する。移動体の移動方向の検知方法は、例えば、ドップラーシフトを用いた方法であってもよいし、現時点と現時点よりも前の時点の移動体の位置とを比較する方法であってもよい。現時点よりも前の時点の移動体の位置は、例えば、データ蓄積部４３に蓄積された過去のミリ波データを用いて検知されてもよい。

画面生成部４４は、検知した移動体の位置を示す枠（図５の枠ｒ７および枠ｒ８）および検知した移動体の移動方向を示す矢印（図５の矢印ｘ７および矢印ｘ８）をカメラ画像に重畳させてもよい。検知した移動体の位置を示す枠および移動方向を示す矢印は、ミリ波データの情報の一例である。

そして、画面生成部４４は、検知した移動体の移動方向が、監視エリアに含まれる道路に対して定められた進行方向（以下、順方向と記載する）と異なるか否かを判定する。

なお、基本的には、カメラ２およびミリ波レーダ３の位置および向きが定まり、監視エリア（および走査エリア）が定まると、順方向は一意に定まる。そのため、順方向は、例えば、カメラ２およびミリ波レーダ３が設置された位置および向きに応じて、予め設定されてもよい。あるいは、画面生成部４４は、一定時間、監視エリアを通過する複数の移動体の移動方向を監視して、順方向を判定してもよい。

なお、図５では、説明の便宜上、順方向を示す矢印ｘ０が示されている。

画面生成部４４は、検知した移動体の移動方向が、順方向と異なる場合、検知した移動体が逆走している、と判定する。

例えば、図５では、枠ｒ７が囲む移動体の矢印ｘ７は、順方向である矢印ｘ０と同じ方向であるため、枠ｒ７が囲む移動体は逆走していないと判定される。一方で、枠ｒ８が囲む移動体の矢印ｘ８は、順方向である矢印ｘ０と逆方向であるため、枠ｒ８が囲む移動体は逆走している、と判定される。

なお、逆走しているか否かを判定する場合、画面生成部４４は、図５に示すように、道路を細かく区切る目盛ｚを規定し、各目盛ｚにおいて移動方向を判定してもよい。複数の目盛りにおいて移動方向を判定することにより、判定誤りを抑制できる。

画面生成部４４は、逆走している移動体を検知した場合、逆走している移動体を検知したことを示す警告情報を送信する。

警告情報を受信した遠隔監視ＰＣ５は、表示部に警告を通知する。警告の通知方法は、例えば、記号および／または文字情報を用いる方法であってもよいし、表示部の少なくとも一部の色を変更する方法であってもよい。あるいは、遠隔監視ＰＣ５は、音声を用いて警告を通知してもよい。

なお、画面生成部４４は、現時点以前のミリ波データを用いて、逆走している移動体を捕捉し、移動体が逆走した状況を判定してもよい。そして、画面生成部４４は、移動体が逆走した状況を示す情報を警告情報に追加してもよい。移動体が逆走した状況とは、例えば、逆走が故意なのか否か、あるいは、逆走が運転者の操作の誤りに起因するものか否かである。

例えば、画面生成部４４は、移動体が、比較的長い時間、逆走を継続している場合、その逆走が故意である、と判定する。あるいは、画面生成部４４は、移動体が、進行方向を突発的に逆に変更する、所謂、Ｕターンを行った場合、その逆走が故意である、と判定する。あるいは、画面生成部４４は、移動体が一時的に逆走した後、進行方向を順方向に変更した場合、その逆走が運転者の操作の誤り（例えば、「うっかり」）に起因するものである、と判定する。

例えば、高速道路におけるサービスエリアおよびパーキングエリア等の休憩施設に入った車両が、高速道路の本線に合流する場合に、運転者のうっかりした操作で逆走してしまい、途中で逆走に気付いて順方向へ変更する状況がある。このような状況は、一時的な逆走として判定されてもよい。なお、運転者が無意識で、逆走に気付かないまま逆走を継続してしまうこともあるので、このような状況は故意の逆走として判定されてもよい。

警告情報を受信した遠隔監視ＰＣ５は、移動体が逆走した状況を示す情報に応じて、表示部に通知する警告を変更してもよい。なお、画面生成部４４は、監視画面において、逆走と判定された場合、枠ｒ８の枠線の太さ、種類、色調、明るさおよび、コントラストの少なくとも１つを変化させる、あるいは、枠ｒ８を点滅表示させる、などの強調表示を行ってもよい。

また、情報処理サーバ４は、画面生成部４４から取得する警告情報に基づいて、外部の機器を制御し、逆走している移動体および／または逆走している移動体の周辺に警告を行う警告制御部を備えてもよい。

警告制御部は、例えば、監視地点の周辺に設けられ、ネットワークＮ１と接続する警告灯、ＬＥＤ（Light Emitting Diode）照明柱、および、表示板（案内板）の少なくとも１つを制御し、逆走する移動体が存在することを監視地点の周辺に警告する。例えば、警告制御部は、警告灯および／ＬＥＤ照明柱の色、明るさ、点灯と消灯の間隔を制御し、監視地点の周辺に異常を通知する。

このように、逆走検知モードでは、ミリ波データを用いて逆走を検知した結果を、カメラ画像に重畳することによって、カメラ画像では検知が遅れるおそれのある逆走を検知でき、ユーザの視覚による交通監視を効率良く補助できる。

＜表示例３＞
表示例３は、監視を行うユーザが遠隔監視ＰＣ５の操作部を介して「物体識別」ボタンを押下し、物体識別モードが設定された場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。

図６は、本実施の形態における表示画面の表示例３を示す図である。図６に示す表示例３は、監視地点である交差点の路面から見ての斜め上方向に設けられたカメラ２と、カメラ２と略同一の位置に設けられたミリ波レーダ３とから取得したデータに基づいて生成される監視画面を含む。

図６の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。図６では、物体識別モードに設定されているため、「物体識別」ボタンが押下された状態である。

領域Ｒ４は、物体識別モードに設定された監視画面である。領域Ｒ４には、カメラ画像に、ミリ波データが重畳されている。

なお、画面生成部４４は、カメラ画像にミリ波データを重畳する場合に、図４の例と同様に、座標変換処理を行ってもよい。また、物体識別モードに設定されている場合、画面生成部４４は、ミリ波データにおいて検知された物体を識別する処理を行う。

例えば、画面生成部４４は、ミリ波データを用いて、監視エリアに存在する物体を検知する。検知する物体は、移動体であってもよいし、静止物であってもよい。そして、画面生成部４４は、検知した物体を識別する特徴を検知する。物体を識別する特徴は、例えば、物体の種類（例えば、特大車、大型車、普通車、二輪車および人）、大きさ（例えば、幅および高さ）、色、および、形状の少なくとも１つであってもよい。

物体の特徴を検知する方法は、例えば、反射信号の受信強度、及び、反射信号のドップラー周波数の少なくとも１つの情報、または、他の情報に基づいた、公知の方法であってもよい。

画面生成部４４は、検知した物体の位置を示す枠と、検知した物体の特徴を示す情報をカメラ画像に重畳させてもよい。例えば、移動する物体として、人，自転車，バイク，普通車，大型車等の種類を識別することが可能である。

物体の特徴を示す情報は、例えば、文字情報であってもよい。あるいは、物体の位置を示す枠の種類および／または色を、物体の特徴に応じて変更することによって、物体の特徴を示してもよい。

また、物体の種類ごとの特徴の確からしさ（信頼度）を示す情報が、重畳されてもよい。

例えば、図６では、検知した車両の位置を示す枠ｒ９と枠ｒ１０が、検知した歩行者の位置を示す枠ｒ１１と枠ｒ１２と異なる態様（例えば、異なる色）を用いて示される。そして、枠ｒ９によって示される車両の種類が「普通車」であることが文字情報を用いて示される。また、それらの特徴の確からしさが「０．９５」であることが文字情報を用いて示される。この数値は、例えば、枠ｒ９によって示される反射物が９５％の信頼度で普通車であることを示す。

このように、物体識別モードでは、ミリ波データを用いて検知した物体の特徴を示す識別結果の情報を、カメラ画像に重畳することによって、ユーザは、カメラ画像では確認することが困難な物体の特徴を確認でき、交通監視を視覚的に行うことができる。例えば、天候および／または日時によってカメラ画像が鮮明では無い場合にも、物体の特徴を確認できる。なお、天候等に左右されない状況では、カメラ画像の解析結果を用いて、図６に示すように、物体の色情報として黒や白といった情報を付加してもよい。

＜表示例４＞
表示例４は、監視を行うユーザが遠隔監視ＰＣ５の操作部を介して「ヒートマップ」ボタンを押下し、ヒートマップモードが設定された場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。

図７は、本実施の形態における表示画面の表示例４を示す図である。図７に示す表示例４は、監視地点である交差点の路面から見ての斜め上方向に設けられたカメラ２と、カメラ２と略同一の位置に設けられたミリ波レーダ３とから取得したデータに基づいて生成される監視画面を含む。

図７の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。図７では、ヒートマップモードに設定されているため、「ヒートマップ」ボタンが押下された状態である。

領域Ｒ５は、ヒートマップモードに設定された監視画面である。領域Ｒ５には、カメラ画像に、ミリ波データが重畳されている。

なお、画面生成部４４は、カメラ画像にミリ波データを重畳する場合に、図４の例と同様に、座標変換処理を行ってもよい。また、ヒートマップモードに設定されている場合、画面生成部４４は、現時点よりも前のミリ波データを用いて、物体の滞留状況を判定し、滞留状況を示すヒートマップの情報を生成する処理を行う。

例えば、画面生成部４４は、現時点よりも前の一定時間に取得したミリ波データを用いて、監視エリアを複数のグリッドに分割した検出矩形枠のそれぞれにおいて一定時間に検出した反射物の数を数える。そして、画面生成部４４は、検出した反射物の数に応じて、検出矩形枠を分類する。その際、検出した反射物の種類（例えば、車両または歩行者）と数に応じて、検出矩形枠を分類してもよい。

そして、画面生成部４４は、カメラ画像に、分類した検出矩形枠を示すヒートマップの情報を重畳させてもよい。

分類した検出矩形枠を示すヒートマップの情報は、例えば、色の違いといった態様の違いである。例えば、画面生成部４４は、検出した反射物の数に対応する色を、カメラ画像を透過する態様で重畳してもよい。

例えば、図７では、検出した反射物の数に応じて分類した検出矩形枠を示す情報が、「Ｌｖ１」～「Ｌｖ４」の４通りの色の違いによって示される。例えば、図７では、Ｌｖ２～Ｌｖ４の領域は、車道の領域に相当する。そして、Ｌｖ４の領域は、車両と歩行者の両方が通過する頻度の高い横断歩道に対応する領域、または、車両が停止する回数の多い停止線に対応する領域に相当する。また、Ｌｖ４及びＬｖ３の領域とＬｖ２の領域とを比較して、監視地点の交差点は、左折の少ない交差点であることがわかる。

このように、ヒートマップの情報をカメラ画像に重畳させることによって、監視地点の道路構造（例えば、車線の数、車線の種類（例えば、右折専用車線）および、車線の形状）が推定できる。例えば、車両が検出される回数の多い領域は車道、歩行者が検出される回数の多い領域は歩道、および、車両と歩行者の両方が検出される回数の多い領域は横断歩道、といった推定を行うことができる。また、車道の領域の中でも、車両が検出される回数が比較的多い位置は車道の停止線付近である、といった推定を行うことができる。

これにより、監視エリアの道路構造を精度良く推定できるため、ユーザに対する視覚効果の高い表示を行うことができる。

また、監視エリアの道路構造が精度よく推定できるため、歩行者および／または車両の飛び出し、二輪車のすり抜けといった状況を精度よく予測でき、監視地点において効果的な警告を行うことができる。

また、監視エリアの道路構造が精度よく推定できるため、カメラ２およびミリ波レーダ３を設置した際に道路構造を設定する手間が抑えられるため、設定を簡略にできる。

なお、上述した表示例２～表示例４（図５～図７）では、１つの監視画面が表示される例を示した。本開示はこれに限定されない。例えば、図５～図７において、図４の領域Ｒ１と同様に、ミリ波レーダ３が走査して得られるミリ波データが表示されてもよい。

＜表示例５＞
表示例５は、監視を行うユーザが、遠隔監視ＰＣ５の操作部を介して「設定」ボタンを押下し、設定モードが設定された場合に、遠隔監視ＰＣ５の表示部に表示される画面の例である。

図８は、本実施の形態における表示画面の表示例５を示す図である。図８の上部には、「逆走検知」ボタン、「物体識別」ボタン、「ヒートマップ」ボタンおよび「設定」ボタンが示される。図８では、設定モードに設定されているため、「設定」ボタンが押下された状態である。

また、図８の表示画面には、設定モードにて設定できる「メンテナンスモード」、「天候推定モード」、および、「夜間モード」のボタンが表示される。監視を行うユーザは、表示されたボタンを押下し、別のモードを選択する。以下、各モードについて、説明する。

「メンテナンスモード」
メンテナンスモードでは、監視地点を選択することによって、情報処理サーバ４は、その監視地点に設けられたカメラ２および／またはミリ波レーダ３の定点観測を行う。定点観測によって、監視地点の異常を検知した場合、情報処理サーバ４は、カメラ２のパラメータ（例えば、カメラ２の画角、解像度および露光）および／または、ミリ波レーダ３のパラメータ（例えば、分解能、送信出力および受信感度）を調整する。パラメータの調整を繰り返しても異常を検知する場合、情報処理サーバ４は、異常を知らせる情報を遠隔監視ＰＣ５へ通知する。通知を受けた遠隔監視ＰＣ５は、表示部に、異常を知らせる情報を表示する。

「天候推定モード」
天候推定モードでは、情報処理サーバ４は、ミリ波データを用いて、天候を推定する。例えば、情報処理サーバ４は、天候の違いに応じた、ミリ波データが示す反射信号の受信強度の減衰、および／または、反射信号のドップラー周波数の変動を検知し、検知した量に基づいて、天候を推定してもよい。

「夜間モード」
夜間モードでは、情報処理サーバ４は、ミリ波データをカメラ画像と重畳させるのではなく、ミリ波データに基づく表示をメインに表示する。これにより、夜間などのカメラ２が撮影した画像が鮮明では無く、物体識別が困難な場合に、重畳すると却って見づらくなるような表示を回避できる。

なお、設定モードにて設定できるモードには、以下の例を示すモードが含まれてもよい。

「交通流カウントモード」
交通流カウンドモードでは、画面生成部４４は、現時点よりも前の一定時間に取得したミリ波データを用いて、監視エリアを複数のグリッドに分割した検出矩形枠のそれぞれにおいて一定時間に検出した車両の数を数える。そして、画面生成部４４は、検出した物体の数に応じて、交通流に関する情報を生成し、カメラ画像に重畳させる。

例えば、交通流カウントモードでは、画面生成部４４は、検出した車両の数に応じて、車間距離、速度、および、車両の長さといった情報を統計的に算出する。そして、画面生成部４４は、監視エリアにおける渋滞の度合いを推定する。
なお、画面生成部４４は、時間帯毎および／または日付毎に推定を行ってもよい。推定を行う時間帯および／または日付は、ユーザから遠隔監視ＰＣ５を介して指定されてもよい。

また、画面生成部４４は、検知した物体の種類毎に渋滞の度合いを推定してもよい。例えば、画面生成部４４は、普通車、大型車、二輪車といった車両の種類毎に渋滞の度合いを推定してもよい。

「交差点監視モード」
交差点監視モードでは、情報処理サーバ４は、交差点の周囲に設けられたカメラ２およびミリ波レーダ３を用いて、交差点において発生しやすい事象を検知し、検知結果に応じて警告を行う。

例えば、情報処理サーバ４は、車両が左折する際の巻き込みを防ぐために、左折する車両を検知した場合に、左折する車両の周囲の移動体（例えば、二輪車）の有無を確認する。そして、左折する車両の周囲に移動体が存在した場合、情報処理サーバ４は、二輪車およびその周囲に対して警告（例えば、飛び出し警報）を行う。

また、例えば、情報処理サーバ４は、二輪車によるすり抜けを検知するために、ミリ波データを用いて、二輪車を優先して検知する。そして、情報処理サーバ４は、検知した二輪車の走行経路を追跡し、二輪車が普通車等の間をすり抜けている場合、二輪車およびその周囲に対して警告（例えば、飛び出し警報）を行う。

「動物検知モード」
動物検知モードでは、情報処理サーバ４は、ミリ波データに基づいて、道路上または道路の周辺における動物の存在の有無を検知する。例えば、情報処理サーバ４は、ミリ波データに含まれる反射信号の情報から、動物が反射物である場合に特有の情報を抽出し、動物の存在の有無を検知する。

なお、本実施の形態では、車両、歩行者などが通行する道路交通を監視する交通監視システムを一例に挙げて説明した。本開示はこれに限定されない。例えば、鉄道と鉄道の利用者を監視する交通監視システムであってもよい。例えば、鉄道交通を監視する交通監視システムでは、カメラ２およびミリ波レーダ３は、ホームおよび線路を見渡せる位置、および／または、ホームよりも下の線路に近い位置に設けられてもよい。また、鉄道交通を監視する交通監視システムでは、「転落検知モード」などが設定可能なモードに含まれていてもよい。

「転落検知モード」
転落検知モードでは、ホームの上方に設けられるカメラ２および／またはミリ波レーダ３（以下、「ホーム上カメラ／レーダ」と記載する）が、ホームを歩行する人物または物品（傘、財布などの携行品）のホームの下方への落下を検知した場合、ホームの下方に設けられるカメラ２および／またはミリ波レーダ３（以下、「ホーム下カメラ／レーダ」と記載する）の検知を開始する。そして、ホーム下方への落下を検知した時点からのホーム上カメラ／レーダのデータと、ホーム下カメラ／レーダのデータとを、対応付けて保存する。

また、ホーム下レーダが、移動体を検出しなかった場合、ホーム下カメラにおいて静止物の抽出を行ってもよい。

以上、本実施の形態では、カメラが撮影した画像データと、ミリ波レーダが取得するミリ波データとの同期を図り、同期を図った画像データと前記ミリ波データとを対応づけて、道路の状況を示す監視画面を生成する情報処理サーバを備える交通監視システムについて説明した。本実施の形態によれば、カメラとミリ波レーダという２つのセンサデバイスから得られるデータの同期を図り、同期が図られたデータを対応付けた監視画面を生成するため、道路状況の監視を精度良くかつ効率的に行うことができる。

例えば、カメラのデータから得られるカメラ画像は、監視するユーザに対して視覚的に有効な情報を提供でき、ミリ波レーダのデータは、監視するユーザに対して、カメラ画像からは得られない詳細な情報を提供できる。そのため、本実施の形態では、ミリ波レーダから得られる詳細な情報をカメラ画像に対応付けることによって、道路状況の監視を精度良く効率的に行うことができる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

上記各実施の形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力と出力を備えてもよい。これらは個別に１チップ化されてもよいし、各機能ブロックの一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法にはＬＳＩに限らず、専用回路または汎用プロセッサを用いて実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、ＬＳＩ内部の回路セルの接続、設定が再構成可能なリコンフィグラブル・プロセッサーを利用してもよい。

更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、別技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

なお、本開示は、無線通信装置、または制御装置において実行される制御方法として表現することが可能である。また、本開示は、かかる制御方法をコンピュータにより動作させるためのプログラムとして表現することも可能である。更に、本開示は、かかるプログラムをコンピュータによる読み取りが可能な状態で記録した記録媒体として表現することも可能である。すなわち、本開示は、装置、方法、プログラム、記録媒体のうち、いずれのカテゴリーにおいても表現可能である。

また、本開示は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更することができる。

本開示は、交通監視に用いるに好適である。

１ 交通監視システム
２ カメラ
３ ミリ波レーダ
４ 情報処理サーバ（制御装置）
５ 遠隔監視ＰＣ
４１ 通信部
４２ データ同期部
４３ データ蓄積部
４４ 画面生成部
４５ モード設定部

Claims (8)

1. 道路を含む監視エリアを撮影し、画像データを生成するカメラと、
   前記監視エリアに含まれる走査エリアを走査し、ミリ波データを生成するミリ波レーダと、
   前記カメラ及び前記ミリ波レーダと接続し、前記画像データ及び前記ミリ波データを取得する情報処理サーバと、
   を備える交通監視システムであって、
   前記情報処理サーバは、
   前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図るデータ同期部と、
   同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記道路の状況を示す監視画面を生成する画面生成部と、
   を備え、
   前記画面生成部は、前記ミリ波データに対して、前記ミリ波データが有するミリ波レーダ座標系から前記画像データが有するカメラ座標系への座標変換処理を行い、前記画像データが示す画像に前記ミリ波データの情報を重畳した監視領域画像が含まれた前記監視画面を生成することを特徴とする、
   交通監視システム。
2. 前記データ同期部によって同期が図られた前記画像データと前記ミリ波データを蓄積するデータ蓄積部を
   備え、
   前記画面生成部は、前記データ蓄積部に蓄積された過去の前記画像データと前記ミリ波データを用いて、前記監視画面を生成する、
   請求項１に記載の交通監視システム。
3. 前記画面生成部は、前記ミリ波データに基づいて、前記走査エリアに含まれる物体を識別し、前記物体の識別結果を示す情報を前記画像データに重畳させる、
   請求項１に記載の交通監視システム。
4. 前記物体の識別結果を示す情報は、文字情報、及び／又は、前記画像データにおける前記物体の範囲を示す枠を含む、
   請求項３に記載の交通監視システム。
5. 前記画面生成部は、前記ミリ波データに基づいて、前記走査エリアにおいて物体の滞留状況を判定し、前記滞留状況を示す情報を前記画像データに重畳させる、
   請求項１に記載の交通監視システム。
6. 前記滞留状況を示す情報は、前記物体の検出頻度に応じた色の情報であり、
   前記画面生成部は、前記色の情報を前記画像データに透過させて重畳させる、
   請求項５に記載の交通監視システム。
7. ユーザによって指示される、前記監視画面に関する設定を変更するモード設定部を備え、
   前記画面生成部は、前記設定に応じた監視画面を生成する、
   請求項１に記載の交通監視システム。
8. 道路の状況を示す監視画面を生成する処理をプロセッサにより実行する交通監視方法であって、
   前記プロセッサは、
   前記道路を含む監視エリアを撮影し、生成された画像データをカメラから取得し、
   前記監視エリアに含まれる走査エリアを走査し、生成されたミリ波データをミリ波レーダから取得し、
   前記画像データが生成されたタイミングと前記ミリ波データが生成されたタイミングとの差が一定値以下となるように前記画像データと前記ミリ波データとの同期を図り、
   同期が図られた前記画像データと前記ミリ波データとを対応づけて、前記道路の状況を示す前記監視画面を生成してなり、
   前記監視画面を生成するに際、前記ミリ波データに対して、前記ミリ波データが有するミリ波レーダ座標系から前記画像データが有するカメラ座標系への座標変換処理を行い、前記画像データが示す画像に前記ミリ波データの情報を重畳した監視領域画像が含まれた前記監視画面を生成することを特徴とする、
   交通監視方法。

Images