JP3623382B2

JP3623382B2 - 画像監視装置

Info

Publication number: JP3623382B2
Application number: JP01820699A
Authority: JP
Inventors: 一則小野口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-01-27
Filing date: 1999-01-27
Publication date: 2005-02-23
Anticipated expiration: 2019-01-27
Also published as: JP2000215299A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、車道、歩道、横断歩道、踏切等の平面領域において人や車両を画像中から検出し、歩行者数、通過車両台数・速度、人や車の移動方向等を計測し、信号機の最適制御、道路の渋滞・事故検出、踏切等での危険状況検出等を実現する画像監視装置に関するものである。
【０００２】
【従来の技術】
複数台のカメラを用い、高さの情報から車両や人間等を求める場合、ＴＶカメラを横に並べる手法が一般的であるが、道路等広い領域を監視する場合、カメラ間隔を大きく取らないと高さ情報が十分得られないため、道路の両端やトンネルの両側壁等にそれぞれカメラを設置する必要があった。また、ポール等に設置する場合には、横方向に長い棒を付加し、その両端にＴＶカメラを設置する必要があった。
【０００３】
【発明が解決しようとする課題】
しかしながら、２車線以上の道路の場合、道路両端やトンネルの両側壁等にそれぞれカメラを設置すると、保守の際に通行制限する車線数が増え、交通渋滞等を招く危険がある。また、保守する場所が２倍になるため、足場の設置等といった保守の作業量が大幅に増大するという問題点がある。ポール等に設置する場合、横方向に長い棒を付加するため、不安定であり、かつ設置場所を取るといった問題点がある。
【０００４】
特に、道路脇に設置されている照明灯に複数台のカメラを据え付ける場合、横方向に長い棒を付加しカメラを並べるのは風の影響を受け易く、揺れないようカメラを固定するのは困難である。また、道路を渡っている歩道橋や陸橋、アングル等に設置する場合も複数車線に跨る形でカメラが設置されるため、道路両端やトンネルの両側壁に設置した場合と同じ問題が発生する。
【０００５】
本発明は、上記問題に鑑みてなされたもので、その目的とするところは、保守する場所を増やすことなく、カメラ間隔が広くとれ、かつ照明灯等に安定にカメラを設置することができ、高さ情報から影を含まない車両や人間等の対象領域を検出することが可能な画像監視装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために本発明の画像監視装置は、共通視野を撮影するそれぞれ垂直方向に設置された第１および第２のＴＶカメラと、これらのＴＶカメラにより前記共通視野を同時刻に撮像した画像をそれぞれ蓄積する第１および第２の画像メモリ、および前記第２のＴＶカメラにより移動体が存在しない前記共通視野を予め撮影した背景画像を記憶した第３の画像メモリと、この第１の画像メモリに蓄積された画像を、前記共通視野内の平面に逆投影し、さらにこの投影像を前記第２のＴＶカメラで撮像した場合の画像に変換する画像変換手段と、この画像変換手段により得られた変換画像を、前記第２の画像メモリに蓄積された画像と比較し、対応する各点の類似度の値が予め設定しておいたしきい値より大きい領域からなるマスク領域を有するマスク画像を生成するマスク生成手段と、前記第２の画像メモリに蓄積された画像を、対応する各画素毎に輝度を前記背景画像と比較し、その差分値が予め設定しておいたしきい値より大きい値の画素からなる変化領域を検出する変化検出手段と、前記変化領域内の前記マスク領域に含まれる領域のみを抽出する影領域除去手段とを有することを特徴とするものである。
【００１０】
さらに、上記本発明の画像監視装置においては、前記第１および第２のＴＶカメラが照明灯等ポール状の柱の上下に配置されることを特徴とするものである。
【００１１】
さらに、上記本発明の画像監視装置においては、前記第１および第２のＴＶカメラが遮音壁、トンネル、建物等の壁面領域に上下に配置されることを特徴とするものである。
【００１２】
さらに、上記本発明の画像監視装置においては、前記第１および第２のＴＶカメラが陸橋、歩道橋等空中を渡っているものに上下に配置されることを特徴とするものである。
【００１３】
さらに、上記本発明の画像監視装置においては、前記第１および第２のＴＶカメラが陸橋、歩道橋等空中を渡っているものから上下に吊下げられる形で配置されることを特徴とするものである。
【００１４】
このように複数台のカメラをポール、壁面、歩道橋等の上下に配置することにより、カメラ間隔を広くとりつつ、メインテナンス箇所が増えない多眼視による車両、人の検出が実現できる。照明灯等にも安定にカメラが設置できるため、照明の保守の際に同時にカメラの保守も可能となり、保守作業量が大幅に軽減できる。また、高さ情報を用いて検出するため、道路面上の影やヘッドライトの照り返し等の影響を除去することができる。
【００１５】
【発明の実施の形態】
以下で、本発明の詳細を図面に従い説明する。
【００１６】
図１は本実施例における画像監視装置の概略構成を示すもので、２台のＴＶカメラを用いた例である。１：ＴＶカメラｉ（ｉ＝１〜２）、２：画像メモリｉ（ｉ＝１〜２）、３：検出部から構成されている。
【００１７】
ＴＶカメラは図２に示すように、ポールの上下に設置されており、道路等の広範囲な領域を共通視野に収めている。このポールとしては、新たに設置するのではなく、道路端または中央分離体等に設置された照明灯を用いることも可能である。
【００１８】
ＴＶカメラｉ（ｉ＝１〜２）より入力された画像は画像メモリｉ（ｉ＝１〜２）に蓄積される。検出部は画像メモリ１、２に蓄積されている画像から影を含まない車両や人等の対象領域を検出する。
【００１９】
図３に検出部の構成例を示す。画像変換部、マスク生成部、変化検出部、影領域除去部から構成されている。
【００２０】
画像変換部は画像メモリ１に蓄積されている画像を予め設定しておいた平面へ逆投影し、逆投影された平面領域をＴＶカメラ２で撮像した際の画像に変換する。本実施例では、道路平面に画像を逆投影すること考える。図４を用いてこの変換手法を説明する。ＴＶカメラ１のカメラ座表系をＯ−ＸＹＺ、ＴＶカメラ２のカメラ座標系をＯ’−Ｘ’Ｙ’Ｚ’とし、カメラの焦点距離は共にｆとする。車両上の点ＰのＴＶカメラ１の画像面への投影点をｐ１、ＴＶカメラ２の画像面への投影点をｐ２とする。また、ｐ１を平面上に逆投影した点をＰ′とし、Ｐ′のＴＶカメラ２の画像面への投影点をｐ′とする。この時、ｐ１の画像座標（ｘ，ｙ）とｐ′の画像座標（ｘ’，ｙ’）の間には以下の関係式が成り立つ。
【数１】

ここで、Ｍｉｊ（ｉ＝１〜３、ｊ＝１〜３）は変換パラメータであり、ＴＶカメラ１、２の各画像面において、設定平面上に存在する点の対応する画像座標（ｘ，ｙ）（ｘ’，ｙ’）の組を５個以上与えれば、最小自乗法により求めることができる。このため、ＴＶカメラ１、２を設置した後、例えば道路平面上の特徴点（横断歩道やセンターライン等の輪郭に含まれる角点等を通常用いる）を５点以上対話的に選び、それぞれの特徴点をＴＶカメラ１と２の画像上で対応付け、変換パラメータＭｉｊを求めておく。カメラは固定されているため、変換パラメータＭｉｊは装置を動作する前に一度だけ求めれば良い。
【００２１】
求めた変換パラメータＭｉｊと既知である焦点距離ｆを用い、ＴＶカメラ１の画像の各点（ｘ，ｙ）の変換後の画像座標（ｘ’，ｙ’）を式（１）（２）より求め、ＴＶカメラ１の画像の変換画像ＩＭ（ｘ，ｙ）を作成する。式（１）（２）により得られる変換後のｘ’またはｙ’の値が、ＴＶカメラ２の画像座標の範囲内（例えば、６４０×４８０画素の画像の場合、ｘ’＝０〜６４０、ｙ’＝０〜４８０の範囲）に含まれるＴＶカメラ１の画像座標（ｘ，ｙ）のみを用いて変換画像ＩＭ（ｘ，ｙ）は作成される。
【００２２】
図５（ａ）に道路上の車両を撮影したＴＶカメラ２の画像の模式図を示す。画像変換部は、図５（ｂ）に示すように、道路面上の車両の影が図５（ａ）と同じ位置になるような変換画像ＩＭ（ｘ，ｙ）を生成する。また、道路面とは高さが異なる車両は後方に倒れ込み引き延ばされた様な形状に変換され、ＴＶカメラ２で撮影された画像中の車両（図５（ａ））をほぼ含む領域となる。
【００２３】
マスク生成部では、画像変換部により作成された変換画像ＩＭ（ｘ，ｙ）と、変換に用いた画像と同時刻に入力された画像メモリ２上の画像Ｉ２（ｘ，ｙ）との間で、対応する各点の類似度を算出する。類似度としては、例えば以下の相関値Ｃ１を用いる。
【数２】

ＩＭ（ｘ，ｙ）とＩ２（ｘ，ｙ）の各点の類似度Ｃ１を求め、その値が予め設定しておいた閾値Ｔｈｒより大きい領域のみを取り出した画像、例えばＣ１＞Ｔｈｒの点なら２５５、Ｃ１＜Ｔｈｒの点なら０とした画像をマスク画像として作成する。マスク画像は設定した平面とは高さの異なる対象物が存在する点のみ２５５の値を持つ画像となる。ＩＭ中の車両領域はＩ２中の車両領域をほぼ含むため、図５（ｃ）に示すようにＩＭ中の車両領域がマスク画像として得られる。道路面上の車両の影やヘッドライトの照り返し等は、ＩＭとＩ２において同位置に存在するため、類似度Ｃ２が小さくなり、マスク画像の２５５輝度領域には含まれず、このため、車両の影領域を除去することが可能となる。
【００２４】
マスク生成部の類似度Ｃ１の替わりに以下のＣ２あるいはＣ３あるいはＣ４を用いても良い。
【数３】

ここで、Ｉ’Ｍ、Ｉ’２は類似度を算出するために設定した領域内におけるＩＭ、Ｉ２の平均値である。
【００２５】
変化検出部では、画像メモリ２に入力される画像を用い、予め、車両や人等の存在しない背景画像を用意しておく。そして、画像メモリ２に入力されてくる画像と背景画像との間で、輝度の差分の絶対値Ｖを各画素毎に求める。輝度差分の絶対値Ｖが大きい領域は、背景に対し輝度変化が大きかった領域を示す。このため、画像メモリ２に入力されてくる画像からＶの大きな領域を閾値処理により求めると、予め背景画像に存在しなかった車両や人等の対象物領域、及びこれらに付随した影領域が変化領域として得られる。
【００２６】
影領域除去部では、変化検出部より得られた変化領域において、マスク生成部で作成されたマスク画像ＩＭ内の２５５の値を持つ領域（以後、マスク領域と呼ぶ）に含まれる領域を抽出する。図５（ｃ）に示すように、マスク領域には道路面上の影領域が含まれないため、図５（ｄ）に示すように、変化領域から影領域が除去される。このため、影を含まない車両や人等の対象物領域が検出できる。
【００２７】
変化検出部では、背景差分法の他に、フレーム間差分法やオプティカルフローによる動領域抽出法等を用いても構わない。
【００２８】
本実施例では、ＴＶカメラ１の画像をＴＶカメラ２の見え方に変換し、ＴＶカメラ２の画像を基に変化領域を抽出しているが、ＴＶカメラ２の画像をＴＶカメラ１の見え方に変換し、ＴＶカメラ１の画像を基に変化領域を抽出しても良い。また、ＴＶカメラ１の画像をＴＶカメラ２の見え方に変換し作成したマスク画像を、再度ＴＶカメラ１の画像の見え方に逆変換し、ＴＶカメラ１の画像を基に変化領域を抽出しても良い。
【００２９】
【発明の効果】
以上詳述したように、本発明によれば、複数台のカメラをポール、壁面、歩道橋等の上下に配置することにより、カメラ間隔を広くとりつつ、メインテナンス箇所が増えない多眼視による車両、人の検出が実現できる。照明灯等にも安定にカメラが設置できるため、照明の保守の際に同時にカメラの保守も可能となり、保守作業量が大幅に軽減できる。また、高さ情報を用いて検出するため、道路面上の影やヘッドライトの照り返し等の影響を除去することができる。
【図面の簡単な説明】
【図１】本発明の構成図である。
【図２】本発明のカメラ配置を説明する図である。
【図３】本発明の検出部の構成図である。
【図４】画像の変換手法を説明する図である。
【図５】変換画像及びマスク画像を説明する図である。
【符号の説明】
１：ＴＶカメラ
２：画像メモリ
３：検出部

Claims

共通視野を撮影するそれぞれ垂直方向に設置された第１および第２のＴＶカメラと、
これらのＴＶカメラにより前記共通視野を同時刻に撮像した画像をそれぞれ蓄積する第１および第２の画像メモリ、および前記第２のＴＶカメラにより移動体が存在しない前記共通視野を予め撮影した背景画像を記憶した第３の画像メモリと、
この第１の画像メモリに蓄積された画像を、前記共通視野内の平面に逆投影し、さらにこの投影像を前記第２のＴＶカメラで撮像した場合の画像に変換する画像変換手段と、
この画像変換手段により得られた変換画像を、前記第２の画像メモリに蓄積された画像と比較し、対応する各点の類似度の値が予め設定しておいたしきい値より大きい領域からなるマスク領域を有するマスク画像を生成するマスク生成手段と、
前記第２の画像メモリに蓄積された画像を、対応する各画素毎に輝度を前記背景画像と比較し、その差分値が予め設定しておいたしきい値より大きい値の画素からなる変化領域を検出する変化検出手段と、
前記変化領域内の前記マスク領域に含まれる領域のみを抽出する影領域除去手段と、
を有する画像監視装置。
前記第１および第２のＴＶカメラが、照明灯のポール状の柱の上下に配置されることを特徴とする請求項１記載の画像監視装置。
前記第１および第２のＴＶカメラが、遮音壁またはトンネルまたは建物の壁面領域に、上下に配置されることを特徴とする請求項１記載の画像監視装置。
前記第１および第２のＴＶカメラが、陸橋または歩道橋の空中を渡っている部分に、上下に配置されることを特徴とする請求項１記載の画像監視装置。
前記第１および第２のＴＶカメラが、陸橋または歩道橋の空中を渡っている部分から、上下に吊下げられて配置されることを特徴とする請求項１記載の画像監視装置。