JP3695930B2 - 画像監視装置 - Google Patents
画像監視装置 Download PDFInfo
- Publication number
- JP3695930B2 JP3695930B2 JP02447998A JP2447998A JP3695930B2 JP 3695930 B2 JP3695930 B2 JP 3695930B2 JP 02447998 A JP02447998 A JP 02447998A JP 2447998 A JP2447998 A JP 2447998A JP 3695930 B2 JP3695930 B2 JP 3695930B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- light
- subject
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は距離画像を用いた監視装置に関する。
【０００２】
【従来の技術】
従来、店内やビル内、現金引き出し端末（ＡＴＭ）などの監視には、ＣＣＤカメラなどが用いられている。ＣＣＤカメラで撮像された画像を監視員が見守り、異常がないかどうかを監視している。さらにこの画像は、ビデオテープなどの記録媒体に記録されている。これらのテープは、定期的に交換されている。通常のビデオテープでは、１秒間あたり３０フレームの画像が存在し、１本のテープでは、６時間分、つまり、
３０ｘ６０ｘ６０ｘ６＝６４８０００フレーム
の記録ができる。が、１日２４時間、フルに記録を採ろうとすると、１日に約４本のビデオテープが必要となる。１年間では、
４ｘ３６５＝１４６０本
のテープが必要となる。テープの購入にかかる費用もさることながら、これを保管する場所も大量に必要となるという問題がある。
【０００３】
このような問題を防ぐために、間引きをして記録するという方法も採られている。通常は、１秒間３０フレームであるが、これを３秒間に１フレーム程度の割合で記録する。このようにすることで、通常の１／９０（１秒間３０ｘ３秒）の記録量で済む。つまり、４ｘ３６５／９０＝約１６本 と、１年間に必要な本数が１６本となり、十分扱える範囲となる。
【０００４】
しかし、このように工夫をこらすと、反面、３秒間に満たない現象をとらえることができないという問題がある。また、記録されるている場合でも、ほとんど人がいない場面がおおく、記録しても参照されない（役に立たない）部分が多々ある。このため、何か問題が生じたとき、問題部分を探しだすのに、何も写っていない場面をとばすのに、時間がかかりすぎるという別の問題も生みだしている。
【０００５】
同様に画像監視は、防災にも使われている、例えば、土石流危険渓流と急傾斜地崩壊危険箇所および地すべり危険箇所などを監視し、土石が流れてこないか、傾斜地に変化はないかなど、撮像した画像データを無線などの通信網を使って監視センターに送信するようなことをおこなっている。が、実際には、時事刻々データが送られてきてもほとんど変化のない画像ばかりである。このため、通信容量を無用に増やさないように、間引いて送信することをしている。が、実際に何か通常と状態が違うことが判明したときには、間引かない画像を取得し、十分な監視を行いたい。
【０００６】
高速道路などで、十分な車間距離がなく、何らかの異常があり、急速に減速したときに追突事故がおこるなどの問題が生じている。また、夜道で、車が他の車や自転車を無理に追い越そうとした結果、追突などの事故を招くことなどが問題になっている。
【０００７】
監視における記録量の節約や、的確な送信量の制御、あるいは不適切な車間距離の検出などをおこなうために、画像処理を用いることが可能であるといわれている。
【０００８】
これは、ＣＣＤカメラなどを用いて撮像した画像を解析して、動いている物体の検出や、後続の車との距離の算出などを行おうとするものである。例えば、人の動きをとらえたい場合には、例えば、顔や手の色が肌色なので、それ以外の背景などの余計な部分を取り除き、障害物となる物体など認識したい対象のみを切り出すという前処理を行う。そして、その処理後の画像を用いることで、人がどのあたりにいるかを推定し、前のフレームとの差分をとり、動いているかどうかを抽出するわけである。
【０００９】
まず、この認識対象の切り出しという前処理部分について説明する。従来の手法では、カメラで撮影した画像から、取得したい対象物の部分のみを切り出す作業手段として、対象物と、それ以外の部分の何らかの相違点を手がかりとして対象物の切り出しが行われていた。
【００１０】
この手掛かりとして、色相の変化を利用する方法、差分画像を利用する方法などが用いられている。色を使って切り出す場合、色相差の大きな部分を抜き出し、細線化などの処理を行い、エッジを抽出する。人間を対象にする場合には、顔や手の部分の肌色に注目し、その色相部分のみを抽出しようとするものである。が、色相差を用いる方法は、照明の色や角度などにより、肌色といっても変化し、また、背景の色相が肌色に近いと、人間の肌色と識別するのが難しいなどの問題があり、定常的に切り出すことは困難である。また、照明が全くない状態では、撮像画像は全部暗くなってしまうので、人間でも暗闇で撮影した写真から物体を判別することは難しい。
【００１１】
あるいは、ビデオ画像のフレーム間の動きベクトルを算出し、動いている物体を解析する方式もある。この場合、動いている物体が少ない内は問題ないが、動いている物体が多いと、動きベクトルの数が急に増え、フレーム間で動きベクトルを算出の負荷が増し、算出が追いつかなくなる。
【００１２】
【発明が解決しようとする課題】
このように、従来の方式では、動きや距離をリアルタイムで確実に検出して、有意な監視データのみを記録したり、送信したり、あるいは異常事態を検出して警告を発したりということができなかった。
【００１３】
そこで、本発明は、被写体像の動きを高速に検知して有意な画像監視データのみを記録できる画像監視装置を提供することを目的とする。
また、本発明は、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、警報の発生、有意な画像監視データの記録および送信が効率よく行える画像監視装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
（請求項１）本発明の画像監視装置は、距離画像を取得する距離画像取得手段と、
２次元画像を取得する２次元画像取得手段と、
前記距離画像取得手段が取得した距離画像から被写体像の動きを検知する検知手段と、
この検知手段で前記被写体像の動きが検知されたとき、前記２次元画像取得手段で取得された２次元画像を所定の記録媒体に記録する記録手段と、
を具備したことを特徴とする。
【００１５】
本発明によれば、被写体像の動きを高速に検知して有意な画像監視データのみを記録できる。すなわち、使用する記録媒体の量を大幅に節約でき、コスト低減が図れる。また、記録されている量が少ないので、検索も短時間に行うことができる。
【００１６】
（請求項２）本発明の画像監視装置は、距離画像を取得する距離画像取得手段と、
２次元画像を取得する２次元画像取得手段と、
前記距離画像取得手段で取得された距離画像から被写体像の動きおよび該動きの変化量のうちの少なくとも一方に基づき判断される異常を検知する検知手段と、
この検知手段で異常を検知したとき、前記２次元画像取得手段で取得された２次元画像を所定の記録媒体に記録する記録手段と、
を具備したことを特徴とする。
【００１７】
本発明によれば、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、有意な画像監視データの記録が効率よく行える。すなわち、使用する記録媒体の量を大幅に節約でき、コスト低減が図れる。また、記録されている量が少ないので、検索も短時間に行うことができる。
【００１８】
（請求項３）本発明の画像監視装置は、距離画像を取得する距離画像取得手段と、
前記距離画像取得手段で取得された距離画像から被写体像の動きおよび該動きの変化量のうちの少なくとも一方に基づき判断される異常を検知する検知手段と、
この検知手段で異常を検知したとき、少なくとも前記距離画像取得手段で取得された距離画像を送信する送信手段と、
を具備したことを特徴とする。
【００１９】
本発明によれば、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、有意な画像監視データの送信が効率よく行える。すなわち、異常事態が生じたときの画像のみが確実に監視センタに送ることができるので、無意味な画像の転送で、通信回線をパンクさせることを防ぐ事ができる。また、監視センタでは送信されてきた画像データを記録すればよいので、何ら設備の変更なしに容易に記録媒体を節約するための対策を講じることができる。
【００２０】
（請求項４）本発明の画像監視装置は、距離画像を取得する距離画像取得手段と、
２次元画像を取得する２次元画像取得手段と、
前記距離画像取得手段で取得された距離画像から被写体像の動きおよび該動きの変化量のうちの少なくとも一方に基づき判断される異常を検知する検知手段と、
この検知手段で異常を検知したとき、前記距離画像取得手段で取得された距離画像および前記２次元画像取得手段で取得された２次元画像のうちの少なくとも一方を送信する送信手段と、
を具備したことを特徴とする。
【００２１】
本発明によれば、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、有意な画像監視データの送信が効率よく行える。すなわち、異常事態が生じたときの画像のみが確実に監視センタに送ることができるので、無意味な画像の転送で、通信回線をパンクさせることを防ぐ事ができる。また、監視センタでは送信されてきた画像データを記録すればよいので、何ら設備の変更なしに容易に記録媒体を節約するための対策を講じることができる。
【００２２】
（請求項５）距離画像を取得する距離画像取得手段と、
前記距離画像取得手段で取得された距離画像から、被写体像の動きおよび該動きの変化量のうちの少なくとも１つに基づき判断される異常を検知する検知手段と、
この検知手段で異常を検知したとき、警報を発生する警報発生手段と、
を具備したことを特徴とする。
【００２３】
本発明によれば、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、警報の発生が効率よく行える。すなわち、距離画像を用いることにより、リアルタイムに、例えば後方にいる車両等が接近する際の速度や車間距離を計測することができるので、早めに異常事態を検知し、運転者に警報を発することができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像監視装置の構成例を示したものである。
【００２５】
図１に示すように、第１の実施形態に係る動作制御装置は、反射光を受光し、距離画像を取得する、例えば、特願平９−２９９６４８号に記載されている距離画像取得部１と、ＣＣＤカメラ等の２次元画像を取得する２次元画像取得部２と、２次元画像取得部２が取得した画像をビデオテープなどの記録媒体に記録するための記録部５と、距離画像取得部１で取得された距離画像を解析し、物体が動いているか否かなどの動きの検出や距離の算出などを行う画像処理部４と、画像処理部４の解析結果に基づき、例えば、動きがあると判定された時点から動きが無くなったと判定された時点までの２次元画像取得部２で取得された２次元画像の記録を行う記録部５への制御をおこなう記録制御部３とから構成されている。
【００２６】
ここで、距離画像取得部１および、距離画像取得部１にて取得される距離画像について簡単に説明する。以下、記録部５で用いられる記録媒体は、画像記録テープである場合を例にとり説明する。
【００２７】
距離画像取得部１は、図２に示すように、主に、発光部１０１、受光部１０３、反射光抽出部１０２、タイミング信号生成部１０４から構成される。
発光部１０１は、タイミング信号生成部１０４にて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部前方にある対象物体に照射される。
【００２８】
受光部１０３は、発光部１０１が発した光の対象物体による反射光の量を検出する。
反射光抽出部１０２は、受光部１０３にて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを反射光画像あるいは距離画像と呼ぶ。
【００２９】
受光部１０３は一般的に発光部１０１から発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１が発光しているときに受光した光の量と、発光部１０１が発光していないときに受光した光の量の差ををとることによって、発光部１０１からの光の対象物体による反射光成分だけを取り出す。
【００３０】
反射光抽出部１０２では、受光部１０３にて受光された反射光から、その強度分布、すなわち、図３に示すような反射光画像（距離画像）を抽出する。
図３では、簡単のため、２５６×２５６画素の反射光画像の一部である８×８画素の反射光画像の場合について示している。
【００３１】
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、反射光画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。
【００３２】
反射光画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、距離画像取得部１の前方に手を差し出した場合の反射光画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図４に示したような３次元的なイメージを得ることができる。
【００３３】
図５は、例えば、特願平第９−２９９６４８号に記載されているような距離画像取得部１を構成する発光部１０１と、受光部１０３の外観の一例を示したもので、中央部には円形レンズとその後部にあるエリアセンサ（図示せず）から構成される受光部１０３が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１が複数（例えば６個）等間隔に配置されている。
【００３４】
発光部１０１から照射された光が物体に反射され、受光部１０３のレンズにより集光され、レンズの後部にあるエリアセンサで受光される。エリアセンサは、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図３に示すような反射光の強度分布としての距離画像である。
【００３５】
図３は、距離画像データの一部（２５６ｘ２５６画素の一部の８ｘ８画素）を示したものである。この例では、行列中のセルの値（画素値）は、取得した反射光の強さを２５６ビットで示したものである。例えば、「２５５」の値があるセルは、画像取得部１に最も接近した状態、「０」の値があるセルは、画像取得部１から遠くにあり、反射光が画像取得部１にまで到達しないことを示している。
【００３６】
図４は、図３に示したようなマトリックス形式の距離画像データ全体を３次元的に示したものである。この例では、人間の手の距離画像データの場合を示している。
【００３７】
距離画像取得部１は、例えば、１秒間に３０枚（通常のビデオ映像と同様の速さ）の距離画像（図３参照）を取得し、画像処理部４では、この取得された図３に示したような形式の距離画像に対し、エッジ切り出し、重心抽出、面積算出など種々の画像処理を行う。
【００３８】
画像処理部２では、まず、画素値が予め定められた所定値以下のセルを除き、例えば、図６に示すような撮像された物体の輪郭情報を生成することにより、物体を抽出する。
【００３９】
図６のような輪郭情報を生成するには、隣り合う画素の画素値を比較し、画素値が一定値α以上のところだけに定数値を入れて、同じ定数値が割り振られた連続した画像領域の画素を抽出すればよい。
【００４０】
すなわち、（ｉ、ｊ）の画素値をＰ（ｉ、ｊ）とし、生成する輪郭情報の画素値をＲ（ｉ、ｊ）とすると、
のとき、Ｒ（ｉ、ｊ）＝２５５
・ 上記以外のとき、Ｒ（ｉ、ｊ）＝０
とすることにより、図６のような輪郭情報を得ることができる。
【００４１】
さらに、画像処理部４は、図６に示したような輪郭情報をもとに、物体の重心を計算する。この重心が前のフレームと現在のフレームとで同じかどうかで物体が動いているかどうかを算出する。
【００４２】
次に、図７に示すフローチャートを参照して、図１に示すような構成の画像監視装置の処理動作について説明する。
まず、電源の投入、動作の開始指示にて起動されると各種変数（距離画像から抽出された物体の重心位置を保存する変数Ｂ（重心位置Ｂ）、動きの検出されたフレーム数を保存する変数Ｍ（モーションフレーム数Ｍ）、記録部５で記録された２次元画像の累積記録フレーム数を保存する変数Ｎ（累積記録フレーム数Ｎ）を「０」にセットするなどして初期化処理を行う（ステップＳ１０１）。 その後、図５に示したような発光部１０１、受光部１０３を用いて距離画像取得部１において、例えば、１秒間に３０枚（通常のビデオ映像と同様の速さ）の距離画像の取得を開始する。また、同時に、２次元画像取得部２においても、例えば１秒間に３０枚毎の２次元画像の取得を開始する（ステップＳ１０２）。
【００４３】
図３に示すようなマトリックス形式の距離画像は、画像処理部２に送られ、前述したように、距離画像から物体の輪郭情報（図６参照）が抽出される。この抽出された物体の輪郭情報から当該物体の重心位置を求め、その値を変数Ｂ’に保存する（ステップＳ１０３）。そして、このＢ’と、前回取得された距離画像から抽出された物体の輪郭情報から算出された重心位置Ｂとの差分を計算する（ステップＳ１０４）。
【００４４】
物体が動いていれば、重心は変化している。従って、ＢとＢ’は同一ではないので、動きがあることがわかる（ステップＳ１０５）。動きが検出されたとき、その旨の通知を受けた記録制御部３は、記録部５に２次元画像取得部２で取得された２次元画像の記録を開始させる。これと同時に記録したモーションフレーム数Ｍに「１」加算する（ステップＳ１０６）。
【００４５】
次の距離画像フレームを取得する前に、現在の重心位置Ｂ’を変数Ｂに移す（ステップＳ１０７）。そして、テープ残量が十分かを確認し（ステップＳ１０８）、その後、また、画像取得を行う（ステップＳ１０２）。もし、残量が十分でなければ、テープ交換のメッセージを呈示し、取得を終了する（ステップＳ１０９）。
【００４６】
ステップＳ１０８において、テープ残量が十分かどうかを確認する方法としては、例えば、累積記録フレーム数Ｎと当該テープの記録できる最大フレーム数Ｌとの大小比較により行える。
【００４７】
ステップＳ１０５において、前回取得された距離画像（から抽出された物体の重心）と今回取得された距離画像（から抽出された物体の重心）との間から動きが検出されなかったとき（抽出された物体の重心位置に変化がなかったとき）、すなわち、動きが無くなったときには、記録を停止する必要がある。このため、まず、モーションフレーム数Ｍが「ＮＵＬＬ」かどうかを確認する（ステップＳ１１０）。「ＮＵＬＬ」であれば、もともと動きがなく、記録部５への記録がされていないので、そのまま、ステップＳ１０８以降の処理を続行する。
【００４８】
Ｍが「ＮＵＬＬ」でなければ、以前に物体の動きが検出されたがために今現在記録部５において２次元画像が記録されている状態なので、記録制御部３は、記録部５に対し、記録停止を指示する。それと、同時に、テープの残量を見積もるために、累積記録フレーム数Ｎに、その間の記録フレーム数Ｍを加算し、その後、変数Ｍをクリアし（ステップＳ１１１）、ステップＳ１０８に戻る。
【００４９】
以上説明したように、上記第１の実施形態によれば、距離画像取得部１にて取得された距離画像から監視対象の動きや異常事態を検知し、動きや異常があったときに、２次元画像のみを記録することにより、使用する記録媒体の量を大幅に節約でき、コスト低減が図れる。また、記録されている量が少ないので、検索も短時間に行うことができる。
【００５０】
なお、上記第１の実施形態では、説明を簡単にするために、距離画像取得部１と２次元画像取得部２とは、同時に同じフレームレートで画像取得を行うとしているが、必ずしもこれに限定されるわけではない。たとえば、距離画像取得部１は動きを検出するがために毎秒３０フレームを取得し、一方、２次元画像取得部２は記録のための画像を取得すればよいので、毎秒１フレーム取得するというように、取得フレームレートが異なっていてもよい。
【００５１】
また、記録部５が監視領域よりも遠方に設置されている場合、動きを検出する度に２次元画像を送信する送信部９（後述）を具備していてもよいし、また、動きを検出する度に警報を発生する警報発生部１２（後述）を具備していてもよい。
【００５２】
また、上記第１の実施形態では、記録制御部３の制御に従って記録部５が、２次元画像取得部２で連続して取得した画像のうちの一部を記録するとしているが、必ずしもこれに限定されるものではない。例えば、図８に示すような構成の画像監視装置であってもよい。すなわち、図８に示す画像監視装置は、２次元画像取得部２が取得した画像を、例えば、数フレーム分、一時的に記憶する一時記憶部６をさらに具備している。一時記憶部６では、常に最新の数フレームが記憶されていて、これより以前の古いフレームは自動的に捨てられていくようになっているので、画像処理部４で動きの検知に時間がかかって、実際に物体が動き始めた時のフレームを記録しのがすということを防ぐことができる。
【００５３】
処理の流れとしては、図７のフローチャートにおいて、ステップＳ１０６で、２次元画像を記録するとき、図８の一時記憶部６から、そこに記憶されている２次元画像を読み出し、記録部５に記録する点のみが異なる。
【００５４】
さらに上記第１の実施形態では、動きが検知されている間、記録部５で２次元画像を記録し、動きが検知されなくなったときに、記録部５での記録動作を停止している。が、動きにより制御する方法が有効でない場合も存在する。例えば、定常的に車両が通行している道路の監視や、水路に異物が流れてこないかを監視するような場合には、常に被写体が動いているので、動きの有無だけで記録を制御するだけでは、常に記録中になってしまい、目的としている記録媒体の節約を行うことができない。
【００５５】
このような不具合を補うため、例えば、図９に示すような構成の画像監視装置が考えられる。すなわち、図９に示した構成では、取得された距離画像から抽出される被写体の動きの変化を基に異常事態か否かを判断する異常事態判断部７を画像処理部４に追加している。
【００５６】
画像処理部４では、さらに、前述したように輪郭情報の抽出された物体までの距離ｄを算定する。距離ｄの算定は、まず、輪郭情報として抽出された物体の画像の代表画素値を求める。代表画素値としては、平均値、最近傍値などいくつかあるが、ここでは、最近傍値を使うとする。物体からの反射光の強さは当該物体までの距離の２乗に反比例して小さくなる。すなわち、物体の画像の代表画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ2 …（１）
と表すことができる。
【００５７】
ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、Ｒ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。式（１）をｄについて解くことで、距離値を求めることができる。
【００５８】
輪郭情報の抽出された物体までの距離ｄと前回取得された距離画像から輪郭情報の抽出された当該物体までの距離との差分と、予め定められた距離画像取得間隔とに基づき当該物体の変化速度が算出できる。
【００５９】
異常事態判断部７は、この算出された変化速度と基準となる速度（正常と見なされる速度）に基づき当該物体の変化速度が異常か否かを判断するようになっている。
【００６０】
異常事態判断部７は、例えば、図１０に示すような画像処理部４にて検知された物体の動きが正常状態であるか否かを判断するための基準速度と、それに対し許容される偏差とを記憶するテーブルを具備している。
【００６１】
以下、例えば、ベルトコンベヤーのように定速運動するものの異常動作（例えば、予め定められた速度よりも高速で動作している場合）を検知する場合を例にとり、図１１に示すフローチャートを参照して説明する。この場合、異常事態判断部７に具備されるテーブルには、定速運動の速度ｖ１と、この速度ｖ１に対し許容される（正常と見なされる）偏差（物体の移動量）α１とが記憶されている。
【００６２】
前述同様、動作の開始指示に応じて、各種変数（距離画像から抽出された物体の重心速度を保存する変数ｖ（速度ｖ）、動きの検出されたフレーム数を保存する変数Ｍ（モーションフレーム数Ｍ）、記録部５で記録された２次元画像の累積記録フレーム数を保存する変数Ｎ（累積記録フレーム数Ｎ）を「０」にセットするなどして初期化処理を行う（ステップＳ２０１）。その後、図５に示したような発光部１０１、受光部１０３を用いて距離画像取得部１において、例えば、１秒間に３０枚（通常のビデオ映像と同様の速さ）の距離画像の取得を開始する。また、同時に、２次元画像取得部２においても、例えば１秒間に３０枚毎の２次元画像の取得を開始する（ステップＳ２０２）。
【００６３】
図３に示すようなマトリックス形式の距離画像は、画像処理部２に送られ、前述したように、距離画像から物体の輪郭情報（図６参照）が抽出される。さらに、輪郭情報の抽出された物体までの距離ｄを求め、この距離ｄと前回取得された距離画像から輪郭情報の抽出された物体までの距離との差分と、予め定められた距離画像取得間隔とから当該物体の速度ｖを算出する（ステップＳ２０３）。
【００６４】
異常事態判断部７は、例えば、距離画像より検知した物体の速度ｖとテーブルにある基準速度ｖ１との差から導かれる時間ｔ１後の偏差ｄ１と、基準速度に対し許容される偏差α１との比較を行う。
【００６５】
すなわち、ｄ１＝｜（ｖ１−ｖ）ｔ１｜
（ｔ１：ｖ１で定速運動しているときに、距離画像が観測できる時間）
であり、α１≧ｄ１のとき、正常動作と判断し、α１＜ｄ１のとき、異常動作と判断する（ステップＳ２０４〜ステップＳ２０５）。
【００６６】
同様に、流れが距離によって変化する場合には、基準速度は、例えば、図１０に示したように、距離画像の奥行き方向（例えばベルトコンベアの場合、その進行方向）をｚとすると、ｖ２（ｚ）と表される。この場合、距離画像から検知される物体の速度ｖ（ｚ）とテーブルにある基準速度ｖ２（ｚ）との差から生じる偏差ｄ２は以下のようにｚの積分として算出される（実際には、離散的に算出されてもよい）。
すなわち、
【００６７】
【数１】
であり、速度ｖ２（ｚ）に対し許容される偏差α２とすると、α２≧ｄ２のとき正常、α２＜ｄ２のとき異常と判断する。
【００６８】
ステップＳ２０５で、異常と判断されたときは、その旨の通知を受けた記録制御部３は、記録部５に一時記憶部６に記憶されている２次元画像の記録を開始させる。これと同時に記録したモーションフレーム数Ｍに「１」加算する（ステップＳ２０６）。
【００６９】
そして、前述同様に、テープ残量が十分かを確認し（ステップＳ２０７）、その後、また、画像取得を行う（ステップＳ２０２）。もし、残量が十分でなければ、テープ交換のメッセージを呈示し、取得を終了する（ステップＳ２０８）。
【００７０】
ステップＳ２０５で正常と判断されたときは、図７と同様、記録を停止するための処理を行い（ステップＳ２０９〜ステップＳ２１０）、ステップＳ２０７へ進む。
【００７１】
なお、図１１において、ｖ１およびｖ２のかわりにｖｎ、ｄ１およびｄ２のかわりにｄｎ、α１およびα２のかわりにαｎという記述を用いている。
また、図９では、一時記憶部６に記憶された２次元画像を記録部５にて所定の記録媒体に記録するようになっているが、この場合に限らず、異常事態が検知された時点で２次元画像取得部２にて取得された２次元画像をそのまま記録部５にて所定の記録媒体に記録するようにしてもよい。
【００７２】
また、上記第１の実施形態では、主に、距離画像中の被写体の動きとして、動きのあるなし、常に動きのある場合にはその動きの変化を検知するものであったが、この場合に限らず、距離画像中の被写体の奥行き情報に基づく該被写体の位置を検知して、例えば、予め定められた範囲内への侵入が検知されたとき、その時点での（あるいは、その時点から侵入物がいなくなるまでの）２次元画像を所定の記録媒体に記録、送信、さらには警報を発生するようにしてもよい。
（第２の実施形態）
上記第１の実施形態は、例えばビルや店内を監視する画像監視装置であった。同様に画像監視は、防災にも使われている、例えば、土石流危険渓流と急傾斜地崩壊危険箇所および地すべり危険箇所などを監視し、土石が流れてこないか、傾斜地に変化はないかなど、撮像した画像データを無線などの通信網を使って例えば監視センタ等に送信するようなことをおこなっている。が、実際には、時々刻々データが送られてきてもほとんど変化のない画像ばかりである。このため、通信容量を無用に増やさないように、間引いて送信することをしている。が、実際に何か通常と状態が違うことが判明したときには、間引かない画像を取得し、十分な監視を行いたい。このような場合の画像監視装置を第２の実施形態として以下に説明する。
【００７３】
図１２は、本発明の第２の実施形態に係る画像監視装置の構成例を示したものである。なお、図１２において、図９と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図１２では、図９の記録部５が送信部９と監視センタ１０に置き換わり、記録制御部３が送信制御部８に置き換わっている。
【００７４】
監視センタ１０と送信部９との間は、公衆網、私設網等の通信回線にて接続され、２次元画像等が送信部９から通信回線を介して監視センタ１０へ送信されるようになっている。
【００７５】
次に、図１２の画像監視装置の動作について、図１１と異なる部分について、図１３に示すフローチャートを参照して説明する。
距離画像取得部１は、崖崩れなどの危険性のある箇所を観測するために、観測に必要と思われる箇所に１つまたは複数設置されて、画像処理部４は、取得された距離画像から（複数の距離画像取得部１を用いる場合には、これらで取得される複数枚の距離画像を統合して）、崖崩れなどの危険性がある箇所の傾斜度Ａを算出する（ステップＳ３０１〜ステップＳ３０３）。
【００７６】
傾斜度Ａの算出としては、第１の実施形態の場合と同様、地形の輪郭情報を抽出し、例えば、予め定められた基準線と当該地形の輪郭とがなす角度を求めるようにしてもよい。
【００７７】
異常事態判断部７は、異常事態の判定用に、例えば、基準傾斜度Ａ０とそれに対応して正常と判断できる範囲として、観測された傾斜度と基準傾斜度との差分βとを記憶するテーブルを具備している。
【００７８】
異常事態判断部７は、観測された傾斜度Ａと基準傾斜度Ａ０との差分Ｄを求め、（ステップＳ３０４）、該テーブルを参照して、差分Ｄがβより大きいか否かを調べる（ステップＳ３０５）。
【００７９】
異常と判断したときに、監視センター１０へ、一時記憶部６に記憶された２次画像の送信を開始し（ステップＳ３０６）。異常事態が終焉した時点で送信を終了する（ステップＳ３０９〜ステップＳ３１０）。
【００８０】
異常説明したように、上記第２の実施形態によれば、異常事態が生じたときの画像のみが確実に監視センタに送ることができるので、無意味な画像の転送で、通信回線をパンクさせることを防ぐ事ができる。また、監視センタでは送信されてきた画像データを記録すればよいので、何ら設備の変更なしに容易に記録媒体を節約するための対策を講じることができる。
【００８１】
なお、上記第２の実施形態では、２次元画像取得部２で取得された画像を一時記憶部６に記憶し、それを異常事態が生じたときに送信部９を介して監視センタ１０に送信するようになっているが、必ずしもこれに限定されるわけではない。２次元画像取得部２で取得された画像を一時記憶部６に記憶せず、直接、送信部９を介して監視センタ１０に送信するようにしてもよい。また、２次元画像取得部２で取得された２次元画像だけではなく、あるいは、２次元画像に代えて、距離画像取得部１で取得された距離画像を送信部９を介して監視センタ１０に送信するようにしてもよい。
【００８２】
また、上記第２の実施形態では、異常事態が生じたときに、監視センタ１０に画像送信をおこなうという例について述べているが、これ以外に、異常事態の内容によっては、監視センタ１０側から、距離画像取得部１あるいは２次元画像取得部２の画像取得の際の特性を変更することも可能である。例えば、通常、２次元画像取得部２は１分間に１枚の画像を取得しているとする。が、異常事態が生じたときに、迅速に対処できるように、取得フレームを１分１枚から、１秒１枚にあげることが必要な場合、監視センタ１０から、取得フレームレート数を変更する指示を送り、その指示に従って、変更することも可能である。あるいは、送信制御部８にて、異常事態が判明した時点でフレームレートを変更することも可能である。
（第３の実施形態）
第３の実施形態に係る画像監視装置は、例えば、四輪車あるいは二輪車等に搭載して、例えば後方から近づいてくる車両等の速度、間隔などを計測し、高速に急接近してくるような車両等を検知（異常事態の検知）して、警報を発し、交通事故防止等を図ることを目的とするものである。
【００８３】
図１４は、本発明の第３の実施形態に係る画像監視装置の構成例を示したものである。図１４において、図９と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図１４では、図９の記録部５が警報発生部１２に置き換わり、記録制御部３が警報制御部１１に置き換わっている。また、第３の実施形態の画像監視装置の場合、異常事態を検知した際には、少なくとも警報を発生すればよいので、２次元画像取得部２、一時記憶部６は必ずしも必要がない。
【００８４】
距離画像取得部１は、例えば後方の車両の速度、車間距離などを計測しやすく、車両の後方に、後方に向けて設置されているものとする。
警報制御部１１は、異常事態判断部７で異常事態と判断されたとき警報発生部１２に警報を発生させ、さらに、そのとき一時記憶部６に記憶されている２次元画像を提示するようにしてもよい。
【００８５】
次に、図１５に示すフローチャートを参照して図１４の画像監視装置の動作について説明する。ここでは、後方からくる車両の速度と距離（車間距離）を算出し、異常事態の検知に用いる場合を例にとった流れ図を示している。
【００８６】
まず、電源の投入、動作の開始指示にて起動されると各種変数（距離画像から検知された物体の速度を保存する変数ｖ（速度ｖ）、当該物体までの距離（距離Ｄ）、動きの検出されたフレーム数を保存する変数Ｍ（モーションフレーム数Ｍ））を「０」にセットするなどして初期化処理を行う（ステップＳ４０１）。 その後、図５に示したような発光部１０１、受光部１０３を用いて距離画像取得部１において、例えば、１秒間に３０枚（通常のビデオ映像と同様の速さ）の距離画像の取得を開始する。また、同時に、２次元画像取得部２においても、例えば１秒間に３０枚毎の２次元画像の取得を開始する（ステップＳ４０２）。
【００８７】
図３に示すようなマトリックス形式の距離画像は、画像処理部２に送られ、前述したように、距離画像から物体の輪郭情報（図６参照）が抽出される。この抽出された物体の輪郭情報から、前述したように、当該物体までの距離Ｄと、速度ｖを算出する（ステップＳ４０３）。
【００８８】
異常事態判断部７には、速度と距離の基準値（ｖｎ、Ｄｎ）と、それらに対応して予め定められた許容される差分（αｎ、βｎ）とが図１０に示したようなテーブル形式で予め記憶されている。異常事態判断部７は、距離画像から検知された物体の速度ｖ、距離Ｄとそれぞれの基準値（ｖｎとＤｎ）との差分（ｄｎ、ＤＮ）を算出し（ステップＳ４０４）、この差分ｄｎとＤＮのいずれかが、許容される差分αｎ、βｎを越えていたら、異常と判断する（ステップＳ４０５）。異常と判断した場合に、警報を発生する（ステップＳ４０６）。異常事態がなくなった段階で、警報を解除する（ステップＳ４０９〜ステップＳ４１０）。
【００８９】
取得された距離画像の解析を行う度に（ステップＳ４０２〜ステップＳ４０６、ステップＳ４０９〜ステップＳ４１０）、当該画像監視装置のバッテリ容量のチェックを行い、容量が不足しているときには、その旨のメッセージを提示することにより（ステップＳ４０７〜ステップＳ４０８）、当該画像監視装置の運用が安全に行える。
【００９０】
なお、ここでは、異常事態が継続している間、警報を鳴らすようにしているが、必ずしも、これに限定されてる訳ではない。例えば、一定時間経過したら、警報を停止するようにすることも可能である。
【００９１】
また、できるだけ安全になるように、速度あるいは距離のいずれかが基準を越えたことで異常と判断しているが、かならずしもこれに限定されるものではない。例えば、速度と距離のいずれもが基準を越えたときにはじめて異常と判断するように変更することも可能である。
【００９２】
以上説明したように、上記第３の実施形態によれば、距離画像を用いることにより、リアルタイムに、例えば後方にいる車両等が接近する際の速度や車間距離を計測することができるので、早めに異常事態を検知し、運転者に警報を発することができる。
【００９３】
なお、上記第３の実施形態では、後方から接近してくる車両の車間距離、速度を計測し、異常事態と判断したときに警報を発生する場合について説明しているが、必ずしもこれに限定されるものではない。例えば、図１２に示した構成の画像監視装置と同様に、崖くずれなどの危険性の高い地域にて斜面の傾きなどを計測し、異常事態と判断したときに、警報を発生するようにし、地元に早めの警告を流すようにすることも可能である。
【００９４】
また、上記第３の実施形態では、単に警報を発生するだけであるが、異常と判断したときに近づきすぎている車両の写真など、証拠資料を残すようにすることも可能である。例えば、図１６に示すように、図１４に示した構成に、２次元画像取得部部２と、監視センタ１０に取得した２次元画像を送信する送信部９をさらに具備し、ＣＣＤカメラなどから構成される２次元画像取得部２は、例えば、異常に急接近してきた後方の車両番号を確実に取得できるように、後方、下向きに向けて設置される。
【００９５】
図１６に示したような構成の画像監視装置の動作を図１７に示すフローチャートを参照して説明する。なお、図１７において、図１５と同一部分には同一符号を付し、異なる部分について説明する。すなわち、ステップＳ４０５にて異常事態が検知されたとき、ステップＳ４０６にて警報を発するとともに、２次元画像取得部２により画像取得を行う（ステップＳ５０７）。夜間であると、光量が足りないので、フラッシュがたかれ、光量を確保できるよういなっている。次にこの取得した２次元画像を、送信部９を通じて監視センタ１０に送信する（ステップＳ５０８）。それ以外は、図１５と同様である。
【００９６】
なお、異常事態が検知されたとき、２次元画像取得部２で取得された２次元画像だけではなく、あるいは、２次元画像に代えて、距離画像取得部１で取得された距離画像を送信部９を介して監視センタ１０に送信するようにしてもよい。
【００９７】
また、同様にして、図１６の送信部９に代えて、あるいは、送信部９とともに、異常と判断したときに近づきすぎている車両の距離画像、２次元画像の少なくとも一方を所定の記録媒体（ＲＡＭが搭載されたＩＣカード、ＭＤ等の光磁気ディスク、フロッピーディスク等）に記録するための記録部１２を具備していてもよい。
【００９８】
図１６に示したような構成の画像監視装置にて図１７に示したような処理動作を行うことで、万が一、当て逃げやひき逃げなどの事故が発生した場合でも、証拠写真が監視センタ１０に残されているので、犯人を確実に逮捕できる。さらに、このような証拠機能を具備した事故防止センサを備えていることを、車両後部にステッカなどを貼って示すことで、後続の車両に無用なスピードの出しすぎを、戒めることができ、事故防止に役立つ。
【００９９】
また、図１８に示したように、図１６の構成にさらに、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの車両の位置をセンスできる位置検出部１３を追加すると、事故があった箇所を監視センタ１０で、把握できるので、迅速に事故に対応することができ、より一層、事故防止の効果を高めることができる。
【０１００】
なお、図１４、図１６、図１８に示した画像監視装置は、車両に搭載することを想定しているが必ずしもこれに限定される訳ではない。技術的には、上記画像監視装置はページャ端末程の携帯可能な大きさにすることが可能である。従って、歩行者が通り魔防止、あるいは子供誘拐防止用にデイパックなどの背負い式のバッグにアクセサリとしてつけ、後方から異常な速さでやってくる自転車などの不審物、あるいは一定距離でついてくる車や不審人物を検知し、警報を発することも可能である。ある一定距離を越えて近づいてきたときに、２次元画像取得部２にて、不審者の写真を撮像し、監視センタ１０に送ることも可能である。
【０１０１】
【発明の効果】
被写体像の動きを高速に検知して有意な画像監視データのみを記録できる画像監視装置を提供できる。
また、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、警報の発生、有意な画像監視データの記録および送信が効率よく行える画像監視装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像監視装置の構成例を示した図。
【図２】距離画像取得部の構成例を示した図。
【図３】反射光の強度を画素値とする距離画像の一例を示した図。
【図４】図３に示したようなマトリックス形式の距離画像を３次元的に表した図。
【図５】距離画像取得部の受光部と発光部の一例を示した図。
【図６】距離画像から抽出された被写体像の輪郭画像の一例を示した図。
【図７】図１の画像監視装置の動作を説明するためのフローチャート。
【図８】画像監視装置の他の構成例（一時記憶部を具備している）を示した図。
【図９】画像監視装置のさらに他の構成例（異常事態判断部を具備している）を示した図。
【図１０】異常事態判断部に具備される物体の動きが正常状態であるか否かを判断するための基準値とそれに対し許容される偏差とを記憶するテーブルの一例を示した図。
【図１１】図９の画像監視装置の動作を説明するためのフローチャート。
【図１２】本発明の第２の実施形態に係る画像監視装置の構成例（送信部を具備している）を示した図。
【図１３】図１２の画像監視装置の動作を説明するためのフローチャート。
【図１４】本発明の第３の実施形態に係る画像監視装置の構成例（警報発生部を具備している）を示した図。
【図１５】図１４の画像監視装置の動作を説明するためのフローチャート。
【図１６】第３の実施形態に係る画像監視装置の他の構成例（送信部を具備している）を示した図。
【図１７】図１６の画像監視装置の動作を説明するためのフローチャート。
【図１８】第３の実施形態に係る画像監視装置のさらに他の構成例（位置検出部を具備している）を示した図。
【符号の説明】
１…距離画像取得部
２…２次元画像取得部
３…記録制御部
４…画像処理部
５…記録部
６…一時記憶部
７…異常事態判断部
８…送信制御部
９…送信部
１０…監視センタ
１１…警報制御部
１２…警報発生部
１３…位置検出部
【発明の属する技術分野】
本発明は距離画像を用いた監視装置に関する。
【０００２】
【従来の技術】
従来、店内やビル内、現金引き出し端末（ＡＴＭ）などの監視には、ＣＣＤカメラなどが用いられている。ＣＣＤカメラで撮像された画像を監視員が見守り、異常がないかどうかを監視している。さらにこの画像は、ビデオテープなどの記録媒体に記録されている。これらのテープは、定期的に交換されている。通常のビデオテープでは、１秒間あたり３０フレームの画像が存在し、１本のテープでは、６時間分、つまり、
３０ｘ６０ｘ６０ｘ６＝６４８０００フレーム
の記録ができる。が、１日２４時間、フルに記録を採ろうとすると、１日に約４本のビデオテープが必要となる。１年間では、
４ｘ３６５＝１４６０本
のテープが必要となる。テープの購入にかかる費用もさることながら、これを保管する場所も大量に必要となるという問題がある。
【０００３】
このような問題を防ぐために、間引きをして記録するという方法も採られている。通常は、１秒間３０フレームであるが、これを３秒間に１フレーム程度の割合で記録する。このようにすることで、通常の１／９０（１秒間３０ｘ３秒）の記録量で済む。つまり、４ｘ３６５／９０＝約１６本 と、１年間に必要な本数が１６本となり、十分扱える範囲となる。
【０００４】
しかし、このように工夫をこらすと、反面、３秒間に満たない現象をとらえることができないという問題がある。また、記録されるている場合でも、ほとんど人がいない場面がおおく、記録しても参照されない（役に立たない）部分が多々ある。このため、何か問題が生じたとき、問題部分を探しだすのに、何も写っていない場面をとばすのに、時間がかかりすぎるという別の問題も生みだしている。
【０００５】
同様に画像監視は、防災にも使われている、例えば、土石流危険渓流と急傾斜地崩壊危険箇所および地すべり危険箇所などを監視し、土石が流れてこないか、傾斜地に変化はないかなど、撮像した画像データを無線などの通信網を使って監視センターに送信するようなことをおこなっている。が、実際には、時事刻々データが送られてきてもほとんど変化のない画像ばかりである。このため、通信容量を無用に増やさないように、間引いて送信することをしている。が、実際に何か通常と状態が違うことが判明したときには、間引かない画像を取得し、十分な監視を行いたい。
【０００６】
高速道路などで、十分な車間距離がなく、何らかの異常があり、急速に減速したときに追突事故がおこるなどの問題が生じている。また、夜道で、車が他の車や自転車を無理に追い越そうとした結果、追突などの事故を招くことなどが問題になっている。
【０００７】
監視における記録量の節約や、的確な送信量の制御、あるいは不適切な車間距離の検出などをおこなうために、画像処理を用いることが可能であるといわれている。
【０００８】
これは、ＣＣＤカメラなどを用いて撮像した画像を解析して、動いている物体の検出や、後続の車との距離の算出などを行おうとするものである。例えば、人の動きをとらえたい場合には、例えば、顔や手の色が肌色なので、それ以外の背景などの余計な部分を取り除き、障害物となる物体など認識したい対象のみを切り出すという前処理を行う。そして、その処理後の画像を用いることで、人がどのあたりにいるかを推定し、前のフレームとの差分をとり、動いているかどうかを抽出するわけである。
【０００９】
まず、この認識対象の切り出しという前処理部分について説明する。従来の手法では、カメラで撮影した画像から、取得したい対象物の部分のみを切り出す作業手段として、対象物と、それ以外の部分の何らかの相違点を手がかりとして対象物の切り出しが行われていた。
【００１０】
この手掛かりとして、色相の変化を利用する方法、差分画像を利用する方法などが用いられている。色を使って切り出す場合、色相差の大きな部分を抜き出し、細線化などの処理を行い、エッジを抽出する。人間を対象にする場合には、顔や手の部分の肌色に注目し、その色相部分のみを抽出しようとするものである。が、色相差を用いる方法は、照明の色や角度などにより、肌色といっても変化し、また、背景の色相が肌色に近いと、人間の肌色と識別するのが難しいなどの問題があり、定常的に切り出すことは困難である。また、照明が全くない状態では、撮像画像は全部暗くなってしまうので、人間でも暗闇で撮影した写真から物体を判別することは難しい。
【００１１】
あるいは、ビデオ画像のフレーム間の動きベクトルを算出し、動いている物体を解析する方式もある。この場合、動いている物体が少ない内は問題ないが、動いている物体が多いと、動きベクトルの数が急に増え、フレーム間で動きベクトルを算出の負荷が増し、算出が追いつかなくなる。
【００１２】
【発明が解決しようとする課題】
このように、従来の方式では、動きや距離をリアルタイムで確実に検出して、有意な監視データのみを記録したり、送信したり、あるいは異常事態を検出して警告を発したりということができなかった。
【００１３】
そこで、本発明は、被写体像の動きを高速に検知して有意な画像監視データのみを記録できる画像監視装置を提供することを目的とする。
また、本発明は、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、警報の発生、有意な画像監視データの記録および送信が効率よく行える画像監視装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
（請求項１）本発明の画像監視装置は、距離画像を取得する距離画像取得手段と、
２次元画像を取得する２次元画像取得手段と、
前記距離画像取得手段が取得した距離画像から被写体像の動きを検知する検知手段と、
この検知手段で前記被写体像の動きが検知されたとき、前記２次元画像取得手段で取得された２次元画像を所定の記録媒体に記録する記録手段と、
を具備したことを特徴とする。
【００１５】
本発明によれば、被写体像の動きを高速に検知して有意な画像監視データのみを記録できる。すなわち、使用する記録媒体の量を大幅に節約でき、コスト低減が図れる。また、記録されている量が少ないので、検索も短時間に行うことができる。
【００１６】
（請求項２）本発明の画像監視装置は、距離画像を取得する距離画像取得手段と、
２次元画像を取得する２次元画像取得手段と、
前記距離画像取得手段で取得された距離画像から被写体像の動きおよび該動きの変化量のうちの少なくとも一方に基づき判断される異常を検知する検知手段と、
この検知手段で異常を検知したとき、前記２次元画像取得手段で取得された２次元画像を所定の記録媒体に記録する記録手段と、
を具備したことを特徴とする。
【００１７】
本発明によれば、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、有意な画像監視データの記録が効率よく行える。すなわち、使用する記録媒体の量を大幅に節約でき、コスト低減が図れる。また、記録されている量が少ないので、検索も短時間に行うことができる。
【００１８】
（請求項３）本発明の画像監視装置は、距離画像を取得する距離画像取得手段と、
前記距離画像取得手段で取得された距離画像から被写体像の動きおよび該動きの変化量のうちの少なくとも一方に基づき判断される異常を検知する検知手段と、
この検知手段で異常を検知したとき、少なくとも前記距離画像取得手段で取得された距離画像を送信する送信手段と、
を具備したことを特徴とする。
【００１９】
本発明によれば、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、有意な画像監視データの送信が効率よく行える。すなわち、異常事態が生じたときの画像のみが確実に監視センタに送ることができるので、無意味な画像の転送で、通信回線をパンクさせることを防ぐ事ができる。また、監視センタでは送信されてきた画像データを記録すればよいので、何ら設備の変更なしに容易に記録媒体を節約するための対策を講じることができる。
【００２０】
（請求項４）本発明の画像監視装置は、距離画像を取得する距離画像取得手段と、
２次元画像を取得する２次元画像取得手段と、
前記距離画像取得手段で取得された距離画像から被写体像の動きおよび該動きの変化量のうちの少なくとも一方に基づき判断される異常を検知する検知手段と、
この検知手段で異常を検知したとき、前記距離画像取得手段で取得された距離画像および前記２次元画像取得手段で取得された２次元画像のうちの少なくとも一方を送信する送信手段と、
を具備したことを特徴とする。
【００２１】
本発明によれば、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、有意な画像監視データの送信が効率よく行える。すなわち、異常事態が生じたときの画像のみが確実に監視センタに送ることができるので、無意味な画像の転送で、通信回線をパンクさせることを防ぐ事ができる。また、監視センタでは送信されてきた画像データを記録すればよいので、何ら設備の変更なしに容易に記録媒体を節約するための対策を講じることができる。
【００２２】
（請求項５）距離画像を取得する距離画像取得手段と、
前記距離画像取得手段で取得された距離画像から、被写体像の動きおよび該動きの変化量のうちの少なくとも１つに基づき判断される異常を検知する検知手段と、
この検知手段で異常を検知したとき、警報を発生する警報発生手段と、
を具備したことを特徴とする。
【００２３】
本発明によれば、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、警報の発生が効率よく行える。すなわち、距離画像を用いることにより、リアルタイムに、例えば後方にいる車両等が接近する際の速度や車間距離を計測することができるので、早めに異常事態を検知し、運転者に警報を発することができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像監視装置の構成例を示したものである。
【００２５】
図１に示すように、第１の実施形態に係る動作制御装置は、反射光を受光し、距離画像を取得する、例えば、特願平９−２９９６４８号に記載されている距離画像取得部１と、ＣＣＤカメラ等の２次元画像を取得する２次元画像取得部２と、２次元画像取得部２が取得した画像をビデオテープなどの記録媒体に記録するための記録部５と、距離画像取得部１で取得された距離画像を解析し、物体が動いているか否かなどの動きの検出や距離の算出などを行う画像処理部４と、画像処理部４の解析結果に基づき、例えば、動きがあると判定された時点から動きが無くなったと判定された時点までの２次元画像取得部２で取得された２次元画像の記録を行う記録部５への制御をおこなう記録制御部３とから構成されている。
【００２６】
ここで、距離画像取得部１および、距離画像取得部１にて取得される距離画像について簡単に説明する。以下、記録部５で用いられる記録媒体は、画像記録テープである場合を例にとり説明する。
【００２７】
距離画像取得部１は、図２に示すように、主に、発光部１０１、受光部１０３、反射光抽出部１０２、タイミング信号生成部１０４から構成される。
発光部１０１は、タイミング信号生成部１０４にて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部前方にある対象物体に照射される。
【００２８】
受光部１０３は、発光部１０１が発した光の対象物体による反射光の量を検出する。
反射光抽出部１０２は、受光部１０３にて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを反射光画像あるいは距離画像と呼ぶ。
【００２９】
受光部１０３は一般的に発光部１０１から発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１が発光しているときに受光した光の量と、発光部１０１が発光していないときに受光した光の量の差ををとることによって、発光部１０１からの光の対象物体による反射光成分だけを取り出す。
【００３０】
反射光抽出部１０２では、受光部１０３にて受光された反射光から、その強度分布、すなわち、図３に示すような反射光画像（距離画像）を抽出する。
図３では、簡単のため、２５６×２５６画素の反射光画像の一部である８×８画素の反射光画像の場合について示している。
【００３１】
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、反射光画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。
【００３２】
反射光画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、距離画像取得部１の前方に手を差し出した場合の反射光画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図４に示したような３次元的なイメージを得ることができる。
【００３３】
図５は、例えば、特願平第９−２９９６４８号に記載されているような距離画像取得部１を構成する発光部１０１と、受光部１０３の外観の一例を示したもので、中央部には円形レンズとその後部にあるエリアセンサ（図示せず）から構成される受光部１０３が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１が複数（例えば６個）等間隔に配置されている。
【００３４】
発光部１０１から照射された光が物体に反射され、受光部１０３のレンズにより集光され、レンズの後部にあるエリアセンサで受光される。エリアセンサは、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図３に示すような反射光の強度分布としての距離画像である。
【００３５】
図３は、距離画像データの一部（２５６ｘ２５６画素の一部の８ｘ８画素）を示したものである。この例では、行列中のセルの値（画素値）は、取得した反射光の強さを２５６ビットで示したものである。例えば、「２５５」の値があるセルは、画像取得部１に最も接近した状態、「０」の値があるセルは、画像取得部１から遠くにあり、反射光が画像取得部１にまで到達しないことを示している。
【００３６】
図４は、図３に示したようなマトリックス形式の距離画像データ全体を３次元的に示したものである。この例では、人間の手の距離画像データの場合を示している。
【００３７】
距離画像取得部１は、例えば、１秒間に３０枚（通常のビデオ映像と同様の速さ）の距離画像（図３参照）を取得し、画像処理部４では、この取得された図３に示したような形式の距離画像に対し、エッジ切り出し、重心抽出、面積算出など種々の画像処理を行う。
【００３８】
画像処理部２では、まず、画素値が予め定められた所定値以下のセルを除き、例えば、図６に示すような撮像された物体の輪郭情報を生成することにより、物体を抽出する。
【００３９】
図６のような輪郭情報を生成するには、隣り合う画素の画素値を比較し、画素値が一定値α以上のところだけに定数値を入れて、同じ定数値が割り振られた連続した画像領域の画素を抽出すればよい。
【００４０】
すなわち、（ｉ、ｊ）の画素値をＰ（ｉ、ｊ）とし、生成する輪郭情報の画素値をＲ（ｉ、ｊ）とすると、
・ 上記以外のとき、Ｒ（ｉ、ｊ）＝０
とすることにより、図６のような輪郭情報を得ることができる。
【００４１】
さらに、画像処理部４は、図６に示したような輪郭情報をもとに、物体の重心を計算する。この重心が前のフレームと現在のフレームとで同じかどうかで物体が動いているかどうかを算出する。
【００４２】
次に、図７に示すフローチャートを参照して、図１に示すような構成の画像監視装置の処理動作について説明する。
まず、電源の投入、動作の開始指示にて起動されると各種変数（距離画像から抽出された物体の重心位置を保存する変数Ｂ（重心位置Ｂ）、動きの検出されたフレーム数を保存する変数Ｍ（モーションフレーム数Ｍ）、記録部５で記録された２次元画像の累積記録フレーム数を保存する変数Ｎ（累積記録フレーム数Ｎ）を「０」にセットするなどして初期化処理を行う（ステップＳ１０１）。 その後、図５に示したような発光部１０１、受光部１０３を用いて距離画像取得部１において、例えば、１秒間に３０枚（通常のビデオ映像と同様の速さ）の距離画像の取得を開始する。また、同時に、２次元画像取得部２においても、例えば１秒間に３０枚毎の２次元画像の取得を開始する（ステップＳ１０２）。
【００４３】
図３に示すようなマトリックス形式の距離画像は、画像処理部２に送られ、前述したように、距離画像から物体の輪郭情報（図６参照）が抽出される。この抽出された物体の輪郭情報から当該物体の重心位置を求め、その値を変数Ｂ’に保存する（ステップＳ１０３）。そして、このＢ’と、前回取得された距離画像から抽出された物体の輪郭情報から算出された重心位置Ｂとの差分を計算する（ステップＳ１０４）。
【００４４】
物体が動いていれば、重心は変化している。従って、ＢとＢ’は同一ではないので、動きがあることがわかる（ステップＳ１０５）。動きが検出されたとき、その旨の通知を受けた記録制御部３は、記録部５に２次元画像取得部２で取得された２次元画像の記録を開始させる。これと同時に記録したモーションフレーム数Ｍに「１」加算する（ステップＳ１０６）。
【００４５】
次の距離画像フレームを取得する前に、現在の重心位置Ｂ’を変数Ｂに移す（ステップＳ１０７）。そして、テープ残量が十分かを確認し（ステップＳ１０８）、その後、また、画像取得を行う（ステップＳ１０２）。もし、残量が十分でなければ、テープ交換のメッセージを呈示し、取得を終了する（ステップＳ１０９）。
【００４６】
ステップＳ１０８において、テープ残量が十分かどうかを確認する方法としては、例えば、累積記録フレーム数Ｎと当該テープの記録できる最大フレーム数Ｌとの大小比較により行える。
【００４７】
ステップＳ１０５において、前回取得された距離画像（から抽出された物体の重心）と今回取得された距離画像（から抽出された物体の重心）との間から動きが検出されなかったとき（抽出された物体の重心位置に変化がなかったとき）、すなわち、動きが無くなったときには、記録を停止する必要がある。このため、まず、モーションフレーム数Ｍが「ＮＵＬＬ」かどうかを確認する（ステップＳ１１０）。「ＮＵＬＬ」であれば、もともと動きがなく、記録部５への記録がされていないので、そのまま、ステップＳ１０８以降の処理を続行する。
【００４８】
Ｍが「ＮＵＬＬ」でなければ、以前に物体の動きが検出されたがために今現在記録部５において２次元画像が記録されている状態なので、記録制御部３は、記録部５に対し、記録停止を指示する。それと、同時に、テープの残量を見積もるために、累積記録フレーム数Ｎに、その間の記録フレーム数Ｍを加算し、その後、変数Ｍをクリアし（ステップＳ１１１）、ステップＳ１０８に戻る。
【００４９】
以上説明したように、上記第１の実施形態によれば、距離画像取得部１にて取得された距離画像から監視対象の動きや異常事態を検知し、動きや異常があったときに、２次元画像のみを記録することにより、使用する記録媒体の量を大幅に節約でき、コスト低減が図れる。また、記録されている量が少ないので、検索も短時間に行うことができる。
【００５０】
なお、上記第１の実施形態では、説明を簡単にするために、距離画像取得部１と２次元画像取得部２とは、同時に同じフレームレートで画像取得を行うとしているが、必ずしもこれに限定されるわけではない。たとえば、距離画像取得部１は動きを検出するがために毎秒３０フレームを取得し、一方、２次元画像取得部２は記録のための画像を取得すればよいので、毎秒１フレーム取得するというように、取得フレームレートが異なっていてもよい。
【００５１】
また、記録部５が監視領域よりも遠方に設置されている場合、動きを検出する度に２次元画像を送信する送信部９（後述）を具備していてもよいし、また、動きを検出する度に警報を発生する警報発生部１２（後述）を具備していてもよい。
【００５２】
また、上記第１の実施形態では、記録制御部３の制御に従って記録部５が、２次元画像取得部２で連続して取得した画像のうちの一部を記録するとしているが、必ずしもこれに限定されるものではない。例えば、図８に示すような構成の画像監視装置であってもよい。すなわち、図８に示す画像監視装置は、２次元画像取得部２が取得した画像を、例えば、数フレーム分、一時的に記憶する一時記憶部６をさらに具備している。一時記憶部６では、常に最新の数フレームが記憶されていて、これより以前の古いフレームは自動的に捨てられていくようになっているので、画像処理部４で動きの検知に時間がかかって、実際に物体が動き始めた時のフレームを記録しのがすということを防ぐことができる。
【００５３】
処理の流れとしては、図７のフローチャートにおいて、ステップＳ１０６で、２次元画像を記録するとき、図８の一時記憶部６から、そこに記憶されている２次元画像を読み出し、記録部５に記録する点のみが異なる。
【００５４】
さらに上記第１の実施形態では、動きが検知されている間、記録部５で２次元画像を記録し、動きが検知されなくなったときに、記録部５での記録動作を停止している。が、動きにより制御する方法が有効でない場合も存在する。例えば、定常的に車両が通行している道路の監視や、水路に異物が流れてこないかを監視するような場合には、常に被写体が動いているので、動きの有無だけで記録を制御するだけでは、常に記録中になってしまい、目的としている記録媒体の節約を行うことができない。
【００５５】
このような不具合を補うため、例えば、図９に示すような構成の画像監視装置が考えられる。すなわち、図９に示した構成では、取得された距離画像から抽出される被写体の動きの変化を基に異常事態か否かを判断する異常事態判断部７を画像処理部４に追加している。
【００５６】
画像処理部４では、さらに、前述したように輪郭情報の抽出された物体までの距離ｄを算定する。距離ｄの算定は、まず、輪郭情報として抽出された物体の画像の代表画素値を求める。代表画素値としては、平均値、最近傍値などいくつかあるが、ここでは、最近傍値を使うとする。物体からの反射光の強さは当該物体までの距離の２乗に反比例して小さくなる。すなわち、物体の画像の代表画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ2 …（１）
と表すことができる。
【００５７】
ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、Ｒ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。式（１）をｄについて解くことで、距離値を求めることができる。
【００５８】
輪郭情報の抽出された物体までの距離ｄと前回取得された距離画像から輪郭情報の抽出された当該物体までの距離との差分と、予め定められた距離画像取得間隔とに基づき当該物体の変化速度が算出できる。
【００５９】
異常事態判断部７は、この算出された変化速度と基準となる速度（正常と見なされる速度）に基づき当該物体の変化速度が異常か否かを判断するようになっている。
【００６０】
異常事態判断部７は、例えば、図１０に示すような画像処理部４にて検知された物体の動きが正常状態であるか否かを判断するための基準速度と、それに対し許容される偏差とを記憶するテーブルを具備している。
【００６１】
以下、例えば、ベルトコンベヤーのように定速運動するものの異常動作（例えば、予め定められた速度よりも高速で動作している場合）を検知する場合を例にとり、図１１に示すフローチャートを参照して説明する。この場合、異常事態判断部７に具備されるテーブルには、定速運動の速度ｖ１と、この速度ｖ１に対し許容される（正常と見なされる）偏差（物体の移動量）α１とが記憶されている。
【００６２】
前述同様、動作の開始指示に応じて、各種変数（距離画像から抽出された物体の重心速度を保存する変数ｖ（速度ｖ）、動きの検出されたフレーム数を保存する変数Ｍ（モーションフレーム数Ｍ）、記録部５で記録された２次元画像の累積記録フレーム数を保存する変数Ｎ（累積記録フレーム数Ｎ）を「０」にセットするなどして初期化処理を行う（ステップＳ２０１）。その後、図５に示したような発光部１０１、受光部１０３を用いて距離画像取得部１において、例えば、１秒間に３０枚（通常のビデオ映像と同様の速さ）の距離画像の取得を開始する。また、同時に、２次元画像取得部２においても、例えば１秒間に３０枚毎の２次元画像の取得を開始する（ステップＳ２０２）。
【００６３】
図３に示すようなマトリックス形式の距離画像は、画像処理部２に送られ、前述したように、距離画像から物体の輪郭情報（図６参照）が抽出される。さらに、輪郭情報の抽出された物体までの距離ｄを求め、この距離ｄと前回取得された距離画像から輪郭情報の抽出された物体までの距離との差分と、予め定められた距離画像取得間隔とから当該物体の速度ｖを算出する（ステップＳ２０３）。
【００６４】
異常事態判断部７は、例えば、距離画像より検知した物体の速度ｖとテーブルにある基準速度ｖ１との差から導かれる時間ｔ１後の偏差ｄ１と、基準速度に対し許容される偏差α１との比較を行う。
【００６５】
すなわち、ｄ１＝｜（ｖ１−ｖ）ｔ１｜
（ｔ１：ｖ１で定速運動しているときに、距離画像が観測できる時間）
であり、α１≧ｄ１のとき、正常動作と判断し、α１＜ｄ１のとき、異常動作と判断する（ステップＳ２０４〜ステップＳ２０５）。
【００６６】
同様に、流れが距離によって変化する場合には、基準速度は、例えば、図１０に示したように、距離画像の奥行き方向（例えばベルトコンベアの場合、その進行方向）をｚとすると、ｖ２（ｚ）と表される。この場合、距離画像から検知される物体の速度ｖ（ｚ）とテーブルにある基準速度ｖ２（ｚ）との差から生じる偏差ｄ２は以下のようにｚの積分として算出される（実際には、離散的に算出されてもよい）。
すなわち、
【００６７】
【数１】
【００６８】
ステップＳ２０５で、異常と判断されたときは、その旨の通知を受けた記録制御部３は、記録部５に一時記憶部６に記憶されている２次元画像の記録を開始させる。これと同時に記録したモーションフレーム数Ｍに「１」加算する（ステップＳ２０６）。
【００６９】
そして、前述同様に、テープ残量が十分かを確認し（ステップＳ２０７）、その後、また、画像取得を行う（ステップＳ２０２）。もし、残量が十分でなければ、テープ交換のメッセージを呈示し、取得を終了する（ステップＳ２０８）。
【００７０】
ステップＳ２０５で正常と判断されたときは、図７と同様、記録を停止するための処理を行い（ステップＳ２０９〜ステップＳ２１０）、ステップＳ２０７へ進む。
【００７１】
なお、図１１において、ｖ１およびｖ２のかわりにｖｎ、ｄ１およびｄ２のかわりにｄｎ、α１およびα２のかわりにαｎという記述を用いている。
また、図９では、一時記憶部６に記憶された２次元画像を記録部５にて所定の記録媒体に記録するようになっているが、この場合に限らず、異常事態が検知された時点で２次元画像取得部２にて取得された２次元画像をそのまま記録部５にて所定の記録媒体に記録するようにしてもよい。
【００７２】
また、上記第１の実施形態では、主に、距離画像中の被写体の動きとして、動きのあるなし、常に動きのある場合にはその動きの変化を検知するものであったが、この場合に限らず、距離画像中の被写体の奥行き情報に基づく該被写体の位置を検知して、例えば、予め定められた範囲内への侵入が検知されたとき、その時点での（あるいは、その時点から侵入物がいなくなるまでの）２次元画像を所定の記録媒体に記録、送信、さらには警報を発生するようにしてもよい。
（第２の実施形態）
上記第１の実施形態は、例えばビルや店内を監視する画像監視装置であった。同様に画像監視は、防災にも使われている、例えば、土石流危険渓流と急傾斜地崩壊危険箇所および地すべり危険箇所などを監視し、土石が流れてこないか、傾斜地に変化はないかなど、撮像した画像データを無線などの通信網を使って例えば監視センタ等に送信するようなことをおこなっている。が、実際には、時々刻々データが送られてきてもほとんど変化のない画像ばかりである。このため、通信容量を無用に増やさないように、間引いて送信することをしている。が、実際に何か通常と状態が違うことが判明したときには、間引かない画像を取得し、十分な監視を行いたい。このような場合の画像監視装置を第２の実施形態として以下に説明する。
【００７３】
図１２は、本発明の第２の実施形態に係る画像監視装置の構成例を示したものである。なお、図１２において、図９と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図１２では、図９の記録部５が送信部９と監視センタ１０に置き換わり、記録制御部３が送信制御部８に置き換わっている。
【００７４】
監視センタ１０と送信部９との間は、公衆網、私設網等の通信回線にて接続され、２次元画像等が送信部９から通信回線を介して監視センタ１０へ送信されるようになっている。
【００７５】
次に、図１２の画像監視装置の動作について、図１１と異なる部分について、図１３に示すフローチャートを参照して説明する。
距離画像取得部１は、崖崩れなどの危険性のある箇所を観測するために、観測に必要と思われる箇所に１つまたは複数設置されて、画像処理部４は、取得された距離画像から（複数の距離画像取得部１を用いる場合には、これらで取得される複数枚の距離画像を統合して）、崖崩れなどの危険性がある箇所の傾斜度Ａを算出する（ステップＳ３０１〜ステップＳ３０３）。
【００７６】
傾斜度Ａの算出としては、第１の実施形態の場合と同様、地形の輪郭情報を抽出し、例えば、予め定められた基準線と当該地形の輪郭とがなす角度を求めるようにしてもよい。
【００７７】
異常事態判断部７は、異常事態の判定用に、例えば、基準傾斜度Ａ０とそれに対応して正常と判断できる範囲として、観測された傾斜度と基準傾斜度との差分βとを記憶するテーブルを具備している。
【００７８】
異常事態判断部７は、観測された傾斜度Ａと基準傾斜度Ａ０との差分Ｄを求め、（ステップＳ３０４）、該テーブルを参照して、差分Ｄがβより大きいか否かを調べる（ステップＳ３０５）。
【００７９】
異常と判断したときに、監視センター１０へ、一時記憶部６に記憶された２次画像の送信を開始し（ステップＳ３０６）。異常事態が終焉した時点で送信を終了する（ステップＳ３０９〜ステップＳ３１０）。
【００８０】
異常説明したように、上記第２の実施形態によれば、異常事態が生じたときの画像のみが確実に監視センタに送ることができるので、無意味な画像の転送で、通信回線をパンクさせることを防ぐ事ができる。また、監視センタでは送信されてきた画像データを記録すればよいので、何ら設備の変更なしに容易に記録媒体を節約するための対策を講じることができる。
【００８１】
なお、上記第２の実施形態では、２次元画像取得部２で取得された画像を一時記憶部６に記憶し、それを異常事態が生じたときに送信部９を介して監視センタ１０に送信するようになっているが、必ずしもこれに限定されるわけではない。２次元画像取得部２で取得された画像を一時記憶部６に記憶せず、直接、送信部９を介して監視センタ１０に送信するようにしてもよい。また、２次元画像取得部２で取得された２次元画像だけではなく、あるいは、２次元画像に代えて、距離画像取得部１で取得された距離画像を送信部９を介して監視センタ１０に送信するようにしてもよい。
【００８２】
また、上記第２の実施形態では、異常事態が生じたときに、監視センタ１０に画像送信をおこなうという例について述べているが、これ以外に、異常事態の内容によっては、監視センタ１０側から、距離画像取得部１あるいは２次元画像取得部２の画像取得の際の特性を変更することも可能である。例えば、通常、２次元画像取得部２は１分間に１枚の画像を取得しているとする。が、異常事態が生じたときに、迅速に対処できるように、取得フレームを１分１枚から、１秒１枚にあげることが必要な場合、監視センタ１０から、取得フレームレート数を変更する指示を送り、その指示に従って、変更することも可能である。あるいは、送信制御部８にて、異常事態が判明した時点でフレームレートを変更することも可能である。
（第３の実施形態）
第３の実施形態に係る画像監視装置は、例えば、四輪車あるいは二輪車等に搭載して、例えば後方から近づいてくる車両等の速度、間隔などを計測し、高速に急接近してくるような車両等を検知（異常事態の検知）して、警報を発し、交通事故防止等を図ることを目的とするものである。
【００８３】
図１４は、本発明の第３の実施形態に係る画像監視装置の構成例を示したものである。図１４において、図９と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図１４では、図９の記録部５が警報発生部１２に置き換わり、記録制御部３が警報制御部１１に置き換わっている。また、第３の実施形態の画像監視装置の場合、異常事態を検知した際には、少なくとも警報を発生すればよいので、２次元画像取得部２、一時記憶部６は必ずしも必要がない。
【００８４】
距離画像取得部１は、例えば後方の車両の速度、車間距離などを計測しやすく、車両の後方に、後方に向けて設置されているものとする。
警報制御部１１は、異常事態判断部７で異常事態と判断されたとき警報発生部１２に警報を発生させ、さらに、そのとき一時記憶部６に記憶されている２次元画像を提示するようにしてもよい。
【００８５】
次に、図１５に示すフローチャートを参照して図１４の画像監視装置の動作について説明する。ここでは、後方からくる車両の速度と距離（車間距離）を算出し、異常事態の検知に用いる場合を例にとった流れ図を示している。
【００８６】
まず、電源の投入、動作の開始指示にて起動されると各種変数（距離画像から検知された物体の速度を保存する変数ｖ（速度ｖ）、当該物体までの距離（距離Ｄ）、動きの検出されたフレーム数を保存する変数Ｍ（モーションフレーム数Ｍ））を「０」にセットするなどして初期化処理を行う（ステップＳ４０１）。 その後、図５に示したような発光部１０１、受光部１０３を用いて距離画像取得部１において、例えば、１秒間に３０枚（通常のビデオ映像と同様の速さ）の距離画像の取得を開始する。また、同時に、２次元画像取得部２においても、例えば１秒間に３０枚毎の２次元画像の取得を開始する（ステップＳ４０２）。
【００８７】
図３に示すようなマトリックス形式の距離画像は、画像処理部２に送られ、前述したように、距離画像から物体の輪郭情報（図６参照）が抽出される。この抽出された物体の輪郭情報から、前述したように、当該物体までの距離Ｄと、速度ｖを算出する（ステップＳ４０３）。
【００８８】
異常事態判断部７には、速度と距離の基準値（ｖｎ、Ｄｎ）と、それらに対応して予め定められた許容される差分（αｎ、βｎ）とが図１０に示したようなテーブル形式で予め記憶されている。異常事態判断部７は、距離画像から検知された物体の速度ｖ、距離Ｄとそれぞれの基準値（ｖｎとＤｎ）との差分（ｄｎ、ＤＮ）を算出し（ステップＳ４０４）、この差分ｄｎとＤＮのいずれかが、許容される差分αｎ、βｎを越えていたら、異常と判断する（ステップＳ４０５）。異常と判断した場合に、警報を発生する（ステップＳ４０６）。異常事態がなくなった段階で、警報を解除する（ステップＳ４０９〜ステップＳ４１０）。
【００８９】
取得された距離画像の解析を行う度に（ステップＳ４０２〜ステップＳ４０６、ステップＳ４０９〜ステップＳ４１０）、当該画像監視装置のバッテリ容量のチェックを行い、容量が不足しているときには、その旨のメッセージを提示することにより（ステップＳ４０７〜ステップＳ４０８）、当該画像監視装置の運用が安全に行える。
【００９０】
なお、ここでは、異常事態が継続している間、警報を鳴らすようにしているが、必ずしも、これに限定されてる訳ではない。例えば、一定時間経過したら、警報を停止するようにすることも可能である。
【００９１】
また、できるだけ安全になるように、速度あるいは距離のいずれかが基準を越えたことで異常と判断しているが、かならずしもこれに限定されるものではない。例えば、速度と距離のいずれもが基準を越えたときにはじめて異常と判断するように変更することも可能である。
【００９２】
以上説明したように、上記第３の実施形態によれば、距離画像を用いることにより、リアルタイムに、例えば後方にいる車両等が接近する際の速度や車間距離を計測することができるので、早めに異常事態を検知し、運転者に警報を発することができる。
【００９３】
なお、上記第３の実施形態では、後方から接近してくる車両の車間距離、速度を計測し、異常事態と判断したときに警報を発生する場合について説明しているが、必ずしもこれに限定されるものではない。例えば、図１２に示した構成の画像監視装置と同様に、崖くずれなどの危険性の高い地域にて斜面の傾きなどを計測し、異常事態と判断したときに、警報を発生するようにし、地元に早めの警告を流すようにすることも可能である。
【００９４】
また、上記第３の実施形態では、単に警報を発生するだけであるが、異常と判断したときに近づきすぎている車両の写真など、証拠資料を残すようにすることも可能である。例えば、図１６に示すように、図１４に示した構成に、２次元画像取得部部２と、監視センタ１０に取得した２次元画像を送信する送信部９をさらに具備し、ＣＣＤカメラなどから構成される２次元画像取得部２は、例えば、異常に急接近してきた後方の車両番号を確実に取得できるように、後方、下向きに向けて設置される。
【００９５】
図１６に示したような構成の画像監視装置の動作を図１７に示すフローチャートを参照して説明する。なお、図１７において、図１５と同一部分には同一符号を付し、異なる部分について説明する。すなわち、ステップＳ４０５にて異常事態が検知されたとき、ステップＳ４０６にて警報を発するとともに、２次元画像取得部２により画像取得を行う（ステップＳ５０７）。夜間であると、光量が足りないので、フラッシュがたかれ、光量を確保できるよういなっている。次にこの取得した２次元画像を、送信部９を通じて監視センタ１０に送信する（ステップＳ５０８）。それ以外は、図１５と同様である。
【００９６】
なお、異常事態が検知されたとき、２次元画像取得部２で取得された２次元画像だけではなく、あるいは、２次元画像に代えて、距離画像取得部１で取得された距離画像を送信部９を介して監視センタ１０に送信するようにしてもよい。
【００９７】
また、同様にして、図１６の送信部９に代えて、あるいは、送信部９とともに、異常と判断したときに近づきすぎている車両の距離画像、２次元画像の少なくとも一方を所定の記録媒体（ＲＡＭが搭載されたＩＣカード、ＭＤ等の光磁気ディスク、フロッピーディスク等）に記録するための記録部１２を具備していてもよい。
【００９８】
図１６に示したような構成の画像監視装置にて図１７に示したような処理動作を行うことで、万が一、当て逃げやひき逃げなどの事故が発生した場合でも、証拠写真が監視センタ１０に残されているので、犯人を確実に逮捕できる。さらに、このような証拠機能を具備した事故防止センサを備えていることを、車両後部にステッカなどを貼って示すことで、後続の車両に無用なスピードの出しすぎを、戒めることができ、事故防止に役立つ。
【００９９】
また、図１８に示したように、図１６の構成にさらに、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの車両の位置をセンスできる位置検出部１３を追加すると、事故があった箇所を監視センタ１０で、把握できるので、迅速に事故に対応することができ、より一層、事故防止の効果を高めることができる。
【０１００】
なお、図１４、図１６、図１８に示した画像監視装置は、車両に搭載することを想定しているが必ずしもこれに限定される訳ではない。技術的には、上記画像監視装置はページャ端末程の携帯可能な大きさにすることが可能である。従って、歩行者が通り魔防止、あるいは子供誘拐防止用にデイパックなどの背負い式のバッグにアクセサリとしてつけ、後方から異常な速さでやってくる自転車などの不審物、あるいは一定距離でついてくる車や不審人物を検知し、警報を発することも可能である。ある一定距離を越えて近づいてきたときに、２次元画像取得部２にて、不審者の写真を撮像し、監視センタ１０に送ることも可能である。
【０１０１】
【発明の効果】
被写体像の動きを高速に検知して有意な画像監視データのみを記録できる画像監視装置を提供できる。
また、被写体像の動きや動きの変化等を高速に検知して、異常の検知がリアルタイムに行え、警報の発生、有意な画像監視データの記録および送信が効率よく行える画像監視装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像監視装置の構成例を示した図。
【図２】距離画像取得部の構成例を示した図。
【図３】反射光の強度を画素値とする距離画像の一例を示した図。
【図４】図３に示したようなマトリックス形式の距離画像を３次元的に表した図。
【図５】距離画像取得部の受光部と発光部の一例を示した図。
【図６】距離画像から抽出された被写体像の輪郭画像の一例を示した図。
【図７】図１の画像監視装置の動作を説明するためのフローチャート。
【図８】画像監視装置の他の構成例（一時記憶部を具備している）を示した図。
【図９】画像監視装置のさらに他の構成例（異常事態判断部を具備している）を示した図。
【図１０】異常事態判断部に具備される物体の動きが正常状態であるか否かを判断するための基準値とそれに対し許容される偏差とを記憶するテーブルの一例を示した図。
【図１１】図９の画像監視装置の動作を説明するためのフローチャート。
【図１２】本発明の第２の実施形態に係る画像監視装置の構成例（送信部を具備している）を示した図。
【図１３】図１２の画像監視装置の動作を説明するためのフローチャート。
【図１４】本発明の第３の実施形態に係る画像監視装置の構成例（警報発生部を具備している）を示した図。
【図１５】図１４の画像監視装置の動作を説明するためのフローチャート。
【図１６】第３の実施形態に係る画像監視装置の他の構成例（送信部を具備している）を示した図。
【図１７】図１６の画像監視装置の動作を説明するためのフローチャート。
【図１８】第３の実施形態に係る画像監視装置のさらに他の構成例（位置検出部を具備している）を示した図。
【符号の説明】
１…距離画像取得部
２…２次元画像取得部
３…記録制御部
４…画像処理部
５…記録部
６…一時記憶部
７…異常事態判断部
８…送信制御部
９…送信部
１０…監視センタ
１１…警報制御部
１２…警報発生部
１３…位置検出部
Claims (13)
- 対象物に光を照射する発光手段と、
対象物からの反射光を受光する受光手段と、
前記発光手段が発光しているときに前記受光手段で受光した光の量と、前記発光手段が発光していないときに前記受光手段で受光した光の量の差を求めて、各画素値が対象物までの距離値を示す距離画像を生成する生成手段と、
２次元画像を取得する２次元画像取得手段と、
前記生成手段で所定時間毎に生成された各距離画像の被写体像の重心位置を求め、複数の距離画像間での前記重心位置の変化に基づき前記被写体像の動きを検知する検知手段と、
この検知手段で前記被写体像の動きが検知されたとき、前記２次元画像取得手段で取得された２次元画像を所定の記録媒体に記録する記録手段と、
を具備したことを特徴とする画像監視装置。 - 対象物に光を照射する発光手段と、
対象物からの反射光を受光する受光手段と、
前記発光手段が発光しているときに前記受光手段で受光した光の量と、前記発光手段が発光していないときに前記受光手段で受光した光の量の差を求めて、各画素値が対象物までの距離値を示す距離画像を生成する生成手段と、
２次元画像を取得する２次元画像取得手段と、
前記生成手段で所定時間毎に生成された各距離画像の被写体像の輪郭、重心位置、当該重心位置における被写体までの距離及び複数の距離画像間での被写体の速度のうちの少なくとも１つの情報を求めるための画像処理手段と、
前記画像処理手段で求めた情報を基に、異常を検知する検知手段と、
この検知手段で異常を検知したとき、前記２次元画像取得手段で取得された２次元画像を所定の記録媒体に記録する記録手段と、
を具備したことを特徴とする画像監視装置。 - 対象物に光を照射する発光手段と、
対象物からの反射光を受光する受光手段と、
前記発光手段が発光しているときに前記受光手段で受光した光の量と、前記発光手段が発光していないときに前記受光手段で受光した光の量の差を求めて、各画素値が対象物までの距離値を示す距離画像を生成する生成手段と、
前記生成手段で所定時間毎に生成された各距離画像の被写体像の輪郭、重心位置、当該重心位置における被写体までの距離及び複数の距離画像間での被写体の速度のうちの少なくとも１つの情報を求めるための画像処理手段と、
前記画像処理手段で求めた情報を基に、異常を検知する検知手段と、
この検知手段で異常を検知したとき、少なくとも前記生成手段で生成された距離画像を送信する送信手段と、
を具備したことを特徴とする画像監視装置。 - 対象物に光を照射する発光手段と、
対象物からの反射光を受光する受光手段と、
前記発光手段が発光しているときに前記受光手段で受光した光の量と、前記発光手段が発光していないときに前記受光手段で受光した光の量の差を求めて、各画素値が対象物までの距離値を示す距離画像を生成する生成手段と、
２次元画像を取得する２次元画像取得手段と、
前記生成手段で所定時間毎に生成された各距離画像の被写体像の輪郭、重心位置、当該重心位置における被写体までの距離及び複数の距離画像間での被写体の速度のうちの少なくとも１つの情報を求めるための画像処理手段と、
前記画像処理手段で求めた情報を基に、異常を検知する検知手段と、
この検知手段で異常を検知したとき、前記生成手段で生成された距離画像および前記２次元画像取得手段で取得された２次元画像のうちの少なくとも一方を送信する送信手段と、
を具備したことを特徴とする画像監視装置。 - 対象物に光を照射する発光手段と、
対象物からの反射光を受光する受光手段と、
前記発光手段が発光しているときに前記受光手段で受光した光の量と、前記発光手段が発光していないときに前記受光手段で受光した光の量の差を求めて、各画素値が対象物までの距離値を示す距離画像を生成する生成手段と、
前記生成手段で所定時間毎に生成された各距離画像の被写体像の輪郭、重心位置、当該重心位置における被写体までの距離及び複数の距離画像間での被写体の速度のうちの少なくとも１つの情報を求めるための画像処理手段と、
前記画像処理手段で求めた情報を基に、異常を検知する検知手段と、
この検知手段で異常を検知したとき、警報を発生する警報発生手段と、
を具備したことを特徴とする画像監視装置。 - ２次元画像を取得する２次元画像取得手段と、
前記検知手段で異常を検知したとき、前記２次元画像取得手段で取得された２次元画像および前記生成手段で生成された距離画像のうちの少なくとも一方を送信する送信手段と、
をさらに具備したことを特徴とする請求項５記載の画像監視装置。 - ２次元画像を取得する２次元画像取得手段と、
前記検知手段で異常を検知したとき、前記２次元画像取得手段で取得された２次元画像および前記生成手段で生成された距離画像のうちの少なくとも一方を所定の記録媒体に記録する記録手段と、
をさらに具備したことを特徴とする請求項５記載の画像監視装置。 - 前記画像処理手段は、複数の距離画像間での被写体までの距離の差分及び前記所定時間から当該被写体の速度を算出することを特徴とする請求項２乃至５のうちのいずれか１つに記載の画像監視装置。
- 前記検知手段は、前記画像処理手段で求めた前記複数の距離画像間での被写体の速度と予め定められた基準速度との差分を基に、当該被写体の動きの異常を検知することを特徴とする請求項２乃至５のうちのいずれか１つに記載の画像監視装置。
- 前記検知手段は、前記画像処理手段で求めた前記被写体までの距離を基に、当該被写体が予め定められた範囲内に侵入したか否かを検知することを特徴とする請求項２乃至５のうちのいずれか１つに記載の画像監視装置。
- 前記検知手段は、前記画像処理手段で求めた前記被写体像である地形の輪郭と予め定められた基準線とがなす角度を、予め定められた基準傾斜度と比較することにより、異常を検知することを特徴とする請求項２乃至５のうちのいずれか１つに記載の画像監視装置。
- 前記検知手段は、前記画像処理手段で求めた前記被写体までの距離及び当該被写体の速度と、当該距離及び速度のそれぞれに対し予め定められた基準値とを比較することにより異常を検知することを特徴とする請求項５記載の画像監視装置。
- 前記検知手段は、前記画像処理手段で求めた前記被写体までの距離と、当該距離に対し予め定められた基準値とを比較することにより異常を検知することを特徴とする請求項５記載の画像監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02447998A JP3695930B2 (ja) | 1998-02-05 | 1998-02-05 | 画像監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02447998A JP3695930B2 (ja) | 1998-02-05 | 1998-02-05 | 画像監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11225326A JPH11225326A (ja) | 1999-08-17 |
| JP3695930B2 true JP3695930B2 (ja) | 2005-09-14 |
Family
ID=12139324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02447998A Expired - Fee Related JP3695930B2 (ja) | 1998-02-05 | 1998-02-05 | 画像監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3695930B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10991117B2 (en) | 2018-12-23 | 2021-04-27 | Samsung Electronics Co., Ltd. | Performing a loop closure detection |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001148843A (ja) * | 1999-11-18 | 2001-05-29 | Mega Chips Corp | 撮影装置及びこの撮影装置を用いた防犯システム |
| JP4511750B2 (ja) * | 2001-02-27 | 2010-07-28 | 三菱重工業株式会社 | 車両監視システム |
| JP3846410B2 (ja) | 2002-11-21 | 2006-11-15 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7389041B2 (en) * | 2005-02-01 | 2008-06-17 | Eastman Kodak Company | Determining scene distance in digital camera images |
| JP5809792B2 (ja) | 2010-11-04 | 2015-11-11 | 株式会社日立製作所 | 生体認証装置および方法 |
| DE112018006760T5 (de) * | 2018-02-06 | 2020-10-01 | Mitsubishi Electric Corporation | Reihendatenanalysevorrichtung, Reihendatenanalyseverfahren und Reihendatenanalyseprogramm |
| CN111652125B (zh) * | 2020-06-02 | 2023-03-24 | 马鞍山芯乔科技有限公司 | Ai对象排列与间距自动识别系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0821149B2 (ja) * | 1986-04-23 | 1996-03-04 | 株式会社日立製作所 | セキユリテイ監視システム |
| JPH05176368A (ja) * | 1991-03-06 | 1993-07-13 | Matsushita Electric Ind Co Ltd | 監視装置 |
| JP3200865B2 (ja) * | 1991-05-10 | 2001-08-20 | 三菱電機株式会社 | 監視用ｖｔｒシステム |
| JP3367170B2 (ja) * | 1993-11-05 | 2003-01-14 | 株式会社豊田中央研究所 | 障害物検出装置 |
| JP3497929B2 (ja) * | 1995-09-29 | 2004-02-16 | 富士重工業株式会社 | 侵入物監視装置 |
| JPH09135458A (ja) * | 1995-11-10 | 1997-05-20 | Matsushita Electric Ind Co Ltd | 監視用録画装置 |
-
1998
- 1998-02-05 JP JP02447998A patent/JP3695930B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10991117B2 (en) | 2018-12-23 | 2021-04-27 | Samsung Electronics Co., Ltd. | Performing a loop closure detection |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11225326A (ja) | 1999-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101083885B1 (ko) | 지능형 운전 보조 시스템들 | |
| KR101676940B1 (ko) | 클라우드 플랫폼에 기반한 교통안전 정보 제공 시스템 및 그것을 이용한 교통안전 정보 제공 방법 | |
| US11745755B2 (en) | Vehicular driving assist system with driver monitoring | |
| US8682035B2 (en) | Method for imaging the surrounding of a vehicle | |
| US8379924B2 (en) | Real time environment model generation system | |
| KR101998787B1 (ko) | 차량의 안전운전방법 | |
| US20190197886A1 (en) | Autonomous mobile object and information collection system | |
| CN107015219A (zh) | 具有雷达成像功能的防碰撞方法及其系统 | |
| KR101498458B1 (ko) | 복수의 레이저빔을 이용하여 객체 및 속도 감지를 병행하는 차량용 방범 촬영시스템 | |
| CN111516605B (zh) | 多传感器监控设备及监控方法 | |
| JP3695930B2 (ja) | 画像監視装置 | |
| KR20170108710A (ko) | 무인비행체를 이용한 적재불량 차량 단속 시스템 및 그 방법 | |
| CN112906664B (zh) | 一种基于神经网络的隧道内异常事件检测方法及系统 | |
| WO2017115371A1 (en) | Apparatus and method for avoiding vehicular accidents | |
| KR101926562B1 (ko) | 다차로 영상분석 시스템 | |
| KR102042050B1 (ko) | 드론을 이용한 차량 검문 및 단속 장치 | |
| CN112263803A (zh) | 基于实时场景巡视和自动检测灭火的无人车智能安防系统及控制方法 | |
| KR101415848B1 (ko) | 차량 및 보행자 검지를 이용한 스쿨존 방범장치 | |
| CN115171327A (zh) | 用于车辆火灾监测的方法和车辆火灾监测系统 | |
| CN216915689U (zh) | 一种车辆开门预警系统 | |
| KR20100064011A (ko) | 불법 유턴 차량 단속 장치 및 그 방법 | |
| KR20220142227A (ko) | 배달 오토바이 기반 자료 수집지원 시스템 | |
| JP7447626B2 (ja) | 情報処理方法、情報処理装置、プログラム及び情報処理システム | |
| KR20230087008A (ko) | 스마트 폴을 이용한 위험상황 정보 처리장치 | |
| JP2023530069A (ja) | 沿道検知警報システム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050628 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |