JPH0991433A - 物体監視装置 - Google Patents
物体監視装置Info
- Publication number
- JPH0991433A JPH0991433A JP7250993A JP25099395A JPH0991433A JP H0991433 A JPH0991433 A JP H0991433A JP 7250993 A JP7250993 A JP 7250993A JP 25099395 A JP25099395 A JP 25099395A JP H0991433 A JPH0991433 A JP H0991433A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- apparent
- height
- dimensional
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 車両等の奥行きのある物体についても簡単な
構成で、精度良く検出し得るようにする。 【解決手段】 カメラ１等より得られる撮像画像を画像
処理し、２次元特徴量を抽出したのち３次元特徴量に変
換し、これを予め記憶されている基準の物体特徴量と比
較して物体を抽出するに当たり、カメラ等の設置位置お
よび物体位置と物体の奥行きを含む物体特徴量等から、
物体の見掛け高さまたは見掛け幅を演算する計算部１
８，１９の少なくとも一方を設けることにより、奥行き
のある物体の検出精度を向上させる。
構成で、精度良く検出し得るようにする。 【解決手段】 カメラ１等より得られる撮像画像を画像
処理し、２次元特徴量を抽出したのち３次元特徴量に変
換し、これを予め記憶されている基準の物体特徴量と比
較して物体を抽出するに当たり、カメラ等の設置位置お
よび物体位置と物体の奥行きを含む物体特徴量等から、
物体の見掛け高さまたは見掛け幅を演算する計算部１
８，１９の少なくとも一方を設けることにより、奥行き
のある物体の検出精度を向上させる。
Description
【０００１】
【発明の属する技術分野】この発明は、テレビカメラ等
の撮像手段にて撮像された画像から対象物体を抽出し、
これを時間の経過とともに追跡することにより、特定の
移動物体の有無を検知したり、その個数をカウントした
り、物体の移動速度を計測したりする機能を持つ、画像
処理を利用した物体監視装置に関する。
の撮像手段にて撮像された画像から対象物体を抽出し、
これを時間の経過とともに追跡することにより、特定の
移動物体の有無を検知したり、その個数をカウントした
り、物体の移動速度を計測したりする機能を持つ、画像
処理を利用した物体監視装置に関する。
【０００２】
【従来の技術】従来、画像処理を利用した物体監視装置
として、出願人は先に図７に示すようなものを提案して
いる（特開平７−３７０６３号公報参照：以下、提案装
置ともいう）。これは、テレビカメラ等の撮像手段で得
られた画像の２次元情報を、一定の拘束条件のもとに、
３次元実座標の特徴量に変換してその特徴量から特定の
物体の有無を検知したり、その個数をカウントしたり、
物体の移動速度を計測したりするものである。以下、具
体的に説明する。
として、出願人は先に図７に示すようなものを提案して
いる（特開平７−３７０６３号公報参照：以下、提案装
置ともいう）。これは、テレビカメラ等の撮像手段で得
られた画像の２次元情報を、一定の拘束条件のもとに、
３次元実座標の特徴量に変換してその特徴量から特定の
物体の有無を検知したり、その個数をカウントしたり、
物体の移動速度を計測したりするものである。以下、具
体的に説明する。
【０００３】まず、オフラインの状態で、以下の設定を
予め行なっておく。カメラ１から画像を入力し、Ａ／Ｄ
変換部２を通して得られたデジタル画像データから背景
マップを作成し、背景マップ記憶部５に記憶しておく。
使用するカメラのカメラパラメータ（カメラの設置高
さ，角度，カメラの焦点距離など）を求め、カメラパラ
メータ記憶部１０に記憶しておく。また、対象物体特徴
量記憶部１１には、検出したい物体の特徴量を記憶して
おく。
予め行なっておく。カメラ１から画像を入力し、Ａ／Ｄ
変換部２を通して得られたデジタル画像データから背景
マップを作成し、背景マップ記憶部５に記憶しておく。
使用するカメラのカメラパラメータ（カメラの設置高
さ，角度，カメラの焦点距離など）を求め、カメラパラ
メータ記憶部１０に記憶しておく。また、対象物体特徴
量記憶部１１には、検出したい物体の特徴量を記憶して
おく。
【０００４】図３（ａ）に実座標のカメラ設置位置と物
体位置の関係を示す。いま、カメラの視線を高さＨのｚ
軸上からｙ方向にｘｙ平面を見下ろす方向に設置したも
のとして、カメラから（ｂ）のような画像が得られたと
する。（ｃ）はそのカメラ画像を２値化した画像、
（ｄ）はその２値画像から抽出した特徴量を説明するた
めの視覚化した図、（ｅ）は２次元から３次元へ座標変
換した特徴量を説明するための視覚化した図、（ｆ）は
（ｅ）をｘ方向に投影した図をそれぞれ示す。
体位置の関係を示す。いま、カメラの視線を高さＨのｚ
軸上からｙ方向にｘｙ平面を見下ろす方向に設置したも
のとして、カメラから（ｂ）のような画像が得られたと
する。（ｃ）はそのカメラ画像を２値化した画像、
（ｄ）はその２値画像から抽出した特徴量を説明するた
めの視覚化した図、（ｅ）は２次元から３次元へ座標変
換した特徴量を説明するための視覚化した図、（ｆ）は
（ｅ）をｘ方向に投影した図をそれぞれ示す。
【０００５】オンライン状態では、カメラ１からＡ／Ｄ
変換部２を通して基準画像作成部３で基準画像を作成
し、基準画像記憶部４に格納する。差分処理部６にカメ
ラ１およびＡ／Ｄ変換部２を通して得られる入力画像
と、基準画像記憶部４に格納された基準画像とを入力
し、背景マップ記憶部５の背景マップを参照して両者の
差分画像を作成する。得られた差分画像を２値化処理部
７で２値化し、２値画像データを得る。
変換部２を通して基準画像作成部３で基準画像を作成
し、基準画像記憶部４に格納する。差分処理部６にカメ
ラ１およびＡ／Ｄ変換部２を通して得られる入力画像
と、基準画像記憶部４に格納された基準画像とを入力
し、背景マップ記憶部５の背景マップを参照して両者の
差分画像を作成する。得られた差分画像を２値化処理部
７で２値化し、２値画像データを得る。
【０００６】２値画像データを特徴抽出処理部８に入力
する。特徴量抽出処理部８では、２値画像データのラベ
ル付け，特徴量（外接長方形の幅，高さ，面積など）の
計算を行なう。２値画像データは、例えば図３（ｃ）の
ような明瞭なパターンではなく、パターンの一部が欠落
して複数のラベルに分離していても良い。１つのラベル
または複数のラベルを、例えば図３（ｄ）のように１つ
の領域に統合し、図７の対象物体特徴量記憶部１１に格
納しておいた物体特徴量（外接長方形の幅，高さ，面積
など）と比較して、対象物体の領域を決定する。
する。特徴量抽出処理部８では、２値画像データのラベ
ル付け，特徴量（外接長方形の幅，高さ，面積など）の
計算を行なう。２値画像データは、例えば図３（ｃ）の
ような明瞭なパターンではなく、パターンの一部が欠落
して複数のラベルに分離していても良い。１つのラベル
または複数のラベルを、例えば図３（ｄ）のように１つ
の領域に統合し、図７の対象物体特徴量記憶部１１に格
納しておいた物体特徴量（外接長方形の幅，高さ，面積
など）と比較して、対象物体の領域を決定する。
【０００７】以上のようにして求めた対象物体の領域は
時間的に移動するので、これを対象物体追跡処理部１３
で追跡し、対象動作認識処理部１４で「侵入」，「近づ
く」，「立ち止まる」等の動作を検出する。また、対象
動作認識処理部１４により、物体の個数や速度などを計
測するようにしても良い。判定処理部１５では、検出し
た動作に応じて警報器１６に対する警報出力や、ＶＴＲ
（ビデオテープレコーダ）１７に対する録画の指示等を
行なう。
時間的に移動するので、これを対象物体追跡処理部１３
で追跡し、対象動作認識処理部１４で「侵入」，「近づ
く」，「立ち止まる」等の動作を検出する。また、対象
動作認識処理部１４により、物体の個数や速度などを計
測するようにしても良い。判定処理部１５では、検出し
た動作に応じて警報器１６に対する警報出力や、ＶＴＲ
（ビデオテープレコーダ）１７に対する録画の指示等を
行なう。
【０００８】ここで、対象物体抽出処理部９について詳
細に説明する。カメラ画像は図３（ｂ）に示すように、
同じ大きさの物体でもカメラに近い物体は大きく、カメ
ラから遠い物体は小さく写るので、これを上記の方法で
２値化した２値画像データも同様にカメラに近い物体は
大きく、カメラから遠い物体は小さくなる。そこで、座
標変換処理手段９Ａにおいて、２値画像データから抽出
した図３（ｄ）のような領域を、カメラパラメータ記憶
部１０に格納されているカメラパラメータを用い、一定
の拘束条件のもとで３次元実空間の座標に変換する。こ
の変換により、例えば、対象物体が人間のように奥行き
（厚み）のない物体の場合、同一物体ならばカメラに近
いときも遠いときにも、ほぼ同じ大きさに変換すること
ができる。次に、対象物体領域決定手段９Ｂにより、座
標変換した特徴量を対象物体特徴量記憶部１１に記憶し
ておいた物体特徴量と比較して、対象物体の領域を決定
する。
細に説明する。カメラ画像は図３（ｂ）に示すように、
同じ大きさの物体でもカメラに近い物体は大きく、カメ
ラから遠い物体は小さく写るので、これを上記の方法で
２値化した２値画像データも同様にカメラに近い物体は
大きく、カメラから遠い物体は小さくなる。そこで、座
標変換処理手段９Ａにおいて、２値画像データから抽出
した図３（ｄ）のような領域を、カメラパラメータ記憶
部１０に格納されているカメラパラメータを用い、一定
の拘束条件のもとで３次元実空間の座標に変換する。こ
の変換により、例えば、対象物体が人間のように奥行き
（厚み）のない物体の場合、同一物体ならばカメラに近
いときも遠いときにも、ほぼ同じ大きさに変換すること
ができる。次に、対象物体領域決定手段９Ｂにより、座
標変換した特徴量を対象物体特徴量記憶部１１に記憶し
ておいた物体特徴量と比較して、対象物体の領域を決定
する。
【０００９】
【発明が解決しようとする課題】従来は、２値画像デー
タから物体領域の外接長方形の領域を抽出するが、その
特徴量は外接長方形の幅，高さ，面積などの１次元また
は２次元的な特徴量である。このため、対象物体が人間
のように奥行き（厚み）の小さい物体を座標変換する場
合は、特に問題は生じなかったが、奥行きが大きな物体
の場合は以下のような問題が生じる。 １）物体の高さと奥行きの和が画面上での見かけの物体
の高さとなるので、同じ物体でも位置によって検出され
る高さが変化し、検出困難となる。 ２）物体の幅と奥行きの和が見かけの物体の幅となるの
で、検出位置によって物体幅が変化し、検出困難とな
る。 したがって、この発明の課題は奥行きが大きい物体につ
いても精度良く、しかも従来のものを大幅に改変するこ
となく検出可能とすることにある。
タから物体領域の外接長方形の領域を抽出するが、その
特徴量は外接長方形の幅，高さ，面積などの１次元また
は２次元的な特徴量である。このため、対象物体が人間
のように奥行き（厚み）の小さい物体を座標変換する場
合は、特に問題は生じなかったが、奥行きが大きな物体
の場合は以下のような問題が生じる。 １）物体の高さと奥行きの和が画面上での見かけの物体
の高さとなるので、同じ物体でも位置によって検出され
る高さが変化し、検出困難となる。 ２）物体の幅と奥行きの和が見かけの物体の幅となるの
で、検出位置によって物体幅が変化し、検出困難とな
る。 したがって、この発明の課題は奥行きが大きい物体につ
いても精度良く、しかも従来のものを大幅に改変するこ
となく検出可能とすることにある。
【００１０】
【課題を解決するための手段】奥行きのある物体の見か
けの高さＺが、物体位置ｙとカメラ設置高さＨに依存す
ることに着目し、これと物体特徴量の高さｈと長さ（奥
行き）ｓから、所定の演算をして見かけの高さＺを求
め、これを物体特徴量として用いることで、従来のもの
を大幅に改変することなく、高精度に物体の抽出を可能
とする。また、物体の見かけの幅Ｗが、物体位置ｘ，ｙ
に依存することに着目し、これと物体特徴量の幅ｗと長
さ（奥行き）ｓから、所定の演算をして見かけの幅Ｗを
求め、これを物体特徴量として用いることで、従来のも
のを大幅に改変することなく、高精度に物体の抽出を可
能とする。見かけの高さＺおよび見かけの幅Ｗの双方を
計算し、これらを物体特徴量として用いることもでき
る。
けの高さＺが、物体位置ｙとカメラ設置高さＨに依存す
ることに着目し、これと物体特徴量の高さｈと長さ（奥
行き）ｓから、所定の演算をして見かけの高さＺを求
め、これを物体特徴量として用いることで、従来のもの
を大幅に改変することなく、高精度に物体の抽出を可能
とする。また、物体の見かけの幅Ｗが、物体位置ｘ，ｙ
に依存することに着目し、これと物体特徴量の幅ｗと長
さ（奥行き）ｓから、所定の演算をして見かけの幅Ｗを
求め、これを物体特徴量として用いることで、従来のも
のを大幅に改変することなく、高精度に物体の抽出を可
能とする。見かけの高さＺおよび見かけの幅Ｗの双方を
計算し、これらを物体特徴量として用いることもでき
る。
【００１１】
【発明の実施の形態】図１はこの発明の第１の実施の形
態を示すブロック図である。同図からも明らかなよう
に、図７に示す提案装置に対し、見掛け高さ計算部１８
および見掛け幅計算部１９を付加した点が特徴であり、
その他は提案装置と同様なので、以下では主としてその
相違点につき説明する。すなわち、見掛け高さ計算部１
８はカメラパラメータ記憶部１０からカメラ高さＨを、
特徴量抽出処理部８から物体位置ｙを、また、対象物体
特徴量記憶部１１から物体の高さｈと長さｓの特徴量を
それぞれ受け取り、図２（ａ）に示すような関係式から
物体の見掛けの高さＺを求め、これを物体特徴量として
対象物体領域決定手段９Ｂで用いるものである。
態を示すブロック図である。同図からも明らかなよう
に、図７に示す提案装置に対し、見掛け高さ計算部１８
および見掛け幅計算部１９を付加した点が特徴であり、
その他は提案装置と同様なので、以下では主としてその
相違点につき説明する。すなわち、見掛け高さ計算部１
８はカメラパラメータ記憶部１０からカメラ高さＨを、
特徴量抽出処理部８から物体位置ｙを、また、対象物体
特徴量記憶部１１から物体の高さｈと長さｓの特徴量を
それぞれ受け取り、図２（ａ）に示すような関係式から
物体の見掛けの高さＺを求め、これを物体特徴量として
対象物体領域決定手段９Ｂで用いるものである。
【００１２】見掛け幅計算部１９も同様に、特徴量抽出
処理部８から物体位置ｘ，ｙを、また、対象物体特徴量
記憶部１１から物体の幅ｗと長さｓの特徴量をそれぞれ
受け取り、図２（ｂ）に示すような関係式から物体の見
掛けの幅Ｗを求め、これを物体特徴量として対象物体領
域決定手段９Ｂで用いるようにする。なお、見掛け高さ
計算部１８および見掛け幅計算部１９は必ずしも同時に
設ける必要はなく、その少なくとも一方があれば良いこ
とは勿論である。
処理部８から物体位置ｘ，ｙを、また、対象物体特徴量
記憶部１１から物体の幅ｗと長さｓの特徴量をそれぞれ
受け取り、図２（ｂ）に示すような関係式から物体の見
掛けの幅Ｗを求め、これを物体特徴量として対象物体領
域決定手段９Ｂで用いるようにする。なお、見掛け高さ
計算部１８および見掛け幅計算部１９は必ずしも同時に
設ける必要はなく、その少なくとも一方があれば良いこ
とは勿論である。
【００１３】以上のことは、図７に示す提案装置におい
て、対象物体特徴量記憶部１１から対象物体領域決定手
段９Ｂに物体特徴量を渡すときに、物体特徴量の高さま
たは幅および長さから見かけの高さまたは見かけの幅を
計算し、この見かけの高さまたは見かけの幅と他の物体
特徴量を対象物体領域決定手段９Ｂに渡せば、提案装置
の問題点を解決できることを示している。しかも、この
ようにするに当たっては提案装置に対し、図１のように
見掛け高さ計算部１８，見掛け幅計算部１９を付加する
だけで済むので、その改変も容易と言える。
て、対象物体特徴量記憶部１１から対象物体領域決定手
段９Ｂに物体特徴量を渡すときに、物体特徴量の高さま
たは幅および長さから見かけの高さまたは見かけの幅を
計算し、この見かけの高さまたは見かけの幅と他の物体
特徴量を対象物体領域決定手段９Ｂに渡せば、提案装置
の問題点を解決できることを示している。しかも、この
ようにするに当たっては提案装置に対し、図１のように
見掛け高さ計算部１８，見掛け幅計算部１９を付加する
だけで済むので、その改変も容易と言える。
【００１４】ここで、見掛けの高さ，見掛けの幅が上記
のように計算される原理について、図３〜図５を参照し
て以下に説明する。図３は奥行きの小さい物体の見掛け
の高さを、図４は奥行きの大きい物体の見掛けの高さを
説明するための説明図である。なお、物体はｙ軸上また
はその近傍を、ｙ軸とほぼ平行して移動することができ
るものとする。また、物体の形状は特に制限はないが、
ここでは長方体の如く隣接する面が垂直な６面体とし、
そのうちの１つの面がｘ軸と平行になっているものとし
て説明する。
のように計算される原理について、図３〜図５を参照し
て以下に説明する。図３は奥行きの小さい物体の見掛け
の高さを、図４は奥行きの大きい物体の見掛けの高さを
説明するための説明図である。なお、物体はｙ軸上また
はその近傍を、ｙ軸とほぼ平行して移動することができ
るものとする。また、物体の形状は特に制限はないが、
ここでは長方体の如く隣接する面が垂直な６面体とし、
そのうちの１つの面がｘ軸と平行になっているものとし
て説明する。
【００１５】図３，図４とも（ａ）は実座標のカメラ設
置位置と物体位置を示す。カメラの視線は、高さＨ（符
号１参照）のｚ軸上からｙ方向にｘｙ平面を見下ろす方
向とする。図３，図４の（ｂ）はカメラによる物体の撮
像画像、同（ｃ）はその２値化画像、同（ｄ）はその２
値画像から２次元特徴量を抽出した結果を説明するため
に視覚化した図、同（ｅ）は２次元から３次元へ座標変
換した特徴量を説明するために視覚化した図、同（ｆ）
は（ｅ）のｘ方向に投影した図である。
置位置と物体位置を示す。カメラの視線は、高さＨ（符
号１参照）のｚ軸上からｙ方向にｘｙ平面を見下ろす方
向とする。図３，図４の（ｂ）はカメラによる物体の撮
像画像、同（ｃ）はその２値化画像、同（ｄ）はその２
値画像から２次元特徴量を抽出した結果を説明するため
に視覚化した図、同（ｅ）は２次元から３次元へ座標変
換した特徴量を説明するために視覚化した図、同（ｆ）
は（ｅ）のｘ方向に投影した図である。
【００１６】すなわち、画像処理においては、（ｂ）の
如きカメラ画像を（ｃ）のように２値化する。この２値
画像は必ずしも明瞭なパターンではなく、その一部が欠
落して複数のラベルに分離していても構わない。そこ
で、１つまたは複数のラベルを１つの領域として、
（ｄ）のような外接長方形として取り出す。この外接長
方形は物体の位置と物体の高さ，幅の情報を持っている
ので、これらの情報を物体の特徴量とする。
如きカメラ画像を（ｃ）のように２値化する。この２値
画像は必ずしも明瞭なパターンではなく、その一部が欠
落して複数のラベルに分離していても構わない。そこ
で、１つまたは複数のラベルを１つの領域として、
（ｄ）のような外接長方形として取り出す。この外接長
方形は物体の位置と物体の高さ，幅の情報を持っている
ので、これらの情報を物体の特徴量とする。
【００１７】この外接長方形を一定の拘束条件のもとで
３次元特徴量に変換すると、外接長方形の２次元の位置
は３次元の位置に変換できるが、同様に外接長方形の高
さ，幅の情報は２点間の距離の大きさであり、これらを
一定の拘束条件のもとで３次元特徴量に変換しても、実
座標での２点間の距離の大きさの情報のままであり、
（ｅ）のような高さと幅は得られるが、物体の奥行きや
厚みなどの情報を得ることができない。
３次元特徴量に変換すると、外接長方形の２次元の位置
は３次元の位置に変換できるが、同様に外接長方形の高
さ，幅の情報は２点間の距離の大きさであり、これらを
一定の拘束条件のもとで３次元特徴量に変換しても、実
座標での２点間の距離の大きさの情報のままであり、
（ｅ）のような高さと幅は得られるが、物体の奥行きや
厚みなどの情報を得ることができない。
【００１８】図３と図４との比較から、例えば、図４の
車両のような奥行きのある物体の場合、図４（ｄ）のよ
うな長方形としての特徴量を抽出するため、これを３次
元特徴量に変換すると、図４（ｆ）のように実座標での
物体の高さと屋根面の奥行きの和が見掛け上の高さとな
る。この見掛け高さは、奥行きのある物体ほど、カメラ
に近いほど大きくなる。これに対して、幅は物体がｙ軸
上またはその近傍にあれば、物体の長さ（奥行き）には
依存しないので、２次元から３次元の変換によって実座
標の実際の幅に変換できる。
車両のような奥行きのある物体の場合、図４（ｄ）のよ
うな長方形としての特徴量を抽出するため、これを３次
元特徴量に変換すると、図４（ｆ）のように実座標での
物体の高さと屋根面の奥行きの和が見掛け上の高さとな
る。この見掛け高さは、奥行きのある物体ほど、カメラ
に近いほど大きくなる。これに対して、幅は物体がｙ軸
上またはその近傍にあれば、物体の長さ（奥行き）には
依存しないので、２次元から３次元の変換によって実座
標の実際の幅に変換できる。
【００１９】いま、上記の物体の見掛けの高さをＺとす
ると、見掛けの高さＺは図３，図４（ｆ）より、次式の
ように求められる。 Ｚ＝（ｈｙ＋Ｈｓ）／（ｙ＋ｓ） …（１） ここに、ｈは物体の高さ、ｓは物体の長さ（奥行き）、
Ｈはカメラの設置高さである。ｙは実座標の物体位置の
ｙ成分（以下、単に物体位置ｙともいう）であり、例え
ば図３，図４の（ｆ）において、点ＰとＱは外接長方形
の代表点（外接長方形の下辺の中点）を一定の拘束条件
で３次元特徴量に変換した点で、この点を物体位置とし
ている。
ると、見掛けの高さＺは図３，図４（ｆ）より、次式の
ように求められる。 Ｚ＝（ｈｙ＋Ｈｓ）／（ｙ＋ｓ） …（１） ここに、ｈは物体の高さ、ｓは物体の長さ（奥行き）、
Ｈはカメラの設置高さである。ｙは実座標の物体位置の
ｙ成分（以下、単に物体位置ｙともいう）であり、例え
ば図３，図４の（ｆ）において、点ＰとＱは外接長方形
の代表点（外接長方形の下辺の中点）を一定の拘束条件
で３次元特徴量に変換した点で、この点を物体位置とし
ている。
【００２０】図３の例のような対象物体が人間のように
奥行きの小さい物体では、同図（ｆ）のように、見掛け
の高さはカメラに近いときも遠いときにもほぼ一定とな
る。このため、人間は奥行きのない物体として近似でき
る（ｓ≒０とするとＺ≒ｈと近似できる）ので、その見
掛けの高さは物体位置ｙにもカメラの設置高さＨにもほ
とんど依存しなくなる。それ故、見掛けの高さを考慮し
ない従来例では、人間のように奥行きの小さい物体だけ
を対象とする場合は、特に問題が生じることはなかっ
た。
奥行きの小さい物体では、同図（ｆ）のように、見掛け
の高さはカメラに近いときも遠いときにもほぼ一定とな
る。このため、人間は奥行きのない物体として近似でき
る（ｓ≒０とするとＺ≒ｈと近似できる）ので、その見
掛けの高さは物体位置ｙにもカメラの設置高さＨにもほ
とんど依存しなくなる。それ故、見掛けの高さを考慮し
ない従来例では、人間のように奥行きの小さい物体だけ
を対象とする場合は、特に問題が生じることはなかっ
た。
【００２１】しかし、対象物体が車両のように奥行きの
ある物体の場合は、見掛けの高さＺが物体の高さｈ、物
体の長さ（奥行き）ｓ、物体位置ｙ、カメラ設置高さＨ
に依存するため、図４（ｆ）のように物体の長さが長
く、カメラに近いほど見掛けの高さは高くなる。また、
この見掛けの高さはカメラ設置高さにも依存するので、
カメラ設置高さを変更すると見掛けの高さも変わること
になる。このため、見掛けの高さを考慮していない従来
技術では、車両のような奥行きのある物体の抽出が困難
になるというわけである。なお、車両のように高速で移
動する物体の速度を計測する場合には、カメラの撮像範
囲を広範囲にし、また、手前の物体によって後ろの物体
が隠れるような隠蔽現象を減らすべく、カメラを高い位
置に設置すると上記の問題はより顕著となる。
ある物体の場合は、見掛けの高さＺが物体の高さｈ、物
体の長さ（奥行き）ｓ、物体位置ｙ、カメラ設置高さＨ
に依存するため、図４（ｆ）のように物体の長さが長
く、カメラに近いほど見掛けの高さは高くなる。また、
この見掛けの高さはカメラ設置高さにも依存するので、
カメラ設置高さを変更すると見掛けの高さも変わること
になる。このため、見掛けの高さを考慮していない従来
技術では、車両のような奥行きのある物体の抽出が困難
になるというわけである。なお、車両のように高速で移
動する物体の速度を計測する場合には、カメラの撮像範
囲を広範囲にし、また、手前の物体によって後ろの物体
が隠れるような隠蔽現象を減らすべく、カメラを高い位
置に設置すると上記の問題はより顕著となる。
【００２２】また、物体特徴量記憶部への物体特徴量の
設定に関し、カメラ設置高さ等の条件に依存する見掛け
の高さを、物体特徴量として物体特徴量記憶部へ記憶す
る方法を採用すると、例えばカメラ設置の高さを変更す
る都度物体特徴量記憶部の見掛けの高さを変更する必要
があるので、余り得策ではない。したがって、提案装置
のように、カメラ設置条件に依存しない物体特徴量を物
体特徴量記憶部に記憶させる方が、設定も容易でカメラ
設置条件を変更しても物体特徴量記憶部の物体特徴量を
変更する必要がないので、このようにすることが望まれ
る。
設定に関し、カメラ設置高さ等の条件に依存する見掛け
の高さを、物体特徴量として物体特徴量記憶部へ記憶す
る方法を採用すると、例えばカメラ設置の高さを変更す
る都度物体特徴量記憶部の見掛けの高さを変更する必要
があるので、余り得策ではない。したがって、提案装置
のように、カメラ設置条件に依存しない物体特徴量を物
体特徴量記憶部に記憶させる方が、設定も容易でカメラ
設置条件を変更しても物体特徴量記憶部の物体特徴量を
変更する必要がないので、このようにすることが望まれ
る。
【００２３】ところで、図３，図４の（ａ）のように、
物体（符号２，３参照）がｙ軸上またはｙ軸の近傍にあ
る場合は、物体の長さを一定の拘束条件のもとで３次元
の実座標に変換することで、実際の長さに変換すること
ができるが、図５（ａ）のように物体がｙ軸から離れて
いると、物体の幅についても上記見掛けの高さと同様の
問題が生じることになる。図５（ｂ）は同図（ａ）をｚ
方向に投影した図で、カメラの位置（符号１参照）はｘ
ｙ平面上の原点Ｏにあり、ｙ軸から物体２の代表点まで
の距離をｘ（以下、単に物体位置ｘともいう）としてい
る。この物体の代表点とは、外接長方形の代表点（外接
長方形の下辺の中点）を一定の拘束条件で３次元座標に
変換した点で、この点を物体位置としている。
物体（符号２，３参照）がｙ軸上またはｙ軸の近傍にあ
る場合は、物体の長さを一定の拘束条件のもとで３次元
の実座標に変換することで、実際の長さに変換すること
ができるが、図５（ａ）のように物体がｙ軸から離れて
いると、物体の幅についても上記見掛けの高さと同様の
問題が生じることになる。図５（ｂ）は同図（ａ）をｚ
方向に投影した図で、カメラの位置（符号１参照）はｘ
ｙ平面上の原点Ｏにあり、ｙ軸から物体２の代表点まで
の距離をｘ（以下、単に物体位置ｘともいう）としてい
る。この物体の代表点とは、外接長方形の代表点（外接
長方形の下辺の中点）を一定の拘束条件で３次元座標に
変換した点で、この点を物体位置としている。
【００２４】そこで、図５（ｃ）のように、物体２をｘ
方向にｘ＋ｗ／２だけ座標の原点を移動することによ
り、見掛けの幅Ｗを上記見掛けの高さと同様にして求め
ることができる。すなわち、図５（ｃ）に示す関係か
ら、 Ｗ＝｛ｗｙ＋（ｘ＋ｗ／２）ｓ｝／（ｙ＋ｓ） …（２） と表わすことができる。ここに、ｘは物体位置（物体位
置のｘ成分）、ｙは物体位置（物体位置のｙ成分）、ｗ
は物体の幅、ｓは物体の長さ（奥行き）である。こうし
て、奥行きのある物体の見掛けの高さ，見掛けの幅が上
記（１），（２）式または図２に示すように求められる
ことが分かる。
方向にｘ＋ｗ／２だけ座標の原点を移動することによ
り、見掛けの幅Ｗを上記見掛けの高さと同様にして求め
ることができる。すなわち、図５（ｃ）に示す関係か
ら、 Ｗ＝｛ｗｙ＋（ｘ＋ｗ／２）ｓ｝／（ｙ＋ｓ） …（２） と表わすことができる。ここに、ｘは物体位置（物体位
置のｘ成分）、ｙは物体位置（物体位置のｙ成分）、ｗ
は物体の幅、ｓは物体の長さ（奥行き）である。こうし
て、奥行きのある物体の見掛けの高さ，見掛けの幅が上
記（１），（２）式または図２に示すように求められる
ことが分かる。
【００２５】図６（ａ）はこの発明による見掛け高さ計
算方法の別の例の説明図である。これは物体特徴量記憶
部１１に高さと長さのメンバーシップ関数を記憶してお
き、見掛け高さ計算部１８はこれらのメンバーシップ関
数を用いて見掛けの高さを求めるものである。つまり、
見掛け高さ計算部１８では、物体特徴量記憶部１１から
高さのメンバーシップ変数１Ａ（ｈ１，ｈ２，…ｈｍ）
と、長さのメンバーシップ変数１Ｂ（ｓ１，ｓ２，…ｓ
ｍ）を受け取り、対応する高さと長さのメンバーシップ
変数毎に変換式２Ａから見掛けの高さ（Ｚ１，Ｚ２，…
Ｚｍ）を求める。この見掛けの高さをメンバーシップ変
数として、見掛けの高さのメンバーシップ関数２Ｂを作
成する。求めた見掛けの高さのメンバーシップ関数２Ｂ
を物体特徴量として用いるようにする。
算方法の別の例の説明図である。これは物体特徴量記憶
部１１に高さと長さのメンバーシップ関数を記憶してお
き、見掛け高さ計算部１８はこれらのメンバーシップ関
数を用いて見掛けの高さを求めるものである。つまり、
見掛け高さ計算部１８では、物体特徴量記憶部１１から
高さのメンバーシップ変数１Ａ（ｈ１，ｈ２，…ｈｍ）
と、長さのメンバーシップ変数１Ｂ（ｓ１，ｓ２，…ｓ
ｍ）を受け取り、対応する高さと長さのメンバーシップ
変数毎に変換式２Ａから見掛けの高さ（Ｚ１，Ｚ２，…
Ｚｍ）を求める。この見掛けの高さをメンバーシップ変
数として、見掛けの高さのメンバーシップ関数２Ｂを作
成する。求めた見掛けの高さのメンバーシップ関数２Ｂ
を物体特徴量として用いるようにする。
【００２６】図６（ｂ）はこの発明による見掛け幅計算
方法の別の例の説明図である。これは物体特徴量記憶部
１１に幅と長さのメンバーシップ関数を記憶しておき、
見掛け幅計算部１９はこれらのメンバーシップ関数を用
いて見掛けの幅を求めるものである。つまり、見掛け幅
計算部１９では、物体特徴量記憶部１１から幅のメンバ
ーシップ変数１Ｃ（ｗ１，ｗ２，…ｗｍ）と、長さのメ
ンバーシップ変数１Ｂ（ｓ１，ｓ２，…ｓｍ）を受け取
り、対応する幅と長さのメンバーシップ変数毎に変換式
３Ａから見掛けの幅（Ｗ１，Ｗ２，…Ｗｍ）を求める。
この見掛けの幅をメンバーシップ変数として、見掛けの
幅のメンバーシップ関数３Ｂを作成する。求めた見掛け
の幅のメンバーシップ関数３Ｂを物体特徴量として用い
るようにする。
方法の別の例の説明図である。これは物体特徴量記憶部
１１に幅と長さのメンバーシップ関数を記憶しておき、
見掛け幅計算部１９はこれらのメンバーシップ関数を用
いて見掛けの幅を求めるものである。つまり、見掛け幅
計算部１９では、物体特徴量記憶部１１から幅のメンバ
ーシップ変数１Ｃ（ｗ１，ｗ２，…ｗｍ）と、長さのメ
ンバーシップ変数１Ｂ（ｓ１，ｓ２，…ｓｍ）を受け取
り、対応する幅と長さのメンバーシップ変数毎に変換式
３Ａから見掛けの幅（Ｗ１，Ｗ２，…Ｗｍ）を求める。
この見掛けの幅をメンバーシップ変数として、見掛けの
幅のメンバーシップ関数３Ｂを作成する。求めた見掛け
の幅のメンバーシップ関数３Ｂを物体特徴量として用い
るようにする。
【００２７】
【発明の効果】この発明によれば、従来装置を大幅に改
変することなく、かつ従来と同様の物体特徴量を用い
て、奥行きのある物体の抽出を高精度に実行することが
可能となる利点が得られる。カメラの設定条件に依存し
ない物体特徴量を用いているので、物体特徴量の設定が
容易となる。
変することなく、かつ従来と同様の物体特徴量を用い
て、奥行きのある物体の抽出を高精度に実行することが
可能となる利点が得られる。カメラの設定条件に依存し
ない物体特徴量を用いているので、物体特徴量の設定が
容易となる。
【図１】この発明による第１の実施の形態を示すブロッ
ク図である。
ク図である。
【図２】この発明による見掛け高さ，見掛け幅計算方法
の説明図である。
の説明図である。
【図３】奥行きの小さい物体の見掛けの高さを説明する
ための説明図である。
ための説明図である。
【図４】奥行きの大きい物体の見掛けの高さを説明する
ための説明図である。
ための説明図である。
【図５】奥行きの大きい物体の見掛けの幅を説明するた
めの説明図である。
めの説明図である。
【図６】この発明による見掛け高さ，見掛け幅計算方法
の別の例の説明図である。
の別の例の説明図である。
【図７】提案装置を示すブロック図である。
１…撮像装置（カメラ）、２…Ａ／Ｄ変換部、３…基準
画像作成部、４…基準画像記憶部、５…背景マップ記憶
部、６…差分処理部、７…２値化処理部、８…特徴量抽
出処理部、９…対象物体抽出処理部、９Ａ…座標変換処
理部、９Ｂ…対象物体領域決定手段、１０…カメラパラ
メータ記憶部、１１…対象物体特徴量記憶部、１２…対
象物体対応付け処理部、１３…対象物体追跡処理部、１
４…対象動作認識処理部、１５…判定処理部、１６…警
報出力部、１７…ＶＴＲ、１８…見掛け高さ計算部、１
９…見掛け幅計算部。
画像作成部、４…基準画像記憶部、５…背景マップ記憶
部、６…差分処理部、７…２値化処理部、８…特徴量抽
出処理部、９…対象物体抽出処理部、９Ａ…座標変換処
理部、９Ｂ…対象物体領域決定手段、１０…カメラパラ
メータ記憶部、１１…対象物体特徴量記憶部、１２…対
象物体対応付け処理部、１３…対象物体追跡処理部、１
４…対象動作認識処理部、１５…判定処理部、１６…警
報出力部、１７…ＶＴＲ、１８…見掛け高さ計算部、１
９…見掛け幅計算部。
Claims (3)
- 【請求項１】 撮像手段からの撮像画像を画像処理して
２次元の特徴量を抽出し、この２次元特徴量を３次元に
変換した３次元特徴量を予め記憶されている物体特徴量
と比較して、前記撮像画像より対象とする物体領域を抽
出する物体監視装置において、 予め記憶されている物体の奥行きを含む物体特徴量か
ら、前記撮像手段の設置位置および物体位置に依存する
見掛けの高さを求める演算手段を設けたことを特徴とす
る物体監視装置。 - 【請求項２】 撮像手段からの撮像画像を画像処理して
２次元の特徴量を抽出し、この２次元特徴量を３次元に
変換した３次元特徴量を予め記憶されている物体特徴量
と比較して、前記撮像画像より対象とする物体領域を抽
出する物体監視装置において、 予め記憶されている物体の奥行きを含む物体特徴量か
ら、前記撮像手段の設置位置および物体位置に依存する
見掛けの幅を求める演算手段を設けたことを特徴とする
物体監視装置。 - 【請求項３】 撮像手段からの撮像画像を画像処理して
２次元の特徴量を抽出し、この２次元特徴量を３次元に
変換した３次元特徴量を予め記憶されている物体特徴量
と比較して、前記撮像画像より対象とする物体領域を抽
出する物体監視装置において、 予め記憶されている物体の奥行きを含む物体特徴量か
ら、前記撮像手段の設置位置および物体位置に依存する
見掛けの高さを求める第１の演算手段と、 予め記憶されている物体の奥行きを含む物体特徴量か
ら、前記撮像手段の設置位置および物体位置に依存する
見掛けの幅を求める第２の演算手段とを設けたことを特
徴とする物体監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7250993A JPH0991433A (ja) | 1995-09-28 | 1995-09-28 | 物体監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7250993A JPH0991433A (ja) | 1995-09-28 | 1995-09-28 | 物体監視装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0991433A true JPH0991433A (ja) | 1997-04-04 |
Family
ID=17216071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7250993A Pending JPH0991433A (ja) | 1995-09-28 | 1995-09-28 | 物体監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0991433A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2395551A (en) * | 2002-11-19 | 2004-05-26 | Baxall Ltd | Self calibrating surveillance system |
| JP2013156671A (ja) * | 2012-01-26 | 2013-08-15 | Secom Co Ltd | 画像監視装置 |
| JP2014072681A (ja) * | 2012-09-28 | 2014-04-21 | Saxa Inc | 監視装置及び監視システム |
| WO2022176512A1 (ja) * | 2021-02-22 | 2022-08-25 | 古野電気株式会社 | レーダ信号処理装置、レーダ装置、レーダ信号処理方法およびレーダ信号処理プログラム |
-
1995
- 1995-09-28 JP JP7250993A patent/JPH0991433A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2395551A (en) * | 2002-11-19 | 2004-05-26 | Baxall Ltd | Self calibrating surveillance system |
| GB2395551B (en) * | 2002-11-19 | 2005-10-05 | Baxall Ltd | Surveillance system |
| JP2013156671A (ja) * | 2012-01-26 | 2013-08-15 | Secom Co Ltd | 画像監視装置 |
| JP2014072681A (ja) * | 2012-09-28 | 2014-04-21 | Saxa Inc | 監視装置及び監視システム |
| WO2022176512A1 (ja) * | 2021-02-22 | 2022-08-25 | 古野電気株式会社 | レーダ信号処理装置、レーダ装置、レーダ信号処理方法およびレーダ信号処理プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7397929B2 (en) | Method and apparatus for monitoring a passageway using 3D images | |
| Beymer et al. | Real-time tracking of multiple people using continuous detection | |
| JP4002919B2 (ja) | 移動体高さ判別装置 | |
| JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| JP3497929B2 (ja) | 侵入物監視装置 | |
| EP0878965A2 (en) | Method for tracking entering object and apparatus for tracking and monitoring entering object | |
| JP2004058737A (ja) | 駅ホームにおける安全監視装置 | |
| Snidaro et al. | Automatic camera selection and fusion for outdoor surveillance under changing weather conditions | |
| KR101681104B1 (ko) | 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법 | |
| JP3577875B2 (ja) | 移動物体抽出装置 | |
| CN112651994A (zh) | 地面多目标跟踪方法 | |
| JP4628860B2 (ja) | 画像センサ | |
| Sharma et al. | Automatic vehicle detection using spatial time frame and object based classification | |
| JP3630703B2 (ja) | 物体監視装置 | |
| JPH0991433A (ja) | 物体監視装置 | |
| JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| Kwak et al. | Boundary detection based on supervised learning | |
| Tong et al. | Human positioning based on probabilistic occupancy map | |
| JP2009205695A (ja) | 対象個数検出装置および対象個数検出方法 | |
| Banerjee et al. | A novel technique to detect the number of ground vehicles along with respective speed of each vehicle from a given video | |
| JP3230292B2 (ja) | ３次元物体の形状測定装置、３次元物体の形状復元装置、３次元物体の形状測定方法、および、３次元物体の形状復元方法 | |
| Jin et al. | Real-time multi-view 3D object tracking in cluttered scenes | |
| Liu et al. | Robust real-time multiple object tracking in traffic scenes using an optical matrix range sensor | |
| Boucher et al. | 3D structure and motion recovery in a multisensor framework | |
| Suikki | Tracking motion in mineshafts: Using monocular visual odometry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20031201 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040108 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040205 |