JP2912629B2 - 移動物体の自動追尾装置 - Google Patents
移動物体の自動追尾装置Info
- Publication number
- JP2912629B2 JP2912629B2 JP1096997A JP9699789A JP2912629B2 JP 2912629 B2 JP2912629 B2 JP 2912629B2 JP 1096997 A JP1096997 A JP 1096997A JP 9699789 A JP9699789 A JP 9699789A JP 2912629 B2 JP2912629 B2 JP 2912629B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- imaging
- frame
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は移動物体をTVカメラ等の撮像装置につて撮
像し、これを画像処理することにより移動物体の位置を
求めこれを繰り返すことで、連続的に移動物体の自動追
尾を行なう装置に関するものである。
像し、これを画像処理することにより移動物体の位置を
求めこれを繰り返すことで、連続的に移動物体の自動追
尾を行なう装置に関するものである。
この発明は出願人が先に出願した特願昭63−277162号
に記載された発明の改良に関するものである。すなわ
ち、特開昭63−277162号では撮像した画像を予め定めら
れた固定値を基に２値化し、これにより追尾対象である
移動物体と背景とを識別する構成を取つていた。
に記載された発明の改良に関するものである。すなわ
ち、特開昭63−277162号では撮像した画像を予め定めら
れた固定値を基に２値化し、これにより追尾対象である
移動物体と背景とを識別する構成を取つていた。
この為背景の一部が移動物体と同様の輝度を含む場合
には、安定な移動物達の追尾が難しくなる場合があつ
た。
には、安定な移動物達の追尾が難しくなる場合があつ
た。
そこでこの発明は上記のような先行出願の構成を改良
して、移動物体を含む一フレームの撮像画面中の輝度を
所定のスレシヨールドレベルに基づく２値化像にするの
では無く、各輝度毎の画素数に比率による複数階調の多
値画像とすることで対象物体である移動物体が階調的に
強調された変換画像を生成し、さらに２値像処理で判別
した移動物体像を含む対象物領域を背景値に置き換えた
背景モデルを形成し、この背景モデルを差し引くことで
移動物体を抽出し、これにより移動物体のデータを生成
することで、背景中に存在する画素の輝度に影響を受け
ずに、より確実な移動物体の追尾を行うものである。
して、移動物体を含む一フレームの撮像画面中の輝度を
所定のスレシヨールドレベルに基づく２値化像にするの
では無く、各輝度毎の画素数に比率による複数階調の多
値画像とすることで対象物体である移動物体が階調的に
強調された変換画像を生成し、さらに２値像処理で判別
した移動物体像を含む対象物領域を背景値に置き換えた
背景モデルを形成し、この背景モデルを差し引くことで
移動物体を抽出し、これにより移動物体のデータを生成
することで、背景中に存在する画素の輝度に影響を受け
ずに、より確実な移動物体の追尾を行うものである。
この発明の移動物体の自動追尾装置によれば、移動物
体を撮像して映像信号を出力する撮像装置と、この撮像
装置からの撮像信号を処理する画像処理装置と、前記撮
像装置を支承し前記画像処理装置からの制御信号に基づ
いて撮像信号の撮像方向を制御する駆動台と、からなる
移動物体の自動追尾装置であつて、前記画像処理装置は
撮像フレームｎで撮像された原画像を当該原画像を構成
する各画素輝度を所定数のレベルに分割した評価基準を
作成し、当該評価基準に基づいて撮像フレームｎ＋１で
得られた原画像を変換処理してｎ＋１次の変換画像を作
成し、前記撮像フレームｎで得られた原画像を前記評価
基準で変換処理してｎ次の変換画像を作成し、当該ｎ次
の変換画像を予め初期設定された移動物体データで置き
換え処理してｎ次の背景モデルを作成し、前記ｎ＋１次
の変換画像から前記背景モデルを差分して移動物体画像
を抽出するよう構成された点に特徴がある。
体を撮像して映像信号を出力する撮像装置と、この撮像
装置からの撮像信号を処理する画像処理装置と、前記撮
像装置を支承し前記画像処理装置からの制御信号に基づ
いて撮像信号の撮像方向を制御する駆動台と、からなる
移動物体の自動追尾装置であつて、前記画像処理装置は
撮像フレームｎで撮像された原画像を当該原画像を構成
する各画素輝度を所定数のレベルに分割した評価基準を
作成し、当該評価基準に基づいて撮像フレームｎ＋１で
得られた原画像を変換処理してｎ＋１次の変換画像を作
成し、前記撮像フレームｎで得られた原画像を前記評価
基準で変換処理してｎ次の変換画像を作成し、当該ｎ次
の変換画像を予め初期設定された移動物体データで置き
換え処理してｎ次の背景モデルを作成し、前記ｎ＋１次
の変換画像から前記背景モデルを差分して移動物体画像
を抽出するよう構成された点に特徴がある。
以下、図示するこの発明の実施例により説明する。
第１図に実施例全体の構成ブロツク図を示した。ここ
では、TVカメラ等の撮像装置１が撮像装置架台２に支承
されて撮像方向調整自在となつており、さらにこの装置
には画像処理装置５、位置演算装置６及び架台制御装置
７とが設けられている。撮像装置１から得られる画像信
号３は次段に設けられた画像処理装置５に入力されて、
画像信号３内における移動物体の幾何学重心データ９が
算出される。
では、TVカメラ等の撮像装置１が撮像装置架台２に支承
されて撮像方向調整自在となつており、さらにこの装置
には画像処理装置５、位置演算装置６及び架台制御装置
７とが設けられている。撮像装置１から得られる画像信
号３は次段に設けられた画像処理装置５に入力されて、
画像信号３内における移動物体の幾何学重心データ９が
算出される。
さらに、前記撮像装置１はズーム機構（図示せず）を
内蔵しており、画像処理装置５内でのデジタル画像処理
に必要な程度までに移動物体を自動的にズーミングす
る。位置演算装置６は後に詳述するが、画像処理装置５
から入力される幾何学重心データからの移動物体の方位
角、角速度等の計測データ８を算出して、他の機器の制
御情報とすることができる。さらに、この位置演算装置
６は幾何学重心データから１フレームの画像信号中に幾
何学重心座標を算出して、架台制御装置７に出力する。
架台制御装置７は撮像装置１の方位角を制御するもので
あり、前記位置演算装置６からの入力信号から幾何学重
心が画面の中心に位置するよう撮像装置架台２に対して
架台制御信号を出力する。これにより、撮像装置１は移
動物体の画像を画面の中央で捉えるよう方位角が制御さ
れる。また駆動台制御装置７からは画像処理装置５を介
して位置演算装置６に対して撮像装置１の現在の撮像方
位を示す方位角信号が出力される。これにより、位置演
算装置６は撮像装置１の方位角信号及び画像画面中の幾
何学重心座標から移動物体の方位角、方位角速度などの
計測データ８を出力する。次に、第２図に示した画像処
理装置５の詳細構成図に基づいて、その構成を説明す
る。
内蔵しており、画像処理装置５内でのデジタル画像処理
に必要な程度までに移動物体を自動的にズーミングす
る。位置演算装置６は後に詳述するが、画像処理装置５
から入力される幾何学重心データからの移動物体の方位
角、角速度等の計測データ８を算出して、他の機器の制
御情報とすることができる。さらに、この位置演算装置
６は幾何学重心データから１フレームの画像信号中に幾
何学重心座標を算出して、架台制御装置７に出力する。
架台制御装置７は撮像装置１の方位角を制御するもので
あり、前記位置演算装置６からの入力信号から幾何学重
心が画面の中心に位置するよう撮像装置架台２に対して
架台制御信号を出力する。これにより、撮像装置１は移
動物体の画像を画面の中央で捉えるよう方位角が制御さ
れる。また駆動台制御装置７からは画像処理装置５を介
して位置演算装置６に対して撮像装置１の現在の撮像方
位を示す方位角信号が出力される。これにより、位置演
算装置６は撮像装置１の方位角信号及び画像画面中の幾
何学重心座標から移動物体の方位角、方位角速度などの
計測データ８を出力する。次に、第２図に示した画像処
理装置５の詳細構成図に基づいて、その構成を説明す
る。
この画像処理装置５には撮像フレームである1/30sec
ごとに撮像装置１からの画像信号３が入力され、第１画
像変換器22によつて処理されると共に１フレーム毎の未
処理の原画像を格納する原画像メモリ15に格納される。
この原画像メモリ15に格納されたデータは輝度ヒストグ
ラム演算器14と第２画像変換器23とに出力されて処理さ
れる。各輝度毎の評価値を算出する装置として、輝度ヒ
ストグラム演算器14がある。次に説明する評価値算出処
理は、時刻t1での画像信号が入力される前に実行され
る。輝度ヒストグラム演算器14は後述する画像演算装置
19からのTR領域信号と移動物体画像メモリ17からの１フ
レーム前（時刻t0）の移動物体領域信号29を入力し、原
画像メモリ15より読み出した１フレーム前（時刻t0）の
画像信号中の各輝度毎の画素数の比率を基に各輝度の評
価値Ｐ（i1）を求める。
ごとに撮像装置１からの画像信号３が入力され、第１画
像変換器22によつて処理されると共に１フレーム毎の未
処理の原画像を格納する原画像メモリ15に格納される。
この原画像メモリ15に格納されたデータは輝度ヒストグ
ラム演算器14と第２画像変換器23とに出力されて処理さ
れる。各輝度毎の評価値を算出する装置として、輝度ヒ
ストグラム演算器14がある。次に説明する評価値算出処
理は、時刻t1での画像信号が入力される前に実行され
る。輝度ヒストグラム演算器14は後述する画像演算装置
19からのTR領域信号と移動物体画像メモリ17からの１フ
レーム前（時刻t0）の移動物体領域信号29を入力し、原
画像メモリ15より読み出した１フレーム前（時刻t0）の
画像信号中の各輝度毎の画素数の比率を基に各輝度の評
価値Ｐ（i1）を求める。
ここで、i1は量子化した輝度であり、この実施例では64
階調としたのでi1＝０〜63で規定される。ここで この実施例では、Ｐ′（i1）＝63×Ｐ（i1）とし、各輝
度毎の評価値を０〜63の整数値に変換した。求めた評価
値はルツクアツプテーブル12に設定される。すなわち、
ルツクアツプテーブル12には64段階の評価値が設定され
る。
階調としたのでi1＝０〜63で規定される。ここで この実施例では、Ｐ′（i1）＝63×Ｐ（i1）とし、各輝
度毎の評価値を０〜63の整数値に変換した。求めた評価
値はルツクアツプテーブル12に設定される。すなわち、
ルツクアツプテーブル12には64段階の評価値が設定され
る。
このルツクアツプテーブル12の出力は第１画像変換器
22に接続されており、この第１画像変換器22はルツクア
ツプテーブル12の評価値に基づいて時刻t1の画像信号３
を変換して、多値画像からなる変換画像信号27を生成す
る。
22に接続されており、この第１画像変換器22はルツクア
ツプテーブル12の評価値に基づいて時刻t1の画像信号３
を変換して、多値画像からなる変換画像信号27を生成す
る。
また、背景モデルを生成するブロツク構成群として第
２画像変換器23、背景モデル作成器24が設けられてお
り、このうち第２画像変換器23は原画像メモリ15から未
処理の１フレーム前（時刻t0）の画像信号26を入力し、
ルツクアツプテーブル12に格納された前記評価値で変換
して変換画像信号28を背景モデル作成器24に出力する。
背景モデル作成器24は、移動物体画像メモリ17から１フ
レーム前（時刻t0）の移動物体領域信号29を入力し、変
換画像信号28中の移動物体領域を周囲の背景値に置き換
える処理を行う。この処理により背景モデル作成器24か
らは背景モデル信号30が出力される。
２画像変換器23、背景モデル作成器24が設けられてお
り、このうち第２画像変換器23は原画像メモリ15から未
処理の１フレーム前（時刻t0）の画像信号26を入力し、
ルツクアツプテーブル12に格納された前記評価値で変換
して変換画像信号28を背景モデル作成器24に出力する。
背景モデル作成器24は、移動物体画像メモリ17から１フ
レーム前（時刻t0）の移動物体領域信号29を入力し、変
換画像信号28中の移動物体領域を周囲の背景値に置き換
える処理を行う。この処理により背景モデル作成器24か
らは背景モデル信号30が出力される。
第１画像変換器22からの変換画像信号27と背景モデル
作成器24からの背景モデル30の入力を受ける差分器25
は、変換画像信号27から背景モデル30を差分して移動物
体の抽出された差分画像31を出力する。この差分器25に
は、全体の動作の説明の項でも明確にするが、変換画像
信号27に対して背景モデル24が１フレーム前の遅れた時
限のものを使用している。そこで、このフレーム差によ
る相互の画像のズレを修正する為に架台制御装置７から
のその時点での撮像方位10が入力されて、両フレーム間
のズレの修正が行われる。
作成器24からの背景モデル30の入力を受ける差分器25
は、変換画像信号27から背景モデル30を差分して移動物
体の抽出された差分画像31を出力する。この差分器25に
は、全体の動作の説明の項でも明確にするが、変換画像
信号27に対して背景モデル24が１フレーム前の遅れた時
限のものを使用している。そこで、このフレーム差によ
る相互の画像のズレを修正する為に架台制御装置７から
のその時点での撮像方位10が入力されて、両フレーム間
のズレの修正が行われる。
こうして得られさ差分画像31は画像演算装置19に入力
され、撮像方位信号10とともにｘ方向、ｙ方向撮影によ
り重心を算出して移動物体位置を把握することが出来
る。
され、撮像方位信号10とともにｘ方向、ｙ方向撮影によ
り重心を算出して移動物体位置を把握することが出来
る。
ここで、画像演算装置19は既に求められている時刻t0
における移動物体の位置（幾何学重心の座標）と大きさ
から第3A図に示したように、移動物体41を囲む矩形領域
42（以下MRと記す）とこれとともに次の撮像フレームｎ
＋１の時刻t1における移動物体の41の予想される移動範
囲領域43（以下、TR1と記す）を決定し、TR及びMR信号
とし、このうちMR信号20を移動物体領域判定器18に出力
し、TR信号21を輝度ヒストグラム演算器14にそれぞれ出
力する。
における移動物体の位置（幾何学重心の座標）と大きさ
から第3A図に示したように、移動物体41を囲む矩形領域
42（以下MRと記す）とこれとともに次の撮像フレームｎ
＋１の時刻t1における移動物体の41の予想される移動範
囲領域43（以下、TR1と記す）を決定し、TR及びMR信号
とし、このうちMR信号20を移動物体領域判定器18に出力
し、TR信号21を輝度ヒストグラム演算器14にそれぞれ出
力する。
また、移動物体の２値画像を作成するものとして２値
画像生成器11、２値画像メモリ16、移動物体領域判定器
18及び移動物体画像メモリ17のブロツクが設けられてい
る。このブロツク群のなかで、２値画像生成器11には前
述した差分画像31が入力されこの２値画像生成器11に設
定された所定のスレツシヨールド値と比較されて背景領
域と移動物体領域との２値画像に生成されて、２値画像
メモリ16に格納される。この２値画像メモリ16に格納さ
れたデータは移動物体領域判定器18に入力される。２値
画像上のノイズ等を除去する為、移動物体領域判定器18
では、画像演算装置19より、MR領域信号20を入力し、２
値画像の内、MR領域内のもののみを移動物体領域として
判定する。判定結果は、移動物体画像メモリ17に格納さ
れ、背景モデル作成器24での前述した背景モデルの生成
演算にもちいられる。ここで、この装置の起動時には撮
像装置１で撮像された画像信号３が初期設定されたルツ
クアツプテーブル12の内容によつて変換された変換画像
信号27が（差分対象がまだ存在しない為）２値画像生成
器11に入力されて処理され初期値としての移動物体画素
が移動物体画像メモリ17に格納されてイニシアライズさ
れる。
画像生成器11、２値画像メモリ16、移動物体領域判定器
18及び移動物体画像メモリ17のブロツクが設けられてい
る。このブロツク群のなかで、２値画像生成器11には前
述した差分画像31が入力されこの２値画像生成器11に設
定された所定のスレツシヨールド値と比較されて背景領
域と移動物体領域との２値画像に生成されて、２値画像
メモリ16に格納される。この２値画像メモリ16に格納さ
れたデータは移動物体領域判定器18に入力される。２値
画像上のノイズ等を除去する為、移動物体領域判定器18
では、画像演算装置19より、MR領域信号20を入力し、２
値画像の内、MR領域内のもののみを移動物体領域として
判定する。判定結果は、移動物体画像メモリ17に格納さ
れ、背景モデル作成器24での前述した背景モデルの生成
演算にもちいられる。ここで、この装置の起動時には撮
像装置１で撮像された画像信号３が初期設定されたルツ
クアツプテーブル12の内容によつて変換された変換画像
信号27が（差分対象がまだ存在しない為）２値画像生成
器11に入力されて処理され初期値としての移動物体画素
が移動物体画像メモリ17に格納されてイニシアライズさ
れる。
次に第3A図、第3B図及び第４図（ａ），（ｂ），
（ｃ）の例示に基づいて、画像演算装置19及び、ブロツ
ク11,16,18,17の２値画像処理部分の処理動作について
説明する。t0時点の映像信号の差分信号31は時刻t0＋1/
60secには２値画像生成器11により所定の判定用スレツ
シヨールドと比較され２値画像に生成された後、２値画
像メモリ16に格納されており、この画像のイメージは第
3A図のようになつている。ここで、画像演算装置19は既
に求められている時刻t0における移動物体の位置（幾何
学重心の座標）と大きさから第3A図に示したように移動
物体41の近傍を囲む矩形領域（以下MRと記す）と、これ
とともに次の撮像フレームｎ＋１の時刻t1における移動
物体41の予想される移動範囲43（以下TR1と記す）を決
定し、TR及びMR信号として輝度ヒストグラム演算器14及
び移動物体領域判定器18に出力する。
（ｃ）の例示に基づいて、画像演算装置19及び、ブロツ
ク11,16,18,17の２値画像処理部分の処理動作について
説明する。t0時点の映像信号の差分信号31は時刻t0＋1/
60secには２値画像生成器11により所定の判定用スレツ
シヨールドと比較され２値画像に生成された後、２値画
像メモリ16に格納されており、この画像のイメージは第
3A図のようになつている。ここで、画像演算装置19は既
に求められている時刻t0における移動物体の位置（幾何
学重心の座標）と大きさから第3A図に示したように移動
物体41の近傍を囲む矩形領域（以下MRと記す）と、これ
とともに次の撮像フレームｎ＋１の時刻t1における移動
物体41の予想される移動範囲43（以下TR1と記す）を決
定し、TR及びMR信号として輝度ヒストグラム演算器14及
び移動物体領域判定器18に出力する。
ここで、１フレーム間での撮像画面中の移動物体の変
移可能範囲について、以下に概説する。画面内での移動
物体の位置の変化両をΔX,20mspanの移動物体が最高340
m/sで画面を横切る方向に移動しているものとし、これ
を画面中の30画素程度で捉えたとすると、1/30sec毎の
ずれは340m/s×1/30sec×30画素/20m＝17画素となる。
すなわち、１フレーム間での位置の変化量ΔＸは、ΔＸ
≦17画素で規定される。
移可能範囲について、以下に概説する。画面内での移動
物体の位置の変化両をΔX,20mspanの移動物体が最高340
m/sで画面を横切る方向に移動しているものとし、これ
を画面中の30画素程度で捉えたとすると、1/30sec毎の
ずれは340m/s×1/30sec×30画素/20m＝17画素となる。
すなわち、１フレーム間での位置の変化量ΔＸは、ΔＸ
≦17画素で規定される。
以上の記載のようにt0からt1時までの１フレーム間で
の移動物達の撮像フレーム範囲内での移動予測範囲位置
は規定され、これに基づいて充分な余裕を持つた範囲TR
1設定することが出来る。こうして、画像演算装置19で
規定される範囲TRとMRとは、TR領域信号は輝度ヒストグ
ラム演算器14に入力されTR領域のヒストグラムを作成す
る際に使用される。一方、MR領域信号20は移動物体領域
判定器18で移動物体の占める領域判定に使用される。一
旦、移動物体画像メモリ17に格納され、1/30sec前の移
動物体領域信号29として輝度ヒストグラム演算器14と背
景モデル作成器24に供給される。
の移動物達の撮像フレーム範囲内での移動予測範囲位置
は規定され、これに基づいて充分な余裕を持つた範囲TR
1設定することが出来る。こうして、画像演算装置19で
規定される範囲TRとMRとは、TR領域信号は輝度ヒストグ
ラム演算器14に入力されTR領域のヒストグラムを作成す
る際に使用される。一方、MR領域信号20は移動物体領域
判定器18で移動物体の占める領域判定に使用される。一
旦、移動物体画像メモリ17に格納され、1/30sec前の移
動物体領域信号29として輝度ヒストグラム演算器14と背
景モデル作成器24に供給される。
輝度ヒストグラム演算器14は、原画像メモリ15の画像
の内移動物体領域とTRに関してヒストグラムHMR（ｉ）
（MR領域）とHTR1（TR1領域）を算出する。この各ヒス
トグラム例を第４図（ａ），（ｂ）に示した。ここで、
第４図（ａ）のMRのヒストグラムでは移動物体41の輝度
に該当する部分に画素数のピークが現れ、一方同図
（ｂ）のTR1のヒストグラムでは移動物体41のピークと
背景の輝度に該当する部分にも画素数のピークが現れ
る。こうして輝度ヒストグラム演算器14は、得られた２
つのヒストグラムから、 の演算を行い、MRおよびTR1の各領域に含まれる各輝度
毎の画素数の比率を求め、第４図（ｃ）に示したような
比率特性が得られる。
の内移動物体領域とTRに関してヒストグラムHMR（ｉ）
（MR領域）とHTR1（TR1領域）を算出する。この各ヒス
トグラム例を第４図（ａ），（ｂ）に示した。ここで、
第４図（ａ）のMRのヒストグラムでは移動物体41の輝度
に該当する部分に画素数のピークが現れ、一方同図
（ｂ）のTR1のヒストグラムでは移動物体41のピークと
背景の輝度に該当する部分にも画素数のピークが現れ
る。こうして輝度ヒストグラム演算器14は、得られた２
つのヒストグラムから、 の演算を行い、MRおよびTR1の各領域に含まれる各輝度
毎の画素数の比率を求め、第４図（ｃ）に示したような
比率特性が得られる。
ここで、第２図の構成に加えて、第５図のタイムスケ
ジユールを参照しながら、時刻t1に得られた画像信号か
ら対象物である移動物体の位置を算出する手順を順を追
つて説明する。ここで、予め時刻t0＋1/60secには時刻t
0における画像信号が原画像メモリ15に格納されてお
り、またその２値画像が２値画像メモリ16に備えられ、
時刻t0における移動物体の位置及び大きさは既に求まつ
ているものとする。
ジユールを参照しながら、時刻t1に得られた画像信号か
ら対象物である移動物体の位置を算出する手順を順を追
つて説明する。ここで、予め時刻t0＋1/60secには時刻t
0における画像信号が原画像メモリ15に格納されてお
り、またその２値画像が２値画像メモリ16に備えられ、
時刻t0における移動物体の位置及び大きさは既に求まつ
ているものとする。
a. 時刻t0＋1/60secから時刻t1迄の1/60sec間に行う処
理、 時刻t1の画像から移動物体の位置を求める為に、時刻
t0の画像の２つの領域HMR（i1）とHTR（i1）の輝度ヒス
トグラムから各輝度毎の画素数の比率を基に各輝度の評
価値Ｐ（i1）求め、64階調として輝度ヒストグラム演算
器14で算出し、ルツクアツプテーブル12に設定する。
理、 時刻t1の画像から移動物体の位置を求める為に、時刻
t0の画像の２つの領域HMR（i1）とHTR（i1）の輝度ヒス
トグラムから各輝度毎の画素数の比率を基に各輝度の評
価値Ｐ（i1）求め、64階調として輝度ヒストグラム演算
器14で算出し、ルツクアツプテーブル12に設定する。
b. 時刻t1からt1＋1/60secまでに行う処理 撮像装置１から送られてくる画像信号３は、第１画
像変換器22によりルツクアツプテーブル12の内容に従つ
て64階段に変換される。変換された変換画像信号27は移
動物体上に多く存在する輝度の画素が大きな値を（Ｐ
（i1）が大きい為）、また背景に上に多く存在する輝度
の画素が小さな値を（Ｐ（i1）が小さい為）有した画像
となり、結果として移動物体の強調された画像となる。
時刻t1の原画像のイメージを第６図に、これを変換した
画像のイメージを第７図に示した。（A:移動物体、B,C:
移動物体と等輝度の画素） 一方、これと同期して、１フレーム前の画像26（時
刻t0の画像）が原画像メモリ15から読み出され、第２画
像変換器23により、ルツクアツプテーブル12に内容に従
つて変換され、背景モデル作成器24に入力される。背景
モデル作成器24は移動物体メモリ17から１フレーム前の
画像（時刻t0の画像）内での移動物体領域29を読み出
し、変換した画像の中で移動物体領域部を周囲の背景値
の画素に置き換える処理を行う。この処理は、移動物体
の画像内での移動量が少なく一つのフレームのずれた２
画面間での位置の重なりを生じた場合でも移動物体を確
実に安定して抽出出来る用実行されるものである。置き
換える背景値データをＢとすると、 Ｂ＝移動物体領域周囲の背景部の背景部評価値の平均値
＋オフセツト（固定値）等により決定される。
像変換器22によりルツクアツプテーブル12の内容に従つ
て64階段に変換される。変換された変換画像信号27は移
動物体上に多く存在する輝度の画素が大きな値を（Ｐ
（i1）が大きい為）、また背景に上に多く存在する輝度
の画素が小さな値を（Ｐ（i1）が小さい為）有した画像
となり、結果として移動物体の強調された画像となる。
時刻t1の原画像のイメージを第６図に、これを変換した
画像のイメージを第７図に示した。（A:移動物体、B,C:
移動物体と等輝度の画素） 一方、これと同期して、１フレーム前の画像26（時
刻t0の画像）が原画像メモリ15から読み出され、第２画
像変換器23により、ルツクアツプテーブル12に内容に従
つて変換され、背景モデル作成器24に入力される。背景
モデル作成器24は移動物体メモリ17から１フレーム前の
画像（時刻t0の画像）内での移動物体領域29を読み出
し、変換した画像の中で移動物体領域部を周囲の背景値
の画素に置き換える処理を行う。この処理は、移動物体
の画像内での移動量が少なく一つのフレームのずれた２
画面間での位置の重なりを生じた場合でも移動物体を確
実に安定して抽出出来る用実行されるものである。置き
換える背景値データをＢとすると、 Ｂ＝移動物体領域周囲の背景部の背景部評価値の平均値
＋オフセツト（固定値）等により決定される。
時刻t0の画像を変換した画像のイメージを第８図、又
時刻t0の画像内での移動物体領域イメージを第９図に示
す。また、以上により求まつた時刻t0の背景モデルのイ
メージを第10図に示す。
時刻t0の画像内での移動物体領域イメージを第９図に示
す。また、以上により求まつた時刻t0の背景モデルのイ
メージを第10図に示す。
作成された背景モデル30は時刻t1での変換画像27と
同期して差分器25に入力され、各画素毎の評価値の差を
とることによつて、差分画像31が作成される。
同期して差分器25に入力され、各画素毎の評価値の差を
とることによつて、差分画像31が作成される。
Ｄ（x1,y1）＝Ｆ（x1,y1）−Ｇ（x1,y1） Ｆ（x1,y1）：時刻t1の変換画像の座標（x1,y1）の評価
値 Ｇ（x1,y1）：背景モデルの座標（x1,y1）の評価値 Ｄ（x1,y1）：求めた差分画像の座標（x1,y1）の評価値 ここで、求まつた差分画像では、背景部分のノイズの
低減された画像となつている。この得られた差分画像の
イメージを第11図に示す。撮像装置１のフレーム間での
方位変化により、２画面間での座標のずれを生じるがこ
れは差分器25によつて撮像位置方位10に基づいて補正さ
れる。
値 Ｇ（x1,y1）：背景モデルの座標（x1,y1）の評価値 Ｄ（x1,y1）：求めた差分画像の座標（x1,y1）の評価値 ここで、求まつた差分画像では、背景部分のノイズの
低減された画像となつている。この得られた差分画像の
イメージを第11図に示す。撮像装置１のフレーム間での
方位変化により、２画面間での座標のずれを生じるがこ
れは差分器25によつて撮像位置方位10に基づいて補正さ
れる。
画像演算装置19では得られた差分画像を基にｘ方
向、ｙ方向のプロジエクシヨンを作成し、その重心を求
める事で移動物体位置を得ることができる。このプロジ
エクシヨン作成時に各画素の評価値（多値）を用いるこ
とでノイズ等による影響の低減を図つている。
向、ｙ方向のプロジエクシヨンを作成し、その重心を求
める事で移動物体位置を得ることができる。このプロジ
エクシヨン作成時に各画素の評価値（多値）を用いるこ
とでノイズ等による影響の低減を図つている。
一方、得られた差分画像31は２値画像生成器11によ
り別途定められた一定のスレシヨールド値と比較されて
２値画像に変換され、２値画像メモリに格納される。ま
た、これと同時に画像演算装置19に入力され移動物体大
きさの算出処理に使用される。
り別途定められた一定のスレシヨールド値と比較されて
２値画像に変換され、２値画像メモリに格納される。ま
た、これと同時に画像演算装置19に入力され移動物体大
きさの算出処理に使用される。
こうした処理を繰り返すことで、安定的な移動物体の
追尾が行いうる。
追尾が行いうる。
この発明による、移動物体の自動追尾装置の実施例は
以上のとおりであり、追尾対象である移動物体の抽出に
背景モデルを用いることで、移動物体と同程度の輝度を
有する画素が背景上に存在していても安定的に移動物体
を抽出出来、また移動物体位置算出に単純化された２値
化を行つて画像を用いずに多値画像のまま算出するよう
に構成したことで、外乱ノイズの影響の低減を図つた。
以上のとおりであり、追尾対象である移動物体の抽出に
背景モデルを用いることで、移動物体と同程度の輝度を
有する画素が背景上に存在していても安定的に移動物体
を抽出出来、また移動物体位置算出に単純化された２値
化を行つて画像を用いずに多値画像のまま算出するよう
に構成したことで、外乱ノイズの影響の低減を図つた。
第１図はこの発明による移動物体の自動追尾装置の実施
例構成全体図、第２図は第１図の画像処理装置の詳細構
成ブロツク図、第3A図、第3B図はt0時における画像信号
による画像を表す概略図とt1時における画像の概略図、
第４図はそれぞれ輝度ヒストグラム判定過程での輝度ヒ
ストグラム図、第５図は動作のタイムスケジユール、第
６図の時刻t1の原画像、第７図は時刻t1の変換画像、第
８図は時刻t0の原画像、第９図は時刻t0の移動物体領
域、第10図は時刻t0の背景モデル、第11図は時刻t1の差
分画像である。１……撮像装置、２……撮像装置架台、
３……画像信号、４……架台制御信号、５……画像処理
装置、６……位置演算装置、７……架台制御装置、８…
…計測値出力、９……幾何学重心、10……撮像装置方
位、11……２値画像生成器、12……ルツクアツプテーブ
ル、14……輝度ヒストグラム、15……原画像メモリ、16
……２値画像メモリ、17……移動物体画像メモリ、18…
…移動物体領域判定器、19……画像判定器、20……MR信
号、21……TR信号、22……第１画像変換器、23……第２
画像変換器、24……背景モデル作成器、261/30sec前の
画像信号、28……1/30sec前の変換画像信号、29……1/3
0sec前の移動物体領域、40……撮像画面、41……移動物
体、42……移動物体の近傍を囲む矩形領域、43……次の
フレーム抽出の移動物体の変移予測範囲を含む領域。
例構成全体図、第２図は第１図の画像処理装置の詳細構
成ブロツク図、第3A図、第3B図はt0時における画像信号
による画像を表す概略図とt1時における画像の概略図、
第４図はそれぞれ輝度ヒストグラム判定過程での輝度ヒ
ストグラム図、第５図は動作のタイムスケジユール、第
６図の時刻t1の原画像、第７図は時刻t1の変換画像、第
８図は時刻t0の原画像、第９図は時刻t0の移動物体領
域、第10図は時刻t0の背景モデル、第11図は時刻t1の差
分画像である。１……撮像装置、２……撮像装置架台、
３……画像信号、４……架台制御信号、５……画像処理
装置、６……位置演算装置、７……架台制御装置、８…
…計測値出力、９……幾何学重心、10……撮像装置方
位、11……２値画像生成器、12……ルツクアツプテーブ
ル、14……輝度ヒストグラム、15……原画像メモリ、16
……２値画像メモリ、17……移動物体画像メモリ、18…
…移動物体領域判定器、19……画像判定器、20……MR信
号、21……TR信号、22……第１画像変換器、23……第２
画像変換器、24……背景モデル作成器、261/30sec前の
画像信号、28……1/30sec前の変換画像信号、29……1/3
0sec前の移動物体領域、40……撮像画面、41……移動物
体、42……移動物体の近傍を囲む矩形領域、43……次の
フレーム抽出の移動物体の変移予測範囲を含む領域。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/70 ３３０Ｑ (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 5/232 H04N 7/18 G06T 1/00 G08B 13/196,15/00
Claims (3)
- 【請求項１】移動物体を撮像して映像信号を出力する撮
像装置と、当該撮像装置からの撮像信号を処理する画像
処理装置と、前記撮像装置を支承し移動物体を撮像した
時の撮像装置の撮像方向をその時の撮像装置からの撮像
信号を処理して得られる移動物体の画面内位置で補正し
て得られる移動物体方位を制御信号として撮像装置の撮
像方向を制御する駆動台と、からなる移動物体の自動追
尾装置において、 前記画像処理装置は撮像フレームｎで撮像された原画像
を当該原画像を構成する各画素輝度を所定数のレベルに
分割して、前記撮像装置の撮像フレームｎでの移動物体
領域の輝度ヒストグラムをHMRとし、また撮像フレーム
ｎ＋１の移動物体の予測変移位置を含む領域の輝度ヒス
トグラムをHTRとし、これらから各輝度毎にHMRとHTRに
存在する画素数の比率を求め、HMRに存在する比率の高
い輝度を高輝度な階調に、また比率の低い輝度を低輝度
な階調に割り当てる評価基準を作成する手段と、当該評
価基準に基づいて撮像フレームｎ＋１で得られた原画像
の各輝度を評価基準の階調に置き換える変換処理をして
撮像フレームｎ＋１の多値変換画像を作成する手段と、
前記撮像フレームｎで得られた原画像の各輝度を前記評
価基準の階調に置き換える変換処理をして撮像フレーム
ｎの多値変換画像を作成する手段と、当該撮像フレーム
ｎの多値変換画像を予め初期設定された移動物体データ
で置き換え処理して撮像フレームｎの背景モデルを作成
する手段と、前記撮像フレームｎ＋１の多値変換画像か
ら前記背景モデルを差分して所定値と比較して２値化し
て移動物達画像を抽出する手段とを有することを特徴と
する、 移動物体の自動追尾装置。 - 【請求項２】請求項（１）において、前記初期設定され
た移動物体データは、既抽出である撮像フレームｎの前
記差分画像を、所定のスレッショールド値と比較して２
値化し、得られた２値画像から更新されることを特徴と
する移動物体の自動追尾装置。 - 【請求項３】請求項（１）において、前記撮像フレーム
ｎ＋１の多値変換画像から前記撮像フレームｎの背景モ
デルの差分に際しては、撮像フレームｎの撮像時の前記
撮像装置の撮像方位と撮像フレームｎ＋１の撮像方位と
の方位差を画像上の位置差に換算し、撮像フレームｎの
背景画像を撮像フレームｎ＋１の撮像方位で撮像した画
像の背景と一致する位置に修正して差分することを特徴
とする移動物体の自動追尾装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1096997A JP2912629B2 (ja) | 1989-04-17 | 1989-04-17 | 移動物体の自動追尾装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1096997A JP2912629B2 (ja) | 1989-04-17 | 1989-04-17 | 移動物体の自動追尾装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02274179A JPH02274179A (ja) | 1990-11-08 |
| JP2912629B2 true JP2912629B2 (ja) | 1999-06-28 |
Family
ID=14179838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1096997A Expired - Lifetime JP2912629B2 (ja) | 1989-04-17 | 1989-04-17 | 移動物体の自動追尾装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2912629B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003116139A (ja) * | 2001-10-03 | 2003-04-18 | Olympus Optical Co Ltd | 映像配信サーバ及び映像受信クライアントシステム |
-
1989
- 1989-04-17 JP JP1096997A patent/JP2912629B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02274179A (ja) | 1990-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7551203B2 (en) | Picture inputting apparatus using high-resolution image pickup device to acquire low-resolution whole pictures and high-resolution partial pictures | |
| US8089515B2 (en) | Method and device for controlling auto focusing of a video camera by tracking a region-of-interest | |
| US6784927B1 (en) | Image processing apparatus and image processing method, and storage medium | |
| JP3866957B2 (ja) | 画像合成装置 | |
| JPH1166317A (ja) | 顔映像の目位置検出装置及び方法 | |
| JPH11112956A (ja) | 画像合成通信装置 | |
| JPH10126721A (ja) | 動画像検索用情報生成装置 | |
| KR960002548B1 (ko) | 특정 화상의 추출 방법 및 시스템 | |
| JP2912629B2 (ja) | 移動物体の自動追尾装置 | |
| JPH06268894A (ja) | 自動撮像装置 | |
| JP5300413B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム | |
| US4858014A (en) | Random scan system | |
| JP3631541B2 (ja) | ステレオ画像による物体の移動追跡方法 | |
| JPH1098644A (ja) | 動き検出装置 | |
| JP2667885B2 (ja) | 移動物体の自動追尾装置 | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JPH07128017A (ja) | 距離測定装置 | |
| JP4363152B2 (ja) | 撮影画像投影装置、撮影画像投影装置の画像処理方法及びプログラム | |
| JPH05227463A (ja) | 画像処理装置 | |
| JPH04314274A (ja) | 映像ぶれ補正機能付ビデオカメラ | |
| JPH10336506A (ja) | 画像処理システム、追尾システム，追尾方法，記憶媒体 | |
| JP3427354B2 (ja) | 映像２値化法及び２値化画像生成法 | |
| JP2000175101A (ja) | 自動追尾装置 | |
| JP2006031171A (ja) | 擬似的３次元データ生成方法、装置、プログラム、および記録媒体 | |
| JPS61126407A (ja) | デイザ法を用いた移動体の追跡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080409 Year of fee payment: 9 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090409 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090409 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100409 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100409 Year of fee payment: 11 |