JPH11150676A - 画像処理装置及び追尾装置 - Google Patents

画像処理装置及び追尾装置

Info

Publication number
JPH11150676A
JPH11150676A JP9314995A JP31499597A JPH11150676A JP H11150676 A JPH11150676 A JP H11150676A JP 9314995 A JP9314995 A JP 9314995A JP 31499597 A JP31499597 A JP 31499597A JP H11150676 A JPH11150676 A JP H11150676A
Authority
JP
Japan
Prior art keywords
unit
area
image
color difference
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9314995A
Other languages
English (en)
Inventor
Masaki Haranishi
正樹 原西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP9314995A priority Critical patent/JPH11150676A/ja
Publication of JPH11150676A publication Critical patent/JPH11150676A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 追尾したい対象物以外の対象物が撮像領域内
に入っても、目的の対象物を追尾できるようにする。 【解決手段】 追尾したい被写体を画面上で矩形枠で囲
んで特定する(S1)。指定された領域の色差データか
らヒストグラムを作成し(S2)、追尾したい被写体の
色の特徴を示すテンプレートとして記憶する(S3)。
近隣の探索領域について色差データのヒストグラムを作
成し(S4)、テンプレートとの相互相関を計算する
(S5)。相関値がしきい値より大きければ(S6)、
追尾対象物を探知したことになり、対象物の移動量とそ
の方向から雲台の制御量を計算し(S7)、雲台を制御
して撮像部を追尾対象物に向ける(S8)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置及び
追尾装置に関し、より具体的には、撮像装置において所
定の対象物を追尾する画像処理装置及び追尾装置に関す
る。
【0002】
【従来の技術】従来、画像処理により対象物を追尾する
追尾システムでは、以下のように、撮影方向を制御して
特定の被写体を追尾するようにしていた。図2は、従来
例の概略構成ブロック図を示す。撮像装置110は、撮
像部112と雲台114とからなり、撮像部112から
出力される画像信号は、画像処理装置122のデコーダ
118に入力され、輝度信号(Y)と色差信号(UV)
に分離される。A/D変換器120はデコーダ118の
出力をディジタル信号に変換してメモリ122に格納す
る。メモリ制御回路124がメモリ122の書込みと読
み出しを制御する。動き検出回路126は、撮影画像を
逐次的に比較して、指定の被写体の動きを検出する。動
き検出回路126により検出された動き情報は、システ
ム制御回路128に供給され、システム制御回路128
はその動き情報に従って雲台114を駆動して、撮像部
112が指定の被写体を追尾するように撮像部112の
向きを調整する。
【0003】
【発明が解決しようとする課題】従来例では、動いてい
る対象物を追尾できるが、例えば撮影視野内に、追尾し
たい対象物とは別の対象物が入ってきた場合、誤って別
の対象物を追尾してしまうという問題点があった。
【0004】本発明は、このような問題点を解決した画
像処理装置及び追尾装置を提示することを目的とする。
【0005】
【課題を解決するための手段】本発明に係る画像処理装
置は、撮像部と、前記撮像部の撮像方向を制御する制御
部と、前記撮像部から出力された画像信号を表示する画
像表示部と、前記画像表示部から追尾対象物を指定する
領域指定手段と、前記撮像部から出力された画像信号中
より所定の色信号成分を検出する検出部と、前記画像信
号を記憶するメモリ部と、前記メモリ部を制御するメモ
リ制御部と、前記メモリ部に記憶された画像信号から色
差信号の処理を行なう色差信号処理部と、前記色差信号
処理部の結果に基づき、前記領域指定手段によって指定
された領域内の色差信号情報の特徴の画面内における位
置の変化から前記制御部の制御量を計算するシステム制
御部とを具備することを特徴とする。
【0006】本発明に係る追尾装置は、入力画像信号か
ら追尾対象物を領域指定する領域指定手段と、前記入力
画像信号の指定の領域の色情報のヒストグラムを作成す
るヒストグラム作成手段と、前記領域指定手段により指
定された領域の色情報のヒストグラムを追尾対象物のテ
ンプレートして記憶する記憶手段と、所定の1以上の探
索領域について前記ヒストグラム作成手段により作成さ
れるヒストグラムと前記テンプレートとしてのヒストグ
ラムの相関をとり、追尾対象物を探知する探知手段と、
前記探知手段の演算結果に従い撮像方向を制御する制御
手段とからなることを特徴とする。
【0007】従来例の動き検出手段に代わって色情報の
ヒストグラムにより対象物を特定するので、追尾したい
対象物以外の対象物が撮像領域内に入っても誤認しにく
くなり、目的の対象物だけを追尾できるようになる。
【0008】
【発明の実施の形態】以下、図面を参照して、本発明の
実施例を詳細に説明する。
【0009】図1は、本発明の一実施例の概略構成ブロ
ック図を示す。撮像装置10は、撮像部12と撮像部1
2の撮影方向を変更する支持部としての雲台14とから
なる。画像処理装置16のデコーダ18は、撮像部12
から出力される画像信号を輝度信号(Y)と色差信号
(UV)に分離し、A/D変換器20は、デコーダ18
の色差信号出力をディジタル信号に変換して、メモリ2
2に格納する。メモリ制御回路24はメモリ22の書込
みと読み出しを制御する。
【0010】画像表示装置26は撮像部12から出力さ
れる画像信号をモニタディスプレイ等に映像表示する。
領域指定装置28はマウスなどのポインティング・デバ
イスからなり、画像表示装置26の画面上の任意の領域
を指定可能である。領域指定装置28による指定データ
はシステム制御回路30に印加される。システム制御回
路30は、詳細は後述するが、領域指定装置28により
指定された領域内の対象物を色差信号処理装置32に記
憶させ、その記憶情報をテンプレートとして、以後、画
面内において同じ色調の対象物をサーチし、色差信号処
理装置32に追尾させる。
【0011】図3は、本実施例の動作フローチャートを
示す。追尾したい被写体を画像表示装置26の画面上で
領域指定装置28により矩形枠で囲んで特定する(S
1)。領域指定装置28により指定された領域の位置情
報が、領域指定装置28からシステム制御回路30に転
送される。システム制御回路30は、メモリ制御回路2
4を制御して、指定された領域の画像データをメモリ2
2から色差信号処理装置32に読み出す。色差信号処理
装置32は、メモリ22からの色差データのヒストグラ
ムを作成し(S2)、追尾したい被写体の色の特徴を示
すテンプレートとして記憶する(S3)。
【0012】作成される色差ヒストグラムは、図4
(b)に示すように、追尾領域の各画素での色差データ
とその頻度を3次元的に表現したものである。図4
(a)は図4(b)に示す色差ヒストグラムを真上から
見た図を示し、図4(c)は画像表示装置26の画面例
を示す。図4(a)のP点の座標(u,v)は、図4
(c)の追尾領域にあるP点の色差データを示す。
【0013】これまでは準備段階であり、以後、追尾を
開始する。先ず、テンプレートを作成したのと同じ位置
の領域の色差データをメモリ22から色差信号処理装置
32に読み出し、色差信号処理装置32がその色差ヒス
トグラムを作成する(S4)。なお、メモリ22の画像
データは、時事刻々と更新されている。作成した色差ヒ
ストグラムと前述のテンプレートとの相互相関を計算す
る(S5)。追尾しようとする対象物が動いていなけれ
ぱ、相互相関値は高くなる。
【0014】例えば、図5に示すように、図5(1)に
示す第1フレームで追尾対象物のテンプレートを作成
し、図5(2)に示す第2フレームで追尾対象物を探索
する場合を想定する。図5(2)の探索位置0が最初の
選択領域であり、これを中心として近傍領域である探索
位置1の領域の色差ヒストグラムを新たに作成し、これ
をh1(u,v)とする。テンプレートの色差ヒストグ
ラムをhorg(u,v)とすれば、これら2つの領域
の相関関数R(u,v)は、次の式で表現される。
【0015】
【数1】 R(u,v)=h1(u,v)horg
(u,v) その相関値は、
【0016】
【数2】
【0017】と表現され、簡単な積和演算で算出でき
る。
【0018】得られた相関値が、ある経験的に決められ
たしきい値よりも大きければ(S6)、探索領域に追尾
対象物が存在することになり、対象物の移動量とその方
向から雲台14の制御量を計算し(S7)、雲台14を
制御して撮像部12を追尾対象物に向ける(S8)。
【0019】もし探索領域1の相関値がしきい値を超え
なければ(S6)、次に、図5(2)に示すフレームの
探索領域2の色差ヒストグラムh2(u、v)を作成し
(S4)、先ほどと同様に相関値を計算して、しきい値
と比較する(S6)。以下同様にして、探索領域に追尾
対象物が見つかるまで、順次、図5(2)の探索領域
3,4,5・・・を探索する。
【0020】追尾対象物を変更したい場合には(S
9)、領域指定手装置28により新たな追尾対象物を含
む領域を指定し(S4)、これまでと同様なプロセスを
繰り返して追尾対象物を探索する。
【0021】図6は、本実施例の別の動作フローチャー
トを示す。領域指定装置28により追尾対象物を選択し
(S11)、その選択領域の色差ヒストグラムを作成し
(S12)、これを追尾対象物の特徴を示すテンプレー
トとしてメモリに記憶する(S13)。撮像領域を図7
に示すように適当な幅の短形領域に区切り、左端の矩形
領域から順に色差ヒストグラムを作成する(S14)。
各矩形領域の色差ヒストグラムとテンプレートの色差ヒ
ストグラムとの相互相関をとり(S15)、各相関値を
メモリに記憶する(S16)。この時、どの場所の相関
値かが後でも分るように、探索領域の位置座標も記憶す
る。全部の探索領域について相関値を計算し、その探索
領域の位置情報と共にメモリに記憶したら(S17)、
一番大きな相関値を持つ探索領域を検索し(S18)、
その探索領域に撮像12を向けるのに必要な雲台14の
移動量と方向を計算する(S19)。そして、計算結果
に基づき雲台14を制御する(S20)。
【0022】追尾対象物を再設定したい場合(S2
1)、領域指定装置28により再度、追尾対象物を設定
し(S11)、上述のプロセスを繰り返せばよい。
【0023】上記実施例では、テンプレート画像と入力
画像との間の相関演算をするにあたり、色差信号のヒス
トグラムで特徴を比較しているので、ノイズや移動によ
る形状のわずかな変位などによって精度が低下すること
がなく、他の被写体との識別能力も高くなり、常に安
定、且つ高精度の追尾を行なうことができる。
【0024】また、画面を複数のブロックに分割し、ブ
ロック毎の相関演算を行なっているので、処理が容易に
なり、演算規模を小さくすることができ、結果として演
算時間を短縮できる。
【0025】
【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、色差ヒストグラムで追尾対象物を
特定し、色差ヒストグラムの相互相関により追尾対象物
を探索するので追尾対象物を正確に追尾できる。また、
追尾したい対象物以外の対象物が撮像範囲内に入って
も、誤認せずに目的の対象物だけを追尾できる。
【図面の簡単な説明】
【図1】 本発明の一実施例の概略構成ブロック図であ
る。
【図2】 従来例の概略構成ブロック図である。
【図3】 本実施例の動作フローチャートである。
【図4】 色差信号処理装置32で作成される色差ヒス
トグラムの説明図である。
【図5】 追尾対象物と探索領域の関係の説明図であ
る。
【図6】 本実施例の別の動作フローチャートである。
【図7】 図6に示すフローチャートにおける追尾対象
物と探索領域の関係の説明図である。
【符号の説明】
10:撮像装置 12:撮像部 14:雲台部 16:画像処理装置 18:デコーダ 20:A/D変換器 22:メモリ 24:メモリ制御回路 26:画像表示装置 28:領域指定装置 30:システム制御回路 32:色差信号処理装置 110:撮像装置 112:撮像部 114:雲台部 116:画像処理う装置 118:デコーダ 120:A/D変換器 122:メモリ 124:メモリ制御回路 126:動き検出回路 128:システム制御回路

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 撮像部と、 前記撮像部の撮像方向を制御する制御部と、 前記撮像部から出力された画像信号を表示する画像表示
    部と、 前記画像表示部から追尾対象物を指定する領域指定手段
    と、 前記撮像部から出力された画像信号中より所定の色信号
    成分を検出する検出部と、 前記画像信号を記憶するメモリ部と、 前記メモリ部を制御するメモリ制御部と、 前記メモリ部に記憶された画像信号から色差信号の処理
    を行なう色差信号処理部と、 前記色差信号処理部の結果に基づき、前記領域指定手段
    によって指定された領域内の色差信号情報の特徴の画面
    内における位置の変化から前記制御部の制御量を計算す
    るシステム制御部とを具備することを特徴とする画像処
    理装置。
  2. 【請求項2】 前記色信号成分は、色差信号である請求
    項1に記載の画像処理装置。
  3. 【請求項3】 前記色差信号処理部は、色差信号のヒス
    トグラムを作成する処理を行なうように構成されている
    請求項2に記載の画像処理装置
  4. 【請求項4】 さらに画面内の任意の領域の画像を指定
    する領域指定手段を備え、前記システム制御部は、前記
    領域指定手段によって指定された領域の前記色差信号の
    ヒストグラムを演算し、そのヒストグラムを特徴として
    前記撮像部より出力される画像との相関演算を行ない、
    最大の相関値の得られる位置の変化から前記特徴の位置
    の変化を検出するように構成されている請求項3に記載
    の画像処理装置。
  5. 【請求項5】 前記システム制御部は、画面内を複数の
    ブロックに分割し、前記特徴を前記各ブロック内の画像
    とそれぞれ相関演算し、ブロック単位で特徴の移動を検
    出するように構成されている請求項4に記載の画像処理
    装置。
  6. 【請求項6】 入力画像信号から追尾対象物を領域指定
    する領域指定手段と、 前記入力画像信号の指定の領域の色情報のヒストグラム
    を作成するヒストグラム作成手段と、 前記領域指定手段により指定された領域の色情報のヒス
    トグラムを追尾対象物のテンプレートして記憶する記憶
    手段と、 所定の1以上の探索領域について前記ヒストグラム作成
    手段により作成されるヒストグラムと前記テンプレート
    としてのヒストグラムの相関をとり、追尾対象物を探知
    する探知手段と、 前記探知手段の演算結果に従い撮像方向を制御する制御
    手段とからなることを特徴とする追尾装置。
  7. 【請求項7】 前記探知手段が、前画面での前記追尾対
    象物の位置の近傍の探索領域について前記ヒストグラム
    の相関をとり、所定しきい値以上の相関値のとき、追尾
    対象物を探知したと判断し、所定しきい値未満の相関値
    のときには次の近傍の探索領域について同様の処理を繰
    り返す請求項6に記載の追尾装置。
  8. 【請求項8】 前記探知手段が、前画面での前記追尾対
    象物の位置の近傍の複数の探索領域について前記ヒスト
    グラムの相関をとり、最大の相関値を検索する請求項6
    に記載の追尾装置。
JP9314995A 1997-11-17 1997-11-17 画像処理装置及び追尾装置 Withdrawn JPH11150676A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9314995A JPH11150676A (ja) 1997-11-17 1997-11-17 画像処理装置及び追尾装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9314995A JPH11150676A (ja) 1997-11-17 1997-11-17 画像処理装置及び追尾装置

Publications (1)

Publication Number Publication Date
JPH11150676A true JPH11150676A (ja) 1999-06-02

Family

ID=18060151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9314995A Withdrawn JPH11150676A (ja) 1997-11-17 1997-11-17 画像処理装置及び追尾装置

Country Status (1)

Country Link
JP (1) JPH11150676A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010240A (ja) * 2000-06-21 2002-01-11 Matsushita Electric Ind Co Ltd 監視システム
JP2003507796A (ja) * 1999-08-17 2003-02-25 ナショナル・インストゥルメンツ・コーポレーション ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法
JP2007096480A (ja) * 2005-09-27 2007-04-12 Konica Minolta Holdings Inc 対象物追跡装置及び対象物追跡方法
WO2008032860A1 (en) * 2006-09-13 2008-03-20 Ricoh Company, Ltd. Imaging device and subject detection method
US7378816B2 (en) 2004-09-03 2008-05-27 Siemens Energy & Automation, Inc. System and method for confirming a detection of low voltage and shorted SCRs
JP2008193196A (ja) * 2007-02-01 2008-08-21 Casio Comput Co Ltd 撮像装置および指定音声出力方法
JP2009063689A (ja) * 2007-09-05 2009-03-26 Nikon Corp 焦点検出装置および撮像装置
JP2009538558A (ja) * 2006-05-22 2009-11-05 アクシス アクチボラグ ビデオ監視カメラが検出した対象物の特性を識別する方法および機器
US7650015B2 (en) * 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
JP2010197968A (ja) * 2009-02-27 2010-09-09 Nikon Corp 合焦評価装置、カメラおよびプログラム
US7796161B2 (en) 2004-06-25 2010-09-14 Canon Kabushiki Kaisha Camera control apparatus, method for controlling camera, and storage medium
JP2011134020A (ja) * 2009-12-22 2011-07-07 Canon Inc 画像処理装置及びその制御方法
JP2011134019A (ja) * 2009-12-22 2011-07-07 Canon Inc 画像処理装置及びその制御方法
CN116228600A (zh) * 2023-05-08 2023-06-06 江苏慕藤光精密光学仪器有限公司 图像处理方法及相关设备

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989445B2 (en) 1996-07-26 2015-03-24 Image Processing Technologies, LLC Image processing apparatus and method
US9042602B2 (en) 1997-07-22 2015-05-26 Image Processing Technologies, LLC Image processing apparatus and method
US7650015B2 (en) * 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
JP2003507796A (ja) * 1999-08-17 2003-02-25 ナショナル・インストゥルメンツ・コーポレーション ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法
JP2002010240A (ja) * 2000-06-21 2002-01-11 Matsushita Electric Ind Co Ltd 監視システム
US7796161B2 (en) 2004-06-25 2010-09-14 Canon Kabushiki Kaisha Camera control apparatus, method for controlling camera, and storage medium
US7378816B2 (en) 2004-09-03 2008-05-27 Siemens Energy & Automation, Inc. System and method for confirming a detection of low voltage and shorted SCRs
JP2007096480A (ja) * 2005-09-27 2007-04-12 Konica Minolta Holdings Inc 対象物追跡装置及び対象物追跡方法
US8478040B2 (en) 2006-05-22 2013-07-02 Axis Ab Identification apparatus and method for identifying properties of an object detected by a video surveillance camera
US8472714B2 (en) 2006-05-22 2013-06-25 Axis Ab Identification apparatus and method for identifying properties of an object detected by a video surveillance camera
JP2009538558A (ja) * 2006-05-22 2009-11-05 アクシス アクチボラグ ビデオ監視カメラが検出した対象物の特性を識別する方法および機器
US8358350B2 (en) 2006-09-13 2013-01-22 Ricoh Company, Ltd. Imaging device and subject detection method
US8830346B2 (en) 2006-09-13 2014-09-09 Ricoh Company, Ltd. Imaging device and subject detection method
JP2008099246A (ja) * 2006-09-13 2008-04-24 Ricoh Co Ltd 撮像装置および被写体検出方法
WO2008032860A1 (en) * 2006-09-13 2008-03-20 Ricoh Company, Ltd. Imaging device and subject detection method
JP2008193196A (ja) * 2007-02-01 2008-08-21 Casio Comput Co Ltd 撮像装置および指定音声出力方法
JP2009063689A (ja) * 2007-09-05 2009-03-26 Nikon Corp 焦点検出装置および撮像装置
JP2010197968A (ja) * 2009-02-27 2010-09-09 Nikon Corp 合焦評価装置、カメラおよびプログラム
JP2011134020A (ja) * 2009-12-22 2011-07-07 Canon Inc 画像処理装置及びその制御方法
JP2011134019A (ja) * 2009-12-22 2011-07-07 Canon Inc 画像処理装置及びその制御方法
US8355537B2 (en) 2009-12-22 2013-01-15 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
CN116228600A (zh) * 2023-05-08 2023-06-06 江苏慕藤光精密光学仪器有限公司 图像处理方法及相关设备
CN116228600B (zh) * 2023-05-08 2023-08-25 江苏慕藤光精密光学仪器有限公司 图像处理方法及相关设备

Similar Documents

Publication Publication Date Title
US7221776B2 (en) Video stabilizer
US20100079624A1 (en) Image processing apparatus, image processing method, imaging apparatus
KR100676232B1 (ko) 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JPH11150676A (ja) 画像処理装置及び追尾装置
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JPH08191411A (ja) シーン判別方法および代表画像記録・表示装置
JP2010021943A (ja) 撮像装置
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JPH0738796A (ja) 自動合焦装置
JP2012073997A (ja) 物体追尾装置、物体追尾方法およびそのプログラム
JPH10126721A (ja) 動画像検索用情報生成装置
JP2001243478A (ja) 目標物体追尾装置
JP2000155839A (ja) 標識領域画像抽出方法、装置、標識領域画像抽出プログラムを記録した記録媒体
JP4716266B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP3828096B2 (ja) 物体追跡装置
JP2667885B2 (ja) 移動物体の自動追尾装置
US7099394B2 (en) Image processing method and apparatus, program, and storage medium
JPH09265538A (ja) 自動追尾装置
JPH10188145A (ja) 自動ズーム監視装置
JPH10336506A (ja) 画像処理システム、追尾システム,追尾方法,記憶媒体
JPH06153047A (ja) ビデオカメラシステム
KR102669621B1 (ko) 지능형 고해상도 내시경 영상을 획득하여 저장하는 영상 제공 방법 및 장치
JP2000175101A (ja) 自動追尾装置
JP2001092976A (ja) 移動体の検知方法
JPH06333048A (ja) 動画像処理装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20050201