JP3610604B2 - ビデオカメラの被写体追尾装置及び追尾方法 - Google Patents

ビデオカメラの被写体追尾装置及び追尾方法 Download PDF

Info

Publication number
JP3610604B2
JP3610604B2 JP27593894A JP27593894A JP3610604B2 JP 3610604 B2 JP3610604 B2 JP 3610604B2 JP 27593894 A JP27593894 A JP 27593894A JP 27593894 A JP27593894 A JP 27593894A JP 3610604 B2 JP3610604 B2 JP 3610604B2
Authority
JP
Japan
Prior art keywords
subject
screen
hue
tracking
feature pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27593894A
Other languages
English (en)
Other versions
JPH08116487A (ja
Inventor
直泰 細沼
潤 永井
忠房 富高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP27593894A priority Critical patent/JP3610604B2/ja
Publication of JPH08116487A publication Critical patent/JPH08116487A/ja
Application granted granted Critical
Publication of JP3610604B2 publication Critical patent/JP3610604B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【産業上の利用分野】
この発明は、被写体位置を例えば画面の中央に位置させるようなビデオカメラの被写体追尾装置及び追尾方法に関する。
【0002】
【従来の技術】
パン、チルト機構を用いてビデオカメラを被写体の動きに追尾して動かし、被写体を常時表示画面の中央に位置させるように制御するビデオカメラの追尾システムが提案されている。従来のこのようなビデオカメラの追尾システムでは、被写体の特徴を抽出して被写体の位置を検出し、画面の中央に対する被写体の位置のずれ量を求め、このずれ量をなくすように、パニング及びチルティングモータを制御している。
【0003】
つまり、図8は、従来の追尾システムにおける画面中心に対する被写体の位置ずれ量と、モータ制御量との関係を示すものである。図8において、横軸が画面中心に対する被写体との位置ずれ量を示し、縦軸がパニング及びチルティングモータの制御量を示している。図8に示すように、パニング及びチルティングモータは、被写体の画面中心からの位置ずれに対して、反対の方向に制御される。これにより、被写体が常に画面の中心に制御される。
【0004】
【発明が解決しようとする課題】
従来では、画面中心に対する被写体のずれとモータ制御量との関係が、ズーム位置に関係なく、一定とされている。ところが、画面中心に対する被写体のずれとモータ制御量との関係をズーム位置に関係なく一定にすると、ズーム倍率が高い場合に、被写体の動きに対する反応が過敏になり、制御が不安定になる。反対に、ズーム倍率が低い場合に、動作が緩慢になり、被写体が画面の中央部に寄りずらく、被写体を画面外に逃しやすい。
【0005】
したがって、この発明の目的は、ズーム倍率に応じた適切なサーボゲインで追尾制御を行なえるようにしたビデオカメラの被写体追尾装置及び追尾方法を提供することにある。
【0006】
【課題を解決するための手段】
この発明は、撮像信号に基づき画素毎の色相及び飽和度を求める手段と、飽和度が所定値以上の色相を用いて画面上の色相特徴パターンを求める手段と、撮像信号に基づき画面上の輝度特徴パターンを求める手段と、画面上での被写体の位置と所定の位置とのずれ量を、色相特徴パターン及び輝度特徴パターンに基づき検出する手段と、画面上での被写体の位置と所定の位置とのずれ量に応じてパン及び/又はチルトさせる手段と、画角を変化させる手段とを有し、画面上での被写体の位置と所定の位置とのずれ量に応じてパン及び/又はチルトさせて追尾処理を行い、追尾処理のサーボ係数を、画角に応じて変化させるようにしたビデオカメラの被写体追尾装置である。
【0007】
この発明は、撮像信号に基づき画素毎の色相及び飽和度を求めるステップと、飽和度が所定値以上の色相を用いて画面上の色相特徴パターンを求めるステップと、撮像信号に基づき画面上の輝度特徴パターンを求めるステップとを有し、画面上での被写体の位置と所定の位置とのずれ量を、色相特徴パターン及び輝度特徴パターンに基づき検出し、画面上での被写体の位置と所定の位置とのずれ量に応じてパン及び/又はチルトさせて追尾処理を行うと共に、被写体が画面上から外れるような場合に画角を変化させ、追尾制御のサーボ係数を、画角に応じて変化させるようにしたビデオカメラの被写体追尾方法である。
【0008】
【作用】
ズーム倍率に応じて、追尾制御のサーボ係数が設定される。すなわち、ズームがテレ側になっている場合には、サーボ係数が小さく設定される。これにより、被写体の動きに対して過敏になり、制御が不安定になることが防止される。ズームがワイド側になっている場合には、サーボ係数が大きく設定される。これにより、被写体への追従が速くなり、被写体を画面の中央部に素早く位置させることができると共に、被写体を画面外に逃さないようにすることができる。
【0009】
【実施例】
以下、この発明の一実施例について図面を参照して説明する。図1は、この発明の一実施例を示すものである。図1において、1はレンズブロックである。レンズブロック1は、レンズ2と、ズームレンズ3と、アイリス4と、CCD撮像素子5とから構成されている。レンズブロック1に対して、パニングモータ6及びチルティングモータ7が設けられている。レンズブロック1は、パニングモータ6及びチルティングモータ7により、パン及びチルト可能とされる。パン、チルとのメカ端点は、端点検出器18で検出される。端点検出器18の出力が追従コントローラ14に供給される。また、ズームレンズ3は、ズームモータ8により移動可能とされる。ズーム位置は、ズーム位置検出器9で検出される。ズーム位置検出器9の出力が追従コントローラ14に供給される。
【0010】
被写体からの撮像光は、レンズ2、ズームレンズ3、アイリス4を介して、CCD撮像素子5上に結像される。CCD撮像素子5で撮像光に基づく撮像信号が形成される。CCD撮像素子5の出力がAGC及びサンプルホールド回路10に供給される。AGC及びサンプルホールド回路10により、撮像信号がサンプルホールドされると共に、利得が制御される。AGC及びサンプルホールド回路10の出力がA/Dコンバータ11に供給される。A/Dコンバータ11で、撮像信号がディジタル化される。A/Dコンバータ11の出力がカメラ信号処理回路12に供給される。
【0011】
カメラ信号処理回路12は、撮像信号から輝度信号及びクロマ信号を形成し、ガンマ補正、アパーチャ補正等のカメラ信号処理を行う。また、カメラ信号処理回路12の出力が被写体認識回路13に供給される。被写体認識回路13は、カメラ信号処理回路12からの輝度信号Y及び色差信号R−Y、B−Yを用いて、被写体の特徴値を抽出する。
【0012】
被写体認識回路13は、例えば、図2に示すように構成される。図2において、カメラ信号処理回路12からの輝度信号Yは、画像メモリ21に記憶される。色差信号R−Y及びB−Yは、飽和度/色相検出回路22に供給される。飽和度/色相検出回路22で、色相信号HUE及び飽和度信号SATが形成される。この色相信号HUE及び飽和度信号SATは、輝度信号Yと共に、画像メモリ21に記憶される。
【0013】
画像メモリ21には、アドレス発生回路23からアドレスが与えられる。アドレス発生回路23には、追尾コントローラ14からブロック指定信号SBが与えられる。図3に示すように、画像メモリ21内に形成されている表示画面PICは、所定の大きさの小領域ARに分割されて処理される。画像メモリ21の表示画面PICを構成する全画素データは、小領域AR毎に読み出され、各小領域AR毎に1つのブロック画像情報として処理される。
【0014】
この実施例の場合、表示画面PICは、x方向及びy方向の夫々16個の処理領域に分割され。したがって、表示画面PICは、16×16=256個の小領域ARからなる。座標x=i、y=jを指定することにより、指定された小領域AR内に含まれる画素から得られた画像情報i(x=i,y=j)が読み出される。
【0015】
このようにして画像メモリ21から小領域AR毎に読み出される。この画像情報I(x=i,y=j)のうち、色相信号HUE成分がゲート回路24を通って色相ヒストグラム発生回路25に供給され、輝度信号Y成分が直接輝度信号ヒストグラム発生回路26に供給される。
【0016】
色相ヒストグラム発生回路25は、図4に示すように、色相角0度〜359度について各色相角を持つ画素の画素数の分布(即ち頻度分布)を表す色相頻度特性を求めることにより、色相特徴パターンを成形する。この色相ヒストグラム発生回路25の出力が追従コントローラ14に供給される。
【0017】
輝度ヒストグラム発生回路26は、図5に示すように、輝度レベル0〜255について各輝度レベルを持つ画素の画素数の分布(即ち頻度分布)を表す輝度頻度特性を求めることにより、輝度特徴パターンを成形する。この輝度ヒストグラム発生回路の出力が追従コントローラ14に供給される。
【0018】
なお、コンパレータ27が設けられ、画像メモリ21から各画素毎に読み出される飽和度信号SATと追従コントローラ12から送出されるノイズ判定信号refとが比較される。このコンパレータ27の出力により、飽和度信号SATが所定レベル以下のとき、ゲート回路24を閉じられる。
【0019】
このように、被写体認識回路13は、色相特徴パターンと輝度特徴パターンとを求めている。色相特徴パターンと、輝度特徴パターンとを用いれば、人間の視覚に合致した特徴抽出が行なえることになる。
【0020】
つまり、人間が知覚できる視覚刺激は、図6に示すように、L軸とこれに直交するSH平面有する所謂HLS系と呼ばれる色座標系によって表現される。Lは明るさを表し、輝度信号Yに相当する。SH平面は、L軸に直交する極座標で表現される。SH平面において、Sは飽和度を表し、L軸からの距離によって表現される。また、Hは色相を表し、色差信号R−Yの方向の0度としたときの角度によって表現される。
【0021】
このHLS系の立体は、光源が明るくなると、色座標即ちSH平面がL軸に沿って上方向に行くと共に全ての色が白になり、光源が暗くなると、色座標即ちSH平面がL軸に沿って下方向に行くと共に全ての色が黒になる。このとき、同時に飽和度も減少していく。したがって、飽和度S及び輝度Yは、光源の明るさの影響を受け易い。
【0022】
これに対して、色相Hは、被写体固有の特徴量を表現するもので、光源の影響を受け難い。しかし、被写体の色がL軸上の近傍にあるような場合、すなわち、白、黒、又は灰色の場合は、色相Hの信号が情報として意味を持たなくなる。このことから、色相特徴パターンと、輝度特徴パターンとを用いれば、人間の視覚に合致した特徴抽出が行なえることになる。
【0023】
図1において、この被写体認識回路13で求められた特徴値が追尾コントローラ14に供給される。追尾コントローラ14は、被写体の特徴値の変化に追従するように、パニングモータ6及びチルティングモータ7を制御する。すなわち、被写体の特徴値から、被写体の画面中心からの位置ずれ量が検出される。この被写体の画面の中心からの位置ずれ量に対して反対の方向に、ドライバ15及び16を介して、パニングモータ6及びチルティングモータ7に制御信号が与えられる。このように、特徴の変化に追従するようにパニング及びチルティングを行うことで、被写体の動きに適応してカメラの位置が動かされ、被写体が常時画面の中央位置に映出される。
【0024】
また、追尾コントローラ14の出力は、ドライバ17を介して、ズームモータ8に供給される。ズームモータ8により、ズーム位置を可変させると、これに応じて、追尾制御ループのゲインが変化される。すなわち、図7に示すように、ズームがテレ側になっている程、サーボ係数が小さく設定され、ズームがワイド側になっている程サーボ係数が大きく設定される。これにより、ズームがテレ側になっている場合には被写体の動きに対して過敏になり、制御が不安定になることが防止され、ズームがワイド側になっている場合には、被写体への追従が速くなり、被写体を画面の中央部に素早く位置させることができると共に、被写体を画面外に逃さないようにすることができる。
【0025】
つまり、図8でフローチャートで示すように、被写体認識部より入力された座標と画面中央座標との差分が求められ、被写体の位置とカメラ位置とのずれ量(制御偏差)が算出される(ステップST1)。ズーム検出器9からのズーム量情報に基づいて、サーボ係数が算出される(ステップST2)。サーボ係数は、前述したように、ズームがテレ側になっている程小さく設定される。ステップST1で算出された制御偏差と、ステップST2で算出されたサーボ係数とから、パン及びチルトモータ6、7に供給するモータ制御量が算出される(ステップST3)。ここで、制御系としては、例えば比例・積分・微分(PID)制御等が用いられる。求められた制御量に基づいて、パン、チルトモータが駆動され(ステップST4)、ステップST1に戻される。
【0026】
【発明の効果】
この発明によれば、ズーム倍率に応じて追尾制御のサーボ係数が設定される。すなわち、ズームがテレ側になっている場合には、サーボ係数が小さく設定される。これにより、被写体の動きに対して過敏になり、制御が不安定になることが防止される。ズームがワイド側になっている場合には、サーボ係数が大きく設定される。これにより、被写体への追従が速くなり、被写体を画面の中央部に素早く位置させることができると共に、被写体を画面外に逃さないようにすることができる。
【図面の簡単な説明】
【図1】この発明の一実施例のブロック図である。
【図2】この発明の一実施例における被写体認識回路の一例のブロック図である。
【図3】この発明の一実施例の説明に用いる略線図である。
【図4】この発明の一実施例の説明に用いるグラフである。
【図5】この発明の一実施例の説明に用いるグラフである。
【図6】この発明の一実施例の説明に用いる略線図である。
【図7】この発明の一実施例の説明に用いるグラフである。
【図8】この発明の一実施例の説明に用いるフローチャートである。
【図9】従来の追尾装置の説明に用いるグラフである。
【符号の説明】
1 レンズブロック
3 ズームレンズ
5 CCD撮像素子
13 被写体認識回路
14 追尾コントローラ

Claims (2)

  1. 撮像信号に基づき画素毎の色相及び飽和度を求める手段と、
    上記飽和度が所定値以上の上記色相を用いて画面上の色相特徴パターンを求める手段と、
    上記撮像信号に基づき上記画面上の輝度特徴パターンを求める手段と、
    上記画面上での被写体の位置と所定の位置とのずれ量を、上記色相特徴パターン及び上記輝度特徴パターンに基づき検出する手段と、
    上記画面上での被写体の位置と所定の位置とのずれ量に応じてパン及び/又はチルトさせる手段と、
    画角を変化させる手段と
    を有し、
    上記画面上での被写体の位置と所定の位置とのずれ量に応じてパン及び/又はチルトさせて追尾処理を行い、
    上記追尾処理のサーボ係数を、上記画角に応じて変化させるようにしたビデオカメラの被写体追尾装置。
  2. 撮像信号に基づき画素毎の色相及び飽和度を求めるステップと、
    上記飽和度が所定値以上の上記色相を用いて画面上の色相特徴パターンを求めるステップと、
    上記撮像信号に基づき上記画面上の輝度特徴パターンを求めるステップと
    を有し、
    画面上での被写体の位置と所定の位置とのずれ量を、上記色相特徴パターン及び上記輝度特徴パターンに基づき検出し、
    上記画面上での被写体の位置と所定の位置とのずれ量に応じてパン及び/又はチルトさせて追尾処理を行うと共に、上記被写体が画面上から外れるような場合に画角を変化させ、
    上記追尾制御のサーボ係数を、上記画角に応じて変化させるようにしたビデオカメラの被写体追尾方法。
JP27593894A 1994-10-14 1994-10-14 ビデオカメラの被写体追尾装置及び追尾方法 Expired - Fee Related JP3610604B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27593894A JP3610604B2 (ja) 1994-10-14 1994-10-14 ビデオカメラの被写体追尾装置及び追尾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27593894A JP3610604B2 (ja) 1994-10-14 1994-10-14 ビデオカメラの被写体追尾装置及び追尾方法

Publications (2)

Publication Number Publication Date
JPH08116487A JPH08116487A (ja) 1996-05-07
JP3610604B2 true JP3610604B2 (ja) 2005-01-19

Family

ID=17562527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27593894A Expired - Fee Related JP3610604B2 (ja) 1994-10-14 1994-10-14 ビデオカメラの被写体追尾装置及び追尾方法

Country Status (1)

Country Link
JP (1) JP3610604B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907175B2 (en) 2005-08-30 2011-03-15 Canon Kabushiki Kaisha Tracking image pickup device having a rough rotation and a fine rotation part

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5355238B2 (ja) * 2009-06-11 2013-11-27 キヤノン株式会社 撮像装置
JP6516544B2 (ja) 2015-04-22 2019-05-22 キヤノン株式会社 制御装置、光学機器、撮像装置および制御方法
WO2017026193A1 (ja) * 2015-08-12 2017-02-16 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび画像処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907175B2 (en) 2005-08-30 2011-03-15 Canon Kabushiki Kaisha Tracking image pickup device having a rough rotation and a fine rotation part

Also Published As

Publication number Publication date
JPH08116487A (ja) 1996-05-07

Similar Documents

Publication Publication Date Title
JP3487436B2 (ja) ビデオカメラシステム
JP3298072B2 (ja) ビデオカメラシステム
JP4079463B2 (ja) 被写体検出装置および被写体検出方法
US20060078162A1 (en) System and method for stabilized single moving camera object tracking
JPH0730796A (ja) ビデオ信号追従処理システム
JPH09243904A (ja) 画像の構図変化検出方法
JP3610604B2 (ja) ビデオカメラの被写体追尾装置及び追尾方法
JPH08116485A (ja) ビデオカメラの被写体追尾装置及び追尾方法
JP3544215B2 (ja) ビデオカメラシステム
JPH11150676A (ja) 画像処理装置及び追尾装置
JP2021111929A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP3828096B2 (ja) 物体追跡装置
JP5015121B2 (ja) 撮像装置
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP2667885B2 (ja) 移動物体の自動追尾装置
JPH0898078A (ja) ビデオカメラの被写体追尾装置及び追尾方法
JP2006209277A (ja) 物体検出装置、物体検出方法および撮像装置
JPH06153047A (ja) ビデオカメラシステム
JP2011221337A (ja) 電子カメラ
JP2001008216A (ja) 画像処理装置
JP2944369B2 (ja) ビデオカメラの手振れ補正装置およびビデオカメラ
JP2003110935A (ja) Ccdカメラ
JP2007287093A (ja) 移動体検出装置、方法、及びプログラム
JP2000032331A (ja) 自動露光制御装置
US11838645B2 (en) Image capturing control apparatus, image capturing control method, and storage medium

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081029

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091029

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091029

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101029

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101029

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111029

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111029

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121029

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees