JP3487436B2 - ビデオカメラシステム - Google Patents

ビデオカメラシステム

Info

Publication number
JP3487436B2
JP3487436B2 JP32265292A JP32265292A JP3487436B2 JP 3487436 B2 JP3487436 B2 JP 3487436B2 JP 32265292 A JP32265292 A JP 32265292A JP 32265292 A JP32265292 A JP 32265292A JP 3487436 B2 JP3487436 B2 JP 3487436B2
Authority
JP
Japan
Prior art keywords
measurement frame
frequency characteristic
detection
characteristic data
hue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32265292A
Other languages
English (en)
Other versions
JPH06165016A (ja
Inventor
忠房 富高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP32265292A priority Critical patent/JP3487436B2/ja
Priority to US08/120,927 priority patent/US5355163A/en
Priority to KR1019930023646A priority patent/KR100276681B1/ko
Publication of JPH06165016A publication Critical patent/JPH06165016A/ja
Priority to US08/763,426 priority patent/US5812193A/en
Application granted granted Critical
Publication of JP3487436B2 publication Critical patent/JP3487436B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Description

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段(図1〜図24) 作用(図1〜図24) 実施例 (1)第1実施例(図1〜図9) (2)第2実施例(図10〜図14) (3)第3実施例(図15〜図24) (4)他の実施例 発明の効果
【0002】
【産業上の利用分野】本発明はビデオカメラシステムに
関し、特にビデオカメラの視野内にある被写体の変化に
自動的に追従して最適な画像を撮像できるようにしたも
のである。
【0003】
【従来の技術】従来、オートズーム機能をもつカメラと
して一眼レフカメラがあり、CCD(charge coupled d
evice )ラインセンサを用いて被写体とカメラとの間の
距離を正確に求めてズームモータを動かすようにしたも
のが提案されている。この従来の一眼レフカメラにおけ
るオートズームカメラシステムにおいては、被写体を大
人の人間に限定し、顔のアツプ、バストシヨツト及び全
身のシヨツトをユーザに操作ボタンによつて予め選択さ
せておき、各シヨツトに応じて予めプログラムされてい
る被写体との距離に対するズームレンズ位置を参照しな
がら当該ズームレンズ位置に適合するようにズームモー
タを駆動するようになされている。
【0004】一眼レフカメラにおいては、別途オートフ
オーカスのためにCCDラインセンサが設けられている
ので、前ピン及び後ピンの判断や、正確な距離の測定を
なし得るようになされているので、比較的簡易にオート
ズームシステムを構成することができる。また視野内の
被写体の変化に追従する装置として被写体の移動に応じ
てこれを自動追尾する被写体追尾装置があるが、ビデオ
カメラの被写体追尾装置として、第1に計測枠内の輝度
信号の高周波成分のピーク値を記憶し、その動きを被写
体の特徴として自動追尾する被写体自動追尾方法が提案
されている。
【0005】また第2に、計測枠内の前後のフイールド
の輝度信号について、代表点のマツチングを取ることに
より動きベクトルを形成し、計測枠内の動きベクトルを
被写体の動きと仮定して自動追尾する被写体自動追尾方
法が提案されている。
【0006】
【発明が解決しようとする課題】しかしながらこの一眼
レフカメラのオートズームシステムの手法は、山登り制
御方式のオートフオーカスシステムを有するビデオカメ
ラにおいては、正確な距離の測定をすることができない
ので、そのまま利用し得ない。また第1の自動追尾方法
は、全体としての構成が簡易である利点はあるが、例え
ば計測枠内に人間と共に背景の木があるような場合、木
の高周波成分が最も大きなピークになるために人間を自
動追尾できなくなる問題がある。
【0007】また第1の自動追尾方法は、基本的にピー
ク時の信号を利用するので、ノイズに弱く、その結果低
い照度の撮影環境においては自動追尾ができなくなるお
それがある。また原理的に高周波成分を抽出しているの
で、コントラストが低い被写体を自動追尾できなくなる
おそれがある。さらに第2の自動追尾方法は、計算され
た動きベクトルがビデオカメラの手ぶれによるものか、
又は被写体の動きによるものかを分離することが困難で
あり、そのため実際上誤動作するおそれがある。
【0008】本発明は以上の点を考慮してなされたもの
で、画面内において安定かつ効果的に被写体の特徴量を
抽出できるようにすることにより、簡易かつ確実に被写
体の動きに自動追従動作し得るようにしたビデオカメラ
システムを提案しようとするものである。
【0009】
【課題を解決するための手段】かかる課題を解決するた
め、請求項1の発明においては、被写体の撮像出力信号
S2に基づいて表示画面PICを構成する画素情報を形
成する画素情報形成手段(1、5、6、7)と、表示画
面PIC上の所定位置に所定の大きさの基準計測枠FM
XRを設定する基準計測枠設定手段(16、17、1
5、SP2)と、表示画面PIC上に大きさが異なる負
数の検出計測枠(FMX1〜FMX3)を設定する検出
計測枠設定手段(16、17、15、SP3)と、基準
計測枠FMXR内の画像の輝度及び色相情報に基づい
て、それぞれ、輝度レベル及び色相角についての基準頻
度特性データYStd(i)、HueStd(i)を形
成する基準頻度特性データ形成手段(19、20、1
6)と、複数の検出計測枠(FMX1〜FMX3)内の
画像の輝度及び色相情報に基づいて、それぞれ、輝度レ
ベル及び色相角についての検出頻度特性データYSma
ll(i)〜YLarge(i)、HueSmall
(i)〜HueLarge(i)を形成する検出頻度特
性データ形成手段(19、20、16)と、基準頻度特
性データ及び複数の検出頻度特性データ間の類似性を求
め、複数の検出頻度特性データのうち、類似性が大きい
検出頻度特性データを有する検出計測枠を決定する検出
計測枠決定手段(16、SP5)と、当該決定された検
出計測枠(FMX1〜FMX3)の大きさが基準計測枠
FMXRの大きさと一致するように画素情報形成手段
(1、5、6、7)をズーミング制御する画素情報変更
制御手段(16、SP6)とを設けるようにする。また
請求項2の発明においては、被写体の撮像出力信号S2
に基づいて表示画面PICを構成する画素情報を形成す
る画素情報形成手段(1、5、6、7)と、表示画面P
IC上の所定位置に所定の大きさの基準計測枠FMXR
を設定する基準計測枠設定手段(16、17、15、S
P12A)と、表示画面PIC上に所定の大きさの複数
の検出計測枠FMXDを設定する検出計測枠設定手段
(16、17、15、AP13A)と、基準計測枠FM
XR内に所定の大きさの主要特徴検出用計測枠FMXF
を設定する主要特徴検出用計測枠設定手段(16、1
7、15、SP12A)と、主要特徴検出用計測枠FM
XF内の画像の輝度及び色相情報に基づいて、それぞ
れ、輝度レベル及び色相角についての頻度特性成分の成
分名(H1……H4、H5……H6、Y1……Y6)で
なる主要特徴データを形成する主要特徴データ形成手段
(16、17、15、SP12A)と、基準計測枠FM
XR内の画像の輝度及び色相情報に基づいて、それぞ
れ、輝度及び色相角についての基準頻度特性データYS
td(i)、HueStd(i)のうち、主要特徴デー
タによつて表されている頻度特性成分名(H1……H
4、H5……H6、Y1……Y6)の基準頻度特性デー
タ成分を有しかつ他の頻度特性成分名の基準頻度特性デ
ータ成分の値を所定値とする基準頻度特性データを形成
する基準頻度データ形成手段(16、17、15、SP
12B)と、複数の検出計測枠FDXD内の画像の輝度
及び色相情報に基づいて、それぞれ、輝度及び色相角に
ついての検出頻度特性データY(x、y)(i)、Hu
e(x、y)(i)のうち、主要特徴データによつて表
されている頻度特性成分名(H1……H4、H5……H
6、Y1……Y6)の検出頻度特性データ成分を有しか
つ他の頻度特性成分名の検出頻度特性データ成分の値を
所定値とする検出頻度特性データを形成する検出頻度デ
ータ形成手段(19、16、20)と、基準頻度特性デ
ータ及び複数の検出頻度特性データ間の類似性を求め、
複数の検出頻度特性データのうち、類似性が大きい検出
頻度特性データを有する検出計測枠を決定する検出計測
枠決定手段(16、SP15)と、当該決定された検出
計測枠FMXDの大きさが基準計測枠FMXRの大きさ
と一致するように画素情報形成手段(1、5、6、7)
をズーミング制御する画素情報変更制御手段(16、S
P16)とを設ける。さらに、請求項3の発明において
は、被写体の撮像出力信号S2に基づいて表示画面PI
Cを構成する画素情報を形成する画素情報形成手段
(1、5、6、7)と、表示画面PIC上の所定位置に
所定の大きさの基準計測枠FMXRを設定する基準計測
枠設定手段(16、17、15、SP2)と、表示画面
PIC上の互いに異なる位置に所定の大きさの複数の検
出計測枠(FMX1〜FMX3)を設定する検出計測枠
設定手段(16、17、15、SP3)と、基準計測枠
FMXR内の画像の輝度及び色相情報に基づいて、それ
ぞれ、輝度レベル及び色相角についての基準頻度特性デ
ータYStd(i)、HueStd(i)を形成する基
準頻度特性データ形成手段(19、20、16)と、複
数の検出計測枠(FMX1〜FMX3)内の画像の輝度
及び色相情報に基づいて、それぞれ、輝度レベル及び色
相角についての検出頻度特性データYSmall(i)
〜YLarge(i)、HueSmall(i)〜Hu
eLarge(i)を形成する検出頻度特性データ形成
手段(19、20、16)と、基準頻度特性データ及び
複数の検出頻度特性データ間の類似性を求め、類似性が
大きい検出頻度特性データを有する検出計測枠を決定す
る検出計測枠決定手段(16、SP5)と、当該決定さ
れた検出計測枠(FMX1〜FMX3)が基準計測枠F
MXRと一致する位置に移動するように画素情報形成手
段(1、5、6、7)をパンニング及びチルテイング制
御する画素情報変更制御手段(16、SP6)とを設け
る。さらに請求項4の発明においては、被写体の撮像出
力信号S2に基づいて表示画面PICを構成する画素情
報を形成する画素情報形成手段(1、5、6、7)と、
表示画面PIC上の所定位置に所定の大きさの基準計測
枠FMXRを設定する基準計測枠設定手段(16、1
7、15、SP2A)と、表示画面PIC上に所定の大
きさの複数の検出計測枠FMXDを設定する検出計測枠
設定手段(16、17、15、SP13A)と、基準計
測枠FMXR内に所定の大きさの主要特徴検出用計測枠
FMXFを設定する主要特徴検出用計測枠設定手段(1
6、17、15、SP12A)と、主要特徴検出用計測
枠FMXF内の画像の輝度及び色相情報に基づいて、そ
れぞれ、輝度レベル及び色相角についての頻度特性成分
の成分名(H1……H4、H5……H6、Y1……Y
6)でなる主要特徴データを形成する主要特徴データ形
成手段(16、17、15、SP12A)と、基準計測
枠FMXR内の画像の輝度及び色相情報に基づいて、そ
れぞれ、輝度レベル及び色相角についての基準頻度特性
データYStd(i)、HueStd(i)のうち、主
要特徴データによつて表されている頻度特性成分名(H
1……H4、H5……H6、Y1……Y6)の基準頻度
特性データ成分を有しかつ他の頻度特性成分名の基準頻
度特性データ成分の値を所定値とする基準頻度特性デー
タを形成する基準頻度特性データ形成手段(16、1
7、15、SP12B)と、複数の検出計測枠FDXD
内の画像の輝度及び色相情報に基づいて、それぞれ、輝
度レベル及び色相角についての検出頻度特性データY
(x、y)(i)、Hue(x、y)(i)のうち、主
要特徴データによつて表されている頻度特性成分名(H
1……H4、H5……H6、Y1……Y6)の検出頻度
特性データ成分を有しかつ他の頻度特性成分名の検出頻
度特性データ成分の値を所定値とする検出頻度特性デー
タを形成する検出頻度特性データ形成手段(19、2
0、16)と、基準頻度特性データ及び複数の検出頻度
特性データ間の類似性を求め、複数の検出頻度特性デー
タのうち、類似性が大きい検出頻度特性データを有する
検出計測枠を決定する検出計測枠決定手段(16、SP
15)と、当該決定された検出計測枠が基準計測枠と一
致する位置に移動するように画素情報形成手段(1、
5、6、7)をパンニング及びチルテイング制御する画
素情報変更制御手段(16、SP16)とを設ける。
【0010】
【作用】被写体の画素情報のうち基準計測枠FMXR内
の画素情報が基準頻度特性データ形成手段(19、2
0、16)によつて輝度レベル及び又は色相角について
の基準頻度特性データYStd(i)、HueStd
(i)に変換され、かつ検出計測枠(FMX1〜FMX
3、FMXD)内の画素情報が検出頻度特性データ形成
手段(19、20、16)によつて輝度レベル又は色相
角についての検出頻度特性データYSmall(i)、
HueSmall(i)、Y(x、y)(i)、Hue
(x、y)(i)に変換される。検出頻度特性データの
うち基準頻度特性データに関して類似性が大きい検出頻
度特性データが検出計測枠決定手段(16、SP5、S
P15)によつて決定され、当該決定された検出計測枠
内の画素情報が基準計測枠内に入るように画素情報変更
制御手段(16、SP6、SP16)によつて画素情報
形成手段(1、5、6、7)が駆動制御される。
【0011】かくして表示画面内において常に被写体が
基準枠内に入るように追従制御することができ、かくす
るにつき頻度特性データを用いて画像の特徴を表すよう
にしたのでビデオカメラシステムを比較的簡易に構成で
きる。
【0012】
【実施例】以下図面について、本発明の一実施例を詳述
する。
【0013】(1)第1実施例 図1において、VCSは全体としてビデオカメラシステ
ムを示し、被写体から到来する撮像光LAをレンズブロ
ツク部1のレンズ2、アイリス3を通つて例えばCCD
(charge coupled device )でなる固体撮像素子4に受
けて被写体像を表す撮像出力信号S1を信号分離/自動
利得調整回路部5に与える。信号分離/自動利得調整回
路部5は撮像出力信号S1をサンプルホールドすると共
に、オートアイリス(AE)(図示せず)からの制御信
号によつて撮像出力信号S1が所定のゲインをもつよう
に利得制御し、かくして得られる撮像出力信号S2をア
ナログ/デイジタル変換回路部6を介してデイジタルカ
メラ処理回路7に供給する。
【0014】デイジタルカメラ処理回路7は撮像出力信
号S2に基づいて輝度信号Y、クロマ信号Cを形成し、
輝度信号Y及びクロマ信号Cをデイジタル/アナログ変
換回路8を介してビデオ信号S3として送出する。これ
に加えてデイジタルカメラ処理回路7は被写体追従用検
出信号S4として輝度信号Y並びに色差信号R−Y及び
B−Yを追従制御回路部11に供給し、追従制御回路部
11はこの被写体追従用検出信号S4に基づいて、レン
ズブロツク部1に対して設けられたズーミング駆動モー
タ12A及びチルテイング駆動モータ12Bに対する追
従制御信号S5を発生する。
【0015】追従制御回路部11は色差信号R−Y及び
B−Yを飽和度/色相検出回路14に与えて色相(Hue
)信号HUE及び飽和度(Saturation)信号SATを
形成し、これを輝度信号Yと共に例えばフイールドメモ
リで構成された画像メモリ15に各画素単位で記憶す
る。飽和度/色相検出回路14は色差信号R−Y及びB
−Yを直交座標/極座標変換することにより色相信号H
UE及び飽和度信号SATを形成し、かくして輝度信号
Y、色相信号HUE及び飽和度信号SATによつて被写
体を人間が視覚できる視覚刺激に基づいて被写体認識を
する。
【0016】因に一般に人間が知覚できる視覚刺激は図
2に示すように、L軸とこれに直交するSH平面を有す
るいわゆるHLS系と呼ばれる色座標系によつて表現さ
れる。L軸は明るさ(Lightness )を表し、輝度信号Y
に相当する。SH平面はL軸に直交する曲座標で表現さ
れる。SH平面において、Sは飽和度(Saturation)を
表し、L軸からの距離によつて表現される。またHは色
相(Hue )を表し、色差信号R−Yの方向を0°とした
ときの角度によつて表現される。
【0017】このHLS系の立体は、光源が明るくなる
と、色座標すなわちSH平面がL軸に沿つて上方方向に
行くと共にすべての色が白になる。そのとき飽和度Sが
減少して行く。これに対して光源が暗くなると、色座標
すなわちSH平面がL軸に沿つて下方方向に行くと共
に、すべての色が黒になる。このとき同時に飽和度Sも
減少して行く。このようなHLS色座標系の特徴に基づ
いて、飽和度S及び輝度Yは光源の明るさの影響を受け
易く、従つて被写体の特徴量を表すパラメータとしては
最適とは言い難いことが分る。これとは逆に色相Hは被
写体個有の特徴量を表現するものとして、光源の影響を
受け難いものであることが分る。
【0018】しかしそうであると言つても、被写体の色
がL軸上の近傍にあるような場合、すなわち白、黒及び
灰色の場合は、色相Hの信号が情報としての意味をもた
なくなり、最悪の場合、S/Nが悪い画像では白である
にもかかわらず様々な色相Hのベクトルをもつている可
能性があることが分る。かかるHLS色座標系の性質を
利用して追従制御回路部11は被写体の特徴を抽出し、
特徴の変化が生じたときこれに追従するようにズーミン
グ駆動モータ12A及びチルテイング駆動モータ12B
を駆動することにより、結果としてビデオ信号S3とし
て被写体の動きに適応して追従するようにズーミング処
理された映像信号を得るようにする。
【0019】すなわち画像メモリ15に記憶された被写
体追従用検出信号S4を構成する画素情報は、マイクロ
プロセツサ構成の追従信号処理回路16から送出される
ブロツク指定信号S6をアドレス発生回路17に与える
ことにより、図3に示すように、実質上画像メモリ15
内に形成されている表示画面PICをxy直交座標
(x、y)に基づいて所定の大きさの小領域ARでなる
ブロツクに分割するようなアドレス信号S7をアドレス
回路17から画像メモリ15に供給させる。かくして画
像メモリ15の表示画面PICを構成する各画素のデー
タは、小領域ARごとに読み出されて各小領域ARごと
に1つのブロツク画像情報として処理される。
【0020】この実施例の場合、表示画面PICはx方
向及びy方向にそれぞれ16個の小領域ARに分割され、
かくして16×16(= 256)個の小領域ARについて直交
座標(x、y)の座標x=i、y=j(例えば左上隅の
座標)を指定することにより、当該指定される小領域A
Rの画像情報I(x=i、y=j)を読み出すことがで
きる。このようにして画像メモリ15から小領域ARご
とに読み出される画像情報I(x=i、y=j)のう
ち、色相信号HUE成分がゲート回路18を通つて色相
ヒストグラム発生回路19に与えられるのに対して、輝
度信号Y成分が直接輝度ヒストグラム発生回路20に与
えられる。
【0021】色相ヒストグラム発生回路19は、表示画
面PIC上に設定された計測枠FMX内の画素の色相に
ついて、図4に示すように、色相角0〜 359°について
各色相角をもつ画素の画素数を表す色相頻度特性Hue
Std(i)を求め、これを色相ヒストグラム信号S1
1として追従信号処理回路16に送出する。かくして色
相ヒストグラム発生回路19は、計測枠FMX内の画像
がもつ色相についての特徴を、色相頻度特性HueSt
d(i)によつて表される色相特徴パターンに変換し
て、追従信号処理回路16に供給することになる。
【0022】また輝度ヒストグラム発生回路20は、同
様にして表示画面PIC上に設定された計測枠FMX内
の画素についての輝度信号Yに基づいて、図5に示すよ
うに、輝度レベル0〜 255について各輝度レベルをもつ
画素の画素数を表す輝度頻度特性YStd(i)を求
め、これを輝度ヒストグラム信号S12として追従信号
処理回路16に供給する。かくして輝度ヒストグラム発
生回路20は、計測枠FMX内の画像がもつ輝度につい
ての特徴を、輝度頻度特性YStd(i)によつて表さ
れる輝度特徴パターンに変換して、追従信号処理回路1
6に供給することになる。
【0023】この実施例の場合、ゲート回路18に対し
てコンパレータ構成の色相ノイズゲート信号形成回路2
5が設けられ、画像メモリ15から各画素ごとに読み出
される飽和度信号SATを追従信号処理回路16から送
出されるノイズ判定信号S14と比較し、飽和度信号S
ATが所定レベル以下のときゲート回路18を閉動作さ
せるゲート信号S15をゲート回路18に与えることに
より、当該画素の色相信号HUEを色相ヒストグラム発
生回路19に入力させないようになされている。
【0024】因に飽和度/色相検出回路14において検
出された飽和度信号SATがL軸の近傍(図2)にある
とき、このことは当該色相信号HUEは飽和度が小さい
ためにノイズに埋もれて情報としての意味をもつていな
いおそれがあるので、このような意味をもたない色相信
号HUEをゲート回路18において除去する。以上の構
成において、追従信号処理回路16はユーザのカメラ操
作に応じて、図6の自動追従処理手順RT1を実行する
ことにより、画像メモリ15に取り込んだ各画素の輝度
信号Y及び色相信号HUEに基づいて輝度ヒストグラム
発生回路20及び色相ヒストグラム発生回路19におい
て輝度特徴パターン及び色相特徴パターンを形成させる
ことによりレンズブロツク1のズーミング動作を最適状
態に制御する。
【0025】追従信号処理回路16は図6の自動追尾処
理手順RT1に入ると、まずステツプSP1においてフ
イールド番号FNをFN=0に初期設定した後、ユーザ
が記録ポーズボタンRECPAUSEを解除して記録を
開始するのを待ち受ける。やがてユーザが記録を開始す
ると、追従信号処理回路16はステツプSP2に移つ
て、図3に示すように画面の中央位置に設定した基準計
測枠FMXR(この実施例の場合4×4個の小領域に選
定されている)内の輝度信号Y及び色相信号HUEの頻
度特性(又はヒストグラム)、すなわち輝度頻度特性Y
Std(i)(図5)及び色相頻度特性HueStd
(i)(図4)をそれぞれ基準輝度頻度特性及び基準色
相頻度特性として輝度ヒストグラム発生回路20及び色
相ヒストグラム発生回路19から取り込んでこれを「基
準特徴パターン」として記憶する。
【0026】続いて追従信号処理回路16はステツプS
P3に移つてフイールド番号FNをFN+1にインクリ
メントすると共に、図7に示すように、計測枠FMXを
大きさの異なる複数の計測枠FMX1、FMX2及びF
MX3に順次切り換えて行きながら各計測枠FMX1、
FMX2及びFMX3についての輝度頻度特性YStd
(i)及び色相頻度特性HueStd(i)を輝度ヒス
トグラム発生回路20及び色相ヒストグラム発生回路1
9から取り込む。
【0027】この実施例の場合、複数の計測枠として、
2×2個の小領域ARをもつ小領域でなる小計測枠FM
X1と、4×4個の小領域ARをもつ中領域でなる中計
測枠FMX2と、6×6個の小領域ARをもつ大領域で
なる大計測枠FMX3でなる3つの計測枠が選定され、
各計測枠FMX1、FMX2並びにFMX3からそれぞ
れ検出輝度及び検出色相頻度特性YSmall(i)及
びHueSmall(i)、YMiddle(i)及び
HueMiddle(i)、並びにYLarge
(i)、HueLarge(i)を「検出特徴パター
ン」として取り込む。続いて追従信号処理回路16は、
ステツプSP4において、輝度及び色相について基準特
徴パターン及び検出特徴パターン間のユークリツド距離
を求め、その和を評価値JSmall、JMiddle
及びJLargeとして求める。
【0028】すなわち追従信号処理回路16は小計測枠
FMX1の輝度情報について、次式
【数1】 のように、検出輝度頻度特性YSmall(i)(図
9)を小領域AR単位の平均値として正規化された検出
輝度頻度特性YSmall(i)/4を求めると共に、
基準輝度頻度特性YStd(i)(図5)を小領域AR
単位の平均値として正規化された基準頻度特性YStd
(i)/16を求め、両者の差の絶対値をすべての輝度レ
ベルi=0〜 255について合計した値を、小計測枠FM
X1の画像輝度情報と、基準計測枠FMXRの輝度情報
との間の類似性を表す小計測枠輝度ユークリツド距離J
1Smallとして求める。
【0029】同様にして追従信号処理回路16は小計測
枠FMX1の色相情報について、次式
【数2】 のように、検出色相頻度特性HueSmall(i)
(図8)を小領域AR単位の平均値として正規化された
HueSmall(i)/4を求めると共に、基準色相
頻度特性HueStd(i)(図4)を小領域AR単位
の平均値として正規化されたHueStd(i)/16を
求め、両者の差の絶対値をすべての色相角i=0〜 359
°について合計した値を、小計測枠FMX1の画像色相
情報と、基準計測枠FMXRの色相情報との間の類似性
を表す小計測枠色相ユークリツド距離J2Smallを
得る。
【0030】同様にして追従信号処理回路16は、中計
測枠FMX2内の画像の輝度信号について、次式、
【数3】 のように、検出輝度頻度特性YMiddle(i)の正
規化された輝度頻度特性YMiddle(i)/16と、
正規化された基準輝度頻度特性YStd(i)/16を求
めて、両者の差の絶対値をすべての輝度レベルi=0〜
255について合計した値を、計測枠FMX2の画像輝度
情報と、基準計測枠FMXRの輝度情報との間の類似性
を表す中計測枠輝度ユークリツド距離J1Middle
として求める。
【0031】また追従信号処理回路16は、中計測枠F
MX2内の画像の色相情報について、次式、
【数4】 のように、正規化された色相頻度特性HueMiddl
e(i)/16と、正規化された基準色相頻度特性Hue
Std(i)/16との差の絶対値をすべての色相角i=
0〜 359°について合計した値を、中計測枠FMX2の
画像色相情報と基準計測枠FMXRの色相情報との間の
類似性を表す中計測枠色相ユークリツド距離J2Mid
dleとして求める。
【0032】また追従信号処理回路16は、大計測枠F
MX3内の画像の輝度情報について、次式、
【数5】 のように、正規化された検出輝度頻度特性YLarge
(i)/36と、正規化された基準輝度頻度特性YStd
(i)/16との差の絶対値をすべての輝度レベルi=0
〜 255について合計した値を、大計測枠FMX3の画像
輝度情報と基準計測枠FMXRの輝度情報との類似性を
表す大計測枠輝度ユークリツド距離J1Largeとし
て求める。
【0033】また追従信号処理回路16は、大計測枠の
画像の色相情報について、次式、
【数6】 のように、正規化された検出色相頻度特性HueLar
ge(i)/36と、正規化された基準色相頻度特性Hu
eStd(i)/16の差の絶対値をすべての色相角i=
0〜 359°について合計した値を、大計測枠FMX3の
色相情報と基準計測枠FMXRの色相情報との間の類似
性を表す大計測枠色相ユークリツド距離J2Large
を求める。
【0034】かくして小計測枠FMX1、中計測枠FM
X2及び大計測枠FMX3の画像と、基準計測枠FMX
Rの画像との間の類似性は、次式、
【数7】
【数8】
【数9】 のように、輝度及び色相についてのユークリツド距離の
和による評価値JSmall、JMiddle及びJL
argeとして求めることができる。
【0035】続いて追従信号処理回路16は、次のステ
ツプSP5に移つて小計測枠FMX1、中計測枠FMX
2及び大計測枠FMX3について、評価値JSmal
l、JMiddle及びJLargeのうち最小のもの
を探し、当該最小のものを現在の被写体の大きさとして
決定する。因に評価値JSmall、JMiddle及
びJLargeのうち最小になつたことは、前回の計測
時点における画像情報に対して、現在計測した3つの計
測枠の大きさのうち最も類似性が大きい画像情報を含ん
でいることを意味し、前回の計測時点における計測結果
と現在の計測結果との連続性が一番大きい計測枠を選定
したことを意味する。
【0036】追従信号処理回路16は、続いてステツプ
SP6に移つて当該選定した新しい計測枠の大きさが中
計測枠FMX2と同じ大きさになるような追従制御信号
をズーミング駆動モータ12Aに供給することにより、
前回の計測結果との連続性を維持した状態にレンズブロ
ツク部1を適応制御する。続いて追従信号処理回路16
はステツプSP7に移つて、新しい計測枠内の輝度信号
及び色相信号について、基準輝度頻度特性YStd
(i)(図5)及び基準色相頻度特性HueStd
(i)(図4)を輝度ヒストグラム発生回路20及び色
相ヒストグラム発生回路19から輝度ヒストグラム信号
S12及び色相ヒストグラム信号S11によつて取り込
むことにより、新しい基準特徴パターンを記憶し、その
後上述のステツプSP3に戻つて当該新しい基準特徴パ
ターンに基づいて新たな追従動作サイクルに入る。
【0037】因にステツプSP5において例えば小計測
枠FMX1が選択されると、追従信号処理回路16はス
テツプSP6においてズーミング駆動モータ12Aをテ
レ側に駆動することにより小計測枠FMX1の画像の大
きさを中計測枠FMX2にまで拡大する。これとは逆に
ステツプSP5において大計測枠FMX3が選択される
と、追従信号処理回路16はステツプSP6においてズ
ーミング駆動モータ12Aをワイド側に駆動することに
より、大計測枠FMX3内の画像を中計測枠FMXR内
に映出するように被写体の画像の大きさを縮小する。
【0038】これに対してステツプSP5において中計
測枠FMX2が選択されると、追従信号処理回路16は
ステツプSP6においてズーミング駆動モータ12Aを
ワイド及びテレ側にいずれにも駆動しないようにするこ
とにより、中計測枠FMX2内の画像を引き続き中計測
枠FMXR内に映出するように被写体の画像の大きさを
そのままにする。以上の構成によれば、ユーザが最初に
被写体を画面の中央の基準計測枠FMXに入るようなカ
メラ操作をした後記録を開始したとき、ビデオカメラに
対する被写体の距離が遠くなつて行けば、表示画面PI
C上の被写体の大きさが小さくなつて行くことにより、
小計測枠FMX1から得られる検出特徴パターンの内容
が最も基準特徴パターンに近くなるので、追従信号処理
回路16はズーミング駆動モータ12Aをテレ側に駆動
することにより表示画面PIC上の被写体の大きさを基
準枠FMXRの大きさに適応するように適応制御する。
【0039】これとは逆に被写体がビデオカメラに近づ
いて来るような動きをした場合には、表示画面PIC上
の被写体の大きさが大きくなるので、計測画像情報のう
ち特徴パターンが基準特徴パターンに最も近い検出特徴
パターンを大計測枠FMX3から得ることができる。そ
こで追従信号処理回路16はズーミング駆動モータ12
Aをワイド側に駆動することにより表示画面PIC上の
被写体の大きさが基準計測枠FMXRに入るような適応
制御をする。これに対してカメラに対する被写体の位置
が変わらなければ、表示画面PIC上の被写体の大きさ
は常に基準計測枠FMX内に入る大きさを維持するの
で、中計測枠FMX2から得られる検出特徴パターンが
基準特徴パターンに対して最も大きな類似性をもつこと
になり、このとき追従信号処理回路16はズーミング駆
動モータ12Aを駆動させないように制御することによ
り、表示画面PIC上の被写体の大きさを基準計測枠F
MXR内に入るような適応制御をする。
【0040】このように被写体の動きに対して常に表示
画面PIC上の被写体の大きさが所定の大きさになるよ
うにズーミング制御することができるが、かくするにつ
き、被写体の特徴量として計測枠内における各輝度レベ
ル及び位相角になる画素数の頻度特性を用いるようにし
たことにより、たとえ手触れによる画面の揺れがあつた
としてもその影響を受けないようなズーミング制御をす
ることができ、かくするにつきビデオカメラシステム全
体としての構成を簡易にし得る。また基準特徴パターン
を時間の経過に従つて順次更新して行くようにしたの
で、被写体の向きが変化したり被写体の画像が変化した
り(例えば被写体が人間の場合に上着を脱いだりしたよ
うな場合)にも、これに適応してオートズーム制御する
ことができる。
【0041】(2)第2実施例 図10は本発明によるビデオカメラシステムVCSの第
2実施例を示すもので、図1との対応部分に同一符号を
付して示すように、追従信号処理回路16は、追従制御
信号S5によつてチルテイング駆動モータ12Bとパン
ニング駆動モータ12Cとを駆動制御するようになされ
ている。以上の構成において、追従信号処理回路16は
図11に示す自動追従処理手順RT2を実行することに
より、たとえカメラの視野内の被写体が移動した場合に
も、基準計測枠内の画像に対して最も類似性が大きい画
像を常に基準計測枠内に映出することができるように、
これに応じてビデオカメラを適応制御させる。
【0042】追従信号処理回路16は、自動追従処理手
順RT2に入るとまずステツプSP11においてフレー
ム番号FNをFN=0に初期設定すると共に、ユーザが
記録ポーズボタンRECPAUSEを操作することによ
り記録ポーズ状態を解除するのを待ち受ける状態にな
る。その状態においてユーザが記録を開始すると、追従
信号処理回路16はステツプSP12に移つて図3〜図
5について上述したと同様に、画面の中央にある基準計
測枠FMXRをアドレス発生回路17によつて指定する
ことにより当該基準計測枠FMXR内の画素に対応する
輝度信号Y及び色相信号HUEを輝度ヒストグラム発生
回路20及び色相ヒストグラム発生回路19に送出させ
ることにより、基準輝度頻度特性YStd(i)(図
5)及び基準色相頻度特性HueStd(i)(図4)
を基準特徴パターンとして輝度ヒストグラム信号S12
及び色相ヒストグラム信号S11によつて記録するよう
な処理を実行する。
【0043】続いて追従信号処理回路16はステツプS
P13に移つて、アドレス発生回路17によつて検出計
測枠FMXDの位置をスキヤンさせることにより、検出
計測枠FMXDによつて表示画面PIC上の画像情報を
検出計測枠FMXDを単位として抽出して行く。この実
施例の場合、検出計測枠FMXDは、図12に示すよう
に、基準計測枠FMXRと同様に、4×4個の小領域A
Rで構成され、アドレス発生回路17は検出計測枠FM
XDの左上隅の小領域アドレスを左側から右側方向にか
つ上側から下側方向に順次指定して行くことによりスキ
ヤンをする。その結果検出計測枠FMXDはアドレス
(x、y)=(0、0)、(1、0)……(12、
0)、(0、1)、(1、1)……(12、1)、……
……、(0、12)、(1、12)……(12、12)
のように順次シフトするようにスキヤンされる。
【0044】このようなスキヤンをする間に、追従信号
処理回路16はアドレス(x、y)位置に移動された検
出計測枠FMXDの画像について、その色相情報及び輝
度情報について図13及び図14に示すような検出色相
頻度特性Hue(x、y)(i)及び検出輝度頻度特性
Y(x、y)(i)を求める。ここで検出色相頻度特性
Hue(x、y)(i)は検出計測枠FMXDに含まれ
るすべての画素がもつている色相角度y=0〜 359°の
画素の発生頻度により、当該検出計測枠FMXDの色相
検出パターンを表している。これに対して検出輝度頻度
特性Y(x、y)(i)は、検出計測枠FMXDに含ま
れるすべての画素がもつている輝度レベル=0〜 255の
画素の発生頻度によつて検出特徴パターンを表してい
る。
【0045】続いて追従信号処理回路16はステツプS
P14において、輝度信号について次式、
【数10】 のように、検出計測枠FMXDについて、検出輝度頻度
特性Y(x、y)(i)と、基準輝度頻度特性YStd
(i)との差の絶対値を輝度レベルy=0〜 255につい
て合計することによりユークリツド距離J1(x、y)
を求め、これを基準計測枠FMXR内の画像の輝度情報
に対するアドレス(x、y)位置にある検出計測枠FM
XD内の輝度情報の類似性を表す情報として得る。
【0046】また検出計測枠FMXDの色相情報につい
て、追従信号処理回路16は次式、
【数11】 のように、アドレス(x、y)位置にある検出計測枠F
MXDの検出色相頻度特性Hue(x、y)(i)と、
基準色相頻度特性HueStd(i)との差の絶対値
を、色相角i=0〜 359°について合計することにより
ユークリツド距離J2(x、y)を求め、これにより基
準計測枠FMXRの画像がもつている基準色相パターン
に対して位置(x、y)にある検出計測枠FMXDがも
つている画像の検出特徴パターンに対する類似性を表す
情報を形成する。
【0047】追従信号処理回路16はこのようにして輝
度及び色相について求めたユークリツド距離J1(x、
y)及びJ2(x、y)に基づいて次式、
【数12】 のように、その和を演算することにより評価値J(x、
y)を求める。かくして追従信号処理回路16は検出計
測枠FMXDのスキヤン位置(x、y)(x=0、1…
…12、y=0、1……12)にあるすべての検出計測
枠FMXDについての評価値J(x、y)(x=0、1
……12、y=0、1……12)を得た状態において次
のステツプSP15に移つて、評価値J(x、y)が最
小になる検出計測枠FMXDの位置を現在の計測時にお
ける被写体の位置であると決定し、次のステツプSP1
6において当該新しい被写体の位置(x、y)が画面中
央位置に設定されている基準計測枠FMXR(図3)位
置に来るような追従制御信号S5をチルテイング駆動モ
ータ12B及びパンニング駆動モータ12Cに与える。
【0048】続いて追従信号処理回路16はステツプS
P17に移つて、新しく基準計測枠FMXRに来た画像
について、輝度信号及び色相信号の基準頻度特性データ
(図4、図5)を基準特徴パターンとして更新した後、
上述のステツプSP13に戻つて次の測定サイクルに入
る。かくして追従信号処理回路16はテレビジヨンカメ
ラに対して被写体が移動した場合、表示画面PIC全体
について基準計測枠FMXRの画像情報に対して最も類
似性が大きい画像情報を有する検出計測枠FMXDの位
置を求め、当該最も類似性が大きい検出計測枠FMXD
を基準計測枠FMXR位置に来るようにテレビジヨンカ
メラをパンニング及びチルテイング制御するようにした
ことにより、被写体の移動に対してこれに応動するよう
にビデオカメラシステムVCSを適応動作させることが
できる。
【0049】これに対して基準計測枠FMXR位置にあ
る被写体が移動しなかつた場合には、基準計測枠FMX
Rと同じ位置にある検出計測枠FMXDから得られた検
出特徴パターンについてこれが最も基準特徴パターンに
対して類似性が大きいという評価をステツプSP14に
おいて得ることができることにより、追従信号処理回路
16は追従制御信号S5によつて新しい被写体が引き続
き検出計測枠FMXR内にある状態を保持させるように
ビデオカメラシステムVCSを制御する。以上の構成に
よれば、ユーザが最初に被写体を画面中央の基準計測枠
FMXRに入るようにカメラ操作をした後記録を開始し
さえすれば、その後被写体が表示画面PIC内を移動し
ても、追従信号処理回路16が当該移動位置を輝度信号
及び色相信号の頻度特性データに基づいて得られる検出
特徴パターンと基準検出パターンとの比較によつて確実
に検出することによりビデオカメラシステムを被写体の
移動に適応動作させることができる。
【0050】かくするにつき、回路構成として特に複雑
な構成を用意する必要がない。また上述の構成によれ
ば、基準パターンが時間の経過に従つて順次更新されて
行くので、被写体の向きが変わつたり、近づいて来て大
きくなつたり、被写体に変化が生じたり(人間の場合上
着を脱いだりするような場合)しても、当該変化に確実
に追従することができる。
【0051】(3)第3実施例 図15は本発明によるビデオカメラシステムの第3の実
施例を示すもので、この場合ビデオカメラシステムVC
Sは図10について上述した第2の実施例の場合と同様
の構成部分を有するのに対して、この場合の追従信号処
理回路16は図15に示すような自動追従処理手順RT
3を実行する。図15の自動追従処理手順のRT3につ
いて、図11について上述した自動追従処理手順RT2
との対応部分に同一符号を付して示すように、追従信号
処理回路16は図11のステツプSP12に代えてステ
ツプSP12A及びSP12Bを順次実行すると共に、
図11のステツプSP13に代えてステツプSP13A
を実行するようになされている点において図11の自動
追従処理手順RT3とは異なる処理を実行する。
【0052】すなわち追従信号処理回路16は自動追従
処理手順RT3に入つてステツプSP11における処理
をした後、ステツプSP12Aにおいて、図16に示す
ように、画面の中央にある基準計測枠FMXRのうち、
基準計測枠FMXRより小さい領域を有する主要特徴検
出用計測枠FMXF内の輝度信号Y及び色相信号HUE
の頻度特性データを抽出し、その成分名を主要特徴デー
タとして記憶する。この実施例の場合基準計測枠FMX
Rは4×4個の小領域で構成されるのに対して、主要特
徴検出用計測枠FMXFは、当該基準計測枠FMXRの
中心位置に1×1=1個の小領域の大きさをもつように
選定されている。
【0053】このようなステツプSP12Aの処理にお
いて、主要特徴検出用計測枠FMXF内の輝度信号及び
色相信号の頻度特性データは実際上図17及び図18に
示すように、成分名、すなわち色相角0〜 359°及び輝
度レベル0〜 255の全部をもつていることはなく、その
一部、例えば6つの成分名としての位相角H1〜H6及
び輝度レベルY1〜Y6だけをもつており、かくして当
該微小画像部分の特徴を端的に表している。
【0054】例えば図19に示すように、画面上に人が
歩いている映像として人の全身が映出されているとき、
基準計測枠FMXR内の一部に顔の部分が映出されてい
るのに対して、主要特徴検出用計測枠FMXFにはその
全体に顔の一部分が映出されているとすれば、主要特徴
検出用計測枠FMXF内の映像は顔それ自体の特徴を表
すような色相角成分及び輝度レベル成分だけをもつこと
になる。これに対して基準計測枠FMXRはその一部に
顔の部分があることにより顔の特徴を表す色相角成分及
び輝度レベル成分をもつと同時に顔以外の背景部分の特
徴を表す色相角成分及び輝度レベル成分をももつてい
る。
【0055】このことは、主要特徴検出用計測枠FMX
Fのヒストグラムをとることによつてその頻度特性を検
出すれば、色相信号について全ての色相角0〜 359°の
色相角成分をもたずに顔の特徴を表す色相角成分H1〜
H6だけが生ずることになる。同様にして輝度信号につ
いても、全ての輝度レベル成分0〜 255が生ずることな
く、顔の特徴に対応する輝度レベル成分Y1〜Y6だけ
が生ずることになる。これに対して基準計測枠FMXR
には、顔の映像ばかりではなく背景の映像も映出されて
いるために、色相信号には、図20に示すように、顔の
特徴を表す色相角成分H1〜H6を含むと同時にその他
の色相角成分をも有する色相頻度特性HueStd
(i)を生ずることになる。
【0056】同様にして基準計測枠FMXRの輝度信号
には、図21に示すように、顔の部分の特徴を表す輝度
レベル成分Y1〜Y6を含むがそれ以外の輝度レベル成
分をも有する輝度頻度特性YStd(i)を生ずること
になる。このようにして追従信号処理回路16はステツ
プSP12Aにおいて主要特徴検出用計測枠FMXFの
画像部分が有する頻度特性データの成分名、すなわちH
1〜H6及びY1〜Y6を主要特徴データとして記憶し
た後、ステツプSP12Bに移つて基準計測枠FMXR
内の輝度信号及び色相信号の頻度特性データのうち、主
要特徴データによつて表されている成分名の頻度特性デ
ータだけを抽出しかつ他を0としてこれを基準特徴パタ
ーンとして記憶する。
【0057】その後追従信号処理回路16はステツプS
P13Aに移つてアドレス発生回路17によつて検出計
測枠FMXDの位置をスキヤンさせることにより、図1
2について上述したと同様にして検出計測枠FMXDに
よつて表示画面PIC上の画像情報を検出計測枠FMX
Dを単位としてしかも輝度信号及び色相信号の頻度特性
データのうち、主要特徴データによつて表されている成
分名の頻度特性データだけを抽出しかつ他を0としてこ
れを検出特徴パターンとして取り込む。
【0058】図15の構成において、追従信号処理回路
16が自動追従処理手順RT3に入つて記録を開始した
とき(ステツプSP11)、ステツプSP12Aにおい
て図19に示すように、オペレータが人の全身のうち顔
の部分を背景と共に基準計測枠FMXRに映出させると
同時に、その主要特徴検出用計測枠FMXFに人の顔だ
けを映出させるようにビデオカメラシステムVCSを設
定すると、追従信号処理回路16はステツプSP12A
において主要特徴検出用計測枠FMXFの顔の部分の映
像に基づいて図17及び図18に示すように、顔の部分
の特徴を表す成分名H1〜H6及びY1〜Y6を有する
色相頻度特性及び輝度頻度特性を得た後、ステツプSP
12Bにおいて図20及び図21に示すように、基準計
測枠FMXR内の背景及び顔の部分の映像全体の色相頻
度特性HueStd(i)及び輝度頻度特性YStd
(i)のうち、成分名H1〜H6及びY1〜Y6の頻度
特性成分の値をもつと共に、その他の頻度特性成分の値
が0の色相頻度特性及び輝度頻度特性を得る。
【0059】続いて追従信号処理回路16はステツプS
P13Aにおいて、表示画面PICの全面を検出計測枠
FMXDを用いてスキヤンすることにより(図12)、
検出計測枠FMXDの各スキヤン位置において、図22
及び図23に示すような検出色相頻度特性Hue(x、
y)(i)及び検出輝度頻度特性Y(x、y)(i)の
うち、主要特性データによつて表されている成分名H1
〜H6及びY1〜Y6の頻度特性データ成分だけを含み
かつ他の成分名の頻度特性データを0とした検出特徴パ
ターンを得る。その後追従信号処理回路16はステツプ
SP14において上述の式(10)及び(11)において基
準特徴パターン及び検出特徴パターン間のユークリツド
距離を求めた後、式(12)を用いてその和の評価値J
(x、y)を求め、ステツプSP15において当該評価
値J(x、y)が最小になる計測枠の位置を新しい被写
体の位置として、ステツプSP16において当該新しい
被写体の位置J(x、y)が画面の中央に来るようにパ
ンニング駆動モータ12C及びチルテイング駆動モータ
12Bを制御した後、ステツプSP17において基準特
徴パターンの更新をするような繰返し処理を実行する状
態になる。
【0060】このようにして追従信号処理回路16はス
テツプSP15及びSP16において新しい被写体を決
めてこれを画面の中央に来るようにパンニング及びチル
テイング駆動をしたことにより、結局図24に示すよう
に、スキヤンすることによつて得た多数の検出計測枠F
MXDのうちでも特に主要特徴検出用計測枠FMXFが
もつている特徴に最も近似した検出計測枠FMXDの位
置を検出してパンニング及びチルテイング処理を実行す
る。この結果追従信号処理回路16は図24に示すよう
に、背景の部分IM1及び顔の分IM2を含む基準計測
枠FMXR(検出計測枠FMXD)内の特徴のうちで
も、主要特徴検出用計測枠FMXFが設定されている顔
の部分IM2の特徴を主の比較判定条件として追従させ
て行くことができ、かくして誤つて背景の部分IM1に
引かれるような現象が生ずるおそれを有効に回避し得る
ビデオカメラシステムVCSを実現できることになる。
【0061】(4)他の実施例 (4−1)上述の第2実施例及び第3実施例において
は、被写体の移動位置の検出結果を用いてテレビジヨン
カメラをパンニング及びチルテイングすることにより被
写体を表示画面PICの中央位置に追尾する場合に本発
明を適用したが、基準特徴パターン及び検出特徴パター
ンとしてオートフオーカス情報又はオートアイリス情報
の観点からパターンの比較をして最も類似性の大きい検
出計測枠FMXDを決定し、当該位置情報に基づいて自
動的にオートフオーカス又はオートアイリス制御をする
ようにしても、上述の場合と同様の効果を得ることがで
きる。
【0062】(4−2)上述の実施例においては、表示
画面PICを構成する画素情報をレンズブロツク部1に
おいて形成し、レンズブロツク部1をズーミング、パン
ニング、チルテイング動作させることにより表示画像を
被写体の動きに追従させるようにしたが、これに代え、
レンズブロツク部1から送出された撮像出力信号S1を
画像メモリ15に記憶させ、当該記憶画像データをズー
ミング、パンニング、チルテイング処理することにより
表示画面を形成するようにしても、上述の場合と同様の
効果を得ることができる。
【0063】(4−3)上述の第3の実施例において
は、ステツプSP12B及びSP13A(図15)にお
いて基準特徴パターン及び検出特徴パターンを得る際
に、主要特性データによつて表されている成分名以外の
成分名の頻度特性データの値を0にするようにしたが、
これに代え、必要に応じて0以外の値にしても良く、要
は所定値に置き換えるようにしても、上述の場合と同様
の効果を得ることができる。
【0064】
【発明の効果】上述のように本発明によれば、所定の計
測枠内における輝度及び色相情報についての頻度特性デ
ータに基づいて基準計測枠との類似性の大きい検出計測
枠を選択して、これが基準計測枠の大きさ、又は位置と
一致するように、画素情報形成手段をズーミング、パン
ニング、チルテイング制御するようにしたことにより、
被写体がビデオカメラに対して変化したとき当該変化に
確実に適応動作して表示画面上に最も見易い映像を表示
できるビデオカメラシステムを容易に実現できる。
【図面の簡単な説明】
【図1】図1は本発明によるビデオカメラシステムの第
1実施例を示すブロツク図である。
【図2】図2は視覚刺激を表すHLS色座標系の説明に
供する略線図である。
【図3】図3は基準計測枠FMRの説明に供する略線図
である。
【図4】図4は図3の基準計測枠FMXRから得られる
基準色相頻度特性を示す特性曲線図である。
【図5】図5は図3の基準計測枠FMXRから得られる
基準輝度頻度特性を示す特性曲線図である。
【図6】図6は第1実施例の自動追従処理手順を示すフ
ローチヤートである。
【図7】図7は検出計測枠を示す略線図である。
【図8】図8は検出色相頻度特性を示す特性曲線図であ
る。
【図9】図9は検出輝度頻度特性を示す特性曲線図であ
る。
【図10】図10は本発明によるビデオカメラシステム
の第2実施例を示すブロツク図である。
【図11】図11は第2実施例の自動追従処理手順を示
すフローチヤートである。
【図12】図12は第2実施例の検出計測枠を示す略線
図である。
【図13】図13は図12の検出計測枠から得られる検
出色相頻度特性を示す特性曲線図である。
【図14】図14は図12の検出計測枠から得られる検
出輝度頻度特性を示す特性曲線図である。
【図15】図15は本発明によるビデオカメラシステム
の第3の実施例の自動追従処理手順を示すフローチヤー
トである。
【図16】図16は図15のステツプSP12Aにおい
て設定される主要特徴検出用計測枠を示す略線図であ
る。
【図17】図17は図16の主要特徴検出用計測枠FM
XFから得られる色相頻度特性を示す特性曲線図であ
る。
【図18】図18は図16の主要特徴検出用計測枠FM
XFから得られる輝度頻度特性を示す特性曲線図であ
る。
【図19】図19は表示画面PIC上に映出された被写
体のうち、特に追従すべき被写体部分について主要特徴
検出用計測枠FMXFを設定することの説明に供する略
線図である。
【図20】図20は図16の基準計測枠FMXRから得
られる色相頻度特性を示す特性曲線図である。
【図21】図21は図16の基準計測枠FMXRから得
られる輝度頻度特性を示す特性曲線図である。
【図22】図22は表示画面PIC上を検出計測枠FM
XDによつてスキヤンしたとき(図17)に得られる色
相頻度特性を示す特性曲線図である。
【図23】図23は表示画面PICを検出計測枠FMX
Dによつてスキヤンしたとき(図12)に得られる輝度
頻度特性を示す特性曲線図である。
【図24】図24は被写体のうちの特定の被写体部分に
自動追従できることの説明に供する略線図である。
【符号の説明】
VCS……ビデオカメラシステム、1……レンズブロツ
ク部、2……レンズ、3……アイリス、4……固体撮像
素子、5……信号分離/自動利得調整回路部、7……デ
イジタルカメラ処理回路、11……追従制御回路部、1
2A……ズーミング駆動モータ、12B……チルテイン
グ駆動モータ、12C……パンニング駆動モータ、14
……飽和度/色相検出回路、15……画像メモリ、16
……追従信号処理回路、17……アドレス発生回路、1
8……ゲート回路、19……色相ヒストグラム発生回
路、20……輝度ヒストグラム発生回路。

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項1】被写体の撮像出力信号に基づいて表示画面
    を構成する画素情報を形成する画素情報形成手段と、 上記表示画面上の所定位置に所定の大きさの基準計測枠
    を設定する基準計測枠設定手段と、 上記表示画面上に大きさが異なる複数の検出計測枠を設
    定する検出計測枠設定手段と、 上記基準計測枠内の画像の輝度及び色相情報に基づい
    て、それぞれ、輝度レベル及び色相角についての基準頻
    度特性データを形成する基準頻度特性データ形成手段
    と、 複数の上記検出計測枠内の画像の輝度及び色相情報に
    づいて、それぞれ、輝度レベル及び色相角についての複
    数の検出頻度特性データを形成する検出頻度特性データ
    形成手段と、 上記基準頻度特性データ及び複数の上記検出頻度特性デ
    ータ間の類似性を求め、上記複数の検出頻度特性データ
    のうち、類似性が大きい上記検出頻度特性データを有す
    る上記検出計測枠を決定する検出計測枠決定手段と、 当該決定された上記検出計測枠の大きさが上記基準計測
    枠の大きさと一致するように上記画素情報形成手段をズ
    ーミング制御する画素情報変更制御手段とを具えること
    を特徴とするビデオカメラシステム。
  2. 【請求項2】被写体の撮像出力信号に基づいて表示画面
    を構成する画素情報を形成する画素情報形成手段と、 上記表示画面上の所定位置に所定の大きさの基準計測枠
    を設定する基準計測枠設定手段と、 上記表示画面上に所定の大きさの複数の検出計測枠を設
    定する検出計測枠設定手段と、 上記基準計測枠内に所定の大きさの主要特徴検出用計測
    枠を設定する主要特徴検出用計測枠設定手段と、 上記主要特徴検出用計測枠内の画像の輝度及び色相情
    基づいて、それぞれ、輝度レベル及び色相角について
    の頻度特性成分の成分名でなる主要特徴データを形成す
    る主要特徴データ形成手段と、 上記基準計測枠内の画像の輝度及び色相情報に基づい
    て、それぞれ、輝度レベル及び色相角についての基準頻
    度特性データのうち、上記主要特徴データによつて表さ
    れている頻度特性成分名の基準頻度特性データ成分を有
    しかつ他の頻度特性成分名の基準頻度特性データ成分の
    値を所定値とする基準頻度特性データを形成する基準頻
    度データ形成手段と、 複数の上記検出計測枠内の画像の輝度及び色相情報に
    づいて、それぞれ、輝度レベル及び色相角についての検
    出頻度特性データのうち、上記主要特徴データによつて
    表されている頻度特性成分名の検出頻度特性データ成分
    を有しかつ他の頻度特性成分名の検出頻度特性データ成
    分の値を所定値とする検出頻度特性データを形成する検
    出頻度特性データ形成手段と、 上記基準頻度特性データ及び複数の上記検出頻度特性デ
    ータ間の類似性を求め、上記複数の検出頻度特性データ
    のうち、類似性が大きい上記検出頻度特性データを有す
    る上記検出計測枠を決定する検出計測枠決定手段と、 当該決定された上記検出計測枠の大きさが上記基準計測
    枠の大きさと一致するように上記画素情報形成手段をズ
    ーミング制御する画素情報変更制御手段とを具えること
    を特徴とするビデオカメラシステム。
  3. 【請求項3】被写体の撮像出力信号に基づいて表示画面
    を構成する画素情報を形成する画素情報形成手段と、 上記表示画面上に所定位置に所定の大きさの基準計測枠
    を設定する基準計測枠設定手段と、 上記表示画面上の互いに異なる位置に所定の大きさの複
    数の検出計測枠を設定する検出計測枠設定手段と、 上記基準計測枠内の画像の輝度及び色相情報に基づい
    て、それぞれ、輝度レベル及び色相角についての基準頻
    度特性データを形成する基準頻度特性データ形成手段
    と、 複数の上記検出計測枠内の画像の輝度及び色相情報に
    づいて、それぞれ輝度レベル及び色相角についての検
    出頻度特性データを形成する検出頻度特性データ形成手
    段と、 上記基準頻度特性データ及び複数の上記検出頻度特性デ
    ータ間の類似性を求め、類似性が大きい上記検出頻度特
    性データを有する上記検出計測枠を決定する検出計測枠
    決定手段と、 当該決定された上記検出計測枠が上記基準計測枠と一致
    する位置に移動するように上記画素情報形成手段をパン
    ニング及びチルテイング制御する画素情報変更制御手段
    とを具えることを特徴とするビデオカメラシステム。
  4. 【請求項4】被写体の撮像出力信号に基づいて表示画面
    を構成する画素情報を形成する画素情報形成手段と、 上記表示画面上の所定位置に所定の大きさの基準計測枠
    を設定する基準計測枠設定手段と、 上記表示画面上に所定の大きさの複数の検出計測枠を設
    定する検出計測枠設定手段と、 上記基準計測枠内に所定の大きさの主要特徴検出用計測
    枠を設定する主要特徴検出用計測枠設定手段と、 上記主要特徴検出用計測枠内の画像の輝度及び色相情
    基づいて、それぞれ、輝度レベル及び色相角について
    の頻度特性成分の成分名でなる主要特徴データを形成す
    る主要特徴データ形成手段と、 上記基準計測枠内の画像の輝度及び色相情報に基づい
    て、それぞれ、輝度レベル及び色相角についての基準頻
    度特性データのうち、上記主要特徴データによつて表さ
    れている頻度特性成分名の基準頻度特性データ成分を有
    しかつ他の頻度特性成分名の基準頻度特性データ成分の
    値を所定値とする基準頻度特性データを形成する基準頻
    度データ形成手段と、 複数の上記検出計測枠内の画像の輝度及び色相情報に
    づいて、それぞれ、輝度レベル及び色相角についての検
    出頻度特性データのうち、上記主要特徴データによつて
    表されている頻度特性成分名の検出頻度特性データ成分
    を有しかつ他の頻度特性成分名の検出頻度特性データ成
    分の値を所定値とする検出頻度特性データを形成する検
    出頻度特性データ形成手段と、 上記基準頻度特性データ及び複数の上記検出頻度特性デ
    ータ間の類似性を求め、複数の上記検出頻度特性データ
    のうち、類似性が大きい上記検出頻度特性データを有す
    る上記検出計測枠を決定する検出計測枠決定手段と、 当該決定された上記検出計測枠が上記基準計測枠と一致
    する位置に移動するように上記画素情報形成手段をパン
    ニング及びチルテイング制御する画素情報変更制御手段
    とを具えることを特徴とするビデオカメラシステム。
  5. 【請求項5】上記基準計測枠設定手段は上記基準計測枠
    を上記表示画面の中央部に形成することを特徴とする請
    求項1、2、3又は4に記載のビデオカメラシステム。
  6. 【請求項6】上記検出計測枠決定手段は、上記複数の検
    出計測枠についてそれぞれ上記基準頻度特性データに対
    する上記検出頻度特性データのユークリツド距離を演算
    し、当該ユークリツド距離が小さい検出計測枠を上記類
    似性が大きい検出計測枠として決定することを特徴とす
    る請求項1、2、3又は4に記載のビデオカメラシステ
    ム。
  7. 【請求項7】上記検出計測枠決定手段によつて決定され
    かつ大きさ又は位置が、それぞれ、上記基準計測枠の大
    きさ又は位置と一致した上記検出計測枠の検出頻度特性
    データを上記基準計測枠の新しい基準頻度特性データ
    として更新することを特徴とする請求項1、2、3又は
    4に記載のビデオカメラシステム。
JP32265292A 1992-09-28 1992-11-07 ビデオカメラシステム Expired - Fee Related JP3487436B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP32265292A JP3487436B2 (ja) 1992-09-28 1992-11-07 ビデオカメラシステム
US08/120,927 US5355163A (en) 1992-09-28 1993-09-15 Video camera that automatically maintains size and location of an image within a frame
KR1019930023646A KR100276681B1 (ko) 1992-11-07 1993-11-06 비디오 카메라 시스템
US08/763,426 US5812193A (en) 1992-11-07 1996-12-11 Video camera system which automatically follows subject changes

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP28250592 1992-09-28
JP4-282505 1992-09-28
JP32265292A JP3487436B2 (ja) 1992-09-28 1992-11-07 ビデオカメラシステム

Publications (2)

Publication Number Publication Date
JPH06165016A JPH06165016A (ja) 1994-06-10
JP3487436B2 true JP3487436B2 (ja) 2004-01-19

Family

ID=26554628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32265292A Expired - Fee Related JP3487436B2 (ja) 1992-09-28 1992-11-07 ビデオカメラシステム

Country Status (2)

Country Link
US (1) US5355163A (ja)
JP (1) JP3487436B2 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4318526C2 (de) * 1992-06-10 1999-11-25 Canon Kk Bildeingabevorrichtung
KR100276681B1 (ko) * 1992-11-07 2001-01-15 이데이 노부유끼 비디오 카메라 시스템
JPH0767015A (ja) * 1993-08-24 1995-03-10 Canon Inc 画像記録装置
US5559551A (en) * 1994-05-30 1996-09-24 Sony Corporation Subject tracking apparatus
US5883968A (en) * 1994-07-05 1999-03-16 Aw Computer Systems, Inc. System and methods for preventing fraud in retail environments, including the detection of empty and non-empty shopping carts
JP3450449B2 (ja) * 1994-07-18 2003-09-22 キヤノン株式会社 撮像装置およびその撮像方法
JP3617087B2 (ja) * 1994-10-07 2005-02-02 ソニー株式会社 ビデオカメラ装置およびカメラコントロールユニット
US5706361A (en) * 1995-01-26 1998-01-06 Autodesk, Inc. Video seed fill over time
JPH08297054A (ja) * 1995-04-26 1996-11-12 Advantest Corp 色感測定装置
WO1997000575A1 (fr) * 1995-06-19 1997-01-03 Sony Corporation Dispositif de reconnaissance d'objets et dispositif de prise d'images
JP3697745B2 (ja) * 1995-06-30 2005-09-21 ソニー株式会社 オートフォーカス制御装置及び方法
JPH0946591A (ja) * 1995-07-31 1997-02-14 Canon Inc 画像処理装置及び画像処理システム
JP4079463B2 (ja) * 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
JP3434979B2 (ja) * 1996-07-23 2003-08-11 富士通株式会社 局所領域画像追跡装置
US6252976B1 (en) * 1997-08-29 2001-06-26 Eastman Kodak Company Computer program product for redeye detection
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6643398B2 (en) * 1998-08-05 2003-11-04 Minolta Co., Ltd. Image correction device, image correction method and computer program product in memory for image correction
DE19924677A1 (de) * 1999-05-29 2000-08-10 Daimler Chrysler Ag Ansaugsystem für eine Brennkraftmaschine
JP3565749B2 (ja) 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置
JP2002305683A (ja) * 2001-04-04 2002-10-18 Olympus Optical Co Ltd 撮像装置および撮像プログラムを記録した記録媒体
US20020176001A1 (en) * 2001-05-11 2002-11-28 Miroslav Trajkovic Object tracking based on color distribution
JP4802397B2 (ja) * 2001-05-30 2011-10-26 コニカミノルタホールディングス株式会社 画像撮影システム、および操作装置
AUPR676201A0 (en) * 2001-08-01 2001-08-23 Canon Kabushiki Kaisha Video feature tracking with loss-of-track detection
US7190825B2 (en) * 2001-08-17 2007-03-13 Geo-Rae Co., Ltd. Portable communication device for stereoscopic image display and transmission
US20030052971A1 (en) * 2001-09-17 2003-03-20 Philips Electronics North America Corp. Intelligent quad display through cooperative distributed vision
KR100426174B1 (ko) * 2001-10-29 2004-04-06 삼성전자주식회사 영상압축 알고리즘을 이용한 카메라 제어방법
US20030126622A1 (en) * 2001-12-27 2003-07-03 Koninklijke Philips Electronics N.V. Method for efficiently storing the trajectory of tracked objects in video
US20040100560A1 (en) * 2002-11-22 2004-05-27 Stavely Donald J. Tracking digital zoom in a digital video camera
JP2005165984A (ja) * 2003-12-05 2005-06-23 Seiko Epson Corp 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
US10074057B2 (en) 2004-05-21 2018-09-11 Pressco Technology Inc. Graphical re-inspection user setup interface
JP2006185109A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd 画像計測装置及び画像計測方法
WO2007077283A1 (en) * 2005-12-30 2007-07-12 Nokia Corporation Method and device for controlling auto focusing of a video camera by tracking a region-of-interest
JP4821460B2 (ja) * 2006-06-28 2011-11-24 株式会社ニコン オートフォーカス装置、およびカメラ
US8253800B2 (en) 2006-06-28 2012-08-28 Nikon Corporation Tracking device, automatic focusing device, and camera
JP4110178B2 (ja) 2006-07-03 2008-07-02 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
JP4655054B2 (ja) 2007-02-26 2011-03-23 富士フイルム株式会社 撮像装置
JP4730431B2 (ja) * 2008-12-16 2011-07-20 日本ビクター株式会社 目標追尾装置
US9955209B2 (en) * 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US9294716B2 (en) 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
US9661232B2 (en) 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
US8754925B2 (en) 2010-09-30 2014-06-17 Alcatel Lucent Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
FR3096854B1 (fr) 2019-06-03 2021-11-12 Genetec Inc Système de commande du zoom d'un ensemble de cameras et procedé de commande d’un ensemble de caméras

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4953008A (en) * 1986-09-08 1990-08-28 Encore Video, Inc. Method and apparatus for uniform saturation, hue and luminance correction

Also Published As

Publication number Publication date
JPH06165016A (ja) 1994-06-10
US5355163A (en) 1994-10-11

Similar Documents

Publication Publication Date Title
JP3487436B2 (ja) ビデオカメラシステム
KR100276681B1 (ko) 비디오 카메라 시스템
US5631697A (en) Video camera capable of automatic target tracking
KR100274999B1 (ko) 비디오 카메라 시스템
KR100312608B1 (ko) 비디오신호추종처리시스템
EP1855464B1 (en) Method for displaying face detection frame, method for displaying character information, and image-taking device
US20060291845A1 (en) Apparatus and method for deciding in-focus position of imaging lens
US7614559B2 (en) Apparatus and method for deciding in-focus position of imaging lens
JP4640198B2 (ja) 電子カメラ、多数ポイント同時合焦枠表示方法、及びプログラム
JPH08237535A (ja) 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置
JP3544215B2 (ja) ビデオカメラシステム
KR960002548B1 (ko) 특정 화상의 추출 방법 및 시스템
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP3399995B2 (ja) 映像信号追尾方法及びビデオカメラシステム
JPH06268894A (ja) 自動撮像装置
KR101445613B1 (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JPH08116485A (ja) ビデオカメラの被写体追尾装置及び追尾方法
JP2603212B2 (ja) カメラにおける自動追尾装置
WO2020129620A1 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP3610604B2 (ja) ビデオカメラの被写体追尾装置及び追尾方法
JPH06169425A (ja) ビデオカメラ
JPH09322047A (ja) ビデオカメラ制御方法、ビデオカメラ制御システム、ビデオカメラ制御装置、およびビデオカメラ
JP7110657B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP3757403B2 (ja) 被写体検出装置および被写体検出方法
JPS6138918A (ja) カメラ

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091031

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091031

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101031

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101031

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees