JPH0730796A - ビデオ信号追従処理システム - Google Patents

ビデオ信号追従処理システム

Info

Publication number
JPH0730796A
JPH0730796A JP5196954A JP19695493A JPH0730796A JP H0730796 A JPH0730796 A JP H0730796A JP 5196954 A JP5196954 A JP 5196954A JP 19695493 A JP19695493 A JP 19695493A JP H0730796 A JPH0730796 A JP H0730796A
Authority
JP
Japan
Prior art keywords
frequency characteristic
detection
characteristic data
measurement frame
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5196954A
Other languages
English (en)
Inventor
Tadafusa Tomitaka
忠房 富高
Tsuneo Sekiya
庸男 関谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP5196954A priority Critical patent/JPH0730796A/ja
Priority to US08/268,125 priority patent/US5546125A/en
Priority to DE69426175T priority patent/DE69426175T2/de
Priority to EP94305027A priority patent/EP0634665B1/en
Priority to KR1019940016630A priority patent/KR100312608B1/ko
Publication of JPH0730796A publication Critical patent/JPH0730796A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • G01S3/7865T.V. type tracking systems using correlation of the live video image with a stored image

Abstract

(57)【要約】 【目的】被写体の動きに適応性良く追従できるようにし
たビデオ信号追従処理システムを提案する。 【構成】検出計測枠の画像情報に基づいて輝度及び色相
頻度特性データを得て検出特徴パターンを形成し、画面
内で、基準計測枠とそれ以外の領域を区別できる類似度
計算法を選択し、基準計測枠から得た基準特徴パターン
と最も類似度が大きい特徴パターンを有する検出計測枠
の位置を決定し、当該検出計測枠の位置情報に基づいて
表示画面に映出すべき映像を変更制御するようにしたこ
とにより、被写体の動きに適応性良く追従できるビデオ
信号追従処理システムを容易に実現することができる。

Description

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段(図1〜図16) 作用(図1〜図16) 実施例 (1)第1の実施例(図1〜図16) (1−1)全体の構成(図1〜図8) (1−2)自動追従信号動作(図9〜図12) (1−3)類似度検出処理動作(図13〜図16) (2)第2の実施例(図17) (3)第3の実施例(図18) (4)他の実施例 発明の効果
【0002】
【産業上の利用分野】本発明はビデオ信号追従処理シス
テムに関し、特にビデオカメラの視野内にある被写体の
変化に自動的に追従して最適な画像を撮像できるように
したものである。
【0003】
【従来の技術】視野内の被写体の位置変化に追従する装
置としてビデオカメラにおいて被写体の移動に応じてこ
れを自動追尾する被写体追尾装置があり、従来のビデオ
カメラの被写体追尾装置として、第1に計測枠内の輝度
信号の高周波成分のピーク値を記憶し、その動きを被写
体の特徴として自動追尾する被写体自動追尾方法が提案
されている。
【0004】また第2に、計測枠内の前後のフイールド
の輝度信号について、代表点のマツチングを取ることに
より動きベクトルを形成し、計測枠内の動きベクトルを
被写体の動きと仮定して自動追尾する被写体自動追尾方
法が提案されている。
【0005】
【発明が解決しようとする課題】第1の自動追尾方法
は、基本的にピーク時の信号を利用するので、ノイズに
弱く、その結果低い照度の撮影環境においては自動追尾
ができなくなるおそれがある。また原理的に高周波成分
を抽出しているので、コントラストが低い被写体を自動
追尾できなくなるおそれがある。さらに第2の自動追尾
方法は、計算された動きベクトルがビデオカメラの手触
れによるものか、又は被写体の動きによるものかを分離
することが困難であり、そのため実際上誤動作するおそ
れがある。
【0006】本発明は以上の点を考慮してなされたもの
で、画面内において安定かつ効果的に被写体の特徴量を
抽出できるようにすることにより、簡易かつ確実に被写
体の動きに自動追従動作し得るようにしたビデオカメラ
システムを提案しようとするものである。
【0007】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、レンズブロツク部1を通して得ら
れる撮像出力信号に基づいて表示画面PICを構成する
画素情報を形成する画素情報形成手段(1、5、6、
7、14、26、27)と、表示画面PIC上の所定位
置に所定の大きさの基準計測枠FMXRを設定する基準
計測枠設定手段(16、17、15、SP2)と、表示
画面PIC上に所定の大きさの検出計測枠(FMXD)
を設定する検出計測枠設定手段(16、17、15、S
P3)と、基準計測枠FMXR内の画像の輝度及び又は
色相情報に基づいて輝度レベル及び又は色相角について
の基準頻度特性データYStd(i)、HueStd
(i)を形成する基準頻度特性データ形成手段(19、
20、16、SP2)と、検出計測枠(FMXD)内の
画像の輝度及び又は色相情報に基づいて輝度レベル及び
又は色相角についての検出頻度特性データY(x、y)
(i)、Hue(x、y)(i)を形成する検出頻度特
性データ形成手段(19、20、16、SP3)と、基
準頻度特性データ及び又は検出頻度特性データの類似度
を数種類の方法で計算する類似度計算手段(16、SP
12)と、類似度計算で得られた複数の類似度の中か
ら、その画面内で最も有効な類似度データを選択する有
効類似度計算法選択手段(16、SP13)と、有効類
似度計算法選択手段で選択された類似度の計算法を用い
て、類似度が大きい検出頻度特性データを有する検出計
測枠を決定する検出計測枠決定手段(16、SP5、S
P15)と、当該決定された検出計測枠の画像情報の位
置を基準計測枠の位置に一致させるように画素情報形成
手段(1、5、6、7)を制御する画素情報変更制御手
段(16、SP6)とを設けるようにする。
【0008】
【作用】被写体の画素情報のうち基準計測枠FMXR内
の画素情報が基準頻度特性データ形成手段(19、2
0、16、SP2)によつて輝度レベル及び又は色相角
についての基準頻度特性データYStd(i)、Hue
Std(i)に変換され、かつ検出計測枠(FMXD)
内の画素情報が検出頻度特性データ形成手段(19、2
0、16、SP3)によつて輝度レベル又は色相角につ
いての検出頻度特性データY(x、y)(i)、Hue
(x、y)(i)に変換される。類似度計算手段(1
6、SP12、SP15)において検出頻度特性データ
のうち基準頻度特性データに関して数種類の方法で類似
度を求められ、その画像で最も有効な類似度計算法が有
効類似度計算法選択手段(16、SP12)において決
定され、その計算法で求めた類似度が画面内で最も大き
い検出頻度特性データが検出計測枠決定手段(16、S
P13、SP15)によつて決定され、当該決定された
検出計測枠内の画素情報が基準計測枠内に入るように画
素情報変更制御手段(16、SP6、SP16)によつ
て画素情報形成手段(1、5、6、7)が駆動制御され
る。
【0009】かくして表示画面内において常に被写体が
基準枠内に入るように追従制御することができ、かくす
るにつき頻度特性データを用いて画像の特徴を表すよう
にしたので比較的簡易に構成し得かつ確実に追従動作し
得るビデオ信号追従システムを実現できる。
【0010】
【実施例】以下図面について、本発明の一実施例を詳述
する。
【0011】(1)第1の実施例 (1−1)全体の構成 図1において、VCSは全体としてビデオカメラシステ
ムを示し、被写体から到来する撮像光LAをレンズブロ
ツク部1のレンズ2、アイリス3を通つて固体撮像素子
例えばCCD(charge coupled device )でなる撮像素
子4に結像させて被写体の映像を含む視野映像を表す撮
像出力信号S1を信号分離/自動利得調整回路部5に与
える。信号分離/自動利得調整回路部5は撮像出力信号
S1をサンプルホールドすると共に、オートアイリス
(AE)(図示せず)からの制御信号によつて撮像出力
信号S1が所定のゲインをもつように利得制御し、かく
して得られる撮像出力信号S2をアナログ/デイジタル
変換回路部6を介してデイジタルカメラ処理回路7に供
給する。
【0012】デイジタルカメラ処理回路7は撮像出力信
号S2に基づいて輝度信号Y、クロマ信号Cを形成し、
輝度信号Y及びクロマ信号Cをデイジタル/アナログ変
換回路8を介してビデオ出力信号S3として送出する。
これに加えてデイジタルカメラ処理回路7は被写体追従
用検出信号S4として輝度信号Y並びに色差信号R−Y
及びB−Yを追従制御回路部11に供給し、追従制御回
路部11はこの被写体追従用検出信号S4に基づいて、
レンズブロツク部1に対して設けられたパンニング駆動
モータ12A及びチルテイング駆動モータ12Bに対す
る追従制御信号S5を発生する。
【0013】追従制御回路部11は輝度信号Y、色差信
号R−Y及びB−Yをローパスフイルタ26、デシメー
シヨン回路27を順次通して色差信号R−Y及びB−Y
を飽和度/色相検出回路14に与えることにより色相
(Hue )信号HUE及び飽和度(Saturation)信号SA
Tを形成し、これを輝度信号Yと共に画像メモリ15に
被写体追従制御用画像データS10として各画素単位で
記憶する。かくしてデシメーシヨン回路27は輝度信号
Y及び色差信号R−Y及びB−Yを数画素飛びにサンプ
ルすることにより間引くような処理をし、これにより画
像メモリ15に記憶させるデータの容量を低減させ、回
路構成を一段と簡易化できるようになされている。
【0014】飽和度/色相検出回路14は、色差信号R
−Y及びB−Yを直交座標/曲座標変換することにより
色相信号HUE及び飽和度信号SATを形成し、かくし
て後段の構成において輝度信号Y、色相信号HUE及び
飽和度信号SATを用いて人間が視覚できる視覚刺激に
基づいて被写体認識をできるようにする。因に一般に人
間が知覚できる視覚刺激は図2に示すように、L軸とこ
れに直交するSH平面を有するいわゆるHLS系と呼ば
れる色座標系によつて表現される。
【0015】L軸は明るさ(Lightness )を表し、輝度
信号Yに相当する。SH平面はL軸に直交する曲座標で
表現される。SH平面において、Sは飽和度(Saturati
on)を表し、L軸からの距離によつて表現される。また
Hは色相(Hue )を表し、色差信号R−Yの方向を0
〔°〕としたときの角度によつて表現される。このHL
S系の立体は、光源が明るくなると、色座標すなわちS
H平面がL軸に沿つて上方方向に行くと共にすべての色
が白になる。そのとき飽和度Sが減少して行く。これに
対して光源が暗くなると、色座標すなわちSH平面がL
軸に沿つて下方方向に行くと共に、すべての色が黒にな
る。このとき同時に飽和度Sも減少して行く。
【0016】このようなHLS色座標系の特徴に基づい
て、飽和度S及び輝度Yは光源の明るさの影響を受け易
いもので、従つて被写体の特徴量を表すパラメータとし
ては最適とは言い難いことが分る。これとは逆に色相H
は被写体個有の特徴量を表現するものとして、光源の影
響を受け難いものであることが分る。しかしそうである
と言つても、被写体の色がL軸上の近傍にあるような場
合、すなわち白、黒及び灰色の場合は、色相Hの信号が
情報としての意味をもたなくなり、最悪の場合、S/N
が悪い画像では白であるにもかかわらず様々な色相Hの
ベクトルをもつている可能性があることが分る。
【0017】かかるHLS色座標系の性質を利用して追
従制御回路部11は被写体の特徴を抽出し、特徴の変化
が生じたときこれに追従するようにパンニング駆動モー
タ12A及びチルテイング駆動モータ12Bを駆動する
ことにより、結果としてビデオ信号S3として被写体の
動きに適応して追従する映像信号を得るようにする。
【0018】すなわち画像メモリ15に記憶された被写
体追従用制御データS10を構成する画素情報は、マイ
クロプロセツサ構成の追従信号処理回路16から送出さ
れるブロツク指定信号S11をアドレス発生回路17に
与えることにより、図3に示すように、実質上画像メモ
リ15内に形成されている表示画面PICをxy直交座
標(x、y)に基づいて所定の大きさの小領域ARでな
るブロツクに分割するようなアドレス信号S12によつ
て読み出される。かくして画像メモリ15の表示画面P
ICを構成する各画素のデータは、小領域ARごとに読
み出されて各小領域ARごとに1つのブロツク画像情報
として処理される。
【0019】この実施例の場合、表示画面PICはx方
向及びy方向にそれぞれ16個の小領域ARに分割され、
かくして16×16(= 256)個の小領域ARについて直交
座標(x、y)の座標x=i、y=jを指定することに
より、当該指定される小領域ARの画像情報I(x=
i、y=j)を読み出すことができる。このようにして
画像メモリ15から小領域ARごとに読み出される画像
情報I(x=i、y=j)のうち、色相信号HUE成分
がゲート回路18を通つて色相ヒストグラム発生回路1
9に与えられるのに対して、輝度信号Y成分が直接輝度
ヒストグラム発生回路20に与えられる。
【0020】色相ヒストグラム発生回路19は、表示画
面PIC上に設定された計測枠FMX内の画素の色相に
ついて、図4に示すように、色相角0〜 359〔°〕につ
いて各色相角をもつ画素の画素数を表す色相頻度特性H
ueStd(i)を求め、これを色相ヒストグラム信号
S13として追従信号処理回路16に送出する。かくし
て色相ヒストグラム発生回路19は、計測枠FMX内の
画像がもつ色相についての特徴を、色相頻度特性Hue
Std(i)によつて表される色相特徴パターンに変換
して、追従信号処理回路16に供給することになる。
【0021】また輝度ヒストグラム発生回路20は、同
様にして表示画面PIC上に設定された計測枠FMX内
の画素の輝度信号Yに基づいて、図5に示すように、輝
度レベル0〜 255について各輝度レベルをもつ画素の画
素数を表す輝度頻度特性YStd(i)を求め、これを
輝度ヒストグラム信号S14として追従信号処理回路1
6に供給する。かくして輝度ヒストグラム発生回路20
は、計測枠FMX内の画像がもつ輝度についての特徴
を、輝度頻度特性YStd(i)によつて表される輝度
特徴パターンに変換して、追従信号処理回路16に供給
することになる。
【0022】色相ヒストグラム発生回路19及び輝度ヒ
ストグラム発生回路20は、色相信号HUEの成分及び
輝度信号Yの成分を分類値(すなわち色相角0〜 359
〔°〕及び輝度レベル0〜 255)を表すスレシヨルド値
と比較することにより、発生頻度値として算入すべき色
相角及び輝度レベルに分類処理するようになされてお
り、この分類処理の際にノイズの影響を受け難くするた
めに、図6に示すように、各分類値の頻度数データD1
をメンバーシツプ関数フイルタMFFを通し、その出力
端に得られるフイルタ出力データD2をそれぞれ色相ヒ
ストグラム信号S13及び輝度ヒストグラム信号S14
として送出するようになされている。
【0023】このようにするのは、実際上色相信号HU
Eの成分及び輝度信号Yの成分の値が各分類値に対応す
るスレシヨルド値の近傍にあるとき、ノイズの有無によ
つて算入すべき分類値が不確定になるのを回避するため
で、その解決方法として頻度数を算入する際にメンバー
シツプ関数によつて曖昧さを導入したデータに変換す
る。例えば色相信号HUEの成分について図7(A)及
び図7(B)に示すように、第N番目のフイールドにお
いて色相分類値HUE=4の色相頻度特性Hue(i)
がHue(i)=5であるのに対して、同じ画像である
にもかかわらず、ノイズがあるために第N+1番目のフ
イールドにおいては、色相分類値HUE=3の色相頻度
特性Hue(i)=5であると判断されるような場合が
生じ得る。
【0024】このとき頻度データD1をメンバーシツプ
関数フイルタMFFを通してフイルタ出力データD2を
用いることにより得ることができる色相頻度特性Hue
(i)は、図7(A)及び(B)に対応させて図8
(A)及び(B)に示すように、色相頻度分布をノイズ
の有無によつてほぼ同一にできる。かくして頻度特性を
得る際に色相信号HUEの成分及び輝度信号Yの成分に
含まれているノイズによる影響を有効に抑制することが
できる。
【0025】ゲート回路18に対してコンパレータ構成
の色相ノイズゲート信号形成回路25が設けられ、画像
メモリ15から各画素ごとに読み出される色相信号HU
Eを追従信号処理回路16から送出されるノイズ判定信
号S15と比較し、色相信号HUEが所定レベル以下の
ときゲート回路18を閉動作させるゲート信号S16を
ゲート回路18に与えることにより、当該画素の色相信
号HUEを色相ヒストグラム発生回路19に入力させな
いようになされている。
【0026】因に飽和度/色相検出回路14において検
出された色相信号HUEがL軸の近傍(図2)にあると
き、このことは当該色相信号HUEは飽和度が小さいた
めにノイズに埋もれて情報としての意味をもつていない
おそれがあるので、このような意味をもたない色相信号
HUEをゲート回路18において除去する。
【0027】(1−2)自動追従信号動作 以上の構成において、追従信号処理回路16は図9に示
す自動追従処理手順RT1を実行することにより、画像
メモリ15に取り込んだ各画素の輝度信号Y及び色相信
号HUEに基づいて輝度ヒストグラム発生回路20及び
色相ヒストグラム発生回路19において輝度検出特徴パ
ターン及び色相検出特徴パターンを形成させ、これによ
り基準計測枠内の画像部分と比較して最も類似度が大き
い画像を有する検出計測枠の位置を常に基準計測枠の位
置に移動させるように、レンズブロツク1のパン及びチ
ルト動作を適応制御する。
【0028】すなわち追従信号処理回路16は、自動追
従処理手順RT1に入ると先ずステツプSP1において
フレーム番号FNをFN=0に初期設定すると共に、ユ
ーザが記録ポーズボタンRECPAUSEを操作するこ
とにより記録ポーズ状態を解除するのを待ち受ける状態
になる。その状態においてユーザが記録ポーズを解除す
ると、追従信号処理回路16は、ステツプSP2に移つ
て図3〜図5について上述したように、画面の中央にあ
る基準計測枠FMXRをアドレス発生回路17によつて
指定することにより当該基準計測枠FMXR内の画素に
対応する輝度信号Y及び色相信号HUEを輝度ヒストグ
ラム発生回路20及び色相ヒストグラム発生回路19に
送出させることにより、基準特徴パターンとして基準輝
度頻度特性YStd(i)(図5)及び基準色相頻度特
性HueStd(i)(図4)をもつ輝度ヒストグラム
信号S14及び色相ヒストグラム信号S13を取り込む
ような処理を実行する。
【0029】続いて追従信号処理回路16は、ステツプ
SP3に移つて、図10に示すように、アドレス発生回
路17によつて検出計測枠FMXDの位置をスキヤンさ
せることにより、検出計測枠FMXDによつて表示画面
PIC上の画像情報を検出計測枠FMXDを単位として
抽出して行く。この実施例の場合、検出計測枠FMXD
は、基準計測枠FMXRと同様に、4×4個の小領域A
Rで構成され、アドレス発生回路17は検出計測枠FM
XDの左上隅の小領域アドレスを左側から右側方向にか
つ上側から下側方向に順次指定して行くことによりスキ
ヤンをする。
【0030】その結果検出計測枠FMXDはアドレス
(x、y)=(0、0)、(1、0)……(12、
0)、(0、1)、(1、1)……(12、1)、……
……、(0、12)、(1、12)……(12、12)
のように順次シフトするようにスキヤン動作をする。こ
のようなスキヤンをする間に、追従信号処理回路16は
アドレス(x、y)位置に移動された検出計測枠FMX
Dの画像について、その色相情報及び輝度情報について
図11及び図12に示すような検出色相頻度特性Hue
(x、y)(i)及び検出輝度頻度特性Y(x、y)
(i)を求める。
【0031】ここで検出色相頻度特性Hue(x、y)
(i)は検出計測枠FMXDに含まれるすべての画素が
もつている色相角度y=0〜 359〔°〕の画素の発生頻
度により、当該検出計測枠FMXDの色相に関する検出
特徴パターンを表している。これに対して検出輝度頻度
特性Y(x、y)(i)は、検出計測枠FMXDに含ま
れるすべての画素がもつている輝度レベル=0〜 255の
画素の発生頻度によつて輝度に関する検出特徴パターン
を表している。
【0032】ここで求める検出色相頻度特性Hue
(x、y)(i)及び検出輝度頻度特性Y(x、y)
(i)についても、基準色相頻度特性HueStd
(x、y)(i)及び基準輝度頻度特性YStd(x、
y)(i)について図6〜図8を用いて述べたと同様に
して、メンバーシツプ関係フイルタMFFによるフイル
タ処理を実行することにより、曖昧さを導入し、これに
よりノイズの影響を軽減させるようになされている。
【0033】続いて追従信号処理回路16は、ステツプ
SP4に移つて、基準計測枠FMRXから得られた基準
特徴パターン及び検出計測枠FMXDから得られた検出
特徴パターン間の類似度を両者間の距離を表す距離演算
式を用いて計算し、その計算結果を評価値JZ(x、
y)として決定する。次にステツプSP4において決定
された評価値JZ(x、y)がステツプSP5において
表示画面PIC内で最小になる検出計測枠FMXDの位
置を現在の計測時における被写体の位置であると決定
し、次のステツプSP6において当該新しい被写体の位
置(x、y)が表示画面PICの中央位置に設定されて
いる基準計測枠FMXR(図3)の位置に来るような追
従制御信号S5をチルテイング駆動モータ12B及びパ
ンニング駆動モータ12Cに与える。
【0034】続いて追従信号処理回路16はステツプS
P7に移つてフレーム番号FNをFN=FN+1にイン
クリメントし、新しく基準計測枠FMXRに来た画像に
ついて、色相信号及び頻度信号の基準頻度特性データ
(図4及び図5)を基準特徴パターンとして更新した
後、上述のステツプSP3に戻つて次の測定サイクルに
入る。かくして追従信号処理回路16は、テレビジヨン
カメラのレンズブロツク部1に対して被写体が移動した
とき、表示画面PIC全体について基準計測枠FMXR
の画像情報に対して最も類似度が大きい画像情報を有す
る検出計測枠FMXDの位置を求め、当該最も類似度が
大きい検出計測枠FMXDを基準計測枠FMXR位置に
来るようにテレビジヨンカメラをパンニング及びチルテ
イング制御するようにしたことにより、被写体の移動に
対してこれに応動するようにビデオカメラシステムVC
Sを適応動作させることができる。
【0035】これに対して基準計測枠FMXR位置にあ
る被写体が移動しなかつた場合には、基準計測枠FMX
Rと同じ位置にある検出計測枠FMXDから得られた検
出特徴パターンについてこれが最も基準特徴パターンに
対して類似度が大きいという評価値JZ(x、y)をス
テツプSP4において得ることができることにより、追
従信号処理回路16は追従制御信号S5によつて新しい
被写体が引き続き検出計測枠FMXR内にある状態を保
持させるようにビデオカメラシステムVCSを制御す
る。
【0036】(1−3)類似度検出処理動作 追従信号処理回路16はステツプSP4に入ると、図1
3に示す類似度演算処理ルーチンRT2の処理を実行す
ることにより、評価値JZ(x、y)を求める。すなわ
ち追従信号処理回路16は類似度演算処理ルーチンRT
2に入ると、先ずステツプSP11において、
【0037】フレーム番号FNがFN>0であるか否か
の判断をすることにより、FN=0(最初のフレームが
指定されていることを意味する)のときステツプSP5
に移つて基準特徴パターン及び検出特徴パターン間につ
いて複数N種類例えばN=9種類の頻度特性の類似度デ
ータを求め各種類N=1、2……9ごとに評価値JN
(N=1、2……9)を得る。
【0038】この実施例の場合、追従信号処理回路16
が求める評価値JZ(x、y)は、図14に示すよう
に、距離ベクトルの要素として3種類の頻度特性すなわ
ち輝度頻度特性(Y)、色相頻度特性(Hue)及び輝
度色相頻度特性(Hue+Y)を選定し、それぞれにつ
いて3種類の距離計算方法すなわちユークリツド距離計
算方法(Histogram Euclid Distance )、ハミング距離
計算方法(Histogram Hamming Distance)及び積分距離
(すなわち面積距離)(Integral Histogram Distance
)計算方法を適用することにより、N=9種類の評価
値JN(x、y)=(J1(x、y)、J2(x、
y)、J3(x、y))、(J4(x、y)、J5
(x、y)、J6(x、y))及び(J7(x、y)、
J8(x、y)、J9(x、y))に選定されている。
【0039】追従信号処理回路16は、ユークリツド距
離の計算を次の手順で実行する。先ず輝度信号について
次式、
【数1】 のように、各検出計測枠FMXDについて、検出輝度頻
度特性Y(x、y)(i)と、基準輝度頻度特性YSt
d(i)との差の絶対値に対応する値としての差の2乗
値を輝度レベルy=0〜 255について合計することによ
りユークリツド距離J1(x、y)を求め、これを基準
計測枠FMXR内の画像の輝度情報に対するアドレス
(x、y)位置にある検出計測枠FMXD内の輝度情報
の類似度を表す情報評価値として得る。
【0040】また検出計測枠FMXDの色相情報につい
て、追従信号処理回路16は次式、
【数2】 のように、アドレス(x、y)位置にある検出計測枠F
MXDの検出色相頻度特性Hue(x、y)(i)と、
基準色相頻度特性HueStd(i)との差の絶対値に
対応する値として2乗値を、色相角i=0〜 359〔°〕
について合計することによりユークリツド距離J2
(x、y)を求め、これにより基準計測枠FMXRの画
像がもつている基準色相パターンに対して位置(x、
y)にある検出計測枠FMXDがもつている画像の検出
特徴パターンに対する類似度を表す情報を形成する。
【0041】また追従信号処理回路16は、輝度信号及
び色相信号の組合せについて、(1)式及び(2)式に
よつて輝度Y及び色相Hueについて求めたユークリツ
ド距離J1(x、y)及びJ2(x、y)に基づいて次
式、
【数3】 のように、その和を演算することにより輝度及び色相合
成信号のユークリツド距離J3(x、y)を求めること
により、輝度Y及び色相HUEを組合せた特徴パターン
に対する類似度を示す情報を形成する。
【0042】また追従信号処理回路16は、ハミング距
離計算方法として、輝度信号について次式
【数4】 のように、輝度レベルy=0〜 255について、頻度の有
無(すなわち「1」又は「0」)を表す検出及び基準輝
度頻度特性〔Y(x、y)(i)〕及び〔TStd
(i)〕の差の絶対値に対応する値として差の2乗値を
求めて合計することによりハミング距離J4(x、y)
を求め、また色相信号について次式
【数5】 のように、色相面i=0〜 359〔°〕について、頻度の
有無を表す検出及び基準色相頻度特性〔Hue(x、
y)(i)〕及び〔HueStd(i)〕の差の絶対値
に対応する値として差の2乗値を求めて合計することに
よりハミング距離J5(x、y)を求め、さらに、輝度
信号及び色相信号の合成信号について次式
【数6】 のように、輝度信号及び色相信号についてのハミング距
離J4(x、y)及びJ5(x、y)の和を求めること
により、輝度及び色相合成信号のハミング距離J6
(x、y)を求める。
【0043】また追従信号処理回路16は、積分距離計
算方法として、輝度信号について次式
【数7】 のように、輝度レベルy=0〜 255について、検出及び
基準輝度頻度特性Y(i)及びYStd(i)の総頻度
数の差の絶対値に対応する値として差の2乗値を求める
ことにより積分距離J7(x、y)を求めまた色相信号
について次式
【数8】 のように、色相角i=0〜 359〔°〕について、検出及
び輝度色相頻度特性Hue(i)及びHueStd
(i)の総頻度数の差の絶対値に対応する値として差の
2乗値を求めることにより積分距離J8(x、y)を求
め、さらに、輝度信号及び色相信号の合成信号について
次式
【数9】 のように、輝度信号及び色相信号についての積分距離J
9(x、y)の和を求めることにより、輝度及び色相合
成信号の積分距離J9(x、y)を求める。
【0044】これらの距離J1(x、y)〜J9(x、
y)の具体的な計算例として、図15(A)及び(B)
に示すように、色相角Hue=0、1、2、3、4、
5、6、7について、基準色相頻度特性HueStd及
び検出色相頻度特性Hue(x、y)(i)が、特徴頻
度パターン〔0、0、0、5、3、0、0、0〕及び
〔0、0、0、3、4、0、0、1〕をもつている場合
を考えると、色相ユークリツド距離に基づく評価値J2
(x、y)は、
【数10】 により、色相ハミング距離に基づく評価値J5(x、
y)は、
【数11】 になり、色相積分距離に基づく評価値J8(x、y)
は、
【数12】 になる。
【0045】かくして追従信号処理回路16はスキヤン
位置(x、y)(x=0、1……12、y=0、1……
12、y=0……12)にあるすべての検出計測枠FM
XDについての9種類の距離データJN(x、y)(x
=0、1……12、y=0、1……12、N=1、……
9)を得た状態において次のステツプSP13(図1
3)に移つて、図16に示すように、9種類の距離デー
タJN(x、y)の中で、評価値=第2最小値MIN2
/第1最小値MIN1が最大になる距離データJZを決
定して、ステツプSP14を通つてメインルーチン(図
9)のステツプSP5に戻る。図12において、MIN
X及びMAXは表示画面PIC上内における距離データ
の極小値及び最大値、AUVは平均値である。
【0046】これに対してフレーム番号FN>0のとき
(すなわち、初期設定されたフレーム以降のフレーム
(FN=1、2……)のとき)は、ステツプSP12及
びSP13においてフレーム番号FN=0について選択
された距離計算方法に従つて基準及び検出特徴パターン
間の類似度を計算して評価値JZ(x、y)を決定す
る。以上の構成によれば、ユーザが最初に被写体を表示
画面PIC中央の基準計測枠FMXRに入るようにカメ
ラ操作をした後記録を開始しさえすれば、その後被写体
が表示画面PIC内を移動しても、追従信号処理回路1
6が当該移動位置を輝度信号及び色相信号の頻度特性デ
ータに基づいて得られる検出特徴パターンと基準検出パ
ターンとの比較によつて確実に検出できることによりビ
デオカメラシステムを被写体の移動に適応動作させるこ
とができる。
【0047】かくするにつき、回路構成として特に複雑
な構成を用意する必要がない。また上述の構成によれ
ば、基準パターンが時間の経過に従つて順次更新されて
行くので、被写体の向きが変わつたり、近づいて来て大
きくなつたり、被写体に変化が生じたり(人間の場合上
着を脱いだりするような場合)しても、当該変化に確実
に追従することができる。
【0048】(2)第2の実施例 図17は第2の実施例を示すもので、本発明によるビデ
オ信号追従処理装置をビデオ信号再生システムに適用し
たものである。図17のビデオ信号再生システムVRE
Pは、図1との対応部分に同一符号を付して示すよう
に、例えばビデオテープレコーダによつて構成されるビ
デオ信号再生装置31から得られる再生ビデオ信号S3
1がアナログ/デイジタル変換回路32においてデイジ
タルビデオ信号S32に変換された後画像メモリ33に
書き込まれ、画像メモリ33から読出された画像データ
S33は画像データ処理回路34に供給される。
【0049】ここで画像データ処理回路34は図1のデ
イジタルカメラ処理回路7について上述したと同様に画
像データS33に基づいて輝度信号Y、クロマ信号Cを
形成し、輝度信号Y及びクロマ信号Cをデイジタル/ア
ナログ変換回路8を介してビデオ信号S3として送出す
ると共に、被写体追従用検出信号S4として輝度信号Y
並びに色差信号R−Y及びB−Yを追従制御回路部11
に供給し、追従制御回路部11はこの被写体追従用検出
信号S4に基づいて、パンニング制御回路35A及びチ
ルテイング制御回路35Bに対する追従制御信号S5を
発生する。
【0050】以上の構成において、ビデオ信号再生装置
31が再生動作することにより再生ビデオ信号S31を
送出して画像メモリ33に一旦記憶させた後画像データ
処理回路34に供給すると、追従信号処理回路16は図
9及び図13について上述したと全く同様にして、自動
追従処理手順RT1を実行することにより、画像メモリ
15に取り込んだ各画素の輝度信号Y及び色相信号HU
Eに基づいて輝度ヒストグラム発生回路20及び色相ヒ
ストグラム発生回路19において輝度検出特徴パターン
及び色相検出特徴パターンを形成させ、これにより基準
計測枠内の画像部分と比較して最も類似度が大きい検出
計測枠内の画像を、基準計測枠の位置に移動させるよう
に画像メモリ33から読出す視野映像をパンニング制御
回路35A及びチルテイング制御回路35Bによつて変
更して行く。
【0051】ここで類似度が最も大きい検出計測枠を決
定する際に、追従信号処理回路16は図14〜図16に
ついて上述した複数種類の距離演算方法のうち、現在処
理されている画像に最適な演算方法を選択する。図17
の構成によれば、ビデオ信号再生装置31から再生した
映像信号の中から、ユーザが指定した被写体について、
これを常に表示画像の中央部に表示できるようにしたビ
デオ信号再生システムを実現でき、これによりビデオ信
号再生装置の機能をユーザの使用目的に一段と容易に適
合させることができるようなビデオ信号再生システムを
実現できる。
【0052】(3)第3の実施例 図18は第3の実施例を示すもので、この場合本発明に
よる信号追従処理装置をビデオ信号変換システムVCO
Nに適用したものである。ビデオ信号変換システムVC
ONは図17のビデオ信号再生システムとの対応部分に
同一符号を付して示すように、ビデオ入力端子41に外
部から到来するビデオ入力信号S41をアナログ/デイ
ジタル変換回路32においてデイジタルビデオ信号S3
2に変換した後画像メモリ33に取り込むと共に、画像
メモリ33から読出した画像データS33を画像データ
処理回路34において処理した後デイジタル/アナログ
変換回路8において輝度信号Y及びクロマ信号Cでなる
変換ビデオ出力信号S42としてビデオ出力端子42か
ら外部に送出するようになされている。
【0053】図18の構成において追従信号処理回路1
6は、図17について上述したと同様にして、図9の自
動追従処理手順RT1及び図13に示す類似度演算処理
ルーチンを実行することにより、ビデオ入力端子41か
ら画像メモリ44に取り込まれた映像に基づいて、当該
映像内に映出されている被写体の映像を、常に中央部分
に映出させるような手法で画像メモリ11から読出され
た画像データS33に基づく変換ビデオ出力信号に変換
してビデオ出力端子42から送出することができる。か
くして図18の構成によれば、ビデオ入力端子41に到
来したビデオ入力信号S41を、簡易に、ユーザが指定
した被写体を画面中央部に映出するような画面に簡便に
変換することができるようなビデオ信号変換システムを
実現できる。
【0054】(4)他の実施例 上述の第1の実施例においては、本発明を被写体の移動
位置の検出結果を用いてテレビジヨンカメラをパンニン
グ及びチルテイングすることにより被写体を表示画面P
ICの中央位置に追尾する場合に適用したが、基準特徴
パターン及び検出特徴パターンをオートフオーカス情報
又はオートアイリス情報に基づいて形成してパターンの
比較をすることにより最も類似度の大きい検出計測枠F
MXDの位置を決定し、当該位置情報に基づいて自動的
にオートフオーカス又はオートアイリス制御をするよう
にしても、上述の場合と同様の効果を得ることができ
る。
【0055】また上述の実施例の場合は、追従信号処理
回路16がステツプSP13において第2最小値MIN
2/第1最小値MIN1を評価値として用いるようにし
たが、これに代え、平均値AVL/最小値MIN1、最
大値MAX/最小値MIN1を用いるようにしても良
い。
【0056】また図1の実施例においては、被写体の映
像を表示画面PICの中央位置に追従させる手段とし
て、レンズブロツク部1、信号分離/自動利得調整回路
部5、アナログデイジタル変換回路6及びデイジタルカ
メラ処理回路7でなる画素情報形成手段から得られる画
素情報に基づいて、パンニング駆動モータ12A及びチ
ルテイング駆動モータ12Bによつてレンズブロツク部
1をパンニング及びチルテイング駆動するようにした場
合について述べたが、これに代え、画素情報形成手段を
構成するレンズブロツク部1から得られる撮像出力信号
を一旦画像メモリに記憶することにより視野映像を画像
メモリ内に形成し、追従制御回路部11において当該画
像メモリの画素情報を用いて形成した基準特徴パターン
及び検出特徴パターンに基づいて得た追従制御信号によ
つて上記画像メモリの画像データの読出し位置を制御す
ることにより被写体の映像を表示画面PICの中央位置
に追従させるようにしても、上述の場合と同様の効果を
得ることができる。
【0057】
【発明の効果】上述のように本発明によれば、所定の計
測枠内における輝度及び色相情報についての頻度特性デ
ータに基づいて画面内で最適な類似度計算法を選択し、
それを用いて類似度の大きい検出計測枠位置を測定して
表示画面に映出される被写体の位置を制御するようにし
たことにより、被写体が視野映像内を移動したとき当該
変化に適応動作して表示画面上に映出すべき映像を確実
に被写体に追従することができるビデオ信号追従処理シ
ステムを容易に実現できる。
【図面の簡単な説明】
【図1】本発明によるビデオ信号追従処理システムの第
1実施例を示すブロツク図である。
【図2】視覚刺激を表すHLS色座標系の説明に供する
略線図である。
【図3】基準計測枠FMRの説明に供する略線図であ
る。
【図4】図3の基準計測枠FMXRから得られる基準色
相頻度特性を示す特性曲線図である。
【図5】図3の基準計測枠FMXRから得られる基準輝
度頻度特性を示す特性曲線図である。
【図6】頻度特性を求める際に使用するメンバーシツプ
関数フイルタを示す略線図である。
【図7】頻度特性を生成する際のノイズの影響を示す特
性曲線図である。
【図8】メンバーシツプフイルタを用いた場合の頻度特
性を示す特性曲線図である。
【図9】自動追従処理手順を示すフローチヤートであ
る。
【図10】検出計測枠を示す略線図である。
【図11】検出色相頻度特性を示す特性曲線図である。
【図12】検出輝度頻度特性を示す特性曲線図である。
【図13】類似度演算処理ルーチンを示すフローチヤー
トである。
【図14】9種類の類似度計算法を示した図表である。
【図15】具体的類似度計算法の説明に供する特性曲線
図である。
【図16】表示画面において求めた距離データを示す略
線的斜視図である。
【図17】図17は第2実施例を示すブロツク図であ
る。
【図18】図18は第3実施例を示すブロツク図であ
る。
【符号の説明】
VCS……ビデオカメラシステム、1……レンズブロツ
ク部、2……レンズ、3……アイリス、4……固体撮像
素子、5……信号分離/自動利得調整回路部、7……デ
イジタルカメラ処理回路、11……追従制御回路部、1
2A……ズーミング駆動モータ、12B……チルテイン
グ駆動モータ、12C……パンニング駆動モータ、14
……飽和度/色相検出回路、15……画像メモリ、16
……追従信号処理回路、17……アドレス発生回路、1
8……ゲート回路、19……色相ヒストグラム発生回
路、20……輝度ヒストグラム発生回路。

Claims (39)

    【特許請求の範囲】
  1. 【請求項1】レンズブロツク部を通して得られる撮像出
    力信号に基づいて表示画面を構成する画素情報を形成す
    る画素情報形成手段と、 上記表示画面上の所定位置に所定の大きさの基準計測枠
    を設定する基準計測枠設定手段と、 上記表示画面上に所定の大きさの検出計測枠を設定する
    検出計測枠設定手段と、 上記基準計測枠内の画像の輝度及び又は色相情報に基づ
    いて輝度レベル及び又は色相角についての基準頻度特性
    データを形成する基準頻度特性データ形成手段と、 上記検出計測枠内の画像の輝度及び又は色相情報に基づ
    いて輝度レベル及び又は色相角についての検出頻度特性
    データを形成する検出頻度特性データ形成手段と、 上記基準頻度特性データ及び又は上記検出頻度特性デー
    タについて数種の計算法で類似度を求める類似度計算手
    段と、 上記類似度計算で得られた複数の類似度の中から、その
    画像内で最も有効な類似度データを選択する有効類似度
    計算法選択手段と、 上記有効類似度計算法選択手段で選択された類似度の計
    算法を用いて、類似度が大きい上記検出頻度特性データ
    を有する上記検出計測枠を決定する検出計測枠決定手段
    と、 当該決定された検出計測枠の画像情報の位置を上記基準
    計測枠の位置に一致させるように上記画像情報形成手段
    を制御する画素情報変更制御手段とを具えることを特徴
    とするビデオカメラシステム。
  2. 【請求項2】上記検出計測枠設定手段は上記表示画面上
    の互いに異なる所定の位置に複数の検出計測枠を設定
    し、 上記検出頻度特性データ形成手段は上記複数の検出計測
    枠からそれぞれ上記検出頻度特性データを形成し、 上記類似度計算手段で、基準頻度特性データ及び又は上
    記検出頻度特性データの類似度を複数の計算法で求め、 上記有効類似度計算法選択手段で、その画面内で最も有
    効な類似度計算法を選択し、 上記検出計測枠決定手段は上記有効類似度選択手段で選
    択された計算法を用いて類似度を求め、最も類似度が大
    きい検出頻度特性データを有する検出計測枠を決定し、 上記画素情報変更制御手段によつて当該決定された検出
    計測枠の画像情報の位置を上記基準計測枠の位置に一致
    させるように上記画素情報形成手段を制御することを特
    徴とする請求項1に記載のビデオカメラシステム。
  3. 【請求項3】上記画素情報形成手段は、輝度信号及び色
    差信号をそれぞれフイルタリングして周波数帯域を下げ
    ると共に、間引く処理をした後、上記色差信号を色相信
    号及び飽和度信号に変換することを特徴とする請求項2
    に記載のビデオカメラシステム。
  4. 【請求項4】上記画素情報変更制御手段は、上記検出計
    測枠決定手段によつて決定された上記検出計測枠内に映
    出される映像を上記基準計測枠の位置に映出させるよう
    に上記表示画面内に映出される視野映像を移動させるこ
    とを特徴とする請求項2に記載のビデオカメラシステ
    ム。
  5. 【請求項5】上記画素情報変更制御手段は、上記検出計
    測枠決定手段の決定結果に基づいて、上記画素情報形成
    手段の上記レンズブロツク部をパンニング及び又はチル
    テイング制御することにより、上記検出計測枠決定手段
    によつて決定された上記検出計測枠内に映出される映像
    を上記基準計測枠の位置に映出させるように上記表示画
    面内に映出される視野映像を移動させることを特徴とす
    る請求項2に記載のビデオカメラシステム。
  6. 【請求項6】上記基準頻度特性データ形成手段及び又は
    上記検出頻度特性データ形成手段は、 上記画像情報形成手段で得られた画素データの頻度をカ
    ウントする時、メンバーシツプ関数を用いることを特徴
    とする請求項2に記載のビデオカメラシステム。
  7. 【請求項7】上記画素情報形成手段は上記画素情報とし
    て輝度、色相及び飽和度画素情報を送出し、上記色相信
    号についての基準頻度特性データ形成手段及び又は上記
    検出頻度特性データ形成手段は、上記色相画素情報の頻
    度をカウントする時、飽和度画素情報が所定のスレシヨ
    ルド値以下の場合、色がないと判断して上記色相画素情
    報のカウントをしないことを特徴とする請求項2に記載
    のビデオカメラシステム。
  8. 【請求項8】上記類似度計算手段は、基準頻度特性デー
    タ及び検出頻度特性データをそれぞれベクトルとして定
    義してユークリツド距離、ハミング距離及び積分距離を
    計算することを特徴とする請求項2に記載のビデオカメ
    ラシステム。
  9. 【請求項9】上記有効類似度計算法選択手段は、基準頻
    度特性データ及び検出頻度特性データ間の距離が画面内
    において最小の距離(最大類似度)を表す第1最小距離
    と2番目に小さい距離を表す第2最小距離との比(第2
    最小距離/第1最小距離)が最大になる計算法を選択す
    ることを特徴とする請求項2に記載のビデオカメラシス
    テム。
  10. 【請求項10】上記有効類似度計算法選択手段は、基準
    頻度特性データ及び検出頻度特性データ間の距離が1画
    面内での距離の平均値を表す平均値距離と最小の距離を
    表す最小距離との比(平均値距離/最小距離)が最大に
    なる計算法を選択することを特徴とする請求項2に記載
    のビデオカメラシステム。
  11. 【請求項11】上記有効類似度計算法選択手段は、基準
    頻度特性データ及び検出頻度特性データ間の距離が画面
    内において最小の距離(すなわち最大の類似度)を表す
    最小距離と最大の距離(すなわち最小の類似度)を表す
    最小距離との比(最大距離/最小距離)が最大になる計
    算法を選択することを特徴とする請求項2に記載のビデ
    オカメラシステム。
  12. 【請求項12】上記基準計測枠設定手段は上記基準計測
    枠を上記表示画面の中央部に形成することを特徴とする
    請求項2に記載のビデオカメラシステム。
  13. 【請求項13】上記検出計測枠決定手段は、上記複数の
    検出計測枠についてそれぞれ上記基準頻度特性データに
    対する上記検出頻度特性データの距離を、上記有効類似
    度計算法選択手段によつて選択された距離計算法で演算
    し、当該距離が小さい検出計測枠を上記類似性が大きい
    検出計測枠として決定することを特徴とする請求項2に
    記載のビデオカメラシステム。
  14. 【請求項14】ビデオ信号再生装置から得られる再生ビ
    デオ信号に基づいて表示画面を構成する画素情報を形成
    してビデオ出力信号として送出する画素情報形成手段
    と、 上記表示画面上の所定位置に所定の大きさの基準計測枠
    を設定する基準計測枠設定手段と、 上記表示画面上に所定の大きさの検出計測枠を設定する
    検出計測枠設定手段と、 上記基準計測枠内の画像の輝度及び又は色相情報に基づ
    いて輝度レベル及び又は色相角についての基準頻度特性
    データを形成する基準頻度特性データ形成手段と、 上記検出計測枠内の画像の輝度及び又は色相情報に基づ
    いて輝度レベル及び又は色相角についての検出頻度特性
    データを形成する検出頻度特性データ形成手段と、 上記基準頻度特性データ及び又は上記検出頻度特性デー
    タについて数種の計算法で類似度を求める類似度計算手
    段と、 上記類似度計算で得られた複数の類似度の中から、その
    画像内で最も有効な類似度データを選択する有効類似度
    計算法選択手段と、 上記手段で選択された類似度の計算法を用いて、類似度
    が大きい上記検出頻度特性データを有する上記検出計測
    枠を決定する検出計測枠決定手段と、 当該決定された検出計測枠の画像情報の位置を上記基準
    計測枠の位置に一致させるように上記画像情報形成手段
    を制御する画素情報変更制御手段とを具えることを特徴
    とするビデオ信号再生システム。
  15. 【請求項15】上記検出計測枠設定手段は上記表示画面
    上の互いに異なる所定の位置に複数の検出計測枠を設定
    し、 上記検出頻度特性データ形成手段は上記複数の検出計測
    枠からそれぞれ上記検出頻度特性データを形成し、 上記類似度計算手段で、基準頻度特性データ及び又は上
    記検出頻度特性データの類似度を複数の計算法で求め、 上記有効類似度計算法選択手段で、その画面内で最も有
    効な類似度計算法を選択し、 上記検出計測枠決定手段は上記有効類似度選択手段で選
    択された計算法を用いて類似度を求め、最も類似度が大
    きい検出頻度特性データを有する検出計測枠を決定し、 上記画素情報変更制御手段によつて当該決定された検出
    計測枠の画像情報の位置を上記基準計測枠の位置に一致
    させるように上記画素情報形成手段を制御することを特
    徴とする請求項14に記載のビデオ信号再生システム。
  16. 【請求項16】上記画素情報形成手段は、輝度信号及び
    色差信号をそれぞれフイルタリングして周波数帯域を下
    げると共に、間引く処理をした後、上記色差信号を色相
    信号及び飽和度信号に変換することを特徴とする請求項
    15に記載のビデオ信号再生システム。
  17. 【請求項17】上記画素情報変更制御手段は、上記検出
    計測枠決定手段によつて決定された上記検出計測枠内に
    映出される映像を上記基準計測枠の位置に映出させるよ
    うに上記表示画面内に映出される視野映像を移動させる
    ことを特徴とする請求項15に記載のビデオ信号再生シ
    ステム。
  18. 【請求項18】上記画素情報変更制御手段は、上記検出
    計測枠決定手段の決定結果に基づいて、上記画素情報形
    成手段の上記レンズブロツク部をパンニング及び又はチ
    ルテイング制御することにより、上記検出計測枠決定手
    段によつて決定された上記検出計測枠内に映出される映
    像を上記基準計測枠の位置に映出させるように上記表示
    画面内に映出される視野映像を移動させることを特徴と
    する請求項15に記載のビデオ信号再生システム。
  19. 【請求項19】上記基準頻度特性データ形成手段及び又
    は上記検出頻度特性データ形成手段は、 上記画像情報形成手段で得られた画素データの頻度をカ
    ウントする時、メンバーシツプ関数を用いることを特徴
    とする請求項15に記載のビデオ信号再生システム。
  20. 【請求項20】上記画素情報形成手段は上記画素情報と
    して輝度、色相及び飽和度画素情報を送出し、上記色相
    信号についての基準頻度特性データ形成手段及び又は上
    記検出頻度特性データ形成手段は、上記色相画素情報の
    頻度をカウントする時、飽和度画素情報が所定のスレシ
    ヨルド値以下の場合、色がないと判断して上記色相画素
    情報のカウントをしないことを特徴とする請求項15に
    記載のビデオ信号再生システム。
  21. 【請求項21】上記類似度計算手段は、基準頻度特性デ
    ータ及び検出頻度特性データをそれぞれベクトルとして
    定義してユークリツド距離、ハミング距離及び積分距離
    を計算することを特徴とする請求項15に記載のビデオ
    信号再生システム。
  22. 【請求項22】上記有効類似度計算法選択手段は、基準
    頻度特性データ及び検出頻度特性データ間の距離が画面
    内において最小の距離(最大類似度)を表す第1最小距
    離と2番目に小さい距離を表す第2最小距離との比(第
    2最小距離/第1最小距離)が最大になる計算法を選択
    することを特徴とする請求項15に記載のビデオ信号再
    生システム。
  23. 【請求項23】上記有効類似度計算法選択手段は、基準
    頻度特性データ及び検出頻度特性データ間の距離が1画
    面内での距離の平均値を表す平均値距離と最小の距離を
    表す最小距離との比(平均値距離/最小距離)が最大に
    なる計算法を選択することを特徴とする請求項15に記
    載のビデオ信号再生システム。
  24. 【請求項24】上記有効類似度計算法選択手段は、基準
    頻度特性データ及び検出頻度特性データ間の距離が画面
    内において最小の距離(すなわち最大の類似度)を表す
    最小距離と最大の距離(すなわち最小の類似度)を表す
    最小距離との比(最大距離/最小距離)が最大になる計
    算法を選択することを特徴とする請求項15に記載のビ
    デオ信号再生システム。
  25. 【請求項25】上記基準計測枠設定手段は上記基準計測
    枠を上記表示画面の中央部に形成することを特徴とする
    請求項15に記載のビデオ信号再生システム。
  26. 【請求項26】上記検出計測枠決定手段は、上記複数の
    検出計測枠についてそれぞれ上記基準頻度特性データに
    対する上記検出頻度特性データの距離を、上記有効類似
    度計算法選択手段によつて選択された距離計算法で演算
    し、当該距離が小さい検出計測枠を上記類似性が大きい
    検出計測枠として決定することを特徴とする請求項2に
    記載のビデオ信号再生システム。
  27. 【請求項27】外部からビデオ入力端子に到来するビデ
    オ入力信号に基づいて表示画面を構成する画素情報を形
    成して変換ビデオ出力信号としてビデオ出力端子から送
    出する画素情報形成手段と、 上記表示画面上の所定位置に所定の大きさの基準計測枠
    を設定する基準計測枠設定手段と、 上記表示画面上に所定の大きさの検出計測枠を設定する
    検出計測枠設定手段と、 上記基準計測枠内の画像の輝度及び又は色相情報に基づ
    いて輝度レベル及び又は色相角についての基準頻度特性
    データを形成する基準頻度特性データ形成手段と、 上記検出計測枠内の画像の輝度及び又は色相情報に基づ
    いて輝度レベル及び又は色相角についての検出頻度特性
    データを形成する検出頻度特性データ形成手段と、 上記基準頻度特性データ及び又は上記検出頻度特性デー
    タについて数種の計算法で類似度を求める類似度計算手
    段と、 上記類似度計算で得られた複数の類似度の中から、その
    画像内で最も有効な類似度データを選択する有効類似度
    計算法選択手段と、 上記手段で選択された類似度の計算法を用いて、類似度
    が大きい上記検出頻度特性データを有する上記検出計測
    枠を決定する検出計測枠決定手段と、 当該決定された検出計測枠の画像情報の位置を上記基準
    計測枠の位置に一致させるように上記画像情報形成手段
    を制御する画素情報変更制御手段とを具えることを特徴
    とするビデオ信号変換システム。
  28. 【請求項28】上記検出計測枠設定手段は上記表示画面
    上の互いに異なる所定の位置に複数の検出計測枠を設定
    し、 上記検出頻度特性データ形成手段は上記複数の検出計測
    枠からそれぞれ上記検出頻度特性データを形成し、 上記類似度計算手段で、基準頻度特性データ及び又は上
    記検出頻度特性データの類似度を複数の計算法で求め、 上記有効類似度計算法選択手段で、その画面内で最も有
    効な類似度計算法を選択し、 上記検出計測枠決定手段は上記有効類似度選択手段で選
    択された計算法を用いて類似度を求め、最も類似度が大
    きい検出頻度特性データを有する検出計測枠を決定し、 上記画素情報変更制御手段によつて当該決定された検出
    計測枠の画像情報の位置を上記基準計測枠の位置に一致
    させるように上記画素情報形成手段を制御することを特
    徴とする請求項27に記載のビデオ信号変換システム。
  29. 【請求項29】上記画素情報形成手段は、輝度信号及び
    色差信号をそれぞれフイルタリングして周波数帯域を下
    げると共に、間引く処理をした後、上記色差信号を色相
    信号及び飽和度信号に変換することを特徴とする請求項
    28に記載のビデオ信号変換システム。
  30. 【請求項30】上記画素情報変更制御手段は、上記検出
    計測枠決定手段によつて決定された上記検出計測枠内に
    映出される映像を上記基準計測枠の位置に映出させるよ
    うに上記表示画面内に映出される視野映像を移動させる
    ことを特徴とする請求項28に記載のビデオ信号変換シ
    ステム。
  31. 【請求項31】上記画素情報変更制御手段は、上記検出
    計測枠決定手段の決定結果に基づいて、上記画素情報形
    成手段の上記レンズブロツク部をパンニング及び又はチ
    ルテイング制御することにより、上記検出計測枠決定手
    段によつて決定された上記検出計測枠内に映出される映
    像を上記基準計測枠の位置に映出させるように上記表示
    画面内に映出される視野映像を移動させることを特徴と
    する請求項28に記載のビデオ信号変換システム。
  32. 【請求項32】上記基準頻度特性データ形成手段及び又
    は上記検出頻度特性データ形成手段は、 上記画像情報形成手段で得られた画素データの頻度をカ
    ウントする時、メンバーシツプ関数を用いることを特徴
    とする請求項28に記載のビデオ信号変換システム。
  33. 【請求項33】上記画素情報形成手段は上記画素情報と
    して輝度、色相及び飽和度画素情報を送出し、上記色相
    信号についての基準頻度特性データ形成手段及び又は上
    記検出頻度特性データ形成手段は、上記色相画素情報の
    頻度をカウントする時、飽和度画素情報が所定のスレシ
    ヨルド値以下の場合、色がないと判断して上記色相画素
    情報のカウントをしないことを特徴とする請求項28に
    記載のビデオ信号変換システム。
  34. 【請求項34】上記類似度計算手段は、基準頻度特性デ
    ータ及び検出頻度特性データをそれぞれベクトルとして
    定義してユークリツド距離、ハミング距離及び積分距離
    を計算することを特徴とする請求項28に記載のビデオ
    信号変換システム。
  35. 【請求項35】上記有効類似度計算法選択手段は、基準
    頻度特性データ及び検出頻度特性データ間の距離が画面
    内において最小の距離(最大類似度)を表す第1最小距
    離と2番目に小さい距離を表す第2最小距離との比(第
    2最小距離/第1最小距離)が最大になる計算法を選択
    することを特徴とする請求項28に記載のビデオ信号変
    換システム。
  36. 【請求項36】上記有効類似度計算法選択手段は、基準
    頻度特性データ及び検出頻度特性データ間の距離が1画
    面内での距離の平均値を表す平均値距離と最小の距離を
    表す最小距離との比(平均値距離/最小距離)が最大に
    なる計算法を選択することを特徴とする請求項28に記
    載のビデオ信号変換システム。
  37. 【請求項37】上記有効類似度計算法選択手段は、基準
    頻度特性データ及び検出頻度特性データ間の距離が画面
    内において最小の距離(すなわち最大の類似度)を表す
    最小距離と最大の距離(すなわち最小の類似度)を表す
    最小距離との比(最大距離/最小距離)が最大になる計
    算法を選択することを特徴とする請求項28に記載のビ
    デオ信号変換システム。
  38. 【請求項38】上記基準計測枠設定手段は上記基準計測
    枠を上記表示画面の中央部に形成することを特徴とする
    請求項28に記載のビデオ信号変換システム。
  39. 【請求項39】上記検出計測枠決定手段は、上記複数の
    検出計測枠についてそれぞれ上記基準頻度特性データに
    対する上記検出頻度特性データの距離を、上記有効類似
    度計算法選択手段によつて選択された距離計算法で演算
    し、当該距離が小さい検出計測枠を上記類似性が大きい
    検出計測枠として決定することを特徴とする請求項28
    に記載のビデオ信号変換システム。
JP5196954A 1993-07-14 1993-07-14 ビデオ信号追従処理システム Pending JPH0730796A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP5196954A JPH0730796A (ja) 1993-07-14 1993-07-14 ビデオ信号追従処理システム
US08/268,125 US5546125A (en) 1993-07-14 1994-07-06 Video signal follow-up processing system
DE69426175T DE69426175T2 (de) 1993-07-14 1994-07-08 Verarbeitungsgerät zur Nachführung eines Videosignals
EP94305027A EP0634665B1 (en) 1993-07-14 1994-07-08 Video signal follow-up processing apparatus
KR1019940016630A KR100312608B1 (ko) 1993-07-14 1994-07-11 비디오신호추종처리시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5196954A JPH0730796A (ja) 1993-07-14 1993-07-14 ビデオ信号追従処理システム

Publications (1)

Publication Number Publication Date
JPH0730796A true JPH0730796A (ja) 1995-01-31

Family

ID=16366422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5196954A Pending JPH0730796A (ja) 1993-07-14 1993-07-14 ビデオ信号追従処理システム

Country Status (5)

Country Link
US (1) US5546125A (ja)
EP (1) EP0634665B1 (ja)
JP (1) JPH0730796A (ja)
KR (1) KR100312608B1 (ja)
DE (1) DE69426175T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6295095B1 (en) 1998-07-24 2001-09-25 Matsushita Electric Industrial Co., Ltd. Video signal character converting device and method of the same
KR20010105030A (ko) * 2000-05-18 2001-11-28 송재인 영상 트랙킹 시스템

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002428A (en) * 1994-10-21 1999-12-14 Sanyo Electric Co., Ltd. Motion vector detection circuit and object tracking camera device utilizing the same
JP3491990B2 (ja) * 1994-10-26 2004-02-03 キヤノン株式会社 書画カメラ装置
JPH09186927A (ja) * 1995-12-28 1997-07-15 Sony Corp 追尾装置および追尾方法
JP4079463B2 (ja) * 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US5818530A (en) * 1996-06-19 1998-10-06 Thomson Consumer Electronics, Inc. MPEG compatible decoder including a dual stage data reduction network
JP3434979B2 (ja) 1996-07-23 2003-08-11 富士通株式会社 局所領域画像追跡装置
JP3534551B2 (ja) * 1996-09-20 2004-06-07 シャープ株式会社 動き検出装置
US6380968B1 (en) * 1998-01-06 2002-04-30 Intel Corporation Method and apparatus for controlling a remote video camera in a video conferencing system
JP2898269B1 (ja) * 1998-03-02 1999-05-31 日本放送協会 映像検査装置、方法および記録媒体
JPH11266369A (ja) * 1998-03-17 1999-09-28 Fuji Photo Film Co Ltd 画像の明るさ調整方法および装置
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6226388B1 (en) 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US20040189804A1 (en) * 2000-02-16 2004-09-30 Borden George R. Method of selecting targets and generating feedback in object tracking systems
JP3548504B2 (ja) * 2000-06-26 2004-07-28 キヤノン株式会社 信号処理装置、信号処理方法、及び撮像装置
US7038709B1 (en) * 2000-11-01 2006-05-02 Gilbert Verghese System and method for tracking a subject
US20020176001A1 (en) * 2001-05-11 2002-11-28 Miroslav Trajkovic Object tracking based on color distribution
JP3918788B2 (ja) * 2003-08-06 2007-05-23 コニカミノルタフォトイメージング株式会社 撮像装置、およびプログラム
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
FR2914008B1 (fr) 2007-03-21 2009-10-09 Snecma Sa Ensemble rotatif d'une soufflante de turbomachine
JP5219795B2 (ja) * 2008-12-26 2013-06-26 キヤノン株式会社 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP5313037B2 (ja) * 2009-05-11 2013-10-09 パナソニック株式会社 電子カメラ、画像処理装置および画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4364089A (en) * 1979-10-31 1982-12-14 Westinghouse Electric Corp. Binary correlation video tracker
JPS60123978A (ja) * 1983-12-08 1985-07-02 Kubota Ltd 色信号分離装置
US4583186A (en) * 1984-03-26 1986-04-15 Bremson Data Systems Computerized video imaging system
US5031049A (en) * 1984-05-25 1991-07-09 Canon Kabushiki Kaisha Automatic object image follow-up device
US5164825A (en) * 1987-03-30 1992-11-17 Canon Kabushiki Kaisha Image processing method and apparatus for mosaic or similar processing therefor
US4907075A (en) * 1987-07-28 1990-03-06 International Business Machines Corporation Method for selecting colors
US5347371A (en) * 1990-11-29 1994-09-13 Hitachi, Ltd. Video camera with extraction unit for extracting specific portion of video signal
JP2936080B2 (ja) * 1991-04-05 1999-08-23 富士写真フイルム株式会社 ビデオ信号の色補正装置
US5412487A (en) * 1991-11-27 1995-05-02 Hitachi, Ltd. Video camera and apparatus for extracting an object
US5416848A (en) * 1992-06-08 1995-05-16 Chroma Graphics Method and apparatus for manipulating colors or patterns using fractal or geometric methods
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
US5473369A (en) * 1993-02-25 1995-12-05 Sony Corporation Object tracking apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6295095B1 (en) 1998-07-24 2001-09-25 Matsushita Electric Industrial Co., Ltd. Video signal character converting device and method of the same
KR20010105030A (ko) * 2000-05-18 2001-11-28 송재인 영상 트랙킹 시스템

Also Published As

Publication number Publication date
KR100312608B1 (ko) 2002-02-19
KR960016419A (ko) 1996-05-22
DE69426175D1 (de) 2000-11-30
DE69426175T2 (de) 2001-05-17
EP0634665A1 (en) 1995-01-18
US5546125A (en) 1996-08-13
EP0634665B1 (en) 2000-10-25

Similar Documents

Publication Publication Date Title
JP3487436B2 (ja) ビデオカメラシステム
JPH0730796A (ja) ビデオ信号追従処理システム
KR100276681B1 (ko) 비디오 카메라 시스템
JP3298072B2 (ja) ビデオカメラシステム
US5631697A (en) Video camera capable of automatic target tracking
US8106961B2 (en) Image processing method, apparatus and computer program product, and imaging apparatus, method and computer program product
RU2443068C2 (ru) Устройство и способ формирования изображения и программа
JPH09243904A (ja) 画像の構図変化検出方法
US20090002509A1 (en) Digital camera and method of controlling same
US20090002518A1 (en) Image processing apparatus, method, and computer program product
JP2012217137A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP3544215B2 (ja) ビデオカメラシステム
JP3399995B2 (ja) 映像信号追尾方法及びビデオカメラシステム
JPH06268894A (ja) 自動撮像装置
JPH08116485A (ja) ビデオカメラの被写体追尾装置及び追尾方法
JP3610604B2 (ja) ビデオカメラの被写体追尾装置及び追尾方法
JP2603212B2 (ja) カメラにおける自動追尾装置
JP3757403B2 (ja) 被写体検出装置および被写体検出方法
WO2022227040A1 (zh) 视频增稳方法、成像装置、手持云台、可移动平台及存储介质
JPH09322047A (ja) ビデオカメラ制御方法、ビデオカメラ制御システム、ビデオカメラ制御装置、およびビデオカメラ
JP2000032331A (ja) 自動露光制御装置
JP3727991B2 (ja) 画像抽出装置
JPH06149227A (ja) 拡大表示装置
JPH0898078A (ja) ビデオカメラの被写体追尾装置及び追尾方法
JPH0723270A (ja) ビデオカメラシステム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040319