JPH1032746A - Method and device for automatically following up camera - Google Patents

Method and device for automatically following up camera

Info

Publication number
JPH1032746A
JPH1032746A JP8187484A JP18748496A JPH1032746A JP H1032746 A JPH1032746 A JP H1032746A JP 8187484 A JP8187484 A JP 8187484A JP 18748496 A JP18748496 A JP 18748496A JP H1032746 A JPH1032746 A JP H1032746A
Authority
JP
Japan
Prior art keywords
camera
cameras
target object
movement
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8187484A
Other languages
Japanese (ja)
Other versions
JP2846854B2 (en
Inventor
Kazuyoshi Ishii
一嘉 石井
Takuya Suzuki
拓弥 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUYO VIDEO AGENCY KK
Original Assignee
FUYO VIDEO AGENCY KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUYO VIDEO AGENCY KK filed Critical FUYO VIDEO AGENCY KK
Priority to JP8187484A priority Critical patent/JP2846854B2/en
Publication of JPH1032746A publication Critical patent/JPH1032746A/en
Application granted granted Critical
Publication of JP2846854B2 publication Critical patent/JP2846854B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a method and a device for automatically following up camera by which a moving object can automatically be followed up, a request for saving equipment and the labor of staffs can be dealt with, the object can be caught large and sharp and follow-up operation can be executed similarly to the followup operation by a skilled cameraman. SOLUTION: The motion of a target object in an image pickup range is detected by the video signals of two cameras 1 and 2 with different magnifications, parameters for controlling universal heads 5 and 18 of two cameras 1 and 2 are calculated by two parameters corresponding to these different magnifications, one camera 1 has the field of view covering the monitored range, the other camera 2 monitors the concerned object, the optimum moving amount of cameras is estimated from the correlative relation between the motion of the entire target object extracted by one camera 1 and the motion of the target object extracted by the other camera 2 and based on this estimated value, the respective cameras are moved, so that the image over the optimum image pickup range can be picked up.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、被写体の動きを無
人で自動的に追従しながら被写体を撮像することができ
るカメラ自動追従方法およびその装置に関するもので、
無人テレビカメラ、無人監視システム等に適用可能なも
のである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic camera tracking method and apparatus capable of capturing an image of a subject while automatically following the movement of the subject unattended.
It is applicable to unmanned television cameras, unmanned surveillance systems, and the like.

【0002】[0002]

【従来の技術】近年、ディジタル映像技術の発達に伴
い、例えば150チャンネルというような多チャンネル
のディジタル衛星テレビ放送や、多様でより多くの情報
をパケット化し多重化することによって効率的に情報を
伝達することができるディジタル回線(ISDN等)が
普及しつつある。このように多チャンネル化、マルチメ
ディア化が進むと、高品質な番組を効率的に、しかも安
価に製作することが求められる。
2. Description of the Related Art In recent years, with the development of digital video technology, for example, digital satellite television broadcasting of multi-channels, such as 150 channels, and various and more information are efficiently transmitted by packetizing and multiplexing. Digital lines (such as ISDN) that can be used are becoming widespread. As the number of channels and multimedia increases, it is required to produce high-quality programs efficiently and at low cost.

【0003】テレビ放送の番組に着目すると、ドラマ、
音楽、スポーツ、ニュース、コマーシャルメッセージ
(CM)等、各種ジャンルに分類することができ、それ
ぞれのジャンルに応じて収録形態、編集技術が異なる。
一方、上記のような多チャンネル化時代には、地域ごと
に特色を持ち、製作コストが安価で編集作業を短期間に
行うことができ、ドキュメント性に富んだタイムリーな
番組が多く組まれることが予想される。その中でも、イ
ベント番組やスポーツ中継などはこれから増えることが
予想されるが、その前提条件として、中継スタッフの人
数をいかにして減らすかが鍵となる。多チャンネル化時
代にあっては、全てのチャンネルにおいて中継スタッフ
を常時確保しておくということが、コスト的にも物理的
にも困難であるからである。よって、これからは機材お
よびスタッフの省力化がますます要求されることにな
る。
[0003] Focusing on television broadcast programs, drama,
It can be classified into various genres such as music, sports, news, commercial messages (CM), etc., and the recording form and editing technique differ according to each genre.
On the other hand, in the multi-channel era described above, there are many regional programs that can be edited in a short period of time, have low production costs, can be edited in a short time, and have many documentary and timely programs. Is expected. Among them, the number of event programs and sports broadcasting is expected to increase in the future, but how to reduce the number of relay staff is a key prerequisite. This is because, in the multi-channel era, it is difficult to physically secure the relay staff for all the channels, both costly and physically. Therefore, labor saving of equipment and staff will be increasingly required in the future.

【0004】そこで、カメラの視野内にある特定の被写
体に着目し、この特定の被写体の動きに追従してカメラ
を動かすことが考えられている。しかし、この方法によ
れば、特定の被写体を確実にとらえ続けるために、広め
の画面を設定してしてその中の一部の被写体に着目する
必要があり、目的の被写体の映像が小さく不鮮明になる
という難点がある。
[0004] Therefore, it has been considered that the camera is moved following the movement of the specific subject by focusing on a specific subject in the field of view of the camera. However, according to this method, in order to reliably capture a specific subject, it is necessary to set a wide screen and pay attention to some of the subjects, and the image of the target subject is small and unclear. There is a difficulty that becomes.

【0005】ちなみに、図9は従来のテレビ中継の例を
示すもので、1台のテレビカメラ31に1人のカメラマ
ン33がつき、カメラマン33が現場でテレビカメラ3
1を操作しながら被写体32を撮影している。被写体3
2の中には動きのあるものが含まれている場合が多く、
カメラマン33は、テレビカメラ31の視野の中で動き
のあるものを絶えず観察しながら、その場その場に応じ
た最適な画像が得られるように、パンニング、チルティ
ング、ズーミング等のカメラワークを行っている。
FIG. 9 shows an example of a conventional television relay. One television camera 31 is provided with one cameraman 33, and the cameraman 33 has the television camera 3 on site.
The subject 32 is photographed while operating the camera 1. Subject 3
In many cases, there is a moving thing in 2
The cameraman 33 performs camera work such as panning, tilting, and zooming while constantly observing a moving object in the field of view of the television camera 31 so as to obtain an optimal image according to the situation. ing.

【0006】カメラワークは番組によって異なる。例え
ばスポーツ中継であっても、野球、サッカー、テニス、
マラソン、等々、そのスポーツ種目特有の選手の動きや
競技場等があり、これら各種条件によってカメラの設置
位置やカメラワーク等が大きく異なる。より臨場感のあ
る映像を得るためのカメラワークは、カメラマンの長い
経験によって培われたものであり、その撮影手法を定量
的に解析することは難しい。
[0006] Camera work differs depending on the program. For example, even in sports broadcasting, baseball, soccer, tennis,
There are athletes' movements, stadiums, etc., which are specific to the sport, such as marathons, etc., and the installation position of the camera, the camera work, etc. greatly differ depending on these various conditions. The camera work for obtaining a more realistic image has been cultivated through the long experience of photographers, and it is difficult to quantitatively analyze the photographing method.

【0007】図8は、ベテランカメラマンの目の動き
と、カメラワーク(ここでは、パンニング)との関係の
一例を推測して示したもので、横軸に時間を、縦軸に速
度をとってある。図8からわかるように、カメラマン
は、視野の中に動くものがあるとそれを目で追い、これ
に追従してカメラを移動させているが、パンニング角度
と目の動きの最大速度との関係については、目の動きの
最大速度に比例してパンニング角度が増大するというよ
りは、速度の上限があり、カメラマンは経験的に視聴者
が見やすいパンニング画像を実現しようとする傾向があ
ることがわかる。また、パンニング速度曲線は、速く加
速してゆっくり減速する非対称形になっている。一般的
には、減速時間が加速時間に対して6割程度長くなる傾
向がある。
FIG. 8 shows an example of a relationship between eye movements of a veteran photographer and camera work (here, panning), in which time is plotted on the horizontal axis and speed is plotted on the vertical axis. is there. As can be seen from FIG. 8, the cameraman follows the moving object in the visual field and moves the camera following the moving object. The relationship between the panning angle and the maximum speed of the eye movement is shown. For, it can be seen that rather than increasing the panning angle in proportion to the maximum speed of eye movement, there is an upper limit on the speed, and photographers tend to empirically try to achieve a panning image that is easy for the viewer to see . In addition, the panning speed curve has an asymmetric shape in which acceleration is fast and slow is slow. Generally, the deceleration time tends to be about 60% longer than the acceleration time.

【0008】[0008]

【発明が解決しようとする課題】本発明は、以上述べた
点に鑑みてなされたもので、動きのある被写体を自動的
に追従することができるようにして、前述のような機材
およびスタッフの省力化の要求に応えることができると
ともに、目的の被写体を大きくかつ鮮明にとらえること
ができ、さらに、追従動作をベテランカメラマンによる
追従動作と遜色のないものにすることができるカメラ自
動追従方法およびその装置を提供することを目的とす
る。
SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and has been made so as to automatically follow a moving object and to provide the above-described equipment and staff. A camera automatic tracking method capable of responding to a demand for labor saving, capturing a target subject in a large and clear manner, and further, making the following operation comparable to the following operation by a veteran photographer, and a method thereof. It is intended to provide a device.

【0009】[0009]

【課題を解決するための手段】請求項1記載の発明はカ
メラ自動追従方法に関するものであって、撮像範囲内に
おける対象物体の動きを倍率が異なる2台のカメラの映
像信号より検出し、その異なる倍率に対応する二つのパ
ラメータにより2台のカメラの雲台を制御するパラメー
タを算出し、1台のカメラに監視範囲を網羅する視野を
もたせ、他の1台のカメラで注目する物体を監視し、1
台のカメラにより抽出された対象物体全体の動きと他の
1台のカメラにより抽出された注目物体の動きとの相関
関係からカメラの最適移動量を推定し、この推定値に基
づきそれぞれのカメラを移動させることにより最適撮像
範囲を撮像することを特徴とする。
The invention according to claim 1 relates to a camera automatic tracking method, wherein the movement of a target object within an imaging range is detected from video signals of two cameras having different magnifications. The parameters for controlling the camera platform of the two cameras are calculated using the two parameters corresponding to different magnifications. One camera has a field of view covering the monitoring range, and the other camera monitors the object of interest. And 1
The optimum amount of movement of the camera is estimated from the correlation between the movement of the entire target object extracted by one camera and the movement of the object of interest extracted by another camera, and each camera is determined based on the estimated value. It is characterized in that an optimal imaging range is imaged by moving the image.

【0010】請求項2記載の発明はカメラ自動追従装置
に関するもので、倍率が異なる2台のカメラを有し、1
台のカメラは監視範囲を網羅する視野をもち、他の1台
のカメラは上記監視範囲内の注目する物体を監視するも
のであり、上記2台のカメラの撮像範囲内における対象
物体の動きを検出する動き検出部と、上記2台のカメラ
の異なる倍率に対応する二つのパラメータにより2台の
カメラの雲台を制御するパラメータを算出し、1台のカ
メラにより検出された対象物体全体の動きと他の1台の
カメラにより検出された注目物体の動きとの相関関係か
らそれぞれのカメラの最適移動量を推定する演算部と、
この推定値に基づきそれぞれのカメラの雲台を制御する
ことにより最適撮像範囲を撮像する雲台制御部とを有す
ることを特徴とする。
[0010] The invention according to claim 2 relates to an automatic camera follow-up device, and has two cameras having different magnifications.
One camera has a field of view covering the monitoring range, and the other camera monitors an object of interest within the monitoring range, and monitors the movement of the target object within the imaging range of the two cameras. A parameter for controlling the camera platform of the two cameras is calculated based on the motion detection unit to be detected and the two parameters corresponding to different magnifications of the two cameras, and the motion of the entire target object detected by the one camera A calculation unit for estimating an optimal movement amount of each camera from a correlation between the movement of the object of interest detected by the other camera and
The camera further includes a camera platform control unit that controls the camera platform of each camera based on the estimated value to capture an image of an optimal image capturing range.

【0011】請求項3記載の発明は、請求項2記載の発
明において、2台のカメラで撮像された映像を一つの画
面に合成して表示する合成手段を有することを特徴とす
る。
According to a third aspect of the present invention, in the second aspect of the present invention, there is provided a synthesizing means for synthesizing an image picked up by two cameras on one screen and displaying it.

【0012】[0012]

【発明の実施の形態】以下、図面を参照しながら本発明
にかかるカメラ自動追従方法およびその装置の実施の形
態について説明する。本発明にかかるカメラ自動追従方
法およびその装置の概要を図2に示す。これは、比較的
広い視野角θのメインカメラ1と、視野角θよりも狭い
視野角αのサブカメラ2とを有し、メインカメラ1の視
野21内にある被写体の一部に着目してこれをサブカメ
ラ2の視野21aとし、サブカメラ2の視野21aにあ
る対象物体の動きをサブカメラ2で追従し、また、メイ
ンカメラ1の撮像全体中の対象物体の動きを検出し、メ
インカメラ1により抽出された対象物体全体の動きとサ
ブカメラ2により抽出された注目物体の動きとの相関関
係からメインカメラ1およびサブカメラ2の最適な動き
を推定して定量化し、この推定値に基づいてそれぞれの
カメラ1、2を移動させて最適撮像範囲を撮像するもの
である。すなわち、サブカメラ2は被写体の動きを検出
するセンサカメラに相当するものであって、カメラマン
の目に相当する。メインカメラ1とサブカメラ2は、パ
ンニング、チルティング、ズーミングの各移動が可能と
なっている。
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of an automatic camera follow-up method according to the present invention. FIG. 2 shows an outline of the camera automatic tracking method and the apparatus according to the present invention. It has a main camera 1 with a relatively wide viewing angle θ and a sub camera 2 with a viewing angle α smaller than the viewing angle θ, and focuses on a part of the subject within the field of view 21 of the main camera 1. This is set as the field of view 21a of the sub camera 2, the movement of the target object in the field of view 21a of the sub camera 2 is tracked by the sub camera 2, and the movement of the target object during the entire imaging of the main camera 1 is detected. The optimum motion of the main camera 1 and the sub camera 2 is estimated and quantified from the correlation between the motion of the entire target object extracted by the sub-camera 1 and the motion of the target object extracted by the sub-camera 2, and based on the estimated value, Then, the respective cameras 1 and 2 are moved to capture an image of the optimal imaging range. That is, the sub camera 2 corresponds to a sensor camera that detects the movement of the subject, and corresponds to the eyes of the cameraman. The main camera 1 and the sub camera 2 can perform panning, tilting, and zooming movements.

【0013】次に、上記カメラ自動追従方法およびその
装置の具体例を説明する。図1において、メインカメラ
1およびサブカメラ2は、それぞれパンニング、チルテ
ィングが可能な雲台5、18に載せられるとともに、ズ
ーミング可能な撮像レンズを有している。メインカメラ
1とサブカメラ2は倍率が異なっていて、メインカメラ
1は監視すべき範囲を網羅する広い視野をもち、サブカ
メラ2は、メインカメラ1よりも視野が狭く、メインカ
メラ1の視野内の注目する物体を監視する。メインカメ
ラ1による映像信号は動き検出部10に入力される。動
き検出部10は、フィルタリング機能を有する映像サン
プリングコントロール部、この映像サンプリングコント
ロール部の出力を入力とするキー処理部、このキー処理
部の出力が入力される重心算出部、重心算出部の出力が
入力される幾何学演算処理部等を有してなり、メインカ
メラ1により抽出された対象物全体の動き検出してこれ
をベクトル量で出力する。
Next, a specific example of the camera automatic tracking method and its apparatus will be described. In FIG. 1, a main camera 1 and a sub camera 2 are mounted on pan heads 5 and 18 that can perform panning and tilting, respectively, and have imaging lenses that can perform zooming. The main camera 1 and the sub camera 2 have different magnifications, the main camera 1 has a wide field of view covering the range to be monitored, and the sub camera 2 has a narrower field of view than the main camera 1 and is within the field of view of the main camera 1. Monitor the object of interest. The video signal from the main camera 1 is input to the motion detector 10. The motion detection unit 10 includes a video sampling control unit having a filtering function, a key processing unit to which an output of the video sampling control unit is input, a center of gravity calculation unit to which an output of the key processing unit is input, and an output of the center of gravity calculation unit. It has an input geometric operation processing unit and the like, detects the motion of the entire target object extracted by the main camera 1, and outputs this as a vector amount.

【0014】上記動き検出部10の出力はCPU9に入
力される。CPU9は、オペレーションパネル17から
入力される指令信号に基づき、上記キー処理部、演算処
理部との間で信号をやり取りしながらこれらを制御し、
また、雲台制御部8、表示位置設定部30を制御する。
上記雲台制御部8はCPU16において算出された二つ
のベクトル量に基づきメインカメラ1の雲台5を制御し
てパンニング、チルティング制御を行う。雲台制御部8
は、メインカメラ1のパンニングおよびチルティングを
違和感なく円滑に行うためのスムージング処理を含んで
いる。
The output of the motion detector 10 is input to the CPU 9. The CPU 9 controls these while exchanging signals with the key processing unit and the arithmetic processing unit based on a command signal input from the operation panel 17,
Further, it controls the camera platform control unit 8 and the display position setting unit 30.
The pan head controller 8 controls the pan head 5 of the main camera 1 based on the two vector amounts calculated by the CPU 16 to perform panning and tilting control. Head control unit 8
Includes a smoothing process for smoothly performing panning and tilting of the main camera 1 without discomfort.

【0015】サブカメラ2による映像信号は対象物抽出
部20に入力される。対象物抽出部20は、キー処理
部、このキー処理部の出力を入力とするマスク処理部等
を有してなり、サブカメラ2からの映像信号の中からク
ロマキー信号すなわち特定の色成分をキーとする信号を
得、このキー信号に対して上記マスク処理部でマスク処
理する。このマスク処理されたキー信号は対象物抽出部
20の出力として動き検出部14とCPU16に入力さ
れる。動き検出部14は、上記マスク処理部の出力を入
力とする重心算出部、この重心算出部の出力を入力とす
る演算処理部等を有する。上記動き検出部14の出力は
CPU16に入力される。CPU16は、オペレーショ
ンパネル17から入力される指令信号に基づき、上記キ
ー処理部、演算処理部、雲台制御部15との間で信号を
やり取りしながらこれらを制御する。上記雲台制御部1
5はCPU16において算出されたベクトル量に基づき
サブカメラ2の雲台18を制御してパンニング、チルテ
ィング制御を行う。サブカメラ2側のCPU16からメ
インカメラ1側のCPU9にCPU16において算出さ
れたベクトル量が入力される。
A video signal from the sub-camera 2 is input to an object extracting unit 20. The object extracting unit 20 includes a key processing unit, a mask processing unit that receives an output of the key processing unit as an input, and converts a chroma key signal, that is, a specific color component from a video signal from the sub camera 2 into a key. And the mask processing is performed on the key signal by the mask processing unit. The masked key signal is input to the motion detection unit 14 and the CPU 16 as an output of the object extraction unit 20. The motion detecting unit 14 includes a center of gravity calculating unit that receives an output of the mask processing unit as an input, an arithmetic processing unit that receives an output of the center of gravity calculating unit, and the like. The output of the motion detector 14 is input to the CPU 16. The CPU 16 controls these based on a command signal input from the operation panel 17 while exchanging signals with the key processing unit, the arithmetic processing unit, and the pan head control unit 15. Head control unit 1
5 controls the pan head 18 of the sub camera 2 based on the vector amount calculated by the CPU 16 to perform panning and tilting control. The vector amount calculated by the CPU 16 is input from the CPU 16 of the sub camera 2 to the CPU 9 of the main camera 1.

【0016】メインカメラ1の映像信号Aとサブカメラ
2の映像信号Bは合成部31に入力されて合成される。
また、合成部31には表示位置設定部30からの表示位
置信号が入力され、サブカメラ2の映像信号Bの表示位
置が設定される。合成部31で合成された映像信号はモ
ニタ32に入力され、モニタ32で表示される。
The video signal A of the main camera 1 and the video signal B of the sub camera 2 are input to a synthesizing unit 31 and synthesized.
The display position signal from the display position setting unit 30 is input to the synthesizing unit 31, and the display position of the video signal B of the sub camera 2 is set. The video signal synthesized by the synthesizing unit 31 is input to the monitor 32 and displayed on the monitor 32.

【0017】次に、上記カメラ自動追従方法および装置
の動作を説明する。メインカメラ1の視野角θは比較的
広く、所定の監視範囲を網羅する。その視野21の映像
の例を図3の上部に示す。また、メインカメラ1の視野
21内にある対象物体の一部、例えば一人の人間に注目
してこの人間を包含する範囲をサブカメラ2の視野21
aとする。メインカメラ1の視野21内のどの対象物体
を包含する範囲をサブカメラ2の視野21aとするか
は、オペレーションパネル17からの指定によりCPU
16の指令で設定される。サブカメラ2の視野21aで
とらえた映像23の中から、対象物抽出部20におい
て、注目した対象物を抽出する。この対象物抽出部20
では、サブカメラ2の視野21aの中から指定された特
定の対象物体部分をキー信号として取り出すキー処理を
行う。特定の対象物部分を色で認識する場合は、オペレ
ーションパネル17から何色にするかを指定し、サブカ
メラ2からのRGB信号により、指定された特定の色成
分を取り出す。上記特定の対象物が人間である場合は、
例えば人間の肌色を特定の色成分として指定するのも一
つのやり方である。
Next, the operation of the above camera automatic tracking method and apparatus will be described. The viewing angle θ of the main camera 1 is relatively wide and covers a predetermined monitoring range. An example of an image of the visual field 21 is shown in the upper part of FIG. In addition, a part of the target object within the field of view 21 of the main camera 1, for example, a range in which one person is focused on by focusing on one person is set as the field of view 21 of the sub camera 2.
a. The CPU 21 determines which range of the target object within the field of view 21 of the main camera 1 should be included in the field of view 21a of the sub camera 2 by designating from the operation panel 17.
It is set by 16 commands. The target object extraction unit 20 extracts the target object from the video 23 captured in the field of view 21a of the sub camera 2. This object extraction unit 20
Then, key processing is performed to extract a specified specific target object portion from the field of view 21a of the sub camera 2 as a key signal. When recognizing a specific target part by color, the operator designates the number of colors from the operation panel 17 and extracts the specified specific color component from the RGB signal from the sub camera 2. If the specific object is a human,
For example, one method is to specify a human skin color as a specific color component.

【0018】取り出されたキー信号に対してはマスク処
理する。これは、指定する物体に対応したクロマ成分で
撮像された映像より、注目する物体を抜き出すもので、
撮像映像内で同じクロマ成分をもつ物体を削除するため
に、注目する物体以外にマスクをかける。マスク処理さ
れた画像は重心算出部において上記特定の対象物体部分
の重心が求められる。重心の演算には公知の専用のIC
を使用することができる。上記特定の注目物体が動けば
その重心も動くので、この動きを動き検出部14で検出
する。動き検出部14は特定の注目物体の動きをベクト
ル量として抽出し、これをCPU16に入力する。CP
U16はブランキング期間に動き検出部14による検出
信号で雲台制御部15を経てサブカメラ2の雲台18を
制御し、上記一連の処理を1フレーム期間で終了させ
る。
Mask processing is performed on the extracted key signal. This extracts the object of interest from the video captured with the chroma component corresponding to the specified object,
In order to delete objects having the same chroma component in the captured image, a mask is applied to objects other than the object of interest. In the masked image, the center of gravity of the specific target object portion is obtained by the center of gravity calculation unit. A well-known dedicated IC for calculating the center of gravity
Can be used. If the specific object of interest moves, its center of gravity also moves, and this movement is detected by the motion detection unit 14. The motion detection unit 14 extracts the motion of the specific target object as a vector amount, and inputs this to the CPU 16. CP
U16 controls the camera platform 18 of the sub camera 2 via the camera platform control unit 15 with the detection signal from the motion detection unit 14 during the blanking period, and terminates the above series of processing in one frame period.

【0019】一方、メインカメラ1からの映像信号は動
き検出部10に入力され、サブカメラ2側の前記マスク
処理部からの限定された画像範囲情報を利用して、メイ
ンカメラ1の画素の精度をサブカメラ2のキーサイズま
で落とすフィルタリング処理がなされる。図4(a)は
このフィルタリング処理の概念を示しており、メインカ
メラ1の視野21中に、サブカメラ2側でマスク処理さ
れた視野21aと同等の画像範囲が設定され、図4
(b)に示すように、メインカメラ1の視野21が上記
マスク処理された視野21aと同等の画像範囲で区画さ
れる。
On the other hand, the video signal from the main camera 1 is input to the motion detection unit 10 and the accuracy of the pixels of the main camera 1 is determined by using the limited image range information from the mask processing unit on the sub camera 2 side. Is reduced to the key size of the sub camera 2. FIG. 4A shows the concept of the filtering process. In the field of view 21 of the main camera 1, an image range equivalent to the field of view 21a masked by the sub camera 2 is set.
As shown in (b), the field of view 21 of the main camera 1 is partitioned into an image range equivalent to the masked field of view 21a.

【0020】フィルタリング処理された画像情報は動き
検出部10内の前記キー処理部に入力される。キー処理
部は、指定された特定の被写体部分を上記のように色で
認識する場合は、指定された色成分をキー信号として取
り出す。上記フィルタリング処理により、サブカメラ2
と同じパラメータでキー信号が取り出される。このキー
信号は動き検出部10内の前記重心算出部に入力され、
サブカメラ2側と同様に重心が算出される。図4(b)
は、図4(a)に示す画像全体の重心を求めた例を示し
ており、指定された色成分を有する4個所がキー信号と
して取り出されている。重心位置は被写体の動きに伴っ
て移動するので、幾何学演算処理部において重心位置を
フィールド間もしくはフレーム間で比較しながら被写体
の動きを検出する。
The filtered image information is input to the key processing unit in the motion detection unit 10. When recognizing a specified specific subject portion by color as described above, the key processing unit extracts a specified color component as a key signal. By the above filtering process, the sub camera 2
The key signal is extracted with the same parameters as in. This key signal is input to the center-of-gravity calculation unit in the motion detection unit 10,
The center of gravity is calculated similarly to the sub camera 2 side. FIG. 4 (b)
Shows an example in which the center of gravity of the entire image shown in FIG. 4A is obtained, and four locations having designated color components are extracted as key signals. Since the position of the center of gravity moves with the movement of the subject, the movement of the subject is detected while comparing the position of the center of gravity between the fields or frames in the geometric operation processing unit.

【0021】いま、サブカメラ2は、上記の例では人間
の動きに追従して動くわけであるから、図5(a)に示
すようにメインカメラ1の視野21内の特定の人間が移
動すると、メインカメラ1の映像の特定の色成分の重心
PもP’へ移動する(図5(b)参照)。この移動量
は、抜き出された映像に対して重心G(Xt,Yt)を
とる。ここで、tは任意のフィールドを示す。また、次
のフィールドでとられた重心をG(Xt+1,Yt+
1)とし、注目物体の移動量(ベクトル量)をRb
(X,Y)とすると、 Rb(X,Y)=G(Xt+1,Yt+1)−G(Xt,Yt) ……(1) となり、この(1)式より移動量Rbを算出することが
できる。この算出された移動量に応じて、かつ、移動の
向きを同じくしてメインカメラを移動させれば、被写体
の動きに応じ常に最適の画像を得ることができる。
Since the sub-camera 2 follows the movement of a human in the above example, when a specific person in the field of view 21 of the main camera 1 moves as shown in FIG. The center of gravity P of the specific color component of the image of the main camera 1 also moves to P ′ (see FIG. 5B). This movement amount takes the center of gravity G (Xt, Yt) with respect to the extracted video. Here, t indicates an arbitrary field. Also, the center of gravity taken in the next field is G (Xt + 1, Yt +
1) and the moving amount (vector amount) of the object of interest is Rb
Assuming (X, Y), Rb (X, Y) = G (Xt + 1, Yt + 1) -G (Xt, Yt) (1), and the movement amount Rb can be calculated from the equation (1). . If the main camera is moved according to the calculated moving amount and in the same moving direction, an optimal image can always be obtained according to the movement of the subject.

【0022】メインカメラ1では、撮像された映像の全
領域でフィルタ処理し、かつ、全領域で重心をとる。全
体の映像における重心の移動量Raは、上記(1)式と
同様に与えられる。全体の映像における重心の移動量R
aは、撮像される映像の感覚的ベクトル量、すなわち映
像をトータル的に見てどの方向に動きがあるかを示す量
である。このようにして、メインカメラ1は、図6に示
すように、サブカメラ2の視野21a内の注目物体以外
の動きによっても重心PがP−2へ移動する。何故な
ら、キー処理部4は上記のように指定されたクロマ成分
をキー信号として取り出すようになっているため、メイ
ンカメラ1の視野21内においてサブカメラ2の視野2
1a以外に指定されたクロマ成分を有する対象物体があ
ってこれが移動すれば、図6(b)に示すように重心が
PからP−2へ移動することになるからである。これ
は、結果的にはカメラマンがビューファインダー越しに
メインカメラ1の視野21中の他の移動物体を黙視して
いる状態と同等と考えることができる。
In the main camera 1, the filtering process is performed on the entire area of the captured image, and the center of gravity is set on the entire area. The moving amount Ra of the center of gravity in the entire image is given in the same manner as in the above equation (1). Movement amount R of the center of gravity in the entire image
“a” is a sensory vector amount of a captured image, that is, an amount indicating a direction in which a motion is observed when viewing the image as a whole. In this manner, in the main camera 1, as shown in FIG. 6, the center of gravity P also moves to P-2 due to a motion other than the object of interest in the field of view 21a of the sub camera 2. The reason is that the key processing unit 4 extracts the specified chroma component as a key signal as described above, so that the field of view 2 of the sub camera 2 is within the field of view 21 of the main camera 1.
This is because, if there is a target object having the specified chroma component other than 1a and moves, the center of gravity moves from P to P-2 as shown in FIG. 6B. As a result, it can be considered that this is equivalent to a state where the photographer is silently looking at another moving object in the field of view 21 of the main camera 1 through the viewfinder.

【0023】サブカメラ2で得られた移動量Rbおよび
メインカメラ1で得られた移動量Raにおけるスカラー
量Rb’、Ra’は、CPU9において、2台のカメラ
1、2の撮像倍率比によって変換され、同スケールによ
って処理される。すなわち、 Ra’=αRa (α:撮像倍率比) ……(2) Rb’=βRb (β=1/α) ……(3) というように、同スケール化された両者の移動量によっ
て、全体の動きにおける注目物体の動きを条件付けし、
その条件に応じた各カメラ1、2の雲台制御量(カメラ
移動量)を定量化する。このように、CPU9は、2台
のカメラ1、2の異なる倍率に対応する二つのパラメー
タにより2台のカメラ1、2の雲台5、18を制御する
パラメータを算出し、1台のカメラ1により検出された
対象物体全体の動きと他の1台のカメラ2により検出さ
れた注目物体の動きとの相関関係からそれぞれのカメラ
の最適移動量を推定する演算部としての機能を有してお
り、これによって、カメラ自動追従装置の安定した動作
を実現することができる。
The scalar amounts Rb 'and Ra' in the movement amount Rb obtained by the sub camera 2 and the movement amount Ra obtained by the main camera 1 are converted by the CPU 9 according to the imaging magnification ratio of the two cameras 1 and 2. And processed by the same scale. That is, Ra '= αRa (α: imaging magnification ratio) (2) Rb ′ = βRb (β = 1 / α) (3) Condition the movement of the object of interest in the movement of
The camera platform control amounts (camera movement amounts) of the cameras 1 and 2 according to the conditions are quantified. As described above, the CPU 9 calculates the parameters for controlling the camera platforms 5 and 18 of the two cameras 1 and 2 based on the two parameters corresponding to different magnifications of the two cameras 1 and 2, and Has a function as a calculation unit for estimating the optimal movement amount of each camera from the correlation between the movement of the entire target object detected by the above and the movement of the target object detected by the other camera 2. Thus, a stable operation of the automatic camera follow-up device can be realized.

【0024】対象物を表示するモニタには、メインカメ
ラ1で撮像された映像のみを表示してもよいが、図1に
示す例では、メインカメラ1で撮像された映像Aとサブ
カメラ2で撮像された映像Bとを合成部31で合成し、
一つのモニタ32の画面上に、映像Aを背景とした形で
映像Bが拡大されて表示されるようになっている。映像
Bを映像A中のどこに表示するかは、CPU9からの指
令によって表示位置設定部30で設定される。CPU9
は、映像Bが映像A中のどこにあるかを常時認識してお
り、対象物体全体の動きを見ながら、映像A中の差し支
えのない領域、例えば映像A中の映像Bがその拡大映像
で隠されることのないような位置を指定し、表示位置設
定部30を通じて上記指定した位置に映像Bの拡大映像
を表示する。従って、注目物体が動いてその映像Bが映
像A中を移動し、映像Bの拡大映像表示部と重なるよう
であれば、映像Bの拡大映像表示部を映像A中の差し支
えのない領域まで移動させる。
On the monitor for displaying the object, only the image taken by the main camera 1 may be displayed. In the example shown in FIG. 1, the image A taken by the main camera 1 and the image taken by the sub camera 2 are displayed. The captured image B is synthesized by the synthesizing unit 31,
The image B is enlarged and displayed on the screen of one monitor 32 with the image A as a background. Where the image B is displayed in the image A is set by the display position setting unit 30 according to a command from the CPU 9. CPU 9
Is constantly recognizing where the image B is in the image A, and while observing the movement of the entire target object, an unobstructed area in the image A, for example, the image B in the image A is hidden by the enlarged image. A position that will not be displayed is specified, and an enlarged image of the image B is displayed at the specified position through the display position setting unit 30. Therefore, if the object of interest moves and the image B moves in the image A and overlaps with the enlarged image display portion of the image B, the enlarged image display portion of the image B is moved to a region in the image A where there is no problem. Let it.

【0025】ところで、メインカメラ1が被写体の僅か
な位置の変化に敏感に追従していては落ちつきのない映
像になってしまうため、メインカメラ1については、2
台のカメラから抽出された移動量から定量化した雲台制
御パラメータが一定以上でなければ動かないように不感
領域を設定可能にしておくのが望ましい。ここで、定量
化された雲台制御パラメータのパン量をP、チルト量を
C、実際のパン量をP’、実際のチルト量をC’とする
と、 P’=iP ……(4) C’=jC ……(5) となる。
By the way, if the main camera 1 sensitively follows a slight change in the position of the subject, the image becomes restless.
It is desirable that the dead area can be set so that the camera head does not move unless the pan head control parameter quantified from the movement amount extracted from the cameras is equal to or more than a certain value. Here, assuming that the pan amount of the quantified pan head control parameter is P, the tilt amount is C, the actual pan amount is P ′, and the actual tilt amount is C ′, P ′ = iP (4) C '= JC (5)

【0026】上記の式(4)(5)においてパラメータ
i,jをソフト的に変更することにより不感領域を設定
することができる。この不感領域の設定により、メイン
カメラ1による撮像画面の滑らかな動きを実現すること
ができる。この処理をスムージング処理といい、各雲台
制御部8、10がこのスムージング処理機能を有してい
る。上記不感領域は、各種撮像条件等に応じて任意に変
更することができる。また、上記スムージング処理と実
際のパン量P’、実際のチルト量C’のそれぞれの累計
加算を指定時間T(この指定時間Tはソフト的に可変で
ある)で行い、指定時間T毎に雲台を動かす操作を平行
して行うことにより、よりスムーズな動きを得ることが
できる。
In the above equations (4) and (5), the insensitive area can be set by changing the parameters i and j by software. By setting the dead area, it is possible to realize a smooth movement of the imaging screen by the main camera 1. This processing is called smoothing processing, and each of the camera platform controllers 8 and 10 has this smoothing processing function. The dead area can be arbitrarily changed according to various imaging conditions and the like. Further, the above-described smoothing process and the cumulative addition of the actual pan amount P ′ and the actual tilt amount C ′ are performed at a designated time T (the designated time T is variable by software). By performing the operation of moving the table in parallel, a smoother movement can be obtained.

【0027】以上説明した実施の形態では、サブカメラ
2によって監視されている注目物体が図7に示すように
メインカメラ1の視野21外に消えたとしても、サブカ
メラ2はマスク設定した注目物体を常時追跡し、サブカ
メラ2でとらえかつマスク処理された注目物体の動きに
追従してメインカメラ1を移動させるようになっている
ため、図7に示すように再度メインカメラ1の視野21
内に上記監視されている物体をとらえることができる。
従って、メインカメラ1の視野角を狭くして特定の対象
物体に絞っても、目的の対象物体を見逃してしまうこと
はない。
In the embodiment described above, even if the target object monitored by the sub camera 2 disappears outside the field of view 21 of the main camera 1 as shown in FIG. Is constantly tracked, and the main camera 1 is moved following the movement of the object of interest, which is captured by the sub camera 2 and masked, so that the field of view 21 of the main camera 1 is again shown in FIG.
The monitored object can be captured within.
Therefore, even if the viewing angle of the main camera 1 is narrowed to a specific target object, the target target object is not missed.

【0028】以上説明した本発明の実施の形態によれ
ば、2台の異なる倍率を持つカメラを用い、1台のカメ
ラ1に監視範囲を網羅する視野をもたせ、他の1台のカ
メラ2で注目する物体を監視し、1台のカメラ1により
抽出された対象物体全体の動きと他の1台のカメラ2に
より抽出された注目物体の動きとの相関関係からカメラ
の最適移動量を推定し、この推定値に基づきそれぞれの
カメラ1、2を移動させることにより最適撮像範囲を撮
像するようにしたため、動きのある対象物体を自動的に
追従することができ、機材およびスタッフの省力化の要
求に応えることができるとともに、目的の対象物に絞り
込んでこれを大きくかつ鮮明にとらえることができ、さ
らに、追従動作をベテランカメラマンによる追従動作と
遜色のないものにすることができる。
According to the embodiment of the present invention described above, two cameras having different magnifications are used, one camera 1 is provided with a field of view covering the monitoring range, and the other camera 2 is used. The object of interest is monitored, and the optimal movement amount of the camera is estimated from the correlation between the motion of the entire target object extracted by one camera 1 and the motion of the object of interest extracted by another camera 2. By moving each of the cameras 1 and 2 based on the estimated value, the optimum imaging range is imaged, so that a moving target object can be automatically followed, and the demand for labor saving of equipment and staff is required. In addition to focusing on the target object, which can be caught in a large and clear image.Furthermore, the following operation is not inferior to the following operation by a veteran photographer. It is possible.

【0029】また、メインカメラ1の視野の中には、注
目物体のほかに、動きのある物体が存在する場合も多
い。例えば、風で枝が揺れている樹木や、波立っている
水面等に類である。その場合、風で枝が揺れている樹木
や、波立っている水面等に反応してカメラが移動すると
誤動作ということになる。しかし、前述の本発明の実施
の形態のように、追従すべき物体を特定するのに、例え
ば肌色の部分のみというように色で特定するようにすれ
ば、誤動作を防止することができる。あるいは、上記の
ような風で枝が揺れている樹木や、波立っている水面等
は規則性をもって動いているので、規則性をもって動い
ているものは無視するようにしてもよい。
In addition, in the field of view of the main camera 1, there are many cases where a moving object exists in addition to the object of interest. For example, it is similar to a tree whose branches sway due to the wind, a wavy water surface, and the like. In such a case, if the camera moves in response to a tree whose branches are swaying due to the wind, a wavy water surface, or the like, a malfunction occurs. However, if the object to be followed is specified by a color such as only a skin color portion as in the above-described embodiment of the present invention, malfunction can be prevented. Alternatively, a tree whose branches are swaying due to the wind as described above, a wavy water surface, and the like are moving with regularity, and those moving with regularity may be ignored.

【0030】本発明にかかるカメラ自動追従方法および
その装置は、人間が立ち入ることができない場所でも、
特定の対象物体を追跡しながら撮像することができる。
特に、サブカメラを赤外線カメラや高感度カメラにすれ
ば、無人監視システムや異常警報システムなどとしても
利用することができる。また、本発明装置にビデオテー
プレコーダやフレームメモリ(数分単位)を組み合わせ
れば、災害時の情報の記録も可能となる。
The camera automatic tracking method and apparatus according to the present invention can be used even in a place where humans cannot enter.
An image can be taken while tracking a specific target object.
In particular, if the sub-camera is an infrared camera or a high-sensitivity camera, it can be used as an unmanned surveillance system or an abnormal alarm system. If a video tape recorder or a frame memory (in units of several minutes) is combined with the apparatus of the present invention, it is possible to record information at the time of disaster.

【0031】図示の実施の形態では、メインカメラとサ
ブカメラが別体になっていたが、複眼レンズを用いた1
台のカメラとし、一方のレンズは広画角、他方のレンズ
はこれよりも狭い画角とし、広画角のレンズをメイン、
狭い画角のレンズをサブとして前記実施の形態と同様に
使い分ければ、図示の実施の形態と同様の作用効果を得
ることができる。また、カメラは3個、4個、というよ
うに多数用いてもよい。この場合、サブカメラとして複
数個用いてもよいし、メインカメラとして複数個用いて
もよい。また、メインカメラによる撮像画面中に、サブ
カメラによる撮像画面を同時に表示してもよい。その場
合、指定領域を適宜加工処理し、全体の動きを見ながら
差し支えのない領域にサブカメラによる撮像画面を表示
する。こうすることによって、全体の動きを見ながら指
定部分の処理を同時に見ることができる。
In the illustrated embodiment, the main camera and the sub camera are separated from each other.
One camera has a wide angle of view, the other lens has a narrower angle of view, the main lens is a wide angle of view,
If a lens having a narrow angle of view is used as a sub in the same manner as in the above-described embodiment, the same operation and effect as in the illustrated embodiment can be obtained. Also, a large number of cameras such as three or four cameras may be used. In this case, a plurality of sub cameras or a plurality of main cameras may be used. Also, the image screen of the sub camera may be displayed simultaneously with the image screen of the main camera. In this case, the designated area is appropriately processed, and the imaging screen of the sub camera is displayed in an area where there is no problem while observing the entire movement. By doing so, it is possible to simultaneously see the processing of the designated portion while watching the entire movement.

【0032】[0032]

【発明の効果】請求項1記載の発明によれば、2台の倍
率の異なるカメラを用い、1台のカメラに監視範囲を網
羅する視野をもたせ、他の1台のカメラで注目する物体
を監視し、1台のカメラにより抽出された対象物体全体
の動きと他の1台のカメラにより抽出された注目物体の
動きとの相関関係からカメラの最適移動量を推定し、こ
の推定値に基づきそれぞれのカメラを移動させることに
より最適撮像範囲を撮像するようにしたため、動きのあ
る対象物体を自動的に追従することができ、機材および
スタッフの省力化の要求に応えることができるととも
に、目的の対象物に絞り込んでこれを大きくかつ鮮明に
とらえることができ、さらに、追従動作をベテランカメ
ラマンによる追従動作と遜色のないものにすることがで
きる。
According to the first aspect of the present invention, two cameras having different magnifications are used, one camera has a field of view that covers the monitoring range, and the other camera focuses on an object of interest. Monitoring and estimating the optimal movement amount of the camera from the correlation between the movement of the entire target object extracted by one camera and the movement of the target object extracted by the other camera, and based on this estimated value By moving each camera to capture the optimal imaging range, it is possible to automatically follow a moving target object, respond to the demand for labor saving of equipment and staff, and The object can be narrowed down to be large and clear, and the following operation can be made comparable to the following operation by a veteran photographer.

【0033】請求項2記載の発明によれば、倍率が異な
る2台のカメラを有し、1台のカメラは監視範囲を網羅
する視野をもち、他の1台のカメラは上記監視範囲内の
注目する物体を監視するものであり、上記2台のカメラ
の撮像範囲内における対象物体の動きを検出する動き検
出部と、上記2台のカメラの異なる倍率に対応する二つ
のパラメータにより2台のカメラの雲台を制御するパラ
メータを算出し、1台のカメラにより検出された対象物
体全体の動きと他の1台のカメラにより検出された注目
物体の動きとの相関関係からそれぞれのカメラの最適移
動量を推定する演算部と、この推定値に基づきそれぞれ
のカメラの雲台を制御することにより最適撮像範囲を撮
像する雲台制御部とを有しているため、請求項1記載の
発明と同様に、動きのある対象物体を自動的に追従する
ことができ、機材およびスタッフの省力化の要求に応え
ることができるとともに、目的の対象物に絞り込んでこ
れを大きくかつ鮮明にとらえることができ、さらに、追
従動作をベテランカメラマンによる追従動作と遜色のな
いものにすることができる。
According to the second aspect of the present invention, two cameras having different magnifications are provided, one camera has a field of view covering the monitoring range, and the other camera is within the monitoring range. It monitors an object of interest, and detects a movement of a target object within the imaging range of the two cameras, and two parameters corresponding to different magnifications of the two cameras. The parameters for controlling the camera platform are calculated, and the optimum of each camera is determined from the correlation between the motion of the entire target object detected by one camera and the motion of the target object detected by another camera. The invention according to claim 1, comprising a calculation unit for estimating the movement amount, and a camera platform control unit for controlling the camera platform of each camera based on the estimated value to capture an optimal imaging range. Similarly, dynamic Can automatically follow a target object that has an object, responding to the demand for labor-saving equipment and staff, and narrowing down to the target object to capture it in a large and clear manner. The operation can be made comparable to the following operation by a veteran photographer.

【0034】請求項3記載の発明によれば、請求項2記
載の発明において、2台のカメラで撮像された映像を一
つの画面に合成して表示する合成手段を設けたため、所
定の監視範囲を網羅した対象物全体の画面の中に、注目
物体の映像を拡大した形で重ねて表示することができ
る。
According to the third aspect of the present invention, in the second aspect of the present invention, since the synthesizing means for synthesizing the images captured by the two cameras on one screen and displaying the same is provided, a predetermined monitoring range is provided. Can be superimposed and displayed in a magnified form on the screen of the entire object covering the object.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明にかかるカメラ自動追従方法およびその
装置の実施の形態を示すブロック図である。
FIG. 1 is a block diagram showing an embodiment of a camera automatic tracking method and apparatus according to the present invention.

【図2】同上実施の形態による撮像の様子を示す概念図
である。
FIG. 2 is a conceptual diagram showing a state of imaging according to the embodiment.

【図3】同上実施の形態による注目物体の動きを検知す
る動作を示す概念図である。
FIG. 3 is a conceptual diagram showing an operation of detecting a movement of a target object according to the embodiment.

【図4】同上実施の形態によるフィルタリング処理の様
子を示す概念図である。
FIG. 4 is a conceptual diagram showing a state of a filtering process according to the embodiment.

【図5】同上実施の形態によるメインカメラでの注目物
体の動きによる重心の移動の様子を示す概念図である。
FIG. 5 is a conceptual diagram showing a state of movement of the center of gravity due to the movement of the object of interest in the main camera according to the embodiment.

【図6】同上実施の形態によるメインカメラでの注目物
体以外の対象物体の動きによる重心の移動の様子を示す
概念図である。
FIG. 6 is a conceptual diagram showing a state of movement of the center of gravity due to the movement of a target object other than the target object in the main camera according to the embodiment.

【図7】同上実施の形態による注目物体の別の動きの例
を示す概念図である。
FIG. 7 is a conceptual diagram showing an example of another movement of the object of interest according to the embodiment.

【図8】カメラマンの目の動きとカメラワークの関係を
示す線図である。
FIG. 8 is a diagram showing a relationship between a cameraman's eye movement and camera work.

【図9】従来一般のカメラによる撮像の様子を示す概念
図である。
FIG. 9 is a conceptual diagram showing a state of imaging by a conventional general camera.

【符号の説明】[Explanation of symbols]

1 メインカメラ 2 サブカメラ 5 雲台 8 雲台制御部 9 演算部としてのCPU 10 動き検出部 14 動き検出部 15 雲台制御部 16 演算部としてのCPU 18 雲台 31 合成部 Reference Signs List 1 main camera 2 sub camera 5 pan head 8 pan head control section 9 CPU as operation section 10 motion detection section 14 motion detection section 15 pan head control section 16 CPU as operation section 18 pan head 31 synthesis section

─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───

【手続補正書】[Procedure amendment]

【提出日】平成9年4月8日[Submission date] April 8, 1997

【手続補正1】[Procedure amendment 1]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】0008[Correction target item name] 0008

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【0008】[0008]

【発明が解決しようとする課題】本発明は、以上述べた
点に鑑みてなされたもので、動きのある被写体を自動的
に追従することができるようにして、前述のような機材
およびスタッフの省力化の要求に応えることができると
ともに、目的の被写体を大きくかつ鮮明にとらえること
ができるカメラ自動追従方法およびその装置を提供する
ことを目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and has been made so as to automatically follow a moving object and to provide the above-described equipment and staff. it is possible to meet the demand for labor saving, and an object thereof is to provide an automatic camera tracking method and apparatus subject as possible out to capture the large and sharp objects.

【手続補正2】[Procedure amendment 2]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】0028[Correction target item name] 0028

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【0028】以上説明した本発明の実施の形態によれ
ば、2台の異なる倍率を持つカメラを用い、1台のカメ
ラ1に監視範囲を網羅する視野をもたせ、他の1台のカ
メラ2で注目する物体を監視し、1台のカメラ1により
抽出された対象物体全体の動きと他の1台のカメラ2に
より抽出された注目物体の動きとの相関関係からカメラ
の最適移動量を推定し、この推定値に基づきそれぞれの
カメラ1、2を移動させることにより最適撮像範囲を撮
像するようにしたため、動きのある対象物体を自動的に
追従することができ、機材およびスタッフの省力化の要
求に応えることができるとともに、目的の対象物に絞り
込んでこれを大きくかつ鮮明にとらえることができる
According to the embodiment of the present invention described above, two cameras having different magnifications are used, one camera 1 is provided with a field of view covering the monitoring range, and the other camera 2 is used. The object of interest is monitored, and the optimal movement amount of the camera is estimated from the correlation between the motion of the entire target object extracted by one camera 1 and the motion of the object of interest extracted by another camera 2. By moving each of the cameras 1 and 2 based on the estimated value, the optimum imaging range is imaged, so that a moving target object can be automatically followed, and the demand for labor saving of equipment and staff is required. it is possible to meet, as possible out to capture this large and sharp narrow the object of interest.

【手続補正3】[Procedure amendment 3]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】0032[Correction target item name] 0032

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【0032】[0032]

【発明の効果】請求項1記載の発明によれば、2台の倍
率の異なるカメラを用い、1台のカメラに監視範囲を網
羅する視野をもたせ、他の1台のカメラで注目する物体
を監視し、1台のカメラにより抽出された対象物体全体
の動きと他の1台のカメラにより抽出された注目物体の
動きとの相関関係からカメラの最適移動量を推定し、こ
の推定値に基づきそれぞれのカメラを移動させることに
より最適撮像範囲を撮像するようにしたため、動きのあ
る対象物体を自動的に追従することができ、機材および
スタッフの省力化の要求に応えることができるととも
に、目的の対象物に絞り込んでこれを大きくかつ鮮明に
とらえることができる
According to the first aspect of the present invention, two cameras having different magnifications are used, one camera has a field of view that covers the monitoring range, and the other camera focuses on an object of interest. Monitoring and estimating the optimal movement amount of the camera from the correlation between the movement of the entire target object extracted by one camera and the movement of the target object extracted by the other camera, and based on this estimated value By moving each camera to capture the optimal imaging range, it is possible to automatically follow a moving target object, respond to the demand for labor saving of equipment and staff, and narrow the object as possible out to capture this large and sharp.

【手続補正4】[Procedure amendment 4]

【補正対象書類名】明細書[Document name to be amended] Statement

【補正対象項目名】0033[Correction target item name] 0033

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【0033】請求項2記載の発明によれば、倍率が異な
る2台のカメラを有し、1台のカメラは監視範囲を網羅
する視野をもち、他の1台のカメラは上記監視範囲内の
注目する物体を監視するものであり、上記2台のカメラ
の撮像範囲内における対象物体の動きを検出する動き検
出部と、上記2台のカメラの異なる倍率に対応する二つ
のパラメータにより2台のカメラの雲台を制御するパラ
メータを算出し、1台のカメラにより検出された対象物
体全体の動きと他の1台のカメラにより検出された注目
物体の動きとの相関関係からそれぞれのカメラの最適移
動量を推定する演算部と、この推定値に基づきそれぞれ
のカメラの雲台を制御することにより最適撮像範囲を撮
像する雲台制御部とを有しているため、請求項1記載の
発明と同様に、動きのある対象物体を自動的に追従する
ことができ、機材およびスタッフの省力化の要求に応え
ることができるとともに、目的の対象物に絞り込んでこ
れを大きくかつ鮮明にとらえることができる
According to the second aspect of the present invention, two cameras having different magnifications are provided, one camera has a field of view covering the monitoring range, and the other camera is within the monitoring range. It monitors an object of interest, and detects a movement of a target object within the imaging range of the two cameras, and two parameters corresponding to different magnifications of the two cameras. The parameters for controlling the camera platform are calculated, and the optimum of each camera is determined from the correlation between the motion of the entire target object detected by one camera and the motion of the target object detected by another camera. The invention according to claim 1, comprising a calculation unit for estimating the movement amount, and a camera platform control unit for controlling the camera platform of each camera based on the estimated value to capture an optimal imaging range. Similarly, dynamic Can automatically follow the target object with, it is possible to meet the demand for labor saving equipment and staff as possible out to capture this large and sharp narrow the object of interest.

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 撮像範囲内における対象物体の動きを倍
率が異なる2台のカメラの映像信号より検出し、 その異なる倍率に対応する二つのパラメータにより2台
のカメラの雲台を制御するパラメータを算出し、 1台のカメラに監視範囲を網羅する視野をもたせ、他の
1台のカメラで注目する物体を監視し、 1台のカメラにより抽出された対象物体全体の動きと他
の1台のカメラにより抽出された注目物体の動きとの相
関関係からカメラの最適移動量を推定し、 この推定値に基づきそれぞれのカメラを移動させること
により最適撮像範囲を撮像するカメラ自動追従方法。
1. A movement of a target object within an imaging range is detected from video signals of two cameras having different magnifications, and a parameter for controlling a camera platform of the two cameras is determined by two parameters corresponding to the different magnifications. Calculate, give one camera a field of view that covers the monitoring range, monitor the object of interest with another camera, and calculate the movement of the entire target object extracted by one camera and the other one A camera automatic tracking method for estimating an optimal movement amount of a camera from a correlation with a movement of an object of interest extracted by the camera, and moving each camera based on the estimated value to capture an optimal imaging range.
【請求項2】 倍率が異なる2台のカメラを有し、1台
のカメラは監視範囲を網羅する視野をもち、他の1台の
カメラは上記監視範囲内の注目する物体を監視するもの
であり、 上記2台のカメラの撮像範囲内における対象物体の動き
を検出する動き検出部と、 上記2台のカメラの異なる倍率に対応する二つのパラメ
ータにより2台のカメラの雲台を制御するパラメータを
算出し、1台のカメラにより検出された対象物体全体の
動きと他の1台のカメラにより検出された注目物体の動
きとの相関関係からそれぞれのカメラの最適移動量を推
定する演算部と、 この演算部による推定値に基づきそれぞれのカメラの雲
台を制御することにより最適撮像範囲を撮像する雲台制
御部とを有してなるカメラ自動追従装置。
2. A camera having two cameras having different magnifications, one camera having a field of view covering the monitoring range, and the other camera monitoring an object of interest in the monitoring range. A motion detection unit that detects a motion of a target object within an imaging range of the two cameras; and a parameter that controls a camera platform of the two cameras by two parameters corresponding to different magnifications of the two cameras. A calculation unit for calculating the optimal movement amount of each camera from the correlation between the movement of the entire target object detected by one camera and the movement of the target object detected by the other camera An automatic camera tracking device comprising: a camera platform control unit that controls the camera platform of each camera based on the estimated value of the arithmetic unit to capture an optimal imaging range.
【請求項3】 2台のカメラで撮像された映像を一つの
画面に合成して表示する合成手段を有してなる請求項2
記載のカメラ自動追従装置。
3. A synthesizing means for synthesizing an image picked up by two cameras onto one screen and displaying the synthesized image.
The automatic camera follow-up device described in the above.
JP8187484A 1996-07-17 1996-07-17 Automatic camera tracking method and device Expired - Fee Related JP2846854B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8187484A JP2846854B2 (en) 1996-07-17 1996-07-17 Automatic camera tracking method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8187484A JP2846854B2 (en) 1996-07-17 1996-07-17 Automatic camera tracking method and device

Publications (2)

Publication Number Publication Date
JPH1032746A true JPH1032746A (en) 1998-02-03
JP2846854B2 JP2846854B2 (en) 1999-01-13

Family

ID=16206882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8187484A Expired - Fee Related JP2846854B2 (en) 1996-07-17 1996-07-17 Automatic camera tracking method and device

Country Status (1)

Country Link
JP (1) JP2846854B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002516535A (en) * 1998-05-15 2002-06-04 ピクチャーテル コーポレイション Audio source positioning
KR100656345B1 (en) 2005-03-30 2006-12-11 한국전자통신연구원 Method and apparatus for tracking moving object by using two-cameras
EP1981278A1 (en) * 2006-01-31 2008-10-15 Matsushita Electric Industrial Co., Ltd. Automatic tracking device and automatic tracking method
JP2009147816A (en) * 2007-12-17 2009-07-02 Sony Corp Image signal processing apparatus, display device, image signal processing method, program and recording medium
KR101026521B1 (en) 2009-06-08 2011-04-01 삼육대학교산학협력단 Presentation method of the picture
JP2013118712A (en) * 2013-03-19 2013-06-13 Sumitomo Electric Ind Ltd System for tracking and photographing a plurality of moving objects and photographing control method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002516535A (en) * 1998-05-15 2002-06-04 ピクチャーテル コーポレイション Audio source positioning
KR100656345B1 (en) 2005-03-30 2006-12-11 한국전자통신연구원 Method and apparatus for tracking moving object by using two-cameras
EP1981278A1 (en) * 2006-01-31 2008-10-15 Matsushita Electric Industrial Co., Ltd. Automatic tracking device and automatic tracking method
EP1981278A4 (en) * 2006-01-31 2010-12-01 Panasonic Corp Automatic tracking device and automatic tracking method
US8170277B2 (en) 2006-01-31 2012-05-01 Panasonic Corporation Automatic tracking apparatus and automatic tracking method
JP2009147816A (en) * 2007-12-17 2009-07-02 Sony Corp Image signal processing apparatus, display device, image signal processing method, program and recording medium
KR101026521B1 (en) 2009-06-08 2011-04-01 삼육대학교산학협력단 Presentation method of the picture
JP2013118712A (en) * 2013-03-19 2013-06-13 Sumitomo Electric Ind Ltd System for tracking and photographing a plurality of moving objects and photographing control method

Also Published As

Publication number Publication date
JP2846854B2 (en) 1999-01-13

Similar Documents

Publication Publication Date Title
JP5867424B2 (en) Image processing apparatus, image processing method, and program
JP4140591B2 (en) Imaging system and imaging method
US8174571B2 (en) Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images
DE602005005879T2 (en) Goal control system and method on a move basis
US20180225852A1 (en) Apparatus and method for generating best-view image centered on object of interest in multiple camera images
US7684591B2 (en) Information processing system, information processing apparatus and information processing method, program, and recording medium
US20110090341A1 (en) Intruding object detection system and controlling method thereof
EP0878965A3 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
KR100676232B1 (en) Object tracking method, object tracking apparatus and computer-readable record medium with recorded object tracking program
US20130021433A1 (en) Overview configuration and control method for ptz cameras
JP2006229322A (en) Automatic tracking controller and automatic tracking control method, program, and automatic tracking system
JP2010009134A (en) Image processing system, image processing method, and program
JP2007158860A (en) Photographing system, photographing device, image switching device, and data storage device
JP2003256836A (en) Intelligent feature selection and pan zoom control
CN110324572B (en) Monitoring system, monitoring method, and non-transitory computer-readable storage medium
CN1980384A (en) Space mobile-object locking aim-searching device and method
CN110944101A (en) Image pickup apparatus and image recording method
JP2010114752A (en) Device and method of imaging and program
KR100623835B1 (en) Object detecting method and apparatus
JP2846854B2 (en) Automatic camera tracking method and device
JP3615867B2 (en) Automatic camera system
KR101619956B1 (en) Apparatus for image processing of surveilance camera by using auto multi-tracing
JP3994469B2 (en) Imaging device, display device, and recording device
KR20000051171A (en) Digital zoom out processing apparatus
KR101619953B1 (en) Method for image processing of surveilance camera by using auto multi-tracing

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071030

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081030

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091030

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees