JP3116422B2 - Camera control device - Google Patents

Camera control device

Info

Publication number
JP3116422B2
JP3116422B2 JP03153339A JP15333991A JP3116422B2 JP 3116422 B2 JP3116422 B2 JP 3116422B2 JP 03153339 A JP03153339 A JP 03153339A JP 15333991 A JP15333991 A JP 15333991A JP 3116422 B2 JP3116422 B2 JP 3116422B2
Authority
JP
Japan
Prior art keywords
subject
camera
equation
focus
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP03153339A
Other languages
Japanese (ja)
Other versions
JPH057325A (en
Inventor
雅博 藤田
恵子 阿部
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP03153339A priority Critical patent/JP3116422B2/en
Publication of JPH057325A publication Critical patent/JPH057325A/en
Application granted granted Critical
Publication of JP3116422B2 publication Critical patent/JP3116422B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【0001】[0001]
【産業上の利用分野】本発明は、例えばビデオカメラや
カメラ一体型VTR等に適用して好適なカメラ制御装置
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a camera control device suitable for application to, for example, a video camera or a VTR integrated with a camera.
【0002】[0002]
【従来の技術】従来、CCD(チャージ・カップルド・
ディバイス)素子や撮像管等を用いたビデオカメラが一
般、業務用を問わず広く使用されている。このようなビ
デオカメラは、光学系により捕らえた被写体の光をCC
D素子や撮像管等で光電変換し、所定の信号処理を施し
てNTSC、SECAM及びPAL等の方式のカラー映
像信号が得られるようにしている。そしてこの撮像によ
り得られた映像信号は、モニタに供給されて、その管面
に映出されたり、また記録装置に供給されて、その記録
装置に使用される記録媒体に記録されたりするようにな
されている。またこのようなビデオカメラは映像をビュ
ーファインダー等と称されるファインダーで見ながら撮
影するようになされている。
2. Description of the Related Art Conventionally, a CCD (Charge-Coupled
2. Description of the Related Art A video camera using a device, an image pickup tube, or the like is widely used in general and business use. Such a video camera uses the light of the subject captured by the optical system as CC.
A photoelectric conversion is performed by a D element, an image pickup tube, or the like, and predetermined signal processing is performed to obtain a color video signal of a system such as NTSC, SECAM, and PAL. Then, the video signal obtained by this imaging is supplied to a monitor and projected on the screen thereof, or supplied to a recording device and recorded on a recording medium used in the recording device. It has been done. Such a video camera shoots an image while viewing the image with a viewfinder called a viewfinder or the like.
【0003】一般にこのようなビデオカメラを用いて撮
影を行う場合には、撮影したい被写体にピントを合わせ
て撮影する。このピント合わせには手動のピント合わせ
及び自動のピント合わせがある。手動のピント合わせは
手動によりレンズの位置を変えることにより行う。これ
に対し、自動のピント合わせは一般にオートフォーカス
と称され、従来では、撮像して得た映像信号より高域成
分やコントラストを検出し、この検出結果が良くなるよ
うにレンズを動かして焦点を合わせるようにしている。
In general, when photographing using such a video camera, the photographing is performed by focusing on the subject to be photographed. This focusing includes manual focusing and automatic focusing. Manual focusing is performed by manually changing the position of the lens. On the other hand, automatic focusing is generally called autofocus, and conventionally, high-frequency components and contrast are detected from a video signal obtained by imaging, and a lens is moved so as to improve the detection result to focus. I try to match.
【0004】この焦点を自動的に合わせるオートフォー
カスの一例として、例えば注目した画面の高域パワーP
Hと低域パワーPLの比が最大になるような原理を用いる
方法がある。
[0004] As an example of the auto focus for automatically adjusting the focus, for example, the high frequency power P
The ratio of H and a low power P L is a method using a principle such that the maximum.
【0005】図11に縦軸を比PH/PL、横軸にx(レ
ンズの位置)として、合焦及び非合焦の状態を示す。ま
た、被写体が動いたり、カメラを動かしたりすることに
より合焦状態から非合焦状態になった場合の状態を図1
2に示す。この図12は縦軸を上述の図11と同様に比
H/PL、横軸をt(時間)として示したグラフであ
る。
[0005] Figure 11 the ratio and the vertical axis P H / P L, as x (lens position) on the horizontal axis, indicating the state of focus and out-of-focus. FIG. 1 shows a state in which a subject is moved from a focused state to an out-of-focus state by moving a camera.
It is shown in FIG. FIG 12 is a graph showing the ratio of the vertical axis similarly to FIG. 11 described above P H / P L, the horizontal axis t (time).
【0006】この図12において、t1は合焦状態から
非合焦状態に移りはじめた場合、t2は合焦からずれた
ときに、レンズを動かしたが、合焦状態になる方向と逆
の方向に動かした場合、t3はこのt2の場合と逆の方
向に動かした場合を示している。
In FIG. 12, at t1, when the lens starts to shift from the in-focus state to the out-of-focus state, at t2, the lens is moved when the lens deviates from the in-focus state. , T3 indicates the case where the movement is performed in the opposite direction to the case of t2.
【0007】このとき、例えばレンズを動かす方向(前
後)は、このような信号からだけでは即座に決定できな
い。これは、図11より明かなように、合焦状態の或位
置を中心に左右対象のグラフとなるからである。即ち、
合焦位置からずれている場合、そのずれている方向が前
方でも後方でも比PH/PLが同じになるからである。
At this time, for example, the direction in which the lens is moved (front and rear) cannot be immediately determined only from such a signal. This is because, as is clear from FIG. 11, the graph is symmetrical about a certain position in the focused state. That is,
This is because the ratio P H / P L becomes the same regardless of the direction in which the position deviates from the in-focus position, both in the forward direction and in the backward direction.
【0008】この場合は、既に上述したが、一度レンズ
を或方向に動かし、比PH/PLが大きくなれば、その方
向のまま合焦状態になるようにレンズを更に動かす。ま
た、比PH/PLが小さくなれば、上述の方向と逆の方向
に合焦状態になるようにレンズを動かすようにしてい
る。
In this case, as described above, the lens is once moved in a certain direction, and when the ratio P H / P L is increased, the lens is further moved so as to be in focus in that direction. When the ratio P H / P L decreases, the lens is moved so as to be in focus in a direction opposite to the above-described direction.
【0009】また、近年、赤外光を被写体に照射し、こ
の被写体よりの反射光を受光してカメラ及び被写体間の
距離を測定し、この測定した距離に基いてレンズを動か
すことにより、被写体に焦点を合わせる方式を採用した
カメラやビデオカメラが一般に広く使用されている。
In recent years, a subject is irradiated with infrared light, reflected light from the subject is received, a distance between the camera and the subject is measured, and a lens is moved based on the measured distance. Cameras and video cameras adopting a method of focusing on a camera are widely used in general.
【0010】[0010]
【発明が解決しようとする課題】ところで、上述したよ
うに、合焦からずれた場合には、カメラ及び被写体間の
相対距離が大きくなったても小さくなっても、図11に
示す比PH/PLが同じように下がるので、撮像して得た
映像信号より高域成分やコントラストを検出し、この検
出結果が良くなるようにレンズを動かして焦点を合わせ
るようにしていた。従って、このようなカメラ制御装置
は、オートフォーカス動作の追従性が不自然、且つ、悪
い。従って、このようなカメラ制御装置を搭載した例え
ばビデオカメラ等は、使用者に使用感の悪さを感じさせ
るといった不都合があった。
Meanwhile [0007] As described above, when shifted from the focusing can be reduced even if the relative distance between the camera and the subject becomes larger, the ratio P H shown in FIG. 11 since / P L drops in the same way, to detect the high-frequency component and the contrast from the video signal obtained by imaging, it has been to focus by moving the lens so the detection result is improved. Therefore, such a camera control device has an unnatural and poor followability of the autofocus operation. Therefore, for example, a video camera or the like equipped with such a camera control device has a disadvantage that the user feels poor in usability.
【0011】また、上述のように、赤外光を被写体に照
射し、この反射光を受光して被写体とカメラとの距離を
得、これによりレンズを移動させてフォーカスを行うよ
うにした場合は、カメラ制御装置に専用のセンサ等を新
たに搭載し、構成を複雑にする不都合があった。
As described above, when the subject is irradiated with infrared light, the reflected light is received to obtain the distance between the subject and the camera, and the lens is moved to perform focusing. However, there has been a problem that a dedicated sensor or the like is newly mounted on the camera control device, and the configuration becomes complicated.
【0012】本発明はかかる点に鑑みてなされたもの
で、専用のセンサ等を新たに搭載することなく、簡単な
構成でオートフォーカス動作の追従性を自然、且つ、良
好にし、例えばビデオカメラ等に適用した場合には、使
用者に対する使用感を良好にすることのできるカメラ制
御装置を提案しようとするものである。
SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and makes it possible to naturally and favorably follow an autofocus operation with a simple configuration without newly mounting a dedicated sensor or the like. When the present invention is applied to a camera control device, it is intended to propose a camera control device capable of improving a feeling of use for a user.
【0013】[0013]
【課題を解決するための手段】本発明カメラ制御装置は
例えば図1〜図5に示す如く、被写体を撮像する撮像手
段1よりの映像信号のコントラストが小のときに、少な
くとも2画面分の映像信号から動きベクトルを閉路積分
する処理手段3、4、5と、この処理手段3、4、5よ
りの処理結果に基いて被写体の遠近データを求め、この
遠近データに基いて、撮像手段1のレンズの移動方向及
び量を決定して、撮像手段1の被写体に対するフォーカ
スを制御する制御手段6とを有するものである。
As shown in FIGS. 1 to 5, for example, as shown in FIGS. 1 to 5, when the contrast of a video signal from an image pickup means 1 for picking up a subject is small, at least two screens of an image are controlled. Processing means 3, 4, and 5 for performing a closed-loop integration of a motion vector from a signal; obtaining perspective data of a subject based on the processing results from the processing means 3, 4, and 5; A control unit 6 that determines the direction and amount of movement of the lens and controls the focus of the imaging unit 1 on the subject.
【0014】[0014]
【作用】上述せる本発明によれば、映像信号のコントラ
ストが小のときに、少なくとも2画面分の映像信号から
動きベクトルを閉路積分し、この処理結果に基いて得た
被写体の遠近データに基いて、撮像手段1のレンズの移
動方向及び量を決定して、撮像手段1の被写体に対する
フォーカスを制御するようにしたので、専用のセンサ等
を新たに搭載することなく、簡単な構成でオートフォー
カス動作の追従性を自然、且つ、良好にし、例えばビデ
オカメラ等に適用した場合には、使用者に対する使用感
を良好にすることができる。
According to the present invention described above, when the contrast of a video signal is low, motion vectors are closed-circuit integrated from video signals of at least two screens, and based on the perspective data of the object obtained based on this processing result. In addition, since the moving direction and the amount of the lens of the image pickup means 1 are determined and the focus of the image pickup means 1 on the subject is controlled, the auto focus can be performed with a simple configuration without newly mounting a dedicated sensor or the like. When the present invention is applied to a video camera or the like, the followability of the operation is made natural and good.
【0015】[0015]
【実施例】以下に、図1を参照して本発明カメラ制御装
置の一実施例について詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the camera control apparatus according to the present invention will be described below in detail with reference to FIG.
【0016】この図1において、1は例えばCCD素子
を用いたビデオカメラで、このビデオカメラ1の光学系
により被写体よりの光を光電変換し、これによって得た
例えばNTSC方式のカラー映像信号をメモリ3、メモ
リ4、モニタ7及び記録部8に夫々供給する。
In FIG. 1, reference numeral 1 denotes a video camera using, for example, a CCD element, which photoelectrically converts light from a subject by an optical system of the video camera 1, and stores, for example, a color video signal of, eg, an NTSC system obtained in a memory. 3, the memory 4, the monitor 7, and the recording unit 8, respectively.
【0017】このメモリ3及びメモリ4には、例えば夫
々画像データ(例えば1フレーム)全体または一部を記
憶するようにする。本例においては、例えばメモリ3に
I(t)の画像データ、メモリ4にI(t−1)の画像
データを記憶するようにする。また、メモリ3及び4以
外に沢山のメモリを用い、I(t−n)までの画像デー
タを記憶するようにしても良い。
The memory 3 and the memory 4 store, for example, the whole or a part of the image data (for example, one frame). In this example, for example, the memory 3 stores the image data of I (t), and the memory 4 stores the image data of I (t−1). In addition, many memories other than the memories 3 and 4 may be used to store image data up to I (t−n).
【0018】処理部5は、メモリ3及び4よりの画像デ
ータI(t)及びI(t−1)から、一部の画素点また
はブロックとされた画素の集合体の動きを検出し、検出
信号M(t)を発生し、このM(t)を判断部6に供給
する。これと共に、この処理部5は、例えば画像データ
の高域及び低域成分の比を計算すること等により、合焦
の判定を行うのに必要な信号P(t)を発生し、この信
号P(t)を判断部6に供給する。
The processing unit 5 detects the movement of a set of a group of pixels, which are part of pixel points or blocks, from the image data I (t) and I (t-1) from the memories 3 and 4. A signal M (t) is generated, and the signal M (t) is supplied to the determination unit 6. At the same time, the processing unit 5 generates a signal P (t) necessary for determining the focus by calculating, for example, the ratio of the high-frequency component and the low-frequency component of the image data. (T) is supplied to the determination unit 6.
【0019】判断部6は、処理部5よりの信号M(t)
及びP(t)により、合焦に必要なビデオカメラ1に対
する制御信号を発生し、この発生した制御信号をビデオ
カメラ1に供給する。
The judging section 6 outputs a signal M (t) from the processing section 5.
And P (t), a control signal for the video camera 1 necessary for focusing is generated, and the generated control signal is supplied to the video camera 1.
【0020】ビデオカメラ1は、判断部6よりの制御信
号に基いて、例えばレンズを駆動し、合焦状態にする。
The video camera 1 drives, for example, a lens based on the control signal from the determination unit 6 to bring the lens into a focused state.
【0021】また、本例においては、この図1に2の一
点鎖線で示すように、メモリ3及び4、処理部5並びに
判断部6をいわゆる1チップ化、即ち、集積回路にす
る。また、処理部5及び判断部6をマイクロコンピュー
タとして構成しても良い。
In this embodiment, as shown by two-dot chain lines in FIG. 1, the memories 3 and 4, the processing unit 5, and the judgment unit 6 are formed into a so-called one-chip, that is, an integrated circuit. Further, the processing unit 5 and the determination unit 6 may be configured as a microcomputer.
【0022】さて、上述の検出信号M(t)を得る、即
ち、画像データI(t−1)と画像データI(t)の対
応する点の動きベクトルを得るには、オプティカルフロ
ーと称される方法を用いる。以下に、このオプティカル
フローについて説明する。
To obtain the above-described detection signal M (t), that is, to obtain a motion vector at a corresponding point between the image data I (t-1) and the image data I (t) is called an optical flow. The method used is Hereinafter, this optical flow will be described.
【0023】オプティカルフローは時間方向に不変な輝
度を有する画素を対応させる軌跡、即ち、I(x、y、
t)を輝度とすると、次に示す数1を満足するような軌
跡(x、y)で、2次元のベクトルに対応する。
The optical flow is a trajectory corresponding to pixels having invariant luminance in the time direction, that is, I (x, y,
Assuming that t) is luminance, a locus (x, y) that satisfies the following equation 1 corresponds to a two-dimensional vector.
【数1】 通常、u≡∂x/∂t、v≡∂y/∂tが(x、y)空
間でなめらかに変化すると仮定し、次に示す数2を最少
とするu、vを求める。
(Equation 1) Normally, it is assumed that u≡∂x / ∂t and v≡∂y / ∂t change smoothly in the (x, y) space, and u and v that minimize the following Expression 2 are obtained.
【数2】 但し、Ix=∂I/∂x、Iy=∂I/∂y、It=∂I
/∂t、ux=∂u/∂x、uy=∂u/∂y、vx=∂
v/∂x、vy=∂v/∂yとする。また、不連続な境
界においても正しく計算できるように、いわゆるライン
プロセスを導入する場合もある。さて、求められた各
(x、y)におけるフロー(u、v)に対してターゲッ
ト9の動きを求める方法として、例えば指定領域内での
平均化やラインプロセスで囲まれた領域を平均化する方
法等がある。
(Equation 2) However, I x = ∂I / ∂x, I y = ∂I / ∂y, I t = ∂I
/ ∂t, u x = ∂u / ∂x, u y = ∂u / ∂y, v x = ∂
Let v / ∂x, v y = ∂v / ∂y. In addition, a so-called line process may be introduced so that calculation can be performed correctly even at discontinuous boundaries. Now, as a method of calculating the movement of the target 9 for the obtained flow (u, v) in each of (x, y), for example, averaging in a specified area or averaging an area surrounded by a line process There are methods.
【0024】上述の数2を最少化させるには、次に示す
数3及び数4で示す式、即ちu,vに対する2つの線形
方程式を得る。
In order to minimize the above-mentioned equation (2), the following equations (3) and (4), ie, two linear equations for u and v are obtained.
【数3】 (Equation 3)
【数4】 そしてこのようにして得られた{u(x、y)、v
(x、y)}に対して次の数5で示す式により指定領域
の動きベクトルを代表させる(平均化による一例)。
(Equation 4) Then, the thus obtained {u (x, y), v
For (x, y)}, the motion vector of the designated area is represented by the following equation (5) (an example by averaging).
【数5】 さて図2A及びBに示すように、画像データI(t−
1)及び画像データI(t)を考える。このとき、I
(t−1)内にある各画素またはブロックとされた画素
の集合体の位置は、I(t)における或位置へ移動す
る。この対応点を結んだベクトルが図2Cに示す動きベ
クトルである。
(Equation 5) Now, as shown in FIGS. 2A and 2B, the image data I (t−
1) and image data I (t) are considered. At this time, I
The position of each pixel or a set of pixels in a block within (t-1) moves to a certain position in I (t). The vector connecting the corresponding points is the motion vector shown in FIG. 2C.
【0025】図2Cに示すように、動きベクトル
(x、y)が得られたとし、更に図4に示すように、動
きベクトルが連続である領域内において、或閉じた線を
仮定する。閉じた線は任意で良いが、領域内で大きく取
るものとする。図に示すように、この閉じた曲線に沿っ
てこの曲線の法線単位ベクトル(x、y)(進行方向
右側への法線とする)と、動きベクトル(x、y)の
内積を取り、一周積分することを考える。これを次の数
6として表すことができる。
As shown in FIG. 2C, the motion vectorm
(X, y) is obtained, and as shown in FIG.
In a region where the vector is continuous, a closed line is
Assume. The closed line may be arbitrary, but it should be large within the area.
Shall be. Along this closed curve as shown
Lever curve normal unit vectorn(X, y) (traveling direction
The normal to the right) and the motion vectorm(X, y)
Consider taking the inner product and integrating around once. This is the next number
6 can be represented.
【数6】 ここでもし、被写体がカメラから遠ざかる方向に動いて
いれば(カメラが被写体から遠ざかる方向に動いていれ
ば)図2に示す(x、y)のように、全て領域内の内
側を向くため、数6のMは正の値になる。
(Equation 6) Here, if the subject is moving in the direction away from the camera (if the camera is moving in the direction away from the subject), as shown in m (x, y) shown in FIG. , M in Equation 6 is a positive value.
【0026】また、逆に被写体がカメラ近づく方向に動
いていれば(カメラが被写体近づく方向に動いていれ
ば)図2に示す(x、y)とは逆に、全て領域内の外
側を向くため、数6のMは負の値になる。
On the other hand, if the subject is moving in the direction approaching the camera (if the camera is moving in the direction approaching the subject), the outside of the entire area is opposite to m (x, y) shown in FIG. Therefore, M in Expression 6 becomes a negative value.
【0027】従って、図1に示した判断部6がこのM
(t)の信号により被写体及びカメラ間の距離が近くな
ったか、または遠くなったかが判断できる。
Therefore, the judgment unit 6 shown in FIG.
From the signal (t), it can be determined whether the distance between the subject and the camera is short or long.
【0028】さて、この処理部5における信号M(t)
を求める方法について図7〜図10を夫々参照して更に
詳しく説明する。M(t)を求めるための基本となる式
は次に示す数7で表すことができる。
Now, the signal M (t) in the processing unit 5
Will be described in more detail with reference to FIGS. A basic expression for obtaining M (t) can be expressed by the following equation (7).
【数7】 そしてこの数7及びガウスの定理から次に示す数8を導
き出すことができる。
(Equation 7) The following equation 8 can be derived from the equation 7 and Gauss's theorem.
【数8】 ここで、M(t)を上述の数7で求める場合について説
明する。先ず、図7に示すように、閉路Cを想定し、こ
れを図8に示すように、この閉路C上の黒点のベクトル
(x、y)とする。
(Equation 8) Here, a case where M (t) is obtained by the above equation 7 will be described. First, as shown in FIG. 7, a closed circuit C is assumed, and as shown in FIG. 8, a vector of a black point on the closed circuit C is set to m (x, y).
【0029】また、この図8に示す閉路Cの法線ベクト
(x、y)は、閉ループの外側、即ち、反時計回り
の線積分に対して進行方向の右側にとるものとする。
The normal vector n (x, y) of the closed circuit C shown in FIG. 8 is taken outside the closed loop, that is, on the right side in the traveling direction with respect to the counterclockwise line integration.
【0030】一般的には、(x、y)・(x、y)
=nxmx+nymyを計算する。但し、(x、y)=
(nx、ny)、(x、y)=(mx、my)となる。し
かしながら、この例ではn(x、y)は(1、0)、
(0、1)、(−1、0)または(0、−1)の何れか
であるので、(x、y)・(x、y)はmx、my、
−mxまたは−myの何れかとなり、積分は加算となるの
で、次に示す数9で表すことができる。
Generally, n (x, y) · m (x, y)
= Nxmx + nymy. Where n (x, y) =
(Nx, ny), m (x, y) = (mx, my). However, in this example, n (x, y) is (1,0),
Since (0, 1), (-1, 0) or (0, -1), n (x, y) · m (x, y) is mx, my,
Since it becomes either -mx or -my, and the integration is an addition, it can be expressed by the following Expression 9.
【数9】 但し、図8中の番号k=1、2、3、・・・14に対応
する点のベクトルをiで表し、i=(mxk、myk)と
している。
(Equation 9) However, it represents number k = 1, 2, 3 in FIG. 8, the vector of the point corresponding to ... 14 m i, is m i = (mxk, myk) with.
【0031】次に数8によってM(t)を求める場合に
ついて説明する。数8において、は次に示す数1
0となる。
Next, the case where M (t) is obtained from Expression 8 will be described. In Equation 8, · m is the following Equation 1
It becomes 0.
【数10】 この数10を差分形に直すと数11が得られる。(Equation 10) Equation 11 is obtained by transforming Equation 10 into a difference form.
【数11】 ここで積分を加算に直すと、次に示す数12が得られ
る。
[Equation 11] Here, if the integration is converted to addition, the following equation 12 is obtained.
【数12】 ところがこの場合数1で示すようになる。(Equation 12) However it becomes as shown in this case number 1 3.
【数13】 従って、数12は結果的には数9と同様になる。(Equation 13) Therefore, Equation 12 is eventually the same as Equation 9.
【0032】次に、数7の変形例について説明する。こ
の変形例は数7によりM(t)を求める場合において
も、部分的な局所計算アルゴリズムに落とせることを示
す。
Next, a modified example of Expression 7 will be described. This modified example shows that even when M (t) is obtained by Expression 7, it can be reduced to a partial local calculation algorithm.
【0033】図9に示すように、大きな閉ループCを想
定し、上述の数7を計算すること上述と同様である。し
かし、これをこの図9に示すように、小さな閉ループC
1、C2、C3、・・・Cn等の加算で同様の結果が得られ
ることが知られている。これは数14で示すことができ
る。
As shown in FIG. 9, assuming a large closed loop C, calculating the above equation 7 is the same as described above. However, as shown in FIG.
It is known that similar results can be obtained by addition of 1, C2, C3,... Cn. This can be shown by Equation 14.
【数14】 図10に上述の図9の離散形を示す。この場合、次に示
す数15の如く積分を定義すれば良い。
[Equation 14] FIG. 10 shows the discrete form of FIG. 9 described above. In this case, the integral may be defined as in the following Expression 15.
【数15】 この選び方は、隣合うループの値を加算したときに、共
通する点がキャンセルし合う選び方である。従って、次
に示す数16を計算すれば良い。
(Equation 15) This selection method is a selection method in which common points are canceled when values of adjacent loops are added. Therefore, the following equation 16 may be calculated.
【数16】 これらの方法は並列型の処理装置を想定したときに効果
を出す方法である。
(Equation 16) These methods are effective when a parallel processing device is assumed.
【0034】次に、信号P(t)を得る方法について図
3を参照して説明する。この図3は図1に示した処理部
5の、信号P(t)を得るための回路を示したものであ
る。
Next, a method for obtaining the signal P (t) will be described with reference to FIG. FIG. 3 shows a circuit of the processing unit 5 shown in FIG. 1 for obtaining the signal P (t).
【0035】この図3において、9は入力端子で、この
入力端子9を介して、この図3に示す如き画像データI
(t)がハイパスフィルタ10及びパワー検出回路11
に夫々供給される。
In FIG. 3, reference numeral 9 denotes an input terminal through which the image data I shown in FIG.
(T) is a high-pass filter 10 and a power detection circuit 11
Respectively.
【0036】ハイパスフィルタ10において画像データ
I(t)の高域成分が抽出され、この抽出された高域成
分がパワー検出回路12に供給される。
The high-pass component of the image data I (t) is extracted by the high-pass filter 10, and the extracted high-frequency component is supplied to the power detection circuit 12.
【0037】パワー検出回路11は入力端子9よりの画
像データI(t)を2乗し、積分(空間積分)し、この
処理の結果を割り算回路13に供給する。
The power detection circuit 11 squares the image data I (t) from the input terminal 9, performs integration (spatial integration), and supplies the result of this processing to the division circuit 13.
【0038】パワー検出回路12はハイパスフィルタ1
0よりの、画像データI(t)の高域成分を2乗し、積
分(空間積分)し、この処理の結果を割り算回路13に
供給する。
The power detection circuit 12 is a high-pass filter 1
The high-frequency component of the image data I (t) from 0 is squared, integrated (spatial integrated), and the result of this processing is supplied to the division circuit 13.
【0039】割り算回路13は、パワー検出回路11よ
りの信号P及びパワー検出回路12よりの信号PHに基
いて、PH/(P−PH)の演算を行い、P(t)を求
め、この信号P(t)を出力端子14を介して図1に示
した判断部6に供給する。
The division circuit 13 calculates P H / (P−P H ) based on the signal P from the power detection circuit 11 and the signal P H from the power detection circuit 12 to obtain P (t). The signal P (t) is supplied to the determination unit 6 shown in FIG.
【0040】また、このP(t)を、例えば画像データ
I(t)をフーリエ変換し、低域成分のパワーPLと、
高域成分PHの比PH/PLにより求めても同様である。
This P (t) is subjected to a Fourier transform of, for example, image data I (t), and the power P L of the low-frequency component is obtained as follows:
Seeking by the ratio P H / P L of the high frequency component P H is the same.
【0041】次に、図1に示した判断部6の機能につい
て説明する。この判断部6は、上述した信号P(t)及
びM(t)に基いてビデオカメラ1がオートフォーカス
を行うための制御信号を発生する。
Next, the function of the judgment unit 6 shown in FIG. 1 will be described. The determination unit 6 generates a control signal for the video camera 1 to perform autofocus based on the signals P (t) and M (t) described above.
【0042】先ず、ΔP(t)=P(t)−P(t−
1)として、P(t−1)、P(t)及びM(t)の組
合せを考える。この場合、組合せ1として、ΔP(t)
<0、M(t)<0、組合せ2として、ΔP(t)<
0、M(t)≧0、組合せ3として、ΔP(t)>0、
M(t)<0、組合せ4として、ΔP(t)>0、M
(t)≧0の4つの組合せが考えられる(ΔP(t)=
0のときは合焦しているものとする)。
First, ΔP (t) = P (t) −P (t−
As 1), a combination of P (t-1), P (t) and M (t) is considered. In this case, as combination 1, ΔP (t)
<0, M (t) <0, ΔP (t) <
0, M (t) ≧ 0, as combination 3, ΔP (t)> 0,
M (t) <0, as combination 4 ΔP (t)> 0, M
Four combinations of (t) ≧ 0 are considered (ΔP (t) =
When it is 0, it is assumed that the lens is in focus).
【0043】上述したように、M(t)<0ならば被写
体及びカメラ1間の距離が近づき、M(t)>0ならば
被写体及びカメラ1間の距離が遠くなっていると判断で
きるので、これら組合せ1〜組合せ4の場合について最
適な制御信号を発生することができる。
As described above, if M (t) <0, the distance between the subject and the camera 1 can be determined to be short, and if M (t)> 0, the distance between the subject and the camera 1 can be determined to be long. Thus, an optimum control signal can be generated for the combinations 1 to 4.
【0044】図5にビデオカメラ1と被写体を示し、こ
の図5を参照して判断部6によるオートフォーカスにつ
いて説明する。
FIG. 5 shows the video camera 1 and a subject. Auto-focusing by the judgment unit 6 will be described with reference to FIG.
【0045】この図5においては例えばビデオカメラ1
の光検出部1a(CCD素子)を上述の制御信号によっ
て動かし、オートフォーカスを行う場合について示し、
この図5Aは合焦している状態、図5Bは被写体及びビ
デオカメラ1の光検出部1a間の距離が近づいた状態、
図5Cは被写体及びビデオカメラ1の光検出部1a間の
距離が遠くなった状態を夫々示す。
In FIG. 5, for example, the video camera 1
The case where the light detection unit 1a (CCD element) is moved by the above-described control signal to perform auto-focusing is shown.
FIG. 5A shows a state in which the subject is in focus, FIG. 5B shows a state in which the distance between the subject and the light detection unit 1a of the video camera 1 is short,
FIG. 5C shows a state in which the distance between the subject and the light detection unit 1a of the video camera 1 is long.
【0046】上述の組合せ1の場合はこの図5Bに対応
し、この場合はこの図5Bに示すように、制御信号によ
り光検出部1aをプラス方向(後方)に移動させ、破線
で示す1a’の位置にして合焦させる。
The case of combination 1 described above corresponds to FIG. 5B. In this case, as shown in FIG. 5B, the light detection unit 1a is moved in the plus direction (rearward) by the control signal, and 1a 'indicated by a broken line. And focus.
【0047】組合せ2の場合はこの図5Cに対応し、こ
の場合はこの図5Cに示すように、制御信号により光検
出部1aをマイナス方向(前方)に移動させ、破線で示
す1a’’の位置にして合焦させる。
The case of the combination 2 corresponds to FIG. 5C. In this case, as shown in FIG. 5C, the control signal moves the light detecting section 1a in the minus direction (forward), and Position and focus.
【0048】また組合せ3及び4は夫々合焦しているも
のと判断するようにし、制御信号によって光検出部1a
を移動させないようにしても良いが、例えば組合せ3の
場合は被写体及びビデオカメラ1の光検出部1a間の距
離が近づいているために合焦しつつあると判断し、更
に、図5Bに示すように、制御信号により、プラスの方
向に光検出部1aを高速に移動させて合焦するようにし
ても良い。また、組合せ4の場合は被写体及びビデオカ
メラ1の光検出部1a間の距離が遠ざかっているために
合焦しつつあると判断し、更に、図5Cに示すように、
制御信号により、マイナスの方向に光検出部1aを高速
に移動させて合焦するようにしても良い。
It is determined that each of the combinations 3 and 4 is in focus, and the light detection unit 1a is controlled by a control signal.
May not be moved. For example, in the case of the combination 3, it is determined that focusing is in progress because the distance between the subject and the light detection unit 1a of the video camera 1 is short, and furthermore, as shown in FIG. 5B As described above, the light detection unit 1a may be moved at a high speed in the plus direction by the control signal so as to focus. In the case of the combination 4, it is determined that the subject is in focus because the distance between the subject and the light detection unit 1a of the video camera 1 is long, and further, as shown in FIG. 5C,
In response to the control signal, the light detection unit 1a may be moved at a high speed in the minus direction to focus.
【0049】次に、図6のフローチャートを参照して、
上述した処理部5及び判断部6による、オートフォーカ
スのための処理動作について説明する。
Next, referring to the flowchart of FIG.
A processing operation for autofocus by the processing unit 5 and the determination unit 6 will be described.
【0050】先ず、ステップ100では、画像データI
(t)を入力する。即ち、図1に示したメモリ3より画
像データI(t)が読みだされ、この画像データI
(t)が処理部5に供給される。そしてステップ110
に移行する。
First, in step 100, the image data I
Enter (t). That is, the image data I (t) is read from the memory 3 shown in FIG.
(T) is supplied to the processing unit 5. And step 110
Move to
【0051】ステップ110では、上述したオプティカ
ルフローにより動きベクトルm(i、t)を計算すると
共に、コントラスト情報としてのP(t)を計算する。
そしてステップ120に移行する。
In step 110, the motion vector m (i, t) is calculated by the above-described optical flow, and P (t) as contrast information is calculated.
Then, control goes to a step 120.
【0052】ステップ120では、積分路または面積分
領域を決定する。そしてステップ130に移行する。そ
してステップ130に移行する。
In step 120, the integration path or the area corresponding to the area is determined. Then, control goes to a step 130. Then, control goes to a step 130.
【0053】ステップ130では、上述した大きさM
(t)を計算する。そしてステップ140に移行する。
In step 130, the size M
Calculate (t). Then, control goes to a step 140.
【0054】ステップ140では、上述したコントラス
トΔP(t)を、ΔP(t)=P(t)−P(t−1)
として、ΔP(t)<0のときにはステップ160に移
行し、ΔP(t)≧0のときにはステップ150に移行
する。
In step 140, the above-mentioned contrast ΔP (t) is calculated by ΔP (t) = P (t) -P (t-1)
When ΔP (t) <0, the routine proceeds to step 160, and when ΔP (t) ≧ 0, the routine proceeds to step 150.
【0055】ステップ150では、コントロール量を
“0”にする。これはΔP(t)が“0”のときには合
焦状態で、ΔP(t)が“0”を越えたときには照明の
関係でコントラストが良くなった場合だからである。即
ち、合焦した状態でP(t)が大きくなるということ
は、照明等で良くなったということである。そしてステ
ップ160に移行する。
In step 150, the control amount is set to "0". This is because when .DELTA.P (t) is "0", the object is in focus, and when .DELTA.P (t) exceeds "0", the contrast is improved due to illumination. That is, an increase in P (t) in a focused state means that illumination or the like has improved. Then, control goes to a step 160.
【0056】ステップ160では、コントロール量M
(t)ΔP(t)を計算する。そしてステップ170に
移行する。
In step 160, the control amount M
(T) Calculate ΔP (t). Then, control goes to a step 170.
【0057】ステップ170では、コントロール量デー
タをビデオカメラ1に供給する。そしてステップ180
に移行する。
In step 170, the control amount data is supplied to the video camera 1. And step 180
Move to
【0058】ステップ180では、tに“1”を加算す
る。そしてステップ190に移行する。
At step 180, "1" is added to t. Then, control goes to a step 190.
【0059】ステップ190では、終了か否か判断し、
「YES」であれば終了し、「NO」であれば再びステ
ップ100に移行する。この終了か否かの判断は、例え
ばビデオカメラ1の何等かのスイッチの押圧や、例えば
自動から手動への切り替え等によるものでも良い。
In step 190, it is determined whether or not the processing is to be terminated.
If “YES”, the process ends. If “NO”, the process returns to step 100. The determination as to whether or not to end may be based on, for example, pressing any switch of the video camera 1 or, for example, switching from automatic to manual.
【0060】このように、本例においては、少なくとも
2画面分の映像データより動きベクトルにより大きさM
(t)を求めると共に2画面のコントラストの差P
(t)を求め、更にこのΔP(t)が“0”より小さい
ときのみ、M(t)及びΔP(t)に基いてコントロー
ル量を決定し、このコントロール量を以てビデオカメラ
1のフォーカスを制御するようにしたので、専用のセン
サ等を新たに搭載することなく、簡単な構成でオートフ
ォーカス動作の追従性を自然、且つ、良好にし、例えば
ビデオカメラ等に適用した場合には、使用者に対する使
用感を良好にすることができる。
As described above, in the present example, the size of the image data of at least two
(T) and the contrast difference P between the two screens
(T) is determined, and only when ΔP (t) is smaller than “0”, the control amount is determined based on M (t) and ΔP (t), and the focus of the video camera 1 is controlled based on the control amount. Therefore, the auto-focusing operation can be naturally and well followed by a simple configuration without newly installing a dedicated sensor or the like. The feeling of use can be improved.
【0061】尚、上述の例においては、処理部5におい
て画像データI(t)及びI(t−1)から動きベクト
(x、y)を求めたが、更にこの(x、y)を
(x、y、t)とtにおける値として、次のt+1時刻
における(x、y)=(x、y、t+1)の推定に
用いたり、フィルタリングに用いることは容易である。
[0061] In the example described above, the processing unit 5 an image data I (t) and I (t-1) from the motion vector m (x, y) has been determined and further the m (x, y) M
The values at (x, y, t) and t can be easily used for estimating m (x, y) = m (x, y, t + 1) at the next time t + 1, or for filtering.
【0062】また、動きベクトル(x、y)を求める
方法には、Area−Basedのオプティカルフロー
だけではなく、例えばエッジに注目したオプティカルフ
ローや、ブロック化して対応点を相関法でサーチする方
法等がある。
The method of obtaining the motion vector m (x, y) is not limited to the Area-Based optical flow, but may be, for example, an optical flow that focuses on edges, or a method of searching for corresponding points by blocking using a correlation method. Etc.
【0063】また、上述の数6の線積分路の選び方を境
界(輪郭)にしたりする方法は効果的である。
The method of selecting the line integration path of the above equation (6) as a boundary (contour) is effective.
【0064】また、判断部6においては、上述したよう
に、プラス及びマイナスだけの判断としたが、例えば連
続値と考えて、制御信号自体もプラス及びマイナスだけ
でなく、連続値にするようにしても良い。
Further, as described above, the judgment unit 6 judges only plus and minus. However, assuming that the control signal itself is a continuous value, for example, it is considered that the control signal itself is not only plus and minus. May be.
【0065】また、本発明は上述の実施例に限ることな
く本発明の要旨を逸脱することなく、その他種々の構成
が取り得ることは勿論である。
Further, the present invention is not limited to the above-described embodiment, and may take various other configurations without departing from the gist of the present invention.
【0066】[0066]
【発明の効果】上述せる本発明によれば、映像信号のコ
ントラストが小のときに、少なくとも2画面分の映像信
号から動きベクトルを閉路積分し、この処理結果に基い
て得た被写体の遠近データに基いて、撮像手段のレンズ
の移動方向及び量を決定して、撮像手段の被写体に対す
るフォーカスを制御するようにしたので、専用のセンサ
等を新たに搭載することなく、簡単な構成でオートフォ
ーカス動作の追従性を自然、且つ、良好にし、例えばビ
デオカメラ等に適用した場合には、使用者に対する使用
感を良好にすることができる利益がある。
According to the present invention described above, when the contrast of the video signal is low, the motion vector is closed-circuit integrated from the video signal of at least two screens, and the perspective data of the subject obtained based on the processing result is obtained. Based on the above, the moving direction and amount of the lens of the image pickup means are determined and the focus of the image pickup means on the subject is controlled, so that the auto focus can be performed with a simple configuration without newly installing a dedicated sensor or the like. When applied to a video camera or the like, for example, there is an advantage that the usability for the user can be improved when the follow-up of the operation is made natural and good.
【図面の簡単な説明】[Brief description of the drawings]
【図1】本発明カメラ制御装置の一実施例を示す構成図
である。
FIG. 1 is a configuration diagram showing an embodiment of a camera control device of the present invention.
【図2】本発明カメラ制御装置の一実施例の説明に供す
る処理部の機能を示す説明図である。
FIG. 2 is an explanatory diagram showing functions of a processing unit for explaining an embodiment of the camera control device of the present invention.
【図3】本発明カメラ制御装置の一実施例の説明に供す
る処理部の機能を示す説明図である。
FIG. 3 is an explanatory diagram showing functions of a processing unit for explaining an embodiment of the camera control device of the present invention.
【図4】本発明カメラ制御装置の一実施例の説明に供す
る線図である。
FIG. 4 is a diagram for describing an embodiment of a camera control device according to the present invention;
【図5】本発明カメラ制御装置の一実施例の説明に供す
る判断部の機能を示す説明図である。
FIG. 5 is an explanatory diagram showing functions of a determination unit for explaining an embodiment of the camera control device of the present invention.
【図6】本発明カメラ制御装置の一実施例の説明に供す
るフローチャートである。
FIG. 6 is a flowchart for explaining one embodiment of the camera control device of the present invention.
【図7】本発明カメラ制御装置の一実施例の説明に供す
るカメラ制御についての説明図である。
FIG. 7 is an explanatory diagram of camera control for explaining an embodiment of the camera control device of the present invention.
【図8】本発明カメラ制御装置の一実施例の説明に供す
るカメラ制御についての説明図である。
FIG. 8 is an explanatory diagram of camera control for explaining an embodiment of the camera control device of the present invention.
【図9】本発明カメラ制御装置の一実施例の説明に供す
るカメラ制御についての説明図である。
FIG. 9 is an explanatory diagram of camera control for explaining an embodiment of the camera control device of the present invention.
【図10】本発明カメラ制御装置の一実施例の説明に供
するカメラ制御についての説明図である。
FIG. 10 is an explanatory diagram of camera control for explaining an embodiment of the camera control device of the present invention.
【図11】従来のオートフォーカスについての説明に供
するグラフである。
FIG. 11 is a graph for explaining a conventional auto focus.
【図12】従来のオートフォーカスについての説明に供
するグラフである。
FIG. 12 is a graph for explaining a conventional auto focus.
【符号の説明】[Explanation of symbols]
1 ビデオカメラ 3 メモリ 4 メモリ 5 処理部 6 判断部 7 モニタ 8 記録部 DESCRIPTION OF SYMBOLS 1 Video camera 3 Memory 4 Memory 5 Processing part 6 Judgment part 7 Monitor 8 Recording part
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/232 G02B 7/28 ──────────────────────────────────────────────────続 き Continued on front page (58) Field surveyed (Int.Cl. 7 , DB name) H04N 5/232 G02B 7/28

Claims (1)

    (57)【特許請求の範囲】(57) [Claims]
  1. 【請求項1】 被写体を撮像する撮像手段よりの映像信
    号のコントラストが小のときに、少なくとも2画面分の
    映像信号から動きベクトルを閉路積分する処理手段と、
    該処理手段よりの処理結果に基いて、上記被写体の遠近
    データを求め、該遠近データに基いて上記撮像手段のレ
    ンズの移動方向及び量を決定して、上記撮像手段の上記
    被写体に対するフォーカスを制御する制御手段とを有す
    ることを特徴とするカメラ制御装置。
    A processing means for performing a closed-loop integration of a motion vector from at least two screens of video signals when the contrast of a video signal from an imaging means for imaging a subject is small;
    The perspective data of the subject is obtained based on the processing result from the processing unit, and the moving direction and amount of the lens of the imaging unit are determined based on the perspective data to control the focus of the imaging unit on the subject. A camera control device comprising:
JP03153339A 1991-06-25 1991-06-25 Camera control device Expired - Lifetime JP3116422B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03153339A JP3116422B2 (en) 1991-06-25 1991-06-25 Camera control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03153339A JP3116422B2 (en) 1991-06-25 1991-06-25 Camera control device

Publications (2)

Publication Number Publication Date
JPH057325A JPH057325A (en) 1993-01-14
JP3116422B2 true JP3116422B2 (en) 2000-12-11

Family

ID=15560314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03153339A Expired - Lifetime JP3116422B2 (en) 1991-06-25 1991-06-25 Camera control device

Country Status (1)

Country Link
JP (1) JP3116422B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1333528A4 (en) * 2000-11-06 2004-11-17 Mitsubishi Electric Corp Antenna device and portable device
US7522209B2 (en) 2002-12-26 2009-04-21 Hoya Corporation Automatic focusing apparatus including optical flow device calculation
JP2009031760A (en) * 2007-07-04 2009-02-12 Sanyo Electric Co Ltd Imaging apparatus and automatic focus control method
JP5088118B2 (en) * 2007-12-07 2012-12-05 株式会社ニコン Focus adjustment device
KR101023339B1 (en) * 2009-07-16 2011-03-18 삼성전기주식회사 System for automatically tracking of moving subjects and method of same

Also Published As

Publication number Publication date
JPH057325A (en) 1993-01-14

Similar Documents

Publication Publication Date Title
JP4646583B2 (en) Imaging apparatus and control method thereof
JPH09243904A (en) Method for detecting compositional change of image
JPH09289612A (en) Image pickup device and control method therefor
JP4645413B2 (en) Imaging device
KR20100013171A (en) Method and apparatus for compensating a motion of the autofocus region, and autofocus method and apparatus using thereof
JP3732665B2 (en) Automatic focus control device and focusing operation determination method thereof
JP2003307669A (en) Camera
JP2932575B2 (en) Autofocus control device and control method thereof
JP5115302B2 (en) Focus detection apparatus and focus detection method
JPH0580248A (en) Automatic focusing device
JP2004328606A (en) Imaging device
JP6932531B2 (en) Image blur correction device, image pickup device, control method of image pickup device
JP3404803B2 (en) Moving image recording medium, still image extracting device, moving image recording device, and still image automatic extracting method
JP2957800B2 (en) Automatic focusing device
JP3116422B2 (en) Camera control device
JP4334784B2 (en) Autofocus device and imaging device using the same
JP2011217334A (en) Imaging apparatus and method of controlling the same
JP3465271B2 (en) Video camera
JP3525493B2 (en) Still image extraction device, moving image recording device, and still image automatic extraction method
JP2011217333A (en) Imaging apparatus and method of controlling the same
JP2603212B2 (en) Automatic tracking device in camera
JP2004070038A (en) Auto-focusing system
JP2001141989A (en) Camera, focusing device, focusing method, and medium for supplying focusing program
JPH06133298A (en) Motion vector detector
JPH07209576A (en) Optical detecting device and focus control unit

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091006

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091006

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101006

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111006

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111006

Year of fee payment: 11