JP3114888B2 - カメラ制御装置 - Google Patents

カメラ制御装置

Info

Publication number
JP3114888B2
JP3114888B2 JP03265277A JP26527791A JP3114888B2 JP 3114888 B2 JP3114888 B2 JP 3114888B2 JP 03265277 A JP03265277 A JP 03265277A JP 26527791 A JP26527791 A JP 26527791A JP 3114888 B2 JP3114888 B2 JP 3114888B2
Authority
JP
Japan
Prior art keywords
equation
size
subject
detecting
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03265277A
Other languages
English (en)
Other versions
JPH0575908A (ja
Inventor
雅博 藤田
恵子 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP03265277A priority Critical patent/JP3114888B2/ja
Priority to US07/942,831 priority patent/US5325206A/en
Publication of JPH0575908A publication Critical patent/JPH0575908A/ja
Application granted granted Critical
Publication of JP3114888B2 publication Critical patent/JP3114888B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Lens Barrels (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、例えばビデオカメラ
(カメラ一体型ビデオテープレコーダを含む)に用いて
好適なカメラ制御装置に関する。
【0002】
【従来の技術】最近、ビデオカメラが普及し、一般使用
者が例えば自分の子供の運動会のシーンを撮影するよう
な場合に多く用いられている。このようなビデオカメラ
にはビューファインダが設けられており、このビューフ
ァインダに表示される被写体の映像を見ながら被写体を
所望の画角(大きさ)で撮影することができるようにな
っている。
【0003】
【発明が解決しようとする課題】従来のビデオカメラに
おいては、例えば被写体としての子供が100メートル
の競走を行うようなとき、スタート位置からゴール位置
までズーム機能で撮影することが多い。この場合、フォ
ーカスは自動制御されるものが多いが、子供がスタート
位置からゴール位置に走ってくるにつれて画角が小さく
なる(画像が大きくなる)。従って、スタート位置から
ゴール位置まで、所定の大きさの例えばバストショット
で子供の表情を連続的に撮影するようなことがアマチュ
アにとっては比較的困難である課題があった。
【0004】本発明はこのような状況に鑑みてなされた
ものであり、容易に画像の大きさを一定に制御すること
ができるようにするものである。
【0005】
【課題を解決するための手段】本発明のカメラ制御装置
は、被写体を撮影する撮影手段としてのビデオカメラ1
と、ビデオカメラ1より出力された映像信号を記憶する
記憶手段としてのメモリ2,3と、ビデオカメラ1によ
り撮影された被写体の動きを検出する動き検出手段とし
ての動き検出部8と、被写体の大きさを検出する大きさ
検出手段としての大きさ変化検出部9と、大きさ変化検
出部9の出力に対応してビデオカメラ1により撮影され
た被写体の大きさを制御する制御手段としての制御信号
発生部10とを備えることを特徴とする。
【0006】
【作用】ビデオカメラ1により撮影された被写体の映像
信号がメモリ2,3に記憶される。動き検出部8は、こ
のメモリ2,3に記憶された映像信号から被写体の動き
を検出する。大きさ変化検出部9は、さらにこの動き検
出部8の出力に対応して、被写体の大きさの変化を検出
する。制御信号発生部10は、大きさ変化検出部9の出
力に対応してビデオカメラ1を制御し、被写体の大きさ
が一定になるように制御する。
【0007】
【実施例】図1は、本発明のカメラ制御装置の一実施例
の構成を示すブロック図である。ビデオカメラ1は図示
せぬ被写体を撮影し、その映像信号をディスプレイ4に
供給し、表示させる。このディスプレイ4は、ビデオカ
メラ1に付属するビューファインダをそのまま利用する
こともできるし、ビデオカメラ1に対して外付けされた
CRTなどを用いるようにすることもできる。ビデオカ
メラ1より出力された映像信号はメモリ2、さらにメモ
リ3に供給され、記憶される。メモリ2とメモリ3に
は、時間的に後の映像信号と前の映像信号とがそれぞれ
記憶される。例えば、メモリ3にはメモリ2に記憶され
た映像信号の1フレーム前の映像信号が記憶される。
【0008】ターゲット指定装置5は、ディスプレイ4
に所定のカーソルを表示させる。カーソル制御レバー6
は、このディスプレイ4上に表示されたカーソルの位置
を所定の位置に移動させるとき操作される。指定スイッ
チ7は、このカーソルの位置を確定するとき操作され
る。
【0009】動き検出部8は、メモリ2と3に記憶され
たデータから被写体の動きを検出し、その検出信号(動
きベクトル)を大きさ変化検出部9に出力している。大
きさ変化検出部9には、ターゲット指定装置5からカー
ソルの表示位置に対応する信号も供給されている。大き
さ変化検出部9はこれらの入力から被写体の大きさの変
化を検出し、その検出信号を制御信号発生部10に供給
している。制御信号発生部10は、大きさ変化検出部9
の出力に対応してビデオカメラ1が内蔵するズームレン
ズを制御するズームレンズ制御信号を発生する。
【0010】次に、その動作について説明する。使用者
はビデオカメラ1により所望の被写体を撮影する。この
被写体の映像信号はディスプレイ4に供給され、表示さ
れる。このときまた、メモリ2と3には刻々と変化する
被写体の映像信号の1フレーム前と後の映像信号が順次
更新され、記憶される。動き検出部8はメモリ2に記憶
された映像信号の輝度データ(I(t))と、メモリ3
に記憶された1フレーム前の映像信号の輝度データ(I
(t−1))とから被写体の動きを検出する。この動き
の検出の原理については後述する。
【0011】ディスプレイ4にはカーソルがスーパーイ
ンポーズされている。使用者はカーソル制御レバー6を
操作することにより、このカーソルの位置を大きさを一
定にしたい被写体の位置に移動させる。カーソルが所望
の被写体の位置に移動されたとき、使用者はさらに指定
スイッチ7を操作する。ターゲット指定装置5は、この
とき指定されたカーソルの位置情報を大きさ変化検出部
9に出力する。大きさ変化検出部9は、動き検出部8に
より検出された被写体の動きベクトルmとカーソルの位
置情報とからそのときの被写体の大きさを検出し、以
後、その変化を検出する。この大きさ変化の検出原理に
ついても後述する。制御信号発生部10は、大きさ変化
検出部9が検出した大きさ変化検出信号に対応してズー
ムレンズ制御信号を発生する。
【0012】ビデオカメラ1におけるズームレンズの倍
率は図2に示すように、例えばズームレンズの位置に対
して線形に変化するようになされている。従って、この
ズームレンズ制御信号によりズームレンズの位置を調整
することにより、その倍率を所定の値に制御することが
できる。即ち、被写体のディスプレイ4上における大き
さが大きくなると、ズームレンズの倍率を下げるように
サーボがかかり、また被写体の大きさが小さくなると、
ズームレンズの倍率が大きくなるようにサーボがかかる
ことになる。その結果、ディスプレイ4上に表示される
被写体の大きさは指定スイッチ7を操作したタイミング
における大きさに保持されるようになされる。
【0013】次に、動き検出部8における動き検出の原
理について説明する。被写体の動きは例えばオプティカ
ルフロー(エリアベース)により検出することができ
る。オプティカルフローとは、メモリ2,3に記憶され
た画像の点P(x(t),y(t))の輝度I(x,
y,t)に対して dI(x,y,t)/dt=0・・・・・(1) となるようなx(t),y(t)を求めることである。
(1)式は次の(2)式のように表すことができる。
【数1】
【0014】この(2)式はさらに(3)式のように表
すことができる。Ixu+Iyv+It=0・・・・・
(3)但し、Ix,Iy,It,u,vは、それぞれ次の
意味を有する。
【数2】
【0015】(3)式は正則化問題であり、制約をつけ
ることにより解くことができる。画像の場合、u,vが
なだらかに変化する。この制約は(5)式の値が小さい
ことを意味する。 ‖V(u,v)‖2=(uy 2+vy 2+ux 2+vx 2)・・・・・(5) この(5)式を(3)式に与え、(6)式が得られる。 F(u,v,ux,vx,uy,vy,x,y) =(Ixu+Iyv+It2+λ/4(uy 2+vy 2+ux 2+vx 2) ・・・・・・(6)
【0016】(3)式は(6)式を全画面で積分し、そ
の最小値を求めるという次の(7)式の最小値問題に変
換される。
【数3】 (7)式を最小にするu,vはオイラーの方程式を満足
するので、次の(8),(9)式が得られる。
【数4】 (8),(9)式と(6)式から次式が得られる。
【数5】 (10),(11)式に輝度の変化等から不連続性を許
すポイントを導入し、(12),(13)式が得られ
る。
【数6】
【0017】但し、Lv,Lhは垂直および水平方向のラ
インプロセスと呼ばれるもので、それぞれ1のときに不
連続があることを表す。例えばエッジ検出の出力などが
使える。(12),(13)式をu,vに関して解けば
よい。(12),(13)式を差分形に直すと、(1
4),(15)式が得られる。
【数7】
【0018】(14),(15)式を解く方法は種々考
えられるが、ここでは最も単純なグラディアントディセ
ント(Gradient Descent)法により解く方法を示す。
(14),(15)式の左辺をそれぞれ(16),(1
7)式のようにおき、繰返し計算を行う。 ΔFu=[(14)式の左辺]・・・・・(16) ΔFv=[(15)式の左辺]・・・・・(17)
【0019】繰返し計算におけるk+1ステップ目の
【数8】 は、kステップ目の
【数9】 を用いて次のように表すことができる。
【数10】 但し、ΔFu k,ΔFv kはkステップ目の
【数11】 を用いて計算したΔFu,ΔFvであり、αは0<α<1
の定数である。
【0020】以上のオプティカルフロー計算の動作をフ
ローチャートに示すと、図3に示すようになる。即ち、
最初にステップS1において初期値設定を行った後、ス
テップS2に進み、時刻tにおける画像の輝度データI
(t)をメモリ2から取り込む。次にステップS3に進
み、変数kを0にセットし、さらにステップS4に進
む。ステップS4においては、(14)式乃至(17)
式よりΔFu k,ΔFv kを計算する。
【0021】次にステップS5に進み、(18)式と
(19)式から
【数12】 を計算する。次にステップS6において繰返し計算が収
束したか否かを判定する。この判定は次式で示されるエ
ラーが予め設定した所定の基準値εより小さくなったか
否か、あるいは変数kが256に等しくなったか否かに
より判定することができる。 ∫∫‖uk−vk‖dx、dyε
【0022】ステップS6において、まだ収束していな
いと判定された場合、ステップS7に進み、変数kが1
だけインクリメントされる。そしてステップS4に戻
り、それ以降の処理が繰り返される。ステップS6にお
いて収束したと判定された場合においてはステップS8
に進み、u,vが出力される。さらにステップS9に進
み、変数kが1だけインクリメントされてステップS2
に戻る。そしてステップS2以降の処理が繰り返され
る。
【0023】次に、大きさ変化検出部9における大きさ
変化の検出方法について説明する。いま、図4に示すよ
うに面積を一定にしたい被写体の領域のエッジを閉路C
で示すものとする。この閉路Cに沿って動きベクトルの
発散値が0になるように次式を演算すればよい。
【数13】
【0024】閉路C上の黒点のベクトルは動き検出部8
で検出された動きベクトル
【数14】 を表す。閉路Cの法線ベクトル
【数15】 は、閉路Cの外側、即ち反時計まわりの線積分に対して
進行方向の右側にとるものとする。一般的には、
【数16】 を計算する。但し、
【数17】 である。しかし、この例では
【数18】 であるため、
【数19】 となり、積分は足し算となるため、次式が成立する。
【数20】 但し、図4中の番号k=1〜14に対応する点のベクト
ルを
【数21】 で表し、
【数22】 とした。
【0025】ところで、図5に示すように、大きな閉路
Cを考え、
【数23】 を計算することは、小閉路C1,C2,…を考え、これを
加算することと等価である。これを式で示すと次のよう
になる。
【数24】
【0026】図6に示すように、離散形の場合、次のよ
うに積分を定義すればよい。
【数25】 この選び方は隣合う閉路の値を加えたときに共通する点
がキャンセルしあう選び方である。これにより、
【数26】 を計算すればよい。
【0027】これらの方法は並列型の処理装置を想定し
たときに効果を出す方法である。
【0028】あるいはまた、ガウスの定理により、次式
から大きさの変化を検出することができる。
【数27】 いま、次式が成立する。
【数28】 これを差分形に直すと次のようになる。
【数29】 但し、
【数30】 は座標(i,j)におけるベクトルで、微分の差分モデ
ルとして
【数31】 を用いた。積分を加算に直すと
【数32】 となる。ところが、
【数33】 となるので、数32は最終的には数20と同じものにな
る。
【0029】
【発明の効果】以上の如く本発明のカメラ制御装置によ
れば、撮影手段により撮影された被写体の大きさを検出
して、その検出出力に対応して被写体の大きさを制御す
るようにしたので、被写体の画像を特別の操作をするこ
となく、常に一定の大きさにすることが可能となる。
【図面の簡単な説明】
【図1】本発明のカメラ制御装置の一実施例の構成を示
すブロック図である。
【図2】図1の実施例におけるテレビカメラ1のズーム
レンズと倍率の関係を説明する図である。
【図3】図1の実施例の動作を説明するフローチャート
である。
【図4】大きさの変化を検出する原理を説明する図であ
る。
【図5】大きさの変化を検出する他の原理を説明する図
である。
【図6】図5の一部を拡大した図である。
【符号の説明】
1 ビデオカメラ 2,3 メモリ 4 ディスプレイ 5 ターゲット指定装置 6 カーソル制御レバー 7 指定スイッチ 8 動き検出部 9 大きさ変化検出部 10 制御信号発生部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/232 G02B 7/08

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 被写体を撮影する撮影手段と、 前記撮影手段より出力された映像信号を記憶する記憶手
    段と、 前記撮影手段により撮影された前記被写体の動きを検出
    する動き検出手段と、 前記撮影手段により撮影された前記被写体の大きさを検
    出する大きさ検出手段と、 前記大きさ検出手段の出力に対応して前記撮影手段によ
    り撮影された前記被写体の大きさを制御する制御手段と
    を備えることを特徴とするカメラ制御装置。
JP03265277A 1991-09-17 1991-09-17 カメラ制御装置 Expired - Fee Related JP3114888B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03265277A JP3114888B2 (ja) 1991-09-17 1991-09-17 カメラ制御装置
US07/942,831 US5325206A (en) 1991-09-17 1992-09-10 Camera controlling apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03265277A JP3114888B2 (ja) 1991-09-17 1991-09-17 カメラ制御装置

Publications (2)

Publication Number Publication Date
JPH0575908A JPH0575908A (ja) 1993-03-26
JP3114888B2 true JP3114888B2 (ja) 2000-12-04

Family

ID=17414989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03265277A Expired - Fee Related JP3114888B2 (ja) 1991-09-17 1991-09-17 カメラ制御装置

Country Status (2)

Country Link
US (1) US5325206A (ja)
JP (1) JP3114888B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835641A (en) * 1992-10-14 1998-11-10 Mitsubishi Denki Kabushiki Kaisha Image pick-up apparatus for detecting and enlarging registered objects
JPH0767015A (ja) * 1993-08-24 1995-03-10 Canon Inc 画像記録装置
JPH08214201A (ja) * 1994-11-28 1996-08-20 Canon Inc 撮像装置
US5892543A (en) * 1995-06-05 1999-04-06 United Parcel Service Of America, Inc. Imaging system including an auto zoom controller
JPH0946591A (ja) * 1995-07-31 1997-02-14 Canon Inc 画像処理装置及び画像処理システム
US5684532A (en) * 1995-10-06 1997-11-04 Sensormatic Electronics Corporation Video camera with improved zoom capability
US5663759A (en) * 1996-06-10 1997-09-02 Industrial Technology Research Institute Feature processor for a digital camera
KR100426174B1 (ko) * 2001-10-29 2004-04-06 삼성전자주식회사 영상압축 알고리즘을 이용한 카메라 제어방법
JP2010147925A (ja) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd 撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196929A (en) * 1989-07-05 1993-03-23 Olympus Optical Co., Ltd. Display system of camera having tracking apparatus
JPH04198887A (ja) * 1990-11-29 1992-07-20 Sony Corp 自動追尾装置
JPH0541827A (ja) * 1991-06-21 1993-02-19 Sony Corp カメラ制御装置

Also Published As

Publication number Publication date
US5325206A (en) 1994-06-28
JPH0575908A (ja) 1993-03-26

Similar Documents

Publication Publication Date Title
JP4947060B2 (ja) 画像合成装置、画像合成方法、プログラム
US10217200B2 (en) Joint video stabilization and rolling shutter correction on a generic platform
KR100215586B1 (ko) 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
CN103685925B (zh) 摄像装置以及摄像处理方法
US20060078162A1 (en) System and method for stabilized single moving camera object tracking
JP7023662B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP4210954B2 (ja) 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
CN101010942A (zh) 捕获图像序列
US7466356B2 (en) Method and apparatus for setting a marker on an object and tracking the position of the object
TW201351980A (zh) 影像處理裝置、影像處理方法、程式
JP3114888B2 (ja) カメラ制御装置
CN108600638A (zh) 摄像机自动调焦系统及方法
CN102196172A (zh) 图像合成装置
JP2019062340A (ja) 像振れ補正装置および制御方法
KR101645427B1 (ko) 유저 인터페이스를 통한 카메라 장치의 동작 방법
WO2023241495A1 (zh) 拍摄方法及其装置
JP5380336B2 (ja) 撮像装置及びパノラマ画像合成方法並びにそのプログラム
WO2022040988A1 (zh) 图像处理方法、装置及可移动平台
JPH06133298A (ja) 動きベクトル検出装置
JP6995529B2 (ja) 撮像装置およびその制御方法
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP5743729B2 (ja) 画像合成装置
JP2004032359A (ja) ビデオカメラ
JPH1023313A (ja) 撮像装置
JPH0937140A (ja) 撮影シミュレーション装置、及び撮影装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080929

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090929

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees