JP2683961B2

JP2683961B2 - 自動追尾機能付ビデオカメラ

Info

Publication number: JP2683961B2
Application number: JP3052649A
Authority: JP
Inventors: 一人西田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1991-03-18
Filing date: 1991-03-18
Publication date: 1997-12-03
Anticipated expiration: 2012-12-03
Also published as: JPH04287577A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、被写体を自動的に追
尾する自動追尾機能付ビデオカメラに関し、特に、主要
被写体の特定および撮像素子からの画像信号の処理に関
するものである。

【０００２】

【従来の技術】従来、ビデオカメラの本体自体が、自動
追尾機能を備えているものは存在しなかった。このた
め、被写体を追尾するには、ビデオカメラを自動追尾機
能を有する装置に固定する方法がとられていた。ここ
で、自動追尾機能とは、操作者が直接ビデオカメラを操
作しなくても、自動的に主要被写体の方向にビデオカメ
ラの光軸が位置し、画像の中央付近に常に中央被写体が
位置するような映像を撮影するシステムをいう。

【０００３】このような自動追尾システムとして図１４
のような装置が考えられる。

【０００４】図１４を参照して、この自動追尾システム
は、ビデオカメラＡを固定するための可動台Ｂと、可動
台Ｂを回転させるための駆動モータＣと、受信器Ｄと、
被写体Ｆが保持する信号発生器Ｅとを含む。

【０００５】以上の自動追尾システムは次のように動作
する。被写体Ｆが保持する信号発生器Ｅによりある信号
を発生する。受信器Ｄは、発生された信号に基づいて被
写体Ｆの位置を検出し、ビデオカメラＡをどの方向にど
の程度の回転速度で回転させるべきか、かつどの角度で
停止させるかを判断し、その判断に基づいて駆動モータ
Ｃを制御する。以上のようにすることにより、被写体Ｆ
の移動する方向に可動台Ｂを回転させることができ、ビ
デオカメラＡの光軸を被写体の方向に位置させ、自動追
尾を行なうことができる。

【０００６】

【発明が解決しようとする課題】しかし、ビデオカメラ
を機械的に回転させるため、カメラ本体の重量や、回転
モータの特性などにより応答に遅れが生じる可能性があ
る。したがって被写体が速く動いたり、急に移動方向を
変えたりした場合は、十分な追従が得られないという問
題がある。

【０００７】また、講演や会議などにおいては、発言者
が主要被写体となるため、講演者や発言者などはそれぞ
れ信号発生器を所有し、音声を発するごとに信号発生器
を操作する必要がある。これでは、会議などの進行の妨
げになる。

【０００８】さらに可動台や回転モータなどを組込んだ
システムでは、装置全体が大型化し、持運びが不便であ
る。

【０００９】それゆえに、この発明は被写体が速く動く
場合であっても、十分に追尾することができ、かつ手軽
に持運びのできる自動追尾機能付ビデオカメラを提供す
ることを目的とする。

【００１０】

【課題を解決するための手段】前記目的を達成するため
の本発明は、被写体像を結像させるための光学系と、テ
レビジョン表示画像よりも広い撮像面を有し、前記結像
された被写体像を画像情報に変換する撮像素子と、前記
撮像素子からの画像情報を記憶するための記憶手段と、
互いに所定距離離間され、音声を電気信号に変換する複
数の音声／電気信号変換手段と、前記複数の音声／電気
信号変換手段の出力同士の相関関係に基づいて前記音声
発生源の方向および音声の発生源の拡がり度を演算する
ための手段と、前記演算された発生源の拡がり度に基づ
いて前記光学系のズーム倍率を制御するための手段と、
前記演算された音声の発生源の方向に基づいて、前記記
憶手段に記憶された画像信号のうちの前記音声発生源の
方向を中心とする所定の範囲の画像情報を取出す手段
と、前記取出された画像情報に基づいて拡大した映像信
号を発生するための手段とを含むことを特徴とする。

【００１１】

【作用】以上の本発明では、互いに離間された音声／電
気信号変換手段により、変換された電気信号同士の相関
関係に基づいて、演算手段が音声発生源の方向と拡がり
度を演算する。そして、拡がり度に基づいて光学系のズ
ーム倍率を制御することにより、複数人の被写体を撮像
面に結像させることができる。また、演算された方向に
基づいて、記憶手段に記憶されたすべての画像信号のう
ちの被写体の方向を中心とする領域のデータを切出して
拡大することにより、音声を発生した被写体、すなわち
主要被写体を自動的に追尾することができる。

【００１２】

【実施例】図１は本発明の一実施例を示すブロック図で
ある。同図を参照して、この自動追尾機能付ビデオカメ
ラは、レンズ１と、テレビジョン表示画像よりも広い領
域の画像信号を得ることができる撮像素子２と、アンプ
３と、ラインメモリ４と、メモリ制御回路５と、互いに
所定距離離間されたマイク６およびマイク７と、相関演
算部８と、ズームレンズ駆動部９と含む。レンズ１は、
被写体像を撮像素子２の撮像面に結像する。撮像素子２
は、結像された被写体像を走査線単位で光電変換して画
像信号を発生し、この画像信号をアンプ３を通してライ
ンメモリ４に出力する。ラインメモリ４は、画像信号の
うちの主要被写体像の存在する領域（切出し領域）が走
査線単位で書込まれ、かつ読出される。メモリ制御回路
５は、ラインメモリ４への切出し領域の書込みおよび読
出しタイミングを制御する。マイク６および７は、被写
体からの音声を電気信号に変換する。相関演算部８は、
マイク６および７の出力信号同士の相関関係すなわち相
関関数を演算し、演算された相関関数の特徴に基づいて
音声発生源の方向および拡がり度を演算する。メモリ制
御回路５は、相関演算部８により演算された方向データ
に基づいて切出し領域を設定し、ラインメモリ４への切
出し領域の書込みおよびラインメモリからのデータの読
出しを制御する。ズームレンズ駆動部９は、演算された
拡がり度に基づいてズーム倍率を制御する。

【００１３】次に、相関関数、音声発生源の方向、およ
び拡がり度の演算原理を図２、図３および図４を用いて
説明する。

【００１４】図２は、マイク６とマイク７の出力波形を
示し、図３は相関関数と音声発生源の拡がり度を説明す
るためのグラフである。図２を参照して、マイク６の出
力信号およびマイク７の出力信号がそれぞれ（Ａ）およ
び（Ｂ）で示される波形であると仮定する。また、出力
信号（Ａ）と（Ｂ）との位相差はＤであると仮定する。
この出力信号同士の相関関係を演算すると、図３に示す
ような相関関数が得られる。

【００１５】図３（Ａ）は、音声発生源が単一の場合で
あり、相関関数のピークの形が鋭くなる。図４の（Ｂ）
は音声発生源にある程度の拡がりがある場合であり、相
関関数のピークの形がなだらかになる。図４の（Ｃ）は
音声発生源が集中してない場合であり、ピークのほとん
どない関数となる。また、ピーク点は２つの音声発生源
からの到達時間差Ｔに現われる。

【００１６】図４は音声発生源の方向の演算を説明する
ための図である。図４を参照して、ｈ₁は、音源Ｘとマ
イク７間の距離、ｈ₂は、音源Ｘとマイク６間の距離、
Ｌはマイク６マイク７を通る直線との距離、ｂはカメラ
光軸Ｙと音源Ｘ間の距離、ａはマイク６とマイク７間の
距離とする。以上の条件の下でｈ₁およびｈ₂を求める
と、次の１式および２式となる。

【００１７】

【数１】

【００１８】

【数２】

【００１９】そして、ｈ₂とｈ₁の差Δｈは次の（３）
式となる。

【００２０】

【数３】

【００２１】ここで、音波の速度をｋとすると、Δｈ
は、Δｈ＝ｋＴ…（４）となる。

【００２２】また、カメラ光軸Ｙと、音源Ｘとカメラ撮
像面の中心点Ｏとを結ぶ直線との成す角度θは、（５）
式となる。

【００２３】

【数４】

【００２４】よって、（５）式に（３）、（４）式を代
入すると、（６）式となる。

【００２５】

【数５】

【００２６】（５）式における未知数は、音声発生源か
らの到達時間差Ｔのみであり、この到達時間差Ｔは、相
関関数に基づいて演算されるから、音声発生源の方向θ
を求めることができる。図５は切出し領域の説明をする
ための図である。図５の（Ａ）はカメラの撮像角度と被
写体との位置関係を示し、図５の（Ｂ）は、（Ａ）の位
置関係における撮像素子の撮像素子領域と切出し領域と
の関係を示し、図５の（Ｃ）は切出された状態を示す図
である。ビデオカメラ撮像素子２の撮像素子領域は、水
平方向の画角αが広くなっており、撮像素子面上には画
角αの範囲が撮像素子面の全領域α′に結像される。ま
た、被写体（音源Ｘ）はカメラ光軸Ｙに対しθだけ左に
ずれた点に存在しており、この被写体像は撮像面上では
Ｘ′の方向に位置する。そして、自動追尾機能によりカ
メラの出力として得たい画像はβ′の領域であるから、
被写体像は画像の中央に位置する必要がある。以上のこ
とから、撮像面（Ｂ）の全領域α′のうちの領域β′の
部分のみを切取り切取った部分β′をカメラ出力とする
ことにより、自動追尾が行なわれることになる。なお、
切出し領域β′は図（Ａ）の画角β′に対応する。

【００２７】次に、図６を用いて画像の切取りおよび拡
大について説明する。図６（Ａ）は図５の（Ｂ）に対応
し、図６の（Ｂ）は撮像素子２の全領域に対応する走査
線信号を示し、図５の（Ｃ）は拡大された走査線信号を
示す。図６を参照して、撮像素子の全領域α′上の画像
は、走査線Ｈによって線順次信号に分解され、走査線単
位で出力される。この走査線信号（Ｂ）は、水平走査期
間において撮像面の全領域α′に対応する水平走査線上
の信号であるため、画像は水平方向に圧縮された形とな
って得られる。切出したい領域の画像β′は、走査線信
号（Ｂ）のうちのβ′に対応する期間ｔであり、この期
間ｔにおける走査線信号を図Ｃの水平走査期間に拡大す
ることによって、テレビジョン信号の規格に合った画像
信号を得ることができる。

【００２８】以下、図１に示した各回路の構成を説明す
る。

【００２９】図７は、相関演算部８のブロック図であ
る。相関演算部８は、マイク６とマイク７の出力信号に
基づいて相関関数を演算する相関関数演算回路８Ａと、
相関関数のピーク位置を検出するピーク位置検出回路８
Ｂと、演算された相関関数に基づいて音声発生源の拡が
り度を検出する拡がり度検出回路８Ｃとを含む。

【００３０】図８は、相関関数演算回路８Ａのブロック
図である。同図を参照して、マイク６およびマイク７の
出力信号は、Ａ／Ｄ変換器８ａおよび８ｂによりＴ₀時
間の周期（図３（Ａ）参照）でデジタル値に変換され
る。変換されたデータは、２ｎ＋１に分岐され、分岐さ
れたデータは、それぞれそのままあるいは１〜ｎ個の遅
延素子を通して相関値演算器８ｄに与えられる。相関演
算器８ｄは、遅延されないデータと遅延されたデータと
の相関演算を行なって相関値を出力する。前記遅延素子
８ｃの遅延時間はＴ₀であり、遅延素子８ｃの数と遅延
時間Ｔ₀を乗じた値がその回路での相関位相差（時間
差）となる。したがって、２ｎ＋１個の相関値演算器８
ｄの出力は、−ｎＴ₀〜ｎＴ₀時間内の相関値であり、
この相関値をプロットすると、図３の（Ａ）、（Ｂ）、
（Ｃ）となる。

【００３１】図９は図８の相関値演算器８ｄの詳細を示
すブロック図である。同図を参照して、相関値演算器８
ｄは、複数の遅延素子８ｅと、複数の乗算器８ｆと、加
算器８ｇとを含む。図８の遅延素子８ｃにより遅延され
た音声データは、遅延素子８ｅに順次入力され、ここに
保持される。保持されたデータのうち同一時間の遅延量
同士のものが乗算器８ｆにより乗算され、その時刻にお
ける乗算器８ｆの出力のすべてが加算器８ｇにより加算
される。このようにしてリアルタイムに相関値が演算さ
れる。この演算された相関値はピーク位置検出回路８Ｂ
および拡がり度検出回路８ｃに与えられる。

【００３２】図１０は、ピーク位置検出回路８Ｂの詳細
を示すブロック図である。このピーク位置検出回路８Ｂ
は、２ｎ＋１の２乗個の比較回路８ｈと、２ｎ＋１個の
論理積回路８ｉと、デコーダ８ｊとを含む。なお、図面
は説明を簡単化するために９個の比較回路と３個の論理
積回路とを示す。比較回路８ｈはマトリクス状に配置さ
れ、前述の相関演算器８ｄの値は行方向と列方向とに分
けて入力される。そして、行方向の入力が列方向の入力
より大きいか等しいとき比較回路の出力はアクティブと
なる。したがって、たとえばａ₁が最大のときは、ａ₁
＞ａ₀、ａ₁≧ａ₁ａ₁＞ａ₂となり、マトリクス状に
並んだ比較回路８ｈのａ₁の行の出力がすべてアクティ
ブとなる。そして、各行ごとの比較回路８ｈの出力の論
理積をとることにより、論理積のアクティブとなる行番
号が相関関数の最大値をとる位置と一致する。さらに、
論理積回路８ｉの出力をデコードすることにより、最大
値をとる点の位置が検出できる。この検出されたピーク
位置データは、拡がり度検出回路８Ｃおよびメモリ制御
回路５に与えられる。

【００３３】図１１は、拡がり度検出回路８Ｃの詳細を
示すブロック図である。同図を参照して、この拡がり度
検出回路８Ｃは、セレクタ９ａと、差分算出器９ｂと、
加算器９ｃと、ズーム倍率設定データ発生回路９ｄとを
含む。セレクタ９ａは、相関値演算器８ｄの出力に接続
され、ピーク位置データに応答して入力された複数の相
関値のうちのいずれか１つを選択する。このようにして
選択されることにより、セレクタの出力のうち中央の点
に相関関数のピーク値がくるようになる。すなわちセレ
クタ９ａからは、ピーク値をセンターとする相関関数が
出力される。差分算出器９ｂは、セレクタ９ａの出力の
うちの隣接する相関値との差を求める。加算器９ｃは、
求められた差分値を全加算することにより絶対値の和を
求め、この絶対値の和をズーム倍率設定データ発生回路
９ｄに与える。ズーム倍率設定データ発生回路９ｄは、
絶対値の和に基づいてズームレンズの倍率データを設定
し、このデータをズームレンズ駆動部９に与える。以上
のようにして、隣接する相関関数値との差分をとること
により、相関関数の微分演算が行なわれる。相関関数の
ピークの形が鋭い場合は、この微分値は大きい値を持
ち、相関関数が平坦に近づくほどこの微分値は小さくな
る。したがって、相関関数のピーク点を中心にある範囲
の検出窓を設けてその窓の内の相関関数の微分値の絶対
値の総和をとることにより、相関関数のピーク点におけ
るするどさを求めることができる。なお、検出窓の大き
さはセレクタ９ａの出力をいくつかとることによって決
定することができる。

【００３４】図１２はメモリ制御回路５の詳細を示すブ
ロック図であり、図１３は図１２の各回路の出力波形お
よび各回路を制御するための制御信号を示す図である。
図１３を参照して、（ａ）はラインメモリ４に入力され
る一水平走査期間の画像信号を示す。（ｂ）は水平同期
パルスを示し、この水平同期パルスはビデオカメラタイ
ミング信号発生部（図示せず）より出力されている。
（ｃ）は書込クロック信号を示し、この書込クロック信
号もタイミング信号発生より出力されている。またこの
信号は撮像素子２の各画素信号の読出クロックと同一の
連続したパルスである。（ｄ）は書込リセットパルス、
（ｅ）は書込制御パルス、（ｆ）読出クロックパルス、
（ｇ）は読出リセットパルスであり、以上のうちの
（ｄ）〜（ｇ）はメモリ制御回路５から出力される。

【００３５】図１２を参照して、このメモリ制御回路５
は、ピーク位置データに応答して切出領域設定回路５１
と、書込リセットパルスを発生するためのカウンタ５２
と、書込制御パルスを発生するためのカウンタ５３と、
読出リセットパルスを発生するためのカウンタ５４と、
読出クロックパルスを発生するための分周回路５５とを
含む。

【００３６】このメモリ制御回路５は次のように動作す
る。まず、相関関数のピーク位置データが切出し領域設
定回路５１に入力される。このピーク位置データは、主
要被写体とカメラ光軸との成す角度θを示す。切出し領
域設定回路５１は、この角度に基づいて撮像素子２から
切出す領域を決める。そのために水平同期パルス（ｂ）
と切出し領域の先頭位置までのクロック数を示すデータ
を発生する。この発生されたデータはカウンタ５２に与
えられ、カウンタ５２はこれに応答して水平同期パルス
（ｂ）をカウントし、書込リセットパルス（ｄ）を発生
する。この書込リセットパルス（ｄ）はラインメモリ４
およびカウンタ５３に与えられる。カウンタ５３は書込
リセットパルス（ｄ）に応答して書込制御パルス（ｅ）
を発生する。この書込制御パルスがアクティブな期間は
切出し領域の期間に対応する。カウンタ５４には水平同
期パルス（ｂ）が入力されており、この水平同期パルス
（ｂ）の立下がりに応答して読出しリセットパルス
（ｃ）を発生する。また分周回路５５は、書込クロック
パルス（ｅ）が与えられており、この書込クロックパル
ス（ｅ）を分周し、読出クロックパルス（ｆ）を発生す
る。以上のようにして発生された書込リセットパルス
（ｄ）、書込制御パルス（ｅ）、読出リセットパルス
（ｇ）、および読出クロックパルス（ｆ）と書込クロッ
クパルス（ｃ）がラインメモリ４に与えられる。

【００３７】ラインメモリ４のアドレスカウンタが書込
みリセットパルス（ｄ）および読出リセットパルス
（ｇ）により「０」にリセットされる。次に書込みクロ
ックパルス（ｃ）および読出クロックパルス（ｆ）によ
り各アドレスカウンタが順次カウントアップされ、その
番地のメモリに画像信号書込読出の操作を行なう。ま
た、書込制御パルス（ｅ）によりラインメモリへの書込
の可能・不可能が設定される。書込不可能の場合は、書
込カウンタは停止した状態となる。以上説明したよう
に、ラインメモリ４には、切出し領域に対応する画像信
号が書込クロックの周期で書込まれ、この書込んだ画像
信号を読出す場合には、書込クロックを分周し、読出ク
ロックパルス（ｆ）のタイミングで読出すことにより、
切出し領域の画像信号を拡大し、テレビジョン信号に対
応した映像信号を発生することができる。

【００３８】なお、ラインメモリ４はデジタルメモリお
よびアナログ方式のいずれの場合でもよい。ただし、デ
ジタル方式の場合は、ラインメモリ４の入力側にＡ／Ｄ
変換器を接続するとともに、出力側にＤ／Ａ変換器を接
続する必要がある。

【００３９】以上の実施例では、高品位テレビジョン受
像機に対応させて横方向に画角が広い画像を得ることも
可能である。すなわち、撮像面の縦横比をワイドアスペ
クト画像の比である１６対９の画角に合わせ、アンプ３
からそのまま画像信号として出力することにより、ハイ
ビジョンテレビジョン信号に対応した画像を出力するこ
とができる。

【００４０】また、図１に示した自動追尾機能付ビデオ
カメラを図１４に示した自動追尾装置に搭載することも
可能である。図１のビデオカメラでは、レンズにより入
射される最大画角内で追尾するこどかできるが、ビデオ
カメラの周囲のすべてを追尾することができない。そこ
で、図１４に示した自動追尾装置により自動追尾機能付
カメラ本体を回転させ、主要被写体にカメラの光軸を一
致させる。こうすることにより、図１に示した全電子式
に追尾することができ、非常に応答速度の速いビデオカ
メラにより、機械式の追尾装置の欠点（追尾速度、応答
の遅延によるオーバーシュートなど）の補償を行なうこ
とができる。したがって、両者を併用することにより、
追尾速度が速くかつ広範囲に追尾することのできる自動
追尾装置とすることが可能である。

【００４１】

【発明の効果】以上の本発明であれば、ビデオカメラ本
体に、被写体からの音声に基づいて撮像素子からの画像
情報のうちの主要被写体を中心とする領域を切出すとい
う自動追尾機能が付加されているので、従来の機械式の
システムと比較して、応答性がよくかつ被写体が速く動
いてもまた被写体が他の被写体に変わっても迅速に追尾
することができる。また、従来の機械式の大掛りな追尾
システムと異なり、電子式の移動追尾機能とすることに
より、持運びに便利なものとなるという効果が得られ
る。

【図面の簡単な説明】

【図１】本発明の一実施例を示すブロック図である。

【図２】マイクの出力波形を示す図である。

【図３】相関関数と音声発生源の拡がり度を説明するた
めのグラフである。

【図４】音声発生源の方向の算出原理を説明するための
図である。

【図５】音声発生源の方向と切出し領域との関係を説明
するための図である。

【図６】切出し領域と画像信号の拡大との関係を説明す
るための図である。

【図７】相関関数演算部のブロック図である。

【図８】相関関数演算回路のブロック図である。

【図９】相関値算出器の詳細を示すブロック図である。

【図１０】ピーク位置検出回路の詳細を示すブロック図
である。

【図１１】拡がり度検出回路の詳細を示すブロック図で
ある。

【図１２】外部メモリ制御回路の詳細を示すブロック図
である。

【図１３】メモリ制御回路の角回路に入出力される信号
および画像信号を示す図である。

【図１４】自動追尾装置のブロック図である。

【符号の説明】

１はレンズ、２は撮像素子、３はアンプ、４はラインメ
モリ、５はメモリ制御回路、６および７はマイク、８は
相関演算部、８Ａは相関関数演算回路、８Ｂはピーク位
置検出回路、８Ｃは拡がり度検出回路である。

Claims

(57)【特許請求の範囲】

【請求項１】被写体像を結像させるための光学系と、
テレビジョン表示画像よりも広い撮像面を有し、前記結
像された被写体像を画像情報に変換する撮像素子と、前
記撮像素子からの画像情報を記憶するための記憶手段
と、互いに所定距離離間され、音声を電気信号に変換す
る複数の音声／電気信号変換手段と、前記複数の音声／
電気信号変換手段の出力同士の相関関係に基づいて前記
音声発生源の方向および音声の発生源の拡がり度を演算
するための手段と、前記演算された発生源の拡がり度に
基づいて前記光学系のズーム倍率を制御するための手段
と、前記演算された音声の発生源の方向に基づいて、前
記記憶手段に記憶された画像信号のうちの前記音声発生
源の方向を中心とする所定の範囲の画像情報を取出す手
段と、前記取出された画像情報に基づいて拡大した映像
信号を発生するための手段とを含むことを特徴とする自
動追尾機能付ビデオカメラ。