JP3555151B2

JP3555151B2 - カメラ撮影制御装置

Info

Publication number: JP3555151B2
Application number: JP28646793A
Authority: JP
Inventors: 保明村仲
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1993-11-16
Filing date: 1993-11-16
Publication date: 2004-08-18
Anticipated expiration: 2019-08-18
Also published as: JPH07140527A

Description

【０００１】
【産業上の利用分野】
本発明は、電子テレビ会議システムなどにおいてカメラ撮影方向や撮影画角を制御できるカメラ撮影制御装置に関するものである。
【０００２】
【従来の技術】
最近のデジタル公衆回線の普及や静止画及び動画のデジタル圧縮方式の標準化を背景に、画像のデジタル伝送を利用した分野が広がっており、電子テレビ会議システムもその中の一つである。電子テレビ会議システムにおいては画像の入力装置としてビデオカメラを使用しており、これを適時撮影したい方向に向けて撮影し、通信相手に画像を送っている。この様に電子テレビ会議システムなどにおいては、必要に応じてカメラの撮影方向を制御する必要がある。またカメラと被写体である話者との距離等で、適切な撮影画角が変化する。具体的には、図８の従来のカメラと被写体である話者との距離に対する撮影画角の説明図に示すように、距離に関係なく話者１を適切な大きさで撮影するためには、距離が近ければカメラ２の撮影画角を広くし、遠ければカメラ２の撮影画角を狭くする必要がある。
【０００３】
つまり、カメラ２と被写体である話者１との距離が変化した場合にも話者１を適切な大きさで撮影する為にはカメラ２の撮影画角を変化する必要があり、カメラ２と被写体である話者１との距離に応じて、適切な制御をする必要がある。
【０００４】
以下に従来のカメラ撮影方向及び、カメラ撮影画角を決定するカメラのズーム値の制御方法について説明する。図９は従来のカメラ撮影制御装置の全体構成図である。図９において１１は遠隔操作による撮影方向制御及び撮影画角制御機構を持つカメラであり、１２はカメラ１１と接続され、遠隔操作によるカメラ１１の撮影方向制御及び撮影画角制御を行う制御回路であり、１３は制御回路１２に接続され、カメラ１１の撮影方向及び撮影画角を操作するための操作盤であり、人により操作される。カメラ１１の映像信号ａは符号化装置１４に入力され、通信相手１５へ入力されると共に、モニター１６に入力され、カメラ１１の映像及び通信相手１５から送られてきた映像を映し出す。ここで、電子テレビ会議の議事進行上、発言者である話者が変化した場合、殆どの場合その時の話者を適切な大きさで撮影することが好ましく、モニター１６によりカメラ１１の映像を見ながら操作盤１３を人が操作して、カメラ１１の撮影方向及び撮影画角が適切となる様にカメラ１１の撮影方向およびレンズのズーム値を調整していた。
【０００５】
【発明が解決しようとする課題】
しかしながらモニター１６に映し出されたカメラ１１の撮影画像は当然ながらかなり限られた視野の映像であり例えば８°〜４４°程度である。したがって人が自分の首を動かし自分の目で見ている映像より非常に狭い視野しかなく、また使用者の実際の視点とカメラ１１の位置からのカメラ１１の視点とは違うものである。このため、自分が目で見て決定した撮影したい方向にカメラ１１の撮影方向を制御操作するのは、この視野や視点の違い及びカメラ１１の撮影方向の制御動作速度と人の感性から来る適正速度との違いにより操作しにくく、またカメラ１１が目的の方向を向く制御操作完了まで常に操作しなくてはならず操作そのものに時間がかかるという問題点を有していた。更に、発言者である話者を被写体として撮影したい場合で、話者が移動したり特定の位置や方向にいない場合は、その都度、カメラ１１の撮影方向及び撮影画角の操作を必要とするなど、適切な操作がきわめて面倒であるという問題点があった。
【０００６】
そこで本発明は上記従来の問題点を解決するもので、カメラの撮影方向を話者の方向に向ける操作を人によらず自動化することで、カメラ撮影方向の操作性を改善できるカメラ撮影制御装置を提供することを第１の目的とする。さらには、カメラの撮影方向を話者の方向に合わせた後、撮影画角を話者に適切に合わせる場合のカメラ撮影画角操作を人によらず自動化することでカメラの撮影画角の操作性を改善できるカメラ撮影制御装置を提供することを第２の目的とする。
【０００７】
【課題を解決するための手段】
このために本発明は、話者からの発音を感知する少なくとも第１、第２、及び第３マイクと、画像を撮影し撮影画角を制御可能なカメラと、これらの各マイク間の音の位相差を検出する位相差検出回路と、第１、第２、第３マイク、及びカメラを共に話者方向に向けるカメラ方向制御装置と、距離に応じた適正な撮影画角となるように制御する撮影画角制御装置とを有し、第１、第２、第３マイクを平面上に配置し、かつ位相差が零となる方向にカメラの撮影方向が一致するように構成し、少なくとも第１マイクと第２マイクとに基づいて位相差検出回路で検出された位相差を零となるようにカメラ方向制御装置がカメラの方向を制御した後、第１マイクと第２マイクとのいずれか１と第３マイクとに基づいて位相差検出回路で得られた距離情報から撮影画角制御装置がカメラの撮影画角を制御することを特徴とするカメラ撮影制御装置としたものである。
【０００８】
【作用】
上記構成において、発言者である話者が適切な大きさで撮影される撮影画角に自動制御できる。これにより電子テレビ会議の議事進行などにおけるカメラ操作の中で撮影画角の調整操作を人がする必要がなくなり、電子会議システムのカメラ制御の操作時間及び操作性が大幅に改善される。
【０００９】
【実施例】
以下本発明の一実施例について図面を参照しながら説明する。図１は本発明の第１実施例におけるカメラ撮影制御装置の全体構成図である。図１において１７Ａ，１７Ｂはマイクであり、話者１Ａ，１Ｂから発せられた音声を検知しその信号ｂ，ｃは位相差検出回路１８に入力される。位相差検出回路１８は複数のマイク１７Ａ，１７Ｂで検知された音の位相差を検出する回路でありカメラ方向制御装置１９に接続されている。カメラ方向制御装置１９は複数のマイク１７Ａ，１７Ｂ及びカメラ２０の方向を共に上下方向や左右方向に変化させるとともにそれぞれの制御をするものである。図１ではマイク１７Ａ，１７Ｂに対する話者１Ａ，１Ｂの相対位置が異なる場合を示している。ここで話者１Ａとマイク１７Ａ間の距離をＬ１、同様に話者１Ａとマイク１７Ｂ間の距離をＬ２、話者１Ｂとマイク１７Ａ間の距離をＬ３、話者１Ｂとマイク１７Ｂ間の距離をＬ４として説明する。
【００１０】
以上のように構成されたカメラ撮影制御装置について図１を参照しながらその動作を説明する。まず話者とマイクとの相対位置関係に対する音の位相差について説明する。話者１Ａとマイク１７Ａ，１７Ｂ間の相対距離はＬ１，Ｌ２であって異なるため、話者１Ａから発せられた音がマイク１７Ａ，１７Ｂに到達する時間は異なってくる。これは音速がほぼ一定なのに対し、２点間の距離が異なるためであり、距離が遠い方が到達時間は遅くなる。この様子の一例を図２の本発明の第１実施例におけるカメラ撮影制御装置の音の位相差の説明図に示す。図２は話者１Ａから発せられた音をマイク１７Ａ，１７Ｂで検出しマイク１７Ａの出力信号ｂとマイク１７Ｂの出力信号ｃの波形を比較した図であり、出力信号ｂの時間ｔ１からｔ３までと出力信号ｃの時間ｔ２からｔ４までは相似波形であり、出力信号ｂに対し出力信号ｃはｔ２−ｔ１の時間だけ音の到達時間が遅れている。つまり出力信号ｂと出力信号ｃの間には、距離Ｌ１と距離Ｌ２の差に比例した位相差が生じることとなる。そこで図１の位相差検出回路１８では出力信号ｂと出力信号ｃ間で図２の出力信号ｂの時間ｔ１からｔ３と時間ｔ２からｔ４の様に波形が相似形であることをまず確認し、それらの位相差であるｔ２とｔ１の間の差を検出するようにＣＰＵおよびソフトその他を用いて処理検出し、求められた位相差情報を信号ｄとしてカメラ方向制御装置１９に出力している。
【００１１】
次に話者１Ｂの位置がマイク１７Ａ，１７Ｂとの距離が等しくＬ３＝Ｌ４の場合は距離Ｌ３，Ｌ４が等しいので、話者１Ｂから発せられた音はマイク１７Ａ，１７Ｂに同時に到達し、図３の本発明の第１実施例におけるカメラ撮影制御装置の音の位相差の説明図のようになる。よってこの場合は位相差検出回路１８でマイク１７Ａ，１７Ｂ間の位相差は零と検出される。
【００１２】
このようにマイク１７Ａ，１７Ｂ間の音の位相差が零となるときの話者の位置はマイク１７Ａ，１７Ｂに対して、どのような位置になるかというと、図１において線Ａで示す線上となる。この位相差零の線Ａの方向とカメラ２０の撮影方向が一致するように構成し、且つカメラ方向制御装置１９ではマイク１７Ａ，１７Ｂ及びカメラ２０が位相差零の線Ａとカメラ２０の撮影方向が常に一致したまま方向を上下左右に制御できるようにする。そして、位相差検出回路１８により得られた位相差の信号ｄによりマイク１７Ａ，１７Ｂ間の位相差が零となるようにマイク１７Ａ，１７Ｂ及びカメラ２０の方向を制御することで、話者の方向をカメラ２０の撮影方向が向く様に制御できることとなる。ただ、平面上で考えると以上の内容となるが実際はカメラ２０を上下左右立体的に動かすので、マイクが２個では不可能である。そこで、図４の本発明の第１実施例におけるカメラ撮影制御装置の構成位置の説明図に示すように、３個のマイク１７Ａ，１７Ｂ，１７Ｃを平面上に配置し且つ位相差検出回路１８に接続し、マイク１７Ａ，１７Ｂによる位相差零の線Ａ１を求めると共に、マイク１７Ａ，１７Ｃによる位相差零の線Ａ２を求めることにより線Ａ１と線Ａ２の交点Ａ３を求めることが可能となり、立体的にも一本の線上が位相差零の線として求められる。よって、上記説明のようにマイク１７Ａ，１７Ｂ，１７Ｃ間の位相差が零となる交点Ａ３の方向とカメラ２０の撮影方向が一致するように構成し、カメラ方向制御装置１９で位相差零の交点Ａ３の方向をカメラ２０及びマイク１７Ａ，１７Ｂ，１７Ｃが向くように自動制御することで、話者の方向にカメラ２０の撮影方向が自動的に向くようにすることが出来る。
【００１３】
次に本発明の第２実施例を説明する。図５は本発明の第２実施例におけるカメラ撮影制御装置の全体構成図である。図５において１７Ａ，１７Ｂ，１７Ｄはマイクであり、話者１Ａ，１Ｂから発せられた音声を検知しその出力信号ｅ，ｆ，ｇは位相差検出回路１８に入力される。位相差検出回路１８は複数のマイク１７Ａ，１７Ｂ，１７Ｄで検知された音の位相差を検出する回路であり、撮影画角制御装置２１に入力される。撮影画角制御装置２１はカメラ２０の撮影画角を制御する装置であり、カメラ２０に接続されている。またカメラ方向制御装置１９はマイク１７Ａ，１７Ｂ，１７Ｄ及びカメラ２０を共に話者１Ａ，１Ｂの方向に向ける装置でありマイク１７Ａ，１７Ｂ，１７Ｄ、位相差検出回路１８、撮影画角制御装置２１、カメラ２０と共に構成される、なお、マイク１７Ｄは話者１Ａ，１Ｂとカメラ２０の撮影方向つまり話者１Ａ，１Ｂとマイク１７Ｄを直線で結んだ線に対し直交する線上に位置するものとし、カメラ方向制御装置１８によりカメラ２０の撮影方向及びマイク１７Ａ，１７Ｂの方向を話者１Ａ，１Ｂの方向に向けた状態では、話者１Ａ，１Ｂとマイク１７Ａ，１７Ｂ間の距離Ｌ６とＬ７は等しくなるように配置構成するものとする。
【００１４】
以上のように構成されたカメラ撮影制御装置について図５を参照しながらその動作を説明する。まずカメラ方向制御装置１９にてカメラ２０の撮影方向及びカメラ２０と同一方向に向くマイク１７Ａ，１７Ｂ，１７Ｄが、話者１Ａ，１Ｂの方向を向くように制御する。次に話者１Ａ，１Ｂとマイク１７Ａ，１７Ｂ，１７Ｄとの相対位置関係に対する音の位相差について説明する。話者１Ａとマイク１７Ａ，１７Ｂ，１７Ｄ間の相対距離がＬ６，Ｌ７，Ｌ５のように異なるため、話者１Ａから発せられた音がマイク１７Ａ，１７Ｂ，１７Ｄに到達する時間及び位相は異なる。そこで位相差検出回路１８により位相差を処理検出し、求められた位相差情報を信号ｈとして撮影画角制御装置２１へ出力している。図６（ａ）は本発明の第２実施例におけるカメラ撮影制御装置のマイクと話者の配置関係図、図６（ｂ）は本発明の第２実施例におけるカメラ撮影制御装置のマイクと話者の角度のグラフ、図６（ｃ）は本発明の第２実施例におけるカメラ撮影制御装置のマイクと話者の距離と角度の関係図、図６（ｄ）は本発明の第２実施例におけるカメラ撮影制御装置の距離と距離の差の関係図である。ここで話者から発せられた音に対するマイク１７Ａ，１７Ｂ，１７Ｄ間の位相差と、マイク１７Ａ，１７Ｂ，１７Ｄと話者との距離の関係については、図６（ａ）において距離Ｌ６とＬ７は同じとなる位置関係なので距離Ｌ５と距離Ｌ６及びそれらの距離の差を（式１）で計算する。
【００１５】
【数１】

【００１６】
また距離Ｌ６と距離Ｌ５の距離の差は（式２）になる。
【００１７】
【数２】

【００１８】
また（式２）の第２項をグラフで表すと図６（ｂ）となりマイク１７Ａ，１７Ｂと話者１Ａの角度θ１で一義的に決まることが分る。そこで角度θ１についてはマイク１７Ｄと１７Ａとの間の距離をＬ０とし、距離Ｌ０は固定の距離とすると角度θ１は（式３）になる。
【００１９】
【数３】

【００２０】
そして角度θ１は図６（ｃ）のように距離Ｌ５で一義的に決定されることが分る。以上のことより距離Ｌ６と距離Ｌ５の差は距離Ｌ５で一義的に決定され、図６（ｄ）のようになることがわかる。また音の位相差は第１実施例と同様に距離の違いで決定されるので、距離Ｌ５でマイク１７Ｄと１７Ａ，１７Ｂ間の音の位相差は決定されることとなる。このことを利用して、マイク１７Ａ，１７Ｂ，１７Ｄからの出力信号ｅ，ｆ，ｇを位相差検出回路１８に入力し、マイク１７Ｄと１７Ａ，１７Ｂ間の音の位相差によりマイク１７Ａ，１７Ｂ，１７Ｄから話者１Ａまでの距離Ｌ５を知ることが出来る。このようにして位相差検出回路１８にて得られたマイクと話者との距離情報である信号ｈを撮影画角制御装置２１へ入力し、距離に応じた適正な撮影画角となるように自動的に制御される。なおマイク１７Ｄに対しマイク１７Ａ，１７Ｂはどちらか片方でも良いが、カメラ２０の撮影方向及びマイクの方向を話者１Ａの方向に制御する制御精度が低いような時に距離Ｌ５，Ｌ６，Ｌ７間の差の検出精度を向上するためのものであり、距離Ｌ６と距離Ｌ７に応じ検出された距離情報を平均化して使用している。マイク１７Ａ，１７Ｂ，１７Ｃ，１７Ｄの具体的な構成例を図７の本発明の第２実施例におけるカメラ撮影制御装置のマイクとカメラの配置図に示すが、ここで第１実施例と共に同一システムに用いる場合、図７に示すようにマイク１７Ａ，１７Ｂは第１実施例のマイク１７Ａ，１７Ｂと共用化することも可能である。
【００２１】
【発明の効果】
以上のように本発明のカメラ撮影制御装置によれば、人の操作によらず自動的に話者の方向へカメラの撮影方向を制御できる。したがって電子テレビ会議の議事進行などにおけるカメラ操作の中でも頻度が高く且つ操作に時間を要することが多い話者の方向にカメラの撮影方向を向ける操作を人がする必要がなくなり、電子会議システムのカメラ制御の操作時間及び操作性が大幅に改善される。さらには、カメラと話者との距離に関係なく話者の撮影される大きさを適切な一定値とするためのカメラの撮影画角制御をする場合に話者が適切な大きさで撮影される撮影画角が自動的に制御でき、電子会議システムの操作性が更に向上する。
【図面の簡単な説明】
【図１】本発明の第１実施例におけるカメラ撮影制御装置の全体構成図
【図２】本発明の第１実施例におけるカメラ撮影制御装置の音の位相差の説明図
【図３】本発明の第１実施例におけるカメラ撮影制御装置の音の位相差の説明図
【図４】（ａ）は本発明の第１実施例におけるカメラ撮影制御装置の構成位置の説明図（ｂ）は本発明の第１実施例におけるカメラ撮影制御装置の構成位置の説明図
【図５】本発明の第２実施例におけるカメラ撮影制御装置の全体構成図
【図６】（ａ）は本発明の第２実施例におけるカメラ撮影制御装置のマイクと話者の配置関係図
（ｂ）は本発明の第２実施例におけるカメラ撮影制御装置のマイクと話者の角度のグラフ
（ｃ）は本発明の第２実施例におけるカメラ撮影制御装置のマイクと話者の距離と角度の関係図
（ｄ）は本発明の第２実施例におけるカメラ撮影制御装置の距離と距離の差の関係図
【図７】本発明の第２実施例におけるカメラ撮影制御装置のマイクとカメラの配置図
【図８】従来のカメラと被写体である話者との距離に対する撮影画角の説明図
【図９】従来のカメラ撮影制御装置の全体構成図
【符号の説明】
１７Ａマイク
１７Ｂマイク
１７Ｃマイク
１７Ｄマイク
１８位相差検出回路
１９カメラ方向制御装置
２０カメラ
２１撮影画角制御装置

Claims

話者からの発音を感知する少なくとも第１、第２、及び第３マイクと、画像を撮影し撮影画角を制御可能なカメラと、これらの各マイク間の音の位相差を検出する位相差検出回路と、前記第１、第２、第３マイク、及び前記カメラを共に話者方向に向けるカメラ方向制御装置と、距離に応じた適正な撮影画角となるように制御する撮影画角制御装置とを有し、
前記第１、第２、第３マイクを平面上に配置し、かつ前記位相差が零となる方向に前記カメラの撮影方向が一致するように構成し、
少なくとも前記第１マイクと前記第２マイクとに基づいて前記位相差検出回路で検出された前記位相差を零となるように前記カメラ方向制御装置が前記カメラの方向を制御した後、前記第１マイクと前記第２マイクとのいずれか１と前記第３マイクとに基づいて前記位相差検出回路で得られた距離情報から前記撮影画角制御装置が前記カメラの撮影画角を制御することを特徴とするカメラ撮影制御装置。
前記距離情報は、前記第３マイクとカメラの方向制御に用いた前記第１マイクとの位相差とマイク間距離とから得られた第１距離情報と、前記第３マイクとカメラの方向制御に用いた前記第２マイクとの位相差とマイク間距離とから得られた第２距離情報との平均値を使用することを特徴とする請求項１記載のカメラ撮影制御装置。