JP5235910B2 - カメラ雲台システム - Google Patents

Description

本発明は、カメラのパン回転およびチルト回転が可能なカメラ雲台システムに関する。

監視カメラ等の天井吊り下げタイプのカメラ雲台システムにおいて、正面から接近してくる被写体をチルト回転するカメラにより追跡しながら撮影する際に、カメラの真下を通過した後に得られる映像中の被写体は、何も映像処理をしなければ、上下が逆さまになる。このため、カメラのチルト角度が予め設定された角度（例えば、真下を向く９０°）になると、撮影映像を１８０°反転処理して被写体の上下を正しく表示する機能が装備されることが多い。

特許文献１には、撮影映像を一旦蓄えるメモリを備え、カメラの天井に対するチルト角度が９０°以上である場合に、メモリからの撮影映像の読み出し方法を変更することで正常な上下関係を有するように反転処理された表示映像を生成する方法が開示されている。

特開２００３−２８９４６６号公報

しかしながら、特許文献１にて開示された方法では、カメラのチルト回転方向は変化しないにもかかわらず、反転処理によって表示映像中の被写体の進行方向が突然変化するので、監視しているユーザが操作に不安を感じたり違和感を持ったりしてしまう。

また、カメラの真下で被写体が行ったり来たりすると、被写体の進行方向が判らなくなり、該被写体を追跡するための操作に混乱を生ずるおそれがある。

本発明は、表示映像中における被写体の進行方向の変化の不自然さを低減し、被写体を追跡するための操作の混乱を生じ難くすることができるようにしたカメラ雲台システムを提供する。

本発明の一側面としてのカメラ雲台システムは、被写体を撮影して撮影映像を生成するカメラと、該カメラを、パン軸回りおよびチルト軸回りで回転させる雲台と、撮影映像から表示映像を生成する映像処理手段とを有する。映像処理手段は、カメラが所定角度位置を通過してチルト軸回りで回転する際に、該所定角度位置において撮影映像をパン軸回りで０°より大きく１８０°より小さい角度だけ回転させた映像に相当する第１の表示映像を生成した後、撮影映像をパン軸回りで１８０°回転させた映像に相当する第２の表示映像を生成することを特徴とする。

また、本発明の他の一側面としてのカメラ雲台システムは、被写体を撮影する撮影レンズと、撮影レンズを、鉛直方向と垂直な第１軸を中心として回転させて該撮影レンズの光軸と鉛直方向との傾斜角を変更する第１駆動機構と、撮影レンズおよび第１駆動機構を第１軸と垂直な第２軸を中心として回転させる第２駆動機構とを有する雲台とを備える。該システムは、傾斜角を変更する際に、傾斜角が第１の角度に到達したことに応じて、傾斜角が第１の角度に到達する前に得られる撮影映像を０°より大きく１８０°より小さい角度だけ回転させた映像に相当する第１の表示映像を生成し、傾斜角が第１の角度とは異なる第２の角度に到達したことに応じて、傾斜角が第１の角度に到達する前に得られる撮影映像を１８０°回転させた映像に相当する第２の表示映像を生成する映像処理手段を有することを特徴とする。

本発明では、カメラが所定角度位置（例えば、真下）を通過してチルト軸（第１軸）回りで回転する際に、撮影映像に対する１８０°反転映像に相当する第２の表示映像を生成（出力）する前に、０°より大きく１８０°より小さい角度だけ回転させた映像に相当する第１の表示映像を出力する。このため、表示映像中における被写体の進行方向の変化の不自然さを低減することができ、被写体を追跡するための操作の混乱を生じ難くすることもできる。

本発明の実施例１であるカメラ雲台システムの概略構成を示す図。 実施例１における被写体とカメラ雲台システムとモニター表示との関係を示す図。 実施例１における画像メモリの制御動作を説明する図。 実施例１の画面表示の遷移を説明するためのフローチャート。 実施例１におけるカメラ雲台システムとモニター表示回転角度との関係を示す図。 実施例１における画素補間方法を説明する図。 実施例２における被写体のモニター表示を示す図。 実施例３における被写体のモニター表示を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１であるカメラ雲台システムの構成を示している。図２には、実施例１におけるカメラ雲台システムとそのチルト角度に対応するモニター表示映像との関係を示している。

図１において、１は被写体を撮影して撮影映像を生成するカメラと、該カメラにパン軸回りでのパン回転およびチルト軸回りでのチルト回転を行わせる雲台とにより構成されるカメラ雲台システムである。ＰＡはパン軸（第２軸）であり、ＴＡはチルト軸（第１軸）である。チルト軸ＴＡは、鉛直方向と垂直な軸であり、チルト回転によって撮影レンズ１１の光軸と鉛直方向との傾斜角が変更される。また、パン軸ＰＡは、チルト軸ＴＡと垂直な軸である。

カメラ雲台システム１のパン回転およびチルト回転は、不図示のリモートコントローラやＬＡＮ等のネットワークを通じた遠隔操作によって制御される。

被写体からの光は撮影レンズ１１を通過して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子２上に被写体像を形成する。撮像素子２は、被写体像を光電変換して撮像信号を出力する。ＧＢＲ分離回路３は撮像素子２からの撮像信号をＧ（緑），Ｂ（青），Ｒ（赤）の色信号に分離する。画像信号処理回路４は、Ｇ，Ｂ，Ｒの色信号（アナログ信号）をデジタル信号に変換した後、該デジタル信号に各種信号処理を行って、映像信号（以下、撮影映像という）を生成する。撮影映像を構成する少なくとも１つのフレーム画像は、画像メモリ６に一時的に書き込まれる。画像メモリ６のアドレス発生制御やタイミング制御は、演算処理回路（以下、ＣＰＵという）５が行う。

ＣＰＵ５は、画像メモリ６に対してフレーム画像の書き込みおよび読み出し制御を行う。画像信号処理回路４は、画像メモリ６から読み出されたフレーム画像を、所定の出力形式に変換した後、映像出力端子７から不図示のモニターに出力する。画像信号処理回路４、ＣＰＵ５および画像メモリ６により映像処理手段が構成される。

こうして、フレーム画像が順次モニターに出力されることで、出力映像が表示される。出力映像は、カメラによる撮影をしたままの撮影映像（画像メモリ６に書き込まれたフレーム画像）に対して後述する読み出し制御が行われた結果得られる映像であり、撮影映像と同じ映像であることもあれば異なる映像となることもある。

ＣＰＵ５は、チルト（Ｔ）駆動部（第１駆動機構）１２およびパン（Ｐ）駆動部（第２駆動機構）１３の制御や、撮影レンズ１１のズーム（Ｚ）・フォーカス（Ｆ）の制御を行う。具体的には、ＣＰＵ５は、不図示のリモートコントローラ等から送られてくるＰ／Ｔ／Ｚ／Ｆ制御データを、通信端子８を介して受信する。そして、ＣＰＵ５は、該制御データに応じて、Ｐ駆動部１３およびＴ駆動部１２に対してＰ／Ｔ制御信号を出力し、撮影レンズ１１に対してＺ／Ｆ制御信号を出力する。Ｐ駆動部１３およびＴ駆動部１２は、Ｐ／Ｔ制御信号に応じて雲台のパン回転およびチルト回転を行わせる。撮影レンズ１１は、Ｚ／Ｆ制御信号に応じてズームおよびフォーカスを行う。

１４はチルト角度検出器であり、雲台の設置基準（本実施例では天井面）に対するチルト角度を検出し、該チルト角度に対応する角度データをＣＰＵ５に対して出力する。

画像メモリ６の制御について詳述する。図３（ａ）に示すように、撮影映像（フレーム画像）の有効画素数を、水平方向に１９２０、垂直方向に１０８０とし、Ｇ，Ｂ，Ｒの画素データをそれぞれ１０ｂｉｔとする。画面の左上端から毎秒必要フレーム数のデータが得られる周期でサンプリングし、画素数に関連付けて発生させた書き込みアドレス（簡単には１９２０×１０８０×フレーム数）に対応させて１フレーム以上のＧＢＲ画素データを画像メモリ６に書き込む。データの幅は３０ｂｉｔである。有効画素数や発生するアドレス、データ幅、ＣＰＵの個数等のハードの制約に合わせて構成を変更することは可能である。

次に、カメラ雲台システム１の回転に対応した画像メモリ６の制御について説明する。図２（ａ）に示すように、カメラ雲台システム１は、Ｐ駆動部１３のベース部が天井に取り付けられることで、天井から吊り下げられている。ここでは、カメラ雲台システム１が移動する被写体２１，２３，２５を追跡してチルト回転し、チルト角度（傾斜角）が０°から、途中で真下（９０°付近）を通過して１８０°に変化する場合について説明する。

チルト角度が０°から第１の設定角度（第１の角度）としての８５°に至るまでの間は、画像メモリ６からの読み出しを書き込み順に、すなわち順読み出しを行う。これにより、被写体は、モニターにおいて出力映像２６が表示される。以下の説明において、出力映像２６のような撮影映像と同じ（回転していない）出力映像を非回転映像という。

チルト角度が第２の設定角度（第２の角度）である９５°を超えて１８０°に至るまでの間は、画像メモリ６からの順読み出しでは被写体は映像３０のように上下逆さまに表示される。そこで、書き込み順とは逆の順、具体的には書き込んだ１０８０ラインの１９２０画素から１ラインの１画素目の方向に読み出しを行う。これにより、撮影映像（映像３０）をパン軸回りに１８０°回転させた、すなわち上下を反転させた映像に相当し、被写体の上下関係が正しい出力映像（第２の表示映像）３５が得られる。以下の説明において、出力映像３５のように撮影映像に対して１８０°回転した映像に相当する出力映像を１８０°回転映像という。

そして、カメラ雲台システム１の真下付近であるチルト角度が８５°〜９５°の範囲（所定角度位置）では、撮影映像（映像２８）をパン軸回りに９０°回転させた映像に相当する出力映像（第１の表示映像）３３が得られるように画像メモリ６からの読み出しを行う。

具体的には、図３（ｂ）に示すように、画像メモリ６に書き込んだ１０８０ラインの４２１画素データを先頭にして、次に１０７９ラインの４２１画素データを読み出し、最後に１ラインの１５００画素データを読み出す。以下の説明において、出力映像３３のように撮影映像に対して９０°回転した映像に相当する出力映像を９０°回転映像という。

画像信号処理回路４では、１〜１０８０ラインの画素データが存在しない１〜４２０画素と１５０１〜１９２０画素の表示位置を黒レベル等の固定のデータに設定する。そして、画像メモリ６から読み出した有効データを、ＨＤ−ＳＤＩ等の適当な出力形式にフォーマット化してモニターに出力する。

図４のフローチャートには、ＣＰＵ５により行われるチルト角度検出器１４による検出角度θに応じた映像表示処理（画像メモリ６からの読み出し制御）を示している。チルト角度検出器１４による角度検出および検出角度θに応じた映像表示処理は、フレームごとに行われる。

処理がスタートすると、ＣＰＵ５は、ステップＳ１０１において、チルト角度検出器１４による検出角度θが第１の設定角度である８５°以上か否かを判別する。検出角度θが８５°以上である場合は（すなわち、検出角度θが８５°に到達したことに応じて）ステップＳ１０２に進み、８５°より小さい場合はステップＳ１０３に進む。

ステップＳ１０２では、ＣＰＵ５は、チルト角度検出器１４による検出角度θが第２の設定角度である９５°以上か否かを判別する。検出角度θが９５°以上である場合は（すなわち、検出角度θが９５°に到達したことに応じて）ステップＳ１０５に進み、９５°より小さい場合は、ステップＳ１０４に進む。

ステップＳ１０３では、ＣＰＵ５は、非回転映像をモニターに表示する。ステップＳ１０４では、ＣＰＵ５は、９０°回転映像をモニターに表示する。ステップＳ１０５では、ＣＰＵ５は、１８０°回転映像をモニターに表示する。

ステップＳ１０３〜ステップＳ１０５の処理によってモニターに表示される出力映像が切り換わることになるが、該映像切り換えをスムーズにするために、第１の設定角度と第２の設定角度に対してヒステリシス角度ｈ°が設定されている。ヒステリシス角度ｈ°は、表示映像の切り換えをスムーズに行うために設定された角度であり、第１の設定角度と第２の設定角度との差より小さい角度に設定される。

検出角度θが１８０°から０°の方向に変化する場合は、「第１の設定角度−ｈ°」と「第２の設定角度−ｈ°」が映像切り換えが行われる角度となる。

本実施例では、非回転映像と１８０°回転映像との間に９０°回転映像を表示する場合について説明した。しかし、９０°回転映像の前後に、０°より大きく１８０°より小さい角度範囲で９０°以外の角度だけ撮影映像をパン軸回りで回転させた映像に相当する出力映像を非回転映像と１８０°回転映像との間に表示させてもよい。これにより、より違和感の少ない映像切り換えが可能である。

具体的には、図２（ｃ）の非回転映像３１と９０°回転映像３３との間に、チルト角度検出器１４による検出角度θが８５°になることに応じて、図２（ｄ）に示すように撮影映像をパン軸回りで４５°回転させた映像に相当する４５°回転映像３２を表示する。また、９０°回転映像３３と１８０°回転映像３５との間に、検出角度θが９５°になることに応じて、撮影映像をパン軸回りで１３５°回転させた映像に相当する１３５°回転映像３４を表示する。

この場合のカメラ雲台システム１のチルト角度（検出角度θ）とモニターに出力される映像の撮影映像に対する回転角度との関係を図５に示す。なお、図５では、ヒステリシス角度ｈ°は省略している。

従来は、カメラ雲台システム１の真下を通過したときに突然、非回転映像から１８０°回転映像に切り換わる。しかし、本実施例では、真下付近で徐々にパン軸回りでの回転角度が増加するような出力映像が表示された後に、１８０°回転映像が表示される。

チルト角度の変化方向が１８０°から０°の方向である場合は、１８０°回転映像から、真下付近で徐々にパン軸回りでの回転角度が減少するような出力映像が表示された後に、非回転映像が表示される。

図２（ｄ）に示した４５°回転映像３２と１３５°回転映像３４は、前述した単純な画像メモリ６からの読み出しアドレスの変更だけでは実現できない。しかし、表示画素位置の画素データを画像メモリに書き込んだデータから回転した場合の隣接画素データ値と画素間距離から計算して補間することで、４５°回転映像３２と１３５°回転映像３４を生成することができる。

例えば、図６に示すように、画素ｓを中心としたパン軸回りでの回転映像を得るためには、画像メモリ６に書き込んだ画像データを画像メモリ６上で回転させ、カメラ雲台システム１からの出力時に必要な画素Ｐのデータを補間することによって生成する。画素Ｐに隣接する回転後の４画素のデータ値をｐ１１，ｐ１２，ｐ２１，ｐ２２とすると、これらの値を画像メモリ６からＣＰＵ５に取り込み、線形補間による次式の演算を行うことで画素Ｐの画素データを求めることができる。なお、画素間距離は１とする（正方ピクセル）。
Ｐ＝ｐ１１（１−ｄ１）（１−ｄ２）＋ｐ１２（１−ｄ１）ｄ２
＋ｐ２１・ｄ１（１−ｄ２）＋ｐ２２・ｄ１・ｄ２
ｄ１，ｄ２は画素Ｐからの回転後の４画素までの直交２方向での距離である。

本実施例では、ノンインターレース方式について説明したが、インターレース方式であってもフレーム化処理が挿入されるだけで、基本的な考え方はノンインターレース方式と同様である。

また、画素補間の方法においては、例として挙げた隣接４画素補間の方法に限定するものではなく、多画素による高次の補間や前フレームのデータを利用してもよい。

また、演算処理時間を短くするために、複数の画像メモリを用いた並列処理を行うようにしてもよい。

さらに、上記実施例にて説明した各角度（４５°，９０°，１３５°，１８０°，８５°，９５°）や他の数値は例に過ぎず、他の角度や数値を設定してもよい。

実施例１では、映像のパン軸回りでの回転中心を映像の中央とする場合について説明したが、図７（ａ）に示す出力映像４１，４３，４５のように、移動する被写体が映像中心に存在しない場合も想定される。

この場合、撮影映像内で移動する被写体が存在する領域（好ましくはその領域の中心位置）を検出する検出機能をＣＰＵ５に持たせることで、図７（ｂ）に示すように、被写体が存在する領域を回転中心とした回転映像を得ることが可能となる。

移動する被写体が存在する領域を検出する機能は、例えば以下のようにして実現できる。現在フレームと前フレームとの画像データの差分から被写体の動き量をＣＰＵ５で算出する。そして、該動き量を、ＣＰＵ５に取り込んでいるチルト角度検出器１４の出力から求められるチルト角度変化量と比較して、動き量が少ない領域を、追跡している移動被写体と判定することで、移動被写体の領域（さらにはその中心）を求めることができる。

こうして求められた移動被写体の領域を中心として、実施例１と同様に、カメラ雲台システムの真下付近で９０°回転映像４８（さらには４５°および１３５°回転映像）を表示する。すなわち、非回転映像４６、９０°回転映像４８および１８０°回転映像５０を順にモニターに表示する。これにより、非回転映像４６からいきなり１８０°回転映像５０に出力映像が切り換わって映像中の人が突然左右に移動するような違和感のある表示を回避することができる。

実施例１，２では、各回転映像を画像メモリ６からの読み出し制御（画像処理）のみによって生成する場合について説明した。しかし、撮影レンズ１１の動作を加えることで、より良好な効果を得ることができる。

例えば、実施例１において、ＣＰＵ５からの指令により撮影レンズ１１をそれまでのズーム状態から広角側のズーム状態に光学ズーム動作させる。これにより、モニター上では、被写体が映像中心に近づくため、実施例２で説明した被写体領域を中心とした回転映像生成方法と同様の効果が期待できる。また、広角側に光学ズーム動作を行わせることで、周囲の風景も表示されるので、パン軸回りでの回転処理を行っていることがより明確になる。

図８（ａ）は、カメラ雲台システム１の真下付近において、撮影レンズ１１を広角側に光学ズーム（以下、レンズズームという）のみを行った場合にモニターに表示される出力映像６１，６２，６３を示している。

カメラ雲台システム１の真下付近において広角側にレンズズームを行うと、出力映像６３に示すように、映像中の被写体は小さくなるが、被写体の周辺の広い範囲の映像が表示される。

実施例１，２においては、９０°回転映像を表示する際に画像データが無い周辺範囲では黒等の固定データを表示した。しかし、図８（ｂ）に示すように、電子ズームを行って、非回転映像６６や１８０°回転映像７０内での被写体の大きさに合わせて被写体（９０°回転映像の一部）を拡大することで、周辺範囲にも映像が存在する９０°回転映像６８を表示することができる。

電子ズームでは、実施例１で説明した画素データ補間と同様に拡大率に応じてＣＰＵ５で画素間距離を算出し、被写体を中心として切り出し表示するために必要な位置のデータを隣接画素データから生成する。図８（ｂ）に示した９０°回転映像６８は、図８（ａ）の出力映像６３の被写体を中心とした部分を切り出してパン軸回りで９０°回転させた後、電子ズームにより拡大処理して生成された映像である。

図８（ｃ）に、カメラ雲台システムのチルト角度と電子ズームの拡大率とレンズズーム状態との関係を示す。レンズズーム状態と画角の関係はテーブル化してＣＰＵ５で保持してもよいし、レンズズームを行う直前の被写体の大きさをメモリに保持して、ほぼ同じ大きさの被写体映像が得られるようにズーム倍率を制御してもよい。

さらに、映像切り換えをより違和感少なく行うためには、被写体の移動速度を検出し、該移動速度に応じて、回転映像を表示するチルト角度や非回転映像と１８０°回転映像との間に表示する回転映像数を変更してもよい。被写体の移動速度が速ければ（第１の速度より速い第２の速度であれば）、浅いチルト角度（例えば、８５°より小さいチルト角度）から回転映像を表示したり、回転映像数を少なくしたりしても違和感が生じにくい。また、被写体の移動速度が遅ければ（第１の速度であれば）、真下付近での回転映像数を多くした方がより違和感が生じにくい。

被写体の移動速度の検出機能は、ＣＰＵ５が、チルト角度検出器１４の出力の単位時間あたりの変化量に基づいて移動速度を算出することで実現可能である。

また、カメラ雲台システム１は、遠隔操作によって入力されるパン指令信号に応じてパン回転する操作機能を有するが、カメラ雲台システム１の真下付近において回転映像の表示処理中に入力されたパン指令信号は無視するようにしてもよい。すなわち、パン指令信号が入力されてもパン回転を行わないようにしてもよい。これにより、回転映像の生成処理が遅れたり、該処理のための回路規模が大きくなったりすることを回避できる。

また、上記各実施例では、雲台に内蔵されたＣＰＵ５と画像メモリ６と画像信号処理回路４とを用いて回転映像を生成する場合について説明したが、これらを雲台の外部に設けて回転映像を生成してもよい。この場合も、該外部に設けられたＣＰＵ、画像メモリおよび画像信号処理回を含めてカメラ雲台システムが構成される。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

表示映像中における被写体の進行方向の変化の不自然さを低減したカメラ雲台システムを提供できる。

１ カメラ雲台システム
２ 撮像素子
４ 画像信号処理回路
５ 演算処理回路（ＣＰＵ）
６ 画像メモリ
１２ チルト駆動部
１３ パン駆動部

Claims (6)

1. 被写体を撮影して撮影映像を生成するカメラと、
   該カメラを、パン軸回りおよびチルト軸回りで回転させる雲台と、
   前記撮影映像から表示映像を生成する映像処理手段とを有し、
   前記映像処理手段は、前記カメラが所定角度位置を通過して前記チルト軸回りで回転する際に、前記所定角度位置において前記撮影映像を前記パン軸回りで０°より大きく１８０°より小さい角度だけ回転させた映像に相当する第１の表示映像を生成した後、前記撮影映像を前記パン軸回りで１８０°回転させた映像に相当する第２の表示映像を生成することを特徴とするカメラ雲台システム。
2. 前記映像処理手段は、前記撮影映像内において移動被写体を検出する検出機能を有し、該移動被写体を検出したときは、前記撮影映像を前記移動被写体を検出した位置を通る前記パン軸回りで回転させた映像に相当する前記第１および第２の表示映像を生成することを特徴とする請求項１に記載のカメラ雲台システム。
3. 前記映像処理手段は、前記所定角度位置において、前記カメラの広角側への光学ズーム又は前記撮影映像の一部を拡大する電子ズームを行って前記第１の表示映像を生成することを特徴とする請求項１に記載のカメラ雲台システム。
4. 前記映像処理手段は、前記撮影映像内において移動被写体の移動速度を検出する検出機能を有し、該移動速度が第１の速度のときに比べて該第１の速度よりも速い第２の速度であるときに前記第１の表示映像として生成する映像数を増加させることを特徴とする請求項１から３のいずれか一項に記載のカメラ雲台システム。
5. 前記雲台は、該雲台に入力されるパン指令信号に応じて前記パン軸回りで回転する操作機能を有し、
   該雲台は、前記第１の表示映像が表示されているときは、前記パン指令信号が入力されても前記パン軸回りでの回転を行わないことを特徴とする請求項１から４のいずれか一項に記載のカメラ雲台システム。
6. 被写体を撮影する撮影レンズと、
   前記撮影レンズを、鉛直方向と垂直な第１軸を中心として回転させて該撮影レンズの光軸と鉛直方向との傾斜角を変更する第１駆動機構と、前記撮影レンズおよび前記第１駆動機構を前記第１軸と垂直な第２軸を中心として回転させる第２駆動機構とを有する雲台と、
   を備えるカメラ雲台システムであって、
   前記傾斜角を変更する際に、前記傾斜角が第１の角度に到達したことに応じて、前記傾斜角が第１の角度に到達する前に得られる撮影映像を０°より大きく１８０°より小さい角度だけ回転させた映像に相当する第１の表示映像を生成し、前記傾斜角が前記第１の角度とは異なる第２の角度に到達したことに応じて、前記傾斜角が前記第１の角度に到達する前に得られる撮影映像を１８０°回転させた映像に相当する第２の表示映像を生成する映像処理手段を有することを特徴とするカメラ雲台システム。