以下、本発明の実施形態について添付図面を参照して詳細に説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態の撮像システムを示す外観斜視図である。図1(a)は、撮像システム1を正面側から見た斜視図であり、図1(b)は、撮像システム1を背面側から見た斜視図である。
図1において、撮像システム1は、光軸の向きを変更できない第1のカメラ(以下、固定カメラ)2と、駆動手段を用いて光軸の向きを変更可能な第2のカメラ(以下、パンチルトカメラ)3とを有する。パンチルトカメラ3は、モーター等のアクチュエーターを用いて、電動で光軸の向きを変更可能である。
パンチルトカメラ3は、固定カメラ2の上面に配置されており、固定カメラ2の上面を基準にパンチルト可能に配置されている。なお、本実施形態では、パンチルトカメラ3と固定カメラ2は一体の撮影装置として構成しているが、本発明はこの形態に限定されるものではない。例えば、パンチルトカメラ3と固定カメラ2は、それぞれ独立した別体のカメラであって、パンチルトカメラ3を固定カメラ2の上面に着脱可能にした構成でも構わない。
ここで、X軸を固定カメラ2の幅方向(横方向)、Y軸を固定カメラ2の高さ方向(縦方向)、Z軸を固定カメラ2の光軸方向(奥行き方向)として、以下説明する。
パンベース部9を台座として、パン駆動部10が、Y軸と平行な軸14を中心として左右回転することにより、パン動作が行われる。また、パン駆動部10を台座として、チルト駆動部11が、X軸と平行な軸13を中心として上下回転することにより、チルト動作が行われる。なお、軸13と軸14は直交している。チルト駆動部11には、パンチルトカメラ3のレンズ鏡筒部12と、レンズ鏡筒部(第2の撮影光学系)12により結像された被写体像を撮像する後述する撮像素子302が配置されている。
パン動作およびチルト動作は、各々を単独で動作させることが出来るだけでなく、パン動作とチルト動作を同時に組み合わせることも出来る。パン動作とチルト動作を同時に組み合わせることで、パンチルトカメラ3は、パンチルトカメラ3を中心とした上下左右の全周の範囲の方向を撮影することが可能となる。
図2は、パンチルトカメラ3が、パン動作およびチルト動作をした状態の一例を示す図である。図2では、固定カメラ2の正面から見て、右側に45度(回転角度)のパン動作、上側に60度のチルト動作を行った状態を示している。前述のように、パン動作、チルト動作は、パンチルトカメラ3を中心として上下左右の全周の範囲にわたって可能である。
図1(a)に示すように、パンチルトカメラ3が固定カメラ2と同じ正面方向を向いた時には、パンチルトカメラ3の光軸と固定カメラ2の光軸は、X方向の位置が一致している。言い換えると、パンチルトカメラ3の光軸は、固定カメラ2の光軸の真上に平行に配置される状態となる。また、同様に、後述するパンチルトカメラ3の撮像素子も固定カメラ2の撮像素子の真上に平行に配置される状態となる。
パンチルトカメラ3の光軸と固定カメラ2の光軸のX方向の位置を一致させることにより、2つのカメラが同じ被写体を撮影した時の、被写体のずれを少なくできる。本実施形態では、パンチルトカメラ3を固定カメラ2の上面に配置しているが、この構成に限定されるものではない。例えば、パンチルトカメラ3を固定カメラ2の側面または下面に配置してもよい。つまりは、パンチルトカメラ3と固定カメラ2が、同じ被写体を撮影できる位置関係に配置されていればよい。
図1(b)に示すように、固定カメラ2の背面には、画像表示部7が配置されている。画像表示部7の右側には、操作部材(操作ボタン)8a~8fが配置されている。操作部材8a~8fを操作することにより撮影画像を画像表示部7に表示させたり、カメラの様々な設定を行ったりすることができる。
固定カメラ2の前面には、レンズ鏡筒部(第1の撮影光学系)4が配置されている。固定カメラ2の上面部には、撮影時にシャッターを切るためのシャッターボタン5、レンズ鏡筒部4のズーム操作を行うズームレバー6が配置されている。シャッターボタン5をユーザが操作すると、パンチルトカメラ3と固定カメラ2で同時に撮影を行うことが可能である。撮像システム1の設定によっては、シャッターボタン5の操作で、パンチルトカメラ3、固定カメラ2のどちらか一方で撮影することも可能である。ユーザがズームレバー6をテレ側に操作すると、固定カメラ2のレンズ鏡筒部4が固定カメラ2から突出する方向に駆動される。また、ワイド側に操作すると、固定カメラ2のレンズ鏡筒部4が固定カメラ2に繰り込まれる方向に駆動される。また、ズームレバー6を操作した際に、パンチルトカメラ3のズームを動作させるように設定することも可能である。
画像表示部7には、固定カメラ2で撮影された画像(再生画像)、およびパンチルトカメラ3で撮影された画像(再生画像)を表示することが可能である。どちらかのカメラの撮影画像(再生画像)を表示している際に、他方のカメラの撮影画像(再生画像)を表示させたい場合は、操作部材8を操作することにより切り替えが可能である。加えて、2つのカメラの撮影画像(再生画像)を同時に表示させることも可能である。さらには、パンチルトカメラ3で撮影された画像、および固定カメラ2で撮影された画像を、不図示の電子機器に無線送信して表示させることも可能である。同様に、どちらか一方の画像、もしくは両方の画像を表示させることも可能である。
画像表示部7は、表示画面上にパンチルトカメラ3の撮影中の画像(パンチルトカメラライブビュー画像)および、固定カメラ2の撮影中の画像(固定カメラライブビュー画像)を表示することが可能である。どちらかのカメラのライブビュー画像を表示している際に、他方のカメラのライブビュー画像を表示させたい場合は、操作部材8を操作することにより切り替えが可能である。加えて、2つのカメラのライブビュー画像を同時に表示することも可能である。
さらには、パンチルトカメラ3のライブビュー画像、および固定カメラ2のライブビュー画像を、不図示の電子機器に無線送信し、ライブビュー画像を電子機器の画像表示部に表示させることも可能である。ライブビュー画像を電子機器に無線送信する際には、パンチルトカメラ3のライブビュー画像を電子機器の画像表示部に表示させ、固定カメラ2のライブビュー画像を画像表示部7に表示させてもよい。また、逆に、パンチルトカメラ3のライブビュー画像を画像表示部7に表示させ、固定カメラ2のライブビュー画像を電子機器の画像表示部に表示させてもよい。また、両方のライブビュー画像を電子機器の画像表示部に表示させてもよい。なお、本実施形態では、画像表示部7を一つのみ搭載しているが、パンチルトカメラ3専用の画像表示部と固定カメラ2専用の画像表示部の2つの画像表示部を搭載してもよい。
パンチルトカメラ3で被写体を自動追尾させるには、画像表示部7、もしくは不図示の電子機器にパンチルトカメラのライブビュー画像を表示させて、表示中の被写体を操作部材8を用いて指定する。操作部材8でなくても、画像表示部7および不図示の電子機器の画像表示部がタッチパネルを備え、タッチ操作可能である場合は、表示されている被写体を画面上でタッチして指定してもよい。
パンチルトカメラ3で撮影中に、ユーザが追尾する被写体を指定することにより、被写体が移動しても、自動でその被写体を追尾することが可能である。パンチルトカメラ3が自動追尾をしている最中は、パンチルトカメラ3は、前述のパン動作とチルト動作を組み合わせて、被写体を追尾することが可能である。
パンチルトカメラ3が被写体を自動追尾している最中であっても、固定カメラ2を通常通りに操作、および撮影することが可能である。そのため、ユーザは、一度パンチルトカメラ3を自動追尾の設定にしておくと、固定カメラ2の操作に専念することが可能となる。よって、固定カメラ2は、パンチルトカメラ3の被写体とは別の被写体を撮影することも可能である。このような設定の時には、例えば、パンチルトカメラ3で飛行している飛行体(鳥や飛行機)を撮影中に、固定カメラ2では地上にいる被写体を同時に撮影することが可能となる。これは、両方のカメラが動画撮影中であっても、静止画撮影中であってもよく、一方のカメラが動画撮影中で、他方のカメラが静止画撮影中であってもよい。
図3は本実施形態の撮像システム1の構成を示すブロック図である。
まず、パンチルトカメラ3側の構成について説明する。光学系/光学系駆動機構301は、レンズ鏡筒部12を含み、撮影する際の光学系の焦点調節やズームの駆動を行う。撮像素子302は、光学系/光学系駆動部301により結像された光学情報を電子情報に変換する。画像処理部303は、撮像素子302により電子情報に変換されたデータに対して、圧縮処理やその他の画像処理を行う。画像記録部304は、画像処理部303から出力された画像データを格納する。
CPU305は、パンチルトカメラ3の全ての処理を統合して各種演算を行ったり、各部に指示を出したりする。画像表示部306は、画像記録部304に格納された画像データを表示したり、撮影中のライブビュー画像を表示したりする。画像表示部306は、図1においては不図示であるが、パンチルトカメラ3に備えられている。
パンチルト駆動部307は、図1に示したパンベース部9、パン駆動部10、チルト駆動部11を含み、パンチルトカメラ3のパン動作、チルト動作のための駆動を行う。パンチルト制御部308は、パンチルト駆動部307がパン動作、チルト動作をするための制御部であり、CPU305からの指示によりパン動作、チルト動作を制御する。パンチルト位置検出部309は、パンチルト駆動部307のパン、およびチルトの位置検出を行う。図2の例では、パン角度:右側45度、チルト角度:上側60度の位置検出を行い、CPU305にその情報を入力する。
次に固定カメラ2の構成について説明する。光学系/光学系駆動機構201は、図1に示したレンズ鏡筒部4を含み、撮影する際の光学系の焦点調節やズームの駆動を行う。撮像素子202は、光学系/光学系駆動部201により結像された光学情報を電子情報に変換する。画像処理部203は、撮像素子202により電子情報に変換されたデータに対して、圧縮処理やその他の画像処理を行う。画像記録部204は、画像処理部203から出力された画像データを格納する。
CPU205は、固定カメラ2の全ての処理を統合して各種演算を行ったり、各部に指示を出したりする。画像表示部206は、図1に示した画像表示部7を含み、画像記録部204で格納された画像データを表示したり、撮影中のライブビュー画像を表示したりする。操作処理部207は、操作部材8の操作により入力された指令を受け付ける処理を行い、CPU205に入力する。
外部機器接続部208は、外部の電子機器を、無線もしくは有線で撮像システム1に接続する。外部機器接続部208によって接続された電子機器は、パンチルトカメラ3の画像表示、撮影操作、その他の操作、固定カメラ2の画像表示、撮影操作、その他の操作などを撮像システム1の外部から指示することができる。
被写体検出部209は、操作処理部207により指定された被写体の画像データ上の位置や大きさを算出する。被写体像はライブビュー画像として表示される。ライブビュー動作でサンプリングした画像データに対して連続的に被写体検出を行うことにより、パンチルトカメラ3は被写体の動きを追尾することが可能となる。追尾している被写体を後述する被写体追尾領域で検出した場合は、CPU305は、パンチルト駆動制御部308に対して、パンチルト駆動部307を駆動して被写体を画角内に収めるよう指示する。
画像データ上の被写体の位置は、画像をいくつかのエリアに分けて、被写体がどのエリアに進入しているかを算出し、そのエリアを被写体の位置とすることにより検出する。エリアを細かくすることにより、詳細な位置検出を行うことが可能となる。このような処理により、ユーザは、パンチルトカメラ3の動作を気にせず、固定カメラ2でパンチルトカメラ3とは異なる被写体を撮影することが出来る。
パンチルトカメラ3と固定カメラ2は、お互いのCPU305とCPU205で通信を行うことで、さまざまなデータを相互にやり取りすることが可能である。具体的なデータのやり取りは、以下の通りである。
パンチルトカメラ3の撮像素子302で撮影中のライブビュー画像のデータを固定カメラ2に送ることにより、固定カメラ2の画像表示部206でパンチルトカメラ3のライブビュー画像を表示することが出来る。固定カメラ2の撮像素子202で撮影中のライブビュー画像のデータをパンチルトカメラ3に送ることにより、パンチルトカメラ3の画像表示部306で固定カメラ2のライブビュー画像を表示することが出来る。
パンチルトカメラ3の画像記録部304に格納された記録画像のデータを固定カメラ2に送ることにより、固定カメラ2の画像表示部206でパンチルトカメラ3の記録画像を表示することが出来る。固定カメラ2の画像記録部204に格納された記録画像のデータをパンチルトカメラ3に送ることにより、パンチルトカメラ3の画像表示部306で固定カメラ2の記録画像を表示することが出来る。
パンチルトカメラ3の光学系/光学系駆動機構301の画角、ズーム量、レンズ鏡筒部の大きさ(レンズ鏡筒部の長さ、太さ)、ズーム駆動の速さを固定カメラ2側に送ることで、パンチルトカメラ3の光学系に合わせた動作を固定カメラ2が行うことが出来る。例えば、パンチルトカメラ3の光軸の向きを変更中に固定カメラ2のレンズ鏡筒部4が画角に写り込む場合には、固定カメラ2のレンズ鏡筒部をワイド側(つまり繰り込む側)に駆動して、レンズ鏡筒部4が写り込まないように協調動作させることが出来る。
固定カメラ2の光学系/光学系駆動機構201の画角、ズーム量、レンズ鏡筒部の大きさ(レンズ鏡筒部の長さ、太さ)、ズーム駆動の速さをパンチルトカメラ3側に送ることで、固定カメラ2の光学系に合わせた動作をパンチルトカメラ3が行うことが出来る。例えば、パンチルトカメラ3の光軸の向きを変更中に固定カメラ2のレンズ鏡筒部4が画角に写り込む場合に、パンチルトカメラ3の光軸移動を制限させて、固定カメラ2のレンズ鏡筒部4が写り込まないように協調動作させることが出来る。
パンチルトカメラ3のパンチルト位置検出部309で検出されたパンチルトカメラ3の位置、パンチルト駆動速度を固定カメラ2側に送ることにより、パンチルトカメラ3のパンチルト位置やパンチルト駆動速度に合わせた動作を固定カメラ2が行うことが出来る。例えば、パンチルトカメラ3の位置情報を固定カメラ2の画像表示部7に表示することにより、パンチルトカメラ3が捉えている被写体を固定カメラ2の操作をしている最中でも認識しやすくなる。
固定カメラ2の操作された情報を、操作処理部207からパンチルトカメラ3に送ることにより、操作された内容に沿ってパンチルトカメラ3を操作することが可能である。例えば、操作部材8cの左側を押すと、パンチルトカメラ3は、固定カメラ2の背面から見て、左側へのパン動作を電動で行う。他の方向への移動も、ユーザがキーの上や下や右、もしくは斜め方向を押すことで、パン動作、チルト動作を任意に組み合わせて行うことが可能となる。
固定カメラ2の外部機器接続部208に外部機器を接続することにより、パンチルトカメラ3の画像表示、撮影操作、その他の操作、固定カメラ2の画像表示、撮影操作、その他の操作を外部機器から行うことが可能である。
固定カメラ2とパンチルトカメラ3がそれぞれ電池を備えている場合、固定カメラ2の電池残量情報とパンチルトカメラ3の電池残量情報を相互にやり取りすることが可能である。そして、例えば、一方の電池残量が少ない場合は、他方の電池から電源を供給することもできる。
不図示であるが、パンチルトカメラ3はGPSを備えており、GPS情報に基づいて、時刻情報や地図上の位置情報を取得することが可能であり、時刻情報を表示したり、画像データに位置情報を付加したりすることもできる。さらには、パンチルトカメラ3のGPS情報を固定カメラ2に送信して、固定カメラ2の時刻情報に使用したり、固定カメラ2の画像データに位置情報を付加したりすることもできる。GPSを備えるのは、パンチルトカメラ3側ではなく、固定カメラ2側であってもよく、その場合は、固定カメラ2のGPS情報をパンチルトカメラ3に送信してもよい。
図4は、被写体(特定の被写体)を追尾する処理を説明する図である。図4は、画像表示部7で表示される画角全体(画面全体)に対して所定の比率よりも外側の領域(表示画面の周囲の領域)を被写体追尾領域15として示している。例えば、画面の中心点を0%、画面全体を100%とし、画面全体に対して80%となる位置を被写体追尾領域15の境界として設定する場合、画面全体における80~100%の領域が被写体追尾領域15となる。画像内の被写体追尾領域15に追尾枠16の一部が進入すると、パンチルト駆動制御部308は、パンチルト動作を開始するよう制御される。また、パンチルト位置検出部309は、パンチルト移動前のパンチルトカメラ3の位置を記憶する。パンチルト動作中のパンチルトの駆動速度は、被写体のサイズや移動速度に応じて予め設定される。また、パンチルトの駆動速度を被写体のサイズや移動速度に応じて適宜算出してもよい。これにより、被写体の追尾をすることができる。
図4(a)では、追尾枠16が被写体追尾領域15に進入しており、画像処理部303は追尾枠16が画面上のどの位置にあるかの情報を取得する。図4(a)の状態では、追尾枠16は画像中心より左上に位置しているという情報を取得する。画像処理部303により取得された位置情報に基づいて、追尾枠16が被写体追尾領域15から出るようにパンチルト駆動制御部308がパンチルトカメラ3をパンチルト駆動させる。図4(a)では、追尾枠16は画像中心より左上に位置しているため、パンチルトカメラ3を図2に示したように固定カメラ2の正面から見て、右側に45度パン動作させ、上側に60度チルト動作させる。このように駆動させると、図4(b)のように、追尾枠16は被写体追尾領域15から出る。
本実施形態では、被写体追尾領域15の境界を画面全体に対して80%となる位置に設定しているが、被写体を画面中央で追尾したい場合は、80%から例えば20%に変更して画面中央に集まるようにしてもよい。
図5は、被写体を追尾する処理を示すフローチャートである。
S10では、追尾枠16が被写体追尾領域15に進入しているか否かを判別する。S10で、YES判定、すなわち追尾枠16が被写体追尾領域15に進入している場合は、S11に進む。S10で、NO判定、すなわち追尾枠16が被写体追尾領域15に進入していない場合は、S10へ戻る。
S11では、追尾枠16が画角内のどの位置あるかの位置情報を取得し、被写体の位置を把握する。S12では、S11で取得した被写体の位置情報に基づいて、パンチルトカメラ3の光軸を追尾枠16が被写体追尾領域15から出るようにパンチルト駆動させる。パンチルトカメラ3の光軸を駆動させた後は、S13へと進む。
S13では、追尾枠16の大きさ(被写体の大きさ)が所定の大きさか否かを判定する。この処理は、S12で、パンチルトカメラ3の光軸駆動の最中に被写体がパンチルトカメラ3に近づいたり、離れたりした場合を想定しており、被写体の大きさの変動があった場合は、S14へと進む。S13でYES判定、すなわち被写体の大きさの変動がない場合は、S10へと戻る。
以上説明したように、撮像システム1がパンチルトカメラ3と固定カメラ2を備えることにより、一つの被写体を2つのカメラで撮影することもでき、かつ、2つの被写体を2つのカメラで撮影することもできる。また、2つの被写体をパンチルトカメラ3と固定カメラ2で同時に撮影する際は、パンチルトカメラ3が被写体を自動追尾するため、ユーザは、固定カメラ2だけを操作すればよく、2つのカメラを同時に操作するという煩雑な作業を回避することが出来る。
次に、本実施形態におけるパンチルトカメラ3の撮像方向を画像表示部7に表示する例について説明する。まず、パンチルトカメラ3の方向を画像表示部7に表示する方法について説明し、次にその表示する方法のフローチャートについて説明する。
パンチルトカメラ3の方向とは、固定カメラ2の光軸に対するパンチルトカメラ3の光軸の方向のずれ量を示すものであり、パンチルトカメラ3の光軸と固定カメラ2の光軸の方位差を算出することにより求められる。パンチルトカメラ3の方向を表示する方法として、本実施形態では矢印を用いる。
図6は、パンチルトカメラ3および固定カメラ2の撮影状態において、固定カメラ2のライブビュー画像を画像表示部7に表示している画面を示す図である。図6(a)は、図1に示したパンチルトカメラ3と固定カメラ2の位置関係において、固定カメラ2が撮影しているライブビュー画像を画像表示部7に表示している画面を示している。
図1では、パンチルトカメラ3の光軸は、固定カメラ2の光軸と平行で、かつ、お互いのカメラの光軸の向いている方向が一致している。これは、パンチルトカメラ3がパン動作およびチルト動作を一切していない、初期位置を示している。
この状態のとき、固定カメラ2のライブビュー画像では、被写体20の周りに配置されている複数の矢印21が半透明状態に表示されるか、あるいは何も表示されていない状態となる。つまり、パンチルトカメラ3の方向は表示されない。よって、ユーザは、パンチルトカメラ3と固定カメラ2が同じ方向を向いていることがわかる。同じ方向を向いていることが分かるので、固定カメラ2でパンチルトカメラ3と同じ方向の被写体を撮影することが容易となる。
次に、パンチルトカメラ3がパン動作、チルト動作をした場合について説明する。図6(b)は、図2に示したパンチルトカメラ3と固定カメラ2の位置関係の場合に、画像表示部7に表示される、固定カメラ2が撮影しているライブビュー画像を示している。図2は、前述のように、パンチルトカメラ3が固定カメラ2の正面から見て右側に45度のパン動作、上側に60度のチルト動作をした後の状態を示している。
この状態のとき、固定カメラ2のライブビュー画像では、図6(b)のように被写体20の周りに配置されている矢印のうちの矢印22が実線表示で点灯される状態になり、パンチルトカメラ3の方向を表示する。パンチルトカメラ3が右側へ45度のパン動作、上側に60度のチルト動作をしているので、その方向に対応した左上の矢印22が実線表示で点灯される。つまり、パンチルトカメラ3の方向と矢印22の方向とが一致するように表示される。ユーザが矢印の方向に固定カメラ2の光軸を動かせば、固定カメラ2の光軸とパンチルトカメラ3の光軸が一致することを表している。
矢印が点灯することによって、ユーザは、パンチルトカメラ3の光軸と固定カメラ2の光軸が異なる方向を向いていることがわかる。そして、ユーザは、画像表示部7から目を離すこと無く、矢印22を確認することにより、どの方向に固定カメラ2の光軸方向を動かせばよいか把握できるようになり、固定カメラ2の光軸をパンチルトカメラ3の光軸と同じ方向に向けることが容易となる。
図6(c)は、パンチルトカメラ3が固定カメラ2の正面から見て、180度のパン動作、0度のチルト動作をした(チルト動作していない)後に、固定カメラ2の画像表示部7に表示される画面を示す図である。
パンチルトカメラ3が180度のパン動作のみであることから、パンチルトカメラ3の光軸は、固定カメラ2と光軸が平行であるが、お互いのカメラが向いている方向が逆である。この状態では、固定カメラ2を水平に180度回転させると、パンチルトカメラ3と同じ方向を向かせることが出来るので、矢印23が点灯する。矢印23は、180度回転するような図形となっている。
図6(d)は、パンチルトカメラ3が一定の閾値を超えてパン動作、チルト動作をした時の固定カメラ2の画像表示部7に表示される画面を示す図である。図6(d)では、パンチルトカメラ3が、固定カメラ2の正面から見て、右側に90度のパン動作を行い、チルト動作はしていない状態を示しており、パン動作の一定の閾値を仮に75度とした場合の画面を示している。
パンチルトカメラ3が右側に90度のパン動作を行い、チルト動作はしていない状態であることから、画像表示部7では、矢印24が点灯するが、閾値の75度を超えると、通常の矢印表示に加えて、さらに矢印24の大きさを変えて強調表示する。図6(d)のように矢印の大きさを大きくすることにより、通常の矢印よりも、パンチルトカメラ3のパン動作の角度が大きいことが分かる。ユーザは、矢印24の大きさを見ることで、パンチルトカメラ3の動作の量が大きいことが分かり、固定カメラ2を操作する角度を大きくすれば、パンチルトカメラ3の向きと合わせられることが分かる。図6(d)は、パン動作のみを強調表示した図であるが、チルト動作のみ、もしくは、パン動作とチルト動作の両方が閾値を越えた場合は、同様にパンチルトカメラ3のパン動作、チルト動作に合わせた方向の矢印を強調表示することが出来る。
図6(d)では、強調表示を矢印の大きさにしたが、強調表示は、これに限定されるものではない。例えば、図6(e)のように矢印を複数重ねた表示(矢印25)にしたり、矢印を高速に点滅させたり(不図示)、図6(f)のように矢印の近傍に文字で「FAR」や「遠い」などと表示したり、矢印の近傍に数字を付加(不図示)したりして表現してもよい。矢印の近傍に数字を付加して強調表現する際は、矢印の近傍に付加する数字の大さでパンチルトカメラ3の光軸の初期位置からの角度の大きさを示してもよい。逆に、矢印の近傍に付加される数字が小さい方がパンチルトカメラ3の光軸の初期位置からの駆動角度が大きくなっていてもよい。
いろいろな強調表現の方法について説明したが、つまりは、光軸のずれ量が閾値以上である場合は、閾値未満である場合と異なる状態の表示を行えばよく、ユーザに、通常か強調かを判別できるものなら何でもよい。また、パンチルトカメラ3の光軸の位置を常に検出しているため、強調表現もリアルタイムで表現が可能である。その一例として、パンチルトカメラ3の光軸の駆動角度によって、矢印の大きさを無段階でリアルタイムに変更させることもできる。
次に、パンチルトカメラ3の方向を表示する動作について説明する。図7は、パンチルトカメラ3の方向を表示する動作を示すフローチャートである。
S101で、パンチルトカメラ3の位置検出を行う。パンチルトカメラ3が初期位置に対しどのくらいパン動作および、チルト動作をしているかの位置の検出を行う。位置の検出方法としては、例えば、光学式、磁気式のエンコーダなどをパン及びチルトの回転軸に直接取り付けて、回転対象の絶対回転位置を検出する方法などがある。
S102では、固定カメラ2の光軸に対してパンチルトカメラ3の光軸がずれている方向を前述した回転検出結果に基づいて検出する。S103では、S102の結果に基づいて、固定カメラ2の光軸とパンチルトカメラ3の光軸のズレ角度を詳細に算出する。なお、この結果は、S105で用いられる。
S104では、パンチルトカメラ3の光軸と固定カメラ2の光軸が平行であるか否かを判定する。S104で、YES判定、すなわちパンチルトカメラ3の光軸と固定カメラ2の光軸が平行である場合は、S107に進む。
S107では、パンチルトカメラ3と固定カメラ2の向いている方向が同じか否かを判定する。S107で、YES判定、すなわちパンチルトカメラ3と固定カメラ2が同じ方向を向いている状態であると判定された場合は、S108へと進む。
S108では、パンチルトカメラ3の撮影範囲内にある被写体を固定カメラ2の撮影範囲内に捉えているか否かを判定する。この判定についての詳細は後述する。S108で、YES判定、すなわちパンチルトカメラ3と固定カメラ2が同じ被写体を捉えている場合は、S111へと進む。S111では、パンチルトカメラ3と固定カメラ2が同じ方向を向いていて、且つ固定カメラ2がパンチルトカメラ3と同じ被写体を捉えているので、画像表示部7にパンチルトカメラ3の方向を示す矢印を表示しない。その後、S101に戻る。
S108で、NO判定、すなわちパンチルトカメラ3と固定カメラ2が同じ被写体を捉えていない場合は、S112へと進む。S112では、パンチルトカメラ3の画角内のどの領域に被写体が位置しているかの位置検出を行う。
S113では、パンチルトカメラ3の撮影範囲の画角と固定カメラ2の撮影範囲の画角との差がある一定以上あるか否かを判定する(閾値を越えたか否かを判定する)。S113で、YES判定、すなわちパンチルトカメラ3の画角と固定カメラ2の画角との差が一定以上ある場合は、S110へと進む。S110では、パンチルトカメラ3の方向を強調して、固定カメラ2の撮影画像が表示されている画像表示部7に表示する。その後、S101に戻る。
S113で、NO判定、すなわちパンチルトカメラ3の画角と固定カメラ2の画角との差が一定未満である場合は、S114へと進み、パンチルトカメラ3の方向を固定カメラ2の撮影画像が表示されている画像表示部7に表示する。その後、S101に戻る。
ここで、S108以下の処理は、以下の状況の場合を想定している。
例えば、パンチルトカメラ3の画角と固定カメラ2の画角を比較し、パンチルトカメラ3の方が広角の場合(画角の広さ:パンチルトカメラ3の画角>固定カメラ2の画角)について以下に説明する。
図4で説明したとおり、被写体追尾領域15の境界が画面全体に対して80%となる位置とした場合、パンチルトカメラ3が被写体を画像の中心で捉えているとは限らない。パンチルトカメラ3の撮影範囲の左上の隅に被写体を捉えていた場合では、固定カメラ2の画角はパンチルトカメラ3の画角より狭いため、光軸が平行で、且つ光軸の向きが同じであっても、固定カメラ2はパンチルトカメラ3の被写体を捉えられるとは限らない。もし、画角の差で固定カメラ2がパンチルトカメラ3の被写体を捉えられない場合は、パンチルトカメラ3の画角のどの位置に被写体があるかを算出して、その被写体の位置の表示を行う。また、パンチルトカメラ3の画角と固定カメラ2の画角との差が大きい場合は、固定カメラ2を動かす量が大きくなるため、パンチルトカメラ3の方向を表示する際は、強調して表示する。
図7の説明に戻って、S107で、NO判定、すなわちパンチルトカメラ3と固定カメラ2が違う方向を向いている状態であると判定された場合は、S109へと進む。S109では、パンチルトカメラ3と固定カメラ2は、向いている方向が180度違うので、180度回転する表示を行う(前述の図6(c)の画面表示)。その後、S101に戻る。
S104で、NO判定、すなわちパンチルトカメラ3の光軸と固定カメラ2の光軸の平行が一致してない場合は、S105へと進む。S105では、S103で算出されたパン動作の角度、チルト動作の角度がある一定の値以上か否かを判定する(閾値を越えたか否かを判定する)。S105で、NO判定、すなわちパン動作の角度、チルト動作の角度が閾値を越えていない場合は、S106へと進み、パンチルトカメラ3の方向を固定カメラ2の撮影画像が表示されている画像表示部7に表示する。その後、S101に戻る。
S105で、YES判定、すなわちパン動作の角度、チルト動作の角度が閾値を越えている場合は、S110へと進み、パンチルトカメラ3の方向を強調して、固定カメラ2の撮影画像が表示されている画像表示部7に表示する。その後、S101に戻る。
なお、本実施形態では、S104でパンチルトカメラ3の光軸と固定カメラ2の光軸が完全に平行か否かを判定しているが、完全に平行でなくても、平行度合にある程度の幅を持たせて、その幅の範囲内に収まっていれば、平行と判定してもよい。平行度合にある程度の幅を持たせることにより、パンチルトカメラ3の方向を頻繁に表示させないようにすることもできる。
また、本実施形態では、S105の判定における閾値を一つとしたが、閾値は一つだけではなく複数あってもよい。複数の閾値を設定した場合は、例えば、それぞれの閾値での矢印の大きさを変え、段階的に矢印の大きさを変えるようにしてもよい。
図8は、本実施形態の変形例を示したフローチャートであり、図7にS120を加えたものである。図7はパンチルトカメラ3と固定カメラ2が一体化したカメラシステム1を前提としているが、図8はパンチルトカメラ3と固定カメラ2がそれぞれ分かれている撮像装置であって、パンチルトカメラ3と固定カメラ2が着脱可能であることを前提としている。
図8と図7は、S120の違いのみであるため、相違点のS120について説明する。パンチルトカメラ3と固定カメラ2が着脱式であるため、まずS120において、それぞれのカメラの情報をやり取りする。例えば、パンチルトカメラ3側の情報としては、画角情報、パン動作の範囲、チルト動作の範囲、パン動作の速度、チルト動作の速度、その他撮影に必要な情報である。固定カメラ2側の情報としては、画角情報、ズームする際のレンズ鏡筒の繰り出し量、その他撮影に必要な情報である。S120において、パンチルトカメラ3と固定カメラ2で、お互いのカメラ情報を相互にやり取りした後は、図7に示した通り、S101へと進む。その後は、図7で説明したとおりである。
以上説明したとおり、固定カメラ2の画像表示部7にパンチルトカメラ3の方向を表示することにより、ユーザは、パンチルトカメラ3の方向を画像表示部7から視線を外すことなく認識できる。そのため、固定カメラ2をパンチルトカメラ3の向いている方向に合わせやすくなる。
また、パンチルトカメラ3の方向を強調表示することにより、ユーザは固定カメラ2を向ける角度が分かりやすくなる。これにより、被写体の検知可能な範囲を限定することなく、被写体の動きや撮像装置の状態によらず、被写体の位置情報の表示を広範囲にすることが出来る。さらには、被写体の検知可能な範囲が限定されていないため、被写体を見失う可能性も低くなる。
次に、本実施形態におけるパンチルトカメラのケラレを回避するシステムについて説明する。図9はパンチルトカメラ3と固定カメラ2を使用した撮影における、パンチルトカメラ3の撮影画像を示した図である。
図9(a)は、図1に示したパンチルトカメラ3と固定カメラ2の光軸が略平行で、且つお互いのカメラが向いている方向が略一致した状態における、ケラレ回避動作を行わない状態のパンチルトカメラ3の撮影画像を示している。撮影画像内に固定カメラ2のレンズ鏡筒部4に装着されているレンズフードが影501として映り込んでしまっている。レンズフードが装着された状態のままで記録を行うと、大切な画像に本来記録する必要のない撮像装置の影が記録されてしまう。
図9(b)は、図1に示したパンチルトカメラ3と固定カメラ2の光軸が略平行で、且つお互いのカメラが向いている方向が略一致した状態における、ケラレ回避動作を行わない状態のパンチルトカメラ3の撮影画像を示している。図9(b)ではレンズフードがないため、図9(a)の場合よりもケラレは少ないが、やはり撮影画像内に固定カメラ2のレンズ鏡筒部4が影501として映り込んでしまっている。ケラレが生じた状態のままで記録を行うと、大切な画像に本来記録する必要のない撮像装置の影が記録されてしまう。
図9(c)は後述するパンチルトカメラ3側のケラレ回避制御を行った場合のパンチルトカメラ3の撮影画像を示している。パンチルトカメラ3の光軸を移動させることによりレンズ鏡筒部4が影501として写り込むことが回避されている。
図10は、パンチルトカメラ3の記録画像に固定カメラ2の鏡筒部4が写り込むことを回避するための、パンチルトカメラ3側の制御用フローチャートである。なお、以下では、固定カメラ2にパンチルトカメラ3が着脱自在に装着されている場合について説明する。
S401で、固定カメラ2はパンチルトカメラ3の装着確認を行う。パンチルトカメラ3の装着が確認された場合、固定カメラ2の制御のための動作を開始する。S402では、装着が確認されたパンチルトカメラ3と通信を行い、パンチルトカメラ3の取り付け位置に関する情報や、撮影画角に関する情報、光軸のベクトル情報等を取得する。
S403では、S402で得られた情報から、パンチルトカメラ3の撮影画像に固定カメラ2のレンズ鏡筒部4に取り付ケラレたレンズフードなどのアクセサリーが映り込んでいるか否かの判定を行う。S403において、撮影画角内に一定以上のケラレがあると判定された場合は、S404へ進む。S403において、レンズフードなどのアクセサリーが装着されて映り込んでいる場合のパンチルトカメラ3の撮影画像は、図9(a)に示したようになる。また、S403において撮影画角内に一定以上のケラレが無いと判定された場合は、S405へ進む。
S404では、レンズフードなどのアクセサリーが装着されているか否かが判定される。S404で、レンズフードなどのアクセサリーが装着されている場合は、S408へと進み、アクセサリーを外して、S401に戻る。S404で、アクセサリーが装着されていない場合は、S405へと進む。
S405では、固定カメラ2のレンズ鏡筒部4を、一旦固定カメラ2から突出する方向(TELE側)に駆動し、その後レンズ鏡筒部4が固定カメラ2に繰り込まれる方向(WIDE側)に駆動する。S405の動作後に、レンズ鏡筒部4が映り込んでいる場合のパンチルトカメラ3の撮影画像は図9(b)に示すようになる。
S406では、パンチルトカメラ3の撮影画像にまだレンズ鏡筒部4が映り込んでいるか否かが判定される。S406において、レンズ鏡筒部4が映り込んでいないと判定された場合は、S401に戻り、現在の状態が維持される。S406においてレンズ鏡筒部4が映り込んでいると判定された場合は、S407に進む。
S407では、パンチルトカメラ3を、撮影画像内にレンズ鏡筒部4が映り込まなくなる方向にチルト動作させる。S407の動作を行った場合のパンチルトカメラ3の撮影画像は図9(c)に示すようになる。
以上のような動作により、パンチルトカメラ3の撮影画像内に固定カメラ2の鏡筒先端部に装着されたレンズフードが写り込んでしまうことを防止することができる。
なお、本実施形態では、レンズ鏡筒部4に装着されているアクセサリーは、レンズフードであるが、例えばレンズフィルター、コンバージョンレンズ、アダプターなどが装着されても、同様の効果が得られる。
次に、本実施形態におけるパンチルトカメラのケラレを回避するシステムの変形例について説明する。
図11は、パンチルトカメラ3と固定カメラ2を使用した撮影における、パンチルトカメラ3の撮影画像を示した図である。
図11(a)は、図1に示したパンチルトカメラ3と固定カメラ2の光軸が略平行でかつ、お互いのカメラが向いている方向が略一致した状態における、ケラレ回避動作を行わない状態のパンチルトカメラ3の撮影画像を示している。撮影画像内に固定カメラ2のレンズ鏡筒部4が影501として映り込んでしまっている。このようにケラレが生じた状態のままで記録を行うと、大切な画像に本来記録する必要のない撮像装置の影が記録されてしまう。この状態は後述する図12(a)の状態に対応する。
図11(b)は、ケラレを生じていない画像を示している。図11(a)に比べて本来記録する必要のない撮像装置の影が記録されないため、良好な画像となっている。
図11(c)は、後述するパンチルトカメラ3側の第1の例のケラレ回避制御を行った場合のパンチルトカメラ3の撮影画像を示している。パンチルトカメラ3の光軸を移動させることにより、レンズ鏡筒部4が影501として写り込むことが回避されている。
図11(d)は後述するパンチルトカメラ3側の第2の例のケラレ回避制御を行った場合のパンチルトカメラ3の撮影画像を示している。パンチルトカメラ3の光軸の移動と、ズーム画角の変更(変倍機能による拡大)により鏡筒部4が影501として写り込むことが回避されると共に不要な鏡筒部の映り込みが回避されている。
第1の例のケラレ回避のようにパンチルト駆動の回転動作のみでケラレ回避を行うと、図11(a)から図11(c)への変化となり、処理の前後で光軸位置が大きく変化してしまうが、本実施形態ではこの方法でケラレ回避を行うものとする。図11(d)に示す第2の例のケラレ回避のように、ケラレ回避処理を行う前の撮影範囲を超えない様に撮影画角を変更して、光軸位置の変化量を抑える方法については、第2の実施形態で説明する。
図12は図11で示す撮影状態となる際の撮像システム1の側面図であり、パンチルトカメラの撮影画角502を点線で示している。図12(a)では、レンズ鏡筒部4がパンチルトカメラ3の撮影画角502の撮影範囲内に存在し、パンチルトカメラ3の撮影画像内に固定カメラ2のレンズ鏡筒部4が影501として映り込んでしまっている。これは、図11(a)の撮影状態に相当する。
図12(b)では、レンズ鏡筒部4がパンチルトカメラ3の撮影画角502の撮影範囲外に存在するため、パンチルトカメラ3の撮影画像にレンズ鏡筒部4が写り込むことはない。これは、図11(b)の撮影状態に相当する。
図12(c)では、パンチルトカメラ3の光軸をレンズ鏡筒部4から離れる方向に移動させ、パンチルトカメラ3の撮影画像にレンズ鏡筒部4が写り込むことを防止している。これは、図11(c)の撮影状態に相当する。
図12(d)ではパンチルトカメラ3の光軸をレンズ鏡筒部4から離れる方向に移動させ、且つパンチルトカメラ3の撮影画角を図12(a)の状態よりも狭くすることにより、パンチルトカメラ3の撮影画像にレンズ鏡筒部4が写り込むことを防止している。これは、図11(d)の撮影状態に相当する。これについては、第2の実施形態において詳述する。
図13は、パンチルトカメラ3の記録画像に固定カメラ2の鏡筒部4が写り込むことを回避するためのパンチルトカメラ3側の制御用フローチャートである。
S511で、パンチルトカメラ3は固定カメラ2との接続確認を行う。固定カメラ2への装着が確認された場合、パンチルトカメラ3の制御のための動作を開始する。S512では、固定カメラ2と通信を行い、固定カメラ2の取り付け位置に関する情報や、撮影画角に関する情報、光軸のベクトル情報等を取得する。
S513では、S512で得られた固定カメラ2の情報と、パンチルトカメラ3の取り付け位置、撮影画角、光軸のベクトル情報を比較し、パンチルトカメラ3の撮影画像に固定カメラ2のレンズ鏡筒部4が写り込むか否か(ケラレがあるか否か)の判定を行う。S513でケラレがあると判定された場合は、S514に進み、ケラレが無いと判定された場合は、S515に進む。なお、S513において固定カメラ2のレンズ鏡筒部4が写り込む(ケラレがある)と判定された場合のパンチルトカメラ3の撮影画像の一例は図11(a)のようになる。
S514では、パンチルトカメラ3の撮影画像に固定カメラ2のレンズ鏡筒部4が写り込むことを回避する動作をパンチルトカメラ3に行わせる。具体的には、パン駆動部10やチルト駆動部11を動作させ撮影範囲を変更することにより、レンズ鏡筒部4によるケラレ状態を回避する。S514のケラレ回避動作を行った場合のパンチルトカメラ3の撮影画像の一例は、図11(c)の実線で囲まれた枠内のようになる。
S515では、電子ズームを使用しているか否かを判定する。電子ズームを使用している場合は、S516に進み、使用していない場合は、S511に戻り、現在の状態を維持させる。
S516では、パンチルトカメラ3の撮影画像に固定カメラ2のレンズ鏡筒部4が映り込まない場合において、光学ズーム倍率を増加させることが可能か否かの判定を行う。光学ズーム倍率を増加させることが不可能な場合、現在の状態を維持させる。光学ズーム倍率を増加させることが可能であれば、S517に進む。
S517では、パンチルトカメラ3の光学系/光学系駆動機構301を作動させ、光学ズーム倍率を上げる。同時に、画像処理部303での電子ズーム倍率を下げる。電子ズームよりも光学ズームの方がより鮮明な画像情報が得られることは公知であり、ユーザは画角の変化を感じること無く、より高画質な撮影を行うことが可能となる。
<第2の実施形態>
第2の実施形態では、第1の実施形態と異なるケラレ回避の方法について説明する。ここでは、パンチルトカメラ3の撮影画像のケラレ回避を、パンチルトカメラ3の光軸駆動およびズーム倍率変更を併せて行う制御フローについて説明する。制御フロー以外の要素は言及しない限り第1の実施形態と同一とする。
第1の実施形態では、パンチルトカメラ3の撮影画角変更は実施していない。画角変更を行なわない分、パンチルトカメラ3の光軸移動量は大きくなってしまう。本実施形態ではパンチルトカメラ3の電子ズームや、光学ズーム倍率変更を併せて行うことにより、第1の実施形態に比べて光軸移動量を低減している。
図14はパンチルトカメラ3の記録画像に固定カメラ2の鏡筒部4が写り込むことを回避するためのパンチルトカメラ3側の制御用フローチャートである。
S521で、パンチルトカメラ3は固定カメラ2との接続確認を行う。固定カメラ2への装着が確認された場合、パンチルトカメラ3の制御のための動作を開始する。S522では、固定カメラ2と通信を行い、固定カメラ2の取り付け位置に関する情報や、撮影画角に関する情報、光軸のベクトル情報等を取得する。
S523では、S522で得られた固定カメラ2の情報と、パンチルトカメラ3の取り付け位置、撮影画角、光軸のベクトル情報を比較し、パンチルトカメラ3の撮影画像に固定カメラ2のレンズ鏡筒部4が写り込むか否か(ケラレがあるか否か)の判定を行う。S523でケラレがあると判定された場合は、S524に進み、ケラレが無いと判定された場合は、S527に進む。なお、S523において固定カメラ2のレンズ鏡筒部4が写り込む(ケラレがある)と判定された場合のパンチルトカメラ3の撮影画像の一例は図11(a)のようになる。
S524では、パンチルトカメラ3の撮影画像に固定カメラ2のレンズ鏡筒部4が写り込むことを回避する動作をパンチルトカメラ3に行わせる準備動作として、パンチルトカメラ3の光学ズーム倍率を上げることが可能か否かの判定を行う。S524で、光学ズーム倍率を上げることが不可能と判定された場合は、S525に進み、可能と判定された場合は、S526に進む。
S525では、パン駆動部10およびチルト駆動部11の動作と、パンチルトカメラ3の電子ズームを併用することにより、光軸位置の変化量を抑えながらレンズ鏡筒部4によるケラレ状態を回避する。パンチルト駆動の回転動作のみでケラレ回避を行うと、図11(a)から図11(c)への変化となり、S525の動作の前後で光軸位置が大きく変化してしまう。本実施形態では、光軸位置の変化量を抑えるために電子ズームを併用し、S525の動作を行う前の撮影範囲を超えない様に、撮影画角を変更する。S525の動作を行った場合のパンチルトカメラ3の撮影画像の一例は、図11(d)の実線で囲まれた枠内のようになる。
S526では、パン駆動部10およびチルト駆動部11の動作と、パンチルトカメラ3の光学ズームを併用することにより、光軸位置の変化量を抑えながらレンズ鏡筒部4によるケラレ状態を回避する。パンチルト駆動の回転動作のみでケラレ回避を行うと、図11(a)から図11(c)への変化となり、S526の動作の前後で光軸位置が大きく変化してしまう。本実施形態では、光軸位置の変化量を抑えるために光学ズームを併用し、S526の動作を行う前の撮影範囲を超えない様に、撮影画角を変更する。S526の動作を行った場合のパンチルトカメラ3の撮影画像の一例は、図11(d)の実線で囲まれた枠内のようになる。
S527では、電子ズームを使用しているか否かを判定する。電子ズームを使用している場合は、S528に進み、使用していない場合は、S521に戻り、現在の状態を維持させる。
S528では、パンチルトカメラ3の撮影画像に固定カメラ2のレンズ鏡筒部4が映り込まない場合において、光学ズーム倍率を増加させることが可能か否かの判定を行う。光学ズーム倍率を増加させることが不可能な場合、現在の状態を維持させる。光学ズーム倍率を増加させることが可能であれば、S529に進む。
S529では、パンチルトカメラ3の光学系/光学系駆動機構301を作動させ、光学ズーム倍率を上げる。同時に、画像処理部303での電子ズーム倍率を下げる。電子ズームよりも光学ズームの方がより鮮明な画像情報が得られることは公知であり、ユーザは画角の変化を感じること無く、より高画質な撮影を行うことが可能となる。
次に、パンチルトカメラ3の光軸が向いている方向を表示する例について説明する。まず、パンチルトカメラ3の光軸が向いている方向を表示する方法について説明し、次にその光軸が向いている方向を表示する方法のフローチャートについて説明する。
図15は、パンチルトカメラ3の光軸が向いている方向を表示した状態と、その方向でパンチルトカメラ3がライブビュー画像を表示している状態を示した図である。図15の中で、図15(a)、図15(c) 、図15(e) 、図15(f)は、現在のパンチルトカメラ3の光軸の方向(以下、パンチルトカメラ3の位置と呼ぶこともある)を表示した図で、星印30がパンチルトカメラ3の現在の光軸の向きを示している。星印30は上下左右に移動する。図15(b)、図15(d)は、パンチルトカメラ3のライブビュー画像を表示している図である。図15(a)と図15(b)が対応しており、パンチルトカメラ3の光軸の向きが図15(a)で示される向きの時にパンチルトカメラ3が撮影している撮影画像が図15(b)である。図15(c)と図15(d)が対応しており、パンチルトカメラ3の光軸の向きが図15(c)で示される向きの時にパンチルトカメラ3が撮影している撮影画像が図15(d)である。図15の表示を行うためのデータは、外部機器接続部208を介して不図示の電子機器に無線送信され、その電子機器の表示部に表示される。
パンチルトカメラ3の光軸が向いている方向を示す星印30の位置は、図15(a)と図15(e)では図の真ん中、図15(c)では図の下の方向 、図15(f)では図の左上の方向にある。星印30は、パンチルトカメラ3がパン動作、チルト動作をした際に、それに追従して動く。例えば、パンチルトカメラ3をパン動作させた際は、図のL方向、もしくはR方向に星印30が動く。パンチルトカメラ3をチルト動作させた際は、図のUP方向、もしくはDOWN方向に星印30が動く。パンチルトカメラ3がパン動作、およびチルト動作を組み合わせた場合は、その動きに合わせて、星印30の位置が動く。
具体的な例としては、図2のパンチルトカメラ3は、固定カメラ2の正面から見て、右側に45度のパン動作、上側に60度のチルト動作を行った後であり、この時の星印30の表示される位置は、図15(f)のようになる。つまり、図15(a)の真ん中の位置より、左上に星印30が表示される。影31は、固定カメラ2のレンズ鏡筒部4がパンチルトカメラ3の撮影画角内に写り込む範囲を示したものである。なお、このレンズ鏡筒4が映り込む範囲は計算により得られた範囲を表示している(重畳表示した)ものであり、実際にパンチルトカメラで撮影した画像でのレンズ鏡筒4を表示しているものではない。
図15(a)の星印30の位置では、パンチルトカメラ3は、パン動作およびチルト動作は一切しておらず、固定カメラ2と同じ方向を向いている。図15(a)の星印30の位置でのパンチルトカメラ3が撮影しているライブビュー画像は、図15(b)であり、被写体33のみが写り込み、被写体33のみが撮影される。
図15(a)のように、星印30が影31の領域の中に入るか、あるいは影31の領域に近付かなければ、パンチルトカメラ3の撮影画角内に固定カメラ2のレンズ鏡筒部4は写り込まない(図15(a)、図15(b)参照)。図15(b)はケラレを生じていない画像である。図15(d)に比べて本来記録する必要のない撮像装置の影が記録されないため、良好な画像となっている。
図15(c)の星印30の位置では、パンチルトカメラ3は、下側方向にチルト動作をされた状態であり、星印30はDOWN方向に移動する。図15(c)の星印30の位置でのパンチルトカメラ3が撮影しているライブビュー画像は、図15(d)である。図15(c)のように、星印30が影31の領域の中に入ると、パンチルトカメラ3の撮影画角内に固定カメラ2のレンズ鏡筒部4が写りこみ、被写体33とレンズ鏡筒部4が撮影される。撮影画像内に固定カメラ2のレンズ鏡筒部4が影31として映り込んでしまっている。このようにケラレが生じた状態のままで記録を行うと、大切な画像に本来記録する必要のない撮像装置の影が記録されてしまう。この状態は後述する図16(b)の状態である。
図15(e)は、固定カメラ2のズームレバー6をテレ側に操作して、固定カメラ2のレンズ鏡筒部4を固定カメラ2から突出する方向に駆動した時の表示画面である。図15(e)の影34は、図15(a)の影31より大きくなっている(影の大きさ:影34>影31)。これは、レンズ鏡筒部4が固定カメラ2から突出する方向に駆動され、パンチルトカメラ3の撮影画角にレンズ鏡筒部4が写り込む範囲が図15(a)より多くなったためである。ユーザがズームレバー6を操作することにより、レンズ鏡筒部4の突出に合わせて、リアルタイムに影34の大きさを変化させることが出来る。
図16は、図15で示す撮影状態となる際の撮像システム1の側面図であり、パンチルトカメラの撮影画角502を実線で示している。
図16(a)では、レンズ鏡筒部4がパンチルトカメラ3の撮影画角502の撮影範囲外に存在するため、パンチルトカメラ3の撮影画像にレンズ鏡筒部4が写り込むことはない。これは、図15(a)、図15(b)の撮影状態に相当する。
図16(b)では、パンチルトカメラ3を下側にチルト動作させたため、レンズ鏡筒部4がパンチルトカメラ3の撮影画角502の撮影範囲内に入り、パンチルトカメラ3の撮影画像内に固定カメラ2のレンズ鏡筒部4が映り込んでしまっている。これは、図15(c)、図15(d)の撮影状態に相当する。
図16(c)では固定カメラ2のレンズ鏡筒部4が固定カメラ2から突出する方向に駆動されたため、レンズ鏡筒部4がパンチルトカメラ3の撮影画角502の撮影範囲に近づいている状態である。図15(e)の撮影状態に相当する。
次に、図17は、パンチルトカメラ3の位置(光軸の方向)を表示する動作を示すフローチャートである。
S201では、パンチルトカメラ3の位置検出(光軸の方向の検出)を行う。パンチルトカメラ3がどのくらいパン動作および、チルト動作をしているかの位置の検出を行う。S202では、S201で検出されたパンチルトカメラ3の位置を外部接続された電子機器の画面に表示する。
S203では、固定カメラ2の光学系のズーム位置を検出する。S204では、S204で検出された固定カメラ2の光学系のズーム位置において、パンチルトカメラ3が可動した際にパンチルトカメラ3の撮影画角範囲の中にレンズ鏡筒部4が写り込むか否かを判定する。
S204において、NO判定、すなわちレンズ鏡筒部4がパンチルトカメラ3の撮影画角範囲の中に写り込まない場合は、S203へと戻る。S204において、YES判定、すなわちレンズ鏡筒部4がパンチルトカメラ3の撮影画角範囲の中に写り込む場合は、S205へと進む。
S205では、固定カメラ2のレンズ鏡筒部4が写り込む領域を計算し、外部接続された電子機器に表示する。このS205の処理がなされた状態は、前述の図15(c)での表示である。
S206では、S203で検出した固定カメラ2のレンズ鏡筒部4のズーム位置が移動したか否かを判定する。S206において、YES判定、すなわちS203で検出した固定カメラ2のレンズ鏡筒部4のズーム位置が移動した場合は、S201へと戻る。S206において、NO判定、すなわちS203で検出した固定カメラ2のレンズ鏡筒部4のズーム位置が移動していない場合は、S207へと進む。
S207では、S201で検出したパンチルトカメラ3の位置からパンチルトカメラ3が移動したか否かを判定する。S207において、YES判定、すなわちS201で検出したパンチルトカメラ3の位置からパンチルトカメラ3が移動した場合は、S201へと戻る。S207において、NO判定、すなわちS201で検出したパンチルトカメラ3の位置からパンチルトカメラ3が移動していない場合は、S206へと戻る。
図18は、図17にS208を加えたフローチャートである。図17はパンチルトカメラ3と固定カメラ2が一体化したカメラシステム1を前提としているが、図18はパンチルトカメラ3と固定カメラ2がそれぞれ分かれているカメラであって、パンチルトカメラ3と固定カメラ2は着脱可能のカメラシステムを前提としている。図18と図17は、S208のみの違いであるため、相違点のS208について説明する。
パンチルトカメラ3と固定カメラ2が着脱式であるため、まずS208において、それぞれのカメラの情報をやり取りする。例えば、パンチルトカメラ3側の情報としては、画角情報、パン動作の範囲、チルト動作の範囲、パン動作の速度、チルト動作の速度、その他撮影に必要な情報である。固定カメラ2側の情報としては、画角情報、ズームする際のレンズ鏡筒の繰り出し量、レンズ鏡筒の太さ、その他撮影に必要な情報である。
S208において、パンチルトカメラ3と固定カメラ2で、お互いのカメラ情報を相互にやり取りした後は、図17に示した通り、S201へと進む。その後は、前述のとおりである。
<第3の実施形態>
第3の実施形態は、第2の実施形態と共通する部分が多いため、第2の実施形態からの相違点についてのみ説明する。
本実施形態においては、図19に示すように、図15の星印30が撮影画角を示す枠35に変更されている。枠35は、パンチルトカメラ3の撮影可能な範囲を示すものである。図19(a)と図19(b)が対応しており、パンチルトカメラ3の位置が図19(a)で示される位置の時のパンチルトカメラ3が撮影できる撮影画像が図19(b)である。図19(c)と図19(d)が対応しており、パンチルトカメラ3の位置が図19(c)で示される位置の時のパンチルトカメラ3が撮影できる撮影画像が図19(d)である。図19(e)と図19(f)が対応しており、パンチルトカメラ3の位置が図19(e)で示される位置の時のパンチルトカメラ3が撮影できる撮影画像が図19(f)である。
枠35が影31の領域に入ると、パンチルトカメラ3の撮影画角内にレンズ鏡筒部4が写り込む(図19(c)、図19(d)参照)。枠35は、パンチルトカメラ3の撮影可能な範囲を示していることから、パンチルトカメラ3がズーム動作をした際には、大きさを変化させることが出来る。パンチルトカメラ3をワイド方向に動かした際には枠35が大きくなり、テレ側に動かした際には枠35が小さくなる。
図19(e)においては、パンチルトカメラ3のズーム動作をワイド方向に動かして撮影可能な範囲を広くしたため、枠36は図19(a)の枠35より大きくなっている。また、固定カメラ2のズームレバー6をテレ側に操作して、固定カメラ2のレンズ鏡筒部4を固定カメラ2から突出する方向に駆動したため、影34は図19(a)の影31より大きくなっている。そのため、枠36の枠内に影34が入っている状態となる。図19(e)の状態では、パンチルトカメラ3が撮影する画像は図19(f)のようになり、被写体33は小さく写り、レンズ鏡筒部4は画像内に写り込む。
図20は、パンチルトカメラ3の位置を表示する動作を示すフローチャートである。
S220では、パンチルトカメラ3の位置検出とズーム位置の検出を行う。パンチルトカメラ3がどのくらいパン動作および、チルト動作をしているかの位置の検出とどのくらいズーム動作をしているかの検出を行う。
S221では、S220で検出されたパンチルトカメラ3の位置と撮影画角の範囲を外部接続された電子機器の画面に表示する。S222では、固定カメラ2の光学系のズーム位置を検出する。
S223では、S222で検出された固定カメラ2の光学系のズーム位置によって、パンチルトカメラ3が稼働した際にパンチルトカメラ3の撮影画角範囲の中にレンズ鏡筒部4が写り込むか否かを判定する。S223において、NO判定、すなわちレンズ鏡筒部4がパンチルトカメラ3の撮影画角範囲の中に写り込まない場合は、S222へと戻る。S223において、YES判定、すなわちレンズ鏡筒部4がパンチルトカメラ3の撮影画角範囲の中に写り込む場合は、S224へと進む。
S224では、固定カメラ2のレンズ鏡筒部4が写り込む領域を計算し、外部接続された電子機器に表示する。このS224の処理がなされた状態は、前述の図19(a)の表示状態である。
S225では、S222で検出した固定カメラ2のレンズ鏡筒部4のズーム位置が移動したか否かを判定する。S225において、YES判定、すなわちS222で検出した固定カメラ2のレンズ鏡筒部4のズーム位置が移動した場合は、S220へと戻る。S225において、NO判定、すなわちS222で検出した固定カメラ2のレンズ鏡筒部4のズーム位置が移動していない場合は、S226へと進む。
S226では、S220で検出したパンチルトカメラ3の位置とズームの位置からパンチルトカメラ3が移動、もしくはズーム動作をしたか否かを判定する。S226において、YES判定、すなわちS220で検出したパンチルトカメラ3の位置とズームの位置からパンチルトカメラ3が移動した場合、もしくは、ズームの位置が変更になった場合は、S220へと戻る。S226において、NO判定、すなわちS220で検出したパンチルトカメラ3の位置とズームの位置からパンチルトカメラ3が移動していない場合、および、ズームの位置が変更になっていない場合は、S225へと戻る。
図20では、第2の実施形態の図17、図18で説明したことと同じことが言える。図20はパンチルトカメラ3と固定カメラ2が一体化したカメラシステム1を前提としているが、パンチルトカメラ3と固定カメラ2がそれぞれ分かれているカメラであって、パンチルトカメラ3と固定カメラ2は着脱可能のカメラシステムであってもよい。つまり、図20のフローチャートのS220の前に、図18のS208を加えてもよく、その処理は、前述した図18の場合と同じとなる。
パンチルトカメラ3と固定カメラ2が着脱式であるため、まずS208において、それぞれのカメラの情報をやり取りする。例えば、パンチルトカメラ3側の情報としては、画角情報、パン動作の範囲、チルト動作の範囲、パン動作の速度、チルト動作の速度、その他撮影に必要な情報である。固定カメラ2側の情報としては、画角情報、ズームする際のレンズ鏡筒の繰り出し量、レンズ鏡筒の太さ、その他撮影に必要な情報である。
S208において、パンチルトカメラ3と固定カメラ2で、お互いのカメラ情報を相互にやり取りした後は、図20に示した通り、S220へと進む。その後は、前述のとおりである。
以上説明したように、パンチルトカメラ3の位置の表示と固定カメラ2のレンズ鏡筒部4の写り込み範囲を同じ画面で表示することにより、ユーザは、パンチルトカメラ3をどれくらい稼働させたら、パンチルトカメラ3の撮影範囲に固定カメラ2のレンズ鏡筒部4が写り込むかが容易に判別できる。
また、リアルタイムで、計算により得られたレンズ鏡筒部4の写り込み範囲の表示を変化させることにより、レンズ鏡筒部4の写り込みの判定が容易となる。
以上説明したように、上記の第2及び第3の実施形態によれば、複数のカメラを有する撮像システムにおいて、撮影画角内に別のカメラが映り込むか否かを撮影中にユーザが判別できるようなり、別のカメラの一部が写り込むのを防止することができる。
(その他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。