JP3931768B2 - 画像撮影装置および画像撮影システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば監視カメラなどの用途で用いられる画像撮影装置および画像撮影システムに関するものである。
【０００２】
【従来の技術】
従来、会社、店舗、家屋などにおいて、画像センサ（監視カメラ）を備えた監視装置を用いて室内外の異常を監視する監視システムが実用化されている。このような監視システムとしては、複数の箇所に設置された監視装置と、これらの監視装置を統括管理する監視サーバとを備えたシステムがある。この監視システムでは、各監視装置によって撮影された画像情報が通信ネットワークを介して監視サーバに送信され、監視サーバによって異常の有無が判定される。また、この監視サーバが、さらに広域の通信ネットワークを介して、例えば警備会社に設置された中央管理サーバに接続されたシステムも存在している。このようなシステムの場合、各監視サーバから送信されてくる情報によって、警備会社において各監視装置による監視状況を把握することが可能となっている。
【０００３】
また、昨今では、携帯電話機における表示性能が向上しており、例えば写真などの画像を携帯電話機の表示画面上に表示させることが可能になってきている。そこで、上記のような監視システムにおいて、監視カメラによって撮影された画像を携帯電話機に転送し、この画像を携帯電話機の表示画面上に表示させる利用形態が普及しつつある。このようなシステムによれば、例えば利用者が外出しているときに留守中の部屋の様子を確認したい場合などに、その部屋に設置されている監視カメラによって撮影された画像を携帯電話機に転送させる指示を行うことによって、監視画像を携帯電話機で確認することが可能となる。
【０００４】
また、上記の例では防犯などのセキュリティ用途で監視カメラが用いられているが、例えば留守中のペットの様子を監視カメラで撮影し、これを外出中の飼い主がリアルタイムで携帯電話の表示画面で確認する、というような利用形態も提案されている。すなわち、無人の状態でビデオカメラによって撮影された画像を遠隔地でモニタするという使用形態は、通信ネットワーク技術の進歩に伴って今後さらに広く拡大していくことが予想されている。
【０００５】
【発明が解決しようとする課題】
上記のビデオカメラにおいて、撮影対象となる現場の状況をできるだけ広範囲に撮影するためには２つのアプローチがある。１つは、ビデオカメラにおけるレンズを、視野角が広くなるように設定することによって、撮影範囲を広くする手法である。この手法の場合、撮影範囲を広くすることはできるが、撮影対象となる物体などは撮影画像内において比較的小さくなってしまい、撮影対象を詳細に把握したい場合に十分な画像情報を得ることができないという問題がある。また、撮影範囲をさらに広げるために、例えば魚眼レンズなどを用いる構成も考えられるが、このような広視野角のレンズは比較的高価であり、ビデオカメラの高価格化を招くという問題がある。
【０００６】
そこで２つ目の手法として、ビデオカメラに、撮影方向を上下や左右に移動させるための電動駆動機構部を設ける手法がある。この手法の場合、ビデオカメラの視野角自体はあまり広くせずに、撮影方向を変更することによって広範囲の撮影を実現している。したがって、撮影画像内における撮影対象の物体の大きさを比較的大きくすることができるので、撮影対象に関する十分な画像情報を得ることが可能となる。
【０００７】
しかしながら、ビデオカメラの撮影方向を変更させるための電動駆動機構部を設ける場合、次のような問題が生じることになる。まず、電動駆動機構部は、電動モータ、駆動伝達機構、支持部材などの構成が必要とされるため、ビデオカメラユニットとしての外形が比較的大きくなるという問題がある。また、このような構成が追加されることによるコストアップも招くことになる。さらに、機械的に動作する駆動機構が存在することによって、機械的な要因による信頼性の低下の問題、摩耗などによる寿命の問題、摺動箇所に対するオイル供給などのメンテナンスが必要となるという問題、ビデオカメラの回動に伴って設置箇所が制限されるという問題などが生じることになる。
【０００８】
なお、特開平５−４８９３８号公報には、入射した光をプリズムを用いて分光し、これらを複数の撮像素子によって受光するパノラマビデオカメラが開示されている。また、特開２００２−５８６６９号公報や特開平１０−２０１７５８号公報には、複数のＣＣＤセンサーを縦に並べた構成を備えたパノラマＸ線撮影装置が開示されている。
【０００９】
本発明は上記の問題点を解決するためになされたもので、その目的は、装置コストを低く抑え、信頼性、保守性の向上を実現し、かつ広範囲の撮影を行うことが可能な画像撮影装置および画像撮影システムを提供することにある。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために、本発明に係る画像撮影装置は、入力された光を電気信号に変換する撮像素子と、上記撮像素子において得られた電気信号をデジタル画像データに変換する処理を行う撮像処理部とを備えた画像撮影装置であって、上記撮像素子を複数備えるとともに、上記複数の撮像素子のうちのいずれか１つの撮像素子を選択し、選択された撮像素子から出力される電気信号を上記撮像処理部に入力する切替処理部を備えていることを特徴としている。
【００１１】
上記の構成では、撮像素子が複数設けられている一方、撮像処理部が共用可能に設けられている。そして、切替処理部によって選択された撮像素子によって撮像された画像が撮像処理部によって処理されるようになっている。このような構成によれば、複数の撮像素子をそれぞれ異なる空間を撮影できるように設置しておくとともに、これらの撮像素子を適宜切り替えて撮像処理部に処理させることによって、１つの画像撮影装置によって複数の箇所の撮像画像を提供することが可能となる。
【００１２】
ここで、従来では、１つの画像撮影装置によって複数の箇所の撮影を行おうとする場合には、前記したように、画像撮影装置にいわゆるＰＡＮ機能を実現するための電動駆動機構部を設け、機械的に撮影方向を変化させる構成がとられていた。これは、画像の撮影を行う撮像構成部材としては、レンズ群、絞り部、ＣＭＯＳ型撮像素子（あるいはＣＣＤ）や撮像管などの撮像手段などがあり、このような撮像構成部材は従来では比較的高価なものであったからである。しかしながら、昨今では、技術の進歩や需要の増大などを要因として、例えばＣＣＤなどの撮像素子が劇的に安価になっており、このような撮像素子を１つの画像撮影装置に複数設けることによるコストの上昇は微々たるものとなってきている。したがって、電動駆動機構部を設けるよりも、複数の撮像素子を設ける方が、装置コストをはるかに低く抑えることが可能となっている。
【００１３】
また、電動駆動機構部は、前記したように、電動モータ、駆動伝達機構、支持部材などの構成が必要とされるので、画像撮影装置自体の外形サイズが比較的大きくなっていた。これに対して、上記本発明の構成によれば、撮像素子を複数設ける点、および切替処理部を設ける点などが構成部材の増加であるが、これらの構成を追加することによる外形サイズの増加は微々たるものである。すなわち、撮像素子に関しては、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることを想定すると、その外形サイズが極めて小さいものが必要十分な性能で安価に入手できるようになっている。また、切替処理部に関しては、ＩＣなどの電子回路によって実現できるので、その外形サイズは比較的小さいものとなる。
【００１４】
また、電動駆動機構部を設ける場合、前記したように、機械的に動作する駆動機構が存在することによって、機械的な要因による信頼性の低下の問題、摩耗などによる寿命の問題、摺動箇所に対するオイル供給などのメンテナンスが必要となるという問題が生じるが、上記本発明の構成によれば、機械的に動作する箇所が皆無となるので、これらの問題はすべて解消されることになる。
【００１５】
以上のように、上記本発明の構成によれば、１つの画像撮影装置によって複数の箇所の撮影を行うために従来必要とされた電動駆動機構部を設ける構成と比較して、装置コストの低減、信頼性、保守性の向上、および、設置の自由度の向上を実現することができる。
【００１６】
また、本発明に係る画像撮影装置は、上記の構成において、上記撮像処理部によって処理された画像データを、通信手段を介して外部の装置に送信する送信手段をさらに備えている構成としてもよい。
【００１７】
上記の構成によれば、撮影によって得られた画像データを、通信手段を介して外部の装置に送信することが可能となるので、例えば画像撮影装置から遠く離れた場所において、画像撮影装置によって撮影された画像を確認することが可能となる。よって、例えば画像撮影装置を監視用途のカメラとして機能させることが可能となる。
【００１８】
また、本発明に係る画像撮影装置は、上記の構成において、外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、上記受信手段によって受信された指令信号に基づいて、上記切替処理部による撮像素子の選択が行われる構成としてもよい。
【００１９】
上記の構成によれば、撮影画像を受信する外部の装置から、撮像素子の選択を指示することが可能となるので、外部の装置を用いて撮影画像を確認する利用者は、所望とする領域を撮影している撮像素子を選択して、その撮像素子によって撮影されている画像を見ることが可能となる。よって、利用者は、所望とするタイミングで、所望とする領域の撮影画像を確認することが可能となる。
【００２０】
また、本発明に係る画像撮影装置は、上記の構成において、選択する撮像素子を所定の間隔で順次切り替える指示信号を出力する撮像素子切替カウンタをさらに備えており、上記切替処理部が、上記撮像素子切替カウンタからの指示信号に従って選択する撮像素子を切り替える構成としてもよい。
【００２１】
上記の構成によれば、切替処理部が、撮像素子切替カウンタからの指示に従って撮像素子を所定の間隔で順次切り替えるので、各撮像素子によって撮影されている画像が順次切り替えられた画像を利用者は確認することができる。したがって、利用者は何らかの指示を行うことなく、複数の撮像素子によって撮影されている領域を順次確認していくことが可能となり、例えば監視用途などにおいて有効に機能させることができる。
【００２２】
また、本発明に係る画像撮影装置は、上記の構成において、上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部と、上記撮像パラメータ調整部によって調整された撮像パラメータを、各撮像素子ごとに記憶する撮像パラメータ記憶部とをさらに備えた構成としてもよい。
【００２３】
撮像素子における撮像パラメータを、その撮像素子によって撮影された画像のデータに基づいて調整する場合、１フレーム分の画像データのみでは十分にパラメータ調整を完了することはできないものであり、複数のフレーム分をフィードバック制御方式で繰り返し調整することによって、良好なパラメータ値に設定することが可能となる。ここで、上記のように、撮像パラメータ記憶部に調整結果を各撮像素子ごとに記憶しておき、ある撮像素子が選択された際に、この記憶されている撮像パラメータを読み出して、これをデフォルト値として設定する制御を行えば、前回の調整時から撮影環境が大きく変化していなければ、少ないフレーム分の画像によってパラメータ調整を完了することが可能となる。すなわち、上記の構成によれば、撮像パラメータの調整にかかる時間を短くすることが可能となる。
【００２４】
また、本発明に係る画像撮影装置は、上記の構成において、上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部をさらに備え、上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間後から、上記撮像処理部が、切り替え後に選択された撮像素子によって撮像された画像データを出力する構成としてもよい。
【００２５】
上記の構成では、撮像素子の切り替えが行われると、切り替え後に選択された撮像素子から出力される電気信号が撮像処理部に入力される。そして、撮像パラメータ調整部は、撮像処理部において生成されたデジタル画像データに基づいて、選択された撮像素子における撮像パラメータの調整を行う。ここで、撮像素子の切り替え直後では、切り替え後に選択された撮像素子によって撮像された画像データが撮像処理部から出力されずに、切り替えが行われた時点から所定の期間経過した後から出力されるようになっている。
【００２６】
例えば切り替え直後から、選択された撮像素子によって撮像された画像データが出力されるようになっている場合、出力される画像は、撮像パラメータ調整部による調整が完了していない悪い画像状態のものとなっている。これに対して、上記本発明の構成のように、切り替え時点から所定の期間経過した後から、選択された撮像素子によって撮像された画像データを出力するようにすれば、この所定の期間において撮像パラメータ調整部による調整を完了することが可能となるので、出力される画像は良好な画像状態となっていることになる。
【００２７】
すなわち、上記の構成によれば、撮像素子の切り替えが行われた際に、撮像パラメータの調整が完了していない状態の撮像画像が出力されることを防止することができる。
【００２８】
また、本発明に係る画像撮影装置は、上記の構成において、上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間内では、上記撮像処理部は、切り替え前に選択されていた撮像素子によって撮像された画像データを出力する構成としてもよい。
【００２９】
上記の構成によれば、撮像素子の切り替えが行われた時点から所定の期間内では、切り替え前に選択されていた撮像素子によって撮像された画像データが出力されることになるので、出力される画像に空白期間が生じることなく、スムーズに撮像素子の切替を行うことが可能となる。
【００３０】
また、本発明に係る画像撮影装置は、上記の構成において、上記切替処理部によって特定の撮像素子が選択され続けている際に、上記切替処理部が、所定の期間毎に、選択されていない撮像素子を一時的に選択する構成としてもよい。
【００３１】
上記の構成によれば、特定の撮像素子が選択され続けている場合でも、定期的に他の撮像素子が一時的に選択されることになる。このように、他の撮像素子が一時的に選択される際には、撮像パラメータ調整部によって該当撮像素子の撮像パラメータが調整され、調整されたパラメータが撮像パラメータ記憶部に記憶されることになる。よって、長期間特定の撮像素子が選択され続けている状態から、他の撮像素子に切り替えられた場合でも、定期的に行われた撮像パラメータ調整の結果が記憶されている撮像パラメータ記憶部から該当撮像素子に関する撮像パラメータを読み出して、これを切り替えられた撮像素子に反映させることができる。
【００３２】
すなわち、選択されていない撮像素子に関しても、定期的に撮像パラメータ調整を行うことが可能となるので、撮像パラメータ記憶部に記憶されている各撮像素子の撮像パラメータの値をある程度調整された値に維持しておくことが可能となる。よって、撮像素子の切替が行われた場合でも、比較的短い調整期間で撮像パラメータの調整制御を完了することが可能となる。
【００３３】
また、本発明に係る画像撮影システムは、上記本発明に係る画像撮影装置と、上記画像撮影装置から出力された画像データを入力して画像処理を行う制御装置とを備え、上記制御装置が、上記画像撮影装置が備える上記複数の撮像素子によって撮像された各画像データを１つの合成画像に合成する処理を行うことを特徴としている。
【００３４】
上記の構成によれば、制御装置によって、画像撮影装置が備える複数の撮像素子によって撮像された各画像データが１つの合成画像に合成されることになる。ここで、各撮像素子による撮影範囲が、互いに端部において重なるように設定されていれば、合成画像としては、各撮像素子による撮影範囲を足し合わせた範囲の画像となる。すなわち、この場合の合成画像は、比較的広い範囲を撮影した画像となる。よって、画像撮影装置があたかも広い範囲の撮影が可能な撮影装置として機能しているかのような画像を出力することが可能となる。
【００３５】
また、本発明に係る画像撮影システムは、上記の構成において、上記制御装置が、処理された画像データを、通信手段を介して外部の装置に送信する送信手段を備えているとともに、上記合成画像のうちの一部の画像領域の画像データを、上記外部の装置に送信する構成としてもよい。
【００３６】
上記の構成によれば、外部の装置に対して、合成画像のうちの一部の画像領域の画像データを送信するようになっている。ここで、送信する画像領域のサイズを、外部の装置側で必要とされるサイズ、例えば表示画面のサイズなどに合わせることによって、送信する画像データのサイズを必要最小限とすることができる。例えば送信先の外部の装置として、携帯電話機などの端末装置である場合、通信速度が比較的遅いことが多い。したがって、上記の構成のように、画像データのサイズを必要最小限とすることによって、通信時間の短縮を図ることができるとともに、通信コストを抑制することが可能となる。
【００３７】
また、本発明に係る画像撮影システムは、上記の構成において、外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、上記受信手段によって受信された指令信号に基づいて、送信する画像領域の位置が変更される構成としてもよい。
【００３８】
上記の構成によれば、外部の装置から、合成画像中における送信すべき画像領域の位置を変更する指示を行うことが可能となる。よって、外部の装置を操作する利用者は、画像領域の位置を変更する指示を行うことによって、あたかも画像撮影装置の撮影方向を変化させる操作、たとえばパンニングなどを行っているような操作感を得ることができる。すなわち、画像撮影装置自体には、物理的に撮影方向を変化させる機能を持たせることなく、同等の機能を電子的に実現することが可能となる。
【００３９】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図１１に基づいて説明すれば、以下のとおりである。
【００４０】
（システム構成）
図２は、本実施形態に係る遠隔撮影システムの概略構成を示すブロック図である。同図に示すように、この遠隔撮影システムは、マルチアレーカメラ（画像撮影装置）１…、カメラマスタコントローラ（制御装置）２、センタシステム３、および携帯端末４を備えた構成となっている。
【００４１】
マルチアレーカメラ１は、複数のイメージセンサを備え、各イメージセンサによって撮影された画像を適宜切り替えて出力するカメラユニットである。このマルチアレーカメラ１の詳細については後述する。
【００４２】
カメラマスタコントローラ２は、複数のマルチアレーカメラ１…から画像データを受信するとともに、これらの画像データを適宜切り替えてセンタシステム３に対して出力するコントローラである。このカメラマスタコントローラ２は、画像処理部５、ワイヤレス送受信部６、記憶部７、および送受信部（送信手段・受信手段）８を備えた構成となっている。
【００４３】
画像処理部５は、マルチアレーカメラ１…から送られてきた画像データをセンタシステム３に対して送信する際に、画像合成処理（詳細は後述する）を行う必要がある場合にこの処理を行うブロックである。この画像処理部５は、例えばＣＰＵ(Central Processing Unit)が画像処理プログラムを実行することによって実現される。
【００４４】
ワイヤレス送受信部６は、マルチアレーカメラ１…との間でワイヤレス通信を行う際の通信インターフェースに相当するものである。ワイヤレス通信の具体例としては、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信などが挙げられる。なお、本実施形態では、カメラマスタコントローラ２とマルチアレーカメラ１…との間での通信はワイヤレスとなっているが、有線による通信を行う形態であってももちろんかまわない。しかしながら、ワイヤレスによる通信とすることによって、マルチアレーカメラ１…の設置場所の自由度を向上させることが可能である。
【００４５】
記憶部７は、マルチアレーカメラ１…から送られてきた画像データを一時的に格納するものであり、例えばＲＡＭ(Random Access Memory)、フラッシュメモリ、ハードディスクドライブなどの記録媒体によって構成される。画像処理部５は、この記憶部７に記憶されている画像データに基づいて画像合成処理を行うことになる。
【００４６】
送受信部８は、センタシステム３との間で通信を行う際の通信インターフェースとして機能するものである。ここでの通信形態としては、例えば公衆電話網およびインターネットを介した通信などが挙げられるが、特に限定するものではなく、遠距離データ通信が可能な通信形態であればどのような形態であってもよい。なお、送受信される画像データはプライベートな内容である場合が想定されるので、インターネットを介した通信を行う場合には、例えば画像データに暗号化処理を施したり、ＶＰＮ(Virtual Private Network)を利用したりというようなデータ通信のセキュリティを確保できる手法を採用することが好ましい。
【００４７】
センタシステム３は、本実施形態に係る遠隔撮影システムを統轄管理するものであり、サーバコンピュータなどによって構成される。図２中では、カメラマスタコントローラ２は１つしか示されていないが、実際には多数のカメラマスタコントローラ２…がセンタシステム３に通信接続されている。また、同様に、同図中では携帯端末４は１つしか示されていないが、実際には多数の携帯端末４…がセンタシステム３に接続されている。そして、センタシステム３は、各携帯端末４と各カメラマスタコントローラ２とを適宜接続し、データ送受信を仲介する機能を果たしている。
【００４８】
なお、センタシステム３を、監視サーバとして機能させることも可能である。すなわち、監視サーバにおける処理としては、例えば、受信した画像データの保存処理や、異常発生時の警報の発動処理ならびに連絡処理などが挙げられる。また、この場合、センタシステム３は、さらに広域の通信ネットワークを介して、例えば警備会社に設置された中央管理サーバに接続されていてもよい。このような構成とした場合、各センタシステム３から送信されてくる情報によって、警備会社において各撮影装置による監視状況を把握することが可能となり、例えば留守中の警備などが可能となる。
【００４９】
携帯端末４は、遠隔撮影システムにおける操作端末として機能するものであり、各利用者が携帯している携帯電話機などによって構成されるものである。利用者は携帯端末４を介してセンタシステム３に通信接続し、操作を行いたいマルチアレーカメラ１を特定し、所望とする操作を行うとともに、マルチアレーカメラ１による撮影画像を受信して表示画面上に表示させることになる。なお、この携帯端末４としては、上記した携帯電話機に限らず、利用者が携帯可能な端末装置、例えばＰＤＡ(Personal Digital Assistant)端末などでも構わない。さらに言えば、携帯型の端末に限らず、マルチアレーカメラ１が設置されている場所から離れた位置に設けられている端末装置、例えば通常のＰＣ(Personal Computer)などであってもかまわない。
【００５０】
以上のように、本実施形態に係る遠隔撮影システムは、利用者が携帯端末４を用いることによって、マルチアレーカメラ１が設置される遠く離れた箇所の撮影を制御するとともに、その撮影画像を携帯端末４で確認することを可能とするシステムとなっている。なお、上記のシステム例では、センタシステム３によって通信の仲介が行われるようになっているが、携帯端末４が直接カメラマスタコントローラ２にアクセスし、撮影制御指示および撮影画像の受信を行うようなシステムであってもよい。この場合、例えばカメラマスタコントローラ２がインターネットにおけるＩＰアドレスを有しており、携帯端末４がこのＩＰアドレスを特定することによって該当カメラマスタコントローラ２にアクセスする、という形態が考えられる。昨今、ＩＰｖ６の実用化が進んでおり、各カメラマスタコントローラ２にＩＰアドレスを設定することは現実的なものとなってきている。
【００５１】
（マルチアレーカメラの構成）
次に、マルチアレーカメラ１の構成について説明する。図３は、マルチアレーカメラ１の外観の概略を示す斜視図である。同図に示すように、マルチアレーカメラ１は、筐体２４の内部にイメージセンサアレーユニット９が設けられている構成となっている。
【００５２】
イメージセンサアレーユニット９は、第１イメージセンサ（撮像素子）９Ａ、第２イメージセンサ（撮像素子）９Ｂ、および第３イメージセンサ（撮像素子）９Ｃを備えた構成となっている。なお、以降では、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃを特に区別する必要のないときには、これをイメージセンサ９Ｘと称することにする。
【００５３】
イメージセンサ９Ｘは、レンズ群、絞り、およびイメージャなどによって構成されている。最近ではこれらをコンパクトに一体化したものが実用化されており、本実施形態においても、このような一体化されたイメージセンサ９Ｘを用いている。レンズ群は、外部の光をイメージャ上に導くためのものであり、このレンズ群の設定によって焦点距離や視野角が決定される。絞りは、イメージャ上に導かれる外部からの光の量を調整するものであり、この絞り量の設定によって被写界深度などが決定される。
【００５４】
イメージャは、入力された光を電気信号に変換するものであり、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ型撮像素子などがある。本実施形態では、このイメージャとしてＣＭＯＳ型撮像素子を用いているが、同様の機能を有する素子であればどのようなものを用いてもよく、例えばＣＣＤ型撮像素子を用いてもよい。
【００５５】
また、筐体２４には窓部２５が設けられており、各イメージセンサ９Ｘは、この窓部２５を介して外部からの光を取り入れるようになっている。このように、イメージセンサアレーユニット９が筐体２４内に配置される構成とすることによって、例えばイメージセンサ９Ｘにおけるレンズの表面に汚れが付着したり傷が生じたりなどの不具合を防止することができる。
【００５６】
図４は、イメージセンサ９Ｘの外観の概略を示す斜視図である。同図に示すように、本実施形態で用いるイメージセンサ９Ｘは、縦横それぞれ２．５ｍｍ、３．７５ｍｍ程度となっており、その厚みもレンズ部も含めて２ｍｍ程度となっている。このように、イメージセンサ９Ｘは、その外形サイズが比較的小さいものであるので、図３に示すマルチアレーカメラ１自体の外形サイズもかなり小さいものとなる。具体的には例えば数ｃｍ³程度の外形体積のマルチアレーカメラ１を構成することができる。
【００５７】
このように、本実施形態におけるマルチアレーカメラ１は、例えば従来の監視用途用ビデオカメラと比較して、その外形サイズがかなり小さいものとなっている。よって、その設置場所に関する自由度はかなり大きく、利用者は様々な箇所にマルチアレーカメラ１を設置することが可能である。
【００５８】
また、昨今では、技術の進歩および需要の増大によって、イメージセンサを構成するＣＣＤなどの価格が著しく低くなってきている。すなわち、マルチアレーカメラ１の装置コストも比較的低いものであるので、コストの面においても、マルチアレーカメラ１を複数設置することが容易になっている。
【００５９】
図５は、イメージセンサアレーユニット９を上方向から見た際の構成および各イメージセンサ９Ｘによる撮像範囲を示す図である。同図に示すように、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃは、それぞれ支持基板９Ｄに取り付けられている。そして、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃがそれぞれ異なる撮影方向となるように、支持基盤９Ｄの形状が設定されている。
【００６０】
図５に示す例では、各イメージセンサ９Ｘの撮影方向が、上下方向（図５では紙面に対して前後方向）に対しては同じ方向であるとともに、左右方向（図５では上下方向）に対してそれぞれ異なる方向となるように設定されている。また、各イメージセンサ９Ｘの撮像範囲が、その左右端部領域において互いに重なるように、各イメージセンサ９Ｘの撮影方向が設定されている。すなわち、図５に示すイメージセンサアレーユニット９によれば、各イメージセンサ９Ｘによる撮像範囲を全て考慮すると、左右方向で広範囲に撮影を行うことが可能となっている。
【００６１】
なお、イメージセンサアレーユニット９において、各イメージセンサ９Ｘの撮影方向がそれぞれ全く異なる方向に設定されている、すなわちそれぞれの撮像範囲が全く重ならないような状態となっていてもかまわない。
【００６２】
また、本実施形態では、マルチアレーカメラ１には３つのイメージセンサ９Ｘが設けられた例を示しているが、これに限定されるものではなく、１つのマルチアレーカメラ１に設けられるイメージセンサ９Ｘの個数としては任意の数としてかまわない。また、本実施形態では、マルチアレーカメラ１に設けられたイメージセンサ９Ｘは、横方向に複数個並んで配置された構成となっているが、例えばこれらを縦方向に並べた構成としてもよいし、横方向および縦方向にそれぞれ複数個並べた構成としてもかまわない。
【００６３】
また、図５において、支持基板９Ｄは、各イメージセンサ９Ｘの撮影方向を所定の方向に設定するような形状となっているが、この支持基盤９Ｄの形状を変化させることが可能となっていてもよい。例えば、支持基盤９Ｄにおいて、各イメージセンサ９Ｘが設けられる部分をそれぞれ別の部分基板として設け、各部分基板の面の角度を利用者によって調整することが可能となっていてもよい。このようにすれば、全てのイメージセンサ９Ｘによる撮像範囲を、利用者の要求に応じて広げたり狭めたりすることが可能となる。各部分基板の面の方向をそれぞれ上下左右に自由に変更することが可能となっていれば、利用者の要求に応じて、各イメージセンサ９Ｘの撮影方向をそれぞれ全く異なる方向に設定することが可能となる。
【００６４】
次に、マルチアレーカメラ１の内部構成について説明する。図１は、本実施形態に係るマルチアレーカメラ１の構成を示すブロック図である。同図に示すように、マルチアレーカメラ１は、大きく分けて、実際の撮像を行う撮像部、撮像部によって得られた撮像データを処理して送信処理を行う撮像処理部、撮像の調整を行う撮像調整部、およびカメラの切替処理を行う切替処理部とが設けられている。
【００６５】
撮像部としては、前述した第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃが設けられている。
【００６６】
撮像処理部としては、タイミングジェネレータ１１、同期ジェネレータ１２、サンプルホールド部１３、Ａ／Ｄコンバータ１４、画像信号送出切替部１５、画像圧縮部１６、およびワイヤレス送受信部（送信手段・受信手段）１７が設けられている。
【００６７】
サンプルホールド部１３は、撮像部によって撮影されたアナログ信号としての画像データをサンプル単位で一時的に保持するためのブロックである。このサンプルホールド部１３は次のような理由によって設けられているものである。撮像部によって撮影されたアナログ信号としての画像データは、後段のＡ／Ｄコンバータ１４においてデジタル信号に変換されることになる。一般に、Ａ／Ｄコンバータは、１サンプルのＡ／Ｄ変換をするのに若干の時間を必要とするものである。よって、変換中に入力信号の値が大きく変化するようなときには、正しいデジタル信号を得ることができないことになる。そこで、Ａ／Ｄ変換が始まったときの入力信号の値を、１サンプルのＡ／Ｄ変換が終わるまで保持する回路が必要となる。この役目をするのがサンプルホールド部１３となる。
【００６８】
Ａ／Ｄコンバータ１４は、撮像部によって撮影されたアナログ信号としての画像データをデジタル信号に変換するブロックである。これにより、デジタルデータとしての画像データを得ることができ、後段の画像圧縮部１６によるデジタル圧縮処理や、後段のワイヤレス送受信部１７によるデジタルデータ通信などが可能となる。
【００６９】
同期ジェネレータ１２は、撮像処理を行う上で基本となる同期クロックを生成するブロックである。また、タイミングジェネレータ１１は、同期ジェネレータ１２によって生成された同期クロックに基づいて、イメージセンサ９Ｘ、サンプルホールド部１３、Ａ／Ｄコンバータ１４、およびカメラ切替選択部２０（後述）における各動作タイミングを規定するタイミング信号を生成するブロックである。このタイミング信号に基づいてイメージセンサ１２、サンプルホールド部１３、Ａ／Ｄコンバータ１４、およびカメラ切替選択部２０が動作することによって、画像の取り込みからＡ／Ｄ変換までの処理、および後述するカメラ切替処理が誤り無く正確に行われることになる。
【００７０】
画像信号送出切替部１５は、現時点でＡ／Ｄコンバータ１４から入力されている画像データがどのイメージセンサ９Ｘによって撮影されたものであるかを判断し、該画像データのヘッダ部分にイメージセンサ９Ｘの情報を埋め込んで画像圧縮部１６に送る処理を行うものである。この画像信号送出切替部１５は、後述する撮像調整・送出切替制御部２３から信号を受け取るようになっており、この信号に基づいて、現時点でＡ／Ｄコンバータ１４から入力されている画像データがどのイメージセンサ９Ｘによって撮影されたものであるかを判断する。
【００７１】
画像圧縮部１６は、画像信号送出切替部１５から入力されたデジタル画像データを圧縮するブロックである。このデータ圧縮処理は、例えばデータ圧縮アルゴリズムからなるプログラムを、例えばＣＰＵ(Central Processing Unit)、およびＲＡＭ(Random Access Memory)などからなる演算処理部、あるいはＤＳＰ(Digital Signal Processor)などに実行させることによって実現される。このデータ圧縮処理によって、外部に送信する画像データのデータサイズを減少させることができ、通信時間およびコストを低減することが可能となる。なお、画像圧縮部１６にて圧縮された画像データを、必要に応じて一時的に蓄積する画像圧縮蓄積部を設けてもよい。
【００７２】
ワイヤレス送受信部１７は、画像圧縮部１６において圧縮された画像データを、ワイヤレス通信方式によって前記したカメラマスタコントローラ２に送信するブロックである。ワイヤレス通信方式としては、例えば電波による通信、および光による通信などが挙げられる。このワイヤレス送受信部１７は、図示はしないが、送信すべき画像データを通信プロトコルに応じた信号に変換するプロトコル変換部、および、無線による信号を送出する無線信号送出部を備えている。無線信号送出部は、例えば電波方式による通信を行う場合には、ＲＦモジュールによって構成されることになる。なお、上記では、ワイヤレス送受信部１７の送信側の機能についてのみ説明しているが、装置外部からの無線信号を受信する機能も有しているものとする。
【００７３】
次に、前記した撮像調整部について説明する。撮像調整部としては、図１に示す撮像パラメータ調整部１８、および撮像パラメータ記憶部１９が設けられている。
【００７４】
撮像パラメータ調整部１８は、Ａ／Ｄコンバータ１４から出力されるデジタル画像データに基づいて撮影状態を判定し、その結果に基づいて、イメージセンサ９Ｘにおける撮像パラメータを制御するものである。ここでの撮像パラメータとは、例えばイメージセンサ９Ｘにおけるゲイン調整やホワイトバランス調整などが挙げられる。この撮像パラメータ調整部１８における処理は、例えばＣＰＵおよびＲＡＭなどからなる演算処理部、あるいはＤＳＰに、撮像制御処理プログラムを実行させることによって実現される。
【００７５】
撮像パラメータ記憶部１９は、撮像パラメータ調整部１８によって調整された撮像パラメータを記憶するものであり、例えばＲＡＭ、フラッシュメモリ、ハードディスクドライブなどの記録媒体によって構成される。そして、この撮像パラメータ記憶部１９は、第１記憶部１９Ａ、第２記憶部１９Ｂ、および第３記憶部１９Ｃを備えている。ここで、第１記憶部１９Ａは、第１イメージセンサ９Ａに関する撮像条件パラメータを、第２記憶部１９Ｂは、第２イメージセンサ９Ｂに関する撮像条件パラメータを、第３記憶部１９Ｃは、第３イメージセンサ９Ｃに関する撮像条件パラメータをそれぞれ記憶するようになっている。
【００７６】
次に、前記した切替処理部について説明する。切替処理部としては、図１に示す切替部１０、カメラ切替選択部２０、カメラ切替カウンタ（撮像素子切替カウンタ）２１、カメラ切替指令部２２、および撮像調整・送出切替制御部２３が設けられている。
【００７７】
カメラ切替選択部２０は、マルチアレーカメラ１から出力する画像をどのイメージセンサ９Ｘによって撮影された画像とするかを切替選択するものである。この切替選択は、外部から受信した切替選択指示に基づいて行われる場合と、カメラ切替カウンタ２１からの指示に基づいて行われる場合とがある。
【００７８】
外部から受信した切替選択指示に基づいて行われる場合とは、例えば前記した携帯端末４から送出された指示に基づいて、前記したカメラマスタコントローラ２からの切替選択指示がワイヤレス送受信部１７において受信され、この切替選択指示がワイヤレス送受信部１７からカメラ切替選択部２０に入力される場合である。
【００７９】
カメラ切替カウンタ２１からの指示に基づいて行われる場合とは、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃを順に切り替えて出力する場合である。すなわち、カメラ切替カウンタ２１は、所定のタイミングでシーケンシャルに第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃを選択する指示信号を出力するようになっている。
【００８０】
なお、カメラ切替選択部２０は、タイミングジェネレータ１１から入力されるタイミング信号に基づいてカメラ切替の指示を行うようになっている。
【００８１】
カメラ切替指令部２２は、カメラ切替選択部２０によって選択された内容に基づいて、切替部１０に対してカメラ切替指令を出力するものである。切替部１０は、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃによって撮像された画像信号が入力されるとともに、これらの画像信号のうちのいずれか１つを選択して上記のサンプルホールド部１３に出力するものである。この切替部１０における画像信号の選択は、カメラ切替指令部から入力されるカメラ切替指令に基づいて行われる。
【００８２】
撮像調整・送出切替制御部２３は、カメラ切替選択部２０によって選択された内容に基づいて、撮像調整の制御指示および画像信号送出切替の制御指示を行うものである。具体的には、まず撮像パラメータ調整部１８に対して、カメラ切替選択部２０によってどのイメージセンサが選択されているかが通知される。そして、撮像パラメータ調整部１８は、選択されていると通知されたイメージセンサに関する撮像条件パラメータを撮像パラメータ記憶部１９から読み出して、これに基づいて該当イメージセンサの撮像条件パラメータの調整を行うことになる。
【００８３】
また、画像信号送出切替部１５に対して、カメラ切替選択部２０によってどのイメージセンサが選択されているかが通知される。そして、画像信号送出切替部１５は、Ａ／Ｄコンバータ１４から入力されている画像データが、選択されていると通知されたイメージセンサによって撮影されたものであると判断することになる。
【００８４】
以上のように、本実施形態に係るマルチアレーカメラ１は、撮像部においてイメージセンサが複数設けられている一方、撮像処理部、および撮像調整部などは共通部として設けられている構成となっている。よって、このような構成によれば、複数のイメージセンサを備えながら、装置全体のコストとしては比較的低く抑えることができ、コストパフォーマンスの良い撮像カメラを構成することができる。
【００８５】
（カメラ切替シーケンス）
次に、マルチアレーカメラ１におけるカメラ切替シーケンスについて説明する。まず、マルチアレーカメラ１から出力する画像データを、どのイメージセンサによって撮像された画像とするかを切り替える際の同期制御について図６を参照しながら説明する。図６において、一番上にはフレーム同期信号の波形が示されている。このフレーム同期信号は、図１に示す同期ジェネレータ１２によって生成されるものである。
【００８６】
また、図６において、フレーム同期信号波形の下には、カメラ切替指令が出されたタイミングを示す矢印が示されている。このカメラ切替指令は、図１に示すカメラ切替選択部２０に対して、例えば外部の機器（携帯端末４など）から通信によって入力されたり、図１に示すカメラ切替カウンタ２１から入力されたりするものである。このようなカメラ切替指令は、基本的にフレーム同期タイミングとは関係なしに入力されることになる。
【００８７】
ここで、カメラ切替選択部２０は、タイミングジェネレータ１１からタイミング信号を受け取るとともに、このタイミング信号に基づいてカメラの切替指示をカメラ切替指令部２２に対して行う。このタイミング信号は、上記のフレーム同期信号に同期した信号となっている。よって、図６の一番下に示すように、各イメージセンサによって撮像された画像の出力は、フレーム同期信号に同期したタイミングで切り替えられることになる。
【００８８】
図６に示す例では、第１イメージセンサ９Ａによって撮像された画像が出力されている状態で、まず第２イメージセンサ９Ｂへの切替指令が入力されている。そして、この切替指令の入力時点から最も近いフレーム同期タイミングにおいて、第２イメージセンサ９Ｂによって撮像された画像の出力に切り替えられている。また、その後、第２イメージセンサ９Ｂによって撮像された画像が出力されている状態で、第３イメージセンサ９Ｃへの切替指令が入力され、この時点から最も近いフレーム同期タイミングにおいて、第３イメージセンサ９Ｃによって撮像された画像の出力に切り替えられている。
【００８９】
このように、カメラ切替選択部２０は、タイミングジェネレータ１１からのタイミング信号に基づいてカメラ切替を行っているので、たとえ切替指令がランダムなタイミングで入力されても、切替時点で出力画像に乱れが生じることなく、良好な撮像画像切替処理を行うことが可能となっている。
【００９０】
次に、カメラ切替に関する具体例について説明する。本実施形態では、カメラ切替の方式として、▲１▼シーケンシャル動作方式、および▲２▼外部指令動作方式の２つを想定している。
【００９１】
まず、上記の▲１▼シーケンシャル動作方式について説明する。シーケンシャル動作方式は、出力する画像を撮像するイメージセンサを所定のタイミングで順次切り替える方式である。このシーケンシャル動作方式は、上記のカメラ切替カウンタ２１から出力される切替指令に基づいて行われることになる。
【００９２】
カメラ切替カウンタ２１は、所定の間隔で、出力する画像を撮像するイメージセンサとして、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃを順次切り替えるように切替指令信号をカメラ切替選択部２０に対して出力するようになっている。
【００９３】
図７（ａ）および図７（ｂ）は、イメージセンサの切替周期として１フレーム周期に設定した場合の例を示しており、同図（ａ）は撮像パラメータの調整対象とするイメージセンサのシーケンスを示しており、同図（ｂ）は実際の画像出力におけるイメージセンサのシーケンスを示している。これらの図に示すように、シーケンシャル動作方式の場合、撮像パラメータの調整対象とするイメージセンサのシーケンスと、実際の画像出力におけるイメージセンサのシーケンスとは完全に一致している。
【００９４】
この場合の撮像パラメータの調整について説明する。ここではまず第１イメージセンサ９Ａに着目して説明する。第１イメージセンサ９Ａが撮像パラメータの調整対象となると、第１イメージセンサ９Ａによって撮影された１フレーム分の画像に基づいて、撮像パラメータ調整部１８によって撮像パラメータの調整が行われる。そして、ここでの調整結果は、撮像パラメータ記憶部１９における第１記憶部１９Ａに記憶される。
【００９５】
次のフレームに移行すると、撮像パラメータの調整対象は第２イメージセンサ９Ｂとなり、その次のフレームに移行すると撮像パラメータの調整対象は第３イメージセンサ９Ｃとなる。そしてさらに次のフレームに移行すると、再び第１イメージセンサ９Ａが撮像パラメータの調整対象となる。この時、撮像パラメータ調整部１８は、撮像パラメータ記憶部１９における第１記憶部１９Ａから前回の撮像パラメータの調整結果を読み出して、第１イメージセンサ９Ａの撮像パラメータとして設定し、この状態で１フレーム分の画像を撮影する。その後、この１フレーム分の画像に基づいて、撮像パラメータ調整部１８によって撮像パラメータの調整が行われる。そして、ここでの調整結果が、撮像パラメータ記憶部１９における第１記憶部１９Ａに更新する形で記憶される。
【００９６】
以上のように、シーケンシャル動作方式の場合、ある１つのイメージセンサに着目すると、撮像パラメータの調整は３フレーム毎に１フレーム分の画像に基づいて行われることになる。通常、撮像パラメータの調整は、連続した数フレーム分の画像に基づいてフィードバック制御を行うことによって良好な状態に収束させることができるものであるので、基本的には数フレームを連続してパラメータ調整を行うことが望ましいといえる。しかしながら、上記の方式の場合、撮像パラメータの調整は３フレーム毎に行われるとともに、撮像パラメータ記憶部１９に記憶されている撮像パラメータを毎回読み出して調整を行うようにしているので、３フレームの間隔内でよほど大きな環境の変化がない限り、３フレーム毎の撮像パラメータ調整によって、十分良好な画像状態に調整することが可能となっている。
【００９７】
次に、上記の▲２▼外部指令動作方式について説明する。外部指令動作方式は、出力する画像を撮像するイメージセンサを、外部からの指令、例えば携帯端末４からの指令に基づいて切り替える方式である。この外部からの指令は、図１に示すワイヤレス送受信部１７で受信されてカメラ切替選択部２０に入力されるようになっている。
【００９８】
図８（ａ）は、撮像パラメータの調整対象とするイメージセンサのシーケンスを示している。同図に示すように、最初の状態では、第３イメージセンサ９Ｃが選択されており、４番目のフレームの途中において外部から第２イメージセンサ９Ｂに切り替える指令が入力されている。そしてこの指令に基づいて、５番目のフレームから撮像パラメータの調整対象とするイメージセンサを第２イメージセンサ９Ｂに切り替えている。その後、１８番目のフレームの途中において外部から第１イメージセンサ９Ａに切り替える指令が入力されており、１９番目のフレームから撮像パラメータの調整対象とするイメージセンサを第１イメージセンサ９Ａに切り替えている。
【００９９】
この場合の実際の画像出力におけるイメージセンサのシーケンスとしては、図８（ｂ）に示す方式例１と、図８（ｃ）に示す方式例２とが挙げられる。方式例１では、第３イメージセンサ９Ｃの撮像画像が出力されている状態で、第２イメージセンサ９Ｂの選択指令が入力された後の次のフレームから４フレーム分は、第３イメージセンサ９Ｃの撮像画像が出力されている。そして、第２イメージセンサ９Ｂの選択指令が入力された後の次のフレームから５フレーム目より第２イメージセンサ９Ｂの撮像画像が出力されるようになっている。
【０１００】
同様に、第２イメージセンサ９Ｂの撮像画像が出力されている状態で、第１イメージセンサ９Ａの選択指令が入力された後の次のフレームから４フレーム分は、第２イメージセンサ９Ｂの撮像画像が出力され、その次のフレームから第１イメージセンサ９Ａの撮像画像が出力されるようになっている。
【０１０１】
このように、方式例１では、外部からの選択指令が入力されてから数フレーム（上記の例では４フレーム）経過した時点で、選択指令によって選択されたイメージセンサの撮像画像を出力するように切り替えられるようになっている。そして、外部からの選択指令が入力されてから実際に出力が切り替えられるまでの間は、選択指令が入力された時点で選択されているイメージセンサの撮像画像が静止画として出力されるようになっている。
【０１０２】
前記したように、撮像パラメータの調整は、連続した数フレーム分の画像に基づいてフィードバック制御を行うことによって良好な状態に収束させることができるものである。すなわち、上記の方式では、外部からの選択指令が入力されてから調整期間として数フレーム経過した時点で画像出力の切替を行うことによって、切替後の出力画像を、撮像パラメータの調整が収束して良好な状態となったものとすることができる。
【０１０３】
なお、前記したシーケンシャル動作方式の場合には、上記のような調整期間を設けずに画像出力の切替を行っているが、これは、ある１つのイメージセンサに着目すると、３フレームごとに必ず撮像パラメータの調整が行われているので、１フレーム分の画像で十分に撮像パラメータ調整処理を完了することができるからである。これに対して、上記の外部指令動作方式では、基本的には、出力する画像を撮像するイメージセンサとして選択されていないイメージセンサに対しては、比較的長期間撮像パラメータの調整が行われないことになる。よって、このようなイメージセンサを選択する指令が行われた際には、上記のように、撮像パラメータの調整に数フレーム分必要となるので、図８（ｂ）に示すようなシーケンスにする必要が生じることになる。
【０１０４】
ここで、調整期間に出力される静止画について説明しておく。上記したように、選択指令が入力されると、次のフレームから撮像パラメータの調整対象とするイメージセンサが切り替えられることになる。すなわち、図１に示す切替部１０からサンプルホールド部１３に入力される画像信号は、切替後のイメージセンサの撮像画像となる。したがって、切替前に選択されていたイメージセンサによる撮像画像を、調整期間においてリアルタイムに出力することはできないことになる。そこで、切替の直前における切替前に選択されていたイメージセンサによる撮像画像を画像圧縮部１６におけるバッファに静止画像として蓄えておき、調整期間中はこの静止画像を繰り返し出力するようにしている。
【０１０５】
次に、図８（ｃ）に示す方式例２について説明する。方式例２は、基本的には方式例１と同様の画像出力を行うものであるが、異なる点としては、調整期間において画像の出力を行わない点である。
【０１０６】
詳しく説明すると、方式例１では、上記のように、調整期間中において、切替前に選択されていたイメージセンサによる撮像画像を静止画として出力し、撮像パラメータの調整処理が完了した時点で切替後に選択されるイメージセンサによる撮像画像を出力するようにしている。これに対して、方式例２では、選択指令が入力されると、次のフレームから４フレーム分は画像の出力を停止させ、撮像パラメータの調整処理が完了する５フレーム目から切替後に選択されるイメージセンサによる撮像画像を出力するようにしている。
【０１０７】
このように、方式例２によれば、実際の画像出力において、イメージセンサの切替が行われるごとに数フレーム分（上記の例では４フレーム分）の空白期間が生じることになる。しかしながら、調整期間において、方式例１のように静止画をバッファしておいてこれを繰り返し出力する、というような制御が不要となるので、制御の簡素化を図ることができるとともに、画像圧縮部１６に静止画一時記憶用のバッファ機能を設ける必要がないので、装置の簡素化も図ることができる。一方、方式例１によれば、上記のようなバッファ制御、静止画出力制御が必要となるが、出力される画像に空白期間が生じることなく、スムーズにイメージセンサの切替を行うことができる。
【０１０８】
次に、上記の▲２▼外部指令動作方式の別の実施例について説明する。この実施例では、出力する画像を撮像するイメージセンサを、外部からの指令に基づいて切り替えるとともに、選択されていないイメージセンサに関して定期的に撮像パラメータの調整処理を行うことを特徴としている。
【０１０９】
図９（ａ）は、この実施例における、撮像パラメータの調整対象とするイメージセンサのシーケンスを示している。同図に示すように、最初の状態では、第３イメージセンサ９Ｃが選択されており、４番目のフレームの途中において外部から第２イメージセンサ９Ｂに切り替える指令が入力されている。そしてこの指令に基づいて、５番目のフレームから撮像パラメータの調整対象とするイメージセンサを第２イメージセンサ９Ｂに切り替えている。
【０１１０】
そして、第２イメージセンサ９Ｂが選択されている期間において、所定の期間毎、図９（ａ）に示す例では４フレーム毎に、第１イメージセンサ９Ａおよび第３イメージセンサ９Ｃを撮像パラメータの調整対象とするイメージセンサとして設定している。同様に、第１イメージセンサ９Ａに切り替える指令が入力されると、その次のフレームから撮像パラメータの調整対象とするイメージセンサを第１イメージセンサ９Ａに切り替えるとともに、４フレーム毎に、第２イメージセンサ９Ｂおよび第３イメージセンサ９Ｃを撮像パラメータの調整対象とするイメージセンサとして設定している。
【０１１１】
このように、あるイメージセンサが選択されている期間においても、定期的に他のイメージセンサに対して撮像パラメータの調整を行うことによって、撮像パラメータ記憶部１９に記憶されている各イメージセンサの撮像パラメータの値をある程度調整された値に維持しておくことが可能となる。よって、イメージセンサの切替指令が行われた場合でも、比較的短い調整期間で撮像パラメータの調整制御を完了することが可能となる。
【０１１２】
図９（ｂ）は、この実施例での実際の画像出力におけるイメージセンサのシーケンスを示している。同図に示すように、例えば第２イメージセンサ９Ｂの選択指令が入力された後の次のフレームは第３イメージセンサ９Ｃの撮像画像が出力されているが、その次のフレームから第２イメージセンサ９Ｂの撮像画像が出力されている。すなわち、この実施例では、調整期間を１フレーム分の期間だけで済ましていることになる。
【０１１３】
なお、あるイメージセンサが選択されている期間において、他のイメージセンサの撮像パラメータの調整を行っているフレームタイミングでは、選択されているイメージセンサによる撮像画像をリアルタイムに出力することはできないことになる。したがって、このフレームタイミングでは、選択されているイメージセンサが直前に撮影した１フレーム分の画像を静止画として出力するようにする。すなわち、あるイメージセンサが選択されている期間中において、定期的に静止画像が差し挟まれて画像の出力が行われることになる。しかしながら、この静止画像が挿入される期間は２フレーム程度であるので、出力画像を動画として見た際に、著しく不自然な状態となることはない。
【０１１４】
また、図９（ｂ）に示す例では、例えば第２イメージセンサ９Ｂが選択されている期間において、第１イメージセンサ９Ａおよび第３イメージセンサ９Ｃを連続するフレームにおいて撮像パラメータ調整しているが、これらを分散させたタイミングとすることも可能である。具体的には、例えば第２イメージセンサ９Ｂを４フレーム期間で撮像パラメータ調整した後に、１フレーム期間で第１イメージセンサ９Ａの撮像パラメータ調整し、再び第２イメージセンサ９Ｂを４フレーム期間で撮像パラメータ調整した後に、１フレーム期間で第３イメージセンサ９Ｃの撮像パラメータ調整する、というようなシーケンスとしてもよい。この場合には、静止画像が挿入されるフレームをそれぞれ１フレームとすることができるので、ほとんど不自然さを感じさせない動画を出力することが可能となる。
【０１１５】
また、図９（ｂ）に示す例では、イメージセンサの切替指令が入力された後の１フレーム分の調整期間において、上記の方式例１のように、切替前に選択されていたイメージセンサによる静止画像を挿入するようになっているが、上記の方式例２のように、１フレーム分の調整期間には画像を出力しないようにしても構わない。
【０１１６】
（電子ＰＡＮ機能）
次に、本実施形態に係るマルチアレーカメラ１およびカメラマスタコントローラ２によって実現する電子ＰＡＮ機能について説明する。従来、いわゆるＰＡＮ機能は、カメラ自体の撮影方向を物理的に変化させることによって実現されていた。すなわち、例えばカメラを支持する雲台に、撮影方向を上下や左右に移動させるための電動駆動機構部を設けることによってＰＡＮ機能を実現していた。
【０１１７】
これに対して、本実施形態においては、ＰＡＮ機能を電子的に実現するようにしている。すなわち、物理的機械的に撮影方向を変化させるのではなく、撮影によって得られた画像データ内で仮想的にＰＡＮ機能を実現するようにしている。
【０１１８】
まず、各イメージセンサ９Ｘの撮像画像に基づいて合成画像を生成する方法について説明する。マルチアレーカメラ１が、図３および図５に示すような構成である場合、第１イメージセンサ９Ａによる撮像画像の右側端部領域と、第２イメージセンサ９Ｂによる撮像画像の左側端部領域とがほぼ同じ画像となっているとともに、第２イメージセンサ９Ｂによる撮像画像の右側端部領域と、第３イメージセンサ９Ｃによる撮像画像の左側端部領域とがほぼ同じ画像となる。これは、図５に示すように、各イメージセンサ９Ｘの撮像範囲が互いに左右方向で重なるように、各イメージセンサ９Ｘの撮影方向が設定されているからである。したがって、各イメージセンサ９Ｘの撮像画像を単純に左右方向に並べると、各撮像画像の境界部分で同じ画像が連続することになり、不自然な画像となる。
【０１１９】
そこで、図１０（ａ）に示すように、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃによる撮像画像をそれぞれ左右に並べるとともに、互いに隣り合う撮像画像において、ほぼ同じ撮像領域となっている画像部分を重ねて配置するようにする。そして、これらを合成することによって、図１０（ｂ）に示すように、各イメージセンサ９Ｘの撮像画像を１枚の合成画像に変換することができる。
【０１２０】
なお、互いに隣り合う撮像画像において、ほぼ同じ撮像領域となっている画像部分は、厳密にはそれぞれ異なる方向から撮影された画像であるので、若干異なる画像となっている。よって、合成する際には、重なり部分の画像に対して補正を行うことが好ましい。補正の方法としては、例えば対応する画素同士の平均値をとって合成画像とする方法などが考えられる。
【０１２１】
また、画素の位置に応じて、どちらの画像の影響を強くするかを規定する重み付けを設定して補正を行う方法なども考えられる。すなわち、例えば撮像画像Ａと撮像画像Ｂとの重なり部分を合成する場合、重なり部分において、撮像画像Ａに近い位置となる画素は、撮像画像Ａの画素の影響を強くする補正を行い、撮像画像Ｂに近い位置となる画素は、撮像画像Ｂの画素の影響を強くする補正を行う、というような補正演算が考えられる。このような補正によれば、重なり部分における連続性を自然な状態にすることができる。
【０１２２】
以上のような合成画像生成処理は、カメラマスタコントローラ２において行われる。すなわち、カメラマスタコントローラ２は、あるマルチアレーカメラ１から画像データをワイヤレス送受信部６によって受信すると、これを記憶部７に一時記憶する。この際に、マルチアレーカメラ１では、上記したシーケンシャル動作方式によって撮像画像の切替が行われているものとすると、記憶部７には、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃによる撮像画像が順次記憶されることになる。これらの撮像画像は画像処理部５によって読み出され、上記のような方法によって合成画像が生成される。そして、生成された合成画像は記憶部７に記憶される。
【０１２３】
次に、上記のようにして得られた合成画像に基づいて、電子ＰＡＮ機能を実現する方法について説明する。携帯端末４などの外部装置からカメラマスタコントローラ２に対して撮像画像の送信要求がなされると、記憶部７に記憶されている合成画像の中から、その一部領域の画像のデータが出力画像として送受信部８を介して該当外部装置に対して送信される。図１１は、合成画像と出力画像との関係を示している。
【０１２４】
ここで、出力画像のサイズについて説明する。例えば携帯端末４として携帯電話機を用いる場合、携帯電話機の表示画面のサイズは比較的小さいものであり、解像度としても比較的小さいものとなっている。したがって、例えば上記の合成画像全体を携帯端末４に送信しても、全体を表示させることはできず、また全体を表示させるために画像を縮小すると、画像内の撮影対象を詳細に把握することができないことになる。よって、出力画像のサイズは、送信先の表示性能に応じて適宜設定することが好ましい。
【０１２５】
以上のようにして、携帯端末４においてカメラマスタコントローラ２から出力画像を受信し、これを表示画面上に表示させることによって、携帯端末４の利用者は、マルチアレーカメラ１によって撮影された画像を確認することができる。ここで、利用者が、撮影範囲を右側に移動させたいと思った場合には、例えば携帯端末４のキーやボタンなどによって撮影範囲を右側に移動させる指示を入力し、この移動指示信号が通信経路を介してカメラマスタコントローラ２の送受信部８によって受信される。そして、カメラマスタコントローラ２は、記憶部７に記憶されている合成画像において、記憶部７のアドレスを制御することにより出力画像としての画像範囲を右側に移動させ、この画像範囲のデータを読み出して携帯端末４に対して送信する。この画像データを携帯端末４が受信して表示画面上に表示させると、先ほどの画像における撮像範囲よりも右側に移動した撮像範囲の画像が表示される。
【０１２６】
以上のような撮像範囲の移動指示を左右方向で行うことによって、あたかもカメラを連続的にパンニングさせて撮影を行っているかのような操作感を利用者に与えることができる。なお、上記では、撮像範囲の移動指示を左右方向で行う例を示したが、出力画像のサイズと比較して合成画像のサイズが上下方向にも大きい場合には、上下方向へのパンニングを行うことも可能となっていてもよい。
【０１２７】
上記のような電子ＰＡＮ機能によれば、従来であれば電動駆動機構部によって行われていたカメラの撮影方向を左右・上下に変化させる動作（いわゆるパン・チルト機能）を、機械的な動作を行うことなしに電子的に行うことが可能となる。よって、従来のような電動駆動機構部を設ける構成と比較して、装置コストを低減することが可能となり、信頼性、保守性を向上させることができるとともに、設置の自由度を高めることが可能となる。
【０１２８】
なお、本実施形態においては、電子ＰＡＮ機能を実現するために、合成画像の生成および出力画像の設定などの処理をカメラマスタコントローラ２が行うシステムとなっているが、これに限定されるものではなく、例えばマルチアレーカメラ１に電子ＰＡＮ機能のための処理部を設ける構成とすることも可能である。また、このような処理機能を図２に示すセンタシステム３に設けるようにしてもかまわない。
【０１２９】
【発明の効果】
以上のように、本発明に係る画像撮影装置は、入力された光を電気信号に変換する撮像素子と、上記撮像素子において得られた電気信号をデジタル画像データに変換する処理を行う撮像処理部とを備えた画像撮影装置であって、上記撮像素子を複数備えるとともに、上記複数の撮像素子のうちのいずれか１つの撮像素子を選択し、選択された撮像素子から出力される電気信号を上記撮像処理部に入力する切替処理部を備えている構成である。
【０１３０】
これにより、１つの画像撮影装置によって複数の箇所の撮影を行うために従来必要とされた電動駆動機構部を設ける構成と比較して、装置コストの低減、信頼性、保守性の向上、および、設置の自由度の向上を実現することができるという効果を奏する。
【０１３１】
また、本発明に係る画像撮影装置は、上記撮像処理部によって処理された画像データを、通信手段を介して外部の装置に送信する送信手段をさらに備えている構成としてもよい。
【０１３２】
これにより、上記の構成による効果に加えて、例えば画像撮影装置から遠く離れた場所において、画像撮影装置によって撮影された画像を確認することが可能となる。よって、例えば画像撮影装置を監視用途のカメラとして機能させることが可能となるという効果を奏する。
【０１３３】
また、本発明に係る画像撮影装置は、外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、上記受信手段によって受信された指令信号に基づいて、上記切替処理部による撮像素子の選択が行われる構成としてもよい。
【０１３４】
これにより、上記の構成による効果に加えて、外部の装置を用いて撮影画像を確認する利用者は、所望とする領域を撮影している撮像素子を選択して、その撮像素子によって撮影されている画像を見ることが可能となる。よって、利用者は、所望とするタイミングで、所望とする領域の撮影画像を確認することが可能となるという効果を奏する。
【０１３５】
また、本発明に係る画像撮影装置は、選択する撮像素子を所定の間隔で順次切り替える指示信号を出力する撮像素子切替カウンタをさらに備えており、上記切替処理部が、上記撮像素子切替カウンタからの指示信号に従って選択する撮像素子を切り替える構成としてもよい。
【０１３６】
これにより、上記の構成による効果に加えて、各撮像素子によって撮影されている画像が順次切り替えられた画像を利用者は確認することができる。したがって、利用者は何らかの指示を行うことなく、複数の撮像素子によって撮影されている領域を順次確認していくことが可能となり、例えば監視用途などにおいて有効に機能させることができるという効果を奏する。
【０１３７】
また、本発明に係る画像撮影装置は、上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部と、上記撮像パラメータ調整部によって調整された撮像パラメータを、各撮像素子ごとに記憶する撮像パラメータ記憶部とをさらに備えた構成としてもよい。
【０１３８】
これにより、上記の構成による効果に加えて、前回の調整時から撮影環境が大きく変化していなければ、少ないフレーム分の画像によってパラメータ調整を完了することが可能となるので、撮像パラメータの調整にかかる時間を短くすることが可能となるという効果を奏する。
【０１３９】
また、本発明に係る画像撮影装置は、上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部をさらに備え、上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間後から、上記撮像処理部が、切り替え後に選択された撮像素子によって撮像された画像データを出力する構成としてもよい。
【０１４０】
これにより、上記の構成による効果に加えて、撮像素子の切り替えが行われた際に、撮像パラメータの調整が完了していない状態の撮像画像が出力されることを防止することができるという効果を奏する。
【０１４１】
また、本発明に係る画像撮影装置は、上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間内では、上記撮像処理部は、切り替え前に選択されていた撮像素子によって撮像された画像データを出力する構成としてもよい。
【０１４２】
これにより、上記の構成による効果に加えて、出力される画像に空白期間が生じることなく、スムーズに撮像素子の切替を行うことが可能となるという効果を奏する。
【０１４３】
また、本発明に係る画像撮影装置は、上記切替処理部によって特定の撮像素子が選択され続けている際に、上記切替処理部が、所定の期間毎に、選択されていない撮像素子を一時的に選択する構成としてもよい。
【０１４４】
これにより、上記の構成による効果に加えて、選択されていない撮像素子に関しても、定期的に撮像パラメータ調整を行うことが可能となるので、撮像パラメータ記憶部に記憶されている各撮像素子の撮像パラメータの値をある程度調整された値に維持しておくことが可能となる。よって、撮像素子の切替が行われた場合でも、比較的短い調整期間で撮像パラメータの調整制御を完了することが可能となるという効果を奏する。
【０１４５】
また、本発明に係る画像撮影システムは、上記本発明に係る画像撮影装置と、上記画像撮影装置から出力された画像データを入力して画像処理を行う制御装置とを備え、上記制御装置が、上記画像撮影装置が備える上記複数の撮像素子によって撮像された各画像データを１つの合成画像に合成する処理を行う構成である。
【０１４６】
これにより、画像撮影装置があたかも広い範囲の撮影が可能な撮影装置として機能しているかのような画像を出力することが可能となるという効果を奏する。
【０１４７】
また、本発明に係る画像撮影システムは、上記制御装置が、処理された画像データを、通信手段を介して外部の装置に送信する送信手段を備えているとともに、上記合成画像のうちの一部の画像領域の画像データを、上記外部の装置に送信する構成としてもよい。
【０１４８】
これにより、上記の構成による効果に加えて、画像データのサイズを必要最小限とすることによって、通信時間の短縮を図ることができるとともに、通信コストを抑制することが可能となるという効果を奏する。
【０１４９】
また、本発明に係る画像撮影システムは、外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、上記受信手段によって受信された指令信号に基づいて、送信する画像領域の位置が変更される構成としてもよい。
【０１５０】
これにより、上記の構成による効果に加えて、画像撮影装置自体には、物理的に撮影方向を変化させる機能を持たせることなく、同等の機能を電子的に実現することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るマルチアレーカメラの構成を示すブロック図である。
【図２】本発明の一実施形態に係る遠隔撮影システムの概略構成を示すブロック図である。
【図３】上記マルチアレーカメラの外観の概略を示す斜視図である。
【図４】上記マルチアレーカメラが備えるイメージセンサの外観の概略を示す斜視図である。
【図５】上記マルチアレーカメラが備えるイメージセンサアレーユニットを上方向から見た際の構成および各イメージセンサによる撮像範囲を示す図である。
【図６】フレーム同期信号の波形、切替指令の入力タイミング、および画像出力のタイミングをそれぞれ示すタイミングチャートである。
【図７】同図（ａ）および同図（ｂ）は、シーケンシャル動作方式において、各フレームに対応するイメージセンサのシーケンスの例を示しており、同図（ａ）は撮像パラメータの調整対象とするイメージセンサのシーケンスを示す図であり、同図（ｂ）は実際の画像出力におけるイメージセンサのシーケンスを示す図である。
【図８】同図（ａ）ないし同図（ｃ）は、外部指令動作方式において、各フレームに対応するイメージセンサのシーケンスの例を示しており、同図（ａ）は撮像パラメータの調整対象とするイメージセンサのシーケンスを示す図であり、同図（ｂ）は方式例１による実際の画像出力におけるイメージセンサのシーケンスを示す図であり、同図（ｃ）は、方式例２による実際の画像出力におけるイメージセンサのシーケンスを示す図である。
【図９】同図（ａ）および同図（ｂ）は、外部指令動作方式の別の実施例において、各フレームに対応するイメージセンサのシーケンスの例を示しており、同図（ａ）は撮像パラメータの調整対象とするイメージセンサのシーケンスを示す図であり、同図（ｂ）は実際の画像出力におけるイメージセンサのシーケンスを示す図である。
【図１０】同図（ａ）は、各イメージセンサによる撮像画像をそれぞれ左右に並べるとともに、互いに隣り合う撮像画像において、ほぼ同じ撮像領域となっている画像部分を重ねて配置するようにした状態を示す図であり、同図（ｂ）は、同図（ａ）の状態に基づいて生成される合成画像を示す図である。
【図１１】合成画像内に設けられる出力画像領域の例を示す図である。
【符号の説明】
１ マルチアレーカメラ（画像撮影装置）
２ カメラマスタコントローラ（制御装置）
３ センタシステム
４ 携帯端末
５ 画像処理部
６ ワイヤレス送受信部
７ 記憶部
８ 送受信部（送信手段・受信手段）
９ イメージセンサアレーユニット
９Ａ 第１イメージセンサ（撮像素子）
９Ｂ 第２イメージセンサ（撮像素子）
９Ｃ 第３イメージセンサ（撮像素子）
９Ｄ 支持基盤
１０ 切替部
１５ 画像信号送出切替部
１７ ワイヤレス送受信部（送信手段・受信手段）
１８ 撮像パラメータ調整部
１９ 撮像パラメータ記憶部
２０ カメラ切替選択部
２１ カメラ切替カウンタ（撮像素子切替カウンタ）
２２ カメラ切替指令部
２３ 撮像調整・送出切替制御部

Claims (9)

1. 入力された光を電気信号に変換する撮像素子と、
   上記撮像素子において得られた電気信号をデジタル画像データに変換する処理を行う撮像処理部とを備えた画像撮影装置であって、
   複数の上記撮像素子と、
   上記複数の撮像素子のうちのいずれか１つの撮像素子を選択し、選択された撮像素子から出力される電気信号を上記撮像処理部に入力する切替処理部と、
   上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部と、
   上記撮像パラメータ調整部によって調整された撮像パラメータを、各撮像素子ごとに記憶する撮像パラメータ記憶部とを備えるとともに、
   上記切替処理部によって特定の撮像素子が選択され続けている際に、上記切替処理部が、所定の期間毎に、選択されていない撮像素子を一時的に選択することを特徴とする画像撮影装置。
2. 上記撮像処理部によって処理された画像データを、通信手段を介して外部の装置に送信する送信手段をさらに備えていることを特徴とする請求項１記載の画像撮影装置。
3. 外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、
   上記受信手段によって受信された指令信号に基づいて、上記切替処理部による撮像素子の選択が行われることを特徴とする請求項１または２記載の画像撮影装置。
4. 選択する撮像素子を所定の間隔で順次切り替える指示信号を出力する撮像素子切替カウンタをさらに備えており、
   上記切替処理部が、上記撮像素子切替カウンタからの指示信号に従って選択する撮像素子を切り替えることを特徴とする請求項１または２記載の画像撮影装置。
5. 上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間後から、上記撮像処理部が、切り替え後に選択された撮像素子によって撮像された画像データを出力することを特徴とする請求項１記載の画像撮影装置。
6. 上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間内では、上記撮像処理部は、切り替え前に選択されていた撮像素子によって撮像された画像データを出力することを特徴とする請求項５記載の画像撮影装置。
7. 請求項１ないし６のいずれか一項に記載の画像撮影装置と、
   上記画像撮影装置から出力された画像データを入力して画像処理を行う制御装置とを備え、
   上記制御装置が、上記画像撮影装置が備える上記複数の撮像素子によって撮像された各画像データを１つの合成画像に合成する処理を行うことを特徴とする画像撮影システム。
8. 上記制御装置が、処理された画像データを、通信手段を介して外部の装置に送信する送信手段を備えているとともに、
   上記合成画像のうちの一部の画像領域の画像データを、上記外部の装置に送信することを特徴とする請求項７記載の画像撮影システム。
9. 外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、
   上記受信手段によって受信された指令信号に基づいて、送信する画像領域の位置が変更されることを特徴とする請求項８記載の画像撮影システム。

Images