JP4541032B2 - 画像処理装置 - Google Patents

Description

本発明は、ＣＣＤ（Charge Coupled Devices：電荷結合素子）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数備える画像処理装置に関する。

従来、複数の撮像素子を用いた画像処理装置として、２つの撮像素子の焦点をずらして撮像し、撮像したものを合成することにより、ソフトフォーカス効果を得るような技術が開示されている（例えば、特許文献１参照）。

特願２０００―８１５４５号公報

しかしながら、従来の撮像素子を用いた画像処理装置では、静止画撮影（スチル画像撮影）時、シャッターが押されてから、撮像装置からデータが出力されるまでに時間がかかり、その間モニターには“何も表示されない”か“最終のモニター画像”が表示されるため、ユーザーがモニターで被写体を追随できないという事情があった。

また、撮像素子は、露光が完了しその映像信号を出力した後でなければ次の撮像ができないため、連続撮影を行う場合、撮影間隔が、撮像素子の露光時間と映像信号出力時間に支配されるという事情があった。

本発明は、上記従来の事情に鑑みてなされたものであって、スチル画像撮影中であっても常時モニターでの被写体の追随が可能になる画像処理装置を提供することを目的としている。

本発明の画像処理装置は、被写体からの光を映像信号に変換する第１及び第２の撮像素子と、前記第１及び第２の撮像素子を互いに独立して駆動する撮像手段と、通常モードにおいて、前記第１及び第２の撮像素子の一方をスチル駆動、他方をモニタ駆動させるように前記撮像手段を制御する制御手段とを備える。上記構成によれば、通常モードにおいて、第１及び第２の撮像素子の一方をスチル駆動、他方をモニタ駆動させるように撮像手段を制御する制御手段を備えることにより、一方の撮像素子をモニター画像撮影専用にすることができる為、スチル画像撮影中であっても常時モニターでの被写体の追随が可能になる。

また、本発明の画像処理装置は、前記第１及び第２の撮像素子からの映像信号を画像データへ変換する画像処理部を備える。上記構成によれば、第１及び第２の撮像素子からの映像信号を画像データへ変換することにより、スチル画像撮影中であっても常時モニターで被写体を追随できる。

また、本発明の画像処理装置は、前記第１の撮像素子と前記第２の撮像素子とは画素数が異なるものである。上記構成によれば、一方の撮像素子の画素数を少なくすることにより、撮像素子のコストやモニター撮影時の消費電力を抑えることができる。

また、本発明の画像処理装置は、前記第１と第２の撮像素子が、画素数がほぼ等しく、前記制御手段が、連続撮影モードにおいて、前記第１及び第２の撮像素子を交互にスチル駆動する。上記構成によれば、制御手段が、連続撮影モードにおいて、前記第１及び第２の撮像素子を交互にスチル駆動することにより、高速に連続撮影できる。また上記構成によれば、撮影して得られる画像データのサイズが等しくなり、駆動時間をずらして複数の撮像素子を駆動させ、それぞれで得られる映像信号を露光の完了したものから順に取り込んで画像データに変換することにより、１つの撮像素子を駆動して得られる連続静止画より高速な連続撮影ができる。

また、本発明の画像処理装置は、前記制御手段が、前記第１及び第２の撮像素子を同時に駆動させ、各撮像素子の露光時間が可変であるものである。上記構成によれば、制御手段が第１及び第２の撮像素子を同時に駆動させ、各撮像素子の露光時間が可変であることにより、明るさの異なる複数の画像を同時に得ることができる。

また、本発明の画像処理装置は、前記撮像装置が、前記第１及び第２の撮像素子をそれぞれ駆動する第１及び第２の撮像装置を含むものである。上記構成によれば、不要な撮像素子に対応する撮像装置を使用しないようにすることで、電力の消費を抑えることができる。また、種類やサイズの異なる撮像素子、異なる駆動信号を必要とする撮像素子等への対応が容易になる。

また、本発明の画像処理装置は、前記第１及び第２の撮像素子のそれぞれに対応する焦点距離を有する第１及び第２の撮像光学系を備える。上記構成によれば、第１及び第２の撮像素子のそれぞれに対応する焦点距離を有する第１及び第２の撮像光学系を備えることにより、焦点距離が同じ又は異なる複数の画像データを得ることができる。また、一方は単焦点レンズ、一方はズームレンズを搭載することができ、レリーズを押してから実際に露光されるまでの撮影レスポンスを重視する場合は、近い距離から遠い距離までのすべてにピントがあらかじめ合わせてあるパンフォーカス（Pan Focus）式単焦点レンズを使用し、撮影レスポンスを重視せずズームを行いたい場合はズームレンズを使用するといった使い方ができる。

また、本発明の画像処理装置は、前記第１及び第２の撮像光学系が、それぞれ異なる被写体からの光を前記第１及び第２の撮像素子に結像するように配置される。上記構成によれば、第１及び第２の撮像光学系が、それぞれ異なる被写体からの光を前記第１及び第２の撮像素子に結像するように配置されることにより、複数の被写体に対し同時に撮影動作を行うことができる。例えば一方に対し、もう一方を１８０度反対に設置することで、前後の映像を同時に撮影して使用するといった使い方ができる。このようにして、複数の撮像光学系、撮像素子をそれぞれが写すことの出来ない領域を補って設置することで、３６０度の映像を同時に撮影することも可能となる。

また、本発明の画像処理装置は、被写体からの光を前記第１及び第２の撮像素子に結像する撮像光学系と、前記撮像光学系の光路を前記第１及び第２の撮像素子にそれぞれ導くように分割する光路分割部材と、を備える。上記構成によれば、撮像光学系の光路を前記第１及び第２の撮像素子にそれぞれ導くように分割する光路分割部材を備えることにより、少数の撮像光学系で多数の撮像素子に結像させることができ、撮像光学系をコンパクトにすることができる。

本発明の画像処理装置は、前記光路分割部材により分割された光路のうち、前記第１及び第２の撮像素子の少なくとも一方へ向かう光路の長さを可変とする光路長可変装置を備える。上記構成によれば、光路分割部材により分割された光路のうち、少なくとも一方の撮像素子へ向かう光路の長さを可変とする光路長可変装置を備えることで、画角の異なる画像データを得ることができる。

また、本発明の画像処理装置は、前記光路長可変装置が、前記第１及び第２の撮像素子の少なくとも一方の位置を変化させる駆動機構である。上記構成によれば、前記光路長可変装置が、前記第１及び第２の撮像素子の少なくとも一方の位置を変化させる駆動機構であることにより、光路長可変装置による光の利得を損なうことなく、画角の異なる画像データを得ることができる。

また、本発明の画像処理装置は、前記光路長可変装置が、前記第１及び第２の撮像素子の少なくとも一方へ向かう光路に挿入される光学部材と、前記光学部材を前記光路に対して挿抜するための駆動機構と、を含む。上記構成によれば、光学部材を前記光路に対して挿入及び引き出すための駆動機構を含むことにより、光学部材を挿入して画角の異なる画像データを得ることができるとともに、光学部材を抜き出して光路長の等しい画像データを得ることができる。

また、本発明の画像処理装置は、前記撮像装置から出力される前記映像信号に基づいて前記被写体の輪郭情報を取り出す輪郭情報取得装置と、前記輪郭情報に基づいて、光路長のずれに対応して前記撮像光学系を制御する合焦制御装置とを備えるものである。上記構成によれば、輪郭情報に基づいて、光路長のずれに対応して前記撮像光学系を制御する合焦制御装置を備えることにより、光路長のずれによる合焦状態と撮像光学系を可動させて得られる合焦状態とを同じ状態にすることが可能であるので、１つの撮像素子について光路長のずれた２つ以上の撮像素子で合焦を行うことは、２点以上の撮像光学系の可動量から合焦状態を演算するのと同じとなり、撮像光学系の可動範囲を減らすことができ、合焦に要する時間を短縮させることができる。

また、本発明の画像処理装置は、前記第１及び第２の撮像装置にそれぞれ対応する第１及び第２の輪郭情報取得装置を備える。上記構成によれば、第１及び第２の撮像装置にそれぞれ対応する第１及び第２の輪郭情報取得装置を備えることにより、必要な撮像装置に対応する合焦制御装置のみを制御することができる為、電力消費を抑えることができる。また、第１及び第２の撮像装置からそれぞれ出力される映像信号から、第１及び第２の輪郭情報取得装置で同時に輪郭情報を取り出すことができる為、第１及び第２の撮像装置の映像信号出力制御を同時に行うことができる。

また、本発明の画像処理装置は、前記制御手段が、前記輪郭情報取得装置から得られる前記輪郭情報に基づいて、最も合焦状態に近い前記第１及び第２の撮像素子のいずれか一方に対応する前記撮像光学系を制御する。上記構成によれば、制御手段が、前記輪郭情報取得装置から得られる前記輪郭情報に基づいて、最も合焦状態に近い前記第１及び第２の撮像素子のいずれか一方に対応する前記撮像光学系を制御することにより、撮像光学系の可動範囲をさらに減らすことができ、合焦に要する時間を一層短縮できる。

また、本発明の画像処理装置は、合焦させる前記撮像素子の個数を指定する指定装置を備える。上記構成によれば、合焦させる前記撮像素子の個数を指定することにより、必要な撮像光学系、撮像素子だけを駆動させることができる為、消費電力を抑えることができる。

また、本発明の画像処理装置は、前記画像処理部が変換した画像データを表示する表示装置を備える。上記構成によれば、画像処理部が変換した画像データを表示する表示装置を備えることにより、実際に撮影された映像を確認することができる。

また、本発明の画像処理装置は、前記画像処理部が、前記第１及び第２の撮像素子それぞれの映像信号を変換した画像データを切り替えて前記表示装置へ出力するものである。上記構成によれば、画像処理部が、前記第１及び第２の撮像素子それぞれの映像信号を変換した画像データを切り替えて前記表示装置へ出力することにより、30fpsや15fpsなどの撮影更新周期を容易に変更できる。例えば、第１の撮像素子を30fpsで駆動させ、第２の撮像素子15fpsで駆動させておくことで、ユーザーにより撮影更新周期を30fpsから15fpsと変更されたとしても、映像信号出力を撮影更新周期30fpsで駆動させている第１の撮像素子から撮影更新周期15fpsで駆動させている第２の撮像素子へと切り替えるだけで、撮影更新周期の変更が容易に行うことができる。

本発明によれば、通常モードにおいて、第１及び第２の撮像素子の一方をスチル駆動、他方をモニタ駆動させるように撮像手段を制御する制御手段を備えることにより、一方の撮像素子をモニター画像撮影専用にすることができる為、スチル画像撮影中であっても常時モニターでの被写体の追随が可能になる。

（第１の実施形態）
図１は、本発明の第1の実施形態を説明するための画像処理装置の概略構成を示すブロック図である。図１に示すように、画像処理装置１は、被写体からの光を映像信号に変換する撮像素子Ａ３及び撮像素子Ｂ４と、撮像素子Ａ３及びＢ４を互いに独立して駆動する撮像装置２と、通常モードにおいて、撮像素子Ａ３及びＢ４の一方をスチル駆動、他方をモニタ駆動させるように撮像装置２を制御する中央演算装置１５とを備える。また、図１における撮像装置２は、撮像素子Ａ３を駆動させるための撮像素子駆動信号発生装置Ａ２０、及び撮像素子Ｂ４を駆動させるための撮像素子駆動信号発生装置Ｂ２１とを備える。

画像処理装置１は、撮像装置２により撮像素子Ａ３及び撮像素子Ｂ４をそれぞれ独立に駆動させることが可能であるので、撮像素子Ａ３及び撮像素子Ｂ４の駆動開始時間をずらすことにより、高速な連続撮影を行うことができる。

図２は、画像処理装置１で高速な連続撮影を行う場合のタイミングチャートである。図２に示すように、撮像装置２が撮像素子Ａ３の露光制御を行い（ｔ１〜ｔ２）、撮像素子Ａ３の露光完了ののちに撮像素子Ａ３の映像信号出力制御Ａを行う（ｔ２〜ｔ４）。また、撮像素子Ａ３の露光開始から遅れて撮像素子Ｂ４の露光制御を行い（ｔ２〜ｔ３）、撮像素子Ｂ４の露光完了ののちに撮像素子Ｂ４の映像信号出力制御Ｂを行う（ｔ４〜ｔ５）。これにより、撮影時間差の少ない、高速な連続撮影を行うことができる。

なお、図２において、撮像素子Ａ３の露光Ａは、被写体からの光を露光する期間を表わし、映像信号出力Ａは、露光Ａで得られた映像信号Ａを撮像装置２に出力する期間を表わす。また、撮像装置２の露光制御Ａは、撮像素子Ａ３の露光を制御する期間を表わし、映像信号出力制御Ａは、撮像素子Ａ３の映像信号出力を制御する期間を表わす。撮像素子Ｂ４についても同様である。

このように、映像信号出力制御Ａと映像信号出力制御Ｂの処理タイミングをずらして連続撮影を行うことができるが、撮像装置２の処理能力が高ければ、映像信号出力制御Ａと映像信号出力制御Ｂを同時に処理するように駆動させてもよい。

図３は、画像処理装置１で映像信号出力制御Ａと映像信号出力制御Ｂを同時に処理する場合のタイミングチャートである。図３に示すように、撮像装置２は、映像信号出力制御Ａ（ｔ２〜ｔ４）と映像信号出力制御Ｂ（ｔ３〜ｔ５）を重複して処理する。このようにすれば、撮像装置２における処理を短縮することができる。図２及び図３は、撮像素子Ａ３及び撮像素子Ｂ４の撮像を１枚ずつ行っている様子を示しているが、それに限らず連続撮影動作を行っても良い。

図４は、画像処理装置１が撮像素子Ａ３及び撮像素子Ｂ４を連続して撮影動作させた場合のタイミングチャートである。図４に示すように、撮像素子Ａ３は、露光Ａ及び映像信号出力Ａを２回連続して行い（ｔ１〜ｔ４、ｔ４〜ｔ７）、撮像素子Ｂ４は、露光Ｂ及び映像信号出力Ｂを２回連続して行う（ｔ２〜ｔ５、ｔ５〜ｔ８）ことにより、連続撮影を高速に処理することができる。

図５は、画像処理装置１が撮像素子Ａ３及び撮像素子Ｂ４を同時に駆動させ、各撮像素子の露光時間を変えた場合のタイミングチャートである。図５に示すように、撮像素子Ａ３の露光Ａは期間（ｔ１〜ｔ２）であり、撮像素子Ｂ４の露光Ｂは期間（ｔ１〜ｔ３）である。これにより、露光時間の異なる映像信号Ａ、映像信号Ｂから、明るさの異なる画像データＡ、画像データＢを得ることができる。

図６（ａ）は、図１に示す画像処理装置１に画像処理部５を追加した画像処理装置１の概略構成を示すブロック図である。図６（ａ）に示すように、画像処理装置１は、被写体からの光を映像信号に変換する撮像素子Ａ３及び撮像素子Ｂ４と、撮像素子Ａ３及び撮像素子Ｂ４をそれぞれ独立に駆動させることが可能な撮像装置２とを備え、撮像素子Ａ３により撮像された映像信号Ａ、及び撮像素子Ｂ４により撮像された映像信号Ｂを撮像装置２から同時もしくは順次に画像データへ変換する処理を行う画像処理部５とを備える。

図６（ｂ）は、図６（ａ）に示す画像処理装置１において、撮像素子Ａ３でモニター撮影中に、撮像素子Ｂ４でスチル（静止画）撮影を行う場合のタイミングチャートである。 図６（ｂ）に示すように、撮像装置２により、撮像素子Ａ３を、撮像素子の全有効画素のうち一部を使用し、もしくは画素混合して、露光と映像信号出力を同じタイミングで行うモニター駆動方式で駆動する。それと同時に、撮像素子Ｂ４を、撮像素子の全有効画素のうち一部もしくは全ての画素を使用し、露光Ｂと映像信号出力Ｂを排他的タイミングで行うスチル駆動方式で駆動する。そして、撮像素子Ａ３でモニター撮影中に、撮像素子Ｂ４で静止画撮影を別々に駆動させる。

図６（ｂ）において、撮像素子Ａ３のモニターＡは、露光と映像信号出力を表し、撮像装置２のモニター制御Ａは、撮像素子Ａ３の露光制御と映像信号出力制御を表している。これにより、撮像素子Ｂ４のスチル撮影中においても、撮像素子Ａ３のモニター撮影が途切れることなく行えることがわかる。

図７は、撮像素子３及び４にそれぞれ対応する撮像装置Ａ６及びＢ７を備える画像処理装置１の概略構成を示すブロック図である。図７に示すように、画像処理装置１は、撮像素子３に対応する撮像装置Ａ６を備え、撮像素子４に対応する撮像装置Ｂ７を備える。撮像装置Ａ６，Ｂ７を撮像素子Ａ３，Ｂ４の一つ一つに対応して備えることで、使用しない撮像素子があれば、それに対応する撮像装置も使用しないようにすることで、電力の消費を抑えることができる。また、異なるサイズの撮像素子や、ＣＣＤまたはＣＭＯＳといった異なる撮像素子への対応が容易になる。

上記説明において、撮像素子Ａ３と撮像素子Ｂ４の画素数が同数であれば、撮影して得られる画像データのサイズが等しくなる。また、図２から図４のように駆動時間をずらして撮像素子Ａ３と撮像素子Ｂ４を駆動させ、それぞれで得られる映像信号を、露光の完了したものから順に取り込んで画像データに変換することで、１つの撮像素子を駆動して得られる連続静止画より高速な連続撮影ができる。

図８は、撮像素子Ａ３が低画素、撮像素子Ｂ４が高画素の場合の画像処理装置１の概略構成を示すブロック図である。ここで、画像処理装置１では、撮像素子Ａ３に３０万画素程度の低画素のものを使用し、撮像素子Ｂ４に８００万画素程度の高画素のものを使用する。

図９は、図８に示す各撮像素子のモニター撮影時の駆動を示すタイミングチャートである。撮像素子Ａ３は撮像素子Ｂ４に対し、水平画素数がおよそ１／５であるため、同じモニター撮影を行う場合であっても、画素数の少ない撮像素子Ａ３の映像信号出力Ａに要する時間（ｔ１〜ｔ２）が、画素数の多い撮像素子Ｂ４の映像信号出力Ｂに要する時間（ｔ１〜ｔ３）より少なくなることがわかる。映像信号出力Ａに要する時間が少ないことで、撮像素子Ａ３を駆動させる時間が少なくなり、撮像素子Ｂ４によるモニター撮影よりも消費電力を少なくすることができる。また、モニター撮影用には低画素のものを使用することで、撮像素子のコスト削減を見込むことができる。

図１０は、撮像素子Ａ３及びＢ４にそれぞれ対応する撮像光学系Ａ８及びＢ９を備える画像処理装置１の概略構成を示すブロック図である。図１０に示すように、画像処理装置１は、撮像素子Ａ３に対応する撮像光学系Ａ８を備え、撮像素子Ｂ４に対応する撮像光学系Ｂ９を備える。図１０において、被写体１００から撮像光学系Ａ８までの光路長を光路長Ｌ１、撮像光学系Ａ８から撮像素子Ａ３までの光路長を光路長Ｌ１１、被写体１００から撮像光学系Ｂ９までの光路長を光路長Ｌ２、撮像光学系Ｂ９から撮像素子Ｂ４までの光路長を光路長Ｌ２１と表している。

被写体１００と、光路長Ｌ１及び光路長Ｌ２と、撮像光学系Ａ８及び撮像光学系Ｂ９と、光路長Ｌ１１及び光路長Ｌ２１とがすべて同じであった場合、撮像素子Ａ３と撮像素子Ｂ４に撮像される映像は同じものになる。この条件で撮像素子Ａ３と撮像素子Ｂ４の駆動タイミングをずらせば、同じ映像に対し、高速な連続撮影が可能となる。

一方、撮像光学系Ａ８と撮像光学系Ｂ９が異なり、それに伴って光路長Ｌ１１と光路長Ｌ２１が異なる場合、同じ被写体でも焦点距離が異なるため、焦点距離が長い方が望遠された映像、短い方が広角された映像となる。

このように、結像する撮像光学系の焦点距離を同じにすることで同じ映像について連続撮影が行え、焦点距離が異なる撮像光学系を備えることで、広角な画像データや望遠された画像データが得ることができる。

また、撮像光学系について、一方は単焦点レンズ(単焦点距離レンズ)、他方はズームレンズ(可変焦点距離レンズ)を搭載するなど異なる撮像光学系を備えることができる。レリーズを押してから実際に露光されるまでの撮影レスポンスを重視する場合は、あらかじめ近い距離から遠い距離までのすべてにピントを合わせてあるパンフォーカス（Pan Focus）式単焦点レンズを使用し、撮影レスポンスを重視せずにズームを行いたい場合はズームレンズを使用するといった多様な使い方が可能となる。

図１１は、撮像光学系Ａ８及びＢ９がそれぞれ異なる被写体１００,１０１からの光を結像するように配置された画像処理装置１の概略構成を示すブロック図である。図１１に示すように、撮像光学系Ａ８に対し撮像光学系Ｂ９を１８０度反対側に設置することで、撮像光学系Ａ８で写らない被写体を撮像光学系Ｂ９で撮影することができ、撮像光学系Ｂ９で写らない被写体を撮像光学系Ａ８で撮影することができる。さらに、複数の撮像光学系、撮像素子をそれぞれが写すことの出来ない領域を補って設置することにより、３６０度の映像を同時に撮影することも可能となる。

図１２は、撮像光学系１０から出力される光を分割する光路分割部材１１を備える画像処理装置１の概略構成を示すブロック図である。撮像光学系１０で結像した映像を光路分割部材１１によって分割し、分割された光路のうち撮像素子Ａ３への光路長を光路長Ｌ１１１、撮像素子Ｂ４への光路長を光路長Ｌ１１２としている。光路長Ｌ１１１と光路長Ｌ１１２が同じである場合、一つの撮像光学系１０で撮像素子Ａ３と撮像素子Ｂ４で、同じ被写体１００の映像を撮像することができる。

一方、光路長Ｌ１１１と光路長Ｌ１１２が異なる場合、一つの撮像光学系１０で撮像素子Ａ３と撮像素子Ｂ４に同じ被写体１００の合焦映像と非合焦映像を撮像することができる。これにより、１つの撮像光学系で、２つの撮像素子に結像させることができ、同じ被写体を撮影する場合、それぞれに撮像光学系を具備するよりもコンパクトにすることができる。

図１３は、光路分割部材１１で分割された光路のうちの一方に光路長可変装置１２を備える画像処理装置１の概略構成を示すブロック図である。ここで、光路分割部材１１から光路長可変装置１２までの光路長を光路長Ｌ１１２、光路長可変装置１２から撮像素子Ｂ４までの光路長を光路長Ｌ１１２Ｖとする。光路長Ｌ１１２と光路長Ｌ１１２Ｖの和が光路長Ｌ１１１と等しければ、撮像素子Ａ３と撮像素子Ｂ４とで同じ被写体１００の映像を撮像することができる。また、光路長可変装置１２によって光路長Ｌ１１２Ｖを変更し、光路長Ｌ１１２と光路長Ｌ１１２Ｖの和が光路長Ｌ１１１と異なるようにすれば、撮像素子Ａ３と撮像素子Ｂ４で画角の異なる同じ被写体１００の映像を撮像することができる。

ここで、光路長可変装置１２は、撮像素子Ｂ４の位置を変化させる駆動機構であってもよい。この場合、光路長可変装置１２による光の利得を損なうことなく画角の異なる画像データを得ることができる。

また、光路長可変装置１２は、撮像素子Ｂ４に向かう光路に挿入される光学部材及びその光学部材を光路に対して挿抜するための駆動機構を含んでもよい。この場合、画角の異なる画像データを得たい場合は光学部材を挿入し、光路長Ｌ１１１と等しい画像データを得たい場合は光学部材を抜き出す。

図１４は、表示装置１３を備える画像処理装置１の概略構成を示すブロック図であり、表示装置１３によって画像処理部５で作成された画像データを表示する場合を示す。この表示装置１３で、撮像素子Ａ３と撮像素子Ｂ４で撮影された映像信号を変換して得られる画像データのすべて、もしくは一部を確認することができる。ここで、画像処理部５は、撮像素子Ａ３と撮像素子Ｂ４で撮影された映像信号を変換して得られる画像データを切り替えて表示装置１３へ出力してもよい。

図１５は、本実施形態の画像処理装置１において、撮像素子Ａ３を30fpsで駆動させ、撮像素子Ｂ４を15fpsで駆動させる場合のタイミングチャートである。図１５に示すように、撮像素子Ａ３を30fpsで駆動させ、撮像素子Ｂ４を15fpsで駆動させると、撮影更新周期が30fps必要なときは画像処理部５で撮像素子Ａ３によって得られる画像データＡを表示装置１３へ出力すればよい。

図１６は、撮像素子Ｂ４によって得られる画像データＢを表示装置１３へ出力する場合のタイミングチャートを示す。図１６に示すように、撮影更新周期が15fps必要なときは画像処理部５で撮像素子Ｂ４によって得られる画像データＢを表示装置１３へ出力すればよい。このようにして撮影更新周期を容易に変更させることができる。

（第２の実施形態）
図１７は、本発明の第２の実施形態を説明する為の画像処理装置の概略構成を示すブロック図である。図１７に示す画像処理装置１は、撮像装置２から出力される映像信号を使用し、コントラスト検出方式によって被写体１００の輪郭情報を取り出す輪郭抽出装置１４と、輪郭抽出装置１４によって得られる輪郭情報から撮像光学系１０を制御し被写体１００の結像（合焦）のための制御を行う中央演算装置１５とを備える。撮像装置２は、撮像素子Ａ３及び撮像素子Ｂ４を同時に駆動するものであり、光路長Ｌ１１１と光路長Ｌ１１２のずれから結像のための撮像光学系１０の制御量を中央演算装置１５が判断し、撮像素子Ａ４及び撮像素子Ｂ４の両方、もしくはいずれか一方の撮像素子を結像させる。

図１８は、光路長のずれが撮像素子Ａ３及びＢ４の合焦に及ぼす影響について説明する図である。図１８のＡ点は撮像素子Ａ３の合焦状態、Ｂ点は撮像素子Ｂ４の合焦状態、幅Gは光路長のずれによる撮像素子Ａ３及び撮像素子Ｂ４の合焦状態の差を示す。一般的にレンズで被写体を結像した場合、図１８のＰ点のように結像位置が存在する。そして結像位置からレンズをずらすと、図１８の曲線のように合焦状態からはずれていく。図中の撮像光学系の制御量とは、撮像光学系における駆動可能な“焦点をあわせるためのレンズ”の可動量を示しており、撮像光学系の焦点距離を変えるレンズによって焦点がずれた場合にも、焦点をあわせるためのレンズを可動させることにより焦点をあわせることができる。

図１８において、撮像素子Ａ３及び撮像素子Ｂ４の合焦状態から、撮像素子Ｂ４の方が合焦状態に近いことがわかる。これにより、中央演算装置１５は撮像光学系１０の可動量を多い方向に制御し、撮像素子Ｂ４の合焦状態が低くなった段階で、Ｐ点を通過したことを判断する。以降、中央演算装置１５は撮像光学系１０の可動量を少ない方向に制御し、撮像素子Ｂ４の合焦状態がより高い状態まで制御を行う。これにより、撮像素子が一つだけある場合よりも撮像光学系の可動量を少なくすることができるとともに、高速に合焦を行うことができる。

また、ここでは２つの撮像素子について述べているが、さらに撮像素子を増やすことでＰ点に近い撮像素子について合焦動作を行い、撮像光学系の可動量を少なくすることができるので、高速に合焦を行うことができる。

図１９は、複数の輪郭抽出装置を備える画像処理装置１の概略構成を示すブロック図である。図１９に示すように、画像処理装置１は、撮像装置Ａ６から出力される映像信号を使用して輪郭情報を取り出す輪郭抽出装置Ａ１６と、撮像装置Ｂ７から出力される映像信号を使用して輪郭情報を取り出す輪郭抽出装置Ｂ１７とを備え、輪郭抽出装置Ａ１６によって得られる輪郭情報から撮像光学系Ａ８を制御して被写体１００の結像（合焦）を行い、輪郭抽出装置Ｂ１７によって得られる輪郭情報から撮像光学系Ｂ９を制御して被写体１００の結像（合焦）を行う中央演算装置１５を備える。

図１９に示す画像処理装置１は、撮像素子Ａ３に関する装置（撮像光学系Ａ８、撮像素子Ａ３、撮像装置Ａ６、輪郭抽出装置Ａ１６）、及び撮像素子Ｂ４に関する装置（撮像光学系Ｂ９、撮像素子Ｂ４、撮像装置Ｂ７、輪郭抽出装置Ｂ１７）を独立して動作させることができるので、撮像素子を１つだけ駆動させる場合は撮像素子Ａ３に関する装置のみを駆動させ、必要な場合だけ撮像素子Ｂ４に関する装置も駆動させることができる。これにより、撮像素子を１つだけ駆動させる場合の電力消費を抑えることができる。また、撮像装置Ａ６及び撮像装置Ｂ７から出力される映像信号から、輪郭抽出装置Ａ１６及び輪郭抽出装置Ｂ１７において同時に輪郭情報を取り出すことができるので、撮像装置Ａ６及び撮像装置Ｂ７の映像信号出力制御を同時に行うことができる。

図１８では、撮像素子Ａ３もしくは撮像素子Ｂ４のいずれか一方について合焦を行う場合について説明しているが、図１９に示す画像処理装置１によれば、複数の撮像素子について合焦を行うことができる。したがって、図１８のように合焦状態に近い撮像素子Ｂ４に対する合焦だけでなく、撮像素子Ａ３についても合焦を行って連続撮影することができる。

図２０は、図１９に示す画像処理装置１の動作を示すタイミングチャートである。図２０において、輪郭抽出装置Ａ１６の輪郭抽出Ａは、撮像装置Ａ６から出力される映像信号を使用して輪郭情報を取り出す合焦動作を表し、輪郭抽出装置Ｂ１７の輪郭抽出Ｂは、撮像装置Ｂ７から出力される映像信号を使用して輪郭情報を取り出す合焦動作を表す。また、中央演算装置１５の光学系制御Ａは、撮像光学系Ａ８を制御して合焦を行う動作を表し、光学系制御Ｂは、撮像光学系Ｂ９を制御して合焦を行う動作を表す。図２０に示すように、静止画撮影中でない撮像素子に対する合焦動作を随時行うことで、次々と合焦された映像を撮ることができる。

図２１は、合焦を行う撮像素子の個数を指定する指定装置１８を備える画像処理装置１の概略構成を示すブロック図である。図２１に示す画像処理装置１は、合焦を行う撮像素子の個数を指定する指定装置１８を備え、指定装置１８で指定された個数だけ撮像素子の合焦動作を行う中央演算装置１５を備える。

図２２は、２つの撮像素子に対し合焦動作を行う場合の画像処理装置１の動作を示すタイミングチャートである。この場合、指定装置１８において指定数が“２”に指定されているため、撮像光学系Ａ８及び撮像光学系Ｂ９の２つとも合焦動作が行われる。

図２３は、１つの撮像素子に対し合焦動作を行う場合の画像処理装置１の動作を示すタイミングチャートである。この場合、指定装置１８において指定数が“１”に指定されているため、撮像光学系Ａ８もしくは撮像光学系Ｂ９のいずれか１つの合焦動作が行われる。なお、合焦動作の行われない撮像素子に関する装置について撮影動作を行っているが、撮影動作を行わないほうが好ましく、それにより消費電力を抑えることができる。

上記説明では２つの撮像素子について示しているが、これに限らず、複数の撮像素子のうち一部もしくは全てを指定するように指定装置１８を駆動させても良い。例えば５つの撮像素子に対し、合焦動作を２つ行うとすると、合焦動作の行われる２つについては連続撮影もしくは同時撮影が行え、残りの３つについては動作させない、といった使い方ができる。

なお、本発明は上記実施の形態に限定されるものではなく、以下のように実施してもよい。
（１）上記説明では、撮像素子の露光制御と映像信号出力のタイミングをいくつか示したが、撮像素子の露光制御と映像信号出力は撮像素子ごとに独立に制御することができるので、タイミングはこれらに限らず、ずらしてもよい。また各タイミングにおいて、連続撮影動作は２回の例を示しているが、これに限らず何回連続撮影動作を行っても良い。
（２）上記説明では、撮像素子Ａが低画素の場合について示しているが、これに限らず、撮像素子Ｂを低画素のものにして駆動させても良い。
（３）撮像素子の画素数は、上記説明で示した数に限らず、ほかの画素数の撮像素子を用いても良い。

本発明は、高速撮影モードにおいて、撮像素子の露光時間と映像信号出力時間によって撮影間隔が支配されることなく、高速に連続撮影を行うことができる効果を有し、ＣＣＤ（Charge Coupled Devices：電荷結合素子）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数備える画像処理装置等に有用である。

本発明の第1の実施形態を説明するための画像処理装置の概略構成を示すブロック図 画像処理装置１で高速な連続撮影を行う場合のタイミングチャート 画像処理装置１で映像信号出力制御Ａと映像信号出力制御Ｂを同時に処理する場合のタイミングチャート 画像処理装置１が撮像素子Ａ３及び撮像素子Ｂ４を連続して撮影動作させた場合のタイミングチャート 画像処理装置１が撮像素子Ａ３及び撮像素子Ｂ４を同時に駆動させ、各撮像素子の露光時間を変えた場合のタイミングチャート （ａ）は、図１に示す画像処理装置１に画像処理部５を追加した画像処理装置１の概略構成を示すブロック図、（ｂ）は、撮像素子Ａ３でモニター撮影中に、撮像素子Ｂ４でスチル（静止画）撮影を行う場合のタイミングチャート 撮像素子３及び４にそれぞれ対応する撮像装置Ａ６及びＢ７を備える画像処理装置１の概略構成を示すブロック図 撮像素子Ａ３が低画素、撮像素子Ｂ４が高画素の場合の画像処理装置１の概略構成を示すブロック図 図８に示す各撮像素子のモニター撮影時の駆動を示すタイミングチャート 撮像素子Ａ３及びＢ４にそれぞれ対応する撮像光学系Ａ８及びＢ９を備える画像処理装置１の概略構成を示すブロック図 撮像光学系Ａ８及びＢ９がそれぞれ異なる被写体１００,１０１からの光を結像するように配置された画像処理装置１の概略構成を示すブロック図 撮像光学系１０から出力される光を分割する光路分割部材１１を備える画像処理装置１の概略構成を示すブロック図 光路分割部材１１で分割された光路のうちの一方に光路長可変装置１２を備える画像処理装置１の概略構成を示すブロック図 表示装置１３を備える画像処理装置１の概略構成を示すブロック図 画像処理装置１において、撮像素子Ａ３を30fpsで駆動させ、撮像素子Ｂ４を15fpsで駆動させる場合のタイミングチャート 撮像素子Ｂ４によって得られる画像データＢを表示装置１３へ出力する場合のタイミングチャート 本発明の第２の実施形態を説明する為の画像処理装置の概略構成を示すブロック図 光路長のずれが撮像素子Ａ３及びＢ４の合焦に及ぼす影響について説明する図 複数の輪郭抽出装置を備える画像処理装置１の概略構成を示すブロック図 図１９に示す画像処理装置１の動作を示すタイミングチャート 合焦を行う撮像素子の個数を指定する指定装置１８を備える画像処理装置１の概略構成を示すブロック図 ２つの撮像素子に対し合焦動作を行う場合の画像処理装置１の動作を示すタイミングチャート １つの撮像素子に対し合焦動作を行う場合の画像処理装置１の動作を示すタイミングチャート

符号の説明

１ 画像処理装置
２ 撮像装置
３ 撮像素子Ａ
４ 撮像素子Ｂ
５ 画像処理部
６ 撮像装置Ａ
７ 撮像装置Ｂ
８ 撮像光学系Ａ
９ 撮像光学系Ｂ
１０ 撮像光学系
１１ 光路分割部材
１２ 光路長可変装置
１３ 表示装置
１４ 輪郭抽出装置
１５ 中央演算装置
１６ 輪郭抽出装置Ａ
１７ 輪郭抽出装置Ｂ
１８ 指定装置
２０ 撮像素子駆動信号発生装置Ａ
２１ 撮像素子駆動信号発生装置Ｂ
１００ 被写体
１０１ 被写体
Ｌ１ 被写体から撮像光学系Ａまでの光路長
Ｌ２ 被写体から撮像光学系Ｂまでの光路長
Ｌ１１ 撮像光学系Ａから撮像素子Ａもしくは光路分割部材までの光路長
Ｌ２１ 撮像光学系Ｂから撮像素子Ｂまでの光路長
Ｌ１１１ 光路分割部材から撮像光学系Ａまでの光路長
Ｌ１１２ 光路分割部材から撮像光学系Ｂまでの光路長
Ｌ１１２Ｖ 光路長可変装置から撮像光学系Ｂまでの光路長

Claims (15)

1. 被写体からの光を映像信号に変換する第１及び第２の撮像素子と、
   前記第１及び第２の撮像素子を互いに独立して駆動する撮像手段と、
   連続撮影モードにおいて、前記第１及び第２の撮像素子を交互にスチル駆動することで、連続する複数静止画像を生成する制御手段と、
   前記第１及び第２の撮像素子のそれぞれに対応する焦点距離を有する第１及び第２の撮像光学系と、
   前記撮像手段から出力される前記映像信号に基づいて、前記被写体の輪郭情報を取り出す輪郭情報取得装置と、
   前記輪郭情報取得装置から得られる前記輪郭情報に基づいて、最も合焦状態に近い前記第１及び第２の撮像素子のいずれか一方に対応する前記撮像光学系を制御する合焦制御装置と、
   を備える画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記制御手段は、通常モードにおいて、前記第１及び第２の撮像素子の一方をスチル駆動、他方をモニタ駆動させるように前記撮像手段を制御する画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記第１及び第２の撮像素子からの映像信号を画像データへ変換する画像処理部を備える画像処理装置。
4. 請求項１ないし３記載の画像処理装置であって、
   前記第１の撮像素子と前記第２の撮像素子とは画素数が異なる画像処理装置。
5. 請求項１ないし３記載の画像処理装置であって、
   前記制御手段は、前記第１及び第２の撮像素子を同時に駆動させ、各撮像素子の露光時間が可変である画像処理装置。
6. 請求項１ないし５のいずれか一項記載の画像処理装置であって、
   前記撮像手段は、前記第１及び第２の撮像素子をそれぞれ駆動する第１及び第２の撮像手段を含む画像処理装置。
7. 請求項１ないし６のいずれか一項記載の画像処理装置であって、
   前記第１及び第２の撮像光学系は、それぞれ異なる被写体からの光を前記第１及び第２の撮像素子に結像するように配置される画像処理装置。
8. 請求項１ないし６のいずれか一項記載の画像処理装置であって、
   被写体からの光を前記第１及び第２の撮像素子に結像する撮像光学系と、
   前記撮像光学系の光路を前記第１及び第２の撮像素子にそれぞれ導くように分割する光路分割部材と、を備える画像処理装置。
9. 請求項８記載の画像処理装置であって、
   前記光路分割部材により分割された光路のうち、前記第１及び第２の撮像素子の少なくとも一方へ向かう光路の長さを可変とする光路長可変装置を備える画像処理装置。
10. 請求項９記載の画像処理装置であって、
    前記光路長可変装置は、前記第１及び第２の撮像素子の少なくとも一方の位置を変化させる駆動機構である画像処理装置。
11. 請求項９記載の画像処理装置であって、
    前記光路長可変装置は、前記第１及び第２の撮像素子の少なくとも一方へ向かう光路に挿入される光学部材と、前記光学部材を前記光路に対して挿抜するための駆動機構と、を含む画像処理装置。
12. 請求項１、７ないし１１のいずれか一項記載の画像処理装置であって、
    前記第１及び第２の撮像手段にそれぞれ対応する第１及び第２の輪郭情報取得装置を備える画像処理装置。
13. 請求項１または１２記載の画像処理装置であって、
    合焦させる前記撮像素子の個数を指定する指定装置を備える画像処理装置。
14. 請求項２ないし１３のいずれか一項記載の画像処理装置であって、
    前記画像処理部が変換した画像データを表示する表示装置を備える画像処理装置。
15. 請求項１４記載の画像処理装置であって、
    前記画像処理部は、前記第１及び第２の撮像素子それぞれの映像信号を変換した画像データを切り替えて前記表示装置へ出力する画像処理装置。
    

Images