JP6056497B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮影された画像を処理する画像処理装置、画像処理方法及びプログラムに関する。

現在、デジタルカメラやカメラ付携帯端末などで、高速に連写する機能が実装されている。高速連写対応の画像センサは高価であるので、現状の画像センサを用いて高速連写機能を実現する場合、画像センサの性能により、連写間隔、画像サイズ等が制限される。

例えば、現状の画像センサを用いて高速のフレームレートで撮影を行う場合、出力サイズや露光時間が制限されてしまい、画質が劣化してしまう。この問題に対し、ＩＳＰ（Image Signal Processor）で画質改善を図ることが考えられる。しかしながら、ＩＳＰで出力サイズを小さくしたり、露光時間の変わりにゲインをアップしたりするなどしても、良好な画質の画像は得られない。

そこで、ｎ個の複数の画像センサを用いて、各画像センサからの画像出力タイミングをずらすことで、フレームレートを向上させる技術がある（例えば、特許文献１〜３参照）。

特開２００７−１０４３４９号公報 特開２００５−８６２１９号公報 特開２００４−１７３２５５号公報

ここで、各画像センサからの画像の出力タイミングを等間隔にずらすためには、各画像センサの出力タイミングをフレーム長の１／ｎだけずらせばよい。画像の出力タイミングは、起動タイミングにより決まる。また、フレーム長とは、フレームレートにより決まり、例えばフレームレートが３０ｆｐｓの場合、１／３０＝３３．３ｍｓｅｃがフレーム長となる。また、フレーム長と露光時間の関係は、フレーム長＞露光時間であり、露光時間はフレームレートに影響する。

従来技術では、できるだけ等間隔で画像を出力するため、フレーム長を固定にして連続撮影を行うのが一般的である。連続撮影時にフレーム長を固定する理由の一つとして、撮影途中にフレーム長が変わってしまうと、出力タイミングのズレに影響が出るからだと考えられる。

また、等間隔で画像を出力する理由は、各画像センサから出力される画像はできるだけ異なる画像にしたいからである。画像の出力タイミングがずれると、他の画像センサから出力された画像と同じような画像が連続画像に含まれてしまい、連続画像としては好ましくない。

しかしながら、従来技術のようにフレーム長を固定にすると、フレーム長は露光時間に影響を与えるため、露光時間を可変にすることができなかった。

図１は、露光時間を可変にする場合の比較例を説明する図である。図１に示す例では、２つの画像センサ（単にセンサとも称す）を用いるとする。第１センサ及び第２センサでは、現在フレームのフレーム長が３３．３ｍｓｅｃ（露光時間３３ｍｓｅｃ＋ブランキング期間０．３ｍｓｅｃ）とする。

このとき、第１センサの現在フレームのフレーム長をＭ１、次フレームのフレーム長をＭ２とする。また、第２センサの現在フレームのフレーム長をＳ１、次フレームのフレーム長をＳ２とする。

現在フレームにおいて、明るさが明から暗に変わったとき、現在フレームに対するＡＥ計算が行われ、露光時間とフレーム長とが求められる。この求められた露光時間及びフレーム長は、第１センサに対して設定され、２フレーム先のフレーム長Ｍ３に反映される。

同様に、第２センサにおいても、現在フレームに対するＡＥ計算が行われ、求められた露光時間とフレーム長は、第２センサに対して設定され、２フレーム先のフレーム長Ｓ３に反映される。

図１に示すように、Ｍ３とＳ３のフレーム長が変わることにより、出力タイミングのずれが、フレーム長の１／２ではなくなってしまう。これでは、連続画像はできるだけ等間隔にしたいというニーズが満たされない。

図２は、露光時間を可変にする場合の比較例を説明する図である。図２に示す例では、２つの画像センサを用いるとする。第１センサ及び第２センサでは、現在フレームのフレーム長が３８．３ｍｓｅｃ（露光時間３５ｍｓｅｃ＋ブランキング期間３．３ｍｓｅｃ）とする。例えば、画像センサの最高出力レートを出せない場合には、ブランキング期間に数ｍｓｅｃが加算される。これにより、ブランキング期間の調整が破綻しにくくなる。

図２に示す現在フレームにおいて、明るさが暗から明に変わったとき、現在フレームに対するＡＥ計算が行われ、露光時間とフレーム長とが求められる。この求められた露光時間及びフレーム長は、第１センサに対して設定され、２フレーム先のフレーム長Ｍ３に反映される。

同様に、第２センサにおいても、現在フレームに対するＡＥ計算が行われ、求められた露光時間とフレーム長は、第２センサに対して設定され、２フレーム先のフレーム長Ｓ３に反映される。

図２に示すように、Ｍ３とＳ３のフレーム長が変わることにより、出力タイミングのずれが、フレーム長の１／２ではなくなってしまう。これでは、連続画像はできるだけ等間隔にしたいというニーズが満たされない。

上述したように、フレーム長を固定すると露光時間が固定となるため、良好な画質を得ることができず、フレーム長を可変にすると画像の出力タイミングにズレが生じてしまうという問題点があった。

そこで、開示の技術では、連続撮影時に、各センサの出力タイミングのズレを防止しつつ露光時間を可変にして画質を良くすることができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

開示の一態様における画像処理装置は、複数の画像センサからの出力データを処理する画像処理装置であって、第１画像センサから出力された第１画像データの検波結果に基づいて、前記第１画像データの第１フレーム長と異なる第２フレーム長を、前記第１画像センサ、及び前記第１画像センサの出力と所定時間ずれたタイミングで、前記第１フレーム長の第２画像データを出力する第２画像センサへ設定する画像センサ制御部を有し、第ｎフレーム長は第ｎ露光時間と第ｎブランキング期間とを含み、前記画像センサ制御部は、前記第１画像データの検波結果に基づいて、前記第２画像センサの第３ブランキング期間を第１ブランキング期間と異なるブランキング期間に設定後、前記第２フレーム長を前記第１および第２画像センサへ設定することを特徴とする。

開示の技術によれば、連続撮影時に、各センサの出力タイミングのズレを防止しつつ露光時間を可変にして画質を良くすることができる。

露光時間を可変にする場合の比較例を説明する図。 露光時間を可変にする場合の比較例を説明する図。 実施例における画像処理装置の構成の一例を示すブロック図。 実施例におけるＣＰＵの機能の一例を示すブロック図。 実施例における各センサの出力タイミング制御例（その１）を説明する図。 実施例における各センサの出力タイミング制御例（その２）を説明する図。 実施例における各センサの出力タイミング制御例（その３）を説明する図。 第１センサ制御部によるタイミング制御処理の一例を示すフローチャート。 第ｔセンサ制御部によるタイミング制御処理の一例を示すフローチャート。

以下、添付された図面を参照しつつ、上記課題を解決する実施例について説明する。

［実施例］
まず、実施例における画像処理装置の構成について説明する。

＜構成＞
図３は、実施例における画像処理装置１の構成の一例を示すブロック図である。図３に示す例では、処理部１０と、各センサ１２と、入力部１４と、第１メモリ１６と、第２メモリ１８と、記録制御部２０と、画像表示部２４と、表示デバイス２６とを有する。なお、各部はデータ通信可能なようにバスにより接続されている。

また、各センサ１２は、第１センサ１２−１、第２センサ１２−２、第ｎ（ｎ＞１）センサ１２−ｎの総称であり、それぞれのセンサを区別しない場合に各センサ１２とも称する。画像処理装置１は、例えば複眼式のカメラを有する。また、メモリカード２２は、必要に応じて画像処理装置１に備えられる。

各センサ１２は、撮影部としての画像センサである。各センサ１２で撮影された画像は、処理部１０により取り込まれ、画像処理が施される。各センサ１２は、撮影モードに応じて、いずれか１つ又は複数のカメラを用いて撮影を行う。例えば、連写モードの場合には、ｎ個のセンサが用いられ、連続画像が生成される。

また、各センサ１２は、それぞれ被写体画像を撮影して得られる画像データを出力する。また、各センサ１２からは同時に画像データが出力されないようにＣＰＵ１１０によって制御される。

処理部１０は、例えばＩＳＰであり、第１メモリ１６から読み出したプログラムを実行し、各部の制御を行う。処理部１０は、例えば、各センサ１２の露光時間を可変にしても、各センサ１２からできるだけ等間隔で画像が出力されるように、各センサ１２を制御する。処理部１０の構成は、後述する。

入力部１４は、例えばユーザにより設定された撮影モードや再生モードなどの操作信号を処理部１０に通知する。撮影モードには通常撮影モードや、連写撮影モードなどがある。

例えば、通常撮影モードは、レリーズボタンの１回の押圧操作に応答して静止画を１回撮影するモードである。この通常撮影モードでは、例えば第１センサ１２−１が撮影に用いられる。

また、連写撮影モードは、予め設定された連写間隔で、レリーズボタンを押圧している間に連続撮影を行うモードである。連写撮影モードは、通常連写モードと高速連写モードとを有してもよい。通常連写モードでは、例えば第１センサ１２−１だけで連続撮影を行い、高速連写モードでは、例えば各センサ１２を用いて順に撮影を行うことで通常連写モードよりも高速に連続撮影を行う。

また、連写撮影モードにおける連写間隔は、メニューボタンの操作で表示デバイス２６にメニュー画面を表示させた状態で、メニュー選択ボタンを操作することにより設定できる。設定された設定値は例えば第１メモリ１６に記憶される。連写間隔は、通常連写モード用の通常連写間隔Ｔ１と、高速連写モード用の高速連写間隔Ｔ２（Ｔ２＜Ｔ１）とが設定される。

第１メモリ１６は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）である。第１メモリ１６は、画像処理装置１を制御するためのプログラムが書き込まれている。また、第１メモリ１６は、プログラム実行時に必要な各種変数などが一時的に書き込まれるワークメモリとして利用される。

第２メモリ１８は、処理部１０により画像処理されたデータを記憶する。第２メモリ１８は、画像表示部２４に表示すべき画像の画像データ，メニュー画面の表示用データが書き込まれる。表示用データは、メニュー画面の表示の際には、後述するＣＰＵ１１０によって第１メモリ１６から読み出されて第２メモリ１８に書き込まれる。

第２メモリ１８は、画像取込部１０２からの画像データを一時的に記憶するバッファメモリとして用いられてもよい。連続撮影モード下では、複数フレームの画像データが、この第２メモリ１８に書き込まれる。なお、このバッファメモリは、第３のメモリとして別構成にしてもよい。

記録制御部２０は、記憶媒体としてのメモリカード２２に対する画像データの記録及び読み出し、画像データの削除を行う。メモリカード２２は、画像処理装置１に着脱自在になっている。メモリカード２２は、複数フレーム分の画像データを記録可能な容量を持っている。なお、記憶媒体としては、メモリカード２２の他に各種のものを用いることができる。

画像表示部２４は、第２メモリ１８から取得した画像データを、表示デバイス２６に表示するための制御を行う。表示デバイス２６は、例えば有機ＥＬディスプレイや液晶ディスプレイなどである。

処理部１０は、画像取込部１０２とＡＦ（Auto Focus）／ＡＥ（Auto Exposure）／ＡＷＢ（Auto White Balance）部１０４と、圧縮処理部１０８と、ＣＰＵ（Central Processing Unit）１１０とを有する。処理部１０は、例えば画像処理装置とも称され、集積回路により実装可能である。

画像取込部１０２は、各センサ１２からの画像データが入力される。画像取込部１０２は、各センサ１２の画像データの出力タイミングに合わせて、各センサ１２の一つを選択し、選択したセンサからの画像データをデータバスに出力する。

ＡＦ／ＡＥ／ＡＷＢ部１０４は、例えば、各センサ１２のピント合せのために、画像取込部１０２から出力される画像データに基づき、撮影中の画像のコントラストを検出し、その情報をＣＰＵ１１０に送る。ＣＰＵ１１０は、コントラスト情報を参照し、撮影中の画像のコントラストが最大となるように各センサ１２を制御することでピント合せを行う。

また、ＡＦ／ＡＥ／ＡＷＢ部１０４は、画像取込部１０２からの画像データに基づいて、被写体輝度の検出と光源の種類の検出を行い、検波結果を含むそれらの情報をＣＰＵ１１０に送る。ＣＰＵ１１０は、ＡＦ／ＡＥ／ＡＷＢ部１０４からの被写体輝度情報に基づいて各センサ１２での露出の制御を行い、また光源情報に基づいて画像処理部１０６のホワイトバランスのパラメータを設定する。

画像処理部１０６は、画像データに対してガンマ補正，ホワイトバランスの調節，画素数の変更等の画像処理を行う。また、表示デバイス２６に撮影中の画像を動画で表示するときには、画像取込部１０２からの画像データが画像処理部１０６に送られ、画像処理された画像データが第２メモリ１８に送られて書き込まれる。

圧縮処理部１０８は、画像データをメモリカード２２に記録する際に、データ圧縮し、所定のデータ形式、例えばＪＰＥＧ形式に変換し、記録制御部２０に送る。また、この圧縮処理部１０８は、再生モード下でメモリカード２２から圧縮された画像データを読み出した際には、この画像データの伸長を行ってから第２メモリ１８に書き込む。

ＣＰＵ１１０は、各部の制御を行う。ＣＰＵ１１０は、高画質での高速連写を実現するための機能を有する。

＜機能＞
図４は、実施例におけるＣＰＵ１１０の機能の一例を示すブロック図である。図４に示すＣＰＵ１１０は、ＡＥ計算部２０２と、第１センサ制御部２０４と、第ｔ（２≦ｔ≦ｎ）センサ制御部２０６とを有する。ＣＰＵ１１０は、画像撮影に関するその他の機能も有しているが、ここでは省略する。ＣＰＵ１１０は、画像センサを制御するため、画像センサ制御部とも称する。

例えば、ＣＰＵ１１０は、第１センサ１２−１から出力された第１画像データの検波結果に基づいて、第１画像データの第１フレーム長と異なる第２フレーム長を、第１センサ１２−１、及び第１センサ１２−１の出力と所定時間ずれたタイミングで、第２画像データを第１フレーム長で出力する第２センサ１２−２へ設定する。

また、ＣＰＵ１１０は、第１画像データの検波結果に基づいて、第２センサ１２−２の第３ブランキング期間を第１ブランキング期間と異なるブランキング期間に設定後、第２フレーム長を第１及び第２センサへ設定してもよい。第ｎフレーム長は、第ｎ露光時間と第ｎブランキング期間とを含むとする。第ｎフレーム長という場合のｎは、センサの数のｎとは異なる。

また、ＣＰＵ１１０は、第１センサ１２−１からの出力データに基づく検波結果を用いて、各センサ１２に対する露光制御や各センサ１２の出力タイミングの制御を行う。例えば、第１センサ１２−１をメインセンサとし、第ｔセンサをサブセンサとする。

ＡＥ計算部２０２は、第１センサ１２−１からの出力データの検波結果に基づいて、露光時間及びフレーム長をフレーム毎に計算する。ＡＥ計算部２０２は、検波結果を、ＡＦ／ＡＥ／ＡＷＢ部１０４から取得する。ＡＥ計算部２０２は、計算された露光時間やフレーム長を第１センサ制御部２０４及び第ｔセンサ制御部２０６に出力する。

第１センサ制御部２０４は、ＡＥ計算部２０２により計算された前（ｍ−１）フレームと現在（ｍ）フレームとのフレーム長が異なる場合に、現在フレームの次（ｍ＋１）フレーム（１フレーム先）のフレーム長と同じフレーム長を第１センサ１２−１に設定する。また、第１センサ制御部２０４は、現在フレームに対して計算された露光時間及びフレーム長を、次フレームの処理時に第１センサ１２−１に設定する。

また、第１センサ制御部２０４は、上述した設定を行うため、第１判定部２４２と、第１調整部２４４と、第１設定部２４６とを有する。

第１判定部２４２は、ＡＥ計算部２０２により計算された前フレームと現在フレームとのフレーム長が異なるか否かを判定する。第１判定部２４２は、判定結果を第１調整部２４４及び第１設定部２４６に通知する。

第１調整部２４４は、第１判定部２４２により異なると判定された場合、２フレーム先のフレーム長に対して、露光時間が短くなる場合に、短くなる分だけブランキング期間を長くする。第１調整部２４４は、第ｔセンサの出力タイミングをなるべく（ｔ−１）／ｎに調整する期間を設けるため、２フレーム先のフレーム長を、次フレームのフレーム長と同じにする。

第１調整部２４４は、第１判定部２４２の判定結果が同じであることを示せば、特に何もしない。第１調整部２４４は、調整を行った設定値を第１設定部２４６に通知する。

第１設定部２４６は、第１判定部２４２により異なると判定された場合、第１センサ１２−１に対して、２フレーム先のフレーム長が、次フレーム（１フレーム先）のフレーム長と同じフレーム長になるように設定する。

また、第１設定部２４６は、第１判定部２４２により異なると判定された場合、第１センサ１２−１に対して、３フレーム先の露光時間及びフレーム長が、現在フレームに対して計算された露光時間及びフレーム長になるように設定する。また、第１設定部２４６は、第１判定部２４２の判定結果が同じであることを示せば、ＡＥ計算部２０２により計算された露光時間及びフレーム長を第１センサ１２−１に設定する。

第ｔセンサ制御部２０６は、ＡＥ計算部２０２により計算された前フレームと現在フレームとのフレーム長が異なる場合、次の処理を行う。第ｔセンサ制御部２０６は、次フレームの処理時に第１センサ１２−１に設定されたフレーム長に基づいてブランキング期間が調整されたフレーム長を、第ｔセンサに設定する。

また、第ｔセンサ制御部２０６は、現在フレームに対して計算された露光時間及びフレーム長を、次フレームの処理時に第ｔセンサに設定する。第ｔセンサ制御部２０６は、ｔの数だけ存在するが、図４に示す例ではまとめて１つのセンサ制御部を記載している。

また、第ｔセンサ制御部２０６は、上述した設定を行うため、第ｔ判定部２６２と、第ｔ調整部２６４と、第ｔ設定部２６６とを有する。

第ｔ判定部２６２は、ＡＥ計算部２０２により計算された前フレームと現在フレームとのフレーム長が異なるか否かを判定する。第ｔ判定部２６２は、判定結果を第ｔ調整部２６４及び第ｔ設定部２６６に通知する。

第ｔ調整部２６４は、第ｔ判定部２６２により異なると判定された場合、第ｔセンサの出力タイミングが第１センサ１２−１のフレーム長の（ｔ−１）／ｎになるべくなるようにブランキング期間を調整する。第ｔ調整部２６４は、ブランキング期間を調整し、次の式（１）を用いて調整したフレーム長にする。
Ｓ３＝Ｍ３＋（Ｍ４＋Ｍ３）×（ｔ−１）／ｎ ・・・式（１）
Ｓ３：ブランキング期間調整後の第ｔセンサの２フレーム先のフレーム長
Ｍ３：第１センサ１２−１の２フレーム先のフレーム長
Ｍ４：第１センサ１２−１の３フレーム先のフレーム長
式（１）は、第１センサ１２−１の２フレーム先のフレーム長と、（第１センサ１２−１の３フレーム先のフレーム長−第１センサ１２−１の２フレーム先のフレーム長）×（ｔ−１）／nとの和を表す。

第ｔ調整部２６４は、第ｔ判定部２６２の判定結果が同じであることを示せば、特に何もしない。第ｔ調整部２６４は、調整を行った設定値を第ｔ設定部２６６に通知する。

第ｔ設定部２６６は、第ｔ判定部２６２により異なると判定された場合、第ｔセンサに対して、２フレーム先のフレーム長が、式（１）により計算されたＳ３のフレーム長になるように設定する。

また、第ｔ設定部２６６は、第ｔ判定部２６２により異なると判定された場合、第ｔセンサに対し、３フレーム先の露光時間及びフレーム長が、現在フレームに対して計算された露光時間及びフレーム長になるように設定する。また、第ｔ設定部２６６は、第ｔ判定部２６２の判定結果が同じであることを示せば、ＡＥ計算部２０２により計算された露光時間及びフレーム長を第ｔセンサに設定する。

これにより、第ｔセンサは、第１センサ１２−１のフレーム長の（ｔ−１）／ｎのタイミングで露光を開始し、この（ｔ−１）／ｎのタイミングで画像を出力することが可能となる。よって、露光時間を可変にしても、フレーム長に対してできるだけ等間隔の連続画像を取得することができるようになり、連続画像として好適となる。また、露光時間を可変にすることで、連続画像に含まれる各画像の画質が向上する。

なお、第１センサ制御部２０４及び第ｔセンサ制御部２０６は、前フレームより現在フレームが暗くなるか否かに応じて、露光時間及びフレーム長に対して異なる設定処理を行ってもよい。

例えば、第１センサ制御部２０４は、前フレームより現在フレームが暗くなる場合、２フレーム先のフレーム長が変更されないように制御する。

また、第１センサ制御部２０４は、前フレームより現在フレームが明るくなる場合、２フレーム先の露光時間が現在フレームに対して計算された露光時間になるように設定する。また、第１センサ制御部２０４は、ブランキング期間を調整して、２フレーム先のフレーム長が次フレームのフレーム長と同じになるように設定する。

また、第ｔセンサ制御部２０６は、前フレームより現在フレームが暗くなる場合、２フレーム先のフレーム長に対してブランキング期間を調整して、Ｓ３のフレーム長になるように設定する。

また、第ｔセンサ制御部２０６は、前フレームより現在フレームが明るくなる場合、２フレーム先の露光時間を現在フレームに対して計算された露光時間にし、２フレーム先のフレーム長を、ブランキング期間を調整してＳ３のフレーム長になるように設定する。

これにより、現在フレームが前フレームよりも明るくなったか、又は暗くなったかに応じて、それぞれ適切な制御処理を行うことができるようになる。

なお、第１センサ制御部２０４及び第ｔセンサ制御部２０６は、調整後のブランキング期間が、ブランキング期間の下限値より大きいか否かに応じて、露光時間及びフレーム長に対して異なる設定処理を行ってもよい。

例えば、第１センサ制御部２０４は、調整後のブランキング期間が下限値より大きい場合、２フレーム先のフレーム長を変更しない。第１センサ制御部２０４は、調整後のブランキング期間が下限値以下の場合、２フレーム先の露光時間を現在フレームに対して計算された露光時間に変更し、２フレーム先のフレーム長を、ブランキング期間を調整することで次フレームのフレーム長と同じにする。

また、第ｔセンサ制御部２０６は、調整後のブランキング期間が下限値より大きい場合、２フレーム先のフレーム長に対してブランキング期間を調整してＳ３のフレーム長に変更する。

また、第ｔセンサ制御部２０６は、調整後のブランキング期間が下限値以下の場合、２フレーム先の露光時間を現在フレームに対して計算された露光時間に変更する。第ｔセンサ制御部２０６はさらに、２フレーム先のフレーム長を、ブランキング期間を調整することでＳ３のフレーム長に変更する。

これにより、もともとブランキング期間に余裕がある場合、ブランキング期間の調整が破綻をきたさなければ、第ｔセンサのブランキング期間のみを制御すればよい。ブランキング期間の調整が破綻をきたすとは、調整後のブランキング期間がブランキング期間の下限値より短くなることである。

＜具体例＞
次に、センサが２つある場合を例にして、各センサの出力タイミングの制御処理について具体的に説明する。以下に示す例では、３３ｍｓｅｃの露光時間が最高出力フレームレートとしたとき、３３ｍｓｅｃ以上の露光時間に対するブランキング期間に、例えば３ｍｓｅｃの余裕を持たせている。

（例１）
図５は、実施例における各センサの出力タイミング制御例（その１）を説明する図である。図５に示す例では、第１センサ及び第２センサ最初のフレーム（現在フレーム）のフレーム長が３３．３ｍｓｅｃ（露光時間３３ｍｓｅｃ＋ブランキング期間０．３ｍｓｅｃ）とする。ここでフレーム長は、各センサからの１フレーム分の画像データを出力する期間（一例として３３ｍｓ）とブランキング期間（一例として０．３ｍｓ）とを合計した期間である。

図５に示す例では、現在フレームにおいて、明るさが明から暗に変わったとする。このとき、現在フレームに対するＡＥ計算がＡＥ計算部２０２により行われ、露光時間とフレーム長とが求められる。この求められた露光時間及びフレーム長は、第１センサ制御部２０４により、次フレームの処理時に第１センサに対して設定される。よって、現在フレームで計算されたフレーム長は、３フレーム先のフレーム長Ｍ４（３８．３ｍｓｅｃ）に反映される。

第２センサにおいては、第１センサのＡＥ計算結果が用いられる。ここで、第ｔセンサ制御部２０６は、ＡＥ計算結果に基づいて、露光時間はそのままにし、ブランキング期間を調整し、フレーム長を調整する。例えば、第ｔセンサ制御部２０６は、式（１）により調整されたフレーム長（３５．８ｍｓｅｃ）を第２センサに設定する。

よって、この設定は、フレーム長Ｓ３に反映される。なお、Ｍ３とＭ４のフレーム長は、この時点で取得可能である。なぜなら、Ｍ３は、前フレームで計算又は調整されたフレーム長であり、Ｍ４は、現在フレームで計算されたフレーム長であるからである。

また、第ｔセンサ制御部２０６は、第１センサの現在フレームのＡＥ計算結果は、次フレームの処理時に第２センサに設定する。よって、現在フレームで計算されたフレーム長は、３フレーム先のフレーム長Ｓ４（３８．３ｍｓｅｃ）に反映される。

これにより、フレームの輝度が明から暗に変わることで、露光時間が可変になっても、各センサの出力タイミングは、フレーム長の１（ｔ−１）／２（ｎ）にすることができる。

（例２）
図６は、実施例における各センサの出力タイミング制御例（その２）を説明する図である。図６に示す例では、第１センサ及び第２センサでは、最所のフレーム（現在フレーム）のフレーム長が３８．３ｍｓｅｃ（露光時間３５ｍｓｅｃ＋ブランキング期間３．３ｍｓｅｃ）とする。

図６に示す例では、現在フレームにおいて、明るさが暗から明に変わったとする。このとき、現在フレームに対するＡＥ計算がＡＥ計算部２０２により行われ、露光時間とフレーム長とが求められる。この求められた露光時間及びフレーム長は、第１センサ制御部２０４により、次フレームの処理時に第１センサに対して設定される。よって、現在フレームで計算されたフレーム長は、３フレーム先のフレーム長Ｍ４に反映される。

第２センサにおいては、第１センサのＡＥ計算結果が用いられる。ここで、第ｔセンサ制御部２０６は、ＡＥ計算結果に基づいて、露光時間はそのままにし、ブランキング期間を調整し、フレーム長を調整する。例えば、第ｔセンサ制御部２０６は、式（１）により調整されたフレーム長（３５．８ｍｓｅｃ）を第２センサに設定する。よって、この設定は、フレーム長Ｓ３に反映される。

また、第ｔセンサ制御部２０６は、第２センサの現在フレームのＡＥ計算結果は、次フレームの処理時に第２センサに設定する。よって、現在フレームで計算されたフレーム長は、３フレーム先のフレーム長Ｍ４（３３．３ｍｓｅｃ）に反映される。なお、露光時間が３３ｍｓｅｃなので、ブランキング期間が０．３ｍｓｅｃに変更される。

これにより、フレームの輝度が暗から明に変わることで、露光時間が可変になっても、各センサの出力タイミングは、フレーム長の１（ｔ−１）／２（ｎ）にすることができる。また、ブランキング期間に余裕を持たせていたので、調整後のブランキング期間（例えば０．８ｍｓｅｃ）がブランキング期間の下限値（０．３ｍｓｅｃ）より大きいので、第ｔセンサのブランキング期間のみの制御でよい。

（例３）
図７は、実施例における各センサの出力タイミング制御例（その３）を説明する図である。図７に示す例では、第１センサ及び第２センサでは、最初のフレーム（現在フレーム）のフレーム長が９３．３ｍｓｅｃ（露光時間９０ｍｓｅｃ＋ブランキング期間３．３ｍｓｅｃ）とする。

図７に示す例では、現在フレームにおいて、明るさが暗から明に変わったとする。このとき、現在フレームに対するＡＥ計算がＡＥ計算部２０２により行われ、露光時間とフレーム長とが求められる。

このとき、露光時間がかなり短くなった（９０ｍｓｅｃ→３３ｍｓｅｃ）ので、第２センサのブランキング期間のみの制御では対応できなくなってしまう。そこで、第１センサ制御部２０４は、第１センサのブランキング期間を調整する。

具体的には、第１センサ制御部２０４は、現在フレームで計算された露光時間を反映し、ブランキング期間については露光時間で短くなった分（５７ｍｓｅｃ）を増やす。第１センサ制御部２０４は、ブランキング期間を６０．３ｍｓｅｃに調整する（３．３＋５７）。第１センサ制御部２０４は、調整したフレーム長（露光時間：３３ｍｓｅｃ＋ブランキング期間：６０．３ｍｓｅｃ）を第１センサに設定する。よって、この設定は、２フレーム先のフレーム長Ｍ３に反映される。

また、現在フレームで求められた露光時間及びフレーム長は、第１センサ制御部２０４により、次フレームの処理時に第１センサに対して設定される。よって、現在フレームで計算されたフレーム長は、３フレーム先のフレーム長Ｍ４（３３．３ｍｓｅｃ）に反映される。

第２センサにおいては、第１センサのＡＥ計算結果が用いられる。ここで、第ｔセンサ制御部２０６は、ＡＥ計算結果に基づいて、露光時間を変更し（９０ｍｓｅｃ→３３ｍｓｅｃ）、ブランキング期間を調整し（３．３ｍｓｅｃ→３０．３ｍｓｅｃ）、フレーム長を調整する。例えば、第ｔセンサ制御部２０６は、式（１）により調整されたフレーム長（６３．３ｍｓｅｃ）を第２センサに設定する。よって、この設定は、フレーム長Ｓ３に反映される。

また、第ｔセンサ制御部２０６は、第１センサの現在フレームのＡＥ計算結果は、次フレームの処理時に第２センサに設定する。よって、現在フレームで計算されたフレーム長は、３フレーム先のフレーム長Ｍ４（３３．３ｍｓｅｃ）に反映される。なお、露光時間が３３ｍｓｅｃなので、ブランキング期間が０．３ｍｓｅｃに変更される。

これにより、フレームの輝度が暗から明に変わることで、露光時間が可変になっても、各センサの出力タイミングは、フレーム長の１（ｔ−１）／２（ｎ）にすることができる。また、ブランキング期間が破綻をきたす場合は、第１センサのブランキング期間を調整することで、各センサの出力タイミングを適切なタイミングにすることができる。

なお、上記例は、センサが２つの場合に限られるものではなく、３つ以上ある場合でも適用できる。

＜動作＞
次に、実施例における画像処理装置１の動作について説明する。図８は、第１センサ制御部２０４によるタイミング制御処理の一例を示すフローチャートである。

図８に示すステップＳ１０１で、ＡＥ計算部２０２は、第１センサ１２−１の出力データに対する検波結果からＡＥ計算を行う。これにより、露光時間及びフレーム長が計算される。

ステップＳ１０２で、前フレームで、センサ設定スキップ、又はブランキング調整されたフレーム長が設定されたか否かを判定する。この条件を満たせば（ステップＳ１０２−ＹＥＳ）ステップＳ１０８に進み、この条件を満たさなければ（ステップＳ１０２−ＮＯ）ステップＳ１０３に進む。

ステップＳ１０３で、第１判定部２４２は、ＡＥ計算部２０２により計算された前フレームのフレーム長と現在フレームのフレーム長とが変わるか否かを判定する。２つのフレーム長が変われば（ステップＳ１０３−ＹＥＳ）ステップＳ１０４に進み、２つのフレーム長が変わらなければ（ステップＳ１０３−ＮＯ）ステップＳ１０７に進む。

ステップＳ１０４で、第１調整部２４４は、調整後のブランキング期間がブランキング期間の下限値より大きいか否かを判定する。この条件を満たせば（ステップＳ１０４−ＹＥＳ）ステップＳ１０５に進み、この条件を満たさなければ（ステップＳ１０４−ＮＯ）ステップＳ１０６に進む。

なお、ステップＳ１０４の条件は、次の条件式（１）を用いる。
（ｌ＋（ｍ−ｌ）×（ｔ−１）／ｎ）−ｅ＞Ｂ ・・・条件式（１）
ｌ：前フレームのフレーム長
ｍ：ＡＥ計算結果のフレーム長
ｅ：ＡＥ計算結果の露光時間
Ｂ：ブランキング最低期間（下限値）
条件式（１）のうち、（ｌ＋（ｍ−ｌ）×（ｔ−１）／ｎ）は、式（１）と同様の式である。

ステップＳ１０５で、第１設定部２４６は、次のフレームに進むため、センサの設定をスキップする。

ステップＳ１０６で、第１設定部２４６は、第１センサに対し、ＡＥ計算結果の露光時間、及び調整されたブランキング期間を含むフレーム長を設定する。この設定は、２フレーム先のフレーム長Ｍ３に反映される。

ステップＳ１０７で、第１設定部２４６は、第１センサに対し、ＡＥ計算結果の露光時間、及びＡＥ計算結果のフレーム長を設定する。この設定は、２フレーム先のフレーム長Ｍ３に反映される。

ステップＳ１０８で、第１設定部２４６は、第１センサに対し、前フレームのＡＥ計算結果の露光時間及び前フレームのＡＥ計算結果のフレーム長を設定する。この設定は、フレーム長Ｍ４に反映される。

図９は、第ｔセンサ制御部２０６によるタイミング制御処理の一例を示すフローチャートである。

図９に示すステップＳ２０１で、第ｔセンサ制御部２０６は、ＡＥ計算部２０２から第１センサ１２−１のＡＥ計算結果を取得する。

ステップＳ２０２で、第ｔセンサ制御部２０６は、前フレームで、ブランキング調整されたフレーム長が設定されたか否かを判定する。この条件を満たせば（ステップＳ２０２−ＹＥＳ）ステップＳ２０８に進み、この条件を満たさなければ（ステップＳ２０２−ＮＯ）ステップＳ２０３に進む。

ステップＳ２０３で、第ｔ判定部２６２は、ＡＥ計算部２０２により計算された前フレームのフレーム長と現在フレームのフレーム長とが変わるか否かを判定する。２つのフレーム長が変われば（ステップＳ２０３−ＹＥＳ）ステップＳ２０４に進み、２つのフレーム長が変わらなければ（ステップＳ２０３−ＮＯ）ステップＳ２０７に進む。

ステップＳ２０４で、第ｔ調整部２６４は、調整後のブランキング期間がブランキング期間の下限値より大きいか否かを判定する。この条件を満たせば（ステップＳ２０４−ＹＥＳ）ステップＳ２０５に進み、この条件を満たさなければ（ステップＳ２０４−ＮＯ）ステップＳ２０６に進む。

なお、ステップＳ２０４の条件は、次の条件式（１）を用いる。
（ｌ＋（ｍ−ｌ）×（ｔ−１）／ｎ）−ｅ＞Ｂ ・・・条件式（１）
ステップＳ２０５で、第ｔ設定部２６６は、露光時間をそのままにし、調整されたブランキング期間を含むフレーム長を第ｔセンサに設定する。この設定は、２フレーム先のフレーム長Ｓ３に反映される。

ステップＳ２０６で、第ｔ設定部２６６は、第ｔセンサに対し、ＡＥ計算結果の露光時間、及び調整されたブランキング期間を含むフレーム長を設定する。この設定は、２フレーム先のフレーム長Ｓ３に反映される。

ステップＳ２０７で、第ｔ設定部２６６は、第ｔセンサに対し、ＡＥ計算結果の露光時間、及びＡＥ計算結果のフレーム長を設定する。この設定は、２フレーム先のフレーム長Ｓ３に反映される。

ステップＳ２０８で、第ｔ設定部２６６は、第ｔセンサに対し、前フレームのＡＥ計算結果の露光時間及び前フレームのＡＥ計算結果のフレーム長を設定する。この設定は、フレーム長Ｓ４に反映される。

以上、実施例によれば、連続撮影時に、各センサの出力タイミングのズレを防止しつつ露光時間を可変にして画質を良くすることができる。また、実施例によれば、ＡＥ計算結果を従来よりも１フレーム後にセンサに設定することで、設定が反映される前の１フレームを用いて、各センサ１２の出力タイミングのズレを修正することができる。また、実施例によれば、連続撮影時でも、露光時間を可変にすることができるので、画質を向上させることもできる。

よって、前述した実施例で説明した出力タイミング制御処理を含む画像処理を実現するためのプログラムを記録媒体（例えばメモリカード２２）に記録することで、実施例で説明した処理をコンピュータに実施させることができる。

例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末、スマートフォン、タブレット端末などに読み取らせて、前述した処理を実現させることも可能である。

なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、記録媒体は、搬送波などの一過性のものを含まない。

なお、画像処理装置１は、コンピュータやカメラ付携帯端末などであり、複数のカメラと処理部を備えていればいずれの装置でもよい。また、処理部１０は、例えばＩＳＰとしての画像処理装置とし、市販のカメラを複数組み合わせることもできる。

以上、画像処理装置及びプログラムについて詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

なお、以上の各実施例に関し、さらに以下の付記を開示する。
（付記１）
複数の画像センサからの出力データを処理する画像処理装置であって、
第１画像センサから出力された第１画像データの検波結果に基づいて、前記第１画像データの第１フレーム長と異なる第２フレーム長を、前記第１画像センサ、及び前記第１画像センサの出力と所定時間ずれたタイミングで、前記第１フレーム長の第２画像データを出力する第２画像センサへ設定する画像センサ制御部を有し、
第ｎフレーム長は第ｎ露光時間と第ｎブランキング期間とを含み、
前記画像センサ制御部は、前記第１画像データの検波結果に基づいて、前記第２画像センサの第３ブランキング期間を前記第１ブランキング期間と異なるブランキング期間に設定後、前記第２フレーム長を前記第１および第２画像センサへ設定する
ことを特徴とする画像処理装置。
（付記２）
前記画像センサ制御部は、
前記第１画像データの検波結果に基づいて露光時間及びフレーム長をフレーム毎に計算するＡＥ計算部と、
前記ＡＥ計算部により計算されたｍフレームのフレーム長と前記ｍフレームの前のｍ−１フレームのフレーム長とが異なる場合に、前記ｍフレームに対して計算された露光時間及びフレーム長を、前記ｍフレームの次のｍ＋１フレームの処理時に前記第２フレーム長として前記第１画像センサに設定する第１センサ制御部と、
前記ＡＥ計算部により計算された前記ｍフレームと前記ｍ−１フレームとのフレーム長が異なる場合、前記ｍ＋１フレームの処理時に、前記第１画像センサに設定される前記第２フレーム長に基づいて前記第３ブランキング期間を、前記第２画像センサに設定し、前記第３ブランキング期間の設定後に前記第２フレーム長を前記第２画像センサに設定する第２センサ制御部と、
を有することを特徴とする付記1に記載の画像処理装置。
（付記３）
前記第１センサ制御部は、
前記ＡＥ計算部により計算された前記ｍフレームのフレーム長と前記ｍ−１フレームとのフレーム長とが異なるか否かを判定する第１判定部と、
前記第１判定部により異なると判定された場合、前記第１画像センサに対して、前記第２フレーム長を設定する第１設定部と、を有し、
前記第２センサ制御部は、
前記ＡＥ計算部により計算された前記ｍフレームのフレーム長と前記ｍ−１フレームのフレーム長とが異なるか否かを判定する第２判定部と、
前記第２判定部により異なると判定された場合、前記第２画像センサに対して、前記第２フレーム長を設定する第２設定部と、
を有することを特徴とする付記２に記載の画像処理装置。
（付記４）
前記第１センサ制御部は、
第１露光時間よりも第２露光時間が短くなる場合に、短くなる分だけ第２ブランキング期間を長く調整する第１調整部を有し、
前記第２センサ制御部は、
前記第３ブランキング期間を調整する第２調整部を有することを特徴とする付記３に記載の画像処理装置。
（付記５）
前記第１センサ制御部及び前記第２センサ制御部は、
前記ｍ−１フレームより前記ｍフレームが暗くなるか否かに応じて、前記第２フレーム長を前記第１および第２画像センサに設定することを特徴とする付記３に記載の画像処理装置。
（付記６）
前記第１センサ制御部は、
前記ｍ−１フレームより前記ｍフレームが暗くなる場合、前記第１フレーム長が変更されないようにし、前記ｍ−１フレームより前記ｍフレームが明るくなる場合、前記第２フレーム長を設定し、前記第２センサ制御部は、
前記ｍ−１フレームより前記ｍフレームが暗くなる場合、前記第３ブランキング期間を前記第１ブランキング期間よりも短く設定し、前記ｍ−１フレームより前記ｍフレームが明るくなる場合、前記第３ブランキング期間を前記第１ブランキング期間よりも長く設定することを特徴とする付記５記載の画像処理装置。
（付記７）
前記第１センサ制御部は、
前記第１調整部による調整後の第２ブランキング期間が下限値より大きい場合、前記第２フレーム長を設定せず、前記調整後のブランキング期間が前記下限値以下の場合、第２露光時間および前記調整後の第２ブランキング期間を設定し、
前記第２センサ制御部は、
前記第２調整部による調整後の前記第３ブランキング期間が前記下限値より大きい場合、前記第３ブランキング期間を調整し、前記調整後のブランキング期間が前記下限値以下の場合、前記第２露光時間および前記調整後の第２ブランキング期間を設定する付記４記載の画像処理装置。
（付記８）
前記所定時間は、前記第１フレーム長の１／２の時間であることを特徴とする付記１乃至７いずれか一項に記載の画像処理装置。
（付記９）
複数の画像センサからの出力データを処理する画像処理装置における画像処理方法であって、
第１画像センサに、第１画像データを第１フレーム長で出力させ、
第２画像センサに、前記第１画像センサの出力と所定時間ずれたタイミングで、第２画像データを前記第１フレーム長で出力させ、
前記第１画像データの検波結果に基づいて、前記第１フレーム長と異なる第２フレーム長を前記第１および第２画像センサへ設定する処理を有し、
第ｎフレーム長は第ｎ露光時間と第ｎブランキング期間とを含み、
前記設定する処理は、前記第１画像データの検波結果に基づいて、前記第２画像センサの第３ブランキング期間を、前記第１ブランキング期間と異なるブランキング期間に設定後、前記第２フレーム長を前記第１および第２画像センサへ設定する
ことを特徴とする画像処理方法。
（付記１０）
複数の画像センサからの出力データを処理するコンピュータに実行させるプログラムであって、
第１画像センサに、第１画像データを第１フレーム長で出力させ、
第２画像センサに、前記第１画像センサの出力と所定時間ずれたタイミングで、第２画像データを前記第１フレーム長で出力させ、
前記第１画像データの検波結果に基づいて、前記第１フレーム長と異なる第２フレーム長を前記第１および第２画像センサへ設定する処理を有し、
前記第ｎフレーム長は第ｎ露光時間と第ｎブランキング期間とを含み、
前記設定する処理は、前記第１画像データの検波結果に基づいて、前記第２画像センサの第３ブランキング期間を、第１ブランキング期間と異なるブランキング期間に設定後、前記第２フレーム長を前記第１および第２画像センサへ設定する
ことを特徴とするプログラム。

１ 画像処理装置
１０ 処理部
１２ 各センサ
１０４ ＡＦ／ＡＥ／ＡＷＢ部
１１０ ＣＰＵ
２０２ ＡＥ計算部
２０４ 第１センサ制御部
２０６ 第ｔセンサ制御部
２４２ 第１判定部
２４４ 第１調整部
２４６ 第１設定部
２６２ 第ｔ判定部
２６４ 第ｔ調整部
２６６ 第ｔ設定部

Claims (10)

1. 複数の画像センサからの出力データを処理する画像処理装置であって、
   第１画像センサから出力された第１画像データの検波結果に基づいて、前記第１画像データの第１フレーム長と異なる第２フレーム長を、前記第１画像センサ、及び前記第１画像センサの出力と所定時間ずれたタイミングで、前記第１フレーム長の第２画像データを出力する第２画像センサへ設定する画像センサ制御部を有し、
   第ｎフレーム長は第ｎ露光時間と第ｎブランキング期間とを含み、
   前記画像センサ制御部は、前記第１画像データの検波結果に基づいて、前記第２画像センサの第３ブランキング期間を第１ブランキング期間と異なるブランキング期間に設定後、前記第２フレーム長を前記第１および第２画像センサへ設定する
   ことを特徴とする画像処理装置。
2. 前記画像センサ制御部は、
   前記第１画像データの検波結果に基づいて露光時間及びフレーム長をフレーム毎に計算するＡＥ計算部と、
   前記ＡＥ計算部により計算されたｍフレームのフレーム長と前記ｍフレームの前のｍ−１フレームのフレーム長とが異なる場合に、前記ｍフレームに対して計算された露光時間及びフレーム長を、前記ｍフレームの次のｍ＋１フレームの処理時に前記第２フレーム長として前記第１画像センサに設定する第１センサ制御部と、
   前記ＡＥ計算部により計算された前記ｍフレームと前記ｍ−１フレームとのフレーム長が異なる場合、前記ｍ＋１フレームの処理時に、前記第１画像センサに設定される前記第２フレーム長に基づいて前記第３ブランキング期間を、前記第２画像センサに設定し、前記第３ブランキング期間の設定後に前記第２フレーム長を前記第２画像センサに設定する第２センサ制御部と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１センサ制御部は、
   前記ＡＥ計算部により計算された前記ｍフレームのフレーム長と前記ｍ−１フレームとのフレーム長とが異なるか否かを判定する第１判定部と、
   前記第１判定部により異なると判定された場合、前記第１画像センサに対して、前記第２フレーム長を設定する第１設定部と、を有し、
   前記第２センサ制御部は、
   前記ＡＥ計算部により計算された前記ｍフレームのフレーム長と前記ｍ−１フレームのフレーム長とが異なるか否かを判定する第２判定部と、
   前記第２判定部により異なると判定された場合、前記第２画像センサに対して、前記第２フレーム長を設定する第２設定部と、
   を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１センサ制御部は、
   第１露光時間よりも第２露光時間が短くなる場合に、短くなる分だけ第２ブランキング期間を長く調整する第１調整部を有し、
   前記第２センサ制御部は、
   前記第３ブランキング期間を調整する第２調整部を有することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１センサ制御部及び前記第２センサ制御部は、
   前記ｍ−１フレームより前記ｍフレームが暗くなるか否かに応じて、前記第２フレーム長を前記第１および第２画像センサに設定することを特徴とする請求項３に記載の画像処理装置。
6. 前記第１センサ制御部は、
   前記ｍ−１フレームより前記ｍフレームが暗くなる場合、前記第１フレーム長が変更されないようにし、前記ｍ−１フレームより前記ｍフレームが明るくなる場合、前記第２フレーム長を設定し、前記第２センサ制御部は、
   前記ｍ−１フレームより前記ｍフレームが暗くなる場合、前記第３ブランキング期間を前記第１ブランキング期間よりも短く設定し、前記ｍ−１フレームより前記ｍフレームが明るくなる場合、前記第３ブランキング期間を前記第１ブランキング期間よりも長く設定することを特徴とする請求項５記載の画像処理装置。
7. 前記第１センサ制御部は、
   前記第１調整部による調整後の第２ブランキング期間が下限値より大きい場合、前記第２フレーム長を設定せず、前記調整後のブランキング期間が前記下限値以下の場合、第２露光時間および前記調整後の第２ブランキング期間を設定し、
   前記第２センサ制御部は、
   前記第２調整部による調整後の前記第３ブランキング期間が前記下限値より大きい場合、前記第３ブランキング期間を調整し、前記調整後のブランキング期間が前記下限値以下の場合、前記第２露光時間および前記調整後の第２ブランキング期間を設定する請求項４記載の画像処理装置。
8. 前記所定時間は、前記第１フレーム長の１／２の時間であることを特徴とする請求項１乃至７いずれか一項に記載の画像処理装置。
9. 複数の画像センサからの出力データを処理する画像処理装置における画像処理方法であって、
   第１画像センサに、第１画像データを第１フレーム長で出力させ、
   第２画像センサに、前記第１画像センサの出力と所定時間ずれたタイミングで、第２画像データを前記第１フレーム長で出力させ、
   前記第１画像データの検波結果に基づいて、前記第１フレーム長と異なる第２フレーム長を前記第１および第２画像センサへ設定する処理を有し、
   第ｎフレーム長は第ｎ露光時間と第ｎブランキング期間とを含み、
   前記設定する処理は、前記第１画像データの検波結果に基づいて、前記第２画像センサの第３ブランキング期間を、第１ブランキング期間と異なるブランキング期間に設定後、前記第２フレーム長を前記第１および第２画像センサへ設定する
   ことを特徴とする画像処理方法。
10. 複数の画像センサからの出力データを処理するコンピュータに実行させるプログラムであって、
    第１画像センサに、第１画像データを第１フレーム長で出力させ、
    第２画像センサに、前記第１画像センサの出力と所定時間ずれたタイミングで、第２画像データを前記第１フレーム長で出力させ、
    前記第１画像データの検波結果に基づいて、前記第１フレーム長と異なる第２フレーム長を前記第１および第２画像センサへ設定する処理を有し、
    第ｎフレーム長は第ｎ露光時間と第ｎブランキング期間とを含み、
    前記設定する処理は、前記第１画像データの検波結果に基づいて、前記第２画像センサの第３ブランキング期間を、第１ブランキング期間と異なるブランキング期間に設定後、前記第２フレーム長を前記第１および第２画像センサへ設定する
    ことを特徴とするプログラム。

Images