JP7295329B2 - 撮像システム、画像処理プログラム、および画像処理方法 - Google Patents

Description

本発明は、撮像システム、画像処理プログラム、および画像処理方法に関する。

近年、ＯＬＥＤ（Organic Light Emitting Diode）技術の普及によってコントラスト比をより人間の視覚に近づけたＨＤＲ（High Dynamic Range）対応の表示装置が注目されている。

それに伴い、表示する映像を撮影する撮像装置には、ＨＤＲに対応するためにダイナミックレンジの拡大が強く求められる。しかし、撮像素子が光電変換できる光量は限られており、光量が大きい場合には所定レベル以上が飽和してしまう。

そこで、単板式撮像装置において、『露光期間』を異ならせて２つの画像を連続撮像し、２つの画像を合成してダイナミックレンジを拡大する技術が知られている（例えば、特許文献１参照）。

一方、入射光を色分解して各色成分を各々の撮像素子で受光する構成の多板式撮像装置が知られている。この種の多板式撮像装置においては、色成分ごとの撮像素子の受光量をＮＤフィルタ（光量減少フィルタ）で揃えることでダイナミックレンジを拡大する技術が知られている（例えば、特許文献２参照）。

特開平１－２０４５７９号公報 特開平７－２５０３３２号公報

特許文献２の多板式撮像装置では、受光量の大きな特定の色成分についてはＮＤフィルタで減光して信号飽和を避け、その他の色成分については受光量を保つ。その結果、ダイナミックレンジを拡大する一定の効果が得られる。

しかしながら、各色成分の受光量の比率は、屋外と電灯下など、光源色温度の違いによって大きく変化する。そのため、減光比率が不変のＮＤフィルタでは、ダイナミックレンジを十分に拡大することは困難であった。

なお、多板式撮像装置において、各色成分の撮像素子の露光期間を異ならせることで、特定の色成分の色飽和を避けて、ダイナミックレンジを拡大することは可能である。しかしながら、この方法では、色成分ごとに残像の発生度合いが異なるため、本来の被写体色とは異なる色ズレが付いた残像（色付き残像）が発生する。

この色付き残像は、人間の視覚特性とは異なる現象であるため、映像品位（違和感のない映像）が重要視される放送用カメラなどでは許容されない現象になる。
そこで、本発明は、色付き残像を軽減するための技術を提供することを目的とする。

上記課題を解決するために、本発明の代表的な撮像システムの一つは、色分解光学系、複数の撮像素子、色別露光設定部、および露光制御部を備える。
前記色分解光学系は、被写体光を複数の波長域に分光し、複数の色成分の像を形成する。
複数の前記撮像素子は、複数の前記色成分の像をそれぞれ撮像し、映像信号の色成分をそれぞれ生成する。
前記色別露光設定部は、露光期間を複数の前記色成分ごとにそれぞれ設定する。
前記露光制御部は、前記色成分ごとに設定された前記露光期間のうちの最短期間以下の共通期間において、複数の前記撮像素子を略同時に露光制御して映像信号（以下「基準映像信号」という）を得る露光制御αを実施する。さらに、前記露光制御部は、前記色成分ごとの露光期間から前記共通期間を除いた期間で、複数の前記撮像素子をそれぞれ露光制御して映像信号（以下「拡張映像信号」という）を得る露光制御βを実施する。

本発明によれば、色付き残像を軽減するための技術が提供される。

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

図１は、実施例１の撮像システム１００の構成を示すブロック図である。 図２は、色付き残像の問題を説明する図である。 図３は、撮像システム１００の動作シーケンス（１／２）を説明する流れ図である。 図４は、撮像システム１００の動作シーケンス（２／２）を説明する流れ図である。 図５は、撮像システム１００の処理の様子を示す説明図である。

以下、本発明の実施例について図面を参照して詳細に説明する。

［撮像システム１００の構成について］
図１は、実施例１の撮像システム１００の構成を示すブロック図である。

同図において、撮像システム１００は、撮影光学系１１０、色分解光学系１２０、Ｇ色成分用の撮像素子１２１Ｇ、Ｒ色成分用の撮像素子１２１Ｒ、Ｂ色成分用の撮像素子１２１Ｂ、色別露光設定部１３０、露光制御部１４０、Ｇ色成分用の残像補正部１５０Ｇ、Ｒ色成分用の残像補正部１５０Ｒ、Ｂ色成分用の残像補正部１５０Ｂ、映像信号処理部１８０、および映像信号出力部１９０を備える。

撮影光学系１１０は、絞りを透過した被写体光を結像する。色分解光学系１２０は、結像する被写体光を色成分ごとの波長域に分光し、色成分ごとの像を形成する。

撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂは、色成分ごとの像を光電変換して、映像信号の色成分をそれぞれ生成する。

色別露光設定部１３０は、ＲＧＢ色成分ごとの露光期間ＴＲ、ＴＧ、ＴＢを設定する。
露光制御部１４０は、露光制御αおよび露光制御βを連続的に実施する。

露光制御αの露光期間は、露光期間ＴＲ、ＴＧ、ＴＢのうちの最短期間以下の共通期間に設定される。露光制御部１４０は、この共通期間で撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂを略同時に露光制御して、基準映像信号を得る。

露光制御βの露光期間は、露光期間ＴＲ、ＴＧ、ＴＢから上記の共通期間を除いた残り期間に設定される。露光制御部１４０は、この残り期間で撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂを露光制御して、拡張映像信号を得る。

残像補正部１５０Ｒ、１５０Ｇ、１５０Ｂは、基準映像信号および拡張映像信号を色成分ごとに取得し、『色付き残像の判定』と『モード切り替え』を実施する。図１には残像補正部１５０Ｇの内部構成のみを示すが、残像補正部１５０Ｒ、１５０Ｂの内部構成も同様である。残像補正部１５０Ｒ、１５０Ｇ、１５０Ｂは、メモリ１５１、レベル補正部１５２、色残像判定部１５３、およびモード切替部１５４を備える。

メモリ１５１は、基準映像信号および拡張映像信号を一旦記憶し、両信号を画素単位に同期させて出力する。

レベル補正部１５２は、『拡張映像信号の露光期間』と『基準映像信号の露光期間』との比率に基づいて、両信号における露光量の違いに起因するレベル差を補正する。

色残像判定部１５３は、レベル補正後の両信号について差異を比較して色付き残像を判定する。

モード切替部１５４は、色残像判定部１５３の判定した色付き残像が許容範囲の外であれば基準映像信号から出力画像を生成する低残像モードを実施する。また、モード切替部１５４は、色付き残像が許容範囲の内であれば基準映像信号と拡張映像信号との合成結果から出力画像を生成するレンジ拡大モードを実施する。このモード切替部１５４の内部には、図１に示すように、加算部１５５、ＷＢ部１５６、ＷＢ部１５７、およびセレクタ１５８を備える。

加算部１５５は、基準映像信号と拡張映像信号とを画素単位に合成して、レンジ拡大映像を生成する。

ＷＢ部１５６は、残像補正部１５０Ｒ、１５０Ｇ、１５０Ｂそれぞれにおいてレンジ拡大映像のＲＧＢゲインを調整する。

一方、ＷＢ部１５７は、残像補正部１５０Ｒ、１５０Ｇ、１５０Ｂそれぞれにおいて、基準映像信号に対して、レンジ拡大映像と平均信号レベルを揃えるためのＲＧＢゲインの調整（一種の増感処理）を実施して、低残像映像を生成する。

セレクタ１５８は、色残像判定部１５３の判定結果に従って、レンジ拡大映像と低残像映像とを切り替えて、出力画像を生成する。なお、セレクタ１５８の切り替えタイミングと、色残像判定部１５３の判定タイミングとにタイムラグが存在する場合は、先行するタイミングを遅延させてタイムラグを解消するための信号遅延部を備えてもよい。

映像信号処理部１８０は、この出力画像に対して各種の信号処理（ガンマ補正、輪郭強調、ノイズ除去、ホワイトバランス調整、色変換など）を実施する。

映像信号出力部１９０は、信号処理後の出力画像をＨＤ－ＳＤＩ（High Definition Serial Digital Interface）などの所定の信号形式に変換して出力する。

［色付き残像の問題について］
次に、実施例１の動作シーケンスを説明する前に、『色付き残像の問題』について説明する。
図２は、色付き残像の問題を説明する図である。

ここでは、一例として光源色温度が低い電灯下の撮影環境を想定する。この電灯に照らされた被写体の平均的な光は、Ｒ色域をピークにした波長分布を示す。この場合、撮像システム１００においてＲ色成分用の撮像素子１２１Ｒの受光量は、その他の撮像素子１２１Ｇ、１２１Ｂの受光量よりも大きくなる。そのため、映像信号のＲ色成分は他のＧＢ色成分に比べて先に色飽和する。

従来の放送用カメラであれば、このＲ色成分の色飽和を避ける短めの露光期間を、ＲＧＢ色成分の露光期間に一律設定する。そのため、ＧＢ色成分については撮像素子のダイナミックレンジの一部範囲のみしか使用せず、Ｒ色成分に比べてＧＢ色成分は、階調幅（ダイナミックレンジ）が狭く、低感度かつ高ノイズになる。

これに対して、ＲＧＢ色成分の露光期間を異ならせる方策が考えられる。すなわち、Ｒ色成分については、露光期間を短めに設定して、Ｒ色成分の色飽和を避ける。一方、ＧＢ色成分については、露光期間を長めに設定して、高感度かつ低ノイズでワイドダイナミックレンジ化を図る。

図２には、このようにＲＧＢ色成分の露光期間を異ならせた撮影条件を示す。
被写体が静止し、かつカメラブレがなければ、この撮影条件によって、高感度かつ低ノイズでワイドダイナミックレンジの出力映像を得ることが可能になる。

しかしながら、被写体が動いている場合（またはカメラブレがある場合）、出力映像には、ＲＧＢ色成分の異なる露光期間に応じて、異なる幅の残像が発生する（図２参照）。このようにＲＧＢ色成分ごとに残像の幅が異なることによって、本来の被写体色とは異なる色が付いた残像（色付き残像）が発生する。

［実施例１の処理について］
続いて、上述した色付き残像の問題を改善する実施例１の処理について説明する。
図３および図４は、撮像システム１００の動作シーケンスを説明する流れ図である。
図５は、撮像システム１００の処理の様子を示す説明図である。
以下、図３および図４に示すステップ番号の順に説明する。

ステップＳ１０１： 色別露光設定部１３０は、被写体のＲＧＢ別の測光データを取得する。この測光データは、撮像システム１００が備える測光部（不図示）から取得してもよい。また、撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂの信号出力をモニタリングすることによって、ＲＧＢ別の測光データを取得してもよい。

色別露光設定部１３０は、ＲＧＢ別の測光データの比率に基づいて、撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂの露光期間ＴＲ、ＴＧ、ＴＢをそれぞれ設定する（図５参照）。

その結果、ＲＧＢ色成分の内、受光量が過多となる色成分については、階調に色飽和が生じないように露光期間が短めに設定される。また、受光量の不足する色成分については、階調に暗部潰れが生じないように露光期間が長めに設定される。

ステップＳ１０２： 露光制御部１４０は、色成分ごとの露光期間ＴＲ、ＴＧ、ＴＢから最短期間を求め、この最短期間以下の共通期間を決定する。通常は、共通期間を最短期間に等しく決定すればよい。ただし、被写体の動きが激しいなどの場合は、残像を抑制するために共通期間を最短期間よりも短くしてもよい。

なお、ここでは説明を簡単にするため、図５に示すケースでは、共通期間がＲ色成分の露光期間ＴＲに等しく決定される。

ステップＳ１０３： 露光制御部１４０は、色成分ごとの露光期間ＴＲ、ＴＧ、ＴＢから共通期間を除いた残り期間で、撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂをそれぞれ電子シャッタ制御し、拡張映像信号を得る。この残り期間による露光を『露光制御β』という。

図５に示すケースでは、露光制御βの露光期間は次のように決定される。
・拡張映像信号のＲ色成分については、露光期間（ＴＲ－ＴＲ）のために、露光期間はゼロになる。（そのため、撮像素子１２１Ｒに対する電子シャッタ制御は行われず、拡張映像信号のＲ色成分はゼロになる。）
・拡張映像信号のＧ色成分については、露光期間が（ＴＧ－ＴＲ）に決定される。
・拡張映像信号のＢ色成分については、露光期間が（ＴＢ－ＴＲ）に決定される。

ステップＳ１０４： 露光制御部１４０は、共通期間ＴＲを露光期間として、撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂを略同時に電子シャッタ制御して、基準映像信号を得る（図５参照）。この共通期間による露光を『露光制御α』という。なお、ステップＳ１０３，Ｓ１０４における電子シャッタ制御は、グローバルシャッタ方式やローリングシャッタ方式などのいずれでもよい。

ステップＳ１１０： レベル補正部１５２は、『（拡張映像信号の露光期間）／（基準映像信号の露光期間）の比率』と、『撮像素子の光電変換カーブ』とに基づいて、基準映像信号と拡張映像信号の平均信号レベルを揃える。その結果、露光量の違いに起因する両信号のレベル差は相殺され、色付き残像による画素単位のレベル差が明確に現れる。

ステップＳ１１１： 色残像判定部１５３は、基準映像信号と拡張映像信号との差異を色成分ごとに比較する。この比較処理において、色付き残像を生じた画素領域は、両信号の差分領域として検出される。

ステップＳ１１２： 色残像判定部１５３は、ステップＳ１１１で検出された画素単位のレベル差（色付き残像の画素領域）について、画質として許容範囲か否かを判定する。この判定の結果に従って、許容範囲の内であれば、色残像判定部１５３はレンジ拡大モードを選択するためにステップＳ１１３に動作を切り替える。許容範囲の外であれば、色残像判定部１５３は低残像モードを選択するためにステップＳ１１６に動作を切り替える。

なお、ここでの動作切り替えを映像のフレーム単位に実施することによって、以降の処理においてモードの異なるフレームを組み合わせた出力画像（動画や連続画像など）を生成してもよい。すなわち、色付き残像の少ないフレームについてはレンジ拡大モードが選択され、色付き残像の多いフレームについては低残像モードが選択される。

また、ここでの動作切り替えをフレーム内の領域（画素単位、画素ブロック単位、ライン単位など）ごとに独立に実施することによって、以降の処理においてモードの異なる領域を組み合わせた出力画像を生成してもよい。すなわち、色付き残像の少ない領域についてはレンジ拡大モードが選択され、色付き残像の多い領域については低残像モードが選択される。

さらに、ここでの動作切り替えを色成分ごとに独立に実施することによって、以降の処理においてモードの異なる色成分を組み合わせた出力画像を生成してもよい。すなわち、色付き残像の少ない色成分についてはレンジ拡大モードが選択され、色付き残像の多い色成分については低残像モードが選択される。

また、ここでの判定アルゴリズムとしては、例えば、次の［１］～［４］のいずれか一つ、または組み合わせを選んでもよい。
［１］色残像判定部１５３は、画素単位のレベル差が所定の閾値より大きければ、色ズレ残像の色差が明確で目立つために許容範囲の外と判定する。
［２］色残像判定部１５３は、レベル差を生じた領域面積（画素の数）が所定の閾値より大きければ、色ズレ残像の面積が大きく目立つために許容範囲の外と判定する。
［３］色残像判定部１５３は、レベル差を生じた画素の頻度が所定の閾値より大きければ、色ズレ残像の発生箇所が多数で目立つために許容範囲の外と判定する。
［４］色残像判定部１５３は、レベル値の絶対値の累積値が所定の閾値より大きければ、色ズレ残像が量的に大きくて目立つために許容範囲の外と判定する。

ステップＳ１１３： 加算部１５５は、基準映像信号と拡張映像信号とを画素単位に合成して、レンジ拡大映像を生成する。通常は、基準映像信号と拡張映像信号とを単純加算すればよい。この場合のレンジ拡大映像は、ステップＳ１０１において設定された露光期間ＴＲ、ＴＧ、ＴＢで撮像された映像とほぼ等価な映像になる。そのため、レンジ拡大映像は、ＲＧＢ色成分のダイナミックレンジが撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂの出力階調の範囲に適度に収まるワイドダイナミックレンジの映像になる。

なお、基準映像信号と拡張映像信号とを加重加算してもよい。例えば、色残像判定部１５３において検出される基準映像信号と拡張映像信号とのレベル差が大きいほど、基準映像信号の加算比率を大きくして、レンジ拡大モードと低残像モードとの折衷的な出力画像を生成してもよい

ステップＳ１１４： ＷＢ部１５６は、レンジ拡大映像のＲＧＢゲインを調整することにより、レンジ拡大映像のＲＧＢレベルを所定範囲に収める。この場合に、ＨＤＲ（High Dynamic Range）・の信号形式に応じてビット落ち（階調欠落）が生じないようにＲＧＢゲインを調整することが好ましい。

ステップＳ１１５： セレクタ１５８は、レンジ拡大映像を出力画像として映像信号処理部１８０へ切り替え出力する。ここまでの動作を完了すると、撮像システム１００は、後続フレームの撮影を実施するため、ステップＳ１０１に動作を戻す。

ステップＳ１１６： ＷＢ部１５７は、基準映像信号のＲＧＢゲインを調整して、基準映像信号のＲＧＢレベル（ホワイトバランス）を所定範囲に収める。それと同時に、ＷＢ部１５７は、基準映像信号に対する信号レベルの調整（一種の増感処理）を併せて行い、レンジ拡大映像と平均信号レベルの揃った『低残像映像』として出力する。

ステップＳ１１７： セレクタ１５８は、低残像映像を出力画像として映像信号処理部１８０へ切り替え出力する。なお、ステップＳ１１６における平均信号レベルの調整によって、レンジ拡大映像と低残像映像の切り替えに伴う非連続な信号レベルの変化は抑制される。ここまでの動作を完了すると、撮像システム１００は、後続フレームの撮影を実施するため、ステップＳ１０１に動作を戻す。

以上の一連の動作を継続的に繰り返すことによって、撮像システム１００では、動画撮影および静止画撮影などの動作シーケンスが実施される。

［実施例１の効果について］
次に、実施例１が奏する効果について説明する。

（１）実施例１では、露光制御αおよび露光制御βを一種の分割露光として実施する。
この露光制御αでは、色成分ごとに設定された露光期間のうちの最短期間以下の共通期間で、複数の撮像素子を一律に露光制御する。その結果、色飽和を軽減しつつ、色付き残像の生じない基準映像信号を得ることが可能になる。
一方、露光制御βでは、色成分ごとの露光期間から共通期間を除いた期間で、複数の撮像素子をそれぞれ露光制御する。その結果、色付き残像を主として含む拡張映像信号を得ることが可能になる。
これら分割露光によって得られる両信号は、色付き残像の出方が異なる信号である。したがって、両信号の差異に基づいて色付き残像を抽出する、抽出した色付き残像を軽減するなどの画像処理が可能になる。

（２）実施例１では、基準映像信号と拡張映像信号との比較を行う。両信号の色付き残像は出方が異なるため、両信号を比較することによって色付き残像を判定することが可能になる。

（３）実施例１では、色付き残像が許容範囲の外であれば、低残像モードを実施する。この低残像モードは、色付き残像を生じない基準映像信号から出力画像（低残像映像）が生成される。そのため、色付き残像が許容範囲を超える難しい撮影環境において、色付き残像の生じない出力画像を得ることが可能になる。

（４）実施例１では、色付き残像が許容範囲の内であれば、レンジ拡大モードを実施する。このレンジ拡大モードでは、基準映像信号と拡張映像信号との合成結果から出力画像（レンジ拡大映像）が生成される。このレンジ拡大映像は、基準映像信号の階調範囲に拡張映像信号の階調範囲が増し加わるために、ワイドダイナミックレンジになる。また、レンジ拡大映像は、基準映像信号の信号レベルに拡張映像信号の信号レベルが増し加わるため、高感度かつ高Ｓ／Ｎになる。そのため、色付き残像が許容範囲に収まる撮影環境において、ワイドダイナミックレンジで高感度かつ高Ｓ／Ｎの出力画像を得ることが可能になる。

（５）なお、基準映像信号を増感しただけの低残像映像は、レンジ拡大映像に比べてＳ／Ｎの点で劣った映像になる。しかし、許容範囲の外の色付き残像が発生するような動きが速い被写体シーンは人間の目では鮮明に捉え難いためノイズ感が目立つことはない。また、動きが速い被写体シーンは静止画としての利用価値が低いため、静止画利用という面での問題も生じない。

（６）実施例１では、低残像モードとレンジ拡大モードをフレーム単位に切り替える。そのため、動画撮影や連続撮影において、動体被写体によって色付き残像が発生するフレーム期間においては、色付き残像を軽減する低残像モードが選択される。また、静止被写体によって色付き残像が発生しないフレーム期間においては、ダイナミックレンジを拡大するレンジ拡大モードが選択される。
したがって、低残像モードとレンジ拡大モードをフレーム単位に切り替えることによって、色付き残像による映像破綻をフレーム単位に回避しつつ、ワイドダイナミックレンジの映像をフレーム単位に得ることが可能になる。

（７）実施例１では、低残像モードとレンジ拡大モードをフレーム内の領域単位に切り替える。そのため、色付き残像が発生する動体被写体の輪郭領域などにおいては、色付き残像を軽減する低残像モードが選択される。また、色付き残像が発生しない領域においては、ダイナミックレンジを拡大するレンジ拡大モードが選択される。
したがって、低残像モードとレンジ拡大モードをフレーム内の領域単位に切り替えることによって、色付き残像による映像破綻をフレーム内の領域単位に回避しつつ、ワイドダイナミックレンジの映像をフレーム内の領域単位に得ることが可能になる。

（８）実施例１では、基準映像信号と拡張映像信号とを色成分ごとに比較して、色付き残像を色成分ごとに判定する。そのため、特定の色成分において色付き残像が発生し、それ以外の色成分において色付き残像が発生しないなどの色付き残像の状況を判定することが可能になる。

（９）実施例１では、色成分ごとの色付き残像に基づいて、低残像モードとレンジ拡大モードを色成分ごとに切り替える。そのため、色付き残像が発生する特定の色成分については低残像モードを選択して色付き残像による映像破綻を回避しつつ、色付き残像が発生しない色成分についてはレンジ拡大モードを選択して、当該色成分のワイドダイナミックレンジ化を図ることが可能になる。

（１０）実施例１では、低残像モードとレンジ拡大モードとに応じた色成分のゲイン補正を行う。そのため、低残像モードとレンジ拡大モードのモード切り替えに伴う出力画像のレベル変化を抑制することが可能になる。

（１１）実施例１では、図５に示すように、露光制御βにおいて電子シャッタを閉じるタイミングを同期させる（一種の後幕シンクロ）。この後幕シンクロによって拡張映像信号に生じる色付き残像は、被写体の移動方向に対して後方に尾を引くように発生する。そのため、拡張映像信号において、人間の残像感覚に近い色付き残像を得ることが可能になる。

［実施形態の補足事項について］
上述した色残像判定部１５３、およびモード切替部１５４などは、ハードウェアとしてＣＰＵ（Central Processing Unit）やメモリなどを備えたコンピュータシステムとして構成してもよい。このハードウェアがコンピュータ可読媒体に記憶された画像処理プログラムを実行することにより、色残像判定部１５３およびモード切替部１５４などの各種機能（図３、図４参照）が実現する。このハードウェアの一部または全部については、専用の装置、汎用の機械学習マシン、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ(programmable logic device）などで代替してもよい。

また、撮影時には、分割露光によって得られた基準映像信号および拡張映像信号を一旦保存（ＲＡＷデータ保存など）してもよい。その場合、色残像判定部１５３およびモード切替部１５４に相当するコンピュータシステム（画像処理プログラム）において、後から『色付き残像の判定』と『モード切り替え』を実施することにより、最終的な出力画像を得ることが可能になる。

さらに、ハードウェアやプログラムの一部または全部をネットワーク上のサーバに集中または分散してクラウドシステムを構成することにより、複数のクライアント端末（ユーザ）に対して色残像判定部１５３およびモード切替部１５４に相当する機能（画像処理方法）をサービス提供してもよい。

なお、上述した実施例１では、図３～図５に示すように、露光制御β、露光制御αの順番に実施する。しかしながら、本発明はこれに限定されない。露光制御α、露光制御βの順番に実施してもよい。この場合、露光制御αが先に実施されるため、シャッタタイムラグのより少ない基準映像信号を得ることが可能になる。

また、上述した実施例１では、基準映像信号を増感して低残像映像を生成する。この低残像映像については、増感によりノイズレベルが増えるため、映像信号処理部１８０において輪郭強調処理を弱くする、またはノイズリダクション処理を強くしてもよい。

さらに、上述した実施例１では、ＲＧＢ３板式の撮像装置について説明した。しかしながら、本発明の撮像素子は複数であればよく、撮像素子の数に限定されない。例えば、ＲＧＧＢによる４板式の撮像装置に本発明を適用してもよい。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００…撮像システム、１１０…撮影光学系、１２０…色分解光学系、１２１Ｂ…Ｂ色成分用の撮像素子、１２１Ｇ…Ｇ色成分用の撮像素子、１２１Ｒ…Ｒ色成分用の撮像素子、１３０…色別露光設定部、１４０…露光制御部、１５０Ｂ…Ｂ色成分用の残像補正部、１５０Ｇ…Ｇ色成分用の残像補正部、１５０Ｒ…Ｒ色成分用の残像補正部、１５１…メモリ、１５２…レベル補正部、１５３…色残像判定部、１５４…モード切替部、１５５…加算部、１５６…ＷＢ部、１５７…ＷＢ部、１５８…セレクタ、１８０…映像信号処理部、１９０…映像信号出力部

Claims (6)

1. 被写体光を複数の波長域に分光し、複数の色成分の像を形成する色分解光学系と、
   複数の前記色成分の像をそれぞれ撮像し、映像信号の前記色成分をそれぞれ生成する複数の撮像素子と、
   露光期間を複数の前記色成分ごとにそれぞれ設定する色別露光設定部と、
   前記色成分ごとに設定された前記露光期間のうちの最短期間以下の共通期間において、複数の前記撮像素子を略同時に露光制御して映像信号（以下「基準映像信号」という）を得る露光制御αと、前記色成分ごとの前記露光期間から前記共通期間を除いた期間で、複数の前記撮像素子をそれぞれ露光制御して映像信号（以下「拡張映像信号」という）を得る露光制御βとを実施する露光制御部と、
   前記基準映像信号と前記拡張映像信号とを比較して、色付き残像を判定する色残像判定部と、
   前記色残像判定部の判定した前記色付き残像が許容範囲の外であれば前記基準映像信号から出力画像を生成する低残像モードを実施し、前記色付き残像が前記許容範囲の内であれば前記基準映像信号と前記拡張映像信号との合成結果から出力画像を生成するレンジ拡大モードを実施するモード切替部
   を備えたことを特徴とする撮像システム。
2. 請求項１に記載の撮像システムであって、
   前記モード切替部は、前記低残像モードと前記レンジ拡大モードをフレーム単位に切り替える
   ことを特徴とする撮像システム。
3. 請求項１に記載の撮像システムであって、
   前記モード切替部は、前記低残像モードと前記レンジ拡大モードをフレーム内の領域単位に切り替える
   ことを特徴とする撮像システム。
4. 請求項１～３のいずれか一項に記載の撮像システムであって、
   前記色残像判定部は、前記基準映像信号と前記拡張映像信号とを前記色成分ごとに比較して、前記色付き残像を前記色成分ごとに判定し、
   前記モード切替部は、前記色成分ごとの前記色付き残像に基づいて、前記低残像モードと前記レンジ拡大モードを前記色成分ごとに切り替える
   を備えたことを特徴とする撮像システム。
5. 請求項１～４のいずれか一項に記載の撮像システムであって、
   前記モード切替部は、前記低残像モードと前記レンジ拡大モードとに応じて前記色成分のゲイン補正を行って、モード切り替えに伴う出力画像のレベル変化を抑制する
   ことを特徴とする撮像システム。
6. コンピュータシステムを
   請求項１～５のいずれか一項に記載の前記色残像判定部、および前記モード切替部として機能させる
   ことを特徴とする画像処理プログラム。

Images