JP7379217B2 - 撮像システム - Google Patents

Description

本発明は、撮像システムに関する。

従来、走査ラインごとに露光期間をずらしながら映像信号を読み出すローリングシャッタ式の撮像素子が知られている。

このようなローリングシャッタ式で撮像された映像信号（以下、「ローリング映像」という）では、走査ラインごとに露光タイミングがずれるため、動体被写体がライン方向に位置ずれして歪むローリングシャッタ歪みが発生する。このようなローリングシャッタ式の現象を補正する技術として、例えば特許文献１には、ローリング映像を画像解析してローリングシャッタ歪みの歪み量を検出し、ローリングシャッタ歪みを補正する技術が開示される。

また、ローリング映像には、フラッシュ光の影響が帯状に現れるフラッシュバンドが生じる。このようなフラッシュバンドを補正する技術として、例えば特許文献２には、ローリング映像を画像解析してフラッシュバンドを検出し、検出されたフラッシュバンドを補正する技術が開示される。

特開２０１９－１１４１４８号公報 特開２０１９－１４６１２８号公報

特許文献１，２どちらの技術も、ローリングシャッタ式に起因する現象を軽減する上で有効な技術である。

しかしながら、被写体の動きが継続する場合、被写体映像はローリングシャッタ歪みによって継続的に歪む。特許文献１の技術では、ローリングシャッタ歪みが継続する被写体映像から、本来の被写体の形状を検出することができない。そのため、ローリングシャッタ歪みの発生を検出することは困難になる。

また、フラッシュ光が断続的に照射された場合、被写体の映像にはフラッシュバンドが継続して発生する。特許文献２の技術では、継続するフラッシュバンドを被写体の本来の絵柄（パターン）と区別することができない。そのため、フラッシュバンドの発生を検出することは困難になる。

そこで、本発明は、ローリングシャッタ式に起因する現象の発生を検出するための技術を提供することを目的とする。

上記課題を解決するために、本発明の代表的な撮像システムの一つは、分解光学系、主撮像部、副撮像部、検出部、および補正部を備える。
前記分解光学系は、被写体光を分岐して被写体像をＮ個（Ｎは２以上）生成する。

前記主撮像部は、Ｎ個未満の前記被写体像に対して配置され、ローリングシャッタ式の撮像動作を行ってローリング映像を生成するＮ個未満の主撮像素子を有する。

前記副撮像部は、前記主撮像素子が配置されない、残りの前記被写体像に対して配置され、グローバルシャッタ式の撮像動作を行ってグローバル映像を生成する副撮像素子を有する。
前記検出部は、前記グローバル映像を解析して、前記ローリングシャッタ式に起因する現象の発生を検出する。
前記補正部は、前記検出部が前記現象の発生を検出した場合に、前記ローリング映像の前記現象を補正する。

本発明では、ローリングシャッタ式に起因する現象の発生を検出することが可能になる。

なお、上記した以外の課題、構成および効果については、以下の実施形態の説明において説明される。

図１は、実施例１の装置構成を説明するブロック図である。 図２は、実施例１の動作を説明する流れ図である。 図３は、フラッシュ光の影響を説明するための図である。 図４は、フラッシュバンドの処理を説明するための図である。 図５は、実施例２の装置構成を説明するブロック図である。 図６は、実施例２の動作を説明する流れ図である。 図７は、動体被写体の影響を説明するための図である。 図８は、ローリングシャッタ歪みの処理を説明するための図である。 図９は、実施例３の光学系の構成を示すブロック図である。 図１０は、映像信号処理部２３０の内部処理を説明するブロック図である。

以下、図面を参照しながら実施例を開示する。

なお、本開示における「ローリングシャッタ式に起因する現象」とは、例えば「フラッシュバンド」または「ローリングシャッタ歪み」などの現象を意味するが、より広義には「グローバルシャッタ式と異なる、ローリングシャッタ式の走査ラインごとの露光期間のずれに起因して発生する現象」を意味する。

＜実施例１の構成説明＞
図１は、実施例１の装置構成を説明するブロック図である。

同図において、撮像システム１００は、撮影光学系１０１、分解光学系１０２、主撮像部１１０、副撮像部１２０、検出部１３０、および補正部１４０を備える。

これらの内、撮影光学系１０１は、入射する被写体光を結像する。分解光学系１０２は、結像する被写体光を波長別に分岐して、赤色成分Ｒ、緑色成分Ｇ１、緑色成分Ｇ２、青色成分Ｂからなる４つの被写体像を生成する。

主撮像部１１０は、ローリングシャッタ式の主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂ、および駆動部１１４を備える。３つの主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂは、３つの色成分Ｒ，Ｇ１，Ｂの被写体像それぞれに対して配置される。駆動部１１４は、これら３つの主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂに対して駆動信号を供給して、走査ラインごとに露光期間がずれるローリングシャッタ式の露光制御を実施する。その結果、主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂは、走査ラインごとに露光期間がずれた映像信号（ローリング映像）を色成分Ｒ，Ｇ１，Ｂ別に出力する。

副撮像部１２０は、グローバルシャッタ式の副撮像素子１２１Ｇ、および駆動部１２２を備える。副撮像素子１２１Ｇは、緑色成分Ｇ２の被写体像に対して配置される。駆動部１２２は、副撮像素子１２１Ｇに対して駆動信号を供給して、グローバルシャッタ式の露光制御を実施する。ここでのグローバルシャッタ式とは、副撮像素子１２１Ｇの走査ライン全てについて露光期間が一致する露光制御、つまりフレーム一括露光の映像信号（以下、「グローバル映像」という）を生成する露光制御である。なお、副撮像素子１２１Ｇについては、主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂと同じ撮像画素数である必要はない。そのため、副撮像素子１２１Ｇの撮像画素数を低画素化することによって、グローバル映像の処理速度を高速化してもよい。

検出部１３０は、フラッシュ検出部１３１を備える。このフラッシュ検出部１３１は、グローバル映像を取得してフレーム間の信号レベルの瞬間的な上昇を検出することにより、ローリング映像に生じるフラッシュバンドの発生を検出する。

補正部１４０は、フレームメモリ１４１、フラッシュバンド検出部１４２、およびフラッシュバンド補正部１４３を備える。フレームメモリ１４１は、撮影されたローリング映像をフラッシュバンドの補正に必要なフレーム数だけ順次に更新記録するメモリである。フラッシュバンド検出部１４２は、ローリング映像に生じるフラッシュバンドの発生領域を検出する。フラッシュバンド補正部１４３は、ローリング映像の各色成分についてフラッシュバンドを軽減する補正を実施する。

＜実施例１の動作説明＞
続いて、実施例１によるフラッシュバンドの処理について説明する。
図２は、実施例１の動作を説明する流れ図である。
同図に示すステップ番号の順に説明する。

ステップＳ１０１： 駆動部１１４および駆動部１２２は、主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂおよび副撮像素子１２１Ｇに対して、垂直同期（フレーム同期）をとった駆動信号を供給する。

主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂには、図３の上段［１］に示すような、走査ラインごとに露光期間をずらすローリングシャッタ式の露光制御が実施される。その結果、３つの色成分Ｒ，Ｇ１，Ｂからなるローリング映像がフレーム単位に生成される。

一方、副撮像素子１２１Ｇに対しては、図３の下段［２］に示すような、全ての走査ラインに対して露光期間が一致したグローバルシャッタ式の露光制御が実施される。その結果、緑色成分Ｇ２からなるグローバル映像がフレーム単位に生成される。

ステップＳ１０２： フレームメモリ１４１は、色成分Ｒ，Ｇ１，Ｂのローリング映像をフレーム蓄積する。フレームメモリ１４１は、フラッシュバンドの補正に必要なフレーム数だけの過去フレームが保持され、それ以前の過去フレームは上書き消去される。

ステップＳ１０３： 図３の下段［２］に示すように、フレーム期間内に外部から照射されるフラッシュ光は、当該フレームの全ての走査ラインに対して瞬間的なレベル上昇を生じさせる。

そこで、フラッシュ検出部１３１は、緑色成分Ｇ２のグローバル映像において走査ラインに一様なレベル上昇を生じたか否かを判定することにより、フレーム期間内にフラッシュ光が照射されたか否かを検出する。例えば、フラッシュ検出部１３１は、フレームごとにグローバル映像の平均レベルを検出し、その平均レベルをフレーム間で比較することにより、フレーム間のレベル変動を検出する。

ステップＳ１０４： フラッシュ検出部１３１は、緑色成分Ｇ２のグローバル映像において、フレームにフラッシュ光に起因するレベル上昇を検出したか否かを判定する。

グローバル映像にレベル上昇が検出された場合（ステップＳ１０４のＹＥＳ側）、フラッシュ検出部１３１は、フラッシュバンド補正部１４３に検出結果（フラッシュバンドの発生）を報知してステップＳ１０５に動作を進める。一方、グローバル映像にレベル上昇が検出されない場合（ステップＳ１０４のＮＯ側）、フラッシュ検出部１３１はステップＳ１０１に動作を戻す。

ステップＳ１０５： フラッシュバンド補正部１４３は、フラッシュ光を検出したグローバル映像のフレーム番号を特定する。ここでは、説明の便宜上、ローリング映像の対応するフレーム番号をＱとする。

ステップＳ１０６： フラッシュバンド補正部１４３は、フラッシュバンド検出部１４２が（Ｑ－１）フレーム内をライン比較して検出したフラッシュバンド領域Ｆ１を情報取得する。

例えば、図３の上段［１］では、ローリング映像の（Ｑ－１）フレームにおいて、画面の下側ラインの露光期間中にフラッシュ光が発生する。そのため、ローリング映像の（Ｑ－１）フレームには、画面の下側にフラッシュバンド領域Ｆ１が発生する。

なお、フラッシュバンド検出部１４２は、グローバル映像とローリング映像とのフレーム差に基づいて、フラッシュバンド領域Ｆ１を検出してもよい。

ステップＳ１０７： フラッシュバンド補正部１４３は、色成分Ｒ，Ｇ１，Ｂのローリング映像の（Ｑ－１）フレームから、フラッシュバンド領域Ｆ１を除いて、残りの領域Ａ２を得る（図４参照）。

ステップＳ１０８： フラッシュバンド補正部１４３は、色成分Ｒ，Ｇ１，Ｂのローリング映像の（Ｑ－２）フレームから、フラッシュバンド領域Ｆ１に対応する領域Ａ１を得る（図４参照）。

ステップＳ１０９： フラッシュバンド補正部１４３は、領域Ａ２と領域Ａ１とを合成することにより、色成分Ｒ，Ｇ１，Ｂの補正映像を生成し、ローリング映像の（Ｑ－１）フレームとして出力する（図４参照）。

なお、領域Ａ２と領域Ａ１を合成する代わりに、領域Ａ２と領域Ａ３（図４参照）とを合成して、（Ｑ－１）フレームの補正映像を生成してもよい。

ステップＳ１１０： フラッシュバンド補正部１４３は、色成分Ｒ，Ｇ１，Ｂのローリング映像のＱフレームから、フラッシュバンド領域Ｆ１に対応する領域Ａ３を除いて、残りのフラッシュバンド領域Ｆ２を得る（図４参照）。

ステップＳ１１１： フラッシュバンド補正部１４３は、フラッシュバンド領域Ｆ２とフラッシュバンド領域Ｆ１とを合成することにより、色成分Ｒ，Ｇ１，Ｂの補正映像（フラッシュ光が走査ライン全てに影響した映像）を生成し、ローリング映像のＱフレームとして出力する（図４参照）。フラッシュバンド補正部１４３は、このような補正処理を完了した後に、ステップＳ１０１に動作を戻す。

以上の動作によって、フラッシュバンドの発生の検出と、それに伴うフラッシュバンド補正が実施される。

＜実施例１の効果＞
実施例１は、次の効果を奏する。

（１）実施例１では、ローリングシャッタ式の撮像動作を行う主撮像部１１０に加えて、グローバルシャッタ式の撮像動作を行う副撮像部１２０を備える。この副撮像部１２０の副撮像素子１２１Ｇが撮像するグローバル映像には、フラッシュ光の影響がフレームに対して一様に生じる。そのため、グローバル映像をレベル判定することによって、フラッシュ光の発生、つまりローリング映像におけるフラッシュバンドの発生を容易かつ確実に検出することが可能になる。

（２）実施例１では、フラッシュ光が断続的に照射された場合も、グローバル映像をフレーム単位に継続的に観測することによって、フラッシュ光の断続的な発生（それに伴うローリング映像のフラッシュバンドの継続的な発生）を検出することが可能になる。

（３）実施例１では、４板式の撮像システム１００の３板をローリングシャッタ式の主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂに割り振り、残りの１板をグローバルシャッタ式の副撮像素子１２１Ｇに割り振る。そのため、主撮像部１１０および副撮像部１２０は、撮像範囲を略一致させることが可能になる。したがって、副撮像部１２０は、主撮像部１１０の撮像範囲に起こるフラッシュバンドなどの現象を見逃すことなく検出することが可能になる。

（４）実施例１では、ステップＳ１０６において説明したように、グローバル映像とローリング映像とのフレーム差に基づいて、フラッシュバンド領域Ｆ１を検出してもよい。その場合、フラッシュバンド領域Ｆ１を確実に検出することが可能になる。

（５）グローバル映像を撮像システムの外部に出力しない場合、グローバル映像に高い映像品質は要求されない。そのため、副撮像素子１２１Ｇとしては、比較的安価な低画素の撮像素子が使用できる。したがって、追加的なコストを抑えつつ、実施例１の撮像システムを実現することが可能になる。

次に、実施例２について説明する。

＜実施例２の構成説明＞
図５は、実施例２の装置構成を説明するブロック図である。

同図において、撮影光学系１０１、分解光学系１０２、主撮像部１１０、および副撮像部１２０については、実施例１と同じ構成のため、ここでの重複説明を省略する。
実施例２の構成上の特徴は、検出部１３０が歪み量検出部１３５を備え、補正部１４０が歪み補正部１４５を備える点である。

歪み量検出部１３５は、緑色成分Ｇ２のグローバル映像と、緑色成分Ｇ１のローリング映像とのフレーム間の走査ライン方向のずれに基づいて、色成分Ｒ，Ｇ１，Ｂのローリング映像に生じるローリングシャッタ歪みの発生を検出する。

歪み補正部１４５は、歪み量検出部１３５がローリングシャッタ歪みの発生を検出した場合に、色成分Ｒ，Ｇ１，Ｂのローリング映像のローリングシャッタ歪みを補正する。

＜実施例２の動作説明＞
続いて、実施例２によるローリングシャッタ歪みの処理について説明する。
図６は、実施例２の動作を説明する流れ図である。
同図に示すステップ番号の順に説明する。

ステップＳ２０１： 駆動部１１４および駆動部１２２は、主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂおよび副撮像素子１２１Ｇに対して、垂直同期（フレーム同期）をとった駆動信号を供給する。

主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂには、図７の上段［１］に示すような、走査ラインごとに露光期間をずらすローリングシャッタ式の露光制御が実施される。その結果、３つの色成分Ｒ，Ｇ１，Ｂからなるローリング映像がフレーム単位に生成される。

一方、副撮像素子１２１Ｇに対しては、図７の下段［２］に示すような、全ての走査ラインに対して露光期間が一致したグローバルシャッタ式の露光制御が実施される。その結果、緑色成分Ｇ２からなるグローバル映像がフレーム単位に生成される。

ステップＳ２０２： 歪み量検出部１３５は、緑色成分Ｇ１のローリング映像に対して画素数変換を施して縮小画像を生成する。この縮小画像の縦横画素数は、グローバル映像の縦横画素数に一致させる。

ステップＳ２０３： 図７の上段［１］に示すように、ローリング映像では、走査ラインごとの露光タイミングがずれる。そのため、動体被写体（カメラブレやパンニングも含む）の各走査ラインは、ライン方向の位置がずれて歪み、ローリングシャッタ歪みが発生する。

一方、図７の下段［２］に示すように、グローバル映像では、走査ライン全ての露光タイミングが一致する。そのため、動体被写体（カメラブレやパンニングも含む）の走査ラインは、ライン方向の位置が全て一致するため、ローリングシャッタ歪みは起こらない。そこで、ローリング映像の縮小画像と、グローバル映像とをフレーム単位に比較することによって、ローリングシャッタ歪みの発生を検出することが可能になる。

例えば、歪み量検出部１３５は、ローリング映像の縮小画像と、グローバル映像とをライン単位にずらしながら相関検出を行うことにより、走査ラインごとに歪み量δと、歪み範囲Ｌを求める（図７参照）。なお、ローリング映像の縮小画像と、グローバル映像との走査ラインごとの単純差分に基づいて、歪み量δと歪み範囲Ｌを求めてもよい。

ステップＳ２０４： 歪み量検出部１３５は、ノイズレベルを超える有意な歪み量δを検出したか否かを判定する。

有意な歪み量δが検出された場合（ステップＳ２０４のＹＥＳ側）、歪み量検出部１３５は、歪み補正部１４５に検出結果（ローリングシャッタ歪みの発生）を報知してステップＳ２０５に動作を進める。一方、有意な歪み量δが検出されない場合（ステップＳ２０４のＮＯ側）、歪み量検出部１３５はステップＳ２０１に動作を戻す。

ステップＳ２０５： 歪み補正部１４５は、歪み量δと歪み範囲Ｌをローリング映像の画素サイズに合うように変換する。

ステップＳ２０６： 歪み補正部１４５は、図８の下段［３］に示すように、色成分Ｒ，Ｇ１，Ｂのローリング映像に対して、ライン単位の歪み範囲Ｌを歪み量δだけ変位させる歪み補正を行う。

なお、動体被写体をライン方向にずらす際に、歪み量δの相当分だけ背景が欠落する。この背景の欠落部分については、例えば、動体被写体を尾引方向に暈かすことで動線（像流れ）として処理してもよい。また、この背景の欠落部分については、ローリング映像の前後フレームの対応領域を使用して補完してもよい。
歪み補正部１４５は、これらの補正処理を完了した後に、ステップＳ２０１に動作を戻す。

以上の動作によって、ローリングシャッタ歪みの発生の検出と、それに伴う歪み補正が実施される。

＜実施例２の効果＞
実施例２は、次の効果を奏する。

（１）実施例２では、ローリングシャッタ式の撮像動作を行う主撮像部１１０に加えて、グローバルシャッタ式の撮像動作を行う副撮像部１２０を備える。この副撮像部１２０の副撮像素子１２１Ｇが撮像するグローバル映像には、ローリングシャッタ歪みが生じない。そのため、グローバル映像とローリング映像とを比較することによって、ローリングシャッタ歪みの発生を容易かつ確実に検出することが可能になる。

（２）実施例２では、ローリングシャッタ歪みの影響を受けないグローバル映像によって、動体被写体の本来の（歪みのない）形状を検出できる。そのため、図８の中段［２］に示すように、複数フレームにわたってローリング映像にローリングシャッタ歪みが継続する状況においても、グローバル映像を比較基準にすることで、ローリングシャッタ歪みを検出し、補正することが可能になる。

（３）実施例２では、４板式の撮像システム１００の３板をローリングシャッタ式の主撮像素子１１３Ｒ、１１３Ｇ、１１３Ｂに割り振り、残りの１板をグローバルシャッタ式の副撮像素子１２１Ｇに割り振る。そのため、主撮像部１１０および副撮像部１２０は、撮像範囲を略一致させることが可能になる。したがって、副撮像部１２０は、主撮像部１１０の撮像範囲に起こるローリングシャッタ歪みなどの現象を見逃すことなく検出することが可能になる。

（４）実施例２においても、グローバル映像を撮像システムの外部に出力しない場合、グローバル映像に高い映像品質は要求されない。そのため、副撮像素子１２１Ｇとしては、比較的安価な低画素の撮像素子が使用できる。したがって、追加的なコストを抑えつつ、実施例２の撮像システムを実現することが可能になる。

続いて、実施例３について説明する。

＜光学系の構成＞
図９は、実施例３の光学系の構成を示すブロック図である。
同図において、撮像システム２００は、撮影光学系２０１、分解光学系２０２、主撮像部２１０、副撮像部２２０、検出部２４０と補正部２５０とを含む映像信号処理部２３０、フレームメモリ２６０、およびＣＰＵ部２７０を備える。

撮影光学系２０１は、入射する被写体光を結像光束に変換する。
分解光学系２０２は、ハーフプリズムの部分（光分解光学系）と、ダイクロイックプリズムの部分（色 分解光学系）とを備える。

ハーフプリズムの部分は、撮影光学系２０１から入射する結像光束を、「比較的光量の少ない第１光束」と「比較的光量の多い第２光束」に分岐する。ここでは、第１光束と第２光束の光量比を「１／Ｐ対１（ただしＰ＞１．０）」とする。

分解光学系２０２のダイクロイックプリズムの部分は、第２光束を波長別に分岐して、赤色成分Ｒ、緑色成分Ｇ、青色成分Ｂからなる３つの被写体像を生成する。

主撮像部２１０は、ローリングシャッタ式の主撮像素子２１３Ｒ、２１３Ｇ、２１３Ｂ、および駆動部２１４を備える。主撮像素子２１３Ｒ、２１３Ｇ、２１３Ｂは、色成分Ｒ，Ｇ，Ｂの被写体像に対してそれぞれ配置される。駆動部２１４は、これら３つの主撮像素子２１３Ｒ、２１３Ｇ、２１３Ｂに駆動信号を供給して、走査ラインごとに露光期間がずれるローリングシャッタ式の露光制御を実施する。その結果。主撮像素子２１３Ｒ、２１３Ｇ、２１３Ｂは、走査ラインごとに露光期間がずれた映像信号（ローリング映像）を色成分Ｒ，Ｇ，Ｂ別にＲ信号、Ｇ信号、Ｂ信号として出力する。

副撮像部２２０は、グローバルシャッタ式の副撮像素子２２１Ｃ、および駆動部２２２を備える。副撮像素子２２１Ｃは、第１光束の結像面に対して配置される。この副撮像素子２２１Ｃには、単板でカラーの映像信号を生成するため、例えば、撮像面のカラーフィルタをモザイク配列（例えばベイヤー配列）したモザイクカラーフィルタ撮像素子や、撮像面の入射深さ方向で被写体像を色分解（波長分離）して撮像する多層タイプの撮像素子などが使用される。駆動部２２２は、副撮像素子２２１Ｃに駆動信号を供給して、グローバルシャッタ式の露光制御を実施する。その結果、副撮像素子２２１Ｃは、走査ライン全てについて露光期間が一致する、つまりフレーム一括露光のカラーの映像信号（以下、「カラーのグローバル映像」という）をＣ信号として出力する。

なお、副撮像素子２２１Ｃについては、主撮像素子２１３Ｒ、２１３Ｇ、２１３Ｂと同じ撮像画素数であってもよいし、同じ撮像画素数でなくてもよい。例えば、副撮像素子２２１Ｃの撮像画素数を低画素化することによって、カラーのグローバル映像の処理速度を高速化してもよい。

映像信号処理部２３０内の検出部２４０は、少なくともカラーのグローバル映像を解析して、ローリングシャッタ式に起因する現象の発生を検出する。この場合、グローバル映像を色成分ごとに解析することにより、「ローリングシャッタ式に起因する現象の発生」を色成分ごとに検出することが可能になる。

また、検出部２４０は、グローバル映像とローリング映像とを比較して、ローリングシャッタ式に起因する現象の発生を検出してもよい。この場合、グローバル映像とローリング映像とを色成分ごとに比較することにより、「ローリングシャッタ式に起因する現象の発生」を色成分ごとに検出することが可能になる。この検出部２４０の詳細については後述する。

映像信号処理部２３０内の補正部２５０は、「ローリングシャッタ式に起因する現象の発生」の検出結果に基づいてローリング映像の現象を補正し、所定の映像規格（ＨＤ－ＳＤＩなど）で映像信号を出力する。なお、本発明の撮像システム２００から出力する映像信号は、ＨＤ－ＳＤＩに限定するものではなく、圧縮や暗号化等も問わない。なお、フレームメモリ２６０は、映像処理の必要性に応じて使用される。また、ＣＰＵ部２７０は、撮像システム２００の各部を制御する。

＜検出部２４０の内部処理＞
続いて、検出部２４０の内部処理について説明する。
図１０は、映像信号処理部２３０の内部処理を説明するブロック図である。
図１０に示すように、検出部２４０は、利得補正部２４１、画素補間部２４２、遅延部２４３、および映像比較部２４４を備える。

利得補正部２４１は、カラーのグローバル映像（Ｃ信号）を利得補正する。この利得補正によって、第１光束と第２光束の光量比Ｐによる利得差や、副撮像素子２２１Ｃと主撮像素子２１３Ｒ、２１３Ｇ、２１３ＢのＲＧＢ光電変換率の差による利得差が補正される。その結果、グローバル映像の平均信号レベルとローリング映像の平均信号レベルとが揃えられる。

画素補間部２４２は、カラーのグローバル映像のＲＧＢ画素配列（ベイヤ配列など）をデモザイク処理などして、ＲＧＢ３面分のグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）を出力する。

遅延部２４３は、ローリング映像（Ｒ，Ｇ，Ｂ信号）を遅延させて、グローバル映像（Ｒ’，Ｇ’，Ｂ’信号）のフレームタイミングに合わせる。遅延部２４３は、ＦＩＦＯ（First In First Out）、またはＬＰＦ（Low Pass Filter）やＥＱ（equalizer）などの位相補償回路でもよい。なお、遅延部２４３は、主撮像素子２１３Ｒ、２１３Ｇ、２１３Ｂの駆動信号により信号を所定時間遅延させて読み出せる場合には省いてもよい。

映像比較部２４４は、フレームタイミイグや画素数を合わせたローリング映像（Ｒ，Ｇ，Ｂ信号）とグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）とを画素単位や画素ブロック単位にフレーム比較することにより、ＲＧＢ別の比較結果を出力する。

検出部２４０は、この比較結果に有意差がある場合、ローリングシャッタ式に起因する現象が発生したと判定する。

例えば、グローバル映像とローリング映像との間で被写体の位置や形が異なる場合、検出部２４０は、ローリング映像にローリングシャッタ歪みが発生したと判定する。

また例えば、グローバル映像のフレーム間に瞬間的な信号レベル上昇が生じる場合や、グローバル映像とローリング映像との間に有意な信号レベル差が生じる場合、検出部２４０はローリング映像にフラッシュバンドが発生したと判定する。

＜補正部２５０の内部処理＞
続いて、補正部２５０の内部処理について説明する。

図１０に示すように、補正部２５０は、画素座標変換部２５２、利得補正部２５３、映像選択部２５４、ガンマ補正部２５５、および映像信号出力部２５６を備える。

画素座標変換部２５２は、検出部２４０によるローリングシャッタ歪みの検出に応じて、ローリング映像（Ｒ，Ｇ，Ｂ信号）の走査ライン方向の画素ずれをグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）に合わせて画素座標変換する。

この画素座標変換によって、ローリング映像には画素情報の欠落領域が発生する。映像選択部２５４は、この欠落領域に対してグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）に基づく補間画素を埋め込んで合成する。

また、映像選択部２５４は、高速被写体など画素座標変換が困難なローリングシャッタ歪みを検出した場合、ローリング映像（Ｒ，Ｇ，Ｂ信号）の破綻領域や破綻フレームを、グローバル映像（Ｒ’，Ｇ’，Ｂ’信号）の補間領域や補間フレームに差し替える。

利得補正部２５３は、検出部２４０によるフラッシュバンドの検出に応じて、ローリング映像（Ｒ，Ｇ，Ｂ信号）のフラッシュバンドの領域をＲＧＢ別に利得補正して、グローバル映像（Ｒ’，Ｇ’，Ｂ’信号）の対応領域の輝度および色味に合わせる。

また、ローリング映像（Ｒ，Ｇ，Ｂ信号）のフラッシュバンドの領域が信号飽和している場合、映像選択部２５４は、ローリング映像（Ｒ，Ｇ，Ｂ信号）のフラッシュバンドの飽和領域や飽和フレームを、グローバル映像（Ｒ’，Ｇ’，Ｂ’信号）の補間領域や補間フレームに差し替える。

以上のように補正または差し替えられたローリング映像（Ｒ，Ｇ，Ｂ信号）は、ガンマ補正部２５５によるガンマ補正や、色変換、輪郭補正などの必要に応じた映像処理を経た後、映像信号出力部２５６によって映像信号として出力される。

＜実施例３の効果＞
実施例３は、実施例１，２の効果に加えて、さらに次の効果を奏する。

（１）実施例３では、カラーのグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）を生成する。したがって、このカラーのグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）に基づいて、ローリングシャッタ式に起因する現象をカラーで、つまり色成分別に検出することが可能になる。

（２）実施例３では、ローリングシャッタ式に起因する現象の色成分別の検出結果に応じて、ローリング映像を色成分別に利得補正することにより、当該現象を色味まで合わせて補正することが可能になる。

（３）実施例３では、カラーのグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）を用いて、カラーのローリング映像（Ｒ，Ｇ，Ｂ信号）の破綻領域や破綻フレームを差し替えることが可能になる。

（４）実施例３では、比較的光量の少ない第１光束に基づいて、カラーのグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）を生成する。そのため、カラーのグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）は、信号飽和しづらく、フラッシュ光の影響を受けづらい。したがって、カラーのグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）は、フラッシュバンドの検出および補正に好適な映像信号になる。

（５）さらに、実施例３では、カラーのグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）は信号飽和しづらいため、高輝度被写体や高彩度被写体の撮像に際して階調飽和や色飽和の影響を受けづらい。そのため、カラーのグローバル映像（Ｒ’，Ｇ’，Ｂ’信号）を所定比率でカラーのローリング映像（Ｒ，Ｇ，Ｂ信号）に加重するなどして、階調飽和や色飽和を修正した広ダイナミックレンジの映像信号を生成することも可能になる。

（６）実施例３の副撮像素子２２１Ｃは、ローリングシャッタ歪みが生じる高速被写体や、フラッシュ発光下など瞬間的な映像フレームに対して使用される。このような撮影状況では、人間の視覚特性によって画質低下が目立ちにくい。したがって、副撮像素子２２１Ｃとしては、比較的低コストの低画素数の撮像素子を使用することが可能になる。

＜実施形態の補足事項＞
上述した実施例１～３は、別々の実施例として説明している。しかしながら本発明はこれに限定されない。例えば、実施例１～３の各機能を適宜に組み合わせた撮像システムを実施してもよい。

さらに、上述した実施例１～３では、分解光学系、主撮像部、副撮像部、検出部、および補正部を一体構成した撮像装置において、撮影動作と補正処理とを同時並行に行っている。しかしながら、本発明はこれに限定されない。

例えば、撮像システムとして、分解光学系、主撮像部および副撮像部を備える撮像装置（カメラ）と、検出部および補正部を備える画像処理装置とを別体に構成してもよい。その場合、撮像装置では、ローリング映像とグローバル映像とを映像ファイル（例えばＲＡＷファイル）として保存する。この場合の映像ファイルには、ローリング映像とグローバル映像と共に、両映像の間でフレーム同期をとるために必要な情報を含めることが好ましい。このようなシステム構成によって、撮像装置の処理負荷を低減しつつ、ローリングシャッタ式に起因する現象に対して画像処理装置において撮影後に高度な補正処理を行うことが可能になる。

さらに、このような画像処理装置は、ハードウェアとしてＣＰＵ（Central Processing Unit）やメモリなどを備えたコンピュータシステムとして構成してもよい。このハードウェアがコンピュータ可読媒体に記憶された画像処理プログラムを実行することにより、検出部や補正部の各種機能が実現する。このハードウェアの一部または全部については、専用の装置、汎用の機械学習マシン、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ（programmable logic device）などで代替してもよい。また、ハードウェアやプログラムの一部または全部をネットワーク上のサーバに集中または分散してクラウドシステムを構成することにより、複数のクライアント端末（ユーザ）に対して検出部や補正部の各種機能をサービス提供してもよい。

なお、本発明は上記した実施例１～３に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例１～３は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

１００…撮像システム、１０１…撮影光学系、１０２…分解光学系、１１０…主撮像部、１１３Ｒ…主撮像素子、１１３Ｇ…主撮像素子、１１３Ｂ…主撮像素子、１１４…駆動部、１２０…副撮像部、１２１Ｇ…副撮像素子、１２２…駆動部、１３０…検出部、１３１…フラッシュ検出部、１３５…歪み量検出部、１４０…補正部、１４１…フレームメモリ、１４２…フラッシュバンド検出部、１４３…フラッシュバンド補正部、１４５…歪み補正部、２００…撮像システム、２０１…撮影光学系、２０２…分解光学系、２１０…主撮像部、２２０…副撮像部、２３０…映像信号処理部、２４０…検出部、２４１…利得補正部、２４２…画素補間部、２４３…遅延部、２４４…映像比較部、２５０…補正部、２５２…画素座標変換部、２５３…利得補正部、２５４…映像選択部、２５５…ガンマ補正部、２５６…映像信号出力部、２６０…フレームメモリ、２７０…ＣＰＵ部

Claims (2)

1. 被写体光を分岐して被写体像をＮ個（Ｎは２以上の自然数）生成する分解光学系と、
   Ｎ個未満の前記被写体像に対して配置され、ローリングシャッタ式の撮像動作を行って映像信号（以下、「ローリング映像」という）を生成するＮ個未満の主撮像素子を有する主撮像部と、
   前記主撮像素子が配置されない、残りの前記被写体像に対して配置され、グローバルシャッタ式の撮像動作を行って映像信号（以下、「グローバル映像」という）を生成する副撮像素子を有する副撮像部と、
   前記グローバル映像を解析して、前記ローリングシャッタ式に起因する現象の発生を検出する検出部と、
   前記検出部が前記現象の発生を検出した場合に、前記ローリング映像の前記現象を補正
   する補正部とを備え、
   前記検出部は、前記グローバル映像の信号レベルの上昇に基づいて、前記ローリング映
   像に生じるフラッシュバンドの発生を検出し、
   前記補正部は、前記検出部が前記フラッシュバンドの発生を検出した場合に、前記ロー
   リング映像の前記フラッシュバンドを補正する
   ことを特徴とする撮像システム。
2. 請求項１に記載の撮像システムであって、
   前記検出部は、前記グローバル映像と前記ローリング映像とのラインずれに基づいて、前記ローリング映像に生じるローリングシャッタ歪みの発生を検出し、
   前記補正部は、前記検出部が前記ローリングシャッタ歪みの発生を検出した場合に、前
   記ローリング映像の前記ローリングシャッタ歪みを補正する
   ことを特徴とする撮像システム。
   

Images