JP7121852B2 - 撮像装置 - Google Patents

Description

本発明は、ローリングシャッタ方式で動作する撮像素子が用いられた撮像装置に関する。

固体撮像素子、特にＣＭＯＳ撮像素子においては、画素が２次元に配列され、その撮像時の動作は、水平ライン毎に露光を順次行わせるローリングシャッタ方式で行われる場合が多く、これによって、撮像装置を安価とすることができる。この場合、例えば上側のラインの画素における露光タイミングと、下側のラインの画素における露光タイミングにはずれが発生する。動きの小さな被写体を撮像する場合には、一般的には、このような露光タイミングのずれは大きな問題になることはない。

一方、被写体が高速で動く場合や、撮像の途中で画角の大きさや方向が変動した場合には、このような露光タイミングのずれがある場合、実際の映像に対して歪が発生した映像がＣＭＯＳ撮像素子から出力される。このような映像の歪はフォーカルプレーン歪として知られている。

このようなフォーカルプレーン歪の影響を低減する方法として、例えばフォーカルプレーン歪が生じたフレームの画像を、その直前と直後のフレームの画像に基づいて作成した画像に置換することが知られている。この場合、例えば、最も単純な場合には、フォーカルプレーン歪が生じたフレームの画像を、フォーカルプレーン歪が発生していないその前後のフレームの画像を合成した画像に置換することができる。

また、特許文献１に記載の技術においては、これよりも高度な補正を行うために、フォーカルプレーン歪が生じたフレームにおいて、このフレームにおける基準時点を設定し、直前と直後のフレーム画像を解析して、基準時点における画素と、この画素と対応した直前と直後のフレーム画像における画素の位置関係が算出される。これにより、フォーカルプレーン歪が生じたフレームの画像は、画素がこの基準時点における位置にあるものとして、前後のフレームの画像を用いた線形補完して補正される。

また、特許文献２に記載の技術においては、車載の撮像装置において、これが搭載された車両の移動速度情報を認識し、この移動速度情報に基づいて画素の座標変換を行うことによって、フォーカルプレーン歪が生じたフレームにおける画像が補正される。

特開２００６－１４８４９６号公報 特開２０１２－２２２３７４号公報

特許文献１に記載の技術のように、フォーカルプレーン歪が生じたフレームの画像を、その直前と直後におけるフォーカルプレーン歪が発生していないフレームの画像を用いて作成する、あるいはこれらの画像を用いた情報により補正（補完）する場合においては、フォーカルプレーン歪が生じたフレームが一つである場合には、このフレームでフォーカルプレーン歪が補正された画像を得ることができる。しかしながら、フォーカルプレーン歪が生じたフレームが複数にわたる場合には、直前、直後においてフォーカルプレーン歪が発生していないフレームが存在しないため、上記のような処理が困難となった。この場合、フレームが欠落する、あるいはフォーカルプレーン歪が存在するフレームの画像をそのまま用いることが必要となった。また、この処理は複雑であるため、リアルタイムでこの処理を行うことが困難であった、あるいはこの処理の際の消費電力が大きくなった。

また、特許文献２に記載の技術においては、高精度の移動速度情報が得られれば、補正を高精度で行うことが可能となる。しかしながら、前記のように、補正後における各画素の位置は実際の各画素の位置から変化するため、補正後の画像で示された実空間における範囲と、補正前の画像で示された実空間における範囲とは異なる。この相違は移動速度が高い場合に特に顕著となる。この場合、補正後の画像と対応すべき画素が補正前の画像の範囲には含まれない場合があり、この場合には補正後の画像にはこの画素は欠落する。このため、補正後の映像（動画）において、フォーカルプレーン歪が発生していない前後のフレームの間にこのように画素に欠落が生じたフレームが挿入された、不自然な映像しか得ることができなかった。

このため、フレームや画素の欠落を発生させることなく、フォーカルプレーン歪の影響を低減する技術が望まれた。

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

本発明は、ローリングシャッタ方式で動作する撮像素子と光学系とが組み合わされて動画を構成する映像信号を出力するカメラモジュールが用いられる撮像装置であって、前記カメラモジュールにおける撮像状態の時間的変化率を検出する変動検出部と、前記映像信号において、暈し処理を施す暈し処理部と、前記映像信号において、前記時間的変化率が閾値以上となった時点に対応したフレームの画像に暈し処理を施すよう前記暈し処理部へ指示する制御部と、を具備する。

本発明によると、フレームや画素の欠落を発生させることなく、フォーカルプレーン歪の影響を低減することができる。

実施の形態に係る撮像装置の構成を示す図である。 実施の形態に係る撮像装置により出力される映像（ズーム動作があった場合）の例を示す図である。 実施の形態に係る撮像装置により出力される映像（パン角変化があった場合）の例を示す図である。 従来の撮像装置により出力される映像（ズーム動作があった場合）の例を示す図である。 従来の撮像装置により出力される映像（パン角変化があった場合）の例を示す図である。 他の従来の撮像装置により出力される映像（パン角変化があった場合）の例を示す図である。 実施の形態に係る撮像装置の動作を示すフローチャートである。 実施の形態に係る撮像装置の変形例の構成を示す図である。

次に、本発明を実施するための形態を図面を参照して具体的に説明する。図１は、本発明の実施の形態に係る撮像装置１の構成を示すブロック図である。この撮像装置１においては、光学系１１と撮像素子１２が固定されたカメラモジュール１０が用いられる。光学系１１は複数のレンズが組み合わされて構成され、画角の拡大・縮小（ズームアウト、ズームイン）がズーム調整部１３で機械的に制御される。撮像素子１２は２次元ＣＭＯＳセンサで構成される。

また、カメラモジュール１０は施設等に固定された本体に対して、水平方向及び鉛直方向に沿って回動可能なように構成される。このため、カメラモジュール１０の水平方向における設定角度（パン角）、鉛直方向における設定角度（チルト角）を調整することによって、撮像される対象（視野方向）を調整することができる。このため、カメラモジュール１０のパン角、チルト角を各々制御するためのパン軸モータ、チルト軸モータとこれらによりカメラモジュールを駆動するための駆動機構で構成されたパン・チルト角制御部２１が設けられている。ＣＰＵ等を用いて構成される制御部２０は、ユーザの操作や外部からの遠隔信号によってズーム調整部１３、パン・チルト角制御部２１を制御し、カメラモジュール１０の画角の大きさ、方向を制御することができる。

撮像素子１２から出力される動画の映像信号に対しては、ガンマ補正部２２によりガンマ補正が施される。最終的に、この映像信号は、映像信号出力部２３によって外部に出力される。この映像信号によって、カメラモジュール１０によって撮像された映像を外部のディスプレイで表示させることができる。

また、撮像素子１２は、２次元配列された画素の出力を一定のフォーマットで順次出力する。この際、各画素の露光タイミングは、２次元配列における列（水平ライン）毎に上側のラインから下側に向けて順次設定される。すなわち、この撮像素子１２は、ローリングシャッタ方式で駆動される。このため、カメラモジュール１０における画角の大きさや方向が急激に変動した場合には、撮像素子１２から出力される映像信号には、フォーカルプレーン歪が発生する場合がある。

ここで、この撮像装置１においては、出力される映像信号において、フレーム毎の画像に対して暈し処理を施すことが可能である。ここで、暈し処理とは、２次元画像信号における空間的な高周波成分を除去するフィルタリング処理であり、周知のアルゴリズムを用いた方法によって行われる。映像信号は、映像信号出力部２３の前でこのような暈し処理をフィルターを用いて行う暈し処理部２４を通過する。

この暈し処理は、撮像状態の時間的変動が大きいフレームの画像のみに対して行われる。撮像状態の時間的変動は、画角の大きさの変動と、画角の方向の変動がある。前者の変動を検知するため、カメラモジュール１０においてズーム動作検出部１４が設けられる。また、後者の変動を検知するため、カメラモジュール１０のパン角、チルト角の変動を検出するパン・チルト動作検出部２５が設けられる。ズーム動作検出部１４、パン・チルト動作検出部２５は、撮像状態の時間的変化率を認識するための変動検出部の一例である。

ここで、ズーム動作検出部１４はズーム動作の変化率（時間的変化率）を認識する。これは、例えばレンズの位置を認識するセンサで構成される。ただし、ズーム動作の時間変化率を高精度で認識できる必要はなく、このレンズの位置（焦点距離）の変化量を認識できれば十分である。一方、パン・チルト動作検出部２５は、前記のようなパン角、チルト角の変化率を、例えばパン軸モータ、チルト軸モータの回転速度によって認識するセンサで構成され、パン角、チルト角を高精度で認識する必要はない。あるいは、パン角、チルト角の変化率を検知可能な加速度センサ等を用いてもよい。

ズーム動作検出部１４、パン・チルト動作検出部２５は、これらの変化率を映像信号のフレーム単位でリアルタイムで認識できるように設定される。なお、ズーム調整部１３、パン・チルト角制御部２１を制御するための信号によって、制御部２０がこれらの変化率を同様にリアルタイムで認識できる場合には、これらの変化率を実測するためのズーム動作検出部１４、パン・チルト動作検出部２５は不要であり、ズーム調整部１３、パン・チルト角制御部２１自身を変動検出部として用いることができる。

この処理による動画の例を、一定間隔の格子と共に文字「Ｆ」を含む画像が撮像されている場合において、具体的に説明する。初めに、パン角及びチルト角を変えずにズーム動作が行われた場合について説明する。図２は、画角を小さくする（ズームイン）処理が２つ目のフレーム（フレーム２）でのみ行われているものとし、その直後のフレーム３においては、その直前のフレーム１における場合と比べて「Ｆ」が拡大されている。

図２（ａ）は、この場合においてフォーカルプレーン歪が存在しない理想的な映像を示し、図２（ｂ）はフォーカルプレーン歪が存在する場合の映像をフレーム毎の画像としてそれぞれ示す。前記の通り、撮像素子１２はローリングシャッタ方式で動作するため、図２（ｂ）のフレーム２の画像においては、文字「Ｆ」が理想的な場合（図２（ａ）のフレーム２）からフォーカルプレーン歪により大きく歪んで表示されている。この映像信号による動画においてフレーム１～３の画像が順次出力された場合には、フレーム２の大きく歪んだ画像が目立つ。

一方、図２（ｃ）は、上記の暈し処理を行った場合の例である。ここで、フレーム１、３の画像は図２（ａ）（ｂ）と変わらず、ズーム動作が行われているフレーム２の画像のみに暈し処理が施されている。図２（ｃ）における３つの画像が連続的に表示された場合には、ユーザは、フォーカルプレーン歪が発生した短時間の画像のみが視認しにくくなるため、動画全体としてユーザが受ける印象におけるフォーカルプレーン歪の影響が低減される。

図２の例では被写体が文字「Ｆ」であったが、例えばこの撮像装置１で撮影される対象が人物、特に著名人物等である場合には、フォーカルプレーン歪が存在する画像による人格権の侵害が発生するおそれもある。上記のようにフォーカルプレーン歪が発生していると推定されるフレームの画像に暈し処理を施すことによって、こうした状況は回避される。

図３は、上記と同様の対象を撮像する際に、上記のようなズーム動作を全く行わず、チルト角を一定としてパン角（水平方向の角度）のみを変えた場合の各フレームの画像を同様に示す。ここで、前記の場合と同様に、パン角の変動はフレーム２においてのみ発生しているものとする。ここで、フォーカルプレーン歪が存在しない理想的な映像（図３（ａ））においては、文字「Ｆ」がフレーム１からフレーム３にかけて、左側から右側に移動する。フォーカルプレーン歪があり上記の処理が全く行われない図３（ｂ）の場合には、フレーム２において、フォーカルプレーン歪により、図２（ｂ）の場合とは異なる態様で文字「Ｆ」が歪んで表示されている。この場合においても、上記の暈し処理が行われた図３（ｃ）の場合において、フレーム２の画像においてのみ暈し処理が行われることにより、フォーカルプレーン歪が発生した短時間の画像のみが視認しにくくなり、動画全体としてのフォーカルプレーン歪の影響が低減される。

一方、従来技術のように、フレーム２の画像を、フレーム１、２の画像に基づいて補正した場合と比較する。図４は、この場合における図２（図２（ｃ））に対応する映像（フレーム２においてズーム動作が行われた場合）の例を示す。ここで、理想的な映像、フォーカルプレーン歪が存在し暈し処理が全く施されない場合の映像は、それぞれ図２（ａ）（ｂ）である。ここで、前記の通り、この補正はこの画像がある基準時点のものとなるように補正されるが、この基準時点はフレーム２の画像が撮像される際の初期の時点であるものとする。このため、図４のフレーム２において補正により大きく影響を受けるのは、特に露光タイミングが遅い下側の領域となる。

この補正は、前記の通り（図２（ｂ）の）フレーム２に対して行われるが、フレーム２の下側の領域はズームインされた画像であるため、フレーム２において補正されるべき下側の領域（文字「Ｆ」よりも下側の領域）は、補正に用いられるフレームの画像の範囲外となる。このため、図４のフレーム２の画像では、上側では本来得られるべき図２（ａ）のフレーム２と同様の画像が得られるものの、下側では補正後の画像が得られなくなる領域（黒色領域）が発生する。すなわち、このように前後のフレームの画像を用いて補正を行う場合には、実質的に画像に欠損が発生する。この例では撮像の対象が文字「Ｆ」であるが、前記のように、対象が人物等である場合には、こうした一部が欠損した画像は、特に問題になる場合がある。

図５は、同様の補正を行った場合における図３（図３（ｃ））に対応する映像（フレーム２においてパン角が変化している場合）を同様に示す。ここで、理想的な映像、フォーカルプレーン歪が存在し暈し処理が全く施されない場合の映像は図３（ａ）（ｂ）となる。この場合においても、補正に用いるための画像の範囲外となる領域が補正のために必要となるため、やはり補正後のフレーム２の画像には欠損が、図４とは異なる領域で発生する。

また、図６は、図３（図３（ｃ））に対応する映像において、フレーム２の画像を、フレーム１、３を合成した画像とする補正を行う場合を示す。この場合には、フレーム２の画像は、実際の画像（図３（ａ）のフレーム２）とは大きく相違する。被写体によっては、このような合成処理によって得られる画像と本来の画像との間の相違は極めて大きくなる。

図１の撮像装置１においては、図２、３に示されたように、フレーム２において上記のような画像の欠損も発生させることがなく、かつ補正後の画像と本来の画像との間の相違を目立たなくすることができる。また、前記のように暈し処理をフレーム毎の画像に行う処理は、特許文献１等に記載の補正処理よりも単純であるため、その処理に要する時間も短く、これによる消費電力も小さい。このため、この処理を撮像時にリアルタイムで容易に行わせることができる。

図７は、各フレームの画像に対して暈し処理をするか判定する処理のフローチャートである。この処理は、フレーム毎に行われる。ここでは、制御部２０は、撮像素子１２から露光期間（この画像を得る際の最初の露光タイミングから最後の露光タイミングまでの期間）中における撮像状態の変化をズーム動作検出部１４、パン・チルト動作検出部２５（変動検出部）により検出する（Ｓ１）。ここでは、ズーム動作検出部１４は、ズーム変化量を直接反映する量として、例えば露光を開始した時のレンズの位置（焦点距離）と、露光を終了した時のレンズの位置（焦点距離）との差分（ｍｍ）をズーム変化量として認識し、パン・チルト動作検出部２５は、例えばパン角、チルト角の変化速度（°／ｓｅｃ）を認識することができる。

次に、制御部２０は、認識されたズーム変化量が予め定められた閾値以上であるか否かを判定する（Ｓ２）。閾値以上である場合（Ｓ２：Ｙｅｓ）には、制御部２０は、暈し処理部２４に対し、得られた画像に暈し処理を施すよう指示し（Ｓ３）、処理後の画像がこのフレームの画像として出力される（Ｓ４）。

認識されたズーム変化量が予め定められた閾値未満である場合（Ｓ２：Ｎｏ）には、制御部２０は、パン角、チルト角の変化が大きいか否かを判定する（Ｓ５）。この判定は、パン角、チルト角の変化を総合的に見て行われる。例えば、少なくとも前記のパン角の変化速度が予め設定された閾値（パン角変化速度閾値）以上である場合、前記のチルト角の変化速度が予め設定された閾値（チルト角変化速度閾値）以上である場合のいずれかにおいて、パン角、チルト角の変化が大きい（Ｓ５：Ｙｅｓ）とすることができる。あるいは、例えば、これらの角度変化率を総合的に評価するため、パン角の変化速度、チルト角の変化速度の二乗和と、これに対応して予め設定された閾値の大小関係によってこの判定を行わせてもよい。パン角、チルト角の変化が大きいと判定した場合（Ｓ５：Ｙｅｓ）には、上記と同様に画像に対して暈し処理が施された上（Ｓ３）で出力される（Ｓ４）。

パン角、チルト角の変化が大きいと判定しなかった場合（Ｓ５：Ｎｏ）には、暈し処理は施されず（Ｓ６）、そのままの画像がこのフレームの画像として出力される（Ｓ４）。以上の動作をフレーム毎に行わせることにより、上記のようにフォーカルプレーン歪が生じたフレームの画像のみに暈し処理が施された映像信号が出力される。

上記の判定（Ｓ２、Ｓ５）に用いる閾値は、ズーム変化量やパン角、チルト角の変化速度は零ではないがこれらが小さいためにフォーカルプレーン歪が目立たない範囲では、暈し処理が施されないように適宜設定される。あるいは、撮像装置１において、これらの閾値がユーザにより設定可能とされていてもよい。また、暈し処理を施す場合に、暈し処理の程度をこれらの変化量に応じて変動させてもよく、例えば、これらの変化量が高いためにフォーカルプレーン歪の程度が大きい場合には暈しの程度を大きくすることができる。

次に、上記の撮像装置１の変形例について説明する。上記の撮像装置１は、上記の処理が施された映像信号を外部に出力し、外部ではこの映像信号をそのままディスプレイ等で表示させることができる。しかしながら、同様の処理を撮像装置の外部で、映像信号を表示させる直前で行わせることも可能である。変形例となる撮像装置２は、こうした場合を想定して構成されている。図８は、その構成を示す、図１に対応したブロック図である。

この撮像装置２においては、前記の撮像装置１とは異なり、暈し処理部２４は用いられないため、暈し処理が全く施されず一部のフレームにフォーカルプレーン歪が発生している映像信号が映像信号出力部２３を介して外部に発せられる。一方、制御部２０は、前記の場合に暈し処理部２４を制御した代わりに、前記のような撮像条件の変化が大きかったか否か（暈し処理を要するか否か）をフレーム毎に判定した結果（図６におけるＳ２、Ｓ５）を示す外部処理情報を作成する外部処理情報作成部２６が設けられる。外部処理情報は、出力される映像信号において暈し処理が必要となるフレームが特定される限りにおいて、任意のフォーマットで作成され、画像信号に付随するメタデータとなるようなフォーマットとすることもできる。

この撮像装置２によれば、処理が施されない映像信号を外部の装置で入手し、この装置側で上記と同様の暈し処理部を用いて暈し処理を行わせ、これに基づく映像を撮像装置１を用いた場合と同様に表示させることができる。この場合には、必要に応じ、この装置側で、フォーカルプレーン歪が存在するが暈し処理が施されない映像を見ることも可能となる。また、暈し処理の程度等の調整も、外部の装置で行うことが可能となる。

なお、上記の例では、カメラモジュール１０における画角の大きさの変動（ズーム動作）、画角の方向の変動（パン、チルト角の変化）が発生した場合に暈し処理を施す設定としたが、フォーカルプレーン歪を発生させるような撮像状態の時間的な変化が発生した場合には、同様に暈し処理を施せば、同様の効果を奏する。例えば、カメラモジュールではなく、撮像装置本体の水平、垂直方向における急激な移動があった場合においても、同様とすることができる。このような対象とすべき撮像状態の変化として認識すべき動作は、カメラモジュール（撮像装置）の構成に応じて適宜設定される。これに応じて、変動検出部や上記の判定の閾値等も適宜設定される。

また、暈し処理の程度についても適宜設定が可能である。例えば、フォーカルプレーン歪が発生したフレームが連続する場合において、連続する全てのフレームに同一の処理が施される必要はない。例えば、３つ以上のフレームで連続してフォーカルプレーン歪が発生した場合において、暈し処理の程度を、時間的に最初と最後の側のフレームでは小さくし、中央のフレームで大きくしてもよい。

また、撮像素子の露光時間が長くなると、フォーカルプレーン歪が発生しやすくなるため、露光時間が閾値より長い場合、暈し処理を施すと判定してもよい。または、露光時間が長い程、暈し処理を施すと判定する閾値（ズーム変化量の閾値、パン角・チルト角の変化速度の閾値）を低くしてもよい。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１、２ 撮像装置１０ カメラモジュール１１ 光学系１２ 撮像素子１３ ズーム調整部１４ ズーム動作検出部（変動検出部）２０ 制御部２１ パン・チルト角制御部２２ ガンマ補正部２３ 映像信号出力部２４ 暈し処理部２５ パン・チルト動作検出部（変動検出部）２６ 外部処理情報作成部

Claims (3)

1. ローリングシャッタ方式で動作する撮像素子と光学系とが組み合わされて動画を構成する映像信号を出力するカメラモジュールが用いられる撮像装置であって、
   前記カメラモジュールにおける撮像状態の時間的変化率を検出する変動検出部と、
   前記映像信号において、暈し処理を施す暈し処理部と、
   前記映像信号において、前記時間的変化率が閾値以上となった時点に対応したフレームの画像に対し、暈し処理を施すよう前記暈し処理部へ指示する制御部と、
   を具備することを特徴とする撮像装置。
2. 前記暈し処理部において、
   前記時間的変化率が大きな場合に前記暈し処理の程度が大きくなるように設定されたことを特徴とする請求項１に記載の撮像装置。
3. 前記変動検出部は、前記時間的変化率として、前記光学系のズーム動作の変化量、又は前記カメラモジュールの視野方向を変化させる動作の速度を認識することを特徴とする請求項１に記載の撮像装置。

Images