JP6145746B2 - 撮像装置 - Google Patents

Description

本開示は、連続画像を撮像するデジタルカメラ、ビデオカメラ等の撮像装置に関するものである。

ＣＭＯＳ型撮像素子では、水平ライン（以下、「ライン」という。）毎に順次露光を開始し、ライン毎に映像信号を順次読み出してフレームを生成するローリングシャッタ方式を採用するものが多い。ローリングシャッタ方式の撮像素子では、ライン毎に露光期間の始期及び終期が異なる。このため、１フレーム期間より短い期間に外部から閃光（フラッシュ）等が焚かれると、撮像素子の出力映像中に輝度レベルの高い帯状部分が生じることがある。

特許文献１は、閃光の影響を受けた連続２フレームの映像信号を加算平均することで閃光による白い帯を補正する技術を開示する。

国際公開第２０１０／１００８６６号

本開示は、電子シャッタ使用時に外部閃光による悪影響を緩和することができる撮像装置を提供する。

本開示における撮像装置は、撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を生成して出力する撮像部と、当該撮像部で生成された映像信号が閃光の影響を受けているか否かを検出する閃光検出部と、撮像部で生成された映像信号が閃光の影響を受けていると閃光検出部により判断されたとき、閃光の影響を受けていると判断された単位画像を含む映像信号と当該単位画像に続く次の単位画像を含む映像信号とを使用して閃光の影響による帯状の明るい部分を補正した映像信号を生成する閃光補正部とを備える。撮像素子は、露光により得た電荷を捨てるタイミングを規定するシャッタ信号により電子シャッタ動作を制御される。撮像素子から出力される映像信号は、シャッタ信号のタイミングから露光時間分遅らせたタイミングで読み出し信号を撮像素子に与えることで生成される。撮像部は、電子シャッタ使用時に撮像部で生成された映像信号が閃光の影響を受けていると閃光検出部により判断されたとき、読み出し信号の次のタイミングを早くすることにより、閃光の影響を受けていると判断された単位画像を含む映像信号に続けて、露光期間が連続しかつ露光時間が同じである次の単位画像を含む映像信号を生成する。

本開示における撮像装置によれば、電子シャッタを使用しているときに、外部閃光による明るい横帯のある不自然な画面を無くし、また、閃光が入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像を得ることができる撮像装置を実現することができる。

実施の形態１に係る撮像装置の構成図である。 図１中の閃光補正部の出力段に好適に配置された時間軸変換メモリを示す図である。 比較例に係る撮像装置の電子シャッタ使用時に外部閃光が入ったときの読み出し画像の説明図である。 図１の撮像装置の電子シャッタ使用時に外部閃光が入ったときの読み出し画像の説明図である。 図１の撮像装置の電子シャッタ使用時に外部閃光が入ったときの読み出し画像の他の説明図である。 実施の形態２に係る撮像装置の構成図である。 図６の撮像装置の電子シャッタ使用時に外部閃光が入ったときの読み出し画像の説明図である。 実施の形態３に係る撮像装置の構成図である。 図８の撮像装置の電子シャッタ使用時に外部閃光が入ったときの読み出し画像の説明図である。 図８の撮像装置の電子シャッタ使用時に外部閃光が入ったときの読み出し画像の他の説明図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１−１．撮像装置の構成］
図１は、実施の形態１における撮像装置の構成図である。図１に示すように、撮像装置は、被写体を撮して映像信号ＶＩを生成する撮像部１０１と、撮像部１０１で生成した映像信号ＶＩから外部閃光の有無を画面単位で検出した結果の閃光検出信号ＦＤを生成する閃光検出部１０５と、閃光検出部１０５により生成された閃光検出信号ＦＤに従って撮像部１０１の外部閃光の影響を受けた映像信号ＶＩを補正して閃光補正処理後の映像信号ＶＯを出力する閃光補正部１０６とを備える。

撮像部１０１は、被写体からの光を集光し光電変換するＣＭＯＳ型撮像素子１０３と、ＣＭＯＳ型撮像素子１０３を制御する同期信号生成部１０２と、同期信号生成部１０２により与えられた同期信号により規定されたタイミングでＣＭＯＳ型撮像素子１０３から出力される映像信号にゲイン調整や直流成分の調整を行う信号処理部１０４とで構成され、映像信号ＶＩを出力する。

同期信号生成部１０２は、露光により得た電荷を捨てるタイミングを規定する一定間隔の同期信号であるシャッタ信号ＳＨを生成し、シャッタ信号ＳＨをＣＭＯＳ型撮像素子１０３に出力することで電子シャッタをかける。また、同期信号生成部１０２は、シャッタ信号ＳＨから露光時間分遅らせたタイミングで与える読み出し信号ＲＤを生成し、読み出し信号ＲＤをＣＭＯＳ型撮像素子１０３に出力する。具体的には、同期信号生成部１０２でフィールド周波数の間隔（６０分の１秒の間隔）で発生する読み出し信号ＲＤに従って、ＣＭＯＳ型撮像素子１０３から映像信号が出力される。そして、信号処理部１０４にて、ホワイトバランス等のゲイン調整や、黒のレベル調整等の直流成分の調整が行われ、映像信号ＶＩが生成される。

図２は、図１中の閃光補正部１０６の出力段に好適に配置された時間軸変換メモリ１０７を示す。時間軸変換メモリ１０７は、映像信号ＶＯの出力タイミングを調整するための大容量メモリである。

［１−２．撮像装置の動作］
図３に示すように読み出し信号ＲＤが常に一定の間隔で生成されるものと仮定すると、電子シャッタ使用時に、白い帯が取れないことがある。例えば、図３に示すようなタイミングでシャッタ信号ＳＨをＣＭＯＳ型撮像素子１０３に入力し、シャッタをかけたとき、画像１を読み出す途中で閃光が入ると、映像信号ＶＩの画像１は画面の下半分が閃光の影響を受けて明るい帯状になる。一方で、図３のシャッタ信号ＳＨの左から２番目のタイミングでそれまでに蓄積された電荷は捨てられるため、映像ＶＩの画像２は閃光の影響を受けていない映像になる。そして、映像信号ＶＩの画像１と画像２とを加算平均すると、図３のＶＯのような画像になり閃光の影響を受けてできた白い帯状による画面の不均一さが残ったままになる。

図４は、図１の撮像装置の電子シャッタ使用時に外部閃光が入ったときの読み出し画像の説明図である。図４のように、映像信号ＶＩの画像１を読み出す途中で閃光が入ったものとする。このとき、閃光検出部１０５は映像信号ＶＩの画像１を読み終えた時点で閃光が入ったと判断し、画像２が出力される間、閃光検出信号ＦＤとして１を出力する。ここで、閃光検出信号ＦＤが１のときは、閃光の影響があるという意味で、０のときは閃光の影響がないという意味である。閃光検出信号ＦＤが１のとき、同期信号生成部１０２は、読み出し信号ＲＤを図４に示すように電荷の蓄積が前の画像すなわち画像１と連続し、なおかつ露光時間が同じになるように通常より早いタイミングで発生する。これにより、図４に示すように画像２は画面上部に閃光の影響を受けて明るい帯が生じる。そして、閃光補正部１０６は映像信号ＶＩの画像１と画像２とを加算平均すると、図４の映像信号ＶＯのような画像を得る。このことで閃光の影響を補正した画像を得ることができる。

ただし、ＣＭＯＳ型撮像素子１０３からの読み出し動作は最終の映像信号のフィールド周波数を６０Ｈｚとすると、６０分の１秒よりも短い期間内に補正処理を終える必要がある。そして、補正画像を生成する段階では最終のフィールド周波数になっていないため、補正画像生成後に時間軸変換メモリ１０７を利用して、時間軸の変換を行う。また、時間軸変換メモリ１０７から画像を読み出すとき、生成した補正画像は、１回だけ使用しても２回使用してもよい。すなわち、入力画像に番号を０、１、２、３とつけると（１と２の画像が図４に示す閃光の影響を受けた画像）、画像０、画像０、補正画像、画像３と出力してもよいし、画像０、補正画像、補正画像、画像３と出力してもよい。

なお、図５に示すように、閃光を検出した直後、すなわち閃光検出信号ＦＤが１となってから最初に生成されるシャッタ信号ＳＨを削除してもよい。これは、ＣＭＯＳ型撮像素子１０３の動作によっては、シャッタ信号ＳＨが読み出し信号ＲＤより先に来る可能性もあり、そのとき、いち早く閃光が入ったことが判れば、シャッタ信号ＳＨを削除することで、映像信号ＶＩとして閃光の影響を受けた画像を得ることができる。

フィールド周期をＴ１、露光時間をＴ２とするとき、２×Ｔ２＜Ｔ１ならば図４の方式を、２×Ｔ２≧Ｔ１ならば図５の方式をそれぞれ選択すればよい。

［１−３．効果等］
以上述べた動作により、電子シャッタ使用時に閃光が入ったとき、閃光の影響を受けた画像の一部が捨てられることがなくなるため、２つの画面にまたがって画面下部と画面上部に閃光の影響が出ている２つの画像を用いて白い帯を補正することができる。したがって、閃光が入ったことが判り、なおかつ、明るい帯状の不自然な画像が生成される場合を減らすことができる。

なお、本実施の形態では閃光の影響を受けた連続した２つの画像から補正した画像を生成する方法は加算平均を使用したが、他の方法を使用してもよい。

（実施の形態２）
［２−１．撮像装置の構成］
図６は、実施の形態２における撮像装置の構成図である。図６に示すように、撮像装置は、被写体を撮して映像信号ＶＩを生成する撮像部４０１と、撮像部４０１で生成した映像信号ＶＩから外部閃光の有無を画面単位で検出した結果の閃光検出信号ＦＤを生成する閃光検出部１０５と、閃光検出部１０５により生成された閃光検出信号ＦＤに従って撮像部４０１の外部閃光の影響を受けた映像信号ＶＩを補正して閃光補正処理後の映像信号ＶＯを出力する閃光補正部４０６とを備える。

撮像部４０１は、被写体からの光を集光し光電変換するＣＭＯＳ型撮像素子１０３と、ＣＭＯＳ型撮像素子１０３を制御する同期信号生成部４０２と、同期信号生成部４０２により与えられた同期信号により規定されたタイミングでＣＭＯＳ型撮像素子１０３から出力される映像信号にゲイン調整や直流成分の調整を行う信号処理部１０４とで構成され、映像信号ＶＩを出力する。

同期信号生成部４０２は、露光により得た電荷を捨てるタイミングを規定する一定間隔の同期信号であるシャッタ信号ＳＨを生成し、シャッタ信号ＳＨをＣＭＯＳ型撮像素子１０３に出力することで電子シャッタをかける。また、同期信号生成部４０２は、シャッタ信号ＳＨから露光時間分遅らせたタイミングで与える読み出し信号ＲＤＡを生成し、更にその読み出し信号ＲＤＡから同じ露光時間分だけ遅らせたタイミングで読み出し信号ＲＤＢを生成し、それら２つの位相の読み出し信号ＲＤＡ，ＲＤＢ（総称：読み出し信号ＲＤ）をＣＭＯＳ型撮像素子１０３に出力することで、ＣＭＯＳ型撮像素子１０３から映像信号が生成される。

［２−２．撮像装置の動作］
以上のように構成された撮像装置について、その動作を、図７を併用し説明する。図７は、図６の撮像装置の電子シャッタ使用時に外部閃光が入ったときの読み出し画像の説明図である。

本実施の形態の撮像部４０１は、シャッタ動作のときのみ使用する映像信号（図７のＢの画像）と、通常使用する映像信号（図７のＡの画像）との両方をＣＭＯＳ型撮像素子１０３から常に読み出していることが、実施の形態１（図４又は図５)との違いである。

ここで、図７のように、映像信号ＶＩの画像１Ａを読み出す途中で閃光が入ったとする。このとき、同期信号生成部４０２から出力される読み出し信号ＲＤＡによって画像ｎＡが、読み出し信号ＲＤＢによって画像ｎＢが、ＣＭＯＳ型撮像素子１０３から出力される（ｎは整数）。ここで、読み出し信号ＲＤＡはシャッタ信号ＳＨからシャッタスピードの時間だけ遅らせた期間（電荷の蓄積時間）遅延させて発生し、読み出し信号ＲＤＢは読み出し信号ＲＤＡから同じくシャッタスピードの時間だけ遅らせた期間だけ遅延させて発生させる。

そして、画像ｎＡと画像（ｎ＋１）Ｂは電荷の蓄積期間が連続しており、ＣＭＯＳ型撮像素子１０３から常に読み出される。図７の画像１Ａと画像２Ｂ、画像２Ａと画像３Ｂは、閃光補正部４０６にて常に加算平均を算出される。したがって、閃光検出信号ＦＤが１のとき、閃光の影響を受けて画面の下部に明るい帯がある画像１Ａと、閃光の影響を受けて画面の上部に明るい帯がある画像２Ｂとを加算平均した画像が補正画像として生成される。

また、実施の形態１と同様、生成した補正画像と画像ｎＡとを用いて、補正画像生成後に大容量メモリを利用して、時間軸の変換を行い、入力画像に番号を０Ｂ、０Ａ、１Ｂ、１Ａ、２Ｂ、２Ａ、３Ｂ、３Ａとつけると（１Ａと２Ｂの画像が図７に示す閃光の影響を受けた画像）、画像０Ａ、画像０Ａ、補正画像、画像３Ａと出力する。

［２−３．効果等］
以上述べた動作により、本実施の形態では電子シャッタ使用時に閃光が入ったとき、閃光の影響を受けた画像の一部が捨てられることがなくなるため、２つの画面にまたがって画面下部と画面上部に閃光の影響が出ている２つの画像を用いて補正することができる。したがって、閃光が入ったことが判り、なおかつ、明るい帯状の不自然な画像が生成される場合を減らすことができる。

なお、シャッタスピードが速くなり、通常使用する画像ｎＡの最後のラインの読み出しタイミングと画像（ｎ＋１）Ｂの最初のラインの読み出しタイミングとが近い微妙なタイミングのとき、実施の形態１では閃光検出の処理が間に合わない場合がある。本実施の形態はこうしたときに、特に有効である。

（実施の形態３）
［３−１．撮像装置の構成］
図８は、実施の形態３における撮像装置の構成図である。図８に示すように、撮像装置は、被写体を撮して映像信号ＶＩを生成する撮像部６０１と、撮像部６０１で生成した映像信号ＶＩから外部閃光の有無を画面単位で検出した結果の閃光検出信号ＦＤを生成する閃光検出部１０５と、閃光検出部１０５により生成された閃光検出信号ＦＤに従って撮像部６０１の外部閃光の影響を受けた映像信号ＶＩを補正して閃光補正処理後の映像信号ＶＯを出力する閃光補正部６０６とを備える。

撮像部６０１は、被写体からの光を集光し光電変換するＣＭＯＳ型撮像素子１０３と、ＣＭＯＳ型撮像素子１０３を制御する同期信号生成部６０２と、同期信号生成部６０２により与えられた同期信号により規定されたタイミングでＣＭＯＳ型撮像素子１０３から出力される映像信号に、ゲイン調整や直流成分の調整を行う信号処理部１０４とで構成され、映像信号ＶＩを出力する。

同期信号生成部６０２は、露光により得た電荷を捨てるタイミングを規定する一定間隔の同期信号であるシャッタ信号ＳＨを生成し、シャッタ信号ＳＨをＣＭＯＳ型撮像素子１０３に出力することで電子シャッタをかける。また、同期信号生成部６０２は、シャッタ信号ＳＨから露光時間分遅らせたタイミングで与える読み出し信号ＲＤＡを生成し、更にその読み出し信号ＲＤＡから同じ露光時間分だけ遅らせたタイミングで読み出し信号ＲＤＤを生成し、以下同様に６０分の１秒におさまる限り同じ露光時間分だけ遅らせたタイミングで読み出し信号ＲＤＣ，ＲＤＢを生成する。そして、それら複数（本実施の形態では４つ）の位相の読み出し信号ＲＤＡ，ＲＤＤ，ＲＤＣ，ＲＤＢ（総称：読み出し信号ＲＤ）をＣＭＯＳ型撮像素子１０３に与えることで、ＣＭＯＳ型撮像素子１０３から映像信号が生成される。

［３−２．撮像装置の動作］
以上のように構成された撮像装置について、その動作を、図９と図１０を併用し説明する。図９及び図１０は、図８の撮像装置の電子シャッタ使用時に外部閃光が入ったときの読み出し画像の説明図である。

撮像装置で、６０分の１秒の間隔（フィールド周波数６０Ｈｚ）で映像信号を生成するとき、電子シャッタを２５０分の１秒に設定すると、図９に示すように、２５０分の１秒の露光時間のＡの文字がついた画像に続けて、同じく２５０分の１秒の露光時間となるＤ、Ｃ、Ｂの文字のついた画像を読み出す。そして、０．６６７ｍｓ余るので、電子シャッタをかけて余分な電荷を捨てる（右下がりのハッチング参照）。例えば、画像１Ａに続き、画像２Ｄ、画像２Ｃ、画像２Ｂと読み出し、画像２Ｂの次の斜線部が余っているので、シャッタをかけて電荷を捨てる。なお、図９では、０．６６７ｍｓの部分を正確な縮尺で表現すると判りにくいので、実際より広く表現している。

これらの画像に対して、通常はＡの文字がついた画像を最終出力として採用するが、図９に示すようなタイミングで画像１Ａの読み出し途中に閃光が入ると、映像信号ＶＩの画像１Ａは画面の下半分が明るい帯状の画像となり、その次の映像信号ＶＩの画像２Ｄは画面の上半分が明るい帯状の画像となる。そして、映像信号ＶＩの画像１Ａで閃光が入ると、閃光検出部１０５は映像信号ＶＩの画像１Ａに対して閃光があったことを検出し、図９に示す映像信号ＶＩの画像１Ａの次の読み出し画像２Ｄが読み出し終わるまで１となる閃光検出信号ＦＤを生成する。そして、閃光補正部６０６では、この閃光検出信号ＦＤを受けて画像１Ａと画像２Ｄとを加算平均し、図９に示す画像ＶＯを生成する。生成した画像ＶＯは実施の形態１で述べた通り、例えば画像０Ａ、補正画像、補正画像、画像３Ａという順に出力する。

更に、図１０に示すようにＡの文字がついていない画像が読み出されるタイミングで閃光が入ると、閃光が入った画像２Ｄとその次の画像２Ｃとの加算平均を生成し、これを補正画像として使用する。ここで、閃光補正部６０６では、補正画像を一旦大容量メモリに格納し、６０分の１秒の間隔で画像０Ａ、補正画像、補正画像、画像３Ａという順に出力する。

［３−３．効果等］
以上述べた動作により、本実施の形態では電子シャッタ使用時に閃光が入ったとき、閃光の影響を受けた画像の一部が捨てられることがなくなるため、２つの画面にまたがって画面下部と画面上部に閃光の影響が出ている２つの画像を用いて補正することができる。したがって、閃光が入ったことが判り、なおかつ、明るい帯状の不自然な画像が生成される場合を減らすことができる。

本実施の形態によれば、シャッタスピードが速く、ＣＭＯＳ型撮像素子１０３で蓄積した電荷がシャッタ動作により全部捨てられるタイミングで閃光が入ったとしても、閃光の影響を残すことができ、明るい横帯の不均一な画像を減らすことができる。

（他の実施の形態）
時間軸変換メモリ１０７を撮像装置の外部に配置することも可能である。また、プロキシ映像出力を利用する場合には、時間軸変換メモリ１０７の配設を省略できる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。

したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。

本開示に係る撮像装置では、電子シャッタ使用時に外部閃光による高輝度の横帯が撮像画像に発生するのを防止し、かつ、動画として連続性を確保した画像を出力することが可能になるため、連続画像を撮像するデジタルカメラやビデオカメラ等に有用である。

１０１，４０１，６０１ 撮像部
１０２，４０２，６０２ 同期信号生成部
１０３ ＣＭＯＳ型撮像素子
１０４ 信号処理部
１０５ 閃光検出部
１０６，４０６，６０６ 閃光補正部
１０７ 時間軸変換メモリ

Claims (2)

1. 撮像素子を有し、被写体から入射する光信号を電気信号に変換して映像信号を生成して出力する撮像部と、
   前記撮像部で生成された映像信号が閃光の影響を受けているか否かを検出する閃光検出部と、
   前記撮像部で生成された映像信号が閃光の影響を受けていると前記閃光検出部により判断されたとき、前記閃光の影響を受けていると判断された単位画像を含む映像信号と当該単位画像に続く次の単位画像を含む映像信号とを使用して閃光の影響による帯状の明るい部分を補正した映像信号を生成する閃光補正部とを備え、
   前記撮像素子は、露光により得た電荷を捨てるタイミングを規定するシャッタ信号により電子シャッタ動作を制御され、
   前記撮像素子から出力される映像信号は、前記シャッタ信号のタイミングから露光時間分遅らせたタイミングで読み出し信号を前記撮像素子に与えることで生成され、
   前記撮像部は、電子シャッタ使用時に前記撮像部で生成された映像信号が閃光の影響を受けていると前記閃光検出部により判断されたとき、前記読み出し信号の次のタイミングを早くすることにより、前記閃光の影響を受けていると判断された単位画像を含む映像信号に続けて、露光期間が連続しかつ露光時間が同じである次の単位画像を含む映像信号を生成することを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記撮像部で生成された映像信号が閃光の影響を受けていると前記閃光検出部により判断された直後の前記シャッタ信号を１回なくすことを特徴とする撮像装置。

Images