JP5268539B2 - 撮像装置及び信号制御方法 - Google Patents

Description

本発明は、撮像素子に対する同期信号を生成する技術に係る撮像装置及び信号制御方法に関する。

ディジタルビデオカメラなどの撮像装置において、ＣＭＯＳセンサ、ＣＣＤなどの撮像素子は、垂直同期期間を表す垂直同期信号及び水平同期期間を表す水平同期信号に従って各画素より信号の蓄積及び読み出しが行われる。

垂直同期期間は、ＮＴＳＣ、ＰＡＬなどの動画規格によって予め定められた固定的な間隔になるように動作する。一方、水平同期期間は、撮像素子から読み出される画素数や読み出し方式によって必要とされる期間が異なるため、必ずしも、一定の水平同期期間の整数倍が垂直同期期間に一致するとは限らない。

例えば、図５に示すように、垂直同期期間をＶ、水平同期期間をＨ、垂直同期期間に対する水平同期期間の数をＮとした場合に
Ｖ＝Ｎ×Ｈ＋α
というように、αと言う端数期間が生じることがある。

従来、垂直同期信号及び水平同期信号を発生する同期信号発生部は、垂直同期期間中のいずれかの水平同期期間をＨ＋αとして端数期間を吸収し、その他の期間がＨになるように同期信号を生成することによって垂直同期期間Ｖが一定になるように動作している。

以降、便宜上、上記端数期間を吸収するように水平同期期間を変更した期間を端数調整期間と称する。

また、近年、撮像装置に用いられている撮像素子において、ＣＭＯＳセンサで代表されるように、撮像素子の画素の各ラインが、水平同期信号に同期して、順次、蓄積の開始及び読み出しを行うローリングシャッター方式のものが多くなってきている。

ローリングシャッター方式は、撮像素子の全画素が同時に蓄積及び読み出しが行われるＣＣＤのようなグローバルシャッター方式に対して、ライン毎に蓄積時間が異なると言う特徴がある。

上記に関連する従来技術として、特許文献１が挙げられる。
特開２００１−６９４０６号公報

しかしながら、ローリングシャッター方式の撮像素子を用いて撮像装置において、上記のように、端数調整期間を有する水平同期信号で撮像素子を駆動した場合には下記のような課題がある。

図５は、同期信号に従って、撮像素子の各ラインがローリングシャッター方式で蓄積及び読み出しをされる様子を示したタイミングチャートである。

ＶＤは垂直同期信号、ＨＤは水平同期信号、ＨＣＮＴはライン番号、ＲＳＴは各ラインの蓄積開始タイミング、ＲＤは各ラインの読み出しタイミングを表している。

水平同期信号ＨＤに従って、各ラインの蓄積開始タイミングＲＳＴ及び読み出タイミングしＲＤが順次切り替わっている。あるラインにおいて、蓄積開始タイミングＲＳＴから読み出しタイミングＲＤまでの時間がそのラインの蓄積時間に相当する。

水平同期期間が一定である場合には、各ラインの蓄積時間は均等になるが、水平同期信号ＨＤにおいて、端数調整期間によって水平同期期間の均等性が失われると、蓄積時間中に端数調整期間が存在するラインと、そうでないラインで蓄積時間に差が生じる。

そのため、撮像素子から出力される画像信号において、あるラインの上下で、蓄積時間差によって信号レベルに差が生じる輝度段差現象が生じてしまう。

例えば、垂直同期期間の長さをＶ、水平同期期間の長さをＨ、端数調整期間の長さをＨ＋αとする。また、１つの垂直同期期間に対する水平同期期間の数をＮライン、撮像素子からの有効画素の読み出しラインを第Ｐｓラインから第Ｐｅライン、蓄積開始ＲＳＴから読み出しＲＤまでに相当する蓄積時間をＭラインとした場合に、通常期間の蓄積時間Ｔ１は、
Ｔ１＝Ｍ×Ｈ
になるのに対して、端数調整以降の蓄積時間Ｍライン期間で読み出されるラインの蓄積時間Ｔ１は、
Ｔ２＝Ｍ×Ｈ＋α
となり蓄積時間が変動している。以降、端数調整以降の蓄積時間Ｍラインの期間を蓄積時間変動期間と称する。

端数調整期間を第（Ｐｓ−１）ラインに発生する状態を考える。蓄積時間がＭラインであるので、蓄積時間変動期間は第Ｐｓラインから第（Ｐｓ＋Ｍ−１）ラインまでになる。この状態では蓄積時間変動期間が、有効画素の読み出し期間中にあるので出力画像に輝度段差現象が生じてしまう。

輝度段差現象の程度Ｘは、通常期間で読み出された画像信号に対する、蓄積時間変動期間で読み出された画像信号のレベル比、
Ｘ＝Ｔ２／Ｔ１＝（Ｍ×Ｈ＋α）／Ｍ×Ｈ
で表される。

よって、蓄積時間が短いほど、蓄積時間変動期間が短くなるが、輝度段差現象の程度は大きくなる。一方、蓄積時間が長ければ、輝度段差現象の程度は小さくなるが、蓄積時間変動期間は長くなる。

本発明の目的は、撮像素子の各ラインの蓄積時間の差によって生じる輝度段差現象を低減することができる撮像装置及び信号制御方法を提供することにある。

上記目的を達成するために、請求項１記載の撮像装置は、予め定められた間隔を空けて垂直同期信号を発生するとともに、２つの前記垂直同期信号が発生する間に所定数の水平同期信号を発生する同期信号発生手段と、前記垂直同期信号及び水平同期信号に従って、領域毎に期間をずらして電荷の蓄積を行う撮像素子と、前記水平同期信号の間隔を目標値に従って設定することで、前記所定数の水平同期信号を発生するまでに要する期間と前記垂直同期信号の前記予め定められた間隔とが一致しない場合には、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を決定する制御手段と、を備え、前記制御手段は、前記撮像素子において電荷を蓄積する蓄積時間が変わった場合には、前記蓄積時間の変化に応じて、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を変更することを特徴とする。
上記目的を達成するために、請求項５記載の撮像装置は、予め定められた間隔を空けて垂直同期信号を発生するとともに、２つの前記垂直同期信号が発生する間に所定数の水平同期信号を発生する同期信号発生手段と、前記垂直同期信号及び水平同期信号に従って、領域毎に期間をずらして電荷の蓄積を行う撮像素子と、前記水平同期信号の間隔を目標値に従って設定することで、前記所定数の水平同期信号を発生するまでに要する期間と前記垂直同期信号の前記予め定められた間隔とが一致しない場合には、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を決定する制御手段と、を備え、前記制御手段は、前記水平同期信号の間隔を前記目標値と前記目標値と異なる値の比または差分が閾値以下となるように、前記目標値と異なる値及び、前記目標値と異なる値に設定する期間を制御することを特徴とする。

本発明によれば、撮像素子の各ラインの蓄積時間の差によって生じる輝度段差現象を低減することができる。

以下、本発明を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る撮像装置のブロック構成図である。

図１において、本撮像装置は、レンズ群１０１、水平・垂直同期信号に従って、ライン毎に蓄積開始及び読み出し処理を行うローリングシャッター方式の撮像素子１０２を備える。撮像素子１０２は、垂直同期信号及び水平同期信号に従って、領域毎に期間をずらして電荷の蓄積を行う。

また、本撮像装置は、撮像素子１０２の出力を増幅してＡ／Ｄ変換するアナログフロントエンド（以下、ＡＦＥと略記）１０３、撮像素子１０２の蓄積時間や読み出しライン数を設定する設定部１０４を備える。

また、本撮像装置は、蓄積時間や読み出しライン数の設定に従って所定数の水平同期信号の間隔を制御する制御部１０５、制御部１０５からの設定に従って、水平・垂直同期信号を発生する同期信号発生部１０６を備える。

また、本撮像装置は、カメラ信号処理部１０７、記録用信号処理部１０８、液晶パネルなどの表示装置１０９、ＤＶＤディスク、メモリカードなどの記録メディア１１０を備える。

次に、本撮像装置の動作を説明する。

設定部１０４によって撮像素子１０２に対して、各画素の蓄積開始・読み出しタイミング、即ち、蓄積時間が設定される。また、画素に対する読み出し範囲に対しては、加算・間引き方式など読み出し期間に関わる駆動方式が設定される。

同様に、制御部１０５に対しても、蓄積時間及び読み出し期間の情報が入力される。制御部１０５は、入力された蓄積時間及び読み出し期間に従って、水平同期信号の間隔を決定する。具体的な決定方法については後述する。

同期信号発生部１０６は、予め定められた間隔の垂直同期信号と、制御部１０５によって決定された、水平同期信号の間隔に従って同期信号を発生する。

レンズ群１０１を通じ、撮像素子１０２の受光面上に光学像が結像されると、撮像素子１０２上の各画素のフォトダイオードには、各々の画素での蓄積開始・読み出しタイミング及び入射光量に応じて光電荷が発生する。

入力された水平同期信号に従って、各ラインの開始及び読み出しが、順次ずれて処理していくローリングシャッター方式で行われる。

発生した光電荷は、出力端子より所定の順序で出力映像電圧信号として出力される。出力映像電圧信号は、ＡＦＥ１０３において増幅され、ディジタルデータに変換される。

以上のような処理が行われた後、カメラ信号処理部１０７により所定のカメラ信号処理が行われ、その処理結果のデータが表示装置１０９に表示され、一方で、記録用信号処理部１０８を経て、記録メディア１１０に撮影画像として記録される。

本発明において、制御部１０５は、水平同期信号の間隔を目標値に従って設定することで、所定数の水平同期信号を発生するまでに要する期間と垂直同期信号の予め定められた間隔とが一致しない場合には、以下のように制御する。即ち、制御部１０５は、水平同期信号の間隔を目標値と異なる値に設定する期間を決定する。

また、制御部１０５は、撮像素子１０２のうち記録用の画像データを生成するための有効領域における水平同期信号の間隔を目標値に設定し、有効領域外の少なくとも一部の領域における水平同期信号の間隔を目標値と異なる値に設定する。

また、制御部１０５は、撮像素子１０２のうち記録用の画像データを生成するための有効領域が変わった場合には、有効領域の変化に応じて、水平同期信号の間隔を目標値と異なる値に設定する期間を変更する。

また、制御部１０５は、水平同期信号の間隔を目標値と異なる値に設定する期間を、撮像素子１０２の有効領域の最終ラインが読み出される水平同期期間に対して一定期間後に変更する。

また、制御部１０５は、撮像素子１０２において電荷を蓄積する蓄積時間が変わった場合には、蓄積時間の変化に応じて、水平同期信号の間隔を目標値と異なる値に設定する期間を変更する。

また、制御部１０５は、水平同期信号の間隔を目標値と目標値と異なる値の比または差分が閾値以下となるように、目標値と異なる値及び、目標値と異なる値に設定する領域の広さを制御する。

以下、各実施の形態を説明する。

（第１の実施の形態）
図２は、図１における同期信号発生部によって発生する同期信号に従って、撮像素子の各ラインがローリングシャッター方式で蓄積及び読み出しをされる様子を示すタイミングチャートである（１）。

ＶＤは垂直同期信号、ＨＤは水平同期信号、ＨＣＮＴはライン番号、ＲＳＴは各ラインの蓄積開始タイミング、ＲＤは各ラインの読み出しタイミングを表している。

水平同期信号ＨＤに従って、各ラインの蓄積開始タイミングＲＳＴ及び読み出しタイミングＲＤが順次切り替わっている。あるラインにおいて蓄積開始タイミングＲＳＴから読み出しタイミングＲＤまでの時間がそのラインの蓄積時間に相当する。

例えば、垂直同期期間の長さをＶ、水平同期期間の長さをＨ、端数調整期間の長さをＨ＋αとし、１つの垂直同期期間に対する水平同期期間の数をＮライン、撮像素子１０２からの有効画素の読み出しラインを第Ｐｓラインから第Ｐｅラインとする。

また、蓄積開始タイミングＲＳＴから読み出しタイミングＲＤまでに相当する蓄積時間をＭラインとした場合に、同期信号発生部１０６は、端数調整期間を第Ｐｅ＋Ｋラインに発生するように動作する。

撮像素子１０２に対する有効画素の読み出しライン数の設定が変化し、Ｐｅが変動した場合には、それに連動して端数調整期間の発生ラインも変動することができる。蓄積時間がＭラインであるので、蓄積時間変動期間は第（Ｐｅ＋Ｋ＋１）ラインから第（Ｐｅ＋Ｋ＋Ｍ）ラインまでになる。

蓄積時間変動期間が、ある垂直同期期間のＰｅラインから、次の垂直同期期間のＰｓまでの間に入っていれば、読み出される有効画像に対して輝度段差現象は生じない。蓄積時間Ｍが長くなってＰｓを越えたとしても、Ｍが大きいほど輝度段差現象の程度Ｘは小さくなるので、相対的に輝度段差現象の画像に対する影響を低減することができる。

Ｐｓを超えるまでの蓄積時間Ｍは、できるだけ長く取ることが望ましいので、Ｋは１であることが最適である。

以上、説明したように、本実施の形態においては、撮像素子１０２のうち、記録用の画像データを生成するための有効領域における水平同期信号の間隔を上記目標値に設定する。そして、有効領域外の少なくとも一部の領域における水平同期信号の間隔上記目標値と異なる値に設定する。また、有効領域が変わった場合には、有効領域の変化に応じて、水平同期信号の間隔を上記目標値と異なる値に設定する期間を変更する。

このように制御することで、撮像素子１０５の各ラインの蓄積時間の差によって生じる輝度段差現象を低減し、撮影画像の画質を向上することができる。

（第２の実施の形態）
図３は、図１における同期信号発生部によって発生する同期信号に従って、撮像素子の各ラインがローリングシャッター方式で蓄積及び読み出しをされる様子を示すタイミングチャートである（２）。

ＶＤは垂直同期信号、ＨＤは水平同期信号、ＨＣＮＴはライン番号、ＲＳＴは各ラインの蓄積開始タイミング、ＲＤは各ラインの読み出しタイミングを表している。

水平同期信号ＨＤに従って、各ラインの蓄積開始タイミングＲＳＴ及び読み出しタイミングＲＤが順次切り替わっている。あるラインにおいて蓄積開始タイミングＲＳＴから読み出しタイミングＲＤまでの時間がそのラインの蓄積時間に相当する。

例えば、垂直同期期間の長さをＶ、水平同期期間の長さをＨ、端数調整期間の長さをＨ＋αとし、１つの垂直同期期間に対する水平同期期間の数をＮライン、撮像素子１０２からの有効画素の読み出しラインを第Ｐｓラインから第Ｐｅラインとする。

また、蓄積開始タイミングＲＳＴから読み出しタイミングＲＤまでに相当する蓄積時間をＭラインとした場合に、同期信号発生部１０６は、端数調整期間を第Ｐｓ−Ｍ−Ｋラインに発生するように動作する。

撮像素子１０２に対する蓄積時間の設定が変化し、Ｍが変動した場合には、それに連動して端数調整期間の発生ラインも変動することができる。蓄積時間がＭラインであるので、蓄積時間変動期間は、第（Ｐｓ−Ｍ−Ｋ＋１）ラインから第（Ｐｓ−Ｋ）ラインまでになる。

蓄積時間変動期間が、ある垂直同期期間のＰｅラインから、次の垂直同期期間のＰｓまでの間に入っていれば、読み出される有効画像に対して輝度段差現象は生じない。蓄積時間Ｍが長くなってＰｅより前になったとしても、Ｍが大きいほど輝度段差現象の程度Ｘは小さくなるので、相対的に輝度段差現象の画像に対する影響を低減することができる。

Ｐｅを超えるまでの蓄積時間Ｍは、できるだけ長く取れることが望ましいので、Ｋは１であることが最適である。

以上、説明したように、本実施の形態によれば、撮像素子１０２のうち記録用の画像データを生成するための有効領域における水平同期信号の間隔を上記目標値に設定する。そして、有効領域外の少なくとも一部の領域における水平同期信号の間隔を上記目標値と異なる値に設定する。また、蓄積時間変わった場合には、蓄積時間の変化に応じて、水平同期信号の間隔を上記目標値と異なる値に設定する期間を変更する。

このように制御することで、撮像素子１０２の各ラインの蓄積時間の差によって生じる輝度段差現象を低減し、撮影画像の画質を向上することができる。

（第３の実施の形態）
図４は、図１における同期信号発生部によって発生する同期信号に従って、撮像素子の各ラインがローリングシャッター方式で蓄積及び読み出しをされる様子を示すタイミングチャートである（３）。

ＶＤは垂直同期信号、ＨＤは水平同期信号、ＨＣＮＴはライン番号、ＲＳＴは各ラインの蓄積開始タイミング、ＲＤは各ラインの読み出しタイミングを表している。

水平同期信号ＨＤに従って、各ラインの蓄積開始タイミングＲＳＴ及び読み出しタイミングＲＤが順次切り替わっている。あるラインにおいて蓄積開始タイミングＲＳＴから読み出しタイミングＲＤまでの時間がそのラインの蓄積時間に相当する。

例えば、垂直同期期間の長さをＶ、水平同期期間の長さをＨ、１つの垂直同期期間に対する水平同期期間の数をＮライン、撮像素子からの有効画素の読み出しラインを第Ｐｓラインから第Ｐｅラインとする。

また、蓄積開始タイミングＲＳＴから読み出しタイミングＲＤまでに相当する蓄積時間をＭラインとした場合に、同期信号発生部１０６は、（α／β）ラインの水平同期期間の長さをＨ＋βとなるように動作する。

通常期間の蓄積時間Ｔ１は、
Ｔ１＝Ｍ×Ｈ
になるのに対して、蓄積時間内のすべての水平同期期間がＨ＋βの長さのときの蓄積時間Ｔ３は、
Ｔ３＝Ｍ×（Ｈ＋β）
になる。

輝度段差現象の程度Ｘを、蓄積時間内のすべての水平同期期間がＨ＋βの長さのときとＨのときの比で表すと、
Ｘ＝Ｔ３／Ｔ１＝Ｍ×（Ｈ＋β）／Ｍ×Ｈ＝（Ｈ＋β）／Ｈ
となる。この場合、蓄積時間Ｍには依存しないことになる。

輝度段差現象の程度は、あるレベル以内であれば検知されないので、予め検知できるレベルＴＨを設定しておき、ＸがＴＨより小さくなるようにβを決定し、端数調整期間Ｈ＋β及び、端数調整期間を発生する期間であるα／βラインを設定する。

輝度段差現象の程度Ｘは、小さいほど望ましいのでβ＝１が最適である。

以上、説明したように、本実施の形態によれば、水平同期信号の間隔を上記目標値と上記目標値と異なる値の比または差分が閾値以下となるように、上記目標値と異なる値及び、上記目標値と異なる値に設定する領域の広さを制御する。

このように制御することで、撮像素子１０２の各ラインの蓄積時間の差によって生じる輝度段差現象を低減し、撮影画像の画質を向上することができる。

本発明の実施の形態に係る撮像装置のブロック構成図である。 図１における同期信号発生部によって発生する同期信号に従って、撮像素子の各ラインがローリングシャッター方式で蓄積及び読み出しをされる様子を示すタイミングチャートである（１）。 図１における同期信号発生部によって発生する同期信号に従って、撮像素子の各ラインがローリングシャッター方式で蓄積及び読み出しをされる様子を示すタイミングチャートである（２）。 図１における同期信号発生部によって発生する同期信号に従って、撮像素子の各ラインがローリングシャッター方式で蓄積及び読み出しをされる様子を示すタイミングチャートである（３）。 従来例に係る撮像装置における同期信号発生部によって発生する同期信号に従って、撮像素子の各ラインがローリングシャッター方式で蓄積及び読み出しをされる様子を示すタイミングチャートである。

符号の説明

１０１ レンズ群
１０２ 撮像素子
１０３ アナログフロントエンド
１０４ 設定部
１０５ 制御部
１０６ 同期信号発生部
１０７ カメラ信号処理部
１０８ 記録用信号処理部
１０９ 表示装置
１１０ 記録メディア

Claims (7)

1. 予め定められた間隔を空けて垂直同期信号を発生するとともに、２つの前記垂直同期信号が発生する間に所定数の水平同期信号を発生する同期信号発生手段と、
   前記垂直同期信号及び水平同期信号に従って、領域毎に期間をずらして電荷の蓄積を行う撮像素子と、
   前記水平同期信号の間隔を目標値に従って設定することで、前記所定数の水平同期信号を発生するまでに要する期間と前記垂直同期信号の前記予め定められた間隔とが一致しない場合には、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を決定する制御手段と、を備え、
   前記制御手段は、前記撮像素子において電荷を蓄積する蓄積時間が変わった場合には、前記蓄積時間の変化に応じて、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を変更することを特徴とする撮像装置。
2. 前記制御手段は、前記撮像素子のうち記録用の画像データを生成するための有効領域における前記水平同期信号の間隔を前記目標値に設定し、前記有効領域外の少なくとも一部の領域における前記水平同期信号の間隔を前記目標値と異なる値に設定することを特徴とする請求項１記載の撮像装置。
3. 前記制御手段は、前記撮像素子のうち記録用の画像データを生成するための有効領域が変わった場合には、前記有効領域の変化に応じて、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を変更することを特徴とする請求項２記載の撮像装置。
4. 前記制御手段は、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を、前記撮像素子の有効領域の最終ラインが読み出される水平同期期間に対して一定期間後に変更すること特徴とする請求項３記載の撮像装置。
5. 予め定められた間隔を空けて垂直同期信号を発生するとともに、２つの前記垂直同期信号が発生する間に所定数の水平同期信号を発生する同期信号発生手段と、
   前記垂直同期信号及び水平同期信号に従って、領域毎に期間をずらして電荷の蓄積を行う撮像素子と、
   前記水平同期信号の間隔を目標値に従って設定することで、前記所定数の水平同期信号を発生するまでに要する期間と前記垂直同期信号の前記予め定められた間隔とが一致しない場合には、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を決定する制御手段と、を備え、
   前記制御手段は、前記水平同期信号の間隔を前記目標値と前記目標値と異なる値の比または差分が閾値以下となるように、前記目標値と異なる値及び、前記目標値と異なる値に設定する期間を制御することを特徴とする撮像装置。
6. 予め定められた間隔を空けて発生した垂直同期信号、及び２つの前記垂直同期信号が発生する間に発生した所定数の水平同期信号に基づいて、撮像素子の領域毎に期間をずらして電荷の蓄積を行う撮像装置に関する信号制御方法であって、
   前記水平同期信号の間隔を目標値に従って設定することで、前記所定数の水平同期信号を発生するまでに要する期間と前記垂直同期信号の前記予め定められた間隔とが一致しない場合には、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を決定する制御ステップを備え、
   前記制御ステップは、前記撮像素子において電荷を蓄積する蓄積時間が変わった場合には、前記蓄積時間の変化に応じて、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を変更することを特徴とする信号制御方法。
7. 予め定められた間隔を空けて発生した垂直同期信号、及び２つの前記垂直同期信号が発生する間に発生した所定数の水平同期信号に基づいて、撮像素子の領域毎に期間をずらして電荷の蓄積を行う撮像装置に関する信号制御方法であって、
   前記水平同期信号の間隔を目標値に従って設定することで、前記所定数の水平同期信号を発生するまでに要する期間と前記垂直同期信号の前記予め定められた間隔とが一致しない場合には、前記水平同期信号の間隔を前記目標値と異なる値に設定する期間を決定する制御ステップを備え、
   前記制御ステップは、前記水平同期信号の間隔を前記目標値と前記目標値と異なる値の比または差分が閾値以下となるように、前記目標値と異なる値及び、前記目標値と異なる値に設定する期間を制御することを特徴とする信号制御方法。

Images