JP3899776B2

JP3899776B2 - 画素ずらし撮影方法

Info

Publication number: JP3899776B2
Application number: JP2000132606A
Authority: JP
Inventors: 與志知大竹; 俊也遠藤; 秀紀天花寺
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2000-05-01
Filing date: 2000-05-01
Publication date: 2007-03-28
Anticipated expiration: 2020-05-01
Also published as: JP2001313872A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ、電子スチル機能付ビデオカメラ、電子スチルカメラ等で撮像素子の解像度を高めるために画素ずらし撮影が可能な固体撮像装置に係り、特にインターレス方式の固体撮像素子の画素ずらし撮影方法に関する。
【０００２】
【従来の技術】
図１１は従来から行われているインターレス方式の画素ずらし撮影方法を説明するタイミングチャートである。１フィールド（１Ｆ）目において１枚目の画像を露光し、２フィールド（２Ｆ）目において画素をずらした２枚目の画像を露光する。各画像は各フィールドの終わりで固体撮像素子（ＣＣＤ）からの読み出しを行う。
【０００３】
図１２は上記した画素ずらし撮影によりＧ（グリーン）信号の画素補完を説明する図である。図１２（Ａ）はフィルター配列で、図１２（Ｂ）は偶数（ｅｖｅｎ）フィールド、奇数（ｏｄｄ）フィールドの１Ｆの出力信号で、図１２（Ｃ）は１ピクセル下側に画素ずらして撮影した２Ｆの信号で、図１２（Ｄ）は２Ｆのシフト（画素ずらし）信号を電気的に上側に１ピクセルシフトさせた処理信号で、図１２（Ｅ）は１Ｆ信号（図１２（Ｂ））と２Ｆのシフト信号（図１２（Ｄ））を合成した信号処理結果である。この信号処理結果は、画素ずらし無（図１２（Ｂ））に比べて、２画素情報増加すると共に、ｆ／２でモアレなく解像度が向上している。
【０００４】
図１３、図１４は上記した画素ずらし撮影によりＲ（レッド）信号及びＢ（ブルー）信号の画素補完を説明する図であり、図１３（Ｅ）は上記した画素ずらし撮影によりＲ（レッド）信号の画素補完を説明する図であり、それぞれ、１画素情報増加すると共に、ｆ／２でモアレなく解像度が向上している。図１４（Ｅ）は上記した画素ずらし撮影によりＢ（ブルー）信号の画素補完を説明する図であり、それぞれ１画素情報増加すると共に、ｆ／２でモアレなく解像度が向上している。
【０００５】
【発明が解決しようとする課題】
上記のように従来の固体撮像装置では、１枚目と２枚目の画像と画像の時間差のため、被写体のぶれ及び手ぶれが生じてしまうという問題があった。
【０００６】
そこで、プログレッシブスキャン固体撮像素子では、この問題を解決する手段として、１枚目の画像と２枚目の画像のＣＣＤからの読み出しタイミングの前後に跨がった期間で露光し、とりこみ画像間の時間のズレを短縮可能にして実質的なシャッタースピードを向上させている。しかしながら、インターレス固体撮像素子においては、図１１に示すように、奇数と偶数フィールドのＣＣＤからの読み出しタイミングが異なる為、上記のように読み出しタイミングの前後に跨がった期間で露光する方法を適用して、実質的なシャッタースピードを向上させることは難しいとされてきた。
【０００７】
本発明は、上述の如き従来の課題を解決するためになされたもので、その目的は、インターレス固体撮像素子の読み出しタイミングの前後に跨がった期間で露光し、とりこみ画像間の時間のズレを短縮可能にして実質的なシャッタースピードを向上させることができ、しかも、画素ずらし撮影により画素補完を行い、被写体像を高解像度且つモアレを抑制した高画質で正確に再現できる画素ずらし撮影方法を提供することである。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明の特徴は、フレーム期間蓄積型インターレス固体撮像素子を用いた画素ずらしによって高解像度化を図る画素ずらし撮影方法において、固体撮像素子からの偶数又は奇数のいずれか一方のフィールドの読み出しタイミングと通常画像撮影で１枚撮影した後、画素ずらし撮影で１枚撮影する切り換えタイミングとを同一にして画素ずらし撮影を行うステップと、前記一方のフィールドの読み出しタイミングを挟んで、その前後に跨がった期間の露光を行うステップと、読み出しタイミングが含まれないフィールド画像の混合信号を画素ずらし前と後の画像信号に配分するステップと、を含むことにある。
【０００９】
請求項２の発明の特徴は、読み出しタイミングが含まれないフィールドの混合信号の１／２を画素ずらし後の画像信号とし、前記混合信号の１／２を画素ずらし前の画像信号とすることにある。
【００１０】
請求項３の発明の特徴は、前記画素ずらし後の画像信号と前記画素ずらし前の画像信号における注目画素信号の比率を他色の画素の画像信号の比率に基づいて補正することにある。
【００１１】
請求項４の発明の特徴は、信号が得られない画素の画像信号の各レベルに他色の画素の画像信号に基づいて補正することにある。
【００１２】
請求項５の発明の特徴は、信号が得られない画素の画像信号のレベルを前記補完画素と同一の位置にある他色の画素の画像信号のレベルにすることにある。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１は、本発明の画素ずらし撮影方法の第１の実施形態に係る画素ずらしのタイミングを示したタイミングチャートである。偶数フィールドの１フィールド（１Ｆ）から２フィールド（２Ｆ）の変わり目に画素ずらしが行われ、且つ、偶数フィールドの１フィールド（１Ｆ）から２フィールド（２Ｆ）に跨がってシャッター（露光）が切られている。
【００１４】
図２は上記した画素ずらし撮影によりＧ（グリーン）信号の画素補完を説明する図である。図２（Ａ）はフィルター配列で、図２（Ｂ）は偶数（ｅｖｅｎ）フィールドの１Ｆの出力信号、図２（Ｃ）は偶数（ｅｖｅｎ）フィールドの１ピクセル下側にシフトさせて画素ずらしした２Ｆの出力信号で、図２（Ｄ）は前記２Ｆの出力信号を電気的に上側にシフトさせた処理信号で、図２（Ｅ）は１Ｆ信号（図２（Ｂ））と２Ｆシフト信号（図２（Ｄ））を合成した信号処理結果である。この信号処理結果は、画素ずらし無（１Ｆ）に比べて、１画素情報増加すると共に、ｆ／２で垂直モアレなく解像度が向上している。
【００１５】
図３は上記した画素ずらし撮影によりＲ（レッド）信号の画素補完を説明する図である。本例は図２の例と同様で、図３（Ｅ）が１Ｆ信号（図３（Ｂ））と２Ｆシフト信号（図３（Ｄ））を合成した信号処理結果である。この信号処理結果は、画素ずらし無（１Ｆ）に比べて、１画素情報増加すると共に、ｆ／２で垂直モアレなく解像度が向上している。
【００１６】
図４は上記した画素ずらし撮影によりＧ（グリーン）信号の画素補完を説明する図である。図４（Ａ）は奇数フィールドの通常撮影で１回撮影（２Ｆ１）した信号で、図４（Ｂ）は１ピクセル下側に画素ずらしして撮影した（２Ｆ２）信号である。図４（Ｃ）は奇数フィールドで通常撮影して得た信号と画素ずらしして得た信号を合成して得た出力信号（２Ｆ）で、図４（Ｄ）は上記出力信号（２Ｆ）を電気的に処理して１ピクセル上側にシフトして得た２Ｆシフト信号で、図４（Ｅ）は、２Ｆの出力信号（図４（Ｃ））と２Ｆシフト信号（図４（Ｄ））を合成した合成信号であり、画素ずらし無の場合の信号２Ｆ１に比べて垂直補完されているため、モアレを補正する水晶が不要になる。
【００１７】
図５は上記した画素ずらし撮影によりＢ（ブルー）信号の画素補完を説明する図である。本例は図４の例と同様で、図５（Ｅ）は、図５（Ｃ）の２Ｆ（出力信号）と図５（Ｄ）の２Ｆシフト信号を合成した合成信号であり、画素ずらし無の場合の信号２Ｆ１に比べて垂直補完されているため、モアレを補正する水晶が不要になる。
【００１８】
本実施形態によれば、インターレス固体撮像素子の偶数フィールドの読み出しタイミングの前後に跨がった期間で露光しているため、取り込み画像間の時間のズレを短縮することができ、実質的なシャッタースピードを向上させることができる。しかも、画素ずらし撮影によって画素補完を行い、被写体像を高解像度で且つモアレを抑制した高画質で再現することができる。尚、インターレス固体撮像素子の奇数フィールドの読み出しタイミングの前後に跨がった期間で露光した場合も、同様の効果がある。
【００１９】
図６、図７は本発明の画素ずらし撮影方法の第２の実施形態に係る画素ずらし撮影後の信号処理を説明する図である。図６、７の（Ａ）、（Ｂ）は、上記した実施形態の奇数（ｏｄｄ）フィールドのＧ（グリーン）信号とＢ（ブルー）信号の画素ずらし信号を得る処理の仕方を再述したものである。図６（Ａ）はフィルターの配列を示しており、図６（Ｂ）は画素ずらしにより最終的に得られたＧ（グリーン）信号を示している。
【００２０】
しかし、この図６（Ｂ）の信号の補完グリーン（Ｇ）信号と本来のＧ信号のレベルは、実際のレベルと異なっている。そこで、本例では、補完グリーン（Ｇ）信号と本来のＧ信号のレベルを実際のレベルに近付ける事を以下の考え方で行う。
【００２１】
即ち、補完グリーン（Ｇ）信号と本来のＧ信号を図６（Ｄ）の如く、ＧＧ１、ＧＧ２とすると、ＧＧ１とＧＧ２の比は不明であるが、図６（Ｃ）のＲとＲの比は確実である。ここで、（１）白黒被写体の場合、ＲとＧの各出力分布が一般に比例する。（２）白又、黒の被写体の場合の出力はＧＧとなる。（３）Ｇ被写体の場合、フィルタ特性によりＧ成分がＲフィルター対応素子に入り込むので、Ｒ信号はＧ被写体の状況を示す。（４）Ｒ、Ｇ被写体の場合ＧＧが０となり出力も
【外１】

号の比が同一である確率が高いと仮定する。
【００２２】
【外２】

で得られるため、これらのレベル比を用いて、以下の式でＧＧ１とＧＧ２を算出する。
【００２３】
【数１】

但し、Ｒに加算されている１は補助数で、分母が０になって発散しないようにするために付加している。
【００２４】
図７はブルー信号について、上記と同様に、ＧＧ１とＧＧ２の比と図７（Ｃ）
【外３】

付けをして、ＢＢ１とＢＢ２のレベルを補正し、本来のレベルにしている。
【００２５】
【数２】

従って、本例では、上記した（１）〜（４）によって、奇数フィールドのグリーン信号とブルー信号の補正を行うことにより、更に高画質の撮像画像を手振れなく得ることができる。
【００２６】
図８〜図１０は本発明の第１の実施形態で示した画素ずらしでは信号が得られない画素の画素補完方法を説明する図である。本例の画素補完方法は、（１）各画素の出力は確実である。（２）各画素の出力分布と各色の出力分布は相似形である確率が高いと仮定する。（３）白または黒の被写体の場合、各画素の出力分布と各色の出力分布は相似形に近いと仮定される。（４）色解像度は輝度解像力に比べて低くても問題ない。（５）各画素の出力分布と輝度分布は相似形に近いと仮定される。（６）以上の理由により、本発明の第１実施形態で示した画素ずらしでは信号が得られない画素の補完を補完する画素の他色の出力を補完に利用するという考え方で行う。
【００２７】
図８（Ａ）〜図８（Ｃ）は、Ｇ信号に本例を適用した補完方法を示した図である。図８（Ａ）はフィルター配列で、図８（Ｂ）はＧ信号の出力信号である。この図で「無」とあるのは、Ｇ信号が無いことを意味している。そこで、この「無」部分を図８（Ｃ）に示すようにグリーンのＧ１信号とＧ４信号で補完するが、この時のレベルはＧ１信号にＢ１（ブルー）信号のレベルを用い、Ｇ４信号にＲ４（レッド）信号のレベルを用いて補完する。
【００２８】
図９（Ａ）〜図９（Ｃ）は、Ｂ信号に本例を適用した補完方法を示した図である。図９（Ａ）はフィルター配列で、図９（Ｂ）はＢ信号の出力信号である。この図で「無」とあるのは、Ｂ信号が無いことを意味している。そこで、この「無」部分を図９（Ｃ）に示すようにブルーのＢ２信号とＢ３信号とＢ４信号で補完するが、この時のレベルはＢ２信号にＧ２（グリーン）信号のレベルを用い、Ｂ３信号にＧ３（グリーン）信号のレベルを用い、Ｂ４信号にＲ４（レッド）信号のレベルを用いて補完する。
【００２９】
図１０（Ａ）〜図１０（Ｃ）は、Ｒ信号に本例を適用した補完方法を示した図である。本例も同様の考え方で、図１０（Ｃ）に示すように、レッドのＲ１信号とＲ２信号とＲ３信号で補完するが、この時のレベルはＲ１信号にＢ１（ブルー）信号のレベルを用い、Ｒ２信号にＧ２（グリーン）信号のレベルを用い、Ｒ３信号にＧ４（グリーン）信号のレベルを用いて補完する。
【００３０】
本実施形態によれば、より精度の高い補完を行うことができ、画質を更に向上させることができる。又、本例は、補完の一部に適用することも可能で、更に、他の補完の方法と組み合わせることもできる。
【００３１】
【発明の効果】
以上詳細に説明したように、本発明の画素ずらし撮影方法によれば、インターレス固体撮像素子の読み出しタイミングの前後に跨がった期間で露光し、とりこみ画像間の時間のズレを短縮可能にして実質的なシャッタースピードを向上させることができ、しかも、画素ずらし撮影により画素補完を行い、被写体像を高解像度且つモアレを抑制した高画質で正確に再現できる。
【図面の簡単な説明】
【図１】本発明の画素ずらし撮影方法の第１の実施形態に係る画素ずらしのタイミングを示したタイミングチャートである。
【図２】第１の実施形態に示した画素ずらし撮影によりＧ（グリーン）信号の画素補完を説明する図である。
【図３】第１の実施形態に示した画素ずらし撮影によりＲ（レッド）信号の画素補完を説明する図である。
【図４】第１の実施形態に示した画素ずらし撮影によりＧ（グリーン）信号の画素補完を説明する図である。
【図５】第１の実施形態に示した画素ずらし撮影によりＢ（グリーン）信号の画素補完を説明する図である。
【図６】本発明の画素ずらし撮影方法の第２の実施形態に係る画素ずらし撮影後の信号処理を説明する図である。
【図７】本発明の画素ずらし撮影方法の第２の実施形態に係る画素ずらし撮影後の信号処理を説明する図である。
【図８】本発明の第１の実施形態で示した画素ずらしでは信号が得られない画素の画素補完の方法を説明する図である。
【図９】本発明の第１の実施形態で示した画素ずらしでは信号が得られない画素の画素補完の方法を説明する図である。
【図１０】本発明の第１の実施形態で示した画素ずらしでは信号が得られない画素の画素補完の方法を説明する図である。
【図１１】従来から行われているインターレス方式の画素ずらし撮影方法を説明するタイミングチャートである。
【図１２】従来の画素ずらし撮影によりＧ（グリーン）信号の画素補完を説明する図である。
【図１３】従来の画素ずらし撮影によりＲ（レッド）信号の画素補完を説明する図である。
【図１４】従来の画素ずらし撮影によりＲ（レッド）信号の画素補完を説明する図である。

Claims

フレーム期間蓄積型インターレス固体撮像素子を用いた画素ずらしによって高解像度化を図る画素ずらし撮影方法において、
固体撮像素子からの偶数又は奇数のいずれか一方のフィールドの読み出しタイミングと通常画像撮影で１枚撮影した後、画素ずらし撮影で１枚撮影する切り換えタイミングとを同一にして画素ずらし撮影を行うステップと、
前記一方のフィールドの読み出しタイミングを挟んで、その前後に跨がった期間の露光を行うステップと、
読み出しタイミングが含まれないフィールド画像の混合信号を画素ずらし前と後の画像信号に配分するステップと、
を含むことを特徴とする画素ずらし撮影方法。
読み出しタイミングが含まれないフィールドの混合信号の１／２を画素ずらし後の画像信号とし、前記混合信号の１／２を画素ずらし前の画像信号とすることを特徴とする請求項１記載の画素ずらし撮影方法。
前記画素ずらし後の画像信号と前記画素ずらし前の画像信号における注目画素信号の比率を他色の画素の画像信号の比率に基づいて補正することを特徴とする請求項２記載の画素ずらし撮影方法。
信号が得られない画素の画像信号の各レベルに他色の画素の画像信号に基づいて補正することを特徴とする請求項１記載の画素ずらし撮影方法。
信号が得られない画素の画像信号のレベルを、前記補完画素と同一の位置にある他色の画素の画像信号のレベルにすることを特徴とする請求項４記載の画素ずらし撮影方法。