JP6422500B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像素子を用いた撮像装置及び撮像方法に関するものである。

近年、ＣＣＤ（Charge Coupled Device）撮像素子から出力された信号から雑音を除去するＣＤＳ（Correlated Double Sampling）と暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）とデジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）とを内蔵したＡＦＥ（Analog Front End）が普及し、ＡＦＥのＡＤＣ階調は従来１０ビットだったが、１２ビットや１４ビットが一般化した。さらに駆動回路や読み出し回路を統合し高速読み出しを可能にしたＣＭＯＳ（Complementary Metal Oxicide Semiconductor）撮像素子の改良も進んできた。

さらにデジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰ（Digital Signal Processor）だけでなく、安価な汎用のＦＰＧＡ(Field Programmable Gate Array)でも容易に実現できる様になった。画素数が百万以上のメガピクセルカメラやＨＤＴＶ（High Definition TeleVision）カメラや高速撮像ＨＤＴＶカメラや記録部付ＨＤＴＶカメラやInternet Protocol（以下ＩＰ）伝送部付ＨＤＴＶカメラやより高精細の２Ｋ×４Ｋカメラや４Ｋ×８ＫカメラのＵＨＤＴＶ（Ultra High Definition TeleVision）やＨＤＤ（Hard Disk Drive）を用いた非圧縮の記録装置も製品化された。平面映像表示装置も、より高精細の２Ｋ×４Ｋや４Ｋ×８ＫのＵＨＤＴＶ表示や高速表示や超薄型化が進んできた。

また、従来の映像信号処理装置では、映像信号の輪郭部の傾斜方向を判定する。輪郭部の傾斜方向の判定結果に応じて映像信号における複数の原画素データを用いて補間画素データを生成し、画素数を増加させた映像信号を生成する。輪郭部の傾斜方向の判定結果に応じて高域周波数信号成分を生成する特性を異ならせている（特許文献１参照）。

また、従来は、斜めアパーチャ補正のモアレを抑圧している画像処理装置もある（特許文献２参照）。
さらに、多走査線垂直輪郭補正や多画素水平輪郭補正の撮像装置もある（特許文献３参照）。

特開２０１３−２０７６７３号公報 特開２００７−３３６３８４号公報 特願２０１３−００８２６０

本発明の目的は、２個の緑色撮像素子（Ｇ１）（Ｇ２）で斜め画素ずらしを行うＲＧ１Ｇ２Ｂの撮像素子を有し、フレームメモリを有する４板カメラにおいて、低下している斜め方向の変調度を補正する。

本発明の撮像方法は、２つの緑色撮像素子と赤色撮像素子と青色撮像素子を有し、２つの緑色撮像素子が斜め画素ずらしを行う撮像装置の撮像方法であって、輪郭補正対象画素に対して、左斜め上の２画素と右斜め上の２画素と左斜め下の２画素と右斜め下の２画素の各映像信号から斜め輪郭補正信号を生成し、輪郭補正対象画素の映像信号に斜め輪郭補正信号を加算することを特徴とする。

また、本発明の撮像装置は、２つの緑色撮像素子と赤色撮像素子と青色撮像素子を有し、２つの緑色撮像素子が斜め画素ずらしを行う撮像装置であって、輪郭補正対象画素に対して、右斜め上の４画素と左斜め下の４画素の各映像信号から右上がり斜め輪郭補正信号を生成する手段と、輪郭補正対象画素に対して、左斜め上の４画素と右斜め下の４画素の各映像信号から左上がり斜め輪郭補正信号を生成する手段と、加算手段とを有し、加算手段は輪郭補正対象画素の映像信号に右上がり斜め輪郭補正信号と左上がり斜め輪郭補正信号を加算することを特徴とする。

また、本発明の撮像装置は、２つの緑色撮像素子と赤色撮像素子と青色撮像素子を有し、２つの緑色撮像素子が斜め画素ずらしを行う撮像装置であって、画面位置制御部を有し、画面位置制御部は垂直同期信号と水平同期信号と画素クロックから、映像信号に対応する画素の画面中心からの距離に比例と、画素の画面中心からの距離の２乗に比例と、画素の画面中心からの距離の４乗に比例と、画素の画面中心からの距離の６乗に比例と、画素の画面中心からの距離の８乗に比例の画面位置に対応して、右上斜め輪郭補正量と、左上斜め輪郭補正量を斜め周波数ごとに個別に算出することを特徴とする。

また、本発明の撮像装置は、上述の撮像装置であって、さらにＣＰＵ部を有し、ＣＰＵ部は、装着されたレンズ情報である品種情報と、焦点距離情報と、口径比情報と、前記レンズの焦点距離と、口径比とに対応した円周方向変調度情報と、放射線方向変調度情報とを取得し、該取得した情報を画面位置制御部に出力し、画面位置制御部はレンズ情報に基づいて輪郭補正信号を生成するための制御信号を出力することを特徴とする。

本発明によれば、Ｇ１撮像素子とＧ２撮像素子で斜め画素ずらしを行うＲＧ１Ｇ２Ｂの撮像素子を有する４板カメラの変調度の低い右斜めと左斜めの輪郭補正を強くする輪郭補正を実施し、視覚的に重要な斜め輪郭や変調度が改善できる。

本発明の一実施例に係る撮像装置の構成例を示すブロック図である。 本発明の一実施例に係る補間信号処理を示すブロック図である。 本発明の一実施例の多走査線の斜め輪郭補正部のブロック図である。 本発明の一実施例の多走査線斜め輪郭補正部のブロック図である。 本発明の一実施例の右上斜め輪郭補正部のブロック図である。 本発明の一実施例の左上斜め輪郭補正部のブロック図である。 本発明の一実施例である斜め輪郭補正部の動作を説明するためのブロック図である。 本発明の一実施例に係る撮像装置の４板の撮像素子の貼り合せ位置の各画素の重なり具合を示す模式図である。 ４板の撮像素子の各画素のＧ1とＧ２との斜め補間による斜め解像と縦横解像の違いの模式図である。 本発明の一実施例である多画素輪郭補正信号の生成方法について説明するための模式図である。 図３の説明補助図である。 球面収差とコマ収差を十分補正し、非点収差が補正不足なレンズの変調度の変化の模式図である。 球面収差とコマ収差を十分補正し、非点収差が補正不足なレンズの変調度の補正の模式図である。

以下、本発明の実施形態について図面を用いて説明する。
図１は本発明の一実施例に係る撮像装置の構成例を示すブロック図である。
図１において、撮像装置１０２は、色分解光学系１０５、第１緑色（Ｇ１、Green1）撮像素子１０３Ｇ１、第２緑色（Ｇ２、Green2）撮像素子１０３Ｇ２、赤色（Ｒ、Red）撮像素子１０３Ｒ、青色（Ｂ、Blue）撮像素子１０３Ｂ、映像信号処理部１０４、撮像素子駆動部１９０、画面位置制御部１０５、ＣＰＵ（Central Processing Unit）部１０６で構成されている。

撮像装置１０２は、入射光１００がレンズ１００で結像され、色分解光学系１０５で４板用に色分解され、第１緑色（Ｇ１）撮像素子１０３Ｇ１と第２緑色（Ｇ２）撮像素子１０３Ｇ２と赤色（Ｒ）撮像素子１０３Ｒおよび青色（Ｂ）撮像素子１０３Ｂで光電変換され、映像信号処理部１０４で各種信号処理が施され、ＨＤ−ＳＤＩ（High Definition Serial Digital Interface）信号を出力する。
なお、本発明の撮像装置１０２から出力する映像信号は、一実施例のＨＤ−ＳＤＩに限定するものではなく、圧縮や暗号化等も問わない。

（撮像素子の貼り合せ位置と解像） 次に、撮像素子の貼り合せ位置と解像について、図４と図５を用いて説明する。
図４は本発明の一実施例に係る撮像装置の４板の撮像素子の貼り合せ位置の各画素の重なり具合を示す模式図である。
図５は４板の撮像素子の各画素のＧ1とＧ２との斜め補間による斜め解像と縦横解像の違いの模式図である。
図４（ａ）は、第１緑色（Ｇ１）撮像素子１０３Ｇ１と第２緑色（Ｇ２）撮像素子１０３Ｇ２の画素の貼り合せ位置の一例である。
図４（ｂ）は、ベイヤー配列相当の画素の貼り合せ位置の一例である。
図４（ａ）（ｂ）の画素の貼り合せ位置において、一般的な画像処理では、図５に示すように、（ａ）の左上がりの画像および（ｂ）の右上がりの画像ではＧ１Ｇ２補間で解像できず、（ｃ）の縦線画像および（ｄ）の横線画像ではＧ１Ｇ２補間で解像できる。

次に、本発明の一実施例の補間処理について図２を用いて説明する。
図２は本発明の一実施例に係る補間処理を示すブロック図である。
図２において、映像信号処理部１０４は、倍率色収差と貼合誤差との補正部１０７、補間処理部１０８、斜め輪郭補正部１１４、映像信号出力部１８０で構成されている。
倍率色収差と貼合誤差補正部１０７は、入力されたＧ１信号、Ｇ２信号、Ｒ信号、Ｂ信号に対して、レンズで発生する倍率色収差の補正と、撮像素子と色分解光学系１０５の貼り合せ誤差の補正を行い、補間処理部１０８に出力する。
補間処理部１０８は、選択部１１５、ＬＰＦ（Low Pass Filter）部１１１、ＬＰＦ部１１２、ＬＰＦ部１１３、減算部１１６、加算部１１８、加算部１１９で構成されている。

補間処理部１０８は、入力されたＧ１信号とＧ２信号を選択部１１５で加算してＧ１＋Ｇ２信号を生成し、ＬＰＦ部１１２の画素遅延部２０９でＧ１＋Ｇ２信号を遅延させ、加算部１１７で遅延していないＧ１＋Ｇ２信号と遅延させたＧ１＋Ｇ２信号を加算し、ビットシフト部２１０で所定時間遅延させ、減算部１１６でビットシフト部２１０の出力を画素遅延部２０９の出力で減算してＧ差分信号を生成する。
加算部１１８はＲ信号をＬＰＦ部１１２で処理した信号にＧ差分信号を加算する。
加算部１１９はＧ信号をＬＰＦ部１１３で処理した信号にＧ差分信号を加算する。

斜め輪郭補正部１１４は、斜め輪郭補正部１４Ｇと、斜め輪郭補正部１４Ｒと、斜め輪郭補正部１４Ｂで構成されている。
斜め輪郭補正部１４Ｇは、補間処理部１０８から出力されたＧ信号に斜め輪郭補正を施して、４ＫＧ映像信号として出力する。
斜め輪郭補正部１４Ｒは、補間処理部１０８から出力されたＲ信号に斜め輪郭補正を施して、４ＫＲ映像信号として出力する。
斜め輪郭補正部１４Ｂは、補間処理部１０８から出力されたＢ信号に斜め輪郭補正を施して、４ＫＢ映像信号として出力する。

（実施例１、自信号で斜め輪郭補正信号を生成） 次に、自信号で斜め輪郭補正信号を生成する一実施例について図３Ａと図７（ａ）を用いて説明する。
図３Ａは本発明の一実施例の多走査線の斜め輪郭補正部のブロック図である。
なお、斜め輪郭補正部は、１４Ｒ、１４Ｇ、１４Ｂと共に同じ構成であるため、本説明では、代表として斜め輪郭補正部１４Ｒで行う。
図７（ａ）は図３Ａの説明補助図である。
図２の補間処理部１０８の処理において、Ｇ1とＧ２との斜め補間により斜め解像度と変調度とが低下しても、斜め輪郭補正部１１４で補正を行うことができる。

図３Ａにおいて、斜め輪郭補正部１４Ｒは、補正対象の画素として、フレームメモリＭ０から２Ｈ０ｄ（映像データ）を読み出し、加算部Ｐ４を介して加算部２４に出力する。
斜め輪郭補正部１４Ｒは、２Ｈ０ｄ画素に対して左上がりの斜め輪郭補正信号を生成するため、フレームメモリＭ０から０Ｈ−２ｄ、１Ｈ−１ｄ、３Ｈ＋1ｄ、４Ｈ＋２ｄを読出し、減算部Ｎ０が０Ｈ−２ｄを負の数に変換して加算部２０に出力し、減算部Ｎ２が１Ｈ−１ｄを負の数に変換して加算部２２に出力し、減算部Ｎ５が３Ｈ＋1ｄを負の数に変換して加算部２５に出力し、減算部Ｎ７が４Ｈ＋２ｄを負の数に変換して加算部２７に出力する。

また、斜め輪郭補正部１４Ｒは、２Ｈ０ｄ画素に対して右上がりの斜め輪郭補正信号を生成するため、フレームメモリＭ０から０Ｈ＋２ｄ、１Ｈ＋１ｄ、３Ｈ−1ｄ、４Ｈ−２ｄを読出し、減算部Ｎ１が０Ｈ＋２ｄを負の数に変換して加算部２１に出力し、減算部Ｎ３が１Ｈ＋１ｄを負の数に変換して加算部２３に出力し、減算部Ｎ６が３Ｈ−1ｄを負の数に変換して加算部２６に出力し、減算部Ｎ８が４Ｈ−２ｄを負の数に変換して加算部２７に出力する。
なお、ＣＰＵ部１０６は、加算部Ｐ４と減算部Ｎ０，Ｎ１，Ｎ２，Ｎ３，Ｎ５，Ｎ６，Ｎ７，Ｎ８のレベルを制御することができる。

さらに、斜め輪郭補正部１４Ｒは、加算部２０〜２７で入力したデータを合算し、小振幅大振幅圧縮制限部３１で所定範囲内のレベルに制限または圧縮し、乗算部３２で所定レベルに増幅または減衰させ、斜め輪郭補正信号として加算部３３に入力し、加算部３３で補正対象信号の２Ｈ０ｄと加算して、補正後信号として出力する。
なお、斜め輪郭補正信号のレベルは、２Ｈ０ｄのレベルを映像レベル判定部２８で判定した結果とＣＰＵ部１０６からのレベル制御信号を乗算部２９で乗算して乗算部３２に入力することにより、乗算部３２で制御される。

次に、本発明の一実施例である多画素輪郭補正信号の生成方法について、図６を用いて説明する。
図６は本発明の一実施例である多画素輪郭補正信号の生成方法について説明するための模式図である。
図６において、(ａ)は垂直輪郭補正前信号、(ｂ) は輪郭５画素成分補正信号、(ｃ) は輪郭３画素成分補正信号、(ｄ) は輪郭５画素３画素補正後信号（２画素輪郭強調後信号）、(ｅ)は輪郭３画素補正後信号（１画素輪郭強調後信号）である。
(ｂ)の輪郭５画素成分補正信号、(ｃ)の輪郭３画素成分補正信号とを加算することにより、(ｄ)の輪郭５画素３画素補正後信号（２画素輪郭強調後信号）斜め輪郭が再生される。
それに対し、(ｅ)は輪郭３画素補正後信号（１画素輪郭強調後信号）では、斜め変調度が低い周波数から低下すると、オーバーシュートやアンダーシュートによる斜め輪郭の前後に偽の負の垂直輪郭が発生し、変調度低下により良好に補正しきれない。
本発明の一実施例である撮像装置は、図３Ａの斜め輪郭補正部により、４板の撮像素子の各画素のＧ1とＧ２との斜め補間による斜め方向の解像度と変調度とが低下しても、水平垂直の輪郭補正だけでなく、左右の斜めの輪郭補正が対称で、オーバーシュートやアンダーシュートを押さえた輪郭補正を実施した映像信号を出力可能となる。
なお、図３ＡのフレームメモリＭ０から読み出す個数は９個に限定せず、より多い自然数でも構わない。
フレームメモリＭ０から読み出す個数が多数でない場合は左右の斜めの輪郭補正が対称となるように、フレームメモリから読み出す個数は４Ｎ＋１（Ｎは自然数）が好ましい。
つまり、斜め輪郭補正を簡易で済ませる場合は、フレームメモリＭ０から読み出す個数は５個でもよい。

（実施例２、Ｇ信号から生成した斜め輪郭補正信号をＲ信号、Ｂ信号に加算） 次に、本発明の一実施例である補間処理について図３Ｂを用いて説明する。
図３Ｂは本発明の一実施例の多走査線（Ｈ）斜め輪郭補正部のブロック図である。
図３Ｂの斜め輪郭補正部１４Ｒは、入力された補正前Ｒ信号をフレームメモリ部Ｍ０で２走査線分（２Ｈ分）を遅延し、加算部３３でＧ信号から生成した斜め輪郭補正信号（図３Ａと同様の信号処理で生成した信号）を加算し、補正後Ｒ信号として出力する。
なお、Ｂ信号の斜め輪郭補正の場合も同様である。

（実施例３、右上斜め輪郭補正および左上斜め郭補正の中心周波数を個別可変） 次に、本発明の一実施例の輪郭補正について、図３Ｃ、図３Ｄ、図３Ｅ、図８、図９を用いて説明する。
図３Ｃは本発明の一実施例の右上斜め輪郭補正部のブロック図である。図３Ｄは本発明の一実施例の左上斜め輪郭補正部のブロック図である。図３Ｅは本発明の一実施例である斜め輪郭補正部の動作を説明するためのブロック図である。図８は球面収差とコマ収差を十分補正し、非点収差が補正不足なレンズの変調度の変化の模式図である。図９は球面収差とコマ収差を十分補正し、非点収差が補正不足なレンズの変調度の補正の模式図である。
なお、斜め輪郭補正部は、１４Ｒ、１４Ｇ、１４Ｂと共に同じ構成であるため、本説明では、代表として斜め輪郭補正部１４Ｒで行う。
レンズ１０１は、３つの波長で色収差が補正され２つの波長で球面収差・コマ収差が補正されているアポクロマートレンズである。

本発明の一実施例である斜め輪郭補正は、走査線数Ｖと走査線番号vと水平画素数Ｈと水平画素番号ｈとから画面中心からの距離（ｖ−Ｖ／２）（ｈ−Ｈ／２）の２乗と４乗と６乗と８乗と１０乗とで変調度補正量を近似した走査線番号と水平画素番号と輪郭補正の周波数補正量の関係情報を取得する手段と、走査線と水平画素カウンタからの走査線番号と水平画素番号から右上斜め輪郭補正の周波数ごとの補正量と左上斜め輪郭補正の周波数ごとの補正量を算出する手段と、右上斜め輪郭補正と左上斜め輪郭補正とを周波数ごとに個別に制御する手段とを有する。
つまり、本実施例は、画面中心からの距離の偶数乗に比例して、右上斜め輪郭補正の中心周波数と左上斜め郭補正の中心周波数とを個別に可変する。

具体的には、球面収差とコマ収差を十分補正し、非点収差が補正不足なレンズの変調度の変化の模式図の図８の（ａ）ズームレンズ広角端の一例である１６−３００ｍｍは、４端のみ放射方向の斜め変調度補正が必要、である。
図８(ｂ)中望遠レンズの一例である８５ｍｍＦ１．８は、４端のみ円周方向の斜め変調度補正が必要である。
図９において、球面収差とコマ収差を十分補正し、非点収差が補正不足なレンズの変調度の補正は画面内均一と画面中心からの距離（ｖ−Ｖ／２）（ｈ−Ｈ／２）の８乗に比例で水平変調度補正と垂直変調度補正と個別に変調度の周波数ごとの補正量を算出する。

つまり、Ｇ１撮像素子とＧ２撮像素子で斜め画素ずらしを行い、Ｒ撮像素子、Ｇ１撮像素子、Ｇ２撮像素子、Ｂ撮像素子、フレームメモリを有する４板カメラにおいて、３つの波長で色収差が補正され２つの波長で球面収差・コマ収差が補正されているアポクロマートレンズを有し、水平輪郭補正、垂直輪郭補正だけではなく、斜め輪郭補正も行う。
なお、本発明の一実施例は、４：３や３：２等の正方形に近いアスペクトの１Ｋ、２Ｋ、４Ｋ、８Ｋ等のＨＤ（High-Definition）以上の高解像度撮像装置等にも適用できる。

図３Ｃ、図４Ｄにおいて、ＣＰＵ部１０６は、装着したレンズ情報である品種情報と、焦点距離情報と、口径比情報と、前記レンズの焦点距離と、口径比とに対応した円周方向変調度情報と、放射線方向変調度情報とを取得し記憶する。

画面位置制御部１０５は、撮像素子駆動部１９０から出力された水平同期信号と画素クロックと垂直同期信号を入力する。
また、画面位置制御部１０５は、ＣＰＵ部１０６からレンズ品種情報と、焦点距離情報と、口径比情報と、円周方向変調度情報と、放射線方向変調度を取得する。
さらに、画面位置制御部１０５は、垂直同期信号と水平同期信号と画素クロックから、映像信号に対応する画素の画面中心からの距離（走査線数をＶとし水平画素番号をｖとしてｖ−Ｖ／２と水平画素数をＨとし水平画素番号をｈとしてｈ−Ｈ／２）に比例と、画素の画面中心からの距離の２乗に比例と、画素の画面中心からの距離の４乗に比例と、画素の画面中心からの距離の６乗に比例と、画素の画面中心からの距離の８乗に比例等の画面位置に対応して、右上斜め輪郭（変調度）補正量と、左上斜め輪郭（変調度）補正量を斜め周波数ごとに個別に算出する。

次に、画面中心からの距離の偶数乗に比例して、右上斜め輪郭補正の中心周波数を個別に可変するための右上斜め輪郭補正について、図３Ｃと図７（ｃ）を用いて説明する。
なお、斜め輪郭補正部は、１４Ｒ１、１４Ｇ１、１４Ｂ１と共に同じ構成であるため、本説明では、代表として斜め輪郭補正部１４Ｒ１で行う。
図７（ｃ）は図３Ｃの説明補助図である。
図３Ｃにおいて、斜め輪郭補正部１４１Ｒは、補正対象信号として、フレームメモリＭ８から４Ｈの４ｄ（映像データ）を読み出し、加算部Ｐ１４を介して加算部４４に出力する。

斜め輪郭補正部１４Ｒ１は、４Ｈの４ｄに対して右上がりの斜め輪郭補正信号を生成するため、フレームメモリＭ８から０Ｈの８ｄ、１Ｈの７ｄ、２Ｈの６ｄ、３Ｈの５ｄ、５Ｈの３ｄ、６Ｈの２ｄ、７Ｈの１ｄ、８Ｈの０ｄを読出し、減算部Ｎ１８が０Ｈの８ｄを負の数に変換して加算部４７に出力し、減算部Ｎ１７が１Ｈの７ｄを負の数に変換して加算部４７に出力し、減算部Ｎ１６が２Ｈの６ｄを負の数に変換して加算部４６に出力し、減算部Ｎ１５が３Ｈの５ｄを負の数に変換して加算部４５に出力し、減算部Ｎ１３が５Ｈの３ｄを負の数に変換して加算部４３に出力し、減算部Ｎ１２が６Ｈの２ｄを負の数に変換して加算部４２に出力し、減算部Ｎ１１が７Ｈの１ｄを負の数に変換して加算部４１に出力し、減算部Ｎ１０が８Ｈの０ｄを負の数に変換して加算部４０に出力する。
画面位置制御部１０５は、右上斜め輪郭補正数制御信号で加算部Ｐ１４と減算部Ｎ１０，Ｎ１１，Ｎ１２，Ｎ１３，Ｎ１５，Ｎ１６，Ｎ１７，Ｎ１８を制御する。

さらに、斜め輪郭補正部１４Ｒ１は、加算部４０〜４７で入力したデータを合算し、小振幅大振幅圧縮制限部５１で所定範囲内のレベルに制限または圧縮し、乗算部５２で所定レベルに増幅または減衰させ、斜め輪郭補正信号として加算部５３に入力し、加算部５３で補正対象信号の４Ｈの４ｄと加算して、補正後信号として出力する。
なお、右上斜め輪郭補正信号のレベルは、４Ｈの４ｄのレベルを映像レベル判定部２８で判定した結果とＣＰＵ部１０６からのレベル制御信号を乗算部２９で乗算して乗算部５２に入力することにより、乗算部５２で制御される。

次に、画面中心からの距離の偶数乗に比例して、右上斜め輪郭補正の中心周波数を個別に可変するための左上斜め輪郭補正について、図３Ｄと図７（ｄ）を用いて説明する。
なお、斜め輪郭補正部は、１４Ｒ２、１４Ｇ２、１４Ｂ２と共に同じ構成であるため、本説明では、代表として斜め輪郭補正部１４Ｒ２で行う。
図７（ｄ）は図３Ｄの説明補助図である。
図３Ｄにおいて、斜め輪郭補正部１４Ｒ２は、補正対象信号として、フレームメモリＭ８から４Ｈの４ｄ（映像データ）を読み出し、加算部Ｐ１４を介して加算部４４に出力する。

斜め輪郭補正部１４Ｒ２は、４Ｈの４ｄに対して左上がりの斜め輪郭補正信号を生成するため、フレームメモリＭ８から８Ｈの８ｄ、７Ｈの７ｄ、６Ｈの６ｄ、５Ｈの５ｄ、３Ｈの３ｄ、２Ｈの２ｄ、１Ｈの１ｄ、０Ｈの０ｄを読出し、減算部Ｎ１８が８Ｈの８ｄを負の数に変換して加算部４７に出力し、減算部Ｎ１７が７Ｈの７ｄを負の数に変換して加算部４７に出力し、減算部Ｎ１６が６Ｈの６ｄを負の数に変換して加算部４６に出力し、減算部Ｎ１５が５Ｈの５ｄを負の数に変換して加算部４５に出力し、減算部Ｎ１３が３Ｈの３ｄを負の数に変換して加算部４３に出力し、減算部Ｎ１２が２Ｈの２ｄを負の数に変換して加算部４２に出力し、減算部Ｎ１１が１Ｈの１ｄを負の数に変換して加算部４１に出力し、減算部Ｎ１０が０Ｈの０ｄを負の数に変換して加算部４０に出力する。
画面位置制御部１０５は、左上斜め輪郭補正数制御信号で加算部Ｐ１４と減算部Ｎ１０，Ｎ１１，Ｎ１２，Ｎ１３，Ｎ１５，Ｎ１６，Ｎ１７，Ｎ１８を制御する。

さらに、斜め輪郭補正部１４Ｒ２は、加算部４０〜４７で入力したデータを合算し、小振幅大振幅圧縮制限部５１で所定範囲内のレベルに制限または圧縮し、乗算部５２で所定レベルに増幅または減衰させ、左上斜め輪郭補正信号として出力する。
なお、左上斜め輪郭補正信号のレベルは、４Ｈの４ｄのレベルを映像レベル判定部２８で判定した結果とＣＰＵ部１０６からのレベル制御信号を乗算部２９で乗算して乗算部５２に入力することにより、乗算部５２で制御される。
なお、斜め輪郭補正部１４Ｒ１および斜め輪郭補正部１４Ｒ２の減算器の個数は、右上斜めと左上斜めとでそれぞれ７個以上又は４個もしくは６個が好ましい。

次に、図３Ｅを用いて、斜め輪郭補正について説明する。
図３Ｅにおいて、斜め輪郭補正部１４Ｒは、入力された補正前Ｒ信号を斜め輪郭補正部１４Ｒ１と斜め輪郭補正部１４Ｒ２に入力する。
加算部３０１は、斜め輪郭補正部１４Ｒ１から出力された右上斜め補正信号で補正されたＲ信号と、斜め輪郭補正部１４Ｒ２から出力された左上斜め補正信号とを加算して、補正後Ｒ信号として出力する。

（実施例４、電子ズーム使用の輪郭補正） 実施例４は、実施例１と実施例２との相違のみ説明する。
実施例１と実施例２との動作は、Ｇ１Ｇ２斜め補間で斜め変調度が低下した４Ｋ映像信号から生成した斜め輪郭補正信号を４Ｋ映像信号に加算である。
Ｇ１Ｇ２斜め補間で斜め変調度が低下した４Ｋ映像信号から生成した電子ズーム４Ｋ映像信号から生成した斜め輪郭補正信号を電子ズーム４Ｋ映像信号に加算しても良い。
電子ズームしても、Ｇ１Ｇ２斜め補間で斜め変調度が低下したままなので、斜め輪郭補正が有効である。
なお、電子ズームとは、フレームメモリＭ０，Ｍ８の読出し間隔を変更することにより、デジタル的に画像拡大する機能のことである。

Ｇ１Ｇ２斜め補間で斜め変調度が低下した４Ｋ映像信号から生成したビューファインダ用の電子ズーム２Ｋ映像信号から生成した斜め輪郭補正信号を電子ズーム２Ｋ映像信号に加算しても良い。
２Ｋ映像信号でも電子ズームしてあるので、Ｇ１Ｇ２斜め補間で斜め変調度が低下したままなので、斜め輪郭補正が有効である。

本発明の実施形態である撮像装置は、Ｇ１撮像素子とＧ２撮像素子で斜め画素ずらしを行うＲＧ１Ｇ２Ｂの撮像素子を有する４板カメラの変調度の低い右斜めと左斜めの輪郭補正を強くする輪郭補正を実施し、視覚的に重要な斜め輪郭や変調度が改善できる。

以上本発明について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外の撮像装置に広く適用することができることは言うまでもない。

本発明は、撮像素子を用いた撮像装置及び撮像方法に利用することができる。
この出願は２０１４年８月２８日に出願された日本出願特願２０１４−１７３９０２を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。

１０１：レンズ、１０２：撮像装置、１０３Ｇ１：第１緑色（Ｇ１）撮像素子、１０３Ｇ２：第２緑色（Ｇ２）撮像素子、１０３Ｒ：赤色（Ｒ）撮像素子、１０３Ｂ：青色（Ｂ）撮像素子、１０４：映像信号処理部、１０５：色分解光学系、１０６：ＣＰＵ部、１０７：倍率色収差と貼合誤差との補正部、１０８：補間処理部、２０９：画素遅延器部、２１０：ビットシフト部、１１１，１１２，１１３：ＬＰＦ部、１１４：電子ズームと斜め輪郭補正部、１１５：選択部、１１８，１１９，２０〜２７，３３，４０〜４７，３０１：加算部、２８，４８：映像レベル判定部、３１，５１：小振幅大振幅圧縮部、２９，４９，３２，５２：乗算部、Ｍ０：フレームメモリ部、１１６，Ｎ０〜Ｎ３，Ｎ５〜Ｎ８，Ｎ１０〜Ｎ１３，Ｎ１５〜Ｎ１８：減算部、Ｐ４，Ｐ１４：加算部。

Claims (4)

1. ２つの緑色撮像素子と赤色撮像素子と青色撮像素子を有した４板の撮像装置の撮像方法において、
   入力された映像信号を前記各撮像素子にて色分解した各信号とし、所定の演算により各信号の補間処理及び前記２つの緑色撮像素子の各信号による差分信号を生成した補間処理を行い、所定の解像度及び変調度として補正映像信号を出力し、該出力した補正映像信号を前記２つの緑色撮像素子により斜め画素ずらしを行う撮像方法であって、
   前記斜め画素ずらしは、前記出力した補正映像信号が記憶されたフレームメモリより当該補正映像信号の輪郭補正対象画素の左斜め上の２画素と右斜め上の２画素と左斜め下の２画素と右斜め下の２画素の各映像信号を読み出し、斜め輪郭補正信号生成し、
   前記輪郭補正対象画素の補正映像信号に前記斜め輪郭補正信号を加算し、該加算した信号を所定レベルに増幅または減衰して所望の映像信号として出力することを特徴とする撮像方法。
2. ２つの緑色撮像素子と赤色撮像素子と青色撮像素子を有し、前記２つの緑色撮像素子が斜め画素ずらしを行う４板の撮像装置において、
   入力された映像信号を前記各撮像素子にて色分解した各信号とし、所定の演算により各信号の補間処理及び前記２つの緑色撮像素子の各信号による差分信号を生成した補間処理を行い、所定の解像度及び変調度として補正映像信号を出力し、該出力した補正映像信号を前記２つの緑色撮像素子により斜め画素ずらしを行う撮像装置であって、
   前記斜め画素ずらしは、前記出力した補正映像信号が記憶されたフレームメモリより当該補正映像信号の輪郭補正対象画素に対して、右斜め上の４画素と左斜め下の４画素の各映像信号を読み出し、右上がり斜め輪郭補正信号を生成する手段と、
   輪郭補正対象画素に対して、左斜め上の４画素と右斜め下の４画素の各映像信号を読み出し、左上がり斜め輪郭補正信号を生成する手段と、
   加算手段とを有し、
   前記加算手段は、前記輪郭補正対象画素の補正映像信号に前記右上がり斜め輪郭補正信号と前記左上がり斜め輪郭補正信号を加算し、該加算した信号を所定レベルに増幅または減衰して所望の映像信号として出力することを特徴とする撮像装置。
3. ２つの緑色撮像素子と赤色撮像素子と青色撮像素子を有し、前記２つの緑色撮像素子が斜め画素ずらしを行う４板の撮像装置において、
   入力された映像信号を前記各撮像素子にて色分解した各信号とし、所定の演算により各信号の補間処理及び前記２つの緑色撮像素子の各信号による差分信号を生成した補間処理を行い、所定の解像度及び変調度として補正映像信号を出力し、該出力した補正映像信号を前記２つの緑色撮像素子により斜め画素ずらしを行う撮像装置であって、
   前記斜め画素ずらしは、画面位置制御部にて前記出力した補正映像信号が記憶されたフレームメモリより当該補正映像信号の垂直同期信号と水平同期信号と画素クロックから、映像信号に対応する画素の画面中心からの距離に比例と、画素の画面中心からの距離の２乗に比例と、画素の画面中心からの距離の４乗に比例と、画素の画面中心からの距離の６乗に比例と、画素の画面中心からの距離の８乗に比例の画面位置に対応して、右上斜め輪郭補正量と、左上斜め輪郭補正量を斜め周波数ごとに個別に算出し、該算出した信号を所定レベルに増幅または減衰して所望の映像信号として出力することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   さらにＣＰＵ部を有し、
   前記ＣＰＵ部は、装着されたレンズ情報である品種情報と、焦点距離情報と、口径比情報と、前記レンズの焦点距離と、口径比とに対応した円周方向変調度情報と、放射線方向変調度情報とを取得し、該取得した情報を前記画面位置制御部に出力し、
   前記画面位置制御部は、前記レンズ情報に基づいて輪郭補正信号を生成するための制御信号を出力することを特徴とする撮像装置。

Images