JP6934790B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に関し、撮像素子からの映像信号を変換して出力する機能を有する撮像装置に関する。

４Ｋ（２１６０×３８４０）や８Ｋ（４３２０×７６８０）のＵＨＤＴＶ（Ultra High Definition TeleVision）のカメラでは、ＨＤＲ（High Dynamic Range）映像が出力される。

特許文献１では、色分解光学系とＲＧ１Ｇ２Ｂの４ケのＣＭＯＳ撮像素子とを有する撮像装置において、ＲＧ１Ｇ２Ｂで個別オフセットシャッタを行い、広いダイナミックレンジを確保している。

グローバルシャッタと呼ばれるフォトダイオードから映像信号電荷を一斉に読出すＣＭＯＳ撮像素子は低消費電力で高速読出し可能である。フォーカルプレーンシャッタまたはローリングシャッタと呼ばれるフォトダイオードから映像信号電荷を順次読出すＣＭＯＳ撮像素子は低価格で低消費電力で高速読出し可能であるが、被写体が動くと、フォトダイオードから映像信号電荷を順次読出す時間分、被写体の画面位置で読出す時間が異なり、動く被写体が変形する。

そこで、高速の撮像フレームレート画像信号をフレーム加算し低速の出力フレームレート画像信号を生成している（特許文献２参照）。

国際公開第２０１６／０４６９５９号 特開２００８−１１８６９８号公報 特開２０１３−１６５４３９号公報 特開２０１３−１６５３１３号公報

色分解光学系と撮像素子を３枚用いるテレビジョンカメラは、ズームレンズの製作を容易にするため、軸上色収差の典型値分、赤の撮像素子と青の撮像素子の軸上位置を緑の撮像素子の軸上位置からオフセットさせて色分解光学系に貼り合せてある。
そのため、３枚用ズームレンズを色分解光学系分のダミーガラス付のアダプタを介して、単板カラー撮像素子と組み合わせると、軸上色収差の典型値分、赤の撮像素子と青の撮像素子の軸上位置を緑の撮像素子の軸上位置が異なり、赤と青の変調度が劣化する。

本発明は、３枚用ズームレンズと色分解光学系と４枚以上のモノクロ撮像素子と組み合わせ、フォーカルプレーンシャッタ歪が少なく、ダイナミックレンジが広い撮像装置を提供することを目的とする。

本発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
すなわち、撮像装置は、Ｒ、Ｇ１、Ｇ２、Ｂに色分解する色分解光学系と、前記Ｒを撮像するＲ撮像素子と、前記Ｇ１を撮像するＧ１撮像素子と、前記Ｇ２を撮像するＧ２撮像素子と、前記Ｂを撮像するＢ撮像素子と、前記Ｒ撮像素子、前記Ｂ撮像素子、前記Ｇ１撮像素子、前記Ｇ２撮像素子からの映像信号を処理する映像信号処理回路と、を備える。前記Ｒ撮像素子は、奇数フレームおよび偶数フレームにおいて、前記Ｒを出力映像コマ数で撮像する。前記Ｇ１撮像素子は、前記奇数フレームにおいて、前記Ｇ１を出力映像コマ数で撮像し、前記偶数フレームにおいて、前記Ｒ、前記Ｇ２、前記Ｂの撮像コマの（Ｎ−１）／２Ｎ程位相をずらして、前記Ｇ１を出力映像コマ数のＮ倍のコマ数で撮像する。前記Ｇ２撮像素子は、前記奇数フレームにおいて、前記Ｒ、前記Ｇ１、前記Ｂの撮像コマの（Ｎ−１）／２Ｎ程位相をずらして、前記Ｇ２を出力映像コマ数のＮ倍のコマ数で撮像し、前記偶数フレームにおいて、前記Ｇ２を出力映像コマ数で撮像する。前記Ｂ撮像素子は、前記奇数フレームおよび前記偶数フレームにおいて、前記Ｂを出力映像コマ数で撮像する。前記映像信号処理回路は、前記奇数フレームにおいて、前記Ｇ２撮像素子で撮像したＧ２撮像信号と前記Ｇ１撮像素子で撮像したＧ１撮像信号を加算して低域Ｇ信号を作成し、前記Ｇ２撮像信号をＮ倍してから前記Ｇ１撮像信号と選択して高域差分信号を生成して、前記高域差分信号を、前記Ｒ撮像素子で撮像したＲ撮像信号の低域通過信号と、前記低域Ｇ信号と、前記Ｂ撮像素子で撮像したＢ撮像信号の低域通過信号とに加算し、前記偶数フレームにおいて、前記Ｇ１撮像素子で撮像したＧ１撮像信号と前記Ｇ２撮像素子で撮像したＧ２撮像信号を加算して低域Ｇ信号を作成し、Ｇ１撮像信号をＮ倍してからＧ２撮像信号と選択して高域差分信号を生成して、前記高域差分信号を、前記Ｒ撮像素子で撮像したＲ撮像信号の低域通過信号と、前記低域Ｇ信号と、前記Ｂ撮像素子で撮像したＢ撮像信号の低域通過信号に加算する。

本発明によれば、フォーカルプレーンシャッタ歪が少なく、ダイナミックレンジを広くすることができる。

実施例に係るカメラシステムの全体構成を示すブロック図である。 実施例に係る撮像装置の動作を示す模式図であり、ＲＧ１Ｇ２Ｂの２倍速と等速の蓄積期間を示す図である。 実施例に係る撮像装置の動作を示す模式図であり、ＲＧ１Ｇ２Ｂの２倍速と等速の蓄積の等速読出しを示す図である。 変形例に係る撮像装置の動作を示す模式図であり、ＲＧ１Ｇ２Ｂの３倍速と等速の蓄積期間を示す図である。 変形例に係る撮像装置の動作を示す模式図であり、ＲＧ１Ｇ２Ｂの３倍速と等速の蓄積の等速読出しを示す図である。 実施例に係る撮像装置の回路を示すブロック図である。 変形例に係る撮像装置の回路を示すブロック図である。 実施例に係る補間信号処理を示すブロック図である。

ＣＣＤ（Charge-Coupled-Device）撮像素子から出力された信号から雑音を除去するＣＤＳ（Correlated Double Sampling）と暗電流補正と利得可変増幅回路（Automatic Gain Control以下ＡＧＣ）とデジタル映像信号（Ｖｉ）に変換するＡＤＣ（Analog Digital Converter）とを内蔵したＡＦＥ（Analog Front End）があり、更にタイミング発生部（ Timing Generator：ＴＧ）を内蔵したＡＦＥとＣＣＤと転送駆動回路とを１つのパッケージにした撮像素子もある。

フォーカルプレーンシャッタＣＭＯＳ撮像素子同様にフォトダイオードの蓄積時間と読出し時間が関連しているＩＴ（Interline Transfer）−ＣＣＤと、グローバルシャッタＣＭＯＳ撮像素子同様にフォトダイオードの蓄積時間と読出し時間が独立に設定できるＦＩＴ（Frame Interline Transfer）−ＣＣＤとがある。

以下、グローバルシャッタＣＭＯＳ撮像素子で説明するが、グローバルシャッタＣＭＯＳ撮像素子をＴＧとＡＦＥとＦＩＴ−ＣＣＤに置き換えても同様である。また、フォーカルプレーンシャッタＣＭＯＳ撮像素子又はＴＧとＡＦＥとＩＴ−ＣＣＤとを有する撮像素子でも詳細なタイミングチャートは異なるが可能である。

実施例に係るカメラシステムの構成について図１を用いて説明する。図１は実施例に係るカメラシステムの全体構成を示すブロック図である。

図１に示すように、カメラシステム１０はレンズ１と撮像装置２とを備える。撮像装置２は撮像素子３Ｒと撮像素子３Ｇ１と撮像素子３Ｇ２と撮像素子３Ｂと映像信号処理回路４と４色分解光学系５とＣＰＵ６とを備える。レンズ１は３枚用ズームレンズである。撮像素子３Ｒは赤（Ｒ）の周辺回路を集積した撮像素子であり、ＣＭＯＳ撮像素子、又はＣＣＤ撮像素子とタイミング発生部（Timing Generator：ＴＧ）とＡＦＥとＣＣＤ転送駆動回路とを１つのパッケージにした撮像素子である。

撮像素子３Ｇ１は第１の緑（Ｇ１）の周辺回路を集積した撮像素子であり、ＣＭＯＳ撮像素子、又はＣＣＤ撮像素子とＴＧとＡＦＥとＣＣＤ転送駆動回路とを１つのパッケージにした撮像素子である。

撮像素子３Ｇ２は第２の緑（Ｇ２）の周辺回路を集積した撮像素子であり、ＣＭＯＳ撮像素子、又はＣＣＤ撮像素子とＴＧとＡＦＥとＣＣＤ転送駆動回路とを１つのパッケージにした撮像素子である。

撮像素子３Ｂは青（Ｂ）の周辺回路を集積した撮像素子であり、ＣＭＯＳ撮像素子、又はＣＣＤ撮像素子とＴＧとＡＦＥとＣＣＤ転送駆動回路とを１つのパッケージにした撮像素子である。

映像信号処理回路４はＦＰＧＡとフレームメモリとで構成され、ＴＧとコマ速度変換と補間処理とを含み、ＲＧ１Ｇ２Ｂの４板（撮像素子３Ｒ、３Ｇ１、３Ｇ２、Ｂ）で撮像の縦横倍の画素数の映像（ＨＤＲ映像）を出力する。

４色分解光学系５は入射光をＲ、Ｇ１、Ｇ２、Ｂに色分解するプリズムである。

図３Ａは実施例に係る撮像装置の回路を示すブロック図である。

ＣＭＯＳ撮像素子３Ｂは、等速のクロック（ＣＬＫ）と水平同期信号（ＨＤ）と垂直同期信号（ＶＤ）とを入力し、等速の映像信号（ＢＶｉ）を出力する。出力された映像信号（ＢＶｉ）はＢ撮像信号ともいう。

ＣＭＯＳ撮像素子３Ｇ１は、蓄積用の倍速のクロック（×２ＣＬＫ）又は読出し用の等速のクロック（ＣＬＫ）と、蓄積用の倍速の水平同期信号（×２ＨＤ）又は読出し用の等速の水平同期信号（ＨＤ）と、蓄積用の４倍速の垂直同期信号（×４ＶＤ）又は位相をずらした倍速の垂直同期信号（Offset×２ＶＤ）若しくは読出し用の等速の垂直同期信号（ＶＤ）と、を入力し、倍速の映像信号（×２Ｇ１Ｖｉ）を蓄積し、又は等速の映像信号（Ｇ１Ｖｉ）を読み出して出力する。出力された映像信号（Ｇ１Ｖｉ）はＧ１撮像信号ともいう。

ＣＭＯＳ撮像素子３Ｇ２は、蓄積用の倍速のクロック（×２ＣＬＫ）又は読出し用の等速のクロック（ＣＬＫ）と、蓄積用の倍速の水平同期信号（×２ＨＤ）又は読出し用の等速の水平同期信号（ＨＤ）と、蓄積用の４倍速の垂直同期信号（×４ＶＤ）又は位相をずらした倍速の垂直同期信号（Offset×２ＶＤ）若しくは読出し用の等速の垂直同期信号（ＶＤ）と、を入力し、倍速の映像信号（×２Ｇ２Ｖｉ）を蓄積し、又は等速の映像信号（Ｇ２Ｖｉ）を読み出して出力する。出力された映像信号（Ｇ２Ｖｉ）はＧ２撮像信号ともいう。

ＣＭＯＳ撮像素子３Ｒは、等速のクロック（ＣＬＫ）と水平同期信号（ＨＤ）と垂直同期信号（ＶＤ）とを入力し、等速の映像信号（ＲＶｉ）を出力する。出力された映像信号（ＲＶｉ）はＲ撮像信号ともいう。

映像信号処理回路４は、等速の映像信号（ＲＶｉ）を入力し映像信号（ＲＶｏ）を出力し、等速の映像信号（Ｇ１Ｖｉ）および等速の映像信号（Ｇ２Ｖｉ）を入力し映像信号（ＧＶｏ）を出力し、等速の映像信号（ＢＶｉ）を入力し映像信号（ＢＶｏ）を出力する。

図２Ａ、２Ｂは実施例に係る撮像装置の動作を示す模式図であり、図２ＡはＲＧ１Ｇ２Ｂの２倍速と等速の蓄積期間を示す図であり、図２ＢはＲＧ１Ｇ２Ｂの２倍速と等速の蓄積の読出し期間を示す図である。

映像出力垂直周期を６０ｐ（１秒間に６０コマ）とすると、等速のＲの撮像垂直周期は６０ｐ、等速のＧ１の撮像垂直周期は６０ｐ、倍速のＧ１の撮像垂直周期は１２０ｐ、倍速のＧ２の撮像垂直周期は１２０ｐ、等速のＢの撮像垂直周期６０ｐである。

図２Ａに示すように、奇数フレームは、Ｒ、Ｇ１、Ｂを出力映像コマ数（蓄積周期＝映像出力垂直周期＝６０ｐ）で撮像しＧ２を出力映像コマ数の２倍（蓄積周期＝２×映像出力垂直周期＝１２０ｐ）で撮像し、出力映像に用いるＲ、Ｇ１、Ｂの撮像コマ位相がＧ２の撮像コマの概略中心タイミングになるようにＲ、Ｇ１、Ｂの撮像コマの１／４程Ｇ２の位相をずらす（オフセットする）。偶数フレームでＧ１を１２０ｐの蓄積周期で蓄積したフォトダイオード（ＰＤ）の電荷は一度掃き捨ててから、奇数フレームでＧ１を６０ｐの蓄積周期で蓄積する。同様に、偶数フレームでＧ２を６０ｐの蓄積周期で蓄積したＰＤの電荷は一度掃き捨ててから、奇数フレームでＧ２を１２０ｐの蓄積周期で蓄積する。ＰＤからフレームメモリに転送してから掃き捨てまでの時間はオフセット量（Ｇ１の撮像コマの１／４程≒２４０ｐ）としている。

図２Ａに示すように、偶数フレームは、Ｒ、Ｇ２、Ｂを出力映像コマ数で撮像しＧ１を出力映像コマ数の２倍で撮像し、出力映像に用いるＲ、Ｇ２、Ｂの撮像コマ位相がＧ１撮像コマの概略中心タイミングになるようにＲ、Ｇ２、Ｂの撮像コマの１／４程Ｇ１の位相をずらす。偶数フレームでＧ２を１２０ｐの蓄積周期で蓄積したＰＤの電荷は一度掃き捨ててから、奇数フレームでＧ２を６０ｐの蓄積周期で蓄積する。同様に、偶数フレームでＧ１を６０ｐの蓄積周期で蓄積したＰＤの電荷は一度掃き捨ててから、奇数フレームでＧ１を１２０ｐの蓄積周期で蓄積する。ＰＤからフレームメモリに転送してから掃き捨てまでの時間はオフセット量（Ｇ２の撮像コマの１／４程≒２４０ｐ）としている。

図２Ｂに示すように、奇数フレームは、Ｒ、Ｇ１、Ｂを出力映像コマ数（映像出力垂直周期＝６０ｐ）で通常の感度およびダイナミックレンジで読み出し、Ｇ２を出力映像コマ数（映像出力垂直周期＝６０ｐ）で通常の１／２の感度および２倍のダイナミックレンジで読み出す。

図２Ｂに示すように、偶数フレームは、Ｒ、Ｇ２、Ｂを出力映像コマ数（映像出力垂直周期＝６０ｐ）で通常の感度およびダイナミックレンジで読み出し、Ｇ１を出力映像コマ数（映像出力垂直周期＝６０ｐ）で通常の１／２の感度および２倍のダイナミックレンジで読み出す。

実施例では、ＲＧ１Ｇ２Ｂの４板でＧ１、Ｇ２を交互に倍速蓄積と等速読出しを行う。

次に、実施例の補間処理について図４を用いて説明する。図４は実施例に係る補間処理を示すブロック図である。

映像信号処理回路４は映像信号処理部１０４と撮像素子駆動部１９０とを備える。映像信号処理部１０４は、倍率色収差と貼合誤差補正部１０７、補間処理部１０８、ガンマ補正輪郭補正含む映像信号処理部１１４、映像信号出力部１８０で構成されている。

倍率色収差と貼合誤差補正部１０７は、入力されたＧ１信号、Ｇ２信号、Ｒ信号、Ｂ信号に対して、レンズで発生する倍率色収差の補正と、撮像素子と色分解光学系５の貼り合せ誤差の補正を行い、補間処理部１０８に出力する。

補間処理部１０８は、選択部１１５、ＬＰＦ（Low Pass Filter）部１１０、ＬＰＦ部１１１、ＬＰＦ部１１２、ＬＰＦ部１１３、減算部１１６、加算部１１８、加算部１１９、加算部１２０、加算部２１３、増幅器（Ａ１）１２１、増幅器（Ａ２）１２２で構成されている。

補間処理部１０８は、入力されたＧ１信号とＧ２信号をフレームごとに交互に増幅器１２１、１２２でＮ倍して感度を揃えて選択部１１５で加算してＧ１＋Ｇ２信号を生成し、ＬＰＦ部１１１の画素遅延部２０９と画素遅延部２１１とでＧ１＋Ｇ２信号を遅延させ、加算部１１７と加算部２１２で遅延していないＧ１＋Ｇ２信号と遅延させたＧ１＋Ｇ２信号を加算し、ビットシフト部２１０で感度を揃え、減算部１１６でビットシフト部２１０の出力を画素遅延部２０９の出力で減算してＧ差分信号を生成する。

加算部１２０は感度１／ＮでダイナミックレンジＮ倍のＧ２撮像信号（または通常の感度で通常のダイナミックレンジのＧ１撮像信号）と通常の感度で通常のダイナミックレンジのＧ１撮像信号（または感度１／ＮでダイナミックレンジＮ倍のＧ２撮像信号）を加算する。ＬＰＦ部１１０は加算部１２０で生成したＧ１撮像信号（またはＧ２撮像信号）を主に低域Ｇ信号を作成してＲＧ１Ｂ撮像信号（またはＲＧ２Ｂ撮像信号）を主となるがＧ２（またはＧ１）により高ダイナミックレンジの低域輝度信号を作成する。

加算部２１３はＬＰＦ部１１０で処理した信号にＧ差分信号を加算する。加算部１１８はＲ信号をＬＰＦ部１１２で処理した信号にＧ差分信号を加算する。加算部１１９はＧ信号をＬＰＦ部１１３で処理した信号にＧ差分信号を加算する。

図３Ｂは変形例に係る撮像装置の回路を示すブロック図である。

ＣＭＯＳ撮像素子３Ｂは、等速のクロック（ＣＬＫ）と等速の水平同期信号（ＨＤ）と等速の垂直同期信号（ＶＤ）とを入力し、等速の映像信号（ＢＶｉ）を出力する。

ＣＭＯＳ撮像素子３Ｇ1は、蓄積読出用の３倍速のクロック（×３ＣＬＫ）又は蓄積読出用の等速のクロック（ＣＬＫ）と、蓄積読出用の３倍速の水平同期信号（×３ＨＤ）又は蓄積読出用の等速の水平同期信号（ＨＤ）と、蓄積読出用の３倍速の垂直同期信号（×３ＶＤ）又は蓄積読出用の等速の垂直同期信号（ＶＤ）とを入力し、３倍速の映像信号（×３Ｇ１Ｖｉ）を蓄積し、または等速の映像信号（Ｇ１Ｖｉ）を読み出して出力する。

ＣＭＯＳ撮像素子３Ｇ２は、蓄積読出用の３倍速のクロック（×３ＣＬＫ）又は蓄積読出用の等速のクロック（ＣＬＫ）と、蓄積読出用の３倍速の水平同期信号（×３ＨＤ）又は蓄積読出用の等速の水平同期信号（ＨＤ）と、蓄積読出用の３倍速の垂直同期信号（×３ＶＤ）又は蓄積読出用の等速の垂直同期信号（ＶＤ）とを入力し、３倍速の映像信号（×３Ｇ２Ｖｉ）を蓄積し、等速の映像信号（Ｇ２Ｖｉ）を読み出して出力する。

ＣＭＯＳ撮像素子３Ｒは、等速のクロック（ＣＬＫ）と水平同期信号（ＨＤ）と垂直同期信号（ＶＤ）とを入力し、等速の映像信号（ＲＶｉ）を出力する。

図２Ｃ、２Ｄは変形例の動作を示す模式図であり、図２ＣはＲ、Ｇ１、Ｇ２、Ｂの３倍速と等速の蓄積期間を示す図であり、図２ＤはＲ、Ｇ１、Ｇ２、Ｂの３倍速と等速の蓄積の読出し期間を示す図である。

映像出力垂直周期を６０ｐ（１秒間に６０コマ）とすると、等速のＲの撮像垂直周期は６０ｐ、等速のＧ１の撮像垂直周期は６０ｐ、３倍速のＧ１の撮像垂直周期は１８０ｐ、３倍速のＧ２の撮像垂直周期は１８０ｐ、等速のＢの撮像垂直周期６０ｐである。

図２Ｃに示すように、奇数フレームは、Ｒ、Ｇ１、Ｂを出力映像コマ数（蓄積周期＝映像出力垂直周期＝６０ｐ）で撮像しＧ２を出力映像コマ数の３倍（蓄積周期＝３×映像出力垂直周期＝１８０ｐ）で撮像し、出力映像に用いるＲ、Ｇ１、Ｂの撮像コマ位相がＧ２の撮像コマの概略中心タイミングになるようにＲ、Ｇ１、Ｂ撮像コマの１／３程Ｇ２の位相をずらす（オフセットする）。偶数フレームでＧ１を１８０ｐの蓄積周期で蓄積したＰＤの電荷は一度掃き捨ててから、奇数フレームでＧ１を６０ｐの蓄積周期で蓄積する。同様に、偶数フレームでＧ２を６０ｐの蓄積周期で蓄積したＰＤの電荷は一度掃き捨ててから、奇数フレームでＧ２を１８０ｐの蓄積周期で蓄積する。ＰＤからフレームメモリに転送してから掃き捨てまでの時間はオフセット量（Ｇ１の撮像コマの１／３程≒１８０ｐ）としている。

図２Ｃに示すように、偶数フレームは、Ｒ、Ｇ２、Ｂを出力映像コマ数で撮像しＧ１を出力映像コマ数の３倍で撮像し、出力映像に用いるＲ、Ｇ２、Ｂの撮像コマ位相がＧ１の撮像コマの概略中心タイミングになるようにＲ、Ｇ２、Ｂの撮像コマの１／３程Ｇ１の位相をずらす。偶数フレームでＧ２を１８０ｐの蓄積周期で蓄積したＰＤの電荷は一度掃き捨ててから、奇数フレームでＧ２を６０ｐの蓄積周期で蓄積する。同様に、偶数フレームでＧ１を６０ｐの蓄積周期で蓄積したＰＤの電荷は一度掃き捨ててから、奇数フレームでＧ１を１８０ｐの蓄積周期で蓄積する。ＰＤからフレームメモリに転送してから掃き捨てまでの時間はオフセット量（Ｇ２の撮像コマの１／３程≒１８０ｐ）としている。

図２Ｄに示すように、奇数フレームは、Ｒ、Ｇ１、Ｂを出力映像コマ数（映像出力垂直周期＝６０ｐ）で通常の感度およびダイナミックレンジで読み出し、Ｇ２を出力映像コマ数の３倍（読出周期＝３×映像出力垂直周期＝１８０ｐ）で通常の１／３の感度および３倍のダイナミックレンジで読み出す。

図２Ｄに示すように、偶数フレームは、Ｒ、Ｇ２、Ｂを出力映像コマ数（映像出力垂直周期＝６０ｐ）で通常の感度およびダイナミックレンジで読み出し、Ｇ１を出力映像コマ数の３倍（読出周期＝３×映像出力垂直周期＝１８０ｐ）で通常の１／３の感度および３倍のダイナミックレンジで読み出す。

変形例では、ＲＧ１Ｇ２Ｂの４板でＧ１、Ｇ２を交互に３倍速蓄積と等速読出しを行う。

つまり、実施例、変形例（本実施例）に係る撮像装置は、Ｒ、Ｇ１、Ｇ２、Ｂに色分解する色分解光学系と、Ｒを撮像するＲ撮像素子と、Ｇ１を撮像するＧ１撮像素子と、Ｇ２を撮像するＧ２撮像素子と、Ｂを撮像する撮像素子と、Ｒ撮像素子、Ｂ撮像素子、Ｇ１撮像素子、Ｇ２撮像素子からの映像信号を処理しＨＤＲ映像を出力する映像信号処理回路と、を備える。

Ｒ撮像素子は、奇数フレームおよび偶数フレームにおいて、Ｒを出力映像コマ数（出力映像周期）で撮像する。

Ｇ１撮像素子は、
奇数フレームにおいて、Ｇ１を出力映像コマ数（出力映像周期）で撮像し、
偶数フレームにおいて、出力映像に用いるＲ、Ｇ２、Ｂの撮像コマ（蓄積周期）位相がＧ１の撮像コマ（蓄積周期）の概略中心タイミングになるように、Ｒ、Ｇ２、Ｂの撮像コマ（蓄積周期）の（Ｎ−１）／２Ｎ程位相をずらして、Ｇ１を出力映像コマ数のＮ倍のコマ数で撮像（出力映像周期の１／Ｎの周期で蓄積）する。

Ｇ２撮像素子は、
奇数フレームにおいて、出力映像に用いるＲ、Ｇ１、Ｂの撮像コマ（蓄積周期）位相が前記Ｇ２の撮像コマ（蓄積周期）の概略中心タイミングになるように、Ｒ、Ｇ１、Ｂの撮像コマ（蓄積周期）の（Ｎ−１）／２Ｎ程位相をずらして、Ｇ２を出力映像コマ数のＮ倍のコマ数で撮像（出力映像周期の１／Ｎの周期で蓄積）し、
偶数フレームにおいて、Ｇ２を出力映像コマ数（出力映像周期）で撮像する。

Ｂ撮像素子は、奇数フレームおよび偶数フレームにおいて、Ｂを出力映像コマ数（出力映像周期）で撮像する。

映像信号処理回路は、
奇数フレームにおいて、
（ａ）感度１／ＮでダイナミックレンジＮ倍のＧ２撮像素子で撮像したＧ２撮像信号と通常の感度で通常のダイナミックレンジのＧ１撮像素子で撮像したＧ１撮像信号とを加算してＧ１撮像信号を主に低域Ｇ信号を作成（Ｒ撮像信号、Ｇ１撮像信号、Ｂ撮像信号を主となるがＧ２により高ダイナミックレンジの低域輝度信号を作成）し、
（ｂ）感度１／ＮのＧ２撮像信号をＮ倍してからＧ１撮像信号と選択して高域差分信号を生成して、生成した高域差分信号を、Ｒ撮像素子で撮像したＲ撮像信号の低域通過信号と、低域Ｇ信号と、Ｂ撮像素子で撮像したＢ撮像信号の低域通過信号と、に加算して感度を揃えたＧ１撮像信号＋Ｇ２撮像信号を主に高域輝度信号を作成し、
偶数フレームにおいて、
（ａ）感度１／ＮでダイナミックレンジＮ倍のＧ１撮像素子で撮像したＧ１撮像信号と通常の感度で通常のダイナミックレンジのＧ２撮像素子で撮像したＧ２撮像信号とを加算してＧ２撮像信号を主に低域Ｇ信号を作成（Ｒ撮像信号、Ｇ２撮像信号、Ｂ撮像信号を主となるがＧ１により高ダイナミックレンジの低域輝度信号を作成）し、
（ｂ）感度１／ＮのＧ１撮像信号をＮ倍してからＧ２撮像信号と選択して高域差分信号を生成して、生成した高域差分信号を、Ｒ撮像素子で撮像したＲ撮像信号の低域通過信号と、低域Ｇ信号と、Ｂ撮像素子で撮像したＢ撮像信号の低域通過信号に加算して感度を揃えたＧ１撮像信号＋Ｇ２撮像信号を主に高域輝度信号を作成する。

上記の撮像装置において、
Ｒ撮像素子、Ｇ１撮像素子、Ｇ２撮像素子およびＢ撮像素子はそれぞれＦＩＴ−ＣＣＤ又はグローバルシャッタＣＭＯＳ撮像素子のフォトダイオードの蓄積時間と読出し時間が独立に設定できる撮像素子であり、
Ｇ１撮像素子は、偶数フレームにおいて、出力映像に用いるＲ、Ｇ２、Ｂの撮像コマ（蓄積周期）位相がＧ１の撮像コマ（蓄積周期）の概略中心タイミングになるように、Ｒ、Ｇ２、Ｂの撮像コマ（蓄積周期）の１／４程位相をずらして、Ｇ１を出力映像コマ数の２倍のコマ数で撮像（出力映像周期の１／２の周期で蓄積）する。

Ｇ２撮像素子は、奇数フレームにおいて、出力映像に用いるＲ、Ｇ１、Ｂの撮像コマ（蓄積周期）位相が前記Ｇ２の撮像コマ（蓄積周期）の概略中心タイミングになるように、Ｒ、Ｇ１、Ｂの撮像コマ（蓄積周期）の１／４程位相をずらして、Ｇ２を出力映像コマ数の２倍のコマ数で撮像（出力映像周期の１／２の周期で蓄積）する。

又は、上記の撮像装置において、
Ｒ撮像素子、Ｇ１撮像素子、Ｇ２撮像素子およびＢ撮像素子はそれぞれＦＩＴ−ＣＣＤ又はグローバルシャッタＣＭＯＳ撮像素子のフォトダイオードの蓄積時間と読出し時間が独立に設定できる撮像素子であり、
Ｇ１撮像素子は、偶数フレームにおいて、出力映像に用いるＲ、Ｇ２、Ｂの撮像コマ（蓄積周期）位相がＧ１の撮像コマ（蓄積周期）の概略中心タイミングになるように、Ｒ、Ｇ２、Ｂの撮像コマ（蓄積周期）の１／３程位相をずらして、Ｇ１を出力映像コマ数の３倍のコマ数で撮像（出力映像周期の１／３の周期で蓄積）する。

Ｇ２撮像素子は、奇数フレームにおいて、出力映像に用いるＲ、Ｇ１、Ｂの撮像コマ（蓄積周期）位相が前記Ｇ２の撮像コマ（蓄積周期）の概略中心タイミングになるように、Ｒ、Ｇ１、Ｂの撮像コマ（蓄積周期）の１／３程位相をずらして、Ｇ２を出力映像コマ数の３倍のコマ数で撮像（出力映像周期の１／３の周期で蓄積）する。

本実施例によれば、高価なダイナミックレンジの広い撮像素子を用いることなく、電子的に合成することによりダイナミックレンジを広げ、ＵＨＤＴＶ８Ｋカメラや４ＫカメラをＨＤＲハイダイナミックレンジに対応できる。低価格な撮像素子を活用でき、広い運用範囲を確保できる。そして、ＵＨＤＴＶ８Ｋカメラや４Ｋカメラの映像制作の自由度が増加する。

特に、昼間の日光の５６００Ｋの色温度でＲの感度が下がる屋外の中継や、メタルハライド照明や発光ダイオード等の高色温度照明でＲの感度が下がる中継や監視や検査で有効である。また、同一フレーム内信号処理で残像がなく、スポーツ中継や監視や検査で有効である。

その結果、高画質の映像信号を生成する用途の放送用カメラや高い信頼性が要求される原子力発電所や新幹線等の監視用カメラや自動車の車体塗装や織物等の確認の産業用カメラ等に適用できる。

１：レンズ
２：撮像装置
３Ｂ、３Ｇ１、３Ｇ２、３Ｒ：撮像素子
４：映像信号処理回路
５：４色分解光学系
６：ＣＰＵ
１０４：映像信号処理部
１０８：補間処理部
１１０、１１１、１１２、１１３：ＬＰＦ部
１１５：選択部
１１６：減算部
１１８、１１９、１２０、２１３：加算部
１２１，１２２：増幅器

Claims (3)

1. Ｒ、Ｇ１、Ｇ２、Ｂに色分解する色分解光学系と、
   前記Ｒを撮像するＲ撮像素子と、
   前記Ｇ１を撮像するＧ１撮像素子と、
   前記Ｇ２を撮像するＧ２撮像素子と、
   前記Ｂを撮像するＢ撮像素子と、
   前記Ｒ撮像素子、前記Ｂ撮像素子、前記Ｇ１撮像素子、前記Ｇ２撮像素子からの映像信号を処理する映像信号処理回路と、
   を備え、
   前記Ｒ撮像素子は、奇数フレームおよび偶数フレームにおいて、前記Ｒを出力映像コマ数で撮像し、
   前記Ｇ１撮像素子は、
   前記奇数フレームにおいて、前記Ｇ１を出力映像コマ数で撮像し、
   前記偶数フレームにおいて、前記Ｒ、前記Ｇ２、前記Ｂの撮像コマの（Ｎ−１）／２Ｎ程位相をずらして、前記Ｇ１を出力映像コマ数のＮ倍のコマ数で撮像し、
   前記Ｇ２撮像素子は、
   前記奇数フレームにおいて、前記Ｒ、前記Ｇ１、前記Ｂの撮像コマの（Ｎ−１）／２Ｎ程位相をずらして、前記Ｇ２を出力映像コマ数のＮ倍のコマ数で撮像し、
   前記偶数フレームにおいて、前記Ｇ２を出力映像コマ数で撮像し、
   前記Ｂ撮像素子は、前記奇数フレームおよび前記偶数フレームにおいて、前記Ｂを出力映像コマ数で撮像し、
   前記映像信号処理回路は、
   前記奇数フレームにおいて、前記Ｇ２撮像素子で撮像したＧ２撮像信号と前記Ｇ１撮像素子で撮像したＧ１撮像信号を加算して低域Ｇ信号を作成し、前記Ｇ２撮像信号をＮ倍した信号と前記Ｇ１撮像信号とを加算して第一加算信号を生成し、該第一加算信号を遅延して第一遅延加算信号を生成し、該第一遅延加算信号を遅延して第二遅延加算信号を生成し、前記第一加算信号と前記第一遅延加算信号とを加算して第二加算信号を生成し、該第二加算信号と前記第二遅延加算信号とを加算して第三加算信号を生成し、該第三加算信号をビットシフトした信号を前記第一遅延加算信号で減算して高域差分信号を生成して、前記高域差分信号を、前記Ｒ撮像素子で撮像したＲ撮像信号の低域通過信号と、前記低域Ｇ信号と、前記Ｂ撮像素子で撮像したＢ撮像信号の低域通過信号とに加算し、
   前記偶数フレームにおいて、前記Ｇ１撮像素子で撮像したＧ１撮像信号と前記Ｇ２撮像素子で撮像したＧ２撮像信号を加算して低域Ｇ信号を作成し、前記Ｇ１撮像信号をＮ倍した信号と前記Ｇ２撮像信号とを加算して第一加算信号を生成し、該第一加算信号を遅延して第一遅延加算信号を生成し、該第一遅延加算信号を遅延して第二遅延加算信号を生成し、前記第一加算信号と前記第一遅延加算信号とを加算して第二加算信号を生成し、該第二加算信号と前記第二遅延加算信号とを加算して第三加算信号を生成し、該第三加算信号をビットシフトした信号を前記第一遅延加算信号で減算して高域差分信号を生成して、前記高域差分信号を、前記Ｒ撮像素子で撮像したＲ撮像信号の低域通過信号と、前記低域Ｇ信号と、前記Ｂ撮像素子で撮像したＢ撮像信号の低域通過信号に加算する撮像装置。
2. 請求項１の撮像装置において、
   前記Ｒ撮像素子、前記Ｇ１撮像素子、前記Ｇ２撮像素子および前記Ｂ撮像素子はそれぞれＦＩＴ−ＣＣＤ又はグローバルシャッタＣＭＯＳ撮像素子のフォトダイオードの蓄積時間と読出し時間が独立に設定できる撮像素子であり、
   前記Ｎは２である撮像装置。
3. 請求項１の撮像装置において、
   前記Ｒ撮像素子、前記Ｇ１撮像素子、前記Ｇ２撮像素子および前記Ｂ撮像素子はそれぞれＦＩＴ−ＣＣＤ又はグローバルシャッタＣＭＯＳ撮像素子のフォトダイオードの蓄積時間と読出し時間が独立に設定できる撮像素子であり、
   前記Ｎは３である撮像装置。

Images