明 細 書
発明 の 名称
水平 ラ イ ン 補間機能付 き 撮像装置 技術分野
本発明 は 、 ビ デ オ カ メ ラ 等 ?)撮像装置 に お い て電子的 ズ ー ム 機能回路及 び動 き 捕正 を行 う 動 き 捕正回路及 び高画質 な フ レ ー ム 画像信号を 得 る 機能 に関す る も の で あ り 、 特 に 映像信号 に 演 算処理 を施 し て電子的 な水平 ラ イ ン の捕間処理を 行 う 水平 ラ イ ン 捕間機能を 備 え た 、 及 び映像信号 に演算処理を施 し て擬似的 に フ レ ー ム 信号を作成す る 機能を備 え た 、 水平 ラ イ ン補間機能 付 き 撮像装置 に 関 す る も の で あ る 。 背景技術
近年、 ビ デ オ カ メ ラ 等の撮像装置 に お い て は 、 小型 . 計量 . 高倍率 ズ ー ム 化 、 更 に 多機能化 が進 み 、 光学 ズ ー ム と 電子的 ズ ー ム 機能 を連動 し た商品開発が行わ れて い る 。 ま た ユ ー ザ ー 層が従来の マ ニ ア に加 え て子供か ら お年寄 り ま で拡大が進 む こ とにより、 手ぶれによる画面揺れが発生し電子的ズーム機能を用いた動き補 正回路 を備 え た撮像装置が商品化 さ れて い る 。
従来 の電子的 ズ ー ム 機能を用 い た 動 き 補正装置 と し て は 、 例 え ば T V 学 会技術 ¾告 V 0 L . 1 1 . 0 3 ( m a y . 1 8 8 7 ) 等 に示 さ れて い る 。
以下 に 、 従来 の電子 ズ ー ム 機能を有す る 動 き 補正回路 に つ い て説明 す る 。
入力信号は A / D変換回路 で デ ジ タ ル信号 と な り 、 動 き べ ク ト ル検 出回路及 び メ モ リ 回路 に入力 す る 、 動 き べ ク ト ル検 出回 路で は 、 2 フ ィ ー ル ド の映像信号を 比較 し て動 き べ ク ト ル を検 出 し 、 メ モ リ 制御回路で は動 き べ ク ト ルを 用 い て メ モ リ 回路か ら 手ぶれ捕正 さ れた切 り 出 し 信号を得 る 、 メ モ リ 出力信号 は捕 間制御回路 に よ り 制御 さ れ る 捕間回路 に よ つ て正規 の映像信号 と な り 、 D / A変換回路で ア ナ ロ グ信号 と な る 。
こ の よ う に 、 2 フ ィ ー ル ド の 映像信号力、 ら 動 き べ ク ト ル を検 出 し 、 補間機能 に よ り 手ぶれ補正を行 っ て い る 。
ま た 、 従来 の水平 ラ イ ン補間機能 を有す る 撮像装置の 例 と し て は 、 例え ば本出願人が出願 し 、 登録 に な っ た米 _国特許 4, 9 5 1, 1 2 5 (登録日 ' 9 0. 8. 2 1 ) 「撮像装置」 があ げ ら れる。 以下 に 、 従来の電子 ズ ー ム 機能を有す る 動 き 捕正回路 に つ い て説明 す る 。
上記 の従来例 は 、 固体撮像素子 と 、 制御信号( C 1 と す る) に よ り 前記固体撮像素子 の垂直転送(走査)の転送 · 停止の 制御を 行 う 撮像素子駆動回路 と 、 前記固体撮像素子の 出力信号 S 0 を 制御信号( C 2 と す る) に よ り 第 1 の ラ イ ン メ モ リ M l 〜第 n の ラ イ ン メ モ リ M n ( n ≥ 3 、 n は整数)へ振 り 分 け る 切換器 と 、 前記 ラ イ ン メ モ リ M l 〜 M n の う ち の m ラ イ ン ( 2 ≤ m < n、 m は 整数) の 出 力 信号 を制御信号( C 3 と す る) に よ り 選択 す る セ レ ク 夕 と 、 前記 セ レ ク 夕 の 出力信号 S l 〜 S m に そ れ ぞ れ重み 付 け信号 W l ~ W mを乗算す る 1 つ ま た は複数の乗算器 と 、 前 記乗算器 の 出力信号を加算す る 加算器 と 、 前記制御信号 C l 、 C 2、 C 3、 W 1 ~ W mを出力す る 制御信号発生回路か ら な り 、
前記 セ レ ク タ が選択 し た 残 り の前記 ラ イ ン メ モ リ M x ( l ≤. X ≤ n . x は 整数) に 記憶 さ れ て い る 信号が、 前記 ラ イ ン メ モ リ M l ~ M n の う ち 最 も 古 い信号で あ る と き に 、 前記固体撮像素 子 の 垂直転送 (走査) を 行 い新 た な 1 ラ イ ン の 信 S O newを 出 力 し 、 前記 ラ イ ン 目 折 M x に前記信号 S O newを書 き 込 む よ う に前記切換器が制御 さ れ る よ .う に構成 さ れ た も の で あ る 。
上記 の よ う な 、 捕間機能を備 え た撮像装置 に お い て は 、 捕間 処理 の 際 に 周 波数 レ ス ポ ン ス 特性の劣化が生 じ る こ と も あ り 、 従 っ て画質 に影響す る と い う 課題が あ っ た 。 発明 の 開示
本発明 は 、 従来の補間機能を備 え た撮像装置 に お け る 捕間処 理 の 際 の周 波数 レ ス ポ ン ス 特性の劣化を改善 し 、 高画質 な補間 処理画像 を 得 る た め の も の で あ り 、 第 1 に 、 従来 の電子的 ズ — ム 機能回路で見 ら れた 捕間水平 ラ イ ン作成 の 際 の 周 波数 レ ス ポ ン ス 特性 の劣化を軽減す る こ と を 目 的 と す る 。
第 2 に 、 静止画作成機能を備え た撮像装置 に お い て 、 フ レ ー ム 静止画 を作成 し 、 高画質 な静止画 出力 を行 う こ と を 目 的 と す る 。 上記 目 的 を達成す る た め に 、 本発明 は 、 撮像装置 に お い て異 な る 3 つ の色信号を得 る た め の複数の固体撮像素子 と 、 撮 像装置 か ら 得 ら れ る こ れ ら 3 つ の色信号の う ち の 一部 の 色信号 の垂直方向 の位相 を あ る 一定 ピ ッ チ だ け シ フ 卜 さ せ る 垂直位相 シ フ ト 部 と 、 そ の位相 の シ フ ト に 合 わせ て捕間処理 の際 の補間 係数 を変化 さ せ る 係数発生補助回路を有 し 、
本構成で は 、 複数 の 固体撮像素子か ら 得 ら れ る 3 つ の 色信号
- 4 - は垂直位相 シ フ ト 部 に よ り 垂直方向 の位相 が同位相 と な ら ず、 こ の た め捕間処理を行 っ た 際 に 、 捕間処理 に伴 う 垂直方向 の周 波数 レ ス ポ ン ス 特性の 劣化が 3 つ の色信号で異 な る た め 、 特 に 2 つ の入力 ラ イ ン の 中央付近 で捕間 さ れた 出力 ラ イ ン の垂直方 向 の周波数 レ ス ポ ン ス 特性 の劣化を軽減で き 、 水平 ラ イ ン 補間 の際の垂直方向の尖鋭度の劣化を減少させ る こ と が可能 と な る 。
ま た 、 前記垂直位相 シ フ ト 部を前記固体撮像素子を駆動す る 少 な く と も 1 つ 以上 の 撮像素子駆動回路 と 、 前記撮像素子駆動 回路 を制御す る 駆動制御回路 に置 き 換え る 構成 と し て も 同様 の 効果が得 ら れ る 。
ま た 、 前記垂直位相 シ フ 卜 部を前記固体撮像素子を駆動す る 少な く と も 1 っ 以上の撮像素子駆動回路 と 、 前記撮像素子駆動 回路 を制御す る 駆動制御回路 と 、 垂直内挿選択回路 に置 き 換え る 構成 と し 、 前記垂直 内挿選択回路 に よ り 、 垂直 内挿 o n時 は前 記駆動制御回路 が、 前記撮像素子駆動回路 を制御 し て前記 3 つ の 色信号の垂直方向 の位相 が同位相 と な ら な い よ う に し 、 垂直 内挿 o f f 時 は 前記駆動制御回路 が、 前記撮像素子駆動回路 を 制 御 し て前記 3 つ の 色信号の垂直方向 の位相 を一致 さ せ る こ と に よ り 、 垂直 内挿 o n時は 、 水平 ラ イ ン補間 の 際の垂直方向 の尖鋭 度の劣化を減少 さ せ る こ と が可能 と な り 、 捕間処理を行わ な い 場合 は 、 垂直 内 挿 o f f と す る こ と に よ り 、 垂直方 向 の 位相 が一 致 し た 3 つ の 色信号が得 ら れ垂直解像度劣化の無 い高解像度 の 映像が得 ら れ る 。
ま た 、 信号 の 周 波数特性を制御す る フ ィ ル タ ー 回路を付加す る こ と に よ り 、 垂直方向 の 位相 シ フ 卜 に 伴 う 偽信号を除去 す る
こ と が可能 と な る 。
ま た 、 前記 3 つ の色信号か ら 擬似 フ レ ー ム 信号を得 る フ レ ー ム 演算回路 と 、 前記 フ レ ー ム 演算回路出力信号か ら 補間水平 ラ イ ン 信号を得 る 捕間回路 と を付加す る こ と に よ り 、 垂直位相 シ フ ト 部 に よ り 垂直方向 の位相 を シ フ 卜 さ れ た前記 3 つ の色信号 か ら 作成す る 擬似 フ レ ー ム 信号か ら 、 捕間回路 に よ り 補間水平 ラ イ ン を得 る こ と が で き 、 水平 ラ イ ン補間 の際 の垂直方向 の尖 鋭度 の 劣化を 減少 さ せ る こ と が可能 と な る 。
ま た 、 前記 フ レ ー ム 演算回路出力信号か ら フ レ ー ム 静止画像 を得 る フ レ ー ム静止画回路を付加す る こ と に よ り 、 垂直位相 シ フ ト 部 に よ り 垂直方向 の位相 を シ フ ト さ れ た前記 3 つ の 色信号 か ら 作成す る 擬似 フ レ ー ム 信号か ら 、 高画質な フ レ ー ム 静止画 像 を得 る こ と が可能 と な る 。
ま た 、 こ の 構成 に垂直内挿選択回路を付加 し 、 前記垂直内挿 選択回路 に よ り 、 垂直内挿 o n時 は前記駆動制御回路が、 前記撮 像素子駆動回路を制御 し て前記 3 つ の色信号の垂直方向 の位相 が同 位相 と な ら な い よ う に し 、 垂直内挿 o f f 時 は 前記駆動制御 回路が、 前記撮像素子駆動回路を制御 し て前記 3 つ の色信号の 垂直方 向 の位相 を一致 さ せ る こ と に よ り 、 垂直内挿 o n時 は 、 垂 直方向 の位相 の異 な る 3 つ の 色信号が得 ら れ、 こ れ ら 垂直方向 の位相 の異 な る 3 つ の色信号か ら 作成す る 擬似 フ レ ー ム 信号か ら 、 高画質な フ レ ー ム静止画像を得 る こ と が可能 と な る 。 ま た 、 静止画作成処理 を 行 わ な い 場合 は 、 垂直 内挿 o f f と す る こ と に よ り 、 垂直方向 の位相 が一致 し た 3 つ の色信号が得 ら れ垂直解 像度劣化 の無 い高解像度 の 映像が得 ら れ る 。
図面 の簡単 な説明
図 1 は 、 第 1 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮像 装置の構成を示す プ ロ ッ ク 図
図 2 ( a )は 、 第 1 の実施例 に お け る 位相 シ フ ト 部 4、 5 の作 用 を示す模式図
図 2 ( b )は 、 第 1 の 実施例 に お け る 色分解 プ リ ズ ム の 構成例 図 3 は 、 第 1 の実施例 に お け る 補間回路 1 4 の具体的 な構成 を示す模式図
図 4 ( a )、 図 4 ( b )、 図 4 ( c )、 図 4 ( d )は、 第 1 の実施例 に お け る 補間回路 1 4 で の補間処理の方法を説明 す る た め の図 図 5 は 、 第 1 の実施例 に お け る p l = p 2 = 1ノ 2 の場合 の 位相 シ フ ト 部 4、 5 の作用 を示す模式図
図 6 ( a )、 図 6 ( b )、 図 6 ( c )、 図 6 ( d )は 、 第 1 の 実施例 に お け る p 1 = p 2 = 1 / 2 の場 合 の 補間回路 1 4 で の 補間処 理 の方法を説明 す る た め の図
図 7 は第 2 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮像装 置 の構成を示 す プ ロ ッ ク 図
図 8 は 、 第 2 の実施例 に お け る 位相 シ フ ト 部 4 の作用 を示す 模式図
図 9 は 、 第 2 の実施例 に お け る 固体撮像素子 2 の受光面 の構 成を示す図
図 1 0 は 、 第 2 の実施例 に お け る 2 色分解 プ リ ズ ム の構成例 図 1 1 ( a )、 図 1 1 ( b )、 図 1 1 ( c )、 図 1 1 ( d )
は 、 第 2 の実施例 に お け る 補間回路 1 4 で の捕間処理の方法 を 説明 す る た め の 図
図 1 2 は 、 第 3 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置の ブ ロ ッ ク 図
図 1 3 は 、 第 3 、 第 7 、 第 8 の実施例 に お け る 水平 ラ イ ン補 間機能付 き撮像装置の撮像素子の フ レ ー ム蓄積駆動制御の説明図 図 1 4 は 、 第 3 、 第 7 、 第 8 の実施例 に お け る 水平 ラ イ ン 補 間機能付 き 撮像装置の撮像素.子の フ ィ ー ル ド蓄積駆動制御 の説 明図 図 1 5 は 、 第 3 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮像装置の 信号処理説明図
図 1 6 は 、 第 3 、 第 7 の実施例 に お け る 水平 ラ イ ン捕間機能 付 き 撮像装置 の デ ィ ジ タ ル信号処理回路の構成図
図 1 7 は、 第 3 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の偽色信号除去 の説明図
図 1 8 は 、 第 3 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の捕間機能部分 の構成図
図 1 9 は 、 第 4 の実施例 に お け る 水平 ラ イ ン 補間機能付 き 撮 像装置 の プ ロ ッ ク 図
図 2 0 は 、 第 5 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮 像装置 の プ ロ ッ ク 図
図 2 1 は 、 第 5 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置の垂直電子 ズ ー ム 機能の構成図
図 2 2 は 、 第 5 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の垂直補間 の構成図
図 2 3 は 、 第 6 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の デ ィ ジ タ ル信号処理部を示す ブ 口 ッ ク 図
図 2 4 は 、 第 6 の実施例 に P け る 水平 ラ イ ン捕間機能付 き 撮
像装置の デ ィ ジ タ ル信号処理回路を示す プ ロ ッ ク 図 図 2 5 は、 第 6 、 第 7 の実施例 に お け る 水平 ラ イ ン補間機能 付 き 撮像装置 に お け る 水平 ラ イ ン補間の第 1 の説明図
図 2 6 は 、 第 6 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 に お け る 水平 ラ イ ン捕間の第 2 の説明図
図 2 7 は 、 第 6 の実施例 に.お け る 水平 ラ イ ン補間機能付 き 撮 像装置 に お け る 水平 ラ イ ン捕間の第 3 の説明図
図 2 8 は 、 第 6 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 に お け る デ ィ ジ タ ル信号処理回路の 出力信号の説明図 図 2 9 は 、 第 6 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 に お け る 電子 ズ ー ム.回路の構成図
図 3 0 は、 第 7 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮 像装置 の プ ロ ッ ク 図
図 3 1 は 、 第 7 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の信号処理説明図
図 3 2 は 、 第 7 の実施例 に お け る 水平 ラ イ ン 捕間機能付 き 撮 像装置の デ ィ ジ タ ル信号処理回路を示す プ ロ ッ ク 図
図 3 3 は、 第 7 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の デ ィ ジ タ ル信号処理回路の第 2 の説明図
図 3 4 は 、 第 7 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮 像装置 の デ ィ ジ タ ル信号処理回路の 出力信号の説明図
図 3 5 は、 第 7 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮 像装置 の デ ィ ジ タ ル信号処理回路の 出力信号の第 2 の説明図 図 3 6 は 、 第 8 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の ブ ロ ッ ク 図
発明 を実施す る た め の最良の形態
[ 1 ] 〈第 1 の実施例 : 基本構成( 3 つ の 固体撮像素子 を 有す る 構成)〉
図 1 は第 1 の実施例 に お け る 水平捕間機能付 き 撮像装置の ブ 口 ッ ク 図を示す も の で あ る 。 同図 に お い て 、 固体撮像素子 1 、 2、 3 は そ れ ぞれ 3 つ の色信号の う ち の G、 R、 B を得 る た め の撮像素子で あ り 固体撮像素子 1 は G 信号、 固体撮像素子 2 は R 信号、 固体撮像素子 3 は B 信号を得 る 。 垂直位相 シ フ ト 部 4 は色信号の位相 シ フ ト を実現す る こ と を模式的 に示す た め に記 入 し た も の で あ り ( 2 と 4 を あ わせ て撮像部 6 と す る)、 垂直位 相 シ フ ト 部 5 は 色信号の位相 シ フ ト を実現す る こ と を模式的 に 示 す た め に 記入 し た も の で あ る 。 ( 3 と 5 を あ わ せ て 撮像部 7 と す る)。 な お、 p l 、 p 2 に 関 し て は イ ン タ ー レ ー ス 走査 さ れ る 映像信号 の ラ イ ン 間の間隔 を 1 に規格化 し て考え る 。 ア ナ ロ グ信号処理回路 8、 9、 1 0 は、 固体撮像素子 1 、 2 、 3 か ら 得 ら れた 3 つ の色信号に対 し ア ナ 口 グ信号処理 を施す 回路、 ア ナ ロ グ ' デ ィ ジ タ ル変換回路 1 1 、 1 2 、 1 3 は ア ナ ロ グ信 号処理回路 8、 9、 1 0 で処理 さ れた 3 つ の色信号を ア ナ ロ グ か ら デ ィ ジ タ ル に変換す る た め の回路、 補間回路 1 4 は ア ナ 口 グ · デ ィ ジ タ ル変換回路 1 1 、 1 2、 1 3 で デ ィ ジ タ ル に変換 さ れた 3 つ の 色信号 に対 し捕間処理 を施す た め の 回路で あ る 。 マ ト リ ッ ク ス 回路 1 6 は補間回路 1 4 に よ り 補間処理 さ れた 3 つ の色信号 に対 し マ ト リ ッ ク ス 演算 を施 し 、 輝度信号 と 2 つ の 色差信号を合成す る た め の回路、 エ ン コ ー ダ回路 1 7 は マ ト リ ッ ク ス 回路 1 6 よ り 得 ら れた輝度及 び色差信号 よ り N T S C 信号
を得 る た め の 回路で あ る 。 撮像素子駆動回路 1 7 は 固体撮像素 子 1 を駆動す る た め の 回路で あ る 。 シ ス テ ム 制御回路 1 9 は 、 上記垂直位相 シ フ ト 部 4 及 び 5 、 補間回路 1 4 、 撮像素子駆動 回路 1 8 を総合的 に制御す る た め の回路で あ る 。
図 2 ( a )は垂直位相 シ フ ト 部 4、 5 の作用 を示す も の で あ り 色信号の位相 シ フ ト を実現す .る た め に固体撮像素子 2、 3 を固 体撮像素子 1 に対 し て垂直方向 に ず ら し て配置 し た こ と を模式 的 に表わ し た も の で あ る 。 本図 の よ う に 固体撮像素子 2、 3 は 固体撮像素子 1 に 対 し て そ れ ぞ れ p l 、 P 2 ( 0 ≤ P 1 く 1 、 0 ≤ p 2 く 1 )だ け ず ら し て配置 さ れて い る 。
図 2 ( b )は本実施例 に お け る 撮像装置の光学系 の う ち 、 G、 R、 B 信号を分離す る 色分解 プ リ ズ ム の構成図で あ る 。 固体撮像 素子の垂直方向 の長 さ を 2 L と し 、 固体撮像素子 2、 3 が そ れ ぞれ p 1 、 p 2 だ け垂直方向 に ず ら し て配置 さ れて い る 。
図 3 に 図 1 の補間回路 1 4 の原理的 な構成例 を示す。 1 ラ イ ン メ モ リ 2 0 、 2 1 、 2 2 は補間回路 に入力 さ れ る 映像信号 の 1 ラ イ ン分 を記憶す る メ モ リ で あ り 、 3 つ の う ち 1 つ を書 き 込 み、 2 つ を読 み 出 し に使用 し 、 こ の書 き 込み及 び読み 出 し に使 用 す る メ モ リ を そ れぞれ切換器 2 8 及 び セ レ ク タ 2 9 に よ り 順 次入れ替え る こ と に よ り リ ア ル タ イ ム の処理を実現す る 。 係数 発生捕助回路 2 7 は 3 つ の 固体撮像素子の垂直方向 の位置の ず れ量(つ ま り 3 つ の色信号 の垂直方向 の位相 の シ フ ト 量) に関 す る 情報 を係数発生回路 2 6 に 送 る 。 係数発生回路 2 6 は 、 係数 発生補助回路 2 7 か ら の情報を も と に補間演算の 際 に使用 す る 補間係数を発生す る 。 乗算器 2 3、 2 4 は 1 ラ イ ン メ モ リ か ら
の信号 に係数発生回路 2 6 か ら 得 ら れた捕間係数 を乗算 し 、 加 算器 2 5 は補間係数を乗算さ れた 2 つ の ラ イ ン信号を加算す る 。 な お、 図 3 に示 し た補間回路 1 4 の 全体的 な構成 は、 3 つ の色 信号( R、 G、 B )そ れ ぞれ に対 し 上記図 3 に示 し た回路構成を そ れぞれ備え る こ と に よ り 構成で き る 。
以上 の よ う に構成 さ れた本実施例 の水平 ラ イ ン 補間機能付 き 撮像装置 に つ い て、 以下そ の動作 に つ い て説明 す る 。
固体撮像素子 1 で得 ら れた G信号、 撮像部 6 で得 ら れ た R信 号及 び撮像部 7 で得 ら れた B 信号は 、 そ れ ぞれ ア ナ ロ グ信号処 理回路 8、 9 、 1 0 で ア ナ ロ グ信号処理を受 け、 そ の後 ア ナ 口 グ · デ ィ ジ タ ル変換回路 1 1 、 1 2 、 1 3 で ア ナ ロ グ信号か ら デ ィ ジ タ ル信号 に変換 さ れ補間回路 1 4 に送 ら れ る 。 補間回路 1 4 に送 ら れた G、 R 及 び B 信号は そ れぞれ補間処理を受 け る が、 こ の補間処理 に つ い て図 4 ( a )〜図 4 ( d )を 用 い て説明 す る 。 ま ず、 固体撮像素子 1 に 対す る 固体撮像素子 2 及 び 3 の ず れが下向 き (つ ま り ラ イ ン数が大 き く な る方向)の場合を考え る 。 G 信号 の第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 一 w の 距離 の ラ イ ン を補間 に よ り 合成 す る 場合(但 し 、 こ の 時 ラ イ ン 間 の 距離 を 1 に 規格化 し 、 0 ≤ w < l と し て考 え る)、 0 ≤ w < p 1 な ら ば R信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号の第 k — l ラ イ ン か ら 1 — p 1 + w、 第 k ラ イ ン か ら p 1 — w の距離の ラ イ ン を捕間 に よ り 合成 す る 。 こ れ は B 信号 に 関 し て も 同様で、 0 w く p 2 な ら ば B '信号か ら 合成す'る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を 考慮 し て 、 B 信号 の第 k 一 1 ラ イ ン か ら 1 — p 2 + w、 第 k ラ
ィ ン か ら p 2 — w の 距離 の ラ イ ン を捕間 に よ り 合成す る (図 4 ( a ))。 ま た 、 p l ^ w < l な ら ば R 信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号の第 k ラ イ ン か ら w — p i 、 第 k + 1 ラ イ ン か ら 1 + p l — w の距離 の ラ イ ン を捕間 に よ り 合成す る 。 こ れ は B 信号 に 関 し て も 同様 で、 p 2 w < 1 な ら ば B 信.号か ら 合成す る 補間 ラ イ ン は G信 号 に対す る 位相 の シ フ ト を考慮 し て 、 B 信号の第 k ラ イ ン か ら w — p 2 、 第 k + 1 ラ イ ン か ら 1 + ρ 2 — w の距離の ラ イ ン を 捕間 に よ り 合成す る (図 4 ( b ))。 次 に 、 固体撮像素子 1 に対す る 固体撮像素子 2 及 び 3 の ずれが上向 き (つ ま り ラ イ ン 数 が小 さ く な る 方 向) の 場合 を考 え る 。 G信号 の 第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 一 w の 距離の ラ イ ン を捕間 に よ り 合成す る 場合、 0 w < p 1 な ら ば R信号か ら 合成す る 補間 ラ イ ン は G 信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号の第 k ラ イ ン か ら w + p l 、 第 k + 1 ラ イ ン か ら 1 — p i — w の距離 の ラ イ ン を補間 に よ り 合成す る 。 こ れは B 信号 に 関 し て も 同様 で、 0 ≤ w < p 2 な ら ば B 信号か ら 合成す る 捕間 ラ イ ン は G信号 に対 す る 位相 の シ フ ト を考慮 し て、 B 信号の第 k ラ イ ン か ら w + p 2 、 第 k + 1 ラ イ ン か ら 1 — ρ 2 — w の距離の ラ イ ン を捕間 に よ り 合成す る (図 4 ( c ))。 ま た、 p l ≤ w < l な ら ば R信号か ら 合成す る 捕間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号の第 k + 1 ラ イ ン か ら — l + p l + l 、 第 k + 2 ラ ィ ン か ら 2 — p 1 — w の距離の ラ イ ン を捕間 に よ り 合成す る 。 こ れ は B 信号 に関 し て も 同様で、 p 2 ≤ w < 1 な ら ば B 信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ 卜 を 考慮 し
て、 B 信号の第 k + 1 ラ イ ン か ら — l + p 2 + w、 第 k + 2. ラ ィ ン か ら 2 — p 2 — w の 距離 の ラ イ ン を 捕間 に よ り 合成 す る (図 4 ( d ))。
こ の よ う に補間 ラ イ ン を合成す る と 、 互 い に位相 の シ フ 卜 が あ る 3 つ の色信号か ら 同位相 の補間信号が合成で き 、 かつ 補間 に伴 う 垂直方向 の周 波数 レ ス'ポ ン ス 特性の劣化が 3 信号 そ れぞ れ で異 な る た め 、 映像信号 を 3 つ の 色信号全体 で 見 た場合(例 え ば G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た輝度 信号を考え た場合)、 周波数 レ ス ポ ン ス 特性の劣化を軽減で き 、 水平 ラ イ ン補間の 際の垂直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。 例 え ば、 P 1 = P 2 = [ イ ン タ ー レ ー ス 走査 さ れ る 映像信号 の 1 / 2 ラ イ ン 分 ] の 場合 に 関 し て 、 図 5 及 び 図 6 ( a )〜( d )を用 いて説明す る。 図 5 は垂直位相 シ フ ト 部 4、 5 の作用 を示 す も の で あ り 色信号の位相 シ フ ト を実現す る た め に固体撮像素子 2、 3 を固体撮像素子 1 に対 して垂直方向 に 1 / 2 ラ イ ン分ず ら し て配置 し た こ と を模式的に表わ し た も の で あ る 。 ま ず、 固体撮像素子 1 に対す る 固体撮像素子 2 及 び 3 の ずれが 下向 き (つ ま り ラ イ ン数が大 き く な る 方向)の場合 を考え る 。 G 信号 の第 k ラ イ ン か ら w 、 第 k + 1 ラ イ ン か ら ( l / 2 ) + w、 第 k ラ イ ン か ら 1 一 Wの距離 の ラ イ ン を捕間 に よ り 合成す る 場 合(但 し 、 こ の 時 ラ イ ン 間 の 距離 を 1 に 規格化 し 、 0 w < 1 と し て考 え る)、 0 ≤ w < 1 な ら ば 4 信号 か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号 の第 k - 1 ラ イ ン か ら ( l / 2 ) + w、 第 k ラ イ ン か ら ( 1 / 2 )— w の 距 離の ラ イ ン を補間 に よ り 合成す る 。 こ れ は B 信号 に関 し て も 同
様で 0 < w < p 2 な ら ば B 寝具か ら 合成す る 補間 ラ イ ン は G信 号 に対す る 位相 の シ フ ト を考慮 し て、 B 信号の第 k — 1 ラ イ ン か ら ( l / 2 ) + w、 第 k ラ イ ン か ら ( 1 / 2 ) — wの 距離の ラ イ ン を捕間 に よ り 合成す る 。 (図 6 ( a ))。 ま た 、 p l ^ w く 1 な ら ば R信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て 、 R 信号 の 第 k ラ イ ン か ら (一 l / 2 ) + w、 第 k + 1 ラ イ ン か ら ( 3 / 2 ) — w の 距離 の ラ イ ン を捕間 に よ り 合成 す る 。 こ れ は B 信号 に 関 し て も 同様で、 p 2 ≤ w < l な ら ば B 信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を 考慮 し て 、 B 信号 の第 k ラ イ ン か ら (― l / 2 ) + w、 第 k + 1 ラ イ ン か ら ( 3 ノ 2 ) — w の距離の ラ イ ン を補間 に よ り 合成す る (図 6 ( b ))。 次 に 、 固体撮像素子 1 に対す る 固体撮像素子 2 及 び 3 の ずれが上向 き (つ ま り ラ イ ン数が小 さ く な る 方向)の場合 を考え る 。 G 信号の第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 一 w の距離の ラ イ ン を補間 に よ り 合成す る 場合、 0 ≤ w < p 1 な ら ば R信号か ら 合成す る 捕間 ラ イ ン は G信号 に 対す る 位相 の シ フ ト を 考慮 し て 、 R 信号 の第 k ラ イ ン か ら ( l / 2 ) + w、 第 k + 1 ラ イ ン か ら ( 1 / 2 ) — w の 距離 の ラ イ ン を 捕間 に よ り 合 成す る 。 こ れ は B 信号 に 関 し て も 同様で、 O w く p 2 な ら ば B 信号か ら 構成す る 捕間 ラ イ ン は G 信号 に対す る 位相 の シ フ ト を 考慮 し て 、 B 信号 の 第 k ラ イ ン か ら ( l / 2 ) + w、 第 k + 1 ラ イ ン か ら ( 1 / 2 ) — w の 距離 の ラ イ ン を 捕間 に よ り 合成 す る (図 6 ( c ))。 ま た、 p l ≤ w < l な ら ば R信号か ら 合成す る 補 間 ラ イ ン は G 信号 に対す る 位相 の シ フ ト を考慮 し て、 R 信号の 第 k + 1 ラ イ ン か ら( 一 l / 2 ) + w、 第 k + 2 ラ イ ン か ら( 3 / 2 )
一 w の距離の ラ イ ン を捕間 に よ り 合成す る 。 こ れ は B 信号 に 関 し て も 同様で、 p 2 ≤ w < l な ら ば B 信号か ら 合成す る 捕間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 B 信号の第 k + 1 ラ イ ン か ら (一 l / 2 ) + w、 第 k + 2 ラ イ ン か ら ( 3 / 2 ) — wの距離の ラ イ ン を捕間 に よ り 合成す る (図 6 ( d ))。 以上の よ う な 場合、 G 信号 に お い て w = 0. 5 の垂直方向 の 周 波数 レ ス ポ ン ス 特性の 劣化が最 も 大 き い捕間処理を行 う 場合、 R、 B 信 号 は補間処理を さ れず垂直方向 の周 波数 レ ス ポ ン ス 特性 の劣化 の無 い状態を維持で き 、 ま た G信号 に お い て w = 0 の補間処理 を行 う 場合 R、 B 信号 は垂直方向 の周 波数 レ ス ポ ン ス 特性の劣 化が最 も 大 き い補間処理を施 さ れ る が G信号は補間処理 を さ れ ず垂直方向 の周波数 レ ス ポ ン ス 特性の劣化 の無 い状態を維持で き る た め、 映像信号を 3 つ の色信号全体で見た場合(例え ば G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た 輝度信号を考 え た 場合)、 水平 ラ イ ン 捕間 の 際 の 垂直方 向 の尖鋭度 の 劣化 を 減少 さ せ る こ と が可能で あ る 。
な お、 本実施例 に お い て固体撮像素子 1 に対す る 固体撮像素 子 2 の ず れ が上 向 き 、 固体撮像素子 3 の ず れ が下 向 き の 場 合 や 、 固体撮像素子 1 に対す る 固体撮像素子 2 の ずれが下 向 き 、 固体撮像素子 3 の ずれが上向 き の場合の補間処理 も 図 4 ( a )〜 図 4 ( d )を も と に説明 し た補間処理を組み合わせ る こ と で実現 で き る こ と は 明 ら かで あ る 。
ま た 、 本実施例 に お い て は 、 固体撮像素子 2、 3 に対す る 固 • 体撮像素子駆動回路 は、 垂直位相 シ フ ト 部 4、 5 に含 ま れ且つ シ ス テ ム 制御回路 1 9 の制御 を受 け る 構成 と な る 。
[ 2 ] 〈第 2 の実施例 : 基本構成 ( 2 つ の 固体撮像素子を有す る 構成) 〉
次 に 、 第 2 の実施例 に つ い て説明 す る 。
図 7 は、 第 2 の実施例に お け る水平補間機能付き撮像装置の ブ ロ ッ ク 図を示す も の で あ る 。
な お、 同図 に お い て固体撮像素子 3 1 · 3 2 、 垂直位相 シ フ ト 部 3 4、 ア ナ ロ グ信号処理回路 3 8 · 3 9 、 ア ナ ロ グ ' デ ィ ジ タ ル変換回路 4 1 · 4 2 · 4 3 、 補間回路 4 4 マ ト リ ッ ク ス 回路 4 6 、 エ ン コ ー ダ回路 4 7 、 撮像素子駆動回路 4 8 、 シ ス テ ム 制御回路 4 9 は、 そ れぞれ図 1 に示 し た第 1 の実施例 の固 体撮像素子 1 · 2 、 垂直位相 シ フ ト 部 4、 ア ナ ロ グ信号処理回 路 8 · 9 、 ア ナ ロ グ ' デ ィ ジ タ ル変換回路 1 1 · 1 2 · 1 3 、 捕間回路 1 4 マ ト リ ッ ク ス 回路 1 6 、 エ ン コ ー ダ回路 1 7 、 撮 像素子駆動回路 1 8 、 シ ス テ ム 制御回路 1 9 と 同様の効果 を示 す も の で あ る た め詳細 な説明 は省略す る 。
同図 に お い て、 固体撮像素子 3 1 、 3 2 は そ れ ぞれ 3 つ の 色 信号の う ち の G、 R、 B を得 る た め の撮像素子で あ り 固体撮像 素子 3 1 は G信号、 固体撮像素子 3 2 は R信号及 び B信号を得 る 。 垂直位相 シ フ ト 部 3 4 は 色信号の位相 シ フ ト を実現す る こ と を 模式的 に 示 す た め に 記入 し た も の ( 3 2 と 3 4 を あ わ せ て 撮像部 3 6 と す る)で あ る 。 な お、 p 3 に関 し て は イ ン タ ー レ 一 ス走査さ れる映像信号の ラ イ ン間の間隔を 1 に規格化 して考え る。 固体撮像素子 3 1 で得 ら れた G信号 は、 第 1 の実施例 と 同様 の 処理を経て補間回路 4 4 に送 ら れ る 。 ま た撮像部 3 6 で得 ら れ た R信号及 び B信号 は ア ナ ロ グ信号処理回路 3 9 に お い て ア ナ
ロ グ信号処理 を施 さ れ、 そ の 後 R 、 B 信号分離回路 4 5 で R 信 号 と B 信号 に分離 さ れ第 1 の実施例 と 同様の処理を経て補間回 路 4 4 に 送 ら れ る 。 な お、 補間回路 4 4 は 、 第 1 の 実施例(図 3 参照) と 同様で あ る た め説明 は省略す る 。
図 8 は色信号の位相 シ フ ト を実現す る た め に 固体撮像素子 3 2 を固体撮像素子 3 1 に対 して ず ら し て配置 し た こ と を模式的 に表わ し た も の で あ る 。 本図 の よ う に固体撮像素子 3 2 は 固体 撮像素子 3 1 に対 し て p 3 ( 0 ≤ p 3 < 1 )だ け ず ら し て配置 さ れて い る 。
図 9 は 固体撮像素子 3 2 の受光面の 図で あ り 、 固体撮像素子 3 2 の受光面 に は 図 に示 し た よ う な赤( R ) と 青( B ) の R B 色 ス ト ラ イ プ フ ィ ル タ が取 り 付 け ら れ て お り 、 こ の 構成 に よ り R 信 号 と B 信号を固体撮像素子 3 2 よ り 得 る こ と が で き る 。 固体撮 像素子 の垂直方向 の長 さ を 2 L と し 、 固体撮像素子 3 2 が p 3 だ け垂直方向 に ず ら し て配置 さ れて い る 。
図 1 0 は本実施例 に お け る 撮像装置の光学系 の う ち 、 G 信号 と R 、 B 信号を分離す る 2 色分解 プ リ ズ ム の構成図 で あ る 。 入 射光の う ち R 、 B の光 は プ リ ズ ム 内 を直進す る の に対 し 、 G の 光 は 図 中 に示 し た ダ イ ク ロ イ ッ ク 層 に よ り 反射 さ れ る こ と に よ り 、 G と 、 R 及 び B を分離す る 。
以上 の よ う に構成 さ れた本実施例 の水平 ラ イ ン補間機能付 き 撮像装置 に つ い て 、 以下 そ の動作 に つ い て説明 す る 。
固体撮像素子 3 1 で得 ら れた G 信号 は 、 ア ナ ロ グ信号処理回 路 3 8 で ア ナ ロ グ信号処理を受 け た後、 ま た撮像部 3 6 で得 ら れた R 信号及 び B 信号 は 、 ア ナ ロ グ信号処理回路 3 9 で ア ナ 口
グ信号処理を受 け かつ R、 B 信号分離回路で R信号 と B 信号 に 分離 さ れた後 に 、 ア ナ ロ グ · デ ィ ジ タ ル変換回路 4 1 、 4 2、 4 3 で ア ナ ロ グ信号か ら デ ィ ジ タ ル信号 に 変換 さ れ補間回路 4 4 に送 ら れ る 。 補間回路 4 4 に送 ら れた G、 R及 び B 信号は そ れ ぞれ補間処理を受 け る が、 こ の補間処理 に つ い て図 1 1 ( a ) 〜図 1 1 ( d )を用 い て説明 す る 。 ま ず、 固体撮像素子 3 1 に対 す る 固体撮像素子 3 2 の ずれが下 向 き (つ ま り ラ イ ン 数が大 き く な る 方 向) の場合 を考え る 。 G 信号 の第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 一 wの距離の ラ イ ン を補間 に よ り 合成す る 場合(但 し 、 こ の時 ラ イ ン間の距離を 1 に規格化 し 、 0 w < l と し て考 え る)、 0 ≤ w < p 3 な ら ば R 信号及 び B 信号か ら 合 成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て 、 R信号及 び B 信号の第 k — l ラ イ ン か ら 1 — p 3 + w、 第 k ラ ィ ン か ら p 3 — wの距離の ラ イ ン を補間 に よ り 合成す る (図 1 1 ( a ) )。 ま た 、 p 3 ≤ w く 1 な ら ば R 信号及 び B 信号 か ら 合成 す る 捕間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R 信号及 び B 信号の第 k ラ イ ン か ら w — p 3 、 第 k + 1 ラ イ ン か ら 1 + P 3 — w の 距離 の ラ イ ン を捕間 に よ り 合成 す る (図 1 1 ( b ))。 次 に 、 固体撮像素子 3 1 に 対す る 固体撮像素子 3 2 の ずれが上向 き (つ ま り ラ ィ ン数が小 さ く な る 方向)の場合 を考え る 。 G信号の第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 — の 距離の ラ イ ン を補間 に よ り 合成す る 場合、 0 w < p 3 な ら ば R信号及 び B 信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位 相 の シ フ ト を考慮 し て、 R 信号及 び B 信号 の第 k ラ イ ン か ら w + p 3 、 第 k + 1 ラ イ ン か ら 1 一 p 3 — w の距離の ラ イ ン を
補間 に よ り 合成す る (図 l l ( c ))。 ま た、 p 3 w く 1 な ら ば R信号及 び B 信号か ら 合成す る 補間 ラ イ ン は G信号 に対 す る 位 相のシフ トを考慮して、 R信号及び B信号の第 k + 1ラインから一 l + p 3+w、 第 k + 2 ラ イ ン か ら 2 — p 3 — w の距離の ラ イ ン を補間 に よ り 合 成す る (図 1 1 ( d ))。
こ の よ う に補間 ラ イ ン を合成す る と 、 互 い に位相 の シ フ 卜 の あ る G 信号 と R信号及 び B 信号か ら 同位相 の捕間信号が合成で き 、 かつ補間 に伴 う 垂直方向 の周 波数 レ ス ポ ン ス 特性の 劣化が G信号 と R信号及 び B 信号で そ れぞれで異 な る た め、 映像信号 を 3 つ の 色信号全体 で見 た 場合(例 え ば G、 R、 B 信号 か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た 輝度信号 を考 え た 場合)、 垂直 方向 の 周 波数 レ ス ポ ン ス 特性の劣化を軽減で き 、 水平 ラ イ ン捕 間の 際の垂直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。 例 え ば p 3 = [ イ ン タ 一 レ ー ス 走 さ れ る 映像信号 の 1 / 2 ラ イ ン 分 ] と す る と 、 w = 0. 5 の垂直方向 の 周 波数 レ ス ボ ン ス 特性 の劣化が最 も 大 き い捕間処理 を行 う 場合、 R、 B 信号 は 補間処理を さ れず垂直方向 の 周 波数 レ ス ポ ン ス 特性の劣化 の無 い状態 を維持で き 、 ま た G信号に お い て w = 0 補間処理を行 う 場合、 R、 B 信号 は垂直方向 の周 波数 レ ス ポ ン ス 特性 の劣化が 最 も 大 き い補間処理を施 さ れ る が G信号は補間処理を さ れず垂 直方向の周波数 レ ス ポ ン ス特性の劣化の無い状態を維持でき るため、 映像信号 を 3 つ の 色信号全体 で見 た 場合(例 え ば G、 R、 B 信 号か ら マ ト リ ッ ク ス演算に よ り 合成 し た輝度信号を考えた場合)、 水平 ラ イ ン補間 の際の垂直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。
ま た 、 本実施例 の構成を用 い れば、 色信号の位相 シ フ ト の た め の垂直位相 シ フ ト 部を 1 つ にす る こ と がで き 、 全体の構成を第 1 の実施例 に 比べ よ り 簡略化す る こ と がで き る 。
ま た 、 本実施例 に お い て は 、 固体撮像素子 3 2 に対す る 固体 撮像素子駆動回路 は 、 垂直位相 シ フ ト 部 3 4 に 含 ま れ且つ シ ス テ ム 制御回路 4 9 の制御を受 け る 構成 と な る 。
ま た 、 本実施例 に お い て は 、 撮像部 3 6 よ り 得 ら れた R 及 び B 信号は ア ナ ロ グ信号処理回路 3 9 を経た の ち R、 B 信号分離 回路 に よ り R 信号 と B 信号 に 分離 さ れ る よ う な構成を と つ て い る が こ れに限 る も の で は な く 、 ア ナ ロ グ信号処理回路 3 9 と R、 B 信号分離回路を ひ と つ に ま と め た よ う な構成 も 考え ら れ る 。
ま た、 本実施例に おいて は、 R信号及び B 信号を得る た め に、 固体撮像素子 3 2 に R B 色 ス ト ラ イ プ フ ィ ル タ を用 い た 構成を 使用 し た が、 こ れ に 限 る も の で は な い。
な お、 第 1 の実施例 に お い て、 3 つ の色信号 R、 G、 B の位 相 を そ れぞれず ら す た め に は 、 例え ば 3 つ の色信号を得 る た め の 3 色分解 プ リ ズ ム に 固体撮像素子を接着固定す る 際 に そ の位 置 を従来 と は異 な り 垂直方向 に ず ら せて接着す る こ と に よ り 実 現で き る が こ れ に限 る も の で は な く 例え ば、 3 色分解 プ リ ズ ム 内部の屈折率を操作 し て光の光路を 曲 げ る こ と に よ り 色信号の 位相 をず ら す こ と も考え ら れ る。 ま た、 第 2 の実施例に おい て、 3 つ の 色信号 の う ち の G、 R 及 び B の位相 を そ れ ぞれず ら す た め に は 、 例え ば 2 つ の 色信号( G 信号 と R 及 び B 信号)を得 る た め の 2 色分解 プ リ ズ ム に固体撮像素子を接着固定す る 際 に そ の 位置を従来 と は異 な り 垂直方向 に ず ら せ て接着す る こ と に よ り
実現で き る が こ れ に 限 る も の で は な く 例え ば、 2 色分解 プ リ ズ ム 内部の屈折率を操作 し て入射光の光路 を 曲 げ る こ と に よ り 色 信号の 位相 を ず ら す こ と も 考 え ら れ る 。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 3 つ の 色信号の位相 を シ フ 卜 さ せ る 場合 に G 信号 に対 し て R 及 び B 信号を シ フ 卜 さ せ る よ う な構成を示 し た が こ.れ に限 る も の で は な く 、 R 信号 に 対 し G、 B 信号を シ フ ト ま た は B 信号に対 し G、 R 信号 を シ フ 卜 さ せ る よ う な構成 も 考え ら れ る 。
ま た 、 第 1 及び第 2 の実施例に おいて、 3 つ の色信号は 、 R、 G、 B と し た が こ れ に 限 る も の で は な く 、 例え ばイ ェ ロ ー 、 シ ア ン 、 マ ゼ ン タ の 3 つ の色信号を使用 す る こ と も 可能で あ る 。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 補間回路 に 関 し て は ラ イ ン メ モ リ の制御 に 関 し て の み説明 し た が、 そ れ と は別 に 固 体撮像素子 ま た は フ ィ ー ル ド メ モ リ 等か ら の読み 出 し の 制御 も 必要 に な る が そ れ は G、 R、 B 信号で の そ れぞれ の信号の位相 の シ フ ト 量 に 応 じ て コ ン ト ロ ー ルす る こ と がで き る がそ れ に 限 る も の で は な い 。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 捕間回路は 3 つ の ラ ィ ン メ モ リ を持つ構成 と し た が こ れ に 限 る も の で は な く 、 4 つ 以上の ラ イ ン メ モ リ を持つ構成 も 考え ら れ る 。 そ し て上記 2 つ の実施例 に お い て は捕間処理 は線形捕間 と し た が こ れ に 限 る も の で は な く 、 4 つ以上の ラ イ ン メ モ リ を持つ構成 と す る と 2 次 捕間等 の高次 の補間処理が可能 と な る こ と は 明 ら かで あ る 。
ま た 、 第 1 及び第 2 の実施例 に お い て、 p 1 、 p 2 、 p 3 の 範囲 は 0 以上 1 未満 と し た が こ れ に 限 る も の で は な く 、 例 え ば
p l = 1. 5 と し た場合 に こ れが p l = 0. 5 と し た場合 と 同様 の効果が得 ら れ る ( p 2、 p 3 に関 し て も 同様) こ と は 明 ら か で あ る 。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 マ ト リ ッ ク ス 回路 と ェ ン コ ー ダ回路の両方を備え た構成を用 い た が こ れ に 限 る も の で は な く 、 例 え ばマ ト リ ッ ク.ス 回路 と エ ン コ ー ダ回路 の ど ち ら か 1 つ しか持た ない構成及び両方と も持たな い構成 も考え られる。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 エ ン コ ー ダ回路 の 出 力 は N T S C信号 と し た が こ れ に限 る も の で は な い。
C 3 ] 〈第 3 の実施例 : 駆動制御回路、 周 波数帯域制限 フ ィ ル タ 一を有す る 構成〉
図 1 2 は本発明 の第 3 の実施例 に お け る 水平 ラ イ ン補間機能 付 き 撮像装置 の プ ロ ッ ク 図を示す も の で あ る 。 図 1 2 に お い て 1 0 1 は光電変換機能を有す る 撮像素子部、 1 0 2 は撮像素子 部 1 0 1 に対す る 撮像素子駆動回路、 1 0 3 は撮像素子駆動回 路 1 0 2 を制御す る 駆動制御回路、 1 0 4 は撮像素子 1 0 1 の 出力信号 に サ ン プ リ ン グ · 増幅等の処理を 行 う ア ナ ロ グ信号処 理回路、 1 0 5 は ア ナ ロ グ信号処理回路 1 0 2 の 出力信号 に対 す る ア ナ ロ グ · デ ィ ジ タ ル変換回路(以下 A / D変換回路)、 1 0 6 は A Z D変換 さ れた デ ィ ジ タ ル信号か ら輝度信号や色信号 · 色差信号 な ど の生成 ま た は R G B信号処理を行 う デ ィ ジ タ ル信 号処理回路、 1 0 7 は デ ィ ジ タ ル信号処理回路 1 0 6 の 出力信 号を記億す る フ ィ ー ル ド メ モ リ 回路、 1 0 8 は フ ィ ー ル ド メ モ リ 回路 1 0 7 を制御す る フ ィ ー ル ド メ モ リ 制御回路、 1 0 9 は
フ ィ ー ル ド メ モ リ 回路 1 0 7 の 出力信号を用 い て捕間 · 拡大処 理を行 う 電子 ズ ー ム 回路、 1 1 0 は電子 ズ ー ム 回路 1 0 9 を制 御す る電子ズー ム制御回路、 1 1 1 は上記駆動制御回路 1 0 3 、 フ ィ ー ル ド メ モ リ 制御回路 1 0 8 、 電子 ズ ー ム制御回路 1 1 0 を総合的 に制御す る シ ス テ ム 制御回路、 1 1 2 は R · G · B か ら N T S C 信号を得 る ェ ン コ.ー ダ回路で あ る 。
以上の よ う に構成 さ れた本実施例 の水平 ラ イ ン捕間機能付 き 撮像装置 に つ い て 、 以下 そ の動作 に つ い て説明 す る 。 撮像素子 部 1 0 1 か ら 出力 さ れ る R · G · B の複数 の 出力信号 は ア ナ 口 グ信号処理及 び A D 変換処理 さ れ デ ィ ジ タ ル信号 と な る 。 こ の デ ィ ジ タ ル信号は デ ィ ジ タ ル信号処理回路 1 0 6 に お い て R G B 信号処理 さ れ フ ィ ー ル ド メ モ リ 回路 1 0 7 に 入力 さ れ る 。 フ ィ ー ル ド メ モ リ 回路 1 0 7 に入力 さ れた信号は フ ィ ー ル ド メ モ リ 制御回路 1 0 8 と 電子 ズ ー ム 回路 1 0 9 及 び電子 ズ ー ム 制 御回路 1 1 0 に よ っ て捕間演算 さ れ る 。
図 1 3 に駆動制御回路 1 0 3 に よ る 撮像素子の フ レ ー ム 蓄積 駆動制御を示す。 図 1 3 ( a )に通常 の撮像素子の ィ ン タ ー レ — ス 読み 出 し駆動制御、 図 1 3 ( b ) に本実施例 に お け る 撮像素子 部 1 0 1 の構成例で あ る R · G · B の各信号を得 る R · G · B 撮像素子の読 み 出 し 駆動制御の概略 を示す。 図 1 3 ( a )に示す よ う に フ レ ー ム 蓄積 モ ー ド で は 、 oddフ ィ ー ル ド で フ ィ ー ル ド シ フ ト の期間 に感光部 の画素の う ち 、 垂直方向 に 1 つ お き 奇数 番 目 の ラ イ ン の画素の信号を読み 出 し 、 次 に evenフ ィ ー ル ド で 偶数番 目 の ラ イ ン の画素の信号を読み 出 し 、 イ ン タ ー ラ イ ン転 送 を 実現 し て い る 。 本実施例 で は 図 1 3 ( b )に 示 す よ う に odd
フ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R . B の撮像素子 で は垂直方向 に奇数番 目 の ラ イ ン の画素の信号を 、 G の撮像素 子では偶数番目の ラ イ ン の画素の信号を読み出 し、 次に evenフ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R · B の撮像素子で は垂 直方向 に偶数番 目 の ラ イ ン の 画素の信号を 、 G の撮像素子で は 奇数番 目 の ラ イ ン の画素の信.号を読み 出 し て い る 。 こ の よ う に フ レ ー ム 蓄積駆動制御で R · G · B の撮像素子の odd/evenの読 み 出 し を、 R · B 撮像素子 と G撮像素子 と で逆 に し て い る 。
次 に 図 1 4 に撮像素子の フ ィ ー ル ド蓄積駆動制御を示す。 図 1 4 ( a )に通常の撮像素子の ィ ン タ ー レ ー ス読み出 し駆動制御、 図 1 4 ( b )に本実施例 に お け る 撮像素子部 1 0 1 の他の構成例 で あ る R · G · B の各信号を得 る R · G · B 撮像素子の読み 出 し 駆動制御の概略を示す。 図 1 4 ( a )に示す よ う に フ ィ ー ル ド 蓄積 モ ー ド で は 、 oddフ ィ ー ル ド で水平転送 C C D (図示せ ず) に近 い ラ イ ン の画素か ら 奇数番 目 の ラ イ ン の信号 と 次の 偶数番 目 の ラ イ ン の信号を 同時に加算 ( P D m i x) し て読み 出 し、 次に evenフ ィ ー ル ド で加算の組合せ を変 え下か ら 偶数番 目 の ラ イ ン の信号 と 次の奇数番 目 の ラ イ ン の信号を同時 に加算 し て読み 出 し 、 イ ン タ ー ラ イ ン転送を実現 し て い る 。 本実施例で は 図 1 4 ( b ) に示す よ う に oddフ ィ ー ル ド で 、 R . G · B の撮像素子 の う ち R · B の撮像素子で は 図 1 4 ( a )で示 し た oddフ ィ ー ル ド 読み出 し を、 G の撮像素子で は evenフ ィ ー ル ド読み出 し を行い、 次 に evenフ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R . B の 撮像素子で は evenフ ィ ー ル ド読み出 し を、 G の撮像素子で は odd フ ィ ー ノレ ド読 み 出 し を行 っ て い る 。 こ の よ う に フ ィ ー ル ド葚獰
駆動制御で R · G · B の撮像素子 の odd/evenの P D mix読 み 出 し を、 R * B 撮像素子 と G 撮像素子 と で逆 に し て い る 。
上記図 1 3 及 び図 1 4 に示 し た よ う に 、 odd/evenの読み 出 し を R · B 撮像素子 と G 撮像素子 と で逆 に す る こ と に よ っ て、 得 ら れ る R · B 信号 と G 信号 の空間的位置(位相) は 1 / 2 ラ イ ン ( 1 フ ィ ー ル ド で の ラ イ ン 間隔)ずれ る こ と と な る 。
以上 の よ う に本実施例 に よ れば、 駆動制御回路を備 え る こ と に よ り 、 3 つ の色信号、 R、 G、 B の位相 を そ れ ぞれず ら す た め に 、 固体撮像素子を 3 つ の 色信号 を得 る た め の 3 色分解 プ リ ズ ム ま た は 2 色分解 プ リ ズ ム に そ の位置を垂直方向 に ず ら せ て 接着固定す る と い う 厳 し い精度を有す る 組 み立て工程を必要 と せ ず、 製造装置及 び製造時間 を含む ト ー タ ル の製造 コ ス ト を減 少 さ せ た 、 捕間処理 に伴 う 垂直方向 の周波数 レ ス ポ ン ス 特性の 劣化 を軽減 し 水平 ラ イ ン補間 の際 の垂直方向 の尖鋭度の 劣化を 減少 さ せ る 撮像装置を得 る こ と が可能で あ る 。
次 に 得 ら れ た R · G · B の各色信号 に対す る 信号処理方法を 以下 に 示す。
図 1 5 に 信号処理の概略を示す。 図 1 5 ( a )は補間処理を行 わ な い場合、 図 1 5 ( b ) は捕間処理 を行 う 場合 で あ る 。 図 1 5 ( a ) に示す よ う に R · B 信号 と G信号は位相 が 1 / 2 ラ イ ン ( 1 フ ィ ー ル ド で の ラ イ ン 間隔)ずれて い る の で 、 信号処理 に は 垂 直方向 の位相 を合わ せ る 必要が あ る 。 そ こ で G 信号 に対 し て連 続す る 2 ラ イ ン の平均化処理(内挿係数 1 / 2 · 1 / 2 の 捕間処 理) を 行 う こ と に よ っ て 、 R · G · B 信号 の 位相 を 一致 さ せ る こ と がで き る 。 こ れ を (数 1 ) に示す 。 ま た 図 1 5 ( b ) に 示す よ
う に補間処理を行 う 場合 は、 内挿係数を w, R - B 信号 と G 信 号 の 位相 の ズ レ を p ( = 1 / 2 ラ イ ン ) と す る と w と p と の 関数 で表わ す こ と がで き 、 得 ら れ る 捕間信号を(数 2 ) に示す。
【数 1 】
Λ m = R B m = B n、 (G- 1 + Gn)/2
U m = (w + p) xGn + i + (1-w-p) G n - 1
こ の よ う に 補間 ラ イ ン を合成す る と 、 異 な る 2 種類の 位相 の 色信号か ら 同位相 の補間信号が合成で き 、 かつ補間 に伴 う 周 波 数 レ ス ポ ン ス 特性の劣化が位相 に伴 い そ れぞれ異 な る た め 、 映 像信号 を 3 つ の 色信号全体で見 た場合、 (例 え ば G、 R、 B 信 号カヽ ら マ ト リ ッ ク ス演算に よ り 合成 し た輝度信号を考え た場合) 周波数 レ ス ポ ン ス 特性 の劣化を軽減で き 、 水平 ラ イ ン補間信号 の垂直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。 例 え ば = [ ィ ン タ ー レ ー ス 走査 さ れ る 映像信号 の 1 / 2 ラ イ ン 分 ] と す る と 、 w = 0 . 5 の 最 も 周 波数 レ ス ポ ン ス 特性 の 劣化 が大 き い捕間処理を行 う 場合 で も G 信号 ま た は R、 B 信号の ど ち ら か は補間処理を さ れず周 波数 レ ス ポ ン ス 特性 の劣化 の無 い 状態を維持で き る た め 、 映像信号全体で は水平 ラ イ ン補間信号 の垂直方向 の尖鋭度の 劣化が減少 し て い る 。
な お上図 1 3、 1 4、 1 5 で は G 信号の位置を空間的 に ず ら す制御 ( C 1 )の場合を説明 し た が、 R 及 び B 信号の位置 を空間 的 に ず ら す制御( C 2 ) も 可能で あ る 。 ま た R信号の位置だ け( C
3 )を 、 B 信号の位置だ け ( C 4 )を空間的 に ず ら す制御 も 可能 で あ る 。 以下 こ の空間位置制御 に つ い て説明 す る 。 輝度( Y )信' 号は R · G · B信号によ っ て作成さ れ、 それは(数 3 )で示さ れる。 【数 3 】
Y = 0.3R + 0.59G + 0.11B
こ こ で輝度信号 に含 ま れ る 空間的 に ずれて い る 信号( Y a ) と ず れて い な い信号( Y b )は、 上記 C 1 〜 C 4 の場合 そ れぞれ次式 (数 4 )で示 さ れ る 。
【数 4 】
C1: Ya = 0.3R + 0.11B
Yb = 0.59G
C2: Ya = 0.59G
Yb = 0.3R+0.11B
C3: Ya = 0.59G + 0.11B
Yb = 0.3R
C4: Ya = 0.3R + 0.59G
Yb = 0.11B
ま た 色差信号( R — Y及 び B — Y )は R · G · B 信号か ら 作成 さ れ、 そ れ は (数 5 )で示 さ れ る 。
【数 5 】
R-Y=0.7K-0.59G-0.11B
B-Y=0.3K-0.59G-0.89B
こ こ で各色差信号 に 含 ま れ る 空間的 に ずれて い る 信号( C a ) と ずれて い な い信号( C b )は 、 上記 C 1 〜 C 4 の場合 そ れ ぞれ次 式(数 6 )で示 さ れ る 。
【数 6 】
C1: Ca(R-Y) = 0.7R-0.11B
Ca(B-Y) = - 0.3R + 0.89B
Cb(R-Y) = -0.59G
Cb(B-Y) = - 0.59G
C2: Ca(R-Y) = -0.59
Ca(B-Y) = -0.59G
Cb(R-Y) = 0.7R-0.11B
Cb(B-Y) = -0.3R+0.89B
C3: Ca(R-Y) = -0.59G-0.11B
Ca(B-Y) = -0.59G+0.89B
Cb(R-Y) = 0.7K
Cb(B-Y) = -0.3R
C4: Ca(R-Y) = 0.7R-0.59G
Ca(B-Y) = -0.3R+0.59G
Cb(R-Y) = -0.11B
Cb(B-Y) = 0.89B
映像信号全体で の水平 ラ イ ン補間信号の垂直方向 の尖鋭度の劣 ィ匕を減少 さ せ る に は 、 (数 4 )及 び(数 6 )に て Y a と Y b が略等 し く 、 C a と C b が略等 し い必要があ る 。 こ の こ と よ り 空間位 置制御 は C 1 ま た は C 2 が適切で あ る こ と がわ か る 。 し た が つ て、 こ れ よ り は空間位置制御が C 1 及 び C 2 の場合 の説明 の み を行 う 。
次 に 、 図 1 2 で デ ィ ジ タ ル信号処理回路 1 0 6 の回路構成 に つ い て説明 す る 。 図 1 6 に 回路構成例 を示す。 図 1 6 ( a )は空
間位置制御が C 1 、 図 1 6 ( b )は C 2 の場合で あ る 。 同図( a ) ( b ) に お い て 同様の効果 : 示す も の に関 し て は 、 同 じ 番号を付 し て省略す る 。 図 1 6 ( a )は G信号の 1 水平 ラ イ ン期間 の遅延 の た め の 1 H メ モ リ 5 0 1 と 、 加算器 5 0 2 、 ゲ イ ン調整の た め の 1 / 2 ア ン プ 5 0 3 、 上記(数 3 )に示 し た 演算処理 を 行 う 輝度信号マ ト リ ッ ク ス 5 0 4.と 、 (数 5 )に 示 し た演算処理を行 う 色信号マ ト リ ッ ク ス 5 0 5 を有 し て い る 。 同様 に 図 1 6 ( b ) は R信号及 び B 信号の 1 水平 ラ イ ン期間の遅延の た め に 1 H メ モ リ 5 0 1 と 、 加算器 5 0 2 と 、 ゲ イ ン 調整 の た め の 1 / 2 ァ ン プ 5 0 3 、 上記(数 3 )に示 し た演算処理 を行 う 輝度信号マ ト リ ッ ク ス 5 0 4 と 、 (数 5 )に示 し た演算処理を行 う 色信号 マ ト リ ッ ク ス 5 0 5 を有 し て い る 。 こ の よ う に構成 さ れた デ ィ ジ タ ル信号処理回路 に お い て は、 1 H メ モ リ を有す る 垂直方向捕間 機能つ ま り 2 H ラ イ ン の平均回路を備え る こ と に よ り 、 色信号 の位相 を一致 さ せ る こ と がで き 、 以下輝度信号処理及 び色信号 処理を行 う 。 ま た 図 1 6 ( a ) ( b )よ り 同図( a )つ ま り 空間位置 制御が C 1 ( G信号を ず ら す)の方が回路規模 の 削減 に は適 し て い る こ と が わ か る 。
他方、 補間処理を行わ な い 時の信号処理 に お い て、 図 1 6 に 示 し た 空間位置(位相)がずれて い る 色信号 に対 し て の位相合わ せ は、 垂直方 向 に L P F 処理 を行 う こ と に な る の で 、 高域周 波 数特性が劣化 す る 。 映像信号を 3 つ の色信号全体(例え ば、 G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た 輝度信号)で 見た場合、 周 波数特性 は上記(数 3 )に示 し た演算処理を行 う 輝 度信号 マ ト リ ッ ク ス で は 、 (数 4 )に示す よ う に R · B 信号の位
相 を ず ら す空間位置制御 C 2 の ほ う が、 G 信号を ず ら す C 1 よ り 高域周 波数特性がす ぐ れて い る ま た(数 5 ) に示 し た演算処理 を行 う 色信号 マ ト リ ッ ク ス で も 、 (数 6 )に 示す よ う に空間位置 制御 C 2 の ほ う が C 1 よ り 高域周波数特性がす ぐ れて い る 。 こ の よ う に 、 空間位置制御 C 2 の方が捕間処理を行わ な い 時の信 号処理に おけ る高域の周波数.特性では適 し て い る こ と がわか る 。
ま た 色差信号を作成す る 色信号マ ト リ ッ ク ス で は 、 色信号の 高域周 波数が異 な る こ と に よ つ て高域周波数帯域 に 偽信号が発 生す る こ と に な る 。 こ の点 に 関 し て以下説明 す る 。 例え ば 白 色 を撮影 し た場合、 色差信号 R — Y · B — Y は零 レ ベ ル で あ る 必 要が あ る 。 し か し上記空間位置制御 C 2 の場合、 高域周 波数帯 域 で は G 信号 は 存在 す る ( G ≠ 0 ) が R · B 信号 は 存在 し な い ( R = B = 0 ) の で 、 色差信号 R — Y · B - Y は(数 7 ) に示す よ う に 零 レ ベ ル で は な く 偽色信号が発生す る 。 こ の 偽色信号を 除 去す る た め の 図 1 2 で の デ ィ ジ タ ル信号処理回路 1 0 6 の 回路 構成例 を図 1 7 に示す。 以下図 1 7 に お い て 、 6 0 1 は 1 水平 ラ イ ン期間 の遅延の た め に 1 H メ モ リ 、 6 0 2 は加算器、 6 0 3 は ゲ イ ン 調整 の た め の 1 / 2 ア ン プ 、 6 0 4 は 上記(数 3 ) に 示 し た演算処理を行 う 輝度信号マ ト リ ッ ク ス 、 6 0 5 は (数 5 ) に示 し た演算処理を行 う 色信号マ ト リ ッ ク ス 、 6 0 6 は上記 6 0 1 か ら 6 0 3 で構成 さ れて い る 位相調整回路、 6 0 7 は G 信 号の高域の周 波数成分 を減衰 さ せ る V L P F、 6 0 8 - 6 0 9 は色差信号 R — Y · B — Y の高域の周 波数成分を減衰 さ せ る V L P F で あ る 。
【数 7 】
R-Y I H = -0.59G
B-YI H = -0.59G
以上の よ う に構成 さ れた信号処理回路の説明 を 以下行 う 。 図 1 7 の 6 0 1 か ら 6 0 5 は 図 1 6 の 5 0 1 か ら 5 0 5 と 同様で あ り 異 な る の は 6 0 7 · 6 0 8 · 6 0 9 の V L P F で あ る 。 図 1 7 ( a )に お い て V L P F 6. 0 7 は G信号の高域周波数成分を 減衰 さ せ R · B 信号 と 等 し く す る こ と に よ っ て色差信号 の高域 周 波数帯域 に 発生す る 偽信号 を低減す る 。 同様 に 図 1 7 ( b )に お い て V L P F 6 0 8 · 6 0 9 は色差信号の高域周 波数成分を M衰 さ せ る こ と に よ っ て高域周 波数帯域 に 発生す る 偽信号を低 減す る 。 図 1 7 ( c )は 図 1 7 ( a ) ( b )の効果を加算 し た も の で あ り 、 G信号の高域周 波数成分を減衰 さ せ、 更 に 色差信号 の高 域周 波数成分 を減衰 さ せ る こ と に よ つ て高域周波数帯域 に 発生 す る 偽信号を低減す る 。 こ の よ う に垂直 L P F を備 え る こ と に よ っ て 、 高域周 波数帯域 に 発生す る 偽信号を低減す る こ と が可 能で あ り 、 偽信号の な い水平 ラ イ ン補間機能付 き 撮像装置 を 得 る こ と が で き る 。
次 に 、 図 1 2 の水平 ラ イ ン捕間機能付 き 撮像装置の プ ロ ッ ク 図 に示 し た補間機能部分の構成例 を図 1 8 を用 い て 1 つ の信号 に つ い て説明 す る 。 同図 に お い て 7 0 1 か ら 7 0 4 は 図 5 に示 し た 垂直方 向 の位相 を 合 わ せ る 2 ラ イ ン の平均化処理(内挿係 数 1 / 2 · 1 / 2 の 補間処理) を行 う 垂直方向 の 空間位置位相補 償部で 7 0 1 の 1 H メ モ リ と 、 7 0 2 の加算器 と 、 7 0 3 の 1 / 2 ア ン プ と 、 こ れ ら か ら 構成 さ れ る 7 0 4 位相補償回路で あ る 。 ま た 7 0 5 は フ ィ ー ノレ ド メ モ リ で あ り 、 7 0 6 は 切換器 で次 に
で次 に示す 1 H の ラ イ ン メ モ リ 7 0 7 か ら 7 0 9 の W R I T E 動作を切 り 換 え る 。 7 1 0 は セ レ ク タ で前記 ラ イ ン メ モ リ か ら 2 つ を選択す る 。 7 1 1 · 7 1 2 は乗算器、 7 1 3 は加算器、 7 1 4 は 7 1 0 か ら 7 1 3 で構成 さ れ る 垂直捕間回路、 7 1 5 は水平方向の遅延を行 う ラ ッ チ回路、 7 1 6 · 7 1 7 は乗算器、 7 1 8 は加算器、 7 1 9 は 7. 1 5 か ら 7 1 8 で構成 さ れ る 水平 捕間回路、 7 2 0 は垂直補間回路 7 1 4 と 水平捕間回路 7 1 9 か ら な る 電子 ズ ー ム 回路で あ る 。
こ の よ う に 、 構成 さ れた捕間機能部分で は 、 ま ず位相補償回 路 7 0 4で垂直方向 の位相 の ズ レ を捕償 し た信号を、 フ ィ ー ル ド メ モ リ に記憶 し 、 フ ィ ー ル ド メ モ リ 7 0 5 の制御(図示せ ず) と 電子ズー ム回路 7 2 0内の 3本の ラ イ ン メ モ リ の制御を行い、 垂直補間回路 7 1 4 内で乗算デー タ w l と w 2 の補間演算を行 う 。 (w 2 = 1 一 w 1 の時 1 次内挿補間 と な る 。 )次 に水平補間回路 7 1 9 内 で乗算 デ ー タ h i と h 2 の補間演算 を 行 う 。 ( h 2 = 1 一 h i の 時 1 次 内挿補間 と な る 。 ) た だ し 、 垂直補償回路 7 0 4 は垂直方向 に 位相 を ず ら し た信号 に対 し て必要で あ り 、 垂 直方向 に位相 の ズ レ を行 っ て い な い信号 に は必要で な い 。
以上 の よ う に 、 位相補償回路 と 垂直補間回路 と 水平捕間回路 と を備 え る こ と で、 垂直方向 に位相 を ず ら し た水平 ラ イ ン捕間 機能付 き 撮像装置 に お い て垂直及 び水平方向 の補間機能を行 う こ と がで き る 。
C 4 ] 〈第 4 の実施例 ·' 垂直内挿選択回路 を付加 し た構成〉 図 1 9 は、 第 4 の実施例 を示す水平 ラ イ ン補間機能付 き 撮像
装置の ブ ロ ッ ク 図で あ る 。 同図 に お い て、 8 0 1 か ら 8 1 0 は 図 1 2 の 1 0 1 か ら 1 1 0 と 同様で あ り 、 異 な る の は垂直内揷 SW . 回路 7 1 1 と 上記回路を総合的 に制御す る シ ス テ ム制御回路 8 1 2 で あ る 。 こ の よ う に構成さ れた水平 ラ イ ン捕間機能付き 撮 像装置 に つ い て以下異 な る 点を 中心 に説明 を行 う 。
図 1 9 に お い て 、 捕間動作 を 行わ な い場合 は 、 垂直内挿 SW . 回路 8 1 1 は o f f 状態 と な り 、 シ ス テ ム 制御回路 8 1 2 、 駆動 制御回路 8 0 3 及 び撮像素子駆動回路 8 0 2 を経て撮像素子部 8 0 1 は R · G · B 各信号の垂直位相 の合致 し た通常の駆動動 作を行 う 。 他方水平 ラ イ ン を補間機能に よ っ て作成す る場合'は、 垂直 内挿 S W . 回路 8 1 1 は on状態 と な り 、 シ ス テ ム 制御回路 8 1 2 、 駆動制御回路 8 0 3 及 び撮像素子駆動回路 8 0 2 を経て 撮像素子部 8 0 1 は第 3 の実施例 の図 1 3 及 び図 1 4 で示 し た 手段 に よ っ て R · B 信号 と G 信号の垂直位相 が異 な る 駆動動作 を行 う 。
こ の よ う に 構成 さ れた本実施例の水平 ラ イ ン補間機能付 き 撮 像装置 に お い て、 補間処理を行わ な い信号処理の場合 は 、 空間 位置(位相)が合致 し て い る の で 、 色信号に対 し て の位相合わせ を必要 と せ ず、 垂直方向 の L P F 処理を行 う 必要 も な い の で 、 高域周 波数特性 は劣化 し な い。 ま た捕間処理を行 う 信号処理の 場合 は第 3 の実施例 と 同様 に 、 捕間処理 に伴 う 周 波数 レ ス ボ ン ス 特性の劣化が位相 に と も な い そ れ ぞれ異 な る た め 、 映像信号 を 3 つ の 色信号全体で見 た 場合(例 え ば G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た 輝度信号 を考え た 場合)、 周 波 数 レ ス ポ ン ス 特性 の劣化を軽減で き 、 水平 ラ イ ン 補間信号 の垂
直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。
以上の よ う に本実施例 に よ れば、 駆動制御回路及 び垂直内揷 SW . 回路 を備 え る こ と に よ り 、 補間処理 を 行わ な い と き は垂直 解像度劣化の無い高解像度の 映像が得 ら れ、 捕間処理を行 う と き は水平 ラ イ ン捕間信号の垂直方向 の尖鋭度の劣化を減少 さ せ 画質劣化の少 な い映像 を得 る. こ と が可能で あ る 。
[ 5 ] 〈第 5 の 実施例 : 「垂直補間回路 + 水平捕間 回 路」 構 成〉
図 2 0 は、 第 5 の実施例を示す水平 ラ イ ン補間機能付 き 撮像 装置の ブ ロ ッ ク 図で あ る 。 同図 に お い て、 9 0 1 か ら 9 0 5 は 図 1 2 の 1 0 1 か ら 1 0 5 と 同様で あ り 、 異な る の は A Z D 変 換回路 9 0 5 の 出力信号を記憶す る 9 0 6 フ ィ ー ル ド メ モ リ 回 路、 フ ィ ー ル ド メ モ リ 回路 9 0 6 を制御す る 9 0 7 フ ィ ー ル ド メ モ リ 制御回路、 フ ィ ー ル ド メ モ リ 回路 9 0 6 の 出力信号を用 い て垂直方向 の補間処理を行 う 9 0 8 垂直補間回路、 垂直補間 回路 9 0 8 を制御す る 9 0 9 垂直補間制御回路、 垂直補間回路 9 0 8 の 出力信号か ら 輝度信号や色信号 · 色差信号 な ど の生成 ま た は R G B 信号処理 を行 う 9 1 0 デ ィ ジ タ ル信号処理回路、 デ ィ ジ タ ル信号処理回路 9 1 0 の 出力信号を用 い て水平方向 の 補間処理を行 う 9 1 1 水平捕間回路、 水平補間回路 9 1 1 を制 御す る 9 1 2 水平捕間制御回路、 及 び上記回路を総合的 に 制御 す る 9 1 3 シ ス テ ム 制御回路で あ る 。
• 以上 の よ う に '構成 さ れた本実施例 の水平 ラ イ ン 捕間機能付 き 撮像装置 に つ い て、 以下 そ の動作 に つ い て説明 す る 。 本実施例
が第 3 の実施例 と 大き く 異な る の は、 電子 ズー ム 回路が垂直補 間回路 9 0 8 と 水平補間回路 9 1 1 と に分割 し て い る 点で あ る 。 以下図 2 1 及び図 2 2 を用 いて電子ズー ム機能につ いて説 明す る 。
図 2 1 に垂直電子ズー ム機能の構成例を示す。 同図に お いて 1 0 0 1 · 1 0 0 2 · 1 0 0.3 は、 そ れぞれ R ' B ' G信号を 記憶す る フ ィ ー ル ド メ モ リ 回路、 1 0 0 4 は フ ィ ー ル ド メ モ リ 回路 1 0 0 3 ( G 信号)を制御す る フ ィ ー ル ド メ モ リ 制御回路、 1 0 0 5 は フ ィ ー ル ド メ モ リ 回路 1 0 0 1 ( R信号)及び 1 0 0 2 ( B 信号)を制御す る フ ィ ー ル ド メ モ リ 制御回路、 1 0 0 6 · 1 0 0 7 · 1 0 0 8 はそれぞれ フ ィ ー ル ド メ モ リ 回路 1 0 0 1 · 1 0 0 2 · 1 0 0 3 か ら の R · B · G信号に垂直方向の捕間 . 拡大処理を行 う 垂直補間回路、 1 0 0 9 は垂直補間回路 1 0 0 8 を制御す る 垂直補間制御回路、 1 0 1 0 は垂直補間回路 1 0 0 6 及び 1 0 0 7 を制御す る 垂直電子 ズー ム制御回路、 1 0 1 1 は上記制御回路を コ ン ト ロ ー ルす る 図 2 0 シ ス テ ム制御回路 9 1 3 に含ま れ る垂直方向制御回路であ る 。
ま た図 2 2 に垂直捕間回路を示す。 同図 に示す よ う に 1 1 0 9 が垂直補間回路全体で あ り 、 1 1 0 1 か ら 1 1 0 8 は第 3 の 実施例の図 1 8 の 7 0 6 か ら Ί 1 3 と 同様の構成で あ る の で説 明 は省略す る 。 ま た R · G · B の信号 と も 同 じ構成で あ り 、 異 な る の は垂直補間制御回路か ら乗算器への乗算係数(補間係数) が R · B 信号は v l · v 2 、 G信号は v 3 · v 4 の点で あ る 。
こ の よ う に構成 さ れた垂直電子ズー ム機能の説明 を R · B 信 号の垂直位相 がずれて い る 場合 につ い て行 う 。 R及 び B 信号は
フ ィ ー ル ド メ モ リ 回路 1 0 0 1 · 1 0 0 2 と フ ィ ー ル ド メ モ リ 制御回路 1 0 0 5 、 さ ら に垂直捕間回路 1 0 0 6 · 1 0 0 7 と 垂 直捕間制御回路 1 0 1 0 に よ っ て制御 さ れ、 図 1 5 ( b )の G信 号で示 し た よ う に 垂直方 向 の 位相 の ずれ分 p ( l / 2 ラ イ ン) と 垂直内挿係数 w か ら 決 ま る 垂直捕間係数 v l · V 2 に よ る 演算 に よ っ て水平 ラ イ ン を補間す る 。 ま た G信号は フ ィ ー ル ド メ モ リ 回路 1 0 0 3 と フ ィ ー ル ド メ モ リ 制御回路 1 0 0 4 、 さ ら に 垂直補間回路 1 0 0 8 と 垂直補間制御回路 1 0 0 9 に よ っ て制 御 さ れ、 図 1 5 ( b )の R · B 信号で示 し た よ う に 垂直内揷係数 w か ら 決 ま る 垂直捕間係数 V 3 · V 4 に よ る 演算 に よ っ て水平 ラ イ ン を捕間す る 。 次 に垂直方向 の捕間処理後 に デ ィ ジ タ ル信 号処理回路 9 1 0 で R · G · B あ る い は Y (輝度) · C (色)の信 号処理を行 い 、 水平補間回路 9 1 1 で水平方向 の捕間処理 を行 う 。 こ の水平捕間回路 は 図 1 8 の 7 1 9 水平補間回路 と 同様の 回路で構成で き る の で こ こ で は説明 を省略す る 。
こ の よ う に垂直補間回路 1 0 0 6 及 び 1 0 0 7 を 備 え る こ と に よ り 、 垂直方向 の位相 ズ レ p に対す る 位相補償機能 と 内挿係 数 w に対す る 垂直内挿機能を 同時に 行 い 、 垂直位相捕償 の た め の回路 を 削減す る こ と が で き 、 少な い回路規模で水平 ラ イ ン 捕 間機能付 き 撮像装置を得 る こ と が可能で あ る 。
[ 6 ] 〈第 6 の実施例 : 擬似 フ レ ー ム構成〉
図 2 3 は 、 第 6 の実施例 を示す水平 ラ イ ン補間機能付 き 撮像 装置の デ ィ ジ タ ル信号処理部 を示す プ ロ ッ ク 図で あ る 。 同図 に お い て 1 2 0 1 は R · G · B 信号か ら 2 種類の輝度信号 Y 1 ·
Y 2 及 び 2 種類の色信号 C I · C 2 を得 る デ ィ ジ タ ル信号処理 回路、 1 2 0 2 か ら 1 2 0 5 は各信号を記憶す る フ ィ ー ル ド メ モ リ 、 1 2 0 6 は上記 フ ィ ー ル ド メ モ リ を制御す る フ ィ ー ル ド メ モ リ 制御回路、 1 2 0 7 は Y 1 · Υ 2 · C 1 · C 2 を 用 い て 捕間 · 拡大を 行 う 電子 ズ ー ム 回路、 1 2 0 8 は上記 デ ィ ジ タ ル 信号処理回路、 フ ィ ー ル ド メ 乇 リ 制御回路、 電子ズ ー ム回路を 総合的 に制御す る シ ス テ ム 制御回路で あ る 。 ま た 図 2 4 は 図 2 3 の デ ィ ジ タ ル信号処理回路 1 2 0 1 の構成を示す プ ロ ッ ク 図 で あ る 。 同図 に お い て 1 3 0 1 は 1 Η期間 の信号を記憶す る ラ イ ン メ モ リ 、 1 3 0 2 は加算器、 1 3 0 3 は ゲ イ ン調整 を行 う 1 Z 2 ア ン プ 、 1 3 0 4 は 3 信号か ら 2 信号 R 1 . R 2 を シ ス テ ム 制御回路 か ら の情報で選択す る セ レ ク タ 回路、 1 3 0 5 · 1 3 0 6 · 1 3 0 7 は上記 1 3 0 1 か ら 1 3 0 4 で構成 さ れ る 信号選択回路、 1 3 0 8 は輝度信号 Y 1 を作成す る Y 1 マ ト リ ツ ク ス 回路、 1 3 0 9 は輝度信号 Υ 2 を作成 す る Υ 2 マ ト リ ッ ク ス 回路、 1 3 1 0 は色信号 C 1 を作成す る C 1 マ ト リ ッ ク ス 回 路、 1 3 1 1 は 色信号 C 2 を作成す る C 2 マ ト リ ッ ク ス 回路、 1 3 1 2 は上記 1 3 0 8 か ら 1 3 1 1 で構成 さ れ る マ ト リ ッ ク ス 回路 で あ る 。
以上 の よ う に構成 さ れた水平 ラ イ ン補間機能付 き 撮像装置 に つ いて、 以下そ の動作を図 2 5、 2 6、 2 7 を用 いて説明す る 。 図 2 4 に お い て信号選択回路 1 3 0 5 か ら 1 3 0 7 で は 、 ま ず 連続す る 2 ラ イ ン の信号か ら 3 信号を作成す る 。 こ れを 図 2 5 に 示 す。 図 2 5 で は R , Β 信号が G 信号 に 対 し て 1 / 2 ラ イ ン 垂直方向 の位相 がずれて い る R · G · Β 信号か ら 作成 さ れ る 信
号を示 し て い る 。 例え ば R · B 信号 に お い て( n — 2 ) ラ イ ン と n ラ イ ン の信号か ら (m — 1 ) ラ イ ン の補間信号を 、 n ラ イ ン と ( n + 2 ) ラ イ ン の信号か ら (m + 1 ) ラ イ ン の補間信号を作成 し、 同様 に G信号 に お い て ( n — 1 ) ラ イ ン と ( n + 1 ) ラ イ ン の信号 か ら m ラ イ ン の捕間信号 を 、 ( n + 1 ) ラ イ ン と ( n + 3 ) ラ イ ン の信号か ら (m + 2 ) ラ イ ン.の補間 ラ イ ン 信号を作成す る 。 こ の よ う に連続す る 2 ラ イ ン の信号か ら 補間信号を含め て 3 ラ イ ン の信号を作成す る 。 次に図 2 4 に お け る セ レ ク タ 1 3 0 4 で は上記 3 信号か ら 2 信号を選択す る 。 こ れを図 2 6 及 び図 2 7 に示す。 図 2 6 で は 図 2 5 と 同様 に R , B 信号が G信号 に 対 し て 1 / 2 ラ イ ン 垂直方向 の 位相 がず れて い る R · G · B 信号 か ら 作成す る 捕間 ラ イ ン h 1 を、 図 2 7 で は 同様 に 作成す る 捕間 ラ イ ン h 2 を示 し て い る 。 図 2 6 に示す よ う に ( n — 1 ) ラ イ ン と n ラ イ ン間に捕間 ラ イ ン h 1 を作成す る の に必要な信号 R— , · G m - , ' B m―】 及 び R m- G m- B mを (数 8 ) に 、 作成 さ れ る 輝度 信号 Ym- i · Ym と 色差信号( R - Y ) m- ( R — Y )m 及び( B - Y ) m-! · ( B — Y )mを(数 9 ) に示す。
【数 8 】
β m - 1 = (Λ η - 2 +Λ ηノ / 2ヽ - 1 = Gn - 1 ヽ
Am = xi nヽ Um— l 二 (Gn一 l +U n 1)/ 2ヽ
B m = D n
【数 9 】
Ym - i = 0.3Rm - s +0. 59Gm— i +0. llBm- i
= 0. 3(Rn- 2 + Rn)/2 + 0.59Gn- 1+0. 11 (Bn- 2 + Bn)/2
Ym = 0.3Rn + 0.59(Gn-l+Gn + l)/2 + 0. ΙΙΒη
(R-Y)m- l = 0.7(Rn- 2+Rn)/2-0. 59G„-l-0. 11(Bn- 2+Bn)/2
(R-Y)m = 0. 7R„-0.59(Gn- i+Gn + i)/2-0. 11B„
(B-Y)m-! = -0.3(Rn- 2+Rn)/2-0. 59Gn- l+0.89(Bn- 2+B„)/2 (B-Y)m = -0.3Rn-0.59(Gn- i+Gn + i)/2 + 0.89Bn
ま た、 図 2 7 に示す よ う に n.ラ イ ン と ( n + 1 ) ラ イ ン 間 に補間 ラ イ ン h 2 を作成す る の に必要な信号 R Λ G A B 及び R m+-i
G m+ 1 · B m+ 1を(数 1 0 )に 、 作成 さ れ る 輝度信号 Y m * 丫:^! と 色差信号( R — Y )m * ( R - Y )m+ 1及 び( B - Y )m * ( B - Y )m+i を(数 1 1 ) に示す。
【数 1 0 】
Rm = I n Jm = (Gn- l T G n + l)/2 B m = D n
R m + 1 — (Κητβη + 2 / 2 G m + 1 = U n + l
【数 1 1 】
Ym = 0.3Bn + 0.59(Gn- l+Gn. l)/2 + 0. ΙΙΒη
Ym+ 1 = 0. 3(Rn+Rn + 2)/2 + 0.59Gn + l+0. ll(Bn+Bn + 2)
(R-Y)m = 0. 7Rn"0.59(Gn- l+Gn + l)/2-0. HBn
(R-Y)m+ l = 0. 7(Rn+Rn+ 2)/2-0. 59Gn+l-0. 11(Bn+Bn+ 2)/2 (B-Y)m = -0. 3Rn-0.59(Gn- i+Gn÷ i)/2 + 0.89Bn
(B-Y)m+ 1 = -0.3(Rn+Rn+ 2)/2-0.59Gn+ l+0.89(Bn+Bn+ 2)/2 こ の よ う に連続す る 2 ラ イ ン の信号か ら作成さ れた 3信号か ら 、 捕間 ラ イ ン を作成す る の に必要 な 2 信号を選択す る こ と に よ つ て 、 任意の位置に補間信号を作成す る こ と が で き る 。 上記示 し た 2 信号の選択を セ レ ク タ 回路が シ ス テ ム 制御回路か ら の制御
に よ り 行い、 補間 ラ イ ン h 1 作成時の Y_ i 及 び補間 ラ イ ン h 2 作成時 の Y mの マ ト リ ッ ク ス 演算を Y 1 マ ト リ ッ ク ス 回路 1 3 0 8 が、 補間 ラ イ ン h 1 作成時の Y m及 び捕間 ラ イ ン h 2 作成 時の Y m+ iの マ ト リ ッ ク ス 演算を Y 2 マ ト リ ッ ク ス 回路 1 3 0 が行 う 。 ま た 同様 に補間 ラ イ ン h 1 作成時の( R — Y ! · ( B 一 Y)m- i及び補間 ラ イ ン h 2作成時の(R — Y)m ' ( B — Y)mの マ ト リ ッ ク ス 演算を C 1 マ ト リ ッ ク ス 回路 1 3 1 0 が、 補間 ラ ィ ン h 1 作成時の(R — Y) m* ( B - Y ) び補間 ラ イ ン h 2作 成時の (R — Y) m+ 1 ' ( B — Y) m+ 1の マ ト リ ッ ク ス 演算で C 2 マ ト リ ッ ク ス 回路 1 3 1 1 が行 う 。 ま た C 1 及 び C 2 マ ト リ ッ ク ス で は (R — Y)信号 と ( B — Y)信号 と を間引 き 後 に 時分割で 出 力 す る 。 以上の動作を行 う 図 2 3 の デ ィ ジ タ ル信号処理回路 1 2 0 1 の 出力信号を図 2 3 に示す。 図 2 8 で の例え ば ) (m— 1 )ラ イ ン の第 1 画素の輝度信号を表 し て い る 。 図 2 8 ( a ) は 図 2 6 で示 し た捕間 の 出力信号で あ り 、 色信号 は 色差信号が 2 画素毎 に 間引 かれ て 時系列化 さ れて い る 。 同 図( a )で は ( m 一 1 )ラ イ ン及 び m ラ イ ン 信号が、 ( b )で は m ラ イ ン 及 び(m + 1 ) ラ イ ン 信号が、 そ れぞれ出力 し て い る 。
次 に 図 2 3 に お け る デ ィ ジ タ ル信号処理回路 1 2 0 1 の 出力 信号 は、 フ ィ 一ル ド メ モ リ 制御回路 1 2 0 6 の 制御 に よ り そ れ ぞれ フ ィ ー ル ド メ モ リ 1 2 0 2〜 1 2 0 5 に記憶 さ れ、 そ の後 電子 ズ ー ム 回路 1 2 0 7 で は フ ィ 一 ル ド メ モ リ か ら の 上記 の 信 号を用 い て捕間演算を行 う 。 捕間演算は フ レ ー ム 信号の位置関 係 に あ る 2 ラ イ ン の信号を用 い て演算を行 う 。 例 え ば図 2 6 に 示す場合 は フ レ ー ム 信号の位置関係 に あ る ( m — 1 ) ラ イ ン と
m ラ イ ン の信号を用 い て、 図 2 7 に示す場合 は 同 じ く フ レ ー ム 信号の位置関係 に あ る m ラ イ ン と ( m + 1 ) ラ イ ン の信号を用 い て補間演算 を行 う 。 こ の電子 ズ ー ム 回路の構成例 を図 2 9 に 示す。 同図 に お い て 1 8 0 1 は切換器、 1 8 0 2 · 1 8 0 3 は ラ イ ン メ モ リ 、 1 8 0 4 は ラ イ ン メ モ リ 制御回路、 1 8 0 5 は セ レ ク タ 回路、 1 8 0 6 · 1.8 0 7 は垂直方向 ラ イ ン メ モ リ 制 御回路、 1 8 0 8 · 1 8 0 9 は垂直内挿用 の乗算器、 1 8 1 0 は加算器、 1 8 1 1 は水平方向 の遅延を与え る ラ ッ チ 回路、 1 8 1 2 · 1 8 1 3 は水平用 内挿用 の乗算器、 1 8 1 4 は加算器、 1 8 1 5 は水平補間回路で あ る 。 以下そ の動作 に つ い て 図 1 8 の電子 ズ ー ム 回路 7 2 0 と 異 な る 点を 中心 に説明 す る 。 図 2 9 で は補間演算 を行 う Y 1 · Y 2 ま た は C 1 · C 2 の 2 ラ イ ン の 信号が入力 さ れ、 各信号 と 垂直方向 の 内挿 デ ー タ と で垂直内挿 演算を行 う 。 こ の た め 1 8 0 6 · 1 8 0 7 の垂直 ラ イ ン メ モ リ 制御回路で は 2 つ の ラ イ ン メ モ リ を一方を White用 、 他方を Read 用 と し て制御 し て い る 。
以上 の よ う に本実施例 に よ れば、 Y 1 · Υ 2及 び C 1 · C 2 信号を作成す る デ ィ ジ タ ル信号処理回路 と 電子 ズ ー ム 回路 を備 え る こ と に よ っ て 、 画質劣化の少 な い フ レ ー ム 信号の位置関係 に あ る 2 ラ イ ン の輝度信号及 び色差信号か ら 捕間信号を作成す る こ と が で き る の で 、 水平 ラ イ ン捕間信号 の垂直方向 の尖鋭度 の劣化 を減少 さ せ画質劣化 の 少な い映像を得 る こ と が可能で あ る 。 ま た補間 に必要な 2 ラ イ ン の信号が電子 ズ ー ム 回路 に 入力 さ れて い る の で電子 ズ ー ム 回路内 の ラ イ ン メ モ リ 数が少 な く 、 回路規模を 削減す る こ と も 可能で あ る 。
な お、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て 3 つ の 色信号 R · G · B の位相 を ず ら す た め に撮像素子の駆動制御を 行 っ て い る が、 駆動制御 に加 え て例 え ば 3 つ の色信号を得 る た め の 3 色分解 プ リ ズ ム に固体撮像素子を接着固定す る 際 に そ の 位置を従来 と は異 な り 垂直方向 に ず ら せ て接着す る 、 ま た は 3 色分解 プ リ ズ ム 内部の屈折率.を操作 し て光の光路 を 曲 げ る こ と に よ り 色信号 の位相 を ず ら す こ と も 考え ら れ る 。 ま た 、 こ の場 合、 p l 、 p 2、 p 3 の範囲 は 0 以上 1 未満 と し た が こ れ に限 る も の で は な く 、 例え ば p l = l . 5 と す る こ と も可能で あ り 、 こ の場合は p l = 0 . 5 と した場合と 同様の効果が得られる ( p 2、 p 3 に 関 し て も 同様) こ と は 明 ら かで あ る 。
ま た 、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て撮像素 子部に関 しては R · G · B 信号を出力す る こ と の みを示 し たが、 そ の 構成 と し て は 3 つ の 固体撮像素子 を 有 し 、 そ れ ぞ れ R * G ' B 信号を得 る 3 板式撮像装置や 、 2 つ の撮像素子を有 し一 方の撮像素子 は G 信号、 他方 の撮像素子 は R 信号及 び B 信号を 得 る 2 板式撮像装置の構成が考え ら れ る 。
ま た 、 上記第 3 の 実施例 に お い て は 電子 ズ ー ム 回 路 か ら の R · G · B 信号を エ ン コ ー ダ回路が N T S C 信号 に変換す る 場 合 を示 し 、 第 4 、 第 5 、 第 6 の実施例で は 電子 ズ ー ム 回路か ら R · G · B 信号 ま た は Y · C 信号が出力 さ れ る 所 ま で を示 し た が、 N T S C 信号あ る いは他の信号に変換す る こ と も可能であ る。
ま た 、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て 、 3 つ の色信号は 、 R、 G、 B と し た が こ れ に 限 る も の で は な く 、 例 え ばイ ェ ロ ー 、 シ ア ン 、 マ ゼ ン タ の 3 つ の 色信号 を使用 す る こ
こ と も 可能で あ る 。
ま た 、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て、 捕間 回路 に関 し て は ラ イ ン メ モ リ の制御 に関 し て の み説明 し た が、 そ れ と は別 に 固体撮像素子 ま た は フ ィ ー ル ド メ モ リ 等か ら の読 み 出 し の 制御 も 必要 に な る が そ れ は R · G · B 信号 あ る い は Y · C 信号そ れぞれの信号に.応 じ て コ ン ト ロ ー ルす る こ と がで き る が そ れ に 限 る も の で は な い。
ま た 、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て 、 補間 処理 は線形補間の場合を示 し た が こ れ に限 る も の で は な く 、 3 つ以上の ラ イ ン メ モ リ 出力信号を用 い て 2 次補間等の高次の捕 間処理が可能 と な る こ と は明 ら かで あ る 。
ま た 、 第 3 、 第 4 、 第 5 、 第 6 の 各実施例で示 し た 内容を他 の実施例 と 組み合わせ て使用 す る こ と は可能で あ る 。 例 え ば偽 色信号除去 は 第 3 の実施例で の み説明 し た が、 こ れ を第 4 、 第 5 、 第 6 の実施例において組み合わせて使用 す る こ と も で き る 。
[ 7 ] 〈第 7 の実施例 : フ レ ー ム 静止画を作成す る 構成〉 図 3 0 は、 第 7 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の プ ロ ッ ク 図を示す も の で あ る 。 図 3 0 に お い て 2 1 0 1 は光電変換機能を有す る 撮像素子部、 2 1 0 2 は撮像素子部 2 1 0 1 に対す る 撮像素子駆動回路、 2 1 0 3 は撮像素子駆動 回路 2 1 0 2 を制御す る 駆動制御回路、 2 1 0 4 は撮像素子 2 1 0 1 の 出力信号 に サ ン プ リ ン グ · 増幅等 の処理を行 う ア ナ 口 グ信号処理回路、 2 1 0 5 は ア ナ ロ グ信号処理回路 2 1 0 2 の 出力信号 に 対す る ア ナ ロ グ · デ ィ ジ タ ル変換回路 (以下 A Z D
変換回路)、 2 1 0 6 は A Z D変換 さ れた デ ィ ジ タ ル信号か ら 輝度信号や色信号 · 色差信号な ど の生成ま た は R G B信号処理 を行 う デ ィ ジ タ ル信号処理回路、 2 1 0 7 は デ ィ ジ タ ル信号処 理回路 2 1 0 6 の出力信号を記憶す る フ ィ 一ル ド メ モ リ 回路、 2 1 0 8 は フ ィ ー ル ド メ モ リ 回路 2 1 0 7 を制御す る フ ィ ー ル ド メ モ リ 制御回路、 2 1 0 9は.上記駆動制御回路 2 1 0 3、 フ ィ ー ル ド メ モ リ 制御回路 2 1 0 8 、 を総合的 に制御す る シ ス テ ム制 御回路、 2 1 1 0 は デ ィ ジ タ ル信号処理回路 2 1 0 6 の 出力信 号から NTS C信号等のテレビジョン信号を得るヱンコーダ回路、 2111はフィー ル ド メ モ リ 回路 2 1 0 7 の 出力信号か ら N T S C信号等の テ レ ビ ジ ョ ン信号を得る エ ン コ ー ダ回路であ る 。
以上の よ う に構成 さ れた本実施例の水平 ラ イ ン補間機能付 き 撮像装置につ い て 、 以下そ の動作に つ い て説明す る 。 撮像素子 部 2 1 0 1 か ら 出力 さ れ る R · G · B の複数の 出力信号は ア ナ ロ グ信号処理及び Aノ D変換処理 さ れデ ィ ジ タ ル信号 と な る 。 こ の デ ィ ジ タ ル信号は デ ィ ジ タ ル信号処理回路 2 1 0 6 に お い て輝度信号(Y 1 · Υ 2 )及び色信号( C I « C 2 )処理 さ れ フ ィ 一ル ド メ モ リ 回路 2 1 0 7 に入力 さ れる 。 フ ィ ー ル ド メ モ リ 回 路 2 1 0 7 に入力 さ れた信号は フ ィ ー ル ド メ モ リ 制御回路 2 1 0 8 に よ っ て フ レ ー ム静止画出力 さ れる 。
図 1 3 に駆動制御回路 2 1 0 3 に よ る撮像素子の フ レ ー ム蓄 積駆動制御を示す。 図 1 3 ( a )に通常の撮像素子のィ ン タ ー レ一 ス読み出 し駆動制御、 図 1 3 ( b )に本実施例に お け る撮像素子 部 2 1 0 1 の構成例で あ る R * G ' B の各信号を得 る R . G . B撮像素子の読み出 し駆動制御の概略を示す。 図 1 3 ( a )に示
す よ う に フ レ ー ム 蓄積モ ー ド で は 、 oddフ ィ ー ル ド で フ ィ ー ル ド シ フ ト の期間 に感光部の画素の う ち、垂直方向 に 1 つ お き 奇 数番 目 の ラ イ ン の画素の信号を読み 出 し、次に evenフ ィ ー ル ド で偶数番目 の ラ イ ン の画素の信号を読み出 し、 イ ン タ ー ラ イ ン 転送を実現 して い る。 本実施例では図 1 3 ( b )に示す よ う に odd フ ィ ー ル ド で 、 R ' G ' B の.撮像素子の う ち R · B の撮像素子 で は垂直方向 に奇数番 目 の ラ イ ン の画素の信号を、 G の撮像素 子では偶数番目の ラ イ ン の画素の信号を読み出 し、 次に evenフ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R · B の撮像素子で は垂 直方向 に偶数番目 の ラ イ ン の画素の信号を、 G の撮像素子では 奇数番 目 の ラ イ ン の画素の信号を読み出 し て い る 。 こ の よ う に フ レ ー ム蓄積駆動制御で R · G · B の撮像素子の odd/evenの読 み出 し を、 R · B 撮像素子 と G撮像素子 と で逆に し て い る 。
次に図 1 4 に撮像素子の フ ィ ー ル ド蓄積駆動制御を示す。 図 1 4 ( a )に通常の撮像素子のィ ン タ ー レ ー ス読みだ し駆動制御、 図 1 4 ( b )に本実施例 に おけ る撮像素子部 2 1 0 1 の他の構成 例で あ る R · G · B の各信号を得る R · G · B 撮像素子の読み だ し駆動制御の概略を示す。 図 1 4 ( a )に示す よ う に フ ィ ー ル ド蓄積モ ー ドでは、 oddフ ィ 一ル ド で水平転送 C C D (図示せず) に近い ラ イ ン の画素か ら奇数番目 の ラ イ ン の信号 と 次の偶数番 目 の ラ イ ン の信号を同時に加算( P D m i x ) し て読み出 し、 次に evenフ ィ ー ル ド で加算の組合せを変え下か ら偶数番目 の ラ イ ン の信号 と 次の奇数番目 の ラ イ ン の信号を同時に加算 し て読み出 し、 ィ ン タ 一 ラ イ ン転送を実現 して い る。 本実施例では図 1 4 ( b ) に示す よ う に od d フ ィ ー ル ド で 、 R · G · B の撮像素子の
う ち R · B の撮像素子で は 図 1 4 ( a )で示 し た oddフ ィ ー ル ド 読み出 し を、 G の撮像素子では evenフ ィ ー ル ド読み出 し を行い、 次 に evenフ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R · B の 撮像素子で は evenフ ィ ー ル ド読み出 し を、 G の撮像素子で は odd フ ィ ー ル ド読み 出 し を行 っ て い る 。 こ の よ う に フ ィ ー ル ド蓄積 駆動制御 で R · G · B の 撮像素子 の odd/evenの P D raix読み 出 し を、 R · B 撮像素子 と G撮像素子 と で逆 に し て い る 。
上記図 1 3 及 び図 1 4 に示 し た よ う に 、 odd/evenの読 み 出 し を R · B 撮像素子 と G撮像素子 と で逆に す る こ と に よ っ て 、 得 ら れ る R · B 信号 と G 信号 の空間的位置(位相) は 1 / 2 ラ イ ン ( 1 フ ィ ー ル ド で の ラ イ ン 間隔)ずれ る こ と と な る 。
以上の よ う に本実施例で は、 3 つ の色信号 R、 G、 B の位相 を そ れ ぞれず ら す た め に駆動制御回路を備 え た場合 を示 し た。 こ れ以外 に も 、 3 つ の 色信号を得 る た め の 3 色分解 プ リ ズ ム ま た は 2 色分解 プ リ ズ ム に固体撮像素子の位置を垂直方向 に ず ら せ て接着固定す る こ と に よ つ て も 、 3 つ の色信号 R、 G、 B の 位相 を そ れぞれず ら す こ と が可能で あ る 。
次 に 得 ら れ た R · G · B の各色信号 に対す る 信号処理方法を 以下 に 示す。
図 3 1 に信号処理の概略を示す。 図 3 1 ( a )は R信号及 び B 信号 と 位相 が合 っ た G信号を得 る 処理、 図 3 1 ( b )は G信号 と 位相 が合 っ た R信号及 び B 信号を得 る 処理の概略 を示す。 図 3 1 に示すよ う に R * B信号と G信号は位相が 1 / 2 ラ イ ン( 1 フ ィ ー ル ド で の ラ イ ン 間隔) ず れ て い る の で 、 信号処理 に は垂直方向 の位相 を合わ せ る 必要が あ る 。 そ こ で図 3 1 ( a )で は G 信号 に
対 し て連続す る 2 ラ イ ン の平均化処理(内挿係数 1 / 2 · 1 / 2 の捕間処理) を行うことによって、 R · G · B信号の位相を一致させることができ、図 31 ( b )で は R及び B 信号に対 し て連続す る 2 ラ イ ン の平均化処理 (内挿係数 1 / 2 · 1 / 2 の捕間処理)を行 う こ と に よ っ て、 R * G · B 信号の位相を一致 さ せ る こ と がで き る 。 こ れを(数 1 2 ) に示す。 - 【数 1 2 】
(a): Rm = Rn . Bm = Bn、 Gm = (G n - i +G n + i ) /2
(b) : Km = (K n- l +R n + l)/2. Bm = (B n- l +B n + l)/2.
な お上図 1 3、 1 4、 3 1 ( a )で は G信号の位置を空間的 に ず ら す制御( C 1 )の場合を説明、 図 3 1 ( b )で は R及び B 信号 の位置を空間的 にず ら す制御( C 2 ) も可能であ る 。 ま た R信号 の位置だ け( C 3 )を、 B 信号の位置だ け( C 4 )を空間的 に ず ら す制御 も可能であ る。 以下 こ の空間位置制御につ いて説明す る。 輝度(Y)信号は R · G · B信号に よ っ て作成さ れ、 それは(数 3 ) で示さ れ る 。
【数 3 】
Y = 0.3R + 0.59G + 0.11B
こ こ で輝度信号に含ま れる 空間的 に ずれて い る 信号( Y a ) と ず れて い な い信号( Y b )は、 上記 C 1 〜 C 4 の場合そ れぞれ次式 (数 4 )で示 さ れ る 。
【数 4 】
C1: Ya = 0.3R + 0.11B
Yb = 0.59G
968 Ό + 069 ·0 - = (人 - 8) Z
9Π Ό-969 ·0 - = (Α-8)Β3: CD
868 Ό + Ό- = (A-8)q3
an Ό-ai, ·ο = (人一 joq:)
06S ·ο - = (人 - g)
06 ·ο - = (A-a)qo
969 ·0 - = (人 - ίΐ Ο
968 OiSS Ό- = (A-9)e0
ail Ό-SL Ό = (人一 13
【 9 】 SL ( 9 ^ )
W ¾ ^ if ω :) 〜 "[ つ 2暴 T 、 ( q つ ) # II i i ^ . ^
( B O ) ^ s w コ 享 琴コ i^i コ :
868 *0 + 06S '0-38 '0 - =人 - 8
an O-06S Ό-ai, Ό = A-a οι
【 s 】
' an "0 = q人
36S '0 + 8S '0 = B入: 9
as Ό = q入
8Π '0 + 36S '0 = B入:
an ·ο+8ε Ό = q入
069 Ό = ^k' Z - 一 8 一
Z00I0/£6dr/lDd Sl0C0/f6 OM
Cb(R-Y) = 0.7R
Cb(B-Y) = - 0, 3R
C4 :Ca(R-Y) = 0.7R-0.59G
Ca(B-Y) = -0.3R+0.59G
Cb(K-Y) = -0.11B
Cb(B-Y) = 0.89B .
映像信号全体で擬似 フ レ ー ム 映像信号を得 る に は 、 (数 4 )及 び (数 6 ) に て Y a と Y b が略等 し く 、 C a と C b が略等 し い必要 があ る 。 こ の こ と よ り 空間位置制御 は C 1 ま た は C 2 が適切で あ る こ と がわ か る 。 し た が っ て、 こ れ よ り は空間位置制御が C 1 及 び C 2 の場合の説明 の み を行 う 。
次 に 、 図 3 1 に示 し た信号処理概略の回路構成例を図 1 6 に 示す。 図 1 6 ( a )は空間位置制御が C l 、 図 1 6 ( b )は C 2 の 場合で あ る 。 同図( a )( b )に お い て 同様の効果を示す も の に 関 し て は 、 同 じ 番号を付 し て省略す る 。 図 1 6 ( a )は G信号の 1 水平 ラ イ ン期間の遅延の た め の 1 H メ モ リ 5 0 1 と 、 加算器 5 0 2 、 ゲ イ ン 調整 の た め の 1 / 2 ア ン プ 5 0 3 、 上記(数 3 )に 示 し た演算処理を行 う 輝度信号マ ト リ ッ ク ス 5 0 4 と 、 (数 5 ) に示 し た演算処理を行 う 色信号マ ト リ ッ ク ス 5 0 5 を有 し て い る 。 同様 に図 1 6 ( b )は R信号及 び B信号の 1 水平 ラ イ ン期間 の遅延の た め に 1 H メ モ リ 5 0 1 と 、 加算器 5 0 2 と 、 ゲ イ ン 調整 の た め の 1 / 2 ア ン プ 5 0 3 、 上記(数 3 )に示 し た 演算処 理を行 う 輝度信号マ ト リ ッ ク ス 5 0 4 と 、 (数 5 )に示 し た演算 処理を行 う 色信号 マ ト リ ッ ク ス 5 0 5 を有 し て い る 。 こ の よ う に構成 さ れた デ ィ ジ タ ル信号処理回路 に お い て は 、 1 H メ モ リ
を有す る 垂直方向補間機能つ ま り 2 H ラ イ ン の平均回路 を備 え る こ と に よ り 、 色信号の位相 を一致 さ せ る こ と がで き 、 以下輝 度信号処理及 び色信号処理を行 う 。 ま た図 1 6 ( a ) ( b )よ り 同 図( a )つ ま り 空間位置制御が C 1 ( G信号を ず ら す)の方が回路 規模の 削減に は適 し て い る こ と がわ か る 。
ま た、 図 1 6 に示 し た空間.位置(位相)がずれて い る 色信号 に 対 し て の位相合わせ は、 垂直方向 に L P F 処理を行 う こ と に な る の で、 高域周波数特性が劣化す る 。 映像信号を 3 つ の色信号 全体(例 え ば G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た輝度信号)で見 た場合、 周 波数特性 は上記(数 3 )に 示 し た 演算処理を行 う 輝度信号マ ト リ ッ ク ス で は 、 (数 4 )に示す よ う に R · B 信号の位相 を ず ら す空間位置制御 C 2 の ほ う が、 G信 号 を ず ら す C 1 よ り 高域周 波数特性がす ぐ れて い る 。 ま た (数 5 ) に示 し た 演算処理 を行 う 色信号 マ ト リ ッ ク ス で も 、 (数 6 ) に示す よ う に空間位置制御 C 2 の ほ う が C 1 よ り 高域周 波数特 性がす ぐ れて い る 。 こ の よ う に、 空間位置制御 C 2 の方が補間 処理を行わ な い時の信号処理 に お け る 高域の周 波数特性で は適 し て い る こ と が分か る 。
ま た色差信号を作成す る 色信号マ ト リ ッ ク ス で は、 色信号の 高域周波数が異 な る こ と に よ っ て高域周波数帯域 に偽信号が発 生す る こ と に な る 。 例 え ば白 色を撮影 し た場合、 色差信号 R — Y · B — Y は零 レ ベ ル で あ る 必要があ る 。 し か し 上記空間位置 制御 C 2 の 場合、 高域周 波数帯域で は G信号 は 存在す る ( G ≠ 0 ) が R · B 信号は存在 し な い( R = B = 0 )の で、 色差信号 R 一 Y · B — Y は (数 7 ) に示す よ う に零 レ ベ ルで は な く 偽色信号
が発生す る 。 こ の問題点 に 関 し て は第 3 の実施例 に て詳 し く 説 明済み で あ る の で以下説明 は省略す る 。
次 に 、 図 3 0 で の デ ィ ジ タ ル信号処理回路 2 1 0 6 の 回路構 成 に つ い て図 3 2 を用 い て説明 す る 。 同図 に お い て 2 6 0 1 は 1 H期間の信号を記憶す る ラ イ ン メ モ リ 、 2 6 0 2 は加算器、 2 6 0 3 は ゲ イ ン 調整 を 行 う 1 / 2 ア ン プ 、 2 6 0 4 は 上記 2 6 0 1 か ら 2 6 0 3 で構成 さ れ る 信号補間回路、 2 6 0 5 は輝 度信号 Y 1 を作成す る Y 1 マ ト リ ッ ク ス 回路、 2 6 0 6 は輝度 信号 Y 2を作成する Y 2マトリックス回路、 2607は色信号 C 1を作成する C 1マトリツ ク ス 回路、 2 6 0 8 は色信号 C 2 を作成す る C 2 マ ト リ ッ ク ス 回路、 2 6 0 9 は上記 2 6 0 5 か ら 2 6 0 8 で構成 さ れ る マ ト リ ッ ク ス回路、 2 6 1 0 は輝度信号 Y 1 及び Y 2 に ア パ ー チ ャ 、 コ ア リ ン グ等の処理を行 う 輝度信号処理回路、 2 6 1 1 は色信 号 C 1 及 び C 2 に ホ ワ イ ト バ ラ ン ス 、 色再現等の 処理を 行 う 色 信号処理回路 で あ る 。
以上 の よ う に構成 さ れた水平 ラ イ ン補間機能付 き 撮像装置 に つ い て 、 以下 そ の 動作 を 図 2 5 、 3 3 、 3 4 を 用 い て 説明 す る 。 図 3 2 に お い て信号捕間回路 2 6 0 4 で は 、 連铳す る 2 ラ イ ン の信号か ら 補間信号を作成す る 。 こ れ を図 2 5 に示す。 図 2 5 で は R · B 信号が G 信号 に対 し て 1 / 2 ラ イ ン 垂直方 向 の 位相 がずれて い る R · G · B 信号か ら 作成 さ れ る 信号を示 し て い る 。 例 え ば R · B 信号 に お い て ( n — 2 ) ラ イ ン と n ラ イ ン の 信号か ら (m — 1 ) ラ イ ン の補間信号を η ラ イ ン と ( η + 2 ) ラ イ ン の信号か ら (m + 1 ) ラ イ ン の補間信号を作成 し 、 同様 に G信 号 に お い て ( n — 1 ) ラ イ ン と ( n + 1 ) ラ イ ン の信号か ら m ラ イ
ン の 捕間信号を 、 ( n + 1 ) ラ イ ン と ( n + 3 ) ラ イ ン の信号か ら (m + 2 ) ラ イ ン の 捕間 ラ イ ン 信号 を作成す る 。 こ の よ う に連続 す る 2 ラ イ ン の信号か ら 補間信号を作成す る 。 次 に図 3 2 に お け る マ ト リ ッ ク ス 回路 2 6 0 9 で は R · G · B の信号捕間回路 出力信号を用 い て マ ト リ ッ ク ス 信号処理を行 う 。 図 3 3 で は図 2 5 と 同様 に R · B 信号が G信号 に対 し て 1 / 2 ラ イ ン垂直方 向 の 位相 が ず れ て い る R · G · B 信号 か ら 作成 す る 輝度信号
Y m- 1 , Y m… 及 び色差信号( R — Y )m - ( R - Y )m…及 び( B
- Y )m- 1. ( B — Y )m… を示 し て い る 。 図 3 3 に示す よ う に 各 色信号 R m- 1 · G m- 1 « B m-i及 び R m ' G m - B mを (数 8 ) に 、 作成 さ れ る 輝度信号 Y m- i · Y mと 色差信号 ( R — Y ) m - , · ( R 一 Y ) m及 び ( B Y ) ( B - Y ) mを (数 9 ) に示す 【数 8 】
Rm- 1 = (Rn- 2+Rn)/2. G, = G .
Κιη = βη Gm - 1 = VJ n - l+Gn+ I ) / ^
B m = B n
【数 9 】
Ym- 1 = 0.3Rm- 1 +0.59Gm- ! +0. HBm- l
= 0.3(Rn- 2+Rn)/2+0.59Gn-l+0.11(Bn- 2+Bn)/2
Ym = 0.3Rn+0.59(Gn- l+Gn÷l)/2+0.11Bn
(K-Y)m-l = 0.7(Rn- 2+Rn)/2-0.59Gn-l-0.1i(Bn- 2+Bn)/2 (S-Y)m = 0.7Rn-0.59(Gn-l+Gn +l)/2-0. 11Bn
(B-Y)m-1 = -0.3(Bn- 2+Rn)/2-0.59Gn-l+0.89(Bn - 2+Bn)/2
(B-Y)
m
i)/2 + 0.89B
n
上記 の Ym- i の マ ト リ ッ ク ス 演算 を Y 1 マ ト リ ッ ク ス 回路 2 6 0 5 が、 Ymの マ ト リ ッ ク ス 演算 を Y 2 マ ト リ ッ ク ス 回路 2 6 0 6 が行 う 。 ま た同様に( R — Υ ! · ( Β — Y )
m— i の マ ト リ ツ ク ス 演算を C 1 マ ト リ ッ ク ス 回路 2 6 0 7 が、 ( R — Y )
m' ( B 一 Y )
mの マ ト リ ッ ク ス 演算を C 2 マ ト リ ッ ク ス 回路 2 6 0 8 が 行 う 。 ま た C 1 及 び C 2 マ ト リ ッ ク ス で は ( R — Y )信号 と ( B 一 Y )信号 と を 間引 き 後 に 時分割 で 出 力 す る 。 以上 の 動作 を 行 う 図 3 0 の デ ィ ジ タ ル信号処理回路 2 1 0 6 の 出力信号 を図 3 4 に示す。 図 3 4 で の 例 ぇ ば(丫
111-
1.
1) は ( 111 ー 1 ) ラ ィ ン の 第 第 1 画素の輝度信号を表わ し て い る 。 図 3 4 に お い て色信号 は 色差信号が 2 画素毎 に 間引 か れて時系列化 さ れて い る 場合 を示 し て い る 。 同図 に お い て Y 1 信号 と し て(m — 1 ) ラ イ ン 、 Y 2 信号 と し て m ラ イ ン信号が、 そ れ ぞれ出力 し て い る 。
次 に 図 3 0 に お け る デ ィ ジ タ ル信号処理回路 2 1 0 6 の 出力 信号 は 、 エ ン コ ー ダ回路 2 1 1 0 に よ っ て テ レ ビ ジ ョ ン 信号 ( T V 1 )に変換 さ れ動画 と し て 出力 す る 。 ま た デ ィ ジ タ ル信号 処理回路 2 1 0 6 の出力信号 は フ ィ ー ル ド メ モ リ 制御回路 2 1 0 8 の制御 に よ り 任意の瞬間 の画像 を そ れ ぞれ フ ィ ー ル ド メ モ リ 2 1 0 7 に記憶 さ れ、 Y 1 及 び C 1 信号か ら 構成 さ れ る 第 1 フ ィ ー ル ド信号 と 、 Y 2 及 び C 2 信号か ら 構成 さ れ る 第 2 フ ィ ー ル ド 信号 と し て時系列 に輝度信号 Y 3 及 び色差信号 C 3 と し て 出力 さ れ、 さ ら に エ ン コ ー ダ回路 2 1 1 1 に よ っ て Y 3 信号 及 び C 3 信号 は テ レ ビ ジ ョ ン信号( T V 2 )に変換 さ れ静止画 と し て 出力 す る 。 .
こ れ を図 3 5 を用 い て説明 す る 。 図 3 5 に お い て ( a ) は Y
1 及 び C I 信号が表 わ す空間位置 を示 し 、 ( b )は Y 2 及 び.( C 2 信号が表わす空間位置を示 し、 ( c ) は Y l 、 Υ 2 及び C l 、 C 2 信号が表わ す空間位置を示 し て い る 。 図 3 5 ( a )の Y 1 及 び じ 1 信号 と ( b )の Y 2 及 び C 2 信号は図 3 4 に示 し た よ う に デ ィ ジ タ ル信号処理回路 2 1 0 6 か ら 同時 に毎 フ ィ ー ル ド 出力 す る 。 そ こ で上記の テ レ ビ ジ. ョ ン信号( T V 1 )は Y 1 信号 と C 1 信号か ら構成 さ れ動画 と し て 出力 さ れ、 Y 3 及 び C 3 信号 は 第 1 フ ィ ー ル ド信号 と し て( a )の位置の Y 1 及 び C 1 信号を 出 力 し 、 第 2 フ ィ ー ル ド 信号 と し て( b )の位置の Y 2 及 び C 2 信 号を 出力 し 、 第 1 及 び第 2 の フ ィ ー ル ド信号は高画質の フ レ ー ム 静止画を構成 し て い る 。 ま た テ レ ビ ジ ョ ン信号( T V 2 ) は Ύ 3 信号 と C 3 信号を合成 し て コ ン ポ ジ ッ ト 信号 と し て第 1 及 び 第 2 の フ ィ ー ル ド信号が高画質の フ レ ー ム静止画を構成 してい る。
以上 の よ う に本実施例 に よ れば、 Y 1 · Y 2 及 び C 1 · C 2 信号を 作成す る デ ィ ジ タ ル信号処理回路 と フ ィ ー ル ド メ モ リ 回 路 フ ィ ー ル ド メ モ リ 制御回路 を備え る こ と に よ っ て 、 フ レ ー ム 信号の 位置関係 に あ る 輝度信号及 び色差信号を作成 し 、 同一時 刻の フ レ ー ム 信号を構成す る 2 つ の フ ィ 一ル ド信号を得 る こ と が可能で あ る 。
[ 8 ] 〈第 8 の実施例 : フ レ ー ム 静止画を作成す る 構成 + 垂直 内揷選択回路付加〉
図 3 6 は 、 第 8 の実施例を示す水平 ラ イ ン補間機能付 き 撮像 装置の ブ ロ ッ ク 図で あ る 。 同図 に お い て、 3 1 0 1 か ら 3 1 0 8 及 び 3 1 1 0 と 3 1 1 1 は 図 3 0 の 2 1 0 1 か ら 2 1 0 8 及
び 2 1 1 0 と 2 1 1 1 と 同様 で あ り 、 異 な る の は 垂直内挿 SW . 回路 3 1 1 2 と 上記回 を総合的 に制御す る シ ス テ ム 制御回路 3 1 0 9 で あ る 。 こ の よ う に構成 さ れた水平 ラ イ ン補間機能付 き 撮像装置 に つ い て以下異 な る 点を 中心に説明 を行 う 。
図 3 6 に お い て、 静止画作成処理を行わ な い場合 は 、 垂直内 揷 SW. 回路 3 1 1 2 は o f f 状態 と な り 、 シ ス テ ム 制御回路 3 1 0 9 、 駆動制御回路 3 1 0 3 及 び撮像素子駆動回路 3 1 0 2 を経 て撮像素子部 3 1 0 1 は R · G · B 各信号 の垂直位相 の 合致 し た通常 の駆動動作を行 う 。 他方静止画作成機能 に よ っ て静止画 処理を 行 う 場合 は 、 垂直内挿 SW . 回路 3 1 1 2 は on状態 と な り 、 シ ス テ ム 制御回路 3 1 0 9 、 駆動制御回路 3 1 0 3 及 び撮像素 子駆動回路 3 1 0 2 を経て撮像素子部 3 1 0 1 は第 7 の実施例 の 図 1 3 及 び図 1 4 で示 し た手段 に よ っ て R · B 信号 と G 信号 の垂直位相 が異 な る 駆動動作 を行 う 。
こ の よ う に 構成 さ れ た本実施例 の水平 ラ イ ン補間機能付 き 撮 像装置に おいて、 静止画作成処理を行わ な い信号処理の場合は、 空間位置 (位相) が合致 し て い る の で、 色信号 に対 し て の位相 合 わせ を必要 と せ ず、 垂直方向 の L P F 処理を行 う 必要 も な い の で、 高域周 波数特性 は劣化 し な い 。 ま た フ レ ー ム 静止画作成 処理を行 う 信号処理の場合 は第 7 の実施例 と 同様 に 、 デ ィ ジ タ ル信号処理回路 に よ っ て Y 1 · Υ 2 及 び C 1 · C 2 信号を作成 し 、 フ ィ ー ル ド メ モ リ 回路及 び フ ィ ー ル ド メ モ リ 制御回路が フ レ ー ム 静止画 を 出力 す る こ と が可能で あ る 。
以上の よ う に本実施例 に よ れば、 駆動制御回路及 び垂直内挿 S W . 回路 を 備 え る こ と に よ り 、 静止画処理 を 行 わ な い と き は 垂
直解像度劣化の無 い高解像度の映像 が得 ら れ、 静止画処理を行 う と き は 同一時刻の フ レ ー ム 信号を構成す る 2 つ の フ ィ 一ル ド 信号を得 る こ と が可能で あ る 。
なお、 上記第 7 、 第 8 の実施例に ぉぃて 3 っ の色信号 1 、 G、 B の位相 を ず ら す た め に撮像素子の駆動制御を行 っ て い る が、 駆動制御 に加 え て例え ば 3 つ.の色信号を得 る た め の 3 色分解 プ リ ズ ム に 固体撮像素子を接着固定す る 際 に そ の位置を従来 と は 異 な り 垂直方向 に ず ら せ て接着す る 、 ま た は 3 色分解 プ リ ズ ム 内部の屈折率 を操作 し て光の光路を 曲 げ る こ と に よ り 色信号の 位相をず ら す こ と も考え ら れ る。 ま た、 こ の場合、 p l、 p 2、 p 3 の範囲 は 0 以上 1 未満 と し た が こ れ に 限 る も の で は な く 、 例 え ば p 1 = 1 . 5 と す る こ と も 可能 で あ り 、 こ の 場合 は p 1 = 0 . 5 と し た 場合 と 同様 の効果が得 ら れ る ( p 2 、 p 3 に 関 し て も 同様) こ と は 明 ら かで あ る 。
ま た 、 上記第 7 、 第 8 の実施例 に お い て 3 つ の 色信号 は 固体 撮像素子出力信号の場合を説明 し た が、 フ ィ ー ル ド メ モ リ ま た は フ レ ー ム メ モ リ 等 に記憶 さ れた信号 に対 し て も 同様で あ り 、 こ の場合垂直方向 の位相 を シ フ ト さ せ る 手段 と し て 、 メ モ リ 読 み 出 し 制御を行 う こ と が で き る 。
ま た 、 上記第 7 、 第 8 の実施例 に お い て撮像素子部 に 関 し て は R · G · B 信号を 出力 す る こ と の み を示 し た が、 そ の構成 と し て は 3 つ の 固体撮像素子を有 し 、 そ れぞれ R · G · B 信号を 得 る 3 板式撮像装置や、 2 つ の撮像素子を有 し 一方 の撮像素子 は G 信号、 他方の 像素子は R 信号及 び B 信号を得 る 2 板式撮 像装置 の構成が考 え ら れ る 。
ま た 、 上記第 7 、 第 8 の実施例 に お い て 、 3 つ の色信号 は、 R、 G、 B と し たが こ れに限 る も の では な く 、 例え ばイ ェ ロ ー、 シ ア ン 、 マ ゼ ン タ の 3 つ の色信号を使用す る こ と も可能であ る 。
ま た、 上記第 7 、 第 8 の実施例 に お い て、 フ ィ ー ル ド メ モ リ 回路 は フ ィ ー ル ド メ モ リ 制御回路の制御 に よ っ て任意の 瞬間 の 画像 を記録す る と と も に静止.画 と し て 出力 す る 機能を有 す る 説 明 だ け を行 っ た が、 そ の他の点例え ば記録可能 な 画像数 は メ モ リ 容量 に よ っ て決定、 記録す る 任意の瞬間 を指示す る 機能や画 像 の更新方法等 は シ ス テ ム 制御回路 と フ ィ ー ル ド メ モ リ 制御回 路 を通 じ た SW. の 設置等 に よ っ て構成 す る こ と が で き る の で こ こ で の説明 は 省略す る 。
ま た 、 上記第 7 、 第 8 の実施例 に お い て 、 出力形態 と し て ィ ン タ ー レ ー ス 方式の現行 テ レ ビ ジ ョ ン信号 に合 う 場合 を説明 し た が、 ノ ン ィ ン タ ー レ ー ス 方式の テ レ ビ ジ ョ ン対応の動画出力 と し て フ レ ー ム 動画信号 ( Y l 、 Υ 2 及 び C l 、 C 2 信号) を 出力 す る 、 静止画用 出力 と し て プ リ ン タ の 入力方式等 に 合わせ て 1 フ レ ー ム 画像 を 出力 す る こ と も で き る 。
さ ら に、 上記第 7 、 第 8 の実施例 に お い て は擬似 フ レ ー ム 信 号 (補間 に よ り 作成 し た フ レ ー ム 位置信号) と し て Y l 、 Υ 2 信号及 び C l 、 C 2 信号を 出力 す る 場合を説明 し た が、 こ れ に 限 る こ と な く R ' G ' B の 各信号で R 1 ' R 2 、 G 1 ' G 2 、 B 1 · B 2 の擬似 フ レ ー ム 信号を 出 力 す る 、 ま た は人間 の 目 の 解像度 に対す る 感度を考慮 し て Y信号は擬似 フ レ ー ム 信号、 C 信号は通常 の フ ィ ー ル ド信号を 出力 す る 場合等 も あ る 。