JP2619355B2 - 固体撮像装置 - Google Patents

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明はカラー撮像装置にかかわり、特に固体撮像素
子を用いた単板カラーカメラに好適な色モワレの軽減方
法および装置に関する。

〔発明の背景〕

現在、ひとつの固体撮像素子からカラーのビデオ信号
を得る単板カラーカメラが実用に供せられている。こう
してカメラでは固体撮像素子の各画素に透過光の異なる
数種の色フイルタを周期的に対応させることによつて複
数の色信号を得ている。したがつて各色信号の空間的サ
ンプリング周波数は画素のサンプリング周波数の数分の
１に低下するので色モワレが発生しやすい。

単板カラーカメラの色モワレを軽減する方法としてた
とえば特開昭54−131819号公報に示されるものがある。

この方法では次のような動作を行なう。たとえば第１
図に示す色フイルタを、各フイルタ片が固体撮像素子の
画素に１対１で対応するよう組み合わせると第２図
（ａ）に示す信号が得られる。これを分離して得た第２
図（ｂ）〜（ｄ）に示すR,G,B信号では、たとえば時刻t
₁にはＲ信号が得られるがG,B信号は得られず、時刻t₂に
はＧ信号が得られるが、R,B信号は得られない。そこで
たとえば時刻t₁ではR₁の大きさがR₀とR₂のどちらに近い
かを比較し、R₀に近ければG₀とB₀で、またR₂に近いかど
ちらにも近くなければG₁とB₁でG,B信号を補間する。こ
うした動作でR,G,B信号を補間すると第２図（ｅ）〜
（ｇ）に示すようにサンプリング周波数が高く、位相の
そろつた３信号が得られる。この結果画素の繰り返し
（周期）に比べて変化の間隔が十分大きな被写体の境界
部では本来得られるべき信号がほぼ正しく補間されるの
で、こうした境界部で発生する色モワレが軽減される。

しかし画素の繰り返し周期の数倍の間隔で変化するパ
ターンをもつた被写体では正しく補間できず、逆に色モ
ワレが増加するという問題がある。

たとえば第１図の色フイルタに第３図に示す相対関係
で明暗の被写体を結像させると第４図（ａ）に示す信号
が得られる。これをR,G,Bに分離して上述の従来処理を
施すと第４図（ｂ）〜（ｄ）の信号となる。これらの信
号を第３図の被写体と比べるとt₃におけるＧ信号は本来
得られるべき信号と明らかに異なる。この結果t₃ではあ
たかも緑色の被写体を撮像したような信号となり、再生
画上でにせの色が発生する。

〔発明の目的〕

本発明の目的は固体撮像素子の画素の繰り返し周期の
数倍の間隔で変化するパターンをもつ被写体に対しても
にせの色が発生しにくい信号補間を行なう単板カラーカ
メラの色モワレ軽減方法を提供することにある。

〔発明の概要〕

上記目的を達成するため本発明の固体カラー撮像装置
は、固体撮像素子から順次得られる複数の色信号をそれ
ぞれ当該位相でサンプリングして分離し、任意の色信号
の特定時刻における信号とその前で得られる同一色信号
との間の変化量および後で得られる同一色信号との間の
変化量を求め、特定時刻における他の色信号をその前後
に得られる当該色信号の大きさと得られる時刻差、およ
び上述の変化量から求めた信号で補間することに特徴が
ある。

〔発明の実施例〕

以下、第５図に示す構成の実施例を用いて本発明を詳
細に説明する。

第５図において固体撮像素子１には例えば第１図に示
す色フィルタを組み合わせているものとする。このとき
第３図に示す相対関係で明暗の被写体が結像すると出力
からは第６図（ａ）に示す信号が得られる。これを直列
に接続した遅延回路2a,2b……,2fに順次加える。ここで
各遅延回路の遅延量を画素信号のサンプリング周期に等
しく設定する。この結果たとえば時刻t₆には出力線3a,3
b,……,3gからそれぞれ時刻t₆,t₅,……,t₀に得られた
B₂,G₂,R₂,B₁,G₁,R₁,B₀の画素信号が同時に得られる。

なお第６図（ａ）の信号をサンプリングにより分離し
たR,G,B信号はそれぞれ第６図（ｂ）〜（ｄ）に示すと
おりである。ここで時刻t₃に得られる信号を例にとると
Ｂ信号ではB₁が得られるがＲ信号、Ｇ信号は存在しな
い。そこでまずB₀〜B₁間の被写体の変化が直線的である
と近似すると時刻t₁およびt₂はB₀〜B₁間のそれぞれ1/3
および2/3の位置に対応するから、これらの時刻でのＢ
信号の大きさB_a1,B_a2はそれぞれ次のとおりである。

同様にB₁〜B₂間の被写体の変化が直線的であると近似
すると時刻t₄,t₅のＢ信号の大きさB_a4,B_a5はそれぞれ次
のとおりである。

B₀〜B₁間およびB₁〜B₂間におけるＲ信号、Ｇ信号の変
化もＢ信号と同様直線的であると考えるとたとえば時刻
t₁で得られるＲ信号（R₁）とt₃で得らえるＲ信号
（R_a3）の間には次の関係を用いることができる。

（１），（５）式よりR_a3は次の関係を用いて求める
ことができる。

同様にして時刻t₃におけるＲ信号（R_a′_３）と時刻t₄
で得られるＲ信号（R₂）の関係、および時刻t₃における
Ｇ信号（G_a3,G_a′_３）と時刻t₂およびt₅で得られるＧ信
号（G₁およびG₂）との関係は次のようになる。

ここで時刻t₃におけるＲ信号（R_t3）を時刻t₁に得ら
れるR₁から近似したR_a3と時刻t₄に得られるR₂から近似
したR_a′_３の平均値信号として求めることとすると次の
とおりである。

同様に時刻t₃におけるＧ信号（G_t3）は次のとおりで
ある。

上述の説明は時刻t₃に得るべき信号を例にとつて行な
つたが、他の時刻に得るべき信号についてもR,G,Bの関
係を各色信号が得られる順序にしたがつて入れかえれば
（10），（11）式をそのままあてはめることができる。

以上の信号処理を実現する一例である第５図の実施例
では出力線3gから得られるたとえば時刻t₆のB₀を減算回
路4aの正極性入力に加え、出力線3dから得られるB₁を負
極性入力に加える。さらに減算回路4aの出力信号をそれ
ぞれ1/3倍および2/3倍の増幅率をもつた増幅回路5aおよ
び5bに加える。同様に出力線3aから得られるB₂を減算回
路4bの正極性入力に加え、B₁を負極性入力に加える。こ
の結果得られる減算回路4bの出力信号をそれぞれ1/3倍
および2/3倍の増幅率をもつた増幅回路5cおよび5dに加
える。さらに増幅回路5a,5b,5c,5dの出力信号をそれぞ
れ出力線3dから得られるB₁と共に加算回路6a,6b,6c,6d
に加える。

ここで加算回路6bの出力信号を除算回路7aの除信号入
力に加え、一方被除算信号入力には出力線3fから得られ
るR₁を加える。また加算回路6cの出力信号は除算回路7b
の除信号入力に加え、被除算信号入力には出力線3cから
得られる信号を加える。こうして得られた除算回路7aお
よび7bの出力信号を加算回路8aで加算し、出力線3dから
得られるB₁と共に乗算回路9aに加え、さらに増幅率1/2
の増幅回路10aに加えれば出力からは（10）式で表わさ
れるR_t3に対応した信号が得られる。

同様に加算回路6aの出力信号を除算回路7cの除信号入
力に加えて被除算信号入力には出力線3eから得られるG₁
を加え、加算回路6dの出力信号を除算回路7dの除信号入
力に加えて被除算信号入力には出力線3bから得られるG₂
を加える。除算回路7cおよび7dの出力信号を加算回路8b
で加え合わせて出力線3dから得られるB₁と共に乗算回路
9bに加え、増幅率1/2の増幅回路10bを経れば出力からは
（11）式で表わされるG_t3に対応した信号が得られる。

なお増幅回路10a,10bの出力信号は出力線3dから得ら
れる信号と共にゲート回路11a,11b,11cに加える。この
とき固体撮像素子の駆動パルスに同期した発振回路12か
らの信号でゲート回路11a,11b,11cを制御し、それぞれ
の出力からＢ信号、Ｇ信号、Ｒ信号が分離して得られる
ようにする。

以上の結果、第６図（ａ）の信号からは（ｅ）〜
（ｇ）に示すとおりサンプリング周波数が画素のサンプ
リング周波数に等しく、位相のそろつたR,B,G信号を得
ることができる。これらの信号は時刻t₆,t₇に対応した
Ｇ信号等が本来得られるべき信号とは若干異なるが、全
体に第４図（ｃ）に示した従来例のものに比べると極端
なにせ信号の発生がおさえられている。この結果再生画
上で発生するにせの色が軽減される。

なお第５図に示す実施例は（10），（11）式を実現す
るための一方法であり、たとえば第７図に示すように減
算回路4a,4bと加算回路,6a,6b,6c,6dの機能を合わせも
つた加減算回路13a,13b,13c,13dを用いる方法など、（1
0），（11）式あるいはこれを変形した次式を満足する
あらゆる構成が可能である。

第５図に示す実施例ではある時刻の信号をその前後に
得られる同色の信号から予測した値の平均として求めた
が、当該時刻と前後の信号が得られる時刻との差に対応
した比率で加算する方法も有効である。

たとえば時刻t₃に対応するＲ信号を求めるに際して時
刻t₃からR₁の得られる時刻t₁までの差がR₂の得られる時
刻t₄までの差の２倍であることからR₁から予測した
（６）式に示すR_a3の1/3倍とR₂から予測した（７）式に
示すR_a′_３の2/3倍を加算して求めたR_t′_３を補間信号
に用いる。同様に時刻t₃に対応するＧ信号を求めるには
G₁から予測した（８）式に示すG_a3の2/3倍とG₂から予測
した（９）式に示すG_a′_３の1/3倍を加算した求めた
G_t′_３を補間信号に用いる。この結果R_t′₃,G_t′_３はそ
れぞれ次式で表わされる。

（12），（13）式を実現するための実施例を第８図に
示す。第８図の実施例では出力線3fおよび3cから得られ
る信号をそれぞれ増幅率１倍の増幅回路13aおよび増幅
率２の増幅回路13bを介して除算回路7aおよび7bの除信
号入力に加えると同時に、増幅回路10aの増幅率を1/3倍
に変更することによつて（12）式で示すR_t′_３を得る。
同様に出力線3eおよび3bから得られる信号をそれぞれ増
幅率３倍の増幅回路13cおよび増幅率１倍の増幅回路13d
を介して除算回路7cおよび7dの除信号入力に加え、増幅
回路10bの増幅率を1/3に変更して（12）式に示すG_t′_３
を得る。

こうして得られたR,B,G信号は第６図（ｈ）〜（ｊ）
に示すとおりである。これらの信号は第５図に示す実施
例で得られる（ｅ）〜（ｇ）の信号と同様、本来得られ
るべき信号に近いものである。また（12），（13）式の
関係を満足すれば第８図に示すもの以外の構成、あるい
は変形した式に対応する構成が可能なことは第５図の実
施例と同様である。

また補間信号を合成する他の方法として、ある時刻の
信号をその前後に得られる同色の信号から予測した値と
当該時刻に得られる信号の大きさとその前後に得られる
同色信号の大きさの差に対応した係数とから求めること
が有効である。

たとえば時刻t₃に対応するＲ信号を求めるに際して時
刻t₃に得られるB₁と時刻t₀に得られるB₀との差（|B₀−B
₁|）およびB₁と時刻t₆に得られるB₂との差（|B₂−B₁|）
を求め、B₁がB₀あるいはB₂のどちらにどれだけ近い値で
あるかを で表わす。これをR₁から予測した（６）式に示すR_a3とR
₂から予測した（７）式に示すR_a′_３の係数に用いると
時刻t₃の補間信号R_t″_３は次式となる。

同様に時刻t₃に対応するＧ信号（G_t″_３）はGG₁から
予測した（８）式に示すG_a3とG₂から予測した（９）式
に示すG_a′_３に上述の係数を用いればよく、次式のよう
になる。

（14），（15）を実現するための実施例を第９図に示
す。第９図において減算回路4a,4bの出力から得られる
たとえば時刻t₆おける信号を例にとるとB₀−B₁およびB₂
−B₁の差信号をそれぞれ絶対値回路14a,14bに加えて絶
対値信号に変換する。さらに絶対値回路14a,14bの出力
を加算回路15に加えると同時にそれぞれ除算回路16aお
よび16bの被除算信号入力に加え、除信号入力には加算
回路15の出力信号を加えれば出力から の係数に対応した信号が得られる。さらに除算回路16a
の出力を除算回路7bの出力と共に乗算回路17bに加え、
得られた出力信号を加算回路8aに加える。同時に除算回
路16bの出力を除算回路7aの出力と共に乗算回路17aに加
え、この出力を加算回路8aに加える。同様にして除算回
路16aの出力を除算回路7dの出力と共に乗算回路17dに加
えて得られた出力と除算回路16bの出力を除算回路7cの
出力と共に乗算回路17cに加えて得られた出力とを加算
回路8bに加える。加算回路8a,8bの出力を出力線3dから
得られた出力と共に乗算回路9a,9bに加えれば出力から
は（14），（15）式で示されるR_t″₃,G_t″_３が得られ
る。この際増幅回路10a,10bの増幅率は１倍とするかあ
るいは省けば良い。

なお、検出器18は絶対値回路14a,14bの出力がともに
０であつた場合を検出し、このとき除算回路16a,16bの
出力から“1/2"に対応する信号が得られるよう制御す
る。

以上の動作で得られるR,B,G信号は第６図（ｋ）〜
（ｍ）に示すとおり本来得られるべき信号にごく近いも
のとなるので再生画上でにせの色の発生を大幅に改善す
ることができる。また（14），（15）式の関係を満足す
れば、別の構成あるいは式を変形した他の構成で同様の
結果が得られることは第５図の実施例と同様である。

また第５図，第７〜９図の実施例において遅延回路2a
〜2fは直列接続としたが、第10図に示すように遅延時間
が画素のサンプリング周期の１倍〜６倍である遅延回路
19a〜19fを並列接続して用いることもできる。

なお乗算回路、除算回路等はアナログ回路で実現する
ことは回路的にむずかしいが、固体撮像素子１の出力を
デイジタル信号に変換することによつてデイジタル信号
での演算処理が可能である。

また本発明の説明は第１図に示す色フイルタを例にと
つて行なつたが、数種の信号が順次繰り返す時系列信号
に適用できることは明らかである。したがつて第11図
（ａ），（ｂ）などの補色系フイルタを用いたもの、
（ｃ），（ｄ）などの繰り返しが３画素以外のもの、
（ｅ）などの縦方向が同色でないもの、（ｆ）などの１
ラインおきに画素が水平方向にずれた固体撮像素子に対
応したものなどあらゆる色フイルタと組み合わせた単板
カラーカメラに適用可能である。

〔発明の効果〕

上述のように本発明によれば固体撮像素子の画素間隔
の数倍で変化するパターンをもつた被写体に対してもに
せ信号が発生しにくい信号補間を行なうことができ、単
板カラーカメラの色モワレを大幅に軽減することができ
る。

【図面の簡単な説明】

第１図は単板カラー用フイルタの一例を示す図、第２図
は従来例の動作を説明するための信号の模式図、第３図
は従来例での問題点を指摘するための被写体の一例を示
す図、第４図は第３図に示す被写体で得られる信号の模
式図を示す図、第５図および第７図〜第10図は本発明の
実施例を示す図、第６図は本発明の実施例で得られる信
号の模式図を示す図、第11図は本発明が適用可能な単板
カラーカメラの色フイルタの例を示す図である。 ４……減算回路、６……加算回路、７……除算回路、８
……加算回路、９……乗算回路、11……ゲート回路、13
……増幅回路、14……絶対値回路、15……加算回路、16
……除算回路、17……乗算回路、18……検出器。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 長原 脩策 国分寺市東恋ヶ窪１丁目280番地 株式 会社日立製作所中央研究所内 (72)発明者 三村 到 国分寺市東恋ヶ窪１丁目280番地 株式 会社日立製作所中央研究所内

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】３種類の色フィルタ素子からなる配列の組
   が規則的に繰り返されて構成された色フィルタと、上記
   色フィルタから順次出力された複数の画素信号を所定の
   タイミングで入力かつ遅延させて該複数の画素信号を同
   時に出力する分離手段と、上記分離手段の画像信号入力
   をX₂と表示し上記分離手段の入力側から数えて第３の画
   素信号出力をX₁表示したとき、上記画像信号入力X₂と上
   記第３の画素信号出力X₁から、直線近似演算により、下
   記式X_a4またはX_a5で表される２つの補助信号出力を得る
   第１の手段と、 上記分離手段の入力側から数えて第６の画素信号出力を
   X₀と表示したとき、上記第３の画素信号出力X₁と上記第
   ６の画素信号出力X₀から、直線近似演算により、下記式
   X_a1またはX_a2で表される２つの補助信号出力を得る第２
   の手段と、 上記分離手段の入力側から数えて第１の画素信号出力を
   Y₂、第４の画素信号出力をY₁と表示したとき、上記補助
   信号出力X_a2,X_a5及び上記第３の画素信号出力X₁とか
   ら、下記式Y_a3またはＹ′_a3を直線近似演算により求
   め、つづいてY_a3とＹ′_a3との平均値を求め、これを上
   記第１の画素信号出力及び上記第４の画素信号出力が属
   する種類の色フィルタから得られる第１の平均値信号と
   して出力する第３の手段と、 上記分離手段の入力側から数えて上記第２の画素信号出
   力をZ₂、第５の画素信号出力をZ₁と表示したとき、上記
   補助信号出力X_a1,X_a4及び上記第３の画素信号出力X₁と
   から、下記式Z_a3またはＺ′_a3を直線近似演算により求
   め、つづいてZ_a3とＺ′_a3との平均値を求め、これを上
   記第２の画素信号出力及び上記第５の画素信号出力が属
   する種類の色フィルタから得られる第２の平均値信号と
   して出力する第４の手段と、 上記第３の画素信号出力、上記第１の平均値信号及び上
   記第２の平均値信号を入力とし上記所定のタイミングで
   上記３種類の色フィルタ素子に対応する信号を独立かつ
   同期させて出力する第５の手段とを備えたことを特徴と
   する固体撮像装置。