JP3458080B2 - カラー撮像装置 - Google Patents
カラー撮像装置Info
- Publication number
- JP3458080B2 JP3458080B2 JP29713699A JP29713699A JP3458080B2 JP 3458080 B2 JP3458080 B2 JP 3458080B2 JP 29713699 A JP29713699 A JP 29713699A JP 29713699 A JP29713699 A JP 29713699A JP 3458080 B2 JP3458080 B2 JP 3458080B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- filter
- newly created
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 15
- 238000012545 processing Methods 0.000 claims description 68
- 230000005540 biological transmission Effects 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 29
- 238000000926 separation method Methods 0.000 claims description 13
- 238000002834 transmittance Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 19
- 239000003086 colorant Substances 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、カラー撮像装置に
関し、特に、カラー撮像素子から読み込んだフィルタ透
過信号の信号を処理し、より高い解像度を得るための信
号処理に関するものである。
関し、特に、カラー撮像素子から読み込んだフィルタ透
過信号の信号を処理し、より高い解像度を得るための信
号処理に関するものである。
【０００２】
【従来の技術】従来、ＣＣＤ等のカラー撮像素子からの
映像信号を高解像度化するためには、先ず、各カラーフ
ィルタがついたＣＣＤ素子からのフィルタ透過信号を周
囲画素と演算し、各ＣＣＤ素子個々の位置での輝度信号
を作成した後に、これらの輝度情報を用いて解像度変換
を行っていた。以下、図２を用いて、従来のＣＣＤとそ
の信号処理について説明する。
映像信号を高解像度化するためには、先ず、各カラーフ
ィルタがついたＣＣＤ素子からのフィルタ透過信号を周
囲画素と演算し、各ＣＣＤ素子個々の位置での輝度信号
を作成した後に、これらの輝度情報を用いて解像度変換
を行っていた。以下、図２を用いて、従来のＣＣＤとそ
の信号処理について説明する。
【０００３】図２は従来のカラー撮像装置のブロック図
である。図において、２０１は光学系であり、被写体を
ＣＣＤ２０２表面上に結像させる。２０２のＣＣＤは、
結像された被写体像を電気信号に変換するものであり、
各素子毎に色分離フィルタを乗せることにより、カラー
情報を取りだせるようにしたものである。ＣＣＤ２０２
から出力される信号２０３はアナログ量であり、ＣＣＤ
２０２の各素子毎に、その色分離フィルタを通過した光
の強さに応じた電圧値を持っている。２０４はＡ／Ｄ変
換器であり、アナログ信号２０３をデジタル化し、各画
素毎に０〜２５５の２５６階調をもつデジタル信号２０
５に変換する。２０６は後に示す信号処理において、周
囲画素との演算を可能とするために、上記デジタル信号
２０５を記憶し、各値のランダムアクセスを可能にする
記憶回路である。２０８は上記記憶回路２０６に記憶さ
れたデジタル信号２０７から輝度値、及び色差信号を求
める処理を行う信号処理回路である。
である。図において、２０１は光学系であり、被写体を
ＣＣＤ２０２表面上に結像させる。２０２のＣＣＤは、
結像された被写体像を電気信号に変換するものであり、
各素子毎に色分離フィルタを乗せることにより、カラー
情報を取りだせるようにしたものである。ＣＣＤ２０２
から出力される信号２０３はアナログ量であり、ＣＣＤ
２０２の各素子毎に、その色分離フィルタを通過した光
の強さに応じた電圧値を持っている。２０４はＡ／Ｄ変
換器であり、アナログ信号２０３をデジタル化し、各画
素毎に０〜２５５の２５６階調をもつデジタル信号２０
５に変換する。２０６は後に示す信号処理において、周
囲画素との演算を可能とするために、上記デジタル信号
２０５を記憶し、各値のランダムアクセスを可能にする
記憶回路である。２０８は上記記憶回路２０６に記憶さ
れたデジタル信号２０７から輝度値、及び色差信号を求
める処理を行う信号処理回路である。
【０００４】以上までの処理が一般に従来のカラー撮像
装置２１０で行われている処理であり、該信号処理回路
２０８は外部に対して、輝度値と色差信号２０９を出力
する。また、より高い解像度が求められる場合には、解
像度変換回路２１１が上記信号処理回路２０８から出力
された輝度値と色差信号２０９を用いて補間処理を行
い、新規作成する画素の輝度信号と色差信号を生成し、
上記解像度変換回路２１１から、上記信号処理回路２０
８から出力された輝度値と色差信号２０９よりも多くの
輝度値と色差信号２１２が出力される。
装置２１０で行われている処理であり、該信号処理回路
２０８は外部に対して、輝度値と色差信号２０９を出力
する。また、より高い解像度が求められる場合には、解
像度変換回路２１１が上記信号処理回路２０８から出力
された輝度値と色差信号２０９を用いて補間処理を行
い、新規作成する画素の輝度信号と色差信号を生成し、
上記解像度変換回路２１１から、上記信号処理回路２０
８から出力された輝度値と色差信号２０９よりも多くの
輝度値と色差信号２１２が出力される。
【０００５】次に、信号処理回路２０８の信号処理につ
いて図３を用いて具体的に説明を行う。図３は、従来の
カラー撮像装置によるＣＣＤ２０２の色フィルタの配置
を示す図である。図３において、Ｍｇはマゼンタ色のフ
ィルタをかけた素子であり、Ｇは緑色のフィルタをかけ
た素子であり、Ｃｙはシアン色のフィルタをかけた素子
であり、Ｙｅは黄色のフィルタをかけた素子である。Ｃ
ＣＤ２０２上ではこれらのパターンが市松状に並んでお
り、太枠で囲んだ範囲のパターンの繰り返しとなってい
る。
いて図３を用いて具体的に説明を行う。図３は、従来の
カラー撮像装置によるＣＣＤ２０２の色フィルタの配置
を示す図である。図３において、Ｍｇはマゼンタ色のフ
ィルタをかけた素子であり、Ｇは緑色のフィルタをかけ
た素子であり、Ｃｙはシアン色のフィルタをかけた素子
であり、Ｙｅは黄色のフィルタをかけた素子である。Ｃ
ＣＤ２０２上ではこれらのパターンが市松状に並んでお
り、太枠で囲んだ範囲のパターンの繰り返しとなってい
る。
【０００６】信号処理回路２０８では、これら単色フィ
ルタの透過信号から輝度値、及び色差信号を求める処理
を行う。例えば、画素３０１での輝度値を求める場合
は、近似的に３０１のＭｇ、３０２のＧ、３０５のＣ
ｙ、３０６のＹｅの４画素の輝度値の平均値、すなわ
ち、（Ｍｇ＋Ｇ＋Ｃｙ＋Ｙｅ）／４を求め、これを輝度
値とする。また、画素３０２での輝度値を求める場合
も、上記３０１の輝度値を求める場合と同様に、画素３
０２を左上隅とする２×２画素（３０２、３０３、３０
６、３０７）の平均値を求め、これを輝度値とする。こ
のように、何れの場合であっても、常にＭｇ、Ｇ、Ｃ
ｙ、Ｙｅを各１つずつ含む、注目画素を左上隅とする２
×２画素の平均値を求めていくことにより、ＣＣＤの各
画素に１：１に対応した輝度値を求めることができる。
ルタの透過信号から輝度値、及び色差信号を求める処理
を行う。例えば、画素３０１での輝度値を求める場合
は、近似的に３０１のＭｇ、３０２のＧ、３０５のＣ
ｙ、３０６のＹｅの４画素の輝度値の平均値、すなわ
ち、（Ｍｇ＋Ｇ＋Ｃｙ＋Ｙｅ）／４を求め、これを輝度
値とする。また、画素３０２での輝度値を求める場合
も、上記３０１の輝度値を求める場合と同様に、画素３
０２を左上隅とする２×２画素（３０２、３０３、３０
６、３０７）の平均値を求め、これを輝度値とする。こ
のように、何れの場合であっても、常にＭｇ、Ｇ、Ｃ
ｙ、Ｙｅを各１つずつ含む、注目画素を左上隅とする２
×２画素の平均値を求めていくことにより、ＣＣＤの各
画素に１：１に対応した輝度値を求めることができる。
【０００７】また、色差信号は、赤成分と輝度値の差を
表わすＣｒと、青成分と輝度値の差を表わすＣｂによっ
て特定され、Ｃｒ信号は（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）
で求められ、Ｃｂ信号は（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）
で求められる。なお、一般に、ＣｒとＣｂの一対の色差
信号は、人間の目が色についての解像度に比較的鈍感な
ため、４画素につき一対の色差信号を持たせることが多
い。
表わすＣｒと、青成分と輝度値の差を表わすＣｂによっ
て特定され、Ｃｒ信号は（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）
で求められ、Ｃｂ信号は（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）
で求められる。なお、一般に、ＣｒとＣｂの一対の色差
信号は、人間の目が色についての解像度に比較的鈍感な
ため、４画素につき一対の色差信号を持たせることが多
い。
【０００８】以上のように、従来のカラー撮像装置２１
０から出力する輝度値と色差信号２０９は、ＣＣＤ２０
２の画素と１：１の解像度を持つ輝度値と、ＣＣＤ２０
２の画素に対して１／４の解像度を持つＣｒとＣｂの一
対の色差信号とよりなる。
０から出力する輝度値と色差信号２０９は、ＣＣＤ２０
２の画素と１：１の解像度を持つ輝度値と、ＣＣＤ２０
２の画素に対して１／４の解像度を持つＣｒとＣｂの一
対の色差信号とよりなる。
【０００９】次に、該輝度値と色差信号２０９を受け、
解像度の変換を行なう解像度変換回路２１１の処理内容
について図４を用いて説明する。解像度変換の方法につ
いては非常に多くの方法が提案されているが、一般に最
も多く用いられている方法としては、周囲画素を用いて
線形に補間する線形補間法がある。図４は従来のカラー
撮像装置における解像度変換回路２１１による線形補間
法を説明するための説明図である。図において、Ｇは、
新規作成する画素であり、新規作成画素Ｇから最も近い
位置にあるＣＣＤ１０１上の画素位置が画素Ａであり、
画素Ａに隣接するＣＣＤ１０１上の画素位置が画素Ｂか
ら画素Ｅ、また、画素Ｃ、及び画素Ｄに隣接するＣＣＤ
１０１上の画素位置が画素Ｆである。なお、ｉは画素Ａ
を注目画素とした場合の新規作成画素Ｇまでの水平方向
の距離、ｊは画素Ａを注目画素とした場合の新規作成画
素Ｇまでの垂直方向の距離を表わす。
解像度の変換を行なう解像度変換回路２１１の処理内容
について図４を用いて説明する。解像度変換の方法につ
いては非常に多くの方法が提案されているが、一般に最
も多く用いられている方法としては、周囲画素を用いて
線形に補間する線形補間法がある。図４は従来のカラー
撮像装置における解像度変換回路２１１による線形補間
法を説明するための説明図である。図において、Ｇは、
新規作成する画素であり、新規作成画素Ｇから最も近い
位置にあるＣＣＤ１０１上の画素位置が画素Ａであり、
画素Ａに隣接するＣＣＤ１０１上の画素位置が画素Ｂか
ら画素Ｅ、また、画素Ｃ、及び画素Ｄに隣接するＣＣＤ
１０１上の画素位置が画素Ｆである。なお、ｉは画素Ａ
を注目画素とした場合の新規作成画素Ｇまでの水平方向
の距離、ｊは画素Ａを注目画素とした場合の新規作成画
素Ｇまでの垂直方向の距離を表わす。
【００１０】このとき、線形補間では線形の内挿処理を
行うため、元の画素の画素間距離を１とし、０≦ｉ＜１
かつ０≦ｊ＜１において、 Ｇ＝（１−ｉ）（（１−ｊ）Ａ＋ｊＣ）＋ｉ（（１−
ｊ）Ｄ＋ｊＦ） により新規作成画素Ｇの輝度値と色差信号を求めること
ができる。また、他の解像度変換方法として、例えば特
開平７−９３５３１号公報に記載されている、線形補間
処理を行うと同時に、エッジ部分をぼけさせることのな
いように、エッジ部分を特別に処理し、線形補間処理に
重畳するというものがある。
行うため、元の画素の画素間距離を１とし、０≦ｉ＜１
かつ０≦ｊ＜１において、 Ｇ＝（１−ｉ）（（１−ｊ）Ａ＋ｊＣ）＋ｉ（（１−
ｊ）Ｄ＋ｊＦ） により新規作成画素Ｇの輝度値と色差信号を求めること
ができる。また、他の解像度変換方法として、例えば特
開平７−９３５３１号公報に記載されている、線形補間
処理を行うと同時に、エッジ部分をぼけさせることのな
いように、エッジ部分を特別に処理し、線形補間処理に
重畳するというものがある。
【００１１】
【発明が解決しようとする課題】しかし、上記従来の技
術では、以下に示すような問題点があった。まず、線形
補間法では周囲画素との平均化処理を行うため、画像が
スムージングされてしまい、エッジ部分でもシャープさ
を失ったぼけた画像になってしまうという問題点を有し
ていた。また、特開平７−９３５３１号公報に示される
処理は、比較的良好な処理結果が得られるものの、線形
補間処理に加えてエッジ作成の処理演算が必要であり、
処理時間が長くかかるか、またはハードウェア化すると
きにコストが大きくなるという問題点を有していた。
術では、以下に示すような問題点があった。まず、線形
補間法では周囲画素との平均化処理を行うため、画像が
スムージングされてしまい、エッジ部分でもシャープさ
を失ったぼけた画像になってしまうという問題点を有し
ていた。また、特開平７−９３５３１号公報に示される
処理は、比較的良好な処理結果が得られるものの、線形
補間処理に加えてエッジ作成の処理演算が必要であり、
処理時間が長くかかるか、またはハードウェア化すると
きにコストが大きくなるという問題点を有していた。
【００１２】さらに、上記いずれの方法を用いても、例
えば図３の３０１、３０２、３０５、３０６の間にある
点を補間する際には、３０６の輝度値が補間処理を行な
う要素の一つとして用いられる。しかし、該３０６の輝
度値をつくるに当たっては３１１等の信号を用いている
ことから、非常に遠くの画素の影響を受けることとなっ
てしまう。このため、補間処理により求められた新規作
成する画素の値は結果として、広い範囲の画像をスムー
ジングしたものとなることを意味し、画像がぼけてしま
うという問題点を有していた。
えば図３の３０１、３０２、３０５、３０６の間にある
点を補間する際には、３０６の輝度値が補間処理を行な
う要素の一つとして用いられる。しかし、該３０６の輝
度値をつくるに当たっては３１１等の信号を用いている
ことから、非常に遠くの画素の影響を受けることとなっ
てしまう。このため、補間処理により求められた新規作
成する画素の値は結果として、広い範囲の画像をスムー
ジングしたものとなることを意味し、画像がぼけてしま
うという問題点を有していた。
【００１３】本発明は上記問題点に鑑みてなされたもの
であり、非常に少ない演算量で、ぼけのない良好な処理
結果が得られる、高解像度のカラー撮像装置を提供する
ことを目的とする。
であり、非常に少ない演算量で、ぼけのない良好な処理
結果が得られる、高解像度のカラー撮像装置を提供する
ことを目的とする。
【００１４】
【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１にかかるカラー撮像装置は、縦横
に隣接する４画素を１つの配列パターンとする，色分離
フィルタを持つ撮像素子と、上記撮像素子からの各画素
毎のフィルタ透過信号を記憶する記憶回路と、上記記憶
回路に記憶された各画素毎のフィルタ透過信号を用いて
各画素毎に輝度値、及び色差信号を求める信号処理回路
と、上記信号処理回路から出力された輝度値、及び色差
信号と、上記撮像素子から出力された各画素毎のフィル
タ透過信号とを用いて補間処理を行い、新規作成する画
素の輝度値と色差信号を生成する解像度変換回路を備え
ることを特徴とするものである。
に、本発明の請求項１にかかるカラー撮像装置は、縦横
に隣接する４画素を１つの配列パターンとする，色分離
フィルタを持つ撮像素子と、上記撮像素子からの各画素
毎のフィルタ透過信号を記憶する記憶回路と、上記記憶
回路に記憶された各画素毎のフィルタ透過信号を用いて
各画素毎に輝度値、及び色差信号を求める信号処理回路
と、上記信号処理回路から出力された輝度値、及び色差
信号と、上記撮像素子から出力された各画素毎のフィル
タ透過信号とを用いて補間処理を行い、新規作成する画
素の輝度値と色差信号を生成する解像度変換回路を備え
ることを特徴とするものである。
【００１５】また、本発明の請求項２にかかるカラー撮
像装置は、請求項１に記載のカラー撮像装置において、
上記解像度変換回路は、上記信号処理回路から出力され
た新規作成する画素に最も近い位置にある画素の輝度値
と、上記撮像素子から出力された上記新規作成する画素
に最も近い位置にある画素の周囲画素のフィルタ透過信
号と、を用いて補間処理を行い、新規作成する画素の輝
度値を生成することを特徴とするものである。
像装置は、請求項１に記載のカラー撮像装置において、
上記解像度変換回路は、上記信号処理回路から出力され
た新規作成する画素に最も近い位置にある画素の輝度値
と、上記撮像素子から出力された上記新規作成する画素
に最も近い位置にある画素の周囲画素のフィルタ透過信
号と、を用いて補間処理を行い、新規作成する画素の輝
度値を生成することを特徴とするものである。
【００１６】また、本発明の請求項３にかかるカラー撮
像装置は、請求項１、又は請求項２に記載のカラー撮像
装置において、上記撮像素子の色分離フィルタの配列パ
ターンを形成する４画素が持つ色分離フィルタが、２つ
の全色透過フィルタ（以下、Ｗフィルタ）と２つの色フ
ィルタとからなり、Ｗフィルタと色フィルタが市松状に
配列されているものである。
像装置は、請求項１、又は請求項２に記載のカラー撮像
装置において、上記撮像素子の色分離フィルタの配列パ
ターンを形成する４画素が持つ色分離フィルタが、２つ
の全色透過フィルタ（以下、Ｗフィルタ）と２つの色フ
ィルタとからなり、Ｗフィルタと色フィルタが市松状に
配列されているものである。
【００１７】また、本発明の請求項４にかかるカラー撮
像装置は、請求項３に記載のカラー撮像装置において、
上記色フィルタは、シアン色透過フィルタと黄色透過フ
ィルタであるものである。
像装置は、請求項３に記載のカラー撮像装置において、
上記色フィルタは、シアン色透過フィルタと黄色透過フ
ィルタであるものである。
【００１８】また、本発明の請求項５にかかるカラー撮
像装置は、請求項３、又は請求項４に記載のカラー撮像
装置において、上記解像度変換回路は、新規作成する画
素に最も近い位置にある画素が色フィルタ画素であった
場合は、（該色フィルタ画素に相対向して隣接する２つ
のＷフィルタ画素のフィルタ透過信号の差分）×（新規
作成する画素の位置に応じた係数）＋（上記信号処理回
路により出力された該色フィルタ画素の輝度値）によ
り、新規作成する画素の輝度値を求めることを特徴とす
るものである。
像装置は、請求項３、又は請求項４に記載のカラー撮像
装置において、上記解像度変換回路は、新規作成する画
素に最も近い位置にある画素が色フィルタ画素であった
場合は、（該色フィルタ画素に相対向して隣接する２つ
のＷフィルタ画素のフィルタ透過信号の差分）×（新規
作成する画素の位置に応じた係数）＋（上記信号処理回
路により出力された該色フィルタ画素の輝度値）によ
り、新規作成する画素の輝度値を求めることを特徴とす
るものである。
【００１９】また、本発明の請求項６にかかるカラー撮
像装置は、請求項３、又は請求項４に記載のカラー撮像
装置において、上記解像度変換回路は、新規作成する画
素に最も近い位置にある画素がＷフィルタ画素であった
場合は、（該Ｗフィルタ画素に相対向して隣接する２つ
の色フィルタ画素のフィルタ透過信号の差分）×（新規
作成する画素の位置に応じた係数）×（色フィルタの透
過率に応じた値）＋（該Ｗフィルタ画素の輝度値）によ
り、新規作成する画素の輝度値を求めることを特徴とす
るものである。
像装置は、請求項３、又は請求項４に記載のカラー撮像
装置において、上記解像度変換回路は、新規作成する画
素に最も近い位置にある画素がＷフィルタ画素であった
場合は、（該Ｗフィルタ画素に相対向して隣接する２つ
の色フィルタ画素のフィルタ透過信号の差分）×（新規
作成する画素の位置に応じた係数）×（色フィルタの透
過率に応じた値）＋（該Ｗフィルタ画素の輝度値）によ
り、新規作成する画素の輝度値を求めることを特徴とす
るものである。
【００２０】また、本発明の請求項７にかかるカラー撮
像装置は、請求項３、又は請求項４に記載のカラー撮像
装置において、上記解像度変換回路は、新規作成する画
素に最も近い位置にある画素がＷフィルタ画素であった
場合は、（間に該Ｗフィルタ画素及びこれに隣接する２
つの色フィルタ画素を挟んで相対向して存在する２つの
Ｗフィルタ画素のフィルタ透過信号の差分）×（新規作
成する画素の位置に応じた係数）＋（該Ｗフィルタ画素
の輝度値）により、新規作成する画素の輝度値を求める
ことを特徴とするものである。
像装置は、請求項３、又は請求項４に記載のカラー撮像
装置において、上記解像度変換回路は、新規作成する画
素に最も近い位置にある画素がＷフィルタ画素であった
場合は、（間に該Ｗフィルタ画素及びこれに隣接する２
つの色フィルタ画素を挟んで相対向して存在する２つの
Ｗフィルタ画素のフィルタ透過信号の差分）×（新規作
成する画素の位置に応じた係数）＋（該Ｗフィルタ画素
の輝度値）により、新規作成する画素の輝度値を求める
ことを特徴とするものである。
【００２１】また、本発明の請求項８にかかるカラー撮
像装置は、請求項１乃至請求項７の何れかに記載のカラ
ー撮像装置において、上記解像度変換回路は、上記信号
処理回路により求めた色差信号を用いて線形補間を行う
ことにより、新規作成する画素の色差信号を求めること
を特徴とするものである。また、本発明の請求項９にか
かるカラー撮像装置は、請求項１乃至請求項７の何れか
に記載のカラー撮像装置において、上記解像度変換回路
は、上記撮像素子から出力された各画素毎のフィルタ透
過信号を用いて、新規作成する画素の色差信号を求める
ことを特徴とするものである。
像装置は、請求項１乃至請求項７の何れかに記載のカラ
ー撮像装置において、上記解像度変換回路は、上記信号
処理回路により求めた色差信号を用いて線形補間を行う
ことにより、新規作成する画素の色差信号を求めること
を特徴とするものである。また、本発明の請求項９にか
かるカラー撮像装置は、請求項１乃至請求項７の何れか
に記載のカラー撮像装置において、上記解像度変換回路
は、上記撮像素子から出力された各画素毎のフィルタ透
過信号を用いて、新規作成する画素の色差信号を求める
ことを特徴とするものである。
【００２２】
【発明の実施の形態】(実施の形態１)本発明の実施の形
態１によるカラー撮像装置を図１、図４乃至図６を用い
て説明する。
態１によるカラー撮像装置を図１、図４乃至図６を用い
て説明する。
【００２３】第１図において、１０１は光学系であり、
被写体をＣＣＤ１０２表面上に結像させる。１０２のＣ
ＣＤは、結像された被写体像を電気信号に変換するもの
であり、各素子毎に色分離フィルタを乗せることによ
り、カラー情報を取りだせるようにしたものである。Ｃ
ＣＤ１０２から出力される信号１０３はＣＣＤ２０２の
各素子毎の、その色分離フィルタを通過した光の強さに
応じた電圧値を示すアナログ信号である。１０４はＡ／
Ｄ変換器であり、アナログ信号１０３をデジタル化し、
各画素毎に０〜２５５の２５６階調をもつデジタル信号
１０５に変換する。１０６は後に示す信号処理におい
て、周囲画素との演算を可能とするために、上記デジタ
ル信号１０５を記憶し、各値のランダムアクセスを可能
にする記憶回路である。１０８は上記記憶回路１０６に
記憶されたデジタル信号１０５から輝度値、及び色差信
号を求める処理を行う信号処理回路である。１０９は信
号処理回路１０８で求めた輝度値と色差信号１１０に加
えて、記録回路１０６内のＣＣＤの色フィルタの値１１
１を利用して解像度変換を行ない、ＣＣＤ１０２の画素
数より多い画素数の輝度値と色差信号１１２を出力する
解像度変換回路である。
被写体をＣＣＤ１０２表面上に結像させる。１０２のＣ
ＣＤは、結像された被写体像を電気信号に変換するもの
であり、各素子毎に色分離フィルタを乗せることによ
り、カラー情報を取りだせるようにしたものである。Ｃ
ＣＤ１０２から出力される信号１０３はＣＣＤ２０２の
各素子毎の、その色分離フィルタを通過した光の強さに
応じた電圧値を示すアナログ信号である。１０４はＡ／
Ｄ変換器であり、アナログ信号１０３をデジタル化し、
各画素毎に０〜２５５の２５６階調をもつデジタル信号
１０５に変換する。１０６は後に示す信号処理におい
て、周囲画素との演算を可能とするために、上記デジタ
ル信号１０５を記憶し、各値のランダムアクセスを可能
にする記憶回路である。１０８は上記記憶回路１０６に
記憶されたデジタル信号１０５から輝度値、及び色差信
号を求める処理を行う信号処理回路である。１０９は信
号処理回路１０８で求めた輝度値と色差信号１１０に加
えて、記録回路１０６内のＣＣＤの色フィルタの値１１
１を利用して解像度変換を行ない、ＣＣＤ１０２の画素
数より多い画素数の輝度値と色差信号１１２を出力する
解像度変換回路である。
【００２４】次に、信号処理回路１０８の信号処理につ
いて図４から図６を用いて具体的に説明を行う。信号処
理回路１０８では、フィルタの透過信号から各画素に対
応した輝度値を求める処理を行う。図５は、本発明のカ
ラー撮像装置によるＣＣＤ２０２の色フィルタの配置の
一例を示す図である。図において、ＷはＷフィルタをか
けた素子であり、Ｃｙは赤の補色であるシアン色のフィ
ルタをかけた素子であり、Ｙｅは青の補色である黄色の
フィルタをかけた素子である。ＣＣＤ１０２上ではこれ
らのパターンが市松状に並んでおり、太枠で囲んだ範囲
のパターンの繰り返しとなっている。Ｗフィルタ部は、
Ｗフィルタであるため、該フィルタの透過信号をそのま
ま輝度値とすることができるが、Ｃｙフィルタ、及びＹ
ｅフィルタ部は、周囲画素を利用して輝度値を求める必
要がある。
いて図４から図６を用いて具体的に説明を行う。信号処
理回路１０８では、フィルタの透過信号から各画素に対
応した輝度値を求める処理を行う。図５は、本発明のカ
ラー撮像装置によるＣＣＤ２０２の色フィルタの配置の
一例を示す図である。図において、ＷはＷフィルタをか
けた素子であり、Ｃｙは赤の補色であるシアン色のフィ
ルタをかけた素子であり、Ｙｅは青の補色である黄色の
フィルタをかけた素子である。ＣＣＤ１０２上ではこれ
らのパターンが市松状に並んでおり、太枠で囲んだ範囲
のパターンの繰り返しとなっている。Ｗフィルタ部は、
Ｗフィルタであるため、該フィルタの透過信号をそのま
ま輝度値とすることができるが、Ｃｙフィルタ、及びＹ
ｅフィルタ部は、周囲画素を利用して輝度値を求める必
要がある。
【００２５】以下、図６を用いて信号処理回路１０８に
おけるＣｙフィルタ部での輝度値の求め方について説明
する。図６は 本発明の実施の形態1におけるカラー撮
像装置のＣＣＤ１０２の色フィルタの配置の一例を示す
図である。図において、中央部のＣｙｎがこれから輝度
値を作る画素である。また、Ｃｙ1，Ｗ1、Ｃｙ2，Ｗ2は
Ｃｙｎに対して横方向に存在する画素であり、Ｃｙ3，
Ｗ3、Ｃｙ4，Ｗ4はＣｙｎに対して縦方向に存在する画
素である。これらの周囲画素は中央部のＣｙｎの輝度値
を求める処理に用いられる。
おけるＣｙフィルタ部での輝度値の求め方について説明
する。図６は 本発明の実施の形態1におけるカラー撮
像装置のＣＣＤ１０２の色フィルタの配置の一例を示す
図である。図において、中央部のＣｙｎがこれから輝度
値を作る画素である。また、Ｃｙ1，Ｗ1、Ｃｙ2，Ｗ2は
Ｃｙｎに対して横方向に存在する画素であり、Ｃｙ3，
Ｗ3、Ｃｙ4，Ｗ4はＣｙｎに対して縦方向に存在する画
素である。これらの周囲画素は中央部のＣｙｎの輝度値
を求める処理に用いられる。
【００２６】次に、輝度値を求める処理について説明す
る。Ｃｙフィルタに対する画素の輝度値を求めるために
はＣｙフィルタのフィルタ透過信号に赤成分を加えれば
良いため、周囲画素から赤成分を作成する。このとき、
縦方向と横方向のいずれかの方向を利用して赤成分を作
るが、より相関の強い方向を利用した方がエッジ等の影
響を受けず、精度を上げることができるため、先ず、縦
横の相関を比較する。横の相関をＷ1とＷ2との差とし、
縦の相関をＷ3とＷ4との差とすると、｜Ｗ1−Ｗ2｜＞｜
Ｗ3−Ｗ4｜の時は縦相関が強いことになり、逆のときは
横相関が強いこととなる。ここで、横相関が強いときは
Ｗ1位置とＷ2位置での赤成分を平均化したものをＣｙｎ
のフィルタ透過信号に加えることにより、Ｃｙｎ位置で
の輝度値を求めることができる。なお、Ｗ1位置での赤
成分は、Ｗ1からその位置のシアン成分を減ずれば良
く、Ｗ1位置でのシアン成分はＣｙ1とＣｙｎの平均値で
求められる。したがって、Ｗ1位置での赤成分は、 （Ｗ1−（Ｃｙｎ＋Ｃｙ1）／２） で求められる。同様にＷ2位置での赤成分は、 （Ｗ2−（Ｃｙｎ＋Ｃｙ2）／２） で求められる。このことから、Ｃｙｎ位置での赤成分
は、 （（Ｗ1−（Ｃｙｎ＋Ｃｙ1）／２）＋（Ｗ2−（Ｃｙｎ
＋Ｃｙ2）／２））／２ で求められ、これにＣｙｎのフィルタ透過信号を加える
ことにより、Ｃｙｎ位置での輝度値は、 Ｃｙｎ／２＋Ｗ1／２＋Ｗ2／２−Ｃｙ1／４−Ｃｙ2／４ …（１） で求めることができる。同様に、縦相関が強い場合には
Ｃｙｎ位置での輝度値は、 Ｃｙｎ／２＋Ｗ3／２＋Ｗ4／２−Ｃｙ3／４−Ｃｙ4／４…（２）
る。Ｃｙフィルタに対する画素の輝度値を求めるために
はＣｙフィルタのフィルタ透過信号に赤成分を加えれば
良いため、周囲画素から赤成分を作成する。このとき、
縦方向と横方向のいずれかの方向を利用して赤成分を作
るが、より相関の強い方向を利用した方がエッジ等の影
響を受けず、精度を上げることができるため、先ず、縦
横の相関を比較する。横の相関をＷ1とＷ2との差とし、
縦の相関をＷ3とＷ4との差とすると、｜Ｗ1−Ｗ2｜＞｜
Ｗ3−Ｗ4｜の時は縦相関が強いことになり、逆のときは
横相関が強いこととなる。ここで、横相関が強いときは
Ｗ1位置とＷ2位置での赤成分を平均化したものをＣｙｎ
のフィルタ透過信号に加えることにより、Ｃｙｎ位置で
の輝度値を求めることができる。なお、Ｗ1位置での赤
成分は、Ｗ1からその位置のシアン成分を減ずれば良
く、Ｗ1位置でのシアン成分はＣｙ1とＣｙｎの平均値で
求められる。したがって、Ｗ1位置での赤成分は、 （Ｗ1−（Ｃｙｎ＋Ｃｙ1）／２） で求められる。同様にＷ2位置での赤成分は、 （Ｗ2−（Ｃｙｎ＋Ｃｙ2）／２） で求められる。このことから、Ｃｙｎ位置での赤成分
は、 （（Ｗ1−（Ｃｙｎ＋Ｃｙ1）／２）＋（Ｗ2−（Ｃｙｎ
＋Ｃｙ2）／２））／２ で求められ、これにＣｙｎのフィルタ透過信号を加える
ことにより、Ｃｙｎ位置での輝度値は、 Ｃｙｎ／２＋Ｗ1／２＋Ｗ2／２−Ｃｙ1／４−Ｃｙ2／４ …（１） で求めることができる。同様に、縦相関が強い場合には
Ｃｙｎ位置での輝度値は、 Ｃｙｎ／２＋Ｗ3／２＋Ｗ4／２−Ｃｙ3／４−Ｃｙ4／４…（２）
【００２７】で求めることができる。
【００２８】また、Ｙｅフィルタ部についてもＣｙフィ
ルタ部と同様に、周囲画素を利用して輝度値を求める必
要があり、以下にＹｅフィルタ部での輝度値の求め方に
ついて図７を用いて説明する。図７は本発明の実施の形
態1におけるカラー撮像装置のＣＣＤ１０２の色フィル
タの配置の一例を示す図である。図において、中央部の
Ｙｅｎがこれから輝度値を作る画素である。また、Ｙｅ
1，Ｗ1、Ｙｅ2，Ｗ2はＹｅｎに対して横方向に存在する
画素であり、Ｙｅ3，Ｗ3、Ｙｅ4，Ｗ4はＹｅｎに対して
縦方向に存在する画素である。これらの周囲画素は中央
部のＹｅｎの輝度値を求める処理に用いられる。
ルタ部と同様に、周囲画素を利用して輝度値を求める必
要があり、以下にＹｅフィルタ部での輝度値の求め方に
ついて図７を用いて説明する。図７は本発明の実施の形
態1におけるカラー撮像装置のＣＣＤ１０２の色フィル
タの配置の一例を示す図である。図において、中央部の
Ｙｅｎがこれから輝度値を作る画素である。また、Ｙｅ
1，Ｗ1、Ｙｅ2，Ｗ2はＹｅｎに対して横方向に存在する
画素であり、Ｙｅ3，Ｗ3、Ｙｅ4，Ｗ4はＹｅｎに対して
縦方向に存在する画素である。これらの周囲画素は中央
部のＹｅｎの輝度値を求める処理に用いられる。
【００２９】このように、Ｙｅｎの周囲画素の位置関係
は、Ｃｙフィルタの場合の周囲画素の位置関係と全く同
じになるため、上記Ｃｙフィルタの場合と同様の手順で
Ｙｅｎの輝度信号を求めることができる。すなわち、上
記式（１）、（２）のＣｙをＹｅに置き換えればよく、
縦横の相関の関係を上記Ｃｙｎの輝度値を求める場合と
同様に求め、縦横の相関関係に従い、以下のようにＹｅ
ｎの輝度信号を求めることができる。
は、Ｃｙフィルタの場合の周囲画素の位置関係と全く同
じになるため、上記Ｃｙフィルタの場合と同様の手順で
Ｙｅｎの輝度信号を求めることができる。すなわち、上
記式（１）、（２）のＣｙをＹｅに置き換えればよく、
縦横の相関の関係を上記Ｃｙｎの輝度値を求める場合と
同様に求め、縦横の相関関係に従い、以下のようにＹｅ
ｎの輝度信号を求めることができる。
【００３０】横相関が強い場合のＹｅｎ位置での輝度値
Ｙｅｎ／２＋Ｗ1／２＋Ｗ2／２−Ｙｅ1／４−Ｙｅ2／４
縦相関が強い場合のＹｅｎ位置での輝度値
Ｙｅｎ／２＋Ｗ3／２＋Ｗ4／２−Ｙｅ3／４−Ｙｅ4／４
【００３１】このように、ＣＣＤ１０２の各素子毎に図
５に示したような色分離フィルタを乗せることにより、
信号処理回路１０８により輝度値を求める場合に、Ｗフ
ィルタ部では、周囲画素との演算を全く行なうことなく
輝度値を求めることができ、また、色フィルタ部につい
ても、周囲画素の利用範囲は従来技術より広いものの、
従来技術が４画素の平均をとり注目画素の重み付け量が
１／４であったことに対して、本発明では上記Ｗフィル
タ部の輝度値を用い、注目画素の重み付け量が１／２と
なり、全体的にぼけが非常に少ない画像を得ることがで
きる。
５に示したような色分離フィルタを乗せることにより、
信号処理回路１０８により輝度値を求める場合に、Ｗフ
ィルタ部では、周囲画素との演算を全く行なうことなく
輝度値を求めることができ、また、色フィルタ部につい
ても、周囲画素の利用範囲は従来技術より広いものの、
従来技術が４画素の平均をとり注目画素の重み付け量が
１／４であったことに対して、本発明では上記Ｗフィル
タ部の輝度値を用い、注目画素の重み付け量が１／２と
なり、全体的にぼけが非常に少ない画像を得ることがで
きる。
【００３２】次に、信号処理回路１０８における色差信
号の求め方について示す。色差信号は、従来例と同様に
４画素についてＣｒとＣｂの一対の色差信号を求める。
以下に、一例として、図５の太枠内の４画素についての
ＣｒとＣｂの一対の色差信号を求める場合について説明
する。なお、Ｃｒは赤成分と輝度値の差であり、Ｃｂは
青成分と輝度値の差である。以下、Ｃｒ、Ｃｂの求め方
に分けて説明する。
号の求め方について示す。色差信号は、従来例と同様に
４画素についてＣｒとＣｂの一対の色差信号を求める。
以下に、一例として、図５の太枠内の４画素についての
ＣｒとＣｂの一対の色差信号を求める場合について説明
する。なお、Ｃｒは赤成分と輝度値の差であり、Ｃｂは
青成分と輝度値の差である。以下、Ｃｒ、Ｃｂの求め方
に分けて説明する。
【００３３】Ｃｒを求めるに当たって、まず、光の中に
含まれる赤の輝度値に対する影響量はＷ−Ｃｙで求めら
れる。なお、図５の太枠内にはＷが２つあるが、いずれ
を用いても構わない。また、Ｃｒを求めるのに用いられ
る赤成分とは赤の輝度値の絶対値を意味するため、Ｗ−
Ｃｙに定数をかけて補正する必要がある。ここでは、一
般に赤の輝度値に対する影響比として用いられる略０．
３を用い、赤成分は（Ｗ−Ｃｙ）／０．３で求められ
る。よって、赤成分と輝度値の差であるＣｒは、 Ｃｒ＝（Ｗ−Ｃｙ）／０．３−Ｗ＝（０．７Ｗ−Ｃｙ）／０．３ …（３） で求めることができる。
含まれる赤の輝度値に対する影響量はＷ−Ｃｙで求めら
れる。なお、図５の太枠内にはＷが２つあるが、いずれ
を用いても構わない。また、Ｃｒを求めるのに用いられ
る赤成分とは赤の輝度値の絶対値を意味するため、Ｗ−
Ｃｙに定数をかけて補正する必要がある。ここでは、一
般に赤の輝度値に対する影響比として用いられる略０．
３を用い、赤成分は（Ｗ−Ｃｙ）／０．３で求められ
る。よって、赤成分と輝度値の差であるＣｒは、 Ｃｒ＝（Ｗ−Ｃｙ）／０．３−Ｗ＝（０．７Ｗ−Ｃｙ）／０．３ …（３） で求めることができる。
【００３４】次に、Ｃｂを求めるに当たって、まず、光
の中に含まれる青の輝度値に対する影響量はＷ−Ｙｅで
求められる。なお、図５の太枠内にはＷが２つあるが、
上記Ｃｒを求める場合同様、いずれを用いても構わな
い。また、Ｃｂに用いられる青成分とは青の輝度値の絶
対値を意味するため、Ｗ−Ｙｅに定数をかけて補正する
必要がある。ここでは、一般に青の輝度値に対する影響
比として用いられる略０．1を用い、青成分は（Ｗ−Ｙ
ｅ）／０．１で求められる。よって、青成分と輝度値の
差であるＣｂは、 Ｃｂ＝（Ｗ−Ｙｅ）／０．１−Ｗ＝（０．９Ｗ−Ｙｅ）／０．１ …（４） で求めることができる。
の中に含まれる青の輝度値に対する影響量はＷ−Ｙｅで
求められる。なお、図５の太枠内にはＷが２つあるが、
上記Ｃｒを求める場合同様、いずれを用いても構わな
い。また、Ｃｂに用いられる青成分とは青の輝度値の絶
対値を意味するため、Ｗ−Ｙｅに定数をかけて補正する
必要がある。ここでは、一般に青の輝度値に対する影響
比として用いられる略０．1を用い、青成分は（Ｗ−Ｙ
ｅ）／０．１で求められる。よって、青成分と輝度値の
差であるＣｂは、 Ｃｂ＝（Ｗ−Ｙｅ）／０．１−Ｗ＝（０．９Ｗ−Ｙｅ）／０．１ …（４） で求めることができる。
【００３５】このように、撮像素子の色分離フィルタの
色フィルタに赤と青の補色であるＣｙフィルタとＹｅフ
ィルタを用いることにより、さらに、色差信号を求める
演算を極力抑えることができる
色フィルタに赤と青の補色であるＣｙフィルタとＹｅフ
ィルタを用いることにより、さらに、色差信号を求める
演算を極力抑えることができる
【００３６】なお、本実施の形態１では、赤と青の補色
であるＣｙとＹｅを用い、赤成分及び青成分を求める際
の演算を極力少なくする場合について説明したが、あく
まで一例であって、別の異なる２種の色フィルタを用い
る場合であっても、従来技術に比べ、非常に簡単な演算
によりぼけの少ない良好な画像を得ることができる。
であるＣｙとＹｅを用い、赤成分及び青成分を求める際
の演算を極力少なくする場合について説明したが、あく
まで一例であって、別の異なる２種の色フィルタを用い
る場合であっても、従来技術に比べ、非常に簡単な演算
によりぼけの少ない良好な画像を得ることができる。
【００３７】次に、解像度変換回路１０９が行なう処理
について図４、図５を用いて説明する。図４は本発明の
実施の形態１によるカラー撮像装置における解像度変換
回路１０９が行なう補間処理を説明するための説明図で
ある。図において、Ｇは新規作成する画素であり、新規
作成画素Ｇから最も近い位置にあるＣＣＤ１０１上の画
素位置が画素Ａであり、画素Ａに隣接するＣＣＤ１０１
上の画素位置が画素Ｂから画素Ｅである。
について図４、図５を用いて説明する。図４は本発明の
実施の形態１によるカラー撮像装置における解像度変換
回路１０９が行なう補間処理を説明するための説明図で
ある。図において、Ｇは新規作成する画素であり、新規
作成画素Ｇから最も近い位置にあるＣＣＤ１０１上の画
素位置が画素Ａであり、画素Ａに隣接するＣＣＤ１０１
上の画素位置が画素Ｂから画素Ｅである。
【００３８】ここで、画素ＡがＷフィルタである場合に
ついて説明する。画素ＡがＷフィルタである場合は、図
５に示すように、画素Ｂと画素ＣがＣｙフィルタで画素
Ｄと画素ＥがＹｅフィルタになる場合と、画素Ｂと画素
ＣがＹｅフィルタで画素Ｄと画素ＥがＣｙフィルタにな
る場合がある。ただし、両者は画面を９０度回転させて
考えれば同じ条件となり、同様の処理により新規作成画
素Ｇの輝度値を求めることができるため、ここでは画素
Ｂと画素ＣがＣｙフィルタで画素Ｄと画素ＥがＹｅフィ
ルタとなる場合についてのみ説明する。
ついて説明する。画素ＡがＷフィルタである場合は、図
５に示すように、画素Ｂと画素ＣがＣｙフィルタで画素
Ｄと画素ＥがＹｅフィルタになる場合と、画素Ｂと画素
ＣがＹｅフィルタで画素Ｄと画素ＥがＣｙフィルタにな
る場合がある。ただし、両者は画面を９０度回転させて
考えれば同じ条件となり、同様の処理により新規作成画
素Ｇの輝度値を求めることができるため、ここでは画素
Ｂと画素ＣがＣｙフィルタで画素Ｄと画素ＥがＹｅフィ
ルタとなる場合についてのみ説明する。
【００３９】まず、新規作成画素Ｇの輝度値を求めるに
当たり、画素Ｂから画素Ｃの輝度値を用い、該輝度値の
変化量を求める必要がある。しかし、この画素Ｂおよび
画素Ｃでの輝度値については、すでに信号処理回路１０
８で求めているが、該輝度値は周囲画素との演算によっ
て求めたものであるため、画素Ｂから画素Ｃ（横方向）
の輝度値の変化量を求める際にこの値を用いた場合は、
従来の技術同様、ぼけが発生する恐れがある。
当たり、画素Ｂから画素Ｃの輝度値を用い、該輝度値の
変化量を求める必要がある。しかし、この画素Ｂおよび
画素Ｃでの輝度値については、すでに信号処理回路１０
８で求めているが、該輝度値は周囲画素との演算によっ
て求めたものであるため、画素Ｂから画素Ｃ（横方向）
の輝度値の変化量を求める際にこの値を用いた場合は、
従来の技術同様、ぼけが発生する恐れがある。
【００４０】そのため、本発明の実施の形態１では、画
素間の輝度値の変化が該画素間のフィルタ透過信号の差
に比例するものとして、輝度値の変化量を求めることに
する。これは、例えば、画素Ｂおよび画素ＣはＣｙフィ
ルタであるため、画素Ｂおよび画素Ｃの値は、輝度値の
うちシアン成分のみのものであるが、自然画像において
は、明暗が変化する場合に、特定の光のみが変化するこ
とはまれであり、一般に全ての色成分が等比率で変化す
る。したがって、上述したように、画素Ｂから画素Ｃの
輝度値の変化が画素Ｂと画素Ｃのフィルタ透過信号の
差、（Ｃ'−Ｂ'）に比例するものとして表わすことがで
きる。
素間の輝度値の変化が該画素間のフィルタ透過信号の差
に比例するものとして、輝度値の変化量を求めることに
する。これは、例えば、画素Ｂおよび画素ＣはＣｙフィ
ルタであるため、画素Ｂおよび画素Ｃの値は、輝度値の
うちシアン成分のみのものであるが、自然画像において
は、明暗が変化する場合に、特定の光のみが変化するこ
とはまれであり、一般に全ての色成分が等比率で変化す
る。したがって、上述したように、画素Ｂから画素Ｃの
輝度値の変化が画素Ｂと画素Ｃのフィルタ透過信号の
差、（Ｃ'−Ｂ'）に比例するものとして表わすことがで
きる。
【００４１】このことから、白色光におけるＷフィルタ
に対するＣｙフィルタの透過比をＱ（Ｑ＜１）とする
と、画素Ｂから画素Ｃの輝度値の変化は、（Ｃ'−Ｂ'）
／Ｑとすることができる。同様に、白色光におけるＷフ
ィルタに対するＹｅフィルタの透過比をＲ（Ｒ＜１）と
すると、画素Ｄから画素Ｅの輝度値の変化は、（Ｅ'−
Ｄ'）／Ｒとすることができる。ここで、Ｂ'からＥ'は
画素Ｂから画素Ｅに対応するフィルタ透過信号である。
に対するＣｙフィルタの透過比をＱ（Ｑ＜１）とする
と、画素Ｂから画素Ｃの輝度値の変化は、（Ｃ'−Ｂ'）
／Ｑとすることができる。同様に、白色光におけるＷフ
ィルタに対するＹｅフィルタの透過比をＲ（Ｒ＜１）と
すると、画素Ｄから画素Ｅの輝度値の変化は、（Ｅ'−
Ｄ'）／Ｒとすることができる。ここで、Ｂ'からＥ'は
画素Ｂから画素Ｅに対応するフィルタ透過信号である。
【００４２】よって、新規作成画素Ｇでの輝度値は、画
素Ａの輝度値、画素Ｂから画素Ｃの輝度値の変化量、及
び画素Ｄから画素Ｅの輝度値の変化量を用いて、 Ａ＋ｊ×（Ｃ'−Ｂ'）／Ｑ／２−ｉ×（Ｅ'−Ｄ'）／Ｒ
／２ により求めることができる。
素Ａの輝度値、画素Ｂから画素Ｃの輝度値の変化量、及
び画素Ｄから画素Ｅの輝度値の変化量を用いて、 Ａ＋ｊ×（Ｃ'−Ｂ'）／Ｑ／２−ｉ×（Ｅ'−Ｄ'）／Ｒ
／２ により求めることができる。
【００４３】なおここでは、Ｑ値としては略０．７を用
い、Ｒ値としては略０．９を用いると、新規作成画素Ｇ
での輝度値は、 Ａ＋ｊ×（Ｃ'−Ｂ'）／０．７／２−ｉ×（Ｅ'−Ｄ'）
／０．９／２ により求めることができる。
い、Ｒ値としては略０．９を用いると、新規作成画素Ｇ
での輝度値は、 Ａ＋ｊ×（Ｃ'−Ｂ'）／０．７／２−ｉ×（Ｅ'−Ｄ'）
／０．９／２ により求めることができる。
【００４４】すなわち、解像度変換回路１０９は、画素
Ａでの輝度値を図１の経路１１０から取りこみ、画素Ｂ
から画素Ｅに対する値は、ぼけが発生する恐れがある経
路１１０の輝度値を用いないで、経路１１１の画素Ｂか
ら画素Ｅのフィルタ透過信号を取りこんで、処理を行
う。
Ａでの輝度値を図１の経路１１０から取りこみ、画素Ｂ
から画素Ｅに対する値は、ぼけが発生する恐れがある経
路１１０の輝度値を用いないで、経路１１１の画素Ｂか
ら画素Ｅのフィルタ透過信号を取りこんで、処理を行
う。
【００４５】次に、画素ＡがＣｙフィルタであった場合
は、図５からもわかるように、画素Ｂから画素Ｅは全て
Ｗフィルタであるため、画素Ｂから画素Ｅの値はそのま
ま輝度値として取り扱うことができる。よって、周囲画
素との演算により求めた輝度値を用いることはなく、信
号処理回路１０８から出力された画素Ｂから画素Ｅの輝
度値をそのまま用いた場合であってもぼけが発生する恐
れはない。
は、図５からもわかるように、画素Ｂから画素Ｅは全て
Ｗフィルタであるため、画素Ｂから画素Ｅの値はそのま
ま輝度値として取り扱うことができる。よって、周囲画
素との演算により求めた輝度値を用いることはなく、信
号処理回路１０８から出力された画素Ｂから画素Ｅの輝
度値をそのまま用いた場合であってもぼけが発生する恐
れはない。
【００４６】以下、信号処理回路１０８から出力された
輝度値を用いて新規作成画素Ｇの輝度値を求める場合に
ついて説明する。画素Ｂから画素Ｃ（横方向）の輝度値
の変化量は（Ｃ−Ｂ）／２であるため、画素Ａから横方
向に距離ｊ離れた新規作成画素Ｇでは、横方向成分とし
ては画素Ａに比べて輝度値がｊ×（Ｃ−Ｂ）／２だけ多
いものとすることができる。また、縦方向についても同
様に、画素Ａに比べて輝度値がｉ×（Ｅ−Ｄ）／２だけ
少ないものとすることができる。よって、新規作成画素
Ｇでの輝度値は、画素Ａの輝度値、画素Ｂから画素Ｃの
輝度値の変化量、及び画素Ｄから画素Ｅの輝度値の変化
量を用いて、 Ａ＋ｊ＊（Ｃ−Ｂ）／２−ｉ＊（Ｅ−Ｄ）／２ …（５） で求めることができる。
輝度値を用いて新規作成画素Ｇの輝度値を求める場合に
ついて説明する。画素Ｂから画素Ｃ（横方向）の輝度値
の変化量は（Ｃ−Ｂ）／２であるため、画素Ａから横方
向に距離ｊ離れた新規作成画素Ｇでは、横方向成分とし
ては画素Ａに比べて輝度値がｊ×（Ｃ−Ｂ）／２だけ多
いものとすることができる。また、縦方向についても同
様に、画素Ａに比べて輝度値がｉ×（Ｅ−Ｄ）／２だけ
少ないものとすることができる。よって、新規作成画素
Ｇでの輝度値は、画素Ａの輝度値、画素Ｂから画素Ｃの
輝度値の変化量、及び画素Ｄから画素Ｅの輝度値の変化
量を用いて、 Ａ＋ｊ＊（Ｃ−Ｂ）／２−ｉ＊（Ｅ−Ｄ）／２ …（５） で求めることができる。
【００４７】なお、解像度変換回路１０９は、画素Ａか
ら画素Ｅの輝度値を図１の経路１１０で取りこむ場合に
ついて説明したが、画素Ｂから画素Ｅが全てＷフィルタ
であり、経路１１０から出力される輝度値と経路１１１
から出力されるフィルタ透過信号が同じ値を持つため、
上記画素ＡがＷフィルタである場合と同様に、画素Ｂか
ら画素Ｅの値を経路１１１で取りこむことも可能であ
る。
ら画素Ｅの輝度値を図１の経路１１０で取りこむ場合に
ついて説明したが、画素Ｂから画素Ｅが全てＷフィルタ
であり、経路１１０から出力される輝度値と経路１１１
から出力されるフィルタ透過信号が同じ値を持つため、
上記画素ＡがＷフィルタである場合と同様に、画素Ｂか
ら画素Ｅの値を経路１１１で取りこむことも可能であ
る。
【００４８】なお、画素ＡがＹｅフィルタである場合で
あっても、上記画素ＡがＣｙフィルタである場合と同様
に、周囲画素ＢからＥは全てＷフィルタである（図５）
ため、画素ＡがＣｙフィルタである場合と全く同様に新
規作成画素Ｇでの輝度値を求めることができる。
あっても、上記画素ＡがＣｙフィルタである場合と同様
に、周囲画素ＢからＥは全てＷフィルタである（図５）
ため、画素ＡがＣｙフィルタである場合と全く同様に新
規作成画素Ｇでの輝度値を求めることができる。
【００４９】このように、周囲画素との演算により求め
た輝度値を用いないで、各撮像素子のフィルタ透過信号
を用いて新規作成する画素Ｇの輝度値を求めることによ
り、周囲画素の影響によるぼけを発生させずに、本来の
輝度の変化量を保持しつつ補間することができるため、
めりはりのある解像度の高い輝度画像を得ることができ
る。
た輝度値を用いないで、各撮像素子のフィルタ透過信号
を用いて新規作成する画素Ｇの輝度値を求めることによ
り、周囲画素の影響によるぼけを発生させずに、本来の
輝度の変化量を保持しつつ補間することができるため、
めりはりのある解像度の高い輝度画像を得ることができ
る。
【００５０】なお、画素ＡがＷフィルタであり、信号処
理回路１０８からの輝度値を用いる場合、式（５）を用
いて新規作成画素Ｇの輝度値を同様に求めることがで
き、ぼけが発生する恐れがあるが、新規作成画素Ｇを求
める演算量を少なくすることができる。
理回路１０８からの輝度値を用いる場合、式（５）を用
いて新規作成画素Ｇの輝度値を同様に求めることがで
き、ぼけが発生する恐れがあるが、新規作成画素Ｇを求
める演算量を少なくすることができる。
【００５１】次に、新規作成する画素であるＧの色差信
号を補間処理により求める方法であるが、色については
人間の目の解像度が低く、めりはりをつけることはあま
り意味がなく、むしろ突発的な変化は、偽色として画質
を悪化させる。したがって、色差については、ぼけた方
が都合が良いため、従来の技術と同様に線形補間を行う
ものとする。
号を補間処理により求める方法であるが、色については
人間の目の解像度が低く、めりはりをつけることはあま
り意味がなく、むしろ突発的な変化は、偽色として画質
を悪化させる。したがって、色差については、ぼけた方
が都合が良いため、従来の技術と同様に線形補間を行う
ものとする。
【００５２】(実施の形態２)以下に、本発明の実施の形
態２によるカラー撮像装置を図１、図４、図５、図８、
図９を用いて説明する。図１は本発明の実施の形態２に
おけるカラー撮像装置のブロック図である。図に示すよ
うに、本実施の形態２によるカラー撮像装置の構成は上
記実施の形態１の場合と同様であり、各構成要素の処理
内容についても、解像度変換回路１０９を除いては同じ
である。よって、解像度変換回路１０９以外の各構成要
素の説明を省略し、以下、解像度変換回路１０９の処理
内容について説明を行なう。
態２によるカラー撮像装置を図１、図４、図５、図８、
図９を用いて説明する。図１は本発明の実施の形態２に
おけるカラー撮像装置のブロック図である。図に示すよ
うに、本実施の形態２によるカラー撮像装置の構成は上
記実施の形態１の場合と同様であり、各構成要素の処理
内容についても、解像度変換回路１０９を除いては同じ
である。よって、解像度変換回路１０９以外の各構成要
素の説明を省略し、以下、解像度変換回路１０９の処理
内容について説明を行なう。
【００５３】図８は、本発明の実施の形態２によるカラ
ー撮像装置における解像度変換回路が行なう補間処理を
説明するための説明図である。図において、白丸はＣＣ
Ｄ１０１の画素位置を表し、黒丸は補間位置を表す。図
示するように、ＣＣＤ１０１の画素数に対して縦横２倍
の画素数を作成する場合、ＣＣＤ１０１の画素間の距離
を１とすると、補間後の画素８０１から８０４はいずれ
も画素Ａに対して縦横１／４の距離に位置し、補完後の
画素８０１から８０４はそれぞれ画素Ａに対し等距離の
位置に配置される。このため、ＣＣＤ上の画素Ａを８０
１から８０４の４画素に展開するものと考えることがで
きる。
ー撮像装置における解像度変換回路が行なう補間処理を
説明するための説明図である。図において、白丸はＣＣ
Ｄ１０１の画素位置を表し、黒丸は補間位置を表す。図
示するように、ＣＣＤ１０１の画素数に対して縦横２倍
の画素数を作成する場合、ＣＣＤ１０１の画素間の距離
を１とすると、補間後の画素８０１から８０４はいずれ
も画素Ａに対して縦横１／４の距離に位置し、補完後の
画素８０１から８０４はそれぞれ画素Ａに対し等距離の
位置に配置される。このため、ＣＣＤ上の画素Ａを８０
１から８０４の４画素に展開するものと考えることがで
きる。
【００５４】以下、解像度変換回路１０９による具体的
処理について説明する。まず画素ＡがＣｙフィルタであ
る場合について説明する。画素ＡがＣｙフィルタである
場合は、画素Ｂから画素Ｅは全てＷフィルタであるため
（図５）、画素Ｂから画素ＥまでのそれぞれのＣＣＤフ
ィルタの値はそのまま輝度値として取り扱うことができ
る。よって、画素Ｂから画素Ｃ（横方向）の輝度値の変
化量は（Ｃ−Ｂ）／２となり、画素Ａから横方向に距離
１／４離れた場合の変化量ＤＸはＤＸ＝（Ｃ−Ｂ）／８
で求めることができる。また、同様に縦方向について
は、Ａから縦方向に距離１／４離れた場合の変化量ＤＹ
はＤＹ＝（Ｅ−Ｄ）／８で求めることができる。したが
って、８０１、８０２、８０３、８０４での輝度値は、
信号処理回路１０８で求めた画素Ａでの輝度値、画素Ａ
から縦方向に距離１／４離れた場合の変化量、及び画素
Ａから横方向に距離１／４離れた場合の変化量を用いる
と、 ８０１は、 Ａ−ＤＸ＋ＤＹ ８０２は、 Ａ＋ＤＸ＋ＤＹ ８０３は、 Ａ−ＤＸ−ＤＹ ８０４は、 Ａ＋ＤＸ−ＤＹ によりそれぞれ求めることができる。
処理について説明する。まず画素ＡがＣｙフィルタであ
る場合について説明する。画素ＡがＣｙフィルタである
場合は、画素Ｂから画素Ｅは全てＷフィルタであるため
（図５）、画素Ｂから画素ＥまでのそれぞれのＣＣＤフ
ィルタの値はそのまま輝度値として取り扱うことができ
る。よって、画素Ｂから画素Ｃ（横方向）の輝度値の変
化量は（Ｃ−Ｂ）／２となり、画素Ａから横方向に距離
１／４離れた場合の変化量ＤＸはＤＸ＝（Ｃ−Ｂ）／８
で求めることができる。また、同様に縦方向について
は、Ａから縦方向に距離１／４離れた場合の変化量ＤＹ
はＤＹ＝（Ｅ−Ｄ）／８で求めることができる。したが
って、８０１、８０２、８０３、８０４での輝度値は、
信号処理回路１０８で求めた画素Ａでの輝度値、画素Ａ
から縦方向に距離１／４離れた場合の変化量、及び画素
Ａから横方向に距離１／４離れた場合の変化量を用いる
と、 ８０１は、 Ａ−ＤＸ＋ＤＹ ８０２は、 Ａ＋ＤＸ＋ＤＹ ８０３は、 Ａ−ＤＸ−ＤＹ ８０４は、 Ａ＋ＤＸ−ＤＹ によりそれぞれ求めることができる。
【００５５】撮像素子の色分離フィルタに、Ｗフィルタ
と色フィルタを市松状に配列されることにより、Ｗフィ
ルタ部の輝度値を求める場合に、周囲画素との演算を全
く行なうことなく輝度値を求めることができるため、新
規作成する画素の輝度値を非常に簡単な演算により求め
ることができ、さらに解像度変換回路による補間処理の
際に発生する画像のぼけを最小限に抑えることができ、
良好な画像を得ることができる。
と色フィルタを市松状に配列されることにより、Ｗフィ
ルタ部の輝度値を求める場合に、周囲画素との演算を全
く行なうことなく輝度値を求めることができるため、新
規作成する画素の輝度値を非常に簡単な演算により求め
ることができ、さらに解像度変換回路による補間処理の
際に発生する画像のぼけを最小限に抑えることができ、
良好な画像を得ることができる。
【００５６】なお、画素ＡがＹｅフィルタである場合で
あっても、上記画素ＡがＣｙフィルタである場合と同様
に、周囲画素Ｂから画素Ｅは全てＷフィルタである（図
５）。したがって、上記画素ＡがＣｙフィルタである場
合と全く同様にＧでの輝度値を求めることができる。
あっても、上記画素ＡがＣｙフィルタである場合と同様
に、周囲画素Ｂから画素Ｅは全てＷフィルタである（図
５）。したがって、上記画素ＡがＣｙフィルタである場
合と全く同様にＧでの輝度値を求めることができる。
【００５７】次に、画素ＡがＷフィルタであった場合
は、図５に示すように、画素Ｂと画素ＣがＣｙフィルタ
で、画素Ｄと画素ＥがＹｅフィルタになる場合と、画素
Ｂと画素ＣがＹｅフィルタで、画素Ｄと画素ＥがＣｙフ
ィルタになる場合がある。ただし、両者は画面を９０度
回転させて考えれば同じ条件となり、同様の処理により
新規作成する画素であるＧの輝度値を求めることができ
るため、ここでは画素Ｂと画素ＣがＣｙフィルタで、画
素Ｄと画素ＥがＹｅフィルタとなる場合についてのみ説
明する。
は、図５に示すように、画素Ｂと画素ＣがＣｙフィルタ
で、画素Ｄと画素ＥがＹｅフィルタになる場合と、画素
Ｂと画素ＣがＹｅフィルタで、画素Ｄと画素ＥがＣｙフ
ィルタになる場合がある。ただし、両者は画面を９０度
回転させて考えれば同じ条件となり、同様の処理により
新規作成する画素であるＧの輝度値を求めることができ
るため、ここでは画素Ｂと画素ＣがＣｙフィルタで、画
素Ｄと画素ＥがＹｅフィルタとなる場合についてのみ説
明する。
【００５８】このときのフィルタの位置関係を図９に示
す。図９は、本発明の実施の形態２によるカラー撮像装
置のＣＣＤの色フィルタの配置を示す図である。なお、
上記実施の形態１では、横方向の輝度値の変化量を求め
るに当たり、周囲画素との演算によって求めた輝度値を
用いることによる画像のぼけの発生を防止するため、図
９のＣｙ1とＣｙ2の差に透過比をかけたものを用いた
が、ここではより演算を簡単にするため、輝度値の分か
っているＣｙ1とＣｙ2の外側に位置するＷ1、Ｗ2を用い
るものとする。すなわち、横方向の輝度値の変化量を
（Ｗ2−Ｗ1）とする。ただし、Ｗ1とＷ2は距離が４画素
分離れているため、１画素当たりの変化量は（Ｗ2−
Ｗ1）／４となり、さらに１／４画素分の変化量ＤＸは
ＤＸ＝（Ｗ2−Ｗ1）／１６となる。同様に、縦方向の１
／４画素分の変化量ＤＹはＤＹ＝（Ｗ4−Ｗ3）／１６と
なる。このＤＸ、ＤＹと画素Ａでの輝度値を用いること
により、画素ＡがＷフィルタのときも画素ＡがＣｙフィ
ルタのときと同様に、８０１、８０２、８０３、８０４
での輝度値は ８０１は、 Ａ−ＤＸ＋ＤＹ ８０２は、 Ａ＋ＤＸ＋ＤＹ ８０３は、 Ａ−ＤＸ−ＤＹ ８０４は、 Ａ＋ＤＸ−ＤＹ により求めることができる。
す。図９は、本発明の実施の形態２によるカラー撮像装
置のＣＣＤの色フィルタの配置を示す図である。なお、
上記実施の形態１では、横方向の輝度値の変化量を求め
るに当たり、周囲画素との演算によって求めた輝度値を
用いることによる画像のぼけの発生を防止するため、図
９のＣｙ1とＣｙ2の差に透過比をかけたものを用いた
が、ここではより演算を簡単にするため、輝度値の分か
っているＣｙ1とＣｙ2の外側に位置するＷ1、Ｗ2を用い
るものとする。すなわち、横方向の輝度値の変化量を
（Ｗ2−Ｗ1）とする。ただし、Ｗ1とＷ2は距離が４画素
分離れているため、１画素当たりの変化量は（Ｗ2−
Ｗ1）／４となり、さらに１／４画素分の変化量ＤＸは
ＤＸ＝（Ｗ2−Ｗ1）／１６となる。同様に、縦方向の１
／４画素分の変化量ＤＹはＤＹ＝（Ｗ4−Ｗ3）／１６と
なる。このＤＸ、ＤＹと画素Ａでの輝度値を用いること
により、画素ＡがＷフィルタのときも画素ＡがＣｙフィ
ルタのときと同様に、８０１、８０２、８０３、８０４
での輝度値は ８０１は、 Ａ−ＤＸ＋ＤＹ ８０２は、 Ａ＋ＤＸ＋ＤＹ ８０３は、 Ａ−ＤＸ−ＤＹ ８０４は、 Ａ＋ＤＸ−ＤＹ により求めることができる。
【００５９】このように、周囲画素との演算により求め
た色フィルタに対応する画素の輝度値を用いず、フィル
タ透過信号をそのまま輝度値として用いることのできる
Ｗフィルタに対応する画素の輝度値のみを新規作成する
画素の演算に用いることにより、簡単な加減算とシフト
演算のみで解像度変換処理を実現することができる。
た色フィルタに対応する画素の輝度値を用いず、フィル
タ透過信号をそのまま輝度値として用いることのできる
Ｗフィルタに対応する画素の輝度値のみを新規作成する
画素の演算に用いることにより、簡単な加減算とシフト
演算のみで解像度変換処理を実現することができる。
【００６０】なお、Ｗフィルタに対応する画素の輝度値
は、経路１１０から出力される輝度値と経路１１１から
出力されるフィルタ透過信号が同じ値を持つため、図1
の経路１１０及び経路１１１の何れから取り込んでもよ
い。
は、経路１１０から出力される輝度値と経路１１１から
出力されるフィルタ透過信号が同じ値を持つため、図1
の経路１１０及び経路１１１の何れから取り込んでもよ
い。
【００６１】また、色差信号については、上記実施の形
態１では、線形補間を行なうものについて説明したが、
本実施の形態２では他の方法について説明することにす
る。図４において、新規作成する画素がＧであったと
き、Ｇから最も近い位置にあるＷ、Ｇから最も近い位置
にあるＣｙ、Ｇから最も近い位置にあるＹｅフィルタの
画素を１つずつ、全部で３画素選択する。これらは図５
のフィルタ配置から明らかなように、Ｇ位置を含む２＊
２画素のなかに必ず全て存在する。Ｇでの色差はこれら
の値を用い、上記実施の形態１による信号処理回路１０
８において色差信号を求めた時と同様の式（３）、
（４）によりＣｒ、Ｃｂを求める。 Ｃｒ＝（Ｗ−Ｃｙ）／０．３−Ｗ＝（０．７Ｗ−Ｃｙ）／０．３ …（３） Ｃｂ＝（Ｗ−Ｙｅ）／０．１−Ｗ＝（０．９Ｗ−Ｙｅ）／０．１ …（４）
態１では、線形補間を行なうものについて説明したが、
本実施の形態２では他の方法について説明することにす
る。図４において、新規作成する画素がＧであったと
き、Ｇから最も近い位置にあるＷ、Ｇから最も近い位置
にあるＣｙ、Ｇから最も近い位置にあるＹｅフィルタの
画素を１つずつ、全部で３画素選択する。これらは図５
のフィルタ配置から明らかなように、Ｇ位置を含む２＊
２画素のなかに必ず全て存在する。Ｇでの色差はこれら
の値を用い、上記実施の形態１による信号処理回路１０
８において色差信号を求めた時と同様の式（３）、
（４）によりＣｒ、Ｃｂを求める。 Ｃｒ＝（Ｗ−Ｃｙ）／０．３−Ｗ＝（０．７Ｗ−Ｃｙ）／０．３ …（３） Ｃｂ＝（Ｗ−Ｙｅ）／０．１−Ｗ＝（０．９Ｗ−Ｙｅ）／０．１ …（４）
【００６２】このように、新規作成する画素に近接する
画素のフィルタ透過信号を用いて新規作成する画素の色
差信号を求めることにより、人間の目の解像度が低い色
について、めりはりをつけず、突発的な変化をなくし
て、偽色等による画質の悪化を防ぐ効果が得られる。
画素のフィルタ透過信号を用いて新規作成する画素の色
差信号を求めることにより、人間の目の解像度が低い色
について、めりはりをつけず、突発的な変化をなくし
て、偽色等による画質の悪化を防ぐ効果が得られる。
【００６３】なお、以上の例では、実施の形態１と実施
の形態２において、それぞれ異なる輝度値の補間処理
と、色差信号の補間処理について示したが、もちろん、
これらの組み合わせを変えて用いることは可能であり、
例えば、実施の形態１に示す輝度値の補間処理と実施の
形態２に示す色差信号の補間処理を組み合わせて用いる
こともでき、実施の形態２に示す輝度値の補間処理と実
施の形態１に示す色差信号の補間処理を組み合わせて用
いることもできる。
の形態２において、それぞれ異なる輝度値の補間処理
と、色差信号の補間処理について示したが、もちろん、
これらの組み合わせを変えて用いることは可能であり、
例えば、実施の形態１に示す輝度値の補間処理と実施の
形態２に示す色差信号の補間処理を組み合わせて用いる
こともでき、実施の形態２に示す輝度値の補間処理と実
施の形態１に示す色差信号の補間処理を組み合わせて用
いることもできる。
【００６４】
【発明の効果】請求項１乃至請求項６に記載のカラー撮
像装置によれば、周囲画素との演算により求めた輝度値
を用いないで、各撮像素子のフィルタ透過信号を用いて
新規作成する画素Ｇの輝度値を求めることにより、周囲
画素の影響によるぼけを発生させずに、本来の輝度の変
化量を保持しつつ補間することができるため、めりはり
のある解像度の高い輝度画像を得ることができる効果が
得られる。
像装置によれば、周囲画素との演算により求めた輝度値
を用いないで、各撮像素子のフィルタ透過信号を用いて
新規作成する画素Ｇの輝度値を求めることにより、周囲
画素の影響によるぼけを発生させずに、本来の輝度の変
化量を保持しつつ補間することができるため、めりはり
のある解像度の高い輝度画像を得ることができる効果が
得られる。
【００６５】請求項７に記載のカラー撮像装置によれ
ば、周囲画素との演算により求めた色フィルタに対応す
る画素の輝度値を用いず、フィルタ透過信号をそのまま
輝度値として用いることのできるＷフィルタに対応する
画素の輝度値のみを新規作成する画素の演算に用いるこ
とにより、簡単な加減算とシフト演算のみで解像度変換
処理を実現することができる。
ば、周囲画素との演算により求めた色フィルタに対応す
る画素の輝度値を用いず、フィルタ透過信号をそのまま
輝度値として用いることのできるＷフィルタに対応する
画素の輝度値のみを新規作成する画素の演算に用いるこ
とにより、簡単な加減算とシフト演算のみで解像度変換
処理を実現することができる。
【００６６】請求項８に記載のカラー撮像装置によれ
ば、解像度変換回路が、新規作成する画素での色差信号
を、信号処理回路により縦横に隣接する４画素のフィル
タ透過信号を用いて求めた色差信号を用いて線形補間を
行い求めることにより、人間の目の解像度が低い色につ
いて、めりはりをつけず、突発的な変化をなくして、偽
色等による画質の悪化を防ぐ効果が得られる。請求項９
に記載のカラー撮像装置によれば、新規作成する画素に
近接する画素のフィルタ透過信号を用いて新規作成する
画素の色差信号を求めることにより、人間の目の解像度
が低い色について、めりはりをつけず、突発的な変化を
なくして、偽色等による画質の悪化を防ぐ効果が得られ
る。
ば、解像度変換回路が、新規作成する画素での色差信号
を、信号処理回路により縦横に隣接する４画素のフィル
タ透過信号を用いて求めた色差信号を用いて線形補間を
行い求めることにより、人間の目の解像度が低い色につ
いて、めりはりをつけず、突発的な変化をなくして、偽
色等による画質の悪化を防ぐ効果が得られる。請求項９
に記載のカラー撮像装置によれば、新規作成する画素に
近接する画素のフィルタ透過信号を用いて新規作成する
画素の色差信号を求めることにより、人間の目の解像度
が低い色について、めりはりをつけず、突発的な変化を
なくして、偽色等による画質の悪化を防ぐ効果が得られ
る。
【図１】本発明の実施の形態1および２によるカラー撮
像装置のブロック図である。
像装置のブロック図である。
【図２】従来のカラー撮像装置のブロック図である。
【図３】従来のカラー撮像装置によるＣＣＤの色フィル
タの配置の一例を示す図である。
タの配置の一例を示す図である。
【図４】従来及び本発明の実施の形態１によるカラー撮
像装置における解像度変換回路が行なう補間処理を説明
するための説明図である。
像装置における解像度変換回路が行なう補間処理を説明
するための説明図である。
【図５】本発明の実施の形態1および２によるカラー撮
像装置のＣＣＤの色フィルタの配置の一例を示す図であ
る。
像装置のＣＣＤの色フィルタの配置の一例を示す図であ
る。
【図６】本発明の実施の形態1および２によるカラー撮
像装置のＣＣＤの色フィルタの配置の一例を示す図であ
る。
像装置のＣＣＤの色フィルタの配置の一例を示す図であ
る。
【図７】本発明の実施の形態1および２によるカラー撮
像装置のＣＣＤの色フィルタの配置の一例を示す図であ
る。
像装置のＣＣＤの色フィルタの配置の一例を示す図であ
る。
【図８】本発明の実施の形態２によるカラー撮像装置に
おける解像度変換回路が行なう補間処理を説明するため
の説明図である。
おける解像度変換回路が行なう補間処理を説明するため
の説明図である。
【図９】本発明の実施の形態１及び２によるカラー撮像
装置のＣＣＤの色フィルタの配置の一例を示す図であ
る。
装置のＣＣＤの色フィルタの配置の一例を示す図であ
る。
１００ 本発明のカラー撮像装置
１０１、２０１ 光学系
１０２、２０２ ＣＣＤ
１０３、２０３ ＣＣＤ出力アナログ信号
１０４、２０４ Ａ／Ｄ変換器
１０５、２０５ ＣＣＤ出力デジタル信号（フィルタ
透過信号） １０６、２０６ 記憶回路 １０７、２０７ フィルタ透過信号 １０８、２０８ 信号処理回路 １０９、２１１ 解像度変換回路 １１０ 各画素に対応する輝度値および色差信号 １１１ フィルタ透過信号 １１２、２１２ 解像度変換後の輝度値および色差信
号 ２１０ 従来のカラー撮像装置 ３０１〜３１１ 従来のＣＣＤ画素 ８０１〜８０４ 新規作成する画素の位置
透過信号） １０６、２０６ 記憶回路 １０７、２０７ フィルタ透過信号 １０８、２０８ 信号処理回路 １０９、２１１ 解像度変換回路 １１０ 各画素に対応する輝度値および色差信号 １１１ フィルタ透過信号 １１２、２１２ 解像度変換後の輝度値および色差信
号 ２１０ 従来のカラー撮像装置 ３０１〜３１１ 従来のＣＣＤ画素 ８０１〜８０４ 新規作成する画素の位置
Claims (9)
- 【請求項１】 縦横に隣接する４画素を１つの配列パタ
ーンとする，色分離フィルタを持つ撮像素子と、 上記撮像素子からの各画素毎のフィルタ透過信号を記憶
する記憶回路と、 上記記憶回路に記憶された各画素毎のフィルタ透過信号
を用いて各画素毎に輝度値、及び色差信号を求める信号
処理回路と、 上記信号処理回路から出力された輝度値、及び色差信号
と、上記撮像素子から出力された各画素毎のフィルタ透
過信号とを用いて補間処理を行い、新規作成する画素の
輝度値と色差信号を生成する解像度変換回路を備える、 こ とを特徴とするカラー撮像装置。 - 【請求項２】 請求項１に記載の記録再生装置におい
て、 上記解像度変換回路は、上記信号処理回路から出力され
た新規作成する画素に最も近い位置にある画素の輝度値
と、 上記撮像素子から出力された上記新規作成する画素に最
も近い位置にある画素の周囲画素のフィルタ透過信号
と、を用いて補間処理を行い、新規作成する画素の輝度
値を生成する、 ことを特徴とするカラー撮像装置。 - 【請求項３】 請求項１、又は請求項２に記載のカラー
撮像装置において、 上記撮像素子の色分離フィルタの配列パターンを形成す
る４画素が持つ色分離フィルタが、２つの全色透過フィ
ルタ（以下、Ｗフィルタ）と２つの色フィルタとからな
り、Ｗフィルタと色フィルタが市松状に配列されている
ことを特徴とするカラー撮像装置。 - 【請求項４】 請求項３に記載のカラー撮像装置におい
て、 上記色フィルタは、シアン色透過フィルタと黄色透過フ
ィルタであることを特徴とするカラー撮像装置。 - 【請求項５】 請求項３、又は請求項４に記載のカラー
撮像装置において、上記解像度変換回路は、新規作成す
る画素に最も近い位置にある画素が色フィルタ画素であ
った場合は、（該色フィルタ画素に相対向して隣接する
２つのＷフィルタ画素のフィルタ透過信号の差分）×
（新規作成する画素の位置に応じた係数）＋（上記信号
処理回路により出力された該色フィルタ画素の輝度値）
により、新規作成する画素の輝度値を求めることを特徴
とするカラー撮像装置。 - 【請求項６】 請求項３、又は請求項４に記載のカラー
撮像装置において、上記解像度変換回路は、新規作成す
る画素に最も近い位置にある画素がＷフィルタ画素であ
った場合は、（該Ｗフィルタ画素に相対向して隣接する
２つの色フィルタ画素のフィルタ透過信号の差分）×
（新規作成する画素の位置に応じた係数）×（色フィル
タの透過率に応じた値）＋（該Ｗフィルタ画素の輝度
値）により、新規作成する画素の輝度値を求めることを
特徴とするカラー撮像装置。 - 【請求項７】 請求項３、又は請求項４に記載のカラー
撮像装置において、上記解像度変換回路は、新規作成す
る画素に最も近い位置にある画素がＷフィルタ画素であ
った場合は、（間に該Ｗフィルタ画素及びこれに隣接す
る２つの色フィルタ画素を挟んで相対向して存在する２
つのＷフィルタ画素のフィルタ透過信号の差分）×（新
規作成する画素の位置に応じた係数）＋（該Ｗフィルタ
画素の輝度値）により、新規作成する画素の輝度値を求
めることを特徴とするカラー撮像装置。 - 【請求項８】 請求項１乃至請求項７の何れかに記載の
カラー撮像装置において、 上 記解像度変換回路は、上記信号処理回路により求めた
色差信号を用いて線形補間を行うことにより、新規作成
する画素の色差信号を求めることを特徴とするカラー撮
像装置。 - 【請求項９】 請求項１乃至請求項７の何れかに記載の
カラー撮像装置において、 上記解像度変換回路は、上記撮像素子から出力された各
画素毎のフィルタ透過信号を用いて、新規作成する画素
の色差信号を求めることを特徴とするカラー撮像装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29713699A JP3458080B2 (ja) | 1999-10-19 | 1999-10-19 | カラー撮像装置 |
| TW089121297A TW499659B (en) | 1999-10-19 | 2000-10-12 | Device for colorful picturing |
| IDW00200101569A ID30086A (id) | 1999-10-19 | 2000-10-18 | Peralatan pengambil gambar berwarna |
| KR10-2001-7007638A KR100421348B1 (ko) | 1999-10-19 | 2000-10-18 | 컬러 촬상 장치 |
| PCT/JP2000/007222 WO2001030087A1 (fr) | 1999-10-19 | 2000-10-18 | Appareil de captage d'image couleur |
| CNB008023069A CN1175673C (zh) | 1999-10-19 | 2000-10-18 | 彩色摄像装置 |
| US09/868,509 US6967748B1 (en) | 1999-10-19 | 2000-10-18 | Color image pickup device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29713699A JP3458080B2 (ja) | 1999-10-19 | 1999-10-19 | カラー撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001119705A JP2001119705A (ja) | 2001-04-27 |
| JP3458080B2 true JP3458080B2 (ja) | 2003-10-20 |
Family
ID=17842686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29713699A Expired - Fee Related JP3458080B2 (ja) | 1999-10-19 | 1999-10-19 | カラー撮像装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6967748B1 (ja) |
| JP (1) | JP3458080B2 (ja) |
| KR (1) | KR100421348B1 (ja) |
| CN (1) | CN1175673C (ja) |
| ID (1) | ID30086A (ja) |
| TW (1) | TW499659B (ja) |
| WO (1) | WO2001030087A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6963347B1 (en) * | 2000-08-04 | 2005-11-08 | Ati International, Srl | Vertex data processing with multiple threads of execution |
| US20040105021A1 (en) * | 2002-12-02 | 2004-06-03 | Bolymedia Holdings Co., Ltd. | Color filter patterns for image sensors |
| EP1594321A3 (en) * | 2004-05-07 | 2006-01-25 | Dialog Semiconductor GmbH | Extended dynamic range in color imagers |
| CN1301621C (zh) * | 2004-09-08 | 2007-02-21 | 威盛电子股份有限公司 | 动态检测像素数值的方法与装置 |
| JP4536072B2 (ja) * | 2004-12-16 | 2010-09-01 | 富士通セミコンダクター株式会社 | 撮像装置 |
| KR100660862B1 (ko) | 2005-02-23 | 2006-12-26 | 삼성전자주식회사 | 동일 색상의 화소 데이터를 가산하여 출력하는 컬러 촬상장치 및 그 화소 데이터 독출 방법 |
| JP4967424B2 (ja) * | 2006-04-05 | 2012-07-04 | 凸版印刷株式会社 | 撮像素子 |
| KR101441432B1 (ko) * | 2008-02-11 | 2014-09-17 | 삼성전자주식회사 | 이미지 센서 |
| US8135233B2 (en) * | 2008-05-22 | 2012-03-13 | Aptina Imaging Corporation | Method and apparatus for the restoration of degraded multi-channel images |
| KR101534547B1 (ko) * | 2008-11-24 | 2015-07-08 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 시스템 |
| JP5442571B2 (ja) * | 2010-09-27 | 2014-03-12 | パナソニック株式会社 | 固体撮像装置及び撮像装置 |
| WO2013108955A1 (ko) * | 2012-01-17 | 2013-07-25 | 티.비.티. 주식회사 | 적외선 영상 처리 방법 및 적외선 영상 처리 장치 |
| EP3182453A1 (en) * | 2015-12-17 | 2017-06-21 | Autoliv Development AB | Image sensor for a vision device and vision method for a motor vehicle |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5305096A (en) | 1990-07-31 | 1994-04-19 | Canon Kabushiki Kaisha | Image signal processing apparatus using color filters and an image pick-up device providing, interlaced field signals |
| JPH0488782A (ja) | 1990-07-31 | 1992-03-23 | Canon Inc | 撮像装置 |
| US5374956A (en) * | 1992-05-29 | 1994-12-20 | Eastman Kodak Company | Electronic imaging apparatus with dithered color filter array |
| KR0125108B1 (ko) * | 1992-12-11 | 1997-12-01 | 가나이 쯔또무 | 정지화상기록 디지탈 카메라 |
| JP3450374B2 (ja) * | 1993-05-28 | 2003-09-22 | キヤノン株式会社 | カラー撮像装置 |
| KR0146260B1 (ko) * | 1993-06-16 | 1998-09-15 | 모리시타 요이찌 | 고체촬상장치 |
| US5382976A (en) * | 1993-06-30 | 1995-01-17 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients |
| JP2931520B2 (ja) | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
| JP3026706B2 (ja) | 1993-09-27 | 2000-03-27 | キヤノン株式会社 | 画像処理装置 |
| JPH0799664A (ja) | 1993-09-28 | 1995-04-11 | Sanyo Electric Co Ltd | 高精細撮像装置 |
| JP4190576B2 (ja) | 1994-08-31 | 2008-12-03 | ソニー株式会社 | 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置 |
| JP3663777B2 (ja) * | 1996-10-02 | 2005-06-22 | 松下電器産業株式会社 | 色信号補間方法 |
| JPH10155158A (ja) * | 1996-11-20 | 1998-06-09 | Sony Corp | 撮像装置及びカラー画像信号の処理方法 |
| JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| JP3649841B2 (ja) * | 1997-02-20 | 2005-05-18 | 三洋電機株式会社 | 単板式カラーカメラ |
| JPH1155682A (ja) * | 1997-08-06 | 1999-02-26 | Minolta Co Ltd | デジタルカメラ |
| JP4269369B2 (ja) * | 1997-11-28 | 2009-05-27 | ソニー株式会社 | カメラ信号処理装置及びカメラ信号処理方法 |
| JP3609606B2 (ja) * | 1998-03-10 | 2005-01-12 | 三洋電機株式会社 | 単板式カラーカメラ |
| WO1999059345A1 (fr) | 1998-05-08 | 1999-11-18 | Matsushita Electric Industrial Co., Ltd. | Imageur couleur transistorise |
-
1999
- 1999-10-19 JP JP29713699A patent/JP3458080B2/ja not_active Expired - Fee Related
-
2000
- 2000-10-12 TW TW089121297A patent/TW499659B/zh active
- 2000-10-18 US US09/868,509 patent/US6967748B1/en not_active Expired - Fee Related
- 2000-10-18 ID IDW00200101569A patent/ID30086A/id unknown
- 2000-10-18 WO PCT/JP2000/007222 patent/WO2001030087A1/ja active IP Right Grant
- 2000-10-18 KR KR10-2001-7007638A patent/KR100421348B1/ko not_active IP Right Cessation
- 2000-10-18 CN CNB008023069A patent/CN1175673C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| TW499659B (en) | 2002-08-21 |
| CN1175673C (zh) | 2004-11-10 |
| CN1327688A (zh) | 2001-12-19 |
| JP2001119705A (ja) | 2001-04-27 |
| ID30086A (id) | 2001-11-01 |
| US6967748B1 (en) | 2005-11-22 |
| KR100421348B1 (ko) | 2004-03-06 |
| WO2001030087A1 (fr) | 2001-04-26 |
| KR20010101290A (ko) | 2001-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE47062E1 (en) | Image processing apparatus and method for generating a restoration image | |
| JP4066484B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| US7479998B2 (en) | Image pickup and conversion apparatus | |
| US7256828B2 (en) | Weighted gradient based and color corrected interpolation | |
| JP3806211B2 (ja) | 撮像信号処理方法及び撮像信号処理装置 | |
| JP4503823B2 (ja) | 画像信号処理方法 | |
| US7570285B2 (en) | Image processing device suppressing color moire when restoring an image | |
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3458080B2 (ja) | カラー撮像装置 | |
| WO2006137419A1 (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム | |
| US7801355B2 (en) | Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium | |
| JP2013017142A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| EP1377072A1 (en) | Image processing device and image processing program | |
| KR20060078646A (ko) | 디지털 촬영장치의 색상 보간법 | |
| KR19990063462A (ko) | 화상 신호 처리 장치 | |
| KR100729559B1 (ko) | 색상 신호 보간 | |
| JP2002112276A (ja) | カラー固体撮像装置 | |
| JP4032579B2 (ja) | 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP3946913B2 (ja) | 信号生成方法および装置並びに記録媒体 | |
| JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 | |
| JP2004007167A (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP2003348608A (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP2002125240A (ja) | カラー撮像装置 | |
| JPH0746622A (ja) | 画像高精細化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080801 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080801 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090801 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090801 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100801 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |