JPH10327422A - 色情報補間方法及びその補間回路 - Google Patents

Abstract

(57)【要約】 【課題】 単板式ＣＣＤの撮像装置であっても３板式と
同等の画質を得られるような補間手法を提供する。 【解決手段】 処理対象のラインの画素に対し該ライン
前後のラインの色情報も加えて補間を行うようにする。
このために、ライン１つおきにあるＲ、Ｂの画素はその
上下左右の４画素のＧ情報から補間を行う。図１では画
素Ｂ２２の補間に、その上下左右の４画素Ｇ１２，Ｇ２
１，Ｇ２３，Ｇ３２の情報を使用する。更に、全ライン
にあるＧの画素については、該画素の左右にある画素の
Ｒ（又はＢ）情報から水平補間を行うと共に上下にある
画素のＢ（又はＲ）情報から垂直補間を行う。垂直補間
に使用したＲ又はＢ情報は隣の画素にも適用する。図１
では画素Ｇ２１は、その左右にある画素Ｂ２０，Ｂ２２
の情報から補間が行われると共にその上下にある画素Ｒ
１１，Ｒ３１の情報から補間が行われ、この垂直補間に
使用した画素Ｒ１１，Ｒ３１の情報は隣の画素Ｂ２２に
も適用される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラやデ
ィジタルスチルカメラなどの撮像装置における画像処理
システムに関するもので、特に、各画素から得られた色
情報の補間処理に関する。

【０００２】

【従来の技術】例えば単板式のカメラでは、図１に示す
ようなベイヤーアレイとしたＲＧＢのカラーフィルタを
ＣＣＤ素子にかけ、これを通して出力される各画素信号
からそれぞれ色情報を得るようにしてある。このカラー
フィルタアレイでは、式：Ｙ＝０．５９８Ｇ＋０．２９
９Ｒ＋０．１１２Ｇで表せるように、主にＧから輝度を
得ることからＧの画素が多くされ、Ｒ、Ｂの空間周波数
はＧの１／２にしてある。

【０００３】

【発明が解決しようとする課題】図１のようなカラーフ
ィルタを備えてある場合、水平補間を行うようにして画
質を向上させる方法が使用されている。即ち、水平補間
を行うことにより、例えばライン（０）ではその各画素
にＢ及びＧの色情報が入ることになる。しかしながらこ
の方式では、補間が完了してもライン（０）はＢ及びＧ
情報のみ、ライン（１）はＲ及びＧ情報のみ……となっ
て、Ｂ情報とＲ情報は水平ラインの１つおき交互にしか
得られない。従って、３板式のカメラに比べると、どう
しても画質は低くなってしまう。

【０００４】また、最近のアドバンスＴＶなどで水平相
関／垂直相関をとる方式もあるが、ハードウエアの複
雑、大型化を避けられず、リアルタイム性に劣ることに
なるし、コスト的にも不利である。

【０００５】そこで本発明では、上記のようなカラーフ
ィルタを備える単板式の撮像装置であっても３板式と同
等の画質を得られ、また、小型でリアルタイム性に優れ
た色情報補間技術を提供するものである。

【０００６】

【課題を解決するための手段】本発明によれば、例えば
図１のカラーフィルタアレイのような、３色中の２色の
色情報を偶数ラインの画素から交互に得ると共に残りの
１色と前記２色のうちの１色の色情報を奇数ラインの画
素から交互に得るようにした画像処理システムの色情報
補間方法において、処理対象のラインの各画素に対し該
ライン前後のラインの色情報も加えて補間を行い、１画
素に前記３色の色情報をもたせるようにすることを特徴
としている。このようにして１画素に３原色の情報をも
たせれば、これは３板式としたシステムの画質に同じで
あり、従って単板式の安価なシステムで３板式と同等の
画質を得られることになる。

【０００７】このような少なくとも計３ラインによる色
情報補間方式では、ライン１つおき交互に存在する前記
３色中の２色の画素についてはその上下左右の４画素の
色情報から補間処理を行うようにしておくとよい。これ
によると図１のようなアレイの場合であれば、画素Ｂ２
２（青）の位置でのＧ（緑）の補間に、その上下左右の
４画素Ｇ１２，Ｇ２１，Ｇ２３，Ｇ３２（緑）の色情報
を使用することになる。これにより、自然で違和感のな
い輝度生成を行うことができる。特にこの場合、上下左
右の４画素の色情報をソーティングしてそのうちの最大
及び最小値を切捨てた残りの色情報を使用するようにす
るのが好ましい。なお、ことのきの前記３色中残りの１
色（図１の例ではＧ）の画素については、そのまま使用
すればよい。

【０００８】更に、全ラインに存在する前記３色中の１
色の画素については、該画素に対し左右にある画素の色
情報から水平補間を行うと共に上下にある画素の色情報
から垂直補間を行うようにする。この場合、垂直補間に
使用した色情報を隣の画素にも適用するようにしておく
とよい。これによれば図１のようなアレイのときに、画
素Ｇ２１については、その左右にある画素Ｂ２０，Ｂ２
２の色情報から補間が行われると共にその上下にある画
素Ｒ１１，Ｒ３１（赤）の色情報から補間が行われ、Ｒ
ＧＢの３原色情報が得られることになる。そして、垂直
補間に使用した画素Ｒ１１，Ｒ３１の情報は隣の画素Ｂ
２２にも適用され、従ってこの画素でもＲＧＢの３原色
情報が得られる。これによれば、Ｒ，Ｂの空間周波数は
Ｇの半分になるが、人の目にとっては問題ない。

【０００９】このようにして各画素３色の補間処理を行
った後には、後続の例えばホワイトバランスやγ補正を
実行する前の補間処理直後に、３色に対するマトリック
ス演算を施すようにするのが好ましい。これにより、３
色の互いに混色となる部分をできるだけ除いておけば、
より高い画質を得ることができる。

【００１０】このような色情報補間方法用に本発明で
は、少なくとも３ラインのデータを入力して処理対象の
画素の上下左右にある４画素の出力のタイミングを合わ
せるタイミング生成器と、該タイミング生成器の４出力
を比較して最大及び最小値を切捨てる比較器と、該比較
器の出力を基に補間を行う補間器と、該補間器の出力又
は処理対象のラインのデータを選択出力する選択器と、
を補間回路に備えることを特徴とする。

【００１１】

【発明の実施の形態】図２に、図１のカラーフィルタを
備えたＣＣＤ素子からの出力を補間処理するための補間
回路１００について、要部構成を示してある。

【００１２】図１中矢示した水平ライン２が処理対象の
ラインで、そのうちの画素Ｂ２２が処理対象であれば、
まず、処理対象のライン２のデータ２Ｄと共にライン２
の前後のライン１，３のデータ１Ｄ，３Ｄがタイミング
生成器１１０へ入れられる。タイミング生成器１１０で
は、データ２Ｄの画素Ｇ２３のタイミングに合わせてデ
ータ１Ｄ，３Ｄに対しラインディレイ及び画素ディレイ
をかけ、これにより、画素Ｂ２２の上下左右４画素Ｇ１
２，Ｇ２１，Ｇ２３，Ｇ３２のデータが同タイミングで
出力される。このタイミングをとった４出力が比較器１
２０へ入力され、その大小関係が比較される。

【００１３】この例の比較器１２０は、図３に示す構造
をもっている。即ち、まず最初に、画素Ｇ１２及び画素
Ｇ２１の大小が第１比較手段１２１で比較されると共に
画素Ｇ２３及び画素Ｇ３２の大小が第２比較手段１２２
で比較される。そして、第１比較手段１２１及び第２比
較手段１２２による比較結果の大出力どうしが第３比較
器１２３で比較され、第１比較手段１２１及び第２比較
手段１２２による比較結果の小出力どうしが第４比較器
１２４で比較される。これにより、第３比較手段１２３
の大出力から最大値、第４比較手段１２４の小出力から
最小値がそれぞれ検出され、これら最大及び最小値はそ
のまま切り捨てられることになる。

【００１４】このようにして比較器１２０から出力され
る中間値の２出力が補間器１３０へ入力されて補間処理
に使われ、そして補間器１３０の出力は、選択器１４０
へ入力される。この選択器１４０はクロック制御を受け
ており、画素Ｂ２２であれば補間器１３０の出力を選択
して出力する。一方、例えばその隣の画素Ｇ２３の場合
には、データ２Ｄを選択してそのまま画素Ｇ２３のデー
タを出力する。

【００１５】Ｒ，Ｂの補間器１５０は、データ１Ｄ，２
Ｄ，３Ｄを入力して、この例のライン２はＢ情報のライ
ンなので、Ｂについては水平補間、Ｒについは垂直補間
を実施する。そして、垂直補間のＲ情報は、２画素分維
持する。即ち、画素Ｇ２１に対して補間に使用した上下
の画素Ｒ１１，Ｒ３１の情報を、画素Ｂ２２の情報とし
ても使用する。なお、ライン３などのＲ情報のラインの
場合には、Ｒが水平補間、Ｂが垂直補間の関係となる。

【００１６】以上の補間処理の結果、Ｂ情報の画素には
Ｒ及びＧ、Ｒ情報の画素にはＢ及びＧ、Ｇ情報の画素に
はＢ及びＲがそれぞれ補間され、最終的には全画素がＲ
ＧＢの色情報をもつことになる。これは、３板式ＣＣＤ
のシステムにほぼ匹敵する画質である。

【００１７】一方、ＣＣＤのカラーフィルタのＲ、Ｇ、
Ｂには図５に示すように分光スペクトル特性に混色部分
が存在するので、これに対する補償措置をとっておいた
方が、後のホワイトバランスなどの処理が容易になり、
より良好な画質を得られることになる。そこで図６に示
すように、補間回路１００の直後にＲ、Ｇ、Ｂのマトリ
ックス演算を実施するマトリックス演算回路２００を設
けておき、所定の係数をかける行列演算を実施た後に後
続のホワイトバランスやγ補正の回路３００へ出力する
ようにする。

【００１８】

【発明の効果】本発明の補間処理によれば、処理対象の
水平ラインにその前後のラインを加えた少なくとも３ラ
インの画素データで色情報の補間を行うようにしたこと
により、単板式撮像装置の画像処理システムでも３板式
同等の画質を得られ、コスト的に非常に有利である。ま
た、そのためのハードウエアが小型、単純構成ですみ、
リアルタイム性に優れた補間回路を提供することができ
る。

【図面の簡単な説明】

【図１】単板式で使用されるカラーフィルタアレイの説
明図。

【図２】本発明に係る補間回路のブロック図。

【図３】図２中の比較器１２０を詳細に示したブロック
図。

【図４】本発明よる補間後の各画素を示した説明図。

【図５】横軸に周波数をとって示した３原色のグラフ。

【図６】本発明に係るマトリックス演算を行う画像処理
システムの要部ブロック図。

【符号の説明】

１００ 補間回路 １１０ タイミング生成器 １２０ 比較器 １３０，１５０ 補間器 １４０ 選択器

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ３色中の２色の色情報を偶数ラインの画
   素から交互に得ると共に残りの１色と前記２色のうちの
   １色の色情報を奇数ラインの画素から交互に得るように
   した画像処理システムの色情報補間方法において、 処理対象のラインの各画素に対し該ライン前後のライン
   の色情報も加えて補間を行い、１画素に前記３色の色情
   報をもたせるようにしたことを特徴とする色情報補間方
   法。
2. 【請求項２】 ライン１つおき交互に存在する３色中の
   ２色の画素についてはその上下左右の４画素の色情報か
   ら補間処理を行う請求項１記載の色情報補間方法。
3. 【請求項３】 上下左右の４画素の色情報を比較してそ
   のうちの最大及び最小値を切捨てた残りの色情報を使用
   する請求項２記載の色情報補間方法。
4. 【請求項４】 全ラインに存在する３色中の１色の画素
   については、該画素に対し左右にある画素の色情報から
   水平補間を行うと共に上下にある画素の色情報から垂直
   補間を行う請求項２又は請求項３記載の色情報補間方
   法。
5. 【請求項５】 垂直補間に使用した色情報を隣の画素に
   も適用する請求項４記載の色情報補間方法。
6. 【請求項６】 補間処理の直後にマトリックス演算を実
   施する請求項１〜５のいずれか１項に記載の色情報補間
   方法。
7. 【請求項７】 ３色中の２色の色情報を偶数ラインの画
   素から交互に得ると共に残りの１色と前記２色のうちの
   １色の色情報を奇数ラインの画素から交互に得るように
   した画像処理システムの補間回路において、 少なくとも３ラインのデータを入力して処理対象の画素
   の上下左右にある４画素の出力のタイミングを合わせる
   タイミング生成器と、該タイミング生成器の４出力を比
   較して最大及び最小値を切捨てる比較器と、該比較器の
   出力を基に補間を行う補間器と、該補間器の出力又は処
   理対象のラインのデータを選択出力する選択器と、を備
   えることを特徴とする補間回路。