JPH07203465A

JPH07203465A - 信号補間方法

Info

Publication number: JPH07203465A
Application number: JP5351730A
Authority: JP
Inventors: Koichi Ide; 廣一井出
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1993-12-29
Filing date: 1993-12-29
Publication date: 1995-08-04
Anticipated expiration: 2020-06-22
Also published as: JP3662949B2

Abstract

(57)【要約】【目的】色フィルタのフィルタ配列に起因する２次元
イメージセンサの撮像出力の欠落した画素の緑の信号を
適正に補間する。【構成】補間対象画素を中心とする２次元の所定の補
間単位領域の補間対象画素を中心とする水平方向，垂直
方向の緑の信号のレベル変化を複数の２次元変化パター
ンに分類して補間対象画素の最適補間操作を予め設定
し、イメージセンサの撮像出力の補間対象画素毎に該画
素を中心とする補間単位領域の画素を切出し、切出した
領域の緑のフィルタの各画素の信号レベルから補間対象
画素を中心とする水平方向，垂直方向の緑の信号レベル
の変化を判別して該当する２次元変化パターンを特定
し、このパターンに対応する最適補間操作により補間対
象画素の信号を補間して生成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、２次元イメージセンサ
の色フィルタに緑のフィルタを市松状（モザイク状）配
列したフィルタを使用して撮影する際のフィルタ配列に
起因する緑の信号の欠落を補間する信号補間方法に関す
る。

【０００２】

【従来の技術】従来、ＣＣＤ，撮像管等の２次元イメー
ジセンサを用いたカラーカメラ，カメラ一体型ＶＴＲ等
の撮像装置は、経済性，小型化等を考慮して多くの場
合、赤（以下Ｒという），緑（以下Ｇという），青（以
下Ｂという）の３原色毎にセンサを設けるいわゆる３
板，３管式でなく、単板，単管式或いは２板，２管式に
構成される。

【０００３】この場合、センサの受光面にはＧモザイ
ク，ベイヤ配列等と呼ばれるＧフィルタを市松状に配列
した色フィルタが設けられ、この色フィルタを介したセ
ンサの撮像出力はＧフィルタに対応しない画素のＧ信号
が欠落して輝度成分が欠落する。

【０００４】そして、とくに撮像出力の画像の輪郭強調
や鮮鋭度の改善等を図る場合は、何らかの手法で欠落し
たＧ信号を補間して輝度成分を生成する必要がある。つ
ぎに、従来のこの種Ｇ信号の補間方法につき、デジタル
処理により２次元の輪郭強調を行う図１０の従来構成を
参照して説明する。

【０００５】まず、単板式の２次元イメージセンサ１
は、その受光面に例えば本願発明の１実施例の図２に示
す構成の色フィルタ２が設けられ、この色フィルタ２は
Ｇフィルタ２ｇをセンサ１の各画素に対して市松状に配
列し、Ｇフィルタ２ｇが設けられない残りの各画素にＲ
フィルタ２ｒ，Ｂフィルタ２ｂを水平方向のライン毎に
交互に配列していわゆる市松状配列に形成される。

【０００６】そして、センサ１の撮像出力のフィルタ２
ｒ，２ｇ，２ｂの画素の信号，すなわちＲ信号，Ｇ信
号，Ｂ信号（映像信号）は前処理回路３ｒ，３ｇ，３ｂ
によりＡＧＣ，クランプ等の前処理が施された後、Ａ／
Ｄ変換器４ｒ，４ｇ，４ｂによりデジタル信号に変換さ
れる。さらに、変換器４ｒ，４ｇ，４ｂの出力信号は例
えば１水平走査期間（１Ｈ）遅延用の２個のラインメモ
リ５ｒ，５ｇ又は５ｂの縦列回路に供給され、それぞれ
後段回路の処理に必要な時間遅延される。

【０００７】そして、変換器４ｒ，４ｇ，４ｂの出力信
号及びラインメモリ５ｒ，５ｇ，５ｂの遅延信号が色処
理回路６に取込まれ、この処理回路６はセンサ１の画素
配列や色フィルタ２の組合せに沿った信号の分離，合成
及びフィルタリング処理を施し、Ｇ信号についてはつぎ
に説明する垂直方向又は水平方向の補間処理によりフィ
ルタ２ｒ，２ｂの画素の欠落したＧ信号を補間する。

【０００８】すなわち、図１１に示すようにフィルタ２
ｒ又は２ｂの画素を補間対象画素Ｇ_xとすると、従来
は、この画素Ｇ_xの垂直方向の両隣りの画素Ｇ₀，Ｇ₁
又は水平方向の両隣りの画素Ｇ₂，Ｇ₃に注目し、画素
Ｇ₀，Ｇ₁又はＧ₂，Ｇ₃の信号の単純平均等の１次元
の補間操作により画素Ｇ_xのＧ信号が補間される。

【０００９】さらに、色処理回路６の処理により画素毎
のＲ，Ｇ，Ｂの３原色信号が再生され、この３原色信号
はガンマ補正回路７により光電変換の特性補正が施され
た後、マトリクス回路８に供給される。この回路８は３
原色信号をマトリクス処理して輝度信号（以下Ｙ信号と
いう）及びＲ−Ｙ，Ｂ−Ｙの色差信号を形成する。

【００１０】また、色処理回路６から輪郭強調回路９に
例えば１Ｈずつずれた補間処理後のＧ信号｛Ｇ−０｝，
｛Ｇ０｝，｛Ｇ＋０｝が供給され、強調回路９は垂直ア
パーチャ作成回路１０により輝度相関を有する信号｛Ｇ
−０｝，｛Ｇ０｝，｛Ｇ＋０｝を所望の次数で微分して
垂直アパーチャ信号Ｓ_vを形成するとともに、水平アパ
ーチャ作成回路１１により信号｛Ｇ０｝に適当な次数の
微分フィルタを施して水平アパーチャ信号Ｓ_hを形成す
る。

【００１１】そして、両アパーチャ信号Ｓ_v，Ｓ_hは加
算回路１２に供給されて加算され、この加算回路１２の
出力信号が２次元輪郭強調用のアパーチャ信号として加
算回路１３に供給され、この加算回路１３はマトリクス
回路８のＹ信号にアパーチャ信号を適当な大きさで加算
してＹ信号を輪郭強調する。

【００１２】

【発明が解決しようとする課題】前記従来の信号補間方
法の場合、１次元的な信号レベルの相関のみを考慮し、
補間対象画素の水平方向又は垂直方向の両隣りの画素の
信号の単純平均等により１次元的に補間するため、撮影
の明るさのパターンによってはつぎに説明するように適
正な補間が行えない問題点がある。

【００１３】すなわち、図１１の補間対象画素Ｇ_xの信
号をその水平方向の両隣りの画素Ｇ₂，Ｇ₃の信号の単
純平均により補間する場合、図１２の（ａ）〜（ｄ）に
示す画像の明るさの位置変化の代表的な４パターンに基
づき、画素Ｇ₂，Ｇ₃の信号レベルは同図の（ｅ）〜
（ｈ）に示すようになる。

【００１４】なお、図１２の（ａ）〜（ｄ）は斜線を用
いて明るさの違いを示し、（ａ）は均一な明るさのフラ
ットパターンを示し、（ｂ）は画素Ｇ₂を含む左側部分
が他の部分より暗いステップパターンを示し、（ｃ）は
中央部が画素Ｇ₂，Ｇ₃を含む左，右側部分より明るい
インパルスパターンを示し、（ｄ）は画素Ｇ₂を含む左
側部分，画素Ｇ₀，Ｇ₁を含む中央部分，画素Ｇ₃を含
む右側部分の順に明るくなるスロープパターンを示す。

【００１５】また、図１２の（ｅ）〜（ｈ）は横軸を位
置，縦軸を信号レベルとして（ａ）〜（ｄ）のパターン
それぞれに基づく画素Ｇ₂，Ｇ₃のレベル及び両レベル
の単純平均から求まる画素Ｇ_xの実補間レベル，画素Ｇ
_xの適正レベルを示し、▲印は画素Ｇ_xの実補間レベ
ル，●印は画素Ｇ_xの適正レベルである。

【００１６】そして、図１２の（ｅ）〜（ｈ）から明ら
かなように、ステップパターン，インパルスパターンの
明るさの変化が生じたときは、実補間レベルが適正レベ
ルから大きくずれて適正な補間が行えなくなる。

【００１７】この場合、図１２の（ｆ），（ｇ）のステ
ップパターン，インパルスパターンの▲印の補間された
画素Ｇ_xの信号を用いて輪郭強調を施すと、ステップパ
ターンであれば強調後の信号に基づく再生画像に偽エッ
ジ，モワレ等が発生し、インパルスパターンであれば強
調が施されなくなって周波数特性が劣化する。

【００１８】なお、図１２の（ｉ）〜（ｌ）は横軸を位
置，縦軸をレベルにして同図の（ａ）〜（ｄ）の明るさ
のパターンに対する最適な補間パターンを示し、図中の
△印が適正レベルに補間された画素Ｇ_xである。また、
補間対象画素Ｇ_xの信号をその垂直方向の両隣りの画素
Ｇ₀，Ｇ₁の信号の単純平均により補間する場合も、画
像の明るさの位置変化に伴って前記の水平方向の場合と
同様、適正な補間が行えない事態が生じる。

【００１９】なお、両隣りの２画素の単純平均の代わり
に、フィルタリング等により例えば水平方向のある範囲
の画素の平均を用いて補間することも考えられるが、こ
の場合も、１次元的な相関を考慮して補間するのみであ
るため、適正な補間が行えない事態が生じる。本発明
は、輪郭強調等に必要なＧ信号の欠落を補間する際に、
補間精度を飛躍的に向上して適正な補間が行えるように
することを目的とする。

【００２０】

【課題を解決するための手段】前記の目的を達成するた
めに、本発明の信号補間方法においては、Ｇフィルタを
画素単位で市松状に配列して色フィルタが構成された２
次元イメージセンサの撮像出力のＧフィルタに対応しな
い画素の欠落したＧ信号を撮像出力により補間する際
に、Ｇ信号が欠落した補間対象画素を中心とする２次元
の所定の補間単位領域を予め設定し、

【００２１】補間単位領域の補間対象画素を中心とする
水平方向，垂直方向のＧ信号のレベル変化を複数の２次
元変化パターンに分類して各パターンの補間対象画素の
最適補間操作を予め設定し、撮像出力の補間対象画素毎
にこの画素を中心とする補間単位領域の画素を切出し、

【００２２】切出した補間単位領域のＧフィルタの各画
素の信号レベルから補間対象画素を中心とする水平方
向，垂直方向のＧ信号レベルの変化を判別して該当する
２次元変化パターンを特定し、特定した２次元変化パタ
ーンに対応する最適補間操作により補間対象画素のＧ信
号を補間して生成する。

【００２３】

【作用】前記のように構成された本発明の信号補間方法
の場合、予め２次元の補間単位領域が設定され、この領
域での補間対象画素を中心とする２次元のＧ信号のレベ
ル変化がパターン化して分類され、２次元的な信号レベ
ルの相関を考慮して各パターンの最適補間操作が設定さ
れる。

【００２４】そして、イメージセンサの撮像出力の実際
の補間対象画素毎に、この画素を中心とする補間単位領
域の画素が切出され、その領域内の実際に得られた信号
から補間対象画素を中心とする水平，垂直方向のＧ信号
レベルの２次元変化パターンが特定される。

【００２５】さらに、このパターンの特定に基づき、特
定されたパターンに対応する最適補間操作で補間対象画
素のＧ信号が補間される。このとき、最適補間操作がＧ
信号の２次元のレベル変化を考慮して選択されるため、
従来より極めて精度の高い補間が行える。

【００２６】

【実施例】１実施例について、図１ないし図９を参照し
て説明する。この実施例においては、例えば図１０のＡ
／Ｄ変換器４ｇの出力信号を入力信号としてデジタル的
に欠落したＧ信号を補間する。

【００２７】この場合、イメージセンサ１は図２の色フ
ィルタ２を備え、この色フィルタ２のＲ，Ｂのフィルタ
２ｒ，２ｂの画素のときに変換器４ｇの出力信号が欠落
する。そして、図１１の画素Ｇ_xを中心とするその水平
方向，垂直方向のＧ信号レベルの予測される変化パター
ンを図１２の（ａ）〜（ｄ）の明るさのパターンと同様
の明るさの種々のパターンを想定して求めると、図３に
示すように両方向それぞれについて、１種類のフラット
パターン，２種類のスロープパターン，４種類のステッ
プパターン，２種類のインパルスパターンが求まる。

【００２８】なお、図３の実線で結ばれた対の○印は図
１１の画素Ｇ₀，Ｇ₁又は画素Ｇ₂，Ｇ₃を示し、その
水平方向のパターンについては縦軸，横軸が信号レベ
ル，位置であり、垂直方向のパターンについては横軸，
縦軸が信号レベル，位置である。つぎに、この実施例に
おいては画素Ｇ_xの信号と極めて相関が強いその上，下
の２画素Ｇ₀，Ｇ₁及び左，右の２画素Ｇ₂，Ｇ₃の信
号を用いて画素Ｇ_xの信号を補間する。

【００２９】この補間の操作としては、つぎの各操作が
考えられる。（ｉ）上下平均これは画素Ｇ₀，Ｇ₁の信号レベルの平均を画素Ｇ_xの
信号レベルとする補間操作である。（ii）左右平均これは画素Ｇ₂，Ｇ₃の信号レベルの平均を画素Ｇ_xの
信号レベルとする補間操作である。

【００３０】（iii）下値ホールドこれは画素Ｇ₁の信号レベルを画素Ｇ_xの信号レベルと
する補間操作である。（iv）上値ホールドこれは画素Ｇ₀の信号レベルを画素Ｇ_xの信号レベルと
する補間操作である。

【００３１】（ｖ）左値ホールドこれは画素Ｇ₂の信号レベルを画素Ｇ_xの信号レベルと
する補間操作である。（vi）右値ホールドこれは画素Ｇ₃の信号レベルを画素Ｇｘの信号レベルと
する補間操作である。

【００３２】そして、図３の水平方向（９種類）×垂直
方向（９種類）の計８１種類の２次元変化パターンにつ
き、その中心の画素Ｇ_xの欠落した信号が適正に補間さ
れる操作を調べた結果、同図に示すようにパターンによ
って補間操作の種類，数は異なるが、適正な補間操作毎
に各パターンをグループ化できることが判明した。な
お、図３は各パターンの最適な補間操作を矢印記号を用
いて示したものである。

【００３３】また、この図３により、従来の例えば上下
平均の補間（垂直方向の単純平均補間）のみでは全体の
１／３のパターンが適正に補間されるに過ぎず、一律の
単純平均補間では効果が少ないことが分かる。そして、
図３の各パターンそれぞれの最適な補間操作を１つに絞
ってグループ化し、例えば図４に示すパターン毎の最適
補間操作を予め設定する。

【００３４】図４において、「推」は水平方向，垂直方
向が共にインパルスパターンになるときの補間操作を示
し、これは両方向が共にインパルスパターンになれば、
図３からも明らかなように前記（ｉ）〜（vi）のいずれ
の補間操作でも画素Ｇ_xの信号を復元できず、最適な補
間が不可能なため、適当な値を予め設定することを意味
する。

【００３５】つぎに、垂直方向，水平方向のパターンを
２画素Ｇ₀とＧ₁，Ｇ₂とＧ₃の単純な信号レベルの比
較から判別しようとすると、図３，図４からも明らかな
ように、例えばフラットパターンとインパルスパター
ン，スロープパターンとステップパターンの判別が行え
ない。

【００３６】そこで、この実施例では図２に相当する水
平方向（５画素）×垂直方向（５画素）の補正対象画素
を中心とする相関の強い計２５画素の範囲を補間単位領
域とし、この領域内の補間対象画素と同色のフィルタ２
ｒ又は２ｂの画素の信号とＧフィルタ２ｇの画素の信号
とにより、つぎに説明するようにして補間対象画素のＧ
信号のレベルを推定する。

【００３７】すなわち、図２からも明らかなように、補
間単位領域内には補間対象画素と同色のフィルタ２ｒ又
は２ｂの画素が９個存在し、Ｇフィルタ２ｇの画素が１
２個存在する。そして、補間単位領域内では信号の相関
が強いことを考慮すると、例えば補間対象画素Ｇ_xをＲ
フィルタ２ｒの画素とした場合、つぎの数１の式から画
素Ｇ_xのＧ信号を推定できる。

【００３８】

【数１】Ｓ_GX＝（Ｓ_GaV／Ｓ_RaV）・Ｓ_RX

【００３９】但し、Ｓ_GaV＝ΣＳ_Gi／１２，Ｓ_RaV＝Σ
Ｓ_Ri／９であり、Ｓ_GiはＧフィルタ２ｇの画素の信号レ
ベル，Ｓ_RiはＲフィルタ２ｒの画素の信号レベルを示
し、ｉは変数である。また、Ｓ_RXは画素Ｇ_xのＲフィル
タ２ｒに基づく実際の信号レベルを示す。

【００４０】そして、数１の式から求めた画素Ｇ_xの推
定信号レベルＳ_GXと２画素Ｇ₀とＧ₁又はＧ₂とＧ₃の
信号レベルとの関係から水平方向，垂直方向のパターン
を判別する。例えば水平方向について説明すれば、画素
Ｇ_{2 ,}Ｇ₃の信号レベルには図５の（ａ），（ｂ）に示
すようにパターンに応じた差があり、その差をΔとする
と、スロープパターン，ステップパターンのときに差Δ
が大きくなるため、しきい値Ｅを設定し、同図の（ａ）
のように差ΔがＥ以上になるときはスロープパターン又
はステップパターンであると判別する。

【００４１】さらに、スロープパターン又はステップパ
ターンであると判別したときは、図６に示すように数１
の式から求めた●印の画素Ｇ_xの推定信号レベルが画素
Ｇ₂ _,Ｇ₃の信号レベルの平均値から±Δ／４の範囲内
のレベルであれば、スロープパターンであるとし、図７
に示すように画素Ｇ_xの推定信号レベルが前記±Δ／４
の範囲外のレベルであれば、ステップパターンであると
する。

【００４２】但し、図８に示すように画素Ｇ_xの推定信
号レベルとΔとの差が（３／４）Δ以上に極端に大きく
なるときは、インパルスパターンであるとする。また、
図５（ｂ）のように差Δがしきい値Ｅより小さくなると
きは、フラットパターン又はインパルスパターンである
と判別する。

【００４３】この場合は図９に示すように第２のしきい
値Ｅ’を設定し、同図の（ａ）に示すように画素Ｇ_xの
推定信号レベルと画素Ｇ_{2 ,}Ｇ₃の信号レベルの平均値
との差がしきい値Ｅ’以下であればフラットパターンで
あるとし、同図の（ｂ）に示すようにその差がしきい値
Ｅ’より大きければインパルスパターンであるとする。

【００４４】なお、図６〜図９においては、横軸が位
置，縦軸が信号レベルである。そして、垂直方向につい
てもしきい値Ｅ，Ｅ’と同様のしきい値を設定し、水平
方向の場合と同様にしてパターンを判別する。

【００４５】さらに、水平方向，垂直方向のパターンの
判別結果から画素Ｇ_xを中心とする水平方向，垂直方向
のＧ信号レベルの変化を判別して２次元変化パターンを
特定し、特定したパターンに対応する図４の補間操作を
行う。そして、前記の各処理を実行して図１０と同様の
輪郭強調をデジタル的に行うため、図１に示すように入
力端子１４に図１０のＡ／Ｄ変換器４ｇの出力信号を供
給し、１Ｈのラインメモリにより形成された４個の垂直
方向遅延器１５〜１８と、画素メモリ等の４個の遅延素
子１９ａ〜１９ｄの縦列回路により形成された５個の水
平方向遅延器２０〜２４とにより、変換器４ｇの出力信
号を２次元的に遅延し、前記補間単位領域を切出す。

【００４６】このとき、遅延器２２の遅延素子１９ａ，
１９ｂ，１９ｃの出力信号が図１１の画素Ｇ₃，Ｇ_x，
Ｇ₂の信号になり、遅延器２１，２３の遅延素子１９ｂ
の出力信号が同図の画素Ｇ₀，Ｇ₁の信号になる。そし
て、遅延器２０〜２４の１画素ずつずれた５ビットの信
号，すなわち補間単位領域の各画素の信号が平均値回路
２５，２６に供給され、平均値回路２５は信号レベルＳ
_GaV（＝ΣＳ_Gi／１２）を演算し、平均値回路２６は信
号レベルＳ_Rav（＝ΣＳ_Ri／９）を演算する。

【００４７】さらに、除算器２７，乗算器２８により、
平均値回路２５，２６の出力信号及び遅延器２２の遅延
素子１９ｂの出力信号（画素Ｇ_xの信号）を用いて数１
の式を演算し、画素Ｇ_xの推定信号レベルＳ_Gxを演算
し、このレベルＳ_Gxの信号を水平，垂直のパターン判定
回路２９，２９’に供給する。そして、判定回路２９は
遅延器２２の遅延素子１９ａ，１９ｃの出力信号（画素
Ｇ₃，Ｇ₂の信号）を減算器３０，平均値回路３１によ
り演算し、減算器３０，絶対値回路３２により差Δの絶
対値を求めて比較器３３及び１／４，３／４の定数乗算
器３４，３５に供給する。

【００４８】また、平均値回路３１，減算器３６及び絶
対値回路３７により画素Ｇ_xの推定信号レベルと画素Ｇ
₂，Ｇ₃の信号レベルの平均との差εの絶対値を演算
し、この演算結果を比較器３８，３９に供給する。さら
に、比較器３３により絶対値回路３２の差Δの絶対値の
信号と端子４１のしきい値Ｅの信号とを比較し、差Δの
絶対値がしきい値Ｅ以上のときに“１”になる判別信号
を形成して論理ゲート４２〜４６に供給する。

【００４９】また、比較器３８，３９により乗算器３
４，３５のΔ／４，（３／４）・Δの絶対値の信号と絶
対値回路３７の差εの絶対値の信号とを比較し、差εの
絶対値がΔ／４の絶対値以下のとき，差εの絶対値が
（３／４）・Δ以上のときそれぞれに“１”になる判別
信号を形成し、比較器３８の判別信号を論理ゲート４
２，４３に供給し、比較器３９の判別信号を論理ゲート
４４に供給する。

【００５０】さらに、比較器４０により絶対値回路３７
の差εの絶対値の信号と端子４７のしきい値Ｅ’の信号
とを比較し、差εの絶対値がしきい値Ｅ’以上のときに
“１”になる判別信号を形成し、この信号を論理ゲート
４５，４６に供給する。そして、論理ゲート４２は図６
のスロープパターンの判定時に出力信号が“１”にな
り、論理ゲート４３は図７のステップパターンの判定時
に出力信号が“１”になる。

【００５１】また、論理ゲート４４，４５の出力信号の
論理和を演算する論理ゲート４８は図８，図９の（ｂ）
のインパルスパターンの判定時に出力信号が“１”にな
り、論理ゲート４６は図９の（ａ）のフラットパターン
の判定時に出力信号が“１”になる。そして、論理ゲー
ト４２，４３，４６，４８の出力信号が水平方向のパタ
ーン判別結果として補間回路４９に供給される。

【００５２】また、判定回路２９’は判定回路２９と同
様に構成され、遅延器２１，２３の遅延素子１９ｃの出
力信号（画素Ｇ₀，Ｇ₁の信号）と乗算器２８の信号Ｓ
_Gxとに基づき、垂直方向のパターン判別結果の信号を補
間回路４９に供給する。

【００５３】そして、この補間回路４９は判別回路２
９，２９’の判別結果から画素Ｇ_xを中心とする水平方
向，垂直方向のＧ信号レベルの変化を判別して該当する
２次元変化パターンを特定し、このパターンに対応する
水平解像度を優先した図３の補間操作を択一的に選択
し、画素Ｇ₀〜Ｇ₃の信号，推定信号Ｓ_Gxを用いた上，
下或いは左，右の平均又は上，下或いは左，右のホール
ド等の最適補間操作により画素Ｇ_xの欠落したＧ信号を
デジタル的に補間して生成する。

【００５４】さらに、端子５０の切換信号によりスイッ
チ５１を切換え、画素Ｇ_xがＲ，Ｂフィルタ２ｒ，２ｂ
のときは補間回路４９の出力信号を選択してＧフィルタ
２ｇのときは遅延器２２の遅延素子１９ｂの出力信号を
選択し、撮像出力の各画素のＧ信号をｎ次の微分回路５
２に供給し、この微分回路５２により図１０の加算回路
１２の出力信号と同様の２次元輪郭強調用のアパーチャ
信号を形成する。

【００５５】このとき、Ｇ信号の欠落が、この信号の２
次元のレベル変化を考慮して選択された補間操作により
従来より極めて精度よく補間され、従来のような補間レ
ベルの適正レベルからの大きなずれが防止されるため、
微分回路５２のアパーチャ信号により強調された再生画
像の偽エッジ，モワレ等が著しく抑制され、エッジの消
失による周波数特性の劣化も大幅に改善され、再生画質
が飛躍的に向上する。

【００５６】そして、補間単位領域の大きさ及び水平，
垂直方向のパターンの種類，数等は実施例に限定される
ものではない。

【００５７】また、単板式，単管式のイメージセンサの
撮像出力だけでなく、２板式，２管式のイメージセンサ
の撮像出力にも適用できるのは勿論である。そして、イ
メージセンサの色フィルタはＧフィルタが画素単位で市
松状に配列されていればよく、例えばＧフィルタとＲフ
ィルタとの２色フィルタであってもよいのは勿論であ
る。

【００５８】さらに、水平方向，垂直方向のＧ信号レベ
ルの変化の判別手法等は実施例に限定されるものではな
い。そして、輪郭強調だけでなく、鮮鋭度の改善等の種
々の映像処理のＧ信号又はこの信号に基づくＹ信号の補
間に適用できるのは勿論である。

【００５９】

【発明の効果】本発明は、以上説明したように構成され
ているため、以下に記載する効果を奏する。２次元イメ
ージセンサの撮像出力の実際の補間対象画素毎に、この
画素を中心とする補間単位領域の画素が切出され、その
領域内の実際に得られた信号から補間対象画素を中心と
する水平，垂直方向の緑の信号レベルの２次元変化パタ
ーンが特定され、特定されたパターンに基づき、２次元
的な信号レベルの相関を考慮してパターン毎に予め設定
された最適補間操作が択一的に選択され、選択された補
間操作で欠落した緑の信号が補間される。

【００６０】このとき、最適補間操作が緑の信号の２次
元のレベル変化を考慮して選択されるため、従来より極
めて精度の高い補間が行え、補間精度が従来より著しく
向上する。

【図面の簡単な説明】

【図１】本発明の信号補間方法の１実施例の回路ブロッ
ク図である。

【図２】本発明の１実施例の色フィルタの説明図であ
る。

【図３】２次元信号レベル変化と補間操作との組合せの
説明図である。

【図４】図１の最適補間操作の説明図である。

【図５】（ａ），（ｂ）は図１の水平方向のレベル変化
のパターン判定の第１の説明図である。

【図６】図１の水平方向のレベル変化のパターン判定の
第２の説明図である。

【図７】図１の水平方向のレベル変化のパターン判定の
第３の説明図である。

【図８】図１の水平方向のレベル変化のパターン判定の
第４の説明図である。

【図９】図１の水平方向のレベル変化のパターン判定の
第５の説明図である。

【図１０】従来例の説明用の回路ブロック図である。

【図１１】図１０のイメージセンサの画素出力の説明図
である。

【図１２】（ａ）〜（ｌ）は従来例の処理の説明図であ
る。

【符号の説明】

１２次元イメージセンサ２色フィルタ１５〜１８，２０〜２４遅延器２５，２６平均値回路２７除算器２８乗算器２９，２９’ パターン判定回路４９補間回路

Claims

【特許請求の範囲】

【請求項１】緑のフィルタを画素単位で市松状に配列
して色フィルタが構成された２次元イメージセンサの撮
像出力の前記緑のフィルタに対応しない画素の欠落した
緑の信号を前記撮像出力により補間する信号補間方法に
おいて、緑の信号が欠落した補間対象画素を中心とする２次元の
所定の補間単位領域を予め設定し、前記補間単位領域の前記補間対象画素を中心とする水平
方向，垂直方向の緑の信号のレベル変化を複数の２次元
変化パターンに分類して該各パターンの前記補間対象画
素の最適補間操作を予め設定し、前記撮像出力の前記補間対象画素毎に該画素を中心とす
る前記補間単位領域の画素を切出し、切出した前記補間単位領域の前記緑のフィルタの各画素
の信号レベルから前記補間対象画素を中心とする水平方
向，垂直方向の緑の信号レベルの変化を判別して該当す
る２次元変化パターンを特定し、特定した２次元変化パターンに対応する前記最適補間操
作により前記補間対象画素の緑の信号を補間して生成す
ることを特徴とする信号補間方法。