JP3862506B2 - 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 - Google Patents

信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 Download PDF

Info

Publication number
JP3862506B2
JP3862506B2 JP2001029647A JP2001029647A JP3862506B2 JP 3862506 B2 JP3862506 B2 JP 3862506B2 JP 2001029647 A JP2001029647 A JP 2001029647A JP 2001029647 A JP2001029647 A JP 2001029647A JP 3862506 B2 JP3862506 B2 JP 3862506B2
Authority
JP
Japan
Prior art keywords
interpolation
output
signal
data
interpolated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001029647A
Other languages
English (en)
Other versions
JP2002232904A (ja
Inventor
信也 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001029647A priority Critical patent/JP3862506B2/ja
Priority to US10/067,056 priority patent/US7053940B2/en
Priority to DE60224125T priority patent/DE60224125T2/de
Priority to EP02002626A priority patent/EP1229743B1/en
Priority to CNB021034737A priority patent/CN1194554C/zh
Publication of JP2002232904A publication Critical patent/JP2002232904A/ja
Application granted granted Critical
Publication of JP3862506B2 publication Critical patent/JP3862506B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、電子スチルカメラなどに用いて好適な、複数種類のフィルタを有する撮像素子の出力から輝度信号あるいは色信号を生成する信号処理装置およびその信号処理方法に関するものである。
【０００２】
【従来の技術】
従来、例えばCCDなどの撮像素子を利用した単板式カメラでは、撮像素子の各画素に対応して複数種類のうち１種類の色フィルタ(例えば、R,G,Bの３色のうちの一つ)が設けられている。例えば、図１に示すベイヤー配列がよく知られている。
【０００３】
このようなベイヤー配列を有する単板式カメラにおいては、各画素においてR、G、Bのうち一つの色情報しか得られないため、各画素においてRGBすべての色情報を求める場合には、後段の回路で補間処理を行う必要がある。最も単純な補間方法としては、補間対象の色信号以外の色信号レベルをすべて０とし、各画素に２次元のローパスフィルタ(LPF)の処理を行うことで補間値を得る方法が考えられる。
【０００４】
しかしながら、上記のように単純に２次元のLPF処理を行うだけでは、補間された後の画像の周波数特性は高周波成分の失われたものとなり、画像がぼやけてしまう。
【０００５】
そこで、この問題を解決するために、画像の特性によってLPFの処理を変化させる方法が提案されている。例えば、画像のある部分が縦縞であると判定された場合には、画像に対して横方向にのみLPFの処理を行う。また、画像のある部分が横縞であると判定された場合には、画像に対して縦方向にのみLPFの処理を行う。また、両者の中間的な波と判定された場合には、その度合いに応じて画像に対する横方向のLPFの処理と縦方向のLPFの処理とを重み付けして色信号を補間する方法が知られている。
【０００６】
【発明が解決しようとする課題】
しかしながら上記従来の方法では、撮像素子のナイキスト周波数付近の周波数を有する画像（例えば縦縞模様あるいは横縞模様）を撮影した場合が考慮されていない。
【０００７】
撮像素子のナイキスト周波数付近の周波数は、折りかえり信号のため画像が縦縞であるか横縞であるか判定が困難である。そのため、縦縞と横縞の判定を間違えてしまう可能性がある。例えば、実際の被写体が横縞である場合、ある補間対象の画素では誤って縦方向のLPFの処理を行ってしまったり、次の補間対象の画素では横方向のLPFの処理を行ってしまったりと連続的に適切な色信号の補間処理を行うことができない可能性がある。
【０００８】
本発明は上記従来例に鑑みてなされたもので、撮像素子のナイキスト周波数付近の画像信号が存在したとしても、適切な色信号の補間処理を行うことのできる信号処理装置あるいは信号処理方法を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上述した目的を達成するために、本願発明によれば、撮像素子から出力される色信号を補間する信号処理装置において、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間手段と、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間手段と、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間手段と、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別する判別手段と、前記判別手段の判別結果に基づいて、前記第２，第３の補間手段のうちいずれかの出力に基づく補間データを選択する選択手段と、前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、前記出力手段は、前記判別手段の判別結果に基づいて、前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする構成とした。
【００１０】
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する信号処理方法であって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする構成とした。
【００１１】
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする構成とした。
【００１２】
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する動作処理プログラムであって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする構成とした。
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する信号処理装置において、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間手段と、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間手段と、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間手段と、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別する判別手段と、前記判別手段の判別結果に基づいて、前記第２，第３の補間手段のうちいずれかの出力に基づく補間データを選択する選択手段と、前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、前記選択手段は、前記第２の補間手段より出力される補間データと前記第１の補間手段より出力される補間データとの差分、あるいは前記第３の補間手段より出力される信号と前記第１の補間手段より出力される補間データ信号との差分のいずれかを選択することを特徴とする構成とした。
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する信号処理方法であって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする構成とした。
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記選択ステップは、前記第２の補間ステップにおいて出力され る補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする構成とした。
また、本願の他の発明によれば、撮像素子から出力される色信号を補間する動作処理プログラムであって、補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択する構成とした。
【００１３】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。なお、以下に示す各実施の形態では、撮像素子の色フィルタ配列として、図１に示したベイヤー配列を用いて説明するが、他の色フィルタ配列を用いてもよい。
【００１４】
（第１の実施の形態）
図２は、第１の実施形態における信号処理装置の概略構成を示すブロック図である。
【００１５】
図２において、WB回路(ホワイトバランス回路)１は、画像信号のホワイトバランス補正するためのものであり、WB回路1には、撮像素子から出力され、さらにA/D変換された画像信号が入力される。
【００１６】
G補間回路２は、各画素に対してG信号の補間処理を行うための回路である。また、R補間回路１５は、R信号の補間処理を行うための回路である。また、B補間回路１６は、B信号の補間処理を行うための回路である。
【００１７】
また、縦横判別回路１０は、画像が縦縞であるか横縞であるか、あるいは両者の中間的なものであるかを判別する回路である。絶対値化回路１３は、縦横判別回路１０から出力されるパラメータ信号を絶対値化する。なお、縦横判別回路１０および絶対値化回路１３における処理に関しては後述する。
【００１８】
APC回路１４は、G補間回路２より出力されたG信号のアパーチャ補正を行う。なお、アパーチャ補正を行うためのAPC回路は、R補間回路１５およびB補間回路１６の後段においても設置される。
【００１９】
以上の補間処理により、各画素位置に対応してR,G,B全ての信号が得られ、さらに後段の処理によって、
Y＝0.3R + 0.59G + 0.11B
の式に従って、輝度信号Yが得られるように構成される。
【００２０】
なお、説明の簡略化のため、以下には、第１の実施の形態のほか、他の実施の形態においてもG信号を対象とする補間処理についてのみ説明するが、R信号，B信号を対象とする補間処理は線形的に補間処理を行うものとする。
【００２１】
次に、G補間回路２の内部構成について説明する。
【００２２】
０挿入回路３は、補間対象となる色、すなわちGフィルタが配置されている画素以外の画素の出力信号レベルを０にする回路である。
【００２３】
２次元LPF４は、ナイキスト周波数付近の縦縞あるいは横縞の判別か困難な画像信号に対応して補間処理を行うものであり、画像がボケないように補間対象の画素位置に対してごく近傍の２次元範囲の画素を用いて補間処理を行う。
【００２４】
水平LPF(Low Pass Filter)５は、補間対象の画素位置に対して横方向（水平方向）の画像信号を用いて補間処理を行う。なお、本実施の形態において、水平LPF５は、補間対象の画素位置の水平方向に対して２次元LPF４に用いられる画像信号より広い範囲の画像信号を用いて補間処理を行う。
【００２５】
また、垂直LPF６は、補間対象の画素位置に対して縦方向の画像信号を用いて補間処理を行う。なお、本実施の形態において、水平LPF５は、補間対象の画素位置の水平方向に対して２次元LPF４に用いられる画像信号より広い範囲の画像信号を用いて補間処理を行う。
【００２６】
加算器７は、水平LPF５の出力から２次元LPF４の出力の差分をとるためのものである。加算器８は、垂直LPF６の出力から２次元LPF４の出力の差分を取るためのものである。また、切換器９は、縦横判別回路１０の判別結果に基づいて加算器７あるいは加算器８の出力を選択する。また、乗算器１１は、切換器９によって選択された信号出力と絶対値化回路１３の出力を乗算する。また、加算器１２は、２次元LPF４の出力と乗算器１１の出力とを加算する。
【００２７】
図５は、第１の実施の形態における画像信号（G信号）の補間処理に関する動作処理フローチャートである。また、図３は、図１の色フィルタ配列の画素位置を明確に示した図である。図３および図５を用いて本実施の形態の補間処理を説明する。
【００２８】
まず、Ｓ１０１において、０挿入回路３により、G以外、すなわち、RとBの色フィルターに対応する画素に０を挿入する。
【００２９】
Ｓ１０２に進み、０挿入回路３から出力された信号に対して、２次元LPF４により画素補間を行い、２次元G補間信号を得る。２次元LPF４に関しては、例えば、垂直方向の画素データを用いて[ 1 2 1]/2、水平方向の画素データを用いて[1 2 1]/2の補間処理が行われるように構成する。例えば、図３のR33の画素位置における補間値G33'は、
垂直方向に関して(１×G32＋２×R33＋１×G34)/２=(G32＋G34)/２
水平方向に関して(１×G23＋２×R33＋１×G43)/２=(G23＋G43)/２
であるから、これらの平均をとって、
G33' =(G32 + G34 + G23 + G43) / 4
となる。
【００３０】
Ｓ１０３に進み、縦横判別回路１０において、補間対象の画素信号が垂直方向の相関が大きいかあるいは水平方向の相関が大きいかを検出する。具体的には、画像が縦縞模様であるかあるいは横縞模様であるかを判別する。
【００３１】
ここで、縦横判別回路の判別方法を説明する。例えば補間対象の画素位置がR33である場合を説明する。
【００３２】
diffHV33 ＝ diffH33−diffV33
diffH33 ＝ |G32−G34| ＋ |2R33−R31−R35|
diffV33 ＝ |G23−G43| ＋ |2R33−R13−R53|
なお、diffHは、補間対象の画素を中心とした水平方向の画素のレベル差、diffVは補間対象の画素を中心とした垂直方向の画素のレベル差を示す。また、diffHVは水平方向の画素のレベル差から垂直方向の画素のレベル差を引いたものである。つまり、diffHVが正の場合は画像が縦縞模様であり、負の場合は横縞模様であることを表す。diffHVは、算出された値をある閾値でクリップし、さらに正規化することで、diffHVの値の範囲を−１から１の範囲にしている。なお、diffHVを求める式は上記の式に限定されるものではない。
【００３３】
diffHV＞0の場合、すなわち、画像が縦縞模様であると判断された場合には、S１０４に進む。また、diffHV＜0の場合、すなわち、画像が横縞模様であると判断された場合にはＳ１０５に進む。
【００３４】
Ｓ１０４において、切換器９は、加算器８から出力される信号Dvを選択する。なお、垂直LPF６において、垂直方向の画素データを用いて[1 4 6 4 1]/8の補間処理が行われるように構成する。例えば、画素位置R33を補間対象としたときの垂直LPF６の出力値Gv33は、
Gv33=(１×R13＋４×G23＋６×R33＋４×G43＋１×R53)/8=(G23 + G43) /2
となる。
【００３５】
したがって、加算器８から出力される差分信号Dvは、画素位置R33を補間対象としたときを例にとると、
Dv33＝Gv33−G33'＝ （G23 ＋ G43−G32−G34） ／ 4
となる。
【００３６】
一方、Ｓ１０５において、切換器９は、加算器７から出力される信号Dhを選択する。なお、水平LPF５において、水平方向の画素データを用いて［1 4 6 4 1］／8の補間処理が行われるように構成する。例えば、画素位置R33を補間対象としたときの水平LPF５の出力値Gh33は、
Gh33＝（１×R31＋４×G32＋６×R33＋４×G34＋１×R35）／＝（G32 ＋ G34） ／2
したがって、加算器７から出力される差分信号Dｈは、画素位置R33を補間対象としたときを例にとると、
Dh33＝ Gh33−G33'＝ （G32 ＋ G34−G23−G43） ／ 4
となる。
【００３７】
次に、Ｓ１０６において、乗算器１１は、切換器９において選択された信号と絶対値化回路１３の出力とを乗算する。絶対値化回路１３は、diffHVを絶対値化した信号を出力する。そして、Ｓ１０７において、２次元LPF４の出力と乗算器１１とを加算し、最終的な補間信号Ｇが出力される。
【００３８】
以上の説明した処理により、適切な補間処理が行われる。例えば、ナイキスト周波数付近の画像信号の影響によって縦縞横縞の判別がつきにくい場合には、diffHVの値は小さいため、乗算器１１によりGhあるいはGvの値が小さくなる。すなわち、GhあるいはGvの補間データの出力より２次元LPF４の補間データの出力に重みつけがされるので、折り返し信号による影響が抑制され、適切な補間処理を行うことができる。
【００３９】
また、例えば、diffHV=１の場合、すなわち、被写体が縦縞模様であると判定された場合、切換器９においてDvが選択され、Dvに対して|１|が乗算される。その結果、乗算器１１からの補間データの出力に重みがおかれ、加算器１２の出力（すなわち、最終的な補間信号G）は、画素位置R33を補間対象としたときを例にとると、
G33 = G33' ＋Dv 33＝ (G23 + G43) / 2
となり、縦方向に特性がなまることがなくなる。
【００４０】
また、例えば、diffHV=−１の場合、すなわち、被写体が横縞模様であると判定された場合、切換器９においてDhが選択され、Dhに対して|−１|が乗算される。その結果、乗算器１１からの補間データの出力に重みがおかれ、加算器１２の出力（すなわち、最終的な補間信号G）は、画素位置R33を補間対象としたときを例にとると、
G33 = G33' ＋Dh33＝ (G32 + G34) / 2
となり、画面の縦方向（垂直方向）に特性がなまることがなくなる。
【００４１】
（第２の実施の形態）
図６は、第２の実施の形態における信号処理装置のブロック図である。図６の構成は、図２の水平LPF５と加算器７の構成が垂直HPF(High Pass Filter)１５に置き換えられ、また、図２の垂直LPF６と加算器８の構成が水平HPF１６に置き換えられたものと等価である。図２と同じ符号を示すものは同様の処理を行うものとしてその説明を省略する。
【００４２】
垂直HPF１５は、例えば図７（ａ）のフィルタ特性を有するものである。すなわち、垂直HPF１５の出力は、第１の実施の形態における水平LPF５の出力から２次元LPFの出力の差分と同じ信号が出力される。例えば、垂直HPF１５から出力される信号Dhは、図３の画素位置R33を補間対象としたときを例にとると、
Dh33＝ Gh33−G33'＝ （G32 ＋ G34−G23−G43） ／ 4
となる。
【００４３】
水平HPF１６は、例えば図７（ｂ）のフィルタ特性を有するものである。すなわち、水平HPF１６の出力は、第２の実施の形態における水平LPF５の出力から２次元LPFの出力の差分と同じ信号が出力される。例えば、水平HPF１６から出力される信号Dvは、図３の画素位置R33を補間対象としたときを例にとると、
Dv33＝Gv33−G33'＝ （G23 ＋ G43−G32−G34） ／ 4
となる。
【００４４】
このような第２の実施の形態においても第１の実施の形態と同様の効果を得ることができる。
【００４５】
（第３の実施の形態）
図８は、第３の実施の形態における信号処理装置の構成を示すブロック図である。第３の実施の形態における信号処理装置は、図２に示した第１の実施の形態における信号処理装置にゲイン回路１７および加算器１８が追加された構成となっている。図８のブロック図において、図２と同じ符号の構成は図２の構成と同様の処理を行うものとしてその説明を省略する。
【００４６】
ゲイン回路１７は、乗算器１１から出力された出力信号を増幅する。ゲイン回路１７によって出力された信号は、加算器１８により、APC回路１４から出力された画像信号に加算される。すなわち、乗算器１１から出力される差分信号は画像の模様に適応的に選択された高域信号であるため、例えば、画像が縦縞あるいは横縞模様であるときには乗算器からの出力レベルが大きいことにより高域信号の強調がなされ、また、例えば、画像の模様の判別がつかないときには高域信号の強調が抑制されるなど、補間信号の高域部に対して適応的な好ましい強調処理を行うことができる。
【００４７】
また、上述したように、画像の高域部の強調に用いる信号は乗算器１１の出力を用いている。つまり、本実施の形態では、画像の高域信号の強調処理に用いる回路をG補間回路２の構成と兼用しているため、回路構成が簡略化されている。
【００４８】
（第４の実施の形態）
図９は、第４の実施の形態における信号処理装置の構成を示すブロック図である。第４の実施の形態における信号処理装置は、図２に示した第１の実施の形態における信号処理装置にゲイン回路１７、加算器１８、正負判別ゲイン回路１９、絶対値化回路２０、加算器２１が追加された構成となっている。図８のブロック図において、図２と同じ符号の構成は図２の構成と同様の処理を行うものとしてその説明を省略する。
【００４９】
第４の実施形態においては、縦横判別回路１０からの判別信号diffHVを分岐し一方は第１の実施形態と同様に処理し、もう一方の判別信号は正負判別ゲイン回路１９において正または負の信号のみに所望のゲインをかける構成である。
【００５０】
例えば、正の信号のみに２倍のゲインをかけた場合について説明すると、判別信号の値の範囲が−１から１の範囲であったところが、図１０のように−１から２の範囲の信号となる。
【００５１】
そして、絶対値化回路２０において前記判別信号を絶対値化し、ゲイン回路１７において信号を強調して、加算器１８でG補間信号に加算することで、水平方向の高域強調度合いと垂直方向の高域強調度合いを異ならせたG補間信号を得ることができる。
【００５２】
（その他の実施の形態）
本願発明は、例えば図４に示すように水平１ラインごとに半画素ピッチオフセットした構造を有する撮像素子においても適用することができる。この場合、垂直方向の相関処理を斜め方向の相関処理に代用することで上記各実施の形態の処理を実現することができる。
【００５３】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを、インターネットなどのネットワークを介して信号処理装置に供給し、信号処理装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【００５４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５５】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００５８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明の信号処理装置に不可欠なモジュールを、記憶媒体に格納することになる。
【００５９】
【発明の効果】
以上説明したように、本願発明によれば、補間対象の画素位置に対する方向（例えば、水平方向、垂直方向）の相関に基づいて、２次元方向の画素データに基づいて補間処理されたデータを重視するか、１方向の画素データに基づいて補間処理されたデータを重視するか判断しているので、画像が縦縞模様あるいは横縞模様のいずれかであると判定した場合には、画像の周波数特性がなまることがなく、また、画像が縦縞模様あるいは横縞模様のどちらともつかないような場合には、折り返し信号などによる弊害が発生することもない。
【図面の簡単な説明】
【図１】単板撮像素子の色フィルタ配列で、ベイヤー配列を示す図。
【図２】第１の実施の形態の信号処理装置の概略を示すブロック図。
【図３】本実施の形態における撮像素子の色フィルタ配列を示す図。
【図４】単板撮像素子の色フィルタ配列で、オフセットサンプリング配列を示す図。
【図５】本発明の実施の形態における信号処理装置の動作処理フローチャート。
【図６】第２の実施の形態における信号処理装置の概略を示すブロック図。
【図７】第２の実施の形態におけるHPFの一例を示す図。
【図８】第３の実施の形態における信号処理装置の概略を示すブロック図。
【図９】第４の実施の形態における信号処理装置の概略を示すブロック図。
【図１０】第４の実施の形態における正負判別ゲイン回路１９の説明図。
【符号の説明】
２ G補間回路
４ ２次元LPF
５ 水平LPF
６ 垂直LPF
７，８，１２ 加算器
９ 切換器
１０ 縦横判別回路
１１ 乗算器
１３ 絶対値化回路
１４ APC回路

Claims (43)

  1. 撮像素子から出力される色信号を補間する信号処理装置において、
    補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間手段と、
    補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間手段と、
    補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間手段と、
    補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別する判別手段と、
    前記判別手段の判別結果に基づいて、前記第２，第３の補間手段のうちいずれかの出力に基づく補間データを選択する選択手段と、
    前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、
    前記出力手段は、前記判別手段の判別結果に基づいて、前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする信号処理装置。
  2. 請求項１において、前記選択手段は、前記第２の補間手段より出力される補間データと前記第１の補間手段より出力される補間データとの差分、あるいは前記第３の補間手段より出力される信号と前記第１の補間手段より出力される補間データ信号との差分のいずれかを選択することを特徴とする信号処理装置。
  3. 請求項１において、前記出力手段は、前記判別手段によって前記第１，第２の方向の相関が等しくなると判別されるにしたがって、前記選択手段によって出力される補間データより前記第１の補間手段の出力に基づく補間データに重みがおかれるように重みつけを行うことによって補間信号を生成することを特徴とする信号処理装置。
  4. 請求項１において、前記第２の補間手段は、前記第１の補間手段において補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする信号処理装置。
  5. 請求項１において、前記第３の補間手段は、前記第１の補間手段において補間処理されるときより広い範囲の前記第２の方向の画素データに基づいて補間処理を行うことを特徴とする信号処理装置。
  6. 撮像素子から出力される色信号を補間する信号処理装置において、
    補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間手段と、
    補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間手段と、
    補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間手段と、
    補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別する判別手段と、
    前記判別手段の判別結果に基づいて、前記第２，第３の補間手段のうちいずれかの出力に基づく補間データを選択する選択手段と、
    前記第１の補間手段の出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、
    前記選択手段は、前記第２の補間手段より出力される補間データと前記第１の補間手段より出力される補間データとの差分、あるいは前記第３の補間手段より出力される信号と前記第１の補間手段より出力される補間データ信号との差分のいずれかを選択することを特徴とする信号処理装置。
  7. 撮像素子から出力される色信号を補間する信号処理装置において、
    補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理 する２次元ＬＰＦと、
    補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理する水平ＬＰＦと、
    補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理する垂直ＬＰＦと、
    補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別する判別手段と、
    前記判別手段の判別結果に基づいて、前記水平ＬＰＦ及び前記垂直ＬＰＦのうちいずれかの出力に基づく補間データを選択する選択手段と、
    前記２次元ＬＰＦの出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、
    前記選択手段は、前記判別手段によって補間対象の画素位置が前記水平方向より前記垂直方向に相関が高いと判断された場合、前記水平ＬＰＦより出力される補間データと前記２次元ＬＰＦより出力される補間データとの差分を選択することを特徴とする信号処理装置。
  8. 撮像素子から出力される色信号を補間する信号処理装置において、
    補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理する２次元ＬＰＦと、
    補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理する水平ＬＰＦと、
    補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理する垂直ＬＰＦと、
    補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別する判別手段と、
    前記判別手段の判別結果に基づいて、前記水平ＬＰＦ及び前記垂直ＬＰＦのうちいずれかの出力に基づく補間データを選択する選択手段と、
    前記２次元ＬＰＦの出力に基づく補間データと前記選択手段によって出力される補間データとに基づいて、補間信号を出力する出力手段とを有し、
    前記選択手段は、前記判別手段によって補間対象の画素位置が前記垂直方向より前記水平方向に相関が高いと判断された場合、前記垂直ＬＰＦより出力される補間データと前記２次元ＬＰＦより出力される補間データとの差分を選択することを特徴とする信号処理装置。
  9. 請求項１または６において、さらに、前記判別手段の判別結果に応じて、前記出力手段によって出力された補間信号を強調する強調手段を有することを特徴とする信号処理装置。
  10. 請求項９において、前記強調手段は、さらに前記第１，第２の方向のうちいずれか一方の方向を強調することを特徴とする信号処理装置。
  11. 請求項１または６において、前記第２，第３の補間手段は、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）であることを特徴とする信号処理装置。
  12. 請求項１または６において、前記撮像素子はベイヤー配列の色フィルタを有することを特徴とする信号処理装置。
  13. 請求項１または６において、前記撮像素子は、画素配列がオフセットされていることを特徴とする信号処理装置。
  14. 撮像素子から出力される色信号を補間する信号処理方法であって、
    補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする信号処理方法。
  15. 撮像素子から出力される色信号を補間する信号処理方法であって、
    補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする信号処理方法。
  16. 請求項１４において、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関が等しくなると判別されるにしたがって、前記選択ステップによって出力される補間データより前記第１の補間ステップの出力に基づく補間データに重みがおかれるように重みつけを行うことによって補間信号を生成することを特徴とする信号処理方法。
  17. 請求項１４において、前記第２の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする信号処理方法。
  18. 請求項１４において、前記第３の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする信号処理方法。
  19. 請求項１４または１５において、さらに、補間対象の画素位置の信号に対する前記第１，第２の方向との相関の判別結果に応じて、前記出力ステップによって出力された補間信号を強調する強調ステップを有することを特徴とする信号処理方法。
  20. 請求項１９において、前記強調ステップは、前記第１，第２の方向のうちいずれか一方の方向を強調することを特徴とする信号処理方法。
  21. 請求項１４または１５において、前記第２，第３の補間ステップは、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）を用いて補間処理することを特徴とする信号処理方法。
  22. 撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、
    補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする動作処理プログラムを記憶した記憶媒体。
  23. 撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、
    補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする動作処理プログラムを記憶した記憶媒体。
  24. 請求項２２において、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関が等しくなると判別されるにしたがって、前記選択ステップによって出力される補間データより前記第１の補間ステップの出力に基づく補間データに重みがおかれるように重みつけを行うことによって補間信号を生成することを特徴とする動作処理プログラムを記憶した記憶媒体。
  25. 請求項２２において、前記第２の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする動作処理プログラムを記憶した記憶媒体。
  26. 請求項２２において、前記第３の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする動作処理プログラムを記憶した記憶媒体。
  27. 請求項２２または２３において、さらに、補間対象の画素位置の信号に対する前記第１，第２の方向との相関の判別結果に応じて、前記出力ステップによって出力された補間信号を強調する強調ステップを有することを特徴とする動作処理プログラムを記憶した記憶媒体。
  28. 請求項２７において、前記強調ステップは、前記第１，第２の方向のうちいずれか一方の方向を強調することを特徴とする動作処理プログラムを記憶した記憶媒体。
  29. 請求項２２または２３において、前記第２，第３の補間ステップは、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）を用いて補間処理することを特徴とする動作処理プログラムを記憶した記憶媒体。
  30. 撮像素子から出力される色信号を補間する動作処理プログラムであって、
    補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関の判別結果に基づいて、前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとの重みつけを行うことによって補間信号を出力することを特徴とする動作処理プログラム。
  31. 撮像素子から出力される色信号を補間する動作処理プログラムであって、
    補間対象の画素位置に対して、第１，第２の方向の画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向の画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向の画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１，第２の方向の相関を判別し、その判別結果に基づいて、前記第２，第３の補間ステップのうちいずれかの出力に基づく補間データを選択する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記選択ステップは、前記第２の補間ステップにおいて出力される補間データと前記第１の補間ステップにおいて出力される補間データとの差分、あるいは前記第３の補間ステップにおいて出力される信号と前記第１の補間ステップにおいて出力される補間データ信号との差分のいずれかを選択することを特徴とする動作処理プログラム。
  32. 請求項３０において、前記出力ステップは、補間対象の画素位置の信号に対する前記第１，第２の方向の相関が等しくなると判別されるにしたがって、前記選択ステップによって出力される補間データより前記第１の補間ステップの出力に基づく補間データに重みがおかれるように重みつけを行うことによって補間信号を生成することを特徴とする動作処理プログラム。
  33. 請求項３０において、前記第２の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする動作処理プログラム。
  34. 請求項３０において、前記第３の補間ステップは、前記第１の補間ステップにおいて補間処理されるときより広い範囲の前記第１の方向の画素データに基づいて補間処理を行うことを特徴とする動作処理プログラム。
  35. 請求項３０または３１において、さらに、補間対象の画素位置の信号に対する前記第１，第２の方向との相関の判別結果に応じて、前記出力ステップによって出力された補間信号を強調する強調ステップを有することを特徴とする動作処理プログラム。
  36. 請求項３５において、前記強調ステップは、前記第１，第２の方向のうちいずれか一方の方向を強調することを特徴とする動作処理プログラム。
  37. 請求項３０または３１において、前記第２，第３の補間ステップは、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）を用いて補間処理することを特徴とする動作処理プログラム。
  38. 撮像素子から出力される色信号を補間する信号処理方法であって、
    ２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
    水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
    垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記選択ステップは、補間対象の画素位置が前記水平方向より前記垂直方向に相関が高いと判断した場合、前記水平ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする信号処理方法。
  39. 撮像素子から出力される色信号を補間する信号処理方法であって、
    ２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
    水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
    垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記選択ステップは、補間対象の画素位置が前記垂直方向より前記水平方向に相関が高いと判断された場合、前記垂直ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする信号処理方法。
  40. 撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、
    ２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
    水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
    垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記選択ステップは、補間対象の画素位置が前記水平方向より前記垂直方向に相関が高いと判断した場合、前記水平ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする動作処理プログラムを記憶した記憶媒体。
  41. 撮像素子から出力される色信号を補間する動作処理プログラムを記憶した記憶媒体であって、
    ２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
    水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
    垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記選択ステップは、補間対象の画素位置が前記垂直方向より前記水平方向に相関が高いと判断された場合、前記垂直ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする動作処理プログラムを記憶した記憶媒体。
  42. 撮像素子から出力される色信号を補間する動作処理プログラムであって、
    ２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
    水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
    垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記選択ステップは、補間対象の画素位置が前記水平方向より前記垂直方向に相関が高いと判断した場合、前記水平ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする動作処理プログラム。
  43. 撮像素子から出力される色信号を補間する動作処理プログラムであって、
    ２次元ＬＰＦを使用することにより、補間対象の画素位置に対して、水平方向及び垂直方向の画素データに基づいて補間処理して出力する第１の補間ステップと、
    水平ＬＰＦを使用することにより、補間対象の画素位置に対して、前記水平方向の画素データに基づいて補間処理して出力する第２の補間ステップと、
    垂直ＬＰＦを使用することにより、補間対象の画素位置に対して、前記垂直方向の画素データに基づいて補間処理して出力する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記水平方向及び垂直方向の相関を判別し、その判別結果に基づいて、前記水平ＬＰＦによる第２の補間ステップ及び前記垂直ＬＰＦによる第３の補間ステップのうちいずれかの出力に基づく補間データを選択し出力する選択ステップと、
    前記第１の補間ステップの出力に基づく補間データと前記選択ステップによって出力される補間データとに基づいて、補間信号を出力する出力ステップとを有し、
    前記選択ステップは、補間対象の画素位置が前記垂直方向より前記水平方向に相関が高いと判断された場合、前記垂直ＬＰＦを用いた前記第２の補間ステップにより出力される補間データと前記２次元ＬＰＦを用いた前記第１の補間ステップにより出力される補間データとの差分を選択することを特徴とする動作処理プログラム。
JP2001029647A 2001-02-06 2001-02-06 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 Expired - Fee Related JP3862506B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001029647A JP3862506B2 (ja) 2001-02-06 2001-02-06 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
US10/067,056 US7053940B2 (en) 2001-02-06 2002-02-04 Signal processing apparatus, method, program of the method, and storage medium storing the program for interpolating an output color signal from an image sensing device
DE60224125T DE60224125T2 (de) 2001-02-06 2002-02-05 Signalverarbeitungsgerät, Signalverarbeitungsverfahren des Geräts, Operationsprozessprogramm des Verfahrens und Speichermedium zum Speichern des Programms
EP02002626A EP1229743B1 (en) 2001-02-06 2002-02-05 Signal processing apparatus, signal processing method of the apparatus, operation process program of the method, and storage medium storing the program
CNB021034737A CN1194554C (zh) 2001-02-06 2002-02-06 信号处理设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001029647A JP3862506B2 (ja) 2001-02-06 2001-02-06 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体

Publications (2)

Publication Number Publication Date
JP2002232904A JP2002232904A (ja) 2002-08-16
JP3862506B2 true JP3862506B2 (ja) 2006-12-27

Family

ID=18893966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001029647A Expired - Fee Related JP3862506B2 (ja) 2001-02-06 2001-02-06 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体

Country Status (5)

Country Link
US (1) US7053940B2 (ja)
EP (1) EP1229743B1 (ja)
JP (1) JP3862506B2 (ja)
CN (1) CN1194554C (ja)
DE (1) DE60224125T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8223231B2 (en) 2008-08-21 2012-07-17 Panasonic Corporation Imaging apparatus and image processing program

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4225795B2 (ja) * 2003-01-22 2009-02-18 オリンパス株式会社 撮像システム、画像処理プログラム
JP5199535B2 (ja) * 2004-09-30 2013-05-15 株式会社ジャパンディスプレイセントラル 平面型表示装置
US7995868B2 (en) 2004-10-19 2011-08-09 Megachips Corporation Image processing method and image processing device
JP5151075B2 (ja) * 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4863505B2 (ja) * 2007-08-07 2012-01-25 株式会社メガチップス 画像処理装置
JP5141418B2 (ja) * 2008-07-24 2013-02-13 セイコーエプソン株式会社 画像表示制御装置およびプログラム並びに画像表示制御方法
JP5706177B2 (ja) * 2010-02-09 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 超解像処理装置及び超解像処理方法
JP2012010276A (ja) 2010-06-28 2012-01-12 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
KR101615332B1 (ko) * 2012-03-06 2016-04-26 삼성디스플레이 주식회사 유기 발광 표시 장치의 화소 배열 구조
US10832616B2 (en) 2012-03-06 2020-11-10 Samsung Display Co., Ltd. Pixel arrangement structure for organic light emitting diode display
KR101427593B1 (ko) 2013-04-26 2014-08-07 삼성디스플레이 주식회사 유기 발광 표시 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5202756A (en) * 1988-11-09 1993-04-13 Canon Kabushiki Kaisha Color signal processing apparatus using plural luminance signals
US6278803B1 (en) * 1990-04-26 2001-08-21 Canon Kabushiki Kaisha Interpolation apparatus for offset sampling signals
JP2547686B2 (ja) * 1991-06-21 1996-10-23 三洋電機株式会社 映像信号処理回路
US5333055A (en) * 1992-02-24 1994-07-26 Sanyo Electric Co., Ltd. Video camera circuit for processing image signals from an image pickup device having a mosaic color filter
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
JP2816095B2 (ja) * 1994-04-26 1998-10-27 三洋電機株式会社 ビデオカメラの信号処理回路
JPH0984031A (ja) 1995-09-19 1997-03-28 Sony Corp 撮像信号処理回路
JP3787927B2 (ja) 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
US6611287B1 (en) * 1997-11-28 2003-08-26 Sony Corporation Camera signal processing apparatus and camera signal processing method
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
JP3706789B2 (ja) * 2000-05-12 2005-10-19 キヤノン株式会社 信号処理装置及び信号処理方法
JP4702912B2 (ja) 2000-05-12 2011-06-15 キヤノン株式会社 信号処理方法及び信号処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8223231B2 (en) 2008-08-21 2012-07-17 Panasonic Corporation Imaging apparatus and image processing program

Also Published As

Publication number Publication date
DE60224125T2 (de) 2008-12-04
EP1229743A3 (en) 2004-12-15
JP2002232904A (ja) 2002-08-16
DE60224125D1 (de) 2008-01-31
EP1229743A2 (en) 2002-08-07
CN1371210A (zh) 2002-09-25
CN1194554C (zh) 2005-03-23
US20020140833A1 (en) 2002-10-03
US7053940B2 (en) 2006-05-30
EP1229743B1 (en) 2007-12-19

Similar Documents

Publication Publication Date Title
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US6738510B2 (en) Image processing apparatus
JP4154661B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4700445B2 (ja) 画像処理装置および画像処理プログラム
JP5574615B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP4045645B2 (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
EP2458873A1 (en) Image processing device for correcting chromatic aberration, method for processing image, program, and storage medium
JP3862506B2 (ja) 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
JP4859220B2 (ja) 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置
WO2011045849A1 (ja) 撮像装置
JP4129254B2 (ja) ノイズ低減装置および方法
JPH11103466A (ja) 画像信号処理装置及びプログラムを記録した媒体
EP1246475A2 (en) Signal processing apparatus and method
KR100627706B1 (ko) 데이터처리장치, 화상처리장치, 카메라 및 데이터처리방법
JP4945943B2 (ja) 画像処理装置
JPWO2017154293A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP4702912B2 (ja) 信号処理方法及び信号処理装置
US6747698B2 (en) Image interpolating device
JP5291788B2 (ja) 撮像装置
JP4940086B2 (ja) 色処理装置およびその方法
JP4280462B2 (ja) 信号処理装置及び方法
JP2009105977A (ja) 信号処理装置及び方法
JP2002209228A (ja) 画像処理装置
JP2003134523A (ja) 撮像装置及び撮像方法
JPH11331858A (ja) 画像信号処理装置およびプログラムを記録した媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060926

R150 Certificate of patent or registration of utility model

Ref document number: 3862506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091006

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101006

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101006

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111006

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111006

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121006

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131006

Year of fee payment: 7

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees