JP4461684B2 - 画像信号処理装置、カメラシステムおよび画像信号処理プログラム - Google Patents
画像信号処理装置、カメラシステムおよび画像信号処理プログラム Download PDFInfo
- Publication number
- JP4461684B2 JP4461684B2 JP2003011911A JP2003011911A JP4461684B2 JP 4461684 B2 JP4461684 B2 JP 4461684B2 JP 2003011911 A JP2003011911 A JP 2003011911A JP 2003011911 A JP2003011911 A JP 2003011911A JP 4461684 B2 JP4461684 B2 JP 4461684B2
- Authority
- JP
- Japan
- Prior art keywords
- gain
- signal
- circuit
- pass filter
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号に対する信号処理を行う画像信号処理装置、その画像信号処理装置を搭載したカメラシステム、および画像信号に対する信号処理を行うための画像信号処理プログラムに関する。
【０００２】
【従来の技術】
一般に、画像を撮像するカメラシステムとしては、例えば図１０に示すように構成されたものが知られている。図例のカメラシステムは、レンズ１０１と、光学フィルタ１０２と、ＣＣＤ（Charge Coupled Device）等の撮像素子１０３と、アンプ１０４と、Ａ／Ｄコンバータ１０５と、画像信号処理装置１０６と、Ｄ／Ａコンバータ１０７とを備えて構成されている。
【０００３】
このような構成のカメラシステムにおいて、レンズ１０１より入射した被写体の光学像は、光学フィルタ１０２を通って、撮像素子１０３の撮像面上に結像する。撮像素子１０３において光電変換された画像信号は、アンプ１０４を通り、Ａ／Ｄコンバータ１０５によってディジタル信号に変換される。そして、Ａ／Ｄコンバータ１０５の出力は、画像信号処理装置１０６にて必要な信号処理が行われた後、Ｄ／Ａコンバータ１０７によってアナログ信号に変換され、例えばＮＴＳＣ（National Television System Committee）標準の輝度信号として出力される。
【０００４】
このとき、画像信号処理装置１０６では、以下に述べるような信号処理を行う。すなわち、画像信号処理装置１０６では、先ず、Ａ／Ｄコンバータ１０５からのディジタル画像信号からローパスフィルタ１０８によって輝度成分のみを抽出する。このローパスフィルタ１０８については、色フィルタ画素配列に伴うナイキスト周波数のクロマキャリア成分を除去するために使用している。そして、ローパスフィルタ１０８で抽出した輝度成分に対して、ガンマ補正回路１０９を通じてガンマ補正処理を行い、さらに同期信号付加回路１１０によって同期信号を加算して、輝度信号を生成する。
【０００５】
ところで、この画像信号処理装置１０６を搭載したカメラシステムは、上述したように光学フィルタ１０２を備えている。ここで、この光学フィルタ１０２の必要性について説明する。撮像素子１０３は、水平方向および垂直方向に配列されたフォトダイオードによる画像サンプリングを行う素子と考えられることから、画素ピッチ以上の高周波の光学像が入ると折り返し歪みが生じることになる。この折り返し歪みは光電変換の時点で入ってくるから、光学フィルタ１０２を使って、光学像の段階で高周波成分を除去しておかなければならない。そのために、撮像素子１０３の前段に光学フィルタ１０２を設けているのである。
【０００６】
ただし、光学フィルタ１０２を介する場合には、これによって入力画像の周波数スペクトルがナイキスト周波数以下に帯域制限される。したがって、被写体の光学像に対する輝度信号の周波数特性を見ると、ローパスフィルタ１０８を備えた画像信号処理装置１０６による信号処理後は、そのローパスフィルタ１０８および光学フィルタ１０２によって高域成分が大きく減衰することになり、結果として解像度が劣化してしまうといった問題が生じるおそれがある。
【０００７】
そこで、このような問題を解決すべく、従来、画像信号処理装置１０６では、ローパスフィルタ１０８の他にハイパスフィルタ１１１をも備えており、そのハイパスフィルタ１１１によって所望の高域成分を抽出してローパスフィルタ１０８の出力と加算するように構成されている。そして、ハイパスフィルタ１１１の出力信号レベルを適当に調整することにより、高域レベルを強調することができるようにし、これにより光学フィルタ１０２およびローパスフィルタ１０８による高域成分の減衰を補償して、高解像度の画像信号が得られるようにしている（例えば、特許文献１参照）。
【０００８】
【特許文献１】
特開平５−４１８１９号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の画像信号処理装置１０６では、ハイパスフィルタ１１１による高域レベルの強調に伴い、被写体によってはＳ／Ｎ比が低下してしまうおそれがある。例えば、輝度レベルにおいて急峻な段差がある被写体においては、その段差部分についてハイパスフィルタ１１１が処理すると、その処理によってリンギングノイズが発生したり、またその段差部分が色の付いた被写体であった場合には段差部分が強調されることによる色偽信号が発生したりすることが懸念される。さらに、ハイパスフィルタ１１１の出力信号レベルが高い場合には、リンギングノイズ等が強調されてしまうことも考えられる。これを防ぐためには、ハイパスフィルタ１１１からの出力を低レベル側に調整すればよいが、その場合には高域強調効果が弱くなり、高域成分の減衰を補償できない可能性が生じてくる。つまり、従来の画像信号処理装置１０６では、高域強調およびＳ／Ｎ比向上といった、互いに相反する関係を同時に満足させることが非常に困難である。また、ハイパスフィルタ１１１で抽出する周波数によっては、フィルタタップ数が多く必要なため、Ｓ／Ｎという観点からは好ましくない。
【００１０】
そこで、本発明は、画像信号に対する信号処理を行うのにあたって、Ｓ／Ｎ比が良好で、しかも色偽信号が抑圧された、高解像度な画像信号を得ることができる画像信号処理装置、カメラシステムおよび画像信号処理プログラムを提供することを目的とする。
【００１４】
請求項１に係る画像信号処理装置は、前記ハイパスフィルタが生成した高域成分信号の信号レベルを区分けするレベル区分け回路と、前記レベル区分け回路による信号レベルの区分け結果に応じて異なる利得を算出するゲイン比率算出回路と、前記ローパスフィルタが抽出した輝度信号における輝度段差を検出する段差検出回路と、前記画像信号を構成する各色成分間の色差信号を検出する色差検出回路とを備え、前記ハイパスフィルタが生成した高域成分信号に対し、前記ゲイン比率算出回路が算出した利得を乗ずるゲイン調整、前記段差検出回路による検出結果に応じた利得を乗ずるゲイン調整および前記色差検出回路による検出結果に応じた利得を乗ずるゲイン調整の全てを行うように構成されたことを特徴とする。
【００１８】
請求項３に係るカメラシステムは、前記画像信号処理装置が、前記ハイパスフィルタが生成した高域成分信号の信号レベルを区分けするレベル区分け回路と、前記レベル区分け回路による信号レベルの区分け結果に応じて異なる利得を算出するゲイン比率算出回路と、前記ローパスフィルタが抽出した輝度信号における輝度段差を検出する段差検出回路と、前記画像信号を構成する各色成分間の色差信号を検出する色差検出回路とを備え、前記ハイパスフィルタが生成した高域成分信号に対し、前記ゲイン比率算出回路が算出した利得を乗ずるゲイン調整、前記段差検出回路による検出結果に応じた利得を乗ずるゲイン調整および前記色差検出回路による検出結果に応じた利得を乗ずるゲイン調整の全てを行うように構成されていることを特徴とする。
【００２２】
請求項５に係る画像信号処理プログラムは、コンピュータを、光学フィルタを介して得られた画像信号から輝度信号を抽出するローパスフィルタ手段と、前記光学フィルタおよび前記ローパスフィルタ手段による高域成分の減衰を補償するために前記画像信号から高域成分信号を生成するハイパスフィルタ手段と、前記ハイパスフィルタ手段が生成した高域成分信号の信号レベルを区分けするレベル区分け手段と、前記レベル区分け手段による信号レベルの区分け結果に応じて異なる利得を算出するゲイン比率算出手段と、前記ローパスフィルタ手段が抽出した輝度信号における輝度段差を検出する段差検出手段と、前記画像信号を構成する各色成分間の色差信号を検出する色差検出手段と、前記ハイパスフィルタ手段が生成した高域成分信号に対し、前記ゲイン比率算出手段が算出した利得を乗ずるゲイン調整、前記段差検出回路による検出結果に応じた利得を乗ずるゲイン調整および前記色差検出回路による検出結果に応じた利得を乗ずるゲイン調整の全てを行う乗算手段と、前記乗算手段による利得乗算後の高域成分信号を前記ローパスフィルタ手段で抽出された輝度信号に加算する加算手段として機能させることを特徴とする。
【００２６】
請求項１に係る画像信号処理装置、請求項３に係るカメラシステムおよび請求項５に係る画像信号処理プログラムによれば、ハイパスフィルタ（手段）が生成した高域成分信号に対して、高域成分信号の信号レベルよって異なる利得、輝度段差の検出結果に応じて異なる利得および色差信号の検出結果に応じて異なる利得を乗ずるゲイン調整の全てを行う。したがって、例えばＳ／Ｎ比が良好で、しかも色偽信号が抑圧されるように、利得を乗ずることが可能となり得る。
【００２７】
【発明の実施の形態】
以下、図面に基づき本発明に係る画像信号処理装置、カメラシステムおよび画像信号処理プログラムについて説明する。
【００２８】
先ず、本発明に係るカメラシステムについて説明する。ここで説明するカメラシステムは、動画または静止画を撮像するためのもので、従来のもの（図１０参照）と同様に、レンズ１０１から入射した被写体の光学像を、光学フィルタ１０２を介して撮像素子１０３の撮像面上に結像し、その撮像素子１０３での光電変換によって被写体の画像信号を得るものである。ただし、ここで説明するカメラシステムは、画像信号に対する信号処理を行う画像信号処理装置が従来とは異なる。
【００２９】
続いて、このカメラシステムに搭載されて用いられる画像信号処理装置、すなわち本発明に係る画像信号処理装置について説明する。図１は、本発明に係る画像信号処理装置の概略構成の一例を示すブロック図である。図例のように、ここで説明する画像信号処理装置は、大別すると、画像信号の輝度成分に対する処理を行う輝度信号処理回路１０と、画像信号の色（クロマ）成分に対する処理を行う色信号処理回路２０とからなる。
【００３０】
輝度信号処理回路１０は、ローパスフィルタ（Low Pass Filter；以下「ＬＰＦ」と略す）１１と、これと並列に配されたハイパスフィルタ（High Pass Filter；以下「ＨＰＦ」と略す）１２と、加算器１３とに加えて、ＨＰＦ１２の出力に対して直列に配されたレベル区分け回路１４、ゲイン比率算出回路１５および重み付け回路１６と、ＬＰＦ１１の出力に対して配された段差検出回路１７と、ＨＰＦ１２、重み付け回路１６および段差検出回路１７の出力に対して配された乗算器１８と、を備えて構成されている。
【００３１】
ＬＰＦ１１は処理対象となるディジタル画像信号から輝度成分のみを抽出するものであり、ＨＰＦ１２は処理対象となるディジタル画像信号から高域成分信号である高域アパーチャコントロール信号（以下「高域アパコン信号」と略す）を生成するものであり、加算器１３はＬＰＦ１１からの出力にＨＰＦ１２による高域アパコン信号を加算して高域成分の減衰を補償するためのものである。これらは、従来の画像信号処理装置１０６（図１０参照）におけるものと略同様のものである。
【００３２】
レベル区分け回路１４は、ＨＰＦ１２が生成した高域アパコン信号の信号レベルを区分けするものである。ここで、このレベル区分け回路１４について詳しく説明する。図２は、レベル区分け回路の構成例を示す回路図である。図例のように、レベル区分け回路１４としては、複数の閾値（Ref A〜Ref H）を保持するレジスタ手段１４ａと、それぞれに対応して設けられた複数のコンパレータ手段（比較器）１４ｂとから構成されたものが挙げられる。このような構成のレベル区分け回路１４では、ＨＰＦ１２からの高域アパコン信号に対して、その信号値を各閾値（Ref A〜Ref H）と比較して、高域アパコン信号がどの信号レベルに属するものであるかを区分けし、その結果をビット列（level［0］〜level［6］）によって表すようになっている。なお、ここで説明したレベル区分け回路１４は、単なる一具体例に過ぎず、その構成（特に区分けするレベル数）についてはこれに限定されるものではない。また、レベル区分けに必要となる閾値も、予め設定されていれば、その値自体は適宜設定すればよい。
【００３３】
ゲイン比率算出回路１５は、ＨＰＦ１２からの高域アパコン信号に対するゲイン比率を算出するものであるが、レベル区分け回路１４による信号レベルの区分け結果に応じて異なる利得を算出するようになっている。ここで、このゲイン比率算出回路１５について詳しく説明する。図３は、ゲイン比率算出回路の構成例を示す回路図である。図例のように、ゲイン比率算出回路１５としては、予め設定された複数種類のゲイン値（gain0（*0）〜gain1（*1））を保持するレジスタ手段１５ａと、その中からレベル区分け回路１４による信号レベルの区分け結果に応じていずれか一つのゲイン値を出力（gainout）するスイッチング手段１５ｂとから構成されたものが挙げられる。このような構成のゲイン比率算出回路１５では、例えば、信号レベルの区分け結果であるビット列が「0000000」であればゲイン値として「０（gain0）」を出力し、ビット列が「0000001」であればゲイン値として「１／４（gain1/4）」を出力する、といった処理を行う。なお、ここで説明したゲイン比率算出回路１５も、単なる一具体例に過ぎず、その構成についてはこれに限定されるものではない。また、ゲイン値についても、予め設定されていれば、その値自体は適宜設定すればよい。
【００３４】
重み付け回路１６は、ゲイン比率算出回路１５が算出したゲイン値をさらに可変させるためのものである。ここで、この重み付け回路１６について詳しく説明する。図４は、重み付け回路の構成例を示す回路図である。図例のように、重み付け回路１６としては、任意に設定可能な複数種類のゲイン値（gain lo(*0〜*1.0)〜gain hi(*0〜*1.0)）を保持するレジスタ手段１６ａと、レベル区分け回路１４による信号レベルの区分け結果に応じていずれか一つのゲイン値を出力する選択回路１６ｂと、その選択されたゲイン値をゲイン比率算出回路１５からの出力（gainout）に乗算する乗算器１６ｃとから構成されたものが挙げられる。このような構成の重み付け回路１６では、例えば、信号レベルの区分け結果がlevel［0］の場合にはゲイン比率算出回路１５からの出力にさらにゲイン値として「０（gain0）」を乗算し、level［3］の場合にはゲイン比率算出回路１５からの出力にさらにゲイン値として「１（gain1.0）」を乗算する、といった重み付け処理を行う。なお、ここで説明した重み付け回路１６も、単なる一具体例に過ぎず、その構成についてはこれに限定されるものではない。また、図例のように、例えばlevel［0］〜level［2］は領域２、level［3］は領域３、level［4］〜level［6］は領域４といったように、信号レベルの区分け結果を領域毎にまとめて重み付けすることで、構成の簡略化を図ることも考えられるが、各信号レベル毎に個別に処理しても良いことは勿論である。
【００３５】
段差検出回路１７は、レベル区分け回路１４、ゲイン比率算出回路１５および重み付け回路１６とは別ラインに配されたもので、ＬＰＦ１１で抽出した輝度成分信号における輝度段差を検出するものである。ここで、この段差検出回路１７について詳しく説明する。図５は、段差検出回路の構成例を示すブロック図である。図例のように、段差検出回路１７としては、ＬＰＦ１１においてクロマキャリア周波数を含む高域成分を減衰処理させた画素信号に対して、両隣（中心−左隣および中心−右隣）の画素との差分並びに両隣の画素同士（左隣−右隣）の差分をそれぞれ算出する演算手段１７ａと、これら三通りの差分を絶対値化する変換手段１７ｂと、これら三通りの絶対値の中の最大値を抽出する抽出手段１７ｃと、その最大値を予め設定された段差閾値と比較する比較手段１７ｄとから構成されたものが挙げられる。このような構成の段差検出回路１７では、例えば、絶対値化した差分の最大値が段差閾値を超えていれば、処理対象となる画像信号に許容段差を超える輝度段差があるとみなし、ゲイン値として「０」を出力するといった処理を行う。なお、ここで説明した段差検出回路１７も、単なる一具体例に過ぎず、その構成についてはこれに限定されるものではない。
【００３６】
乗算器１８は、ＨＰＦ１２からの高域アパコン信号に対して、レベル区分け回路１４、ゲイン比率算出回路１５および重み付け回路１６を経て得られたゲイン値、段差検出回路１７を経て得られたゲイン値、並びに後述する色差検出回路２５を経て得られたゲイン値を乗算するものである。この乗算器１８によってゲイン値が乗算された後の高域アパコン信号が加算器１３に送られて、その加算器１３でＬＰＦ１１からの出力に加算されることになる。
【００３７】
一方、色信号処理回路２０は、ライン間同時化処理回路２１と、ＹＣ分離処理回路２２と、ＲＧＢ原色分離回路２３と、ホワイトバランス（以下「ＷＢ」と略す）回路２４と、色差検出回路２５と、を備えて構成されている。
【００３８】
ライン間同時化処理回路２１は輝度信号と色（クロマ）信号とを分離するＹＣ分離処理の演算をするために画素信号の同時化および並び替えを行うものであり、ＹＣ分離処理回路２２は隣接画素加算や減算等により輝度信号とクロマ信号との分離処理を行うものであり、ＲＧＢ原色分離回路２３は撮像素子１０３の分光特性に対して最適化されたマトリックス定数による演算を行ってクロマ信号をＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に原色分離するものであり、ＷＢ回路２４は所定の色温度に対応してＲ，Ｇ，Ｂの各色成分の利得を調整してホワイトバランスをとるものである。これらは、従来の画像信号処理装置におけるものと略同様のものである。
【００３９】
色差検出回路２５は、画像信号を構成する各色成分間の色差、さらに詳しくはホワイトバランス調整後のＲＧＢ信号における各色成分間の色差を検出するものである。ここで、この色差検出回路２５について詳しく説明する。図６および図７は、色差検出回路の構成例を示す回路図である。色差検出回路２５としては、図６に示すように、ホワイトバランス調整後のＲＧＢ信号に対して、Ｒ−Ｇ間およびＢ−Ｇ間の色値の差分をそれぞれ算出する演算手段２５ａと、その差分を絶対値化する変換手段２５ｂと、それぞれの絶対値の中の最大値を抽出する抽出手段２５ｃとを備え、さらには、図７に示すように、複数の閾値（Ref 0〜Ref D）を保持する第１レジスタ手段２５ｄと、それぞれに対応して設けられた複数のコンパレータ手段（比較器）２５ｅと、予め設定された複数種類のゲイン値（gain1（*1）〜gain1/4（*1/4））を保持する第２レジスタ手段２５ｆと、その中からコンパレータ手段による色差の最大値と閾値との比較結果に応じていずれか一つのゲイン値を出力する選択手段２５ｇとを備えて構成されたものが挙げられる。このような構成の色差検出回路２５では、例えば、色差の最大値と閾値との比較結果からその色差がどの程度の大きさか、すなわちどのレベルに属するかを判断し、その判断結果に応じてゲイン値を可変させる、といった処理を行う。なお、ここで説明した色差検出回路２５も、単なる一具体例に過ぎず、その構成についてはこれに限定されるものではない。また、閾値やゲイン値等についても、予め設定されていれば、その値自体は適宜設定すればよい。
【００４０】
次に、以上のように構成された画像信号処理装置における処理動作例について説明する。ただし、ここでは、画像信号処理装置における特徴的な処理動作である、高域アパコン信号に対するゲイン調整に関してのみ説明を行うものとする。
【００４１】
先ず、レベル区分け回路１４、ゲイン比率算出回路１５および重み付け回路１６によるゲイン調整について説明する。図８は、高域アパコン信号の信号レベルとゲインとの関係の一具体例を示す説明図である。
【００４２】
ＨＰＦ１２が処理対象となるディジタル画像信号から高域アパコン信号を生成すると、その高域アパコン信号は、レベル区分け回路１４でのレベル区分けによって、どの信号レベルに属するかが区分けされる。例えば図８に示す場合であれば、高域アパコン信号は、その信号レベルが領域１〜５のどれに属するか区分けされる。ここで、領域１は信号レベルの区分け結果であるビット列が「0000000」の場合に対応し、領域２はビット列が「0000001」、「0000010」または「0000100」の場合に対応し、領域３はビット列が「0001000」の場合に対応し、領域４はビット列が「0010000」、「0100000」または「1000000」の場合に対応し、領域５はそれ以外の場合に対応するものとする。
【００４３】
そして、レベル区分けされた高域アパコン信号に対しては、信号レベルの区分け結果に応じたゲイン値が、ゲイン比率算出回路１５によって算出されて、その後乗算器１８によって乗算される。例えば図８に示す場合であれば、領域１に属する信号レベルの高域アパコン信号に対してはゲイン値として「０」が、領域２に属する信号レベルの高域アパコン信号に対してはゲイン値として「１／４」、「１／２」または「３／４」のいずれかが、領域２に属する信号レベルの高域アパコン信号に対してはゲイン値として「１」が、領域４に属する信号レベルの高域アパコン信号に対してはゲイン値として「１／４」、「１／２」または「３／４」のいずれかが、領域５に属する信号レベルの高域アパコン信号に対してはゲイン値として「０」が、それぞれ乗算される。
【００４４】
これにより、例えば領域５のように高域アパコン信号の信号レベルが高い場合には、これに応じたゲイン値として「０」を乗算することで、高域強調効果が過剰になったり色偽信号が強調されたり等する懸念がある場合であっても、アパコンゲインを抑制してノイズを低減することが可能となる。これとは逆に、例えば領域１のように高域アパコン信号の信号レベルが低い場合には、これに応じたゲイン値として「０」を乗算することで、その低レベル信号がノイズ成分となることが懸念される場合であっても、アパコンゲインを抑制してＳ／Ｎ比を向上させることが可能となる。また、例えば領域３のように高域アパコン信号が中間レベルの場合には、これに応じたゲイン値として「１」を乗算することで、アパコンゲインを高くして高域成分を強調することが可能となる。
【００４５】
このように、レベル区分け回路１４およびゲイン比率算出回路１５によれば、ＨＰＦ１２によって抽出された高域アパコン信号に対して、その信号レベルに応じて適切なゲイン値をコントロールしているので、ノイズや色偽信号等を抑制して、効果的な高域アパコン信号を得ることが可能となる。
【００４６】
さらに、ゲイン比率算出回路１５が算出したゲイン値に対しては、重み付け回路１６による重み付け処理を行うことも可能である。すなわち、重み付け回路１６を用いれば、領域２、領域３、領域４の各ゲイン値に対して、それぞれ独立に重み付けすることができるようになる。したがって、この場合には、さらに細かいゲイン制御を行うことが可能となり、ノイズや色偽信号等を抑制する上でより有効なものとなる。
【００４７】
続いて、段差検出回路１７によるゲイン調整について説明する。段差検出回路１７では、ＬＰＦ１１で抽出した輝度成分信号における輝度段差を検出し、許容段差を超える輝度段差があれば、ゲイン値として「０」を出力する。そして、「０」が出力された場合には、ＨＰＦ１２によって抽出された高域アパコン信号に対して乗算器１８が「０」を乗算する。つまり、ＨＰＦ１２からの高域アパコン信号を通さない。これとは逆に、輝度段差がないか、若しくは輝度段差があっても許容段差より小さい場合には、ゲイン値として「１」を出力する。これにより、乗算器１８は、ＨＰＦ１２からの高域アパコン信号をスルーさせる。
【００４８】
このように、段差検出回路１７によれば、ＨＰＦ１２によって抽出された高域アパコン信号に対して、輝度段差の有無に応じて適切なゲイン値をコントロールしているので、ＨＰＦ１２の低域段差部の処理により発生するリンギングノイズや色偽信号等を抑制することが可能となる。また、強調したい高周波領域については、ＬＰＦ１１において減衰させてから段差検出回路１７が輝度段差の有無を判断するため、画素信号の差分値が段差閾値を超えないような制御が可能となる。したがって、高域での段差は検出されず、アパコン信号がスルー処理され、効果的に高域アパコン信号を抽出することができる。また、元々輝度段差が大きいところは増幅する必要がないため、アパコンゲインを乗算しないことにより、ノイズ低減にも繋がることとなる。
【００４９】
続いて、色差検出回路２５によるゲイン調整について説明する。図９は、色差信号の信号レベルとゲインとの関係の一具体例を示す説明図である。色差検出回路２５では、ホワイトバランス調整後のＲＧＢ信号における各色成分間の色差を検出し、その色差の検出結果に応じてゲイン値を可変させる。例えば図９に示す場合であれば、色差の検出結果、すなわち検出した色差の信号レベルが大きくなるほどゲイン値を小さくしている。これは、ノイズが強調されやすい大きな色差のある部分に対しては小さな利得を乗じて、色差のない部分については大きな利得を乗ずるようにするためである。例えば被写体が白色であれば、ホワイトバランス後のＲ，Ｇ，Ｂの各色成分信号の比率は１：１：１となるため、色差信号は「０」が出力される。したがって、ゲイン値を最大設定値とする。その一方で、色差信号が大きくなるほど、高域アパコン信号の強調により、輝度信号が急峻に変化した場合の不自然な着色現象が目立つ。したがって、色差信号の増大に対しては、ゲイン値を直線的に低減させるようにする。
【００５０】
このように、色差検出回路２５によれば、ＨＰＦ１２によって抽出された高域アパコン信号に対して、各色成分間の色差の有無に応じて適切なゲイン値をコントロールしているので、輝度信号が急峻に変化した場合の不自然な着色現象を抑制することが可能となる。
【００５１】
以上のような処理を経た後、最終的には、ＨＰＦ１２からの高域アパコン信号に対して、▲１▼レベル区分け回路１４、ゲイン算出回路105および重み付け回路１６により算出されたゲイン値、▲２▼輝度段差検出回路１７により得られたゲイン値、▲３▼色差検出回路で得られたゲイン値が、それぞれ乗算器１８によって乗算される。そして、ゲイン調整された高域アパコン信号は、ＬＰＦ１１の出力に加算されて、後段のガンマ補正回路１０９へ送られることになる。
【００５２】
以上に説明したように、本実施形態で説明した画像信号処理装置を用いれば、カメラシステムにおける画像信号の高解像度信号処理を行う場合であっても、ＬＰＦ１１およびＨＰＦ１２でのフィルタ処理に伴うリンギングの抑制が可能となるため、被写体画像のＳ／Ｎ比が向上することになる。また、色偽信号成分が抑圧することができ、輝度信号の水平方向に急峻な変化があった場合であっても、全体に不自然な着色が生じてしまうのを抑えられる。さらには、強調したい高域周波数のみを抽出してエンハンスすることが可能であり、輝度段差が大きいところは増幅する必要がないため利得を乗算しない（利得を０とする）ことによりノイズ低減効果も得られるので、結果として高解像度な画像信号を効果的に得ることが可能となる。
【００５３】
なお、本実施形態では、▲１▼レベル区分け回路１４、ゲイン算出回路105および重み付け回路１６によるゲイン調整と、▲２▼輝度段差検出回路１７によるゲイン調整と、▲３▼色差検出回路によるゲイン調整とを全て行う場合を説明したが、本発明はこれに限定されるものではなく、上記▲１▼〜▲３▼の少なくとも一つを備えていればよい。ただし、上記▲１▼〜▲３▼の少なくとも一つを備えていれば、Ｓ／Ｎ比が良好で、しかも色偽信号が抑圧された、高解像度な画像信号を得ることが可能であるが、撮像素子１０３で得られる画像信号の特質（カラー画像等の特質）を考慮すると、ノイズ等が無く高解像度な画像信号を得る上では、上記▲１▼〜▲３▼の全てを行うことが最も望ましい。
【００５４】
また、本実施形態では、画像信号処理装置をハードウエア回路によって構成した場合を例に挙げて説明したが、例えばコンピュータ上で動作するソフトウエアによっても、同様の機能を実現することは可能である。すなわち、本実施形態で説明した画像信号処理装置は、ソフトウエアによって構成した画像信号処理プログラムによっても実現可能である。また、その場合、ソフトウエア構成はコンピュータ内にインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても、または有線若しくは無線による通信手段を介して配信されるものであってもよい。
【００５５】
【発明の効果】
以上に説明したように、本発明の画像信号処理装置、カメラシステムおよび画像信号処理プログラムによれば、画像信号に対してローパスフィルタおよびハイパスフィルタを用いた信号処理を行う場合であっても、Ｓ／Ｎ比が良好で、しかも色偽信号が抑圧された、高解像度な画像信号を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る画像信号処理装置の概略構成の一例を示すブロック図である。
【図２】図１の画像信号処理装置におけるレベル区分け回路の構成例を示す回路図である。
【図３】図１の画像信号処理装置におけるゲイン比率算出回路の構成例を示す回路図である。
【図４】図１の画像信号処理装置における重み付け回路の構成例を示す回路図である。
【図５】図１の画像信号処理装置における段差検出回路の構成例を示すブロック図である。
【図６】図１の画像信号処理装置における色差検出回路の要部構成例を示すブロック図である。
【図７】図１の画像信号処理装置における色差検出回路の要部構成例を示す回路図である。
【図８】図１の画像信号処理装置における高域アパコン信号の信号レベルとゲインとの関係の一具体例を示す説明図である。
【図９】図１の画像信号処理装置における色差信号の信号レベルとゲインとの関係の一具体例を示す説明図である。
【図１０】従来のカメラシステムおよびこれに用いられる画像信号処理装置の概略構成の一例を示すブロック図である。
【符号の説明】
１０…輝度信号処理回路、１１…ローパスフィルタ（ＬＰＦ）、１２…ハイパスフィルタ（ＨＰＦ）、１３…加算器、１４…レベル区分け回路、１５…ゲイン比率算出回路、１６…重み付け回路、１７…段差検出回路、１８…乗算器、２０…色信号処理回路、２１…ライン間同時化処理回路、２２…ＹＣ分離処理回路、２３…ＲＧＢ原色分離回路、２４…ホワイトバランス（ＷＢ）回路、２５…色差検出回路、１０１…レンズ、１０２…光学フィルタ、１０３…撮像素子
【発明の属する技術分野】
本発明は、画像信号に対する信号処理を行う画像信号処理装置、その画像信号処理装置を搭載したカメラシステム、および画像信号に対する信号処理を行うための画像信号処理プログラムに関する。
【０００２】
【従来の技術】
一般に、画像を撮像するカメラシステムとしては、例えば図１０に示すように構成されたものが知られている。図例のカメラシステムは、レンズ１０１と、光学フィルタ１０２と、ＣＣＤ（Charge Coupled Device）等の撮像素子１０３と、アンプ１０４と、Ａ／Ｄコンバータ１０５と、画像信号処理装置１０６と、Ｄ／Ａコンバータ１０７とを備えて構成されている。
【０００３】
このような構成のカメラシステムにおいて、レンズ１０１より入射した被写体の光学像は、光学フィルタ１０２を通って、撮像素子１０３の撮像面上に結像する。撮像素子１０３において光電変換された画像信号は、アンプ１０４を通り、Ａ／Ｄコンバータ１０５によってディジタル信号に変換される。そして、Ａ／Ｄコンバータ１０５の出力は、画像信号処理装置１０６にて必要な信号処理が行われた後、Ｄ／Ａコンバータ１０７によってアナログ信号に変換され、例えばＮＴＳＣ（National Television System Committee）標準の輝度信号として出力される。
【０００４】
このとき、画像信号処理装置１０６では、以下に述べるような信号処理を行う。すなわち、画像信号処理装置１０６では、先ず、Ａ／Ｄコンバータ１０５からのディジタル画像信号からローパスフィルタ１０８によって輝度成分のみを抽出する。このローパスフィルタ１０８については、色フィルタ画素配列に伴うナイキスト周波数のクロマキャリア成分を除去するために使用している。そして、ローパスフィルタ１０８で抽出した輝度成分に対して、ガンマ補正回路１０９を通じてガンマ補正処理を行い、さらに同期信号付加回路１１０によって同期信号を加算して、輝度信号を生成する。
【０００５】
ところで、この画像信号処理装置１０６を搭載したカメラシステムは、上述したように光学フィルタ１０２を備えている。ここで、この光学フィルタ１０２の必要性について説明する。撮像素子１０３は、水平方向および垂直方向に配列されたフォトダイオードによる画像サンプリングを行う素子と考えられることから、画素ピッチ以上の高周波の光学像が入ると折り返し歪みが生じることになる。この折り返し歪みは光電変換の時点で入ってくるから、光学フィルタ１０２を使って、光学像の段階で高周波成分を除去しておかなければならない。そのために、撮像素子１０３の前段に光学フィルタ１０２を設けているのである。
【０００６】
ただし、光学フィルタ１０２を介する場合には、これによって入力画像の周波数スペクトルがナイキスト周波数以下に帯域制限される。したがって、被写体の光学像に対する輝度信号の周波数特性を見ると、ローパスフィルタ１０８を備えた画像信号処理装置１０６による信号処理後は、そのローパスフィルタ１０８および光学フィルタ１０２によって高域成分が大きく減衰することになり、結果として解像度が劣化してしまうといった問題が生じるおそれがある。
【０００７】
そこで、このような問題を解決すべく、従来、画像信号処理装置１０６では、ローパスフィルタ１０８の他にハイパスフィルタ１１１をも備えており、そのハイパスフィルタ１１１によって所望の高域成分を抽出してローパスフィルタ１０８の出力と加算するように構成されている。そして、ハイパスフィルタ１１１の出力信号レベルを適当に調整することにより、高域レベルを強調することができるようにし、これにより光学フィルタ１０２およびローパスフィルタ１０８による高域成分の減衰を補償して、高解像度の画像信号が得られるようにしている（例えば、特許文献１参照）。
【０００８】
【特許文献１】
特開平５−４１８１９号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の画像信号処理装置１０６では、ハイパスフィルタ１１１による高域レベルの強調に伴い、被写体によってはＳ／Ｎ比が低下してしまうおそれがある。例えば、輝度レベルにおいて急峻な段差がある被写体においては、その段差部分についてハイパスフィルタ１１１が処理すると、その処理によってリンギングノイズが発生したり、またその段差部分が色の付いた被写体であった場合には段差部分が強調されることによる色偽信号が発生したりすることが懸念される。さらに、ハイパスフィルタ１１１の出力信号レベルが高い場合には、リンギングノイズ等が強調されてしまうことも考えられる。これを防ぐためには、ハイパスフィルタ１１１からの出力を低レベル側に調整すればよいが、その場合には高域強調効果が弱くなり、高域成分の減衰を補償できない可能性が生じてくる。つまり、従来の画像信号処理装置１０６では、高域強調およびＳ／Ｎ比向上といった、互いに相反する関係を同時に満足させることが非常に困難である。また、ハイパスフィルタ１１１で抽出する周波数によっては、フィルタタップ数が多く必要なため、Ｓ／Ｎという観点からは好ましくない。
【００１０】
そこで、本発明は、画像信号に対する信号処理を行うのにあたって、Ｓ／Ｎ比が良好で、しかも色偽信号が抑圧された、高解像度な画像信号を得ることができる画像信号処理装置、カメラシステムおよび画像信号処理プログラムを提供することを目的とする。
【００１４】
請求項１に係る画像信号処理装置は、前記ハイパスフィルタが生成した高域成分信号の信号レベルを区分けするレベル区分け回路と、前記レベル区分け回路による信号レベルの区分け結果に応じて異なる利得を算出するゲイン比率算出回路と、前記ローパスフィルタが抽出した輝度信号における輝度段差を検出する段差検出回路と、前記画像信号を構成する各色成分間の色差信号を検出する色差検出回路とを備え、前記ハイパスフィルタが生成した高域成分信号に対し、前記ゲイン比率算出回路が算出した利得を乗ずるゲイン調整、前記段差検出回路による検出結果に応じた利得を乗ずるゲイン調整および前記色差検出回路による検出結果に応じた利得を乗ずるゲイン調整の全てを行うように構成されたことを特徴とする。
【００１８】
請求項３に係るカメラシステムは、前記画像信号処理装置が、前記ハイパスフィルタが生成した高域成分信号の信号レベルを区分けするレベル区分け回路と、前記レベル区分け回路による信号レベルの区分け結果に応じて異なる利得を算出するゲイン比率算出回路と、前記ローパスフィルタが抽出した輝度信号における輝度段差を検出する段差検出回路と、前記画像信号を構成する各色成分間の色差信号を検出する色差検出回路とを備え、前記ハイパスフィルタが生成した高域成分信号に対し、前記ゲイン比率算出回路が算出した利得を乗ずるゲイン調整、前記段差検出回路による検出結果に応じた利得を乗ずるゲイン調整および前記色差検出回路による検出結果に応じた利得を乗ずるゲイン調整の全てを行うように構成されていることを特徴とする。
【００２２】
請求項５に係る画像信号処理プログラムは、コンピュータを、光学フィルタを介して得られた画像信号から輝度信号を抽出するローパスフィルタ手段と、前記光学フィルタおよび前記ローパスフィルタ手段による高域成分の減衰を補償するために前記画像信号から高域成分信号を生成するハイパスフィルタ手段と、前記ハイパスフィルタ手段が生成した高域成分信号の信号レベルを区分けするレベル区分け手段と、前記レベル区分け手段による信号レベルの区分け結果に応じて異なる利得を算出するゲイン比率算出手段と、前記ローパスフィルタ手段が抽出した輝度信号における輝度段差を検出する段差検出手段と、前記画像信号を構成する各色成分間の色差信号を検出する色差検出手段と、前記ハイパスフィルタ手段が生成した高域成分信号に対し、前記ゲイン比率算出手段が算出した利得を乗ずるゲイン調整、前記段差検出回路による検出結果に応じた利得を乗ずるゲイン調整および前記色差検出回路による検出結果に応じた利得を乗ずるゲイン調整の全てを行う乗算手段と、前記乗算手段による利得乗算後の高域成分信号を前記ローパスフィルタ手段で抽出された輝度信号に加算する加算手段として機能させることを特徴とする。
【００２６】
請求項１に係る画像信号処理装置、請求項３に係るカメラシステムおよび請求項５に係る画像信号処理プログラムによれば、ハイパスフィルタ（手段）が生成した高域成分信号に対して、高域成分信号の信号レベルよって異なる利得、輝度段差の検出結果に応じて異なる利得および色差信号の検出結果に応じて異なる利得を乗ずるゲイン調整の全てを行う。したがって、例えばＳ／Ｎ比が良好で、しかも色偽信号が抑圧されるように、利得を乗ずることが可能となり得る。
【００２７】
【発明の実施の形態】
以下、図面に基づき本発明に係る画像信号処理装置、カメラシステムおよび画像信号処理プログラムについて説明する。
【００２８】
先ず、本発明に係るカメラシステムについて説明する。ここで説明するカメラシステムは、動画または静止画を撮像するためのもので、従来のもの（図１０参照）と同様に、レンズ１０１から入射した被写体の光学像を、光学フィルタ１０２を介して撮像素子１０３の撮像面上に結像し、その撮像素子１０３での光電変換によって被写体の画像信号を得るものである。ただし、ここで説明するカメラシステムは、画像信号に対する信号処理を行う画像信号処理装置が従来とは異なる。
【００２９】
続いて、このカメラシステムに搭載されて用いられる画像信号処理装置、すなわち本発明に係る画像信号処理装置について説明する。図１は、本発明に係る画像信号処理装置の概略構成の一例を示すブロック図である。図例のように、ここで説明する画像信号処理装置は、大別すると、画像信号の輝度成分に対する処理を行う輝度信号処理回路１０と、画像信号の色（クロマ）成分に対する処理を行う色信号処理回路２０とからなる。
【００３０】
輝度信号処理回路１０は、ローパスフィルタ（Low Pass Filter；以下「ＬＰＦ」と略す）１１と、これと並列に配されたハイパスフィルタ（High Pass Filter；以下「ＨＰＦ」と略す）１２と、加算器１３とに加えて、ＨＰＦ１２の出力に対して直列に配されたレベル区分け回路１４、ゲイン比率算出回路１５および重み付け回路１６と、ＬＰＦ１１の出力に対して配された段差検出回路１７と、ＨＰＦ１２、重み付け回路１６および段差検出回路１７の出力に対して配された乗算器１８と、を備えて構成されている。
【００３１】
ＬＰＦ１１は処理対象となるディジタル画像信号から輝度成分のみを抽出するものであり、ＨＰＦ１２は処理対象となるディジタル画像信号から高域成分信号である高域アパーチャコントロール信号（以下「高域アパコン信号」と略す）を生成するものであり、加算器１３はＬＰＦ１１からの出力にＨＰＦ１２による高域アパコン信号を加算して高域成分の減衰を補償するためのものである。これらは、従来の画像信号処理装置１０６（図１０参照）におけるものと略同様のものである。
【００３２】
レベル区分け回路１４は、ＨＰＦ１２が生成した高域アパコン信号の信号レベルを区分けするものである。ここで、このレベル区分け回路１４について詳しく説明する。図２は、レベル区分け回路の構成例を示す回路図である。図例のように、レベル区分け回路１４としては、複数の閾値（Ref A〜Ref H）を保持するレジスタ手段１４ａと、それぞれに対応して設けられた複数のコンパレータ手段（比較器）１４ｂとから構成されたものが挙げられる。このような構成のレベル区分け回路１４では、ＨＰＦ１２からの高域アパコン信号に対して、その信号値を各閾値（Ref A〜Ref H）と比較して、高域アパコン信号がどの信号レベルに属するものであるかを区分けし、その結果をビット列（level［0］〜level［6］）によって表すようになっている。なお、ここで説明したレベル区分け回路１４は、単なる一具体例に過ぎず、その構成（特に区分けするレベル数）についてはこれに限定されるものではない。また、レベル区分けに必要となる閾値も、予め設定されていれば、その値自体は適宜設定すればよい。
【００３３】
ゲイン比率算出回路１５は、ＨＰＦ１２からの高域アパコン信号に対するゲイン比率を算出するものであるが、レベル区分け回路１４による信号レベルの区分け結果に応じて異なる利得を算出するようになっている。ここで、このゲイン比率算出回路１５について詳しく説明する。図３は、ゲイン比率算出回路の構成例を示す回路図である。図例のように、ゲイン比率算出回路１５としては、予め設定された複数種類のゲイン値（gain0（*0）〜gain1（*1））を保持するレジスタ手段１５ａと、その中からレベル区分け回路１４による信号レベルの区分け結果に応じていずれか一つのゲイン値を出力（gainout）するスイッチング手段１５ｂとから構成されたものが挙げられる。このような構成のゲイン比率算出回路１５では、例えば、信号レベルの区分け結果であるビット列が「0000000」であればゲイン値として「０（gain0）」を出力し、ビット列が「0000001」であればゲイン値として「１／４（gain1/4）」を出力する、といった処理を行う。なお、ここで説明したゲイン比率算出回路１５も、単なる一具体例に過ぎず、その構成についてはこれに限定されるものではない。また、ゲイン値についても、予め設定されていれば、その値自体は適宜設定すればよい。
【００３４】
重み付け回路１６は、ゲイン比率算出回路１５が算出したゲイン値をさらに可変させるためのものである。ここで、この重み付け回路１６について詳しく説明する。図４は、重み付け回路の構成例を示す回路図である。図例のように、重み付け回路１６としては、任意に設定可能な複数種類のゲイン値（gain lo(*0〜*1.0)〜gain hi(*0〜*1.0)）を保持するレジスタ手段１６ａと、レベル区分け回路１４による信号レベルの区分け結果に応じていずれか一つのゲイン値を出力する選択回路１６ｂと、その選択されたゲイン値をゲイン比率算出回路１５からの出力（gainout）に乗算する乗算器１６ｃとから構成されたものが挙げられる。このような構成の重み付け回路１６では、例えば、信号レベルの区分け結果がlevel［0］の場合にはゲイン比率算出回路１５からの出力にさらにゲイン値として「０（gain0）」を乗算し、level［3］の場合にはゲイン比率算出回路１５からの出力にさらにゲイン値として「１（gain1.0）」を乗算する、といった重み付け処理を行う。なお、ここで説明した重み付け回路１６も、単なる一具体例に過ぎず、その構成についてはこれに限定されるものではない。また、図例のように、例えばlevel［0］〜level［2］は領域２、level［3］は領域３、level［4］〜level［6］は領域４といったように、信号レベルの区分け結果を領域毎にまとめて重み付けすることで、構成の簡略化を図ることも考えられるが、各信号レベル毎に個別に処理しても良いことは勿論である。
【００３５】
段差検出回路１７は、レベル区分け回路１４、ゲイン比率算出回路１５および重み付け回路１６とは別ラインに配されたもので、ＬＰＦ１１で抽出した輝度成分信号における輝度段差を検出するものである。ここで、この段差検出回路１７について詳しく説明する。図５は、段差検出回路の構成例を示すブロック図である。図例のように、段差検出回路１７としては、ＬＰＦ１１においてクロマキャリア周波数を含む高域成分を減衰処理させた画素信号に対して、両隣（中心−左隣および中心−右隣）の画素との差分並びに両隣の画素同士（左隣−右隣）の差分をそれぞれ算出する演算手段１７ａと、これら三通りの差分を絶対値化する変換手段１７ｂと、これら三通りの絶対値の中の最大値を抽出する抽出手段１７ｃと、その最大値を予め設定された段差閾値と比較する比較手段１７ｄとから構成されたものが挙げられる。このような構成の段差検出回路１７では、例えば、絶対値化した差分の最大値が段差閾値を超えていれば、処理対象となる画像信号に許容段差を超える輝度段差があるとみなし、ゲイン値として「０」を出力するといった処理を行う。なお、ここで説明した段差検出回路１７も、単なる一具体例に過ぎず、その構成についてはこれに限定されるものではない。
【００３６】
乗算器１８は、ＨＰＦ１２からの高域アパコン信号に対して、レベル区分け回路１４、ゲイン比率算出回路１５および重み付け回路１６を経て得られたゲイン値、段差検出回路１７を経て得られたゲイン値、並びに後述する色差検出回路２５を経て得られたゲイン値を乗算するものである。この乗算器１８によってゲイン値が乗算された後の高域アパコン信号が加算器１３に送られて、その加算器１３でＬＰＦ１１からの出力に加算されることになる。
【００３７】
一方、色信号処理回路２０は、ライン間同時化処理回路２１と、ＹＣ分離処理回路２２と、ＲＧＢ原色分離回路２３と、ホワイトバランス（以下「ＷＢ」と略す）回路２４と、色差検出回路２５と、を備えて構成されている。
【００３８】
ライン間同時化処理回路２１は輝度信号と色（クロマ）信号とを分離するＹＣ分離処理の演算をするために画素信号の同時化および並び替えを行うものであり、ＹＣ分離処理回路２２は隣接画素加算や減算等により輝度信号とクロマ信号との分離処理を行うものであり、ＲＧＢ原色分離回路２３は撮像素子１０３の分光特性に対して最適化されたマトリックス定数による演算を行ってクロマ信号をＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に原色分離するものであり、ＷＢ回路２４は所定の色温度に対応してＲ，Ｇ，Ｂの各色成分の利得を調整してホワイトバランスをとるものである。これらは、従来の画像信号処理装置におけるものと略同様のものである。
【００３９】
色差検出回路２５は、画像信号を構成する各色成分間の色差、さらに詳しくはホワイトバランス調整後のＲＧＢ信号における各色成分間の色差を検出するものである。ここで、この色差検出回路２５について詳しく説明する。図６および図７は、色差検出回路の構成例を示す回路図である。色差検出回路２５としては、図６に示すように、ホワイトバランス調整後のＲＧＢ信号に対して、Ｒ−Ｇ間およびＢ−Ｇ間の色値の差分をそれぞれ算出する演算手段２５ａと、その差分を絶対値化する変換手段２５ｂと、それぞれの絶対値の中の最大値を抽出する抽出手段２５ｃとを備え、さらには、図７に示すように、複数の閾値（Ref 0〜Ref D）を保持する第１レジスタ手段２５ｄと、それぞれに対応して設けられた複数のコンパレータ手段（比較器）２５ｅと、予め設定された複数種類のゲイン値（gain1（*1）〜gain1/4（*1/4））を保持する第２レジスタ手段２５ｆと、その中からコンパレータ手段による色差の最大値と閾値との比較結果に応じていずれか一つのゲイン値を出力する選択手段２５ｇとを備えて構成されたものが挙げられる。このような構成の色差検出回路２５では、例えば、色差の最大値と閾値との比較結果からその色差がどの程度の大きさか、すなわちどのレベルに属するかを判断し、その判断結果に応じてゲイン値を可変させる、といった処理を行う。なお、ここで説明した色差検出回路２５も、単なる一具体例に過ぎず、その構成についてはこれに限定されるものではない。また、閾値やゲイン値等についても、予め設定されていれば、その値自体は適宜設定すればよい。
【００４０】
次に、以上のように構成された画像信号処理装置における処理動作例について説明する。ただし、ここでは、画像信号処理装置における特徴的な処理動作である、高域アパコン信号に対するゲイン調整に関してのみ説明を行うものとする。
【００４１】
先ず、レベル区分け回路１４、ゲイン比率算出回路１５および重み付け回路１６によるゲイン調整について説明する。図８は、高域アパコン信号の信号レベルとゲインとの関係の一具体例を示す説明図である。
【００４２】
ＨＰＦ１２が処理対象となるディジタル画像信号から高域アパコン信号を生成すると、その高域アパコン信号は、レベル区分け回路１４でのレベル区分けによって、どの信号レベルに属するかが区分けされる。例えば図８に示す場合であれば、高域アパコン信号は、その信号レベルが領域１〜５のどれに属するか区分けされる。ここで、領域１は信号レベルの区分け結果であるビット列が「0000000」の場合に対応し、領域２はビット列が「0000001」、「0000010」または「0000100」の場合に対応し、領域３はビット列が「0001000」の場合に対応し、領域４はビット列が「0010000」、「0100000」または「1000000」の場合に対応し、領域５はそれ以外の場合に対応するものとする。
【００４３】
そして、レベル区分けされた高域アパコン信号に対しては、信号レベルの区分け結果に応じたゲイン値が、ゲイン比率算出回路１５によって算出されて、その後乗算器１８によって乗算される。例えば図８に示す場合であれば、領域１に属する信号レベルの高域アパコン信号に対してはゲイン値として「０」が、領域２に属する信号レベルの高域アパコン信号に対してはゲイン値として「１／４」、「１／２」または「３／４」のいずれかが、領域２に属する信号レベルの高域アパコン信号に対してはゲイン値として「１」が、領域４に属する信号レベルの高域アパコン信号に対してはゲイン値として「１／４」、「１／２」または「３／４」のいずれかが、領域５に属する信号レベルの高域アパコン信号に対してはゲイン値として「０」が、それぞれ乗算される。
【００４４】
これにより、例えば領域５のように高域アパコン信号の信号レベルが高い場合には、これに応じたゲイン値として「０」を乗算することで、高域強調効果が過剰になったり色偽信号が強調されたり等する懸念がある場合であっても、アパコンゲインを抑制してノイズを低減することが可能となる。これとは逆に、例えば領域１のように高域アパコン信号の信号レベルが低い場合には、これに応じたゲイン値として「０」を乗算することで、その低レベル信号がノイズ成分となることが懸念される場合であっても、アパコンゲインを抑制してＳ／Ｎ比を向上させることが可能となる。また、例えば領域３のように高域アパコン信号が中間レベルの場合には、これに応じたゲイン値として「１」を乗算することで、アパコンゲインを高くして高域成分を強調することが可能となる。
【００４５】
このように、レベル区分け回路１４およびゲイン比率算出回路１５によれば、ＨＰＦ１２によって抽出された高域アパコン信号に対して、その信号レベルに応じて適切なゲイン値をコントロールしているので、ノイズや色偽信号等を抑制して、効果的な高域アパコン信号を得ることが可能となる。
【００４６】
さらに、ゲイン比率算出回路１５が算出したゲイン値に対しては、重み付け回路１６による重み付け処理を行うことも可能である。すなわち、重み付け回路１６を用いれば、領域２、領域３、領域４の各ゲイン値に対して、それぞれ独立に重み付けすることができるようになる。したがって、この場合には、さらに細かいゲイン制御を行うことが可能となり、ノイズや色偽信号等を抑制する上でより有効なものとなる。
【００４７】
続いて、段差検出回路１７によるゲイン調整について説明する。段差検出回路１７では、ＬＰＦ１１で抽出した輝度成分信号における輝度段差を検出し、許容段差を超える輝度段差があれば、ゲイン値として「０」を出力する。そして、「０」が出力された場合には、ＨＰＦ１２によって抽出された高域アパコン信号に対して乗算器１８が「０」を乗算する。つまり、ＨＰＦ１２からの高域アパコン信号を通さない。これとは逆に、輝度段差がないか、若しくは輝度段差があっても許容段差より小さい場合には、ゲイン値として「１」を出力する。これにより、乗算器１８は、ＨＰＦ１２からの高域アパコン信号をスルーさせる。
【００４８】
このように、段差検出回路１７によれば、ＨＰＦ１２によって抽出された高域アパコン信号に対して、輝度段差の有無に応じて適切なゲイン値をコントロールしているので、ＨＰＦ１２の低域段差部の処理により発生するリンギングノイズや色偽信号等を抑制することが可能となる。また、強調したい高周波領域については、ＬＰＦ１１において減衰させてから段差検出回路１７が輝度段差の有無を判断するため、画素信号の差分値が段差閾値を超えないような制御が可能となる。したがって、高域での段差は検出されず、アパコン信号がスルー処理され、効果的に高域アパコン信号を抽出することができる。また、元々輝度段差が大きいところは増幅する必要がないため、アパコンゲインを乗算しないことにより、ノイズ低減にも繋がることとなる。
【００４９】
続いて、色差検出回路２５によるゲイン調整について説明する。図９は、色差信号の信号レベルとゲインとの関係の一具体例を示す説明図である。色差検出回路２５では、ホワイトバランス調整後のＲＧＢ信号における各色成分間の色差を検出し、その色差の検出結果に応じてゲイン値を可変させる。例えば図９に示す場合であれば、色差の検出結果、すなわち検出した色差の信号レベルが大きくなるほどゲイン値を小さくしている。これは、ノイズが強調されやすい大きな色差のある部分に対しては小さな利得を乗じて、色差のない部分については大きな利得を乗ずるようにするためである。例えば被写体が白色であれば、ホワイトバランス後のＲ，Ｇ，Ｂの各色成分信号の比率は１：１：１となるため、色差信号は「０」が出力される。したがって、ゲイン値を最大設定値とする。その一方で、色差信号が大きくなるほど、高域アパコン信号の強調により、輝度信号が急峻に変化した場合の不自然な着色現象が目立つ。したがって、色差信号の増大に対しては、ゲイン値を直線的に低減させるようにする。
【００５０】
このように、色差検出回路２５によれば、ＨＰＦ１２によって抽出された高域アパコン信号に対して、各色成分間の色差の有無に応じて適切なゲイン値をコントロールしているので、輝度信号が急峻に変化した場合の不自然な着色現象を抑制することが可能となる。
【００５１】
以上のような処理を経た後、最終的には、ＨＰＦ１２からの高域アパコン信号に対して、▲１▼レベル区分け回路１４、ゲイン算出回路105および重み付け回路１６により算出されたゲイン値、▲２▼輝度段差検出回路１７により得られたゲイン値、▲３▼色差検出回路で得られたゲイン値が、それぞれ乗算器１８によって乗算される。そして、ゲイン調整された高域アパコン信号は、ＬＰＦ１１の出力に加算されて、後段のガンマ補正回路１０９へ送られることになる。
【００５２】
以上に説明したように、本実施形態で説明した画像信号処理装置を用いれば、カメラシステムにおける画像信号の高解像度信号処理を行う場合であっても、ＬＰＦ１１およびＨＰＦ１２でのフィルタ処理に伴うリンギングの抑制が可能となるため、被写体画像のＳ／Ｎ比が向上することになる。また、色偽信号成分が抑圧することができ、輝度信号の水平方向に急峻な変化があった場合であっても、全体に不自然な着色が生じてしまうのを抑えられる。さらには、強調したい高域周波数のみを抽出してエンハンスすることが可能であり、輝度段差が大きいところは増幅する必要がないため利得を乗算しない（利得を０とする）ことによりノイズ低減効果も得られるので、結果として高解像度な画像信号を効果的に得ることが可能となる。
【００５３】
なお、本実施形態では、▲１▼レベル区分け回路１４、ゲイン算出回路105および重み付け回路１６によるゲイン調整と、▲２▼輝度段差検出回路１７によるゲイン調整と、▲３▼色差検出回路によるゲイン調整とを全て行う場合を説明したが、本発明はこれに限定されるものではなく、上記▲１▼〜▲３▼の少なくとも一つを備えていればよい。ただし、上記▲１▼〜▲３▼の少なくとも一つを備えていれば、Ｓ／Ｎ比が良好で、しかも色偽信号が抑圧された、高解像度な画像信号を得ることが可能であるが、撮像素子１０３で得られる画像信号の特質（カラー画像等の特質）を考慮すると、ノイズ等が無く高解像度な画像信号を得る上では、上記▲１▼〜▲３▼の全てを行うことが最も望ましい。
【００５４】
また、本実施形態では、画像信号処理装置をハードウエア回路によって構成した場合を例に挙げて説明したが、例えばコンピュータ上で動作するソフトウエアによっても、同様の機能を実現することは可能である。すなわち、本実施形態で説明した画像信号処理装置は、ソフトウエアによって構成した画像信号処理プログラムによっても実現可能である。また、その場合、ソフトウエア構成はコンピュータ内にインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても、または有線若しくは無線による通信手段を介して配信されるものであってもよい。
【００５５】
【発明の効果】
以上に説明したように、本発明の画像信号処理装置、カメラシステムおよび画像信号処理プログラムによれば、画像信号に対してローパスフィルタおよびハイパスフィルタを用いた信号処理を行う場合であっても、Ｓ／Ｎ比が良好で、しかも色偽信号が抑圧された、高解像度な画像信号を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る画像信号処理装置の概略構成の一例を示すブロック図である。
【図２】図１の画像信号処理装置におけるレベル区分け回路の構成例を示す回路図である。
【図３】図１の画像信号処理装置におけるゲイン比率算出回路の構成例を示す回路図である。
【図４】図１の画像信号処理装置における重み付け回路の構成例を示す回路図である。
【図５】図１の画像信号処理装置における段差検出回路の構成例を示すブロック図である。
【図６】図１の画像信号処理装置における色差検出回路の要部構成例を示すブロック図である。
【図７】図１の画像信号処理装置における色差検出回路の要部構成例を示す回路図である。
【図８】図１の画像信号処理装置における高域アパコン信号の信号レベルとゲインとの関係の一具体例を示す説明図である。
【図９】図１の画像信号処理装置における色差信号の信号レベルとゲインとの関係の一具体例を示す説明図である。
【図１０】従来のカメラシステムおよびこれに用いられる画像信号処理装置の概略構成の一例を示すブロック図である。
【符号の説明】
１０…輝度信号処理回路、１１…ローパスフィルタ（ＬＰＦ）、１２…ハイパスフィルタ（ＨＰＦ）、１３…加算器、１４…レベル区分け回路、１５…ゲイン比率算出回路、１６…重み付け回路、１７…段差検出回路、１８…乗算器、２０…色信号処理回路、２１…ライン間同時化処理回路、２２…ＹＣ分離処理回路、２３…ＲＧＢ原色分離回路、２４…ホワイトバランス（ＷＢ）回路、２５…色差検出回路、１０１…レンズ、１０２…光学フィルタ、１０３…撮像素子
Claims (6)
- 光学フィルタを介して得られた画像信号から輝度信号を抽出するローパスフィルタと、前記光学フィルタおよび前記ローパスフィルタによる高域成分の減衰を補償するために前記画像信号から高域成分信号を生成するハイパスフィルタと、前記ハイパスフィルタが生成した高域成分信号を前記ローパスフィルタで抽出された輝度信号に加算する加算器とを具備した画像信号処理装置において、
前記ハイパスフィルタが生成した高域成分信号の信号レベルを区分けするレベル区分け回路と、
前記レベル区分け回路による信号レベルの区分け結果に応じて異なる利得を算出するゲイン比率算出回路と、
前記ローパスフィルタが抽出した輝度信号における輝度段差を検出する段差検出回路と、
前記画像信号を構成する各色成分間の色差信号を検出する色差検出回路とを備え、
前記ハイパスフィルタが生成した高域成分信号に対し、前記ゲイン比率算出回路が算出した利得を乗ずるゲイン調整、前記段差検出回路による検出結果に応じた利得を乗ずるゲイン調整および前記色差検出回路による検出結果に応じた利得を乗ずるゲイン調整の全てを行うように構成された
ことを特徴とする画像信号処理装置。 - 前記ゲイン比率算出回路が算出した利得を可変させるための重み付け回路
が設けられたことを特徴とする請求項１記載の画像信号処理装置。 - 光学フィルタを介して得られた画像信号から輝度信号を抽出するローパスフィルタと、前記光学フィルタおよび前記ローパスフィルタによる高域成分の減衰を補償するために前記画像信号から高域成分信号を生成するハイパスフィルタと、前記ハイパスフィルタが生成した高域成分信号を前記ローパスフィルタで抽出された輝度信号に加算する加算器とを具備した画像信号処理装置を搭載してなるカメラシステムにおいて、
前記画像信号処理装置は、
前記ハイパスフィルタが生成した高域成分信号の信号レベルを区分けするレベル区分け回路と、
前記レベル区分け回路による信号レベルの区分け結果に応じて異なる利得を算出するゲイン比率算出回路と、
前記ローパスフィルタが抽出した輝度信号における輝度段差を検出する段差検出回路と、
前記画像信号を構成する各色成分間の色差信号を検出する色差検出回路とを備え、
前記ハイパスフィルタが生成した高域成分信号に対し、前記ゲイン比率算出回路が算出した利得を乗ずるゲイン調整、前記段差検出回路による検出結果に応じた利得を乗ずるゲイン調整および前記色差検出回路による検出結果に応じた利得を乗ずるゲイン調整の全てを行うように構成されている
ことを特徴とするカメラシステム。 - 前記画像信号処理装置には、前記ゲイン比率算出回路が算出した利得を可変させるための重み付け回路が設けられている
ことを特徴とする請求項３記載のカメラシステム。 - コンピュータを、
光学フィルタを介して得られた画像信号から輝度信号を抽出するローパスフィルタ手段と、
前記光学フィルタおよび前記ローパスフィルタ手段による高域成分の減衰を補償するために前記画像信号から高域成分信号を生成するハイパスフィルタ手段と、
前記ハイパスフィルタ手段が生成した高域成分信号の信号レベルを区分けするレベル区分け手段と、
前記レベル区分け手段による信号レベルの区分け結果に応じて異なる利得を算出するゲイン比率算出手段と、
前記ローパスフィルタ手段が抽出した輝度信号における輝度段差を検出する段差検出手段と、
前記画像信号を構成する各色成分間の色差信号を検出する色差検出手段と、
前記ハイパスフィルタ手段が生成した高域成分信号に対し、前記ゲイン比率算出手段が算出した利得を乗ずるゲイン調整、前記段差検出回路による検出結果に応じた利得を乗ずるゲイン調整および前記色差検出回路による検出結果に応じた利得を乗ずるゲイン調整の全てを行う乗算手段と、
前記乗算手段による利得乗算後の高域成分信号を前記ローパスフィルタ手段で抽出された輝度信号に加算する加算手段
として機能させることを特徴とする画像信号処理プログラム。 - 前記ゲイン比率算出回路が算出した利得を可変させるための重み付け手段
が設けられたことを特徴とする請求項５記載の画像信号処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003011911A JP4461684B2 (ja) | 2003-01-21 | 2003-01-21 | 画像信号処理装置、カメラシステムおよび画像信号処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003011911A JP4461684B2 (ja) | 2003-01-21 | 2003-01-21 | 画像信号処理装置、カメラシステムおよび画像信号処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004228733A JP2004228733A (ja) | 2004-08-12 |
| JP4461684B2 true JP4461684B2 (ja) | 2010-05-12 |
Family
ID=32900674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003011911A Expired - Fee Related JP4461684B2 (ja) | 2003-01-21 | 2003-01-21 | 画像信号処理装置、カメラシステムおよび画像信号処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4461684B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007036719A (ja) * | 2005-07-27 | 2007-02-08 | Sony Corp | 映像信号処理装置および映像入力処理装置 |
-
2003
- 2003-01-21 JP JP2003011911A patent/JP4461684B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004228733A (ja) | 2004-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100786931B1 (ko) | 화상 신호 처리 장치 및 화상 신호 처리 방법 | |
| JP4358182B2 (ja) | 撮像装置およびその雑音低減方法 | |
| US7710474B2 (en) | Luminance signal processing device | |
| JP4312222B2 (ja) | 撮像装置 | |
| US8384799B2 (en) | Image processing apparatus and image processing method | |
| JP4666681B2 (ja) | 画像処理装置および画像処理方法 | |
| EP1494485B1 (en) | Video signal processing apparatus and video signal processing method | |
| JPH05153601A (ja) | 固体撮像装置 | |
| JP4461684B2 (ja) | 画像信号処理装置、カメラシステムおよび画像信号処理プログラム | |
| JP4320807B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4135197B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP4269367B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP2006279812A (ja) | 輝度信号処理装置 | |
| JP4269366B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP2005354585A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JPH11220749A (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4269369B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4556358B2 (ja) | 階調補正装置及び階調補正方法 | |
| KR100190040B1 (ko) | 위색신호 억압장치 | |
| JPH06245106A (ja) | 撮像装置 | |
| JP2007036719A (ja) | 映像信号処理装置および映像入力処理装置 | |
| JP2008034913A (ja) | 撮像装置、及びそのスミア偽色低減方法 | |
| JP4269368B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4273546B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| KR100291442B1 (ko) | 단판식 칼라 카메라의 칼라 무아레 저감장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090529 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20091007 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100126 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |